Der Altteil der Burg wurde zwischen 1232 und 1249 von den Vögten von Straßberg und Eberhard de Voitesberk erbaut. Deren Herrschaft dauerte bis 1320 an.

1327 ging die Burg in den Besitz der Vögte von Plauen über, 1356 fiel die Burg an den Markgrafen von Meißen aus dem Hause Wettin. Der älteste Burgteil ist der Bergfried; ursprünglich 30 Meter hoch, ragt er heute nur noch mit 22 m in den Himmel. Der im Durchmesser 9,7 m breite Turm besitzt 3,3 m starke Mauern, ist zurzeit aber noch nicht wieder begehbar. In dem Gebäudeteil, der den Bergfried umgibt, befindet sich der Ritter- und Fürstensaal an den sich die gotische Georgskapelle anschließt.