Die Geschichte geht auf das 11. Jahrhundert zurück. Die Grafen von Hohenberg liesen die Burganlage bauen und im 12. Jh. wurde diese erweitert. Zu dieser Zeit gehörte die Burg noch zu Grötzingen, deshalb war sie auch als "Burg Grötzingen" bekannt. 1274 erobert Rudolf von Habsburg die Burg. Die Burg bleibt Anfangs unversehrt, wird jedoch 1279 durch Konrad III. von Lichtenstein (Bischof von Straßburg) geplündert und in Brand gesetzt. Markgraf Rudolf I. und seine Nachfolger bauten unter teilweiser Benutzung der verbliebenen Mauern die Burg wieder auf. Aus dieser Zeit stammt auch der heutige gotische Turm.

Im 15. und 16. Jahrhundert diente der Burgturm als Standort für die Landwache. In dieser Zeit wurde parallel zum Turm der 13 Meter hohe Pfeiler angefertigt. Dieser diente als brückenartige Kanonenplattform. 1689 verwüsteten die Franzosen die Stadt Durlach. Dabei wird die "Durlacher Warte" in Brand gesetzt, jedoch widerstehen die Mauern den Flammen und Sprengversuchen.

Beim Turmberg handelt es sich um eine typische Turmburg namens Spornburg, die im eigentlichen Stil heute nicht mehr existiert. Eine Spornburg liegt meist unterhalb des Berggipfels, aber steil über dem Tal und ist die am weitläufigste Art der Höhenburg im deutschsprachigen Raum. Von dem einst größeren Gelände steht heute nur noch der Turm. Dieser wurde 1890 höher und weiter ausgebaut. Der Eingang erfolgte damals über das Verlies, wurde aber im Laufe der Zeit durch einen anliegenden Turm mit einer Wendeltreppe verlegt. Das alte Verlies dient heute der Stadt Durlach zur Wasserversorgung.