Der Befestigungsturm diente als Stadttor am Ende des Steinwegs für den Verkehr in Richtung Frankfurt. Im Jahr 1709 ließ Landgraf Karl oben im Turm eine Sternwarte mit modernsten, astronomischen Instrumenten zur Himmelsbeobachtung in einer drehbaren Kuppel einbauen. Berühmte Wissenschaftler vom Hofe des Landgrafen, wie Tycho de Brahe, Jost Bürgi - der hier in Kassel die Logarithmentafeln aufstellte - oder auch Denis Papin haben hier gearbeitet.
Zeitweise diente der untere Teil des Turmes als Gefängnis. 1779 wurde er grundlegend umgebaut und mit dem Museum Fridericianum verbunden. Am Turm befindet sich ein Wappenstein von 1554 und eine interessante Sonnenuhr aus dem 18. Jahrhundert. Sie ist gemalt und hat römische Stundenzahlen und Kurven von Sternbildern und Monaten.
