1349 zerstörte ein großer Brand das Kästlinstor. Es war das einzige Stadttor in Ravensburg, das 1842 abgebrochen wurde. Die Steine wurden bis 1844 für den Bau des Turms der evangelischen Stadtkirche verwendet.