An der Stelle des großen Fachwerkbaues auf dem Marktplatz war zu Zeiten des Klosters ein 5-stöckiges Kornmagazin. 1621 ließ Markgraf Joachim Ernst es abreißen und an seiner Stelle das sogenannte Verwalterhaus errichten. 

Es hatte die Funktion des ehemaligen Abtsgebäudes zu übernehmen: Amtsräume des Verwalters und Wohnräume für den Markgrafen. Das Wappen mit dem Dreischalenbrunnen erinnert an das Klosteramt, das Hohenzollernwappen an die Markgrafen.