An der Stelle des jetzigen Gebäudes stand bereits vor der Klosterstiftung im Jahre 1132 ein Haus der Grafen von Abenberg. Als Schutzherren des Klosters diente es ihnen und ihren Nachfolgern, den Hohenzollern, bei Aufenthalten in Heilsbronn als Unterkunft. In 16 Zimmern standen 32 Betten zur Verfügung. Aus Berichten der Äbte ist verbürgt, dass die Burggrafen und später vor allem die Ansbacher Markgrafen sehr oft anlässlich von Jagdausflügen einkehrten. Das Kloster war verpflichtet, sie, ihre Gäste und das Personal kostenfrei zu beherbergen. Besonders aufwändig ging es bei Bestattungsfeiern zu. Abt Sebald Bamberger erwähnt im Jahre 1512 anlässlich der Beisetzung von Markgräfin Sophia den Verzehr von 2 Ochsen, 300 Fischen und 1500 Maß Wein.
1747 wurde das Gebäude evangelisches Pfarrhaus, 1877 erfolgte ein grundlegender Umbau mit Abtragung des östlichen Gebäudeteils und des Turms über dem Eingang.