Im Jahr 1906 ließ im Zuge des Umbaus der Schlossberg-Villa der Hamburger Reeder Fritz Thomae das 1833 errichtete Stallgebäude niederreißen und an dessen Stelle ein Gärtnerwohnhaus errichten.Nach und nach verschwand die Tierhaltung aus dem Haus und es wurde ein reines Wohngebäude.
Mitte der 70er Jahre nutzte es die Elbe-Werft eine Zeit als Verwaltungsgebäude; danach stand es dann fast 20 Jahre leer.
Vom Abriss bedroht, wurde es dann aber durch einen neuen Eigentümer in den Jahren 2001/2002 aufwendig saniert. Es entstanden fünf Wohnungen, die innen den Charme dieses alten Gebäudes noch ahnen lassen.