Op vraag van het echtpaar De Geest-Lowie heeft een architect uit Kortrijk, Cyrille Van Houtte, dit herenhuis in 1885 ontworpen. Het behoort stilistisch tot de eclectische Vlaamse renaissance.
Toen de twee ongehuwde kinderen van het echtpaar De Geest-Lowie – van wie zoon Desiré lange tijd schepen was – de laatste jaren van hun leven in het klooster doorbrachten, hebben zij in 1937 het gebouw laten verkopen.
De broers Van Hauwermeiren, landbouwers op de Rimeir, werden de nieuwe eigenaars. De gehuwde broer betrok het pand met zijn gezin. Kort daarna reeds stierven de ouders en de ongehuwde broer-landbouwer, tevens inspecteur van de oorlogsschade na de Eerste Wereldoorlog en schepen, nam toen de kinderen onder zijn hoede en ging ook in het huis wonen. Zijn dood bracht de ruime herenwoning in handen van de twee nazaten, René en Anna.
Zoon René, master in de rechten en het notariaat, ging de diplomatie in en was Belgisch consul en ambassadeur in Bern, Rome, New York en Caracas (Venezuela). Zus Anna huwde met tandarts Gilbert Van Cromphaut die in het huis een praktijk opstartte. Zoon Chris volgde zijn vader op als tandarts en bewoont nu, samen met zijn gezin, deze opmerkelijke woning.
Tijdens de Eerste Wereldoorlog waren Duitse officieren ingekwartierd in de woning. De eigenaar, J. De Geest, metselde een deel van zijn kelder dicht zodat zijn mooie voorraad wijn niet ten prooi kon vallen van de bezetters. Op de ruime zolder vonden de huidige bewoners nog verhuiskoffers met een valse bodem om geld in te bewaren. En er was nog “groot geld” in verstopt ook.
Ruim twintig jaar later, tijdens de Tweede Wereldoorlog, vielen brandbommen op de Margote, onder meer één doorheen het dak van het herenhuis. De bom kwam niet tot ontbranding en de schade bleef daardoor beperkt. Ook aan de overkant van de Schelde, in de meersen, vielen ook bommen neer. Door de luchtverplaatsing sneuvelden veel vensters aan de voorgevel van het huis, waaronder de typisch originele rozetvensters. Die werden niet meer vervangen, maar dichtgemaakt.
