De pastorie is rond 1785 gebouwd, kort na de afschaffing van het klooster van Tussenbeke, waarvan witte zandsteen in de achtergevel is verwerkt. De voorgevel is classicistisch, de deuromlijsting bestaat uit blauwe hardsteen in rococostijl. Oorspronkelijk was het gebouw gekaleid om de broze bakstenen te beschermen.
De binnenindeling bleef behouden met een centrale gang, links een ontvangstruimte en rechts eetkamer en keuken. Kenmerkend is een haaks geplaatste traphal links achter de voorgevel. De traphal is afgesloten met een aan de binnenzijde vergrendelde deur en in de zijwand is een uitkijkluik uitgewerkt. De kapconstructie op de zolder is indrukwekkend en bestaat uit vier samengestelde eikenhouten spanten met doorgaande gordingen.
Het gebouw wordt nu gebruikt als uitleenpost van de bibliotheek beneden en als vergader- en archiefruimte voor de kerkfabriek boven.
De pastorie is als monument beschermd sedert 18 maart 2008.
Voor het jaar 1785 was er geen pastoorswoning in Serskamp, de parochie werd bediend door de proost van het Norbertinessenklooster van Serskamp (klooster Tussenbeke). Tot het begin van de 18de eeuw was dat een Norbertijn van de abdij van Drongen, daarna een Norbertijn van de abdij van Grimbergen. De laatste proost, Milo Van Haelen, kreeg toen de toestemming om vlak bij de kerk, aan het kerkhof, een pastoorswoning te laten bouwen.
In het interieur zijn in de salon en eetkamer de oorspronkelijke moerbalken bewaard met verzorgd eenvoudig lijstwerk en schouwboezems met kenmerkend Lodewijk XVI-stucwerk. De Vlaamse schouw en de gerecupereerde binnendeuren in de keuken, waarvan er een naar de bijkamer en een naar de kelder leidt, werden van houtimitatie voorzien, wellicht uit de 19de eeuw.
In de tuin was achteraan een vijver aangelegd waarin vissen werden gekweekt en die ook dienstdeed als statussymbool. De vijver ligt achter een heuveltje zodat het lijkt alsof de oorspronkelijk achterliggende weilanden ook nog deel uitmaakten van het domein zelf. Centraal in de achtertuin, in de as van de woning, staat een heel oude, beeldbepalende rode beuk. Links bevond zich een moestuin met fruitbomen zoals destijds gebruikelijk. De keuken kon dus vele ingrediënten vlakbij vinden. De tuin vertoont ook nog steeds een omlopend slingerpad rond een grasperk. Op dat pad kon de pastoor dagelijks brevieren, wandelend lezen in godsdienstige geschriften.
