År 1792 ärvde Johan Gabriel Oxenstierna ett stort antal gårdar, däribland Kårehatt, vilken han, efter tillbyte av ett par granngårdar, lät bebygga till säteri och döpa om till Kåreholm. Inget av denna säteribebyggelse finns kvar. På den äldre timrade mangårdsbyggnadens plats uppfördes 1823 den nuvarande i tegel, dock något förskjuten i sin position.
Huvudbyggnaden, i en och en halv våning, har gulfärgad slätputsfasad med vita omfattningar och rusticeringar i hörn och kring huvudingångens portal. Arkitekten är okänd, men byggnaden har likheter med andra hus tillskrivna L J von Röök.
Flygeln, uppförd 1833, är en direkt kopia av de låga envåningsflyglarna från 1740-talet vid Björksunds herrgård i Södermanland, signerade Carl Hårleman. Under 1830- och 40-talen tillkom orangeri, ladugård, loge, stall, smedja och båthus. Varav de två sistnämnda ingår i byggnadsminnet.
Båthuset öster om huvudbyggnaden är uppfört 1848 av rödfärgat timmer av byggmästare Abraham Nyström. Smedjan är byggd av sten och putsad i gult med vita hörn, profilerade taklister, omfattningar och tandsnittsdekoration i portarnas överstycken. Troligen har Nyström även uppfört smedjan, som numera är inredd till bostad. Han ligger även bakom uppförandet av den monumentala stenladugården.
Källa: Byggnadsminnen 1978-1988 – Förteckning över nya byggnadsminnen 1 juli 1978-31 december 1988 enligt lagen den 9 december 1960, nr 690, Riksantikvarieämbetet Uppsala 1989
(Kåreholm år 1923. Foto: Lars Fredrik Lovén. Ur Östergötlands museums samlingar)