Abans que el castell, es coneix per un document de l'any 938 l'existència de l'església de Santa Oliva, quan el rei Lluís d’Ultramar ( Luis IV d'Ultramar (+Reims, 954). Rei de França (936-954). Fill de Carlos el Simple.), va confirmar les possessions del Monestir de Ripoll. Uns anys després, en el 974, el bisbe de Barcelona va dirigir la repoblació de part de la Catalunya Nova, atorgant privilegis per a facilitar la instal·lació de pagesos i defensors de les terres. En 986, Borrell II reclamava una vegada més la repoblació de Santa Oliva.

En 1012 a través d'un escrit, l'abat de Sant Cugat va concedir el castell a Isnabert para la repoblació i defensa de les terres. Altres interpretacions d'aquests documents diuen que la fortalesa no li va ser donada i la va comprar Isnabert instal·lant-se en ella i els voltants amb gents a fi de repoblar-lo. En tot cas, sembla ser que va ser ell qui va edificar la torre. Un segle després, a principi del segle XII, els musulmans la van destruir.

En 1142 era senyor del castell Pere de Santa Oliva, casat amb Dolça, qui guardaven fidelitat a altre noble major, Guillem de Sant Martí, senyor de gairebé totes les terres del Penedès, qui, a més de donar-li el castell de Santa Oliva, li va encarregar la castellanía dels quals ja existien, o anaven a edificar-se, en la zona compresa des de les terres del riu Llobregat fins al Garraf. En el que estan d'acord tots els historiadors és que va ser la família Santa Oliva qui va dur l'esplendor al castell. Tant va ser així, que segles després els habitants d'aquest interessant lloc van donar el nom de Pere i Dolça als seus (cabezudos), en honor d'aquesta noble família.

No van faltar els plets entre els propis cristians, una vegada conquistat el lloc als musulmans. L'abat de Sant Cugat pledeja amb els senyors del castell i una sentència de la curia tarragonina confirma la possessió del castell i el seu terme a Guillem de San Martí, però sota el domini del monestir de Sant Cugat, amb el que, d'haver interpretat les dades correctament, veiem que es crearia aquí un triple vassallatge, desavantatge que recauria, amb tota probabilitat, sobre els més febles, els habitants del terme dedicats a l'agricultura i la ramaderia.

En 1243 veiem de nou el cognom Santa Oliva, en la persona de Saurina, nom que apareix al costat del de Guillem de Terrassa. Ambdós venen el lloc al monestir juntament amb les seves pertinences.

Quant a l'església de Santa Oliva, va ser lliurada pel bisbe al Monestir de Sant Cugat perquè s'instal·lessin els seus monjos. El fill de Pere, Berenguer, es va fer monjo i va arribar a ser abat de Sant Cugat. Els successors de Pere van mantenir nombrosos plets per l'herència i a partir del segle XIV Santa Oliva va ser perdent el seu poder fins a acabar, amb la Desamortizació, en mans dels treballadors de la terra.

La zona vella es troba molt bé restaurada. Abunden els edificis amb interessants detalls arquitectònics i decoratius en pedra. També abunda la ceràmica, amb frases populars, com la font de la Verge del Remei, on pot llegir-se: “La font, com un riu de llágrimes que muntanya avall s’esmuny corrent ens brolla a glopades al peu del castell”. Aquesta font, aigua fresca te per al teu, per al meu i per al foraster.

La visita a aquest històric lloc passa necessàriament pel castell, molt restaurat, propietat particular, del que només és possible veure la façana i, tractant de ser discrets, endinsar-se per l'arc, per a visionar una mica de l'interior. El castell duu adossada l'Ermita del Remei, pel que a aquesta fortalesa la hi coneix també com Castell del Remei. Molt prop raja una font que va servir de safareig.

És convenient esbrinar qui guarda la clau del monestir de Santa Oliva, doncs a nosaltres no ens va ser possible accedir a l'interior. La portada principal, romànica, molt austera, amb doble arc de mig punt i alfiz, s'allarga fins al campanar, amb tres buits, dos baix i un, més petit, coronant la façana.