Fins al període musulmà no hi ha cap indici que permeti assegurar l'època en què fou creat el primitiu nucli de població de Cabacés. El que se sap segur és que el poble existia durant la dominació musulmana amb el nom d'Avincabacer.

D'aquesta mateixa època dataria el castell de Cabacés, depenent directament del valí de Siurana.

L'any 1149, Ramon Berenguer IV fa donació d'aquest lloc a l'Abat premostratenc de Santa Maria de Monteflabon (Gàl.lia belga), per tal de fundar un Monestir amb el nom de Vallclara. La vida del Monestir fou efímera, per això el prior de Vallclara en féu donació al bisbat de Tortosa l'any 1158, donació que confirmà el Comte de Barcelona el 1159. Així s'inicià la Baronia de Cabacés, en la qual quedaren integrats també els pobles de Margalef, la Bisbal, la Vilella Baixa, la Figuera i el Lloar, sota la jurisdicció de la seu tortosina.

El 1185, el bisbe de Tortosa, Ponç de Mulnells donà Carta de Població als
habitants de Cabacés. Des d'aleshores, el títol de Baró de Cabacés fou ostentat pels prelats tortosins, que compartien la senyoria amb el Comte de Prades. La Baronia persistí fins al segle XIX en què s'aboliren les senyories.

Tot i així, els bisbes de Tortosa continuaven gaudint del títol; l'any 1991 el bisbe Ricard M. Carles hi renuncià per considerar-lo un honor fora de temps.