S'han descobert jaciments pertanyents als períodes Neolític (5.000 a.C), calcolític,  edat del Bronze, èpoques ibèrica i romana. Estos assentaments van servir de base  per a l'establiment d'alqueries musulmanes en diferents partides del terme  municipal.   L'origen de Callosa (el significat probable del qual és "terra dura, seca" en llatí) és  una antiga alqueria musulmana que, després de la reconquista cristiana feta pel rei  Jaume I d'Aragó en el s. XIII, va ser adquirida en propietat per l'almirall Bernat de  Sarrià en 1290, durant el regnat d'Alfonso I de València i III d'Aragó, convertint-se  així en el seu primer senyor feudal. D'ací que a partir de llavors la ciutat passara a  denominar-se Callosa d'en Sarrià ("Callosa del Senyor Sarrià", en valencià) i es  convertira en el centre del senyoriu, que va arribar a comprendre gran part de  l'actual comarca de la Marina Baixa.   Des de llavors va ser adquirida per diferents famílies nobles, entre les quals  podríem destacar les de Sarrià (1290-1335), Corona d'Aragó (1335-1445), Bou  (1445-1560), Moncada (1560-1767) i el Comte d'Orgaz (1767). En l'actualitat, el títol  nobiliari del poble pertany a la família Crespí de Valldaura.   La ciutat conserva en el seu nucli antic part de la seua estructura urbana medieval,  delimitada per la línia de muralles de la Callosa intramurs, que es pot creuar encara  hui per una de les seues portes originals: el Portal. Al llarg d'esta línia es té la  imatge més tradicional de Callosa amb les restes de les muralles (s. XIV) i del  Castillo (± 1395 - s. XVIII), declarats Bé d'Interés Cultural des de l'any 2005.