Se han descubierto yacimientos pertenecientes a los periodos Neolítico (5.000 a.C),  calcolítico, edad del Bronce, épocas ibérica y romana. Estos asentamientos sirvieron de  base para el establecimiento de alquerías musulmanas en diferentes partidas del término municipal.   El origen de Callosa (cuyo significado probable es "tierra dura, seca" en latín) es una  antigua alquería musulmana que, tras la reconquista cristiana hecha por el rey Jaime I  de Aragón en el s. XIII, fue adquirida en propiedad por el Almirante Bernat de Sarrià en  1290, durante el reinado de Alfonso I de Valencia y III de Aragón, convirtiéndose así en  su primer señor feudal. De ahí que a partir de entonces la ciudad pasara a denominarse  Callosa d'en Sarrià ("Callosa del Señor Sarrià", en valenciano) y se convirtiera en el  centro del señorío, que llegó a abarcar gran parte de la actual comarca de la Marina  Baja. Desde entonces fue adquirida por diferentes familias nobles, entre las cuales podríamos  destacar las de Sarrià (1290-1335), Corona de Aragón (1335-1445), Bou (1445-1560),  Moncada (1560-1767) y el Conde de Orgaz (1767). En la actualidad, el título nobiliario  del pueblo pertenece a la familia Crespí de Valldaura. La ciudad conserva en su casco antiguo parte de su estructura urbana medieval,  delimitada por la línea de murallas de la Callosa intramuros, que se puede cruzar todavía hoy por una de sus puertas originales: el Portal. A lo largo de esta línea se tiene la  imagen más tradicional de Callosa con los restos de las murallas (s. XIV) y del Castillo (±  1395 - s. XVIII), declarados Bien de Interés Cultural desde el año 2005.