La Casa Pastors es un palacio del s. XVII edificado sobre las murallas romanas y la fortificación medieval que se superpuso. En el interior podemos observar los muros de la fortaleza medieval y la imponente torre cilíndrica fortificada del s. XIV que preside una de las entradas a la ciudad, ahora conocida como Sala de Magistrados, así como las salas nobles de la casa señorial que fue a partir del s. XVIII. También es visible el rastro dejado por su último uso como Audiencia Provincial. Destacan las dependencias de la prisión, formada por dos celdas.