L'edifici es un antic palau de segle XVIII, que va ser construït per el mercader Francesc Gomis en 1792. Durant la invasió napoleònica, el mariscal de les tropes franceses va convertir el palau en la seva residencia habitual.

Actualment es un Museu d'art modern distribuït en diferents espais:
1. Pati interior
2. Sala Noble
3. Galeries