Estamos ante la antigua cárcel en la época de los Austrias, función que ocupó hasta bien entrado el siglo XVIII. Este edificio, similar a los de la Plaza Mayor, es uno de los más notables y mejor conservados de su época, especialmente su parte externa, ya que su interior ha sido modificado en numerosas ocasiones para adaptarlo a las distintas funciones que ha desarrollado. El diseño de la cárcel fue obra del arquitecto Juan Gómez de Mora; su planta se distribuye en torno a dos patios y tres plantas en las cuales se utilizaría el sótano para los calabozos, la primera para los escribanos y la segunda para los alcaldes y tribunales, combinando en los exteriores el granito, el ladrillo y la pizarra como en las demás construcciones de la época de los Austrias. En la actualidad está ocupado por las oficinas del Ministerio de Asuntos Exteriores.