C’est l’un des bâtiments les plus remarquables de la ville aux côtés de Ca l’Armenter. Construit entre deux murs mitoyens, il compte un rez-de-chaussée et trois étages. L’accès principal se situe sous un porche, délimité par quatre colonnes de forme octogonale surplombées de chapiteaux ornés de plusieurs éléments décoratifs, dont des fleurons et un petit démon sur la face intérieure. L’entrée principale présente un grand portail en arc brisé, orné de trois coquilles Saint-Jacques sculptées, une sur la clé de l’arc et les deux autres sur les sommiers.
Traditionnellement, la présence de coquilles Saint-Jacques sculptées sur la façade a laissé croire que l’édifice avait été un hôpital de pèlerins. Toutefois, l’hypothèse la plus plausible est celle associant l’édifice à une résidence épiscopale construite par l’évêque Hugues Desbach (1352-1361), dont le blason comportait une coquille Saint-Jacques.
