Le château fut construit au 12ème siècle par les chanoines du Chapitre de la Cathédrale qui y logèrent jusqu'à la Révolution française. Rénové dès 1883, il est aujourd'hui l'un des plus anciens musées historiques de Suisse.
Il abrite un véritable joyau : le plus ancien orgue jouable au monde, daté vers 1430 environ, que l'on peut entendre lors d'un festival annuel.