Im Mittelalter war die Hauptstadt von Annecy, Genf County, und steht im Zentrum von Annecy, war die Burg der Sitz der Grafen von Genf. Die Burg wurde im zwölften Jahrhundert auf dem Gelände der Festung gebaut, gebaut vier Jahrhunderte früher. In dem dreizehnten Jahrhundert wurde es der Wohnsitz der Mitglieder der Familie des Grafen, später nach dem Herzog von Savoyen.

Im Mittelalter war die Burg mehrmals durch Brände zerstört, aber jedes Mal wurde reduziert, mehr und mehr die Stärkung seiner Verteidigung. Doch trotz der Dicke der Wände, drohenden Blick und bester Lage an der Spitze eines Hügels, in der ersten Hälfte des XVII Jahrhunderts, das Schloss wurde von der Französisch Armee übernommen. In XVII Jahrhundert beherbergt das Schloss die Kaserne und Lager, einem Mal, wenn er auch als Zufluchtsort für Obdachlose diente. Erst in der Mitte des XX Jahrhunderts wurde das Gebäude unter Denkmalschutz erklärt, und jetzt ist es ein Museum, wo man Kunstwerke und Objekte aus verschiedenen Epochen zu sehen untergebracht.

Einer der bekanntesten Bewohner des Schlosses war Robert von Genf - zeugt hier im Jahre 1342, den Sohn des Grafen Amadeus III. Robert von Genf ist auch unter dem Namen des Gegenpapst Clemens VII bekannt - ziemlich militant und grausam, der den Spitznamen der Metzger und Henker für seine Methoden für den Umgang mit den Rebellen. In der zweiten Hälfte des XIV Jahrhunderts in der katholischen Welt hatte zwei Väter - eine offiziell gewählt Urban VI und der zweite gewählte Kardinals "Opposition" Clemens VII, die gehofft hatten, die Macht zu ergreifen und zu stürzen Rom Urban VI. Gescheitert, ließ Gegenpapst Clement in Avignon, das einst das päpstliche Residenz.

Nach dem Tod von Clemens VII im Jahre 1394 wurde es mit Annecy zusammengeführt und Savoy verlor seinen Status als Hauptstadt der Grafschaft und der Grafschaft Genf war auch verschwunden. Aufgrund der Herzog von Savoyen Schloss gewann seine schönsten Turm Perrer.

Heute ist das Schloss ist umgeben von wunderschönen öffentlichen Gärten und andere historische Sehenswürdigkeiten. Mit ihren Mauern gesehen auf die Stadt und den See von Annecy.