Petit Palais wurde im Jahr 1317 gebaut. Es befindet sich im nördlichen Teil des Platzes, direkt vor der Residenz des Kirchenstaates und wird so genannt wegen seiner bescheidenen Größe und Wert mit dem Namen gegenüber dem Palast der Päpste.

Die Geschichte seiner Erscheinung vage: nach einer Version - es war für einen Neffen von Papst Johannes XXII, Arnaud de Via auf der anderen gebaut - es wurde von Kardinal Bérengère F. Elder gebaut. Nach seinem Tod wurden das Schloss und das Grundstück von Kardinal Arnaud de Via gekauft werden. Im Jahre 1335 starb Via De und der Palast gehörte niemandem, bis die Ankunft von Papst Benedikt XII, der es wieder gekauft und verwandelte sich in der offiziellen Residenz des Erzbischofs von Avignon.

Das Gebäude wurde stark in der Zeit von 1396 bis 1411 beschädigt, weil es als eine Hochburg der Päpste Avignon angereichert. Nach dem Ende der Feindseligkeiten, fiel allmählich der Palast in Verfall. In der zweiten Hälfte des XV Jahrhunderts, entschied Bischof Alain de Kotivi und sein Nachfolger Giuliano della Rovere (der spätere Papst Julius II), das Gebäude zu restaurieren und im Jahre 1503 gab ihm fast Urform. Della Rovere kamen in Avignon im Jahr 1474, als er von seinem Onkel, Papst Sixtus IV, dem Bischof von Avignon ernannt. Er fügte hinzu, auf den südlichen und westlichen Fassaden im Stil der italienischen Renaissance und im Jahre 1487 errichteten einen Turm (später, im Jahre 1767 wurde sie zerstört).

Während des Französisch Revolution, wurde der Palast das Eigentum des Staates, in dem neunzehnten Jahrhundert war es eine katholische Schule und später eine Berufsschule. Erst am Ende des XX Jahrhunderts auf dem Territorium des Palastes ist ein Museum.

Seit 1958 beherbergt es das Museum des Mittelalters. Im Jahr 1976 wurde es eine Kunstgalerie mit Werken der Meister der Renaissance eröffnet. Die 19 Zimmer des Museums, insbesondere, auch hier ist das Werk von Sandro Botticelli, Taddeo Gaddi, Taddeo di Bartolo, Lorenzo Monaco die berühmte "Madonna" Botticelli.