Fondé en 1467, le bâtiment qui abrite l'école d'arts plastiques a été édifié par Charles d'Anjou, Comte du Maine et Vicomte de Châtellerault. Il avait, déjà à sa création, vocation d'enseignement. Bien qu'agrandi en 1842, les capacités d'accueil de ce collège communal ne suffisent plus. Il sera transféré en 1940, boulevard Blossac et prendra le nom de Collège René Descartes.

Depuis le début des années 80, il accueille l'école d'arts plastiques. Il est devenu un lieu singulier où se mêlent patrimoine et oeuvres d'art.