L'immeuble porte le nom de la VRILLIERE car il fut la propriété de Louis Phelypeaux, marquis de CHATEAUNEUF, comte de SAINT-FLORENTIN, Duc de La VRILLIERE, fils d'un secrétaire de LOUIS XIV.

En 1737 il devient le siège de la Prévôté Royale et sert alors de prison. A partir de 1789 l’Hôtel de La Vrillière est utilisé pour les besoins de la commune de Saint-Germain-en-Laye. Il est le siège du tribunal de paix de Saint-Germain. C’est en 1792 que le Gouvernement concède officiellement l’Hôtel à la municipalité.

La « Salle des Arts » a été construite en 1735 pour être la Chapelle de la Congrégation des Hommes. Elle aurait été dotée et décorée par la Dauphine, mère de Louis XIV et ses proches. Elle avait une tribune réservée aux prisonniers de la geôle qui pouvaient ainsi suivre les offices sans avoir de contact avec le public.

En 1982, l’Hôtel et la salle des Arts entièrement réhabilités deviennent le siège de la Maison des Associations Saint-Germanoises.