Commencée en 1770, la construction du Quartier Villars s'étend sur un siècle. Elle s'inscrit dans le programme de réforme de la vie militaire initié par le duc de Choiseul, ministre de la guerre de Louis XV. Le site porte le nom du maréchal Claude Louis Hector de Villars (1653-1734), natif de Moulins, qui fut un des grands hommes de guerre du règne de Louis XIV.
Les plans du bâtiment principal sont dus à l'architecte Jacques Denis Antoine (Paris 1733-Paris 1801), auteur, entre autres, de l'Hôtel des Monnaies à Paris.