Cet exceptionnel hôtel particulier du XVIIIème siècle, de style néoclassique, s'élève à l'origine sur l'avenue des Champs-Elysées, alors en pleine campagne. L’hôtel est d'abord une "folie", abritant - selon la tradition - les amours clandestines du Comte d'Artois, frère de Louis XVI.
Après avoir connu plusieurs propriétaires, il est acheté en 1926 par Théophile Bader, président des Galeries Lafayette, et André Lévy, investisseur immobilier, pour son emplacement privilégié.
L'hôtel, classé monument historique, ne peut toutefois pas être transformé en immeuble commercial. Sur intervention d'Edouard Herriot, ministre de l'Education national et écrivain, il est donné à l'Etat avec mission d'y loger la Société des Gens de Lettres. Son déplacement, pierre par pierre, rue du Faubourg Saint-Jacques est un des grands chantiers de l'entre-deux guerres.
La SGDL s'y installe en 1929. A cette occasion, l'hôtel est doté d'un précieux mobilier "Art déco" réalisé par la maîtrise des Galeries Lafayette, sous la direction de Maurice Dufrène.
