Le comte de Flahaut est une des figures les plus pittoresques de la Restauration. Sa mère, la comtesse de Flahaut (1761-1836), est une romancière célèbre, connue sous le nom de son second mari : la marquise de Souza. Les mauvaises langues prétendent qu'elle serait la fille d'une maîtresse de Louis XV. L’enfant qu’elle met au monde en 1785 est lui-même adultérin : le futur comte de Flahaut est fils de Charles-Maurice de Talleyrand-Périgord (1754-1838), évêque d'Autun, ministre de Napoléon, artisan du Congrès de Vienne...
Flahaut fait carrière dans l’armée napoléonienne : exilé en 1815, il achète l’hôtel lorsqu’il revient à Paris en 1830 avec les Orléans. Il s’y installe avec sa femme et ses cinq filles… et un fils adultérin promis à un bel avenir : un jeune homme né en 1811, fils d’Hortense de Beauharnais, reine de Hollande et fille de la célèbre Joséphine. Le roi de Hollande était par ailleurs Louis Bonaparte, frère de Napoléon : de ce couple célèbre naît peu après le futur Napoléon III. Le fils adultérin deviendra donc en 1851 demi-frère de l’empereur !
Lorsqu’il s’installe à l’hôtel des Champs-Élysées avec son père, en 1830, il porte encore le nom d’un père de complaisance, Auguste Demorny, propriétaire à Saint-Domingue : ni le comte, ni la sœur de Napoléon ne pouvaient le reconnaître. Mais lorsque Napoléon III deviendra empereur, il fera de son demi-frère le duc de Morny*. Cette figure centrale de la politique et de la culture française sous le second empire pouvait dire avec humour que dans sa famille, on était bâtard depuis trois générations : « Je suis arrière-petit-fils de roi, petit-fils d’évêque, fils de reine et frère d’empereur, et tout cela naturellement. » En 1830, ce n’est encore qu’un jeune dandy, qui occupe un appartement indépendant de l'hôtel, au-dessus des écuries.
De cette époque date la décoration intérieure de l’hôtel, revue avec goût par la comtesse, fille de lord Keith, issue de la haute aristocratie anglaise. C’est une des plus belles maisons de Paris, note le comte de Castellane, avec un ameublement à l’ancienne et de belles étoffes qui reviennent à la mode. Les jeunes demoiselles sont élevées dans la religion anglicane avec les meilleurs précepteurs : le professeur de piano d’Emily n’est autre que Chopin.
Lorsque le comte de Flahaut devient ambassadeur à Vienne, en 1841, il loue l’hôtel des Champs-Élysées au prince de Ligne*, ambassadeur de Belgique à Paris. Celui-ci y donnera des bals courus du tout-Paris. Le plus célèbre, le 21 février 1848, est le dernier tenu sous la royauté : toute la nuit, les invités, parmi lesquels Thiers, Girardin ou le duc de Morny, entendent défiler les troupes sous les fenêtres de l’hôtel. La révolution éclate le lendemain. L’hôtel ne sera revendu par Flahaut qu’en 1853.