Хлебный дом — самое крупное сооружение баженовского ансамбля, которое строилось как дворцовая кухня. Кухонный корпус Хлебным домом стала называть прислуга. Василий Баженов придумал замаскировать хозяйственный блок под средневековый замок, чтобы здание меньше выбивалось из общего стиля.
Архитектор построил кухонный корпус в виде исполинского куба с закругленными углами. Он отказался от местных стройматериалов в пользу более влагоустойчивого белого камня из Хорошевских каменоломен. Фасады здания украсили эмблемой в виде каравая и солонки, над ними вензель из букв Х и С («хлеб» и «соль»).
Но достроить здание Баженов не успел: Екатерина II раскритиковала его работу и отстранила от проекта. В 1849 году архитектор Василий Дрегалов по распоряжению императора Николая I создал проект переделки Хлебного дома под лечебницу для крестьян. Затем здание превратилось в гостиницу для дачников, а с 1918 года до конца 1970-х дворец с облупившимися вензелями принимал жильцов коммунальных квартир.
В 2006 году Хлебный дом открылся после длительной реконструкции. Теперь его залы — часть исторической экспозиции. В них проходят выставки и вернисажи, а во дворе-атриуме проводятся концерты и театральные мероприятия.