Данное здание представляет собой превосходнейший пример усадебного строительства, производимого в городах на начальном этапе XIX столетия, а также архитектурных сооружений периода эклектики. Строительство главного здания было завершено еще до 1770-х годов, а вся усадьба была построена к 1811 г. Ее владелец Тучков А.А., являющийся генерал-майором и будущим героем войны 1812 г., осуществил расширение главного строения, а также во дворе возвел служебный корпус, появление оставшихся флигелей произошло позже.
Свой нынешний вид данное сооружение получило в1870-71 гг.: именно тогда оно было полностью перестроено московским архитектором Каминским А. С. в стиле «растреллиевского» варианта необарокко. Данным зодчим было расширено само здание, причем основная структура первозданного фасада не потеряла форму, а также осуществлена обработка декораций: полуколонны, лепные наличники и парапеты с эксклюзивными вазами. В таком же духе была проведена отделка парадных помещений. В 1899 г. данная усадьба досталась фабриканту Морозову И. А., который был известен также как московский коллекционер и основатель собрания скульптуры и живописи западноевропейских произведений второй половины XIX столетия. Дабы разместить коллекцию, Морозов дал поручение Кекушеву Л. Н., мастеру модерна Москвы, полностью удалить весь эклектический декор, находящийся до этого в залах парадной анфилады, благодаря чему была бы создана особая атмосфера строгости.
В 1904-1906 гг. вновь осуществилось оформление интерьеров в духе неоклассицизма. В 1908 г. парадная лестница данной усадьбы, а также ее концертный зал были красочно оформлены декоративными панно Дени М., выдающимися работами Боннара П. и Майоля А. Впоследствии эта усадьба была названа Морозовской галереей. Затем в 1919 г. произошло открытие Второго музея, посвященного новой живописи, истоки которой уходят в Запад. В 1923 г. Первый и Второй музеи были объединены, в результате образовался музей, который носил название Государственного художественного музея нового западного искусства. Начиная с 1925 г., он стал филиалом Музея, специализирующегося на изящных искусствах. Однако в 1948 г. данный музей прекратил свое существование, а его фонды распределились между Музеем изобразительных искусств имени Пушкина А. С. Москвы и Эрмитажем Санкт-Петербурга. Само здание досталось Академии художеств СССР, которая была создана в 1947 г., а в 1992 г. ставшая Российской Академией художеств.
Особую ценность представляет и жилой флигель, сделанный из камня, который разместился в глубинке двора: по сей день его первоначальный вид (начало XIX столетия) сохранен. В конце прошлого века был возведен стеклянный свод во внутреннем дворе данной усадьбы, благодаря чему новообразовавшееся пространство можно использовать при организации экспозиций.
