До постройки этого здания здесь стоял огромный конный цирк Карла Маркуса Гинне, который сгорел. Затем этот участок купила В. А. Морозова и подарила его своему сыну Арсению. Затем три брата-миллионера Морозова поспорили, как лучше увековечить свое имя в истории. Младший брат, Арсений Морозов решил для этой цели построить необычный дом на этом участке, для чего объездил всю Испанию и Португалию. В результате пра-образом его дома стал средневековый замок Пена в Синтре (в Португалии). Он собственноручно делал эскизы своего чудо-замка, на что получал шквал критики от всех своих современников. Его мать так прокомментировала это строительство сына: «Раньше одна я знала, что ты дурак, а теперь вся Москва будет знать!». Даже в романе «Воскресение» Льва Толстого есть неодобрительные слова по поводу этого дворца. Но Морозов был в восторге от своего дома. После того как он погиб из-за пари в возрасте 35 лет (на спор прострелил себе ногу, стремясь доказать, что человек в состоянии вытерпеть любую боль, в результате чего скончался от заражения крови), этот дом перешёл его любовнице, которая тут же его продала. После 1917 года здесь обосновались анархисты, затем – труппа передвижного театра. В довоенные годы - посольство Японии, в годы ВОВ – посольство Великобритании, после войны – посольство Индии. С 1959 года этот особняк превратился в Дом дружбы народов, где проходили встречи с иностранными представителями и кинопоказы зарубежных фильмов. С 2006 года – это Дом приемов правительства. Рядом с ним по адресу Воздвиженка, 18/9 находится, в здании красивой усадьбы Шаховского-Краузе-Осиповских (1783 год), Федеральное агентство по связи с государствами СНГ и вопросам международного гуманитарного сотрудничества.