Прославилась усадьба своими хозяевами, а кроме того, она овеяна легендами и увековечена в литературных произведениях. Здание хорошо сохранилось до наших дней.
Появилась усадьба благодаря уральскому купцу-старообрядцу Льву Расторгуеву. Строительство началось в 1798 году и длилось почти четверть века, но Расторгуев до завершения строительства не дожил. Исследователи считают, что такие большие сроки связаны с сооружением больших подвалов и сети подземных ходов.
После смерти Расторгуева усадьба перешла его зятю Петру Харитонову. Он выкупил близлежащие земли и разбил рядом с особняком огромный сад в английском стиле. Харитонов был богатым человеком и владел несколькими заводами. По слухам, недовольных рабочих и мятежников скидывали в подвалы усадьбы.
В 1837 году Харитонов потерял своё состояние и по указу императора был выслан в Финляндию за жестокое обращение с рабочими заводов. Долгое время усадьба стояла пустой, но потом некоторые помещения стали сдавать в аренду.
Во время революции в усадьбе размещался отряд Красной гвардии. Позже под сводами расторгуевской усадьбы зарождался уральский комсомол (в память об этом здесь был установлен памятник комсомольцам Урала), затем в 1937 году в здании была проведена реконструкция. После реконструкции бывшую усадьбу передали Дворцу школьников и пионеров. Здесь начинали свою творческую деятельность Эрнст Неизвестный (знаменитый скульптор), актёр Александр Демьяненко (всем известный Шурик), Борис Штоколов (оперный певец) и многие другие популярные личности.
В наше время, когда не стало пионеров, усадьбу переименовали во Дворец детского и юношеского творчества.
К усадьбе прилегает живописный Харитоновский сад — единственный сохранившийся образец ландшафтного искусства XIX века в Екатеринбурге.
Отзывы об усадьбе Харитонова-Расторгуева