Здание в стиле ампир было выстроено в 1823-26 гг. для Опекунского совета по проекту архитекторов Жилярди и Григорьева. Его архитектура подчинена утилитарным целям. По первоначальному замыслу проект представлял собой группу зданий. Сюда входили: основной корпус, в котором находились конторы и приемные, два флигеля под квартиры для сотрудников Опекунского совета, стоявшие симметрично по обеим сторонам главного здания, и служебные постройки. Но после 1849 г. комплекс зданий изменил свой вид в результате перестройки. По проекту М. Д. Быковского основной корпус и жилые флигеля были объединены в целостную постройку в форме буквы П двухэтажными переходами. От этого комплекс лишился разнообразия форм, но приобрел более массивные пропорции. Долгое время он был самым внушительным строением в этой части города.
