На месте, где раньше был царский Литейный дворец, граф Шереметьев построил Странноприимный дом. Согласно семейному преданию, дом Н. П. Шереметьевым был построен как память об умершей жене. Она скончалась через год после свадьбы при родах. Прасковья Шереметьева (Ковалева в девичестве) была прозвана в народе Жемчуговой – неслыханного размера жемчуга ей были подарены Павлом I, который благословил брак крепостной актрисы из кусковской усадьбы царя и графа. Первоначальный план дома был сделан архитектором Назаровым. Некоторые детали, такие как великолепный портик и полукруглая колоннада, которые похожи на классицизм Санкт-Петербургского Казанского собора, были спроектированы гениальным Кваренги. В доме расположена красивая церковь (1803-1807 гг.), украшенная лепниной и росписью. В здании, кроме богадельни, которая могла принять 100 увечных, неимущих, престарелых обоего пола, располагалась и больница. Дом выделял также огромные суммы на всевозможные благотворительные цели. До самого 1917 года потомки графа содержали этот дом, даже не будучи очень богатыми, тем самым исполняя волю Шереметьева. В московском народе существовало выражение «жить на шереметевский счет». Шереметьевская больница стала основой для открытия в 1923 году городского Института скорой помощи, который был назван именем известного хирурга Н. В. Склифосовского. А в годы Великой Отечественной войны здесь расположили госпиталь. На базе института Склифосовского проходят обучения студенты хирургических кафедр нескольких учебных заведений столицы.