После смерти Марии Павловны Нарышкиной в 1793 году, по её завещанию, особняк перешёл к её племяннику, сыну её сестры Натальи, князю Павлу Щербатову, который на другом конце участка лицом к набережной Мойки построил двухэтажный каменный флигель с аркадой в первом этаже, с девятью торговыми лавками сдаваемыми в аренду местным купцам.
Когда в 1831 году Щербатов умер, домом стала управлять его вдова, Анастасия Валентиновна, дочь Валентина Платоновича Мусина-Пушкина. После смерти последней в 1841 году, дом перешёл к их дочери — Натальи Павловне Зубовой (1801—1868), бывшей замужем за графом Александром Николаевичем Зубовым (1797—1875), которая продала дом некой Рубцовой, от которой через несколько лет участок достался жене графа Платона Николаевича Зубова Ольге Павловне. В середине 1840-х годов особняк со стороны Миллионной улицы был трехэтажным. В 1856 году в доме жил композитор Николай Андреевич Римский-Корсаков. В середине XIX века архитектор Карл-Густав Ольштрем перестроил дом.
В 1857 году весь участок был выкуплен в казну и под руководством придворного архитектора Андрея Штакеншнейдера в начале 1860-х годов был перестроен под служебный корпус и конюшенный двор Ново-Михайловского дворца, построенного в это же время к свадьбе великого князя Михаила Николаевича и баденской принцессы и маркграфини Цецилии Августы. Фасад дома по Миллионной был декорирован пилястрами, убранством в стиле рококо (завитки в виде раковин, растительный орнамент, изогнутый в спирали, асимметрия декора). В этом корпусе находились квартиры придворных великого князя и основные службы дворца, а в дворовых строениях между Миллионной и Мойкой размещались конюшни и сараи, в построенных здесь флигелях жили великокняжеские слуги и конюхи. В 1863 году часть участка, примыкающая к Мойке, была сдана в аренду известному мебельному фабриканту К. А. Туру.
В начале 1920-х годов в корпусе, выходящем на Миллионную улицу, работало консульство Бухарской народной республики. После него здесь были устроены обычные коммунальные квартиры, в одной из которых жил историк театра Юрий Слонимский. В начале 1930-х годов здание было надстроено еще двумя этажами. С 1967 года здесь размещается Северо-Западный государственный заочный технический университет.