В доме часто устраивались музыкальные и литературные вечера, на них выступали Ф. И. Шаляпин и другие. В своем особняке на Фонтанке Панина бывала редко - она жила в доме 23 по Сергиевской ул. (Чайковского).
В 1918г. Панина эмигрировала. В здании с 1920-х гг. до Велико Отечественной войны размещался Дом работников печати - клуб журналистов и полиграфистов. В 1920-1928 гг. в доме находилась Ленинградская ассоциация пролетарских писателей (ЛАПП). 1930: театр «Живая красная газета». 1932 - 1935: Лениградский Дом печати. 1939 - 1940: Ленинградский Дом журналиста.   
Теперь несколько слов об истории Авиаспортивного клуба ДОСААФ, располагавшегося в этом здании. Открыт аэроклуб в 1908 г. На первом собрании была создана комиссия, которой поручили разработать Устав клуба. Устав определил главную миссию созданного предприятия: развивать в России идеи применения воздухоплавания в научно-технических, военных и спортивных целях; организовать совместную деятельность ученых и любителей воздухоплавания. Когда в 1909 году Николай II стал покровительствовать лётной организации, к названию прибавили слово «Императорский». Тогда же «Императорский всероссийский аэроклуб» вступил в Международную авиационную федерацию».
Клуб объединял лучших авиаторов - первого летчика России Г. Сегно, выдающегося авиатора Л. Мациевича и др. В советское время, в предвоенные годы клуб имел учебные самолеты и планеры.
Здесь в 1928-1931 гг. работал инструктором Герой Советского Союза В. Чкалов. В послевоенные годы тут помещался Дом обороны Добровольного общества содействия армии, авиации и флоту. В 1841 г. для нового владельца - князя Белосельского-Белозерского был составлен проект изменения фасада. Дом обороны ДОСААФ открыт в 1947г. Была открыта постоянная выставка по истории Осоавиахима-ДОСААФ. В 1993 г. здесь начала свою деятельность Камерная филармония Санкт-Петербурга. В 2007-2012 велась реконструкция здания.