По углам каре расположены жилые объёмы, они выше примыкающих флигелей и выглядят как павильоны-башни. Два верхних этажа украшены плоскими лопатками в простенках между окнами, сверху расположен карниз, который над средними частями фасадов прерывается и переходит в закруглённый фронтон; первый этаж трактован как цокольный. В конюшенных флигелях сделан глухой цокольный этаж с полуциркульными окнами над ним, внутри были сделаны своды с распалубками. В большой внутренний двор вели арочные проезды.
С конца XIX века здание неоднократно перестраивалось с изменением планировки и внешнего вида. В 1893 году северный флигель расширили и сделали в нём манеж. В 1939 году западный флигель надстроили до карниза угловых павильонов. В 1950—1954 годах прошла реконструкция по проекту С. В. Поповой-Гурич с приспособлением под столовую, спортивный комплекс, учебные мастерские и лечебницу Арктического морского училища. Изначальный облик сохранил только южный фасад здания. Ещё одна реконструкция прошла в 2001—2003 годах.