В конце 30–х годов к фермерскому павильону добавили двухэтажную пристройку, в которой разместились жилые комнаты наследника престола – будущего императора Александра II. На протяжении двух последующих десятилетий здание неоднократно перестраивалось под руководством архитектора А.И. Штакеншнейдера. Первая перестройка была связана с женитьбой в 1841 году цесаревича Александра на Гессен-Дармштадтской принцессе, в православии – Марии Александровне. Впоследствии здание расширялось в связи с рождением детей и ростом семьи. В ходе перестроек коровник был переведен в новое здание у Петергофской дороги. Со вступлением Александра Николаевича на престол статус дачи изменился, и к 1860 году скромная ферма превратилась в Фермерский дворец императора Александра II. Отделка интерьеров Фермерского дворца, как и всех построек на территории парка "Александрия", выполнена в неоготическом стиле. Внутри сохранились элементы первоначальной отделки – лепнина, фрагменты росписей стен и потолков, фрагменты дубового паркета, печи, камины и лестницы. Здание было оснащено всеми необходимыми для проживания удобствами. Здесь был устроен лифт, водопровод, туалетные и ванные комнаты. До наших дней сохранилась мраморная ванна в Туалетной Марии Александровны. Самая значимая интерьерная деталь Фермерского дворца – Синий кабинет Александра II. Именно здесь подготавливался важнейший законопроект об освобождении крестьян от крепостной зависимости.
Впервые с 1932 года экспозиция Фермерского дворца, как музея, была открыта после реставрации 19 июня 2010 года. 10 августа 2016 года открылась новая экспозиция на втором этаже дворца "Петергофские дачники", предлагающая посетителям погрузиться в атмосферу летнего отдыха на южном побережье Финского залива в XIX – начале ХХ веков.