После его смерти проектированием занялся итальянский архитектор Микетти, а в 1750 году дворец достраивал Растрелли. В 1797-м император Павел I отдал величественное сооружение в дар сыну Константину Павловичу — так дворец стал Константиновским. У Константиновского дворца нелёгкая судьба — строительство длилось долго, а в 1803 году здание было сильно повреждено пожаром. Тогда изменениями и корректировкой проекта занимались сразу несколько именитых архитекторов. Через 50 лет строение дворца также обновляли архитекторы Штакеншнейдер и Мейер. Великая Отечественная война не обошла стороной Константиновский дворец, практически полностью разрушив его. В результате бомбовых ударов на месте комплекса остался только каменный каркас. Несмотря на это, здание полностью восстановили, и до начала 1990-х в нём располагались библиотека Арктического училища, военно-морская кафедра, радиотехническое и геофизическое отделения. В годы СССР дворцу практически не уделяли должного внимания, и он долгое время оставался в состоянии упадка.
Восстанавливать памятник архитектуры начали в 2000 году: использовались оригинальные чертежи, чтобы полностью сохранить подлинность дворца и его интерьеров. В парке были построены мосты и фонтаны, которые раннее существовали только в проектах. Водоёмы были углублены, чтобы принимать небольшие суда и яхты. Каждый элемент огромного комплекса уникален и неповторим, а внутреннее убранство дворца захватывает дух. В 2006-м «Дворец Конгрессов» принимал саммит «Большой восьмёрки», а в следующем году было утверждено решение разместить здесь коллекцию произведений искусства, подаренную государству Алишером Усмановым.