Каменный остров в 60-е годы XVIII века подарила Павлу I Екатерина II. В 1776 году здесь началось строительство дворца для наследника.

Автор первого проекта дворца неизвестен, но помогал ему архитектор Юрий Фельтен. Но больше всего над дворцом работал Джакомо Кваренги. Интерьеры дворца совершенствовались в соответствии с замыслом архитектора и пожеланиями наследника, пока сам Павел и его супруга путешествовали по Европе.

В левом крыле дворца располагались столовая, гостиная, два кабинета с библиотекой, а в правом - театр, в котором впоследствии выступали императорские труппы. Рядом с дворцом разбили парк, который расширялся до середины XVIII века, заложили Чесменскую церковь, которая позже стала храмом Мальтийских рыцарей.

После коронации Павел перебрался в Павловск, а Каменностровский дворец стал резиденцией последнего польского короля Станислава-Августа Понятовского.

В начале XIX века Каменностровский дворец стал излюбленным местом Александра 1. Отсюда он провожал Кутузова к войскам в 1812 году. Именно туда, по легенде, к Александру прискакал Медный всадник, разгневанный возможностью эвакуации из Петербурга из-за угрозы приближения французов. В это время пейзажный парк вокруг дворца разросся, занимались им в XIX веке Тома де Томон и архитектор Шарлемань. В 30-50 годы дворец был резиденцией дворца великой княгини Елены Павловны, известной меценатки, покровительницы музыкального искусства. При ней появились позднеклассические росписи и скульптурное убранство музыкального салона.

По данным городского КУГИ, не ремонтировался дворец более 117 лет. Военные, которым он принадлежал в течение почти века, поддерживали его в приличном состоянии, но на масштабную реконструкцию средств им не хватало. Каким станет дворец в бытность резиденцией Валентины Матвиенко - неизвестно. Дворцу планируют вернуть исторический цвет, который рассчитывают найти под слоями краски. Проходить здесь будут конференции, конгрессы, официальные приемы. На обследование и реставрацию город в этом году выделит 100 миллионов рублей. На здании уже устанавливают леса.

Между тем, санаторий военных летчиков, который находился в здании  Каменностровского дворца, пока не прекратил существования, но не получил и места для переезда, хотя в 2006 году Валентина Матвиенко в своем запросе о предоставлении дворца городу обещала 160 млн рублей на строительство корпусов для санатория.

Пока же 2500 военных летчиков, которые ежегодно лечились здесь, лишились этой возможности, а врачи остались без работы, хотя юридических оснований для этого нет, сообщил «Эху Петербурга» завотделом лечебной физкультуры санатория в Камменноостровском дворце Борис Андрианов:

« Решения министра обороны нет о расформировании санатория. Нет директивы Генерального штаба. И решения правительства до сего момента нет. Ну, а Валентина Ивановна везде, во всех документах пишет, что с согласия главкома ВВС, министерства обороны. Окончательно мы перестали функционировать как санаторий с ноября, нам было отдано распоряжение прекратить прием отдыхающих, больше путевки не выдавались, хотя народ звонил, просил. Мы никуда не переезжаем, нам ничего не предоставляют. Т.е. безвозмездно: всех нас, сотрудников, на улицу, а там будет делаться резиденция.

Забирала бы санаторий - взамен бы что б дала. Или тогда бы историко-архитектурный памятник на этом месте был сделан, чтобы сохранить. Это я понимаю, правильно было бы. Но когда это делается под резиденцию - это уже ни в какие ворота не лезет. Тем более здоровье летного состава, который сохраняет обороноспособность нашей родины. Такое отношение к нему».

Андрианов также пояснил, что против передачи здания города выступил бывший главком ВВС Владимир Михайлов, но через 2 месяца после этого он был снят со своего поста.

Такая же участь постигла экс-начальника санатория Марка Стадлера, который отказался подписывать акт приемки-передачи здания городу. Вместо него на пост главврача санатория был назначен 27-летний  Максим Желнов, сотрудник гостиничного комплекса Петербурга, который и подписал спорный документ.