В 1797 году княгиня А. Г. Белосельская купила небольшой каменный дом, находившийся на углу Невского проспекта и набережной Фонтанки, принадлежавший И. А. Нарышкину. В начале 1800-х годов архитектор Т. Томон сломал его и построил на участке новый дом, обращенный своим главным фасадом па Невский проспект. Проектные чертежи Т. Томона не дошли до нас, но облик этого дома, возведенного в формах классицизма, запечатлен на сохранившемся рисунке М. Н. Воробьева.

В 1846 году архитектор А. И. Штакеншнейдер по заказу князя К. В. Белосельского-Белозерского перестроил корпуса, выходившие на Невский проспект и Фонтанку, и возвел новые флигеля во дворе дома. Внешний облик и внутренняя отделка дома изменились коренным образом.

Штакеншнейдер исходил из образцов архитектуры русского барокко XVIII века, таких как Строгановский дворец, дворец Шереметевых на Фонтанке и др. Он широко использовал композиционные приемы и декоративные средства мастеров барокко: портики из трехчетвертных колонн и пилястр, лучковые фронтоны, сложные по рисунку наличники окон со скульптурными картушами, фигуры атлантов, поддерживающих колонны. Ему удалось достичь впечатления богатства и пышности фасадов, праздничности их декоративного оформления. Терракотовые фигуры атлантов на фасадах выполнены по моделям скульптора Д. И. Иенсена.

С 1884 года дворец Белосельских-Белозерских принадлежал брату Александра III - Сергею Александровичу. В 1888 году дворец был частично перестроен внутри для нового владельца. В 1897 году ремонтировались фасады дворца. Перестройка и капитальный ремонт не нанесли зданию существенного ущерба.

Интерьеры дворца дошли до нашего времени в хорошей сохранности. Отделка целого ряда дворцовых помещений представляет значительный художественный интерес.