В доме № 36 на Дворцовой набережной ранее находилась  Главная гауптвахта Императорского Зимнего дворца. Александр Сергеевич Грибоедов некоторое время (начиная с 11 февраля 1826 года) находился в ней в заключении.
Здание в стиле классицизма построено в 1754 - 1762 годах, архитекторы: Франческо Бартоломео Растрелли и И.Ф. Дункер.
В 1764 - 1775 годах здание перестраивается, создаются интерьеры; архитекторы: Жан Батист Мишель Валлен-Деламот, Юрий Матвеевич Фельтен, Джакомо Кваренги.
С 1818 по 1837 года интерьеры создаются Карлом Ивановичем Росси, Василием Петровичем Стасовым, Огюстом Монферраном, Александром Павловичем Брюлловым.
В 1838 - 1839 годах здание восстанавливалось после пожара Стасовым и Брюлловым.
Здание выходит на Дворцовую набережную и на Миллионную улицу.
Название Малый Эрмитаж здание получило ещё во времена Екатерины Великой, любившей устраивать здесь спектакли и увеселительные вечера - малые эрмитажи.

Оно соединяет Зимний дворец с Новым Эрмитажем

Проход между Малым Эрмитажем и Новым Эрмитажем

Вид со стороны Миллионной улицы