В 1806 году Александр I издал указ «О правилах управления и сохранения в порядке и целости находящихся в Мастерской и Оружейной палате древностей». Царская сокровищница постепенно становилась публичным музеем, научным и просветительным учреждением.

В том же году началась расчистка обширного участка у Троицких ворот, перед Потешным дворцом. В 1806—1808 годах здесь были разобраны древние строения Троицкого подворья с шатровой Сергиевской церковью и старинный

двор Бориса Годунова. Их огромные кирпичные погреба были открыты при строительстве новой Оружейной палаты.

Первое в Москве музейное здание, предназначавшееся для Мастерской и Оружейной палаты (так музей назывался до 1831 года), строилось в 1806—1812 годах по проекту архитектора И.В. Еготова. Авторский чертеж Еготова озаглавлен был: «Фасад вновь прожектированной галереи для помещения Оружейных вещей на новом месте». Руководство строительством было поручено князю МД Цицианову. Здание было выстроено уже к началу 1809 года, но отделка продолжалась до лета 1812-го.

Петр Валуев в 1809 году рапортовал Александру I: «Российский музей сей, украшающий императорскую площадь, не уступает ни огромностью, ни высотою, ни великолепием Арсеналу, основанному Петром Великим, и Сенату. Сооружен в два года с надлежащими прочностью и хозяйством ценою в двести тысяч рублей. Сумма сия при нынешней дороговизне на материалы и на наем рабочих людей, гораздо умереннее той, каковые употреблены на каждое из упомянутых зданий».

«Великолепное здание для хранения российских достопамятностей», по выражению Валуева, протянулось от Троицких ворот до угла Сената. Это был представительный дворец, завершивший цельный ансамбль классической треугольной Сенатской площади Кремля. Вершина треугольника находилась в Никольских воротах; по заданию, сформулированному Валуевым, здание должно было хорошо обозреваться от Никольских и Троицких ворот, а также из улицы между Сенатом и Чудовым монастырем.

Историки архитектуры Кремля Н.Я. Тихомиров и В.Н. Иванов так описывают старую Оружейную палату: «Протяженное двухэтажное здание прекрасно завершило ансамбль Сенатской площади.