В 1511 году великий князь Василий III учреждает особую Оружничью палату, в которой изготовляют боевое и парадное оружие. В 1547 году упоминается в документах уже Оружейная палата, находившаяся рядом с Казенным двором на Соборной площади. В течение нескольких веков при Оружейной и Мастерской палатах (объединены в 1726 году) Кремля работали многочисленные художественные и ремесленные мастерские.

В течение XVIII века постепенно зреет идея создания в Москве музея древностей по типу европейских. Петр I мечтал выстроить в Кремле Оружейный дом — храм славы русского оружия. Есть упоминания о строительстве здания Оружейной палаты в 1747 году. В 1755 году директор Московского университета А.М. Аргамаков выступил с проектом реорганизации Оружейной палаты, предусматривавшим и доступ посетителей к древностям, и постройку для палаты специального здания. Это здание было построено в 1760 году архитектором Д.В. Ухтомским, но снесено при подготовке к строительству баженовского кремлевского дворца.

Над проектом нового музейного здания в Кремле работал в 1780-е годы М.Ф. Казаков. Автором здания Оружейной палаты у Троицких ворот Кремля стал И.В. Еготов, ученик Казакова. Инициатором строительства был управляющий Экспедицией Кремлевского строения начала XIX столетия Петр Степанович Валуев. 21 марта 1805 года царь Александр I отдал распоряжение «о пристроении для приличного хранения древних сокровищ новых апартаментов».

Первое в Москве музейное здание, предназначавшееся для Мастерской и Оружейной палаты (так музей назывался до 1831 года), строилось по проекту Еготова в 1806—1812 годах. Это был великолепный двухэтажный классический дворец, завершивший ансамбль треугольной Сенатской площади в Кремле. Первый этаж здания — рустованный, высокий, второй — двусветный. Центральная часть главного фасада была выделена коринфским портиком, над которым возвышался аттик и пологий купол. Фасад над окнами второго этажа украшали лепные барельефы на темы русской истории, а аттик был увенчан статуями выдающихся русских поборников просвещения. Барельефы, статуи и все наружные лепные работы были выполнены талантливым скульптором Г.Т. Замараевым.

Археограф А.Ф. Малиновский, будучи почетным членом Мастерской и Оружейной палаты, в 1808 году и разработал программу «наружных Барилиефов, Статуй и Бюстов к воздвигаемому в Кремле зданию Мастерской — Оружейной палаты».