Петр I, по указу которого были объединены коллекции художественных мастерских прежних царствований, мечтал выстроить в Кремле Оружейный дом — храм славы русского оружия. В 1755 году директор Московского университета А.М. Аргамаков выступил с проектом реорганизации Оружейной палаты, предусматривавшим и доступ посетителей к древностям, и постройку для палаты специального здания. Это здание было построено в 1760 году архитектором Д.В. Ухтомским, но снесено при подготовке к строительству баженовского кремлевского дворца.

Над проектом нового музейного здания в Кремле работал в 1780-е годы М.Ф. Казаков. Интересно, что будущий автор здания Оружейной палаты у Троицких ворот Кремля И.В. Еготов, ученик Казакова, копировал и подписывал его чертежи. В них уже были намечены округлые залы, предусматривалось (что сбылось на треть века позднее) размещение в новом музее баженовской модели Кремлевского дворца.

Инициатором сгроительства Оружейной палаты у Троицких ворот Кремля был управляющий Экспедицией Кремлевского строения начала XIX столетия Петр Валуев. Именно он в переписке с императором настаивает на сломе старинных ветхих построек и строительстве нового здания для вещей из Оружейной и Мастерской палаты. Валуева не остановила даже отповедь Александра I в ноябре 1804 года:

«Весьма было бы угодно, если бы найдена была возможность сохранить памятники древности нашей в Кремле, находящиеся там, где ныне они хранятся. Не исключая из сего как древних вещей, так и оружия и чтоб прежних строений вид сохранен был по возможности в первоначальном его положении».

Валуев продолжал доказывать императору, что вещи из Оружейной и Мастерской палаты не раз перемещались из одного кремлевского хранилища в другое, что и в прежние времена упразднялись строения, сделавшиеся ненужными. Он даже составил для императора специальную выписку об уничтоженных в Кремле с 1743 года зданиях и о перемещениях коллекций Оружейной палаты, особо подчеркивая, что все это производилось каждый раз по высочайшим распоряжениям. И. Александр I, видимо, убедившись, что не войдет в историю, как первый монарх — разрушитель кремлевских древностей, уступает.