Автор описания Кремля 1883 года М.П. Фабрициус констатирует: «Теперь фасад здания ничем не напоминает прошлого».

На плане Кремля 1861 года под бывшей Оружейной палатой подпись: «Гвардейские казармы». В начале XX века здесь были казармы Екатеринославского полка.

В октябре 1917 года здание наполовину выгорело, в нем происходили перестрелки между юнкерами и революционными солдатами. Затем оно было восстановлено; в 1918 году

в нем расквартировали два полка латышских стрелков, надежных защитников новой власти. Впоследствии некоторое время здесь размещалось общежитие работников Совета Народных Комиссаров.

В конце 1950-х годов, как можно понять из цитированного выше письма краеведа Родина, существовал проект создания в здании у Троицких ворот филиала Оружейной палаты. Наличие авторских чертежей архитектора Еготова, многочисленных описаний и изображений, вероятно, позволяло восстановить первоначальный облик фасадов и интерьеров.

Но в дело вмешался первый секретарь ЦК КПСС Никита Сергеевич Хрущев.

Согласно воспоминаниям заслуженного строителя РСФСР

А.Н. Кондратьева, одного из авторов проекта и руководителей строительства Дворца съездов в Кремле, в начале 1959 года Н.С. Хрущев задумал построить в Москве новый большой зал для съездов КПСС и крупных общественных мероприятий. Заложенный в 1959 году, он первоначально именовался в проектных предложениях Дворцом конгрессов. До этого советские и коммунистические форумы проводились то в зале заседаний Верховного Совета СССР в Большом Кремлевском дворце, то в Колонном зале Дома Союзов, то в Большом театре. Но масштабы были не те. Во время поездки в Китай Хрущева поразил размах построенного в Пекине к 10-летию китайской революции здания Всекитайского собрания народных представителей — с залом заседаний на 10 тысяч мест и огромным банкетным залом. Мог ли Советский Союз отстать от Китая, которому тогда покровительствовал? Проектная вместимость зала заседаний Дворца съездов была увеличена с 4000 до 6000 мест, и архитекторам велено было дополнить проект грандиозным банкетным залом. В Пекин была командирована группа архитекторов и инженеров — изучать ценный опыт.