В 1920 году Златоустовский монастырь был закрыт В нем проживал тогда викарий Московской епархии, епископ Подольский Петр Полянский. Общество «Старая Москва» в 1923 году еще устраивало в монастырь экскурсии, но дни обители были уже сочтены.

Предложение сносить ее прозвучало 18 апреля 1927 года из уст ответственного работника Москоммунхоза Э. Кнорре. В декабре 1927 года Москоммунхоз внес монастырский комплекс в списки строений, которые он намечал сломать в наступающем году. Ансамбль ценных памятников архитектуры первой половины XVIII века пытались отстоять реставраторы Барановский и Левинсон, но судьбу обители решали совсем другие люди. В марте 1929 года Москоммунхоз вновь предлагал Моссовету снести три храма, колокольню и другие здания Златоустовского монастыря. Мотивировалось это, согласно изысканиям В.Ф. Козлова, тем, что по плану «Большой Москвы» на месте монастыря должен был быть разбит парк, и снос храмов «приблизит осуществление проекта». Эту атаку Главнаука и Наркомпрос отбили, но следующая была не за горами.

Паникадила XVII столетия — дар Федора Апраксина — на рубеже 1920—1930-х годов были вывезены из монастыря и, по данным В.Ф. Козлова, впоследствии проданы за границу. А в середине 1931 года Рудметаллторг добился выдачи на переплавку 11 колоколов XVIII столетия, висевших на монастырской колокольне.

Наконец, территория Златоустовского монастыря была отведена под строительство комплекса жилых домов НКВД. В 1933 году ансамбль монастыря уничтожили — сначала (зимой 1933 года) главный собор, затем все остальные храмы и постройки. Московский краевед Ю.Н. Александров, в детстве живший по соседству со Златоустовским монастырем, опубликовал воспоминания о его сносе: «На наших глазах происходило варварское уничтожение древнейшего памятника. В 1933 году был разрушен собор святого Иоанна Златоуста, а летом на монастырских руинах развернулась во всю мощь грандиозная стройка: возводился престижный дом для чекистов с соседней Лубянки. Весной и летом мы не могли открыть форточки из-за туч пыли и шума, доносившихся со строительной площадки, где работали, по-видимому, заключенные. Врезалась в память отвратительная картина: один из рабочих со смехом показывал своим коллегам большую связку черепов, извлеченных из монастырских гробниц».