Профессор П.Н. Савицкий, будущий заключенный послевоенных мордовских лагерей, писал в 1936 году: «Снесена Сухарева башня, по своим архитектурным достоинствам ничем не уступавшая лучшим памятникам Европы. Такова не только в Москве, но и по всей России русофобская практика коммунистов. Отдельные черты складываются в картину ожесточенного гонения на все, что есть ценного в историческом прошлом нации».

А что касается угроз Кагановича, то они отнюдь не были пустыми. В Рязани в январе 1937 года следователь НКВД обвинял знаменитого впоследствии искусствоведа Н.К. Вагнера в том, что он «ругал Кагановича, Ворошилова и других за снос Сухаревой башни и Красных ворот». «Я негодовал по поводу разрушения замечательных памятников архитектуры древней Москвы», — «сознается» Вагнер в своих воспоминаниях, изданных в начале 1990-х годов. «За Сухареву башню» Вагнер поплатился десятью годами жизни на Колыме.

В конце 1980-х годов, после публикации переписки о сносе Сухаревой башни в журнале «Известия ЦК КПСС», Л. Каганович решил оправдаться перед потомками и написал в редакцию партийного журнала специальное письмо о том, как принималось решение об ее сносе. Письмо он, однако, не отправил, оно вошло впоследствии в вышедший в 1996 году сборник воспоминаний Кагановича, а незадолго до того было впервые опубликовано в СМИ при участии автора этих строк. Через шестьдесят с лишним лет после сноса Сухаревой башни Каганович уверял, что к началу 1930-х годов только что отреставрированная башня «пришла в крайне ветхое состояние, можно сказать, аварийное. Она вся была в трещинах». Причиной сноса башни по Кагановичу были не то что транспортные проблемы, а ежедневная гибель возле башни 5—10 человек из-за оживленного движения по Садовому кольцу. Каганович писал, что очень серьезно тем не менее рассматривались два предложения: пустить под башней транспортный тоннель (это предложил он сам) или, разобрав дома на площади, устроить на ней круговое движение. Вопрос рассматривался, по словам Кагановича, и в горкоме, и в обкоме партии, который он возглавлял, и в правительстве и на Политбюро. Для строительства сложного тоннеля метростроевцам не хватало опыта, пишет Каганович, да и нельзя было отвлекать их от основной работы — сооружения метро.