Летописцами церковь Константина и Елены впервые упоминается в связи с пожаром 1 августа 1470 года и последующим восстановлением. Некоторые исследователи считают, что храм уже тогда мог быть каменным. Он возобновлялся и в 1530-х годах великой княгиней Еленой Глинской, матерью Ивана Грозного. На кремлевском чертеже 1600-х годов на Подоле показаны и деревянный восьмигранный храм, и каменная одноглавая церковь с тремя апсидами, крыльцом с южной стороны и щипцовым завершением фасадов. Однако на плане Москвы М. Мериана (1643) изображена лишь восьмигранная деревянная церковь.

И.Е. Забелин пишет, что церковь была деревянной до 1651 года, а «в этом году было повелено соорудить ее каменную, но исполнилось ли это повеление, неизвестно». Дореволюционные справочники датируют храм 1651 годом, указывая, что соорудил его боярин Илья Милославский, отец царицы Марии Ильиничны. К концу XVII века церковь уже была, во всяком случае, выстроена в камне: в 1692 году она была «возобновлена» на средства царицы Натальи Кирилловны Нарышкиной и царевича Алексея Петровича, матери и сына Петра I. 4 декабря 1692 года храм освятил патриарх Адриан. Весьма любопытно и то, что церковь пользовалась покровительством цариц и их родственников, и то, что заботились о ней в разное время Милославские и Нарышкины, представители двух соперничавших кланов, родственников первой и второй жен царя Алексея Михайловича. Возможно, соперничество проявилось и в заботах о храме: церковь, выстроенную Милославскими, обновила и переосвятила Нарышкина.

В Константино-Еленинской башне, как известно, находился кремлевский пыточный застенок, и историки XIX века предполагали, что в храм Константина и Елены «были приводимы уличенные в преступлении к присяге и увещанию, прежде чем отводились в застенок для пытки». Вокруг церкви в

XVII—XVIII веках располагались дворы служителей кремлевских соборов во главе с протопопом Успенского собора. Для них храм Константина и Елены был приходским. Дворы примыкали к церкви так тесно, что алтарь и заборы разделяли всего три сажени (около 6 метров).