Кубический объем четырехстолпного, первоначально одноглавого храма, сложенный из белого камня, внутри был темен и невелик. Есть сведения о сооружении в 1350 году каменного притвора собора, в 1473 году переделанного в трапезную. При сносе собора в 1930-х годах нашли фрагменты первоначального резного фриза из белого камня: растительный орнамент с изящным рисунком. Специалисты отмечают близость этого фриза с убранством сербских храмов того времени и влияние, оказанное им на декор раннемосковских храмов XIV—XV веков. Историк русской архитектуры А.М. Павлинов (1894) считал, что Спас на Бору выстроен «под влиянием владимирских церквей», указывая на трехфронтонное покрытие стен и форму дверных арок.

При сыне Ивана Калиты Симеоне Гордом в 1345—1346 годах собор был расписан «казною и велением» его жены Анастасии. Трудились над фресками русские мастера под руководством неких учившихся у греков Гойтана, Семена и Ивана. Согласно последним гипотезам историков древнерусской живописи, этот великокняжеский мастер Иван является отцом Андрея Рублева, который в одном из средневековых документов назван «Ивановым сыном»; в сохранившихся работах обоих художников находят общие приемы и стилистическое сходство. В соборе хранился драгоценный оклад с иконы Спаса Нерукотворного, которой брат византийского императора Фома Палеолог благословил свою дочь Софию на брак с Иваном III.

XVI  столетие приносит нам известия о многочисленных перестройках храма. В 1527 году его приказал обновить  великий князь Василий Иванович. Тогда же появились новые приделы. Историк П.В. Сытин говорит об обновлении храма после пожара 1547 года; перестраивался Спас на Бору и после пожара 1554 года. Иван Грозный после похода на Новгород велел пристроить к собору придел Трех Святителей — такой же был в новгородском Софийском соборе. Чертеж 1600-х годов изображает Спасский собор в виде одноглавого храма с тремя апсидами; с севера к нему примыкает небольшой придел. В XVII веке собор вновь перестраивался, о чем свидетельствуют характерные для того времени узорочные наличники, которые можно разглядеть на старинных изображениях.