В Конституции СССР 1936 г. отразилась тенденция к снижению роли конституционного контроля. Отражая приоритет союзного законодательства над республиканским, Конституция 1936 г. уже не содержала положений, имевшихся в Основном Законе 1924 г., — о праве республиканских органов опротестовывать акты союзных органов.
Конституция СССР 1936 г., как и конституции союзных республик, закрепила функцию конституционного контроля за высшими органами государственной власти. Однако на практике эта функция не получила достаточного развития и в какой-то мере осуществлялась в рамках Верховного Совета СССР и его постоянного органа — Президиума Верховного Совета СССР при согласовании проектов республиканских законодательных актов. Деятельность Президиума Верховного Совета СССР носила в основном характер предварительного контроля. Кроме того, в период с 1938 по 1969 г. им были изданы четыре указа по вопросам несоответствия отдельных статей конституций союзных республик Конституции СССР, а также шесть указов о несоответствии нормативных актов союзных республик общесоюзному законодательству.
Идея создания полноправного и независимого судебного конституционного контроля неоднократно выдвигалась впоследствии, особенно в 60 — 80-е годы (проект Комитета конституционного контроля Верховного Совета СССР, Государственного Конституционного Суда СССР и т.п.). Однако и в Конституции СССР 1977 г. модель конституционного контроля не получила должного развития, хотя были несколько расширены контрольные полномочия высших органов государственной власти.
Основной Закон 1977 г. предусматривал, что главенствующее положение в системе органов конституционного контроля вновь принадлежит Верховному Совету СССР. Право осуществлять конституционный контроль сохранил и Президиум Верховного Совета СССР. Статьей 121 Конституции СССР было предусмотрено, что Президиум Верховного Совета СССР «осуществляет контроль за соблюдением Конституции СССР и обеспечивает соответствие конституций и законов союзных республик Конституции и законам СССР»; «дает толкование законов СССР»; «отменяет постановления и распоряжения Совета Министров СССР и Советов Министров союзных республик в случае несоответствия их закону».
В 1988 г. Президиум Верховного Совета СССР дважды обсуждал вопросы о конституционности актов нижестоящих Советов: в июле — решений Совета народных депутатов Нагорно-Карабахской автономной области, Верховных Советов Азербайджана и Армении по карабахскому вопросу; в декабре — Декларации о государственном суверенитете Эстонской ССР. В обоих случаях Президиум ВС СССР, признав некоторые акты неконституционными, предложил отменить эти акты самим органам, их издавшим.
На XIX Всесоюзной конференции КПСС в июне 1988 г. М.С. Горбачев в рамках программы реорганизации системы органов государственной власти СССР и республик на 1989 — 1990 гг. выдвинул идею создания специального органа, контролирующего соблюдение Конституции — Комитета конституционного надзора СССР (далее — ККН).
1 декабря 1988 г. в Конституцию СССР были внесены изменения и дополнения, предусматривающие создание ККН СССР, избираемого Съездом народных депутатов сроком на 10 лет. Предполагалось, что состав ККН будет избран на I Съезде народных депутатов СССР, однако этого не произошло (по вине литовской делегации, покинувшей зал перед голосованием).