Одним из первых военных прокуроров становится и Николай Михайлович Рычков. В октябре 1922 года Н. И. Татаринцев, его бывший начальник по ревтрибуналу 5-й армии, выдвинул Н. М. Рычкова на должность военного прокурора Восточно-Сибирского военного округа, откуда тот в феврале 1923 года был переведен в Западно-Сибирский и Сибирский округа (в Омске и Новосибирске). Там Рычков прослужил до апреля 1927 года. К этому времени в Прокуратуре Верховного суда СССР был образован отдел военной прокуратуры, возглавляемый помощником Прокурора Верховного суда СССР по военной коллегии и военной прокуратуре (он же — Главный военный прокурор). Постановлением ЦИК и СНК СССР от 20 августа 1926 года было утверждено и Положение о военных трибуналах и военной прокуратуре. Обм картон базальтовый заказать обм к базальтовыи картон mikizol.ru.
В мае 1927 года Н. М. Рычкова переводят в Москву помощником прокурора в отдел военной прокуратуры Верховного суда СССР, который тогда возглавлял Петр Ильич Павловский. Служба в аппарате военной прокуратуры продолжалась три года. В январе 1931 года ЦК ВКП(б) выдвинул Николая Михайловича на очень ответственный пост — члена военной коллегии Верховного суда СССР. Здесь он прослужил шесть лет. Именно в эти годы начал со страшной силой раскручиваться маховик репрессий, беспощадно перемалывавший судьбы сотен тысяч людей. Свою кровавую лепту в борьбу со всякого рода «контрреволюционерами», «вредителями» и иными «врагами народа» внесла и военная коллегия Верховного суда СССР во главе с такой одиозной личностью, как В. В. Ульрих. Конечно, член военной коллегии Н. М. Рычков был также одним из тех, кто приводил в движение зловещий маховик.
В октябре 1933 года Н. М. Рычков, как и все другие члены партии, в соответствии с решением ЦК ВКП(б) проходил чистку в комиссии партийной ячейки Прокуратуры СССР и Верховного суда СССР. Председателем комиссии был Магидов, членами — Усанов и Папьян. Николай Михайлович подробно рассказал о себе и своей служебной деятельности, ответил на заданные ему вопросы.
Первым в прениях выступил заместитель председателя Верховного суда СССР М. И. Васильев-Южин. Он сказал: «Товарищ Рычков один из самых вдумчивых членов военной коллегии, но по судебным делам в отдельных случаях им допускались ошибки. Например, был случай, когда он приговорил к высшей мере наказания машиниста. Надзорная тройка заменила долгосрочным лишением свободы. В остальном товарищ Рычков крепкий большевик».
Выступивший вслед за ним председатель военной коллегии В. В. Ульрих назвал Рычкова одним из лучших членов коллегии. Он не согласился с оценкой Васильева-Южина о том, что осуждение машиниста к расстрелу — судебная ошибка, так как тот, по его словам, был виноват.
Разбиравший это дело в качестве члена надзорной тройки Овсянников, не посмел пойти против Ульриха и также сказал, что судебной ошибки не было, но «надо было смягчить приговор».
Комиссия постановила: «Рычкова Н. М. считать проверенным».
Служба в органах военной юстиции принесла Н. М. Рычкову ряд наград. В 1928 году Реввоенсоветом республики он был награжден именными серебряными часами, а в 1933 году — золотыми. 20 августа 1937 года «за образцовое выполнение задания правительства» удостоен высшей награды — ордена Ленина.
К этому времени Николай Михайлович был женат на дочери профессионального революционера, Ариадне Михайловне Морозовой. Его жена работала тогда врачом-педиатром в клинике МГУ (после войны она была сотрудником Московского городского отдела здравоохранения). У Н. М. Рычкова было четверо детей: сыновья Виктор, Юрий и Борис и дочь Наталья. 28 августа 1937 года приказом Прокурора Союза ССР Вышинского Николай Михайлович Рычков был назначен прокурором республики. Пробыл он на этом посту пять месяцев. Когда он пришел в прокуратуру республики, то обнаружил, что на ряде важнейших участков центрального аппарата «положение было катастрофическим», особенно в отделе жалоб. Там без всякого движения лежали (большей частью в мешках) почти 20 тысяч жалоб и заявлений граждан, по словам Рычкова, «вплоть до личных, интимного порядка, писем помощников прокурора». В то время, как отдел был завален жалобами, оперативные отделы их почти не рассматривали. Еще более удручающее положение сложилось в областных прокуратурах. Служебная дисциплина была низкой. Направленные на места из Прокуратуры РСФСР жалобы, даже взятые на контроль, не рассматривались месяцами. На запросы прокуратуры республики местные прокуроры, по существу, не реагировали. Н. М. Рычков стал вызывать к себе прокуроров областей для личных объяснений по поводу тех или иных жалоб. К январю 1938 года Николай Михайлович решительно перестроил всю работу по рассмотрению жалоб, вследствие чего в Прокуратуре РСФСР вместо 20 тысяч остались нерассмотренными всего 650 первичных и повторных заявлений.