В 1944 году Р. А. Руденко выдвинули на ответственный пост Прокурора Украинской ССР. Было ему тогда 37 лет. Забот у руководителя прокуратуры крупнейшей республики, серьезно пострадавшей от фашистского нашествия, было предостаточно. Он лично возглавил работу по расследованию фактов злодеяний, бесчинства и террора, устроенных на украинской земле против ее мирных жителей нацистами. Собранный по этому вопросу огромный документальный материал немедленно передавался в созданную Правительством СССР Чрезвычайную государственную комиссию.
С 20 по 22 июня 1945 года военная коллегия Верховного суда СССР рассматривала дело по обвинению генерала Л. Б. Окулицкого и других лиц (всего 15 человек), руководивших польским подпольем, действовавшим в тылу Красной Армии. В результате террористической деятельности так называемой Армии Крайовий было убито и ранено около 500 советских солдат и офицеров. По предложению И. В. Сталина процесс проходил в Колонном зале Дома союзов с широким привлечением как советской, так и зарубежной прессы, с частичной трансляцией по радио. На нем присутствовали дипломаты и корреспонденты из многих стран. Основным обвинителем был утвержден Главный военный прокурор Н. П. Афанасьев. Когда при обсуждении этого дела у Сталина возник вопрос о том, кто будет помогать обвинителю, Афанасьев назвал Прокурора Украинской ССР Р. А. Руденко. Сталин с ним согласился.
Роман Андреевич сумел показать себя на этом процессе хорошим судебным оратором, красноречивым и напористым. Поэтому нельзя считать случайным тот факт, что при определении Главного государственного обвинителя от СССР на Нюрнбергском процессе, выбор пал именно на прокурора Украины Руденко, и он блестяще справился с поставленной задачей. Участие Р. А. Руденко в Нюрнбергском процессе — ярчайшая страница его биографии. О советском прокуроре узнал и заговорил весь мир. Его роль в этом процессе, продуманные допросы подсудимых, обстоятельные и взвешенные, солидно аргументированные заключения, блестящая обвинительная речь хорошо известны. Чего стоит только один факт. Для изобличения подсудимых Р. А. Руденко задумал использовать показания фельдмаршала Паулюса. Последнего скрытно доставили самолетом в Нюрнберг. На одном из заседаний Руденко заявил ходатайство о допросе Паулюса. Защитники подсудимых не возражали, полагая, что приезд плененного Паулюса на процесс нереален. Судьи согласились с ходатайством советского прокурора и спросили у Руденко, сколько потребуется времени, чтобы доставить Паулюса в город. «Полчаса», — кратко ответил Роман Андреевич. По словам самого Руденко, появление Паулюса в зале заседаний произвело эффект разорвавшейся бомбы.
В октябре 1951 года Р. А. Руденко выступил на судебном процессе по делу оуновца-террориста Стахура, убившего вместе с Лукашевичем в октябре 1949 года писателя Я. А. Галана. Обвинительная речь его по этому делу является образцовой. Она неоднократно публиковалась, по ней учились выступать многие советские прокуроры.
29 июня 1953 года Р. А. Руденко был срочно вызван в Москву. В тот же день он присутствовал на заседании Президиума ЦК КПСС, на котором, по предложению Н. С. Хрущева, его утвердили Генеральным прокурором СССР вместо смещенного с этого поста Г. Н. Сафонова. К этому времени уже был арестован Л. П. Берия (26 июня) и надо было организовать следствие по его делу. Как впоследствии вспоминал Хрущев, прежний Генеральный прокурор СССР Сафонов не вызывал доверия у членов Президиума ЦК. «Мы сомневались, — писал Хрущев, — что он может объективно провести следствие по делу Берии».