Roman Herzog urodził się 5 kwietnia 1934 roku w Landshut w Bawarii.
W 1973 r. został powołany do rządu krajowego kierowanego przez premiera Helmuta Kohla na stanowisko sekretarza stanu i pełnomocnika landu Nadrenia-Palatynat przy federacji. Zajmując to stanowisko był zarazem członkiem Bundesratu. Funkcje te pełnił również, gdy premierem był Bernhard Vogel.
W latach 1978–1980 był ministrem kultury i sportu landu Badenia-Wirtembergia. Po wyborach do Landtagu badeńskiego w 1980 r. został jego członkiem z okręgu Göppingen. Przeszedł wtedy z resortu oświaty do spraw wewnętrznych Badenii-Wirtembergii, którym kierował do 1983 r.
W 1983 r. został powołany na sędziego Federalnego Trybunału Konstytucyjnego. Z tego powodu 4 października 1983 roku złożył mandat. Był potem do 1987 r. przewodniczącym Pierwszego Senatu i Wiceprezesem Federalnego Trybunału Konstytucyjnego. W latach 1987-1994 był prezesem trybunału.
W wyborach prezydenta federalnego 23 maja 1994 został przez Zgromadzenie Federalne wybrany siódmym prezydentem Republiki Federalnej Niemiec. Na drugą kadencję nie kandydował.
W 1994 roku został zaproszony do Polski przez prezydenta Lecha Wałęsę na uroczyste obchody 50. rocznicy powstania warszawskiego. W swoim przemówieniu w Warszawie Herzog nieoczekiwanie przeprosił Polaków za zbrodnie dokonane przez Niemców w czasie II wojny światowej. Żaden Niemiec wcześniej tego nie dokonał - poza Willy Brandtem, który przeprosił Żydów w czasie swojej wizyty w Warszawie w 1970 r.
W 1996 r. ustanowił w Niemczech Dzień Pamięci Ofiar Narodowego Socjalizmu. Wielką uwagę zwrócił na siebie mową „impulsową”, w której powiedział, że przez Niemcy musi przejść impuls, aby przezwyciężyć skostniałe struktury (tzw. Przemówienie Berlińskie). 5 listopada 1997 r. wygłosił uznane przez wielu przemówienie dot. nauki. W ogóle nauka zajmowała w jego przemówieniach bardzo ważne miejsce; uważał, że nauka przez wzgląd na swe znaczenie dla każdego z osobna oraz dla całych Niemiec musi być prezentowana na pierwszych stronach gazet.
Roman Herzog przewodniczył Pierwszemu Konwentowi Europejskiemu, który przygotował między grudniem 1999 a październikiem 2000 Kartę praw podstawowych Unii Europejskiej.
Herzog jest współautorem i współwydawcą, uważanego za podstawowy, komentarza do konstytucji niemieckiej – Maunz/Dürig/Herzog/Scholz.
Zmarł 10 stycznia 2017 roku w Jenie.