Sylwester urodził się w Rzymie. Był synem Rufina – kapłana, który w czasie prześladowań dioklecjańskich przechowywał księgi liturgiczne i Pismo Święte należące do Kościoła w Rzymie lub (według innych relacji) po wczesnej śmierci ojca, jego matka Justa oddała go na wychowanie do pewnego uczonego i cnotliwego kapłana. Młodzieniec posiadł „mądrości książkowe” i „cnotliwe usposobienie”. Spowodowały one, iż ze szczególną miłością odnosił się do wędrujących pielgrzymów. Przyjmował ich do swego domu i otaczał wszechstronną opieką.

W wieku trzydziestu lat Sylwester został wyświęcony na diakona, a następnie prezbitera. Jego gorliwa służba Bogu sprawiła, iż cieszył się powszechnym szacunkiem i w 314 roku został wybrany papieżem.

Jego pontyfikat przypada na czas po ogłoszeniu edyktu mediolańskiego gwarantującego swobodę wyznania chrześcijanom – od 31 stycznia 314 do 31 grudnia 335 roku. W Liber Pontificalis (VII-VIII w.) i u Anastazego znajduje się o nim niewiele więcej niż spis darowizn udzielonych Kościołowi przez Konstantyna Wielkiego. Papież polecił rzymski dzień słońca (dies solis) jako Dzień Pański (pamiątka zmartwychwstania Chrystusa) a Konstantyn Wielki dekretem w 321 roku ogłosił niedzielę wolną od pracy.

Na synodzie w Arles (Arelate), zwołanym przez Konstantyna Wielkiego, był reprezentowany przez kapłanów Klaudiusza i Wita oraz diakonów Eugeniusza i Syrycjusza. Synod ten dotyczył herezji donatystów. Na Soborze Nicejskim I zaś był reprezentowany przez kapłanów Wincentego i Wita. Mówi się, że prowadził sobór w Rzymie, który potępił herezję Ariusza i jego zwolenników.

Dokonał uroczystej konsekracji bazylik św. Piotra na Watykanie (18 listopada 326) i św. Jana na Lateranie (324), które zostały ufundowane przez Konstantyna Wielkiego, a to dało początek uroczystym konsekracjom podobnych budowli.

Wiele legend z nim związanych okazało się nieprawdziwych, np. o ochrzczeniu przez niego Konstantyna Wielkiego – władcę na łożu śmierci ochrzcił Euzebiusz z Nikomedii.

Sylwester zmarł w Rzymie i został pochowany na cmentarzu św. Pryscylli przy Via Salaria. W VII w. wybudowano tam bazylikę ku jego czci. Obecnie część relikwii świętego znajduje się w kościele parafialnym w Nonantola – 11 km od Modeny. Innym kościołem pod jego wezwaniem jest kościół na Kwirynale.

Jego imię związane jest z Orderem Świętego Sylwestra oraz nocą sylwestrową.