Urodził się w 1944 roku w Sheffield w Wielkiej Brytanii. Karierę muzyczną rozpoczynał w wieku 15 lat w zespole The Avengers swojego brata Victor. Następnie założył z basistą Chrisem Staintonem zespół Grease Band, z którym nagrał swój pierwszy przebój "With a Little Help from My Friends" autorstwa Beatlesów. W kolejnych latach udzielał się w kilku projektach muzycznych. W roku 1969 wystąpił w amerykańskim programie telewizyjnym Ed Sullivan Show. W tym samym roku wystąpił na Festiwalu Woodstock.

W latach 70. XX wieku ze względu na kłopoty z alkoholem i narkotykami jego twórczość była mniej ciekawa i zauważana. Po deportacji z Australii za posiadanie narkotyków w 1972 praktycznie zawiesił działalność. Joe Cocker powrócił do działalności artystycznej w latach 80. Pierwszy album po długiej przerwie nie spotkał się z uznaniem, lecz dostrzeżono jego powrót. W następnych latach dalej nagrywał, powstały wówczas przeboje Up Where We Belong, You Are So Beautiful, When the Night Comes, N'oubliez Jamais czy Unchain My Heart autorstwa Raya Charlesa.

Kilkakrotnie koncertował w Polsce.