Kristofferson, 22 Haziran 1936'da Teksas, Brownsville'de muhafazakar bir askeri ailenin üç çocuğundan ilki olarak doğdu. 1954'te liseden mezun olan Kristofferson, Güney Kaliforniya'daki Pomona College'da yaratıcı yazarlık ve William Blake'in şiirine odaklandı.