Nato il 12 aprile 1940 a Milwaukee, Wisconsin, e figlio di un vicario, Al Jarreau inizia a cantare da piccolo nel coro gospel della chiesa locale. Nonostante il suo amore per la musica e per il canto, Jarreau continua gli studi e si laurea in psicologia. Inizia anche a lavorare come assistente sociale ma si rende conto che le sue attitudini sono ben diverse. Si trasferisce allora a Los Angeles in cerca di fortuna e per soddisfare la sua voglia di espressione musicale. Inizia a cantare in piccoli jazz club nei primi anni Sessanta e nel 1965 incide il suo primo album “1965” per la Bainbridge. Nessuno però si accorge di questo disco e ci vogliono ben dieci anni prima che Jarreau torni a registrare un altro album. Si accorge infatti di lui l’ etichetta Reprise che nel 1975 lo presenta ai vertici dell’etichetta di Frank Sinatra. In poche settimane registra “We got by” che in breve tempo riceve positiva accoglienza dalla critica e fa conoscere Jarreau al pubblico del jazz americano. L’anno successivo esce GLOW, che conferma ulteriormente le capacità d’interprete di Al e lo impone come uno dei più interessanti vocalist dell’area soul jazz. Grazie al produttore Tommy LiPuma, Jarreau mette su disco una delle sue magnifiche esibizioni dal vivo e incide i successivi lavori, perfetti esempi del più sofisticato pop-jazz americano. Al diviene in pochi anni maestro indiscusso del genere, partecipa ai più importanti jazz festival internazionali e riceve numerosi premi sia negli States (assegnati ben cinque Grammy Award) che in Europa. Famose le sue cover di brani come “Your song” di Elton John, “Rainbow in your eyes” di Leon Russell, “Mas que nada” di Jorge Ben e l’adattamento vocale di “Take five” di Paul Demond. Duetta con Randy Crawford nel mitico “Casino Lights” registrato al Montreux Jazz Festival, appare inoltre come ospite nei dischi di Quincy Jones, Shakatak, Chick Corea, Freddie Hubbard, Joe Sample,Larry Carlton, Bob James, Lee Ritenour e, soprattutto con il producer Jay Graydon, si fa accompagnare dai più importanti musicisti jazz e session man americani.
Nel marzo 2000 esce TOMORROW TODAY a cui fanno seguito ALL I GOT (2002) e ACCENTUATE THE POSITIVE (2004). Il disco GIVIN’IT UP del 2006 – registrato con George Benson – riceve tre nominations ai Grammy. Nel 2007 esce invece A PORTTRAIT”/LOU HARRISON.
Il suo ultimo album era “My Old Friend: Celebrating George Duke”, pubblicato nel 2014 per la Concord.
Scompare nel febbraio 2017 all’età di 76 anni