Joe родился в Джорджии, но когда ему было всего лишь два года, семья переехала в городок Opelika, штат Алабама. Неудивительно, что мальчик, родители которого были священниками, проводил большую часть своего времени в церкви, учась петь, играть на гитаре и даже дирижировать хором.
В конце 80-х он начал играть в местных группах, развивая свои умения после окончания старших классов. Сменив несколько непостоянных работ, Joe Thomas купил билет в один конец до Нью-Йорка в надежде осуществить свою мечту стать музыкантом. Его навыки в пении и игре на гитаре сослужили Joe хорошую службу, они произвели впечатление на продюсера Vincent’a Herbert’a, с которым он познакомился, работая в музыкальном магазине, специализирующимся на музыке gospel. Впоследствии была записано демо из трех треков, а затем заключен контракт с Polygram.
В 1993 году увидел свет дебютный альбом Joe под названием «Everything». Его показателями в чартах стали 105-е место в BillBoard 200 и 16-е в BillBoard R&B/Hip-Hop. Хит-синглами стали «I’m In Luv», «All Or Nothing» и «The One For Me».
Два года спустя Joe записал песню для саундтрека к фильму «Не грози Южному Централу, попивая сок у себя в квартале» и перебрался на Jive, где в 1997 году выпустил свой следующий альбом «All That I Am».
Диск стал своего рода прорывом, добравшись до 13-го места в BillBoard 200 и 4-го места в R&B чартах. Хитами с альбома были композиции «All The Things (Your Man Won’t Do)» c результатом Top 5 R&B/Top 20 Pop и «Don’t Wanna Be A Player» с результатом Top 5 R&B/Top 40 Pop. Последнюю продюсировал Robney Jerkins, к тому же она вошла в саундтрек к фильму «Booty Call», а «All The Things(Your Man won’t Do)» как раз в «Don’t Be A Menace To South Central…». Альбом «All That I Am» в итоге стал «платиновым».
В 1999-м году Joe занялся продюсированием. С его помощью стартовала молодая R&B-группа Profyle, Сhico DeBarge выпустил свой очередной альбом, а также он поработал с соул-командой Ideal. Помимо всего этого им был сделан ремикс на песню «Never In Your Dreams», исполняемую Барри Уайтом и Тиной Тернер.
В 2000-м году Joe выпустил свой третий альбом «My Name Is Joe», ставший его самым успешным диском, добравшимся до второго места в BillBoard 200 и первого места в чартах R&B-музыки. Эта пластинка стала первой у Joe, получившей успех за пределами соединенных штатов. Супер-хит «I Wanna Know» вошел в Top 40 Великобритании и Австралии. «Stutter» — еще один сингл с этого альбома был спродюсирован Teddy Riley и тоже привлек к себе внимание публики за океаном.
В «My Name Is Joe» была включена песенка «Thank God I Found You», написанная на мотив «Make It Last Forever» Keith’a Sweat’a и исполненная Joe совместно с Mariah Carey и Nas’ом. «My Name Is Joe» стал трижды «платиновым».
Говоря о своих музыкальных пристрастиях, Joe, прежде всего, отмечает музыку gospel на которой он рос, но отдельно упоминает своего кумира Stevie Wonder’a. «Я преклоняюсь перед Stevie, перед его умением писать так много невероятных мелодий».
Следующий альбом у Joe появился в 2002 году и назывался «Better Days». В плане коммерческой успешности этот диск уступил «My Name Is Joe», плюс к этому критики отметили отсутствие у Joe новых идей и обозвали его музыку повторяющейся. Несмотря ни на что диск получил 3-е место в хит-параде R&B и 32-е в BillBoard 2000.
Еще через год Joe выпустил диск «And Then». Главный сингл альбома «More and More» был написан R.Kelly. «Kelly — лучший! Он продолжает показывать, насколько он талантлив. Это вдохновляет», — так Joe отзывается о своем «коллеге». Этот, последний пока свой альбом Joe любит больше остальных.