Hij wordt gezien als een van de meest invloedrijke artiesten uit de geschiedenis van de jazz. Hij werd geboren in North Carolina, maar verhuisde op jonge leeftijd naar New York. Zijn vader speelde verschillende muziekinstrumenten, waardoor Thelonius interesse kreeg in muziek, en hij begon op 5-jarige leeftijd piano te spelen. In zijn tienerjaren speelde hij in de lokale Baptisten kerk, en trad hij op op feestjes.

In 1941 kreeg hij werk als de huispianist in Minton's Playhouse in Harlem, en het verhaal gaat dat hier de bebop revolutie begon. Zijn eerste opnames stammen uit 1947. In jam-sessies met artiesten als Dizzy Gillespie en Charlie Parker werden nieuwe ideeën met betrekking tot ritme en harmonie ontwikkeld, en hebben een grote invloed op de ontwikkeling van de moderne jazz in die periode.

Hij was vooral bekend om zijn houterige, hoekige stijl van soleren en zijn unieke, ritmische stijl van begeleiden met onverwachtte accenten.