Тилеманс начал свою карьеру как гитарист. В 1949 году он стал участником джем-сейшна в Париже с Сидни Беше, Чарли Паркером, Майлзом Дэвисом, Максом Роучем и другими. В 1949 и 1950 годах он участвовал в европейских турне с Бенни Гудменом. Свою первую запись он сделал в Париже вместе с членом группы, тенор-саксофонистом Зутом Симсом. В 1951 году он стал членом группы Bobbejaan Schoepen.
В 1952 году он переехал в США. Он был членом группы Charlie Parker's All-Stars и работал с Майлзом Дэвисом и Дайной Вашингтон. Он играл и записывался с Эллой Фицджеральд, Джако Пасториусом, Пегги Ли, The George Shearing Quintet, Куинси Джонсом, Оскаром Питерсоном, Биллом Эвансом, Полом Саймоном, Билли Джоэлом, The Happenings, Аструд Гилберто, Ширли Хорн, Элисом Региной и другими.
Джазовый стандарт Тутса Тилеманса - "Bluesette", где он использовал свист и гитару в унисон. Впервые записанная Тутсом в 1962 году, со словами, добавленными Норманом Гимбелом, песня стала главным мировым хитом. Его игру на губной гармонике также можно услышать в таких фильмах, как "Полуночный ковбой", "Жан де Флоретт", "Шугарлендский экспресс", "Якудза", "Турецкий восторг", "Беглец", "Французский поцелуй", "Дандерклампен". Его музыка также звучала в телевизионных программах, включая "Улицу Сезам", бельгийский телесериал "Витсе" и голландский телесериал "Баантьер". Он создал музыку к шведскому фильму "Dunderklumpen!" 1974 года. Он также озвучил мультипликационного персонажа Пеллегнилота.
Его свист и игру на губной гармошке можно услышать в радио- и телерекламе Old Spice, которая снималась на протяжении многих лет. В 1980-х годах он выступал с басистом и композитором/банд-лидером Джако Пасториусом. В 1983 году он участвовал в записи альбома Билли Джоэла "An Innocent Man", а его фирменную гармонику можно услышать в песне "Leave a Tender Moment Alone". Год спустя он появился на песне Джулиана Леннона "Too Late For Goodbyes" с альбома Valotte. В 1984 году он записал последний альбом Билли Экстайна (I Am A Singer). В 1998 году он выпустил альбом во французском стиле под названием "Chez Toots". В него вошла песня Les Moulins De Mon Coeur ("Мельницы моего сердца") с участием приглашенного певца Джонни Мэтиса.
Помимо популярности как музыканта, его любили за скромность и доброе поведение. В 2001 году король Бельгии Альберт II присвоил Тилемансу звание барона.
