После окончания средней школы в 1944 году Дэвис переехал в Нью-Йорк, чтобы учиться в Джульярдской школе музыки.
Когда он приехал в Нью-Йорк, он провел большую часть своего времени, пытаясь связаться с Чарли Паркером, хотя некоторые люди говорили ему, что этого делать не следует. Когда он нашел Паркера, Дэвис стал участвовать в джем-сейшенах, которые проходили каждый вечер в двух ночных клубах Гарлема, Minton's Playhouse и Monroe's. В этих сессиях принимали участие и другие известные музыканты, такие как Телониус Монк и Кенни Кларк.
Дэвис рано покинул Джуллиард, предварительно спросив разрешения у своего отца. Ему не нравились занятия в Джульярде, потому что, по его мнению, они слишком много внимания уделяли классической европейской и "белой" музыке. Он также сказал, что занятия в Джульярде помогли ему понять теорию музыки.
Он начал профессионально играть во многих джазовых группах, выступая в нескольких клубах на 52-й улице с Коулменом Хокинсом и Эдди "Локджоу" Дэвисом. В 1945 году он впервые попал в студию звукозаписи в составе группы Херби Филдса. В 1946 году он сделал свою первую запись в качестве бэнд-лидера с группой "Miles Davis Sextet plus Earl Coleman and Ann Hathaway". В это время он сделал не так много записей в качестве руководителя группы.
Примерно в 1945 году Диззи Гиллеспи прекратил сотрудничество с Паркером, и Паркер нанял Дэвиса в качестве замены Гиллеспи в своем квинтете. Также в группе были Макс Роуч за барабанами, Эл Хейг (позже его заменили сэр Чарльз Томпсон и Дюк Джордан) за фортепиано и Керли Рассел (позже его заменили Томми Поттер и Леонард Гаскин) в качестве басиста.
С квинтетом Паркера Дэвис записывался несколько раз. Он исполнил соло в фирменной песне Паркера "Now's the Time". Это соло привело к зарождению стиля джаза под названием "холодный джаз". Группа также гастролировала по Соединенным Штатам. Во время гастролей в Лос-Анджелесе у Паркера случился нервный срыв, и он на несколько месяцев попал в государственную психиатрическую больницу Камарилло. Дэвис оказался в Лос-Анджелесе. Он остановился у джазового музыканта Чарльза Мингуса и играл с ним музыку. Позже он получил работу у Билли Экстайна в калифорнийском турне, которое привело его обратно в Нью-Йорк. В 1948 году Паркер вернулся из Лос-Анджелеса, и Дэвис снова присоединился к его группе.
Музыканты в группе Паркера не очень хорошо ладили. Поведение Паркера было непредсказуемым из-за его наркотической зависимости. Дэвис и Роуч не были согласны с тем, что Паркер нанял Дюка Джордана в качестве пианиста, и предпочли бы Бада Пауэлла). В декабре 1948 года Дэвис покинул группу после ссоры с Паркером в Royal Roost. Он начал работать более независимо с различными группами в Нью-Йорке.