Эдвард Кеннеди Эллингтон родился 29 апреля 1899 года. Его родителей звали Джеймс Эдвард Эллингтон и Дейзи Кеннеди Эллингтон. Они жили с родителями Дейзи в
Вашингтоне, округ Колумбия. Джеймс Эдвард Эллингтон (Джей Э.) родился в Линкольнтоне, Северная Каролина, 15 апреля 1879 года и переехал в Вашингтон, округ Колумбия, в 1886 году вместе с родителями. Дейзи Кеннеди родилась в Вашингтоне, округ Колумбия, 4 января 1879 года. Ее отец был американским
рабом. Джей Э. работал в военно-морском флоте Соединенных Штатов. Он также работал дворецким у белого врача. Иногда он работал поставщиком провизии в
Белом доме. Дейзи и Джей Э. оба играли на фортепиано.
В семь лет Эллингтон начал учиться играть на фортепиано. Дейзи помогла сыну научиться хорошим манерам. Друзья Эллингтона заметили, что он ведет себя как джентльмен, и дали ему прозвище "Дюк"". Поначалу Эллингтон больше интересовался бейсболом, чем игрой на фортепиано. Позже он вспоминал, что президент Теодор Рузвельт наблюдал, как он играет в бейсбол. Эллингтон учился в Технической средней школе Армстронга в Вашингтоне, округ Колумбия. Его первой работой была продажа арахиса на бейсбольных матчах Washington Senators. Эта работа помогла ему стать более уверенным в себе.
В 1914 году Эллингтон написал свою первую песню. Он работал в кафе, где подавали содовую, используя фонтанчик с содовой. Его песня называлась "Soda Fountain Rag". Он еще не умел ни читать, ни писать музыку. Эллингтон пропускал много уроков игры на фортепиано и не считал, что у него это хорошо получается. Когда ему было 14 лет, он услышал игру пианистов в бильярдной. Это вдохновило его на более усердную игру на фортепиано.
Он слышал, как играют на фортепиано в Вашингтоне, округ Колумбия, Филадельфии и Атлантик-Сити. Он пытался копировать услышанные стили. Он начал изучать гармонию, научился читать и писать музыку. Он начал выступать в кафе и клубах Вашингтона, округ Колумбия. В 1916 году он получил стипендию для изучения искусства в Институте Пратта в Бруклине, но вместо этого решил сосредоточиться на музыке.
В 1917-1919 годах Эллингтон начал свою профессиональную музыкальную карьеру. Днем он подрабатывал раскрашиванием вывесок. Ночью он играл на пианино. Иногда его приглашали играть на фортепиано люди, с которыми он познакомился на другой работе. Он основал свою первую группу "The Duke's Serenaders". Они выступали в Вашингтоне, округ Колумбия, и Вирджинии на танцах и вечеринках. Другими музыкантами в его группе были Отто Хардвик, игравший на бас-гитаре, а затем на саксофоне; Артур Уитсол на трубе; Элмер Сноуден на банджо; и Сонни Грир на ударных. Они играли как для белых, так и для черных, что было необычно для того времени.
