Холидей говорила, что начала употреблять тяжелые наркотики в начале 1940-х годов. 25 августа 1941 года она вышла замуж за тромбониста Джимми Монро. Когда она еще была замужем за Монро, у нее начались романтические отношения с трубачом Джо Гаем, который также был ее наркодилером. Она жила с ним как его жена (так называемая гражданская жена) и развелась с Монро в 1947 году. Она также разошлась с Гаем. После того как в 1947 году ее арестовали и осудили за хранение наркотиков, ей до конца жизни не разрешалось работать в клубах Нью-Йорка. Единственный раз, когда она смогла это сделать, это когда она пела в клубе Ebony в 1948 году, где у нее было разрешение Джона Леви.
В 1950-х годах здоровье Холидей стало плохим из-за употребления алкоголя, наркотиков и отношений с жестокими мужчинами. Ее голос стал грубым, но некоторые люди говорят, что ее пение стало более эмоциональным.
28 марта 1952 года Холидей вышла замуж за Луиса Маккея, человека, работавшего на мафию. Маккей, как и большинство мужчин в ее жизни, был жестоким, но он пытался заставить ее прекратить употреблять наркотики. Позже они расстались.
10 ноября 1956 года она дала два концерта перед большой аудиторией в Карнеги-холле.
Впервые Холидей отправилась в турне по Европе в 1954 году с Бадди ДеФранко и Редом Норво. Когда она вернулась в Европу, почти пять лет спустя, она выступила на телевидении в программе Granada "Chelsea at Nine" в Лондоне. Это был один из последних раз, когда она выступала на телевидении. Ее последние студийные записи были сделаны для MGM в 1959 году с Рэем Эллисом и его оркестром, который также аккомпанировал ей на альбоме "Lady in Satin" компании Columbia в 1958 году. Записи MGM были выпущены после смерти Холидей на альбоме под названием Last Recordings.
Автобиография Холидей "Lady Sings the Blues" была опубликована в 1956 году. Автобиография была написана Уильямом Дюфти, писателем и редактором газеты New York Post, который был женат на близкой подруге Холидей Мэйли Дюфти. Он написал книгу быстро, поговорив с Холидей в своей квартире, а также воспользовавшись услугами предыдущих интервьюеров. Он хотел дать Холидей возможность рассказать свою историю по-своему.
У Холидей не было своих детей, но было два крестных ребенка: певица Билли Лоррейн Фезер, дочь Леонарда Фезера, и Беван Дюфти, сын Уильяма Дюфти.