В 1086 году в Хартли проживало 15 семей и 3 раба. До Черной смерти (1348 год) здесь проживало около 150 человек. В 1377 году налоги платили 53 человека, значит, тогда здесь проживало около 85 человек. В 1392 году в документе говорится, что здесь был главный дом, в котором жил управляющий. Он обрабатывал землю для владельца. Эта земля называлась Хартли Корт. Другие лица, владевшие землей в Хартли, должны были ходить на двор владельца и выполнять для него какую-то другую работу. В 1554 году в Хартли Вуд произошла драка между сторонниками и противниками английской королевы Марии I. Победили ее сторонники. Хартли в 1650 году был похож на это место в 1850 году, потому что почти все здания были там тогда. В 1770 году писатель Эдвард Хастед сказал, что в Хартли ездит не так много людей.
Некоторые здания были построены в 1700-х годах (например, Хартли Хаус и Тисовый коттедж). В 1841 году в Хартли проживало 224 человека. Почти все работали на фермах. Здесь также работали изготовитель колес, металлист и продавцы напитков.
Рост Хартли начался после того, как в 1876 году в Лонгфилд пришла железная дорога, а в 1902 году - водопровод. Затем две компании - Payne, Trapps and Co Ltd и Small Owners Limited продавали землю под дома и небольшие фермы. После 1945 года появилось много новых домов и дорог.
