Колледж Смита был основан в 1871 году на деньги, оставленные Софией Смит. Она оставила деньги в своем завещании, чтобы основать женский колледж после своей смерти. В своем завещании она сказала:
"Настоящим я принимаю следующие меры по созданию и содержанию учреждения для высшего образования молодых женщин, с целью предоставить своему полу средства и условия для образования, равные тем, которые предоставляются сейчас в наших колледжах молодым мужчинам".
Когда Колледж Смита открылся в 1875 году, в нем было 14 студентов и шесть преподавателей. К 1915-16 годам в нем было 1 724 студента и 163 преподавателя.
Кампус Смита занимает 147 акров (0,6 км2 ). Здесь произрастает более 1 200 сортов деревьев и кустарников.
Школа мичманов Военно-морского резерва США в колледже Смита в Нортгемптоне, штат Массачусетс, была местом подготовки младших офицеров Женского резерва Военно-морского резерва США (WAVES). Он был прозван "USS Northampton". 28 августа 1942 года 120 женщин отправились в школу для обучения.
У Смита было 10 президентов и два исполняющих обязанности президента. (Исполняющий обязанности президента - это человек, который выполняет работу президента, когда президента нет или президент недоступен для выполнения этой работы). Элизабет Каттер Морроу была первым исполняющим обязанности президента колледжа Смита и первой женщиной-руководителем колледжа, но она не использовала титул президента. На столетний юбилей 1975 года колледж возглавила первая женщина-президент Джилл Кер Конвей. После нее все президенты Смит-колледжа, кроме одного, были женщинами.
10 декабря 2012 года Совет попечителей объявил, что Кэтлин Маккартни станет президентом Колледжа Смита с 1 июля 2013 года. Официальная инаугурация была запланирована на октябрь 2013 года.