Колумбия находится на линии падения Аппалачских гор. Линия падения - это место, где лодки не могут пройти дальше вверх по течению, а также самое дальнее место вниз по течению, где падающая вода может привести в действие мельницу.
До 1790 года столицей штата был Чарльстон на побережье Атлантического океана. В 1786 году законодательное собрание решило перенести столицу в центр штата, и место для Колумбии было выбрано благодаря ее расположению на реке всего в 13 милях (21 км) к северо-западу от географического центра Южной Каролины. Законодательное собрание штата впервые собралось там в 1790 году. После того, как первые два десятилетия своего существования Колумбия находилась под прямым управлением законодательного органа, в 1805 году она была зарегистрирована как деревня, а в 1854 году - как город. Колумбия получила большой стимул для развития, когда она была соединена прямым водным путем с Чарльстоном каналом Санти. Этот канал соединил реки Санти и Купер на участке длиной 22 мили (35 км). Он был впервые зафрахтован в 1786 году и завершен в 1800 году, что делает его одним из самых ранних каналов в Соединенных Штатах. С увеличением железнодорожного сообщения его эксплуатация прекратилась около 1850 года.
Колумбия была одним из первых плановых городов в Соединенных Штатах. Он известен своими широкими улицами.
17 февраля 1865 года, во время Гражданской войны, пожар уничтожил большую часть Колумбии, которая была занята войсками Союза под командованием генерала Уильяма Текумсеха Шермана.
В 20 веке Колумбия стала региональным центром текстильного производства. В 1920-х годах бизнесмены Колумбии построили большую плотину на реке Салуда для получения гидроэлектроэнергии. Плотина, построенная из местной красной глинистой почвы и коренных пород, была самой большой земляной плотиной в мире, когда ее строительство было завершено в 1930 году. Озеро Мюррей, образованное плотиной, имеет длину 41 миля (66 км) и ширину 14 миль (23 км) в самой широкой точке. В то время, когда строительство озера было завершено, оно было самым большим в мире искусственным водохранилищем. Компания, построившая плотину, выросла и стала корпорацией SCANA, одним из крупнейших работодателей Колумбии.
Город Колумбия недавно осуществил ряд проектов по перепланировке и планирует еще несколько. Исторический район Congaree Vista площадью 1 200 акров (5 км2 ), простирающийся от центрального делового района к реке Конгари, включает в себя ряд исторических зданий, которые были восстановлены.