Холлерит родился в городе Буффало (США) в семье немецких иммигрантов. В 1879 г. он окончил Горную школу при Колумбийском университете и стал ассистентом профессора У. Трубриджа (W.P. Troubridge) сначала в Колумбийском Университете, а затем и в Бюро по переписи населения (англ. U.S. Census Bureau), сотрудником которого был этот профессор. В 1882 г. Холлерит начал преподавание в Массачусетском Технологическом институте, а в 1884 г. перешёл на работу в Патентное ведомство США.

В 1880-х годах изобретатель разработал оборудование для работы с перфокартами (Патенты США 395781, 395782 и 395783), которое имело значительный успех при переписях населения США в 1890-м и 1900-м г.

В 1890 г. Холлерит в Колумбийском Университете защитил диссертацию PhD: Hollerith, Herman, In connection with the electric tabulation system which has been adopted by U.S. government for the work of the census bureau. Ph.D. dissertation, Columbia University School of Mines (1890). (К вопросу об электрической табулирующей системе, которая была приспособлена правительством США для работ Бюро по переписи населения).

Герман Холлерит вошёл в историю как создатель электрической табулирующей системы (Hollerith Electric Tabulating System).

В 1896 Холлерит создал компанию TMC (Tabulating Machine Company) для продвижения своих табулирующих машин. В 1911 он продал свою компанию, и она вошла в промышленный конгломерат C-T-R  (англ.) (рус., созданный предпринимателем Чарльзом Флинтом. В 1924 C-T-R была переименована в IBM.

В языке Фортран текстовая константа (строка) иногда называется «холлеритова константа».

• Более подробная информация о Холлерите
• Холлерит. Краткая биография на русском языке
• Фото фабрики по производству табулирующих машин
• Табулятор Холлерита  (рус.)
• Колесников Е. А. Перфокарты. Технико-исторические заметки. — СПб. : «Реноме», 2016. — 184 с. : ил. - с.27 (www.kolesnikov.net)