甘為霖牧師於1841年出生在蘇格蘭之格拉斯哥(Glasgow)，在該城讀大學四年，神學四年，畢業後由英國長老教會聘請來台宣教。1871年12月10日抵達台灣打狗，又轉往台南。1872年幾次拜訪中部巴宰平埔族，曾為烏牛欄、牛睏山珊、大湳等地的信徒施洗；也接觸過生蕪蕃族、水蕃及蕪蕃族(賽德客族)；並尋訪水社湖(今日月潭)，並將之命名為甘治士湖，以紀念首位來台宣教的荷蘭籍宣教士。1880年與其夫人結婚，育有一子兩女。甘牧師在台宣教四十七年，足跡遍及埔里、彰化、大社、木柵、澎湖等地，1886年甘為霖牧師與高長前往澎湖宣教，是明鄭以來首位前往澎湖宣教的宣教士。
甘為霖牧師熱心宣教，曾多次榮獲社會褒獎，並獲日皇所頒的旭日勳章。設立教會的過程極其艱辛，1874在嘉義白水溪設立教會時，為白河當地的土豪吳志高(吳仔墻)反對，以破壞其妻妾墳墓的風水為由，阻擋教堂的興建。1875年1月29日，吳志高教唆匪徒四十人燒毀禮拜堂和宿舍，搶劫信徒財物，並刺殺一老婦人。甘為霖牧師正睡於教會宿舍，匪徒企圖取其性命，幸甘牧師急中生智，趁機逃亡，藏匿山中。次日早晨方至官府報案，英國領事亦出面干涉，但官方辦案不嚴，未能逮捕兇嫌，只好將教堂移到至岩前，此為白水溪事件。
甘為霖牧師除了建立教會，還有其他重要的貢獻，在台期間著作等身。他對台灣歷史最重要的貢獻，應該是荷蘭據台時的史料收集與編著，尤以《在台宣教的成功》和《荷蘭人統治下的台灣》最珍貴。還有《台灣素描》等書，皆以英文書寫，且受日本人的喜愛。此外，1913年他所編著的《廈門音新字典》（又稱“甘字典”），字數達一萬五千字，是台語研究的鎮山之寶。
甘為霖牧師也是台灣首位關心盲人教育的人士，當時台灣盲人為數不少，約有一萬五千人，大多淪為乞丐。1883年甘牧師就已關心盲人問題，英國聖經公會也寄來點字聖經本，1888年在倫敦籌刊《點字初學書》、《馬太福音書》和《廟柱問答》等廈門音羅馬字浮凸刷書。1890年2月在自宅開辦盲人學校；1891年在台灣府洪公祠租房間(今台南啟聰學校博愛堂址)，為期五年，作為盲校“訓瞽堂”。租約到期後，甘牧師奔走東京說服日本政府接手盲校事務。1900年日本人正式接辦，在台南開辦官立的盲人學校，成立“台南慈惠院盲人教育部”。1915年建新校舍並兼收啞生，基督徒秋山先生為首任校長，甘為霖牧師的照片被掛在校長室以玆紀念。甘牧師曾派盲人前往東京留學，歸台後在盲啞學校任教。1915年日本政府為了肯定甘為霖牧師對台灣盲人的貢獻，特頒贈“勳五等雙光旭章”。
甘為霖牧師在台工作計46年，直到76歲年老體衰，才於1917年返回英國。1921年9月9日安祥辭世，安息主懷，享年80歲。