甘为霖牧师于1841年出生在苏格兰之格拉斯哥(Glasgow)，在该城读大学四年，神学四年，毕业后由英国长老教会聘请来台宣教。1871年12月10日抵达台湾打狗，又转往台南。1872年几次拜访中部巴宰平埔族，曾为乌牛栏、牛困山珊、大湳等地的信徒施洗；也接触过生芜蕃族、水蕃及芜蕃族(赛德客族)；并寻访水社湖(今日月潭)，并将之命名为甘治士湖，以纪念首位来台宣教的荷兰籍宣教士。1880年与其夫人结婚，育有一子两女。甘牧师在台宣教四十七年，足迹遍及埔里、彰化、大社、木栅、澎湖等地，1886年甘为霖牧师与高长前往澎湖宣教，是明郑以来首位前往澎湖宣教的宣教士。
甘为霖牧师热心宣教，曾多次荣获社会褒奖，并获日皇所颁的旭日勋章。设立教会的过程极其艰辛，1874在嘉义白水溪设立教会时，为白河当地的土豪吴志高(吴仔墙)反对，以破坏其妻妾坟墓的风水为由，阻挡教堂的兴建。1875年1月29日，吴志高教唆匪徒四十人烧毁礼拜堂和宿舍，抢劫信徒财物，并刺杀一老妇人。甘为霖牧师正睡于教会宿舍，匪徒企图取其性命，幸甘牧师急中生智，趁机逃亡，藏匿山中。次日早晨方至官府报案，英国领事亦出面干涉，但官方办案不严，未能逮捕凶嫌，只好将教堂移到至岩前，此为白水溪事件。
甘为霖牧师除了建立教会，还有其他重要的贡献，在台期间著作等身。他对台湾历史最重要的贡献，应该是荷兰据台时的史料收集与编著，尤以《在台宣教的成功》和《荷兰人统治下的台湾》最珍贵。还有《台湾素描》等书，皆以英文书写，且受日本人的喜爱。此外，1913年他所编著的《厦门音新字典》（又称“甘字典”），字数达一万五千字，是台语研究的镇山之宝。
甘为霖牧师也是台湾首位关心盲人教育的人士，当时台湾盲人为数不少，约有一万五千人，大多沦为乞丐。1883年甘牧师就已关心盲人问题，英国圣经公会也寄来点字圣经本，1888年在伦敦筹刊《点字初学书》、《马太福音书》和《庙柱问答》等厦门音罗马字浮凸刷书。1890年2月在自宅开办盲人学校；1891年在台湾府洪公祠租房间(今台南启聪学校博爱堂址)，为期五年，作为盲校“训瞽堂”。租约到期后，甘牧师奔走东京说服日本政府接手盲校事务。1900年日本人正式接办，在台南开办官立的盲人学校，成立“台南慈惠院盲人教育部”。1915年建新校舍并兼收哑生，基督徒秋山先生为首任校长，甘为霖牧师的照片被挂在校长室以玆纪念。甘牧师曾派盲人前往东京留学，归台后在盲哑学校任教。1915年日本政府为了肯定甘为霖牧师对台湾盲人的贡献，特颁赠“勋五等双光旭章”。
甘为霖牧师在台工作计46年，直到76岁年老体衰，才于1917年返回英国。1921年9月9日安祥辞世，安息主怀，享年80岁。