1904年因“同化会”事件,愤而变卖家产,迁离台湾定居福州经营渔业,并积极投身反日爱国活动。1906年加入台中栋社。1918年与林幼春首倡设立台湾文社,计划出版《台湾文艺丛志》,以图普及中文,对抗殖民同化政策。后留学日本。1919年五四运动后,同林献堂等人组织声应会、启发会。1920年1月11日,组织台湾新民会任副会长,捐资创办《台湾青年》。为加强与在大陆台胞交流,以台湾士绅身份,拜会北京、上海等地台湾同乡,并与中国国民党、朝鲜革命团体、第三国际代表等接触,痛切控诉日本在台的殖民暴政。呼吁祖国和国际革命团体声援台湾人民的反日爱国运动。1920年,与林献堂等组织“六三法撤废期成同盟会”,为“台湾议会设置请愿运动”呼号奔走。1921年,当选为台湾文化协会理事。同年,与林呈禄、彭华英出席上海大东旅社的旅沪印度、朝鲜、菲律宾等民族解放运动人士集会,发出台湾人民坚决反抗日本殖民统治的正义呼声,主张建立亚洲民族自决联合战线。1922年,任《台湾》报报社董事,并参加北京台湾青年会。1923年,与蒋渭水、石焕长等组织“台湾议会期成同盟会”,试图发动第三次请愿,要求日本议会在台设置议会机关。同年,l0月2日,与彭华英、许乃昌等在上海东南大学成立“上海台湾青年会”。12月,因日本殖民当局制造“治安警察法违反事件” (简称“治警事件”),遭到(zheng zhi)迫害,被判刑3个月。出狱后,继续从事反日活动。1924年主办“无力者大会”。1929年5月24日,在台北(bìng)逝。因毕生投身反日爱国斗争,被誉为“台湾民族运动的开路先锋”。著有《铁生诗草》《狱中词》等。
不仅是台湾新文化运动和民族运动的优秀领导人,而且与林献堂、林幼春被合称为 “既具旧学素养、又具现代思想”的三人。诗词都为旧体,却能表达爱国民主的新思想、新感情。作品辑为《铁生诗抄》。代表作 《狱中词》三首原载1925年 《台湾民报》第3 卷第 17号,词中描写了台中清水父老青年不顾殖民统治(yin)威伴送蔡赴狱的动人场景和同案志士间在狱中互怜互励的战友感情,表现了作者 “松筠坚节操,铁石铸心肠”的崇高民族精神。