此后他多次聯(lián)合臺灣紳士向朝廷發(fā)出呼吁電，要求廢約抗戰(zhàn)。清政府不但置臺灣領(lǐng)土和幾百萬同胞于不顧，而且急詔撤回守土官兵。丘逢甲聯(lián)合一批愛國志士，與日軍展開抗戰(zhàn)。

日本侵略軍進(jìn)攻臺灣后，臺北、臺南和臺中的防務(wù)分別由唐景崧、劉永福和丘逢甲、林朝棟負(fù)責(zé)。由于唐平時放縱部下，紀(jì)律松散，無心抗戰(zhàn)，一與日軍交手，便節(jié)節(jié)敗退，不久基隆失守，唐化裝逃離臺北，臺北被日軍輕易占領(lǐng)。

消息傳來，丘逢甲急舉義軍赴臺北增援，途中得知臺北已淪陷，唐已內(nèi)渡，氣憤至極。日軍沿鐵路南侵直達(dá)新竹，丘逢甲率義軍與日本侵略軍血戰(zhàn)20余晝夜，進(jìn)行了大小20多場戰(zhàn)斗，給日軍以沉重打擊。終因“餉盡彈盡，死傷過重”而撤退。

許多義軍將領(lǐng)同時也是丘逢甲的弟子，如姜紹祖（“敢”字營統(tǒng)領(lǐng)）、丘國霖（“誠”字營統(tǒng)領(lǐng)）、徐驤（“捷”字營統(tǒng)領(lǐng)）、吳湯光等，都英勇獻(xiàn)身。

同年秋，失敗后離臺內(nèi)渡，定居鎮(zhèn)平，往來潮、汕、廣州之間，一度赴港、澳、南洋等地，曾與康有為、梁啟超會晤。7月27日抵泉州。七月回祖籍鎮(zhèn)平定居。為表示不忘光復(fù)臺灣素志，為其子丘琮定別號“念臺”，將房舍定為“念臺精舍”。后順應(yīng)時代潮流，從贊同維新?；手饾u傾向革命，掩護(hù)同盟會員的反清活動，致力于興辦學(xué)校，推行新學(xué)，培植人才。先后擔(dān)任兩廣學(xué)務(wù)處視學(xué)、廣東教育總會會長、廣東咨議局副議長等。民國成立，以廣東代表身份赴南京參加籌組臨時政府，被推舉為參議院議員。

1912年（光緒二十八年）初，扶病南歸，隨即病故。他臨終彌留之際，囑咐家人：“葬須南向，吾不忘臺灣也！”