黑龍江古時(shí)為肅慎地，漢朝時(shí)稱為挹婁、夫余地。唐屬忽汗州和瀚海都護(hù)府（唐朝諸侯國渤海國），遼金為東京、上京二道（路），元?dú)w遼陽行中書省和遼陽行省，元朝軍隊(duì)在此駐扎，明屬女真奴兒干都司。1652年，清廷派梅勒章京率兵駐守寧古塔（今海林市境內(nèi)）地方，翌年升為昂邦章京。東北地區(qū)被劃分為兩大軍事駐防區(qū)域。

清1671年沿黑龍江岸筑城，名黑龍江城，清朝后期后改為黑龍江省。1683年12月，清廷決定，劃出寧古塔將軍（吉林將軍）所轄之西北地區(qū)，增設(shè)鎮(zhèn)守黑龍江等處地方將軍，簡稱黑龍江將軍，管轄黑龍江將軍轄區(qū)。1691年建齊齊哈爾城，1699年黑龍江衙門由墨爾根遷到齊齊哈爾，從此，齊齊哈爾成為黑龍江的首府，是黑龍江近300年來的政治、經(jīng)濟(jì)、文化、軍事中心。

形成盛京、吉林、黑龍江三將軍共同守衛(wèi)東北。這是黑龍江成一個(gè)軍事、行政區(qū)域并以“黑龍江”命名的開端。1858年和1860年，沙俄通過不平等的《中俄璦琿和約》和《中俄北京條約》，強(qiáng)行割占了黑龍江以北，烏蘇里江以東100多萬平方公里的土地，使黑龍江省和吉林省的行政區(qū)域大為縮小。1862年（同治元年）開始，黑龍江將軍轄區(qū)內(nèi)取消副都統(tǒng)，相繼設(shè)立道、府、廳、州、縣等地方行政建置。

1900年江東六十四屯被沙皇俄羅斯武力占領(lǐng)。