房彥謙出生于公元547年，一生先后經(jīng)歷了東魏、北齊、北周和隋四個(gè)王朝的更替換代。

房氏原籍清河。到房彥謙七世祖房湛時(shí)期，因?yàn)樽鲞^燕國的太尉椽，隨著南燕國遷都青州，也把家人帶到了齊地。今濟(jì)南市歷城區(qū)在南北朝隋唐時(shí)期屬于齊郡。從此以后，房彥謙一直就把歷城當(dāng)作了自己的故鄉(xiāng)。

從十六國到房彥謙時(shí)，200多年間，歷城房氏家族幾乎一直都為官從政，房彥謙曾祖父是齊郡和平原郡的太守，祖父則做過南朝宋的太守，父親從州主薄(相當(dāng)于今天的秘書長)起家，也做到了郡守的職務(wù)。

大家族的文化熏陶和動(dòng)蕩的政局變換，鑄就了他的清正品格和嫻熟的從政能力，18歲時(shí)，他就擔(dān)任了家鄉(xiāng)齊郡的主薄，并一直在政府任職，40歲時(shí)被郡守舉薦進(jìn)京，做了監(jiān)察御史，職責(zé)是“分察百僚，巡按郡縣，糾視刑獄，肅整朝儀”。

其職責(zé)既像今天的紀(jì)律監(jiān)察干部，還兼具司法監(jiān)督和整治朝廷風(fēng)氣的責(zé)任。官品雖然不高，權(quán)力卻也不小。后遷為河南長葛縣令，在全國官員考核中，因其清正廉潔，被評(píng)為“天下第一”，并因此而晉升郡司馬(州郡軍事官員“二把手”)。

史書記載，當(dāng)他離職高升之時(shí)，地方百姓攔路挽留，并為其立碑頌德。隋大業(yè)九年(613年)，隨從皇帝到遼東，擔(dān)當(dāng)了一陣扶余道(今東北地區(qū))監(jiān)軍。后來，因過于耿直，得罪了權(quán)貴，被遷為涇陽縣令，69歲病逝于任上。

房彥謙為官清廉，所得俸祿大多周濟(jì)了同事親友，以至于史書稱其為“家無余財(cái)”。他曾經(jīng)和其子房玄齡說過：“人皆因祿富，我獨(dú)以官貧，所遺子孫，在于清白耳。”他的這種高風(fēng)亮節(jié)得益于他的人生經(jīng)歷，雖然他出自名家士族，但他幼年時(shí)期生父就亡故，15歲過繼給叔父，繼母去世時(shí)，他絕食五日，以示孝心。