不過(guò)，作為史上有名的大奸臣，即使是為了生存而不惜味著良心文過(guò)飾非，搞死自己也搞死皇帝，卻也不是一個(gè)沒(méi)有七情六欲的酷吏，甚至于還是一個(gè)十分注重家庭和睦的典范(這一點(diǎn)和史上有名的奸臣秦檜、蔡京都一樣)，即使對(duì)自己的聲名十分不利，他還是不想破壞家庭和諧，大肆縱容家人腐敗，甚至于還積極參與其中，樂(lè)此不疲。

自從他的結(jié)發(fā)妻子死后，“性驕淫”的續(xù)弦孫氏及其前夫之子夏侯儼便依仗虞世基受皇帝寵信而大肆斂財(cái)，公開(kāi)賣官索賄，他也是“恣其奢靡”，自己還由此“無(wú)復(fù)素士之風(fēng)”，開(kāi)始“雕飾器服”，過(guò)上豪奢的生活。

盡管如此，他和其弟虞世南(隋唐時(shí)期書法大家，與歐陽(yáng)詢、褚遂良、薛稷并稱“唐初四大家”，他也是詩(shī)人，以后再表)的“兄弟情深”，卻是他身上的唯一閃光點(diǎn)。

虞世基、虞世南兩兄弟，在隋代曾被人美譽(yù)為西晉的“二陸”( 即陸機(jī)、陸云兩兄弟，他們是打敗劉備大軍的東吳名將陸遜之孫)，兩兄弟自小就頗有才名，盡管性格不同，一個(gè)搞溜須拍馬取得高官厚祿，一個(gè)卻在亂世中潔身自好，視富貴如浮云。

盡管人生信條和政治理念，但是他們卻沒(méi)有齷齪，十分和睦地住在一起，一個(gè)即使“不愛(ài)富”，另一種也能不嫌貧，而且這種兄弟情義也是貫徹始終的，甚至于虞世基在宇文化及“江都兵變”要被殺的兇險(xiǎn)時(shí)刻，弟弟虞世南也能挺身而出要代兄受死，想起來(lái)都倍感溫馨。

為此種不顧一切的“血濃于水”，且不論此中是非曲直，單單就如此的濃濃親情，也是可以大書特書一筆的，盡管時(shí)人對(duì)虞世基不曾扶助“清貧不立”的弟弟而頗有微詞。