潘有聲走后，戴笠并沒有立刻霸占胡蝶。而是每天前來問候。他看出來胡蝶愛吃水果，而戰(zhàn)時重慶又沒有什么好水果，他派人從新疆空運哈密瓜，送給胡蝶吃。發(fā)現(xiàn)胡蝶身體微恙，趕快請來名醫(yī)，給胡蝶細心調(diào)理，并每天很貼心地陪她出去散步。胡蝶喜歡清凈，戴笠就安排胡蝶搬到歌樂山的楊家山公館居住。沈醉在《我所知道的戴笠》一書中寫到:戴笠在神仙洞修建了一所華麗的公館，是準備與胡蝶同居時用的。當我隨同他和胡蝶一道去看這所房子的工程時，他對胡蝶說：‘我最喜歡這個地方，神仙洞里住神仙眷屬。

從1943年以后，胡蝶便被戴笠秘密“幽禁”。胡蝶被幽禁的日子看起來還是很富貴的。戴笠為了不讓胡蝶對潘有聲有負疚感，潘有聲一走他就讓胡蝶住進楊家山公館。胡蝶嫌公館的窗戶狹小，樓前景物不好看，戴笠馬上派人在公館前重建別墅。還從印度空運來胡蝶喜歡吃的水果，買來一大堆鞋子讓胡蝶選。甚至花費上萬的銀元弄了個大花園，每天陪胡蝶在花園里散步。

胡蝶不愛戴笠，卻被迫與他過起同居生活。這也是胡蝶與阮玲玉的不同，阮玲玉無論與哪個男子在一起都是為了愛，如果沒有愛便寧愿自毀自己。胡蝶不，她在被幽禁的日子，在被他強占身體的日子，可以一滴淚也不掉地等待時間來化解這場屈辱。都說胡蝶被戴笠“幽禁”，實際上是二人過著同居生活。而且據(jù)沈醉說，胡蝶是戴笠最深愛的女人，自從有了胡蝶，他再也沒有拈花惹草，把心思全部放在胡蝶心上。戴笠一直表示此生最大的心愿，就是與胡蝶結為夫妻。據(jù)說抗日勝利后，他原本打算讓胡蝶跟潘有聲離婚，在1946年5月娶胡蝶為妻。

1946年3月，戴笠在執(zhí)行蔣介石反共事宜時，乘坐的航班遭遇雷雨，輾轉(zhuǎn)幾次未能降落，最后飛機在南京近郊撞山燃燒，戴笠連具尸首都沒有留下。他帶著那個美好的希望走了，如果他活著，可能與胡蝶結婚，并傳為一段“佳話”吧。隨著戴笠的死亡，胡蝶出現(xiàn)在了公眾視野，跟丈夫潘有聲回到香港，在香港創(chuàng)辦企業(yè)，生產(chǎn)“蝴蝶牌”熱水瓶。