1993年潘安邦宣布退出娱乐圈因为这时他和自己的妻子王志翔相遇,为了爱情和自己的家庭毅然地退出了娱乐圈,随后退出娱乐圈的潘安邦为了生活开始做起了生意,生活中潘安邦不喝酒不吸烟还经常运动,潘安邦和自己的老婆特别恩爱,然而就是这样一个各方面都特别完美的好男人却因病早世。
2013年2月3日享年52岁的潘安邦因肾脏癌病发而逝世,当时潘安邦的遗体放在长庚医院,临走前他的家属及所有亲友都陪伴在身边,2月25日潘安邦的遗孀王志翔及26岁的独子潘惟智在台北佛光山普门寺为其举办追思会,独子潘惟智上台演唱了《外婆的澎湖湾》等三首歌曲以此来纪念自己的父亲潘安邦,而一旁的王志翔曾几度落泪伤心不已。