不过随着河阳城陷落，陈元帝投河自尽，寇似道也被乱兵给杀了，这园子就荒废了。
在魏文帝时候，东安王重新修葺一番，作为自己的行院。
这随园经过历代东安王扩建修整，比起陈朝时候更加典雅精致，就算与河左几所名园相较，也不相上下。