宋度宗咸淳八年，胡妃得罪了皇帝，逃出京城临安，为商人黄贮万所得，携归南雄珠玑巷。后商人知她是贵妃，不敢收留，复令逃出，为强暴欺凌而死。

胡妃出走不久，皇帝思念她，密令兵部尚书张英贵查访。南雄人讹传因胡妃已死，朝廷将加罪于珠玑巷。故珠玑巷居民纷纷南逃，散居于南方海滨各地。历史上称为“胡妃之祸”。