宰相蔡京父子屡欲与之结交,被其拒绝。南宋靖康元年(1126),钦宗问谁可为相,良贵言何?、唐恪等4人不可用。遂被当权者视为狂妄,黜监信州汭口排岸。高宗即位,召为左司谏,即建议高宗巡幸淮扬,选皇室贤者为山东、河北长官,以此壮国体、养兵威,以图恢复大宋江山。后历任提点荆湖南路刑狱、秘书少监、中书舍人等;又曾出知明州、严州。以徽猷阁待制提举亳州明道宫。归家,十年不出。良贵居官刚正不阿。王黼、张邦昌均欲招为女婿,章惇谋以孙女嫁其,许奁资300万钱,皆予以拒绝。后娶范仲淹后裔一孤女为妻。晚年贫甚。秦桧差人暗示其去求一郡令,亦予拒绝。病卒,无以为葬,高宗赐钱50万。时婺州有“三潘”,即“富潘”、“贵潘”,而良贵号称“清潘”。有杂著15卷,朱熹为之序。