史载吕颐浩“有胆略,善鞍马弓剑,当国步艰难之际,人倚之为重。”然而任用私人,且“报复恩仇”是其缺点。所创立的月桩钱后来衍生名目众多,被认为“郡县横敛,铢积丝累,江东、西之害尤甚。”
吕颐浩的先祖原居沧州乐陵(今山东德州),后迁齐州(今山东济南),吕颐浩即为当地人。\宋哲宗绍圣元年(1094年)进士。先任密州司户参军,其后累迁官职。徽宗宣和四年(1122年)随种师道攻燕京(今北京市)后,被命为燕山府路转运使。宣和七年(1125年)曾因将领郭药师欲降金,而一并被掳至金国,后被放归,再被命为河北都转运使,不久因病请辞。高宗建炎元年(1127年),被命为扬州知州。建炎三年(1129年),任同签书枢密院事、江淮两浙制置使,同年,苗傅、刘正彦兵变,高宗被迫退位,吕颐浩与张浚、刘光世、韩世忠等将领率军勤王,平苗刘之乱,迎高宗复位,立下大功,先拜尚书右仆射,复迁左仆射。不久,金兵再度南侵,渡过长江,吕颐浩曾请高宗登船入海避敌。
吕颐浩先后二次罢相,第一次罢相时“徙家临海”,复职后力倾秦桧“专主和议、植党专权”,使秦桧罢相长达七年;第二次罢相后,取唐杜甫“穷老真无事,江山且定居”之意,选择临海巾子山东麓筑“退老堂”以居。他还曾在“溪径迂回,林峦秀艳”的景福寺消夏时,建石亭于寺旁。后人遂以命名,亭所处之山为“吕亭山”,亭边之村为“吕亭山村”。即今括苍镇上坪村。