水有功，又被调回京师，并获得天章阁待制的荣衔，做了开封知府。前时一同遭贬的孔道辅等人，也重归朝廷。范仲淹在京城大力整顿官僚机构，剔除弊政，把工作安排得井井有条，仅仅几个月，号称繁剧的开封府就“肃然称治”。
范仲淹看到宰相吕夷简广开后门，滥用私人，朝中腐败不堪。范仲淹根据调查，绘制了一张“百官图”，在景佑三年(1036年)呈给仁宗。他指着图中开列的众官调升情况，对宰相用人制度提出尖锐的批评。吕夷简不甘示弱，反讥范仲淹迂腐。范仲淹便连上四章，论斥吕夷简狡诈．吕夷简更诬蔑范仲淹勾结朋党，离间君臣。
范、吕之争的是非曲直，不少人都看得分明．偏偏吕夷简老谋深算，善于利用君主之势而最终取胜．仁宗这年二十七岁，尚无子嗣。据说范仲淹曾关心过仁宗的继承人问题，或许谈论过立什么皇太弟侄之类的事。这事虽出于兴旺宋廷的至诚和忠直之心，却不免有损仁宗的自尊。加以吕夷简的从旁中伤，范仲淹便被递夺了待制职衔，贬为饶州知州。后来几乎又贬死岭南。
台官韩渎为迎合宰相意旨，请把范仲淹同党的人名，写成一榜，张挂于朝堂。余靖、尹洙、欧阳修等人，因为替范仲淹鸣不平，也纷纷被流窜边远僻地．从此，朝中正臣夺气，直士咋舌。
这次到都门外送范仲淹的亲朋，已寥寥无几。但正直的王质，却扶病载酒而来，并称许“范君此行，尤为光耀！”几起几落的范仲淹听罢大笑道：“仲淹前后巳是三光了，下次如再送我，请备一只整羊，作为祭吧!”第二天，有人警告王质说，他昨日送范仲淹的一言一动，都被监视者记录在案，他将作为范党被审查。王质听了，毫无畏色，反引以为荣。
饶州在都阳湖畔。从开封走水路到此，至少须经十几个州。除扬州外，一路之上竟无人出门接待范仲淹，范仲淹对此，也并不介意．他日经习惯于从京师被贬作地方官了。他捻着花白的髭缵，在饶州官舍吟起一诗；“三出青城鬓如丝，斋中萧洒过掸师”，“世间荣唇何须道，塞上衰翁也自知！”
范仲淹自幼多病，近年又患了肺疾．不久，妻子李氏也病死在饶州。在附近做县令的诗友梅尧臣，寄了一首《灵乌赋》给他，并告
