在张载远去京城之后，横渠书院就立刻变得门庭冷落起来，只有少数学生仍在书院中学习。书院靠着留下来的几名弟子，给后辈传授课业。而等到张载去世之后，横渠书院更加萧瑟，原本跟随张载去京城的弟子，纷纷返回故里，却没有多少人回归书院。

最近又有洛阳程颐入关中讲学，有蓝田吕氏的幼子一力推重，关中士子多有投奔其门下。说起来，如果没有横渠行状之事，程颐入关中讲学，苏昞肯定是准备去听讲的。但韩冈一封信来，他苏昞跟吕家一下变得冷淡了很多，横渠书院也立刻就对程颐关上了大门。