高唐州是水浒传中梁山好汉救柴进的地方，似乎天生对造反者有利，对官军不利。到了高唐之后，僧格林沁发现，不是胜保无能，实在是高唐州太难攻了。
高唐以前是存储军火之处，当地盛产制造火药所必须的硝石、硫磺，粮草也很充裕，要打仗，李开芳几乎没一样缺的。他从连镇出发时虽只带了六百轻骑兵，但这六百余人“皆百战精锐”，都是打仗打出来的能战之士。
在此基础上，李开芳在城外挖掘三道深壕，三壕相通，壕内藏有太平军。官军从壕上穿过，不是被长矛挑个对穿过，就是被鸟枪打死，加上城内能够居高临下，以明击暗，所以每次官军都要碰得头破血流，伤亡十余人算是少的，多的时候一次就要损失百余人。
胜保攻城时，十八般武艺全都使上了，参加攻城的骑兵有满洲骑兵、蒙古骑兵，步兵更是五花八门，除了北方官军外，还包括南方来的川勇，可是无一例外都遭到败绩。
高唐很难攻，那么换个地方呢？僧格林沁将胜保的四面包围改为网开一面——网开一面不是说都不对，关键是看时机和成效。
在主动闪出空档的同时，他像在连镇时一样加紧围城，能断的粮道全部断掉。胜保在时，太平军有时晚上还能到城外村庄里去征粮，随着僧格林沁越围越紧，连这种机会也没有了。
眼见得城中粮草不断地少下去，李开芳心里打起了鼓。这时他又得知了连镇太平军覆灭的消息，越发感到高唐非久留之所，于是开始计划突围。
1855年3月17日，李开芳扔掉所有马匹辎重，带着余下的三百人趁夜步行突围。僧格林沁那鹰隼般的眼睛始终紧盯着太平军突围的方向，如果他愿意，完全可以将李开芳挡住，把太平军重新堵回高唐州，但这并不是他想要的。
他想要的，恰恰是李开芳正在做的。在北伐以来的所有突围中，高唐突围可以说是太平军最为失算的一次军事行动，它为李开芳最终的失败埋下了伏笔。
在太平军完全脱离高唐后，僧格林沁才发力猛追，所以李开芳并不能跑多远。确切地说，是在离高唐四十多里，一个叫冯官屯的地方。
冯官屯在区划上并没离开高唐，此处皆为富户，有的人家光名下田地就有数千亩，而且都住在土城堡里面，周围砌以砖石墙垣，十分坚固。屯里还有护屯家丁，可家丁哪是太平军这样正规军的对手，三下五除二，便被灭了个精光。
就在太平军占据冯官屯的同时，一前一后，蒙古骑兵也滚滚而来，李开芳立即派人用大木头将所有出口堵住，然后排列枪炮，做好防御。
