完顏撒离喝围潭毒关多日，命诸猛安、谋克轮番强攻，金军日夜攻垒，飞矢如雨，金鼓震天。又以燕京运来的牛皮铜炮列於山麓，自巔上仰轰壁垒。然潭毒关高踞陡峰，地形不利炮击，炮石多坠入谷中，无所损伤。刘子羽命军士添筑內垒，藏身避炮，关中伤亡甚微。
金兵攻山艰难，尸填壕堑而不克，每夜尚遭宋军游骑袭扰，輜重輦运多次被烧。有猛安仆散拔將上言：“宋军虽少，然善用地形，四面袭扰，吾军困於此地，粮草日竭，疲於奔命，久留非计。”完顏撒离喝大怒，拔剑欲斩之，帐下眾將苦劝方止。
是时金军既破金州、商州，然两地早被明军坚壁清野，居民已尽迁徙，城中粮草无存，仅得空城而已。兵不获食，士卒怨言纷起。完顏撒离喝本欲绕取巴州以图益州之地，探马回报：“巴州有宋將王庶驻守，军马甚精。吴玠亦自仙人关南下，会诸將商议断我归路。”
完顏撒离喝闻言大骇，自思：“吾军深入数百里，后有吴玠，前有潭毒，此等山川险阻，倘若宋人分兵断道，我军为瓮中之鱉矣！”又闻军中染疫日增，肿瘟赤痘，病者三千，连猛安详稳亦多有染疾者。一时军心震动，日夜私语：“西南山中瘴气如云，今岁入蜀，恐不归也。”
是夜完顏撒离喝召眾將谋议，欲退师兴元以图再战。镶黑旗林牙夹谷吾里补进言：“斜谷道虽险，然可避吴玠锋芒，且疾行则可免断道之患。”完顏撒离喝从之，遂传令：“即日拔营，自三泉金牛镇折而东南，由斜谷古道还兴元府。”
潭毒关上，刘子羽知敌军渐乱，日夜遣冯遂、范金等统小骑游弋四野，烧敌草料，劫其輜重，扰敌心志。王俊等请命乘机出击，刘子羽却道：“敌虽困，不可轻出。我守此如砥柱中流，倘敌误判我军兵多將广，彼自退耳。”
数日之后，果然探马来报：“金军弃营东遁，自金牛镇西转斜谷古道而去。”刘子羽登高远望，只见营火断续，旌旗东卷，知敌果退。关上將士振臂呼號，欢声动山，然刘子羽神色未改，低语道：“非我胜彼，敌自困耳。此一战，不忘国耻，不辱我军。”
金兵拔营，山中浓雾未散，刘子羽遥见敌旗倒卷，营帐焚烧，遂命冯遂率轻骑自侧谷追袭，获金军骡马百余，斩首七十级，得文牘粮书甚多。
完顏撒离喝回顾金牛镇，仰视潭毒关高垒苍苍，悵然长嘆曰：“伐蜀无功，反受诸辱，非兵不利，实天命难回也。”言罢，催军疾行，不敢稍留。
潭毒关上將士闻金贼遁去，皆呼声雷动，刘子羽却按剑不语，只道：“此非我力能胜，敌自败耳。吴经略所言『善败者不亡』，今日信矣！”
完顏撒离喝遁走斜谷。金军久处山谷，疲惫不堪，輜重沉重，行伍难整。完顏撒离喝恐宋军乘机尾击，乃命麾下焚弃鎧甲粮草，只带轻骑前驱，盼早出险地。
刘子羽登垒望见敌营起火，曰：“敌走矣！”即刻召集王俊、冯遂、范金、张用等，亲率三千敢死之士，轻装疾追。吴玠亦自仙人关引兵南下，两军合於三泉道口，刘吴会於山麓，欢然握手，曰：“今日有敌，不可失之！”
於是命轻骑掩尾，步卒断道，至武休关，金军为山崖所逼，道路崎嶇，前有断涧，后有追兵，左为乱石，右临深谷。刘子羽遥见金军如乱蚁拥塞於崖间，乃命张用登高擂鼓吶喊，令伏兵齐出。
金军惊乱，互相践踏。有误踏斜崖者，滚落涧底；又有马惊失足，连人带骑坠谷而亡，死者以千计。其余军士弃械请降，皆束手归命。吴玠欲尽诛之，刘子羽曰：“此皆胁从耳，不杀可服。”遂令收降兵，押赴兴元，封存战利。
完顏撒离喝仓皇奔至凤翔府，身无副甲，面色枯槁，左右惊惧。是役金军自入蜀以来，连陷三郡，然损兵折將，卒死十之五六，竟无寸土之得。西地百姓皆传：“刘子羽一垒退金十万，吴玠再起断敌归路。”四方闻之，无不感佩。
完顏撒离喝闻刘子羽拒战不降，心生异计，谓左右曰：“彼不肯战，欲激我耳。试遣人招之，或可不战而屈。”乃简精骑十人，持书信一封，插金帛书旗，自凤翔而来。至兴元军前，遥立不进。
刘子羽得报，命人引入，设座於堂。金使拜伏通名，献书云：“我家主子新定西陲，广招豪俊。若公能剃髮归顺，当授节鉞，保富贵无疆。”左右失色，刘子羽面无怒容，徐徐启唇：“我乃大宋之臣，封疆之將，岂是贪荣图禄之辈你主若真英雄，自当列阵决战。何必纸上诱言，羞辱我耳！”
即刻令军士拔剑，斩使者九人，血染堂阶，余一人嚇作死灰。刘子羽復命放之归国，並道：“为我语贼：欲来即来！吾有死尔，何可招也！”
金使归凤翔，復命如实。完顏撒离喝闻之，咬牙切齿曰：“此人胆气过人，非寻常可敌！”自是但闻刘子羽守关，不敢轻近。金军將士私语曰：“关外有子羽，山中是虎穴。”