韶州位于今北江上游和武水的汇合处，据五岭中的大庾岭之口，是广州的北大门。韶州有失，广州也势将难保。刘钬得知宋军进逼韶州，急忙派遣都统李承渥率兵十余万保韶州，屯于韶州城南五里的莲花峰下。南汉军队中饲养有大象，每次作战中，都将象群列于阵前，每头在象驮载十余名士兵，都手持兵器。这种庞然大物乍看上去的确让人害怕，而实际上却如同表演马戏，在两军交锋中毫无用处。李承渥想用这种办法吓退宋军，用此吓阻，结果是搬起石头砸自己的脚。果然，潘美看见象群，便将强弓劲弩集中起来，一声令下，万箭齐发，大象负伤受惊，疯狂地跳跃奔跑，有的大象调转头来，冲向南汉军。南汉军阵势大乱，南汉士兵被大象踩踏无数，骑在象背上的士兵，也纷纷坠地。宋军乘势进攻，南汉军大败。李承渥单人独骑，逃回广州。宋军攻占韶州，打开了通往广州的通道。
李承渥的惨败和韶州的陷落，使南汉举国震恐。刘钬惊慌之余只得部署保卫广州，一面宋灭南平、武平、后蜀、南汉作战经过示意图调兵遣将，一面下令挖掘壕堑，增修城池，企图固守。然而，一些能征惯战的大将，早已被自己杀死，环顾朝中，已无人可用。宦官刘鸾真，为了讨好刘钬推荐他的养子郭崇岳。六神无主的刘钬，像抓住了一根救命稻草，不管他有无才能，便立即任命他为招讨使，与大将植廷晓率兵六万，屯驻马涅(今广州北，亦名席帽山、马鞍山),建立营栅，抗拒宋兵，守卫广州。