而日军第4军方面依然在苦战。第10师团炮弹不足的状况凸显了出来，支援右翼的炮兵第15连队第2大队弹药耗尽，支援中央的第6中队只能见机射击，支援左翼的炮兵第10连队第1大队已不能实施充分的炮击。
缺乏炮兵的配合，非常不利于步兵进攻堡垒和阵地，第一线部队只能放弃了突击，就地构筑应急掩体与敌对峙。第5师团也因为炮兵的弹药匮乏问题，攻击部队停在了西三里庄。
日军的第2军方面炮弹尚充足，集中炮击了俄军炮兵阵地。炮兵第1旅团虽然尽量避开了辽阳市区，但仍有一些炮弹落在街道上。俄军禁止清国住民向市外避难，清国人只能躲在家里或附近建筑里祈祷上苍保佑，但依然有不少人遭难。
司令部在下午一点和两点传递给第3师团的情报有着强烈地进攻暗示，“敌堡垒虽尚有少量残兵，但辽阳城内敌军正渐次向北退却。”“第6师团正在突击敌堡垒！”右翼指挥儿玉如忠对此感到无法理解，第18联队和第4军第5师团都停在西三里庄，左翼的第33联队被压制在第4堡垒前400米远的地方，第4师团、第6师团都没有进攻的迹象。
那些督战情报显示是错误的，儿玉如忠于两点半回电：“当面战况与司令部通报完全不同！”司令部的回复依然是“辽阳火车站地区敌兵正向东北方退却”，然而就算敌后方在退却，只要眼前的敌人还在顽抗，儿玉如忠就毫无办法突破。
儿玉源太郎视察完第6师团回到首山。虽然每条战线都在苦战，眼下三个军都无法夺取一个新阵地，但是大山和儿玉源太郎及参谋们都满怀着取胜的信心返回了沙河镇。大山在日记中记道：“本日进行了激烈的炮战，傍晚时分敌炮兵哑火，入夜占领了辽阳！”不过大山等人返回时的战况毫无当夜就能占领辽阳的征兆。
此时，大岛向第二军司令部报告：第17旅团前进困难，炮兵各炮仅有二三十发炮弹，白天无法展开攻击。奥巩保利听取了汇报但并未作出指示。傍晚六点五十分，大岛再次通报：已停止本日攻击，明日拂晓再采取行动。但是奥巩保利决定发动夜袭，七点，第3师团、第4师团、第6师团接到命令：“前线各部入夜后继续寻机攻击，若天明尚不能达到目的，将会进行总援助炮击。”
而第1军司令部撤回了江官屯，由于兵力不足，在近卫师团主力进至太子河北岸之前，司令部不敢过于靠前。黒木给各师团下令：“明日发起猛烈的追击！”从前一天夜里司令部就几乎断绝了和友军的联络，可能是电线被切断了，随行的观战武官汉密尔顿建议组织灯光通讯，但并未被参谋采纳。
晚上七点三十五分，日落，俄军开始撤退了。
与日军第1军对峙的俄军因为与日军保持着一段距离，轻易地向烟台铁路方向撤去。
辽阳方面，太子河上的七座桥中铁桥以北的四座归西伯利亚第4军使用，南边的三座归西伯利亚第2军使用。因为与日军挨得比较近，扎西里奇将西伯利亚第2军的撤退计划做了如下安排：左翼西伯利亚第10军31师124团、122团从第一桥向东北方向后撤，中央西伯利亚第2军5师19团、20团从第二桥沿辽阳城东北上，右翼西伯利亚第5师17团、18团从第三桥经辽阳城内北撤。随着日落，各部按计划执行。
最先察觉到俄军后撤的是第2堡垒前的第10师***分队第20联队，第20连队之前损失巨大，其中第2大队的军官只剩下了两名少尉，连队长八木下纯中佐也负了伤，临时由第9中队长江上西三郎大尉接替指挥。
下午五点四十分，在第10联队第3大队的支援下，中央分队对第2堡垒发起过一轮进攻，在俄第122团的顽强抵抗下，日军只能藏身于距堡垒600步的地方。122团撤退后，日军的斥候发现了状况，七点五十分，第20联队和第10联队队占领了第2堡垒，夜空中响起了“板载”声。
九点半，第20连队第3大队追到了辽阳小南门，第一个到达的是随行的第2大队伍长福井新太郎。同一时刻，第10师团右翼第39连队注意到了对面敌阵的寂静，随后占领了a堡垒，左翼也同样地占领了c堡垒。
俄军西伯利亚第2军的第一、三桥的后撤顺利进行，部队正在过桥，计划从第二桥后撤的第19团于九点发起了一阵猛烈的射击，随后脱离阵地后撤，十点左右开始渡河，此时对面的日军第3师团、5师团才注意到俄军可能后撤，但还不确定。十点半，从第一、三桥后撤的俄军全部过河，西伯利亚第4军也渡河完毕。十一点，第四、第五桥被爆破，爆炸声和燃烧的光亮引起了第4师团、6师团的注意，斥候纷纷出动。十一点半，第一桥被爆破，第二桥的后撤结束。
9月4日零点。日军确认俄军后撤，开始全线推进。第4、6师团沿东清铁路西侧向火车站前进，车站附近的仓库依然在燃烧着，第四、第五桥的火光也能望见。
日军第3师团左翼第33连队占领了第4堡垒后，向西关村前进。右翼第18连队占领了d堡垒。第5师团右翼占领了第3堡垒，左翼协同占领了d堡垒。第42连队担任追击任务，向辽阳城推进。凌晨一点十五分，第3大队占领南门、第1大队占领其西侧的新门，然后松本静中尉带着一个小队向城内侦察。一点半，小队穿过辽阳市街抵达北门，街上人影灯影皆无，一片暗黑寂静，无法获得更多的情报。
凌晨两点，第七桥燃烧起来，一群清国人在阻止俄军对第六桥的焚烧，上游第二桥、第三桥被点燃。松本小队赶到第三桥救火却毫无办法。东清铁路铁桥被点燃，至此，太子河上的八座桥除了第六桥都被点燃了，夜空被染成了红色。
第六桥被爆破燃烧，俄军离开了太子河。日军第4师团主力在火车站周边集结，第6师团第13连队来到第三桥河边。此时鸡鸣声已经响起。
沙河镇的日军满州军总司令部还未收到占领辽阳的报告，但巨大的爆炸声意味着占领即将完成。大山已经入睡，儿玉和松川都确信：“敌已总撤退，第2军、第4军今夜定能占领辽阳！”
天亮了，战场包围在一片雾霭中。黑烟在西风的吹送下飘向第一军，不过第一军司令部尚未收到占领辽阳的通报，随军观战的汉密尔顿记道：“辽阳方向的黑烟飘来，在河面上与雾霭混合，犹如身在伦敦一般，从烟雾中似乎能感觉到大事的发生。”
早上七点，日军满州军总司令部陆续收到第2军、第4军占领辽阳和一部兵力追击至太子河岸的捷报，随即向大本营报喜：“经过9月3日至4日的连续战斗，我军已占领辽阳。太子河右岸的状况仍待确认。我军的损失正在统计中。”
大本营译出电文，立即电话通报了宫中，侍从武官长冈泽精大将禀报了天皇，天皇连连点头，十分高兴。
各报社接到了陆军省的新闻通报，正午时分，东京街头便充斥了《攻陷辽阳》的号外。
辽阳的日军终于有时间检查了俄军阵地，对堡垒的坚固程度大感震惊。第19旅团长安东视察了第38连队的攻击目标第5堡垒，“首先是散兵壕，然后是铁丝网，两者之间是深达一丈余的堑壕，再后面是外壕，有高达一丈二、三的外郭，外郭上布有铁丝网，越过外郭则是内壕——铁丝网和混凝土组成的坚固阵地。这是近代城防工事，想要攻占这样的工事，除了无休止的炮击就只能围困了。强攻只会招致无谓的损失，敌军主动后撤真乃上天保佑啊！”
沙河镇鼾声一片，总司令部吃完午饭，结束了30日以来的不眠状态，抓紧睡觉。下午六点，总司令部举行了庆祝宴会。大山岩特别向松川致意，因为辽阳作战计划是松川从两年前就开始策划，眼前的成效得益于此。
东京街头的《号外》起初并未引发太大的热情，当时人们都在等待旅顺口陷落的消息，都认为只有拿下旅顺口俄军才会从满洲撤军，所以辽阳的胜利只被认为是一场局部胜利，但是，到了晚上，庆祝的气氛却浓厚起来。
日本各地的街道上布满了国旗、红白色的帷幕和提灯，新桥、银座、丸之内、日本桥等地的高楼上都亮起了彩灯，呈现出光之都的景象。雨水也未能浇灭人们的热情，翌日，庆贺热潮更加高涨，大山、黒木、野津等人的私邸前也不时有游行队伍光临，“板载”之声连绵不绝。甚至有些不积极参加庆贺的地方还收到了指责信。
不过，攻占辽阳的兴奋很快就平静了下去。俄国从欧洲增派的三个军正向满州集结，很显然即使日军占领了辽阳，也无法击破满州俄军。
辽阳会战的损失确实也比较大，具体情况如下：
日军参战兵力约134500人，阵亡17976人，负伤15557人，总计损失33533人；
俄军参战兵力约224600人，阵亡失踪3611人，负伤14301人，总计损失17912人。
日军辽阳会战的损失数量是第一次旅顺口总攻的1.5倍，是整个日清战争（13488人）的2.7倍，堪称日本陆军史上前所未有的大损失。而公开发表的损失数字是27539人。
这些数字给一般民众的心理投下了微妙的影响。关于旅顺口战役，仍在实施新闻封锁，具体情况并未透露，报纸上都是“即将攻陷”一类的报道，偶然有几条突破当局检查的新闻披露出来，苦战和遭受重大损失的情报才点点滴滴地为世人所知，汇总起来的旅顺口的总损失也不过“一万”，而辽阳的损失竟超越了此数。
东京街头庆祝辽阳大捷的装饰原本是为旅顺口而准备的，报纸在几天后也明白了这是场非决定性胜利，9月9日的《东京日日新闻》发表了《警醒国民》的社论，社论强调战争才刚刚开始，不应过分乐观，俄国是世界大国，人口兵力数倍于日，必须要有坚韧持久之心。
这篇客观的社论带给国民的映象是：即使攻陷旅顺口也并不能击垮熊俄，还不能结束战争。在没有电视和收音机的当时，报纸是最有力的宣传手段，影响极大，社论发表的当天，东京股票市场全面下跌，成交剧增。.