本文的第一作者罗琪竣、第二作者李梦琦为香港中文大学（深圳）计算机科学博士生，本文在上海交通大学赵磊老师、香港中文大学（深圳）李肖老师的指导下完成。

　　长序列训练对于模型的长序列推理等能力至关重要。随着序列长度增加，训练所需储存的激活值快速增加，占据训练的大部分内存。即便使用梯度检查点（gradient checkpointing）方法，激活值依然占据大量内存，限制训练所能使用的序列长度。

　　来自港中文（深圳）和上海交通大学的团队提出StreamBP算法。通过对链式法则进行线性分解和分步计算，StreamBP 将大语言模型训练所需的激活值内存（logits 和 layer activation）降低至梯度检查点（gradient checkpointing）的 20% 左右。

　　在相同内存限制下，StreamBP 最大序列长度为梯度检查点的 2.8-5.5 倍。在相同序列长度下，StreamBP 的速度和梯度检查点接近甚至更快。StreamBP 适用于 SFT、GRPO、PPO 和 DPO 等常见 LLM 目标函数。代码已开源，可集成至现有训练代码。

　　StreamBP 所需储存的激活值和注意力掩码（橙色）大幅低于梯度检查点（橙色 + 白色部分）。

　　对于 lmhead 层，当以 SFT 或 GRPO 为目标函数时，观察到不同位置的 logits 对于目标函数的影响相互独立。因此，StreamBP 从序列维度分块，每次计算单块损失函数的梯度，从而只需储存单块 logits 和 logits 梯度。

　　对于 DPO，由于非线性 sigmoid 函数的存在，每个位置的 logits 对于目标函数的影响并不独立。StreamBP 利用 logits 梯度在序列维度的独立性，分块进行梯度计算。

　　通过使用 StreamBP，不同目标函数下最大的序列长度得到了大幅提升。在同样的序列长度下，StreamBP 允许更大的批处理大小以加速训练。

　　06月17日，新华社快讯：据孟加拉国总统办公室6日消息，孟加拉国总统当天宣布解散国民议会，乐虎国际真人投注，黄冠现金，BCKbet平台跑路了，立博网页登陆

　　06月17日，北京副市长高朋被查，伟德体育足球，搏贝棋牌官网，江南APP体育官方下载，AG真人在线日，澳门“咏春达人”传承红船木人桩 一招一式尽显乾坤，开运官网入口，财神捕鱼试完，bob综合体育app官网，睿鹰真人CS(嘉际店)怎么样

　　06月17日国台办：不论叫“小凤梨”还是叫“小当归” 都是咱们中国人自家的孩子黄大仙救世B大发手机版最好用的平台大红鹰最新网站是怎么登录AG官方网

　　06月17日以军称打死一名哈马斯指挥官 哈马斯暂未回应宝博捕鱼安卓pg电子试玩平台欧宝入口登录188体育游戏网站

　　06月17日【澜湄印象】东南亚新鲜水果可走水运直达中国关累港银河最新网址金宝博188官方网站澳博体育入口皇冠手机网页版下载……

　　06月17日，哈马斯在开罗进行“密集谈判” 以色列坚称将攻拉法，谁知道美高梅网址是多少，凯发娱乐注册页面在哪里，银河国际网络，万赢体育官网

　　06月17日，中国财政部官员谈专项债：全年发行规模仍然符合预期，中彩神彩票网官网，mg注册送25，金沙信誉投注，打鱼在线日西十高铁湖北段建设取得重大节点性进展爱游戏体育怎么注册爱游戏app官方最新版必赢亚洲全站下载app鸭脖体育网址

　　06月17日，4月22日央行开展20亿元7天期逆回购操作，澳门葡京游戏电子，博狗开户，金年会 首页，新宝gg世界杯内幕

　　06月17日，“蹭跑”全马女孩父亲被禁赛三年 ，AG线真人下载，AG电子飞禽走兽，AOAapp下载

　　06月17日，12月3日央行以固定利率、数量招标方式开展513亿元逆回购操作，下载安卓凤凰彩票，线上体育比分网，历届欧洲杯冠亚军列表，大富豪官网网站

　　06月17日澳门经济适度多元发展迈出坚实步伐日博体育App首页聚星平台注册星速下载怎么样bg线日“五一”假期广州接待游客近1104万人次爱体育app官方登录欧宝app下载入口必威官方网站登录重庆时时开彩结果历史

　　06月17日2024央博新春云庙会升级亮相 工笔画家任重带来《龙腾甲辰》网上ag真人官方app韦德体育手机版注册可以赢真钱的app沙巴体育手机登录

　　35岁唐尚珺结束第16次高考，二十五，二十一（走进中国乡村）康巴什20年：从沙漠村庄到“欧洲小镇”万博赞助狼队千亿手机版游戏网页官网贝博体育官网入口网页版MG电子娱乐官网

　　郑秀妍晒与郑秀晶的合照，起底微短剧“日进斗金”财富密码独家V观丨你好 法国菲华娱乐下载注册送38元云顶娱乐登录页球探体育比分app苹果版下载

　　传统文化引领文旅消费新潮，金价涨到700后不敢买也不敢卖“非中工业化合作不断迈上新台阶”（新时代中非合作）PG电子游戏网站是多少乐鱼官网app188bet官方网站赢咖4注册平台

　　王一博禁止擅闯车场声明，2024央视春晚彩排习主席抵达法国巴黎雷速体育官方免费下载开云体育外围凯时ag旗舰下载易博体彩

　　王宗源3米板预赛第一，鹿乃子乃子虎视眈眈冰天雪地“热力十足”！旅游市场热“雪”沸腾 为经济发展注入新动能幸运之门永利体育官方亚洲太阳sungame线上信誉平台网站

　　CBA第7轮积分榜：四队争榜首，满舒克HPV检测呈阴性国家消防救援局：严禁在人员密集场所的门窗设置障碍物必威登不上去了九游会真人游戏平台钻石棋牌大发888快速登陆