6月19日,中国电信官方平台宣布,其人工智能研究院(TeleAI)携手北京智源人工智能研究院发布了全球首个单体稠密型万亿参数的语义模型——Tele-FLM-1T,这使得中国电信成为中国首批推出此类大规模模型的机构之一。面对大模型训练中算力消耗巨大的难题,TeleAI与智源深入研发,运用模型生长和损失预测等关键策略,成功推出了Tele-FLM系列高效模型。这些模型在训练时只消耗了行业常规方案的9%计算资源,显示出卓越的算力利用效率。
在短短四个月里,借助112台A800服务器,TeleAI团队顺利完成了三个模型总计2.3万亿个token的训练,整个过程无需调整或重试,充分验证了模型训练的稳定性和收敛性能。值得一提的是,Tele-FLM-1T版本即将开放源代码,目标是为研究社区提供万亿参数稠密模型的训练技术指南,以解决万亿级模型训练中的收敛难题,从而推动大模型技术的持续发展。
TeleAI不仅在技术创新方面持续领先,还积极通过开源途径促进大模型技术的普及和国产化进程。他们已经连续开源了7B、12B、52B参数规模的模型,这些开源成果在社区内引起了广泛的关注和应用,下载量已超过一万次,吸引超过四十万的用户参与。