在11月10日举行的2023数字科技生态大会上,中国电信发布了基础大模型——星辰千亿参数的语义大模型。
星辰语义大模型是中国电信自研大模型的升级,由此前的百万参数量级升至千亿,升级后抑制幻觉、外推窗口、交互体验、多轮理解四大能力均有显著提升,重点解决百亿参数的语义模型在商业化落地过程中面临的幻觉、外推窗口和多轮逻辑推理问题。
技术方面,星辰语义拥有超12亿风格数据、训练显存降低50%、推理提速4.5倍;中文意象理解生成能力提升30%;语义细粒度生成效果提升25%。在创意提效方面,星辰语义生产时间较此前生产工具减少92%;设计成本下降95%。
据介绍,“星辰”语义大模型包含首批试商用的 12 个行业大模型,分别为星辰教育大模型、基层治理大模型、政务服务大模型、应急大模型、医保大模型、交通大模型、住建大模型、金融大模型、神农一号大模型、出行大模型、旅游导览大模型、矿山大模型。
中国电信还发布《中国电信行业大模型技术白皮书》,向业界分享了中国电信大模型从数据标注到部署的系列技术标准、五大类的行业训练路径等。
中国电信表示,将于今年年底前开源百亿参数模型,明年 4 月开源千亿参数模型,所有底层代码都会开源,同时还会开源 1TB 以上的高质量清洗数据,以及各种基于星辰大模型底座的工具链。