11月6日,由李开复带队创办的AI 2.0公司零一万物,正式开源发布首款预训练大模型 Yi-34B。
据悉,零一万物此次开源发布的Yi系列模型,包含34B和6B两个版本。对比参数量和性能,Yi-34B相当于只用了不及LLaMA2-70B一半、Falcon-180B五分之一的参数量;对比大模型标杆GPT-4,在CMMLU、E-Eval、Gaokao 三个主要的中文指标上,Yi-34B 也具有绝对优势。
“零一万物”消息指出,此次开源的Yi-34B模型,将发布可支持200K 超长上下文窗口(context window)版本,可以处理约40万汉字超长文本输入。相比之下,OpenAI的GPT-4上下文窗口只有32K,文字处理量约2.5万字。
零一万物创始人及CEO李开复表示,“经历了近半年的厚积薄发,以稳定的节奏和全球齐平的研究工程能力,交出了第一张极具全球竞争力的耀眼成绩单。Yi-34B可以说不负众望,一鸣惊人。”
公开消息,今年3月,李开复宣布“撸起袖子”亲自带队,塔尖孵化了一家AI 2.0公司。经过三个月筹办期,该公司首度对外亮相,正式官宣“零一万物”新品牌。李开复表示,零一即01,代表的是数字世界,从零到一,乃至宇宙万物,寓意“零一智能,万物赋能”的雄心。
李开复同时担任创新工场董事长兼CEO。根据创新工场7月消息,零一万物团队已有数十名核心成员,集中在大模型技术、人工智能算法、自然语言处理、系统架构、算力架构、数据安全、产品研发等领域。已加入的联创团队成员包含前阿里巴巴副总裁、前百度副总裁、前滴滴/百度首席算法负责人、前谷歌中国高管、前微软/ SAP / Cisco 副总裁。(校对/赵碧莹)