亚洲资本网 > 栏目首页 > 创始人 > 正文
上海人工智能实验室发布多模态语料
2023-08-16 16:22:36来源: 人民网-人民日报


【资料图】

本报上海8月15日电(记者沈文敏)近日,上海人工智能实验室宣布联合语料数据联盟成员单位,共同开源发布“书生·万卷”1.0多模态预训练语料。

“书生·万卷”1.0集合了语料数据联盟成员丰富的内容积累与上海人工智能实验室的数据处理能力等优势,将为学术界及产业界提供高质量大模型多模态预训练语料。本次开源的数据总量超过2TB,具备多元融合、精细处理、价值对齐、易用高效等四大特征。

本次开源的“书生·万卷”1.0包含文本、图文、视频三部分数据集。其中文本数据来自网页、百科、书籍、专利、教材、考题等,数据总量超过5亿个文档,数据大小超过1TB,覆盖科技、文学、媒体、教育、法律等多个领域;图文数据主要来自公开网页,经处理后形成图文交错文档,总量超过2200万个,数据大小超过140GB(不含图片),覆盖新闻事件、人物、自然景观、社会生活等多个领域;视频数据主要来自中央广播电视总台和上海文广集团,包含新闻、影视等多种类型的节目影像,总计视频文件数超过1000个,数据大小超过900GB,内容覆盖军事、文艺、体育、自然、知识、影像艺术等方面。

《 人民日报 》( 2023年08月16日 12 版)

关注公众号:人民网财经

关键词:

专题新闻
  • 望城区头雁领航·城市社区党组织书记培训班丨头雁说·天鹅塘社区
  • 再爆违约风险 上半年业绩或亏200亿…远洋集团“雷声”不断
  • 日本6月所持美国国债增加88亿美元
  • 精细化管理郑州美中商都妇产医院提高服务质量
  • 率队10场中超5胜2平3负,博主:武汉三镇主帅高畠勉接近下课
  • 新时代中国调研行·长江篇|长江源头的“护鱼”行动

京ICP备2021034106号-51

Copyright © 2011-2020  亚洲资本网   All Rights Reserved. 联系网站:55 16 53 8 @qq.com