首页 科技新闻网 上海人工智能实验室发布多模态语料

上海人工智能实验室发布多模态语料

更新时间:2023-09-10 分类:科技新闻网

  本报上海8月15日电 (记者沈文敏)近日,上海人工智能实验室宣布联合语料数据联盟成员单位,共同开源发布“书生·万卷”1.0多模态预训练语料。

  “书生·万卷”1.0集合了语料数据联盟成员丰富的内容积累与上海人工智能实验室的数据处理能力等优势,将为学术界及产业界提供高质量大模型多模态预训练语料。本次开源的数据总量超过2TB,具备多元融合、精细处理、价值对齐、易用高效等四大特征。

  本次开源的“书生·万卷”1.0包含文本、图文、视频三部分数据集。其中文本数据来自网页、百科、书籍、专利、教材、考题等,数据总量超过5亿个文档,数据大小超过1TB,覆盖科技、文学、媒体、教育、法律等多个领域;图文数据主要来自公开网页,经处理后形成图文交错文档,总量超过2200万个,数据大小超过140GB(不含图片),覆盖新闻事件、人物、自然景观、社会生活等多个领域;视频数据主要来自中央广播电视总台和上海文广集团,包含新闻、影视等多种类型的节目影像,总计视频文件数超过1000个,数据大小超过900GB,内容覆盖军事、文艺、体育、自然、知识、影像艺术等方面。

股市资本网

版权声明: 本站内容部分来源网络,版权归作者所有,如有侵权,请联系我们删除!
相关文章
◎本报记者 陈 曦 依靠“冷冻技术”,穿越千年,在未来苏醒,这是科幻小说中常有的情节。虽然,目前实现冷冻和复活整个生物体还很遥远,但冷冻器官的科技进展还是给人们带来不少惊喜
admin 2023-09-10
新华社耶路撒冷8月15日电(记者王卓伦)以色列魏茨曼科学研究所日前发布公报说,该所研究人员领衔的国际团队发现一个围绕恒星运行的热木星双星天体系统,其温度比太阳表面温度还要高
admin 2023-09-10
新华社北京8月20日电(记者李雯)推理能力是学习和解决日常问题的关键能力。《斯堪的纳维亚运动医学与科学杂志》近日刊载的一项研究显示,在小学头两个学年里,儿童提高整体饮食质量
admin 2023-09-10
新华社北京8月20日电(记者 孙晶)在炎炎夏日享受美味烧烤时,需警惕大肠杆菌、弯曲杆菌和沙门氏菌,这三类细菌易引发疾病。 日本《东洋经济周刊》网站日前报道说,严格来说,食物中毒
admin 2023-09-10
算力总规模近五年年均增速近30%,算力每投入1元,将带动3至4元的GDP经济增长 算力成推动经济高质量发展的新引擎 本报记者 王群 《工人日报》(2023年08月22日 06版) “近年来,从中央到地方,
admin 2023-09-10
科技日报讯 (记者谢开飞)8月20日,记者从福建农林大学获悉,该校帅李教授团队突破了传统木质素基木材胶黏剂制备过程复杂、成本高、性能较差的技术瓶颈,利用高活性木质素制备出黏接
admin 2023-09-10
科技日报讯 (记者马爱平)8月20日,记者从中国农业大学获悉,该校植物保护学院周欣教授团队首次揭示了蜜蜂的免疫系统可以在更精细的层面识别近缘的异源菌株,并仅针对异源菌株调用免
admin 2023-09-10
新华社北京8月23日电(记者王立彬)我国将加快推进测绘地理信息事业转型升级,不断激活地理空间数据要素,支撑数实融合,支持高质量发展。 自然资源部国土测绘司司长张继贤23日在例行
admin 2023-09-10
一项重大科技趋势报告公布—— 未来30年,改变人类生活的20项技术 □克莉斯汀 前段时间公布的一份长达35页的《2016-2045年新兴科技趋势报告》,综合了美国过去五年内由政府机构、咨询机构
admin 2023-09-10