WeNet 入驻魔搭 ModelScope，助推开源语音社区协同创新 ...

周国云

继杭州云栖大会，阿里达摩院携手 CCF 开源发展委员会共同推出 AI 模型社区“魔搭” ModelScope 以来，达摩院率先向魔搭社区贡献 300 多个经过验证的优质 AI 模型，进行了全面开源开放。澜舟科技、深势科技、智谱 AI 等合作机构亦在社区开源业界领先模型，包括视觉、语音、自然语言处理、多模态等 AI 主要方向，并向 AI for Science 等新领域积极探索，覆盖的主流任务超过 60 个。


12 月，WeNet 作为当前国内最活跃的语音 AI 领域的开源项目之一，选择入驻魔搭社区 ModelScope，将自身领先的模型（例如：WeNet-U2pp_Conformer-语音识别-中文-16k-实时）、以及万小时级大规模开源数据库开放给业内的算法创新者和模型应用者生态。希望通过魔搭对 WeNet 领先的模型和数据集进行进一步开放共享，与更多的开发者产生链接和交流，并促进以 WeNet 为框架基础的语音 AI 领域的算法研究创新，从而为模型及应用的繁荣贡献力量。
魔搭社区作为模型创新和应用的平台，秉承开放中立的原则，欢迎所有 AI 开发者加入，不断进行全方面的模型创新，在此互相交流、切磋，共同促进算法研究和相关领域的技术进步。
WeNet 开源社区简介

WeNet 开源社区作为国内最大的开源语音社区，使命是“让 AI 变得更简单”。
社区目标是：

• 推动基于深度学习的语音技术落地
  
• 推动开源语音生态建设
  
• 助力国产平台和芯片生态体系
  

社区项目包括（但不限于）：

• wenet 端到端语音识别工具
  
• wetts 端到端语音合成工具
  
• wekws 端到端唤醒工具
  
• wespeaker 端到端声纹识别工具
  
• WeTextProcessing 新一代文本正规化/反正规化工具
  
• WenetSpeech 一万小时大规模多领域中文语音数据集
  
• Opencpop 首个开源中文歌唱合成数据集
  

以上方案和数据在行业内广泛应用，其面向生产的属性更是深受工业界的好评。
魔搭 × WeNet 开源社区

近期，WeNet 开源社区入驻了魔搭后，开放模型库、数据集、创空间和 Notebook 等探索功能。
模型库

模型库（Model Hub）是共享机器学习模型、demo演示、数据集和数据指标的地方。用户可以轻松地创建和管理自己的模型库，利用界面或开发环境来便捷地上传、下载相关模型文件，并从 Model Hub 中获取有用的模型和数据集元数据。


WeNet 开源社区在模型库中提供了用 WenetSpeech 训练的 U2++ Conformer 通用中文语音识别模型，在 PC 端访问链接即可在线体验：https://modelscope.cn/models/wenet/u2pp_conformer-asr-cn-16k-online


创空间

创空间（Studio）提供了自由灵活的 AI 应用展示空间。用户可以基于魔搭平台上模型提供的原子能力，自行搭建与展示不同 AI 应用，包括自定义的模型输入输出，多模型的组合，以及可视化交互展现形式等等。
WeNet 开源社区在创空间中提供了使用 Gradio 构建的语音识别应用展示。


Notebook

魔搭平台为每位用户提供一定的免费初始算力支持，供用户在 Notebook 内体验模型训练、推理、评估等全流程。
大家在 Notebook 中通过三行代码，即可调用 wenet 端到端语音识别工具提供的语音识别服务。


from modelscope.pipelines import pipeline

p = pipeline('auto-speech-recognition', 'wenet/u2pp_conformer-asr-cn-16k-online')
p('https://isv-data.oss-cn-hangzhou.aliyuncs.com/ics/MaaS/ASR/test_audio/asr_example.wav')
数据集

数据集仓库（DatasetHub）用于集中管理数据，支持模型进行训练、预测等，使各类型数据具备易访问、易管理、易共享的特点。数据集支持文本、图像、音频、视频、多模态等多种类型的数据管理。用户可以通过界面、SDK 等方式，轻松地创建、管理和使用数据集。


WeNet 开源社区在数据集中托管了 WenetSpeech 一万小时大规模多领域中文语音数据集。


大家通过三行代码即可完成 WenetSpeech 音频和文本的下载，该过程自动完成数据完整性的验证和断点续传。
from modelscope.msdatasets import MsDataset

MsDataset.load(dataset_name='WenetSpeech', namespace='wenet', split='audio')
MsDataset.load(dataset_name='WenetSpeech', namespace='wenet', split='label')
展望

魔搭旨在降低 AI 的应用门槛，而 WeNet 开源社区的使命是“让 AI 变得更简单”，两者信念不谋而合。未来 WeNet 将会和魔搭在更多的模型、开发工具链、智能应用等方面加强合作，共同推动开源生态的建设和创新。期待来自各大科研机构/公司的算法团队一起来交流互鉴、讨论切磋，从而有效促进语音AI领域的蓬勃发展。

李柏呈

确实不错，顶先