月度归档：3 月 2025

CosyVoice是一款基于语音量化编码的语音生成大模型，一个可以深度融合文本理解和语音生成的一项新型语音合成技术，它对语音进行离散化编码，并依托大模型技术，实现自然流畅的语音生成体验。与传统语音生成技术相比，CosyVoice能够精准解析并诠释各类文本内容，将其转化为宛如真人般的自然语音。

你只需提供3~10s的原始音频，CosyVoice即可生成模拟音色，甚至包括韵律、情感等细节，包括跨语种语音生成。

CosyVoice项目官网：https://www.modelscope.cn/studios/iic/CosyVoice-300M

CosyVoice源码地址：https://github.com/FunAudioLLM/CosyVoice

CosyVoice API地址：https://help.aliyun.com/zh/model-studio/developer-reference/cosvoice-large-model-for-speech-synthesis/?spm=a2c4g.11186623.0.0.56f01751Ke29mh

CosyVoice功能特征：

高度拟人化：采用阿里通义语音实验室自研的CosyVoice 生成式神经网络语音大模型算法，使生成的语音在语调、韵律、情感表达等方面达到超拟人程度。

多语言：CosyVoice支持中英日粤韩5种语言的生成，专注自然语音生成，支持多语言、音色和情感控制，效果显著优于传统语音生成模型。

多样化音色选择：提供海量优质的音库资源，包括不同性别、年龄、方言以及各种特色声音，满足用户在不同场景下的个性化需求。无论是新闻播报的庄重严肃，还是故事讲述的情感丰富，都能轻松驾驭。

实时高效合成：系统具有出色的响应速度和流式语音合成处理能力，无论是长篇文档还是短句指令，都能实现快速、准确的实时语音合成。

情感和韵律控制：CosyVoice支持富语言声音事件以及多情感的高拟人语音生成，例如笑声、语气词等，以及不同情感表现的高拟人语音生成。

声音克隆：只需提供3~10s的原始音频，CosyVoice即可克隆生成模拟音色，甚至包括韵律、情感等细节，包括跨语种语音生成。

CosyVoice应用：

CosyVoice适用于多种应用场景，如智能客服、有声读物、车载导航、教育辅导等。

智能设备/机器人播报的语音内容，如智能客服机器人、智能音箱、数字人、语音助手等。

音视频创作中需要将文字转为语音播报的场景，如小说阅读、新闻播报、影视解说、剧本配音等。

CosyVoice极大地拓宽了语音交互的可能性，提升用户体验的同时，也为企业智能化转型提供了强大支持。

同最近大火的ChatTTS对比，可以发现CosyVoice的合成音频在内容一致性上更高，CosyVoice对生成语音的情感、韵律进行细粒度的控制，生音频在情感表现力上得到明显提升，并且没有很少存在幻觉额外多字的现象。CosyVoice很好地建模了合成文本中的语义信息，在内容一致性和说话人相似度上超越人类。

琴乐大模型是由腾讯琴实验室和腾讯 ai Lab 联合研发的 AI 音乐大模型，具备丰富的 AI 作曲和编曲能力。只需输入中英文关键词、描述性语句或音频，琴乐大模型就可直接生成音乐。

琴乐大模型主要功能特点：

音乐生成：琴乐大模型能够根据用户提供的中英文关键词、描述性语句或音频输入，智能生成音乐，实现音乐的自动创作。

乐谱生成：除了生成音频，琴乐大模型还能生成详细的乐谱，包含旋律、和弦、伴奏和打击乐等多个轨道，为用户提供了丰富的音乐结构。

自动编辑：模型支持对生成的乐谱进行一系列自动编辑操作，包括续写乐谱、重新生成特定的音轨或小节、调整配器、修改乐器类型和节奏。

音频文本对齐：通过对比学习技术，琴乐大模型构建了一个共享特征空间，将音频标签或文本描述与音频本身进行对齐，为生成模型提供条件控制信号，增强了音乐生成的相关性和准确性。

乐谱/音频表征提取：模型能够将乐谱或音频转换成一系列离散的特征（token）序列，这些序列为大语言模型的预测提供了基础。

大语言模型预测：使用decoder-only结构，琴乐大模型通过特征预测（next token prediction）训练，预测出的序列可以转换回乐谱或音频，实现了从文本到音乐的转换。

音频恢复：通过流匹配和声码器技术，琴乐大模型能够将预测出的音频表征序列恢复成可听音频，增强了音频的真实感和质量。

音乐理论遵循：在生成音乐的过程中，琴乐大模型遵循音乐理论，确保旋律、和弦、节拍等元素符合音乐逻辑和人类审美。

琴乐大模型应用领域

音乐创作：为专业音乐人提供高效的作曲和编曲工具，简化创作过程中的繁琐任务。

教育领域：帮助学生理解和学习音乐理论，通过自动生成的乐谱进行实践练习。

娱乐产业：普通用户也可以通过简单操作体验音乐创作的魅力，增加互动性和娱乐性。

腾讯音乐天琴实验室面向QQ音乐、全民k歌、腾讯音乐人、酷我、酷狗等产品的多媒体与AI应用型技术研究与落地。负责的明星项目包括QQ音乐上的听歌识曲、哼唱识别、翻唱识别、歌词时间戳、臻品音质、DMEE、mv视频剪辑、字幕识别、明星识别；全民K歌上的唱歌评分、智能修音、智能音效、歌声合成；懒人畅听上的AI朗读、AI文稿；直播互动上的智能品鉴、高光识别、端云一体视频质量提升。同时还在探索元宇宙中的虚拟人技术，以虚拟形象、虚拟舞蹈、歌唱表情生成、音乐灯光秀等为核心的小天小琴兄妹虚拟人即将面世，敬请期待。

目前，琴乐大模型相关技术已经上线腾讯音乐启明星平台，用户可以免费注册体验。

Vozo ai是一款AI视频生成器，Vozo AI通过重新编写、重新配音、编辑声音，然后通过提示将现有视频配音成新的视频故事。用户可以轻松将视频转换为宣传片、喜剧或多语言版本。

Vozo AI 的主要特性和功能：

重写和重新配音视频： Vozo AI 通过使用提示重写、重命名、编辑声音并将现有视频口型同步到新的视频中。比如将经典视频转换为宣传内容、将普通视频转换为喜剧或将视频翻译成多种语言特别有用。

AI 语音编辑器：Vozo AI支持基于文本的语音编辑、语音克隆、文本到语音转换的语音编辑器。可以通过编辑转录文本来修改语音内容来保持语音的一致性。

自动视频再利用： Vozo AI 可以一键剪辑、重新构图和调整视频比例，以将视频重新用于不同的社交短视频平台。

语音克隆和编辑：用户可以通过录制短片来克隆具有超真实感的声音。克隆的声音复制了原始音色、口音、节奏等。此外，用户还可以在句子级别更改语音音调、速度和其他参数。

视频翻译：Vozo AI 提供 30 多种语言的专业翻译，准确率高 （98.9%）。

AI字幕和字幕：Vozo AI可以自动生成与视频完美同步的准确字幕。而且支持双语字幕。

Vozo Shorts：这个功能可以从长视频中生成剪辑成短视频，从而适用于 TikTok、Reels 和 YouTube Shorts 等短视频平台。可以自定义水平或垂直字幕。

Vozo 的使用步骤：

要使用Vozo，选择一个模板视频，选择或编写提示，然后通过文本编辑、声音更改和唇语选项进一步定制AI生成的剪辑，具体如下：

1、选择一个模板视频：选择一个模板视频或拖放视频链接/文件即可开始使用。

2、写下你的提示：选择一个预先编写的提示或编写自己的提示。您可以要求 AI 为您创建新故事、更改样式或翻译语言。

3、根据需要调整：查看您的 AI 生成的新剪辑并进一步自定义它以添加您的风味。我们为您提供广泛的工具选择，例如通过文本编辑语音、通过句子更改语音、多扬声器口型同步等。

Vozo应用场景：

将经典片段转变为推广视频

调整广告以迎合不同观众

为全球观众翻译产品视频

定制多语言教育视频

为什么使用Vozo？

使用 AI 提示重写和重新配音视频：使用 AI 驱动的提示轻松更新和增强您的视频，以重写脚本并使用克隆的声音进行重新配音。非常适合刷新旧视频，为不同的观众量身定制内容，并在保持原有魅力的同时创建多语言版本。

通过编辑文本来编辑语音：通过编辑文本来更新旁白，而无需重新录制。使用一系列口音、语气和情感在句子级别改变声音，使您的视频更具吸引力和动态性。

一键式多扬声器口型同步：无缝同步与多个扬声器的视频的唇部动作。我们先进的技术通过将嘴唇动作与语音准确匹配，确保自然和身临其境的观看。

精确的视频翻译：通过专业翻译将您的视频本地化为 30 多种语言和方言。我们的一键式服务提供 98.9% 的准确率，使您的内容可供全球受众访问。

自动视频再利用：一键剪辑、重新构图和调整视频比例，将您的视频重新用于不同的社交平台。确保您的内容经过完美的格式和优化，以便在各种平台上获得最大的参与度。

Vozo 支持哪些语言进行视频识别、重写和翻译？

Vozo 目前支持所有最广泛使用的语言，包括英语、西班牙语、中文、法语、葡萄牙语、德语、俄语、印地语、日语、韩语、意大利语、阿拉伯语、印度尼西亚语、荷兰语、土耳其语、菲律宾语、波兰语、瑞典语、保加利亚语、罗马尼亚语、捷克语、希腊语、芬兰语、克罗地亚语、马来语、斯洛伐克语、丹麦语、泰米尔语和乌克兰语。我们不断添加新的语言，并欢迎对其他语言的请求。