N/A
YuE
产品信息
- AI音乐生成
- 1.0
- 媒体价格: 免费
- 免费下载
软件详情
YuE AI是一个突破性的AI系统,可以把歌词变成完整的歌曲。基于先进的基础模型,它能生成声乐和伴奏,创建出贯穿数分钟的和谐音乐作品。既可以在线使用,也可以作为开源项目,YuE AI(乐)在中文里代表着音乐和快乐。
YuE主要特性:
- 完整歌曲生成:可以根据歌词生成含声乐和乐器的完整歌曲
- 支持多种流派:从流行到金属,以及更多风格
- 多语言能力:支持英语、中文、日语和韩语
- 简单易用:直接在你浏览器中生成歌曲
YuE AI 核心功能
- 完整歌曲生成:根据你的歌词生成含声乐和伴奏的完整歌曲
- 多流派支持:可以生成包括流行、金属等各种风格的音乐
- 风格控制:自定义流派、乐器、情绪、声乐音色和性别
- 音频提示支持:使用现有的音频片段来指导生成的音乐风格
YuE 的技术原理
- 语义增强音频分词器:YuE 使用语义增强音频分词器来降低训练成本并加速收敛。能更好地理解歌词的语义信息,与音乐信号相结合,生成更符合歌词内容的音乐。
- 双分词技术:YuE 提出了一种双分词技术,用于在不修改 LLaMa 解码器-only 架构的情况下实现音轨同步的声乐-乐器建模。模型可以在生成主唱部分的同时,同步生成合适的伴奏,确保两者在节奏和旋律上的协调性。
- 歌词链式思维生成:YuE 引入了歌词链式思维生成技术,支持模型在遵循歌词条件的情况下逐步生成整首歌曲。使模型能更好地处理长上下文信息,确保生成的歌曲在整体结构上保持连贯性。
- 三阶段训练方案:YuE 采用了三阶段训练方案,确保更好的可扩展性、音乐性和歌词可控性。具体来说:
- 第一阶段:基础模型训练,学习音乐生成的基本模式。
- 第二阶段:风格和情感对齐,通过大量样本来调整模型,能生成特定风格和情感的音乐。
- 第三阶段:偏好纠正,通过强化学习等技术进一步优化生成结果,确保生成的音乐更符合人类的审美标准。
YuE AI有什么特别之处?
YuE AI是一个先进的AI模型,可以从歌词生成完整的歌曲,包括声乐和乐器。它支持多种语言和流派,同时保持高质量的输出。虽然是开源的,但我们还提供了一个方便的在线平台供你立即使用。
我该如何使用YuE AI?
最简单的方式就是用我们的在线平台 - 只需输入你的歌词,选择你的风格偏好,然后生成你的歌曲。对于开发者来说,开源版本也可以在Hugging Face上获取。
YuE AI支持哪些语言?
YuE AI支持多种语言,包括英语、中文(普通话和粤语)、日语和韩语。
使用YuE AI需要安装什么吗?
不需要!你可以直接通过我们的在线平台使用YuE AI(https://yueai.app/zh/playground),无需任何安装。如果你是想使用开源版本的开发者,需安装Python 3.8以上版本以及合适的GPU硬件(https://github.com/multimodal-art-projection/YuE)。
生成一首歌需要多长时间?
YuE AI在H800 GPU上大约能在150秒内生成30秒的音乐,或者在RTX 4090 GPU上大约360秒。
我可以自定义YuE AI的音乐风格吗?
可以的!YuE AI允许你指定流派、乐器、情绪、声乐音色和性别。你甚至可以用音频提示来指导风格。
YuE AI是开源的吗?
是的,YuE AI在创意共享署名非商业4.0牌照下发布。所有模型权重都在Hugging Face上可用(https://huggingface.co/m-a-p/YuE-s1-7B-anneal-en-icl)。
YuE AI支持哪些音乐流派?
YuE AI支持多种流派,包括流行、摇滚、金属、电子、爵士、古典等等。你可以在生成歌曲时指定流派,以达到想要的风格。
我可以把YuE AI生成的歌曲用于商业用途吗?
可以,你可以将通过我们在线平台生成的歌曲用于商业用途。不过,如果你使用的是开源版本,请注意它是基于非商业许可的。
我能输入多长的歌词?
YuE AI能处理完整歌曲的歌词。我们建议输入控制在100到300字之间以获得最佳效果,但系统也能处理更长的文本。
开始使用YuE AI
几分钟内创建你的第一首AI歌曲:https://yueai.app/zh/playground
- 在在线界面中输入你的歌词
- 选择你喜欢的音乐风格
- 设置流派标签并自定义声乐风格
中文官网:https://yueai.app/zh