自动视频生成器，给定主题，自动生成解说视频。用户输入主题文字，系统调用大语言模型生成故事或解说的文字，然后进一步调用语音合成接口生成解说的语音，调用文生图接口生成契合文字内容的配图，最后融合语音和配图生成解说视频。
❤️️🌈喜欢的话，不妨“点石成金”点 Star ⭐️，你的点⭐️是我的动力，感谢🎉🌟！
| 免费并校对：人的本性是天生的吗 | 免费并校对：归去来兮辞 |
default.mp4 |
default.mp4 |
| 免费并校对：空白效应 | 免费并校对：棘轮效应 |
video.mp4 |
video.mp4 |
-
扫码关注“趣聊机器人”微信公众号，体验该项目的效果：
-
在”趣聊机器人“对话框输入”自动视频生成账密获取“（无引号），获取账号密码。
-
可能生成视频资源速度比较慢，请耐心等待，或者在一段时间后，通过“加载参数”和“加载资源”来加载已经生成好的视频资源。
-
如果图片是文字图片，则可能后台生成图片有异常，用文字图片替代，这种情况则稍后再试试。
-
一定要整个流程跑一遍之后才能修改单个素材资源，跑一遍指的是“一键生成”执行完毕，或各个分步骤逐个执行一遍，特别是“创建记录”这步要执行。
先自动批量合成视频所需素材，然后校对用以合成视频的文本、语音、图像资源，可以修改或重新生成，直到满意。
- 生成资源和视频，从零开始，自动生成视频
- 加载参数和资源，快捷加载已有数据，进一步生成视频
- 校对资源和生成，校对文本、语音、图像资源，生成满意视频
全部用免费的资源实现，体现完整流程和初步效果。
千帆ModelBuilder 部分ERNIE系列模型免费开放公告 - 千帆大模型平台 | 百度智能云文档 (baidu.com)
ERNIE-Speed-128K - 千帆大模型平台 | 百度智能云文档 (baidu.com)
如何用GPT直接生成AI绘画？ - 知乎 (zhihu.com)
2.8k star! 用开源免费的edge-tts平替科大讯飞的语音合成服务 - 知乎 (zhihu.com)
基于百度的千帆大模型生成故事和图像，然后进一步生成视频。
API列表 - 千帆大模型平台 | 百度智能云文档 (baidu.com)
Python SDK快速入门 - 千帆大模型平台 | 百度智能云文档 (baidu.com)
Stable-Diffusion-XL - 千帆大模型平台 | 百度智能云文档 (baidu.com)
ERNIE-4.0-8K - 千帆大模型平台 | 百度智能云文档 (baidu.com)
实现这个系统需要多个步骤，包括生成故事文本、分句、语音合成、文生图、生成视频、以及使用Gradio进行交互。
-
步骤 1: 生成故事文本 为了简化，我们先手动创建一个示例故事文本。
-
步骤 2: 分句 使用
re库或自然语言处理工具将文本分句。 -
步骤 3: 语音合成 使用
pyttsx3库或其他语音合成模型进行语音合成。 -
步骤 4: 文生图 使用
pillow库或其他文生图模型生成图片。 -
步骤 5: 生成视频 使用
moviepy库将图片和音频组合成视频。 -
步骤 6: 使用Gradio实现交互 使用
gradio库创建一个简单的交互界面。
校对用以合成视频的文本、语音、图像资源，可以修改或重新生成，直到满意。
# 参数可选：1 2 3 4
python main.py 4用户在gradio界面输入主题文字，生成并编辑故事文本，然后生成语音、图片资源，最终合成视频。
-
生成视频后会把生成的文本、语音、图片的多媒体材料保存到目录中（默认：mnt/materials/username/code_name）。
-
保存多媒体材料的目录结构样例如下：
code_name
│ metadata.json
│ story.txt
│ video.mp4
│
├─audio
│ audio_100.mp3
│ audio_101.mp3
│ audio_102.mp3
│ audio_103.mp3
│ audio_104.mp3
│ audio_105.mp3
│ audio_106.mp3
│ audio_107.mp3
│
├─image
│ image_100.png
│ image_101.png
│ image_102.png
│ image_103.png
│ image_104.png
│ image_105.png
│ image_106.png
│ image_107.png
│
├─resource
│ resource_100.json
│ resource_101.json
│ resource_102.json
│ resource_103.json
│ resource_104.json
│ resource_105.json
│ resource_106.json
│ resource_107.json
│
└─text
text_100.txt
text_101.txt
text_102.txt
text_103.txt
text_104.txt
text_105.txt
text_106.txt
text_107.txt
- 设置参数时候语音支持试听
- 设置参数时候文生图提示词支持生成样例图
- 字体支持预览效果
- 资源校对完善切分、合并、增加、删除的操作
- 支持输入故事开始生成视频
- 去除图片里的水印（等比例截取画面、调用去水印接口）
- 写代码注释
- 录制操作视频
- 支持批量下载文本、语音、图片等素材资源
- 字幕和图片分离，字幕在制作视频时候再添加