type
status
date
slug
summary
tags
category
icon
password
My Library
前言：
随着人工智能技术的快速发展，AI视频生成已经成为一个令人兴奋的新领域。从简单的文本到视频转换，到复杂的数字人物创作，AI正在彻底改变我们制作和消费视频内容的方式。本文将全面梳理当前AI视频生成的主要技术方向和实用工具，帮助你快速掌握这个充满创造力的新领域。
一、三大生成板块
1. 文生视频（text to video）
- 原理：文字生成第一帧图片，然后变成图生视频
- 缺点：可控性弱只能玩
2. 图生视频（picture to video）
- 原理：第一帧图片+推导后面的无数帧
- 进阶：
- 先AI画一堆分镜 使用工具
- 相邻两个首尾帧生成一个视频
- 最后剪辑连起来
- 全程可以用即梦的视频生成模块里的”故事创作“实现
- 工具：
- 国外：Runway gen3.0
- 国内：快手可灵、字节即梦
3.视频生视频（视频转绘）
- 原理，是图生视频，通过抽帧来实现
- 应用
- 低精度的建模视频和绿屏视频生成高精度视频
- 风格转绘，比如化成像素风
- 工具：
- 本地模型运行（需要高性能显卡）：Animate Diff
- web运行：Domo AI DomoAI: Video-to-Video, Style Transfer, AI Video Tool
二、衍生板块
1. 人物说话（talking head）
- 原理：唇形同步（Lip sync）
- 工具：Runway /即梦/通义舞王（这两个效果最好）语音合成搭配fishaudio
- 即梦还支持用：图片/视频+要说的文字和标准音频/录制好的音频（我直接用fishaudio吸取别人的声音）
2. 人物跳舞（move）
- 原理：AI姿势识别：提取舞蹈视频的火柴人模型，然后+图生视频即可。
- 工具：Viggle AI （效率高，质量一般） 通义舞王（免费、慢，但是质量高）
- mix模式是在视频背景里跳舞
- move模式是在照片背景里跳舞
- multi模式是多人可替换
3. 数字人（digital avatar）
- 原理：通过已知将已知的单一背景或者特定要求视频分成若干段，将这些小段的动作随机组合，+脸部的唇形同步
- talking head升级版：等于是talking head的Plus版（肢体动作+语音合成+talking head+时长够长）背景换成ppt模式
- 应用：
- 不能自定义：D-ID
- 可以自定义：Heygen、必剪studio（都需要背景颜色单调视频，不然很假）
Heygen还具有翻译视频+字幕+覆盖原语音的功能
4. 特效：用AI做视频特效，2分钟你的Vlog变电影级大片【ai视频喂饭教程】runway进阶用法_哔哩哔哩_bilibili
- AI场景生成特效+抠出特效放到绿屏里+然后把绿屏覆盖到有人像的视频里（绿幕视频就等于是图片里的透明背景图像，一个意思）
- Author:牛 牛
- URL:https://www.niuniu2077.cc/post/16f7bc65-b8f4-80cd-b9a9-dee71f332c57
- Copyright:All articles in this blog, except for special statements, adopt BY-NC-SA agreement. Please indicate the source!
Relate Posts
