一次学会！AnimateDiff+LCM全新webUI原创动画流程教学

🎬

大家好 今天给大家介绍一款目前最热的动画工具 Any def 这个工具是SD的一个插件 最初是运行在CONFIUI上的 不过CONFIUI的安装和使用会让很多人头疼 最近一段时间 作者连续更新了对web ui的支持 基本在web ui上实现了所有的功能 包括对control net的良好支持 以及对SDXL模型的支持 虽然在从资源上还不如CONFEI利用率高 但着实是我们web ui使用者的福音 AIMEDF使用起来非常简单直接 基本没有太多的参数设置 主要依赖SD自身的功能 可以很好地实现文声动画图生动画 视频重绘动画等动画方式 动画的效果流畅稳定 动作也很准确 插件的安装方式也很简单 我会放在视频的最后 anyway def安装好后 可以在文生图和图生图中使用 它的用法有几种 一文生图中直接用提示词生成动画 二文生图中提示词游历语法 用不同的提示词控制不同时间阶段的动画 三在文生图中配合Ctrl net控制 利用外部视频生成可控制的动画 在图生图中配合Ctrl net控制 对外部视频进行重绘 生成重绘动画 具体用法很简单 在SD的文生图中输入一段提示词 如下面这段反向提示词 用常用的方式即可 大模型会决定最终动画的风格 例如我们使用2D卡通的大模型 勾选启用anyway的地府 设置总帧数为32帧 帧率默认为八 其他参数保持不变 按下生成按钮即可看到动画的生成进程 完成后会自动播放GIF动画文件 是不是很简单 这个动画文件默认保存在SD图片输出文件夹 奥特put的文生图序列图文件夹内 序列帧是PNG格式的 合成好的技术动画文件放在GUANIMATEDIF 的当前日期文件夹内 动画的制作需要了解以下几个方面的知识 一动画的文件格式 IMMD可选的文件格式有几种 最重要的是PNG图片序列格式 也就是生成真的图片 图片的精度是最高的 所以我们最终想要得到成品动画输出的时候 应该都选选择这种序列图片的输出方式 前期做测试的时候可以不勾选 其他几种都是视频动画格式 是方便我们直接将序列帧合并成了动画 视频技辅格式 通用性最强 但色彩不足 所以色阶严重 mp4色彩要好一些 但也一样 默认了比较严重的压缩比 所以损失也比较严重 web p网页格式效果还不如mp4 这几种格式一般都是用来快速测试看效果的 专业的应用还是使用剪辑软件 对序列帧进行输出处理 使用剪映将序列帧文件夹导入 将文件排序调整正确 将文件夹拖放到时间轴上 合并成一个复合片段 影片通过变速调节降低一倍速率 将视频导出为自定义最高码率的mp4格式 二动画的时间长度和播放速率 总参数是设置动画的时间长度的 最 终动画的播放时间 是由总帧数和帧率共同决定的 帧率就是每秒播放的动画帧数帧率越高 动画越细腻平顺 通常目前抖音和电视平台都是 30帧每秒的播出频率 ANIMMD生成的动画目前受到算法数据限制 只能一次输出16帧一组的稳定动画 SDXL模型只能八帧一组 所以软件默认建议的帧率是八帧每秒 这也是动画流畅度的底线 最早的动画片就是八帧每秒的 所以默认的16帧 也就是能够输出两秒的稳定动画 三动画的尺寸精度 ANIMMD的动画原理 是将所有序列帧都拼图在一张图片上进行 生成的 因为同一潜空间可以保持更好的稳定性 这个文件会自动保存在SD的进度文件夹下 所以生成的单帧动画尺寸越大 生成的总参数越多 这种拼图的尺寸也就越大 生成花费的时间和对显卡显存的要求也就越高 NB的地府的一些常用参数解释 显示循环数量默认为零 表示生成完成后会一直重复播放动画 如果设置其他数值 又表示动画播放的次数 上下文NP数量 这个默认16代表生成16帧 一组稳定的连续动画 第二组会产生差异 类似又换了一个随机种子数 如果设置更高 可以到32 虽然可以达到一组32帧的温度新动画 但内存会变得很局部 很难控制 这里还要注意动画总参数的设置 要超过这个设置才行 也就是16不服 就是把生成的关键帧进行复制 默认一是连续的关键帧设置为二 将会对每个关键帧进行复制 一份重叠设置 每组动画直接衔接 融合的帧数值越大 融合越平滑 默认为一指 系统会根据情况自动设置重叠数 康复UI上默认值是四 闭环设置是否产生前后循环的动画 如果不想产生前后循环的动画 选择N如果想让最后一帧完全和第一针相同 选择A其他两个是介于两者之间的设置 真差值是和另一个插件DEFORMER配合使用的参数 nip地府生成动画时 SD的一些参数设置影响迭代步数 这个数值对动画的生成时间影响很大 每多一个数值 整个动画大拼图都会迭代绘制一次 建议测试的时候设置为15即可 正式的时候设置为20~30之间 采样方法效果都差不多 最好选择生成时间比较快的采样方式 系统默认的DPM加加二 m cars就是比较好的选择 随机种子数我们会发现 不开启animate 地府 产生的竞争图片和最后生成的动画完全不同 所以竞争图片只能测试一个 大概设置不同的随机种子数 会产生不同的动画效果 但是生成的序列帧 图像的种子数每一张都不相同 随机种子数设置成一 和其他固定数值是相同的 check point的大模型动画的效果主要和大模型相关 不同的大模型产生的动画 效果和稳定性都不一样 需要测试比较很多静态图片效果好的大模型 动画效果却很差 ANIMMD提示词动画 在提示词的编写上 使用动词可以驱动anyway地产生动画 例如walking走running跑 dancing跳舞 fighting格斗 还有wind风会吹动头发和树叶 测试会发现 单人角色比较简单的动作表现非常好 但多人动画以及比较复杂的跑步格斗 就会略差一些 但也比long way的真吐效果要好 自然风光效果也不错 啊animate def 提示此游历动画使用prod travel提示词 游历语法可以设置在不同的时间段 使用不同的提示词 产生不同的动画 这很容易制作一些变形动画效果 这种语法编写的规则比较简单 第一种就是最简单的 直接写出不同真要启动的提示词 格式就是帧数加半角 冒号加空格结尾 用逗号或者不用逗号都可以 例如这个人类进化动画的提示词 就是写了不同时间点的不同提示词 内容生成的时候 观察进程窗口 如果显示you are using prompt to travel 就代表提示此游历语法被激活了 否则可能是语法书写错误 如果我们安装了一个prompt all in one插件 这个提示词插件会自动调整提示词的格式 尤其是会自动删除空格 因为冒号后面的空格如果被删除了 提示此游历语法就无法启用了 所以技巧就是不要在冒号后面跟数字 例如零冒号 一个要改成零冒号啊个 第二种就是在提示词前后增加公共提示词 例如这个服装模特换衣的提示词 模特本身的提示词是公共提示词 保持全部一致性 还增加画了一个in bedding模型 控制容貌稳定 其他不同的关键帧只控制产生不同的服装变化 animate dla镜头运动 这个插件提供的八个la模型 可以实现各种镜头运动效果 包括向左平移镜头 向右平移 镜头向上摇 镜头向下摇镜头 逆时针摇镜头 顺时针摇镜头 拉近镜头 拉远镜头 LAURA的权重控制运动的快慢 不要设置为一 因为会出现奇怪的字符 animate df文生图加control net 在文生图中如果加入control net的控制 就可以用外部视频对动画进行控制 例如open pose 骨骼动画 line up轮廓动画等等 下面是分别对不同Ctrl net控制器进行的动画测试 对比 打开SD的web AI 在TEMPORK插件中 这是一段我们从免费下载网站下载的动作视频 把视频拖放到预处理中 把拼图改成一 每两帧提取一个关键帧 因为原来的视频细腻度比较高 配置高度为1600像素 勾选EV3模式 将自己创建的一个新的文件夹作为工程文件夹 粘贴在这里 勾选批量处理 然后按一下运行 我们会看到这个空文件夹下 自动建出了很多文件夹 在input文件夹下 所有的分解出的关键帧都存放在这儿 一共70帧 然后在文生图中我们输入提示词 一个女孩在跳舞 然后反向提示词 我们可以使用已经保存的提示词 反向提示词中可以适当的加入几个 INDEADDING的模型 修手的 还有快速的反向提示词 然后勾选Ctrl net 在这里我们可以先选择第一张作为测试 很多人喜欢用open pose的方式来做Ctrl net控制 但是我们可以测试一下默认的open pose for 我们看一下它的效果还可以 但是我们把动作设置成比较高难度的 我们再来看一下 它很难做出来 换成二阶蒸馏 这种方式会更精细 但是我们看到这个动作是错的 所以使用open pose姿态不能够还原比较复杂的动作 所以这个练习中我们就不使用它 而使用一些其他的例如深度的模型 默认标准的预处理器测试一下 将这个图片的尺寸 通过这个按钮可以放置到上面 自动设置好 但是我们需要除以二 不需要这么大的尺寸 生成一张单张 做一个测试 看看当前的大模型 我们选择的是一个2D常用的模型 Flat 2d animator 所以效果是比较平面化的 接下来我们打开animator dif 勾选animator def 因为动画的总长度 现在视频是70帧 所以我们设置成70或者小于70都可以 我们可以先设置30帧或者16帧 进行一个测试 取消PNG只保留一个技术就可以了 然后把配环设置成NO 然后做一个简单的快速测试 我们看到这个人没有动 是因为我们只是用了一张静帧做的control net 如果想用序列帧来做Ctrl net处理的话 必须把批量处理打开 然后把这个视频源文件的文件夹路径 复制粘贴到这儿 但是为了更好的处理的话 我们可以勾选一个完美像素模式 这样可以产生更高精度的深

- - -

- - -
# 一次学会！AnimateDiff+LCM全新webUI原创动画流程教学
🎬

## 高精度的深度贴图控制
再次做一个测试，看一下测试的动画效果。测试32帧的动画效果，把迭代步数缩减到12，加速测试。在生成过程中，设置12迭代次数对整个拼图进行12次的迭代计算。迭代次数越少，计算速度越快。整体服装的稳定性还是比较不错的。

## 最终的渲染设置
设置迭代步数到20，勾选面部优化插件，设置成70帧。输出一个序列的PNG文件和一个mp4文件，然后生成。因为开启了面部细节的插件，会对整个面部每一帧都进行重新计算。所有的序列帧文件保存在SD的text image的文件夹下。

## 后期处理
将生成完的图片放大一倍，使用后期处理功能。可以通过已经安装好的一个移除背景的插件，选择一个像enemy的大模型，自动将背景去除，生成一个带有通道的PNG文件。然后选择批量处理文件夹，输出文件夹。

## 导入剪辑软件
将生成完的图片文件夹导入剪辑软件，例如剪映。将排序改成名称和A到Z的，拖到轨道上，新建复合片段，给它加一个背景，选择一个AI生成的方式，输入一段中文的提示词，生成一张清晰度更大的大图，应用到轨道上。调整动画的长度通过变速方式，将背景拉长。

## 图生图中通过control net进行控制
将文生图中所有的参数直接复制到图生图中，将原始的图生图的图片更换成一张视频的单帧图，打开animation de勾选，总参数先用32帧来做测试，选择闭环，批量处理视频序列帧的文件夹路径，输出目录。

## 最终的生成设置
调高迭代步数到30，重绘尺寸适当调高，打开面部的增强插件，总参数设为70帧，勾选PNG序列格式。

## 三组不同动画方式生成的动画的对比
第一组是使用文生图加control net的深度贴图控制，第二组是使用图生图加深度贴图控制，第三组是使用图生图加深度和line art共同控制动画，进行了fusion的稳定性处理。

## animate def的安装
在SD的扩展里，通过可下载下载扩展列表，输入IMMD，安装animate def的插件。在已安装里头，应用更改并重启。进入SD的根目录，选择扩展文件夹，安装完的animate Deft的文件夹。

## 最新的LCM的模型下载
右键打开LCMLAURA模型的下载链接，把模型放到SD的LAURA模型目录下。在采样方法里看到LCM的采样方法，使用LCM的采样方式，调用安装的LCM的LAURA模型。

## 如果遇到问题
在启动面板，将优化方案从原来的使用x former改成SDP的方案，再次重新启动进行尝试。在设置中勾选让地府的生成效果更好，勾选重要的参数。如果在安装和使用的过程中遇到问题，可以加我们火星时代的公众号获取帮助。