Midjourney+Gen2，7步完成「芭本海默」，引Karpathy惊呼｜附实测经验
发布时间:2023-09-18 15:27:00 来自:网易科技
新智元报道
编辑：润
7 步完成「芭本海默」，电影工业 2.0 真的要来了吗？
在前两天芭比海默全网爆火之后，不断有网友“复现”用 MidJourney+Gen-2 制作电影的神技！
而一位网友更新了一个自己的教程，制作芭本海默只需 7 步，被 Karpathy 盛赞为“电影制作工业 2.0”。
一部 20 秒钟，有完整剧情，包含 6 个分镜头的动画短片，7 步完成，曹植看了都要直呼内行！
表情包
7 步完成芭比海默，效果惊人
下面就给大家具体演示一下：
第一步，ChatGPT 帮你写分镜头剧本，顺便再帮你把字幕也写好
2 根据分镜头脚本，用 Midjourney 生成每个镜头的开始的一张图片。
这里可能是 7 步成片中唯一一步稍微有点门槛的操作，每张图片的提示词要自己创作。
但是点击图片放大之后可以看到提示词也不是很长，有一点英语基础的朋友稍微试一下就能做到。
这是短片中另外几个场景的起始图片，也全都是用 Midjourney 生成。
3 为了保证短片中的场景色调一致，需要用修图软件调整一下每张图片的色调。
比如短片里的色调是比较复古的风格，Midjourney 生成的原图可能不符合。
用任意一款修图软件调整过后，就能让所有场景的风格比较一致了。
4 使用 Gen-2 让每一张照片动起来，把 6 张照片变为 6 个分镜头。
5 然后用 ElevenLabs 生成字幕的语音。
6 然后用 FinalCut Pro 把动画，声音，和特效结合起来，短片就基本完成了。
7 再用 Capcut 添加好字幕，大功告成！
实测之后发现的经验
虽然看着简单，但是小编亲手实测了一波后发现，没有一个清晰的规划，要想做出自己效果满意的电影，还是很不容易的。
最大的障碍在于，因为 Gen-2 的动画只能以某一张图随机生成，所以在涉及人脸画面的时候，畸变会比较多。
小编本来想做一个马老板手搓星舰的视频，但是发现人物面部的畸变太严重了，以至于每段视频只有第一帧图片是马老板本人，一秒钟之后就不知道会变成谁了。
所以如果想要用 Gen-2 做一个明星相关的视频，现在为止还几乎不可能。
而且这些面部畸变和人物动作时完全随机的，完全不受用户控制。
有一位网友做了一段视频，把每 4 秒的最后一帧截图下来让 Gen-2 继续生成新动画。
大概 40 秒之后，画面中的人物，从一开始的美漫风格的动画角色，最后几乎畸变成了雕塑。
即便图片中有一些比较明显的动态提示的效果，但是 Gen-2 还不能理解，所以生成的效果也不一定符合你的预期。
人物的动作也没有办法太好的控制，可能为了要生成一段自己满意的动画需要用同一张图尝试好长时间。
所以就目前 Gen-2 能实现的效果来看，还不太可能随意适应比较复杂的剧本。
所以就要求写剧本时要尽量避免近景人脸特写等场景。
但是如果未来 Gen-2 能够将 prompt 和图片完全结合起来，让图片能够跟着 prompt 的描述动起来，效果就会有一个巨大的飞跃。
其他的 Midjourney+Gen-2 的效果
大神歸藏，用 Gen-2 做了几个《奥本海默》中的场景，足以以假乱真。
同时，他还比较了相似的场景和 Pika Lab 生成的区别。
下图是 Pika Lab 的效果
除了开头这段「芭比海默」之外，很多网友也用 Gen-2 和 Midjouney 这对黄金搭档做起了动画开发的副业。
让我们来欣赏几组效果不错的动画效果演示。
可以看出，在演示之中人脸的效果变形不是很大，这与实测的差异很大，很有可能是因为作者试了很多次之后找到的脸部畸变不大的效果。
有网友生成了一部名人漫威角色的预告片，效果非常逼真，配上一点动画特效和光影，感觉真的像是漫威官方的作品。
这是网友生成的一段恐怖电影的预告片，反而很好的利用了 Gen-2 人物画面畸变，增加了恐怖片的氛围感。
这一段也是网友用 MJ+Gen-2 做的艺术感很强的视频，加上后期跟新的导演运镜特效。
这是一幅用油画的静图生成的动画，虽然有一点畸变，但是效果确实不错。
参考资料：