真人换脸?用Midjourney Cref 参数去垫图 到底有多像?Cref+Sref参数会更有效吗?Cref是否适用于照片人脸迁移?最新Midjourney真人面部迁移功能测评

氪學家
22 Mar 202412:49

TLDR本期视频主要测评了Midjourney(MJ)新上线的角色参考参数CREF(character reference)在真人面部迁移功能上的表现。视频通过使用不同数量的亚洲人照片作为参考,并结合CREF参数进行测试,发现在写实风格的面部迁移中,CREF参数的效果并不理想,没有一张图片的相似度达到预期标准。此外,视频还探讨了CREF参数结合局部重绘和SREF参数的使用,但结果显示这些方法并没有显著提升面部迁移的相似度。最后,视频得出结论,尽管尝试了多种方法,MJ的CREF参数在亚洲人面部迁移上的表现仍然有待提高,建议用户在使用CREF参数时,通过不断尝试和调整来获得更好的结果。

Takeaways

  • 🔍 MJ新上线的CREF参数(character reference)用于角色参考,但在真人照片面部迁移中表现并不理想。
  • 🤔 使用CREF参数后,生成的图片与参考图相似度主观,但通过ComfyUI的面部数据识别可以计算得到相似度的数值。
  • 📐 面部相似度的评估标准为:EUC值小于0.8,COS值小于0.3表示相似度高;EUC值大于1.3或COS值大于0.9表示差异大。
  • 🖌️ 在CREF参数中提交多张图片作为参考时,并没有发现图片数量与最终出图相似度有明确的关系。
  • 🎨 通过局部重绘和调整CW值(默认为100),专注于五官的生成,但实际效果有限,并不推荐作为首选方法。
  • 🤖 CREF参数对男性和小孩的面部迁移效果相对女性来说更好,但这个结论不绝对。
  • 🧐 结合SREF参数使用时,面部迁移的相似度与仅使用CREF参数相比,并没有显著提升。
  • 🚫 MJ官方说明CREF参数更适用于MJ生成的图片,并非专为真人照片设计。
  • 📈 测试结果显示,CREF参数在写实风格的亚洲人面部迁移中效果一般,没有图片达到预设的相似度标准。
  • 🔄 尽管尝试了多种方法,真人照片面部迁移的最佳方法可能仍然是使用CREF参数后进行大量的刷图尝试。
  • 📚 视频作者基于个人使用IP-Adapter的经验,推测CREF参数可能采用的是IP-Adapter技术路线,而非FaceID或InstantID。

Q & A

  • Midjourney Cref参数在真人换脸中的效果如何?

    -根据视频内容,Midjourney Cref参数在真人换脸中的效果并不理想,尤其是在写实风格的亚洲人面部迁移上。

  • Cref参数的全称是什么?

    -Cref参数的全称是character reference。

  • 在测试Cref参数时,使用了哪些方法来提高相似度?

    -测试了三种方法:1) 在Cref参数中提交多张图片做参考;2) Cref参数配合局部重绘;3) Cref参数配合Sref参数出图。

  • 如何通过ComfyUI计算面部相似度?

    -在ComfyUI中通过面部数据识别的节点来计算相似度,主要关注EUC和COS两个数值,数值越低表示相似度越高。

  • 在测试中,提交多张参考图片是否提高了MJ出图的相似度?

    -测试结果显示,提交多张参考图片的数量和最终出图的相似度并没有一个明确的关系,有时甚至会产生反效果。

  • Cref参数是否适用于照片人脸迁移?

    -Cref参数并不是为真人照片设计的,它在使用MJ生成的图片时最有效。

  • 在视频测试中,哪种性别和年龄段的面部迁移效果相对较好?

    -在视频测试中,男性的面部迁移效果比女性好,小孩的迁移效果比成人好,但这个结论并不绝对。

  • 局部重绘结合Cref参数是否会提高面部迁移的相似度?

    -视频测试表明,即使使用了局部重绘和Cref参数,重绘后的图片相似度提升有限,有时甚至效果更差。

  • Cref参数结合Sref参数使用时,是否能得到更好的面部迁移效果?

    -根据测试,Cref参数结合Sref参数使用时,效果与只用Cref参数相比并没有显著提升。

  • 视频作者对于Cref参数在真人照片面部迁移上的看法是什么?

    -视频作者认为,尽管尝试了多种方法,但Cref参数在真人照片面部迁移上的效果并不理想,建议在用CREF参数的基础上去刷图可能来得更快一些。

  • 视频作者对于MJ新上线的Cref参数的整体评价是什么?

    -视频作者认为,就当前MJ上线的Cref参数来说,对亚洲人面部做写实风格的迁移效果并不是特别理想。

Outlines

00:00

😀 Introduction to MJ's CREF Parameter and Testing on Asian Faces

The video begins with a recap of the CREF (Character Reference) parameter for the MJ platform, which was previously demonstrated using a picture of Barack Obama. The host addresses viewer comments about the CREF parameter not producing images similar to the reference images. To address this, the host uses Asian faces as reference images to test the CREF parameter's effectiveness. The video establishes criteria to measure similarity using ComfyUI's facial data recognition nodes, which provide values (EUC and COS) to quantify similarity. The host then outlines the testing methodology, which includes submitting multiple images with the CREF parameter, redrawing faces after initial output, and combining CREF with SREF parameters. The video proceeds to demonstrate the process using a shared account for testing and provides a link for viewers interested in obtaining a shared account.

05:01

🤔 Analysis of CREF Parameter's Facial Similarity in Various Scenarios

The host presents the results of using the CREF parameter with different numbers of reference images for facial similarity. The data shows that the similarity values (EUC and COS) do not necessarily decrease with more reference images, and sometimes, fewer references yield better results. The video discusses three groups of images: female, male, and children, noting that the male and children groups perform better than the female group in terms of facial similarity. The host also shares personal opinions on the visual appeal of the results and the limitations of the CREF parameter when used with simple prompts. The video concludes that the CREF parameter's performance in creating realistic Asian faces is not ideal, and there is no clear correlation between the number of reference images and the resulting similarity.

10:01

🔍 Further Testing of CREF Parameter with Local Redraws and SREF Combination

The video continues with further testing of the CREF parameter. The host explores the use of a hidden CW value in the CREF parameter, which when set to 0, focuses more on generating facial features, and combines this with local redraws to see if it improves the similarity. The results show that while the numerical values slightly improve with the CW parameter adjustment, the visual outcome is not necessarily better. The video also tests the combination of CREF and SREF parameters for image generation. The host concludes that the combination does not significantly improve the facial similarity compared to using CREF alone. The video wraps up by suggesting that manually iterating through images ('brushing through images') might be the most effective method to achieve a good facial resemblance with the CREF parameter. The host expresses their understanding that the CREF parameter is more effective with MJ-generated images rather than real-life photos and thanks viewers for their support.

Mindmap

Keywords

Midjourney Cref 参数

Midjourney Cref 参数,全称是character reference,是一个用于角色参考的参数,用于指导图像生成软件生成与参考图像相似的角色或人物面部。在视频中,这个参数被用来测试生成的图片与参考图片的相似度,是视频测试的核心内容之一。

面部数据识别

面部数据识别是一种技术,可以通过算法分析面部特征并计算出两张面部图像之间的相似度。在视频中,通过ComfyUI中的面部数据识别节点,计算出了EUC和COS两个数值,用来衡量生成图像与参考图像的相似度。

EUC 和 COS 值

EUC 和 COS 值是面部相似度的量化指标,其中EUC代表欧几里得距离,COS代表余弦相似度。这两个值越低,表示两张面部图像越相似。在视频中,这两个值被用来评估Midjourney Cref 参数的效果。

局部重绘

局部重绘是一种图像编辑技术,允许用户对图像的特定部分进行重新绘制或修改,以提高图像的特定特征,如面部五官的相似度。在视频中,测试了使用Cref参数进行面部迁移后,通过局部重绘是否会使得生成的图像与参考图像更相似。

Sref 参数

Sref 参数是Midjourney中的一个参数,用于指定风格参考,可以控制生成图像的风格特征。在视频中,Sref 参数被用来与Cref 参数结合使用,以测试是否能够提高面部迁移的相似度。

写实风格

写实风格是指艺术作品或图像生成中追求真实、细致地再现现实世界的一种风格。在视频中,测试的重点是使用Midjourney Cref 参数在写实风格下进行亚洲人照片面部迁移的效果。

CW 参数

CW 参数是Midjourney中的一个参数,用于控制生成图像时对参考图像的重视程度。在视频中,通过将CW参数设置为0,使得生成的图像更专注于参考图像的五官,以测试是否能够提高面部迁移的相似度。

IP-Adapter

IP-Adapter是一种技术,可能与Midjourney Cref 参数相关,用于指导图像生成过程中对特定特征的模仿。在视频中,提到Cref 参数可能采用的是IP-Adapter的技术路线,但具体细节未详细说明。

真人照片面部迁移

真人照片面部迁移是指将一个人的面部特征应用到另一个人的面部上,通常用于图像编辑或特效制作。在视频中,这是主要的测试内容,通过Midjourney Cref 参数来实现真人照片的面部迁移,并评估其效果。

相似度标准

相似度标准是指在评估两张图像相似性时所依据的数值或指标。在视频中,相似度标准被设定为EUC值小于0.8或COS值小于0.3,以此来判断生成的图像是否达到了与参考图像相似的要求。

刷图

刷图是指在图像生成软件中通过不断尝试不同的参数和设置来获得满意的结果的过程。在视频中,提到了在Cref参数的基础上进行刷图可能是获得更相似面部迁移效果的更有效方法。

Highlights

Midjourney Cref 参数(character reference)用于真人换脸,但效果与参考图相似度有差异

使用Cref参数后,图片与参考图的相似度主观性强,通过ComfyUI计算面部相似度

EUC和COS数值越低,代表图片与参考图面部越相似

Cref参数在写实风格亚洲人照片面部迁移中表现并不理想

Cref参数对男性面部迁移效果优于女性,小孩面部迁移效果优于成人

Cref参数与Sref参数结合使用,并未显著提升面部迁移相似度

Cref参数在真人照片面部迁移中,相似度普遍未达到预期标准

Cref参数更专注于生成人物五官,但局部重绘后效果有限

Cref参数默认CW值为100,设置为0时更专注于五官生成

Cref参数配合局部重绘并未使图片更像,效果提升有限

Cref参数在MJ生成图片时最有效,非为真人照片设计

通过刷图而非局部重绘或参数结合,可能获得更像的面部迁移结果

Cref参数可能基于IP-Adapter技术,而非FaceID或InstantID

真人照片面部迁移是一大需求,但Cref参数在当前测试中未能满足期望

视频提供了MJ Cref参数和Sref参数的基础使用教程

作者通过三种方法测试Cref参数,试图突破真人照片面部迁移的限制

视频最后呼吁观众点赞和关注,以便获取更多MJ相关教程