近日,来自 Google 的研究人员与 Max Planck 信息学研究所和麻省理工学院 CSAIL 一起,发布了一个名为 DragGAN 的图像编辑工具。这是一个非常直观的图像编辑工具,用户只需要控制图像中的像素点和方向,就可以让图像变形。
看到这样的描述可能还没有直观的感受,不如先看看下面这张 GIF 图。一句话总结,DragGAN 可以让用户快速调整照片主体的位置、姿态、表情、大小和角度等。
如今文本转图像的工具已经非常多了,但你输入的提示词跟你最终想要的图像并不一定能够完全一致,可能在大小、角度等各个方面存在一些偏差。DragGAN 真正有趣的地方在于,它不仅可以生成逼真的图像,还可以灵活和精确地控制图像。
与之前的许多方法相比,DragGAN 的研究人员通过不依赖领域特定的建模或辅助网络,提出了一个通用框架。为了实现这一点,DragGAN 包含两个主要组成部分:基于特征的运动监督,引导手柄点向目标位置移动;以及一种新的点追踪方法,利用判别生成器特征来定位手柄点的位置。
研究人员表示,他们的方法在基于 GAN 的操作中优于 SOTA,并为图像编辑开辟了新方向。在接下来的几个月里,他们希望将基于点的编辑扩展到 3D 生成模型。
虽然该项目的代码到 6 月才会发布,但目前在 GitHub 上已有 4.8K Stars。
演示视频(视频已加速):
转自:https://vcai.mpi-inf.mpg.de/projects/DragGAN/
他们项目主页 有 更详细的 演示视频,并且附有 文献下载地址 和 Github项目地址
| DragGAN 项目主页:
https://vcai.mpi-inf.mpg.de/projects/DragGAN/
| DragGAN 文献转存下载地址:
https://cpoteam.lanzouf.com/i6xvd0wy50bi
| DragGAN Github 项目地址:
评论(0)