何恺明再次开宗立派！开辟了生成模子的全新范式——

分形生成模子  Fractal Generative Models，初次使逐像素生成高分袂率图像成为可能，论文名字依旧继续以往的大路至简作风。

团队将生成模子自己详尽为可复用的"原子模块" 。

通过递归地在生成模子中调用这些原子生成模块，不错构建出一种自同样的分形架构。

其灵感源于数学中的分形念念想。它相配于一个精炼或碎裂的几何体式分红数个部分，每一部分齐（至少肖似地）是举座削弱后的体式。即具有自同样的性质。

嗯，等于像俄罗斯套娃（Matryoshka）那边幅。

By the way，「俄罗斯套娃」这个词照旧被其他论文用过了，sad。

团队提倡用参数化的神经集会看成分形生成器，从数据中学习这种递归法例，兑现对高维非序列数据的建模，也可用于材料、卵白质等。

截至在「逐像素图像生成」这一任务中证明出色。

看到这张图，未免让东说念主猜测此前‍

通过对输入图像的立地区块进行掩藏，然后重建缺失的像素。

这次团队也结合 MAE 的效用探索了一些可能性。现在该效用代码已开源。

逐像素生成高分袂率图像

怎么使用自讲究模子看成分形生成器？

领先商酌到意见是对一大组立地变量的和谐分散进行建模 ，成功使用单个自讲究模子的计较量令东说念主谢却三舍。

团队选择的关节计谋是"分而治之"，将自讲究模子详尽成一个模块化单位。

由于每个级别的生成器齐不错从单个输入生成多个输出，因此分形框架不错在只需要线性数目的递归级别的情况下兑现生成输出的指数级增长。

最终，在每个分形级别中，自讲究模子接管来自前一个生成器的输出，将其与相应的图像块结合，并使用多个 transformer 模块为下一个生成器生成一组输出，逐步从图像块到像素细化生成经由。

之是以取舍像素级图像生成这个任务，是由于原始图像数据具有高维度和复杂性，像素之间存在丰富的结构花样和相互依赖联系。

这类高维生成问题任务在逐一元素生成数据，但又与长序列建模不同，常常触及非限定数据，像分子结构、卵白质、生物神经集会等数据也顺应这个特质。

团队以为分型生成模子不仅是一个计较机视觉身手，还能展示分形身手在处置这类高维非限定数据建模问题上的后劲，为其他数据边界的行使提供参考。

不外照旧来望望它在像素级图像上的证明：

领先是直不雅的视觉效果，在 ImageNet 256x256 数据集上，逐像素生成一张图需要 1.29 秒。

测试联想方面，分形模子在 ImageNet 64 × 64 无条目生成上兑现了 3.14bits/dim 的负对数似然，异常此前最好的自讲究模子。

在图像质料上，FractalMAR-H 模子达到 6.15 的 FID 和 348.9 的 Inception Score。

更值得关怀的是，分形架构将计较效用进步到传统身手的 4000 倍，逐一像素生成高分袂率图像初次成为可能。

团队还探索了将掩码重建与分形生成模子结合起来，施行发现也不错准确预计被掩藏的像素。

此外，它不错灵验地从类标签中拿获高等语义，并将其反应在预计的像素中，比如终末一列，把猫的脸替换成狗的脸，这些截至解说了该身手在已知条目下预计未知数据的灵验性。

终末附上更多生成截至样本。

何恺明 MIT 天团，一作黎天鸿

这次效用是由 MIT 何恺明团队和谷歌 DeepMind 全华东说念主班底完成，并由谷歌提供 TPU、GPU 资源复旧。

一作何恺明的学生黎天鸿。

黎天鸿本科毕业于清华叉院姚班，在 MIT 赢得了硕博学位之后，现在在何恺明组内从事博士后猜测。

他的主要猜测标的是表征学习、生成模子以及两者之间的协同作用。意见是构建简略清醒东说念主类感知以外的寰球的智能视觉系统。

此前曾看成一作和何恺明开辟了自条目图像生成框架 RCG，团队最新的多项猜测中他也齐有参与。

Qinyi Sun，现在 MIT 三年龄本科生。

范丽杰，清华计较机系学友，昨年博士毕业于 MIT CSAIL，现在在谷歌 DeepMind 担任猜测科学家，力争于生成模子和合成数据。

此前曾与黎天鸿共同参与过 FLUID 的猜测——

一个可扩张的自讲究文本转图像模子，无需 VQ。10B 参数模子兑现 SOTA 性能。

论文地址：

https://arxiv.org/abs/2502.17437v1银he娱乐网