AI绘画系统有两个重要模块

• 理解文字输入
• 使用这个理解去生成新的图片

Contrastive Language Image Pre-training (CLIP)

• 提供了高水平的自然语言跨模态理解

Diffusion Model

• 提供高质量的图片生成技术

Diffusion - Latent diffusion models (LDMs)

Dec/2021: High-Resolution Image Synthesis with Latent Diffusion Models

Ref: https://arxiv.org/pdf/2112.10752.pdf

Abstract

2021/2022 state-of-art 结果，在当时主要针对pixel space

问题：如果运算资源不够强大，不能产生像样的结果，消费级GPU负担过大

New point：cross-attention layer