From Reusing to Forecasting: Accelerating Diffusion Models with TaylorSeers

Meta

• Author：Shanghai Jiao Tong University
• Conference：ICCV 2025
• Link：TaylorSeers

Motivation

• “cache-then-reuse” :远距离步骤复用特征会显著损害生成质量
  

• related work:
  acceleration techniques:

1. Sampling Timestep Reduction
2. Denoising Network Acceleration:
   • Model Compression-based
   • Feature Caching-based

Method

• Cache-then-forecast Paradigm：
  对特征进行时序建模实现对扩散模型未来时间步特征的预测

• Framework
  

• 泰勒公式：
  

• results in text-to-video
  

Note

1. Consistency Models: 直接将带噪输入映射到干净数据来实现单步或少步采样

HiCache: A Plug-in Scaled-Hermite Upgrade for Taylor-Style Cache-then-Forecast Diffusion Acceleration

Meta

• Author：Shanghai Jiao Tong University
• Conference：ICLR 2026
• Link：HiCache

Motivation

• 基于泰勒的外推与真实轨迹存在显著偏差，尤其是在转折点处，其单调性质无法捕捉潜在的动力学变化
  

Method

• Framework
  

• 公式：
  

• results in text-to-video
  

SpeCa: Accelerating Diffusion Transformers with Speculative Feature Caching

Meta

• Author：Shanghai Jiao Tong University
• Conference：ACM MM 2025
• Link：HiCache

Motivation

• 扩散采样的两个基本特征：

  1. 严格的时间依赖强制逐步执行，阻碍并行化 —- DDIM 少步采样器

  2. 每个时间步都需全模型前向传播，对现代架构而言成本高到难以接受 —- token-based and residual-based

• Motivation: Speculative Decoding in large language models —- “Forecast-then-verify”

Method

• Framework
  
  

• draft model : Taylorseer Predictor

• Complexity Analysis
  

• results in text-to-video
  

Note

1. 深层特征对最终输出质量具有更直接、更具决定性的影响
   

∆-DiT: A Training-Free Acceleration Method Tailored for Diffusion Transformers

Meta

• Author：Fudan University
• Conference：CVPR 2024
• Link：HiCache

Method

1. 防止丢失前一步采样的信息 ∆-Cache：
   

2. DiT 前部block → 负责轮廓，后部block → 负责细节，中部block → 介于两者之间
   
   

3. 扩散推理过程特点：在去噪过程的早期阶段，扩散模型专注于生成轮廓，而在后期阶段，它们更专注于生成细节
   

Back to Basics: Let Denoising Generative Models Denoise

JiT

• Author：Kaiming He
• Link：参考链接