Zipformer论文阅读

简介

ASR模型，基于Conformer改进

改进点

Downsampled encoder structure

• 不同于 Conformer 只在一个固定的帧率 25Hz 操作，Zipformer 采用了一个类似于 U-Net 的结构，在不同帧率上学习不同时间分辨率的时域表征。

Zipformer block

扩展conformer块结构

Non-Linear Attention

Bypass

BiasNorm

Swoosh 激活函数