增量推理鹏程.盘古的基础结构是Transformer的Decoder模块，这种自回归（Auto-regressive）的语言模型会根据上文预测下一个字，因此在推理时会根据输入的文本逐字（词）生成。显然这种方式会导致每一步推理的网络输入shape在不断变大。静态图执行时，要求图中每个算子的shape不能改变，否则执行会报错；动态图执行时，在不同迭代间，图中每个算子的shape可以改变，不过改变了算子shape，就无法利用之前缓存的算子编译信息，每次都需重新编译，会影响性能。因此对于这种自回归模型，通用做法一般
