实验室简介

谢涛老师个人主页：https://taoxiease.github.io/

实验室研究方向（其他方向待补充）

自动算子合成

大模型时代，新的模型架构或者新的算法想要落地到适配硬件的高性能的实现，离不开高性能的算子。算子描述了一些基本的计算任务，比如对一个矩阵的每一行求最大值得到一个向量。实际执行过程中，算子指挥取数据-计算-放回数据的流程。算子有巨大的优化空间，高效的算子比单纯根据数学定义写的 naive 算子能快几倍甚至几十倍，但是算子调优并不简单，需要细致地分析算子的瓶颈并针对硬件架构进行优化，需要消耗大量的人力和时间。如果能用 LLM 来进行高效的算子生成，那就能更好地支撑算法、模型架构与硬件的快速迭代。