Python项目中Allocation.cpp文件第47行关于std::pair与llvm::SmallVector的使用详解
终于能跑起来chatglm-4v-9b了,但是刚填完信息,就又报错了
python: /project/lib/Analysis/Allocation.cpp:47: std::pair<llvm::SmallVector<unsigned int>, llvm::SmallVector<unsigned int> > mlir::triton::getCvtOrder(mlir::Attribute, mlir::Attribute): Assertion `!(srcMmaLayout && dstMmaLayout && !srcMmaLayout.isAmpere()) && "mma -> mma layout conversion is only supported on Ampere"' failed.
查遍资料都不知道为什么,在vllm的一个帖子下面发现不少人都这样https://github.com/vllm-project/vllm/issues/2729
然后我把 enable_chunked_prefill=True,这一行给注释掉了,好像是因为填充的问题导致的
再来一次,总算成功了
作者:yitahutu79