推理优化共1篇
1200万上下文与三倍推理提速同台:大模型开始拆掉成本墙-速维云

1200万上下文与三倍推理提速同台:大模型开始拆掉成本墙

一个把上下文窗口直接推到一千二百万个词元的新模型,正在挑战大模型行业最根深蒂固的技术假设。Subquadratic公司推出的SubQ采用新的稀疏序列架构,在超长上下文场景中把速度和成本同时拉开差距...
svyun的头像-速维云svyun昨天
05210