MiniMax押注线
-
MiniMax押注线性注意力,让百万级长文本只用1/2700算力
Transformer架构主导着生成式AI浪潮的当下,但它并非十全十美,也并非没有改写者。 MiniMax-01就以变革者之姿搅动开源社区,押注线性注意力机制并将其扩展到前所未有的参数规模。 这是一场技术冒险,也可能是架构创新的下一个里程碑。 MiniMax-01技术文档 本期「大模型创新架构」主题访谈量子位邀请到MiniMax-01架构负责人钟怡然,聊聊线…
Transformer架构主导着生成式AI浪潮的当下,但它并非十全十美,也并非没有改写者。 MiniMax-01就以变革者之姿搅动开源社区,押注线性注意力机制并将其扩展到前所未有的参数规模。 这是一场技术冒险,也可能是架构创新的下一个里程碑。 MiniMax-01技术文档 本期「大模型创新架构」主题访谈量子位邀请到MiniMax-01架构负责人钟怡然,聊聊线…