面壁智能

声明:本文来自于微信公众号 光子星球，作者:郝鑫 大模型决定了“脑容量”，定义了模型的知识上限与智能天花板。 低比特技术，则是让大模型“小而强”的魔法，它重新排列了每一个“脑细胞”的密度。这条路指向两个明确的方向:要么在有限的内存与显存资源下，塞进参数规模更大的模型;要么让同样大小的模型，跑得更快、更省电。 低比特模型一直处于小众赛道，直到今年内存价格一年涨了5倍，倒逼整个大模型行业寻求性价比更高的落地解决方案。 而早在2024年下半年，面壁智能就开始押注2-bit及以下的技术路线。彼时，面壁智能AI Infra团队在训练时观察到，从BF16到INT4（从高精度到底精度），模型能力损失极小，说...

声明：本文来自于微信公众号 光子星球，作者：郝鑫 面壁智能，是中国大模型行业中的“另类”。 在国内外大肆流行Scaling Law（规模定律），即奉行参数越大、数据越多、算力越强，模型能力就越强的时候。 面壁智能则反其道行之，遵循“知识密度”，即用更少的参数实现更强的能力;以及“密度法则”，即在有限算力下，持续提升模型能力密度。 一个是“大力出奇迹”，一个是“以小博大”，这注定一开始面壁就与主流的“AI六小龙”走上了不同的道路。 有趣的是，面壁智能与“AI六小龙”的命运，在无形中形成了一个大写的“X”。交汇点是大模型洗牌期，早期风头无两的零一万物和百川智能，出现了明显掉队的迹象，智谱、Mini...