DeepSeek和Kimi首轮就被淘汰,这项大模型对抗赛说明了什么?
首先要说明的是,所谓“首届大模型对抗赛”,其实在比赛形式和参赛AI大模型的选择上都备受争议。
这次比赛的形式是让大模型两两捉对下国际象棋。谷歌DeepMind团队,也就是2017年凭借AlphaGo彻底在棋类项目上击败人类的团队,为大模型提供了技术接口,让大模型能够“看懂”棋盘。
参赛的8个大模型中,包括了OpenAI的o4-mini、o3,谷歌的Gemini 2.5 Pro、Gemini 2.5 Flash,Anthropic的Claude Opus 4,xA的Grok 4,以及来自中国团队的DeepSeek-R1和Kimi K2 Instruct。
其中两款中国模型的选择受到了不少质疑,首先,Kimi K2 Instruct并非推理模型,在下棋场景存在天然劣势,而DeepSeek-R1已经是半年前发布的“老模型”。因此,不管其表现如何,比赛结果都不能客观反映中国大模型行业的真实水平。
从首轮比赛结果来看,两款中国模型也确实都表现不佳。
从对阵图中可以看到,首轮四组对决都呈现“一边倒”的态势,获胜方全部都取得了4-0的全胜战绩。
如果具体来看比赛过程,Kimi K2 Instruct不出意外是表现最差的模型,不光贡献了仅仅4回合就被对手将死的最快败局,还多次因为非法移动被判负(比赛规则设定,如果连续4次尝试非法移动就会被判负)。
例如下面的场景中,Kimi试图用白马去吃掉对方的黑后,而没有意识到马是不能这样移动的。即使在被人工告知这是非法移动后,它仍然坚持认为这是最优走法。
在另外一局中,Kimi甚至无法正确识别棋子的位置。
需要指出的是,这不是DeepSeek-R1独有的问题,基本上每个大模型都在常规的开局后,迅速开始下出各种“昏招”。
在专业的国际象棋网站Chess.com看来,只有Grok 4的表现略胜一筹,能够较好地识别和捕获对方未设防的棋子。
马斯克也在第一时间“炫耀”说,(下棋)只是Grok 4的“副作用”,他们并未对此做专门训练。
比赛的真正意义是什么?
那么从首日战况来看,这项赛事到底说明了什么,又有多大意义?
但是谷歌的野心,也不仅仅是办一场国际象棋比赛。事实上,本次比赛更像是谷歌为了打造一个更大规模LLM评价体系的“垫场赛”。
承办本次比赛的Kaggle,本就是谷歌旗下知名的数据科学赛事平台,在行业内享有很高声誉,如今在DeepMind加持下进军LLM赛事,最终应该是希望打造一套更加完整权威的评价体系。
从这个角度来说,如果能够建立一套新的评级体系,掌握评级话语权,对于谷歌在AI领域的地位将是极大的加强。
如果只看国际象棋比赛比赛本身,我们也可以看到,其对大模型能力的评估确实也有相当的参考价值。例如,非推理模型Kimi K2 Instruct的确表现较差,而Gemini 2.5 的Pro和Flash也体现出了能力差距。
而对行业来说,这项比赛也让我们更清晰地看到,即使是2025年最新的推理大模型,在解决垂直问题时的表现,不但不如多年前的AlphaGo,甚至也可能远远不如受过基本训练的人类。单靠通用模型去做场景落地并不现实,这意味着应用层面的创业者仍有广阔空间。
1、上半年全国消协组织为消费者挽回经济损失4.52亿元,2020全国消协组织受理投诉解决率
2、演唱会退票投诉比例超90%,中消协:杜绝一律不退等不合理规定