手机端也能流畅运行,腾讯混元宣布开源四款小尺寸模型
目前,四个模型均在Github和Huggingface等开源社区上线,Arm、高通、Intel、联发科技等多个消费级终端芯片平台也都宣布支持部署。
据官方发布的内容,在实测中,四个新模型在语言理解、数学、推理等领域,得分都达到领先水平。
模型相关得分 腾讯官方
据悉,相关模型也兼容SGLang、vLLM、TensorRT-LLM等主流推理框架。
本文系观察者网独家稿件,未经授权,不得转载。
1、石破茂一次性背锅,让位小泉!中国冷眼,于无声处都是惊雷,石破茂家族
2、观察|“饥饿画面”震惊全球,G7三国“转向”或刺激以色列升级行动
3、气候变化导致亚南极赫德岛近四分之一冰川融化,南极变暖冰川融化的现状