手机端也能流畅运行,腾讯混元宣布开源四款小尺寸模型
8月4日,腾讯混元宣布开源四款小尺寸模型,参数分别为 0.5B、1.8B、4B、7B,消费级显卡即可运行,适用于笔记本电脑、手机、智能座舱、智能家居等低功耗场景,且支持垂直领域低成本微调。
相关模型参数 腾讯官方
目前,四个模型均在Github和Huggingface等开源社区上线,Arm、高通、Intel、联发科技等多个消费级终端芯片平台也都宣布支持部署。
据官方发布的内容,在实测中,四个新模型在语言理解、数学、推理等领域,得分都达到领先水平。
据悉,相关模型也兼容SGLang、vLLM、TensorRT-LLM等主流推理框架。
1、游泳世锦赛中国队斩获15金12银10铜 位列金牌榜奖牌榜双榜首
2、受暴雨影响,深圳铁路部分列车停运,深圳火车停运调整最新消息
3、米体:亚沙里再次向布鲁日强调了非米兰不去的意愿,亚米ys