手机端也能流畅运行,腾讯混元宣布开源四款小尺寸模型
8月4日,腾讯混元宣布开源四款小尺寸模型,参数分别为 0.5B、1.8B、4B、7B,消费级显卡即可运行,适用于笔记本电脑、手机、智能座舱、智能家居等低功耗场景,且支持垂直领域低成本微调。
相关模型参数 腾讯官方
据悉,相关模型也兼容SGLang、vLLM、TensorRT-LLM等主流推理框架。
同时,模型拥有超强记忆,能精准应答。它可一次性处理256K上下文,即便经过几十轮项目方案讨论,也能记住每处细节,后续提问时依旧对答如流。
本文系观察者网独家稿件,未经授权,不得转载。
1、上海市交通委公布上半年重大交通工程建设新进展,上海交通规划2020
3、跟队确认!隆戈:贾沙里赴米兰谈判进入最后阶段,只差细节待敲定