终端 AI 能力是赋能混合 AI 并让生成式 AI 实现全球规模化扩展的关键。
基于成本、能耗、可靠性和时延、隐私、个性化服务等考虑，端云混合的 AI才是 AI 的未来，高通认为终端 AI 能力是赋能混合 AI 并让生成式 AI 实现全球规模化扩展的关键。
百亿参数开源 MoE 大模型 Mixtral 8x7B 再掀热潮，性能超 LLaMA2-70B，对标 GPT-3.5。MoE（混合专家模型）通过将任务分配给对应的一组专家模型来提高模型的性能和效率。Mixtral 8x7B 的专家数量为 8 个，总参数量为 470 亿，但在推理过程中仅调用两个专家即只调用 130 亿参数。
