魔搭社区上线 Mistral AI 首个开源 MoE 模型 Mixtral-8x7B

发表评论
42 views

A+

据站长之家 12 月 14 日报道，Mistral AI 近日发布了首个开源 MoE 模型 Mixtral 8x7B，并宣布在魔搭社区上线。

Mixtral-8x7B 是一款混合专家模型（Mixtrue of Experts），由 8 个拥有 70 亿参数的专家网络组成，在能力上，Mixtral-8x7B 支持 32k token 上下文长度，支持英语、法语、意大利语、德语和西班牙语，拥有优秀的代码生成能力，可微调为指令跟随模型。该模型在 MT-Bench 评测上达到了 8.3 分，与 GPT3.5 相当。

免责声明

免责声明：

本文不代表知点网立场，且不构成投资建议，请谨慎对待。用户由此造成的损失由用户自行承担，与知点网没有任何关系；

知点网不对网站所发布内容的准确性，真实性等任何方面做任何形式的承诺和保障；

网站内所有涉及到的区块链（衍生）项目，知点网对项目的真实性，准确性等任何方面均不做任何形式的承诺和保障；

网站内所有涉及到的区块链（衍生）项目，知点网不对其构成任何投资建议，用户由此造成的损失由用户自行承担，与知点网没有任何关系；

知点区块链研究院声明：知点区块链研究院内容由知点网发布，部分来源于互联网和行业分析师投稿收录，内容为知点区块链研究院加盟专职分析师独立观点，不代表知点网立场。