实盘炒股配资公司

你的位置:联华证券机构_正规股票配资网站_实盘炒股配资公司 > 实盘炒股配资公司 > 股票杠杆风险大吗 微软发布Phi-3.5系列AI模型:上下文窗口128K,首次引入混合专家模型

股票杠杆风险大吗 微软发布Phi-3.5系列AI模型:上下文窗口128K,首次引入混合专家模型

发布日期:2024-10-14 23:29    点击次数:135

股票杠杆风险大吗 微软发布Phi-3.5系列AI模型:上下文窗口128K,首次引入混合专家模型

面对这一挑战,雷军决定再次投身时代的洪流,开始他所说的“人生最后一次创业”。

一加Ace 3 Pro所搭载的冰川电池就是通过这把“钥匙”所诞生的产物。其采用了全新一代硅碳负极电池技术打造,含硅量达到行业领先的6%,能量密度也达到763Wh/L,同时6100mAh也是行业容量最大的硅碳负极电池。

Phi-3.5-MoE的性能超过了Llama-3.1 8B,接近目前的领先者GPT-4o-mini。

IT之家 8 月 21 日消息,微软公司今天发布了 Phi-3.5 系列 AI 模型,其中最值得关注的是推出了该系列首个混合专家模型(MoE)版本 Phi-3.5-MoE。

本次发布的 Phi-3.5 系列包括 Phi-3.5-MoE、Phi-3.5-vision 和 Phi-3.5-mini 三款轻量级 AI 模型,基于合成数据和经过过滤的公开网站构建,上下文窗口为 128K,所有模型现在都可以在 Hugging Face 上以 MIT 许可的方式获取。IT之家附上相关介绍如下:

Phi-3.5-MoE:首个混合专家模型

Phi-3.5-MoE 是 Phi 系列中首个利用混合专家(MoE)技术的模型。该模型在 16 x 3.8B MoE 模型使用 2 个专家仅激活了 66 亿个参数,并使用 512 个 H100 在 4.9T 标记上进行了训练。

微软研究团队从零开始设计该模型,以进一步提高其性能。在标准人工智能基准测试中,Phi-3.5-MoE 的性能超过了 Llama-3.1 8B、Gemma-2-9B 和 Gemini-1.5-Flash,并接近目前的领先者 GPT-4o-mini。

Phi-3.5-vision:增强型多帧图像理解

Phi-3.5-vision 共有 42 亿个参数,使用 256 个 A100 GPU 在 500B 标记上进行训练,现在支持多帧图像理解和推理。

Phi-3.5-vision 在 MMMU(从 40.2 提高到 43.0)、MMBench(从 80.5 提高到 81.9)和文档理解基准 TextVQA(从 70.9 提高到 72.0)上的性能均有提高。

Phi-3.5-mini:轻量级、强功能

Phi-3.5-mini 是一个 38 亿参数模型,超过了 Llama3.1 8B 和 Mistral 7B,甚至可媲美 Mistral NeMo 12B。

该模型使用 512 个 H100 在 3.4T 标记上进行了训练。该模型仅有 3.8B 个有效参数,与拥有更多有效参数的 LLMs 相比,在多语言任务中具有很强的竞争力。

此外股票杠杆风险大吗,Phi-3.5-mini 现在支持 128K 上下文窗口,而其主要竞争对手 Gemma-2 系列仅支持 8K。