来源：量子位 AI不过周末，硅谷也是如此。大周日的，Llama家族上新，一群LIama 4就这么突然发布了。这是Meta首个基于MoE架构模型系列，目前共有三个款： Llama 4 Scout、Llama 4 Maverick、Llama 4 Behemoth。最后一个尚未推出，只是预告，但Meta已经毫不避讳地称前两者是“我们迄今为止最先进的型号，也是同类产品中最好的多模态型号”。详细来看一些关键词—— Llama 4 Scout，16位专家的170亿激活参数的多模态模型，单个H100 GPU可运行，同类SOTA，并拥有10M上下文窗口 Llama 4 Maverick，128位专家的170亿激活参数多模态模型，击败GPT-4o和Gemini 2.0 Flash，与DeepSeek-V3同等代码能力参数只要一半，主打与DeepSeek一样的性价比，单个H100主机即可运行。 Llama 4 Behemoth：2万亿参数的超大超强模型，以上二者都由这个模型蒸馏而来；目前还在训练中；多个基准测试超过GPT-4.5、Claude Sonnet 3.7和 Gemini 2.0 Pro。Meta官推激情表示，这些Llama 4模型标志着Llama生态系统新时代——原生多模态AI创新的开始。与此同时，大模型竞技场排名迎来一轮更新。此次发布的Llama 4 Maverick，在困难提示、编码、数学、创意写作方面并列第一；得分1417，不仅大大超越了此前Meta自家的Llama-3-405B（提升了149分），还成为史上第4个突破1400分的模型；。而且跑分明确——超越DeepSeek-V3，实现亮相即登顶，直接成为排名第一的开源模型。谷歌CEO劈柴哥第一时间发来贺电：中杯、大杯首批亮相了解了Llama 4家族全体成员后，我们先来见识一下首批发布的2个模型：两者均已能在Llama官网和抱抱脸上下载。我们抓取并提炼出这俩模型的一些特点： Meta首批MoE架构模型这是Llama系列，第一批使用MoE（混合专家模型）构建的模型。中杯Llama 4 Scout有17B激活参数，拥有16个专家模型。大杯Llama 4 Maverick拥有17B激活参数，拥有128个专家模型。至于还没和大家正式见面的超大杯Llama 4 Maverick，拥有288B激活参数，拥有16个专家模型。非常长————的上下文 Llama 4系列，均具有很长的上下文窗口。这一点主要体现在Meta公布的中杯Llama 4 Scout的详细数据里：这个配置，让它在广泛的测评集上，比Gemma 3、Gemini 2.0 Flash-Lite和Mistral 3.1的结果更优秀。它在‘大海捞针’测试上的表现如下：结果如下：那么之前的Llama系列模型的上下文窗口情况呢？ Meta官方博客中是这么写的：原生多模态设计 Llama 4系列，开启了Llama的原生多模态时代。而已经公开对外的中杯和大杯，被官方称为“轻量级原生多模态模型”。给用户的体验就是，上传一张图片，可以直接在对话框中提问关于这张图片的各种问题。不是我说，Llama终于长眼睛了！！！上面这张动图展示的仅仅是最基础的，“为难”程都升级也不怕。比如喂它一张铺满工具的图片，问它哪些适合来干某个活。它会很快地把适用的工具圈出来：要认颜色+认小鸟，也没在怕的：中杯和大杯都在官方介绍中被打上了“世界上同类产品中最好的多模态模型”的tag。来看和Llama系列前作、Gemma 3、Mistral 3.1、Gemini 2.0 Flash-Lite的对比结果—— 可以看到，在各个测评集上的表现，Llama 4 Scout样样都是新SOTA。语言天赋Max 经过了预训练和微调的Llama 4，掌握全球12种语言，以此“方便全球开发者的部署”。比DeepSeek更狠的“AI模型拼多多” 一定要跟大家分享的一个细节，Meta这次在模型API价格方面，下狠手了！先说结果：系列超大杯Llama 4 Maverick，不仅超越了同类型号其它模型，价格还非常之美丽。更直观地来看这张表格，真的狠过DeepSeek——从性能到价格各个纬度。要知道，超大杯Llama 4 Behemoth属于是Llama 4系列的教师模型。如果说中杯和大杯是轻量级选手，这位就是绝对的重磅玩家。 288B激活参数，16个专家模型。最重要的是，它的总参数量高达2000B！在数学、多语言和图像基准测试中，它提供了非推理模型的最先进性能。当“最牛”和“最便宜”摆在一起的时候，试问哪位开发者会不心动？（doge）训练细节用他们自己的话来说，Llama系列是进行了彻底的重新设计。目前第一组LIama 4系列模型，他们也公布了具体的训练细节。预训练他们首次使用混合专家MoE架构，在MoE架构中，单个token仅激活总参数的一小部分。MoE架构在训练和推理方面具有更高的计算效率，固定训练FLOP成本情况下质量更高。比如，Llama 4Maverick模型有17B个激活参数和400B个总参数。他们使用交替的密集层和混合专家（MoE）层来提高推理效率。 MoE层使用128位路由（Routed）专家和一位共享专家。每个令牌都会发送给共享专家以及128位路由（Routed）专家之一。因此，虽然所有参数都存储在内存中，但在为这些模型提供服务时，只有总参数的子集被激活。这通过降低模型服务成本和延迟来提高推理效率——Llama 4 Maverick 可以在单个H100 DGX主机上运行，以便于部署，也可以通过分布式推理实现最高效率。他们早期融合，将文本和视觉token无缝集成到统一模型中。他们开发了一种新的训练技术：MetaP，可以设置关键模型超参数，比如每层的学习率和初始化尺度。结果发现，所选的超参数能在批量大小、模型宽度、深度和训练token的不同值之间很好地扩展和泛化—— Llama 4通过在200种语言（包括100多种语言，每种语言有超过10亿个词库）上进行预训练，实现了开源微调工作，多语言词库总量是Llama 3的10倍。此外，他们使用FP8精度进行高效模型训练，同时不牺牲质量并确保模型 FLOPs的高利用率—在使用FP8和32K GPU 预训练 Llama 4 Behemoth模型时，结果他们实现了390TFLOPs/GPU。用于训练的整体混合数据包括30多万亿个token，是Llama 3预训练混合物的两倍多，其中包括各种文本、图像和视频数据集。在所谓的“中期训练”中继续训练模型，通过新的训练方法（包括使用专业数据集进行长上下文扩展）来提高模型的核心功能。后训练后训练阶段，他们提出一个课程策略，与单个模式专家模型相比，该策略不会牺牲性能。在Llama 4中，采用了一种不同的方法来改造我们的后期训练管道：轻量级监督微调（SFT）>在线强化学习（RL）>轻量级直接偏好优化（DPO）。一个关键的教训是，SFT和DPO可能会过度约束模型，限制在线强化学习阶段的探索，并导致精度降低，尤其是在推理、编码和数学领域。为了解决这个问题，他们使用Llama模型作为评判标准，删除了50%以上被标记为简单的数据，并对剩余的较难数据集进行了轻量级SFT处理。在随后的在线强化学习阶段，通过仔细选择较难的提示，我们实现了性能上的飞跃。此外，他们还实施了一种连续的在线强化学习策略，即交替训练模型，然后利用模型不断过滤并只保留中等难度到较高难度的提示。事实证明，这种策略在计算量和准确性的权衡方面非常有利。然后，他们采用轻量级DPO来处理与模型响应质量相关的拐角情况，从而有效地在模型的智能性和对话能力之间实现了良好的平衡。流水线架构和带有自适应数据过滤功能的连续在线RL策略，最后造就了现在的LIama 4。总结来看，Llama 4架构的一项关键创新是使用交错注意力层，而无需位置嵌入。此外，他们还采用了注意力推理时间温度缩放来增强长度泛化。这些他们称之为iRoPE架构，其中“i”代表 “交错 ”注意力层，突出了支持 “无限”上下文长度的长期目标，而 “RoPE ”指的是大多数层中采用的旋转位置嵌入。 Llama 4 Behemoth 最后，他们还透露了超大模型Llama 4 Behemoth一些蒸馏和训练细节。我们开发了一种新颖的蒸馏损失函数，可通过训练动态加权软目标和硬目标。预训练阶段，Llama 4 Behemoth的代码蒸馏功能可以摊销学生训练中使用的大部分训练数据计算蒸馏目标所需的资源密集型前向传递的计算成本。对于纳入学生训练的其他新数据，他们在Behemoth模型上运行前向传递，以创建蒸馏目标。后训练阶段，为了最大限度地提高性能，他们删减了95%的SFT数据，而小型模型只需删减50%的数据，以实现对质量和效率的必要关注。他们在进行轻量级SFT后，再进行大规模强化学习（RL），模型的推理和编码能力会有更显著的提高。强化学习方法侧重于通过对策略模型进行pass@k分析来抽取高难度提示，并根据提示难度的增加精心设计训练课程。此外还发现，在训练过程中动态过滤掉优势为零的提示语，并构建包含多种能力的混合提示语的训练批次，有助于提高数学、推理和编码的性能。最后，从各种系统指令中取样对于确保模型在推理和编码方面保持指令跟随能力并在各种任务中表现出色至关重要。由于其规模空前，要为两万亿个参数模型扩展RL，还需要改造底层RL基础设施。他们优化了MoE并行化的设计，从而加快了迭代速度；并开发了一个完全异步的在线RL训练框架，提高了灵活性。现有的分布式训练框架会牺牲计算内存以将所有模型堆叠在内存中，相比之下，他们新基础架构能够将不同模型灵活分配到不同GPU上，并根据计算速度在多个模型之间平衡资源。与前几代产品相比，这一创新使训练效率提高了约10倍。 One More Thing 要知道，由于昨天DeepSeek发了新论文，搞得奥特曼都坐不住了，赶紧出来发声：但，谁知道半路又杀出个Llama 4？！前有猛虎，后有豺狼，OpenAI你真的得加油了…… 网友调侃道，当奥特曼一睁眼，看到Llama 4来了，而且Llama 4的成本比GPT-4.5降低了3个数量级后—— 他的状态一定是酱婶儿的：以及相比Llama，现在可能神秘低调的DeepSeek，可能不知道什么时候突然就会推出DeepSeek R2和V4…同在杭州的通义千问也干劲十足，Llama也好GPT也好，基本成为平行参考了。太平洋这头，已经开始落地应用和智能体了。参考链接： [1]https：//www.llama.com/ [2]https：//ai.meta.com/blog/llama-4-multimodal-intelligence/ [3]https：//x.com/AIatMeta/status/1908598456144531660 [4]https：//x.com/lmarena_ai/status/1908601011989782976 [5]https：//x.com/IOHK_Charles/status/1908635624036590070

多国对美＂对等关税＂政策发声联合国贸发会议发出警告

「活动」MageyydsyidingNb25

63.27MB

版本V97.0.75

下载APK 高速下载

下载男の❌子と女🔞の子㊙️です怎么读安装你想要的应用更方便更快捷发现更多

12%好评(12778人)

详细信息

软件大小: 70874.96227MB
最后更新: 2025-06-10 02:47:58
最新版本: V5.52530.8
文件格式: apk
应用分类:ios-Android 男孩❌子晚上看视频🔞的好㊙️处
使用语言: 中文
: 需要联网
系统要求: 4.87650以上

应用介绍

一，色欲a❌v自慰一区二区三区ww🔞w㊙️，老师的水蜜❌桃🔞紧㊙️紧
二，美女全❌身10🔞0%裸露屁股㊙️，海贼王❌被🔞删减无㊙️码的视频
三，总裁受被大学生❌攻🔞调㊙️教，赛博朋克❌露🔞西乌18禁小说㊙️
四，豆❌沙红蕾🔞丝内㊙️裤，oc❌co🔞t㊙️t
五，4❌位🔞电脑检㊙️测卡代码对照表，妲己❌扒开双腿灌🔞满白浆㊙️小说
六，❌仙踪林🔞呦性综㊙️合,双❌人床🔞上打扑克视频免费㊙️，网红唐❌艺裸体x🔞 ㊙️x x
七，强制高❌潮18🔞X㊙️XXXHD日本
【联系我们】
客服热线：134-2881-646

加载更多

版本更新

V7.3.80

残忍❌调教总裁🔞跪趴鞭㊙️打小说

阿姨爱上❌我:老A8🔞也是㊙️A8啊!

mod❌抹布🔞钟离㊙️

42317.95MB

104好评

JAV❌ Por🔞n V㊙️ideos
蘑菇❌免🔞费㊙️

啊⋯学长⋯好❌硬⋯拔出来🔞⋯㊙️黄剧在线

66503.19MB

136698好评

十❌八岁高清版免🔞费观看电视剧㊙️
❌折磨女🔞性私密㊙️部位的100种方式

人人搞资源

13.78MB

316好评

成人做爰❌A片免费看🔞网站找不㊙️到了
(女攻❌/G🔞B/虐男/女㊙️尊)小说

Ke❌nna james 🔞AV㊙️无码

53.93MB

273好评

少妇婬乱全黄A片免❌费🔞看张柏㊙️芝
美国⋯❌1🔞5婬片A片A㊙️AA视频

❌脱裤🔞子打㊙️屁股

71.79MB

700好评

85❌度🔞官方㊙️网址
涨奶的时候❌碰🔞到了怎么㊙️办

ww❌w.rule34v🔞id㊙️eo.com

83.70MB

331好评

原❌神🔞胡㊙️桃游戏裤子
在公交车上嗯啊g❌c被c黄🔞说㊙️高H

嫩❌模被啪🔞到高潮㊙️呻吟不断软件

23.18MB

109好评

❌挠隐私丨v🔞k女性挠尿囗sm㊙️
亚洲❌人女同志🔞 奴㊙️役狂欢

殴美❌乱码🔞一二㊙️三区

50.06MB

922好评

旧里番3D貂❌蝉受辱🔞同人未删减㊙️
病患❌顶心理🔞生殖部微㊙️博正文

演❌艺🔞圈明星系列㊙️txt全文

83.56MB

562好评

熊❌出没纳雅🔞的胸罩是多㊙️少
❌星野被🔞C视频在线观看㊙️

我❌们的🔞大中国㊙️

83.79MB

750好评

❌撩🔞起㊙️妲己旗袍挺进去玉足
被俩个黑人前后破苞视频

国产精❌品高🔞潮呻吟久久AV㊙️黑人

80.57MB

4747好评

JKビッチ❌に榨🔞无修㊙️在线
❌罗宾治🔞疗青春期㊙️乔巴

第五人格漫❌画🔞r㊙️18

85.29MB

390好评

麻❌麻挽🔞起裙子迈㊙️开腿坐
少妇小泬喷牛奶❌自慰🔞喷水漫㊙️画

POR❌NO中国老🔞师㊙️HD

65.15MB

741好评

亚洲AV❌无码乱码🔞精品国产3㊙️9
今夜成❌人短视频🔞a㊙️pp

global strategyMIK❌E W 🔞PENG5㊙️

54.12MB

756好评

五个徒弟一起c我
汤姆在线最新

9❌1丨九色丨韩国人🔞妖㊙️

57.19MB

687好评

卧底女❌警🔞被㊙️灌性药调教
国内区二区老光棍

素材❌短🔞视频㊙️

24.17MB

356好评

忘忧草研究所
无码❌av人妻一区🔞二区三区四区㊙️

BRAZZE❌RS 🔞Fr㊙️ee HD tube

13.74MB

318好评

❌留学生日🔞语㊙️
cf❌灵狐者被🔞僵尸㊙️挤奶

❌白丝小舞被啪到娇喘不停🔞漫画小说㊙️

84.23MB

219好评

黄景❌瑜🔞许魏洲伸舌头吻㊙️戏
❌将荔枝一颗一颗的🔞推㊙️进

❌陈🔞芷㊙️琰裸光自慰

45.65MB

730好评

九九漫画❌在🔞线阅读免㊙️费版
人禽ZOZO

韩国女排先❌过夜🔞后上场㊙️

10.17MB

184好评

❌为🔞什么胸会㊙️留下白色液体
❌典🔞韦照片㊙️真人

温❌达🔞把格㊙️雷吃掉

44.12MB

364好评

最近中文高清字幕免费版
白泳衣❌遇水后🔞露黑色毛㊙️图片

❌乖⋯好舒服⋯把腿🔞张开㊙️真赞

91.52MB

206好评

和平精❌英🔞女角色被㊙️击倒的视频
❌高🔞潮连着吹潮疯狂大痉㊙️挛91

男❌人🔞准备放弃你㊙️的表现

30.69MB

901好评

大胸❌比🔞基尼㊙️极裸
美女黄鳝交XXⅩ❌视🔞频㊙️

斗罗大陆❌18禁成人🔞游㊙️戏

30.71MB

540好评

91看片淫黄大片9❌1桃🔞色㊙️
公交车大❌肉大捧🔞一进一出好㊙️爽

肌肉猛男自❌慰🔞免费㊙️网站

29.46MB

124好评

❌北野のぞみAⅤ无🔞码㊙️流出
❌户外直播主🔞播勾司机无㊙️套

国产果冻传❌媒无码9🔞1人㊙️妻

70.26MB

452好评

免费无❌码婬片A片🔞在线㊙️观看
禁漫天堂-JMcom❌i🔞c官㊙️网 title="秘书❌被吃奶好🔞爽在㊙️线观看" class="0v5366j9r7414 app-list-img" src="https://t11.baidu.com/it/u=1040017057,165456434&fm=30&app=106&f=JPEG?w=312&h=208&s=15B07D95426079116A1494FD03009032"">

❌男小腹下面🔞长个㊙️硬疙瘩

❌春🔞雨淫史(高H,乱㊙️文

详情
久久久92人妻❌无码精品🔞久鸭麻㊙️豆 title="斗破苍穹萧炎与美杜莎❌女🔞王㊙️结合" class="0v5366j9r7414 app-list-img" src="https://t10.baidu.com/it/u=3070224572,165461829&fm=30&app=106&f=JPEG?w=312&h=208&s=C6000AAC4838BAC8463F54AC0300A00B"">

❌不小心🔞把一大㊙️块桃吞了下去

屁股❌夹体温计羞耻🔞惩罚小说㊙️

详情
qq❌里面🔞的㊙️黄群 title="国❌产熟女乱🔞码视频免费㊙️看软件" class="0v5366j9r7414 app-list-img" src="https://t12.baidu.com/it/u=1041590673,165100299&fm=30&app=106&f=JPEG?w=312&h=208&s=D7383EC642E1D8EA0A87937F0300C078"">

德❌国双拳极端扩张的🔞历史背景㊙️

❌女同扒腿自🔞慰爽㊙️网站

详情