本期精选 /
Dropless MoE 不只是模型设计,也是运行时问题
NVIDIA 展示了 JAX 与 Transformer Engine 组合优化 Dropless MoE 训练的路径。其核心启示是:不规则专家计算、专家并行通信、低精度缩放、激活存储和编译器调度必须作为一个系统评估,单独优化某个 kernel 并不能保证整体扩展性。
阅读文章TOKEN4AI JOURNAL
从大模型、开源生态到 AI 芯片,记录值得关注的进展,读懂技术变化背后的原理与机会。
订阅 RSS ↗本期精选 /
NVIDIA 展示了 JAX 与 Transformer Engine 组合优化 Dropless MoE 训练的路径。其核心启示是:不规则专家计算、专家并行通信、低精度缩放、激活存储和编译器调度必须作为一个系统评估,单独优化某个 kernel 并不能保证整体扩展性。
阅读文章IDEAS / SYSTEMS / PEOPLE
DeepSeek /
DeepSeek 的新架构把读取上下文与生成答案拆开优化。理解它的价值,需要把显存、缓存命中、模型别名和任务完成率放进同一张账单,而不只看参数规模。
阅读文章OpenAI /
OpenAI 把 Codex 背后的执行框架开放为托管 API。对开发团队而言,新的选择不只是在哪里调用模型,而是把上下文、工具执行、运行环境和交付责任如何分开。
阅读文章NVIDIA /
NVIDIA 展示了四张 B200 上的 NIM 推理优化。理解“服务更多用户”的前提,需要同时看单用户速度、首字等待、缓存复用和失败请求,而不是只盯住总 tokens/s。
阅读文章CUDA Rust:比较 SIMT 与 Tile GPU 内核编程 /
NVIDIA 发布的 CUDA Rust 同时覆盖 SIMT 编程与基于 Tile 的稳定版 Rust 编程。关键变化并不是把 CUDA 语法换成 Rust,而是把内存安全、启动配置和硬件控制分别放进两种不同的抽象中。
阅读文章能够测试软件并生成证据的 AI 代理 /
Cognition 正在把 GPT-6 Astra 用于 Devin 的软件测试,让代理返回运行录屏、检查报告和未覆盖范围。真正的变化不是“模型会写测试”,而是代码代理开始生产可审查的行为证据;但证据的价值仍取决于测试设计、环境可复现性和人工风险判断。
阅读文章BioNeMo Inference Runtime 如何提升大规模生物分子结构预测吞吐 /
NVIDIA 的 BioNeMo Inference Runtime 将 GPU 专用内核、可选 CUDA Graph 优化和基于 Ray 的模型副本结合起来,面向独立的结构预测任务提升工作列表吞吐。真正需要验证的不是单次 forward 是否更快,而是预处理、显存、调度和写盘是否能让整条流水线持续受益。
阅读文章
智谱 GLM /
ZCode 9 月 4 日更新了文件预览、工作区插件和会话稳定性。结合此前接入的 GLM-5.3-Flash,值得关注的是视觉理解怎样进入“写代码—渲染—检查”的实际开发过程。
阅读文章
DeepSeek /
DeepSeek V4 的近期变化同时涉及正式 Pro、视觉实验 API 和文件复用。本文按官方发布节点梳理当前能力,解释为什么开放权重、图像输入和文件上传需要分别核验。
阅读文章
Qwen /
Qwen3.8-Max-0902 是 9 月 2 日的托管模型快照更新,Qwen3.8-27B 则是已经开放权重的另一条部署路线。读懂版本、模态与运行配置,比只比较同一系列的型号名字更有用。
阅读文章
OpenAI /
OpenAI 9 月 9 日更新了 GPT-6 Astra 的工作场景与开放信息。相比只看单题榜单,更值得关注的是:模型能否在工具、文件和应用之间完成任务,并交付可验证的结果。
阅读文章
GPU 推理 /
CUDA 13.4 带来 MPS v3 资源管理能力。本文拆解显存配额、MIG 隔离与推理服务质量的关系,并给出包含尾延迟、有效吞吐和故障恢复的验证方案。
阅读文章
多模态推理 /
多模态推理变慢,未必只是模型太大。本文从一条请求的等待链路出发,解释 Encode-Prefill-Decode 分离的作用、协调代价与实验方法,判断何时值得把编码器独立出来。
阅读文章
Anthropic /
长时间运行并不等于可靠完成。借 Claude Fable 5.1 与 Mythos 5.1 的发布,本文从环境状态、工具反馈、失败恢复和人工审核,建立一套能够解释结果的 Agent 验收方法。
阅读文章
OpenAI /
一张漂亮的首图,只是图像产品的起点。围绕 Images 2.5 的精确编辑与多轮一致性,本文拆解怎样保留视觉身份、设计修改记录,并用合格素材的交付成本评估模型升级。
阅读文章持续跟进
直接链接发布方原文,标题保留原始语言。Hugging Face 包含社区作者文章。