OpenAI 介绍支撑 ChatGPT 超十亿用户的存储扩展
OpenAI 介绍其扩展在线存储以服务超过 10 亿 ChatGPT 用户的方案,涉及 Habitat、多租户支持、全局缓存和 Azure Cosmos DB。文章称该方案实现读取速度提升 12 倍,但所给材料未提供测试条件或适用范围。
为什么值得关注:多租户、全局缓存与 Azure Cosmos DB 构成存储扩展方案,读取速度数据则为评估其服务规模和存储设计提供参考。
过去 72 小时扫描 13 个有效信源,从 55 条候选中筛出 5 条值得保留的信息。
OpenAI 介绍其扩展在线存储以服务超过 10 亿 ChatGPT 用户的方案,涉及 Habitat、多租户支持、全局缓存和 Azure Cosmos DB。文章称该方案实现读取速度提升 12 倍,但所给材料未提供测试条件或适用范围。
为什么值得关注:多租户、全局缓存与 Azure Cosmos DB 构成存储扩展方案,读取速度数据则为评估其服务规模和存储设计提供参考。
拜耳作物科学构建了 Agentic Decision Engine(ADE),这是基于 Amazon Bedrock AgentCore 的多智能体平台,供育种者、分析人员和研究人员以自然语言询问分析平台。文章介绍其架构、五项设计决策,以及团队如何借助 AWS Unified Operations 为其生产部署做准备。
为什么值得关注:自然语言问答为跨领域分析平台提供新的查询入口,影响育种、分析和研究人员获取分析信息的方式。
文章指出,更新已注册 Application Auto Scaling 的 SageMaker AI 实时端点配置,可能导致 CloudFormation 或 CDK 部署失败,因为更新前需注销可扩缩目标。文中给出可复用 CDK 构造与 CloudFormation 自定义资源,在更新期间自动注销并重新注册扩缩容。
为什么值得关注:更新前后自动注销并重新注册可扩缩目标,使端点配置与扩缩容参数能在同一次部署中编排,改变了此类更新的操作方式。
文章介绍 TensorRT 11.1 中 Global Performance Tuner 的算法与架构,将不同调度策略表示为可搜索的构建路线。该功能按模型定制优化,并在 TensorRT 中进行自动、考虑准确率的端到端性能调优。
为什么值得关注:把调度策略组织为可搜索的构建路线,使模型相关的优化选择进入自动调优流程,同时将准确率纳入考虑。
文章说明 TensorRT 构建引擎时需协调图变换、融合、实现选择、内存放置和量化等调度决策。不同选择对模型和部署环境的影响各异,单一策略并非对所有模型都合适,且激进调度可能触及应用准确率要求。
为什么值得关注:调度决策彼此耦合且依赖模型与部署环境,因此单项优化不能直接代表完整引擎表现,准确率约束也需纳入判断。