绑定手机号
确认绑定
-
-
-
- 开课提醒
Arm服务器大模型推理与云应用优化系列公开课第1期
2025/09/22 19:00:00
课程讲师
侯科鑫
安谋科技 基础设施业务线总监
负责基础设施业务线的产品业务拓展及中国区业务。侯科鑫与Arm 的芯片合作伙伴合作，支持他们的产品开发。她还与云计算和电信行业的终端客户合作，确保成功部署基于 Arm 的高效解决方案。侯科鑫拥有20多年的半导体行业经验，在加入安谋科技之前，曾在NVIDIA，Qualcomm，Dell， Synopsys担任研发，产品及业务经理。
张浩林
安谋科技 资深软件工程师
长期专注于云计算与容器虚拟化领域，具备丰富的Arm架构系统性能优化经验。曾积极参与并为 Kubernetes、KubeVirt、Golang 等知名开源项目贡献代码。
蔡亦波
安谋科技 主任软件工程师
在信息技术领域拥有超过20年的工作经验。他目前主要从事Arm服务器上的软件性能优化和生态支持工作。
崔世强
鸿钧微电子 应用软件部经理。
崔世强在服务器编译器/应用软件分析和调优方面拥有超过15年的经验。在加入鸿钧微电子之前，曾在华为和阿里等多家芯片和互联网公司工作。
课程提纲
- 开讲致辞
- Linux 中的 MPAM：混合 AI 工作负载中 QoS 的资源分配
- Llama.cpp量化模型在Arm Neoverse平台上的性能优化实践
- 鸿旻系列高性能Arm CPU服务器：赋能多样化工作负载的最佳实践
- RTP-LLM框架中MoE模型的优化实践
- 问答环节
课程简介
随着大模型推理的爆发与AI应用的逐步繁荣，企业对算力的需求正从“单纯性能”转向“效能兼顾”。在这场效率革命中，Arm架构服务器凭借其高能效、多核并发和软硬协同优化能力，正在成为新一代云与AI基础设施的重要选择。
与传统的x86架构相比，Arm服务器在能效比、核心密度和总拥有成本（TCO）方面表现出显著优势。尤其是在大模型推理场景中，Arm架构能够更好地支持高并发、低功耗的推理任务。此外，Arm架构开放的生态和灵活的定制能力，能够为云服务商和企业用户提供了更具性价比的算力解决方案。
在软件层面，Arm推出的Kleidi AI工具，可与 PyTorch、TensorFlow 等主流AI框架无缝集成，帮助开发者充分发挥Arm CPU的性能，加速模型推理性能。
为了帮助开发者更好地了解和掌握如何在Arm架构服务器上进行大模型推理与云应用优化，智猩猩联合Arm策划推出 「Arm服务器大模型推理与云应用优化系列公开课」，共5期。
第1期将于9月22日19点开讲，邀请到安谋科技基础设施业务线总监侯科鑫、资深软件工程师张浩林、主任软件工程师蔡亦波、高级软件工程师张向泽和鸿钧微电子应用软件部经理崔世强5位专家参与。
安谋科技基础设施业务线总监侯科鑫将进行开场致辞，另外四位主讲人将围绕Arm架构下的混合AI工作负载资源分配、Llama.cpp性能分析与优化、鸿旻系列高性能Arm CPU服务器和RTP-LLM框架中MoE优化实践带来主题讲解。
精彩问答
提问
提问
