L2 · 主题中枢

计算平台

AI 基础设施算力调度分布式系统云原生

计算平台不是硬件堆砌，而是将算力转化为可编程、可度量、可恢复的服务能力

4核心能力域
2关键抽象层
3典型调度模式
先记住算力不等于能力，调度才是分水岭

平台价值不在拥有多少 GPU，而在能否按需分配、快速恢复、精准计费与隔离干扰

查看下属主题 ↓
LIVE
CORE 计算平台
01 WHAT

是什么

计算平台是将物理算力抽象为可调度资源池，并提供任务编排、弹性伸缩与状态管理的系统层。

02 WHY

为什么

AI 训练与推理对算力规模、并行度和稳定性要求极高，单机或裸金属无法满足动态负载与成本优化需求。

03 HOW

怎么做

从明确任务类型（训练/推理/批处理）开始，选择匹配的调度器与资源配额，配置容器化运行环境并接入监控。

04 WHEN

什么时候

适用于多任务并发、需弹性扩缩容或跨节点协同的场景；单模型轻量推理或固定负载无需引入复杂平台。

THIS PAGE INCLUDES
分布式计算云计算

FOCUS

下属主题

点进去继续学
01

边缘 AI

进入「边缘 AI」，继续深入该专题。

进入主题 →

FOCUS

先记住这些

只留最重要的判断，细节见下方实践
01 独特价值

为什么需要它

替代手动部署与静态分配，实现资源利用率提升 30%+、故障恢复分钟级、多任务并行无干扰

02 复杂度

真正难在哪里

跨节点通信延迟敏感、GPU 拓扑感知调度、多租户配额公平性、状态持久化与回滚一致性

03 使用判断

什么时候用

当任务需弹性扩缩、多团队共享、高可用保障或成本优化时引入；轻量固定负载用单机或托管服务更经济

ROUTE

学习路径

建议按此顺序逐步深入
01
明确任务类型

区分训练（批处理/长周期）、推理（低延迟/高并发）与数据管道（流式/批式）

02
选择调度范式

集中式（Kubernetes）、分布式（Ray）、批处理（Slurm）按场景匹配

03
配置资源与策略

设定配额、亲和性、自动伸缩与监控告警阈值

PROBLEM / POSITION / INTERFACE

先弄清它为什么存在，以及谁在使用

不从历史开始，从真实工作关系开始。
  1. 01 解决的问题

    当 AI 任务需要多 GPU/多节点协同、动态资源分配或高可用部署时

    手动管理硬件导致资源碎片化、任务排队阻塞、故障恢复慢、成本不可控

    成功标准
    任务按需获取算力、自动扩缩容、故障自愈、资源利用率可量化优化
  2. 02 AI 生态位

    位于模型开发与业务应用之间，提供可预测、可隔离、可度量的执行环境

    上游
    依赖底层硬件（GPU/TPU/网络）、操作系统与虚拟化层
    下游
    为训练框架、推理服务、数据管道提供运行时与资源保障
  3. 03 人的生态位

    工程师定义任务拓扑、资源边界与 SLA，平台负责执行与调度

    适合使用
    任务规模超单机、需高可用、多团队共享资源或需按负载动态调整算力
    不必使用
    单模型轻量部署、固定负载、团队规模小且无运维能力，或延迟敏感型边缘场景
  4. 04 独特价值

    将异构算力统一抽象为可编程资源池，支持细粒度隔离与跨域调度，显著降低运维复杂度

    多租户资源争抢、网络拓扑感知、故障域隔离、状态一致性维护与成本核算

    复杂度判断
    复杂度不是功能数量，而是控制与验证成本。

INTERFACE FLOW

谁在操作，信息怎样流动

  1. WHO OPERATES

    HUMAN架构师与运维工程师负责平台选型、配额策略、监控阈值与故障预案

    SYSTEM调度器与控制器自动分配资源、启动容器、执行健康检查与弹性伸缩

  2. INPUT

    任务描述文件（如 YAML）、容器镜像、数据集路径、资源请求规格

  3. CONTROL

    资源配额、优先级队列、亲和性规则、自动伸缩策略、网络与安全策略

  4. OUTPUT

    任务执行状态、日志、指标、模型产物或服务端点；不直接修改业务数据

FLOW

任务上平台标准流程

01定义任务规格明确计算类型、资源需求、数据路径与输出格式，生成声明式配置
02提交与排队配置进入调度队列，系统校验资源可用性与权限策略
03资源分配与启动调度器匹配节点，拉取镜像，挂载存储，启动容器并注入环境变量
04运行与监控采集 GPU 利用率、内存、网络吞吐与业务指标，触发自动伸缩或告警
05完成与清理任务结束释放资源，归档日志与产物，更新配额与计费记录

COMPARE

平台选型对比

维度Kubernetes 生态Ray 分布式框架Slurm 批处理系统
适用场景微服务与混合负载AI 训练与分布式计算HPC 与长周期批任务
调度粒度容器级任务/Actor 级节点/作业级
弹性能力强（HPA/VPA）中（自动扩缩集群）弱（静态队列）
学习成本高中中低

PRACTICE

平台接入最小检查清单

✓明确任务类型（训练/推理/批处理）与 SLA 要求
✓验证 GPU 驱动与容器运行时兼容性
✓配置资源请求与限制（CPU/GPU/内存）
✓设置健康检查与自动重启策略
✓接入指标采集与日志聚合系统
✓定义配额与优先级队列策略
✓测试故障节点驱逐与任务恢复流程
CODE / PYTHONPython 最小任务提交示例
from kubernetes import client, config

config.load_kube_config()
api = client.BatchV1Api()

job = {
    "apiVersion": "batch/v1",
    "kind": "Job",
    "metadata": {"name": "ai-training-job"},
    "spec": {
        "template": {
            "spec": {
                "containers": [{
                    "name": "trainer",
                    "image": "myorg/ai-trainer:latest",
                    "resources": {"requests": {"nvidia.com/gpu": "1"}},
                    "env": [{"name": "DATASET_PATH", "value": "/data/train"}]
                }],
                "restartPolicy": "Never"
            }
        }
    }
}

api.create_namespaced_job(namespace="ai-workloads", body=job)
print("Job submitted successfully")

使用 Kubernetes Python 客户端提交 AI 训练任务

JSON / RESPONSE任务状态返回结构
{
  "metadata": {
    "name": "ai-training-job",
    "namespace": "ai-workloads",
    "creationTimestamp": "2024-01-15T10:00:00Z"
  },
  "status": {
    "active": 1,
    "succeeded": 0,
    "failed": 0,
    "conditions": [
      {
        "type": "Complete",
        "status": "False",
        "lastProbeTime": "2024-01-15T10:05:00Z"
      }
    ]
  }
}

FAQ

常见问题

选型、用法与失败，不复述定义。
01谁在实际使用计算平台？＋

算法工程师提交任务，平台工程师维护调度与资源池，业务团队消费推理端点。

明确角色边界可避免权限混乱与责任推诿。
02计算平台与直接租用云 GPU 实例有什么区别？＋

平台提供自动调度、隔离、监控与弹性；云实例需手动管理生命周期与网络。

多任务或高可用场景下，平台可显著降低运维成本与故障率。
03最小可用方式是什么？＋

用声明式 YAML 定义单任务资源需求，提交至集群，配置基础监控即可。

避免过度设计，先跑通闭环再逐步引入高级特性。
04生产环境最容易在哪里失败？＋

GPU 内存碎片导致 OOM、网络带宽不足引发通信超时、配额耗尽任务排队。

需提前设置资源限制、拓扑感知调度与队列告警。
05什么时候不需要计算平台？＋

单模型轻量推理、固定负载、团队无运维能力或延迟敏感型边缘场景。

避免引入不必要的复杂度与学习成本。