L1 · 领域总览

模型训练

模型训练预训练微调偏好对齐参数高效微调

模型训练是将数据转化为可用模型的系统工程，需按阶段与目标选择合适路径

查看下属主题 ↓
LIVE
CORE 模型训练
01 训练阶段 覆盖预训练、监督微调与持续训练的核心流程与资源规划 02 偏好对齐 通过人类反馈优化模型输出，使其符合安全与价值观要求 03 参数高效微调 以少量参数更新实现模型适配，降低算力与存储成本
01 WHAT

是什么

模型训练是通过数据驱动优化模型参数，使其具备特定任务能力的过程。

02 WHY

为什么

掌握训练流程可让开发者定制专属模型，提升业务场景的准确率与可控性。

03 HOW

怎么做

按训练阶段、偏好对齐与参数高效微调的顺序逐步深入。

04 WHEN

什么时候

在掌握基础架构与数据准备后优先学习，若仅需调用现成模型可暂缓。

FOCUS

下属主题

点进去继续学
01

训练阶段

覆盖预训练、监督微调与持续训练的核心流程与资源规划

进入主题 → 02

偏好对齐

通过人类反馈优化模型输出，使其符合安全与价值观要求

进入主题 → 03

参数高效微调

以少量参数更新实现模型适配，降低算力与存储成本

进入主题 →

PROBLEM / POSITION / INTERFACE

先弄清它为什么存在，以及谁在使用

不从历史开始，从真实工作关系开始。
  1. 01 解决的问题

    当通用模型无法满足特定业务需求或数据分布时

    缺乏训练知识会导致模型效果差、资源浪费或对齐失败

    成功标准
    模型在目标数据上稳定输出符合预期的结果
  2. 02 AI 生态位

    连接数据与可用模型的核心环节，上游依赖数据与算力，下游支撑推理与应用

    上游
    依赖高质量数据集、算力基础设施与基础模型架构
    下游
    为推理部署、应用集成与持续优化提供可用模型
  3. 03 人的生态位

    负责目标定义、数据筛选与效果验收

    适合使用
    业务需求明确、数据充足且具备算力支持时
    不必使用
    数据稀缺、算力不足或仅需基础能力时
  4. 04 独特价值

    通过定制化训练获得领域适配能力，优于通用模型的零样本表现

    超参数调优、数据质量把控与训练稳定性验证难度高

    复杂度判断
    复杂度不是功能数量，而是控制与验证成本。

INTERFACE FLOW

谁在操作，信息怎样流动

  1. WHO OPERATES

    HUMAN定义训练目标、准备数据、评估效果

    SYSTEM执行梯度计算、参数更新与资源调度

  2. INPUT

    标注或未标注的业务数据与训练配置

  3. CONTROL

    学习率、批次大小、优化器、正则化策略等超参数

  4. OUTPUT

    训练完成的模型权重、评估指标与日志记录

COMPARE

下属主题怎么区分

维度训练阶段偏好对齐参数高效微调
核心目标构建基础能力与领域知识优化输出偏好与安全性低成本适配特定任务
数据需求大规模无监督或弱监督数据高质量人类标注与排序数据少量任务相关标注数据
资源消耗高算力与长周期中等算力与迭代验证低算力与快速部署