L3 · 专题文章

视觉语言模型 VLM

多模态图文理解VLM

本页只讲 4 条最关键判断，不写百科。

4核心点
先记住VLM 不是 OCR，也不是通用视觉检测器。

它擅长跨模态语义理解，但会幻觉、格式不稳定，必须用约束与校验兜底。

先看重点 ↓
LIVE
CORE VLM
01 WHAT

是什么

能同时接收图像与文本并输出结构化文本或代码的模型。

02 WHY

为什么

解决纯文本模型无法读取图像内容、OCR 无法理解复杂语义的问题。

03 HOW

怎么做

传入图像 URL/Base64 与提示词，指定输出格式，解析返回文本。

04 WHEN

什么时候

需理解图像语义、图表、手写体或复杂版面，且纯 OCR 或规则无法满足。不宜时：仅需提取印刷文字、图像内容固定或可用轻量模型/规则替代时。

FOCUS

先记住这些

只留最重要的判断，细节见下方实践
01 跨模态对齐

不掌握就无法判断模型能力上限

VLM 通过视觉编码器将图像转为向量，与文本 Token 对齐后由 LLM 解码；对齐质量决定能否理解复杂图表或手写体。

02 输入构造

与纯文本模型的本质差异

必须同时传入图像与文本，图像分辨率过高会被压缩，过低会丢失细节；提示词需明确任务与格式。

03 输出控制

最高频踩坑：幻觉与格式失控

模型会编造不存在的细节或返回非结构化文本，必须用 JSON Schema、温度控制与后处理校验兜底。

04 适用边界

何时不用 VLM

仅需提取印刷文字、图像内容固定或可用轻量模型/规则替代时，应优先选 OCR 或专用视觉模型以降低成本与延迟。

PROBLEM / POSITION / INTERFACE

先弄清它为什么存在，以及谁在使用

不从历史开始，从真实工作关系开始。
  1. 01 解决的问题

    业务需要理解图像中的对象、关系、文字或图表，并生成自然语言或结构化数据。

    传统 OCR 仅提取文字，无法推理；纯 LLM 无法直接读取像素。

    成功标准
    模型准确识别图像关键信息并按指定格式返回，无幻觉或格式错误。
  2. 02 AI 生态位

    位于视觉编码器与大语言模型之间，负责跨模态对齐与联合推理。

    上游
    依赖图像预处理质量与提示词清晰度。
    下游
    为下游 Agent、工作流或业务系统提供结构化文本或决策依据。
  3. 03 人的生态位

    负责定义任务目标、提供示例、校验输出并控制成本。

    适合使用
    需理解图像语义、图表、手写体或复杂版面，且纯 OCR 或规则无法满足。
    不必使用
    仅需提取印刷文字、图像内容固定或可用轻量模型/规则替代时。
  4. 04 独特价值

    无需训练即可理解任意图像内容，支持零样本图文推理。

    图像细节丢失、幻觉生成、格式不稳定与高延迟。

    复杂度判断
    复杂度不是功能数量，而是控制与验证成本。

INTERFACE FLOW

谁在操作，信息怎样流动

  1. WHO OPERATES

    HUMAN定义任务、提供示例、校验输出并控制成本。

    SYSTEM负责图像编码、拼接提示词、调用模型并解析返回。

  2. INPUT

    图像（URL 或 Base64）与文本提示词，可附加系统指令与格式约束。

  3. CONTROL

    温度、最大生成长度、输出格式（JSON/Markdown）、图像分辨率与裁剪策略。

  4. OUTPUT

    返回结构化文本或自然语言，不直接执行外部动作，需下游系统解析。

FLOW

最小可用调用流程

01准备图像与提示词将图像转为 URL 或 Base64，编写明确任务与格式要求的提示词。
02设置参数与约束指定温度、最大长度、输出格式（如 JSON Schema），控制生成稳定性。
03调用模型并解析发送请求，接收文本响应，按约定格式解析并校验关键字段。
04异常处理与重试捕获格式错误、幻觉或超时，调整提示词或参数后重试。

PRACTICE

VLM 调用前检查清单

✓图像是否清晰且包含任务所需关键信息？
✓提示词是否明确任务目标、输出格式与边界条件？
✓是否设置了温度、最大长度与格式约束？
✓是否有后处理校验逻辑（如 JSON 解析、关键字段检查）？
✓是否评估过 OCR 或专用模型是否更合适？
LLM OUTPUT / JSON典型 VLM 输出示例
{
  "objects": [
    {
      "name": "汽车",
      "confidence": 0.92,
      "position": "center"
    },
    {
      "name": "行人",
      "confidence": 0.87,
      "position": "left"
    }
  ],
  "summary": "图像显示一辆红色汽车停在路边，左侧有一名行人正在过马路。",
  "format_valid": true
}

FAQ

常见问题

选型、用法与失败，不复述定义。
01VLM 和 OCR 有什么区别？＋

OCR 仅提取文字，VLM 能理解图像语义、关系与上下文，但成本更高、延迟更大。

避免用 VLM 做简单文字提取，浪费资源。
02最小可用方式是什么？＋

传入图像与明确提示词，指定 JSON 输出，解析后校验关键字段。

帮助快速验证任务可行性，避免过度设计。
03什么时候不需要 VLM？＋

仅需提取印刷文字、图像内容固定或可用轻量模型/规则替代时。

控制系统成本与延迟，避免杀鸡用牛刀。
04如何减少 VLM 幻觉？＋

使用低温度、明确格式约束、提供示例、后处理校验与置信度过滤。

幻觉会直接导致下游系统误判或崩溃。
05VLM 能处理视频吗？＋

多数 VLM 仅支持单帧图像，视频需抽帧或改用专用视频理解模型。

避免错误选型导致性能不达标。