Tager: 基座模型

2026-07-07   1678 words   ~4 mins

Tager: 基座模型

基座模型

一、模态

我们可以把"信息被感知 / 表达 / 理解的一种形式"称为一种模态。人类天然是多模态的——我们同时用眼睛、耳朵、语言去理解世界，而大模型正在从"单一文本"走向"多模态融合"。

常见模态

模态 典型形式 代表能力 / 模型
文字 文章、代码、对话 GPT、Claude、Gemini
图片 照片、图表、截图、扫描件 GPT-4o、Claude、Gemini、CLIP
声音 语音、环境音 Whisper, realtime
视频 连续帧 + 音轨 Seeddance, sora
3D 模型 点云、网格、场景 Tripo, Meshy
音乐 旋律、节奏、编曲 Suno、MusicGen
embedding/reranker 现在一般支持多模态的内容输入 qwen / openai

关键概念

  • 单模态：只能处理一种模态，例如纯文本模型。DeepSeek
  • 多模态：能同时理解或生成多种模态，例如"看图说话"（图片 → 文字）、“文生图”（文字 → 图片）。
  • 模态对齐：把不同模态映射到同一个语义空间，让模型能"跨模态"理解。例如 CLIP 把图片和文字编码到同一向量空间，使"一张猫的图片"和"猫"这个词在空间中彼此靠近。

二、规模（Scale）

模型的能力很大程度上由参数规模决定，常用单位是 B（Billion，十亿）。

规模分层

量级 代表 特点 部署门槛
小型 1B ~ 8B 可在消费级设备 / 笔记本运行 低，适合本地
中型 8B ~ 70B 单卡 / 多卡 GPU 中
大型 70B ~ 数百 B 甚至更大 集群训练与推理 高
闭源商业模型 1T+ 集群训练与推理 多为云上部署

与规模相关的几个概念

  • Scaling Law（缩放定律）：在数据和算力充足时，模型性能随参数 / 数据 / 算力规模平滑提升。
  • 涌现能力（Emergent Abilities）：某些能力（如复杂推理）只在规模超过阈值后才出现。
  • 量化（Quantization）：把权重从 FP16 压缩到 INT8 / INT4，显著降低显存和内存占用，让大模型能在小设备上跑——本地部署的关键技术（作业中 LM Studio 默认就会用到 GGUF 量化模型）。
  • 蒸馏（Distillation）：用大模型"教"小模型，让小模型在保持较小规模的同时获得接近大模型的能力。

规模不是越大越好。任务匹配才重要：识别图片里的人物、写一段介绍，一个 2B~4B 的多模态小模型完全胜任，且能在本地免费、私密地运行。

三、部署方式

本地模型

把模型权重下载到本机，在本地完成推理。

优点

  • 🔒 隐私：数据不出本机，适合敏感场景。
  • 💰 零调用成本：无 API 费用，可无限次调用。
  • 🌐 离线可用：无需联网。
  • 🛠 可控：可自由微调、替换、量化。

代价

  • 受本机硬件（显存 / 内存）限制，通常只能跑中小模型。
  • 需要自己管理环境、模型文件、推理服务。

常用本地部署工具

  • LM Studio：图形化界面，开箱即用，内置模型市场（作业使用）。
  • Ollama：命令行 + 本地 API，一行命令拉起模型。
  • llama.cpp / GGUF：底层推理引擎与量化格式，前两者都基于它。
  • vLLM：面向高吞吐的生产级推理框架。

云端 API

通过 HTTP 调用厂商托管的大模型，免去部署烦恼，能用上最强的大模型，但需付费、依赖网络、数据需出本机。

实际工程中常常混合使用：敏感 / 高频任务用本地小模型，复杂 / 高质量任务用云端大模型。

四、厂商生态

量级 代表 特点 部署门槛
小型 1B ~ 8B 可在消费级设备 / 笔记本运行 低，适合本地
中型 8B ~ 70B 单卡 / 多卡 GPU 中
大型 70B ~ 数百 B 甚至更大 集群训练与推理 高
闭源商业模型 1T+ 集群训练与推理 多为云上部署

作业(非强制)

任务一：本地部署一个多模态小模型

使用 LM Studio 在本地部署一个支持多模态（vision）的小模型。

  • 模型市场：https://lmstudio.ai/models
  • 推荐尝试 Gemma 系列 4B / 2B（注意选择带 vision / 多模态 标识的版本）。

https://lmstudio.ai/models/google/gemma-4-e4b

https://lmstudio.ai/models/google/gemma-4-e2b

  • 步骤提示：

    1. 安装 LM Studio。
    2. 在模型市场搜索并下载一个支持图像输入的多模态模型（确认带视觉能力）。
    3. 加载模型，启动 LM Studio 的本地 API 服务（Local Server）。

选型建议：硬件较弱选 2B，体验更好选 4B；优先选择已量化（GGUF, 如 Q4)的版本以降低内存占用。

任务二：基于本地模型实现"图片 → 人物介绍"

调用本地部署的模型，传入一张人物图片，让模型识别并返回一段介绍文字。

← prev next →