笔记

想在自己的服务器上部署一个私有大模型？这套方案 10 分钟搞定。方案选型为什么不直接用 HuggingFace？因为太重了。Ollama 把这些都封装好了，一行命令就能跑模型。安装 Ollama curl...

07/10 应用实战

Ollama Open WebUI 本地部署大模型 Nginx

Mixture of Experts 是目前最热门的 LLM 架构创新之一。它让模型"又大又省"，DeepSeek-V2、Mixtral 8x7B 都基于此。 MoE 的核心思想传统 Transformer 每一层所有参数都参与计算。MoE 的做法是：把 F...

07/09 LLM

MoE 混合专家 DeepSeek Mixtral 模型架构

模型架构固然重要，但训练技巧的差异往往比架构差异更能决定最终效果。学习率调度学习率是最重要的超参数。太大模型震荡不收敛，太小训练太慢。现代最佳实践： Warmup：训练初期从小学习率开始逐步增大，...

07/08 深度学习

学习率 AdamW 梯度裁剪正则化训练技巧

Meta 开源的 LLaMA 系列彻底改变了 AI 格局。它证明了高性能大模型不需要闭源，任何人都有机会参与。 LLaMA 1（2023年2月） Meta 第一个开源大语言模型，7B 到 65B 参数。核心创新是训练数据的优化：用更多的训练数据（1.4T to...

07/07 LLM

LLaMA Meta 开源大模型 LLaMA3 GQA

CLIP 是 OpenAI 在 2021 年发布的里程碑式模型。它让计算机学会了"看图说话"，是 Stable Diffusion、DALL·E 等图像生成模型的基础。 CLIP 做了什么传统图像分类模型只能识别训练时见过的类别。CLIP 不一样，它理解文本...

07/06 深度学习

CLIP 多模态对比学习 Stable Diffusion 零样本

大模型动辄几百 GB 显存需求，消费级硬件根本跑不动。量化技术让这一切成为可能。什么是量化量化就是把模型参数从高精度（FP32，32位浮点数）降到低精度（INT8、INT4）。精度降低 → 模型变小 → 推理变快 → 显存需求降低。核心问题...

07/05 LLM

量化 GPTQ AWQ GGUF INT4 模型推理

学习笔记