笔记

向量数据库是构建 RAG 系统的核心组件。市面上有十几种选择，这篇文章帮你选对。为什么不用传统数据库传统数据库擅长精确匹配（SQL WHERE），但向量相似度搜索需要的是"近邻查找"。普通数据库做向量搜索性能极差，需要专门的索引结构（HNSW、IVF 等）...

07/04 应用实战

向量数据库 Chroma Qdrant Milvus Pinecone RAG

Prompt Engineering 是发挥大模型能力的核心技能。好的 prompt 能让模型输出质量提升数倍。基础原则清晰具体：不要说"写一篇文章"，要说"写一篇 800 字的科普文章，面向高中生，解释什么是...

07/03 LLM

Prompt Engineering COT Few-Shot LLM技巧

了解 GPT 系列的发展历程，能看到大语言模型能力跃迁的完整脉络。 GPT-1（2018）：证明预训练的有效性核心论文叫"Improving Language Understanding by Generative Pre-Training"。核心思想是：先...

07/02 LLM

GPT OpenAI LLM GPT-4 生成式AI

Transformer 是当前几乎所有大语言模型的基石。理解它，就理解了 GPT、BERT、Claude 这些模型的底层逻辑。核心思想：自注意力在 Transformer 出现之前，序列模型（如 RNN、LSTM）需要按顺序处理输入，无法并行。而 Tran...

07/01 深度学习

Transformer 注意力机制 GPT BERT 深度学习

当你拿到一个预训练好的大模型，想要让它适应特定任务，就需要微调。但微调有很多方式，选错了成本差距巨大。全量微调更新模型所有参数。效果最好，但需要巨大的显存和训练时间。适合有充足资源的场景。一个 7B 参数的模型全量微调需要...

07/01 LLM

微调 LoRA QLoRA 大模型训练

RAG 是目前最热门的大模型应用范式之一。它通过给模型"外挂知识库"的方式，让大模型能够回答之前没见过的问题。为什么需要 RAG 大模型有两大问题无法靠训练解决：知识截止日期：模型训练完后，不知道...

07/01 LLM

RAG 向量数据库 Embedding 检索增强生成

学习笔记