计算机是怎么长出来的
总目录/PART 10

PART 10 Agent 与本地部署:会自己动手的程序

模型不是魔法,它是一堆存成文件的数字。这一部讲它怎么被存、怎么被算、怎么被跑在你自己的显卡上。

「AI 会自己操作电脑」听起来很玄,拆开看只有三件事:一个会预测下一个词的模型、一套能被调用的工具、一个不断循环的判断。这一部把这三件事分别落到文件、内存和进程上。

本部分布:7 个中章 · 24 个小节 · 其中 7 节标 ★ 为速通必读 · 已完稿 0/24

10.1 Agent 的工作循环

模型本质、上下文、工具调用、循环与修正

编号标题速通状态
10.1.1 大模型到底是什么:一个预测下一个词的程序 ★ 待写
10.1.2 上下文窗口与提示词:它为什么会"忘事" · 待写
10.1.3 工具调用:怎么让它从"会说"变成"会做" ★ 待写
10.1.4 循环、规划与自我修正 · 待写

10.2 工具、沙箱与权限

沙箱、三类工具边界、MCP

编号标题速通状态
10.2.1 沙箱与三类工具的边界:文件、命令、网络 · 待写
10.2.2 MCP 与插件体系:怎么给它外挂新能力 · 待写

10.3 模型权重的物理形态

参数、精度、量化、显存

编号标题速通状态
10.3.1 参数、张量与权重文件:一堆数字怎么存 ★ 待写
10.3.2 精度:FP32、FP16、BF16、INT8 · 待写
10.3.3 量化:为什么压到 4bit 还能用 ★ 待写
10.3.4 显存是怎么被吃掉的 · 待写

10.4 本地推理

引擎、硬件、速度指标、完整流程

编号标题速通状态
10.4.1 推理引擎:llama.cpp、vLLM、Ollama 各管什么 ★ 待写
10.4.2 CPU、GPU 与统一内存 · 待写
10.4.3 速度指标:token/s 与首字延迟 · 待写
10.4.4 本地部署的完整流程:从下载到能对话 ★ 待写

10.5 训练与微调

预训练、对齐、LoRA、数据集、评估

编号标题速通状态
10.5.1 预训练、微调与对齐:三个阶段分别在干吗 ★ 待写
10.5.2 LoRA 与低秩分解:为什么小显卡也能微调 · 待写
10.5.3 数据集从哪来、怎么清洗 · 待写
10.5.4 评估:怎么知道它真的变好了 · 待写

10.6 多模态

图像 token、语音、视频生成

编号标题速通状态
10.6.1 图像怎么变成 token · 待写
10.6.2 语音识别与合成 · 待写
10.6.3 视频生成:为什么它比图片难那么多 · 待写

10.7 把它用起来

RAG、成本与隐私、自动化工作流

编号标题速通状态
10.7.1 本地知识库与 RAG:让它读你自己的资料 · 待写
10.7.2 成本与隐私的权衡:本地还是云 · 待写
10.7.3 一个能用的自动化工作流 · 待写
← PART 09 桌面与移动软件:它们各自在系统里占了哪块地