如何构建你自己的本地AI智能体：工具调用与记忆功能

好的，直接进入正题。今天这篇文章我会手把手带你用 LangChain v1、Ollama、Qwen 和 Python 搭建一个本地的 AI 智能体，它具备工具调用和短期记忆能力。所谓“智能体”，就是它能自己判断什么时候该调用工具，而且能记住对话上下文，方便你自然地问后续问题。所有代码和数据都在你自己的机器上跑，既保护隐私，也没有 API 费用。

---

背景：为什么需要本地智能体？

先聊聊为什么我们要折腾这个。本地的大语言模型（LLM）有一个硬伤：它们没法自己接触到外部世界。你问它“现在几点”，或者“这句话有多少个词”，它通常只能瞎猜，或者直接说“我不知道”。因为模型只有训练数据里的知识和你输入提示里的内容，它没有实时获取信息的能力。

第二个问题是：模型没有记忆。你发一条消息，它回复你；你再发一条，它就把刚才的对话忘得一干二净。每轮对话都是从零开始。Cloud 上的 Claude、ChatGPT 已经支持这些功能了，但本地模型默认没有。

这个教程就是来解决这两个问题的。我会构建一个本地 AI 智能体，它能：

• 在需要的时候自己调用 Python 函数（工具调用）
• 记住对话历史，让你能自然地问后续问题
• 全程跑在本地，保护隐私，零 API 成本

你需要先安装好 Ollama。这个例子在 macOS、Windows、Linux 上都能跑。我用的是 MacBook Pro 32GB RAM，但如果你内存小，选一个小一点的 Qwen 模型就行。

---

什么是工具调用（Tool Calling）？

工具调用是一种模式：不是你在代码里预先调用函数，而是让 LLM 自己决定何时运行你的 Python 函数。

一个“工具”就是一个普通的 Python 函数，模型被允许去调用它。模型自己决定调用哪个工具、传什么参数。你只负责定义工具具体做什么。

底层原理是这样的：模型不直接执行代码，而是生成一个结构化的请求，告诉你的代码“调用这个工具，参数是这些”。你的代码执行函数，把结果返回给模型，模型再决定下一步：要么再调一个工具，要么直接给出最终答案。

不是所有模型都支持工具调用，而且支持的程度也参差不齐。Qwen 是一个在本地工具调用方面表现不错的开源模型，所以我这里选它。LangChain v1 的 create_agent 帮我们处理了工具调用的循环逻辑：你给它模型、工具列表、系统提示，它自动处理“模型请求 → 调用工具 → 返回结果 → 模型再决策”的循环，直到模型认为可以给出答案。

---

什么是 LLM 的“记忆”？

LLM 本质上是无状态的。每次调用你都要把完整的对话历史当成输入传给模型，模型只根据输入里的内容来回复。所谓“记忆”，其实就是你选择在下次调用时把哪些内容重新发给模型。

实际中有两种记忆：

• 短期记忆：当前会话的对话历史。把它在下次调用时重新发回去，就能让多轮对话感觉连贯。会话结束，记忆就没了。
• 长期记忆：跨会话保留的事实和过往交流。存在数据库或向量存储里，需要时加载出来。

本教程我们只用短期记忆，这是最简单的实用形式，也是让智能体能进行真正对话的关键。LangChain v1 通过 checkpointer 支持短期记忆。checkpointer 是一个状态对象，用线程 ID（thread ID）来标识不同会话，在每次 invoke() 调用之间存储对话历史。我们直接用内置的 InMemorySaver。

---

动机与架构

这个项目的动机很简单：让本地 LLM 更接近 Claude/ChatGPT 那样的体验。通过给本地模型添加工具调用和记忆能力，大大扩展了它的实用性。

架构是这样的：

• Ollama：运行本地 Qwen 模型
• LangChain v1：把一切粘合起来
• InMemorySaver：提供短期记忆的 checkpointer

工作流程：

1. 用户发送消息
2. checkpointer 根据当前线程 ID 加载之前的对话历史，并把它前置到输入中
3. 模型要么直接生成答案，要么发出工具调用请求
4. 工具调用走标准的“调用 → 返回 → 再决策”循环
5. 当本轮对话结束时，checkpointer 把新消息保存回线程，下一轮就有完整上下文了

---

步骤 1：安装 Ollama 并拉取模型

先安装 Ollama：去 ollama.com 下载对应平台的安装包。

然后拉取模型。我推荐用 qwen3.5:4b，它原生支持工具调用。如果你内存小，可以用 qwen3.5:0.8b 代替。

ollama pull qwen3.5:4b

---

步骤 2：安装 Python 依赖

创建一个虚拟环境，然后安装依赖：

python3 -m venv venv
source venv/bin/activate  # Windows 上用 venv\Scripts\activate
pip install langchain langchain-core langchain-ollama langgraph

注意：本教程需要 langchain>=1.0.0。

---

步骤 3：编写智能体代码

代码分成三部分：

1. 配置：定义模型和系统提示
2. 工具：用 @tool 装饰器定义两个工具函数
3. 主循环：构建智能体，连接 checkpointer，运行交互循环

工具函数详解

current_time() 返回当前本地日期和时间。word_count(text) 返回一段文本的单词数。注意：每个工具的 docstring 就是模型决定是否调用它的依据，所以措辞很重要。模型会读这些 docstring 来理解工具的功能。

完整代码

把下面的代码保存为 agent.py：

from datetime import datetime
from langchain.agents import create_agent
from langchain_core.tools import tool
from langchain_ollama import ChatOllama
from langgraph.checkpoint.memory import InMemorySaver

CHAT_MODEL = "qwen3.5:4b"  # Ollama 聊天模型，必须支持工具调用

SYSTEM_PROMPT = (
    "你是一个有用的助手，可以获取当前时间和统计文本中的单词数。"
    "当用户请求需要工具时，请使用工具。"
    "如果问题不需要工具，直接回答。"
    "如果工具返回错误，请清晰地解释错误。"
)

# ----- 工具定义 -----
@tool
def current_time() -> str:
    """返回当前本地日期和时间。当用户询问当前时间或日期时使用。"""
    return datetime.now().strftime("%Y-%m-%d %H:%M:%S")

@tool
def word_count(text: str) -> int:
    """统计一段文本中的单词数量。当用户询问一段文字的长度，或让你统计他们分享的内容中的单词数时使用。返回单词数（整数）。"""
    return len(text.split())

TOOLS = [current_time, word_count]

# ----- 智能体构建 -----
def build_agent():
    model = ChatOllama(model=CHAT_MODEL, temperature=0)
    # InMemorySaver 在内存中保存对话历史，通过线程 ID 标识。
    # 进程退出后，历史就没了——这就是短期记忆。
    checkpointer = InMemorySaver()
    return create_agent(
        model=model,
        tools=TOOLS,
        system_prompt=SYSTEM_PROMPT,
        checkpointer=checkpointer,
    )

def main():
    agent = build_agent()
    # 线程 ID 告诉 checkpointer 加载和保存哪个对话
    config = {"configurable": {"thread_id": "thread"}}
    print("准备好了！问智能体一些问题吧。它能记住对话内容。\n")
    
    # 记录上一轮结束时已有的消息数量，这样我们只取本轮新增的消息
    prev_message_count = 0
    
    while True:
        question = input("你: ").strip()
        if not question or question.lower() == "exit":
            break
        
        result = agent.invoke(
            {"messages": [{"role": "user", "content": question}]},
            config=config,
        )
        
        # 只取本轮新增的消息（工具调用和最终答案），而不是全部历史
        new_messages = result["messages"][prev_message_count:]
        prev_message_count = len(result["messages"])
        
        # 打印智能体的回复
        for msg in new_messages:
            if msg.type == "ai":
                print(f"智能体: {msg.content}")
            elif msg.type == "tool":
                print(f"   [工具 {msg.name} 返回: {msg.content}]")

---

步骤 4：运行智能体

在终端里运行：

python agent.py

然后就可以开始对话了。试试这些：

你: 现在几点了？
你: 帮我统计一下 "Hello world this is a test" 有多少个词。
你: 刚才那两句话里，第一句问了什么？

你会看到模型自动调用工具，而且能记住之前聊过的内容。

---

关于长期记忆的思考

这个例子只用了短期记忆，会话结束就没了。如果想实现长期记忆，你可以用 SqliteSaver 或 PostgresSaver 替代 InMemorySaver，把历史持久化到数据库。更进一步，你还可以做一个“记忆总结”机制：每几轮对话后，让模型把关键信息总结成几句话，存到向量数据库里，下次对话时根据用户问题检索相关记忆，加载到提示中。这就是一篇新文章的内容了。

---

总结

我们做成了几件事：

1. 工具调用：模型能自己判断什么时候调用 current_time() 和 word_count()，而不是我们硬编码调用逻辑
2. 短期记忆：通过 LangChain 的 checkpointer，模型能记住之前聊了什么，后续问题可以自然衔接
3. 完全本地运行：所有代码和数据都在你自己的机器上，零 API 费用，隐私有保障

你可以在这个基础上扩展：加更多工具（比如搜索、计算器、文件读写），换更好的模型（比如 Qwen 的更大版本），或者实现长期记忆。本地智能体的潜力很大，这只是个开始。