Skip to content

第三阶段:多模态 & 知识图谱规划【做更“聪明”的知识助手】 ​

当你已经会用 LLM + 简单 Agent + MVP Server 之后,这一篇帮你规划:什么时候需要向量检索 / 多模态 / 图数据库,做到什么程度合适?


1. 不同学习目的下,这一阶段是否“必须” ​

  • 目的 A:只想提升个人效率 / 做小工具

    • 这一阶段可以是可选,除非你感觉已有方案不能满足检索需求。
  • 目的 B:想做“知识库问答”类产品

    • 非常推荐认真走一遍:向量检索(RAG)基本要掌握。
  • 目的 C:目标偏“AI 平台 / 推荐 / 风控”

    • 知识图谱和图数据库非常有价值,建议作为长期方向。

对你当前来说,更现实的做法是:先把 RAG(向量检索 + 文档问答)搞明白,用在自己的面试/学习知识库里;知识图谱可以先了解、后续慢慢补。


2. 阶段划分与学习重点 ​

阶段 1:向量检索(RAG)入门 ​

目标:

  • 知道 Embedding 是什么;能把文本变成向量,存进向量库,再根据问题做相似度检索。
  • 能搭一个简易的“文档问答系统”:先检索,再让 LLM 根据检索结果回答。

建议安排:

  • 1~2 天:理论 + 小实验
    • 看一篇关于 RAG 的入门文章/视频:理解“向量化 + 相似度搜索 + LLM 再加工”的流程。
    • 选一个嵌入服务(比如 OpenAI Embedding / 通义 Embedding 等),写脚本:
      • 对几段文本进行向量化。
      • 给一个查询语句,找出最相近的文本。
  • 2~5 天:做自己的知识库问答系统
    • 选择一个向量库(本地/云端均可):
      • 如 Milvus、Weaviate、或者更轻量级的 SQLite + 向量插件。
    • 选一批你自己的文档(推荐直接用:你当前的 VitePress 面试文档库):
      • 切块(按段落/标题划分)。
      • 向量化后写入向量库。
    • 实现一个简单 API:
      • 输入:问题文本。
      • 步骤:检索最相关的文档片段 → 拼成上下文 → 调用 LLM 回答。
      • 输出:回答 + 引用到的文档标题/链接。

这一步做完后,你相当于有了一个“专属面试题助手”,完全基于你自己的知识库。

阶段 2:多模态(文本 + 图片 等) ​

目标:

  • 了解:除了文本外,图片/表格/结构化数据也可以参与到检索和问答中。
  • 能做出一个简易 Demo,例如:上传截图 + 文本,让模型给出综合解释。

学习建议(可选项):

  • 使用支持多模态的 LLM(如 GPT-4o、部分国内模型):
    • 练习:
      • 把一张图(如接口拓扑图、错误截图) + 一段描述一起喂给模型。
      • 让它输出“问题分析 + 解决建议”。
  • 如果有兴趣,可以:
    • 对一些简单的图片做 Embedding(部分向量库/服务支持)。
    • 做文本 + 图片混合相似度检索的小实验。

3. 知识图谱 / 图数据库(长期方向) ​

适用场景:

  • 关系复杂、路径关键:如“某个公司 - 高管 - 事件 - 行业”的风险传导。
  • 推荐、风控、社交关系分析等。

对你当前来说可以这样安排:

  • 先用 Neo4j 做一个极简 Demo:
    • 把“技术栈 → 知识点 → 面试题”建成一个小图谱。
    • 试着跑几条简单查询:
      • “某个知识点关联了哪些题目?”
      • “从 Java 基础出发,2~3 跳能到哪些进阶主题?”
  • 目的不是做很重的图系统,而是建立“图结构思维”,有利于你之后整理自己的知识地图。

4. 结合你当前场景的项目建议 ​

可以设计这样一个中期目标项目:

  • 项目:面试/学习一体的知识库问答 + 图谱导航
    • 第一部分(RAG):
      • 索引你当前所有面试文档。
      • 做一个 Web 界面:输入问题 → 返回回答 + 相关文档链接。
    • 第二部分(图谱,轻量级):
      • 手动或脚本,将“模块 → 子模块 → 文章 → 题目”导入 Neo4j。
      • 提供一个简单视图(哪怕只是一张导出的图截图),帮你看清自己知识体系的结构。

你现在已经在用 VitePress 管理知识,这一步更像是“在现有基础上,提高检索和导航的智能程度”。


5. 这一阶段的“合格线” ​

对你来说,可以定义为:

  • 至少搭建起一个可用的 RAG 系统:
    • 能对你自己的知识库进行问答。
    • 真正被你在复习/备考时使用,而不是只跑一遍 Demo。
  • 对多模态和图数据库有基本概念,做过一个小 Demo:
    • 能向别人用 2~3 分钟说明:什么时候要用向量检索、什么时候要考虑图结构。

等你日常学习/面试准备时,习惯性地先问一下“自己的知识库机器人”,说明这一阶段已经“落到生活里”了。