我是忒修斯的船板，你也可以简单叫我船板就好，今天来讲讲我在部署个人知识库里踩过的坑。
最近，我想很多人都刷到过B站视频或者公众号，说什么教你用deepseek一键部署个人知识库，打造第二大脑之类的？
这种东西，我觉得除了技术玩家和搞学术的学生之外，一般人没有必要去尝试。或者说，目前技术还不够好用，不够普通人用。
我先放个结论：个人知识库想要真正有用——
1、你要花大量的精力增加知识库的内容量。2、你要仔细清洗、分割处理数据，提升RAG的精确度3、你要选用最好的知识库软件和大模型。
这三者加起来对于一般人来说就很困难了，问题是都做好了，投入产出比也不高。因为做来做去，可能没有现成联网搜索的大模型好用。
所以我说普通人做知识库用处不大。至少，那种“一键部署”的，多半是部署完了也就吃灰的。
比方说我最近试了试网上很火的所谓“一键部署个人知识库工具”，deepseek+Cherry Studio这套方案。
其实无论是Deepseek还是Cherry Studio我之前都有在用。但是Cherry Studio你说用它做知识库吧就很奇怪，它用起来的确很方便，但它本身毕竟是一个接入大模型API的聊天客户端，知识库只是它的附加功能。效果实在很简陋。
我先整理一下我作为一个普通用户对大模型+「知识库」的期望吧。
1、我有自己写的大量小说，也有想要学习、仿写的经典小说，我希望将其载入知识库，让AI整体理解、总结这些小说，并且为我分析文本。这个需求的关键词是【长文本】【理解】【拆解】
2、我手头有我老爸写的一堆旧文章、笔记，我希望通过知识库整体理解这些文本的文风，并且可以精确检索其中记录的事件、思考，如果可以的话，能让大模型模仿文风，让大模型成为「虚拟老爸」，回答问题就更好了。这个需求的关键词是【海量数据】【理解】【检索】
然后我具体怎么做呢，我选择现在pc端最方便的大模型客户端Cherry studio，往知识库中传了自己整理好的十章小说txt，每一个文档三五千字。然后让其自动完成文本的拆分和向量嵌入工作，最后让deepseek、Gpt-4o来分别总结这部小说的章节内容。
结果，无论是哪种模型，最后都漏掉了一半的章节标题。并且，我无论如何也找不出来某几章的标题。他们回答的内容突出一个盲人摸象，知道有某些情节，却就是和章节对不上。
我又做了另外一个实验，把几十篇我父亲的旧文章传到知识库中，同样让其自动完成数据处理，之后向大模型提问，让它根据文本回答我父亲对特定话题的看法，以及模仿。
这一部分deepseek倒是成功了，但是效果并不好，比如针对「养生」这个话题，它只找到了一篇有关键词出现的文章，以这篇文章中出现的论点作为基础回答问题。但是并没有对我父亲的观点有整体理解。至于模仿文风完全是失败的，我问了本人评价是并不像。
为什么会这样呢？我查询了很多技术文章，让AI老师帮我这个门外汉做阅读理解，综合了多方说法，大致明白了是怎么回事。
首先，目前的一般大模型知识库产品背后是RAG技术。RAG是干嘛的？它能解决什么？不能解决什么问题？
从一个非专业人士的角度简单解释的话，RAG更像是一种局限性很强的「搜索引擎」技术，因为过去的语言模型无法理解长文本信息，因此需要RAG。
建立知识库的时候，RAG会把文本向量化，转化为大模型可以连接的单元，然后在我们向大模型提问的时候，RAG知识库会把最符合询问内容的部分扔给大模型，让它用这个回答。
这里面问题就大了，首先RAG在把文本向量化的时候就要拆开原文，导致许多原文上下文对应出现问题，或丢失内容。其次，大模型一次「能吃下」的token长度也有限，知识库扔给他的一次只是靠前排的一小部分，剩下的大部分信息，它判断关联不大，就全扔掉了，结果就是大模型在查询知识库的时候，始终只能看到眼前的一丁点内容，怪不得我们在提问的时候，觉得大模型跟瞎子一样，总是这也不知道，那也找不着。跟别提让它做整体的阅读理解了。
这也是情有可原的，原本呢，RAG知识库面向的场景更多是企业知识库，更突出在业务场景，完成「一问一答」的交互，而不是我这样的个人用户需要的「整体理解」、「模仿作者」。
知识库的核心本该是精准问答和深度联想，但个人使用场景更需要「连点成线」的理解。比如我看到「用户画像」这个词，不仅想看到定义，还想关联到去年的市场报告案例——但现成工具只会机械地弹出零散解释。简单的一问一答有用吗？有。但是太过于局限了。
更扎心的是，想要提升RAG的准确率，就得搞什么RAG模型优化、文档智能切分，这些技术活根本不是普通用户能操作的。
所以，并不像我们普通人想象的一样，如今的大模型只要结合了知识库，就可以充分理解海量资料背后的主旨和精髓了，更不可能像我想象的那样，我只要扔给它大量的数据（比方说我父亲的十年手稿），它就能充分还原我父亲的思考模式和阅历；并不是我把我十年的学习笔记扔进去，他就能成为一个可以自主思考的「第二大脑」。
这是一种很大的误解。RAG没这么神，它说破天也只是提高我们搜寻信息的效率。真正要充分做上下文理解，可能需要大模型本身，未来不断提高上下文能力，让大模型直接吃下几百万字，而不是借助外部知识库的帮助。
回到我的实验，为了优化我的知识库效果，我特意学习了数据库背后的RAG技术基础原理，得知「嵌入模型」的性能，以及对于文档的分块很重要。由此我更换了几种嵌入模型，比如BAAI-BGE-m3，比如有道的某个嵌入模型（名字太长忘记了），也用过OpenAI自带的嵌入模型（据说，BAAI-BGE-m3是针对中文和多语言长文本效果都不错的），然而，结果都没有明显的改善。
此外，我还尝试了同样流行的本地个人大模型知识库Anything LLM，以及带有知识库的大模型问答平台FLowith，也都存在不同程度的遗漏知识和回答片面的问题。总得来说并不让我满意。
如果要再提高知识库的性能，有几种思路。
第一种是依照最新的RAG技术论文，进一步提高切分文档、清洗数据的技巧。
第二种是直接用大厂更先进的知识库产品，比如现在腾讯、字节、阿里、百度、等等。
很多大厂的大模型基座里都附带知识库服务，一些知识管理软件和搜索工具，比如Perplexity和秘塔搜索也有知识库功能。
我倒不是说这些工具不好用，但就像我说的，一是这些技术依然基于RAG技术，并不改变其局限性，二是个人知识库「上云」这件事，对于个人用户来说隐私风险其实不小。
如果你是一个学生，只是用网上下载来的的学习资料拿来做知识库辅导自己学习也就算了，那些长期以来个人的手稿、日志、企业数据放到云端、喂给互联网巨头，实在是不安全。
所以说，现在教你怎么用AI的文章，太多是只管杀不管埋。它既不会交代一个上下文的语境，告诉你这种东西适合谁去用，谁不适合用。也不对教完你的结果负责。甚至很多作者估计根本没试过自己教的东西。
就像很多「大模型提示词大全」，它们的效果根本就经不起推敲，甚至可能是由AI自己大批量编写的，每次新出一个模型，都换汤不换药地卖。反正打包卖资料卖完就完了，你用不好是你自己的事。