LM studio本地化部署大模型试用体会

欢迎大家来到IT世界,在知识的湖畔探索吧!

今年广州的天气，从清明节那几天开始，就进入了多雨模式，直到五一假期，不但偶尔有鸡蛋大的冰雹，山洪狂虐，高速路基塌方的天灾事件，更是连续一个月几乎没见过太阳的极端天气。

阴雨连绵五一，选择在家各种AI应用知识收集，也对LM studio本地化大模型应用更深程度的试用，将应用的个人体会自己做了个总结（只是基于个人认知，不一定是对的），各位友友可以批判性理解，也欢迎大家在评论区讨论。

先说本地化部署大模型的意义，也是当初自己为什么会选择本地化AI应用的初衷，一方面是一时没找到在线AI应用的便捷、无限制应用平台，另一方面也是觉得如搜索得来的见解：

在本地计算机上本地运行LLM ，方便、可以尝试各种模型、不用租服务器、有效利用自己的显卡或CPU。不用担心隐私，各种问题随便问。延迟低，速度快。免费

选择了有人说是最简单的本地测试工具的LM studio大模型集成平台工具，由于是安装在笔记本上（并没有独立显卡），下载了两个Meta的两上8B大模型文件（一个喜欢讲英语，一个直接回复中文），做了一些应用上的尝试，也上面几篇发文中有描述，有兴趣的友友可以翻看之前的内容。总结下来，本地化Llama3模型库在应对一些聊天对话，软件应用中遇到的一些问题，她还是能够应对的，如果有一定的动口（向AI提问，引导、互动），动手（按AI提示与尝试、调整、设置）的能力，还是能够输出一些有效的内容，解决一些问题的。

不过，在通常的电脑配置上去本地化部署应用大模型AI，是非常占用存储与计算资源的，她每回复一个问题，你需要忍耐她专心生成（电脑卡机），不能同时操作电脑的煎熬。生成的效率，也没有在线的平台那么快，由于是本地的大模型文件，肯定内容的时效性没那么及时最新。比如，我问她：”针对重庆胖猫事件作下分析，评论，我需要在网上发布，请帮我生成一份评论新闻稿“。

她的回复：

**题目:**《财清肥猫丑闻:问责与透明的呼唤》

* *简介:* *

在中国最著名的肥猫财青的传奇故事的最新转折中，一个新的揭露在公众中引起了冲击波。据报道，这只胖乎乎的猫以其可爱的外表俘获了数百万人的心，但它的主人王女士实际上给它喂了富含高热量食物的食物。这一事件引发了广泛的愤怒，动物爱好者和批评人士都呼吁追究责任、、、、、、、

完全风马牛不相及啊

其实AI做为各种资讯归集，检索，再用模拟人的思维逻辑，自然语言表达方式，把你提问的问题，给你表述出来。在AI大模型的能力上，肯定取决于模型库的资料容量，以及动辄几十亿，几百亿参数的设置，与人类大脑从小学习，生活，见识，经验慢慢积累起来的个人认知框架的大脑记忆，还是有明显的机械化表征，很多时候是模型库内的知识碎片拼凑出来，没有用但也不会错的废话。

但即便如此，AI大模型的应用，随着技术的发展，以及电脑相对于人脑而言的快速存储，不会遗忘的特征，在一些方面（快速拥着相关知识技能、快速将存储知识进行再组织输出、不会遗忘等）还是要比人类的记忆思维有优势一些。想像一下，如果你能像拷贝电脑文件一样过目不忘（还永久不忘），并且你大脑具有无穷的记忆空间，你能随时从你的记忆认知里应对，回复所有你遇到的问题，你是不是已经超越了绝大多数人了但是相信，你大脑这个CPU需要消耗的能量，估计天天吃一头牛，也未必能跟得上[呲牙]

不过，我相信读到这里的友友想像一下，在自己的电脑上，手机里，专门用于知识资料存储的硬盘上，还有一些组织，公司内部等积累下来的一些资料，文档，知识库，如果装进一个有使用范围的专有模型里，随时可以供自己或权限人查阅，问询，输出精准而且非常真实、专业、有效的内容。

将资料，记忆的电子化存档内容，可以转化成自己专属的个人知识库模型，个人理解才是本地化大模型应用的真正意义。这些记忆，资料是不方便对外直接进行传播的，本地化最大的好处即是私有化。

所以，接下来，我会调整AI应用的两个方向，一是寻找一个免费用好用的在线AI大模型应用的平台，二是创建本地私有化小模型AI应用工具，一起期待，努力探索。