接入DeepSeek,真香!

前些天,写了《DeepSeek本地快速部署,大语言模型离线使用》发现DeepSeek本地部署并不适合自己使用,然后又写了《利用 ima copilot 构建个人电子知识库》一文介绍自己更喜欢使用的AI大模型软件,又过了几天,更新软件后发现ima copilot已经接入了DeepSeek R1推理模型,结合腾讯自有的混元大模型,确实让ima软件的好用性又提升了一个级别。合理使用可以减少网上搜寻资料的时间,提高工作学习的效率。

假设我手上有一个芯片,只知道它的型号为NE555,同时假设它好像是产自于TI,那我需要找一个TI的NE555芯片的PDF说明文档。这时故意抛给AI大模型尽可能少的信息,看是否在ima copilot中得到想要的结果。同时观察ima copilot中两种模型的不同之处。

传统的做法是在搜索引擎里搜索,因为众所周知的原因,我们只能在百度里搜索,比如搜索“NE555”,它给出的结果是下图这样的。结果的好和坏就不评论了,见仁见智吧。

使用ima copilot混元模型提问“NE555”,它会给出关于NE555芯片的总结和一些文章,而没有直接给出想要找的PDF说明文档。当然提问时把问题提得更明确时,得到的结果也会不一样,这里只是做一下测试。

在得不到好的结果时,进一步向混元模型提问“我需要NE555的说明手册PDF”,混元会继续给出一些文章和链接,虽然这些链接中是有一些相关的PDF文档,但结果似乎也并不太理想。

用混元得出了一些NE555的资料后,这时再用ima接入DeepSeek R1推理大模型,提问“根据上面的资料,搜索出NE555的说明手册PDF”,DeepSeek R1给出的搜索结果是令人满意的。它能给出TI、ST以及安森美三家主流芯片厂商的官方资料链接。

个人感觉腾讯的混元偏向腾讯自家的公众号搜索也兼顾全网搜索,能给出相关的文章网页,同时也有很强的总结和解读能力,而DeepSeek则更侧重于全网搜索,并做出相应的文本推理。两者可以说是各有优缺点,可以结合使用相辅相成,更好地发挥作用。

20250216

利用 ima copilot 构建个人电子知识库

最近试用了GPT4All+DeepSeek本地版AI系统(参看《DeepSeek本地快速部署,大语言模型离线使用》),想利用大语言模型加本地文档的方式构建个人知识库,实际使用下来效果并不太理想,可能是限于本人电脑性能不足和软件功能有限。由于经常需要查阅电子元件手册以及电子电路知识相关的网页,希望有个方便的AI助手软件能快捷的进行翻译、解读、搜索以及存档处理这些电子类的资料。经过一段时间的试用发现腾讯推出的ima copilot可以比较好的实现我的需求。下载地址 https://ima.qq.com/ 或微信小程序,建议使用电脑版本,功能全面。

ima copilot是腾讯推出的新一代AI学习助手,整合AI搜索引擎、知识库管理系统和智能写作功能于一体的综合性平台 ,有电脑版本,也有手机小程序版。因是腾讯原厂软件,天生就支持微信公众号内容检索,同时也可以进行网页内容搜索。也有智能问答系统,用户可以提出问题,系统会快速响应并推荐相关知识,极大提升查询效率。搜索到的网页内容可以直接添加到个人知识库中。也可以上传多种格式的文档构建个人知识库。问答系统除了可以搜索网络,同样也可以在个人知识库中搜索,并可以通过智能生成文档摘要。目前个人知识库的免费空间好像是1GB。利用ima copilot可以对文档或图片进行翻译、解读,这功能确实可以大大的方便对一些文档的查阅。

ima copilot还有一个功能就是笔记系统,在完成问答、检索、解读后,可以随时添加笔记,快速高效整理知识文档。

具体使用方法这里不展开细说,需要使用的可以自己到官网查阅 。

下面以问题“振荡器的分类有那些”,来看看基于全网和基于个人知识库,智能问管系统给出不一样的答案。当然软件基于全网所给出的搜索结果是有限的,而我个人知识库是有收集一些关系振荡器网页或文档。

基于全网

基于个人知识库

下面的ST3PF的资料图 和 2种结果的对比。

基于全网

个人知识库

两种智能问管模式,各有优势,结合利用,收集转化,合理利用AI功能确实让部分工作变轻松。

20250209

DeepSeek本地快速部署,大语言模型离线使用

2025年1月20日,DeepSeekAI开源了DeepSeek R1推理大模型,其性能接近OpenAI的o1模型,APP迅速占领了各大应用市场的前列,火爆程度一度让其网络服务不顺畅。如今AI语言大模型能协助我们完成很多文字、程序等方面的工作,AI大模型一直以来给我的印象是需要大算力服务器阵列或GPU阵列,DeepSeek开源大模型的出现让我对AI大模型的算力要求有所改观,尝试在自己的电脑上也部署一个AI语言大模型,用来脱机使用、学习研究。下面就分享一下我自己的经验,过程很简单,但注意的一点要学会科学上网。

需要用到一个软件GPT4All,是一个开源的、本地运行的大型语言模型(LLM)生态系统,允许用户在本地设备(如笔记本电脑、台式机)上运行大型语言模型,支持 CPU、NVIDIA 和 AMD GPU,甚至可以在没有网络连接的环境下使用。旨在让用户能够在个人设备上运行强大的 AI 模型,而无需依赖云端服务或联网。

GPT4All可以下载、使用各种开源的大语言模型,包括DeepSeek R1等,也可以使用自定义的PDF、文本文档等数据。GPT4All 所有数据和模型均在本地运行,用户数据不会上传到云端,适合处理敏感信息。支持 Windows、macOS 和 Linux 系统,用户可以根据自己的设备选择合适的版本。

GPT4All 技术原理是基于 Meta 的 LLaMa 模型进行微调,使用了 ChatGPT 生成的问答数据进行训练,旨在通过蒸馏(distillation)技术将大模型的性能压缩到更小的参数量,从而在资源有限的设备上运行。

GPT4All主要的使用场景
离线聊天机器人:用户可以在没有网络的环境下与 GPT4All 进行对话,适用于旅行、飞行等场景。
编程辅助:尽管 GPT4All 在编程任务上的表现不如 在线的ChatGPT、Gemini等,但它仍能提供基本的代码生成和解释功能。
文档分析与写作:用户可以通过 GPT4All 生成文本、总结内容或进行简单的文档分析。

下面是具体的安装过程:

首先访问GPT4All官网下载 合适版本的GPT4All。用WIN10/WIN11就直接下载Windows版本的就好了。

下载、安装过程就不必细说,和普通软件一样。安装完成后,打开软件,进入“查找模型”界面。

直接在GPT4ll版面上可以看到很多已经开源的模型,模型信息可以看到文件大小,需要的RAM大小,参数量等信息。可以按自己的设备和实际需求选择下载。需要科学上网方式才能下载 。

我这里选择了轻量级的DeepSeek-R1-Distill-Qwen-1.5B,用于测试,所需要机器资源小,文件小下载较快。文件约为1GB,所需要RAM为3GB,参数量为1.5亿。如果需要更好的使用,更准确的推理回答,就需要选择文件大的,参数多的模型进行下载,当然所要求的机器资源也更大。

模型下载完成后,在界面左侧进入“对话”,点击“选择模型”选择下载的模型后会自动加载模型。

 

 

模型加载完成后就可以进行与AI对话了。这样就有了一个可完全离线的“A助手”了,下载完成后,不需要网络可以直接运行。简单的测试了一下,本地运行的速度还是不错的,也不用担心连网的各种问题。还有自定义数据以及API等功能,需要研究研究,可以用AI模型实现自己想要的功能。

20250205