一、弁言：土产货部署大模子 不依靠显卡其实也可以chat sex5

Deepseek大模子横空出世以来，以其高效和开源的特质赶快火爆出圈，是现时当之无愧最为知名的AI大模子。

Deepseek-R1不但径直开源了其671B参数限制的满血模子，还同步开源了六个不同限制大小的蒸馏模子，差别是DeepSeek-R1-Distill-Qwen-1.5B/7B/8B/14B/32B，以及DeepSeek-R1-Distill-Llama-70B，这就高出浅薄用户凭证我方诱惑的配置情况，遴荐合适限制的模子进行土产货部署。

在各大厂商纷繁上线AI作事的今天，咱们为什么还要在土产货部署一个AI大模子呢？

其实原因也很疏漏，领先是幸免云作事不安靖，Deepseek上线初期的荟萃故障王人一经成一个梗了；其次是一些数据不允许公开或者上云，这就必须要在土产货完成处理，确保数据和心事安全。

临了就是玩家的心态了：\"我花了这样多钱，买的新硬件有这样高的算力，不充分应用多猝然？\"

再加上新硬件也确乎可以撑执AI大模子的土产货部署运行，是以也就义正辞严的要在土产货部署一个AI大模子了。

另一方面，土产货部署大模子其结束在也一经莫得什么困难，网上很容易就能找到多数的部署教程和决策，甚而一经有东说念主制作了傻瓜式部署的一键包，只需要下载之后解压运行就可以得到一个土产货运行的AI大模子，真的让东说念主东说念主王人可以平庸上手。

但这些教程决策中，王人会提到土产货算力的要求，往往王人需要一块比拟强的显卡，才能比拟好的在土产货运行AI大模子。

遴荐模子限制时，往往是要求一定的显存容量，这就对莫得独处显卡的浮滑条记本不太友好，可能会有使用浮滑本的用户径直就烧毁了土产货部署的估量。

人妖中国

莫得大显存显卡真的就不可领有我方的AI大模子了吗？天然不是。

咱们此次就找来一台使用Intel酷睿Ultra 9 285H处理器的浮滑条记本，来尝试在土产货部署大模子并应用，望望不依靠独处显卡，充分阐述CPU、iGPU核显以及NPU的算力资源，能不可确切应用上土产货AI大模子。

二、Ollama：高效轻量化 简易到硬核的进程

既然是在并不以性能见长的浮滑本上部署大模子，咱们天然要尽量省俭系统资源，那么轻量化的开源AI模子部署用具Ollama就是咱们的首选。

领先咱们说明系统已装配最新版驱动方法，然后从浏览器中掀开Ollama的主页（https://ollama.com/），下载Ollama的装配文献。

行为一个开源免费的部署用具，Ollama的主页作念的高出简易，用户只需重点击Download按钮就可以下载到最新的装配方法。

装配方法大小约1GB，不需要很是的荟萃成立，径直下载速率就相等快。

天然Ollama的装配界面莫得汉文，但和普通装配方法并无区别，点击Install之后遴荐装配目次位置，即可完成装配。

这里咱们莫得修改装配位置，径直在默许装配目次完成装配。

装配完成之后，Ollama运行时会在托盘区领会一个可儿的小羊驼图标，同期会自动掸出一个Windows PowerShell窗口。

这就是高出轻量化的Ollama运行的效能，连图形界面王人欠奉，径直在敕令行中运行。

按照Ollama给出的领导，咱们输入敕令运行Deepseek-R1:1.5B模子进行测试。

可以看到模子下载速率相等快，应该是使用了国内的镜像站，Deepseek-R1:1.5B模子唯有1.1GB的大小，很快就可以完成下载开动运行。

下载完毕之后，咱们就可以在敕令行中开动和Deepseek进行对话了。

关于最新的Intel酷睿Ultra 9 285H来说，通用的Ollama现时还只可调用CPU资源，更强盛的iGPU算力资源被猝然了，这亦然开源部署用具的过错，软件跟不上硬件的发展速率。

好在开源用具的分支深刻，针对Intel iGPU很是优化的Ollama版块也可以从网上找到，而且同样亦然免费开源，任何东说念主王人可以下载使用。

Intel ipex-llm优化版可以充分应用Intel iGPU的算力，应用iGPU中包含的XMX 矩阵加快单位，可以加快大模子推理速率，进步效能。

Intel官方提供的ipex-llm优化版Ollama的GitHub下载地址：https://github.com/intel/ipex-llm/releases。也可以从https://www.modelscope.cn/models/ipexllm/ollama-ipex-llm/summary这里下载。

由于Intel优化版Ollama现时照旧测试版，功能畴昔会整合到郑再版的Ollama中，而且现时照旧免装配的绿色版软件，使用起来比官方版Ollama要略微忙绿少量。

咱们从GitHub或者镜像站下载Windows版块的压缩包之后，先将其解压至土产货目次，咱们在C盘成立一个新的文献夹定名为‘AI’行为解压缩筹算目次使用。

在解压目次中找到\"start-ollama.bat\"批处理文献，双击运行，启动Intel优化版Ollama作事，此时就和官方版Ollama运行效能一致，唯独需要珍惜的即使Ollama作事启用时，会有一个敕令行窗口，不要不测关闭，关闭这个敕令行窗口就会关闭Ollama作事。

此时可以用Win+R输入\"cmd\"启动一个新的敕令行窗口，先使用\"cd\"敕令，转到Intel优化版Ollama的解压目次，在咱们测试电脑上，就是输入：

cd C:AIollama-ipex-llm-2.2.0b20250328-win

回车之后就可以和官方版Ollama一样开动下载模子和对话了。

三、通过浏览器插件使用图形化界面：Page Assist插件疏漏浅薄

天然敕令行中一经可以和Deepseek进行对话，但关于普通用户来说，每次和Deepseek对话王人要启动敕令行照旧太硬核了少量，是以咱们接下来给Ollama部署的大模子成立一个更适应用户习气的图形界面。

Page Assist（https://github.com/n4ze3m/page-assist）同样是一个开源免费的浏览器插件，可以在谷歌浏览器、微软EDGE浏览器和火狐浏览器的插件商店中找到。

装配好Page Assisr插件之后，点击插件图标，咱们就可以看到插件领导Ollama正在运行，无需额外配置，插件可以自动识别到Ollama。

点击右上角的齿轮图标，参加成立页面，咱们可以把插件的讲话修改为汉文。

左侧的惩办模子这里可以看到扫数已下载的模子。

也可以点击添加新模子，然后在弹出窗口中输入模子称呼，点击拉取模子，就可以开动下载。

Page Assist自身并莫得大模子干系的功能，只是Ollama的一个图形界面，一切功能其实王人照旧Ollama提供的。

扫数可下载的模子列表，王人可以在Ollama网站找到。

在Ollama首页左上角，点击Models，就可以检察扫数可下载的模子信息。

之后就可以在上方遴荐模子，然后输入翰墨和大模子对话了。

图形界面使用起来愈加浅薄易用，而且也增多了不少更直不雅的功能。

四、ChatBox AI客户端：让AI大模子更机灵

要是需要更多的功能，咱们也可以使用ChatBox AI客户端来运行大模子。

在Chatbox AI客户端的主页（https://chatboxai.app/zh），可以看到Chatbox AI官方的领导，官方有提供免费下载，珍惜不要上当上圈套。

Chatbox AI软件装配之后，因为咱们一经装配了Ollama，是以就遴荐使用土产货模子。

Chatbox也支执使用在线AI作事，由云诡计作事商提供更强盛的算力。

遴荐Ollama API之后，Chatbox AI就可以自动接受Ollama一经部署好的大模子。

之前下载完成的模子王人可以径直加载调用，无需重新下载。

Chatbox AI软件中，除了径直和大模子进行对话除外，也提供了一些模版，比如情谊价值拉满的AI夸夸机，或者小红书爆款案牍生成器，可以阐述出AI大模子更丰富的功能，而且界面也愈加好意思不雅易用。

五、LM Studio部署用具：更浅薄易用的用具 但效能不如Ollama

行为一个部署用具，Ollama最大的上风是它的轻量化，系统资源包袱小，实施效能更高。

天然瑕玷也很显然，就是功能太节略，不要说高档AI功能，连图形界面王人莫得，下载模子的时候不但看不见下载速率，万一输错了模子的称呼，开动下载之后连取消下载王人不行。

所幸还有功能更强盛的AI部署用具：LM Studio。

在LM Studio主页（https://lmstudio.ai/）上，咱们可以径直下载Windows版块的装配方法。

装配完成之后，LM Studio就会带领用户下载第一个土产货AI大模子，要是不需要默许推选的模子，也可以点击右上角的跳过按钮来取消下载。

在主界面的右下角，点击齿轮图标参加成立界面，就可以调治软件讲话为汉文。

点击左侧的放大镜，参加模子搜索页面，可以看到LM Studio提供了高出高出多的模子供用户遴荐。

咱们径直搜索Deepseek，就有好几页不同限制不同版块的Deepseek模子。

在LM Studio中，咱们可以径直看到每个模子干系的参数和先容，更浅薄遴荐合适的模子。

一些莫得流程蒸馏的雄壮模子也在其中，比如Deepseek-V3模子，体积高达347GB，LM Studio也会领导关于本机来说可能过大无法告成运行。

在一些LM Studio的教程上会提到无法径直下载的问题，教程中会给出替换国内镜像源的方法，但咱们现时实测下载速率所有这个词莫得问题，应该是新版方法一经成立了国内更快的镜像源，使用起来愈加浅薄。

模子下载完毕之后，就可以在主页上方遴荐模子，然后等模子加载完毕后，开动对话了。

六、土产货AI应用1：合营千里浸式翻译插件 使用土产货AI大模子翻译网页

在土产货部署AI大模子，天然也不可只是称心于同AI对话，或者让AI襄理写首诗什么的，土产货AI还能作念好多事情。

咱们可以让土产货AI大模子合营浏览器的千里浸式翻译插件，结束翻译资源土产货化，不依赖荟萃作事，也可以得到更好更精确的翻译作事。

千里浸式翻译插件同样是免费的，在谷歌微软或者火狐浏览器的商店中王人能径直找到并装配使用。

千里浸式翻译插件自身也提供付费的AI大模子翻译作事，同期它的翻译作事中也提供了用户自行购买AI作事后的接入功能。

咱们在这内部找到Ollama，激活之后参加成立，就可以配置土产货AI大模子的翻译功能了。

翻译作事并不需要很大限制的模子，相对而言反馈赶快更贫窭，谁也不念念点击翻译之后还要等上半天才能看到结束，是以咱们先遴荐Deepseek-R1:1.5B模子进行测试，望望翻译效能何如。

在配置页面只需要遴荐模子是咱们准备好的模子，然后在APIKEY中输入之前用敕令行启动Ollama的敕令就可以了，保存成立之后可以点击成立页面右上角的测试作事按钮，望望是否能昔时启动翻译作事。

领会绿色的考据告捷，就代表咱们配置的土产货AI大模子翻译作事一经上线可以使命了。

咱们掀开一个英文网页（尼康英文吏网的一千零整夜，汉文吏网的这个专题隐藏了，高出缺憾），测试Deepseek-R1:1.5B大模子的翻译效能，可以看到Deepseek-R1行为一个推理模子，在讲话翻译这一方面并不擅长，翻译速率很快但效能高出不睬念念，这时候咱们就需要换一个大模子来进步翻译效能。

咱们此次遴荐阿里的通义千问Qwen2.5模子，它不但愈加善于勾通讲话，而况支执29种不同的讲话，还提供了0.5B、1.5B和3B这样小限制的版块。

咱们类似之前的方法，将Qwen2.5:1.5B模子部署在Ollama上，然后配置给千里浸式翻译调用，就可以告成体验到更强的AI大模子翻译作事了。

从资源惩办器中可以看到，在翻译页面的时候CPU占用率会快速飞腾到60%傍边，但翻译速率很快，大要不到半分钟就可以完成扫数这个词页面的翻译，翻译的质地也很可以。

要是不是浮滑本的硬件要求为止太严，部署3B限制的模子翻译效能还能更好。

七、土产货AI应用2：成立土产货常识库 通过AI大模子快速处理海量数据

关于最需要土产货部署AI大模子的用户来说，最大的原理细目是为了数据安全，即即是普通公司甚而个东说念主，细目王人会有一些不浅薄上云的数据贵府，这时候使用土产货常识库来惩办海量数据就是一个高出好的遴荐。

咱们应用Ollama搭建的土产货Deepseek-R1:14B大模子，就可以很浅薄的成立并使用土产货常识库，平庸在土产货惩办数据，确保数据安全。

领先咱们在Ollama中拉取文本镶嵌模子， Deepseek等大模子是无法径直读取土产货文献的，必须先使用文本镶嵌模子将贵府处理成大模子可读取的固定长度向量，下载文本镶嵌模子自需要在Ollama运行窗口中输入：

ollama pull nomic-embed-text

也可以在图形UI中的模子惩办中下载

文本镶嵌模子nomic-embed-text体积唯有262MB，却是成立土产货常识库所必需的。

咱们在Page Assist插件中，找到RAG成立，在文本镶嵌模子处遴荐刚刚下载的nomic-embed-text，就完成了成立土产货常识库的前期准备使命，除了Page Assist插件外，也有其它可以支执成立土产货常识库的AI大模子用具，操作方法也王人类似。

RAG（Retrieval-Augmented Generation检索增强生成）是一种汇聚了信息检索和讲话模子的时刻。它通过从大限制的常识库中检索干系信息，并应用这些信息来带领讲话模子生成更准确和深入的谜底，是成立土产货常识库的必要时刻。

底下就可以成立土产货常识库了，咱们使用B站UP@行星鼓励器 制作并共享的镜头大全表格，收录了800余款镜头的参数信息，高出适应使用土产货常识库检索信息。在Page Assist左侧找到惩办常识，点击添加常识，疏漏定名和上传文献后，就成立了一个新的常识库。

Page Assist支执这些风景：pdf、csv、txt、md和docx，是以咱们先将xlsx文献通常为csv文献。

上传文献之后文本镶嵌模子就会自动会文献进行处理，需要一小段时辰。

文本镶嵌模子处理完毕之后，就可以开动使用常识库进行信息检索和查询了。

点击输入框中常识库的图标，就可以遴荐刚刚成立好的\"镜头大全\"常识库。

遴荐常识库之后，可以看到输入框中少了一些功能，上传图片和联网的象征装扮了起来，在常识库中，是不可使用联网和识图功能的，但不影响常识库自身的功能使用。

屏幕上方可以看到\"镜头大全\"常识库已被读入，这时就可以使用Deepseek-R1:14B模子来检索常识库，Deepseek-R1:14B模子对用户发问和常识库内的语句勾通和推理武艺远超限制较小的模子。

此时向Deepseek-R1:14B模子发问，它就会用上传的贵府内容进行回复，比我方翻找表格愈加浅薄快捷。

八、转头：浮滑本莫得显卡一样能部署土产货AI大模子 而且还很好用

Intel酷睿Ultra 9 285H处理器基于Arrow Lake架构，领有6个性能核，8个能效核和2个低功耗能效核，一共16中枢，但不支执超线程时刻，是以总线程数亦然16， 性能核最大睿频频率为5.4GHz，领有24MB高速缓存。

它内建Intel锐炫140T显卡，包含8个Xe中枢，同期还内置NPU，大略提供高达13 TOPS的算力。CPU+GPU+NPU全平台总算力达到99 TOPS，为土产货运行大模子提供了很好的撑执。

AI PC并不是预装几个AI软件提供云作事就算AI PC了，要是只是购买云霄AI算力作事来使用，那几年前的电脑甚而手机也一样能作念到。

AI PC最强盛的场所就在于土产货算力，购买了全新的AI PC，就领有了这些算力，能陪着你走遍海角海角，能在断网等环境下使用土产货算力执续运行，这亦然土产货部署AI大模子的道理。

收获于Intel酷睿Ultra 9 285H处理器的强盛性能和极高的能效，让浮滑本也能平庸在土产货部署AI大模子，运行14B参数限制的Deepseek-R1大模子也不在话下。

土产货部署大模子，亦然要凭证骨子用途来遴荐合适的模子来部署，现时开源的模子这样多，咱们也不可念念着径直部署最强的模子就能包打六合，也要凭证骨子用途遴荐来遴荐。

咱们为翻译作事遴荐了Qwen2.5:1.5B模子，看起来限制和Deepseek-R1:1.5B模子限制相等，但在翻译质地上差距十分显然，但要是是编程或者写稿之类的需求的话，Deepseek-R1:14B模子才是更好的遴荐。

Intel现时正在荒诞试验AI硬件，酷睿眷属处理器的AI性能在一次次AI改进应用大赛中被深度发掘，Intel OpenVINO推理框架也越来越收到疼爱，浮滑本的AI性能也越来越好，即使莫得显卡的AI PC，畴昔也会也会越来越好用。