欢迎大家来到IT世界,在知识的湖畔探索吧!
近期，deepseek不仅在互联网上非常火爆，单位/个人进行本地部署也非常火爆。本人的笔记本虽然配置很差，也想部署一个来学习一下。但由于ollama可以部署在win11宿主机，也可以部署在wsl2的docker中。两者性能差距如何？显卡使用如何？没有经过实践测试无法得出结论。 同时，由于windows和wsl2可以跨文件系统访问，也想测试一下跨文件系统访问是否会有性能损失。
欢迎大家来到IT世界,在知识的湖畔探索吧!
下面是测试环境和样例：
1、测试环境
硬件环境：自有笔记本
- CPU：intel酷睿I5-1135G7；
- 内存: 40G DDR4 3200MHz；
- 显卡：nvidia mx450，2G专用显存；
- 硬盘：512G SSD；
软件环境：
- OS：win11 家庭版；
- cuda：v12.8 目前最新版；
- wsl2分发版：ubuntu（当前为Ubuntu 24.04.2 LTS）
- 容器：docker v28.0.0
2、测试实例
在安装好ollma以及配置好gpu加速后进行2次提问测试：
- Q1:我是一个中小企业，我改如何使用deepseek落地本地知识库？(此语句中的“改”，是故意敲错给大模型的）
- Q2:我是一个IT工程师，如何用ollama+anythingllm来部署实现本地知识库？
3、win11宿主机的性能测试
一、部署软件：
- ollama：win11宿主机部署ollama很简单，只需要在ollama官网下载程序安装即可。
- cuda：安装最新的显卡驱动，并安装对应的cuda版本，我的笔记本安装了最新12.8.同时，按照官方教程配置环境变量。
- 强制GPU加速：配置以下环境变量：
OLLAMA_GPU_LAYER：cuda CUDA_VISIBLE_DEVICES：显卡id欢迎大家来到IT世界,在知识的湖畔探索吧!
二、运行ollama测试：
- 拉取模型：在windows终端中输入以下命令拉取模型
欢迎大家来到IT世界,在知识的湖畔探索吧!ollama pull deepseek-r1:7b
- 运行模型：在windows终端中输入以下命令运行模型
ollama run deepseek-r1:7b --verbose三、测试结果
|
测试结果 |
Q1 |
Q2 |
|
CPU |
85-95% |
85-95% |
|
GPU |
11-16% |
11-16% |
|
内存 |
13.6/39.8G |
13.6/39.8G |
|
专用显存 |
0.9/2.0G |
1.0G/2.0G |
|
共享GPU内存 |
4/19.9G |
4/19.9G |
|
total duration |
5m19.s |
8m43.0s |
|
load duration |
30.3408ms |
20.6889ms |
|
prompt eval count |
18 token(s) |
1257 token(s) |
|
prompt eval duration |
1.455s |
17.098s |
|
prompt eval rate |
12.37 tokens/s |
73.52 tokens/s |
|
eval count |
1218 token(s) |
1811 token(s) |
|
eval duration |
5m17.875s |
8m25.671s |
|
eval rate |
3.83 tokens/s |
3.58 tokens/s |
4、win11+wsl2+docker测试
一、部署软件
- wsl2安装：控制面板》程序和功能》添加“虚拟机平台、hyper-v、linux子系统”安装即可；
- 分发版安装：运行以下命令安装
欢迎大家来到IT世界,在知识的湖畔探索吧!PS C:\Users\user1> wsl --list --online 以下是可安装的有效分发的列表。 使用 'wsl.exe --install
' 安装。 NAME FRIENDLY NAME Ubuntu Ubuntu Debian Debian GNU/Linux kali-linux Kali Linux Rolling Ubuntu-18.04 Ubuntu 18.04 LTS Ubuntu-20.04 Ubuntu 20.04 LTS Ubuntu-22.04 Ubuntu 22.04 LTS Ubuntu-24.04 Ubuntu 24.04 LTS OracleLinux_7_9 Oracle Linux 7.9 OracleLinux_8_7 Oracle Linux 8.7 OracleLinux_9_1 Oracle Linux 9.1 openSUSE-Leap-15.6 openSUSE Leap 15.6 SUSE-Linux-Enterprise-15-SP5 SUSE Linux Enterprise 15 SP5 SUSE-Linux-Enterprise-15-SP6 SUSE Linux Enterprise 15 SP6 openSUSE-Tumbleweed openSUSE Tumbleweed PS C:\Users\user1> wsl --install ubuntu 正在安装: Ubuntu 已安装 Ubuntu。 正在启动 Ubuntu... Installing, this may take a few minutes... Please create a default UNIX user account. The username does not need to match your Windows username. For more information visit: https://aka.ms/wslusers Enter new UNIX username:
- docker安装：运行以下命令安装
apt update apt install docker-ce- gpu加速：参照developer.nvidia.com上的说明安装wsl下的cuda。然后按照英伟达说明安装nvidia-docker2
二、运行ollama测试
- 进入wsl2：在windows终端输入wsl 进入默认的发行版，也就是ubuntu。如果你安装有有多个发行版，那就用 wsl -d ubuntu命令。
- 创建容器：建议使用docker compose文件来启动ollama，注意需要加GPU配置选项支持。
- 运行容器：用docker-comopse up -d 来启动容器。容器启动后，ollama自动进入serve状态。
- 运行ollama：采用以下命令进入并运行
欢迎大家来到IT世界,在知识的湖畔探索吧!#wsl2中运行 docker exec -it ollama /bin/bash #容器内运行 ollama run deepseek-r1:7b --verbose
三、测试结果
|
测试结果 |
Q1 |
Q2 |
|
CPU |
60-62% |
60-62% |
|
GPU |
13% |
14% |
|
内存 |
20.7/39.8G |
19.9/39.8G |
|
专用显存 |
0.9/2.0G |
0.9/2.0G |
|
共享GPU内存 |
0.1/19.9G |
0.1/19.9G |
|
total duration |
4m51.s |
7m7.s |
|
load duration |
14.ms |
15.75587ms |
|
prompt eval count |
18 token(s) |
1264 token(s) |
|
prompt eval duration |
1.847s |
4.791s |
|
prompt eval rate |
9.75 tokens/s |
263.83 tokens/s |
|
eval count |
1225 token(s) |
1706 token(s) |
|
eval duration |
4m49.446s |
7m2.257s |
|
eval rate |
4.23 tokens/s |
4.04 tokens/s |
5、测试结论
经过测试数据对比，可以得出以下结论：
- 在windows下部署ollama的总体性能不如wsl2+docker下部署；由此推测在linux下直接部署docker性能会更佳；
注意：
wsl2+docker如果将模型文件放置在windows文件系统下，加载模型进内存的过程会慢非常多（测试过程忽略）。 强烈建议不要跨文件系统的访问！！！
免责声明：本站所有文章内容,图片，视频等均是来源于用户投稿和互联网及文摘转载整编而成，不代表本站观点，不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益，请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权，请联系删除，如若转载，请注明出处：https://itzsg.com/113165.html
