Intel集成显卡运行ollama,跑deepseek 14b

跟风记录本地跑deepseek14B,笔记本是12700H,40G内存,12代平台的老家伙了。没有独显。

跑deepseek14b数据,用CPU跑2.92t/s

Intel集成显卡运行ollama,跑deepseek 14b

使用intel 集显跑,速度是2.17t/s反而不如CPU跑的快。

Intel集成显卡运行ollama,跑deepseek 14b

使用intel 集显的步骤比较简单,需要11代以上的CPU集显,同样支持intel B580,A770等显卡。步骤如下

1.https://conda-forge.org/download/

下载安装conda-forge

2.

Intel集成显卡运行ollama,跑deepseek 14b

运行 miniforge

依次敲入以下命令

conda create -n llm-cpp python=3.11
conda activate llm-cpp
pip install –pre –upgrade ipex-llm[cpp]

创建目录建立软连接

mkdir llama-cpp
cd llama-cpp
init-llama-cpp.bat
init-ollama.bat

启动ollama,如果之前安装了ollama,需要先退出。然后执行以下命令

conda activate llm-cpp
cd llama-cpp

set OLLAMA_NUM_GPU=999
set no_proxy=localhost,127.0.0.1
set ZES_ENABLE_SYSMAN=1
set SYCL_CACHE_PERSISTENT=1
set SYCL_PI_LEVEL_ZERO_USE_IMMEDIATE_COMMANDLISTS=1

ollama serve

保持命令行窗口不关闭,重新开一个命令行窗口执行

ollama run deepseek-r1:14b –verborse

© 版权声明

相关文章

3 条评论

  • 头像
    宁静而致远 读者

    V3的洋垃圾纯CPU跑14B有11T/S。没想到洋垃圾如此强大。

    无记录
    回复
  • 头像
    赛ksls 读者

    Intel有优化后的ollama

    无记录
    回复
  • 头像
    甜甜的 读者

    收藏了,感谢分享

    无记录
    回复