使用ollama部署本地大模型

Ollama 是一个用于构建和运行大型语言模型的框架，旨在简化机器学习模型的使用和集成。它提供了一个用户友善的界面，使开发者可以轻松部署模型，并在本地或云环境中运行。Ollama 还支持 GPU 加速，适合处理复杂的自然语言处理任务。通过容器化部署，它使得模型管理更为高效，便于版本控制和共享。

本次以docker部署

1、准备docker环境，docker-ce安装

2、准备ollama镜像

docker pull ollama/ollama

3、docker-compose启动

root@test:/project/docker/ollama# cat docker-compose.yml
version: '3.8'

services:
  ollama:
    image: ollama/ollama
    container_name: ollama
    runtime: nvidia
    ports:
      - "11434:11434"
    volumes:
      - ollama:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - capabilities: [gpu]

volumes:
  ollama:

docker-compose up -d

4、模型安装

一些ollama支持模型截图，更多请访问ollama官方文档：library：

此次部署测试的大模型为qwen2.5 3b.

docker exec -it ollama ollama run qwen2.5:3b

5、测试

api访问测试,

curl http://localhost:11434/api/generate -d '{
  "model": "qwen2.5:3b",
  "prompt":"Why is the sky blue?"
}'

也可以根据自己的需求安装一些前端页面