如何在docker中使用GPU

问题

1.最近大模型都比较火，但是很多大模型都必须要在GPU上执行，如果使用CPU运行的话会非常的慢。

2.为了便于部署，还是希望使用docker运行

为了解决上面两个问题，因此需要再docker的宿主机上，开启GPU对docker的支持。

过程

#!/bin/bash
# 安装NVIDIA Docker支持
distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
&& curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - \
&& curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

sudo apt-get update

sudo apt-get install -y nvidia-container-toolkit

# 重启Docker服务
sudo systemctl restart docker

将此脚本拷贝到docker的宿主机上，并运行即可。

docker支持

命令行启动容器

docker run --gpus all -d --privileged nginx

docker-compose启动容器

services:
  nginx:
    image: nginx
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

这样就可以在docker中使用gpu资源了