如何在docker中使用GPU

作者: wencst 分类: ChatGPT,docker,linux 发布时间: 2024-03-24 16:06 阅读: 464 次

问题

1.最近大模型都比较火,但是很多大模型都必须要在GPU上执行,如果使用CPU运行的话会非常的慢。

2.为了便于部署,还是希望使用docker运行

为了解决上面两个问题,因此需要再docker的宿主机上,开启GPU对docker的支持。

过程

#!/bin/bash
# 安装NVIDIA Docker支持
distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
&& curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - \
&& curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list

sudo apt-get update

sudo apt-get install -y nvidia-container-toolkit

# 重启Docker服务
sudo systemctl restart docker

将此脚本拷贝到docker的宿主机上,并运行即可。

 

docker支持

命令行启动容器

docker run --gpus all -d --privileged nginx

 

docker-compose启动容器

 

services:
  nginx:
    image: nginx
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]

这样就可以在docker中使用gpu资源了

如果文章对您有用,扫一下支付宝的红包,不胜感激!

欢迎加入QQ群进行技术交流:656897351(各种技术、招聘、兼职、培训欢迎加入)



Leave a Reply