在 Kubernetes 上调度 GPU 资源

Kubernetes 支持对节点上的 AMD 和 NVIDIA 的 GPU 进行管理,目前处于实验状态。

  • 用户如何在不同的 Kubernetes 版本中使用 GPU,以及当前存在的一些限制。

1. 使用设备插件

参考自官方文档 - 调度 GPUs 资源

Kubernetes 实现了 Device Plugins 以允许 Pod 访问类似 GPU 这类特殊的硬件功能特性。作为运维管理人员,你要在节点上安装来自对应硬件厂商的 GPU 驱动程序,并运行来自 GPU 厂商的对应的设备插件。

当以上条件满足时,Kubernetes 将暴露 amd.com/gpunvidia.com/gpu 为可调度的资源,可以通过请求 <vendor>.com/gpu 资源来使用 GPU 设备。不过,使用 GPU 时,在如何指定资源需求这个方面还是有一些限制的:

  • GPUs 只能设置在limits部分,这意味着:
    • 不可以仅指定 requests 而不指定 limits
    • 可以同时指定 limitsrequests,不过这两个值必须相等
    • 可以指定 GPUlimits 而不指定其 requestsK8S 将使用限制值作为默认的请求值
  • 容器(Pod)之间是不共享 GPU 的,GPU 也不可以过量分配
  • 每个容器可以请求一个或者多个 GPU,但是用小数值来请求部分 GPU 是不允许的
# need 2 GPUs
apiVersion: v1
kind: Pod
metadata:
  name: gpu-pod
spec:
  containers:
    - name: cuda-container
      image: nvcr.io/nvidia/cuda:9.0-devel
      resources:
        limits:
          nvidia.com/gpu: 2
    - name: digits-container
      image: nvcr.io/nvidia/digits:20.12-tensorflow-py3
      resources:
        limits:
          nvidia.com/gpu: 2

2. 部署 AMD GPU 设备插件

参考自官方文档 - 调度 GPUs 资源

节点需要使用 AMDGPU 资源的话,需要先安装 k8s-device-plugin 这个插件,并且需要 K8S 节点必须预先安装 AMD GPULinux 驱动。

# 安装显卡插件
$ kubectl create -f https://raw.githubusercontent.com/RadeonOpenCompute/k8s-device-plugin/r1.10/k8s-ds-amdgpu-dp.yaml

3. 部署 NVIDIA GPU 设备插件

参考自官方文档 - 调度 GPUs 资源

节点需要使用 NVIDIAGPU 资源的话,需要先安装 k8s-device-plugin 这个插件,并且需要事先满足下面的条件:

  • Kubernetes 的节点必须预先安装了 NVIDIA 驱动
  • Kubernetes 的节点必须预先安装 nvidia-docker2.0
  • Docker 的默认运行时必须设置为 nvidia-container-runtime,而不是 runc
  • NVIDIA 驱动版本大于或者等于 384.81 版本
# 安装nvidia-docker2.0工具
$ distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
$ curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add -
$ curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
$ sudo apt-get update && sudo apt-get install -y nvidia-docker2
$ sudo systemctl restart docker

# 安装nvidia-container-runtime运行时
$ cat /etc/docker/daemon.json
{
    "default-runtime": "nvidia",
    "runtimes": {
        "nvidia": {
            "path": "/usr/bin/nvidia-container-runtime",
            "runtimeArgs": []
        }
    }
}

# 安装显卡插件
$ kubectl create -f https://raw.githubusercontent.com/NVIDIA/k8s-device-plugin/1.0.0-beta4/nvidia-device-plugin.yml
# 也可以使用helm安装
$ helm repo add nvdp https://nvidia.github.io/k8s-device-plugin
$ helm repo update
$ helm install --version=0.9.0 --generate-name nvdp/nvidia-device-plugin

# 也可以使用docker安装
$ docker run -it \
    --security-opt=no-new-privileges \
    --cap-drop=ALL --network=none \
    -v /var/lib/kubelet/device-plugins:/var/lib/kubelet/device-plugins \
    nvcr.io/nvidia/k8s-device-plugin:devel

4. 结论总结陈述

NVIDIA_VISIBLE_DEVICES

显卡插件,就是在我们通过在配置文件里面指定如下字段之后,启动 pod 的时候,系统给为我们的服务分配对应需要数量的显卡数量,让我们的程序可以使用显卡资源。

  • amd.com/gpu
  • nvidia.com/gpu

需要注意的是,第一次安装显卡驱动的话,是不用重启服务器的,后续更新驱动版本的话,则是需要的。但是建议第一次安装驱动之后,最好还是重启下,防止意外情况的出现和发生。


本博客所有文章除特别声明外,均采用 CC BY-SA 4.0 协议 ,转载请注明出处!