使用_Systemd_和_nvidia-smi限制Linux下的nvidia_GPU_功率（开机自动限制）

自动摘要: 介绍由于RTX3090出色的发热量，为避免长时间深度学习导致显卡过热而引起脱焊、显存损坏等情况，因此可以找到一个功率限制，在系统功率负载下提供相对合理的计算性能的情况下，同时能够降低发热 ……..

介绍

由于RTX 3090出色的发热量，为避免长时间深度学习导致显卡过热而引起脱焊、显存损坏等情况，因此可以找到一个功率限制，在系统功率负载下提供相对合理的计算性能的情况下，同时能够降低发热量

实验部分(引用于pugetsystems)[1]

以下实验基于TensorFlow 1.5，使用ResNet50作为测试模型，测试持续几分钟。

可以看到，将功率限制为280w仍有90%的性能，但此时发热量大大下降。

限制功率方法

单次限制(重启后会恢复默认)

1
2
3

sudo  nvidia-smi -pm 1    # 打开显卡的持久模式，以避免无应用执行时，电源设置被重置
sudo nvidia-smi -pl 280  # 限制显卡功率至280w
执行nvidia-smi即可看到功率被限制为了280w

开机自动限制功率

1	sudo vi /usr/local/sbin/nv-power-limit.sh

将以下内容复制到nv-power-limit.sh中，按ESC后再按wq+Enter保存退出

#!/usr/bin/env bash
# Set power limits on all NVIDIA GPUs
# Make sure nvidia-smi exists 

command -v nvidia-smi &> /dev/null || { echo >&2 "nvidia-smi not found ... exiting."; exit 1; }
POWER_LIMIT=280
MAX_POWER_LIMIT=$(nvidia-smi -q -d POWER | grep 'Max Power Limit' | tr -s ' ' | cut -d ' ' -f 6)
if [[ ${POWER_LIMIT%.*}+0 -lt ${MAX_POWER_LIMIT%.*}+0 ]]; then
    /usr/bin/nvidia-smi --persistence-mode=1
    /usr/bin/nvidia-smi  --power-limit=${POWER_LIMIT}
else
    echo 'FAIL! POWER_LIMIT set above MAX_POWER_LIMIT ... '
    exit 1
fi
exit 0

将文件权限设置为744

1	sudo chmod 744 /usr/local/sbin/nv-power-limit.sh

将systemd 单元文件将放置在 /usr/local/etc/systemd 中，该子目录可能不存在，以 root 身份创建它

1 2	sudo mkdir /usr/local/etc/systemd sudo vi /usr/local/etc/systemd/nv-power-limit.service

将以下内容复制到nv-power-limit.service中，按ESC后再按wq+Enter保存退出

[Unit]
Description=NVIDIA GPU Set Power Limit
After=syslog.target systemd-modules-load.service
ConditionPathExists=/usr/bin/nvidia-smi

[Service]
User=root
Environment="PATH=/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin"
ExecStart=/usr/local/sbin/nv-power-limit.sh

[Install]
WantedBy=multi-user.target

该文件的权限应设置为 644，即 root 具有读写权限，组和其他人具有读取权限。

1	sudo chmod 644 /usr/local/etc/systemd/nv-power-limit.service

将nv-power-limit.service链接到 /etc/systemd/system 目录，以便 systemd 可以找到它。

1	sudo ln -s /usr/local/etc/systemd/nv-power-limit.service /etc/systemd/system/nv-power-limit.service

最后设置开机自启动

1 2	sudo systemctl start nv-power-limit.service sudo systemctl enable nv-power-limit.service

资料来源：pugetsystems作者：Donald Kinghorn原文链接：https://www.pugetsystems.com/labs/hpc/Quad-RTX3090-GPU-Power-Limiting-with-Systemd-and-Nvidia-smi-1983/

参考

^https://www.pugetsystems.com/labs/hpc/Quad-RTX3090-GPU-Wattage-Limited-MaxQ-TensorFlow-Performance-1974/