Очередь задач teslaq

GPU NVIDIA M2090 устарели и поддерживаются только CUDA до версии 8.0 включительно.

Задачи из очередь teslaq запускаются на серверах HP SL390s G7, у каждого из которых: 12 процессорных ядер, 96 ГБ ОЗУ и 3 графических ускорителя NVIDIA Tesla M2090. Ресурсы каждого ускорителя всегда должны использоваться одним пользователем монопольно. Тем не менее, наличие трёх ускорителей на каждом сервере позволяет одновременно работать 3-м пользователям. Для этого каждый из серверов делится на три виртуальных узла, каждый из которых содержит 4 процессорных ядра, 32 ГБ ОЗУ и 1 ускоритель. Для запроса необходимого количества ускорителей используется ресурс ngpus:

#PBS -l select=1:ngpus=1:ncpus=4:mem=32gb

После запуска задачи она должна узнать, какой виртуальный узел (или узлы) ей выделен и по его названию понять порядковый номер ускорителя, который она должна использовать. Например, виртуальные узлы сервера 'sl002' называются sl002[0], sl002[1] и sl002[2]. Если задаче выделен виртуальный узел sl002[2], значит, она должна использовать на узле sl002 именно ускоритель №2.

Исключение составляют задачи, запрашивающие и использующие все 3 ускорителя сервера - они могут задействовать их по своему усмотрению.

Определить предоставленный виртуальный узел можно с помощью значения параметра 'exec_vnode' в выводе команды 'qstat -f $PBS_JOBID'. Данную операцию можно произвести как из скрипта (примеры приведены ниже), так и из самого запускаемого приложения, если имеется возможность модифицировать его код. Следует учитывать, что при запросе нескольких ускорителей значение 'exec_vnode' может занимать более одной строки.

Графические ускорители нумеруются начиная с '0', индекс соответствует номеру устройства в CUDA (например, в команде cudaSetDevice) или в выводе команды 'nvidia-smi':

nvidia-smi -L

GPU 0: Tesla M2090 (S/N: 0341615011546)
GPU 1: Tesla M2090 (S/N: 0341615011399)
GPU 2: Tesla M2090 (S/N: 0341615011254)

Чтобы предотвратить одновременное использование одного ускорителя несколькими задачами, режим 'Compute mode' всем ускорителям установлен в значение EXCLUSIVE_PROCESS (подробнее про 'Compute mode' см. в описании утилиты 'nvidia-smi').

Автоматического ограничения доступа к остальным ускорителям узла средствами PBS не происходит, пользователь должен сам настраивать свои задачи для использования только предоставленных ему ускорителей.

В случае, если запрашивается ровно один ускоритель, можно быть уверенным, что значение 'exec_vnode' поместится в одну строку. Кроме того, нет необходимости определять, какой физический сервер нам выделен, т.к. именно на нём задача и запустится.

Код, определяющий предоставленный ускоритель, его SN и UUID:

#!/bin/sh

#PBS -q teslaq
#PBS -l walltime=0:01:00
#PBS -l select=1:ngpus=1:ncpus=4:mem=32gb

cd $PBS_O_WORKDIR

vnodes=$(qstat -f $PBS_JOBID|grep exec_vnode|sed -e 's/ *//')
echo "$vnodes"
if [ $(echo $vnodes|grep -c '+') != 0 ] ; then
    echo "Error: several vnodes are provided."
    exit 100
fi
gpu=$(echo $vnodes|sed 's/.*\[//'|sed 's/\].*//')
sn=$(nvidia-smi -q -i $gpu_nbr|grep 'Serial Number'|awk -F\: '{print $2}'|sed -e 's/ *//')
uuid=$(nvidia-smi -q -i $gpu_nbr|grep 'GPU UUID'|awk -F\: '{print $2}'|sed -e 's/ *//')
echo "GPU  = $gpu"
echo "SN   = $sn"
echo "UUID = $uuid"

В результате работы получим в файле стандартного вывода примерно следующее:

exec_vnode = (sl001[0]:ncpus=4:ngpus=1:mem=33554432kb)
GPU  = 0
SN   = 0341615011546
UUID = GPU-df433275cee7fdcd-53619fe0-b727ce0a-4aa635a9-69819036549a1e42288e1692

Может потребоваться использовать в одной задаче несколько графических ускорителей, в том числе принадлежащих разным физическим серверам. Например, для гибридной задачи, использующей как GPGPU, так и MPI. В этом случае анализ предоставленных задаче виртуальных узлов будет немного сложнее.

#!/bin/sh

#PBS -q teslaq
#PBS -l walltime=0:01:00
#PBS -l select=3:mpiprocs=2:ngpus=2:ncpus=8:mem=32gb,place=scatter

cd $PBS_O_WORKDIR
vnodes=$(qstat -f $PBS_JOBID|tr -d '\n'' ''\t'|sed 's/Hold_Types.*//'|sed 's/.*exec_vnode=//'|tr -d \(\)|tr + '\n'|sed 's/:.*//'|sort)
echo "My vnodes:"
for vnode in $vnodes ; do
    node=$(echo $vnode|sed 's/\[.*//')
    gpu=$(echo $vnode|sed 's/.*\[//'|sed 's/\]//')
    echo "$vnode = Node $node, GPU $gpu"
done
echo
echo "PBS_NODEFILE:"
cat $PBS_NODEFILE

В результате работы получим в файле с логом потока стандартного вывода примерно следующее:

My vnodes:
sl001[1] = Node sl001, GPU 1
sl001[2] = Node sl001, GPU 2
sl002[0] = Node sl002, GPU 0
sl002[1] = Node sl002, GPU 1
sl004[0] = Node sl004, GPU 0
sl004[1] = Node sl004, GPU 1

PBS_NODEFILE:
sl001
sl001
sl004
sl004
sl002
sl002