Очереди задач PBS
Очередь - имеющий собственное имя контейнер для задач, обрабатываемых определённым управляющим сервером PBS Pro. Очередь содержит как уже выполняющиеся, так и ожидающие запуск задачи. Завершившиеся задачи очередь покидают. Планировщик использует несколько очередей, например, для запуска задач на узлах разных типов. Каждая задача может находиться только в одной очереди. Буква 'q' в начале названий многих утилит PBS происходит как раз от слова 'queue'.
Для запроса определённой очереди (например, с именем 'xl230g9q') на сервере по умолчанию необходимо добавить в скрипт для утилиты 'qsub' такую строчку:
#PBS -q xl230g9q
Во многих случаях очередь указывать не требуется. При этом будет использоваться очередь по умолчанию на сервере по умолчанию.
Модели вычислительных узлов и очереди задач
| Очередь | Узлы 1) | Характеристики каждого узла | Комментарий |
|---|---|---|---|
| bl2x220g7q | 96 узлов (48 серверов двойной плотности) HP BL2x220c G7 | 12 ядер, 24 ГБ ОЗУ | Очередь по умолчанию для qsub, используется, если очередь не указана явно. Запрашивать эту очередь в явном виде не нужно. |
| xl230g9q | 30 шт. HP XL230a Gen9 и 5 шт. HP XL250a Gen9 | 24 ядра, 192 ГБ ОЗУ | Для задач, которым необходимо от 2 до 8 ГБ ОЗУ на каждое ядро или более 24 ГБ ОЗУ на сервере или требуется поддержка процессором набора команд AVX2 |
| | | 12 ядер, 96 ГБ ОЗУ, 3 GPU NVIDIA Tesla M2090 (устарели, поддерживаются только CUDA до версии 8.0 включительно) | Узлы выключены с 2022 года. Ранее очередь использовалась для задач с вычислениями на GPU M2090. Рекомендуется перейти на использование a6500g10 |
| vkop2q | 1 шт. HP DL980 G7 | 64 ядра, 2 ТБ ОЗУ | Только для задач, которым недостаточно ОЗУ на других серверах. Доступ к очереди ограничен, при необходимости обратитесь к администрации ИВЦ. |
| | | 80 ядер, 2 ТБ ОЗУ | Только для задач, которым недостаточно ОЗУ на других серверах. Доступ к очереди ограничен, при необходимости обратитесь к администрации ИВЦ. |
| | 1 шт. HP DL580 G5 | 16 ядер, 128 ГБ ОЗУ | Сервер устарел, используется только в образовательных целях. Доступ к очереди ограничен, при необходимости обратитесь к администрации ИВЦ. |
| dl560g10q | 16 шт. HPE DL560 Gen10 | 80 ядер, 384 ГБ ОЗУ | Для задач, которым необходимо много ядер на одном физическом сервере или требуется поддержка процессором набора команд AVX-512 |
| a6500g10q | 1 шт. HPE Apollo 6500 Gen10 | 40 ядер, 384 ГБ ОЗУ, 8 шт. NVIDIA Tesla V100 SXM2 32GB | С точки зрения планировщика сервер разделён на два виртуальных узла, каждый из которых содержит: 20 ядер одного процессора, 188 ГБ ОЗУ и 4 GPU |
Зависимость от walltime
Планировщик умеет перенаправлять поставленные в очередь задачи в зависимости от запрашиваемого для них времени работы в другие очереди, каждая из которых обслуживается своим набором вычислительных узлов и может иметь собственные ограничения на доступные ресурсы. На нашем комплексе задачи как правило делятся по продолжительности на три типа: 'короткие', 'средние' и 'длинные'. Название итоговой очереди созвучно названию очереди, в которую задача была поставлена пользователем, с добавлением одного из суффиксов: _short, _middle (или _mid) и _long. Пользователь не может поставить задачу непосредственно в такую очередь (например, указав #PBS -q xl230g9_long), это делается планировщиком.
В частности, со стороны пользователей комплекса неоднократно высказывались пожелания о выделении части узлов под непродолжительные задачи. Иначе в ситуации, когда все узлы надолго заняты, становится весьма проблематичным заниматься отладкой собственных программы - каждый запуск предваряется продолжительным ожиданием, в несколько чаcов или иногда в несколько дней. В связи с этим очереди, состоящие из нескольких однотипных узлов, модифицированы таким образом, что по крайней мере по одному серверу каждого типа выделены только для запуска задач продолжительностью до 1 часа включительно.
Также практика показала, что имеет смысл ограничивать количество узлов, на которых могут запускаться задачи максимальной продолжительности.
Диапазоны допустимой продолжительности задач (walltime) для каждой из очередей указаны в таблице ниже:
| _short | _middle | _long | |
|---|---|---|---|
| bl2x220g7q | до 01:00:00 | 01:00:01 - 72:00:00 | 72:00:01 - 480:00:00 |
| xl230g9q | до 01:00:00 | 01:00:01 - 72:00:00 | 72:00:01 - 480:00:00 |
| dl560g10q | до 01:00:00 | 01:00:01 - 72:00:00 | 72:00:01 - 240:00:00 |
| a6500g10q | до 03:00:00 | 03:00:01 - 72:00:00 | 72:00:01 - 240:00:00 |
Доступные в данный момент ресурсы в каждой из этих очередей можно узнать с помощью утилит 'qfree' и 'a6500g10q'.