Аппаратное обеспечение

Модели вычислительных узлов и очереди задач


Имеющиеся сервера можно разделить на типы по следующим критериям:

  • Используемые вычислительные элементы. Если используются только центральные процессоры, архитектура называется 'однородной' или 'гомогенной'. Если дополнительно используются сопроцессоры, графические ускорители или какие-то другие вычислительные модули, архитектура называется 'гибридной' или 'гетерогенной'.
  • Самодостаточность. Для удешевления и более компактного расположения используются так называемые блейд-сервера (от английского 'blade' - 'лезвие'), содержащие только основные компоненты: материнскую плату, процессор, ОЗУ, опционально HDD, … , но не имеющие собственных блоков электропитания и вентиляторов для охлаждения. Такие сервера не могут работать самостоятельно, они должны устанавливаться в специальную серверную полку (также называемую 'шасси' или 'корзина'), обеспечивающую всем узлам централизованное отказоустойчивое электропитание, охлаждение, а иногда также управление и подключение к сетям передачи данных.
  • 16 серверов HPE DL560 Gen10 (2019г), каждый из которых содержит:
    • Четыре 20-ядерных процессора Intel Xeon Gold 6248 с тактовой частотой 2500 МГц и поддержкой инструкций AVX-512
    • 384 ГБ ОЗУ

Блейд-сервера

Имеются сервера следующих типов:

  • 30 серверов HP XL230a Gen9 (2015г), каждый из которых содержит:
    • Два 12-ядерных процессора Intel Xeon E5-2680v3 с тактовой частотой 2500 МГц.
    • 192 ГБ ОЗУ
  • 48 серверов двойной плотности (в одном корпусе расположены два компьютера) HP BL2x220c G7 (2011г), каждый из которых содержит две материнские платы, на каждой из которых:
    • Два 6-ядерных процессора Intel Xeon X5670 с тактовой частотой 2932 МГц
    • 24 ГБ ОЗУ
  • 48 серверов двойной плотности HP BL2x220c G6 (2009г; эксплуатация прекращена в феврале 2020г, пользователям недоступны), каждый из которых содержит две материнские платы, на каждой из которых:
    • Два 4-ядерных процессора Intel Xeon E5540 с тактовой частотой 2530 МГц
    • 16 ГБ ОЗУ
  • 64 сервера HP BL460c G1 (2008; эксплуатация прекращена, пользователям недоступны), каждый из которых содержит:
    • Два 4-ядерных процессора Intel Xeon 5355 с тактовой частотой 2660 МГц
    • 16 ГБ ОЗУ

Узлы BL2x220c и BL460c расположены в 10 шасси C7000, каждое из которых вмещает 16 серверов (т.е. в случае BL2x220c это 32 компьютера). Узлы XL230a Gen9 расположены в шасси Appolo 6000, каждое из которых вмещает 10 таких серверов.

Сервера с общей памятью

Фактически это обычные сервера, имеющие большой объем оперативной памяти. Выделение их в отдельную категорию достаточно условно: например, сервер DL580 G5, приобретённый в 2008 году, имеет 128 ГБ ОЗУ, что для того времени весьма много. Но уже в 2010г. был приобретён сервер с общей памятью DL980 G7 с 2 ТБ ОЗУ, а в 2015г. - 35 штук «обычных» блейд-серверов XL230a и XL250a Gen9 c 192 ГБ ОЗУ.

Такие сервера нужны для выполнения программ, обрабатывающих большие объемы данных. Взаимодействие с оперативной памятью происходит существенно быстрее, чем с виртуальной (расположенной на жёстком диске), поэтому для некоторых задач увеличение доступной оперативной памяти может значительно ускорить выполнение.

Используются следующие сервера с общей памятью:

  • Один HP DL980 G7 (2014г), содержащий:
    • Восемь 10-ядерных процессоров Intel Xeon E7-4870 с тактовой частотой 2400 МГц
    • 2068371 МБ (~2 ТБ) ОЗУ
    • Ускоритель ввода/вывода HP 2410GB ioDrive2 Duo (P/N 673648-B21), представляющий из себя SSD диск большой ёмкости, подключенный напрямую к шине PCI Express. Позволяет создать две файловые системы размером по 1,2 ТБ (или одну размером 2,4 ТБ) со следующими характеристиками:
      • Скорость чтения 3 ГБ/сек, скорость записи - 2,5 ГБ/сек;
      • Latency около 15 микросекунд на операциях записи и 68 микросекунд на операциях чтения;
      • 285000 IOPS на операциях случайного чтения, 892000 IOPS на операциях последовательного чтения;
      • 725000 IOPS на операциях случайной записи, 935000 IOPS на операциях последовательной записи.
  • Один HP DL980 G7 (2010г), содержащий:
    • Восемь 8-ядерных процессоров Intel Xeon X7560 с тактовой частотой 2266 МГц
    • 2097152 МБ (~2 ТБ) ОЗУ
  • Один HP DL580 G5 (2008г), содержащий:
    • Четыре 4-ядерных процессора Intel Xeon 7350 с тактовой частотой 2933 МГц
    • 128944 МБ (~128 ГБ) ОЗУ
  • 1 сервер HPE Apollo 6500 Gen10 (2019г), содержащий:
    • два 20-ядерных процессора Xeon Gold 6248
    • 384 ГБ ОЗУ
    • 8 шт. NVIDIA Tesla V100 SXM2 32GB, соединённых с использование технологии NVLink 2.0. Пиковая производительность каждой V100:
      • 7.8 Терафлопс для операций двойной точности
      • 15.7 Терафлопс для операций одинарной точности
      • 125 Терафлопс для операций глубокого обучения
  • 12 блейд-серверов HP SL390s G7 (2011г), каждый из которых содержит:
    • Два 6-ядерных процессора Xeon X5670 с тактовой частотой 2933 MГц
    • 96 ГБ ОЗУ
    • 3 шт. NVIDIA Tesla M2090 на архитектуре Fermi (compute capability 2.0, поддержка прекращена в CUDA 9.0), у каждой из которых:
      • 1 GPU c 512 ядрами.
      • 6 ГБ памяти GDDR5 с пропускной способностью 177 ГБ/сек при выключенном контроле чётности (при включении ECC некая часть будет тратиться для обеспечения контроля).
      • 665 Гигафлопс пиковой производительности для операций двойной точности. 1331 Гигафлопс для одинарной.
  • 5 блейд-серверов HP XL250a Gen9 (2015г; гибридная архитектура оказалась невостребована, узлы используются аналогично похожим однородным XL230a Gen9), каждый из которых содержит:
    • Два 12-ядерных процессора Intel Xeon E5-2680v3 с тактовой частотой 2500 МГц
    • 192 ГБ ОЗУ
    • Два сопроцессора Intel Xeon Phi 7120P (второе поколение процессоров на базе архитектуры Intel MIC, кодовое название - 'Knights Corner'), у каждого из которых:
      • 16 ГБ собственного ОЗУ
      • 61 ядро, работающее в 244 потока на частотах 1,2 - 1,3 ГГц
      • 1,2 Тфлопс пиковой производительности

Коммуникационные сети:

  • Infiniband 4x EDR, QDR и DDR с пропускной способностью 100, 40 и 20 Гбит/с соответственно и латентностью порядка 1-7 мкс. Предназначена для для доступа к сетевым системам хранения данных и для взаимодействия параллельных процессов, работающих на разных серверах кластера (например, для передачи сообщений MPI).
  • Сервера HPE DL560 Gen10 и HPE Apollo 6500 Gen10 также соединены сетью 100GbE, коммутатор HPE StoreFabric SN2700M.
  • Для СХД Panasas используется сеть 10GbE на двух коммутаторах HP FlexFabric 5700-40XG-2QSFP+.


Транспортная сеть: Gigabit Ethernet, используется для управления операционными системами серверов и работающими процессами.


Сервисная сеть: Fast / Gigabit Ethernet, обеспечивает доступ к интерфейсам администрирования, например, к HPE Integrated Lights-Out или коммутационному оборудованию.

Используется сетевая СХД с параллельной архитектурой Panasas ActiveStor 18. Сырая ёмкость - 312 ТБ, полезная - 265 ТБ.

Производительность

При вводе кластера в эксплуатацию в 2008 году пиковая (теоретическая) производительность вычислительного комплекса равнялась 5,4 Тфлопс. Производительность, полученная на тесте Highly Parallel Linpack составила 4,1 Тфлопс. Комплекс занял 18 место в 9й редакции рейтинга Top50 суперкомпьютеров СНГ.

Производительность серверов разных типов для операций двойной точности (FP64):

  • Пиковая производительность серверов HPE DL560 Gen10 - 102,4 ТФлопс.
  • Пиковая производительность NVIDIA Tesla V100 сервера HPE Apollo 6500 Gen10 - 62,4 Тфлопс.
  • Пиковая производительность серверов HP XL230a Gen9 - 28,8 Тфлопс. Полученная на тесте Linpack - 20,6 Тфлопс (71.5% от пиковой).
  • Пиковая производительность серверов HP BL2x220c G6 и G7 - 21,2 Тфлопс. Полученная на тесте Linpack - 17,3 Тфлопс (81.6% от пиковой).
  • Пиковая производительность NVIDIA Tesla M2090 серверов HP SL390s G7 - 23,9 Тфлопс. Полученная на тесте Linpack - 11,9 Тфлопс.
  • Пиковая производительность Xeon Phi серверов HP XL250a Gen9 - 12 Тфлопс.

Системное ПО

Операционная система всех вычислительных и большинства управляющих серверов - SUSE Linux Enterprise Server.

Управление прикладными задачами пользователей осуществляется с помощью планировщика Altair PBS Pro.