Организация вычислительного сегмента МВС-10П ОП2 CLK (Cascade_lake) в рамках Соглашения от 5 ноября 2019 г. № 075-15-2019-1636 между Министерством науки и высшего образования Российской Федерации и Федеральным государственным учреждением «Федеральный научный центр Научно-исследовательский институт системных исследований Российской академии наук» о предоставлении из федерального бюджета грантов в форме субсидий в соответствии с пунктом 4 статьи 78.1 Бюджетного кодекса Российской Федерации

Оснащение Центра современным суперкомпьютерным оборудованием

В рамках Соглашения в ЦКП ВР МСЦ РАН – филиала ФГУ ФНЦ НИИСИ РАН организован новый суперкомпьютерный сегмент МВС-10П ОП2 CLK (Cascade_lake), который наряду с сегментом МВС-10П ОП2 SKL (Skylake) формирует общий сегмент МВС-10П ОП2, характеристики которого приведены ниже.

Методические рекомендации по использованию нового оборудования о программного обеспечения Центра

Создан следующий документ:

• Методические рекомендации по использованию оборудования и программного обеспечения Центра коллективного пользования вычислительными ресурсами МСЦ РАН – филиала ФГУ ФНЦ НИИСИ РАН.   

Разработанный документ содержит следующую информацию:

• Состав и характеристики оборудования ЦКП вычислительными ресурсами МСЦ РАН.
• Характеристика СУППЗ: общая характеристика СУППЗ, планирование очереди в СУППЗ.
• Порядок работы с оборудованием ЦКП: соединение с сервером доступа и выбор раздела, запуск и завершение заданий, просмотр очереди СУППЗ, получение информации и заданиях и ресурсах СУППЗ, получение дополнительных возможностей СУППЗ.
• Входные и выходные данные СУППЗ: входные данные, паспорт задания СУППЗ, конфигурационный файл пользовательских настроек СУППЗ, файл-шаблон для задания разного числа MPI-процессов на разных ВМ, спецификация дополнительных ресурсов для задания, выходные данные.
• Сообщения СУППЗ.

Методическая документация для пользователей, позволяющая повысить производительность авторских кодов с помощью оптимизации программы с использованием инструкций AVX-512

Создан следующий документ:

• Методическая документация «Руководство разработчика по использованию набора инструкций AVX-512».   

Документ представляет собой методическую документацию, затрагивающую основные вопросы использования набора инструкций AVX-512.

• В главе 1 приведен краткий обзор архитектур микропроцессоров, поддерживающих набор инструкций AVX-512.
• В главе 2 приведена классификация и описание набора инструкций AVX-512.
• В главе 3 описаны основные опции компиляторов gcc и icc, используемые при компиляции исходных кодов с использованием AVX-512.
• В главе 4 приведен обзор основных видов программного контекста, пригодного для векторизации и описаны методы векторизации кода.
• В главе 5 рассмотрены конкретные практические задачи из различных областей (работа с матрицами, обработка расчетных сеток, реализация численных методов), к которым применены описанные ранее подходы к векторизации программного кода.

Собранные в данной методической документации подходы и способы векторизации предназначены на разработчиков программного обеспечения и направлены на повышение эффективности реализуемого программного кода с помощью набора инструкций AVX-512.

Расширение списка установленного на системах ЦКП и доступного пользователям программного обеспечения

Список установленного в 2019-м году программного обеспечения расширен следующими программными пакетами:

• Программные пакета общего назначения:
  • R – язык программирования для статистической обработки данных, а также программная среда вычислений с открытым программным кодом. R поддерживает широкий спектр статистических и численных методов и обладает хорошей расширяемостью с помощью пакетов. Язык прекрасно подходит для обработки данных суперкомпьютерных расчетов, генерации текстовых и визуальных отчетных материалов.
  • Erlang – функциональный язык программирования с сильной динамической типизацией, предназначенный для создания распределенных масштабируемых отказоустойчивых систем и управления потоками данных. Обладает рядом особенностей, которые позволяют в короткие сроки создавать надежные функциональные приложения. Язык не предназначен для использования в высокопроизводительных вычислениях, однако прекрасно подходит для быстрой распределенной обработки данных, обработки потоков и создания параллельных приложений.
  • Python 3 – высокоуровневый язык программирования общего назначения, с помощью которого можно создавать высокопроизводительный и понятный код. Стандартная библиотека языка включает в себя большой объем полезного функционала. Python 3 поддерживает структурное, объектно-ориентированное, функциональное, императивное и аспектно-ориентированное программирование. Основные архитектурные черты – динамическая типизация, автоматическое управление памятью, полная интроспекция, механизм обработки исключений, поддержка многопоточных вычислений, высокоуровневые структуры данных. Поддерживается разбиение программ на модули, которые, в свою очередь, могут объединяться в пакеты.
  • NumPy – библиотека с открытым программным кодом для языка программирования Python. Предназначена для
    эффективной поддержки многомерных массивов, включает в себя реализацию множества высокоуровневых функций для
    работы с многомерными массивами.
  • SciPy – пакет прикладных математических процедур, основанный на расширении NumPy Python. Предназначен для обработки данных. Функционал пакета позволяет проводить действия по обработке данных, аналогичные таким пакетам, как MATLAB, IDL, Octave, R-Lab, SciLab.
  • Pandas – пакет для языка программирования Python, который предназначен для работы с табличными данными. Пакет дает возможность строить сводные таблицы, выполнять группировки, предоставляет удобный доступ к данным, взаимодействует с пакетом matplotlib и дает возможность с помощью него отображать данные на графиках.
  • Matplotlib – библиотека а языке программирования Python для визуализации двумерной (2D) и трехмерной (3D) графики. Поддерживает многие средства отображения данных, в том числе графики, диаграммы разброса, столбчатые диаграммы, гистограммы, круговые диаграммы, ствол-лист диаграммы, контурные графики, поля градиентов, спектральные диаграммы.
• Расчетные пакеты специального назначения:
  • Quantum ESPRESSO – (PWscf, Plane-Wave self-consistent field) – программный пакет, построенный на базе теории функционала электронной плотности (DFT) и методе псевдопотенциала (PAW-метод). Представляет собой мощный инструмент для энергетических расчетов многоэлектронных систем и предназначен для моделирования на квантово-механическом уровне малых кластеров с числом атомов 10-100, определяющих существование возможных в материале фаз. Во многом является аналогом коммерческого квантово-химического ППП VASP. Описание моделируемого объекта строится на языке волновых функций и заданного гамильтониана системы. Целевыми функциями являются электронный энергетический спектр, собственные функции и плотность состояний изолированного кластера при фиксированном положении ядер, потенциальная энергия системы с учетом электронно-ядерных подсистем. С помощью ППП PWscf можно прогнозировать плотности электронных состояний произвольных кристаллических материалов и их свойств, исходя из основ квантовой теории строения вещества. Расчеты с применением ППП PWscf оптимизированы для использования сотен процессоров, поэтому большой интерес вызывает возможность использования этих пакетов на большом числе процессоров в грид-системах (на основе MPI). ППП PWscf распространяется в исходных текстах по лицензии GNU GPL, что позволяет свободно использовать его в качестве грид-сервиса.
  • SIESTA – (Spanish Initiative for Electronic Simulations with Thousands of Atoms) – программный пакет для выполнения расчетов электронной структуры молекул и твердых тел и решения задач молекулярной динамики.
  • Dalton – это программная система общего назначения для продвинутых квантово-химических расчетов на основе молекулярной электронной структуры, распространяемая по лицензионному соглашению без каких-либо затрат для пользователя. С помощью Dalton молекулярные системы могут быть проанализированы с использованием различных методов электронной структуры, включая методы самосогласованного поля (SCF, self consistent field) Хартри-Фока (HF, Hartree-Fock) и Кон-Шама (KS, Kohn-Sham) для широкого применения, многоконфигурационный SCF (MCSCF, multiconfigurational SCF) метод высокой гибкости и различные методы связанных кластеров (СС, coupled cluster) для высокой точности. На всех этих уровнях можно рассчитать множество молекулярных свойств, что позволяет пользователю программы изучать, например, молекулярную структуру, энергетику, реакционную способность, спектроскопические параметры, линейные и нелинейные оптические процессы. Небольшие системы могут быть точно сопоставлены с использованием методов полного взаимодействия конфигурации (FCI, full configuration interaction). Экологические эффекты могут быть включены на разных уровнях модели. Для некоторых моделей электронной структуры большие молекулы могут быть изучены с использованием линейного масштабирования и массивно-параллельных алгоритмов. В качестве встроенного визуализатора Dalton поддерживает VRML (Virtual Reality Modeling Language).

Для каждого установленного программного пакета создан документ, содержащий краткое описание пакета, его основные особенности, ссылки на полезную литературу, а также ресурсы в сети Интернет:

• Описание программного пакета R.   
• Описание программного пакета Erlang.   
• Описание программного пакета Python 3.   
• Описание программного пакета NumPy.   
• Описание программного пакета SciPy.   
• Описание программного пакета Pandas.   
• Описание программного пакета Matplotlib.   
• Описание программного пакета Quantum ESPRESSO.   
• Описание программного пакета SIESTA.   
• Описание программного пакета Dalton.   

Общее описание всех установленных в 2019-м году программных пакетов приведено в следующем документе:

• Руководящая документация «Описание программного обеспечения, установленного на системах ЦКП» (ПО установлено в рамках выполнения работ по проекту «Поддержка и развитие Центра коллективного пользования вычислительными ресурсами МСЦ РАН – филиала ФГУ ФНЦ НИИСИ РАН»).   

Оказание консультационных услуг по повышению эффективности исполнения программных кодов на оборудовании Центра

Создана новая услуга. Она включает в себя оказание консультационных услуг по повышению эффективности исполнения программных кодов на оборудовании Центра и направлена на более рациональное использование вычислительных ресурсов. При этом экономится расчетное время пользователей, а ЦКП высвобождает дополнительные вычислительные ресурсы, которые могут быть направлены на привлечение новых пользователей. Таким образом оказание консультационных услуг по повышению эффективности исполнения программных кодов на оборудовании ЦКП является взаимовыгодным и в 2019-м году в пилотном режиме выполняется на безвозмездной основе.

В состав услуги по повышение эффективности исполнения программных кодов на оборудовании Центра включаются:

• Комплексный анализ программы пользователя и выбор наиболее подходящих сегментов вычислительной системы для ее исполнения, оптимизация сборки программы. Сбор профиля работы программы, поиск горячих участков и узких мест, выявление потенциальных резервов для повышения производительности. Консультация по возможностям в плане повышения производительности программы.
• Комплексная оптимизация программы пользователя: низкоуровневая оптимизация, векторизация программного кода, подключение высокопроизводительных библиотек, распараллеливание с использованием многопоточности (OpenMP) и распараллеливание на несколько узлов суперкомпьютерного кластера (MPI). Организация обмена данными между частями параллельной программы. Анализ масштабируемости программы.
• Разработка архитектуры программного обеспечения, разработка интерфейсов взаимодействия между отдельными частями программы. Портирование программного кода с одного языка программирования на другой. Разработка средств автоматизации сборки и запусков программы.

Определен порядок оказания услуги:

• Для оказания услуги выбираются пользователи из числа тех, кто обратился в свободной форме в техническую поддержку по электронному адресу vtasks@jscc.ru с целью получения консультации.
• Для оказания услуги выделяются научные сотрудники, обладающие необходимой компетенцией для оказания услуги, которые коммуницируют с пользователями любым удобным способом с целью выяснения подробностей вопроса по оказании услуги.
• Пользователь передает свои расчетные коды для проведения анализа на возможность повышения производительности на вычислительных ресурсах Центра.
• По готовности исполнители оказания услуги организуют проведение консультации для пользователя, на которой обсуждаются пути повышения эффективности использования вычислительных ресурсов Центра.
• По итогам проведения консультации составляется протокол, который подписывается исполнителями и слушателями консультации.

Описание, состав и порядок оказания услуги закреплены в следующем документе:

• Описание услуги «Оказание консультационных услуг по повышению эффективности исполнения программных кодов на оборудовании ЦКП».   

В 2019-й году было выполнено оказание новой услуги в пилотном режиме на безвозмездной основе:

• Проведена консультация для сотрудников ФГУП «ЦИАМ им. П.И. Баранова» по повышению эффективности работы численных методов RANS/ILES высокого разрешения. Рассмотрены вопросы портирования библиотеки по работе с векторами и матрицами специального вида с языка программирования FORTRAN на язык C, расширен функционал библиотеки, отдельные функции векторизованы для использования набора инструкций AVX-512. В результате проведенных оптимизаций было достигнуто ускорение расчетных кодов RANS/ILES в районе 10-15%.
• Проведена консультация для сотрудников ФГУП «ЦИАМ им. П.И. Баранова» по повышению эффективности работы численных методов моделирования роста льда на поверхности обтекаемого тела. Рассмотрены вопросы локализации программного кода, реализующего решение уравнений массового и теплового баланса для ячеек поверхностной расчетной сетки. Организовано распараллеливание данного кода с помощью OpenMP. В результате выполненного распараллеливания достигнуто ускорение расчета в 0,4n раз, где n – количество вычислительных ядер при использовании одного потока на ядро.
• Проведена консультация для сотрудников Федерального государственного бюджетного учреждения науки Институт биоорганической химии им. академиков М.М. Шемякина и Ю.А. Овчинникова Российской академии наук по повышению эффективности работы программ расчета молекулярной динамики. Были рассмотрены вопросы локализации программного кода расчета радиальной функции распределения (RDF) и расчета энергии, применения технологий MPI и OpenMP для распараллеливания программ и векторизации программного кода с использованием набора инструкций AVX-512.

Осуществление интеграции системы доступа к оборудованию Центра с цифровой системой управления сервисами научной инфраструктуры коллективного пользования (УСНИКП), создаваемой в соответствии с приказом Минобрнауки России от 19 июня 2019 года № 394

Создан следующий документ:

• Технический отчет «Интеграция системы доступа к оборудованию Центра с цифровой системой управления сервисами научной инфраструктуры коллективного пользования (УСНИКП)».   

Основными разделами документа являются:

• Перечень документов, на основании которых осуществлялась интеграция доступа в УСНИКП.
• Цель и состав выполненных задач по интеграции системы доступа к оборудованию Центра с УСНИКП.
• Выделение и предоставление разделов суперкомпьютеров ЦКП для размещения заданий системы УСНИКП.
• Сетевая интеграция выделенных разделов с системой УСНИКП.
• Конфигурация и настройка применяемой в ЦКП системы коллективного пользования и управления заданиями для обеспечения возможности приема заданий из системы УСНИКП и их обработки на выделенных разделах.
• Программная документация для интегрированной системы.

Разработка методики измерения величины накладных расходов при распараллеливании по данным

Среди различных прикладных задач, решаемых с помощью суперкомпьютеров, важный класс составляют задачи распараллеливания по данным, при котором одна и та же последовательность вычислений (прикладной алгоритм) выполняется над всеми элементами множества (пула) входных данных. При организации параллельных вычислений с распараллеливанием по данным существенным является то, что между процессами параллельной программы отсутствуют информационные обмены. При этом достаточно часто вычислительный алгоритм может быть реализован в виде одной последовательной программы, для которой порция входных данных определяется значениями одного или нескольких параметров. Из таких порций вычислительной работы складывается пул входных данных для решения прикладной задачи, который в итоге определяется множеством всех возможных значений параметров во всех их комбинациях.
Для организации параллельных вычислений с распараллеливанием по данным могут применяться различные технологии и программные средства: MapReduce, программные комплексы BOINC, X-COM, «Пирамида». Для определения эффективности распараллеливания по данным и возможности сравнения различных технологий и программных средств предлагается единая методика, основанная на измерении величины накладных расходов при распараллеливании по данным.

Описание работы приведено в следующем документе:

• Методическая документация «Методика измерения величины накладных расходов при распараллеливании по данным».   

Внедрение упрощенной модели доступа и использования оборудования ЦКП, в том числе на основании договора присоединения

Для упрощения модели доступа и использования оборудования ЦКП вычислительными ресурсами МСЦ РАН введен в действие новый регламент доступа. Регламент предполагает подписание единственного документа на бумажном носителе – Договора присоединения к регламенту. После присоединения к регламенту пользователи получают возможность оформлять и подавать заявки на регистрацию (перерегистрацию) научных проектов, формировать и отправлять отчеты по проектам, а также отслеживать статус поданных заявок и отчетов.

Упрощение модели доступа и использования оборудования ЦКП заключается:
• в устранении необходимости для пользователей ЦКП оформления писем за подписью руководителя организации при регистрации новых и перерегистрации продолжающихся научных проектов;
• в автоматизации процессов подготовки пользовательских отчетов по выполненным проектам и анализа представленных отчетов сотрудниками и руководством ЦКП.

Процесс подготовки заявок на регистрацию (перерегистрацию) научных проектов, формирования отчетов по проектам, а также отслеживания статуса поданых заявок и отчетов с вышеупомянутыми упрощениями автоматизирован на базе сайта ЦКП вычислительными ресурсами МСЦ РАН – филиала ФГУ ФНЦ НИИСИ РАН.

Описание работы приведено в следующем документе:

• Отчетная документация «Внедрение упрощенной модели доступа и использования оборудования ЦКП, в том числе на основании договора присоединения».   

Создание услуги по высокопроизводительным параллельным вычислениям с распараллеливанием по данным

В состав услуги по высокопроизводительным параллельным вычислениям с распараллеливанием по данным включаются:
• Предоставление пользователям новой клиентской команды Системы управления прохождением параллельных заданий (СУППЗ), указанная команда автоматически формирует вычислительное задание для запуска программы через ПК «Пирамида».
• Прохождение сформированного задания через очередь СУППЗ, запуск задания на динамически выделенных ресурсах суперкомпьютера с автоматическим формированием описания этих ресурсов для ПК «Пирамида».
• Автоматическое разворачивание ПК «Пирамида» на выделенных заданию ресурсах и осуществление высокопроизводительных вычислений с распараллеливанием по данным с помощью ПК «Пирамида».

Порядок оказания услуги. Услуга доступна любому пользователю, зарегистрированному в ЦКП вычислительными ресурсами МСЦ РАН – филиала ФГУ ФНЦ НИИСИ РАН. Для того, чтобы воспользоваться услугой, пользователь должен:
• разработать программу в соответствии с требованиями руководства программиста ПК «Пирамида»;
• подготовить паспорт задания для ПК «Пирамида»;
• запустить задание в соответствии с требованиями к ПК «Пирамида».

Описание работы приведено в следующем документе:

• Описание услуги «Создание услуги по высокопроизводительным параллельным вычислениям с распараллеливанием по данным».   

Разработка новых методик измерения производительности вычислительных систем

Настоящие методики измерений устанавливают процедуру измерения эффективности векторизации программного кода со сложным программным контекстом с помощью специального набора инструкций Intel AVX-512, а также процедуру измерения масштабируемости высоконагруженных вычислений для систем с общей памятью с применением технологии OpenMP.

Разработаны следующие методики:
• методика измерения эффективности векторизации сложного программного контекста с помощью специального набора инструкций Intel AVX-512;
• методика измерения эффективности распараллеливания вычислений с помощью OpenMP при разделении массивов входных данных между потоками на сплошные области;
• методика измерения эффективности распараллеливания вычислений с помощью OpenMP при разделении массивов входных данных между потоками с помощью чередования фрагментов;
• методика измерения эффективности распараллеливания вычислений с помощью OpenMP при динамическом разделении массивов входных данных между потоками и наличии конфликта по глобальному ресурсу;
• комплексная методика измерения эффективности оптимизации сложного программного контекста, достигаемой вследствие применения векторизации кода и распараллеливания с помощью OpenMP с фиксированной стратегией распараллеливания.

Применение рассмотренных методик позволяет оценить вычислительную систему с точки зрения ее пригодности для выполнения параллельных вычислений для задач, содержащих плотный векторизованный исполняемый код.

Описание работы приведено в следующем документе:

• Методики измерения производительности вычислительных систем (методика измерения эффективности векторизации, методики измерения эффективности масштабирования высоконагруженных вычислений для систем с общей памятью).   

Создание услуги по высокопроизводительной обработке информации ограниченного доступа

Оказание услуги по высокопроизводительной обработке информации ограниченного доступа на оборудовании Центра направлено на расширение круга организаций пользователей суперкомпьютерного центра. Данная услуга востребована пользователями промышленности, которым необходима обработка информации, составляющей коммерческую тайну. Услуга предоставляется 2020-м году в пилотном режиме на возмездной основе.

Состав услуги

В состав услуги по высокопроизводительной обработке информации ограниченного доступа включается предоставление вычислительных ресурсов клиенту (организации) с проведением мероприятий по защите информации на этих ресурсах.

Предоставление услуги включает выделение клиенту для проведения расчетов на срок не менее 7 дней в монопольном режиме вычислительных узлов, сервера подготовки заданий, администрирование учетных записей пользователей — сотрудников организации-клиента. Для запуска заданий на выделенных организации вычислительных узлах предоставляются системы очередей SLURM и СУППЗ.

Мероприятия и средства защиты информации на выделенных ресурсах обеспечивают:
• идентификацию, проверку подлинности и контроль доступа субъектов в систему: выделенные организации-пользователю вычислительные узлы и сервер подготовки заданий;
• регистрацию и учет входа (выхода) субъектов доступа в (из) системы: выделенные организации-пользователю вычислительные узлы и сервер подготовки заданий;
• учет носителей информации в системе;
• обеспечение целостности программных средств и обрабатываемой информации;
• физическую охрану средств вычислительной техники и носителей информации;
• периодическое тестирование средств защиты информации от несанкционированного доступа;
• средства восстановления средств защиты информации от несанкционированного доступа.

Порядок оказания услуги:
• Услуга предоставляется на возмездной основе в соответствии с договором на оказание услуг по высокопроизводительным вычислениям (далее – Договор).
• Заказчик и Центр заключают соглашение о неразглашении конфиденциальной информации.
• Требования по защите информации и доступу к вычислительным ресурсам согласуются и оговариваются в Договоре.

Описание работы приведено в следующем документе:

• Описание услуги «Создание услуги по высокопроизводительной обработке информации ограниченного доступа».   

Создание системы личных кабинетов для информационной поддержки пользователей и автоматизации обработки информации на основе открытой платформы для web-разработки

Система личных кабинетов представляет собой информационную систему осведомленности для отображения корректной, целостной, связной информации, которая отражает функционирование Центра. Основными ресурсами Центра являются его вычислительные мощности (вычислительные сегменты, состоящие из отдельных вычислительных узлов). Наиболее важной задачей, ставящейся перед системой осведомленности, является накопление и визуализация информации о состоянии каждого вычислительного ресурса в каждый момент времени. В рамках функционирования Центра минимальной единицей вычислительных ресурсов является узел, который может быть отведен на выполнение расчетной задачи на любой заданный промежуток времени. Таким образом, может быть проведен мониторинг работоспособности каждого вычислительного узла, а также в целом более крупных единиц. С другой стороны, кроме обеспечения технически эффективного функционирования аппаратуры Центра требуется выполнять отслеживание эффективности использования вычислительных ресурсов пользователями. На сегодняшний день основным показателем эффективности использования суперкомпьютеров является публикационная активность пользователей: количество и качество публикаций, выполненных ими с использованием вычислительных ресурсов Центра. Таким образом, другим аспектом функционирования системы личных кабинетов является учет и обработка публикаций пользователей.

Описание работы приведено в следующем документе:

• Технический отчет. Разработка системы личных кабинетов.