Модернизация вычислительных ресурсов МСЦ РАН

В ФАНО России проведена масштабная модернизация вычислительных ресурсов Центров коллективного пользования – Межведомственный суперкомпьютерный центр Российской академии наук (МСЦ РАН, Москва) и Сибирский суперкомпьютерный центр Сибирского отделения РАН (ССКЦ СО РАН, Новосибирск). Ресурсы центров будут использоваться российскими учеными для решения актуальных задач в области фундаментальных и прикладных наук, включая такие стратегические направления исследований, как цифровые и интеллектуальные технологии, высокотехнологичное здравоохранение, повышение экологичности и эффективности энергетики, развитие авиапромышленного комплекса и освоение космического пространства, искусственный интеллект, машинное обучение, работа с большими данными и другие.

Обновление вычислительного парка МСЦ РАН

В МСЦ РАН установлены новые универсальные вычислительные шкафы «РСК Торнадо» с рекордной энергетической плотностью и системой прецизионного жидкостного охлаждения, сбалансированной для постоянной работы с высокотемпературным хладоносителем (до +63 °С на входе в вычислительный шкаф). В соответствии с условиями размещения оборудования для МСЦ РАН был выбран оптимальный режим работы вычислительного шкафа при постоянной температуре хладоносителя +45 °С на входе в вычислительные узлы (с пиковым значением до +57 °С).

Работа в режиме «горячая вода» для данного решения позволила применить круглогодичный режим free cooling (24x7x365), используя только сухие градирни, работающие при температуре окружающего воздуха до +50 °С, а также полностью избавиться от фреонового контура и чиллеров. В результате среднегодовой показатель PUE системы, отражающий уровень эффективности использования электроэнергии, составляет менее чем 1,06. То есть на охлаждение расходуется менее 6% всего потребляемого электричества, что является выдающимся результатом для HPC-индустрии.

В основе новых вычислительных узлов: самые мощные 72-ядерные серверные процессоры Intel ® Xeon Phi ™ 7290, 16-ядерные серверные процессоры Intel ® Xeon ® E5-2697А v4, серверные платы семейств Intel ® Server Board S7200AP и Intel ® Server Board S2600KP, твердотельные накопители семейства Intel ® SSD DC S3500 с подключением по шине SATA в форм-факторе M.2.

Для высокоскоростной передачи данных между вычислительными узлами в составе суперкомпьютерного комплекса МСЦ РАН теперь используется передовая технология высокоскоростной коммутации Intel ® Omni-Path, обеспечивающая скорость неблокируемой коммутации до 100 Гбит/c, на основе 48-портовых коммутаторов Intel ® Omni-Path Edge Switch 100 Series. Это позволит специалистам МСЦ РАН удовлетворить не только текущие потребности ресурсоемких приложений пользователей, но и обеспечить необходимый запас пропускной способности сети на будущее. Технология Intel ® Omni-Path Architecture (Intel ® OPA) представляет собой комплексное решение для высокоскоростной коммутации и передачи данных, призванное помочь с минимальными затратами повысить производительность работы приложений как в HPC-кластерах начального уровня, так и в масштабных суперкомпьютерных проектах. 48-портовый коммутатор Intel OPA позволяет при одинаковом бюджете подключать на 26% больше серверов по сравнению с конкурирующими решениями, а также снизить энергопотребление до 60%, обеспечивая, таким образом, более энергоэффективную коммутирующую и системную инфраструктуру.

Высокая доступность, отказоустойчивость и простота использования вычислительных систем, созданных на базе решений РСК для высокопроизводительных вычислений, также обеспечиваются благодаря передовой системе управления и мониторинга на базе ПО «РСК БазИС». Она позволяет осуществлять управление как отдельными узлами, так и всем решением в целом, включая инфраструктурные компоненты. Все элементы комплекса (вычислительные узлы, блоки питания, модули гидрорегулирования и др.) имеют встроенный модуль управления, что обеспечивает широкие возможности для детальной телеметрии и гибкого управления. Конструктив шкафа позволяет заменять вычислительные узлы, блоки питания и гидрорегулирования (при условии применения резервирования) в режиме горячей замены без прерывания работоспособности комплекса. Большинство компонентов системы (таких, как вычислительные узлы, блоки питания, сетевые и инфраструктурные компоненты и т.д.) представляет из себя программно-определяемые компоненты, позволяющие существенно упростить и ускорить как начальное развертывание, так и обслуживание, и последующую модернизацию системы. Жидкостное охлаждение всех компонентов обеспечивает длительный срок их службы.

Ранее специалисты группы компаний РСК разработали и установили в МСЦ РАН мощные вычислительные системы – суперкомпьютер МВС-10П МП (2014 г.) на основе массивно-параллельной архитектуры RSC PetaStream ™ (это был первый проект в СНГ на базе высокопроизводительных сопроцессоров Intel ® Xeon Phi ™ 7120D) и суперкомпьютер МВС-10П на базе кластерной архитектуры «РСК Торнадо» (2012 г.). Кластерные системы МСЦ РАН входят в рейтинг Top50 самых мощных российских суперкомпьютеров, а также в мировые рейтинги Top500, Green500 и HPCG.

Документы

Пресс-релиз мероприятия «Суперкомпьютерные вычисления для развития российской науки», посвященного модернизации вычислительных ресурсов   
Программа мероприятия   

Ссылки на публикации

В Москве и Новосибирске обсудили роль суперкомпьютеров в развитии науки (ServerNews.ru, 26/04/2017) https://servernews.ru/951356

В ФАНО России проведена масштабная модернизация суперкомпьютерных ресурсов (CNews.ru, 26/04/2017) http://www.cnews.ru/news/line/2017-04-26_v_fano_rossii_provedena_masshtabnaya_modernizatsiya

Российская наука сделала новый шаг в освоении суперкомпьютерных технологий (Computerworld Россия, 26/04/2017) http://www.computerworld.ru/news/Rossiyskaya-nauka-sdelala-novyy-shag-v-osvoenii-superkompyuternyh-tehnologiy

В ФАНО России прошла масштабная модернизация суперкомпьютерных центров (THG.ru, 27/04/2017) http://www.thg.ru/technews/20170427_080339.html

Российская наука сделала новый шаг в освоении суперкомпьютерных технологий (eAware, 27/04/2017) https://eaware.ru/rossijskaya-nauka-sdelala-novyj-shag-v-osvoenii-superkompyuternyx-texnologij/

В ФАНО России проведена масштабная модернизация суперкомпьютерных ресурсов (U.Tech, 26/04/2017) http://tech.uazmi.com/news/post/hvt6amOiqz2RcaqRJ8wReA