Проект “Дубна-Грид”

П.В. Зрелов ¹, В.В. Иванов ¹, Вал. В. Иванов ¹, В.В. Кореньков ¹,
Ю.А. Крюков ², А.А. Рац ³, Е.Б. Рябов ³, Ю.С. Смирнов ^1,4,
О.Г. Смирнова ⁵, Т.А. Стриж ¹, Е.Н. Черемисина ²

¹Лаборатория информационных технологий, ОИЯИ
² Университет “Дубна”
³ Дирекция программы развития наукограда Дубна
⁴ Университет г. Чикаго (США)
⁵ Лаборатория ядерных проблем ОИЯИ, Университет г. Лунд (Швеция)

Руководитель проекта - В.В. Иванов, директор Лаборатории информационных технологий ОИЯИ
Зам. руководителя проекта -Е.Н. Черемисина, проректор Международного университета "Дубна"

Введение

Основной чертой развития информационных технологий в настоящее время является стремление эффективно использовать распределенные разнородные вычислительные ресурсы и системы хранения информации для решения как научных, так и производственных задач. Идея, получившая название Грид-технологии, впервые была изложена в 1999 году [1]. В настоящее время эта технология рассматривается мировым сообществом как наиболее перспективная для проведения глобальных вычислений, использующих географически распределенные неоднородные ресурсы.

Программные средства для совместного использования ресурсов в научных исследованиях, ставшие стимулом для разработки первых Грид-сред, предусматривают объединение вычислительных ресурсов и средств массовой памяти для хранения больших объемов научных данных. Предполагается, что подобные механизмы будут играть все более важную роль для научных и инженерных задач, а затем и для коммерческих приложений.

В Лаборатории информационных технологий Объединенного института ядерных исследований (ОИЯИ) совместно с Университетом “Дубна”, при участии Лундского университета (Швеция), Чикагского университета (США) и дирекции Программы наукограда Дубна разработан проект “Дубна-Грид”, нацеленный на создание Грид-среды на основе незагруженных вычислительных ресурсов офисных компьютеров, установленных в компьютерных классах средних школ города и Университета “Дубна”. Каждая из сотрудничающих сторон в этом проекте имеет и свои специфические задачи. Так, ОИЯИ заинтересован в привлечении дополнительных вычислительных средств для выполнения научно-исследовательских работ, проводимых в рамках как уже действующих экспериментов, так и экспериментов, готовящихся на ускорителе LHC (Large Hadron Collider) [2] в CERN – ATLAS, ALICE, CMS. Университет “Дубна” имеет обширную программу развития образовательного процесса и подготовки специалистов для работы с новейшими информационными технологиями. Кроме того, университет заинтересован в организации научно-исследовательской программы с участием аспирантов, студентов университета и Учебно-научного центра ОИЯИ по вопросам, связанным с информационными технологиями. Университеты Лунда и Чикаго заинтересованы в совместном тестировании и использовании различных Грид-систем и решения задач обработки данных с экспериментов на LHC. Город Дубна, как наукоград России, заинтересован в создании вычислительной инфраструктуры для наукоемких производств и научных исследований в городе. Решение подобных задач в рамках городской структуры, возможно, планируется впервые в мировой практике.

Для более эффективного использования компьютерных ресурсов в проекте "Дубна-Грид" предполагается создать несколько виртуальных сред. В каждой среде могут функционировать различные ОС и их окружение, а также различные Грид-системы. При этом будет использована технология, позволяющая разделить один физический сервер на несколько виртуальных. С помощью монитора виртуальных машин VMWare [3] на одном компьютере будет поддерживаться несколько независимо работающих виртуальных машин, каждая из которых представляет операционную систему (Windows, LINUX) и собственное программное окружение. Так, используя VMWare, можно обеспечить одновременное функционирование на одном компьютере ОС Windows для поддержки учебного процесса и ОС LINUX для решения научных задач. Исследование параметров функционирования нескольких виртуальных сред (надежность, производительность, масштабируемость) является актуальной задачей данного проекта.

1. Базовые элементы Грид-инфраструктуры проекта

Основными элементами планируемой Грид-инфраструктуры города являются:
  1) городская высокоскоростная магистраль передачи данных;
  2) сетевая и компьютерная инфраструктура ОИЯИ;
  3) компьютерная сеть Университета “Дубна”;
  4) компьютерные сети 14-и общеобразовательных школ города.

1.1 Городская высокоскоростная магистраль передачи данных

Магистральный городской канал передачи данных (рис.1) построен на основе одномодового оптоволоконного кабеля общей протяженности около 50 км. Структура магистрали имеет множественные резервные связи, обеспечивающие надежность системы и распараллеливание информационных потоков на основе виртуальных локальных сетей (VLAN).

Рис. 1. Структурная схема магистрального канала единой информационно-образовательной сети Дубны

Особенностью проекта магистрального канала такого масштаба стало использование в качестве основных сетеобразующих устройств оборудования коммутации. По сравнению с общепринятой схемой построения глобальных сетей на основе маршрутизации общие задержки и вариации задержек продвижения пакетов через сетевые устройства значительно снижены, что при скорости магистральных участков сети в 1000 Мбит/сек резко минимизирует накопление очередей пакетов в памяти коммутаторов, а значит и возможные их потери.

Концепция создания общегородского магистрального канала передачи данных предусматривает установку сетевого оборудования в зданиях городских школ. В свое время строительство школ велось по территориальному принципу, и сегодня это позволяет проводить дальнейшее развитие сетевых коммуникаций канала путем создания недорогих коммуникаций до локальных сетей предприятий и организаций города.

1.2. Сетевая и компьютерная инфраструктура ОИЯИ

Магистральный канал ОИЯИ объединяет локальные сети лабораторий и подразделений института (см. схему на рис.2) с общим количесвом компьютеров более 4500 единиц. В 2003 году канал был реконструирован на основе прокладки одномодового оптоволоконного кабеля для организации работы опорной сети со скоростью 1000 Мбит/сек [4]. Сопряжение сети ОИЯИ с российской сетью для науки и образования (RBNet) планируется реализовать в 2005 г. на основе гигабитного канала передачи данных.

Рис.2. Схема прокладки магистрального оптоволоконного кабеля ОИЯИ

Центральный информационно - вычислительный комплекс ОИЯИ в Лаборатории информационных технологий (ЛИТ) [5] объединяет несколько вычислительных кластеров с общим количеством узлов около 120. В ЛИТ создан комплекс для включения его в инфраструктуру проекта LCG (LHC Computing Grid) [6]. На нем проводятся сеансы массового моделирования событий для всех экспериментов, готовящихся на LHC. Центральный информационно - вычислительный комплекс является ядром будущей городской Грид – инфраструктуры.

Рис.3. Компьютерная сеть Университета “Дубна”

1.3. Компьютерная сеть Университета “Дубна”

Компьютерная сеть Университета “Дубна” (рис.3) объединяет опорной оптоволоконной гигабитной магистралью компьютерные сети зданий университетского комплекса. Работают три серверных центра поддержки приложений и сервисов учебных компьютерных классов, кафедр и подразделений университета, а также компьютерных классов общеобразовательных школ. Общее количество персональных компьютеров превышает 500 единиц.

1.4. Компьютерные сети общеобразовательных школ города

В Дубне реализован проект по созданию образовательной среды, интегрирующей в единую образовательную сеть учреждения средней и высшей школы города. Основной технической задачей проекта являлось оснащение каждой из 14-и общеобразовательных школ города двумя компьютерными классами по 12 рабочих мест, оснащенных качественной инфраструктурой компьютерной сети и электропитанием. В каждой школе создана собственная компьютерная сеть, объединяющая компьютерные классы и рабочие места преподавателей. Компьютеры образовательных учреждений оснащены скоростными процессорами и оборудованы сетевыми адаптерами, обеспечивающими возможность удаленного управления как системными блоками, так и всей сетевой инфраструктурой в целом, что значительно сокращает общие затраты на обслуживание.

Поддержка личных каталогов школьников и преподавателей на серверах компьютерного центра позволяет производить необходимые обновления операционной системы и приложений без опасения повреждения локальных данных. Это дает возможность использовать весь доступный объем локального жесткого диска в Грид-среде. Поскольку использование компьютеров в образовательных целях характеризуется довольно низким процентом востребованности вычислительной мощности (компьютеры в основном используются для работы с текстовой информацией – ввод и редактирование текстов программ, доступ в Интернет, текстовые и простые графические редакторы), то вычислительная мощность локальных систем может быть использована для решения распределенных задач.Общее количество сетевых компьютеров, установленных в образовательных учреждениях, составляет более 500 легко администрируемых единиц.

2. Инфраструктура виртуальных компьютеров

В проекте “Дубна-Грид” задача выполнения ресурсоемких вычислений решается путем предоставления вычислительной мощности непосредственно через сеть. Мощность эта потенциально не ограничена – подавляющее большинство подключенных к сети компьютеров не занято вычислительноемкой работой. Таким образом, идея использовать простаивающую вычислительную мощность, дешевую и неограниченную в объеме, представляется весьма привлекательной.

При решении задачи интеграции вычислительных ресурсов офисных компьютеров наиболее серьезными являются три проблемы:
  1) сложность администрирования компьютеров, принадлежащих разным учреждениям, организациям, фирмам;
  2) сложность оптимизации операционных систем для работы в качестве вычислителя;
  3) сложность использования так называемой “низкокачественной” вычислительной мощности.

Типичная конфигурация офисной рабочей станции – Intel-совместимый процессор и ОС Windows на основе технологии NT. Для такой конфигурации существуют недорогие реализации монитора виртуальных машин, например, фирмы VMWare [3]. Операционную систему такой виртуальной машины, в свою очередь, можно сконфигурировать практически не затрагивая конфигурацию операционной системы физической рабочей станции. При работе виртуальной машины эмулируются лишь действия, связанные с вводом-выводом, в то время как простые “вычислительные” команды программ выполняются прямо на процессоре, то есть без многократной потери быстродействия, присущей обычной эмуляции.

Таким образом, применение технологии виртуальных машин само по себе уже способствует снижению сложности администрирования за счет радикального разделения администрирования физических рабочих станций и виртуальных машин, выполняющихся на них. Более того, администратор виртуальной машины вообще не обязан быть зарегистрирован на физической машине как пользователь, не говоря уже о том, чтобы иметь полномочия администратора. Проблемы в работе виртуальной машины не влияют на качество работы тех или иных услуг, предоставляемых пользователям физической машиной и ее операционной системой.

Появляется возможность организовать из виртуальных машин кластер выделенных рабочих станций, управляемый из единого центра. Управляющая машина и узлы доступа могут быть как физическими, так и виртуальными машинами, а вычислительные узлы – виртуальными. Испытания, проведенные в течение нескольких месяцев 2003-2004 гг. на мощностях нескольких компьютерных классов Университета “Дубна”, показали вполне удовлетворительные результаты.

Опыт испытаний показал, что в практике реальной эксплуатации университетских компьютерных классов какие-либо специальные действия, необходимые для запуска и остановки виртуальных вычислительных узлов метакластера неприемлемы из-за сильного возрастания объема работы системного администратора. Идеальное состояние виртуальных вычислительных узлов такое, при котором они не должны нуждаться в каком-либо обслуживании. Требуется, чтобы виртуальный вычислительный узел метакластера автоматически стартовал в фоновом режиме при запуске ОС физической машины и никак не проявлял себя при штатной работе (кроме отбора ее вычислительной мощности), а также не нуждался в “аккуратном выключении”, необходимом машинам под управлением Linux. Более того, восстановление аварийно разрушенной ОС физической машины не должно усложняться из-за наличия в составе ОС программного обеспечения виртуального узла.

Описанный выше уровень необслуживаемости в процессе испытаний был реально достигнут путем конфигурации параметров программного обеспечения виртуальной машины и операционной системы Linux.

Следует отметить, что предоставляемая метакластером вычислительная мощность имеет широкий спектр применимости в различных областях науки и техники. Задачи эти относятся к массовому вариантному счету, то есть хорошо приспособлены для использования вычислительной мощности невысокого качества. В то же время, метакластер на виртуальных узлах является идеальным средством для проведения профильных учебных занятий и в этом качестве уже сейчас успешно используется в Университете “Дубна”.

Заключение

В данной работе изложены основные цели и задачи проекта “Дубна - Грид”, описаны конкретные результаты по разработке распределенной среды метакомпьютинга. Дальнейшее увеличение общей вычислительной мощности связано с подключением к системе распределенных вычислений компьютерных классов образовательной сети города и доведения общего пула доступных узлов до 1000 единиц. Реализация проекта “Дубна-Грид” позволит:

  1) Создать единую вычислительную среду города Дубны на базе ресурсов научно-исследовательских и образовательных учреждений, в частности, лабораторий ОИЯИ, Университета “Дубна” и других организаций.
  2) Создать сегмент международной Грид - инфраструктуры, оперирующий в рамках различных Грид-систем, таких, как LCG [7], NorduGrid [8] и GRID3 [9].
  3) Провести исследование проблем управления, эффективности и безопасности в среде Грид.
  4) Обеспечить выполнение крупномасштабных вычислительных задач ОИЯИ и других предприятий научно – промышленного комплекса города Дубны, а также заинтересованных сторонних организаций.

Литература

  1. I. Foster, C. Kesselman. GRID: A Blueprint to the New Computing Infrastructure. Morgan Kaufman Publishers, 1999.
  2. http://lhc-new-homepage.web.cern.ch/lhc-new-homepage/
  3. http://www.wmware.com
  4. Б.А. Безруков и др. Опорная сеть ОИЯИ на технологии Gigabit Ethernet. Годовой отчет 2003 Лаборатории информационных технологий. Дубна, ОИЯИ,2004-53, сс.11-14.
  5. http://www.jinr.ru/unixinfo/scc/news.html
  6. В.В. Кореньков, В.В. Мицын, Е.А. Тихоненко. Развитие и использование ресурсов и сервисов Центрального информационно-вычислительного комплекса ОИЯИ. Годовой отчет 2003 Лаборатории информационных технологий. Дубна, ОИЯИ, 2004-53, с.15-21.
  7. http://lcg.web.cern.ch/LCG/
  8. P. Eerola et al., http://www.arxiv.org/~physics/0306002   http://www.nordugrid.org
  9. http://www.ivdgl.org/grid2003