Тысяча полезных мелочей    

СОВРЕМЕННЫЕ GRID – ТЕХНОЛОГИИ

СОВРЕМЕННЫЕ GRID – ТЕХНОЛОГИИ

Абрамовский В.А. Статья в формате PDF 254 KB Россия участвует в крупнейшем международном проекте по физике высоких энергий «Большой адронный коллайдер» (LHC, ЦЕРН, Швейцария). Начало работы ускорителя (получение первых данных) планируется на конец 2007 г.

Первая фаза вычислительного проекта GRID для LHC была одобрена на Совете ЦЕРН. Сегодня важно не только иметь доступ к информации, но и распределенным образом обpaбатывать ее. Четыре гигантских детектора этого ускорителя - ALICE, ATLAS, CMS и LHCb - будут накапливать больше чем 10 миллионов гигабайт данных в течение каждого года о событиях, происходящих при столкновении частиц. Это эквивалентно содержанию, примерно, 20 миллионов компьютерных компакт - дисков.

Ведущие российские исследовательские центры различных ведомств ведут работы по проекту LHC, как по созданию самого ускорителя, так и всех четырех его детекторов. На выполнение соответствующих заказов по проекту LHC задействованы десятки российских заводов. В целом вклад России в проект LHC можно оценить в размере 5%.

Научно-исследовательские центры РФ, участвующие в проекте «Большой адронный коллайдер», разpaбатывают два основных направления развития GRID технологий:

  • интенсивные операции с базами данных, data intensive GRID (проект DataGRID);
  • вычислительный computational GRID (проект EuroGRID), в котором создаваемая инфраструктура нацелена на достижение максимальной скорости расчетов за счет глобализации распределения (распараллеливания) вычислений.

Концепция GRID (название по аналогии с электрическими сетями - electric power grid) предполагает создание компьютерной инфраструктуры нового типа, обеспечивающей глобальную интеграцию информационных и вычислительных ресурсов на основе управляющего и оптимизирующего программного обеспечения (middleware) нового поколения. Для достижения этой цели создается набор стандартизированных служб для обеспечения надежного, совместимого, дешевого и всепроникающего доступа к географически распределенным высокотехнологичным информационным и вычислительным ресурсам - отдельным компьютерам, кластерам и суперкомпьютерным центрам, хранилищам информации, сетям, научному инструментарию и т.д.

Важнейшим является междисциплинарный хаpaктер GRID. Имеется довольно много общего в вычислительных потребностях различных областей научных исследований - развиваемые технологии применяются в физике высоких энергий, космофизике, микробиологии, экологии, метеорологии, различных инженерных приложениях (например, в самолетостроении). Схожие проблемы наблюдаются и в других областях. Например, NASA реализует для своих нужд сеть высокопроизводительных компьютеров, роботизированных устройств массовой памяти, высокоскоростных каналов связи, научных инструментов и продвинутых интерфейсов для пользователя под названием Information Power Grid.

В настоящее время кроме LHC идет подготовка нескольких научных экспериментов нового поколения - эксперименты с использованием интерферометров для регистрации гравитационных волн бинарных пульсаров, новых сверхсвезд и иных экзотических объектов (эксперимент LIGO), а также автоматизированная цифровая космическая съемка с очень высоким разрешением (более 1012 пикселей), которая позволит значительно развить систематическое изучение звезд, галактик и крупномасштабных космических структур (эксперимент SDSS) для создания подробного каталога астрономических данных. Все эти эксперименты рассчитаны на длительный период и предполагают накопление и последующую обработку массивов данных.

Требования к вычислительным и архивным ресурсам для этих экспериментов различны. Процессорные затраты, необходимые для LIGO составляют несколько петафлопов. Объемы данных у LHC будут значительно больше, чем у LIGO, а у LIGO - значительно больше, чем у SDSS.

Среди основных направлений использования computational GRID на данный момент можно выделить:

  • распределенные супервычисления, решение очень крупных задач, требующих огромных процессорных ресурсов, памяти и т.д.;
  • «высокопоточные» вычисления (High - Throughput Computing), позволяющие организовать эффективное использование ресурсов для небольших задач, утилизируя временно простаивающие компьютерные ресурсы;
  • вычисления «по требованию» (On-Demand Computing), крупные разовые расчеты;
  • вычисления с привлечением больших объемов распределенных данных (Data-Intensive Computing), например, в метеорологии, астрономии, физике высоких энергий;
  • коллективные вычисления (Collaborative Computing).

К общим хаpaктеристикам потребностей, которые делают оправданной организацию вычислительных архитектур типа Data intensive GRID, можно отнести следующие:

  • большие объемы данных, распределенных по различным научным центрам, странам и континентам;
  • участие большого количества специалистов в обработке данных из разных институтов и университетов;
  • информация, которую следует проанализировать, имеет сложную структуру;
  • алгоритмы обработки информации имеют нетривиальный хаpaктер (объем программ составляет миллионы строк текста);
  • наконец, масштабируемость базового программного обеспечения (фактически, всего того, что лежит ниже прикладного уровня), которое должно устойчиво работать как на настольной машине, так и на суперкомпьютере.

Как прогнозируется, эволюционные изменения в полупроводниковых технологиях и архитектуре микропроцессоров приведут в ближайшие пять лет к десятикратному увеличению вычислительных мощностей. Уже сегодня возможности рядовых пользователей, подключенных к цифровым каналам связи с предоставлением комплексных услуг, сравнимы с теми возможностями, которыми обладали суперкомпьютерные центры 10-15 лет назад.

Технологическое основание для создания Grid - инфраструктур дают уже существующие волоконно-оптические сети, высокопроизводительные процессоры, параллельные архитектуры, протоколы связи, математическое обеспечение распределенных структур, механизмы обеспечения безопасности.

В НовГУ создана лаборатория "GRID-ТЕХНОЛОГИИ В СОВРЕМЕННОЙ ФИЗИКЕ".

Ее задачами являются:

1.Подготовка научных сотрудников, программистов и инженеров по направлениям:

  • обработка и анализ экспериментальных данных с ускорителя LHC;
  • работа по созданию программного обеспечения для проекта DATAGRID,
  • работа по созданию программного обеспечения для моделирования физических процессов;
  • работа по проекту распределенных вычислений EuroGRID.

2.Проведение работ:

  • создание и развитие российского сегмента DATAGRID;
  • моделирование экспериментов на детекторах ALICE, ATLAS, CMS;
  • обработка экспериментальных данных с этих детекторов, а также с детектора TOTEM.

3. Создание программного обеспечения для DATAGRID и EuroGRID.

4. Создание программного обеспечения для моделирования физических процессов взаимодействия адронов и ядер при сверхвысоких энергиях.

5. Создание программного обеспечения для триггеров редких процессов в рассеянии адронов и ядер.

На основе этих конкретных задач лаборатория также может готовить специалистов по использованию технологии GRID в других областях науки и техники, в частности, в экологии, экономике, энергетике, машиностроении, медицине, биологии.

Новгородский государственный университет включен в сеть Grid. Вычислительные ресурсы доступны для использования всеми участниками сети.

Для этого были осуществлены следующие работы:

1. Произведена установка и настройка вычислительного элемента сети GRID и сопутствующих сервисов, а именно:

  • Computing Element - система управления вычислительными ресурсами, распределением заданий, аутентификацией хостов и пользователей сети,
  • Storage Element - система хранения исходных экспериментальных данных и данных, полученных в результате обработки,
  • Monitoring BOX - распределенная система мониторинга отдельных хостов сети GRID и сети в целом,
  • Сервисы: SSH, Firewall, VPN, Hosts Autoupdate (система обновления ПО с помощью apt-get).

2.Все имеющиеся хосты зарегистрированы в сети GRID, для них получены соответствующие OpenSSL - сертификаты в Regional Certification Authority.

3.Получен сертификат пользователя, который был зарегистрирован в виртуальной организации RDIG (Russian Data Intensive Grid).

4.Локально устранены мелкие недоработки системы автоматического развертывания сайтов (совокупности сервисов в рамках одного вычислительного центра), связанных с тем, что ПО для сети GRID находится еще в стадии разработки и предварительного тестирования.

Работа представлена на научную конференцию «Новые технологии и современные системы автоматизации», Тунис, 12-19 июня 2005 г., поступила в редакцию 29.04.2005г.



ИММУНОЛОГИЧЕСКИЕ ПРОБЛЕМЫ ОЗДОРОВЛЕНИЯ НООСФЕРЫ

ИММУНОЛОГИЧЕСКИЕ ПРОБЛЕМЫ ОЗДОРОВЛЕНИЯ НООСФЕРЫ Статья в формате PDF 111 KB...

21 11 2026 1:11:43

Компьютерные технологии в медицине

Компьютерные технологии в медицине Статья в формате PDF 111 KB...

19 11 2026 5:18:49

УТИЛИЗАЦИЯ РТУТЬСОДЕРЖАЩИХ ОТХОДОВ

УТИЛИЗАЦИЯ РТУТЬСОДЕРЖАЩИХ ОТХОДОВ В работе рассматривается процесс утилизации ртутьсодержащих соединений с использованием в качестве активного соединения кремния, что экономически более выгодно, чем использование порошкообразного титана. Рассматривается возможность миграции ртути в условиях возрастающей техногенной деятельности человечества. ...

18 11 2026 14:34:43

ПЛАНЕТАРНЫЙ МЕХАНИЗМ С БЕЗВОДИЛЬНЫМ САТЕЛЛИТОМ

ПЛАНЕТАРНЫЙ МЕХАНИЗМ С БЕЗВОДИЛЬНЫМ САТЕЛЛИТОМ Статья в формате PDF 326 KB...

16 11 2026 8:38:32

КОМПЬЮТЕРНЫЙ АНАЛИЗ ОСОБЕННОСТЕЙ ВТОРИЧНЫХ СТРУКТУР ГЛЮКОАМИЛАЗ ИЗ ASPERGILLUS AWAMORI И SACCHAROMYCOPSIS FIBULIGERA

КОМПЬЮТЕРНЫЙ АНАЛИЗ ОСОБЕННОСТЕЙ ВТОРИЧНЫХ СТРУКТУР ГЛЮКОАМИЛАЗ ИЗ ASPERGILLUS AWAMORI И SACCHAROMYCOPSIS FIBULIGERA С помощью программы компьютерного моделирования MolScript на базе данных рентгеноструктурного анализа (РСА) осуществлено сравнение вторичных структур глюкоамилаз из Aspergillus awamori и Saccharomycopsis fibuligera. Получены данные о типах вторичной структуры, количественном соотношении, топологии упорядоченных и нерегулярных участков. ...

15 11 2026 18:42:58

ШОШОНИТОВЫЕ ГРАНИТОИДЫ ТИГИРЕКСКОГО МАССИВА АЛТАЯ: ГЕОХИМИЯ, ПЕТРОЛОГИЯ И РУДОНОСНОСТЬ

ШОШОНИТОВЫЕ ГРАНИТОИДЫ ТИГИРЕКСКОГО МАССИВА АЛТАЯ: ГЕОХИМИЯ, ПЕТРОЛОГИЯ И РУДОНОСНОСТЬ риведены геологические, геохимические и петрологические данные по шошонитовым гранитоидам Тигирекского массива Алтая. В составе массива выделены 5 фаз: 1 – габбро; 2 – диориты, монцодиориты; 3 − сиениты, гранодиориты, граносиениты; 4 – граниты, умеренно-щелочные граниты; 5 – лейкограниты, умеренно-щелочные лейкограниты с флюоритом. Породные типы массива отнесены к нормальной известково-щелочной и высококалиевой шошонитовой сериям. Сиениты и монцодиориты тяготеют по составу к банакитам. В процессе становления массива проихсодила диффреренциация глубинного очага с фpaкционированием редкоземельных элементов, что отразилось на соотношении в породах элементов групп LILE и HFSE со значительной деплетированностью последних. В породах происходила смена типа тетрадного фpaкционрования редкоземельных элементов, что связано с различной насыщенностью расплавов флюидами и летучимим компонентами. С массивом связаны месторождения и проявления железа, вольфрамаа, молибдена, бериллия, аквамарина, горного хрусталя и раухтопаза. ...

07 11 2026 8:45:16

К ВОПРОСУ О ПРОБЛЕМЕ ОТБОРА В ФУТБОЛЕ

К ВОПРОСУ О ПРОБЛЕМЕ ОТБОРА В ФУТБОЛЕ Статья в формате PDF 262 KB...

06 11 2026 5:11:23

НОВЫЙ ПОДХОД К ИССЛЕДОВАНИЮ ПРИРОДЫ ТЕРРОРИЗМА

НОВЫЙ ПОДХОД К ИССЛЕДОВАНИЮ ПРИРОДЫ ТЕРРОРИЗМА Статья в формате PDF 136 KB...

04 11 2026 10:34:58

РОЖИХИНА ИРИНА ДМИТРИЕВНА

РОЖИХИНА ИРИНА ДМИТРИЕВНА Статья в формате PDF 161 KB...

03 11 2026 13:30:29

ПОЛУЧЕНИЕ ПИЩЕВЫХ ВОЛОКОН ИЗ САХАРНОГО СОРГО

ПОЛУЧЕНИЕ ПИЩЕВЫХ ВОЛОКОН ИЗ САХАРНОГО СОРГО Статья в формате PDF 279 KB...

01 11 2026 12:31:59

ОЧИСТКА СТОЧНЫХ ВОД НА АВТОМОЙКЕ

ОЧИСТКА СТОЧНЫХ ВОД НА АВТОМОЙКЕ Статья в формате PDF 254 KB...

24 10 2026 13:32:58

ВЛИЯНИЕ РАЗНООБРАЗИЯ ВИДОВ ТРАВЯНЫХ РАСТЕНИЙ НА РАСПРЕДЕЛЕНИЕ ПРОДУКТИВНОСТИ ПОЙМЕННОГО ЛУГА

ВЛИЯНИЕ РАЗНООБРАЗИЯ ВИДОВ ТРАВЯНЫХ РАСТЕНИЙ НА РАСПРЕДЕЛЕНИЕ ПРОДУКТИВНОСТИ ПОЙМЕННОГО ЛУГА Цель статьи — выявление закономерностей влияния топографических и почвенных условий прирусловых территорий на прострaнcтвенную структуру видового состава трав и продуктивность пойменных лугов. ...

17 10 2026 23:26:45

ИСТОКИ ФРАКТАЛЬНОЙ ПЕДАГОГИКИ

ИСТОКИ ФРАКТАЛЬНОЙ ПЕДАГОГИКИ Статья в формате PDF 245 KB...

15 10 2026 17:48:19

Еще:
Поддержать себя -1 :: Поддержать себя -2 :: Поддержать себя -3 :: Поддержать себя -4 :: Поддержать себя -5 :: Поддержать себя -6 :: Поддержать себя -7 :: Поддержать себя -8 :: Поддержать себя -9 :: Поддержать себя -10 :: Поддержать себя -11 :: Поддержать себя -12 :: Поддержать себя -13 :: Поддержать себя -14 :: Поддержать себя -15 :: Поддержать себя -16 :: Поддержать себя -17 :: Поддержать себя -18 :: Поддержать себя -19 :: Поддержать себя -20 :: Поддержать себя -21 :: Поддержать себя -22 :: Поддержать себя -23 :: Поддержать себя -24 :: Поддержать себя -25 :: Поддержать себя -26 :: Поддержать себя -27 :: Поддержать себя -28 :: Поддержать себя -29 :: Поддержать себя -30 :: Поддержать себя -31 :: Поддержать себя -32 :: Поддержать себя -33 :: Поддержать себя -34 :: Поддержать себя -35 :: Поддержать себя -36 :: Поддержать себя -37 :: Поддержать себя -38 ::