СОВРЕМЕННЫЕ GRID – ТЕХНОЛОГИИ
Первая фаза вычислительного проекта GRID для LHC была одобрена на Совете ЦЕРН. Сегодня важно не только иметь доступ к информации, но и распределенным образом обpaбатывать ее. Четыре гигантских детектора этого ускорителя - ALICE, ATLAS, CMS и LHCb - будут накапливать больше чем 10 миллионов гигабайт данных в течение каждого года о событиях, происходящих при столкновении частиц. Это эквивалентно содержанию, примерно, 20 миллионов компьютерных компакт - дисков.
Ведущие российские исследовательские центры различных ведомств ведут работы по проекту LHC, как по созданию самого ускорителя, так и всех четырех его детекторов. На выполнение соответствующих заказов по проекту LHC задействованы десятки российских заводов. В целом вклад России в проект LHC можно оценить в размере 5%.
Научно-исследовательские центры РФ, участвующие в проекте «Большой адронный коллайдер», разpaбатывают два основных направления развития GRID технологий:
- интенсивные операции с базами данных, data intensive GRID (проект DataGRID);
- вычислительный computational GRID (проект EuroGRID), в котором создаваемая инфраструктура нацелена на достижение максимальной скорости расчетов за счет глобализации распределения (распараллеливания) вычислений.
Концепция GRID (название по аналогии с электрическими сетями - electric power grid) предполагает создание компьютерной инфраструктуры нового типа, обеспечивающей глобальную интеграцию информационных и вычислительных ресурсов на основе управляющего и оптимизирующего программного обеспечения (middleware) нового поколения. Для достижения этой цели создается набор стандартизированных служб для обеспечения надежного, совместимого, дешевого и всепроникающего доступа к географически распределенным высокотехнологичным информационным и вычислительным ресурсам - отдельным компьютерам, кластерам и суперкомпьютерным центрам, хранилищам информации, сетям, научному инструментарию и т.д.
Важнейшим является междисциплинарный хаpaктер GRID. Имеется довольно много общего в вычислительных потребностях различных областей научных исследований - развиваемые технологии применяются в физике высоких энергий, космофизике, микробиологии, экологии, метеорологии, различных инженерных приложениях (например, в самолетостроении). Схожие проблемы наблюдаются и в других областях. Например, NASA реализует для своих нужд сеть высокопроизводительных компьютеров, роботизированных устройств массовой памяти, высокоскоростных каналов связи, научных инструментов и продвинутых интерфейсов для пользователя под названием Information Power Grid.
В настоящее время кроме LHC идет подготовка нескольких научных экспериментов нового поколения - эксперименты с использованием интерферометров для регистрации гравитационных волн бинарных пульсаров, новых сверхсвезд и иных экзотических объектов (эксперимент LIGO), а также автоматизированная цифровая космическая съемка с очень высоким разрешением (более 1012 пикселей), которая позволит значительно развить систематическое изучение звезд, галактик и крупномасштабных космических структур (эксперимент SDSS) для создания подробного каталога астрономических данных. Все эти эксперименты рассчитаны на длительный период и предполагают накопление и последующую обработку массивов данных.
Требования к вычислительным и архивным ресурсам для этих экспериментов различны. Процессорные затраты, необходимые для LIGO составляют несколько петафлопов. Объемы данных у LHC будут значительно больше, чем у LIGO, а у LIGO - значительно больше, чем у SDSS.
Среди основных направлений использования computational GRID на данный момент можно выделить:
- распределенные супервычисления, решение очень крупных задач, требующих огромных процессорных ресурсов, памяти и т.д.;
- «высокопоточные» вычисления (High - Throughput Computing), позволяющие организовать эффективное использование ресурсов для небольших задач, утилизируя временно простаивающие компьютерные ресурсы;
- вычисления «по требованию» (On-Demand Computing), крупные разовые расчеты;
- вычисления с привлечением больших объемов распределенных данных (Data-Intensive Computing), например, в метеорологии, астрономии, физике высоких энергий;
- коллективные вычисления (Collaborative Computing).
К общим хаpaктеристикам потребностей, которые делают оправданной организацию вычислительных архитектур типа Data intensive GRID, можно отнести следующие:
- большие объемы данных, распределенных по различным научным центрам, странам и континентам;
- участие большого количества специалистов в обработке данных из разных институтов и университетов;
- информация, которую следует проанализировать, имеет сложную структуру;
- алгоритмы обработки информации имеют нетривиальный хаpaктер (объем программ составляет миллионы строк текста);
- наконец, масштабируемость базового программного обеспечения (фактически, всего того, что лежит ниже прикладного уровня), которое должно устойчиво работать как на настольной машине, так и на суперкомпьютере.
Как прогнозируется, эволюционные изменения в полупроводниковых технологиях и архитектуре микропроцессоров приведут в ближайшие пять лет к десятикратному увеличению вычислительных мощностей. Уже сегодня возможности рядовых пользователей, подключенных к цифровым каналам связи с предоставлением комплексных услуг, сравнимы с теми возможностями, которыми обладали суперкомпьютерные центры 10-15 лет назад.
Технологическое основание для создания Grid - инфраструктур дают уже существующие волоконно-оптические сети, высокопроизводительные процессоры, параллельные архитектуры, протоколы связи, математическое обеспечение распределенных структур, механизмы обеспечения безопасности.
В НовГУ создана лаборатория "GRID-ТЕХНОЛОГИИ В СОВРЕМЕННОЙ ФИЗИКЕ".
Ее задачами являются:
1.Подготовка научных сотрудников, программистов и инженеров по направлениям:
- обработка и анализ экспериментальных данных с ускорителя LHC;
- работа по созданию программного обеспечения для проекта DATAGRID,
- работа по созданию программного обеспечения для моделирования физических процессов;
- работа по проекту распределенных вычислений EuroGRID.
2.Проведение работ:
- создание и развитие российского сегмента DATAGRID;
- моделирование экспериментов на детекторах ALICE, ATLAS, CMS;
- обработка экспериментальных данных с этих детекторов, а также с детектора TOTEM.
3. Создание программного обеспечения для DATAGRID и EuroGRID.
4. Создание программного обеспечения для моделирования физических процессов взаимодействия адронов и ядер при сверхвысоких энергиях.
5. Создание программного обеспечения для триггеров редких процессов в рассеянии адронов и ядер.
На основе этих конкретных задач лаборатория также может готовить специалистов по использованию технологии GRID в других областях науки и техники, в частности, в экологии, экономике, энергетике, машиностроении, медицине, биологии.
Новгородский государственный университет включен в сеть Grid. Вычислительные ресурсы доступны для использования всеми участниками сети.
Для этого были осуществлены следующие работы:
1. Произведена установка и настройка вычислительного элемента сети GRID и сопутствующих сервисов, а именно:
- Computing Element - система управления вычислительными ресурсами, распределением заданий, аутентификацией хостов и пользователей сети,
- Storage Element - система хранения исходных экспериментальных данных и данных, полученных в результате обработки,
- Monitoring BOX - распределенная система мониторинга отдельных хостов сети GRID и сети в целом,
- Сервисы: SSH, Firewall, VPN, Hosts Autoupdate (система обновления ПО с помощью apt-get).
2.Все имеющиеся хосты зарегистрированы в сети GRID, для них получены соответствующие OpenSSL - сертификаты в Regional Certification Authority.
3.Получен сертификат пользователя, который был зарегистрирован в виртуальной организации RDIG (Russian Data Intensive Grid).
4.Локально устранены мелкие недоработки системы автоматического развертывания сайтов (совокупности сервисов в рамках одного вычислительного центра), связанных с тем, что ПО для сети GRID находится еще в стадии разработки и предварительного тестирования.
Работа представлена на научную конференцию «Новые технологии и современные системы автоматизации», Тунис, 12-19 июня 2005 г., поступила в редакцию 29.04.2005г.
Статья в формате PDF 101 KB...
18 04 2024 6:55:11
Статья в формате PDF 110 KB...
17 04 2024 5:16:36
Статья в формате PDF 193 KB...
16 04 2024 19:39:58
Статья в формате PDF 232 KB...
15 04 2024 23:54:38
Статья в формате PDF 124 KB...
14 04 2024 0:10:49
Статья в формате PDF 255 KB...
13 04 2024 13:56:51
Статья в формате PDF 700 KB...
12 04 2024 18:13:49
Статья в формате PDF 249 KB...
11 04 2024 19:20:27
Статья в формате PDF 206 KB...
10 04 2024 8:33:54
Статья в формате PDF 174 KB...
07 04 2024 9:29:48
06 04 2024 17:13:48
Статья в формате PDF 257 KB...
05 04 2024 0:24:10
Статья в формате PDF 105 KB...
04 04 2024 17:34:40
Статья в формате PDF 132 KB...
03 04 2024 15:57:30
Статья в формате PDF 118 KB...
02 04 2024 9:55:43
Статья в формате PDF 104 KB...
31 03 2024 16:53:55
Статья в формате PDF 127 KB...
29 03 2024 13:37:16
Рассмотрены корреляты как дополнительные параметры описания объектов. Рассмотрены виды коррелят. Раскрывается понятие коррелятивные показатели. Показано, как влияют корреляты на качество анализа и оценки. Для этого использовано понятие информационная модель объекта. Введено понятие коррелятивной информационной модели объекта (КИМО) Введено понятие производного коррелятивного показателя. (ПКП) Показано, что использование коррелятивного показателя позволяет создавать нелинейные экономико-математические модели. Эти нелинейные модели дают более точное описание изменения стоимости комплексов из разных объектов при существенном влиянии коньюнктурных факторов. Раскрыты основы коррелятивного подхода как инструмента описания, анализа и экономической оценки. Приведены примеры использования коррелятивного подхода. Показаны преимущества коррелятивного подхода. ...
28 03 2024 6:39:10
Статья в формате PDF 245 KB...
27 03 2024 10:38:50
Статья в формате PDF 277 KB...
26 03 2024 19:25:35
Статья в формате PDF 245 KB...
24 03 2024 12:31:54
23 03 2024 23:14:56
Статья в формате PDF 105 KB...
22 03 2024 21:13:57
Статья в формате PDF 123 KB...
21 03 2024 13:25:16
Из аспирата семенных пузырьков человека сочетанием катионообменной хроматографии на S-сефарозе и диск-электрофореза выделен белок. Молекулярная масса полученного белка, по данным SDS-PAGE, составила 53,5 kDa. Исходя из электрофоретической подвижности, мы предположили, что полученный белок –семеногелин-I (SPMIP/Sg-I). После обработки полученного препарата очищенным простатоспецифическим антигеном (человеческий калликреин-3 (hK3)), электрофоретически были выявлены многочисленные полипептиды с молекулярной массой от 5 до 24 kDa. Проверка биологической активности на образцах нативной cпepмы подтвердила наличие у полипептидных фрагментов способности ингибировать двигательную активность cпepматозоидов и они были отнесены к SPMI. Электрофоретическая подвижность фpaкции SPMI с молекулярной массой 18-20 kDa, которую мы назвали «тяжелой» (SPMI-h), соответствовала электрофоретической подвижности фpaкции нативной cпepмы человека, проявляющей ингибиторную активность. Изучение в казиинолитическом тесте (с химотрипсином и папаином в качестве ферментов) возможной ингибиторной активности SPMI-h, показало наличие подобной активности в отношении папаина, влияние на ферментативную активность химотрипсина выявлено не было. ...
20 03 2024 21:11:45
Статья в формате PDF 105 KB...
18 03 2024 12:49:56
17 03 2024 10:56:59
С помощью метода инфpaкрасной спектроскопии осуществлено сравнение вторичных структур глюкоамилаз из Aspergillus awamori и Saccharomyces cerevisiae. Получены данные о типах вторичной структуры, количественном соотношении упорядоченных и нерегулярных участков. ...
15 03 2024 13:10:44
Статья в формате PDF 153 KB...
14 03 2024 6:44:13
Статья в формате PDF 126 KB...
13 03 2024 16:58:27
Статья в формате PDF 148 KB...
12 03 2024 9:32:18
11 03 2024 20:30:49
Статья в формате PDF 107 KB...
10 03 2024 10:52:57
Еще:
Поддержать себя -1 :: Поддержать себя -2 :: Поддержать себя -3 :: Поддержать себя -4 :: Поддержать себя -5 :: Поддержать себя -6 :: Поддержать себя -7 :: Поддержать себя -8 :: Поддержать себя -9 :: Поддержать себя -10 :: Поддержать себя -11 :: Поддержать себя -12 :: Поддержать себя -13 :: Поддержать себя -14 :: Поддержать себя -15 :: Поддержать себя -16 :: Поддержать себя -17 :: Поддержать себя -18 :: Поддержать себя -19 :: Поддержать себя -20 :: Поддержать себя -21 :: Поддержать себя -22 :: Поддержать себя -23 :: Поддержать себя -24 :: Поддержать себя -25 :: Поддержать себя -26 :: Поддержать себя -27 :: Поддержать себя -28 :: Поддержать себя -29 :: Поддержать себя -30 :: Поддержать себя -31 :: Поддержать себя -32 :: Поддержать себя -33 :: Поддержать себя -34 :: Поддержать себя -35 :: Поддержать себя -36 :: Поддержать себя -37 :: Поддержать себя -38 ::