РАСПРЕДЕЛЕННАЯ ГРИД-ИНФРАСТРУКТУРА
ДЛЯ ОБРАБОТКИ И АНАЛИЗА ДАННЫХ С
БОЛЬШОГО АДРОННОГО КОЛЛАЙДЕРА

Кореньков В.В.
заместитель директора Лаборатории информационных
технологий ОИЯИ, заведующий кафедрой распределенных
информационных вычислительных систем
Международного университета «Дубна»
XX Международная научно-техническая конференция
«Информационные средства и технологии»

Москва, МЭИ, 20.11.12
T.Strizh (LIT, JINR)

1

1. Cовременные научные исследования
требует совместной работы многих
организаций по обработке большого
объема данных в относительно
короткие сроки.
2. Необходимы географически
распределенные вычислительные
системы, способные передавать и
принимать данные порядка сотен
терабайт в сутки, одновременно
обрабатывать сотни тысяч задач и
долговременно хранить сотни петабайт
данных.
3. Современные Грид-инфраструктуры обеспечивают интеграцию
аппаратурных и программных ресурсов, находящихся в разных
организациях в масштабах стран, регионов, континентов в единую
вычислительную среду, позволяющую решать задачи по
обработке сверхбольших объемов данных, чего в настоящее
время невозможно достичь в локальных вычислительных
2
центрах.
T.Strizh (LIT, JINR)

Роль распределенной компьютерной
инфраструктуры для обработки данных
На семинаре 4 июля 2012 года, посвященном
наблюдению бозона Хиггса, директор ЦЕРНа
Р.Хойер дал высокую оценку грид-технологиям и их
значимости для мировой науки.
Без организации грид-инфраструктуры на LHC было
бы невозможно обрабатывать и хранить
колоссальный объем данных, поступающих с
коллайдера, а значит, - и совершать научные
открытия.
Сегодня уже ни один крупный проект не осуществим
без использования распределенной инфраструктуры
для обработки данных.
3

T.Strizh (LIT, JINR)

Концепция Грид
«Грид - это система, которая:
· координирует использование ресурсов при отсутствии
централизованного управления этими ресурсами
· использует стандартные, открытые, универсальные
протоколы и интерфейсы.
· обеспечивает высококачественное обслуживание»
(Ian Foster: "What is the grid? ", 2002 г.)

Модели грид:
?Distributed Computing
?High-Throughput Computing
?On-Demand Computing
?Data-Intensive Computing
?Collaborative Computing

Междисциплинарный характер грид: развиваемые
технологии применяются в физике высоких энергий,
космофизике, микробиологии, экологии, метеорологии,
различных инженерных и бизнес приложениях.
Виртуальные организации (VO) T.Strizh (LIT, JINR)

Грид - это средство для совместного использования вычислительных
мощностей и хранилищ данных посредством интернета

Мобильный
доступ

Рабочие
станции

Визуализация

П
Р
О
М
Е
Ж
У
Т
О
Ч
Н
О
Е

О
Б
Е
С
П
Е
Ч
Е
Н
И
П Е
Р
О Г
Г Р
Р И
А Д
М
М
Н
О
Е

Суперкомпьютеры, ПК- кластеры

Массовая память, сенсоры, эксперименты

Интернет, сети
T.Strizh (LIT, JINR)

Взаимодействие компонентов вычислительной среды

Этапы развития глобальной гридинфраструктуры
?

?

?

?

?

?

2001-2003 EU DataGrid (проект европейской DataGridинфрастуктуры),
С 2002 по наст. время WLCG: проект грид для
Большого адронного коллайдера (Worldwide LHC
Computing Grid),
2003 год – создан Российский консорциум RDIG
(Russian Data Intensive Grid) как национальная
грид-федерация в проекте EGEE
2004-2010 EGEE: развертывание грид-систем для
научных исследований (The Enabling Grids for EsciencE),
2010-2014 EGI-InSPARE (проект развития европейской
грид-инфраструктуры).
2010-2013 – EMI (инициатива по разработке
европейского ППО)
7
T.Strizh (LIT, JINR)

Acting as the gatekeeper and matchmaker
for the Grid, middleware
• monitors the Grid,
• decides where to send computing jobs,
• manages users, data and storage,
• check the identity of the user through
the use of digital certificates.

T. Strizh

dCache

For users the Grid will enable them to
treat the distributed resources as one
integrated computer system, with one
single log on, and the middleware will
handle all the negotiations, the submission
of jobs and the collation of the results.
T.Strizh (LIT, JINR)

Основные подсистемы gLite
Вычислительный элемент (Computing Element – CE) – это служба,
представляющая ресурсный узел грид и выполняющая на нем функции
управления заданиями (запуск, удаление и т.д.).
Подсистема управления загрузкой (Workload Management System - WMS)
состоит из ряда компонентов, ответственных за распределение заданий между
ресурсами грид, а также обеспечивающих управление заданиями.
Подсистема управления данными (Data Management Subsystem - DM)
включает три службы, поддерживающие доступ к файлам: элемент памяти
(Storage Element – SE), службы каталога (Catalog Services – CS) и диспетчер
данных (Data Scheduling –DS).
Подсистема безопасности рассматривается как средство защиты служб
Подсистема информационного обслуживания и мониторинга грид (Relational
Grid Monitoring Architecture - R-GMA) решает задачу сбора и управления
данными о состоянии грид, получая информацию от множества
распределенных источников – поставщиков.
Подсистема учета (Accounting Subsystem - DGAS) аккумулирует информацию
об использовании ресурсов грид отдельными пользователями, группами
пользователей и виртуальными организациями.
Подсистема протоколирования (Logging and Bookkeeping - LB) отслеживает
выполняющиеся в разных точных грид шаги обработки задания, фиксируя
происходящие с ним события.
T.Strizh (LIT, JINR)

Large
Large Hadron
Hadron Collider
Collider

Start-up
Start-up of
of the
the Large
Large Hadron
Hadron Collider
Collider ((LHC
LHC),
), one
one of
largest
of the
the largest
and
and truly
truly global
global scientific
scientific projects
projects ever,
the most
ever, is
is the
most exciting
exciting
turning
turning point
point in
in particle
particle physics.
physics.
CMS

ALICE

LHCb

LHC ring:

27 km circumference

ATLAS
T.Strizh (LIT, JINR)

Параметры детектора АТЛАС
Энергия центра масс 14 TeV
Частота столкновений пучков
40 MHz
Светимость :


начальная: 1031 см-2с-1



низкая: 2*1033 см-2с-1



целевая: 1034 см-2с-1

Вес 7000 тонн,
Диаметр 25м,
Длина 46м
Количество регистрирующих
каналов 100 000 000
11
T.Strizh (LIT, JINR)

SDX1
CERN
computer
6
centre Event rate Local
Data
storage

~ 200 Hz

Storage
SubFarm
Outputs

(SFOs)
DataFlow
Manager

Trigger / DAQ architecture

dual-CPU nodes
~1800

~100 ~ 500
Event
Builder

Event
Filter
(EF)

SubFarm
Inputs

(SFIs)

RoI
Builder

stores
LVL2
output

Gigabit Ethernet

Event data requests
Delete commands

Requested event data

Regions Of Interest

Event data
pulled:
partial events
@ ? 100 kHz,
full events
@ ~ 3 kHz

USA15

USA15

~150
PCs

Data of events accepted
1600 by first-level trigger
ReadOut
VME Dedicated links
Links

ReadOut
Drivers
(RODs)

Read-Out
Subsystems
(ROSs)

Timing Trigger Control (TTC)
July 22, 2016

SDX1

pROS

Network
switches
Network switches

LVL2
Supervisor

Secondlevel
trigger

LVL2
farm

Firstlevel
trigger

Event data pushed
@ ? 100 kHz,
12
1600 fragments of ~ 1 kByte each
T.Strizh (LIT, JINR)

UX15

Потоки данных от физических установок БАК до
вычислительного центра ЦЕРН (Tier 0 at CERN)

13
T.Strizh
(LIT, JINR)
Ian.Bird@cern.ch

1.25 GB/sec
(ions)

Взаимодействие уровней
Tier 0 – Tier 1 – Tier 2

Tier-0 (CERN): 15%
• Прием данных
• Начальная
реконструкция данных
• Распределение данных

Tier-1 (11 centres): 40%
•Постоянное хранение
данных
•Реконструкция и
обработка
•Анализ

Tier-2 (200 centres): 45%
• Моделирование
• Физический анализ

T.Strizh (LIT, JINR)

T.Strizh (LIT, JINR)

15

T. Strizh
T.Strizh (LIT, JINR)

The Map of OSG Sites (in the US)

NERSC
LBL
UDAVIS
STANFORD
UCSB
CALTECH
UCLA
UCR
SDSC

HARVARD
RIT ALBANY MIT
BU
BUFFALO
T
BNL
UWM UMICH WSU CORNELL
MSU
WISC
PSU
FNAL UIC
LEHIGH
UCHICAGOGEORGETOWN
UNI
UNL UIOWA ANL NDPURDUE NSF
UMD
UIUC
IUPUI
UVA
IU
KU
RENCI
ORNL
VANDERBILT

CU

UNM

OU
TTU

UTA LTU
SMU
LSU

UMISS

CLEMSON

UFL
FIT

Ruth Pordes, FNAL

T.Strizh (LIT, JINR)

1

WLCG Grid Sites

?



Tier 0



Tier 1



?

Tier 2

T.Strizh (LIT, JINR)

?

Today >150 sites
>300k CPU cores
>250 PB disk

РДИГ инфраструктура
Российский консорциум RDIG (Russian Data Intensive Grid) был создан в
2003 году как национальная грид-федерация в проекте EGEE.
В настоящее время RDIG –инфраструктура состоит из 16 ресурсных
центров, в которых доступно около 7000 процессоров и более
4000 TB дискового пространства.
RDIG центры:
– ITEP
– JINR-LCG2
– Kharkov-KIPT
– RRC-KI
– RU-Moscow-KIAM
– RU-Phys-SPbSU
– RU-Protvino-IHEP
– RU-SPbSU
– Ru-Troitsk-INR
– ru-IMPB-LCG2
– ru-Moscow-FIAN
– ru-Moscow-GCRAS
– ru-Moscow-MEPHI
– ru-PNPI-LCG2
– ru-Moscow-SINP
- BY-NCPHEP

Вычислительный комплекс ОИЯИ

Ресурсы:
2582 вычислительных узлов
Дисковое хранилище более 2 PB (Петабайт)
В 2012 году выполнено более 6 миллионов задач пользователей,
которые использовали 135 млн. часов в единицах HEPSpec06
(46 % от всех российских грид-сайтов)
Надежность и доступность = 99%

Система мониторинга ресурсного центра ОИЯИ
(http://litmon.jinr.ru)

Country Normalized CPU time per
Country (2012)

All Country - 14,424,959,004
Job
557,622,490

Russia- 292,876,480 (2.06%)
17,266,106 ( 3.10%)

23

Russia Normalized CPU time per SITE
(2012)
Russia - 292,876,480
JINR - 135,253,848 (46.05%)

24

Рейтинг европейских грид-сайтов уровня Tier2
инфраструктуры WLCG за разные периоды

Worldwide LHC Computing Grid Project (WLCG)
Основной задачей проекта WLCG является создание
глобальной инфраструктуры региональных центров для обработки,
хранения и анализа данных физических экспериментов LHC.
Грид-технологии являются основой построения этой
инфраструктуры.
Протокол между ЦЕРН, Россией и ОИЯИ об участии в
проекте LCG был подписан в 2003 году.
MoU об участии в проекте WLCG был подписан в 2007 году.

Задачи российских центров и ОИЯИ в проекте WLCG в 2012 году:
• Создание комплекса тестов для gLite
• Внедрение сервисов WLCG для экспериментов
• Развитие систем мониторинга WLCG
• Система глобального мониторинга Tier3 центров
• Развитие пакетов моделирования для экспериментов
• Разработка архитектуры Tier1 центра в России

Система мониторинга FTS (FILE TRANSFER
SERVICE)

27

WLCG – no stop for
computing
Activity on 3 Jan
rd

Архитектура системы распределенного хранения данных
эксперимента ATLAS

В 2010 году возникла необходимость разработать новую архитектуру сервиса
удаления данных для обеспечения целостности распределенного хранения
информации эксперимента ATLAS.

Сервис удаления данных один из основных сервисов DQ2:






обслуживает запросы на удаление,
организует балансировку нагрузки,
обеспечивает масштабируемость и отказоустойчивость системы DQ2,
корректную обработку исключений, возникающих в процессе работы,
стратегию повтора операций в случае возникновения отказов.

Разработаны:
• новый интерфейс между компонентами сервиса удаления (основанного на
технологии веб-сервисов),
• создана новая схема базы данных,
• перестроено ядра сервиса,
• созданы интерфейсы с системами массового хранения,
• модернизирована система мониторинга работы сервиса.
Созданный сервис обеспечивает целостность хранения информации в географически
распределенной среде. Данные эксперимента ATLAS распределены более, чем
на 130 грид-сайтах с общим объемом дискового пространства более 1 20
петабайт, в котором хранятся сотни миллионов файлов. Недельный объем
29
удаляемых данных составляет 2 Пб (20 000 000 файлов).

Архитектура, компоненты и схема взаимодействия
сервиса удаления данных в системе управления
распределенным хранилищем эксперимента ATLAS

Основные компоненты этого сервиса:
oСервер, который принимает запросы на
удаление и содержит детальную
информацию о датасетах
oКлиент обеспечивает взаимодействие
между сервером и другими компонентами
сервиса.
oАгент удаления информации (Deletion
Agent) реализует процесс удаления
датасетов в распределенной системе
хранения.
oКомпонент мониторинг (Monitoring)
обеспечивает контроль процесса удаления, а
также отображение текущего статуса,
выявленных ошибок, скорости выполнения
запросов и другой важной информации ,
необходимых для эффективного
функционирования сервиса удаления
30
данных.

Функционирование сервиса

Скорость удаления данных может достигать довольно
больших величин: это миллионы файлов в день и
терабайты очищенного дискового пространства.
Удаление данных за 24-часовой период. Скорость
удаления - более 350 тысяч файлов в час.
31

Систематизация и классификация центров уровня Tier3
Диаграмма 1. Системы хранения

Диаграмма 3. Batch-системы

Диаграмма 2. Доступ к системам хранения

Co-located Tier3 - функционируют вместе
с Tier2 центрами, используют общую
инфраструктуру или часть сервисов
Tier3gs - кластер с полным набором
функциональности грид-сайта
Tier3g - кластер с частичной
грид-функциональностью
Tier3w - рабочая станция с набором
программ для доступа к грид-сайтам
в качестве потребителя

32

Архитектура тестовой среды на базе
виртуальных кластеров для Tier3 центров

33

Система мониторинга Tier3-центров для
анализа данных экспериментов БАК

:
-.
Для исследования центров уровня Tier3 в ОИЯИ была разработана архитектура
тестовой инфраструктуры, которая позволяет создавать прототипы различных
конфигураций центров уровня Tier3. С применением технологий виртуализации
такая инфраструктура была реализована на базе виртуальных кластеров, что
позволило разработать для каждого варианта конфигурации документацию,
настроить или разработать средства локального мониторинга, выработать полные
рекомендации по системе сбора информации для глобального мониторинга
центров уровня Tier3.
Реализация системы
мониторинга Tier3 –
центров (не-грид) имеет
огромное значение для
координации работ в
рамках виртуальной
организации, так как
обеспечивается
глобальный взгляд на
вклад Tier3 сайтов в
вычислительный процесс.

Data flow for the global monitoring

Data flow for the XRootD federation monitoring

Глобальная система мониторинга передачи
данных в инфраструктуре WLCG
Суть проекта состоит в создании универсальной системы
мониторинга, способной собирать подробную информацию :
- о каждой передаче данных (около 1 Петабайта в день),
- независимо от метода осуществления передачи (несколько
протоколов и сервисов передачи файлов, FTS, xROOTd),
- уровень ресурсного центра (Tier-0,Tier-1,Tier-2,Tier-3)
- принадлежности данных определенной виртуальной организации;
- передавать с высокой степенью надежности собранную
информацию в центральное хранилище;
- обрабатывать собранные данные для предоставления различным
потребителям;
- предоставлять пользовательские и программные интерфейсы для
получения данных.

Система позволяет полностью удовлетворить потребности
в информации различных типов пользователей и
администраторов инфраструктуры WLCG.
37

Архитектура глобальной системы мониторинга
передачи данных в инфраструктуре WLCG

38

Архитектура учебно-исследовательской и
тестовой инфраструктуры стран-участниц ОИЯИ
Разработана
архитектура учебноисследовательской и
тестовой
инфраструктуры на базе
технологий
виртуализации, которая
включает конвергенцию
технологий: различные
платформы грид (gLite,
ARC, GT 5), платформу
добровольных
вычислений BOINC,
платформу облачных
вычислений на базе
программного продукта
OpenNebula.
.
Эта инфраструктура состоит из 10 ресурсных центров (Россия, Украина,
Болгария, Узбекистан, Казахстан, Монголия) и служит для обучения и
тренинга пользователей, системных администраторов и разработчиков
грид-приложений

Архитектура российской национальной
нанотехнологической грид-сети (ГридННС)
?

?

Совместно с другими научными центрами России была разработана
архитектура проекта российской национальной нанотехнологической
грид-сети (ГридННС), который выполнялся в рамках федеральной
целевой программы "Развитие инфраструктуры наноиндустрии в
Российской Федерации на 2008-2010 годы". ГридННС является
полномасштабной вычислительной грид-инфраструктурой,
базирующейся на специально разработанном, учитывающем
особенности прикладной области, промежуточном программном
обеспечении (ППО), основанном на Globus Toolkit (4/5) и современных
REST сервисах. ППО ГридННС является оригинальной разработкой
данного проекта, направленной на удовлетворение ключевых запросов
в области наноиндустрии.
В ГридННС включены суперкомпьтерные центры России, что позволяет
решать сложные вычислительные задачи в области нанотехнологий,
аэро- и гидродинамики. В рамках этого проекта разработаны и
реализованы системы мониторинга, учёта использования ресурсов,
поддержки системы регистрации грид-сервисов и сайтов, поддержки
виртуальных организаций.

Инфраструктура ГридННС
10 ресурсных центров (суперкомпьютеров) разных
регионов России включены в инфраструктуру ГридННС

41

Российская грид-сеть
?

?

Программа реализуется при поддержке
Минкомсвязи для создания инфраструктуры
распределенных вычислений в России,
объединяющая суперкомпьютерные центры,
центры хранения данных, на которых
поддерживаются современные пакеты программ
для науки и сектора высоких технологий.
Необходимо объединить усилия, чтобы создать
единую межведомственную инфраструктуру
распределенных вычислений в России (грид,
облака, суперкомпьютеры, центры хранения
данных), на которой можно организовать много
виртуальных сред для различных задач.

Ускорительный комплекс НИКА

Для проекта НИКА поток данных имеет
следующие параметры:
-высокая скорость набора событий (до 6
КГц),
-в центральном столкновении Au-Au при
энергиях НИКА образуется до 1000
заряженных частиц,
-Прогнозируемое количество событий 19
миллиардов;
-общий объем исходных данных может
быть оценен в 30 PB ежегодно, или 8.4
PB после обработки.

Моделирование системы обработки экспериментов
на ускорительном комплексе НИКА

а) Какие вычислительные ресурсы необходимы для обработки данных;
b) Какая должна быть архитектура грид системы;
c) Какое количество ресурсных центров должно быть;
d) Какая стратегия запуска задач будет оптимальна;
e) Какие ресурсы хранения данных необходимы.

Проект создания центра уровня Tier1 в России
С 2011 года идут подготовительные работы по созданию центра
уровня Tier1 в России для обработки, хранения и анализа данных с
Большого адронного коллайдера (БАК) на базе НИЦ КИ и ОИЯИ.
В настоящее время в рамках ФЦП Министерства образования и
науки РФ финансируется проект «Создание автоматизированной
системы обработки данных экспериментов на Большом адронном
коллайдере (LHC) уровня Tier1 и обеспечения грид-сервисов для
распределенного анализа этих данных».
28 сентября на заседании Наблюдательного Совета проекта
WLCG (глобальная грид-инфраструктура для БАК) был принят план
создания Tier1 в России.
В этом плане 3 основных этапа:
Первый этап (декабрь 2012 года) - создание прототипа Tier1 в НИЦ КИ и
ОИЯИ.
Второй этап (ноябрь 2013 года) – установка оборудования для базового
Tier1 центра, его тестирование и доведение до необходимых
функциональных характеристик.
Третий этап (ноябрь 2014 года) - дооснащение этого комплекса и ввод45 в
эксплуатацию полномасштабного Tier1 центра в России.

Joint NRC "Kurchatov Institute" – JINR
Tier1 Computing Centre

Ресурсы Tier1 в ОИЯИ
Year

2012

2013

2014

CPU (HEPSpec06)

14400

28800

43200

Disk (Terabytes)

660*

3168*

4224*

Tape (Terabytes)

72

5700

8000

LHCOPN, Gbps

4

10

40

*include tape's buffer
pools

Milestones of the JINR CMS Tier-1 Deployment and Commissioning
Objective

Target date

Presentation the Execution Plan to WLCG OB

Sep 2012

Prototype
Disk & Servers installation and tests

Oct 2012

Tape system installation

Nov 2012

Organization of network infrastructure and connectivity to CERN via GEANT (2 Gb)

Nov 2012

WLCG OPN integration (2 Gb) and JINR-T1 registration in GOCDB including integration with the APEL accounting
system

Dec 2012

M1

Jan 2013

LHC OPN functional tests (2 Gb)

May 2013

Test of WLCG and CMS services (2 Gb LHCOPN)

May 2013

Test of tape system at JINR: data transfers from CERN to JINR (using 2 Gb LHC OPN)

May 2013

Test of publishing accounting data

May 2013

Definition of Tier 2 sites support

May 2013

Connectivity to CERN 10 Gb

Jul 2013

M2

Aug 2013

LHC OPN functional tests (10 Gb)

Aug 2013

Test of tape system at JINR: data transfers from CERN to JINR (using 10 Gb LHC OPN)

Aug 2013

M3

Oct 2014

85% of the job capacity running for at least 2 months
Storage availability > 98% (functional tests) for at least 2 months
Running with > 98% Availabilities & Reliabilities for at least 30 days
WLCG MoU as an associate Tier-1 center

Feb 2014

Disk & Tape & Servers upgrade

Oct 2014

M4

Dec 2014

CERN

US-BNL

Amsterdam/NIKHEF-SARA

Bologna/CNAF

CaTRIUMF

Taipei/ASGC

NDGF

Russia:
NRC KI and JINR

US-FNAL

26 June 2009

De-FZK

Barcelona/PIC

Ian Bird, CERN

Lyon/CCIN2P3

UK-RAL

49

Эволюция инфраструктуры и модели компьютинга
экспериментов на БАК:
Были проработаны требования к ресурсам и функции региональных
центров уровней Tier0, Tier1, Tier2.
Разработанная модель была реализована и успешно функционирует с
момента запуска Большого адронного коллайдера в 2009 году. Ежегодно
собираются и обрабатываются данные объемом в десятки и даже сотни петабайт.
Эта централизованная модель компьютинга хорошо зарекомендовала
себя в первые годы работы экспериментов на БАК, однако постепенно
наблюдается тенденция к децентрализации сервисов и переносу акцентов с
массовой обработки данных на обеспечение индивидуального анализа.
Происходит эволюция модели компьютинга экспериментов на БАК:
• переход от иерархической структуры к сетевой, а в идеале к полно-связной,
где возможны связи между центрами всех уровней;
• развитие средств распределенного управления данными, поддержка очень
высоких скоростей передачи огромных массивов данных;
• создание мощных и разнообразных центров уровня Tier3 для
индивидуального анализа данных;
• развитие и применение средств виртуализации и облачных вычислений
(проект «Helix Nebula – научное облако»)
Эволюция распределенной инфраструктуры и модели компьютинга
постоянно развивается в направлении конвергенции технологий.

Новые решения и перспективы в обработке

Постоянно растущие объёмы научных данных ставят новые задачи перед
технологиями распределённых
вычислений
и Грид. Набирающая размах
«Больших
Данных»
революция Больших Данных ведёт к открытиям в самых различных областях
науки, включая нанотехнологии, астрофизику, физику высоких энергий,
биологию и медицину. Новые проекты и разработки преображают исследования,
основанные на данных, расширяя границы применения Больших Данных и
требуя массивной обработки данных новыми методами. При обработке
массивов данных объемами порядка петабайтов, современные учёные имеют
дело не с отдельными файлами, а с наборами данных. В результате, единицей
обработки петабайтного массива в системах Грид становится вычислительная
задача, состоящая из многих подзадач. Разбиение обработки на отдельные
задачи ведёт к созданию контрольных точек с высокой степенью детальности и
обеспечивается отказоустойчивость обработки данных в системах Грид:
прерванные в результате сбоев задания могут быть автоматически
перезапущены, чем достигается качество обработки. Необходимость повторного
исполнения отдельных заданий ведёт к непредсказуемому снижению
эффективности использования вычислительного ресурса. Опыт компьютерной
обработки данных на LHC позволяет изучить связь между отказоустойчивыми
решениями и эффективностью, и разработать новые масштабируемые подходы
51
к применению технологий Грид для обработки объемов данных, превышающих
сотни петабайт.

?
?
?
?

?

?

?

?
?
?
?
?
?
?
?

Frames for Grid cooperation of JINR
Worldwide LHC Computing Grid (WLCG);
EGI-InSPIRE
RDIG Development
CERN-RFBR project “Global data transfer monitoring system for WLCG
infrastructure”
infrastructure
NASU-RFBR project “Development and support of LIT JINR and NSC KIPT gridinfrastructures for distributed CMS data processing of the LHC operation”
BMBF grant “Development of the Grid-infrastructure and tools to provide joint
investigations performed with participation of JINR and German research
centers”
“Development of Grid segment for the LHC experiments” was supported in
frames of JINR-South Africa cooperation agreement;
Development of Grid segment at Cairo University and its integration to the JINR
GridEdu infrastructure
JINR - FZU AS Czech Republic Project “The GRID for the physics experiments”
JINR-Romania cooperation Hulubei-Meshcheryakov programme
JINR-Moldova cooperation (MD-GRID, RENAM)
JINR-Mongolia cooperation (Mongol-Grid)
JINR-Slovakia cooperation
JINR- Kazakhstan cooperation (ENU Gumelev)
Project “Russian Grid Network”
52

GRID’2012 Conference

22 countries,
256 participants,
40 Universities and
Institutes from Russia,
31 Plenary,
89 Section talks

MPAMCS 2012
Conference-School for Young
Scientists “Modern Problems of
Applied Mathematics & Computer
Science”
17 invited lectures
47 talk from young scientists

http:// nec2011.jinr.ru

WEB-PORTAL “GRID AT JINR” – “ГРИД В ОИЯИ”:
A new informational
http://grid.jinr.ru
resource
has been created at JINR:
web-portal “GRID AT JINR”.
The content includes the
detailed
•КОНЦЕПЦИЯ ГРИД
information
on the JINR gridsite and •ГРИД-технологии
•ГРИД-проекты
JINR’s participation
•Консорциум РДИГin grid
projects:
•ГРИД-САЙТ ОИЯИ
•Инфраструктура и сервисы
•Схема
•Статистика
•Поддержка ВО и экспериментов
•ATLAS
•CMS
•CBM и PANDA
•HONE
•Как стать пользователем
•ОИЯИ В ГРИД-ПРОЕКТАХ
•WLCG
•ГридННС
•EGEE
•Проекты РФФИ
•Проекты ИНТАС
•СКИФ-ГРИД
•ТЕСТИРОВАНИЕ ГРИД-ПО
•СТРАНЫ-УЧАСТНИЦЫ ОИЯИ
•МОНИТОРИНГ И АККАУНТИНГ
•RDIG-мониторинг
•dCache-мониторинг
•Dashboard
•FTS-мониторинг
•Н1 МС-мониторинг
•ГРИД-КОНФЕРЕНЦИИ
•GRID
•NEC
•ОБУЧЕНИЕ
•Учебная грид-инфраструктура
•Курсы и лекции
•Учебные материалы
•ДОКУМЕНТАЦИЯ
•Статьи
•Учебные материалы
•НОВОСТИ
•КОНТАКТЫ






Чтобы не видеть здесь видео-рекламу достаточно стать зарегистрированным пользователем.
Чтобы не видеть никакую рекламу на сайте, нужно стать VIP-пользователем.
Это можно сделать совершенно бесплатно. Читайте подробности тут.