Новосибирский государственный университетФакультет информационных технологий |
А.М.Федотов |
Массово-параллельную вычислительную систему Cray XT3 производит один из лидеров в области суперкомпьютеров - Cray Inc. (основана в 2000 году). В конфигурациях системы Cray XT3 число элементарных процессоров может достигать 30720, а производительность - 318 TFLOPS, емкость памяти - 239 Тбайт.
Вычислительная система Cray XT3 представляется композицией множества элементарных процессоров трехмерной тороидальной структуры и системы ввода-вывода информации.
Элементарный процессор Cray XT3
Элементами структуры ВС являются вычислительные и сервисные элементарные процессоры. Независимо от функционального назначения в состав каждого ЭП входит локальный коммутатор (называемый Cray SeaStar), микропроцессор AMD Opteron и локальная память. Помимо названных компонентов в сервисном ЭП имеются две 64-разрядные шины (Dual PCI-X) для взаимодействия с системой ввода-вывода информации.
Локальный коммутатор (ЛК) SeaStar - сложное функциональное устройство, реализованное на одной БИС. Он предназначен для выполнения высокоскоростной маршрутизации и обменов информацией (как межпроцессорных, так и внутри ЭП). В состав ЛК входят: коммуникационный процессор (Communications and Management Processor), высокоскоростной сетевой маршрутизатор (Interconnect Router), канал HyperTransport, контроллер прямого доступа к памяти DMA (Direct Memory Access), а также сервисный порт.
Сетевой маршрутизатор работает с шестью межпроцессорными каналами связи и тем самым обеспечивает непосредственную связь данного ЭП с шестью соседними ЭП по трем направлениям Х, Y, Z в 3D-тope. Пиковая пропускная способность каждого межпроцессорного канала в двунаправленном режиме составляет 7,6 Гбайт/с. Маршрутизатор реализует также протокол коррекции ошибок и повторной передачи информации по межпроцессорным каналам.
Канал HyperTransport служит для связи микропроцессора данного ЭП с коммуникационной сетью Cray XT3 (следовательно, со всеми остальными ЭП). Пропускная способность данного канала - 6,4 Гбайт/с.
Контроллер DMA обеспечивает (без каких-либо прерываний микропроцессора) доступ к локальной памяти данного ЭП другим элементарным процессорам через коммуникационную сеть Cray XT3. Контроллер DMA и операционная система функционируют совместно, что дает возможность минимизировать латентность коммуникационной сети.
Сервисный порт кристалла SeaStar позволяет системе обеспечения надежности и управления получить доступ к его регистрам через специальную супервизорную сеть Cray XT3. Данные средства необходимы для осуществления начальной загрузки, технического обслуживания, обеспечения надежности и мониторинга суперВС Cray XT3.
Для компоновки элементарных процессоров могут быть применены любые 64-разрядные микропроцессоры семейства AMD Opteron (включая одно- и двухъядерные - Single or Dual Core).
Локальная память каждого ЭП Cray XT3 составляет 1...8 Гбайт, скорость обращения микропроцессора к локальной памяти - 6,4 Гбайт/с.
Коммуникационная сеть Cray XT3
Структура сети межмашинных связей Cray XT3 является традиционной для МРР-систем фирмы Cray - трехмерный тор (3D-тop). В вершинах такой тороидальной структуры находятся локальные коммутаторы SeaStar.
Коммуникационная сеть Cray XT3 характеризуется высокой пропускной способностью (7,6 Гбайт/с), низкой латентностью (средним временем задержки при межпроцессорных обменах - около 3 нс).
Конструктивные особенности системы Cray XT3
ВС Cray XT3 компонуется из стоек, в каждой из которых может размещаться до 96 элементарных процессоров. Возможные конфигурации ВС и их характеристики:
* При использовании одноядерного процессора, 2,4 ГГц.Число стоек Структура ВС - фрагмент 3D-тора: N(x,y,z) Число процессоров Пиковая производительность, TFLOPS Емкость памяти, Тбайт вычислительных сервисных А* В** 6 576(6×12×8) 548 14 2,6 5,6 4,3 24 2304(12×12×16) 2260 22 10,8 23,4 17,7 96 9216(24×16×24) 9108 54 43,7 94,6 71,2 320 30720(40×32×24) 30508 106 147 318 239
** При применении двухъядерного процессора, 2,6 ГГц.
При формировании ВС Cray XT3 используют конструктивные модули двух типов - вычислительные и сервисные. Первые модули включают в себя четыре вычислительных ЭП, а вторые - два сервисных ЭП. Количество ЭП, находящихся в модуле, и определяет минимальный фрагмент для масштабирования структуры ВС.
Размер стойки - 204,5×57,2×144,1 см3, ее масса - 694 кг, потребляемая мощность - 14,5 кВт.
Программное обеспечение Cray XT3
В состав программного обеспечения Cray XT3 входят масштабируемые операционная система UNICOS/lc и среда программирования. Операционная система UNICOS/lc (модифицированная UNICOS/mk, позволяющая эффективно функционировать конфигурациям до 120000 процессорных ядер).
Основу системы UNICOS/lc составляют два компонента - микроядро для вычислительных элементарных процессоров и полнофункциональная ОС для сервисных ЭП.
Среда программирования для суперВС Cray XT3 представлена компиляторами FORTRAN 77, 90, 95 и С, С++, коммуникационными библиотеками (в частности, MPI 2.0), математическими библиотеками программ и др.
Система обеспечения надежности и управления Cray XT3
СуперВС Cray XT3 оснащена аппаратурно-программной системой CRMS (Cray RAS and Management System; RAS - Reliability, Availability, Serviceability - надежность, готовность, обслуживаемость), которая обеспечивает мониторинг, идентификацию неисправностей и восстановление. В состав CRMS входят специальные управляющие процессоры и гигабитная супервизорная сеть, а также программный комплекс, размещенной в рабочей станции. В каждой стойке установлено 24 процессора для управления вычислительными и сервисными модулями и один процессор для связи с рабочей станцией.
Система CRMS осуществляет мониторинг всех основных и аппаратурных, и программных компонентов Cray XT3. Кроме того, CRMS контролирует включение и выключение электропитания и последовательность начальной загрузки, управляет коммуникационной сетью и выводит на дисплей информацию о состоянии ВС для системного администратора.
Система CRMS - независимая, ее рабата не отвлекает ресурсы ВС, занятые при выполнении пользовательских программ.
Система ввода-вывода Cray XT3
Система ввода-вывода суперВС является высоко масштабируемой параллельной файловой системой. Она реализована как массив дисков, подключенные к сервисным элементарным процессорам. Высоконадежные диски со световодными каналами и контроллеры обеспечивают скорость ввода-вывода информации до 100 Гбайт/с.
Дополнительная:
Ключевые термины (головные): Cray; Системы с массовой параллельной обработкой;
Федотов Анатолий Михайлович |
НГУ ФИТ НГУ ИВТ СО РАН |