«Наука в Сибири» № 37 (2223) 24 сентября 1999 г. ОТ ПОСЛЕДОВАТЕЛЬНЫХ ВЫЧИСЛЕНИЙ -- К ПАРАЛЛЕЛЬНЫМ! В.Малышкин, доктор технических наук. Исследования параллельных вычислений ведутся в институте с начала шестидесятых годов, но только в 1987 году, 1 апреля, организовался отдел математического обеспечения высокопроизводительных вычислительных систем на базе лаборатории системного программного обеспечения и исследовательской группы синтеза параллельных программ. Целью такого объединения было создание крупноблочного мультикомпьютера и его параллельного программного обеспечения, предназначенного для реализации математических моделей в физике. Первым результатом работы отдела стала вычислительная система "Сибирь", ориентированная на обработку сейсмических данных. Это было немалым успехом -- вычислительный комплекс с пиковой производительностью в 100 Мегафлопс со всем необходимым параллельным системным программным обеспечением. Разработка отмечена в числе достижений 1989 года. Отдел проводит комплексные исследования в различных областях параллельных вычислений. Исследования концентрируются в параллельных архитектурах, формальных моделях параллельных вычислений, параллельных языках и системах, синтезе параллельных программ, организации параллельных вычислений на мультикомпьютерах, параллельном решении задач большого размера, клеточных вычислениях. Если ранее исследования носили теоретический характер, то в последнее десятилетие с появлением промышленных мультикомпьютеров началось использование научных результатов. В основном они связаны с разработкой методов реализации реалистических математических моделей большого размера в физике. Реализация моделей большого размера стала возможной с разработкой сборочной технологии параллельного программирования, ориентированной на задачу использования численных моделей на параллельных мультикомпьютерах. Эта задача очень проста для последовательных ЭВМ, но весьма сложная для параллельных. Причина сложности -- в динамизме поведения физических моделей, что приводит к динамизму объектов параллельной программы. Штатного программного обеспечения мультикомпьютеров оказалось недостаточно и понадобилась разработка специализированных систем программирования. К особенностям параллельной реализации численных методов относятся и влияние ошибок округления. Эта проблема важна и при последовательной реализации. Параллелизм исполнения и большой размер задач значительно увеличивает возможности таких ошибок. В отделе в течение ряда лет проводятся исследования, направленные на снижение влияния ошибок на вычислительный результат. В ходе работ по проекту СПАРФ создана группа пакетов прикладных программ, обеспечивающих программирование численных алгоритмов с требуемой точностью для параллельных компьютеров различного типа. Разработаны высокоточные алгоритмы решения задач матричного анализа, систем линейных алгебраических уравнений, уравнений математической физики при решении прикладных задач вибрационной конвекции, механики жидкости, моделирования различных физических явлений. Современная технология организации параллельных вычислений разделяется на два типа параллелизма: крупноблочный и мелкозернистый. Такое дифференцирование общепринято. При этом стоит отметить, что крупноблочный параллелизм относится к компьютерным системам, составленным из множества (десятки, сотни) мощных связанных компьютеров (процессоров), формирующих сеть. В то время как мелкозернистый параллелизм свойственен вычислительным системам, включающих огромное число (десятки и сотни тысяч) относительно простых вычислительных элементов. Сам термин "мелкозернистый параллелизм" показывает простоту и быстроту любого вычислительного действия. Характерная особенность мелкозернистого параллелизма -- приблизительное равенство интенсивности вычислений и обмена данными. В настоящее время для мелкозернистых вычислений используются следующие классы моделей: клеточные автоматы, систолические массивы, ассоциативные вычислительные структуры, нейронные сети и клеточно-нейронные сети. В отделе исследования мелкозернистого параллелизма проводились и проводятся для всех перечисленных моделей. Исследователи считают, что мелкозернистый параллелизм будет привлекательным, поскольку в его рамках возможно найти лучшие (например, относительно временных характеристик) параллельные алгоритмы для решения многих важных практических проблем как числовых, так и нечисловых. Кроме того, некоторые проблемы могут быть решены только в рамках некоторой мелкозернистой параллельной модели вычислений (например, решение трудно формализуемых задач нейронными сетями с использованием процесса обучения). Практическую важность мелкозернистого параллелизма можно изложить в двух фактах: во-первых, это источник методов для решения сложных проблем на современных мультипроцессорных компьютерных системах, и во-вторых, многие реальные и гипотетические процессоры специального назначения имеют мелкозернистую параллельную архитектуру. В частности, отделом предложена и исследована формальная модель распределенных вычислений в клеточных пространствах (алгоритмы параллельных подстановок -- АПП. Она охватывает практически все известные модели мелкозернистых вычислений. Разработаны конструктивные методы асинхронной композиции АПП и их эквивалентных преобразований; получены условия детерминированности и завершаемости клеточных вычислений. Проведенные исследования послужили базой для построения открытой системы имитационного моделирования мелкозернистых вычислений (WinALT), отличающейся широким набором средств визуализации, конструирования и отладки. Эта система позволяет моделировать широкий круг устройств от клеточных автоматов до нейронных сетей. С ее использованием построены модели высокопроизводительных трехмерных вычислительных устройств с простой топологией отдельного слоя и массовыми межслойными связями, ориентированных на современную оптическую технологию. Она также позволяет изучать процессы формирования образов клеточно-нейронными сетями, напоминающими возникновение структур в физико-химических и биологических явлениях; автоволновые процессы, протекающие в реакционно-диффузионных системах; и клеточно-автоматные модели диффузионных процессов. Разработанные алгоритмы обучения ассоциативной памяти с локальными связями обеспечивают наилучшие характеристики среди всех известных алгоритмов обучения. стр.