МЕТОДЫ И СИСТЕМЫ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ В НАУЧНЫХ ИССЛЕДОВАНИЯХ

Стремительный прогресс вычислительных мощностей компьютерных систем и вместе с этим возрастающий уровень сложности решаемых задач ставит перед исследователями проблему эффективности использования современных вычислительных комплексов в области физики, химии, геологии, биологии и других фундаментальных направлений современной науки.

В настоящее время система Blue Gene/L состоит из 32 стоек, каждая из которых содержит по 1024 двуядерных процессора PowerPC. Ожидается, что в ближайшее время количество стоек Blue Gene/L будет увеличено еще в два раза. Теоретически это позволит добиться производительности в 270 терафлопс.

В рамках проекта «Колумбия» в 2004 г. агентством NASA принято решение о создании кластера из 20 512 - процессорных систем SGI Altix 512, который в общей сложности содержит 10 240 процессоров Intel Itanium 2. Этот кластер значительно расширит возможности агентства и обеспечит создание симулятора исследований космоса и моделирование климата. Новый суперкомпьютер расположен в исследовательском центре NASA Ames Research Center в Калифорнии. С его созданием производительность вычислительных систем NASA увеличится в 10 раз (до 53 терафлопс). Основная цель проекта «Колумбия» - расширить возможности суперкомпьютерных систем NASA посредством развертывания интегрированной среды вычислений, визуализации и хранения данных.

В марте 2005 г. компанией SGI в Институте исследований атомной энергии Японии (Japan Atomic Energy Research Institute - JAERI) введён в эксплуатацию гигантский кластер SGI Altix 3700 Вх2, состоящий из 2048 процессоров Intel Itanum 2. Совокупный объём оперативной памяти нового суперкомпьютера составит 13 терабайт В качестве операционной системы используется Linux.

ие 1

Предполагается задействовать JAERI для исследований в области ядерной энергии и термоядерного синтеза.

Японская корпорация NEC разработала суперкомпьютер SX-8, способный выполнять до 65 триллионов операций с плавающей запятой в секунду. Система состоит из 4096 процессоров и может содержать до 64 Тб оперативной памяти. В 2004 г. в компьютерном центре Штутгардского университета HLRS корпорацией IBM при финансовой поддержке правительства Еермании был установлен кластер серверов NEC Express 5800/Re-l. Кластер объединяет более 400 процессоров Intel Хеоп с 64-разрядными расширениями, использующих шину PCI Express. Вычислительная мощность кластера составляет 2,5 терафлопс. Кластер оснащен программным обеспечением Intel: компиляторами, библиотеками, оптимизаторами производительности, инструментами для разделения потоков и инструментарием Intel для кластеров. Кластер предназначен для работы независимых исследователей, исследовательских организаций, научных учреждений и предприятий, позволяя проводить сложные научные исследования в таких областях, как физика твердых тел, астрофизика, вычислительная гидродинамика и моделирование турбинных установок.

Китай объявил о создании суперкомпьютера с производительностью 11 терафлопс и, таким образом, стал в 2005 г. третьей в мире страной, чья вычислительная техника в производительности преодолела порог в 10 терафлопс. Суперкомпьютер имеет название «Шугу- ан-4000А» и установлен в Шанхае. Вычислительная машина связана с научно-исследовательскими центрами в Пекине, которые могут использовать ее для своих вычислений. Комплекс построен на основе 2000 процессоров и представляет собой кластер на базе ОС Linux.

В Польше Intel совместно с 12 местными университетскими Центрами и координатором проекта - техническим университетом в Ченстохове представила кластер на базе ОС Linux - CLUSTERIX. Эта географически распределенная вычислительная среда, оснащенная 802 процессорами Intel Itanium 2.

В России на первом месте с производительностью в тесте Unpack 2 терафлопс находится компьютер «СКИФ К-1000», созданный в рамках российско-белорусской программы «СКИФ» и установленный в Минске. Данный вычислительный комплекс ориентирован на решение научных задач в таких областях, как биологические науки, гидродинамика, квантовая химия, динамика молекул, астрономия и космические исследования, моделирование климата, аэродинамические исследования.

В области создания высокопроизводительных систем для сложных графических приложений компания SGI разработала станцию Опух 4 UltimateVision, может масштабироваться до 64 процессов MIPS и 32 графических подсистем. Опух 4 обеспечивает в 8 раз лучшую производительность, имеет в 5 раз меньшие размеры и в 5 раз меньше стоит, чем предыдущее поколение систем Опух.

Опух 4 также включает в себя лучшие в классе графические компоненты и множество новых возможностей. Одна из таких возможностей - программируемый графический конвейер, обеспечивающий улучшенный реализм и позволяющий перевести часть расчетных задач с центрального процессора на графическую подсисте

му. Эта возможность резко ускоряет визуализацию и делает возможным создание в реальном времени более сложных и реалистичных изображений.

Система Опух 4 Ultimate Vision разработана для решения наиболее сложных задач комплексной визуализации, таких как, например, трехмерный рендеринг автомобиля в реальном времени, детальная интерпретация сейсмики, сложное научное

моделирование (рис. 2). Разработчики и инженеры могут легко смоделировать фотореалистично выглядящий автомобиль и проводить его испытания, в том числе краш-тесты.

При обработке медицинских изображений. Опух 4 ускоряет диагностирование и помогает докторам идентифицировать заболевание на более ранних сроках. Возможности программирования графики позволяют специалистам на лету изменять цвет и прозрачность изображений сканирования, помечать человеческие органы различными маркерами и быстро изолировать их для детального исследования.

В дополнение к этому SGI анонсировала выпуск самой производительной в мире линейки визуализационных компьютеров на базе ОС Linux - Silicon Graphics Prism.

SGI впервые представила свои наиболее продвинутые компьютерные и графические технологии на базе стандартных процессоров Intel Itanium 2 с использованием ОС Linux. Комбинация процессоров Intel Itanium 2, операционной системы Linux и стандартных графических акселераторов от ATI делает систему Silicon Graphics Prism мощной, но в то же время доступной по цене (начиная с 30000$).

Таким образом, современная компьютерная техника, используемая в численном эксперименте, позволяет проводить расчеты объектов и процессов окружающего мира в цифровых моделях, во многом адекватно отражающих потребности исследований. Однако при этом существенно возрастает трудоемкость работ по подготовке исходной информации, а также интерпретации результатов расчета. Ярким примером вышеуказанной проблемы являются задачи механики сплошной среды, возникающие при проектировании новой техники.

Рис. 3

Например, описание исходной модели в задачах трехмерного моделирования аэродинамики и прочности самолетов может достигать порядка нескольких миллионов единиц числовой информации и более. Анализ характера полученных результатов расчета объемного обтекания и распределения нагрузки в конструкции летательного аппарата также является весьма громоздкой задачей для исследователя (рис. 3). Таким образом.

время на подготовку информации для компьютера и обработки полученных результатов значительно превосходит время расчета задачи на ЭВМ.

Рис 4

Изучение и диагностика результатов компьютерной реконструкции данных медицинской томографии относительно объектов человеческого организма, в том числе таких важных и

сложных, как структура мозга, может занять дни или даже недели только для одного исследуемого образца (рис. 4).

Очевидно, что человеческая способность по скорости цифрового анализа уступает возможностям даже обычных калькуляторов, в тоже время визуальное оценивание численных моделей, представленных в графическом виде, способно компенсировать проблему человеко-машинного интерфейса. Поскольку скорость восприятия и обработки визуальной информации человеком значительно превосходит его возможности арифметико-логических манипуляций с данными В этой связи потребовался поиск человеко-машинного интерфейса, позволяющего оперативно управлять ходом вычислительного эксперимента посредством визуализации моделируемых объектов и управления ими в интерактивном режиме с использованием зрительных, слуховых, тактильных и др. органов чувств исследователя.

Разработка такого интерфейса привела к возникновению термина - «виртуальная реальность». Основу систем «виртуальной реальности» составляет высокопроизводительный компьютер, обладающий достаточным быстродействием и графическими возможностями для формирования цветных изображений с высоким разрешением. Для взаимодействия с «виртуальной реальностью» используются как стандартные устройства типа клавиатур, мышек, планшетов, так и специальные, позволяющие вводить не только три координаты, но и задавать вращения вокруг осей, а также специальные перчатки данных, передающие информацию о руке пользователя (положение, ориентация и сгибание пальцев).

В настоящее время одним из наиболее популярных устройств для взаимодействия с виртуальным пространством является разработка фирмы Fakespace Systems Inc. под названием Wand (рис. 5). Фирма выпускает два устройства этого класса: V-Wand и NeoWand.

V-Wand напоминает по внешнему виду пульт дистанционного управления с закрепленным в центре шаром, рядом с которым находятся трн программируемые кнопки.

Рис 5

Широкое внедрение в практику научных исследований вычислительных систем, оснащенных развитыми средствами ввода и отображения графической информации в интерактивном режиме, способствовало формированию новой дисциплины - визуализации научных исследований в режиме «виртуальной реальности». Методы трехмерной компьютерной визуализации становятся важнейшим элементом процессов численного экспериментирования в науке (рис. 6). Прогресс в этом направлении определяется в первую очередь разработкой методов ввода и вывода информации в удобной для человеческого восприятия трехмерной форме. Конструирование систем объемного отображения компьютерной информации основано на принципах аналоговой и цифровой голографии, а также развития идей создания изображений в виде нескольких последовательных ракурсов объемной сцены, любые два из которых составляют стереопару.

Изображение может быть монохромным, цветным и интерактивным (содержать программно-синтезируемые метки, указатели, слои разрезов). Технология изобразительной аналоговой голографии уже позволяет снимать очень точные копии реальных объектов (физически существующих) с масштабом передачи - примерно 11. Съемка производится на мастер-голограмму и потом тиражируется в любом количестве. Размер объектов от 10x12 до 40x60 см с глубиной сцены до 30 см.

Технология цифровой голографии основана на компьютерном синтезе толограмм на основе трехмерных моделей. Цифровая голография позволяет рассчитать голографическую матрицу по имеющейся в компьютере трехмерной модели и физически изготовить ее с использованием специального станка. После этого производится тиражирование объемного изображения на различные материалы (термопластичные ленты или на фотополимерные пленки). Трехмерные дисплеи осуществляют прямой вывод трехмерного изображения, рассчитанного компьютером. Это изображение может быть статическим или динамическим, т. е. управляться так же, как и в обычном плоском мониторе. Просмотр таких изображений не требует специальных технических средств (типа очков) и изображение видно с разных точек зрения, как и реальный объект.

Семнадцать крупных хайтек-компаний объявили о формировании альянса 3D Consortium, задачей которого станет вывод на массовый рынок «объемных» дисплеев, способных создавать у пользователя иллюзию трехмерного изображения без применения специальных вспомогательных средств (очков и т. п.). Альянс, в состав которого вошли, в частности, Sony, Sharp, Microsoft, Kodak и Olympus, займется разработкой технологий для производства больших объемных мониторов, стандартизацией их интерфейса, созданием базового программного обеспечения и специальных алгоритмов для генерации ЗО-изображения. В ближайшие годы индустрию объемных дисплеев ждет бурное развитие. По прогнозам участников 3D Consortium, объем только японского рынка к 2008 году может достичь почти десяти миллиардов долларов. Так, например, для обычных персональных компьютеров компания Sharp Systems of America, подразделение корпорации Sharp Electronics, в 2004 году

анонсировала выпуск нового 15- дюймового настольного монитора, обладающего всеми возможностями фирменной технологии 3D LCD По мнению создателей данного устройства, наибольшей популярностью объемный монитор будет пользоваться в различных наукоемких областях, таких как создание новых лекарств, медицинские исследования, автоматизированное проектирование и пр.

Устройство Sharp LL-151-3D (рис. 7) представляет собой 15-дюй- мовый жидкокристаллический монитор, способный демонстрировать полностью трехмерные изображения без привлечения каких- либо дополнительных технических средств, вроде 3D-04K0B и т. д. При этом монитор может работать и в обычном режиме, ничем не отличаясь от других 15-дюймовых ЖК-мониторов. Эффект объема достигается путем создания сложной оптической иллюзии, основанной на эффекте «барьера параллакса». В результате в каждый глаз наблюдателя будет попадать только то изображение, которое для этого глаза предназначено. Разрешение такой объемной сцены составляет 1024x768 точек.

Многопользовательские, ориентированные на большие аудитории, установки виртуального окружения создаются на основе крупномасштабных проекционных систем. В настоящее время существуют три основных типа проекционных систем.

Рис 8

CRT-проекторы используют три электронно-лучевые трубки, производящие красную, синюю и зеленую компоненты изображения, сведенные вместе и сфокусированные на экран (рис. 8). LCD- проекторы имеют три жидкокристаллических панели и яркий источник, свет которого разделяется на красную, синюю и зеленую компоненты, пропускается через соответствующие панели, затем вновь объединяется и проецируется на экран. DLP-проекторы используют специальную плату, состоящую из множества микроскопических зеркал, каждое из которых имеет два положения: отражающее свет в линзу с дальнейшим попаданием на экран, и отклоняющее его от линзы. Зеркала могут переключаться в течение микросекунд (десятки тысяч раз за кадр), что позволяет модулировать сигнал для получения непрерывных переходов яркости для каждого пикселя. Переключение цветовых компонент обычно производится с помощью быстро вращающегося колеса с тремя светофильтрами.

Стереоскопические проекционные системы основаны на раздельной передаче изображений для левого и правого глаза, вследствие чего пользователь наблюдает стереоскопический эффект. Имеются два способа передачи стереоизображения. Активная или последовательная схема использует поочередную проекцию изображения для левого и правого глаза на экран и специальные жидкокристаллические («затворные») очки с поочередно затемняющимися стеклами, синхронизованными с изображением с помощью инфракрасного излучателя. Таким образом, каждый глаз получает предназначенное для него изображение. В данной схеме необходимо использовать проекторы с большой частотой вертикальной развертки, обычно 120 Гц (60 кадров в секунду для каждого глаза). В пассивной схеме разделение изображений обычно производится с помощью поляризации света. При этом используются два проектора, снабженных поляризационными фильтрами, ориентированными ортогонально друг относительно друга. Оба изображения одновременно проецируются на экран из специального материала, обладающего минимальной степенью деполяризации отраженного света. Для прямой проекции, при которой зрители и проекторы находятся по одну сторону экрана, и обратной проекции, при которой они находятся по разные стороны, используются материалы разного типа. Для наблюдения используются очки с поляризационными фильтрами, ориентированными параллельно соответствующим фильтрам проекторов, вследствие чего каждый глаз получает предназначенное для него изображение (рис. 9).

Для поддержания ощущения полного погружения в виртуальную реальность важной компонентой является система слежения за положением головы (точнее, глаз) пользователя (системы трекинга). Существуют множество таких систем, основанных на разных прин-

_ _ ципах: механические, электро

I’llL 9

магнитные, оптические, ультразвуковые. Используя данные системы слежения, графический обработчик производит отри- совку сцены, соблюдая правильную перспективу для точки зрения пользователя. Наиболее популярные и наиболее дорогостоящие электромагнитные системы слежения регистрируют

положение, а также ориентацию датчиков (размером 1 см3), прикрепляемых к затворным очкам и другим предметам, используемым в качестве устройств взаимодействия.

Приведем примеры некоторых конкретных реализаций крупномасштабных проекционных систем.

CyberStage - разработанная в Фраунгоферовском Институте Медиакоммуникаций (FhG ІМК) проекционная система размером 3 мх 3 мх2,4 м, которая включает (рис. 10):

- четырехстороннюю CRT-проекцию активных стереоизображений с шаттр-очками (Crystal Eyes), используемыми для объемного восприятия;

- восьмпканальную пространственную проекцию звука, дополненную излучателями вибрации, встроенными в пол;

- датчики Polhemus Fastrak, контролирующие положение и ориентацию глаз пользователя и различных устройств взаимодействия (указка, джойстик и т. п.);

- суперкомпьютер SGI Опух 2 с четырьмя графическими подсистемами Infinite Reality 2 и двенадцатью процессорами MIPS R12000, производящими четыре изображения 1280 х 1024 пикселов с частотой 120 Гц.

Responsive Workbench - разработанная в Фраунгоферовском Институте Медиакоммуникаций (FhG ІМК) двухэкранная активная стерео-проекционная система. В качестве основного графического вычислителя в этой системе может использоваться суперкомпьютер SG1 Опух с двумя графическими подсистемами Infinite Reality, производящий два изображения 1280x1024 пикселей с частотой 96 Гц.

ICUBE от американской компании Viz-tek, которая представляет из себя примерно то же самое, что и CyberStage, но на основе кластера PC с использованием обычных графических карт от NVIDIA (рис. 11). Такая система хоть и имеет несколько меньшую производительность по сравнению с CyberStage, но при этом гораздо дешевле.

Еще менее дорогостоящие, но также весьма эффективные мобильные системы виртуального окружения ѴЕопРС, разработанные компанией VE-Group совместно с Институтом физико-технической информатики (Россия) состоят из:

Рис и

- проекционной системы, включающей два LCD или DLP проектора, снабженных поляри

зационными фильтрами, специальный экран, обладающий наименьшими деполяризующими свойствами, прямую проекцию изображения, поляризационные очки;

- одной или двух графических станций - персональных компьютеров с графическими подсистемами NVIDIA Quadro;

- вспомогательного персонального компьютера, используемого для синтеза звуковых эффектов, выполняющего также роль файл- сервера и маршрутизатора.

Исторически наиболее развитой системой современной трехмерной визуализации, используемой в научных исследованиях, является технология CAVE (Cave Automatic Virtual Environment). Система CAVE была создана в лаборатории электронных средств визуализации Университета штата Иллинойс, занимающейся исследованиями в области интерактивной компьютерной графики. Cave рассчитана на восприятие виртуальной реальности сразу многими пользователями. Эта технология представляет собой комнату, стены и пол которой сделаны из специального покрытия, на которое проецируется стереоизображение специально разработанными для этих целей тремя или более проекторами. Вся система работает под управлением рабочей станции на базе высокопроизводительной платформы Silicon Graphics. В состав установки Cave помимо мощной графической станции входят специальные устройства (системы трекинга), которые фиксируют все движения человека, находящегося в так называемой «виртуальной среде», чтобы соответствующим образом менять и окружающие его изображения. Исследователь может изучать объект, передвигаясь вокруг или внутри его виртуального образа (рис. 12).

Суперкомпьютер или кластер графических станций PC управляет проекторами этой системы, а также проводит цифровое моделирование для визуализации биологических молекул (VMD), климата (Vis5D), в океанографии и метеорологии (Cave5D), в визуализации анатомических данных, полученных с электронного микроскопа (CMDA), для нейро-анатомического анализа (NEUROLIDA) и в других проектах.

В России, помимо Института Физико-технической информатики, разработками систем и технологий виртуальной реальности занимаются ГосНИИАС, Исследовательский центр искусственного интеллекта РАН, Санкт-Петербургский институт информатики РАН. Психологические исследования виртуальной реальности ведутся в лабораториях Института человека РАН.

Рис 13

Рис 12

В Санкт-Петербургском государственном политехническом университете в лаборатории виртуальной реальности установлен программно-аппаратный комплекс WorkBench стереоскопической визуализации. Результаты выполненных в лаборатории исследований по компьютерному моделированию газодинамических процессов, динамики механических систем визуализируются как сцены трехмерной виртуальной реальности (рис. 13). Программно-аппаратный комплекс WorkBench позволяет наблюдателю «погрузиться» в виртуальный мир исследуемой модели и помогает обнаруживать новые эффекты, которые часто оказываются скрытыми при визуализации на плоском мониторе или экране.

Комплекс предназначен для совместной работы в среде COVISE инженеров и специалистов, находящихся в различных географических местах, с помощью компьютерной сети. Работа инженеров может быть произвольно распределена на различных компьютерных платформах.

Одним из замечательных достижений последних двух десятилетий в научных исследованиях является создание методов компьютерной диагностики на основе применения аппаратов медицинской томографии. Томографическое сканирование параллельных (или расположенных под заранее заданными углами) срезов человеческих органов и их трехмерная компьютерная реконструкция дает возможность строить визуальные образы зон диагностического интереса (рис. 14). В связи с этим в последние два десятилетия активно развивается объемное представление элементов зоны диагностического интереса с использованием технологии «виртуальной реальности».

Рис. 14

В общем случае принципиальная схема компьютерной трехмерной диагностики в медицинской томографии с использованием средств «виртуальной реальности» может быть представлена приведенной ниже схемой (рис. 15).

Рис 15

В области разработки программного обеспечения систем «виртуальной реальности» в научных исследованиях активно используются такие универсальные системы, как Avango, Cave5D, VR Juggler и V++ и др. Avango - это графическая система и программная среда для создания распределенных интерактивных приложений виртуальной реальности. Avango основан на графической системе OpenGL Performer фирмы SGI, которая обеспечивает качественное исполнение приложения и удовлетворяет специальным требованиям, возникающим при разработке приложений для виртуального окружения. Avango использует язык программирования C++ для определения двух категорий объектов - узлы и датчики. Узлы составляют объектно-ориентированный граф сцены, который осуществляет представление изображаемой геометрической модели. Датчики обеспечивают связь с реальным миром и используются для ввода данных с внешних устройств в приложение. Программный комплекс Cave5D используется для совместной работы над большими объемами научных данных, представленных в виде наглядных трехмерных графических образов. Программные комплексы для создания приложений систем «виртуальной реальности» VR Juggler и V++ распространяются бесплатно через Интернет, при этом доступны исходные коды этих систем.

В заключение отметим, что применение методов «виртуальной реальности» в научных исследованиях только начинается. В этой области еще предстоит провести большую работу не только по усовершенствованию технических средств, но также по разработке эффективных математических алгоритмов компьютерной графики и распознавания образов графических объектов, отражающих реальный мир. В наших исследованиях в рамках идеологии систем виртуальной реальности предлагается способ создания биоинформацион- ной системы, описывающей организм человека с любой доступной на данный момент степенью точности. Проект является оригинальным развитием международной программы исследований Human Visual Base и выполняется силами сотрудников Вычислительного Центра ДВО РАН, Дальневосточного государственного медицинского университета. Хабаровского отделения Института прикладной математики ДВО РАН, Хабаровского государственного медицинского университета, Тихоокеанского государственного университета и Дальневосточного государственного университета путей сообщений в рамках исследований по грантам РФФИ 01-07-96316 и 04-07-97002.