FORTRAN: «продвинутые» возможности, высокопроизводительные вычисления

Какое-то время я отложил ведение блога... будем считать это летними каникулами! Сейчас опять появилось время/желание порассказывать о чём-нибудь интересном.

Одним из первых событий, которое про которое хотелось бы написать - выход продолжения моей статьи Fortran в Linux: вчера, сегодня, завтра!. В 63-м номере журнала "Open Source" была опубликована моя статья "FORTRAN: «продвинутые» возможности, высокопроизводительные вычисления", текст который можно прочитать и здесь:


Сегодня мы расскажем о «продвинутых» возможностях Фортрана: о многопоточных вычислениях, о возможности подключения C/С++ процедур при разработке приложений и о модной последнее время теме: о создании высокопроизводительных приложений, работающих на графических процессорах (технология CUDA).

OMG? Нет — OMP!

Итак, что такое OMP? Это аббревиатура от Open Multi-Processing — набор директив компилятора, библиотечных процедур и переменных окружения, которые предназначены для программирования многопоточных приложений на многопроцессорных системах с единой памятью на языках C, C++ и Fortran.

Разработку спецификации OpenMP ведут несколько крупных производителей вычислительной техники и программного обеспечения, чья работа регулируется некоммерческой организацией, называемой OpenMP Architecture Review Board (ARB). Эта организация публикует стандарты работы OpenMP — API. Первый стандарт API 1.0 для Фортрана был опубликован в 1997 году (для языка С — в 1998). В 2000 году вышел API 2.0 для Фортрана (для С — в 2002) . Версия 2.5 (вышла в 2005 году) объединяет спецификации для C/C++ и Fortran. Текущая версия API имеет номер 3.0 и опубликована в 2008 году.

В следующей таблице представлен список компиляторов, поддерживающих технологию OpenMP:

Производитель	Компилятор/Информация
GNU	Начиная с версии 4.3
	http://gcc.gnu.org/projects/gomp/ Версия OpenMP API — 3.0 Пример: gfortran hello.f -o hello.exe -fopenmp
IBM	XL Fortran V10.1
	www-01.ibm.com/software/awdtools/fortran/ Версия OpenMP API — 2.5 xlf90_r -qsmp=omp -o exename filename.f
Oracle	Sun Studio C/C++/Fortran
	http://docs.sun.com/app/docs/doc/820-7883 Версия OpenMP API — 3.0 -xopenmp опция компиляции
Intel	C/C++ / Fortran Intel Compiler
	http://software.intel.com/en-us/articles/getting-started-with-openmp/ Версия OpenMP API — 3.0 -Qopenmp в Windows, -openmp в Linux или Mac OSX
Portland Group Compilers and Tools	C/C++ / Fortran
	http://www.pgroup.com/resources/openmp.htm Версия OpenMP API — 3.0 compile with -mp
Absoft Pro Fortran	Absoft Pro Fortran Compiler
	http://www.absoft.com/Absoft%20Compilers.htm параметр: -openmp
Lahey/Fujitsu Fortran 95	C/C++ / Fortran
	http://www.compunity.org/resources/compilers/fujitsu/index.php
PathScale	C/C++ / Fortran
	http://www.pathscale.com/ws/docs/3.1/UserGuide.pdf -mp опция компиляции
HP	C/C++ / Fortran
	http://docs.hp.com/en/B3909-90031/B3909-90031.pdf +Oopenmp опция компиляции

Как видно, практически все современные компиляторы поддерживают эту технологию. Основной сайт, посвящённый OpenMP.

В OpenMP используется модель параллельного выполнения "ветвление-слияние". Программа начинается как единственный поток выполнения (называемый начальным потоком). Когда он встречает параллельную конструкцию, создаётся новая группа потоков, состоящая из главного и некоторого числа дополнительных потоков. Все члены новой группы (включая главный) выполняют код внутри параллельной конструкции. После параллельной конструкции выполнение пользовательского кода продолжает только главный поток. В параллельный регион могут быть вложены другие параллельные регионы, в которых каждый поток первоначального региона становится основным для своей группы потоков. Вложенные регионы могут в свою очередь включать регионы более глубокого уровня вложенности.

В качестве простейшего примера можно рассмотреть следующую программу (fortran free-form, взято из Википедии):

1.  
2. program hello90
3.     use omp_lib
4.     integer:: id, nthreads
5.  
6.     !$omp parallel
7.     private(id) id = omp_get_thread_num()
8.     write (*,*) 'Hello World from thread', id
9.     !$omp barrier
10.     if ( id == 0 ) then
11.         nthreads = omp_get_num_threads()
12.         write (*,*) 'There are', nthreads, 'threads'
13.     end if
14.     !$omp end parallel
15. end program
16.  

Как видно, директивы для параллелизации оформляются в виде специальных комментариев. На их основании компилятор строит код для параллельного вычисления. Количество нитей вычисления может быть определено при компиляции.

Конкретная реализация многопоточности определяется компилятором, который вы используете. В таблице, приведенной выше, указаны ссылки, по которым можно найти информацию о параметрах и настройках компиляторов. Вот здесь вы сможете найти множество примеров реализации распараллеливания вычислений (в том числе для компиляторов gfortran и Ifort).

C/C++ и Fortran — братья на век!

Иногда при разработке сложных программ возникает необходимость использовать/создавать процедуры или функции, написанные на других языках. Такой подход называется «смешанное программирование» (Mixed Language Programming). Нас интересует возможность использовать функций, написанных на С/С++ в Фортране и наоборот. Такая возможность существует, однако при этом важно учитывать соглашения об именах, принятые в этих языках.

По умолчанию компилятор фортрана преобразует буквы в именах подпрограмм в верхний регистр. Компилятор С такое преобразование не выполняет, следовательно, подпрограмме, написанной на С и вызываемой из программы на фортране, следует присвоить имя с учётом правильного регистра: CALL ABPROC (I, X)
Соответствующая данному вызову подпрограмма С должна содержать буквы в верхнем регистре.

Следующая проблема, которую необходимо решить при смешанном программировании — передача параметров подпрограмм. По умолчанию, параметры подпрограмм в Фортране передаются по ссылке, то есть передаётся указатель на значение, а не само значение. В С наоборот, передаются значения параметров. С учётом этого, если из программы в Фортране вызывается функция, написанная на языке С, её формальные параметры необходимо описывать как указатели на соответствующие типы данных. Если наоборот, — программа на С содержит вызов подпрограммы на Фортране, каждый фактический параметр необходимо явно описать как указатель:

FORTRAN: call subra( i, x)

C: subra_( int *i, float *x)

Также следует помнить о различиях в типах данных, принципах формирования массивов. Достаточно подробно эта информация описана на этой странице.

CUDA — вычисления на графических процессорах

CUDA (англ. Compute Unified Device Architecture) — технология, позволяющая программистам реализовывать алгоритмы, выполнимые на графических процессорах ускорителей GeForce восьмого поколения и старше (GeForce 8 Series, GeForce 9 Series, GeForce 200 Series), Nvidia Quadro и Tesla компании Nvidia.

Первоначально технология CUDA позволяла включать в текст программ специальные функции (написанные на особом диалекте С), которые выполнялись на графическом процессоре. Сейчас программирование для CUDA доступно в том числе для следующих языков: Python, Java, .NET, MATLAB и Fortran.

Вот здесь, например, можно найти библиотеку, которая позволяет в интегрировать приложения Фортрана функции, выполняемые на графических процессорах. Данная библиотека является бесплатной и доступна как для Windows так и для Linux операционных систем. В среде Linux заявлена поддержка g77/gfortran компиляторов, а так же компилятора от фирмы Intel — ifort. В Windows данная библиотека может быть использована с Intel Visual Фортраном.

Другим компилятором, в котором реализована данная технология, является компилятор от фирмы Portland Group: PGI CUDA Fortran Compiler. Данный компилятор является коммерческим, а разработан он совместно с компанией Nvidia.

Стоит также упомянуть о библиотеке flagon, которая также предоставляет возможность использовать технологию CUDA при работе с Фортраном. Данная библиотека разрабатывалась как коммерческий продукт компанией «Fantalgo, LLC», однако позже была выложена под открытой лицензией LGPL.