Введение

ПРИТЧА Раз при Горохе, при царе, его три сына, опоясав сабли, пошли в поход. Но во дворе сын старший наступил на грабли. И средний сын ступил ногой на грабли, выразившись всяко. Тут пригорюнился меньшой. Да, делать нечего, однако... А.Ману

Нет, нет и еще раз нет. Мы и сами не хотим, и Вам не желаем оказаться на месте младшего брата. Поместив данную притчу в самое начало книги, мы возложили на нее роль, не совсем характерную для эпиграфа. Это не основная мысль данной работы. Это главная проблема, с которой нам приходится сталкиваться на практике и на которой нам хотелось лишний раз заострить внимание. При всей, казалось бы, очевидности предстоящего шага не нужно слепо следовать сложившимся стереотипам действий или же автоматически перенимать уже готовые решения. Быстро - это не всегда хорошо. Особенно в столь доступной, но динамичной, высокотехнологичной и тонкой области, как проектирование и использование кластерных вычислительных систем.

Появление вычислительных кластеров позволило значительно расширить масштаб применения высокопроизводительных компьютеров. Многие инженерные и технологические процессы в нефтегазовом секторе и машиностроении, фармацевтике и банковском деле, энергетике и телекоме, в биоинженерии и нанотехнологиях теперь существенно опираются на использование кластерных систем. То, что раньше можно было решить только на дорогих, а потому для многих практически недоступных суперкомпьютерах, сегодня можно сделать с помощью недорогих и эффективных кластерных систем. Массовое использование параллельных вычислительных технологий, чему первый основной толчок дали именно кластерные системы, стало характерной чертой нашего времени.

Приведенная в эпиграфе притча очень точно характеризует подход многих организаций к построению высокопроизводительных кластерных систем. Дело новое, но перспективное, опыта не много, но кластерные системы нужны, поэтому копирование архитектуры какого-либо уже существующего кластера рассматривается как вполне допустимый способ развития собственного проекта. Во многих случаях это оправдано, однако столь же часто использование чужого пути приводит к повторению одних и тех же ошибок. При этом все говорят об успехах, но почти никто не рассказывает о неудачах или же оказавшихся ошибочными на практике решениях, хотя именно на них нужно бы обратить внимание новичков кластерного дела, только приступающих к работам в данной области.

В данной книге мы попытались собрать вместе все те вопросы, которые нужно обдумать и решить, начиная с момента появления потребности в кластерной системе для решения конкретных задач, до проектирования, заказа, монтажа, настройки и тестирования кластера, чтобы в процессе будущей эксплуатации получить действительно эффективное по всем параметрам кластерное решение. При этом, книга создавалась не для того, чтобы предоставить набор готовых рецептов разрешения сложных ситуаций, хотя во многих случаях делается и это. Ставились иные цели. Прежде всего, мы хотим явно указать на те потенциальные проблемы, которые могут возникнуть на различных этапах работы с кластерными системами. Накопленный за многие годы опыт подсказывает, что список проблем немалый. Не в каждом проекте все подобные проблемы могут проявиться, у всех коллективов и проекты, и условия их реализации в чем-то различаются, однако "предупрежден -значит вооружен". Одновременно с этой задачей, мы хотим обратить внимание читателя и на многообразие возможных решений. Технологии быстро развиваются, привычные подходы нужно вовремя модифицировать или же просто переходить на новые методы работы. Кластерные технологии дают в руки мощный инструмент построения вычислительных систем, владение которым и понимание которого приводит к исключительно эффективным решениям.

И, наконец, самое важное. В вычислительном деле с задач все начинается, задачами определяется и по результатам их решения оценивается. Об этом нередко забывают, но это именно та идея, которая должна составлять фундамент любого кластерного проекта, иметь максимальный приоритет при принятии решений на каждом этапе создания кластера. Никто не покупает просто автомашину: разница в назначении представительского седана, карьерного самосвала, минивэна и бюджетного варианта народного автомобиля всем очевидна. Вместе с тем, задачи каждого класса машин полностью определяют особенности их компоновки, проектирования, технологического цикла производства и эксплуатации. В автомире это воспринимается как норма. Так должно быть и в мире кластерных систем. В этом основная цель данной книги.

Следует специально отметить, что, говоря о кластерах, мы имеем в виду высокопроизводительные вычислительные системы. Сам термин "кластер" в последнее время широко используется во многих областях: кластер высокой степени готовности, кластер для web-приложений, однако нам важна суперкомпьютерная, вычислительная сторона дела, которой и будет уделено основное внимание.

Представленный материал отражает как наш собственный опыт выполнения большого числа кластерных проектов, так и опыт, накопленный в кластерной отрасли в целом. Безусловно, много полезного мы получили от общения с нашими коллегами по лаборатории параллельных информационных технологий Научно-исследовательского вычислительного центра МГУ имени М.В.Ломоносова Антонова Александра и Стефанова Константина, за что выражаем им нашу искреннюю признательность. Мы исключительно благодарны сотрудникам корпорации Intel: Самофалову Виктору, Семину Андрею и Нарайкину Андрею за регулярно предоставляемую возможность работы на новых образцах вычислительной техники, за ценные советы, доброжелательность и внимательное отношение к нашей работе. Мы хотели бы поблагодарить корпорацию Intel, при поддержке которой данная книга была создана и вышла в свет. Наша особая благодарность Валентину Васильевичу Воеводину, учителю в науке и наставнику по жизни, общение и работа с которым всегда подталкивали к исследованию нового, приводили к интересным постановкам задач, к нетривиальным и неожиданным решениям. Спасибо.

Отдельные разделы книги написаны кратко, но дополнительный материал, последние новости и множество технических подробностей доступны на страницах информационно-аналитического центра по параллельным вычислениям в сети Интернет Parallel.ru. Там же по адресу http://ClusterBook.Parallel.ru размещен электронный вариант данной книги. В дискуссионном клубе центра можно обсудить возникшие вопросы или высказать предложения по тем направлениям, которые имело бы смысл раскрыть подробнее в последующих редакциях этой работы. Свои комментарии можно направить авторам и напрямую по электронной почте clusterBook@Parallel.ru. Мы будем признательны, если Вы поделитесь с нами своим личным опытом создания и использования кластерных систем, сложными вопросами и нестандартными ситуациями, возникшими по ходу реализации проектов, найденными вариантами их решения.

Успехов Вам и только удачных кластерных решений!