России нужны суперкомпьютеры
Повышение спроса на суперкомпьютерные технологии всегда является прямым следствием укрепления экономики в любой стране. Мировой рейтинг суперкомпьютеров Top500 (редакция июнь 2007 г.) показывает, что значительная доля систем сегодня принадлежит таким промышленно развитым государствам, как США (281 система), Великобритании (42 системы), Германии (24 системы) и Японии (23 системы), а также Китаю (13 систем). Список Top500 возглавляет разработанная корпораций IBM система Blue Gene/L (установленная в 2005 году в Ливерморской национальной лаборатории им. Лоуренса) с беспрецедентным показателем производительности в установившемся режиме — 280,6 TFlops (триллионов операций с плавающей точкой в секунду). Можно заметить, что в этот рейтинг попадают не просто уникальные разработки, а все суперкомпьютеры. Это пошло на руку Китаю: 6 позиций рейтинга занимают клоны одной и той же системы. В России используется только 5 суперкомпьютерных систем из Топ500. Правда, в предыдущей редакции рейтинга российских суперкомпьютеров было всего 2. Кроме всего прочего, это направление в нашей стране только начинает развиваться. В частности, не так давно МСЦ РАН объявил о строительстве нового суперкомпьютера с пиковой производительностью 80 TFlops. Эта система должна стать инструментом для проведения научно-технических расчетов, требующих больших вычислительных мощностей. До выхода июньской редакции 2007 г. Top500 только один суперкомпьютер стран СНГ мог похвастаться тем, что входит в первую сотню мирового рейтинга, причем это была занимающая ныне второе место в рейтинге стран СНГ система Межведомственного Суперкомпьютерного Центра Российской Академии наук. Ожидалось, что флагман российской отрасли суперкомпьютеров СКИФ Сyberia с займет в первой сотне мирового рейтинга место, более высокое, чем у соотечественника из МСЦ РАН. В момент запуска его производительность соответствовала 71-му месту Top500. Однако, в первом полугодии 2007 года появился 41 суперкомпьютер с большей производительностью, «благодаря» чему СКИФ Сyberia оказался за пределами первой сотни. Со своей стороны, Научно-исследовательский вычислительный центр МГУ им. М. В. Ломоносова и Межведомственный суперкомпьютерный центр (МСЦ) РАН регулярно представляют рейтинг Топ-50 самых мощных компьютеров в России и СНГ. По сравнению с предыдущей редакцией в этом году список значительно изменился — появилось тринадцать новых систем, причем семь из них попали в первую десятку. Лидером стал «СКИФ Cyberia», на втором месте — суперкомпьютер МВС-15000ВМ, установленный в МСЦ РАН и полтора года возглавлявший Топ-50. Третье и четвертое места достались системам иностранного производства — HP, установленным в МСЦ РАН и в Сбербанке России. Первую пятерку замыкает суперкомпьютер с пиковой производительностью 2,2 Тфлопс Института кибернетики Национальной Академии наук Украины, построенный украинской компанией Entry. 10 крупнейших суперкомпьютеров СНГ
«СКИФ Cyberia» - рекордсмен «СКИФ Cyberia» является одним из 15 самых производительных вычислительных центров в мировой системе образования. По площади суперкомпьютер занимает 72 квадратных метра, весит 16 тонн и потребляет 115 кВт. Предыдущая разработка программы «СКИФ» была меньше в 5 раз, при этом число использованных вычислительных узлов и энергопотребление кластера остались такими же. Кстати, 72 квадратных метра — это очень незначительная площадь для вычислительного центра такого класса. По словам разработчиков, изначально перед ними стояла задача обеспечить максимально выгодное соотношение цены решения и производительности пользовательских приложений, что потребовало крайне тщательного подбора компонентов и работы по их совмещению. Очень важно было также обеспечить высочайшую надежность работы охлаждающей системы, ведь общепризнанная проблема кластерных систем — риск перегрева из-за высокой плотности размещения процессоров. Суперкомпьютер «СКИФ Cyberia» оснащен уникальными инфраструктурными решениями, включающими комплексную систему бесперебойного питания мощностью 120 КВт и климатическую систему с применением наиболее современных технологий водяного охлаждения холодопроизводительностью 96 КВт. Уникальная смешанная воздушно-водяная система охлаждения включает 7 блоков рядных кондиционеров, расположенных между стойками с вычислительными узлами, обеспечивают забор воздуха непосредственно от вычислительных узлов и охлаждение вычислительных стоек холодной водой; три холодильные машины охлаждают воду с помощью фреона. Строительство суперкомпьютерного центра для ТГУ было осуществлено компанией «Т-Платформы» с использованием комплектующих Intel и программного обеспечения Microsoft. В проекте участвовали также специалисты Института программных систем РАН, чей продукт осуществляет мониторинг и управление питанием кластера. Разработчики компании «Т-Платформы» изначально решили отказаться от готовых платформенных решений. Вычислительный узел «СКИФ Cyberia» базируется на специально модифицированной системной плате: по заказу разработчиков стандартный серверный набор микросхем заменили на чипсет Intel 5000x, обычно применяющийся для строительства графических станций. «СКИФ Cyberia» построен на основе вычислительного кластера - 282 вычислительных и 1 управляющий узел, построенных на базе 566 двухъядерных процессоров Intel Xeon 5150 с поддержкой Intel 64 Technology. Благодаря использованию новейших процессоров Intel с микроархитектурой Intel Core, обеспечивающих рекордную концентрацию вычислительной мощности и оптимальное энергопотребление, пиковая производительность системы составит 12 ТФлопс при потребляемой мощности не более 90 КВт. По словам Всеволода Опанасенко, генерального директора компании «Т-Платформы», и при проектировании вычислителя, и при построении инфраструктуры суперкомпьютерного центра использовались только не апробированные ранее решения. Впервые в российской суперкомпьютерной отрасли для строительства системы охлаждения «СКИФ Cyberia» была применена смешанная воздушно-водяная система охлаждения, «так как традиционное воздушное охлаждение для «СКИФ Cyberia» оказалось невозможным в силу небольшой площади помещения вычислительного центра ТГУ. Безусловно, потребовалось проводить и предварительные испытания конфигурации узлов кластера на тестовых макетах». Впервые в России были применены технологии системной сети QLogic InfiniPath, которые, по мнению разработчиков, должны обеспечивать максимально высокий уровень производительности пользовательских приложений. Передовая технология QLogic InfiniPath обладает рекордно низкой латентностью (до 1,3 мкс) при пропускной способности до 950 Мб/сек. Система хранения данных «СКИФ Cyberia», разработанная специально для кластерных систем, обеспечивает прямой параллельный доступ всех вычислительных узлов к данным, устраняя узкие места традиционных сетевых хранилищ. «СКИФ Cyberia» — первый суперкомпьютер в России и один из первых кластеров в мире, использующим в качестве ОС новую Microsoft Windows Compute Cluster Server 2003, созданную специально для параллельных вычислений, позволяющую наладить работу с ОС Linux, а также легко интегрировать кластер в уже существующую ИТ-инфраструктуру вуза на базе ОС Windows. В комплект поставки также входят ОС SUSE Linux Enterprise Server 9, свободно распространяемые средства управления и мониторинга, компиляторы Intel с языков Fortran и C/C++, средства оптимизации Intel VTune Performance Analyzer 8.0 и математическая библиотека Intel Math Kernel Library 8.1. Любопытно, что мониторинг и управление кластером обеспечивает как традиционная сеть Gigabit Ethernet, так и отечественная разработка - сервисная сеть СКИФ ServNet, созданная Институтом программных систем Российской академии наук (ИПС РАН). Суммарная оперативная память вычислительных узлов кластера составит 1,1 Тб, объем внутреннего дискового пространства — 22,5 Тб. В качестве внешней системы хранения «СКИФ Cyberia» использует NAS-хранилище с параллельной файловой системой T-Platforms ReadyStorage Active Scale Cluster объемом 10 Тб. Проблема финансирования Как заявил Андрей Кокошин, председатель комитета Государственной Думы по делам СНГ: «Ноутбуки мы производить не можем, а суперкомпьютеры — вполне, - и добавил, - Исключительно важной задачей для государства является развитие и поддержка этого направления». Со своей стороны, председатель Государственной Думы Борис Грызлов обмолвился, что в бюджет заложены средства для закупки высокопроизводительной техники в госучреждения и вузы и что суперкомпьютеры должны и дальше производиться в России. Так что, вполне возможно, строительство очередной системы, способной занять высокое место в общемировом рейтинге суперкомпьютеров, не за горами. «СКИФ Cyberia» - уже третий суперкомпьютер, созданный в рамках российско-белорусской программы «СКИФ». Несмотря на общий оптимизм, проявленный и разработчиками, и журналистами СМИ, специалисты отмечают, что данный проект заметно растянулся во времени. С момента окончания первого этапа программы, когда был создан последний суперкомпьютер «СКИФ К-1000», прошло два года. Правда, при этом строительство суперкомпьютера «СКИФ Cyberia» началось в ноябре 2006 года и было завершено всего за три месяца. Очевидно, дело как обычно упирается в деньги. Согласно официальным данным компании «Т-Платформы», стоимость проекта составила 54 миллионов рублей. По подсчетам экономистов, соотношение цена/пиковая производительность суперкомпьютера ТГУ составляет всего 158 тысяч долларов США за 1 ТФлопс, что в 4,5 раз меньше аналогичного показателя 288-узлового кластера «СКИФ К-1000», поставленного компанией «Т-Платформы» для суперкомпьютерной программы «СКИФ» в 2004 году. Для примера, Япония, планирующая обогнать США по строительству суперкомпьютеров, назвала недавно стоимость очередной системы — она составляет $714 млн, несопоставимые с российскими цифры. Правда, новый суперкомпьютер продемонстрирует вычислительную мощность в 10 Петафлопс. Это фактически в 73 раза больше, чем суперкомпьютер Blue Gene, созданный IBM и в настоящее время возглавляющий Топ-500 самых мощных компьютеров мира. Эксперты указывают на то, что японская разработка вряд ли будет готова ранее 2010 года. Вполне возможно, что к этому времени и наши разработчики создадут новый суперкомпьютер, способный конкурировать с японским монстром. России до японского монстра пока далеко. Правда, по оптимистичному мнению отдельных экспертов, связано эта проблема лишь с недостатком финансирования и обязательно будет решена со временем. Суперкомпьютеров не хватает Андрей Слепухин, руководитель Центра кластерных технологий, «Т-Платформы» считает, что потребность современной развитой экономики в суперкомпьютерах в России закрыта очень слабо. «В опубликованном в этом году списке самых мощных суперкомпьютеров Китая 81 суперкомпьютер с реальной производительностью более 1 триллиона операций в секунду — уровень производительности, при котором HPC-система условно может считаться суперкомпьютером. Из них 54 машины используются в различных отраслях промышленности и производства — машиностроении, нефтедобыче, телекоммуникациях, видео-индустрии. У нас «терафлопных» суперкомпьютеров всего 9, из них в промышленности — ни одного, — заявляет эксперт. — Если считать, что реальная потребность в суперкомпьютерах, по крайней мере, не меньше, чем у Китая, наш рынок насыщен не более чем на 10%. Что касается предложения на суперкомпьютерном рынке, с этой точки зрения потребности пользователей вполне закрыты: рынок активно растет и технологически не отстает от мирового, не без заслуги российских производителей. По словам г-на Слепухина, потенциал суперкомпьютерного рынка СНГ разными источниками оценивается, как минимум, в 100-150 млн долл. Объем же мирового суперкомпьютерного рынка составляет в среднем 15-20% от серверного. Основным препятствием к его развитию в России считается большая нехватка специалистов, умеющих работать не столько с аппаратными, сколько с программными суперкомпьютерными технологиями, то есть тех, кто мог бы грамотно использовать суперкомпьютеры для нужд машиностроения, нефтеразведки, финансовых институтов, телекоммуникационных и медийных компаний. Существует ряд и других факторов, сдерживающих внедрение этих технологий в промышленности и коммерческом секторе - в России, так же как и в остальном мире. Например, трудности при подсчете возврата инвестиций от внедрения больших систем, предполагаемая сложность их использования, ограниченность бюджетов на ИТ, инертность менеджмента. В России, в отличие от большинства развитых стран, также существует фактор недостаточной информированности о преимуществах, которые дает использование суперкомпьютерных технологий, и недостаток понимания их необходимости для повышения конкурентоспособности производства. По результатам исследований Совета по конкурентоспособности США основными факторами, сдерживающим применение передовых суперкомпьютерных технологий в Америке, являются нехватка собственных специалистов по использованию этих технологий и отсутствие доступа к «большим» суперкомпьютерам (8 и более триллионов операций в секунду). Эту проблему решают с помощью сотрудничества между предприятиями, имеющими потребность в мощностях, и суперкомпьютерными центрами Министерства энергетики и Национального научного фонда США. В таких национальных центрах, расположенных в исследовательских лабораториях и университетах, компании получают доступ к более мощным вычислительным ресурсам и специалистам по их прикладному использованию. По-видимому, это один из путей, по которому в ближайшее время будет двигаться и Россия. Например, вычислительный центр Санкт-Петербургского государственного политехнического университета активно сотрудничает с российскими и западными промышленными компаниями; то же планируется и в Томске, где установлен «СКИФ Cyberia». По мнению Максима Серебряного, руководителя группы продаж System p, IBM EE/A, «в ближайшее время основными потребителями суперкомпьютерных технологий в России станут научные и образовательные учреждения, а также компании из промышленного сектора. В последние годы наблюдается всё больше возрастающий интерес российских компаний и организаций к суперкомпьютерным технологиям. Как известно, спектр задач, решаемых на таком оборудовании огромен, и области применения разнообразны - от создания анимационных фильмов до решения задач генной инженерии и обороноспособности государства. Сегодня вопросы целесообразности развития суперкомпьютерных технологий решаются уже на государственном уровне, что, несомненно, придаст новый импульс развитию ИТ в нашей стране». Андрей Михайлов, Тагир Мустафин |
Начало 2007 года в России ознаменовалось завершением строительства суперкомпьютерного центра мирового уровня с вычислительным комплексом «СКИФ Cyberia». Его реальная производительность составляет 9.019 TFlops. При этом специалисты считают, что потребности современной российской экономики в суперкомпьютерах пока сильно превышают имеющиеся в наличие возможности.
