Виртуализация: новые возможности известной технологии

ВИРТУАЛИЗАЦИЯ: НОВЫЕ ВОЗМОЖНОСТИ ИЗВЕСТНОЙ ТЕХНОЛОГИИ А.В. Богданов, Е.Н. Станкова, В.В. Мареев Автономная некоммерческая организация «Институт высокопроизводительных вычислений и интегрированных систем» 191119, г. Санкт-Петербург, ул. Коломенская, д. 35-37, литер А, помещение 6Н

Аннотация.

Виртуализация

объединить приложения

-

ключевая

технология,

которая

помогает

на различных платформах и аппаратных средствах

предыдущих поколений с использованием меньшего числа современных, более мощных серверов с низким энергопотреблением. В настоящее время, возможности, предлагаемые этой технологией, могут быть существенно расширены за счет ее использования для удовлетворения потребностей многоуровневого хранения данных (виртуализация хранения), а также для так называемой виртуализации клиентских мест, которая обеспечивает пользователю доступ к рабочим материалам с любого терминала, включая территориально удаленные. В статье рассматривается виртуализация всех уровней ИТ инфраструктуры: серверы, системы хранения, рабочие места клиента, инфраструктура центра обработки данных. Рассматриваются подходы различных фирм-производителей к решению задач и реализации технологий виртуализации.

Annotation. Virtualization is a key technology which helps to unite applications on various platforms and hardware of the previous generations with use of smaller number of modern, more powerful servers with low energy consumption. Now, the opportunities offered by this technology can be essentially expanded by its using for satisfaction of requirements of a multilevel data storage (storage virtualization), and also for so-called client place virtualization which provides to the user access to working materials from any terminal, including territorially remote. In the article it is considered virtualization of all levels of IT infrastructure: servers, systems of storage, workplaces of a client, an infrastructure of a data-

1

processing centre. Approaches of various firms-manufacturers to the decision of problems and realizations of virtualization technologies are considered.

2

Введение В общем случае под виртуализацией понимается технология, позволяющая разделять ресурсы компьютера на множество независимых сред. До недавнего времени считалось, что сущность виртуализации заключается только в преобразовании аппаратного обеспечения в программное. Т.е. с помощью определенных программных решений можно преобразовать («виртуализировать») аппаратные ресурсы компьютера, включая центральный процессор (ЦП), оперативную память, жесткий диск и сетевой контроллер, для создания полнофункциональной виртуальной машины, на которой можно установить отдельную операционную систему (ОС) и выполнять приложения, как на «физическом» компьютере. В настоящее время существует несколько решений так называемой «аппаратной» виртуализации, когда разделение ресурсов компьютера осуществляется на уровне системных плат. Однако в любой своей реализации виртуализация относится к числу наиболее перспективных и выгодных решений в области ИТ индустрии. Технология виртуализация, позволяющая абстрагировать друг от друга различные компоненты ИТсистем, давно используется для консолидации серверных ресурсов, в системах хранения данных, а также для создания клиентских рабочих мест, позволяющих обеспечить пользователю доступ к рабочим материалам с любого терминала, включая территориально удаленные. Впервые технологию виртуализации применила компания IBM более 30 лет назад в качестве методики логического разделения ресурсов ЭВМ на отдельные виртуальные машины. Эта технология сделала ЭВМ «многозадачными», т.е. позволила осуществлять одновременный запуск нескольких приложений и процессов. Поскольку в те времена ЭВМ были весьма дорогостоящими, стояла задача максимально полного использования вычислительных мощностей "больших ЭВМ" – редкого и дорогого ресурса. В 80-е и 90-е годы технология виртуализации была практически забыта. В это время эталоном распределения вычислительных ресурсов служили приложения «клиент-сервер», а также недорогие серверы и настольные ПК на базе архитектуры микропроцессора x86. Вместо единой централизованной системы распределения

3

ресурсов, как в модели для ЭВМ, организации с помощью дешевых распределенных систем внедряли множество отдельных центров накопления вычислительных ресурсов. Широко применяемый с начала 90-х годов подход «одно приложение – один сервер» привел к резкому увеличению установленного в организациях парка серверов. Соответственно возросли затраты, связанные с оплатой потребляемой им энергии, а также с администрированием этого оборудования и его охлаждением. Эффективность использования вычислительных ресурсов резко снизилась. Как результат все более актуальной становилась задача повышения коэффициента полезного использования компьютерных

систем

путем

консолидации

многочисленных

разнородных

вычислительных ресурсов. Для ее решения пришлось вновь обратиться к технологии виртуализации как к наиболее эффективному средству повышения производительности и гибкости аппаратного обеспечения. В 1999 г. компания VMware впервые вывела на рынок успешный продукт, обеспечивавший для операционных систем производства Microsoft возможность запуска виртуальных машин с «чужими» операционными системами. Технология виртуализации, предложенная VMware, явилась эффективным средством преодоления таких проблем, как неэффективное использование ресурсов и увеличение расходов на управление ИТ – инфраструктурой, недостаточно надежная система аварийного восстановления и защиты в критических ситуациях важнейших серверных приложений. Решения EMС Mware (ESX Server) позволяют преобразовать компьютерные системы в единую

аппаратную

инфраструктуру

общего

пользования

и

назначения,

обеспечивающую полную изоляцию, мобильность и широкий выбор ОС для прикладных сред. В настоящее время кроме компании VMware выпуском систем виртуализации занимаются такие компании как Microsoft (VirtualPC/Virtual Server, Microsoft Hyper-V), Intel (VT-x, VT-i), AMD (Secure Virtual Machine «Pacifica»), HP (HP Virtual Server Environment), Citrix (XenApp 5),

а также Sun Microsystems, предлагающая

многоуровневый набор технологий виртуализации от системы Solaris Containers, осуществляющей виртуализацию на уровне операционной системы (ОС), до терминальной технологии Sun Ray, направленной на виртуализацию клиентских рабочих мест.

4

1. Область применения и основные задачи виртуализации Основной областью применения данной технологии является виртуализация ресурсов физических серверов, которая позволяет эффективно решать задачи по снижению расходов на покупку и обслуживание серверов, а также по улучшению управляемости вычислительными ресурсами за счет уменьшения количества и конфигураций серверов. Виртуализация ресурсов физического сервера позволяет их гибко распределять между приложениями, причем каждое приложение «видит» только предназначенные ему ресурсы и «считает», что ему выделен отдельный сервер, т.е. реализуется подход «один сервер – несколько приложений». При этом удается избегать множества проблем, которые непременно возникали бы при отсутствии виртуализации: конфликты между приложениями за ресурсы машины (процессоры, оперативная память, подсистемы ввода-вывода), ухудшение надежности работы приложений при «зависании» хотя бы одного из них и необходимости перезагрузки компьютера с последующим нарушением нормальной работы остальных приложений. Кроме того, решения виртуализации дают возможность запускать на одном сервере разные операционные системы (например, Windows и Linux). Помимо консолидации серверная виртуализация часто применяется для разработки и тестирования новых приложений (организация нескольких виртуальных разделов позволяет параллельно осуществлять эти процессы на одном физическом сервере, а не выделять под тестирование несколько машин) и для осуществления работы устаревших приложений, способных функционировать только как «гостевые» на современном оборудовании. Другой областью применения виртуализации является разработка технологии тонких терминалов, которые виртуализируют рабочие места пользователей настольных систем, позволяя осуществлять доступ к рабочей среде из любой географической точки мира, причем рабочая среда сохраняет состояние, в котором она пребывала в тот момент, когда пользователь работал с ней последний раз. Такая технология фактически «открепляет» пользователя от конкретного физического персонального компьютера, храня все его файлы и приложения на одном центральном сервере.

5

В дальнейшем, основной задачей виртуализации должна стать консолидация всех компьютерных

ресурсов организации в единый резервуар ресурсов Центра

обработки данных (ЦОД). Тогда удастся существенно увеличить коэффициент полезного использования ЦОД и повысить эффективность возврата вложенных в его создание инвестиций. По мнению многих аналитиков, средства виртуализации должны сыграть решающая роль в перенастройке информационных систем для работы по принципу «on demand» (по требованию). Они считают, что: «Виртуализированные резервуары самоуправляемых

ИТ-ресурсов,

которые

динамически

перераспределяются

в

соответствии с заданной политикой управления, будут обеспечивать легкую перенастройку ИТ-инфраструктуры на лету, чтобы оперативно адаптироваться к изменениям производственной среды и требований пользователя. Будет абсолютно не важно, где именно размещены ресурсы и как они управляются — персоналом ли самой организации

или

подрядчиком.

Важно,

что

они

будут

предоставляться

и

тарифицироваться в точном соответствии с уровнем реального потребления и качества».

6

2. Виртуализация серверных ресурсов Как уже отмечалось во введении, наблюдаемое с начала 90-х годов лавинообразное

увеличение парка серверов привело к возникновению множества

проблем. Остановимся на них подробнее. Трудоемкость поддержки множества серверов и необходимо контролировать работоспособность каждого сервера. При отказе физического сервера необходимо переносить приложение на другой сервер, что может занять время, в течение которого соответствующий сервис будет недоступен. Недостаток количества физических серверов. При развертывании новой задачи необходимо закупать новые серверы для нее, что занимает время на поставку оборудования, а также на установку программного обеспечения. Ограничения в масштабируемости существующих физических серверов, особенно заметные при возрастании нагрузки приложений. При превышении потребностями задачи возможностей сервера, на котором она запущена, необходима модернизация «upgrade» сервера. Однако, наступает момент, когда дальнейшая модернизация невозможна. Тогда закупается новый, более мощный сервер, на который переносится приложение, что также требует затрат времени и ресурсов. Конфигурацию сервера подбирают, исходя из максимальной нагрузки, которую может создать приложение, а это означает, что сервер в основном будет простаивать, или большая часть процессорной мощности не будет задействована. Кроме того, существует проблема перераспределения нагрузки между всеми физическими серверами, существующими в организации. Как правило, осуществить такое перераспределение рациональным образом крайне трудно, и, как следствие, часть серверов оказывается перегруженной, в то время как существует большое количество малозагруженных серверов, мощности которых используются на 5-10%. Согласно статистике, средний уровень загрузки процессорных мощностей у серверов на Windows не превышает 10%, а у Unix-систем данный показатель не более 30%. Резкий рост парка серверного оборудования приводит к существенному увеличению затрат, связанных с оплатой потребляемой ими энергии, а также оплатой энергии, затрачиваемой на охлаждение серверов, которая, по мере увеличения

7

мощности компьютерного оборудования, непрерывно возрастает. Увеличиваются затраты на нахождение и содержание новых серверных помещений, покупку лицензий на серверную ОС. Все вышеизложенное приводит к необходимости минимизации количества физических серверов в организации и повышению эффективности их использования. Решить эти задачи позволяет использование технологии виртуализации. В

настоящий

момент

можно

выделить

следующие

типы

серверной

виртуализации: физическая, или аппаратная, осуществляемая на уровне системных плат; использование виртуальных машин в варианте работы гипервизора и в варианте создание логических доменов; виртуализация на уровне ОС с использованием механизма изолированных контейнеров. Физическая виртуализация осуществляется с помощью аппаратных разделов, или динамических доменов, которые строятся на основе нескольких системных плат, поддерживаемых внутренним высокоскоростным коммутатором сервера. Каждый из таких доменов работает как независимый физический компьютер, имея свою копию операционной системы, свои процессоры, оперативную память, устройства вводавывода, сетевые карты и загрузочный диск. В силу этого, любое нарушение работы приложения, операционной системы или даже аппаратный сбой одного домена никак не отражается на работе других доменов. Между доменами существует электрическая изоляция. Благодаря этому модернизацию и обслуживание всего сервера можно осуществлять в непрерывном режиме, отключая по одному домены и производя необходимые действия (например, ставить

дополнительные

модули

оперативной

памяти)

в

каждом

из

них

последовательно, при этом все остальные домены продолжают работать в штатном режиме. Аналогичным образом все домены, либо часть из них, можно по одному переводить на новую версию операционной системы. К несомненным достоинствам доменов можно отнести возможность динамически перераспределять ресурсы сервера: при возрастании нагрузки на одно из приложений его домену без перезагрузки сервера передаются от других доменов одна или несколько системных плат. Основным разработчиком и проводником технологии динамических доменов является компания Sun Microsystems, которая реализовала поддержку динамических

8

доменов на своих Unix-серверах среднего класса более 10 лет назад. Сегодня компания продолжает совершенствовать эту технологию. Сервер Spare Enterprise M9000 поддерживает до 24 динамических доменов, причем их можно создавать внутри одной системной платы на уровне отдельных процессоров. В настоящее время решение на основе аппаратной виртуализации - Microsoft Hyper-V готова предложит и компания Microsoft. Microsoft Hyper-V предоставляет в Windows Server 2008 программную инфраструктуру и основные средства управления, которые можно использовать для создания виртуализованной серверной среды и управления ею. В данный момент Microsoft Hyper-V находится в завершающей стадии разработки и как отдельный продукт не продаѐтся, но поставляется в комплекте с Windows Server 2008 x64. Следует отметить, что аппаратной виртуализации присущ ряд существенных недостатков. Так эта технология использует некоторые особенности платформы, и применять ее на устройствах другого производителя, как правило, не удается. При этом за каждым сервером закрепляется свой набор ресурсов, автоматически менять который приложения не могут. Кроме того, в серверах начального уровня, с одним – четырьмя процессорами, у которых есть только одна системная плата, эта технология неприменима. Во многих случаях для виртуализации лучше подходят программные решения, которые работают напрямую с аппаратными ресурсами, превращая их в защищенную, унифицированную серверную платформу, логически разделенную на несколько виртуальных серверов. Самым популярным вариантом виртуализации остается использование виртуальных машин (ВМ), которые запускаются на сервере под управлением его основной (хостовой) операционной системы, но сами эти ВМ задействуют «гостевые» ОС. Виртуальные машины являются полностью изолированными программными контейнерами, способными работать с собственной операционной системой и приложениями, как физический компьютер. Виртуальная машина работает абсолютно так же, как физический компьютер, и содержит собственные виртуальные (т.е. программные) ЦП, ОЗУ, жесткий диск и сетевую интерфейсную карту (NIC). Операционная система, приложения и другие компьютеры в сети не способны отличить

9

виртуальную машину от физического компьютера. Даже сама виртуальная машина считает себя материально существующим компьютером. Тем не менее, он состоит исключительно из программного обеспечения и абсолютно не содержит аппаратных компонентов.

Поэтому

виртуальные

машины

обладают

рядом

существенных

преимуществ по сравнению с физическими серверами. Во-первых, ВМ, используя общие физические ресурсы одного компьютера, остаются полностью изолированными друг от друга, как если бы они были отдельными физическими машинами. Например, если на одном физическом сервере запущено четыре виртуальных машины, и одна из них дает сбой, это не влияет на доступность оставшихся трех машин. Изолированность – важная причина гораздо более высокой доступности и безопасности приложений, выполняемых в виртуальной среде, по сравнению с приложениями, выполняемыми в стандартной, невиртуализированной системе. Во-вторых, виртуальные машины являются очень мобильными и удобными в управлении за счет того, что они объединяют в едином программном пакете полный комплект виртуальных аппаратных ресурсов, а также ОС и все ее приложения. Это позволяет легко перемещать или копировать ВМ из одного местоположения в другое так же, как любой другой программный файл. Кроме того, виртуальную машину можно сохранить на любом стандартном носителе данных: от компактной карты Flash-памяти USB до корпоративных сетей хранения данных (SAN). В-третьих, виртуальные машины являются полностью независимыми от базового физического оборудования, на котором они работают. Например, для виртуальной

машины

с

виртуальными

компонентами

(ЦП,

сетевой

картой,

контроллером SCSI) можно задать настройки, абсолютно не совпадающие с физическими характеристиками базового аппаратного обеспечения. Виртуальные машины могут даже выполнять разные операционные системы (Windows, Linux и др.) на одном и том же физическом сервере. Специальное программное обеспечение для виртуализации - гипервизор осуществляет перехват вызовов гостевых ОС к аппаратным ресурсам физического компьютера и производит эмуляцию их выполнения. Как следствие, приложения

10

рассматривают работу на виртуальных машинах как работу на выделенном сервере, в своей «родной» операционной системе. Самым известным поставщиком программного обеспечения для виртуализации является компания VM Ware, которая работает на этом рынке, как уже упоминалось, с 1999года. В 2003 году

корпорация EMC купила VMWare, однако последняя не

потеряла своей самостоятельности, продолжая осуществлять на рынке собственную стратегию. Наиболее известными решениями компании EMC VMWare, являются продукты ESX Server, созданные для серверов на базе процессоров х-86 и предназначенные для консолидации приложений Windows и Linux. Особенность программного обеспечения VMWare ESX Server заключается в том, что оно ориентировано не на запуск в качестве обыкновенного приложения в «родительской» операционной системе, а, фактически, реализует свою собственную операционную систему, в которой запускается одно-единственное приложение собственно виртуализационное ПО. Server ESX рассчитан на серверное применение в качестве средства организации множества защищѐнных виртуальных серверов на одном физическом, он ориентирован, прежде всего, на большие центры обработки данных, требующие особой надѐжности от виртуализирующего ПО. Виртуальные машины VMWare сконфигурированы таким образом, чтобы в полном объеме обеспечить

доступность

виртуальной

машине всех

ресурсов

физического компьютера. Прежде всего, это относится к ресурсам процессора и оперативной памяти, объем которой для ВМ практически неограничен. Кроме того, подключаются напрямую или имитируются стандартные IDE-устройства (жѐсткие диски и оптические накопители в виде файлов на диске), поддерживается прямое подключение SCSI-адаптеров и имитация SCSI-дисков. Видеокарта - абстрактный графический адаптер VGA/SVGA. Поддерживается и эмулируется до двух флоппидисков, до четырех COM-портов, UCHI-контроллер на 2 порта USB 1.1; до двух параллельных LPT-портов, стандартная 104-кнопочная клавиатура и мышь PS/2. Поддерживается до четырех виртуальных сетевых карт (AMD PCnet) и даже виртуальная локальная сеть, состоящая из произвольного числа хостов и до девяти виртуальных свитчей.

11

Хотя на рынке решений для виртуализации серверов со стандартной архитектурой в настоящее время доминирует компания VMware со своим пакетом ESX, конкуренция может резко обостриться в результате продвижения корпораций Citrix своего решения виртуализации XenApp 5. Проект Xen представляет собой пакет современного виртуализационного ПО, разработанного

сообществом

Open

Source.

Пакет

основан

на

технологии

паравиртуализации, которая является развитием технологии виртуальных машин. При паравиртуализации используются специальные модификации «гостевых» ОС, не требующие эмулирования обращения к аппаратным ресурсам сервера, за счет чего уменьшается нагрузка на последний. В

настоящее

время

Xen

является

одним

из

наиболее

популярных

виртуализационных проектов за счет богатого набора предоставляемых им фукций. Он обеспечивает гарантированный уровень обслуживания виртуальных машин, их взаимную безопасность, а также систему управления их ресурсами и систему миграции, которая позволяет осуществить перемещение работающей ВМ с одного физического компьютера на другой за 50-300 мс. В августе прошлого года компания Citrix приобрела XenSource - разработчика популярного Open Source-гипервизора виртуализации Xen. В Citrix полагают, что покупка XenSource и их продукции позволят компании существенно расширить и укрепить свои позиции на рынке виртуализации. В сентябре этого года компания Citrix Systems объявила о выходе Citrix XenApp 5 - следующего поколения решения для виртуализации приложений. При этом Citrix заявляет, что XenApp 5 обеспечивает «запуск приложений в 10 раз быстрее» и «снижает расходы на управление приложениями более чем на 25 процентов по сравнению с предыдущими версиями». Компания Sun Microsystems планирует разработку семейства продуктов Sun xVM, которое будет включать в себя разработанный на базе гипервизора Xen сервер xVM Server, поддерживающий системы с архитектурой SPARC и x86, и консоль управления физическими и виртуальными машинами xVM Ops Center. Компания Hewlett-Packard наряду с поддержкой решений для виртуализации фирм VMware, Microsoft и Citrix Systems применяет собственные разработки, которые упрощают внедрение виртуализации серверов и повышают ее эффективность. Прежде

12

всего, следует назвать технологию Virtual Connect, разработанную для блейд-серверов HP BladeSystem c-Class и виртуализирующую сетевые подключения шасси блейдсерверов. Еще одно направление виртуализации, в котором движется HP, — это разрабатываемая уже более десяти лет технология Virtual Server Enviroments (VSE), применяемая в ее Unix-серверах HP9000 и Integrity. Основное назначение VSE состоит в том, чтобы помочь клиентам добиться максимального эффекта от внедрения виртуализации на серверах HP стандартной архитектуры и свести к минимуму риски, связанные с этим процессом. Наряду с наличием несомненных преимуществ, технология виртуализации, основанная на использовании виртуальных машин, имеет ряд недостатков, связанных, например, с невозможностью обеспечить максимальную надежность при консолидации серверов, поскольку между виртуальными машинами нет электрической изоляции. Так сбой в работе операционной системы хоста приводит к необходимости перезагружать все ВМ и их приложения. Кроме того, виртуализационное ПО является достаточно «тяжелым», требующем для своего функционирования наличия мощных серверных конфигураций. К недостаткам виртуализационного ПО можно отнести и его высокую стоимость, сопоставимую зачастую со стоимостью самого сервера. Уменьшить нагрузку на аппаратные ресурсы сервера позволяет технология паравиртуализации, о которой говорилось выше. А один из ее вариантов – логические домены LDoms, применяемые на базе многоядерных процессоров, позволяют повысить надежность виртуализированных серверов. Механизм LDoms основан на разбиении одного физического процессора на 32 или 64 логических, которые распределяются между логическими доменами. Последние используют свою копию операционной системы.

Логические

домены

можно

независимо

друг

от

друга

запускать,

останавливать, перезагружать. Следующий тип виртуализации серверов – это виртуализация на уровне ОС с помощью механизма изолированных контейнеров. При такой виртуализации каждому из приложений выделяется отдельный контейнер, а на сервере работает только одна копия ОС, что позволяет обойтись без эмуляции оборудования и практически не создавать дополнительной нагрузки на ресурсы сервера. Правда, следует отметить, что один

контейнер

необходимо выделить

13

под

глобальную

зону для

операций

администрирования,

установки

обновлений

и

управления

ресурсами

других

контейнеров. «Контейнерная» виртуализация значительно упрощает обновление ОС по сравнению с другими вариантами виртуализации. Ее использование позволяет существенно повысить надежность работы приложений, поскольку сбой работы одного приложения не нарушает работу остальных, однако, при аппаратном сбое сервера, работа всех остальных контейнеров, и, соответственно, всех приложений будет нарушена. Контейнерная технология позволяет осуществлять балансировку нагрузки, «подкачивая» дополнительную процессорную мощность тому контейнеру, приложение которого начинает требовать дополнительных компьютерных ресурсов. Четвертый тип виртуализации основан на управлении физическими ресурсами сервера. Он применяется в тех случаях, когда необходимо предотвратить конфликты между

приложениями,

консолидировано

работающими

на

одном

сервере.

Виртуализационное программное обеспечение должно не только распределять ресурсы между приложениями, но и позволять планировать их перераспределение в зависимости

от

времени

суток.

Такое

ПО

обеспечивает

стабильную

производительность консолидированных приложений, однако не может их полностью изолировать. Самым характерным образчиком такого рода виртуализационного ПО является пакет Solaris Resource Manager для Unix-серверов Sun. Сравнение четырех вариантов виртуализации серверных ресурсов показывает, что динамические домены обеспечивают наибольшую надежность и безопасность работы консолидированных приложений, логические домены позволяют добиться наибольшей гибкости в перераспределении серверных ресурсов. Выбор конкретного варианта виртуализации следует осуществлять, исходя из того, насколько важны параметры, определяющие надежность, безопасность и гибкость в распределении ресурсов для конкретного заказчика, а также учитывать тип сервера, на котором работают приложения. Например, на крупном предприятии для развертывания модулей ERP систем корпоративного класса лучше использовать динамические домены, для хостинга приложений, таких как Web-сайты или электронная почта – логические домены или контейнеры, а для консолидации Windows-приложений на сервере с архитектурой x86 следует применять виртуальные машины VMware.

14

3. Виртуализация хранения данных Цель виртуализации хранения данных состоит в обеспечении лучшего управления и консолидации ресурсов хранилищ. Виртуализации подвергаются практически все компоненты информационных систем, от интерфейсов до серверов, при этом на первый план выходит использование открытых стандартов. Виртуализация одной только внешней памяти вне общего системного подхода особых преимуществ дать не может, ее ценность заключается в возможности обеспечения прозрачного доступа приложений к данным в рамках многоуровневой системы, построенной по открытым стандартам. Следовательно, задачи виртуализации не должны быть ограничены только первичными накопителями; к архивированным данным, размещенным на вторичных накопителях, точно так же необходимо обеспечить прозрачный доступ, естественно, с другими показателями. Системная виртуализация обычно реализуется в однородных (гомогенных) системах

хранения

на

уровне

RAID-контроллеров

дисковых

массивов,

обеспечивающих создание виртуальных дисков необходимого объема (из общего пула), зеркал и мгновенных снимков (snapshots). 3.1. Основные достоинства виртуализации

1.

Более эффективно используются устройства и системы хранения данных

различных конфигураций, а также обеспечивается более эффективный доступ к ним. При этом становится возможным объединение множества устройств и систем хранения в один большой виртуальный пул, что значительно упрощает выделение внешней памяти для сверхбольших баз данных. Преимуществом виртуализации является также возможность управления большими по объѐму пулами внешней памяти, чем это было доступно раньше. 2.

Виртуализация

обеспечивает

оптимальную

производительность

корпоративной системы хранения, так как еѐ данные теперь возможно распределять автоматизированным способом по устройствам и подсистемам хранения таким

15

образом, чтобы оптимизировать их нагрузку и скорость доступа к ним, исключив вероятность появления так называемых «узких мест» (данные одного логического тома возможно равномерно размещать на нескольких физических устройствах хранения). 3.

Значительно упрощается управление гетерогенными корпоративными

системами хранения данных, в том числе, удалѐнное и снижается загруженность системных администраторов, что позволяет сократить расходы на администрирование корпоративной системы хранения. 4.

Значительно

сокращается

время

резервного

копирования

и

восстановления данных, что повышает отказоустойчивость всей системы. 5.

Повышаются гибкость и управляемость архитектуры и конфигураций

корпоративной системы хранения данных. 6.

Уменьшается совокупная стоимость хранения корпоративных данных за

счѐт устранения «островов» данных, более эффективного использования уже имеющихся устройств и систем хранения и обеспечения возможности работы с ресурсами хранения в гетерогенной среде (с разными типами устройств и систем хранения, работающими под управлением разнотипных ОС). 3.2. Системы хранения данных Основу системы хранения составляют накопители на жестких магнитных дисках (НЖМД). Именно из них строятся дисковые массивы, которые, в свою очередь, представляют собой базовые элементы более крупных структур, таких, как NAS (Network Attached Storage, сетевые устройства хранения) и SAN (Storage Area Networks, сети хранения). Кроме жестких дисков, в серьезную систему хранения должны входить накопители на магнитной ленте (НМЛ), чаще всего используемые в составе ленточных библиотек для хранения резервных копий оперативных данных и архивов. Для длительного и безопасного хранения особо важных данных могут применяться оптические накопители типа WORM (Write Once, Read Many) с однократной записью, гарантирующие невозможность изменения записанных данных. Не менее важную роль играют инфраструктурные элементы (структурные коммутаторы, fabric switches), оптические и медные линии связи, адаптеры различных

16

протоколов, RAID-контроллеры, программное обеспечение для управления хранением, архивирования, резервного копирования и восстановления данных. RAID Практически любые устройства хранения, как находящиеся внутри корпуса сервера, так и отдельные, подключаемые непосредственно или через сеть, строятся по принципу массива дисковых накопителей с избыточностью - RAID (Redundant Array of Independent Disks). RAID-массив, обслуживаемый RAID-контроллером, представляется работающим с ним серверам и другим устройствам как единый дисковый накопитель. Фактически же в его состав может входить от двух-трех до нескольких десятков отдельных накопителей. Смысл организации RAID-массива - увеличение надежности, скорости доступа к данным и (или) объема памяти. Кроме того, в большинстве случаев использование

RAID-массива

обеспечивает

возможность

"горячей"

замены

отказавшего накопителя без потери каких-либо данных. Для этого используются специальные алгоритмы размещения данных на входящих в состав массива дисках и вычисления и хранения контрольных сумм этих данных. Твердотельные жесткие диски Эта категория устройств хранения (Solid State Disks, SSD) применяется, когда главным

требованием

к

системе

хранения

становится

максимальная

производительность. Такие устройства строятся на основе обычных модулей оперативной памяти, которые используются в качестве ОЗУ серверов и настольных ПК, с контроллером, представляющим это ОЗУ для "внешнего мира" как обычный жесткий диск с интерфейсом SCSI, SAS, FC или iSCSI. Ленточные библиотеки Роботизированные

ленточные

библиотеки

применяются

для

резервного

копирования и архивного хранения данных за последние годы проделали тот же эволюционный путь, что и дисковые RAID-массивы: если в начале нынешнего десятилетия эти системы были представлены в основном "монолитными" моделями корпоративного класса, занимающими один или несколько шкафов и вмещающими сотни и даже тысячи лент, либо моделями начального уровня, рассчитанными на резервное копирование в масштабе небольшого предприятия и оборудованными двухчетырехленточными приводами и несколькими десятками лент, то сейчас все большую

17

популярность приобретают библиотеки среднего класса модульной конструкции. Такие библиотеки позволяют гибкое и, главное, экономичное наращивание емкости системы по мере роста объемов данных, которые необходимо сохранять на ленте, и обладают многими функциями монолитных моделей, обеспечивающими высокую надежность работы, а также мощными средствами дистанционного управления и мониторинга. Они могут устанавливаться в одной стойке с дисковыми массивами начального и среднего класса, стоечными серверами и другим оборудованием, что экономит место в центре обработки данных (ЦОД). Основное преимущество ленты по сравнению с жесткими дисками — невысокая стоимость хранения. 3.3. Организация систем хранения

DAS (SAS) DAS (Direct Attached Storage, она же SAS, Server Attached Storage) — классический способ организации системы хранения, когда накопитель (дисковый массив с RAID-контроллером) либо находится внутри корпуса сервера, либо представляет собой автономное устройство, подключаемое к одному или нескольким серверам. DAS хороша в тех случаях, когда требуется высокоскоростная обработка хранимых данных на одном сервере (рабочей станции) или небольшом числе (кластере) серверов. Доступ к данным здесь происходит на уровне блоков (секторов), файловые операции более высокого уровня реализуются соответствующими подсистемами ОС сервера. Резервное копирование в этом случае обеспечивается подключением к тому же серверу ленточного накопителя или автозагрузчика.

NAS Сетевые устройства хранения NAS (Network Attached Storage) - это фактически автономные

файловые

серверы

с

встроенным

RAID-массивом

(иногда

предусматривается подключение дополнительных устройств хранения для расширения общей емкости NAS). Для управления NAS обычно используется встроенный Webсервер или SSH-консоль.

18

Заметим, что обмен данными с NAS происходит уже не на уровне блоков, как в случае DAS или SAN (см. ниже), а на файловом уровне, как при использовании обычного файл-сервера. Главный недостаток таких устройств состоит в том, что передача данных происходит по общей локальной сети, поэтому при интенсивном трафике сеть может стать «узким местом», замедляющим передачу и снижающим эффективность применения NAS. Кроме того, открытая передача пользовательских данных по сети создает потенциальную угрозу безопасности организации. Применение же методов шифрования данных повышает требования к быстродействию процессора NAS и, следовательно, удорожает устройство.

SAN Сеть хранения SAN (Storage Area Network)—- наиболее гибкое решение для консолидации хранения данных на предприятии любого масштаба. SAN представляет собой отдельную от основной сети предприятия сеть, в большинстве случаев на базе интерфейса Fibre Channel (FC), соединяющую между собой устройства и серверы хранения данных. В последнее время в качестве внутреннего интерфейса SAN все чаще используется Internet SCSI (iSCSI), менее дорогой и допускающий практически неограниченные расстояния между элементами сети. Передача данных между SAN и подключенными к ней серверами приложений происходит на блочном уровне, как в DAS. 3.4. Технологии виртуализации центров обработки данных Три основных типа виртуализации ресурсов хранения В технологии виртуализации на уровне SAN существуют два основных подхода: симметричная

(in-band)

и

асимметричная

виртуализация

(out-of-band).

При

симметричной виртуализации между серверами и модулями хранения помещается специальное устройство, содержащее правила преобразования физических ресурсов хранения в логические ресурсы. Устройство же асимметричной виртуализации подключается непосредственно к серверу или коммутатору/маршрутизатору и

19

управляет передачей информации о данных между приложением и сервером на их пути к устройству хранения, подсоединенному к SAN. К числу очевидных достоинств симметричного решения относится логическая простота; в нем естественным образом имеется единая точка управления и нет необходимости решать проблемы согласования в работе устройств. Кроме того, симметричный пул имеет следующие положительные качества: 

простота установки и администрирования;



прозрачность для серверов и операционных систем, при использовании серверов приложений не требуются специальные драйверы;



обеспечение сериализации доступа к данным и потенциальной возможности для разделения доступа к данным между серверами;



возможность

расширения

функциональности

SAN

Storage

Manager

независимо от серверов и систем хранения. К числу преимуществ асимметричного пула относятся: 

простота администрирования и наращивания функциональности;



прозрачность для приложений и операционных систем;



управление виртуализацией из одной точки;



минимальное время задержки.

Слабые места: 

решение должно быть кластеризовано;



для внедрения асимметричного пула (в отличие от симметричного) требуется либо применить администрирование серверов, либо использовать адаптеры шины и драйверы;



отключение виртуализации затруднено.

Виртуализация на уровне сервера Исторически первым было решение на уровне сервера. Логические менеджеры томов сначала появились на мэйнфреймах, затем Unix-серверах, а в последние годы и на платформах Windows. Они обеспечивают виртуализацию посредством отображения физических устройств в логические, имеющие так называемые логические номера (LUN), делящиеся на логические группы дисков или логические тома. Это дает

20

приложениям возможность монтировать логические тома, не связывая себя с конкретным физическим устройством. Некоторые логические менеджеры позволяют создавать различные программные RAID-массивы, изменять конфигурацию внешней памяти в динамическом режиме, производить замену физического устройства, не оказывая влияния на работу приложений. Виртуализация на уровне подсистем хранения На нижнем уровне также возможны различные подходы к виртуализации. С 90-х годов и по сей день на мэйнфреймах используют менеджеры виртуализации (Storage Virtualization Manager), создающие виртуальные тома (Virtual Volume). С переходом к сетям хранения эта идея осталась жизнеспособной, но с ограничениями — для ее реализации требуются однородность самой сети и подсистем хранения. Другой подход называют «SAN из коробки» (SAN-in-a-box); он основан на интегрированном решении, где в одной стойке собраны накопители, системы управления и коммутации. Решение удовлетворяет целям виртуализации — но в пределах «коробки». Виртуализация на уровне сети хранения Любая сеть хранения состоит из двух групп компонентов: функциональных (серверы, накопители) и инфраструктурных (адаптеры, концентраторы, коммутаторы). Для того чтобы реализовать виртуализацию на уровне сети хранения, две эти группы нужно дополнить третьей, которую можно назвать управляющей. Оборудование, которое в нее входит, называют SAN-приставками или SAN-серверами. Это вычислительные устройства, подключаемые к SAN или устанавливаемые на путях передачи данных, которые отвечают за топологию и реализуют абстрагирование данных от их места нахождения. Объединенный пул хранения может быть симметричным (symmetrical pooling, SAN Storage Manager) или асимметричным (asymmetrical pooling, Metadata Server). Универсальное решение о наилучшем варианте виртуализации пока не найдено. По всей видимости, в обозримом будущем найдут применение разные типы виртуализаций, а задавать тон станут концепции (продукты) с надежными базовыми функциями

(профилями,

регулирующими

машинами,

интерфейсами

администрирования), мощными функциями виртуализации (выделение ресурсов хранения,

копирование

point-in-time,

зеркалирование,

21

миграция),

эффективной

автоматизацией, реальной поддержкой разнородной среды, а также с простым управлением и непробиваемой защитой. Помимо соответствия этим критериям от разработчиков решений виртуализации требуется четкий план развития в будущем. 3.5. Проблемы технологии виртуализации Технологиям виртуализации присущ ряд некоторых проблем. Одной из главных проблем является отсутствие единого и общепринятого понятия о виртуализации данных. Напротив, существует большое разнообразие подходов, объясняемое различием архитектур продуктов хранения данных. Эти подходы конкурируют между собой, особенно, технологии симметричной и ассиметричной виртуализации. Несогласованность

действий

производителей

приводит

к

отсутствию

утверждѐнных стандартов в области виртуализации данных. Это существенно усложняет выбор конкретного средства виртуализации. Поэтому пользователям приходится выбирать конкретное средство виртуализации, ориентируясь, в первую очередь, на его интегрируемость со своей ИТ-инфраструктурой и стоимость. Проблемой

является

и

отказоустойчивость

устройств

симметричной

виртуализации, так как сбои в их работе приводят к недоступности для серверов всех ресурсов хранения (то есть, создаѐтся единая точка отказа). Поэтому, в ряде случаев, требуется резервирование самих устройств симметричной виртуализации. Помимо этого, так как все операции ввода-вывода осуществляются непосредственно через устройство симметричной виртуализации, то возникают определѐнные ограничения для производительности всей системы. Так как истинная структура данных скрыта от серверов, то усложняется использование внутренних процедур дисковых массивов (например, удалѐнная репликация). Вследствие всех этих проблем, устройства виртуализации типа in-band позиционируются для применения в SAN небольшого размера.

22

3.6. Поставщики решений виртуализации

Hitachi В продуктах виртуализации на уровне сети доступ к физическим томам основан на использовании таблицы отображений логических адресов, которую поддерживает специальное устройство, установленное в сети. Применение подобных таблиц отображения означает необходимость использования систем хранения от одного производителя и создаѐт риск потери данных. Предлагаемое Hitachi решение на базе контроллера только отображает данные с внешних систем хранения в кэше контроллера, поэтому таблица логических адресов хранится на внешней системе хранения вместе с самими данными, а не в сети, как в выпускаемых некоторыми вендорами приставках для виртуализации. Решение Hitachi не зависит от сети и поэтому оно может работать при использовании подключения систем хранения напрямую, к мэйнфреймам и через LAN/WAN. Предлагается архитектура контроллера хранения с массивным параллелизмом, которая позволяет клиентам в зависимости от своих задач включать и отключать виртуализацию”.

IBM Корпорация IBM предложила новую серию продуктов IBM System Storage N series Virtual File Manager (VFM), предназначенных для виртуализации корпоративных систем хранения данных. Предлагаемое программное обеспечение предоставляет все необходимое для управления неструктурированными данными в масштабах всего предприятия и поддерживает виртуализацию файловых систем на серверах UNIX, Linux, Windows и IBM N. Механизмы, реализованные в решении VFM, могут использоваться для консолидации и миграции содержимого файловых серверов и систем хранения данных, управления

данными

в

географически

удаленных

филиалах

организации

и

восстановления информации после сбоя системы. IBM поддерживает четыре уровня виртуализации. Первый — аппаратный, его можно обнаружить в корпоративных серверах; он позволяет серверам, работающим под управлением ОС Unix или Windows, а также системам AS/400 и S/390 получать

23

доступ к дисководам, не зная их физического адреса. Второй уровень — уровень логических номеров устройств LUN; он поддерживается продуктом Mass Storage Server. Третий реализуется средствами Tivoli SANergy, позволяющими серверам иметь распределенный доступ к файлам в SAN и через шлюз работать с NAS. Четвертый уровень — инициатива Storage Tank. Storage Tank сочетает в себе черты распределенного решения с особенностями асимметричного пула. И по сравнению с традиционным подключением серверов и рабочих станций к сети хранения по Fibre Channel или iSCSI отличается наличием двух компонентов: Storage Tank Server - сервер, администрирующий обмен данными и хранящий метаданные (в данном контексте он выступает именно в роли сервера, снабжающего систему метаданными); Installable File System (IFS) - дополнительный компонент файловой системы, устанавливаемый на каждом из подключенных серверов и рабочих станций (эти компьютеры служат клиентами, потребляющими метаданные). В роли Storage Tank Server может использоваться любая платформа, работающая под управлением ОС IBM AIX, Windows или Linux. Диапазон допустимого оборудования предельно широк: от недорогих Linux-серверов до суперкомпьютеров IBM SP2. Клиентами могут быть любые машины с операционными системами Windows 2000, AIX, Sun Solaris, Linux, HP-UX и др. Обмен данными между клиентом и сервером осуществляется по протоколу IBM Storage Tank Protocol. Согласно нему, для того, например, чтобы открыть файл, клиент распределенной системы хранения Storage Tank должен войти в контакт с Storage Tank Server, получить от него метаданные и права доступа; метаданные сообщают клиенту атрибуты и расположение устройства, а право доступа лимитирует его возможности открытия, чтения и записи в файл. После этого можно выполнить требуемые операции с данными через сеть хранения. Одна из самых больших сложностей, которую удалось преодолеть при создании Storage Tank, заключается в согласовании средствами распределенных компонентов IFS кэшей каждого из клиентов.

EMC

24

В EMC проводят различие между виртуализацией как абстрагированием от данных (data abstraction) в смысле создания общего гигантского пула и концепцией мобильности

данных

(data

т.е.

mobility),

обеспечением

беспрепятственного

автоматизированного перемещения информации. Автоматизация в данном случае представляет собой переход от пассивной среды, хранящей связанные данные, к активной среде, где информация автоматически и незаметно для пользователя перемещается в нужные места. Система Automated Information Storage (AutoIS), в которой воплощены эти идеи, служит открытым инструментарием для управления хранением. В AutoIS можно обнаружить и то, что называют виртуализацией в чистом виде, т. е. абстрагирование, централизованное управление, однако это инструментарий более широкого профиля. В частности, AutoIS может делать то, что недоступно продуктам, специализирующимся на «чистой» виртуализации, — например, сочетать достоинства виртуализации с поддержкой существующих пользовательских систем, при этом не требуется все начинать с нуля. AutoIS

позволяет

дать

выход

интеллектуальным

способностям

современных

накопителей, в то время как в большинстве альтернативных систем используют простые накопители типа JBOD. В конечном счете, AutoIS — это инструментарий автоматизации среды хранения, а не только средство для создания дискового пула.

Hewlett-Packard Стратегия HP в области управления ресурсами хранения данных носит название Federated Storage Area Management (FSAM). Устройство для сетевой виртуализации HP SANlink, позволяет хранить данные в виде централизованного логического пула. В значительной мере нынешние предложения HP основываются на продуктах купленной компании StorageApps, входившей в круг небольших фирм, которые проявляли наибольшую активность в области виртуализации. В сочетании с собственным набором инструментов управления средствами хранения данных в составе HP OpenView продукт HP SANlink позволяет построить многофункциональную сеть хранения данных, создать новую сеть хранения или расширить уже существующие. SANlink исполняется

в

стандартной

стойке

HP41U,

25

а

для

удаленного

мониторинга

подключенных к сети систем хранения данных используется отдельно поставляемая система HP SANmaster.

Veritas Software Эта компания выпускает программные средства виртуализации, рассчитанные на системы высокой готовности. Комплекс продуктов SANPoint Foundation Suite HA поддерживает виртуализацию на уровне томов и файлов. Он включает продукт Veritas Volume Manager, позволяющий множеству узлов сети обращаться к одним и тем же томам. Поддерживаются метаданные и информация об отображении, используемая пользовательскими приложениями. На файловом уровне Veritas поддерживает виртуализацию посредством системы кластеризации файлов Cluster File System, которая позволяет нескольким серверам обращаться к одним и тем же файлам. SANPoint Foundation Suite HA работает на платформе Solaris.

Sun Microsystems Позиция этой компании по отношению к виртуализации несколько напоминает позицию EMC. Собственно слово «виртуализация» в документах Sun отнюдь не доминирует, но идея интегрированного управления корпоративной системой хранения, реализации которой подчинены все механизмы виртуализации, в полном объеме отражена в инициативе Storage One. Эта инициатива ставит своей целью предложить «полное решение» в области хранения, содержащее в себе все необходимое для надежной и эффективной работы. Storage One состоит из трех уровней; на нижнем уровне находятся дисковые массивы со встроенной кэш-памятью, интерфейсы и коммутаторы, составляющие инфраструктуру сети хранения. Второй уровень образуют средства организации данных, в том числе менеджеры томов и файловые системы. Третий уровень — программные средства управления, обеспечения надежности и готовности.

26

4. Виртуализация клиентских рабочих мест Под виртуализацией клиентских рабочих мест обычно понимается технология, позволяющая обеспечить полный доступ пользователя к своей рабочей среде в виртуальной машине сервера. При этом, виртуальное рабочее место является, посуществу,

образом

обычного

компьютера

со

своей

операционной

системой,

настройками и приложениям. Клиентская машина, используемая для доступа к образу виртуального рабочего места, должна лишь обеспечивать удаленное подключение к рабочему столу, а это значит, что пользователь не привязан к какому-то конкретному ПК, а может работать со своим файлами и приложениями, располагающимися на стороне сервера, с любого терминала, в том числе и территориально удаленного. Такой способ подключения обеспечивает возможность доступа к рабочей среде пользователя из любой географической точки мира, причем рабочая среда сохраняет то состояние, в котором она пребывала на момент, когда пользователь работал с ней последний раз. Виртуализация сеанса работы (команды пользователя, изображение на экране монитора) осуществляется с помощью программного обеспечения тонкого клиента. Такая технология имеет ряд очевидных преимуществ. Во-первых, она освобождает

от

привязанности

к

конкретному

персональному

компьютеру,

обеспечивая привычное информационно-вычислительное окружение в любом месте и в любой момент времени. Во-вторых, она позволяет резко сократить расходы, связанные с поддержкой и обслуживанием множества рабочих мест, поскольку пользовательские места становятся виртуальными, а обслуживать приходится один центральный сервер, периодически инсталлируя только на нем новые версии системного, клиентского и прикладного

программного

обеспечения,

а

также

проводя

стандартные

профилактические работы. Технологией тонких терминалов занимаются многие фирмы-поставщики аппаратного и программного обеспечения. Так, фирма Sun Microsystems продвигает на рынке терминал Sun Ray. Отличительными особенностями этого продукта является авторизация с помощью

идентификационной

смарт-карты,

которая позволяет

обеспечить пользователю большую мобильность, а также отсутствие встроенного жесткого диска. Функция терминала заключается только в осуществлении команд

27

пользователя и отображении на экране монитора пользовательского сеанса. Все данные и приложения хранятся на сервере. Такая конфигурация позволяет во – первых, обеспечивать большую безопасность хранения данных, во-вторых, существенно снижает расходы по эксплуатации, поскольку сокращение числа компонентов тонкого терминала, в частности, за счет отсутствия вентилятора, необходимого для работы жесткого диска, снижает энергопотребление и уменьшает риск выхода терминалов из строя. По тому же пути следуют производители виртуализированных рабочих мест из фирмы Hewlett-Packard. Их новая продукция - тонкие клиенты HP Thin Client t5145, t5540, t5545 и t5630 обеспечивают более легкое обслуживание, повышенную защиту данных и сокращение более чем вдвое энергопотребления по сравнению с обычными ПК за счет отсутствия жестких дисков и движущихся компонент.

28

Заключение В заключение следует отметить, что использование технологии виртуализации позволяет решить многие задачи по совершенствованию ИТ- инфраструктуры современной организации. Существующие на данный момент решения

для

виртуализации серверных ресурсов, систем хранения данных, рабочих мест клиента дают возможность существенно улучшить эффективность использования оборудования и снизить расходы на его обслуживание. Так, например, корпорация SUN Microsystems сумела сэкономить около 10 млн. долларов за счет внедрения виртуализации в свою инфраструктуру. Однако

следует

помнить,

что

экономический

эффект

от

внедрения

виртуализации может гарантировать только грамотная оценка ситуации, сложившейся с информационно- вычислительными ресурсами в конкретной организации, а также выбор тех вариантов виртуализации, которые будут способствовать повышению эффективности их (ресурсов) использования.

29

Список использованных источников 1. Е. Иванилов. Механизмы виртуализации и адаптивная инфраструктура: Новые принципы организации вычислительной среды, 2004 http://www.ibusiness.ru/project/decisions/32826/ 2. Л. Левин. Insight Dynamics VSE упрощает внедрение виртуализации PC Week/RE №27-28 (633-634), 2008 3. Р. Шивели. Серверы на базе архитектуры Intel® поддерживают технологию виртуализации Журнал Technology@Intel i. http://www.intel.com/cd/corporate/europe/emea/rus/update/213972.htm 4. http://www.vmware.com/ru/virtualization/ 5. Эффективность ИТ-инфраструктуры. Виртуализация на всех уровнях ИТ. Подход SUN к применению виртуализации – свобода выбора, гибкость и мощные средства управления. PCWEEK, № 46 (604), 2007 6. С. Озеров, А. Карабуто. Технологии виртуализации: вчера, сегодня, завтра. "Экспресс Электроника" http://www.citforum.ru/operating_systems/virtualization/ 7. Решения HP по виртуализации ресурсов в серверах HP Integrity и HP 9000 http://www.kcc.ru/about/partners/product8/cat19/prod100 8. Технологии виртуализации в России, PCWeek / №13 (619) 15 апреля – 21 апреля 2008 i. http://si.ibs.ru/content/si/519/5194-article.asp 9. http://www.citforum.ru/nets/storage/virtualization/ 10. http://soft.mail.ru/pressrl_page.php?id=24928 11. http://www.docflow.ru/full_news.asp?param=43756 12. http://www.asutp.ru/?p=200618 13. http://www.ixbt.com/cm/virtualization.shtml 14. http://news.ferra.ru/soft/2007/10/24/74608/ 15. http://search.ibusiness.ru/project/decisions/32826/print.html 16. http://itc.ua/node/23825/ 17. http://www.storus-solutions.ru/articles/ob_3.htm 18. http://www.nestor.minsk.by/sr/news/2006/02/0901.html

30

19. http://www.pcmag.ru/issues/sub_detail.php?ID=9077&SUB_PAGE=5 20. Р. Вирт. «Конвергенция виртуализации, grid и SOA» «Открытые системы», №3 2008

31