Компьютер-Информ || Архив || Рубрики || Поиск || Подписка || Работа || О "КИ" || Карта
Нетривиальная ориентация кластера
Что такое кластер? Дешевая альтернатива мэйнфреймам и прочим многопроцессорным Голиафам. За последние три года к ним уже привыкли. Чаще всего кластеры используют в научных и учебных заведениях. А═вот если применить кластер в качестве системы резервного копирования? Идею (и реализацию) организации RAID-массива на 70═ТБ для резервного копирования мы отыскали в Интернет.
Традиционно для решения задачи резервного копирования используется ленточная библиотека, управляемая автоматизированным роботом. Но немецкая фирма Dr.═Koch Computertechnik AG создала для германского университета в г.═Тюбингене (Tьbingen) кластерную систему для резервного копирования объемом в 70═ТБ на стандартных IDE жестких дисках. Ниже мы приведем перевод описания этой системы (http://www4.tomshardware.com/storage/20030425/index.html), но следует заметить, что, с нашей точки зрения, немцы очень богаты и в данном случае тратят деньги нерационально. Например, в Санкт-Петербургском университете компьютеры, объединенные общей сетью, днем используются как учебные классы, а в вечернее и ночное время═≈ как узлы кластера для проведения научных расчетов (см. статью ╚ИТ в Санкт-Петербургском университете╩, ╚КИ╩ ╧═9/2002). Что стоило немцам добавить в каждый узел этого кластера еще по паре или по одному IDE-диску (потому что на плате все равно существуют внутренние IDE-контроллеры), и в то время, когда не происходит резервное копирование, использовать систему для научных расчетов? Это несколько усложнило бы диспетчер переключения задач, но реализовать это просто под любой Unix-подобной системой или под Windows. Тогда понесенные затраты были бы гораздо более рационально использованы.
Российская фирма ╚Эврика╩ в аналогичном случае использовала все возможности. Но наш вариант мы опишем в следующем номере. А═пока═≈ немецкий вариант.
А.═Николаев,
Специалисты подтвердят, что для резервного копирования редко используются жесткие диски с интерфейсом IDE. Стандартным инструментом для резервного копирования являются ленточные устройства, также называемые стриммерами. Они используются поодиночке и в составе комплексных решений, когда несколько стриммеров устанавливаются в кабинет, а ленты подает роботизированная система. Если же жесткие диски и применяются для резервного копирования, то это═≈ SCSI-диски, которые предназначены для долгого использования и обычно поставляются с 5-летней гарантией.
Наибольшее значение в решениях резервного копирования имеет надежность. А═надежность═≈ не самое главное свойство интерфейса IDE. И═что еще хуже═≈ большинство производителей сокращают гарантийный срок на них до одного года. По этим соображениям от применения IDE и отказываются.
История |
| В Университетском вычислительном центре восстановили прародителя современных ПК═≈ калькулятор Шикарда (Schickard), построенный для его друга Иоганна Кеплера (Johannes Kepler) в XVII веке. Он может выполнять четыре основных вычисления. |
Аргумент в пользу IDE весьма простой═≈ экономия. За цену одного 147═ГБ SCSI-винчестера можно купить три современных IDE жестких диска, каждый емкостью в 200═ГБ и больше.
Стоит напомнить, что, когда речь идет именно о резервном копировании, SCSI остается неоспоримым выбором в файл-серверных системах, где доступность данных═≈ превыше всего, а у этих дисков и контроллеров═≈ наивысшая скорость ввода/вывода. Про IDE-дисководы этого не скажешь. Но стоит напомнить, что максимальная производительность редко требуется в решениях резервного копирования.
Ленточные роботизированные библиотеки быстро обрабатывают огромные объемы данных, но начальная цена на подобные системы тоже огромная═≈ от $50000 и выше. И═на балансе окажутся несколько стриммеров, десятки или даже сотни лент, сервер резервного копирования и ПО к нему. Эти огромные инвестиции будут оправданы только в том случае, если количество данных столь велико, что придется платить в основном за ленты,═≈ а они относительно дешевы.
С этой точки зрения меньшая надежность жестких дисков IDE═≈ не самое главное. Любой ╚настоящий╩ RAID-массив также имеет жесткий диск, который активно не используется. Этот ╚горячий резерв╩ включается в тот момент, когда по какой-либо причине отказывается работать активный жесткий диск в массиве. Контроллер распознает ошибку и автоматически начнет пересохранение данных с отказавшего жесткого диска, используя горячий резерв. Вспомните приведенные выше расчеты═≈ можно купить один SCSI-диск для горячего резерва емкостью в 147═ГБ,═≈ или три 200═ГБ жестких диска с интерфейсом IDE. И═если один из активных дисков откажет,═≈ у вас останутся два дополнительных, на которые можно вести резервную запись.
При оформлении заказа университет Тюбингена сообщил, что намерен использовать систему резервного копирования в течение пяти лет═≈ все это время современные жесткие диски должны отработать, если условия работы нормальные. Модели SCSI, как правило, так долго и работают. Но и диски с интерфейсом IDE скорей всего отработают весь период, так как резервное копирование обычно осуществляется по ночам, а не круглые сутки, и количество перезаписей при этом относительно мало.
Создание такого типа систем резервного копирования (рис.═1) в основном весьма просто: необходим стандартный сервер начального уровня, например двухпроцессорный Athlon═MP, к нему добавляются современные компоненты и три большого калибра контроллера IDE-RAID на компьютер, например, 8-канальные производства американской компании 3Ware (модель 7500-8). Есть две причины, по которым не применяются 12-канальные контроллеры: прежде всего, восьми жестких дисков вполне достаточно для ширины полосы пропускания 64-битного PCI-интерфейса в 33═МГц (266═Мб/сек), и, во-вторых, 36 жестких дисков установить и подключить сложновато, да и 24 тоже непросто.
Фирма Dr.═Koch сконструировала открытые 19■ конструктивы, которые можно вставлять в индивидуальный системный модуль, или узел (рис. 2). Эти узлы состоят из двух уровней: наверху находятся три ряда по восемь жестких дисков в каждом; внизу находится платформа, основанная на двухпроцессорной материнской плате под Athlon,═≈ в данном случае это S2460 производства компании Tyan с памятью в 1═ГБ ECC RAM и установкой ОС на отдельном RAID═1. Для обеспечения беспрерывной работы установлены два избыточных источника питания (рис. 3).
Когда проект начинался (в начале 2002 года), наибольшим по объему доступным жестким диском была модель Maxtor D540X емкостью 160═ГБ. Частота его вращения═≈ 5400 оборотов в минуту,═≈ более чем достаточна для использования в RAID и предохраняет систему от перегрева. Каждая система (узел) имеет три контроллера 3Ware, каждый из которых управляет восемью жесткими дисками (рис.4).
Полная система резервного копирования имеет 24 таких узла в пяти больших 19■ кабинетах. 24 жестких диска в 24 узлах дают впечатляющее общее число в 576 жестких дисков, каждый емкостью по 160═ГБ. Теоретически это обеспечивает общую емкость в 92160═ГБ. Из этого объема надо вычесть 11520═ГБ, поскольку каждый RAID-контроллер держит один диск в горячем резерве. Используемый массив═≈ это RAID═5, что, грубо говоря, обеспечивает ту же емкость, как и жесткий диск, используемый для хранения контрольных сумм (в отличие от RAID═3, в котором контрольные суммы распределены по всем дискам). В═результате нам удается сохранить максимально возможную емкость в 69120═ГБ (рис. 5).
На снимке (рис. 6)═≈ вид сзади узла со всеми вставляемыми платами. Со всеми IDE-кабелями кабинет выглядит как куча спагетти. Круглые кабели были выбраны из тех соображений, чтобы легче было подсоединять дисководы и обеспечить максимальную циркуляцию воздуха.
Когда в системе можно будет установить диски с интерфейсом serial ATA и многоканальные контроллеры═≈ будет совсем здорово.
На материнской плате производства Tyan (S2460) (рис. 7) есть четыре 64-битных PCI-слота═≈ три для контроллеров 3Ware и один для активной Gigabit Ethernet платы. Плата поддерживает Athlon═MP с частотой системной шины 266═МГц FSB. Были выбраны процессоры с невысокой тактовой частотой (Athlon═MP 1500+ с частотой 1,33 ГГц), потому что этого вполне достаточно, и нет перегрева. Был выбран процессор AMD, а не Intel, по той причине, что у процессоров Athlon гораздо короче конвейеры, чем у Pentium═4. Это делает Athlon более эффективным при обработке переключения пакетов в контроллерах и пакетов TCP при передаче данных по сети.
Для повышения надежности все вентиляторы меняются каждые два с половиной года. Для вентиляции 19■ конструкции в верхней части кабинета устанавливается большой вентилятор, в дополнение к маленьким вентиляторам, установленным сзади жестких дисков. И, несмотря на такое обилие вентиляторов, рядом можно работать, без риска оглохнуть.
Наиболее дешевой является, конечно, Linux. Но можно также установить Windows═2000 Server или Windows Server═2003,═≈ в смысле производительности это безразлично.
Как попадают данные в массив RAID (рис. 8). Индивидуальные компьютеры подключаются в университетской сети по Gigabit Ethernet. Если понадобится больше емкости для хранения,═≈ добавляются модули. При этом ведь студенты бродят по кампусу, а не остаются все время в одной и той же комнате. Вот по этим причинам и приходится иметь избыточную архитектуру для резервного копирования. При этом в университете данные, как правило, хранятся несколько месяцев.
В принципе, увеличить скорость передачи данных можно, используя 10═Гб Ethernet, но стоимость этого увеличения такова, что прирост производительности того не стоит. Например, 10═Гб Ethernet передается по оптоволоконным кабелям. Кроме того, нет подходящего оборудования для передачи пакетов TCP, поэтому нужно будет рассчитывать на удесятеренную скорость передачи данных при покупке компьютера,═≈ другими словами, нужен гораздо более быстрый процессор. А═это означает необходимость другой платформы с PCI-X и более быстрыми контроллерами. С═IDE таких систем пока нет.
Как же работает резервное копирование при подключении индивидуальных узлов по Gigabit Ethernet, притом, что нет контроллеров либо сервера? ПО было разработано специалистами Тюбингенского университета. Программа, работающая как сервер, устанавливается на каждом компьютере в Центре. Клиентская часть ПО устанавливается на каждом компьютере, с которого необходимо осуществлять резервное копирование данных. Клиент связывается с серверной стороной программы резервного копирования и начинает копирование в соответствии с заданными условиями.
Администратор осуществляет контроль над всем хранилищем данных и может определять, какие данные сохраняются на конкретный модуль в системе резервного копирования. Добавление или удаление модуля столь же просто, как и перенос данных на внешнее средство.
Есть один аспект, в котором система резервного копирования фирмы Dr.═Koch не может сравниться с ленточными решениями: возможность хранения средства, на котором произведено резервное копирование, в другом месте, после того, как копирование завершено.
Зато система резервного копирования фирмы Dr.═Koch имеет другие преимущества. Например, ленты при обрыве портят считывающие головки. Иногда даже приводы лентопротяжки ломаются, если используются ленты от разных производителей. Хотя, конечно, ленты, разорванные роботом при смене носителя, не столь уж большая проблема. Затем, необходим опытный администратор, умеющий обеспечить готовность 24/7 (24 часа 7 дней в
неделю)═≈ и по ночам, когда ведется основное резервное копирование, и в течение дня, в случае, если также понадобится резервное копирование.
В работе со стриммерными системами есть несколько банальных моментов, которые может отследить даже непрофессионал. Во-первых, система резервного копирования имеет ограниченное количество стриммеров. Если все они используются в тот момент, когда поступил запрос на произведение резервного копирования данных, остается либо ждать, пока освободится один из стриммеров, либо прервать идущий процесс копирования. И═необходимо еще время на переустановку лент и перемотку для отыскания подходящего места на ленте.
Другой проблемой является сервер резервного копирования═≈ обычно это управляющее устройство для ленточной системы копирования,═≈ и сами роботы. Если что-то из них сломается═≈ вам крупно не повезло. В═системе с интерфейсом IDE можно исключить дефектный узел из системы резервного копирования и разбираться с ним отдельно.
В сравнении с ленточными системами, система резервного копирования на жестких дисках требует мало забот. Из 576 жестких дисков только три вышли из строя за год каждодневной работы═≈ это составляет уровень отказов в 0,53═%. Контроллеры RAID автоматически восстанавливают массив, используя дисковод горячей замены. Администратору остается только заменить дефектный дисковод.
Возможно, за пять лет выйдет из строя большее количество дисков, но это не столь большая беда с точки зрения финансов. Поэтому фирма Dr.═Koch дала 5-летнюю гарантию на систему резервного копирования (при том, что Maxtor дает 3-летнюю гарантию на свои диски).
Стоит также заметить, что цена на IDE-дисководы падает очень быстро. Так что замена будет стоить недорого и все дешевле день ото дня. Можно также реорганизовать массивы RAID═5, если откажет большее число дисков или если захочется добавить емкости. Сегодня аналогичная система может стартовать с объема хранения в 576x250═ГБ; это эквивалентно 144═ТБ, или 108═ТБ ╚чистыми╩. Фирма Dr.═Koch сегодня установила максимальный объем в 100 узлов, что означает 450═ТБ ╚чистыми╩.
Отметим высокую производительность═≈ резервное копирование и восстановление может быть выполнено на наибольшей возможной сегодня скорости, если, разумеется, хватит полосы пропускания сети.
Общая стоимость системы═≈ $435000, включая техническую поддержку и 5-летнюю гарантию,═≈ это цена в январе 2002 года. Сегодня такая система будет уже дешевле.
КОМПЬЮТЕР-ИНФОРМ Рубрики || Работа || Услуги || Поиск || Архив || Дни рождения
О "КИ" || График выхода || Карта сайта || Подписка
Главная страница
Сайт газеты "Компьютер-Информ" является зарегистрированным электронным СМИ.
Свидетельство Эл ╧ 77-4461 от 2 апреля 2021 г.
Перепечатка материалов без письменного согласия редакции запрещена.
При использовании материалов газеты в Интернет гиперссылка обязательна.
Телефон редакции (812) 118-6666, 118-6555.
Адрес: 196084, СПб, ул. Коли Томчака, д. 9
e-mail:
Для пресс-релизов и новостей