HACMP и Cross-Site LVM
Настройка групп томов зеркального отображения cross-site LVM
Для тестирования межсайтового зеркального отображения Cross-Site LVM мы создали три группы томов:
- clvmmshvg – общая группа томов без одновременного доступа (shared non-concurrent);
- clvmmenhvg – группа томов с расширенным одновременным доступом (enhanced concurrent);
- app3vg – группа томов с расширенным одновременным доступом (enhanced concurrent).
Мы создали свои группы томов через меню C-SPOC. Мы запустили smit cl_admin, после чего выбрали HACMP Logical Volume Management (Управление логическими томами HACMP) для общей группы томов или HACMP Concurrent Logical Volume Management (Управление логическими томами HACMP с одновременным доступом) для обеих групп томов с расширенным одновременным доступом.
После выбора участвующих узлов мы выбрали диски, как показано в примере 16.4. Затем мы заполняем все необходимые поля на экране создания группы томов и устанавливаем для опции Enable Cross-Site LVM Mirroring Verification (Включить верификацию зеркального отображения Cross-Site LVM) значение true. В примере 16.5 представлен экран создания группы томов.
[MORE.. .1] > 0022be2a86607918 France > 0022be2a0bfelf60 France > 0022be2a0bfea026 Slovenia > 0022be2a0bfea0ca Slovenia 0022be2a86630978 0022be2a0bfe9f8a Slovenia 0 022be2a0bfe9eec Slovenia 0022be2a0bfe9el9Пример 16.4. Выбор диска для создания группы томов в меню SMIT
В примере 16.5 представлено создание общей группы томов.
Конфигурирование группы ресурсов, содержащей группу томов с поддержкой зеркального отображения Cross-Site LVM
После определения в кластере всех компонентов топологии и LVM мы выполнили создание групп ресурсов. Для двух групп ресурсов узел nantes является основным узлом. Для третьей группы ресурсов основным узлом является koper. Каждая группа ресурсов владеет одной группой томов, для которой осуществляется межсайтовое зеркальное отображение.
Создание группы ресурсов в межсайтовой кластерной среде подобно обычной кластерной конфигурации. Для групп ресурсов с зависимостями сайтов в кластерной среде, в которой выполняется определение сайтов, устанавливается дополнительный параметр Inter-Site Management Policy (Политика межсайтового управления). Этот параметр может принимать следующие значения:
- Ignore (Игнорировать). Это значение установлено по умолчанию и игнорирует параметры зависимостей сайта для группы ресурсов.
- Prefer Primary Site (Предпочтительное использование основного сайта). Для группы ресурсов можно установить перехват несколькими сайтами приоритетным образом. При отказе сайта ресурс перехватывает активный сайт с наивысшим приоритетом. При реинтеграции отказавшего сайта ресурс получает сайт с наивысшим приоритетом.
- Online On Either Site (Подключение на любом сайте). Группа ресурсов может быть получена любым сайтом в цепочке ресурсов. При отказе сайта перехват группы ресурсов выполняется на дежурном сайте с наивысшим приоритетом. При реинтеграции отказавшего сайта группа ресурсов остается у нового владельца.
- Online On Both Sites (Подключение на обоих сайтах). Получение группы выполняется на обоих сайтах. Этот вариант определяет группу ресурсов с возможностью одновременного доступа.
После определения групп ресурсов выполняется конфигурирование атрибутов группы ресурсов, таких, как группа томов, сервисный IP-адрес и сервер приложения.
Важным параметром при добавлении группы томов с поддержкой межсайтового зеркального отображения в группу ресурсов является поле Use forced varyon of volume groups, if necessary (При необходимости использовать принудительную активизацию групп томов). Необходимо установить для этого поля значение true в любой конфигурации межсайтового зеркального отображения Cross-Site LVM. Это обеспечивает возможность активизации определенной группы томов на другом узле только с одной (оставшейся) копией логического тома в случае отказа хранилища или сайта.
После определения групп ресурсов и назначения групп томов в группы ресурсов выполняется добавление логических томов и файловой системы в группы томов. Конфигурирование выполняется обычным способом с использованием C-SPOC. Дополнительные сведения о создании компонентов LVM см. в разделе "Управление общим хранением".
Для каждой группы ресурсов мы определяем сервер приложения. Сервер приложения выполняет тестовое приложение, которое осуществляет интенсивную запись в файловые системы заданной группы ресурсов. При такой нагрузке мы можем достичь показателя использования заданного диска между 70 и 100 %.
После настройки кластерной среды мы выполнили активизацию автоматического уведомления об ошибках. Мы выполнили smit hacmp > Problem Determination Tools (Инструменты определения проблем) > HACMP Error Notification (Уведомления об ошибках HACMP) > Configure Automatic Error Notification (Конфигурирование автоматического уведомления об ошибках) > Add Error Notify Methods for Cluster Resources (Добавить методы уведомления об ошибках для ресурсов кластера). Дополнительные сведения о функции уведомления об ошибках см. в разделе "Уведомление об ошибках".
Тестирование межсайтового зеркального отображения Cross-Site LVM
После конфигурирования топологии и ресурсов кластера мы выполняем синхронизацию и верификацию кластера. Мы запустили кластер и проверили, все ли ресурсы и пути для связи активны. Утилита cldump выводит информацию об узлах кластера и сетевых интерфейсах, а также о состоянии групп ресурсов (включая политики каждой группы ресурсов). Пример 16.6 содержит выходные данные команды cldump из нашей тестовой кластерной среды.
kaper /usr/es/sbin/cluster/utilities > cldump Obtaining information via SNMP from Nude: nantes... Cluster Name: crossitelm Cluster State: JP Cluster Substate: STABLE Node Name: knper State: UP Network Name: netdiskhbDl State: UP Address: Label: dfskbb_slovenfatonantes State: UP Network Hums: net_ether_01 State: UP Address: 10.10.1.9 Label; koper_basel State: UP Address; 10.10.2.9 Label: koper_b3se2 State: UP Address: 192.1&8.100,117 Label: appJsvc State: UP Node Name: nantes State: UP Network Warn*: netdfskhbOl State; UP Address; Label: di skhb_fraricetos1 ovinia State: UP Network Name: net_ether_01 State: UP Address: 10.10.1.2 Label: nantes_basel State: UP Address: 10.10.2.2 Label: nantesbaseZ State: UP Address: 192.163.100,86 Label: applsvc State: UP Address: 192.163.100.87 Label: appZsvc State: UP Cluster Name: crossitelvm Resource Group Name: RG1 Startup Policy: Online On Home Node Only Fallover Policy: Fallover To Next Priority Node In The List Fallback Policy: Fallback To Higher Priority Node In The List Site Policy: ignore Priority Override Information: Primary Instance POL: Node Group State nantes ONLINE koper OFFLINE Resource Group Name: RG2 Startup Policy: Online On Home Node Only Fallover Policy: Fallover To Next Priority Node In The List Fallback Policy: Fallback To Higher Priority Node In The List Site Policy: ignore Priority Override Information: Primary Instance POL: Node Group State nantes ONLINE kopar OFFLINE Resource Group Name: RG3 Startup Policy: Online On Home Node Only Fallover Policy: Fallover To Next Priority Node In The List Fallback Policy: Fallback To Higher Priority Node In The List Site Policy: ignore Priority Override Information: Primary Instance POL: Node Group State koper OtlLlNE nantes OFFLINEПример 16.6. Выходные данные команды cldump в кластерной среде с межсайтовым зеркальным отображением
Протестированные сценарии
Постепенная остановка с передачей ресурсов
Сначала мы выполняем тестирование постепенной остановки с передачей ресурсов (graceful shutdown with takeover) на узле nantes. Службы кластера на узле nantes останавливают и перемещают группы ресурсов RG1 и RG2, активизируя их на узле koper сайта Slovenia, как и ожидалось. После тестирования мы запустили узел nantes0ы и кластер инициировал перемещение групп ресурсов RG1 и RG2 обратно на основной узел (nantes), как и было определено в политике группы ресурсов. Все ресурсы в группах ресурсов RG1 и RG2 стали доступны на узле nantes, после чего приложения стали активными.
Перемещение группы ресурсов на другой сайт
В следующем тесте мы выбрали узел nantes, владеющий двумя группами ресурсов. Используя функцию C-SPOC Move a Resource Group to Another Node / Site (Перемещение группы ресурсов на другой узел/сайт), мы переместили только группу ресурсов RG1 на узел koper. Все ресурсы группы ресурсов RG1 были перемещены на узел koper, тогда как группа ресурсов RG2 осталась активной на узле nantes без прерывания обслуживания, как и ожидалось.
Отказ одной подсистемы хранения
В следующем тесте мы имитировали отказ (основного) хранилища ESS. Тестирование отказа хранилища производилось, когда все три тестовых приложения были активны и при интенсивной нагрузке на диски. Показатель использования дисков составлял около 100 % для всех тестовых файловых систем. Мы имитировали два различных типа отказов хранилища.
При первой имитации мы убрали назначения всех LUN, которыми владели наши группы томов с поддержкой межсайтового зеркального отображения. Это имитировало внутренний логический отказ хранилища. При имитации второго отказа мы отключили кабель Fibre Channel на узле nantes для имитации отказа подключения.
В обоих случаях приложения продолжали работать без прерывания и группы томов и файловые системы оставались доступными. После отказа мы проверили доступность диска и состояние синхронизации копии логического тома. Диски из хранилища ESS выводились с пометкой missing и с состоянием логического тома stale. Пример 16.7 содержит выходные данные для группы томов clvmmenhvg при недоступной дисковой подсистемы ESS.
nantes > lsvg -p clvmmenhvg clvmmenhvg: PV_NAME PV STATE TOTAL PPs FREE PPs FREE DISTRIBUTION hdiskll active 79 78 16..15..15..16..16 hdisklO active 79 59 16..00..11..16..16 hdisk2 missing 74 73 15..14..14..15.. 15 hdiskS missing 74 54 15..00. .09..15..15 nantes > lsvg -1 clvmmenhvg clvmmenhvg: LV NAME TYPE LPs PPs PVs LV STATE MOUNT POINT cenglogZlv jfsZlog 12 2 open/stale N/A enhtestllv jfs2 20 ВД 2 open/stale /applfsПример 16.7. Состояние дисков и логических томов после реинтеграции хранилища
Приложения продолжали работать с оставшейся копией логического тома. После этого теста мы восстановили доступ к хранилищу ESS. Мы использовали опцию CSPOC Synchronize Shared LVM Mirrors (Синхронизация общих зеркальных отображений LVM), которая автоматически сделала доступными все устройства hdisk и выполнила синхронизацию всех логических томов. Мы выполнили smit cl_admin > HACMP Logical Volume Management (Управление логическими томами HACMP) > Synchronize Shared LVM Mirrors (Синхронизация общих зеркальных отображений LVM) > Synchronize by Volume Group (Синхронизация по группам томов), после чего выбрали требуемую группу томов.
Мы проверили доступность дисков и состояние синхронизации копии логического тома. Все диски во всех группах томов являются доступными, и все логические тома находятся в состоянии synch1. Пример 16.8 содержит данные для группы томов clvmmenhvg после реинтеграции хранилища.
nantes > lsvg -p clvmirtenhvg PV_NAME PV STATE TOTAL PPs FREE PPs FREE DISTRIBUTION hdiskll active 79 78 16..15..15..16..16 hdisklO active 79 59 16..00..11..16..16 hdisk2 active 74 73 15..14..14..15..15 hdiskS active 74 54 15. .00..09..15..15 nantes > lsvg -1 clvmmenhvg clvmnenhvg: LV NAME TYPE LPs PPs PVs Lv STATE MOUNT POINT cenglog21v jfs21og 1 2 2 open/syncd N/A enhtestllv jfs2 20 40 2 open/syncd /applfsПример 16.8. Состояние дисков и логических томов после реинтеграции хранилища
Отказ всех дисковых подключений на одном сайте
В следующем тесте выполняется разрыв подключений Fiber Channel на сайте France и узле nantes. После некоторой задержки (в пару минут) кластер обнаружил отказ хранилища для всех файловых систем в общей группе томов и выполнил перемещение групп ресурсов RG1 и RG2 на другой сайт Slovenia. Кластер активизирует обе группы ресурсов на узле koper, выполняет varyonvg для всех групп томов, подключает файловые системы и запускает приложения. Все ресурсы доступны на узле koper и группы томов из RG1 и RG2 активизированы.
Отказ сайта
В следующем тесте мы имитировали отказ сайта France посредством одновременного отказа узла nantes и подключений Fiber Channel к дисковой подсистеме ESS. Кластер обнаруживает отказ сайта, после чего происходит перемещение групп ресурсов RG1 и RG2 на сайт Slovenia. Кластер активизирует обе группы ресурсов на узле koper, выполняет команду varyonvg для всех групп томов, подключает файловые системы и запускает приложения. Все ресурсы доступны на узле koper, группы томов, относящиеся к RG1 и RG2, активизируются в оставшейся дисковой подсистеме (хранилище DS4500). Третья группа ресурсов RG3 (на узле koper) работает без перерыва.
После выполнения данного теста мы подключили дисковую подсистему ESS обратно, после чего дисковые ресурсы ESS опять стали доступными, и активизировали узел nantes. Кластер инициирует перемещение RG1 и RG2 обратно на основной узел (nantes) в соответствии с политикой группы ресурсов. Все ресурсы в RG1 и RG2 стали доступными на узле nantes, после чего были запущены приложения.