Установка и настройка отказоустойчивого кластера.

Введение

Virtual Environment (VE) (виртуальня среда) Proxmox является многоузловым кластерным гипервизоро  с открытым исходным кодом, построенным на Debian Linux и способным работать на общедоступных аппаратных средствах, те самым устраняя любые блокировки вендора. Proxmox свободно доступен без каких-либо блокированных особенностей.

Proxmox это мультиузловая среда, и это означает, что многие узлы могут образовывать единый кластер в котором виртуальная машина может быть перемещена на любой узел в кластере, тем самым делая возможной избыточную виртуальную среду. Весь Proxmox кластер может управляться через надежный графический интерфейс пользователя (GUI).

Установка Proxmox на голом узле (на каждую Нод) на RAID1

1) Жесткие диски обязательно должны быть «очищены» перед установкой Proxmox! Для работы с программным RAID1 обязательно использование дисков HGST (было протестировано на них). На дисках Toshiba программный RAID1 сделать не удалось. После настройки Bios (режим SATA – ACHI), монтируем образ proxmox-ve_4.4-eb2d6f1e-2 с «Внешнего HDD» и загружаемся с него (без UEFI), либо через IPMI Supermicro utilities смонтировать образ proxmox-ve_4.4-eb2d6f1e-2 (для этого нужно знать ip адрес IPMI и быть в одной подсети с ним)

Процесс установки Proxmox полностью управляется графическим интерфейсом с помощью различных подсказок. В этом разделе мы последуем следующими шагами в создании нашего первого узла Proxmox. Включите питание и загрузите физический узел, используя установочный диск или USB-носитель. На следующий снимок экрана показывает как выглядит экран после загрузки:

2) Install proxmox VE

3) В экране End User License Agreement (EULA) кликните согласие:I agree.

4) Нажимаем options и меняем на файловую систему zfs-raid1) – next (не применимо для дисков Toshiba)

5) Russia – Europe/Moscow – U.S.English

6) Введите и подтвердите пароль для пользователя root. Затем введите адрес е-mail, на который отсылать все уведомления кластера Proxmox. Вводим пароль для root:000000 повторяем, mail любой —next

7) На данном шаге вы должны ввести имя хоста и сетевую информацию, такую как IP Address, Gateway, DNS Server. Введите необходимую информацию для вашей среды, а затем нажмите Next. Следующий экранный снимок показывает экран с сетевой информацией:

Hostname: dir_номер сервера.integra-s.com (доменное имя обязательно) Сеть указываем свою, ВАЖНО IP должен быть с прямым выходом в интернет, хотя бы на время обновления; в нашем случае (в офисе Интегра-С) настройки сети следующие:

192.168.10.66 (IP с инетом)

255.255.254.0 (маска)

192.168.10.9 (шлюз)

192.168.10.2 (DNS)

Нажмите Next

8) Дождаться завершения установки На данный момент была собрана вся необходимая информация и была запущена основная установка. После ее выполнения удалите установочный диск или носитель USB и кликните на Reboot. Следуйте шагам с 1 по 8 на втором и третьем узле узле. (Для Proxmox кластера минимально требуются два узла.)

ВНИМАНИЕ

Если требуется менять ip адрес делать только через web-интерфейс, имя сервера (нод) нельзя менять через nano /etc/hosts .

Обновление Proxmox и установка компонентов

1) Необходимо поменять платный репозиторий Proxmox, требующий подписки, на бесплатный, логинимся от root и вбиваем строку:

#nano /etc/apt/sources.list.d/pve-enterprise.list

Комментируем строку и вбиваем новую строку ниже:

deb http://download.proxmox.com/debian jessie pve-no-subscription

(можно использовать копирование строки ctrl+K (копировать) ctrl+U (вставить)

Нажимаем ctrl+X затем Y и Enter

2) Далее обновляем Proxmox:

#apt update && apt dist-upgrade

соглашаемся Y

“q to quit” нажимаем Q

3) Вбиваем и устанавливаем по очереди:

#pveceph install -version jewel

1. apt install htop mc attr glusterfs-server pv ntp

Если требуется сменить имя сервера или ip адрес необходимо менять в двух местах, командами: nano /etc/hostname — не желательно, возможны ошибки после nano /etc/hosts

Веб-интерфейс, смена ip, редактирование hosts и добавление нодов

С другого компьютера в общей локальной сети (или ноутбука) заходим через браузер на веб-интерфейс proxmox:

в нашем случае https://192.168.10.66:8006

Выбираем сначала язык Russia затем root и пароль 000000

Выбираем сервер в левом столбце, затем System – сеть и в строке wmbr0 по двойному клику меняем в открывшемся окне IP адрес, маску и шлюз – ок. Так же меняем DNS сервер если требуется

Нажимаем на кнопку «Перезапуск» в верхнем правом углу веб-интерфейса (в некоторых случаях необходимо перезагружать дважды)

Ждем какое то время, пробуем зайти по новому адресу https://Х.Х.Х.Х:8006

Х.Х.Х.Х — ваш новый IP адрес, порт всегда 8006

Так же нужно поменять IP адрес в строке файла hosts, для корректного отображения IP в шапке консоли

Это можно сделать через веб-интерфейс нажав «Консоль» логинимся от root и вбиваем команду:

#nano /etc/hosts

меняет IP, а так же обязательно прописываем на каждой Ноде (сервере) ip и hostname Нод будущего кластера

Нажимаем ctrl+X затем Y и Enter

Повторяем у всех Нодов (серверов), pvelocalhost в конце строки остается на каждом из нодов в соответствии с тем, на котором настраиваем (см. скриншот). Обратить внимание на ip адрес и имя сервера. Включая четвертый dir4 - ZIP сервер.

Объединение в кластер

Создаем кластер и прописываем на главном Ноде (допустим на dir1):

#pvecm create <clustername> (например dircluster)

Проверяем, что все нормально и смотрим список Нод

#pvecm status

На второстепенных Нодах пишем

#pvecm add dir1 (dir1 это наш главный Нод)

yes, пароль от root главной Нода

Проверяем, что все нормально и смотрим список Нод в кластере

#pvecm status

Перезагружаем все Ноды и заходим в веб-интерфейс главного Нода (в нашем случае https://192.168.11.211:8006)

Должны увидеть все добавленные Ноды (серверы) в «Датацентр» - «Сводка» Online 3