Установка и настройка отказоустойчивого кластера. — различия между версиями

{

|class="wikitable"

Предыдущий рисунок показывает узлы Proxmox, три узла монитора, три узла OSD и два узла MDS составляющие кластер Proxmox+Ceph. Заметим, что Ceph располагается в сети, которая отличается от общедоступной сети. В зависимости от установки числа репликаций все приходящие данные объектов должны записываться более одного раза. Это вызывает высокую потребность в пропускной способности. {Прим. пер.: еще большую нагрузку создают автоматическая балансировка, сохраняющая примерно равным процент заполнения всех OSD в кластере Ceph, и восстановление копий в случае выхода из строя некоего оборудования}. Выделяя Ceph в отдельную сетевую среду мы будем уверены, что сеть Ceph может полностью использовать всю полосу пропускания.

В более продвинутых кластерах третья сеть создается исключительно между узлами Ceph для репликаций кластера, тем самым еще больше улучшая производительность. В Proxmox VE 3.4. один и тот же узел может использоваться и для Proxmox, и для Ceph. Это предоставляет больший способ управляемости всеми узлами из одного графического интерфейса Proxmox. Не рекомендуется размещать виртуальные машины Proxmox на узле который также настроен как Ceph. Во время повседневных операций узлы Ceph не потребляют больших объемов ресурсов подобных процессорам или памяти. Однако, когда Ceph переходит в режим балансировки вследствие отказа узла OSD возникают большие объемы реплицируемых данных, что требует больших объемов ресурсов. Если ресурсы совместно используются виртуальными машинами и Ceph, производительность значительно ухудшится.

Вы можете настроить хранилище в кластере Proxmox как с применением GUI, так и с помощью CLI. Настройка хранилища сохраняется в файле

 /etc/pve/storage.cfg.

<type of storage> : <storage_id>

<path_to_storage>

<enable/disable share>

content types

maxfiles <numeric value of maximum backups to keep>

На основании данной настройки существует локальное хранилище подключенное к кластеру Proxmox, причем все файлы будут сохраняться в каталоге /var/lib/vz. Данное хранилище может хранить типы содержания, включающие образы дисков, ISO, шаблоны контейнеров и файлы резервных копий. Хранилище будет хранить максимум три последних файла резервных копии. Следующий снимок экрана показывает хранилище из графического интерфейса Proxmox:

Перезагружаем каждую нод (сервер) два раза, должно быть yes в столбце «Активно»

Для обеспечения отказоустойчивости и повышения пропускной способности сетевых интерфейсов сервера используется агрегация линков, так называемый bonding. Эта технология позволяет объединить два или более физических сетевых интерфейсов в один виртуальный.

mode=0 (balance-rr)

mode=1 (active-backup)

mode=2 (balance-xor)

mode=3 (broadcast)

mode=4 (802.3ad)

mode=5 (balance-tlb)

1) Добавить через веб морду

3) Добавляем в nano /etc/network/interfaces.new

 

(или же eth3, смотря в какой интерфейс подключен кабель)

#pveceph init --network 10.17.0.0/24

#fdisk /dev/sdc

Выбираем sdc  и в строке журналирования так же sdc

 

 

 

 

 

 

#mkdir ceph

 

#cp /etc/ceph/ceph.client.admin.keyring ceph/iperbd.keyring      (используйте Табуляцию)

 

        GlusterFS — это распределённая, параллельная, линейно масштабируемая файловая система с возможностью защиты от сбоев. С помощью InfiniBand RDMA или TCP/IP GlusterFS может объединить хранилища данных, находящиеся на разных серверах, в одну параллельную сетевую файловую систему. GlusterFS работает в пользовательском пространстве при помощи технологии FUSE, поэтому не требует поддержки со стороны ядра операционной системы и работает поверх существующих файловых систем (ext3, ext4, XFS, reiserfs и т. п.).

#gluster peer probe <dir1 name>

 

#gluster peer probe <dir2 name>

 

#gluster peer probe <dir3 name>

#zfs create -o mountpoint=/media/gfs rpool/gfs

 

#zfs set acltype=posixacl rpool/gfs

 

#zfs set atime=off rpool/gfs

 

#zfs set xattr=sa rpool/gfs

 

#zfs set overlay=on rpool/gfs

#mkdir -p /media/gfs/wbackup

 

#gluster volume create wbackup replica 3 dir1:/media/gfs/wbackup  

dir2:/media/gfs/wbackup dir3:/media/gfs/wbackup force    (одной строкой)

#gluster volume start wbackup (на главной ноде)

#gluster volume info

#gluster volume stop wbackup

 

#gluster volume delete wbsckup

 

#cd /media/glusterfs/wbackup

for I in ‘attr -lq .`; do setfattr -x trusted.$i .; done attr -lq ./

1) Настраиваем glusterfs

Datacenter → [wbackup/Glusterfs] → оставить только Content [VZDump backup file] → [OK]

Датацентр – Хранилище – wbackup – оставить только Образ диска [VZDump backup file] - [OK]

 

 

Datacenter → Backup → [Add] → <Storage local> изменить на  <Storage wbackup> настроить → [Create]

Датацентр – Резервирование – Добавить – < local> изменить на  <wbackup> настроить расписание -  [Create]

Перед созданием VM нужно закачать iso образы (Debian 8.5/8.6) на локальные диски  ноды, чтобы потом можно было установить OS на виртуальную машину

Выбираем необходимый iso образ, в нашем случае debian-8.6.0-amd64-DVD-1 и нажимаем загрузить. Дождаться завершения закачки iso образа на Ноду по сети. Таких образов можно хранить любое количество, зависит от потребности и свободного места на локальных OSD.

где Узел это — имя ноды, VM ID - это идентификатор виртуальной машины, Имя — название виртуальной машины. У Вас будет всё свое. Нажимаем далее

В следующем окне выбираем тип ОС (В нашем случае для Debiana 8.6 – ядро Linux 4.X/3.X/2.6 Kernel

Нажимаем «далее»

Нажимаем «далее»

Выбираем необходимое количество Sockets и Cores (ядер) процессора

Нажимаем «далее»

Выбираем авто определение ОЗУ и указываем по необходимости размер (минимум и максимум)

Новая VM появится именно на той ноде, которая была указана при создании VM. На каждой ноде может быть несколько VM, все зависит от поставленных задач и мощности серверов (нодов) состоящих в кластере. По умолчанию VM не запущена и не установлена в автозапуск вместе с proxmox. Запустить можно кнопкой «запуск» в верхнем правом углу веб-интерфейса, а загружать автоматически можно изменив параметр «Запуск при загрузке»:

После установки ОС на виртуальную машину, iso образ обязательно нужно размонтировать, иначе система будет загружаться с образа. Должно быть так

Если после подключения к VM по двойному клику мыши виден только черный экран — нажмите Enter при активном окне VM.

1) Экпортируем с кластера-донора (Node) открываем консоль

#rbd export ipepool/vm-106-disk-1 - | pv | dd of=vm-106-disk-1

#rbd export ipepool/vm-106-disk-1 - | dd of=vm-106-disk-1

где vm-106-disk-1 — ID VM

#tar -zcvf test.tar.gz vm-106-disk-1

где test – имя архива

vm-106-disk-1 – это имя архивируемого образа

Копируем через WinSCP к себе запакованный образ

2) Импортируем на кластер-акцептор

#tar -zxvf test.tar.gz

#dd if=vm-106-disk-1 | pv | rbd import --image-format 2 --image-feature layering – ipepool/vm-106-disk-1  

#dd if=vm-106-disk-1 | rbd import --image-format 2 --image-feature layering – ipepool/vm-106-disk-1

cd /etc/pve/qemu-server

и копируем себе файл ХХХ.conf, а затем подкидываем его на  кластера-акцептор по пути  

cd /etc/pve/qemu-server;  

3) Смотрим результат

#rbd -p ipepool ls

#rbd info ipepool/vm-106-disk-1

4) Если требуется удалить VM

#rbd -p ipepool rm <diskname>

(удаление лишних feature) rbd feature disable vm-106-disk-1 <feature>

Обязательно сменить сет. настройки и имена у VM, иначе будет конфликт IP адресов!

==HA для мигрирования VM (создание групп)==

Далее указываем ID (имя) и выбираем серверы в группу (галочкой)

Затем переход на закладку HA и нажимаем «добавить»

В открывшимся окне заполняем ID VM которая хотите чтобы мигрировала и указываем число перезапуска (1 по умолчанию), можно вписать комментарий

 

Проделать со всем ID нодами, которые необходимы для миграции

При миграции VM с одной нод на другую в ручную в режиме «онлайн» могут помешать подключенные устройства USB и прочие. Отключите их и попробуйте заного.

Например ручное мигрирование VM не доступно для VM на которой установлен Видео-сервер, потому что USB-ключ защиты не позволяет произвести миграцию.

 

 

Если автоматическое мигрирование VM произошло неудачно (красный крестик на ID VM) попробуйте удалить/изменить ресурсы или группы HA, а затем произвести миграция в ручную на ту ноду, на которой эта VM работала корректно.  

apt install gcc make linux-headers-$(uname -r)

3) #cd /root/moxa/kernerl3.x

#./mxinst

# cd /usr/lib/npreals2/driver/

5) #update-rc.d npreals remove && update-rc.d npreals defaults

7) #update-rc.d ntp remove && update-rc.d ntp defaults

==Использование скрипта для добавления новых database, mss, ff==

#ls – видим скрипт

#ls – что лежит в текущей папке, видим firefly

#cd firefly

#ls – аналогично

Делаем исполняемым — аналогично, scriptffcreate.sh

#./scriptffcreate.sh

Проверка, что он запустился

#systemctl status fireflyPN2 – видим статус active (running) зеленым цветом, значит все ок.

#ls – что лежит в текущей папке, увидим mss

#cd mss

#ls  видим  скрипт scriptmsscreate.sh

делаем исполняемым если не проделано ранее  

#chmod +x <имя скрипта>

Запускаем  #./scriptmsscreate.sh

#systemctl status mssPN2

1) добавить новую ноду и удалить неработающую ноду из кластера

2) добавить новый монитор и удалить неработающий

3) добавить новый gluster brick и удалить неработающий

3) добавляем новый gluster brick

#gluster volume add-brick <wbackup> replica 4 <newnode>:/media/gfs/wbackup force

#gluster volume delete-brick <wbackup> replica 3 <oldnode>:/media/gfs/wbackup force

4) удаление osd мертвой машины

# ceph osd getcrushmap -o crushmapdump

# crushtool -d  crushmapdump -o  crushmapdump-decompiled

# nano  crushmapdump-decompiled

удалить все упоминания сгоревшей машины и osd

# crushtool -c  crushmapdump-decompiled -o crushmapdump-compiled

# ceph osd setcrushmap -i crushmapdump-compiled

1) Сменить всем вм машинам ip-адреса

2) Сменить всем вм машинам имена

3) Настройка ntpvm: после прохождения 1 и 2 пункта, далее добавить сервер (moxa)

3.1) Если все сделано верно, будет создано несколько устройств COM порта;

с помощью команды  

# cat /dev/ttyrX  

X-порядковый номер (1,2,3 и т.д.)

должны пойти данные формата NMEA 0183

3.2) Поправить скрипт, если файл-устройство отличается от написанного в скрипте

/root/moxa/npreals.sh

На всех нодах должен быть установлен ntp, если не установлен устанавливаем его (через интернет или локальных репозиториев)

#apt install ntp

#nano /etc/ntp.conf

#ntpd — gq

GPS/Glonass

Interface [RS-485 2WIRE]

Baud rate [115200]

3) Виртуальные com ports:

4) Настройка скорости и т.п.:

4) При правильном подключении проверим выходные данные:

5) apt install ntp

6) правим конфиг:

# Local Clock — если теряем спутники, то снижаем stratum до 10

#server 127.127.1.0

#fudge 127.127.1.0 stratum 10

# NMEA GPS driver

server 127.127.20.0 prefer mode 80 #mode 80 означает скорость 115200bps

driftfile /var/lib/ntp/ntp.drift

restrict default nomodify notrust # Отдаём время всем

restrict 127.0.0.1 # Разрешаем себе всё

disable auth

#logfile /var/log/ntp/messages  

7) рестарт службы для принzтия настроек:

8) ntpq -p

8) обновить время:

9) Если вы используете udev, то полезно будет создать правило /etc/udev/rules.d/10-gps.rules следующего содержания:

16. Устранение неисправностей

==Добавление диска в RAID1 (не работает с HDD Toshiba)==

zpool status

 

Если «развалился» RAID1 на одной из Нод, на которой установлен proxmox, необходима ручная замена HDD. После установки жесткого диска фирмы HGST в первый или второй слот корзинки, необходимо проделать от root следующее

fdisk -l /dev/sd*  (узнать какие диски видит система)

sgdisk -R /dev/sdb /dev/sda    (копирование таблицы разделов)  

sgdisk -G /dev/sdb  (форматирование в GPT)

grub-install --recheck /dev/sdb (установка загрузчика)

update-grub (обновление загрузчика)

update-initramfs -u  

zpool replace rpool /dev/sdb2 (копирование данных в раздел sdb2)

Список необходимого софта и оборудования

2. Образ proxmox-ve_4.4-eb2d6f1e-2;

5. IPMI Supermicro utilities для управления по IPMI (работает только с Windows);

6. Подключенный прямой интернет или Локальные репозитории (repo) для обновления Proxmox, а так же для установки необходимых в работе компонентов;

7. Все необходимые образы  (Debian 8.5/8.6, отдельно программы для серверной части Планеты, WinSCP, oracle-xe_11.2.0-2_amd64.deb, oracle-client, СКД клиент,  IntegraVideo7.0.776, скрипты для установки mms, ff, database на VM-ках; драйвер для Moxa под Debian, VLC media player, PGAdmin1.2)

1) Настройка BIOS на каждой ноде

2) Настройка IPMI на каждой ноде

3) Proxmox.iso install

4) Закинуть local repo и прописать в repo.list пути к ним + поправить

/usr/share/perl5/PVE/CLI/pveceph.pm

5) Обновить систему и поставить CEPH

6) Поставить пакеты mc htop glusterfs-server pv attr ntp

7) Объединить ноды в proxmox cluster

8) Настроить glusterfs

9) Настроить CEPH

10) Закинуть VM’s + изменить все IP адреса и hostname

VM1 <baseVM>

VM2 <mmsVM>

VM3 <ffVM>

VM4 <skdVM>

VM5 <ntpVM>

VM6 <videoVM>

VM7 <serenetyVM>

VM8 <eilyVM>

VM9 <osmVM>

      11) Настроить wbackup

12) Настроить ntpVM + прописать на всех nodes /etc/ntp.conf нужный конфиг

#systemctl status firefly_tracker статус работы FF

#systemctl restart firefly_tracker перезапуск FF

#cd /opt/firefly_tracker переход в папку с трекингом

#python firefly.py запуск FF

#cd /opt/firefly_integration переход в папку FF

#cd python firefly.py запуск FF

#systemctl status mss статус работы mss

#systemctl start mss запуск процесса mss

#mono am.console.exe запуск mms в консольном режиме

#mono am.gui.exe запуск mms с графикой

#systemctl status proftpd статус работы ftp сервера

#passwd

deb http://httpredir.debian.org/debian jessie main

deb-src http://httpredir.debian.org/debian jessie main

deb http://httpredir.debian.org/debian jessie-updates main

deb-src http://httpredir.debian.org/debian jessie-updates main

deb http://security.debian.org/ jessie/updates main

deb-src http://security.debian.org/ jessie/updates main

apt-get install openssh-server

service ssh start

nano /etc/ssh/sshd_config

PermitRootLogin yes

service ssh stop

service ssh start

Samba - это программное обеспечение для организации обмена файлами и работы с общими ресурсами между компьютерами под управлением Linux/Unix и операционной системой Windows. Samba состоит из клиентской и серверной части. Клиентская часть позволяет получить доступ к сетевым папкам и ресурсам Windows, а серверная, в свою очередь, открывает общий доступ к папке Ubuntu для других машин, в том числе и Windows.

apt-get install samba

nano /etc/samba/smb.conf

[shara]

        #имя

        папки

comment

        =

        comment_to_shara

path

        =

        /home/shara #путь

        к папке

read

        only =

        no

locking

        =

        no

guest

        ok =

        yes

browseable

        =

/etc/init.d/samba restart

chmod 777 /home/share

После создания VM и установки Debian 8.6 (используем  debian-8.6.0-amd64-DVD-1) без графики, необходимо закинуть папку с установщиком IV7 v7.0.776 (используя программу WinSCP от root c компьютера/ноутбука на Windows) в  

/home/videosrv7(имя пользователя)/distr (создать эту папку).  

Так же необходимо скопировать все четыре reg-файла для ключей защиты с открытыми пароля от 1 до 1600 – для одного кластера. После установки видео-сервера поместить их в папку /home/videosrv7/video-server-7.0/

Как зайти от root по WinSCP смотри в «Установка SSH в Debian 8.5/8.6 и доступ c другой машины под root”

Перед установкой  IV7 v7.0.776 необходимо прокинуть USB ключ с физической машины на виртуальную:

На ноде proxmox у которой VM c видеосервером:

#lsusb

qm set 101 –usb0 host=XXXX:YYYY            (usb1: host=3b13:4040)

#cd /путь к папке

#./video-server-7.0.776-x64.run    - запуск установки

#chmod 777 -R /home/videosrv7/distr      - дать права

#tar -xvzf video-server-7.0.777      - распаковка

#rm -rf /имя папка            - удаление  

#/etc/init.d/videosrv7 restart

#/etc/init.d/videosrv7 stop

#/etc/init.d/videosrv7 start

#/etc/init.d/keyguard restart

#nano /etc/network/interfaces

#/etc/init.d/networking restart

===Установка и настройка серверной части Oracle на OS Linux (Debian 8.5/8.6)===

Установка Oracle 11g

Перед установкой Oracle 11g R2 Express Edition (XE), нужно установить дополнительные пакеты (машина должна быть подключена к Internet). Эти пакеты могут быть установлены путем выполнения следующей команды:

cd /usr/local/src

unzip oracle-xe-11.2.0-1.0.x86_64.rpm.zip

        Данный архив довольно большой и на распаковку потребуется некоторое время, ждем окончания и после чего переходим в нужную директорию для установки:

cd Disk1