Установка и настройка отказоустойчивого кластера. — различия между версиями

Вы можете настроить хранилище в кластере Proxmox как с применением GUI, так и с помощью CLI. Настройка хранилища сохраняется в файле

 /etc/pve/storage.cfg.

<type of storage> : <storage_id>

<path_to_storage>

<enable/disable share>

content types

maxfiles <numeric value of maximum backups to keep>

На основании данной настройки существует локальное хранилище подключенное к кластеру Proxmox, причем все файлы будут сохраняться в каталоге /var/lib/vz. Данное хранилище может хранить типы содержания, включающие образы дисков, ISO, шаблоны контейнеров и файлы резервных копий. Хранилище будет хранить максимум три последних файла резервных копии. Следующий снимок экрана показывает хранилище из графического интерфейса Proxmox:

Перезагружаем каждую нод (сервер) два раза, должно быть yes в столбце «Активно»

Для обеспечения отказоустойчивости и повышения пропускной способности сетевых интерфейсов сервера используется агрегация линков, так называемый bonding. Эта технология позволяет объединить два или более физических сетевых интерфейсов в один виртуальный.

mode=0 (balance-rr)

mode=1 (active-backup)

mode=2 (balance-xor)

mode=3 (broadcast)

mode=4 (802.3ad)

mode=5 (balance-tlb)

1) Добавить через веб морду

3) Добавляем в nano /etc/network/interfaces.new

(или же eth3, смотря в какой интерфейс подключен кабель)

(нужно помнить что 10.17.0.0/24 это для адресов 10.17.Х.Х с маской 255.255.255.0, в вашем случае может быть иначе)

После подготовки к созданию OSD, переходим в веб-интерфейсе в строку Ceph – OSD и нажимаем создать OSD

 

 

 

 

 

Далее удаляем «Пул» и создаем новый с такими параметрами:

 

#cd /etc/pve/priv/

 

#mkdir ceph

 

#cp /etc/ceph/ceph.client.admin.keyring ceph/iperbd.keyring      (используйте Табуляцию)

 

        GlusterFS — это распределённая, параллельная, линейно масштабируемая файловая система с возможностью защиты от сбоев. С помощью InfiniBand RDMA или TCP/IP GlusterFS может объединить хранилища данных, находящиеся на разных серверах, в одну параллельную сетевую файловую систему. GlusterFS работает в пользовательском пространстве при помощи технологии FUSE, поэтому не требует поддержки со стороны ядра операционной системы и работает поверх существующих файловых систем (ext3, ext4, XFS, reiserfs и т. п.).

#gluster peer probe <dir1 name>

 

#gluster peer probe <dir2 name>

 

#gluster peer probe <dir3 name>

#zfs create -o mountpoint=/media/gfs rpool/gfs

 

#zfs set acltype=posixacl rpool/gfs

 

#zfs set atime=off rpool/gfs

 

#zfs set xattr=sa rpool/gfs

 

#zfs set overlay=on rpool/gfs

#mkdir -p /media/gfs/wbackup

 

#gluster volume create wbackup replica 3 dir1:/media/gfs/wbackup  

dir2:/media/gfs/wbackup dir3:/media/gfs/wbackup force    (одной строкой)

#gluster volume start wbackup (на главной ноде)

#gluster volume info

Затем в веб-интерфейсе Датацентр — Хранилище — Добавить - GlusterFS

#gluster volume stop wbackup

 

#gluster volume delete wbsckup

 

#cd /media/glusterfs/wbackup

for I in ‘attr -lq .`; do setfattr -x trusted.$i .; done attr -lq ./

1) Настраиваем glusterfs

Datacenter → [wbackup/Glusterfs] → оставить только Content [VZDump backup file] → [OK]

Датацентр – Хранилище – wbackup – оставить только Образ диска [VZDump backup file] - [OK]

 

 

Datacenter → Backup → [Add] → <Storage local> изменить на  <Storage wbackup> настроить → [Create]

Датацентр – Резервирование – Добавить – < local> изменить на  <wbackup> настроить расписание -  [Create]

Перед созданием VM нужно закачать iso образы (Debian 8.5/8.6) на локальные диски  ноды, чтобы потом можно было установить OS на виртуальную машину

Выбираем необходимый iso образ, в нашем случае debian-8.6.0-amd64-DVD-1 и нажимаем загрузить. Дождаться завершения закачки iso образа на Ноду по сети. Таких образов можно хранить любое количество, зависит от потребности и свободного места на локальных OSD.

где Узел это — имя ноды, VM ID - это идентификатор виртуальной машины, Имя — название виртуальной машины. У Вас будет всё свое. Нажимаем далее

В следующем окне выбираем тип ОС (В нашем случае для Debiana 8.6 – ядро Linux 4.X/3.X/2.6 Kernel

Нажимаем «далее»

Нажимаем «далее»

Выбираем необходимое количество Sockets и Cores (ядер) процессора

Нажимаем «далее»

Выбираем авто определение ОЗУ и указываем по необходимости размер (минимум и максимум)

Нажимаем «далее»

Новая VM появится именно на той ноде, которая была указана при создании VM. На каждой ноде может быть несколько VM, все зависит от поставленных задач и мощности серверов (нодов) состоящих в кластере. По умолчанию VM не запущена и не установлена в автозапуск вместе с proxmox. Запустить можно кнопкой «запуск» в верхнем правом углу веб-интерфейса, а загружать автоматически можно изменив параметр «Запуск при загрузке»:

После установки ОС на виртуальную машину, iso образ обязательно нужно размонтировать, иначе система будет загружаться с образа. Должно быть так

Если после подключения к VM по двойному клику мыши виден только черный экран — нажмите Enter при активном окне VM.

1) Экпортируем с кластера-донора (Node) открываем консоль

#rbd export ipepool/vm-106-disk-1 - | pv | dd of=vm-106-disk-1

#rbd export ipepool/vm-106-disk-1 - | dd of=vm-106-disk-1

где vm-106-disk-1 — ID VM

#tar -zcvf test.tar.gz vm-106-disk-1

где test – имя архива

vm-106-disk-1 – это имя архивируемого образа

Копируем через WinSCP к себе запакованный образ

2) Импортируем на кластер-акцептор

#tar -zxvf test.tar.gz

#dd if=vm-106-disk-1 | pv | rbd import --image-format 2 --image-feature layering – ipepool/vm-106-disk-1  

#dd if=vm-106-disk-1 | rbd import --image-format 2 --image-feature layering – ipepool/vm-106-disk-1

cd /etc/pve/qemu-server

и копируем себе файл ХХХ.conf, а затем подкидываем его на  кластера-акцептор по пути  

cd /etc/pve/qemu-server;  

3) Смотрим результат

#rbd -p ipepool ls

#rbd info ipepool/vm-106-disk-1

4) Если требуется удалить VM

#rbd -p ipepool rm <diskname>

(удаление лишних feature) rbd feature disable vm-106-disk-1 <feature>

Обязательно сменить сет. настройки и имена у VM, иначе будет конфликт IP адресов!

==HA для мигрирования VM (создание групп)==

Далее указываем ID (имя) и выбираем серверы в группу (галочкой)

Затем переход на закладку HA и нажимаем «добавить»

В открывшимся окне заполняем ID VM которая хотите чтобы мигрировала и указываем число перезапуска (1 по умолчанию), можно вписать комментарий

 

Проделать со всем ID нодами, которые необходимы для миграции

При миграции VM с одной нод на другую в ручную в режиме «онлайн» могут помешать подключенные устройства USB и прочие. Отключите их и попробуйте заного.

Например ручное мигрирование VM не доступно для VM на которой установлен Видео-сервер, потому что USB-ключ защиты не позволяет произвести миграцию.

 

 

Если автоматическое мигрирование VM произошло неудачно (красный крестик на ID VM) попробуйте удалить/изменить ресурсы или группы HA, а затем произвести миграция в ручную на ту ноду, на которой эта VM работала корректно.  

apt install gcc make linux-headers-$(uname -r)

3) #cd /root/moxa/kernerl3.x

#./mxinst

# cd /usr/lib/npreals2/driver/

5) #update-rc.d npreals remove && update-rc.d npreals defaults

7) #update-rc.d ntp remove && update-rc.d ntp defaults

==Использование скрипта для добавления новых database, mss, ff==

 

          # ./<скрипт создающий>

          # ./<скрипт удаляющий>

#ls – что лежит в текущей папке, видим firefly

#cd firefly

#ls – аналогично

Делаем исполняемым — аналогично, scriptffcreate.sh

#./scriptffcreate.sh

Проверка, что он запустился

#systemctl status fireflyPN2 – видим статус active (running) зеленым цветом, значит все ок.

#ls – что лежит в текущей папке, увидим mss

#cd mss

#ls  видим  скрипт scriptmsscreate.sh

делаем исполняемым если не проделано ранее  

#chmod +x <имя скрипта>

Запускаем  #./scriptmsscreate.sh

#systemctl status mssPN2

1) добавить новую ноду и удалить неработающую ноду из кластера

2) добавить новый монитор и удалить неработающий

3) добавить новый gluster brick и удалить неработающий

3) добавляем новый gluster brick

#gluster volume add-brick <wbackup> replica 4 <newnode>:/media/gfs/wbackup force

#gluster volume delete-brick <wbackup> replica 3 <oldnode>:/media/gfs/wbackup force

4) удаление osd мертвой машины

# ceph osd getcrushmap -o crushmapdump

# crushtool -d  crushmapdump -o  crushmapdump-decompiled

# nano  crushmapdump-decompiled

удалить все упоминания сгоревшей машины и osd

# crushtool -c  crushmapdump-decompiled -o crushmapdump-compiled

# ceph osd setcrushmap -i crushmapdump-compiled

1) Сменить всем вм машинам ip-адреса

2) Сменить всем вм машинам имена

3) Настройка ntpvm: после прохождения 1 и 2 пункта, далее добавить сервер (moxa)

3.1) Если все сделано верно, будет создано несколько устройств COM порта;

с помощью команды  

# cat /dev/ttyrX  

X-порядковый номер (1,2,3 и т.д.)

должны пойти данные формата NMEA 0183

3.2) Поправить скрипт, если файл-устройство отличается от написанного в скрипте

/root/moxa/npreals.sh

На всех нодах должен быть установлен ntp, если не установлен устанавливаем его (через интернет или локальных репозиториев)

#apt install ntp

#nano /etc/ntp.conf

#ntpd — gq

Interface [RS-485 2WIRE]

Baud rate [115200]

3) Виртуальные com ports:

4) Настройка скорости и т.п.:

4) При правильном подключении проверим выходные данные:

5) apt install ntp

6) правим конфиг:

# Local Clock — если теряем спутники, то снижаем stratum до 10

#server 127.127.1.0

#fudge 127.127.1.0 stratum 10

# NMEA GPS driver

server 127.127.20.0 prefer mode 80 #mode 80 означает скорость 115200bps

driftfile /var/lib/ntp/ntp.drift

restrict default nomodify notrust # Отдаём время всем

restrict 127.0.0.1 # Разрешаем себе всё

disable auth

#logfile /var/log/ntp/messages  

7) рестарт службы для принzтия настроек:

8) ntpq -p

8) обновить время:

9) Если вы используете udev, то полезно будет создать правило /etc/udev/rules.d/10-gps.rules следующего содержания:

16. Устранение неисправностей

==Добавление диска в RAID1 (не работает с HDD Toshiba)==

zpool status

fdisk -l /dev/sd*  (узнать какие диски видит система)

sgdisk -R /dev/sdb /dev/sda    (копирование таблицы разделов)  

sgdisk -G /dev/sdb (форматирование в GPT)

grub-install --recheck /dev/sdb (установка загрузчика)

update-grub (обновление загрузчика)

 

zpool replace rpool /dev/sdb2 (копирование данных в раздел sdb2)

Список необходимого софта и оборудования

2. Образ proxmox-ve_4.4-eb2d6f1e-2;

5. IPMI Supermicro utilities для управления по IPMI (работает только с Windows);

6. Подключенный прямой интернет или Локальные репозитории (repo) для обновления Proxmox, а так же для установки необходимых в работе компонентов;

7. Все необходимые образы  (Debian 8.5/8.6, отдельно программы для серверной части Планеты, WinSCP, oracle-xe_11.2.0-2_amd64.deb, oracle-client, СКД клиент,  IntegraVideo7.0.776, скрипты для установки mms, ff, database на VM-ках; драйвер для Moxa под Debian, VLC media player, PGAdmin1.2)

1) Настройка BIOS на каждой ноде

2) Настройка IPMI на каждой ноде

3) Proxmox.iso install

4) Закинуть local repo и прописать в repo.list пути к ним + поправить

/usr/share/perl5/PVE/CLI/pveceph.pm

5) Обновить систему и поставить CEPH

6) Поставить пакеты mc htop glusterfs-server pv attr ntp

7) Объединить ноды в proxmox cluster

8) Настроить glusterfs

9) Настроить CEPH

10) Закинуть VM’s + изменить все IP адреса и hostname

VM1 <baseVM>

VM2 <mmsVM>

VM3 <ffVM>

VM4 <skdVM>

VM5 <ntpVM>

VM6 <videoVM>

VM7 <serenetyVM>

VM8 <eilyVM>

VM9 <osmVM>

      11) Настроить wbackup

12) Настроить ntpVM + прописать на всех nodes /etc/ntp.conf нужный конфиг

#systemctl status firefly_tracker статус работы FF

#systemctl status firefly_integration статус работы FF трекинга

#systemctl stop firefly_tracker остановка процесса FF

#systemctl start firefly_tracker запуск процесса FF

#systemctl restart firefly_tracker перезапуск FF

#python firefly.py запуск FF

#cd /opt/firefly_integration переход в папку FF

#cd python firefly.py запуск FF

#systemctl status mss статус работы mss

#systemctl start mss запуск процесса mss

#mono am.console.exe запуск mms в консольном режиме

#mono am.gui.exe запуск mms с графикой

#systemctl status proftpd статус работы ftp сервера

#passwd

deb http://httpredir.debian.org/debian jessie main

deb-src http://httpredir.debian.org/debian jessie main

deb http://httpredir.debian.org/debian jessie-updates main

deb-src http://httpredir.debian.org/debian jessie-updates main

deb http://security.debian.org/ jessie/updates main

deb-src http://security.debian.org/ jessie/updates main

apt-get install openssh-server

service ssh start

nano /etc/ssh/sshd_config

PermitRootLogin yes

service ssh stop

service ssh start

Samba - это программное обеспечение для организации обмена файлами и работы с общими ресурсами между компьютерами под управлением Linux/Unix и операционной системой Windows. Samba состоит из клиентской и серверной части. Клиентская часть позволяет получить доступ к сетевым папкам и ресурсам Windows, а серверная, в свою очередь, открывает общий доступ к папке Ubuntu для других машин, в том числе и Windows.

apt-get install samba

nano /etc/samba/smb.conf

[shara]

        #имя

        папки

comment

        =

        comment_to_shara

path

        =

        /home/shara #путь

        к папке

read

        only =

        no

locking

        =

        no

guest

        ok =

        yes

browseable

        =

/etc/init.d/samba restart

chmod 777 /home/share

После создания VM и установки Debian 8.6 (используем  debian-8.6.0-amd64-DVD-1) без графики, необходимо закинуть папку с установщиком IV7 v7.0.776 (используя программу WinSCP от root c компьютера/ноутбука на Windows) в  

/home/videosrv7(имя пользователя)/distr (создать эту папку).  

Так же необходимо скопировать все четыре reg-файла для ключей защиты с открытыми пароля от 1 до 1600 – для одного кластера. После установки видео-сервера поместить их в папку /home/videosrv7/video-server-7.0/

Как зайти от root по WinSCP смотри в «Установка SSH в Debian 8.5/8.6 и доступ c другой машины под root”

Перед установкой  IV7 v7.0.776 необходимо прокинуть USB ключ с физической машины на виртуальную:

На ноде proxmox у которой VM c видеосервером:

#lsusb

qm set 101 –usb0 host=XXXX:YYYY            (usb1: host=3b13:4040)

#cd /путь к папке

#./video-server-7.0.776-x64.run    - запуск установки

#chmod 777 -R /home/videosrv7/distr      - дать права

#tar -xvzf video-server-7.0.777      - распаковка

#rm -rf /имя папка            - удаление  

#/etc/init.d/videosrv7 restart

#/etc/init.d/videosrv7 stop

#/etc/init.d/videosrv7 start

#/etc/init.d/keyguard restart

#nano /etc/network/interfaces

#/etc/init.d/networking restart

===Установка и настройка серверной части Oracle на OS Linux (Debian 8.5/8.6)===

Установка Oracle 11g

Перед установкой Oracle 11g R2 Express Edition (XE), нужно установить дополнительные пакеты (машина должна быть подключена к Internet). Эти пакеты могут быть установлены путем выполнения следующей команды:

cd /usr/local/src

unzip oracle-xe-11.2.0-1.0.x86_64.rpm.zip

        Данный архив довольно большой и на распаковку потребуется некоторое время, ждем окончания и после чего переходим в нужную директорию для установки:

cd Disk1

      Теперь мы должны преобразовать пакет Red Hat (RPM) в пакет Debian. Это может быть сделано с помощью команды alien. Параметр «-d » используется для информирования, что пакет Debian уже сформирован. Выполняем преобразование:

      Этот шаг может занять некоторое время. Потребуется подождать около 15 минут.По этому если хотите жди окончания, а можно еще открыть один терминал для работы и в нем уже выполнять следующие шаги.