|
|
| Строка 1: |
Строка 1: |
| − | == Proxmox == | + | ==Введение== |
| | + | Virtual Environment (VE) (виртуальня среда) Proxmox является многоузловым кластерным гипервизоро с открытым исходным кодом, построенным на Debian Linux и способным работать на общедоступных аппаратных средствах, те самым устраняя любые блокировки вендора. Proxmox свободно доступен без каких-либо блокированных особенностей. |
| | | | |
| − | 1) при установке дать имя ipenode1.integra-s.com
| + | Proxmox это мультиузловая среда, и это означает, что многие узлы могут образовывать единый кластер в котором виртуальная машина может быть перемещена на любой узел в кластере, тем самым делая возможной избыточную виртуальную среду. Весь Proxmox кластер может управляться через надежный графический интерфейс пользователя (GUI). |
| | | | |
| − | 2) Первое, что нам нужно сделать, это поменять платный репозиторий ProxMox, требующий подписки, на бесплатный:
| + | ==Установка Proxmox на голом узле (на каждую Нод) |
| − | #nano /etc/apt/sources.list.d/pve-enterprise.list
| + | на RAID1== |
| − | 3) комментируем единственную строку и вписываем новую ниже:
| |
| − | deb http://download.proxmox.com/debian jessie pve-no-subscription
| |
| − | 4) Далее обновляем наш ProxMox:
| |
| − | #apt update && apt dist-upgrade
| |
| − | 4.1) прописываем в /etc/hosts на каждой ноде ip и hostname нод будущего кластера
| |
| − | создаем кластер и прописывает на главной ноде
| |
| − | #pvecm create <clustername>
| |
| − | проверяем, что все нормально и смотрим список нод
| |
| − | #pvecm status
| |
| − | на второстепенных нодах пишем
| |
| − | #pvecm add ipenode1
| |
| − | проверяем, что все нормально и смотрим список нод в кластере
| |
| − | #pvecm status
| |
| | | | |
| − | == CEPH ==
| + | 1) Жесткие диски обязательно должны быть «очищены» перед установкой Proxmox! Для работы с программным RAID1 обязательно использование дисков HGST (было протестировано на них). На дисках Toshiba программный RAID1 сделать не удалось. После настройки Bios (режим SATA – ACHI), монтируем образ proxmox-ve_4.4-eb2d6f1e-2 с «Внешнего HDD» и загружаемся с него (без UEFI), либо через IPMI Supermicro utilities смонтировать образ proxmox-ve_4.4-eb2d6f1e-2 (для этого нужно знать ip адрес IPMI и быть в одной подсети с ним) |
| − | 5) Устанавливаем пакеты для работы с Ceph:
| |
| − | #pveceph install -version jewel
| |
| − | 6) добавить внутреннюю сеть 10.10.10.0/24 → ребут через веб морду (2 раза)
| |
| − | public net=cluster net
| |
| − | 7) подготовка диска для последующего создания OSD
| |
| − | #cfdisk /dev/sdb (new OSD)
| |
| − | 8)на каждой ноде
| |
| − | #pveceph init --network 10.10.10.0/24
| |
| − | 9) создание первого монитора через веб морду или консоль
| |
| − | #pveceph createmon
| |
| − | 10) переходим в веб морду и удаляем pool, далее создаем новый c pg_num=128 2/2 (2 nodes), 3/2 (3 nodes), чем больше OSD, тем больше pg_num
| |
| − | PG_total = (OSD_count*100)/max_replication_count
| |
| − | PGPs=PGs
| |
| − | 11) создать OSDs (/dev/sdb, /dev/sdc) через вебморду
| |
| | | | |
| − | 12) создать RBD хранилище в datacentr'е (monitor: 10.10.10.1)
| + | Процесс установки Proxmox полностью управляется графическим интерфейсом с помощью различных подсказок. В этом разделе мы последуем следующими шагами в создании нашего первого узла Proxmox. Включите питание и загрузите физический узел, используя установочный диск или USB-носитель. На следующий снимок экрана показывает как выглядит экран после загрузки: |
| − | | |
| − | 13) для rbd на client node
| |
| − | # cd /etc/pve/priv/
| |
| − | # mkdir ceph
| |
| − | # cp /etc/ceph/ceph.client.admin.keyring ceph/my-ceph-storage.keyring
| |
| − | | |
| − | 14) смена host на osd\\
| |
| − | # ceph osd getcrushmap -o crushmapdump
| |
| − | # crushtool -d crushmapdump -o crushmapdump-decompiled
| |
| − | # nano crushmapdump-decompiled
| |
| − | #rules
| |
| − | step chooseleaf firstn 0 type host → step chooseleaf firstn 0 type osd
| |
| − | # crushtool -c crushmapdump-decompiled -o crushmapdump-compiled
| |
| − | # ceph osd setcrushmap -i crushmapdump-compiled
| |
| − | получить ответ
| |
| − | set crush map --> all ok
| |
| − | | |
| − | | |
| − | | |
| − | | |
| − | == Moxa ==
| |
| − | 1) choose kernel 3.x
| |
| − | | |
| − | 2) edit mxloadsvr.c
| |
| − | ….................................
| |
| − | else if (os == "debian") → “debain11”
| |
| − | {
| |
| − | system("grep -v mxloadsvr /etc/init.d/npreals > /tmp/nprtmp_rclocal");
| |
| − | ….................................
| |
| − | 3) ./mxinst
| |
| − | | |
| − | 4) rm -f /etc/rc0-6.d/S02npreals
| |
| − | | |
| − | 5) cp npreals /root/moxa
| |
| − | | |
| − | 6) chmod +x /etc/moxa/npreals.sh
| |
| − | | |
| − | 7) cp npreals /etc/init.d/
| |
| − | | |
| − | 8) chmod +x /etc/init.d/npreals
| |
| − | | |
| − | 9) update -rc.d npreals defaults
| |
| − | | |
| − | добавление ноды
| |
| − | было 2 стало 3
| |
| − | | |
| − | 1) все как обычно + правка конфига /etc/pve/storage.cfg
| |
| − | | |
| − | добавить ip третьего mon'a
| |
| − | | |
| − | 2) ceph – pool – create с тем же именем, но с 3/2
| |
| − | | |
| − | либо создать другой pool и развернуть dump кластера с двух нод
| |
| − | | |
| − | СМЕНА IP
| |
| − | | |
| − | node → system → network → reboot
| |
| − | | |
| − | nano /etc/hosts поменять там ip → reboot через веб морду
| |
| − | | |
| − | == Glusterfs ==
| |
| − | | |
| − | 1) при установке дать имя ipenode1.integra-s.com
| |
| − | | |
| − | 2) Первое, что нам нужно сделать, это поменять платный репозиторий ProxMox, требующий подписки, на бесплатный:
| |
| − | #nano /etc/apt/sources.list.d/pve-enterprise.list
| |
| − | 3) комментируем единственную строку и вписываем новую ниже:
| |
| − | deb http://download.proxmox.com/debian jessie pve-no-subscription
| |
| − | 4) Далее обновляем наш ProxMox:
| |
| − | #apt update && apt dist-upgrade
| |
| − | 5) pvecm create glcluster — на основной ноде
| |
| − | | |
| − | pvecm add <node2> - добавить вторую ноду в кластер, прописывается на второй ноде
| |
| − | | |
| − | 6) добавить в /etc/hosts ноды, которые будут участвовать в кластере glusterfs
| |
| − | | |
| − | 7) apt install glusterfs-server
| |
| − | | |
| − | 8) gluster peer probe <node2>
| |
| − | | |
| − | проверить статус командой
| |
| − | | |
| − | 9) на каждой ноде
| |
| − | | |
| − | :9.1) mkdir -p /media/glusterfs/wbackup
| |
| − | :9.2) можно создать папку mbackup и добавить в /media/glusterfs для volume под название mbackup
| |
| − | на одной из нод проделать след. 2 пункта
| |
| − | | |
| − | 10) gluster volume create <wbackup> replica 2 <node1>:/media/glusterfs/wbackup <node2>:/media/glusterfs/wbackup
| |
| − | | |
| − | 11) gluster volume start <wbackup>
| |
| − | | |
| − | на каждой проверить все ли верно сделано зайти на первую ноду, создать файл в директории /mnt/pve/wbackup/images/ и проверить его наличие на другой ноде по тому же пути;
| |
| − | gluster volume info
| |
| − | 11) для удаления volume:
| |
| − | | |
| − | gluster volume stop <wbackup>
| |
| − | gluster volume delete <wbackup>
| |
| − | apt-get install attr
| |
| − | cd /media/glusterfs/wbackup
| |
| − | for i in `attr -lq .`; do setfattr -x trusted.$i .; done
| |
| − | attr -lq ./(for testing, the output should pe empty)
| |
Virtual Environment (VE) (виртуальня среда) Proxmox является многоузловым кластерным гипервизоро с открытым исходным кодом, построенным на Debian Linux и способным работать на общедоступных аппаратных средствах, те самым устраняя любые блокировки вендора. Proxmox свободно доступен без каких-либо блокированных особенностей.
Proxmox это мультиузловая среда, и это означает, что многие узлы могут образовывать единый кластер в котором виртуальная машина может быть перемещена на любой узел в кластере, тем самым делая возможной избыточную виртуальную среду. Весь Proxmox кластер может управляться через надежный графический интерфейс пользователя (GUI).
1) Жесткие диски обязательно должны быть «очищены» перед установкой Proxmox! Для работы с программным RAID1 обязательно использование дисков HGST (было протестировано на них). На дисках Toshiba программный RAID1 сделать не удалось. После настройки Bios (режим SATA – ACHI), монтируем образ proxmox-ve_4.4-eb2d6f1e-2 с «Внешнего HDD» и загружаемся с него (без UEFI), либо через IPMI Supermicro utilities смонтировать образ proxmox-ve_4.4-eb2d6f1e-2 (для этого нужно знать ip адрес IPMI и быть в одной подсети с ним)
Процесс установки Proxmox полностью управляется графическим интерфейсом с помощью различных подсказок. В этом разделе мы последуем следующими шагами в создании нашего первого узла Proxmox. Включите питание и загрузите физический узел, используя установочный диск или USB-носитель. На следующий снимок экрана показывает как выглядит экран после загрузки:
