Intern:Ora

Ora ist ein Projekt zur Server/Aktualisierung/2019. Ora soll ein Verbund (Cluster) von Servern, maßgeblich betrieben mit Proxmox VE, sein. Es handelt sich vorerst um einen Test für die Server/Aktualisierung/2019. Wenn der Test zufriedenstellend verläuft, soll hierdurch der gesamte Betrieb zu Servern realisiert werden.

Test

Grundsätzlich soll ein möglichst ausfallsicherer Verbund an Servern mit Proxmox VE getestet werden.

Getestet werden soll:

• Datensicherung
  • Replikation
  • …
• Ausfallüberbrückung
• …

Test Ceph

rados bench

https://tracker.ceph.com/projects/ceph/wiki/Benchmark_Ceph_Cluster_Performance

Geräte

Funktion	Gerät	Betriebssystem
Switch (intern 1)	HP ProCurve 2810-48G	Firmware
Switch (intern 1)	Cisco SG200#Cisco SG200-50	Firmware
Switch (extern 0)	Cisco SRW20#Cisco SRW20240	Firmware	Cisco SRW20#Cisco SRW20241 (gleichwertiges Gerät als möglicher Ersatz in der Nähe liegend)
Switch (extern 1)	Cisco SG200#Cisco SG200-26	Firmware
Router/Firewall	Dell PowerEdge R310#srs3100	pfSense
Router/Firewall 0	Dell PowerEdge R210#srs2110	pfSense
Router/Firewall 1	Dell PowerEdge R210#srs2111	pfSense
Hypervisor 1	Dell PowerEdge R510#srs5100	Proxmox Virtual Environment
Hypervisor 2	Dell PowerEdge R510#srs5110	Proxmox Virtual Environment
Hypervisor 3	Dell PowerEdge R510#srs5111	Proxmox Virtual Environment
(Test) Backup 1	Maschine/nux (srs100026)	Proxmox Backup Server

Geräte Ersatz

Geräte Ersatz Massenspeicher

Wir haben selbstverständlich "irgendwie" Zugriff auch viel mehr Geräte für Massenspeicher. Nachfolgend werden nur Geräte benannt, die "ohnehin" eigentlich dazu passend bereit liegen.

• Seagate Constellation ES.2 2TB, SATA 6Gb/s (ST32000645NS)

  2021-10-03 zum Ersatz bei n3 von OSD.4 (/dev/sdc/) verbaut

• Seagate Constellation ES.2 2TB, SATA 6Gb/s (ST32000645NS)
• Seagate Constellation ES 2TB, SATA 6Gb/s (ST2000NM0011)
• Seagate Constellation ES 2TB, SATA 6Gb/s (ST1000$$$$$$)

Speicher

Speicher cephfs

CephFS (PVE)

Speicher storage

RBD (PVE)

Pakete

zusätzlich installierte Pakete

pve-headers

Es soll in (mehr als) einem Container Kubernetes betrieben werden.[1]

Standardmäßig sind die Dateien der Header (für C) vom Kernel nicht installiert. (Grundsätzlich braucht es die Dateien auch nicht, da der Kernel nicht kompiliert werden muss, sondern einfach als Kompilat installiert und aktualisiert wird.) Aber mutmaßlich braucht Kubernetes Informationen aus den Dateien, um für sich Entscheidungen zu treffen.

apt -y install pve-headers

Setting up pve-headers-5.4.106-1-pve (5.4.106-1) ...
Setting up pve-headers-5.4 (6.3-8) ...
Setting up pve-headers (6.3-1) ...

apt list pve-headers-$(uname -r)

Listing... Done
pve-headers-5.4.106-1-pve/stable,now 5.4.106-1 amd64 [installed,automatic]

ls /usr/src/ | grep headers

linux-headers-5.4.106-1-pve

Konfiguration

Konfiguration Ceph

Konfiguration Ceph auth_allow_insecure_global_id_reclaim

Bei Datacenter -> Ceph wird beim Status HEALTH_WARN (gelb) angegeben.

Proxmox 6.4.8

Ceph 14.2.20

Bei Summary gibt es den Hinweis

mons are allowing insecure global_id reclaim

.

https://pve.proxmox.com/wiki/Ceph_Luminous_to_Nautilus#Addressing_the_Health_Warnings

manuelles Setzen der Einstellung auth_allow_insecure_global_id_reclaim, dass kein schädlichen Erlauben der Unsicherheit möglich sein soll

ceph config set mon auth_allow_insecure_global_id_reclaim false

Bei Datacenter -> Ceph wird beim Status HEALTH_OK (grün) angegeben.

Läuft!

Konfiguration Ceph Pools Autoscale Mode on

Bei Datacenter -> Ceph wird beim Status HEALTH_WARN (gelb) angegeben.

Proxmox 7.2-11

Ceph 16.2.9

Bei Summary gibt es den Hinweis , dass die Anzahl der Placement groups nicht optimal ist.

Bei Datacenter -> Ceph -> Pools wird angegeben, dass bei cephfs_metadata bei # of Placement Groups der Wert 128 angegeben ist und bei Optimal # of PGs der Wert 16 angegeben ist. Bei der Spalte Autoscale Mode ist der Wert Warn angegeben.

Bei allen Pools, die nicht bei Autoscale Mode auf den Wert on gesetzt sind (Pool cephfs_metadata und Pool cephfs_data) werden darauf umgestellt.

Bei Datacenter -> Ceph wird beim Status HEALTH_OK (grün) angegeben.

Läuft!

Aktualisierung Proxmox Nodes - n1,n2,n3

Step 1 : Check, ob Updates vorhanden sind

   Klicke auf die Proxmox Node und dann auf den Tab "Update"
   Klicke auf "Refresh" in der oberen linken Ecke (-> führt ein apt-update aus)
   Schaue auf die neu dazugekommenen Pakete und kontrolliere auf Unterschiede

Besonders: pve-kernel & pve-manager & ceph

Step 2: Checke, die Unterschiede zwischen aktueller und neuer Version

   Gehe zu Proxmox Proxmox-Newspage und informiere dich über Unterschiede zwischen aktueller und neuer Proxmox Version.

   Zusätzlich werden hier Videos zu größeren Versionen veröffentlicht - Proxmox Training Videos

   Sobald alle möglichen Herrausforderungen geklärt sind, wechsle wieder in die Proxmox Oberfläche.
   Migriere alle aktiven Container / Virtual Machine von zu einer anderen Node. 
   (Rechtsklick auf CT/VM und klick auf Migrate. Wähle einen Node aus.

Step 3: Upgrade & Nachbereitung

   Sobald alle CT/VM von der aktuellen Node verschoben sind, wechsle zu "Update Tab" und klicke auf Upgrade.
   Ein Fenster wird aufgehen und dich nach dem Upgrade fragen. Mit [Y/n] bestätigen und upgraden.
   Sobald das Upgrade fertig ist - Reboote das Node durch klicken  > Reboot in der oberen rechten Ecken.
   Wenn der reboot fertig ist, gehe zur StuRa StuRa Wiki Seite - Proxmox/Cluster unter der Überschrift "Containerisierung 
   für Proxmox Mail Gateway" finden sich passende Befehle um zu überprüfen, ob alle Container sauber laufen.
  

pveam update

pveam available --section mail

pveam download

   pveam download cephfs proxmox-mailgateway-<VERSION NUMBER>-standard_<VERSION NUMBER>_amd64.tar.gz 

Noch einmal überprüfen, ob alle Ressourcen normal ausgelastet sind.

top

Siehe auch

• vorheriger Ansatz Intern:Cluster/xora