Intern:ora
Ora ist ein Projekt zur Server/Aktualisierung/2019. Ora soll ein Verbund (Cluster) von Servern, maßgeblich betrieben mit Proxmox VE, sein. Es handelt sich vorerst um einen Test für die Server/Aktualisierung/2019. Wenn der Test zufriedenstellend verläuft, soll hierdurch der gesamte Betrieb zu Servern realisiert werden.
Test[Bearbeiten]
Grundsätzlich soll ein möglichst ausfallsicherer Verbund an Servern mit Proxmox VE getestet werden.
Getestet werden soll:
- Datensicherung
- Replikation
- …
- Ausfallüberbrückung
- …
Test Ceph[Bearbeiten]
rados bench
https://tracker.ceph.com/projects/ceph/wiki/Benchmark_Ceph_Cluster_Performance
Geräte[Bearbeiten]
Funktion | Gerät | Betriebssystem | |
---|---|---|---|
Switch (intern 1) | HP ProCurve 2810-48G | Firmware | |
Switch (intern 1) | Cisco SG200#Cisco SG200-50 | Firmware | |
Switch (extern 0) | Cisco SRW20#Cisco SRW20240 | Firmware | Cisco SRW20#Cisco SRW20241 (gleichwertiges Gerät als möglicher Ersatz in der Nähe liegend) |
Switch (extern 1) | Cisco SG200#Cisco SG200-26 | Firmware | |
Router/Firewall 0 | Dell PowerEdge R210#srs2110 | pfSense | |
Router/Firewall 1 | Dell PowerEdge R210#srs2111 | pfSense | |
Hypervisor 1 | Dell PowerEdge R510#srs5100 | Proxmox Virtual Environment | |
Hypervisor 2 | Dell PowerEdge R510#srs5110 | Proxmox Virtual Environment | |
Hypervisor 3 | Dell PowerEdge R510#srs5111 | Proxmox Virtual Environment | |
(Test) Backup 1 | Maschine/nux (srs100026) | Proxmox Backup Server |
Geräte Ersatz[Bearbeiten]
Geräte Ersatz Massenspeicher[Bearbeiten]
Wir haben selbstverständlich "irgendwie" Zugriff auch viel mehr Geräte für Massenspeicher. Nachfolgend werden nur Geräte benannt, die "ohnehin" eigentlich dazu passend bereit liegen.
Seagate Constellation ES.2 2TB, SATA 6Gb/s (ST32000645NS)- 2021-10-03 zum Ersatz bei n3 von OSD.4 (/dev/sdc/) verbaut
- Seagate Constellation ES.2 2TB, SATA 6Gb/s (ST32000645NS)
- Seagate Constellation ES 2TB, SATA 6Gb/s (ST2000NM0011)
- Seagate Constellation ES 2TB, SATA 6Gb/s (ST1000$$$$$$)
Speicher[Bearbeiten]
Speicher local[Bearbeiten]
Speicher local-zfs[Bearbeiten]
Speicher cephfs[Bearbeiten]
CephFS (PVE)
Speicher storage[Bearbeiten]
RBD (PVE)
Pakete[Bearbeiten]
zusätzlich installierte Pakete[Bearbeiten]
pve-headers[Bearbeiten]
Es soll in (mehr als) einem Container Kubernetes betrieben werden.[1]
Standardmäßig sind die Dateien der Header (für C) vom Kernel nicht installiert. (Grundsätzlich braucht es die Dateien auch nicht, da der Kernel nicht kompiliert werden muss, sondern einfach als Kompilat installiert und aktualisiert wird.) Aber mutmaßlich braucht Kubernetes Informationen aus den Dateien, um für sich Entscheidungen zu treffen.
apt -y install pve-headers
Setting up pve-headers-5.4.106-1-pve (5.4.106-1) ... Setting up pve-headers-5.4 (6.3-8) ... Setting up pve-headers (6.3-1) ...
apt list pve-headers-$(uname -r)
Listing... Done pve-headers-5.4.106-1-pve/stable,now 5.4.106-1 amd64 [installed,automatic]
ls /usr/src/ | grep headers
linux-headers-5.4.106-1-pve
locales-all[Bearbeiten]
Gelegentlich - so auch beim schlichten Installieren von von Paketen - kommt es zu "unnötigen" Fehlermeldung
locale: Cannot set LC_CTYPE to default locale: No such file or directory locale: Cannot set LC_MESSAGES to default locale: No such file or directory locale: Cannot set LC_ALL to default locale: No such file or directory
. Abgesehen von der Verschmutzung von stdout, ergeben sich womöglich Fehlerchen, die dann nennenswerte Probleme zur Folge haben.
apt -y install locales-all
apt list locales
locales/stable,now 2.31-13+deb11u4 all [installed]
apt list locales-all
locales-all/stable,now 2.31-13+deb11u4 amd64 [installed]
Konfiguration[Bearbeiten]
Konfiguration Ceph[Bearbeiten]
Konfiguration Ceph auth_allow_insecure_global_id_reclaim[Bearbeiten]
Bei Datacenter -> Ceph wird beim Status HEALTH_WARN (gelb) angegeben.
- Proxmox 6.4.8
- Ceph 14.2.20
Bei Summary gibt es den Hinweis
mons are allowing insecure global_id reclaim
.
https://pve.proxmox.com/wiki/Ceph_Luminous_to_Nautilus#Addressing_the_Health_Warnings
manuelles Setzen der Einstellung auth_allow_insecure_global_id_reclaim, dass kein schädlichen Erlauben der Unsicherheit möglich sein soll
ceph config set mon auth_allow_insecure_global_id_reclaim false
Bei Datacenter -> Ceph wird beim Status HEALTH_OK (grün) angegeben.
Läuft!
Konfiguration Ceph Pools Autoscale Mode on[Bearbeiten]
Bei Datacenter -> Ceph wird beim Status HEALTH_WARN (gelb) angegeben.
- Proxmox 7.2-11
- Ceph 16.2.9
Bei Summary gibt es den Hinweis , dass die Anzahl der Placement groups nicht optimal ist.
Bei Datacenter -> Ceph -> Pools wird angegeben, dass bei cephfs_metadata bei # of Placement Groups der Wert 128 angegeben ist und bei Optimal # of PGs der Wert 16 angegeben ist. Bei der Spalte Autoscale Mode ist der Wert Warn angegeben.
Bei allen Pools, die nicht bei Autoscale Mode auf den Wert on gesetzt sind (Pool cephfs_metadata und Pool cephfs_data) werden darauf umgestellt.
Bei Datacenter -> Ceph wird beim Status HEALTH_OK (grün) angegeben.
Läuft!
Aktualisierung Proxmox Nodes - n1,n2,n3[Bearbeiten]
Step 1 : Check, ob Updates vorhanden sind
Klicke auf die Proxmox Node und dann auf den Tab "Update" Klicke auf "Refresh" in der oberen linken Ecke (-> führt ein apt-update aus) Schaue auf die neu dazugekommenen Pakete und kontrolliere auf Unterschiede
Besonders: pve-kernel & pve-manager & ceph
Step 2: Checke, die Unterschiede zwischen aktueller und neuer Version
Gehe zu Proxmox Proxmox-Newspage und informiere dich über Unterschiede zwischen aktueller und neuer Proxmox Version.
Zusätzlich werden hier Videos zu größeren Versionen veröffentlicht - Proxmox Training Videos
Sobald alle möglichen Herrausforderungen geklärt sind, wechsle wieder in die Proxmox Oberfläche. Migriere alle aktiven Container / Virtual Machine von zu einer anderen Node. (Rechtsklick auf CT/VM und klick auf Migrate. Wähle einen Node aus.
Step 3: Upgrade & Nachbereitung
Sobald alle CT/VM von der aktuellen Node verschoben sind, wechsle zu "Update Tab" und klicke auf Upgrade. Ein Fenster wird aufgehen und dich nach dem Upgrade fragen. Mit [Y/n] bestätigen und upgraden. Sobald das Upgrade fertig ist - Reboote das Node durch klicken > Reboot in der oberen rechten Ecken. Wenn der reboot fertig ist, gehe zur StuRa StuRa Wiki Seite - Proxmox/Cluster unter der Überschrift "Containerisierung für Proxmox Mail Gateway" finden sich passende Befehle um zu überprüfen, ob alle Container sauber laufen.
pveam update
pveam available --section mail
pveam download
pveam download cephfs proxmox-mailgateway-<VERSION NUMBER>-standard_<VERSION NUMBER>_amd64.tar.gz
Noch einmal überprüfen, ob alle Ressourcen normal ausgelastet sind.
top
Siehe auch[Bearbeiten]
- vorheriger Ansatz Intern:Cluster/xora