Intern:ora

Aus Wiki StuRa HTW Dresden
Zur Navigation springen Zur Suche springen

Ora ist ein Projekt zur Server/Aktualisierung/2019. Ora soll ein Verbund (Cluster) von Servern, maßgeblich betrieben mit Proxmox VE, sein. Es handelt sich vorerst um einen Test für die Server/Aktualisierung/2019. Wenn der Test zufriedenstellend verläuft, soll hierdurch der gesamte Betrieb zu Servern realisiert werden.

Test[Bearbeiten]

Grundsätzlich soll ein möglichst ausfallsicherer Verbund an Servern mit Proxmox VE getestet werden.

Getestet werden soll:

  • Datensicherung
    • Replikation
  • Ausfallüberbrückung

Test Ceph[Bearbeiten]

rados bench

https://tracker.ceph.com/projects/ceph/wiki/Benchmark_Ceph_Cluster_Performance

Geräte[Bearbeiten]

Funktion Gerät Betriebssystem
Switch (intern 1) HP ProCurve 2810-48G Firmware
Switch (intern 1) Cisco SG200#Cisco SG200-50 Firmware
Switch (extern 0) Cisco SRW20#Cisco SRW20240 Firmware Cisco SRW20#Cisco SRW20241 (gleichwertiges Gerät als möglicher Ersatz in der Nähe liegend)
Switch (extern 1) Cisco SG200#Cisco SG200-26 Firmware
Router/Firewall Dell PowerEdge R310#srs3100 pfSense
Router/Firewall 0 Dell PowerEdge R210#srs2110 pfSense
Router/Firewall 1 Dell PowerEdge R210#srs2111 pfSense
Hypervisor 1 Dell PowerEdge R510#srs5100 Proxmox Virtual Environment
Hypervisor 2 Dell PowerEdge R510#srs5110 Proxmox Virtual Environment
Hypervisor 3 Dell PowerEdge R510#srs5111 Proxmox Virtual Environment
(Test) Backup 1 Maschine/nux (srs100026) Proxmox Backup Server

Geräte Ersatz[Bearbeiten]

Geräte Ersatz Massenspeicher[Bearbeiten]

Wir haben selbstverständlich "irgendwie" Zugriff auch viel mehr Geräte für Massenspeicher. Nachfolgend werden nur Geräte benannt, die "ohnehin" eigentlich dazu passend bereit liegen.

Speicher[Bearbeiten]

Speicher local[Bearbeiten]

Speicher local-zfs[Bearbeiten]

Speicher cephfs[Bearbeiten]

CephFS (PVE)

Speicher storage[Bearbeiten]

RBD (PVE)

Pakete[Bearbeiten]

zusätzlich installierte Pakete[Bearbeiten]

pve-headers[Bearbeiten]

Es soll in (mehr als) einem Container Kubernetes betrieben werden.[1]

Standardmäßig sind die Dateien der Header (für C) vom Kernel nicht installiert. (Grundsätzlich braucht es die Dateien auch nicht, da der Kernel nicht kompiliert werden muss, sondern einfach als Kompilat installiert und aktualisiert wird.) Aber mutmaßlich braucht Kubernetes Informationen aus den Dateien, um für sich Entscheidungen zu treffen.

apt -y install pve-headers

Setting up pve-headers-5.4.106-1-pve (5.4.106-1) ...
Setting up pve-headers-5.4 (6.3-8) ...
Setting up pve-headers (6.3-1) ...
apt list pve-headers-$(uname -r)
Listing... Done
pve-headers-5.4.106-1-pve/stable,now 5.4.106-1 amd64 [installed,automatic]
ls /usr/src/ | grep headers
linux-headers-5.4.106-1-pve

locales-all[Bearbeiten]

Gelegentlich - so auch beim schlichten Installieren von von Paketen - kommt es zu "unnötigen" Fehlermeldung

locale: Cannot set LC_CTYPE to default locale: No such file or directory
locale: Cannot set LC_MESSAGES to default locale: No such file or directory
locale: Cannot set LC_ALL to default locale: No such file or directory

. Abgesehen von der Verschmutzung von stdout, ergeben sich womöglich Fehlerchen, die dann nennenswerte Probleme zur Folge haben.

apt -y install locales-all

apt list locales

locales/stable,now 2.31-13+deb11u4 all [installed]
apt list locales-all

locales-all/stable,now 2.31-13+deb11u4 amd64 [installed]

Konfiguration[Bearbeiten]

Konfiguration Ceph[Bearbeiten]

Konfiguration Ceph auth_allow_insecure_global_id_reclaim[Bearbeiten]

Bei Datacenter -> Ceph wird beim Status HEALTH_WARN (gelb) angegeben.

Proxmox 6.4.8
Ceph 14.2.20

Bei Summary gibt es den Hinweis

mons are allowing insecure global_id reclaim

.

https://pve.proxmox.com/wiki/Ceph_Luminous_to_Nautilus#Addressing_the_Health_Warnings

manuelles Setzen der Einstellung auth_allow_insecure_global_id_reclaim, dass kein schädlichen Erlauben der Unsicherheit möglich sein soll

ceph config set mon auth_allow_insecure_global_id_reclaim false

Bei Datacenter -> Ceph wird beim Status HEALTH_OK (grün) angegeben.

Läuft!

Konfiguration Ceph Pools Autoscale Mode on[Bearbeiten]

Bei Datacenter -> Ceph wird beim Status HEALTH_WARN (gelb) angegeben.

Proxmox 7.2-11
Ceph 16.2.9

Bei Summary gibt es den Hinweis , dass die Anzahl der Placement groups nicht optimal ist.

Bei Datacenter -> Ceph -> Pools wird angegeben, dass bei cephfs_metadata bei # of Placement Groups der Wert 128 angegeben ist und bei Optimal # of PGs der Wert 16 angegeben ist. Bei der Spalte Autoscale Mode ist der Wert Warn angegeben.

Bei allen Pools, die nicht bei Autoscale Mode auf den Wert on gesetzt sind (Pool cephfs_metadata und Pool cephfs_data) werden darauf umgestellt.

Bei Datacenter -> Ceph wird beim Status HEALTH_OK (grün) angegeben.

Läuft!

Aktualisierung Proxmox Nodes - n1,n2,n3[Bearbeiten]

Step 1 : Check, ob Updates vorhanden sind

   Klicke auf die Proxmox Node und dann auf den Tab "Update"
   Klicke auf "Refresh" in der oberen linken Ecke (-> führt ein apt-update aus)
   Schaue auf die neu dazugekommenen Pakete und kontrolliere auf Unterschiede

Besonders: pve-kernel & pve-manager & ceph


Step 2: Checke, die Unterschiede zwischen aktueller und neuer Version

   Gehe zu Proxmox Proxmox-Newspage und informiere dich über Unterschiede zwischen aktueller und neuer Proxmox Version.
   Zusätzlich werden hier Videos zu größeren Versionen veröffentlicht - Proxmox Training Videos
   Sobald alle möglichen Herrausforderungen geklärt sind, wechsle wieder in die Proxmox Oberfläche.
   Migriere alle aktiven Container / Virtual Machine von zu einer anderen Node. 
   (Rechtsklick auf CT/VM und klick auf Migrate. Wähle einen Node aus.

Step 3: Upgrade & Nachbereitung

   Sobald alle CT/VM von der aktuellen Node verschoben sind, wechsle zu "Update Tab" und klicke auf Upgrade.
   Ein Fenster wird aufgehen und dich nach dem Upgrade fragen. Mit [Y/n] bestätigen und upgraden.
   Sobald das Upgrade fertig ist - Reboote das Node durch klicken  > Reboot in der oberen rechten Ecken.
   Wenn der reboot fertig ist, gehe zur StuRa StuRa Wiki Seite - Proxmox/Cluster unter der Überschrift "Containerisierung 
   für Proxmox Mail Gateway" finden sich passende Befehle um zu überprüfen, ob alle Container sauber laufen.
  

pveam update

pveam available --section mail

pveam download

   pveam download cephfs proxmox-mailgateway-<VERSION NUMBER>-standard_<VERSION NUMBER>_amd64.tar.gz 

Noch einmal überprüfen, ob alle Ressourcen normal ausgelastet sind.

top

Siehe auch[Bearbeiten]