Intern:Server/cluster

Server/cluster ist der Verbund von mehreren Servern (Maschinen) beim StuRa. Es soll ein System als w:de:hyperkonvergente Infrastruktur mit Proxmox (Server/Proxmox) sein.

Entstehung

Der StuRa betrieb (betreibt noch) eine Infrastruktur mit (FreeBSD) FreeNAS. Das System war veraltet, da es wohl eine Dauer gab, bei der das System nicht aktualisiert wurde, was dazu führte, dass danach gar keine Aktualisierung mehr möglich war.

Beim Bereich Administration Rechentechnik wurde angenommen, dass die Verwaltung von Systemen mit Debian grundsätzlich - insbesondere für neue Mitglieder - einfach wäre. (Der Umgang mit Debian (mit GNU/Linux) ist verbreiteter als der Umgang mit FreeBSD.)

Darüber hinaus wurde angestrebt, dass im Falle des Ausfalls einer Maschinen (Server als Hardware) möglichst wenig sofort zu erledigen ist. (Im Prüfungsabschnitt erscheint es unzumutbar, dass sich Mitglieder der studentischen Selbstverwaltung mit dem Beheben von Problemen auseinandersetzen müssen, obwohl das Ablegen von Prüfungsleistungen im Nacken sitzt.)

Letztlich lief alles auf (ein Verbund von 3 Servern (Maschinen (und 2 Switches)) mit PVE mit Ceph hinaus.

Es gab einen Art Test als Cluster/xora. (Dazu wurden 3 · FSC RC300 S6 (Server/srs3006, Server/srs3005 und so weiter) verwendet, die vater angeschleppt hatte.). (Als Alternative schleppte vater auch noch 3 · Dell PowerEdge R510 an. Sie haben häufiger Karten für die Verwaltung von Massenspeicher (aka RAID-Controller), die für den direkten Zugriff ohne RAID per Hardware angepasst werden können. Außerdem gab es so 8, statt "nur" 6, Einschübe für Geräte für Massenspeicher. Der Test eines Verbundes dieser Geräte durch user:ClemensHaffner wurde dann "spontan" gleich "produktiv" und besteht so bis heute.

Initial wurde PVE Version 6 (und Ceph Version 15) verwendet.

Installation

Maschine	srs5100	srs5110	srs5111
password	8	8	8
filesystem	zfs (RAID 1)	zfs (RAID 1)	zfs (RAID 1)
disks	(2 ·) 500 GB	(2 ·) 500 GB	(2 ·) 1000 GB
mail	n1.cluster@stura.htw-dresden.de	n2.cluster@stura.htw-dresden.de	n3.cluster@stura.htw-dresden.de
interface	eno1	eno1	eno1
hostname	n1.cluster	n2.cluster	n3.cluster
IPv4	10.1.0.31	10.1.0.32	10.1.0.33
DNS	10.1.0.1
Gateway	10.1.0.1

Netzwerk

Maschine	srs5100	srs5110	srs5111
IPv4	10.1.0.31	10.1.0.32	10.1.0.33
vmbr0	bond0	bond0	bond0	für management
vmbr1	bond1	bond1	bond1	für public
bond0	eno1 eno2	eno1 eno2	eno1 eno2	für management
bond1	enp5s0f0 enp5s0f1	enp3s0f0 enp3s0f1	enp3s0f0 enp3s0f1	für public
bond2	enp6s0f0 enp6s0f1	enp3s0f2 enp3s0f3	enp3s0f2 enp3s0f3	für ceph
	10.1.0.1

srs5100	srs5110	srs5111
IPMI ent Board 1 eno1 Switch intern 0/1 2 eno2 unbenutzt Card 1 2 3 4 enp5s0f0 enp5s0f1 enp6s0f0 enp6s0f1 Switch extern 0/1 Switch extern 0/1 Switch intern 0/1 Switch intern 0/1	IPMI ent Board 1 eno1 Switch intern 0/1 2 eno2 unbenutzt Card 1 2 3 4 enp3s0f0 enp3s0f1 enp3s0f2 enp6s0f3 Switch extern 0/1 Switch extern 0/1 Switch intern 0/1 Switch intern 0/1	IPMI ent Board 1 eno1 Switch intern 0/1 2 eno2 unbenutzt Card 1 2 3 4 enp3s0f0 enp3s0f1 enp3s0f2 enp6s0f3 Switch extern 0/1 Switch extern 0/1 Switch intern 0/1 Switch intern 0/1

Sonstiges

DELL IPMI Optionen

• board (only)
• board + idrac (express)
• board + idrac + enterprise

Netzwerk Ceph

mögliche Unterteilung zwischen

• pub
• non pub

Adressen IPMI

todo Konsistenz

srs3100

10.1.0.11

srs5100

10.1.0.12

srs5110

10.1.0.13

srs5111

10.1.0.14

Proxmox

Proxmox VM

ZFS TrueNAS offline

Dataset

*srs14*

hin verschobene Daten von srs100034 (für srs14)

Daten, die auf srs100034 nicht aktiv genutzt wurden

Daten, die mal zur Migration hin zu srs100034 genutzt wurden

*mig*

hin verschobene Daten von srs1337

Daten, die auf srs1337 nicht aktiv genutzt wurden

Daten, die mal zur Migration hin zu srs1337 genutzt wurden

*MIG*

hin verschobene Daten von srs1337

Daten, die auf srs1337 nicht aktiv genutzt wurden

Daten, die mal zur Migration hin zu srs1337 genutzt wurden

Siehe auch

• ora