Intern:Server/cluster

Aus Wiki StuRa HTW Dresden
Zur Navigation springen Zur Suche springen

Server/cluster ist der Verbund von mehreren Servern (Maschinen) beim StuRa. Es soll ein System als w:de:hyperkonvergente Infrastruktur mit Proxmox (Server/Proxmox) sein.

Entstehung[Bearbeiten]

Der StuRa betrieb (betreibt noch) eine Infrastruktur mit (FreeBSD) FreeNAS. Das System war veraltet, da es wohl eine Dauer gab, bei der das System nicht aktualisiert wurde, was dazu führte, dass danach gar keine Aktualisierung mehr möglich war.

Beim Bereich Administration Rechentechnik wurde angenommen, dass die Verwaltung von Systemen mit Debian grundsätzlich - insbesondere für neue Mitglieder - einfach wäre. (Der Umgang mit Debian (mit GNU/Linux) ist verbreiteter als der Umgang mit FreeBSD.)

Darüber hinaus wurde angestrebt, dass im Falle des Ausfalls einer Maschinen (Server als Hardware) möglichst wenig sofort zu erledigen ist. (Im Prüfungsabschnitt erscheint es unzumutbar, dass sich Mitglieder der studentischen Selbstverwaltung mit dem Beheben von Problemen auseinandersetzen müssen, obwohl das Ablegen von Prüfungsleistungen im Nacken sitzt.)

Letztlich lief alles auf (ein Verbund von 3 Servern (Maschinen (und 2 Switches)) mit PVE mit Ceph hinaus.

Es gab einen Art Test als Cluster/xora. (Dazu wurden 3 · FSC RC300 S6 (Server/srs3006, Server/srs3005 und so weiter) verwendet, die vater angeschleppt hatte.). (Als Alternative schleppte vater auch noch 3 · Dell PowerEdge R510 an. Sie haben häufiger Karten für die Verwaltung von Massenspeicher (aka RAID-Controller), die für den direkten Zugriff ohne RAID per Hardware angepasst werden können. Außerdem gab es so 8, statt "nur" 6, Einschübe für Geräte für Massenspeicher. Der Test eines Verbundes dieser Geräte durch user:ClemensHaffner wurde dann "spontan" gleich "produktiv" und besteht so bis heute.

Initial wurde PVE Version 6 (und Ceph Version 15) verwendet.

Installation[Bearbeiten]

Maschine srs5100 srs5110 srs5111
password 8 8 8
filesystem zfs (RAID 1) zfs (RAID 1) zfs (RAID 1)
disks (2 ·) 500 GB (2 ·) 500 GB (2 ·) 1000 GB
mail n1.cluster@stura.htw-dresden.de n2.cluster@stura.htw-dresden.de n3.cluster@stura.htw-dresden.de
interface eno1 eno1 eno1
hostname n1.cluster n2.cluster n3.cluster
IPv4 10.1.0.31 10.1.0.32 10.1.0.33
DNS 10.1.0.1
Gateway 10.1.0.1

Netzwerk[Bearbeiten]

Maschine srs5100 srs5110 srs5111
IPv4 10.1.0.31 10.1.0.32 10.1.0.33
vmbr0 bond0 bond0 bond0 für management
vmbr1 bond1 bond1 bond1 für public
bond0 eno1 eno2 eno1 eno2 eno1 eno2 für management
bond1 enp5s0f0 enp5s0f1 enp3s0f0 enp3s0f1 enp3s0f0 enp3s0f1 für public
bond2 enp6s0f0 enp6s0f1 enp3s0f2 enp3s0f3 enp3s0f2 enp3s0f3 für ceph
10.1.0.1
srs5100 srs5110 srs5111
IPMI ent
Board
1 eno1 Switch intern 0/1
2 eno2 unbenutzt
Card
1 2 3 4
enp5s0f0 enp5s0f1 enp6s0f0 enp6s0f1
Switch extern 0/1 Switch extern 0/1 Switch intern 0/1 Switch intern 0/1
IPMI ent
Board
1 eno1 Switch intern 0/1
2 eno2 unbenutzt
Card
1 2 3 4
enp3s0f0 enp3s0f1 enp3s0f2 enp6s0f3
Switch extern 0/1 Switch extern 0/1 Switch intern 0/1 Switch intern 0/1
IPMI ent
Board
1 eno1 Switch intern 0/1
2 eno2 unbenutzt
Card
1 2 3 4
enp3s0f0 enp3s0f1 enp3s0f2 enp6s0f3
Switch extern 0/1 Switch extern 0/1 Switch intern 0/1 Switch intern 0/1

Sonstiges[Bearbeiten]

DELL IPMI Optionen[Bearbeiten]

  • board (only)
  • board + idrac (express)
  • board + idrac + enterprise

Netzwerk Ceph[Bearbeiten]

mögliche Unterteilung zwischen

  • pub
  • non pub

Adressen IPMI[Bearbeiten]

todo Konsistenz
srs3100
10.1.0.11
srs5100
10.1.0.12
srs5110
10.1.0.13
srs5111
10.1.0.14

Switches[Bearbeiten]

Proxmox[Bearbeiten]

Virtualisierung[Bearbeiten]

Proxmox VM[Bearbeiten]

145[Bearbeiten]

ZFS TrueNAS offline[Bearbeiten]

Dataset
*srs14*
hin verschobene Daten von srs100034 (für srs14)
Daten, die auf srs100034 nicht aktiv genutzt wurden
Daten, die mal zur Migration hin zu srs100034 genutzt wurden
*mig*
hin verschobene Daten von srs1337
Daten, die auf srs1337 nicht aktiv genutzt wurden
Daten, die mal zur Migration hin zu srs1337 genutzt wurden
*MIG*
hin verschobene Daten von srs1337
Daten, die auf srs1337 nicht aktiv genutzt wurden
Daten, die mal zur Migration hin zu srs1337 genutzt wurden

Siehe auch[Bearbeiten]