Intern:Server/cluster: Unterschied zwischen den Versionen

Aus Wiki StuRa HTW Dresden
Zur Navigation springen Zur Suche springen
← Zum vorherigen Versionsunterschied
 
(5 dazwischenliegende Versionen desselben Benutzers werden nicht angezeigt)
Zeile 1: Zeile 1:
[[{{PAGENAME}}]] ist der Verbund von mehreren [[Server]]n ([[Maschine]]n) beim [[StuRa]]. Es soll ein System als [[w:de:hyperkonvergente Infrastruktur]] mit [[Proxmox]] ([[Server/Proxmox]]) sein.
== Entstehung ==
Der StuRa betrieb (betreibt<!-- zumindest 2022 --> noch) eine Infrastruktur mit ([[FreeBSD]]) [[FreeNAS]]. Das System war veraltet, da es wohl eine Dauer gab, bei der das System nicht aktualisiert wurde, was dazu führte, dass danach gar keine Aktualisierung mehr möglich war.
Beim [[Bereich Administration Rechentechnik]] wurde angenommen, dass die Verwaltung von Systemen mit [[Debian]] grundsätzlich - insbesondere für neue Mitglieder - einfach wäre. (Der Umgang mit [[Debian]] (mit [[GNU/Linux]]) ist verbreiteter als der Umgang mit [[FreeBSD]].)
Darüber hinaus wurde angestrebt, dass im Falle des Ausfalls einer Maschinen (Server als Hardware) möglichst wenig sofort zu erledigen ist. (Im [[Prüfungsabschnitt]] erscheint es unzumutbar, dass sich Mitglieder der [[studentische Selbstverwaltung|studentischen Selbstverwaltung]] mit dem Beheben von Problemen auseinandersetzen müssen, obwohl das Ablegen von [[Prüfungsleistung]]en im Nacken sitzt.)
Letztlich lief alles auf (ein Verbund von 3 [[Server]]n ([[Maschine]]n (und 2 [[Switch]]es)) mit [[PVE]] mit [[Ceph]] hinaus.
Es gab einen Art Test als [[Cluster/xora]]. (Dazu wurden 3 · FSC RC300 S6 ([[Server/srs3006]], [[Server/srs3005]] und so weiter) verwendet, die [[vater]] angeschleppt hatte.). (Als Alternative schleppte [[vater]] auch noch 3 · [[Dell PowerEdge R510]] an. Sie haben häufiger Karten für die Verwaltung von Massenspeicher (aka RAID-Controller), die für den direkten Zugriff ohne RAID per Hardware angepasst werden können. Außerdem gab es so 8, statt "nur" 6, Einschübe für Geräte für Massenspeicher. Der Test eines Verbundes dieser Geräte durch [[user:ClemensHaffner]] wurde dann "spontan" gleich "produktiv" und besteht so bis heute<!-- mindestens 2022-11 -->.
Initial wurde PVE Version&nbsp;6 (und Ceph Version&nbsp;15<!-- oder damals noch 14 -->) verwendet.
== Installation ==
== Installation ==


Zeile 112: Zeile 128:
{|
{|
|-
|-
| colspan=1 | IPMI ent
| colspan=1 | <s>IPMI ent</s>
|-
|-
| fehlt
|  
|-
|-
|}
|}
Zeile 124: Zeile 140:
| 1
| 1
| eno1
| eno1
| Switch intern 0/1
|-
|-
| 2
| 2
| eno2
| eno2
| unbenutzt
|-
|-
|}
|}
Zeile 143: Zeile 161:
| enp6s0f0
| enp6s0f0
| enp6s0f1
| enp6s0f1
|-
| Switch extern 0/1
| Switch extern 0/1
| Switch intern 0/1
| Switch intern 0/1
|-
|-
|}
|}
Zeile 153: Zeile 176:
{|
{|
|-
|-
| colspan=1 | IPMI ent
| colspan=1 | <s>IPMI ent</s>
|-
|-
| fehlt
|  
|-
|-
|}
|}
Zeile 165: Zeile 188:
| 1
| 1
| eno1
| eno1
| Switch intern 0/1
|-
|-
| 2
| 2
| eno2
| eno2
| unbenutzt
|-
|-
|}
|}
Zeile 184: Zeile 209:
| enp3s0f2
| enp3s0f2
| enp6s0f3
| enp6s0f3
|-
| Switch extern 0/1
| Switch extern 0/1
| Switch intern 0/1
| Switch intern 0/1
|-
|-
|}
|}
Zeile 194: Zeile 224:
{|
{|
|-
|-
| colspan=1 | IPMI ent
| colspan=1 | <s>IPMI ent</s>
|-
|-
| fehlt
|  
|-
|-
|}
|}
Zeile 206: Zeile 236:
| 1
| 1
| eno1
| eno1
| Switch intern 0/1
|-
|-
| 2
| 2
| eno2
| eno2
| unbenutzt
|-
|-
|}
|}
Zeile 225: Zeile 257:
| enp3s0f2
| enp3s0f2
| enp6s0f3
| enp6s0f3
|-
| Switch extern 0/1
| Switch extern 0/1
| Switch intern 0/1
| Switch intern 0/1
|-
|-
|}
|}
Zeile 263: Zeile 300:
|}
|}
-->
-->
== Proxmox ==
=== Virtualisierung ===
=== Proxmox VM ===
==== 145 ====
==== ZFS TrueNAS offline ====
; Dataset:
: *srs14*
:: hin verschobene Daten von srs100034 (für srs14)
::: Daten, die auf srs100034 nicht aktiv genutzt wurden
::: Daten, die mal zur Migration hin zu srs100034 genutzt wurden
: *mig*
:: hin verschobene Daten von srs1337
::: Daten, die auf srs1337 nicht aktiv genutzt wurden
::: Daten, die mal zur Migration hin zu srs1337 genutzt wurden
: *MIG*
:: hin verschobene Daten von srs1337
::: Daten, die auf srs1337 nicht aktiv genutzt wurden
::: Daten, die mal zur Migration hin zu srs1337 genutzt wurden
== Siehe auch ==
* [[ora]]

Aktuelle Version vom 30. Oktober 2022, 00:13 Uhr

Server/cluster ist der Verbund von mehreren Servern (Maschinen) beim StuRa. Es soll ein System als w:de:hyperkonvergente Infrastruktur mit Proxmox (Server/Proxmox) sein.

Entstehung[Bearbeiten]

Der StuRa betrieb (betreibt noch) eine Infrastruktur mit (FreeBSD) FreeNAS. Das System war veraltet, da es wohl eine Dauer gab, bei der das System nicht aktualisiert wurde, was dazu führte, dass danach gar keine Aktualisierung mehr möglich war.

Beim Bereich Administration Rechentechnik wurde angenommen, dass die Verwaltung von Systemen mit Debian grundsätzlich - insbesondere für neue Mitglieder - einfach wäre. (Der Umgang mit Debian (mit GNU/Linux) ist verbreiteter als der Umgang mit FreeBSD.)

Darüber hinaus wurde angestrebt, dass im Falle des Ausfalls einer Maschinen (Server als Hardware) möglichst wenig sofort zu erledigen ist. (Im Prüfungsabschnitt erscheint es unzumutbar, dass sich Mitglieder der studentischen Selbstverwaltung mit dem Beheben von Problemen auseinandersetzen müssen, obwohl das Ablegen von Prüfungsleistungen im Nacken sitzt.)

Letztlich lief alles auf (ein Verbund von 3 Servern (Maschinen (und 2 Switches)) mit PVE mit Ceph hinaus.

Es gab einen Art Test als Cluster/xora. (Dazu wurden 3 · FSC RC300 S6 (Server/srs3006, Server/srs3005 und so weiter) verwendet, die vater angeschleppt hatte.). (Als Alternative schleppte vater auch noch 3 · Dell PowerEdge R510 an. Sie haben häufiger Karten für die Verwaltung von Massenspeicher (aka RAID-Controller), die für den direkten Zugriff ohne RAID per Hardware angepasst werden können. Außerdem gab es so 8, statt "nur" 6, Einschübe für Geräte für Massenspeicher. Der Test eines Verbundes dieser Geräte durch user:ClemensHaffner wurde dann "spontan" gleich "produktiv" und besteht so bis heute.

Initial wurde PVE Version 6 (und Ceph Version 15) verwendet.

Installation[Bearbeiten]

Maschine srs5100 srs5110 srs5111
password 8 8 8
filesystem zfs (RAID 1) zfs (RAID 1) zfs (RAID 1)
disks (2 ·) 500 GB (2 ·) 500 GB (2 ·) 1000 GB
mail n1.cluster@stura.htw-dresden.de n2.cluster@stura.htw-dresden.de n3.cluster@stura.htw-dresden.de
interface eno1 eno1 eno1
hostname n1.cluster n2.cluster n3.cluster
IPv4 10.1.0.31 10.1.0.32 10.1.0.33
DNS 10.1.0.1
Gateway 10.1.0.1

Netzwerk[Bearbeiten]

Maschine srs5100 srs5110 srs5111
IPv4 10.1.0.31 10.1.0.32 10.1.0.33
vmbr0 bond0 bond0 bond0 für management
vmbr1 bond1 bond1 bond1 für public
bond0 eno1 eno2 eno1 eno2 eno1 eno2 für management
bond1 enp5s0f0 enp5s0f1 enp3s0f0 enp3s0f1 enp3s0f0 enp3s0f1 für public
bond2 enp6s0f0 enp6s0f1 enp3s0f2 enp3s0f3 enp3s0f2 enp3s0f3 für ceph
10.1.0.1
srs5100 srs5110 srs5111
IPMI ent
Board
1 eno1 Switch intern 0/1
2 eno2 unbenutzt
Card
1 2 3 4
enp5s0f0 enp5s0f1 enp6s0f0 enp6s0f1
Switch extern 0/1 Switch extern 0/1 Switch intern 0/1 Switch intern 0/1
IPMI ent
Board
1 eno1 Switch intern 0/1
2 eno2 unbenutzt
Card
1 2 3 4
enp3s0f0 enp3s0f1 enp3s0f2 enp6s0f3
Switch extern 0/1 Switch extern 0/1 Switch intern 0/1 Switch intern 0/1
IPMI ent
Board
1 eno1 Switch intern 0/1
2 eno2 unbenutzt
Card
1 2 3 4
enp3s0f0 enp3s0f1 enp3s0f2 enp6s0f3
Switch extern 0/1 Switch extern 0/1 Switch intern 0/1 Switch intern 0/1

Sonstiges[Bearbeiten]

DELL IPMI Optionen[Bearbeiten]

  • board (only)
  • board + idrac (express)
  • board + idrac + enterprise

Netzwerk Ceph[Bearbeiten]

mögliche Unterteilung zwischen

  • pub
  • non pub

Adressen IPMI[Bearbeiten]

todo Konsistenz
srs3100
10.1.0.11
srs5100
10.1.0.12
srs5110
10.1.0.13
srs5111
10.1.0.14

Switches[Bearbeiten]

Proxmox[Bearbeiten]

Virtualisierung[Bearbeiten]

Proxmox VM[Bearbeiten]

145[Bearbeiten]

ZFS TrueNAS offline[Bearbeiten]

Dataset
*srs14*
hin verschobene Daten von srs100034 (für srs14)
Daten, die auf srs100034 nicht aktiv genutzt wurden
Daten, die mal zur Migration hin zu srs100034 genutzt wurden
*mig*
hin verschobene Daten von srs1337
Daten, die auf srs1337 nicht aktiv genutzt wurden
Daten, die mal zur Migration hin zu srs1337 genutzt wurden
*MIG*
hin verschobene Daten von srs1337
Daten, die auf srs1337 nicht aktiv genutzt wurden
Daten, die mal zur Migration hin zu srs1337 genutzt wurden

Siehe auch[Bearbeiten]

Abgerufen von „https://wiki.stura.htw-dresden.de/index.php?title=Intern:Server/cluster&oldid=43702“