Intern Diskussion:Ora: Unterschied zwischen den Versionen

Aus Wiki StuRa HTW Dresden
Zur Navigation springen Zur Suche springen
Keine Bearbeitungszusammenfassung
Zeile 284: Zeile 284:


GUI (''Datacenter'' -> ''Ceph'' (Health)) grün
GUI (''Datacenter'' -> ''Ceph'' (Health)) grün
----
== Zugriff von Anwendungen auf das ceph cluster ==
https://docs.ceph.com/en/latest/rados/operations/user-management/
wie aus dem link ersichtlich ist, kann / muss man einen user erstellen.
User kann man listen mit <code>ceph auth ls</code>
erstellen mit (Beispielhaft:):
<code>ceph auth get-or-create client.paul mon 'allow r' osd 'allow rw pool=liverpool' </code>
Permissions anpassen mit :
<code>ceph auth caps USERTYPE.USERID {daemon} 'allow [r|w|x|*|...] [pool={pool-name}] [namespace={namespace-name}]' [{daemon} 'allow [r|w|x|*|...] [pool={pool-name}] [namespace={namespace-name}]'] </code>

Version vom 19. August 2021, 19:59 Uhr

Erstellen von Containern

  • Rechtsklick auf ein Node - Create CT
  • General: hostname, passwort Festlegen, bei Turnkey "unpriviledged container" deaktivieren
  • Template: CT-Template von einem Speicher laden, vermutlich CephFS
  • Root Disk: Storage: storage (rbd), Disksize einstellen
  • CPU, Memory einstellen wie man es braucht
  • Network,DNS: Bridge: vmbr1, den Rest einstellen wie man es braucht

High Availability

Man kann Container und VMs zum HA hinzufügen, sodass diese einen Neustart/Ausfall von einem Node überleben.

Die virtuelle HDD (Root Disk) dieser muss dafür im RDB-Storage liegen. Root-Disks im lokalen ZFS-Speicher führen zu Problemen!

  • Auf den Container/VM gehen, dann im Menü Options "start at boot" auf Yes stellen
  • auf Datacenter (cluster) gehen, im Menü "HA" bei Ressources auf add:
    • Bei VM: den Container/VM auswählen
    • Bei Group: HA_cluster wählen
  • hinzufügen

Fehler im Cluster von Ceph

Fehler von OSDs für Ceph

osd.4 spackt erneut

Datacenter (cluster) -> Ceph

  • (andauernde) Warnmeldung 1 daemons have recently crashed
  • osd.4 crashed on host n3
ceph crash ls
ID                                                               ENTITY NEW 
2021-04-12_13:05:29.248655Z_384845a2-f660-4c38-a9a8-3fde5eb66b25 osd.4      
2021-07-09_14:28:03.207985Z_8519c6ab-d4e4-42b6-a5c0-16aaadbcea9e osd.4      
ceph crash archive-all

Aktualisierung (von Ceph 14 auf) Ceph 15

nach https://pve.proxmox.com/wiki/Ceph_Nautilus_to_Octopus




sed -i 's/nautilus/octopus/' /etc/apt/sources.list.d/ceph.list


ceph osd set noout
Im Übrigen kann das auch per GUI geklickt werden (beliebiger Server -> (Ceph) OSD -> (oben, über der Auflistung) Schaltfläche Manage Global Flags -> Checkbox (Zeile) noout angewählt).

GUI

noout flag(s) set


apt update && apt -y full-upgrade


systemctl restart ceph-mon.target
  • Alle Monitore (Monitors) werden von gelb auf grün angezeigt.
  • [unerwartet] Alle Manager (Manager) werden von gelb auf grün angezeigt.


systemctl restart ceph-mgr.target


(Achtung! Bei der Durchfühung auf den einzelnen Nodes zum Neustarten der OSDs für Ceph ist darauf zu achten, dass die Gesundheit nach dem Neustarten der OSDs für Ceph vom vorherigen Node "zurück" sind.)

systemctl restart ceph-osd.target

GUI

2 pools have too many placement groups
Pool storage has 128 placement groups, should have 32
Pool cephfs_data has 128 placement groups, should have 32

F……k!

Weitermachen?! Jo!


ceph config set osd bluestore_fsck_quick_fix_on_mount false


ceph osd require-osd-release octopus

ceph osd unset noout

Im Übrigen kann das auch per GUI geklickt werden (beliebiger Server -> (Ceph) OSD -> (oben, über der Auflistung) Schaltfläche Manage Global Flags -> Checkbox (Zeile) noout abgewählt).


zu hohe Anzahl von placement groups für Ceph in einigen Pool für Ceph

Problem
Ceph "meckert" (durch seine Funktionalität ), dass die Anzahl vom placement groups im P
ceph osd pool autoscale-status
POOL                     SIZE  TARGET SIZE  RATE  RAW CAPACITY   RATIO  TARGET RATIO  EFFECTIVE RATIO  BIAS  PG_NUM  NEW PG_NUM  AUTOSCALE  
storage                758.9G                3.0        11178G  0.2037                                  1.0     128          32  warn       
cephfs_data            277.4G                3.0        11178G  0.0745                                  1.0     128          32  warn       
cephfs_metadata         7789k                3.0        11178G  0.0000                                  4.0      32              warn       
device_health_metrics   1312k                3.0        11178G  0.0000                                  1.0       1              on         
pveceph pool ls
┌───────────────────────┬──────┬──────────┬────────┬─────────────┬────────────────┬───────────────────┬──────────────────────────┬───────────────────────────┬─────────────────┬──────────────────────┬───────────────┐
│ Name                  │ Size │ Min Size │ PG Num │ min. PG Num │ Optimal PG Num │ PG Autoscale Mode │ PG Autoscale Target Size │ PG Autoscale Target Ratio │ Crush Rule Name │               %-Used │          Used │
╞═══════════════════════╪══════╪══════════╪════════╪═════════════╪════════════════╪═══════════════════╪══════════════════════════╪═══════════════════════════╪═════════════════╪══════════════════════╪═══════════════╡
│ cephfs_data           │    3 │        2 │    128 │             │             32 │ warn              │                          │                           │ replicated_rule │     0.10118156671524 │  893843079168 │
├───────────────────────┼──────┼──────────┼────────┼─────────────┼────────────────┼───────────────────┼──────────────────────────┼───────────────────────────┼─────────────────┼──────────────────────┼───────────────┤
│ cephfs_metadata       │    3 │        2 │     32 │          16 │             16 │ warn              │                          │                           │ replicated_rule │ 3.23224207932071e-06 │      25664757 │
├───────────────────────┼──────┼──────────┼────────┼─────────────┼────────────────┼───────────────────┼──────────────────────────┼───────────────────────────┼─────────────────┼──────────────────────┼───────────────┤
│ device_health_metrics │    3 │        2 │      1 │           1 │              1 │ on                │                          │                           │ replicated_rule │  5.0767386028383e-07 │       4031038 │
├───────────────────────┼──────┼──────────┼────────┼─────────────┼────────────────┼───────────────────┼──────────────────────────┼───────────────────────────┼─────────────────┼──────────────────────┼───────────────┤
│ storage               │    3 │        2 │    128 │             │             32 │ warn              │                          │                           │ replicated_rule │    0.228989392518997 │ 2358233763477 │
└───────────────────────┴──────┴──────────┴────────┴─────────────┴────────────────┴───────────────────┴──────────────────────────┴───────────────────────────┴─────────────────┴──────────────────────┴───────────────┘

https://access.redhat.com/documentation/en-us/red_hat_ceph_storage/3/html/storage_strategies_guide/placement_groups_pgs#set_the_number_of_pgs

ceph osd pool get cephfs_data pg_num
pg_num: 128
ceph osd pool get cephfs_data pgp_num
pgp_num: 128
ceph osd pool get storage pg_num
pg_num: 128
ceph osd pool get storage pgp_num
pgp_num: 128

ceph osd pool get cephfs_data pgp_num
pgp_num: 128
ceph osd pool set cephfs_data pgp_num 32
set pool 2 pgp_num to 32
ceph osd pool get cephfs_data pgp_num
pgp_num: 123

w00t?

Ceph hat begonnen zu arbeiten und
ceph osd pool set storage pgp_num 32
set pool 1 pgp_num to 32
ceph osd pool get storage pgp_num
pgp_num: 128
ceph osd pool set storage pgp_num 32
set pool 1 pgp_num to 32
ceph osd pool get storage pgp_num
pgp_num: 128


Im Übrigen kann das auch per GUI geklickt werden (beliebiger Server -> (Ceph) Pools -> (Zeile für den bestimmten Pool für Ceph in der Auflistung anwählen) Schaltfläche Edit -> (Checkbox Advanced anwählen) Textfeld für Zahlen # of PGs).


GUI

2 pools have pg_num > pgp_num
pool storage pg_num 128 > pgp_num 32
pool cephfs_data pg_num 128 > pgp_num 32

Austüdeln lassen!


https://pve.proxmox.com/wiki/Ceph_Nautilus_to_Octopus#Placement_Group_.28PG.29_count_warning_for_pools

w00t? Das kann auch "autogescalet" werden? https://access.redhat.com/documentation/en-us/red_hat_ceph_storage/4/html-single/storage_strategies_guide/index#auto-scaling-placement-groups

testpool ist die Variable für die Bezeichnung vom Pool für Ceph.

ceph osd pool set testpool pg_autoscale_mode on

Setzen der Variable, dass immmer beim Erstellen von einem Pool für Ceph

ceph config set global osd_pool_default_pg_autoscale_mode <mode>

https://ceph.com/rados/new-in-nautilus-pg-merging-and-autotuning/


Für den Pool für Ceph storage über die Oberfläche "geklickt".

Die Anpassung der Anzahl von PGs kann über die GUI beobachtet werden.
ceph osd pool set cephfs_data pg_num 32
set pool 2 pg_num to 32
ceph osd pool get cephfs_data pg_num
pg_num: 123
ceph osd pool get cephfs_data pg_num
pg_num: 32

Streiken von einem einzelnen Gerät für Massenspeicher in einem Cluster für Ceph


1 osds down
osd.4 (root=default,host=n3) is down

GUI

Datacenter -> Ceph (Health)
1 daemons have recently crashed
osd.4 crashed on host n3 at 2021-08-09T21:29:34.296598Z

Es hilft auch kein Neustarten vom daemon (per GUI).


Archivieren aller (bisher vermerkten) Unfälle bei Ceph

ceph crash archive-all


ceph crash ls
ID                                                                ENTITY  NEW  
2021-04-12_13:05:29.248655Z_384845a2-f660-4c38-a9a8-3fde5eb66b25  osd.4        
2021-07-09_14:28:03.207985Z_8519c6ab-d4e4-42b6-a5c0-16aaadbcea9e  osd.4        
2021-08-09T21:29:34.296598Z_d58f1070-599d-456b-a52f-feaabd0db732  osd.4    *   
crash archive 2021-08-09T21:29:34.296598Z_d58f1070-599d-456b-a52f-feaabd0db732
ceph status | grep health
    health: HEALTH_OK

GUI (Datacenter -> Ceph (Health)) grün


Zugriff von Anwendungen auf das ceph cluster

https://docs.ceph.com/en/latest/rados/operations/user-management/

wie aus dem link ersichtlich ist, kann / muss man einen user erstellen.

User kann man listen mit ceph auth ls

erstellen mit (Beispielhaft:):

ceph auth get-or-create client.paul mon 'allow r' osd 'allow rw pool=liverpool'

Permissions anpassen mit : ceph auth caps USERTYPE.USERID {daemon} 'allow [r|w|x|*|...] [pool={pool-name}] [namespace={namespace-name}]' [{daemon} 'allow [r|w|x|*|...] [pool={pool-name}] [namespace={namespace-name}]']