Intern Diskussion:Ora: Unterschied zwischen den Versionen
Zur Navigation springen
Zur Suche springen
| Zeile 152: | Zeile 152: | ||
: <code>ceph osd pool get cephfs_data pgp_num</code> | : <code>ceph osd pool get cephfs_data pgp_num</code> | ||
<pre> | <pre> | ||
pgp_num: | pgp_num: 123 | ||
</pre> | </pre> | ||
w00t? | w00t? | ||
: Ceph hat begonnen zu arbeiten und | |||
: <code>ceph osd pool set storage pgp_num 32</code> | : <code>ceph osd pool set storage pgp_num 32</code> | ||
| Zeile 199: | Zeile 200: | ||
: <code>ceph config set global osd_pool_default_pg_autoscale_mode <mode></code> | : <code>ceph config set global osd_pool_default_pg_autoscale_mode <mode></code> | ||
</s> | </s> | ||
---- | |||
Für den Pool für Ceph ''storage'' über die Oberfläche "geklickt". | |||
: Die Anpassung der Anzahl von PGs kann über die GUI beobachtet werden. | |||
: <code>ceph osd pool set cephfs_data pg_num 32</code> | |||
<pre> | |||
set pool 2 pg_num to 32 | |||
</pre> | |||
: <code>ceph osd pool get cephfs_data pg_num</code> | |||
<pre> | |||
pg_num: 123 | |||
</pre> | |||
: <code>ceph osd pool get cephfs_data pg_num</code> | |||
<pre> | |||
pg_num: 32 | |||
</pre> | |||
---- | ---- | ||
Version vom 10. August 2021, 14:13 Uhr
Erstellen von Containern
- Rechtsklick auf ein Node - Create CT
- General: hostname, passwort Festlegen, bei Turnkey "unpriviledged container" deaktivieren
- Template: CT-Template von einem Speicher laden, vermutlich CephFS
- Root Disk: Storage: storage (rbd), Disksize einstellen
- CPU, Memory einstellen wie man es braucht
- Network,DNS: Bridge: vmbr1, den Rest einstellen wie man es braucht
High Availability
Man kann Container und VMs zum HA hinzufügen, sodass diese einen Neustart/Ausfall von einem Node überleben.
Die virtuelle HDD (Root Disk) dieser muss dafür im RDB-Storage liegen. Root-Disks im lokalen ZFS-Speicher führen zu Problemen!
- Auf den Container/VM gehen, dann im Menü Options "start at boot" auf Yes stellen
- auf Datacenter (cluster) gehen, im Menü "HA" bei Ressources auf add:
- Bei VM: den Container/VM auswählen
- Bei Group: HA_cluster wählen
- hinzufügen
Fehler im Cluster von Ceph
Fehler von OSDs für Ceph
osd.4 spackt erneut
- (andauernde) Warnmeldung 1 daemons have recently crashed
- osd.4 crashed on host n3
ceph crash ls
ID ENTITY NEW 2021-04-12_13:05:29.248655Z_384845a2-f660-4c38-a9a8-3fde5eb66b25 osd.4 2021-07-09_14:28:03.207985Z_8519c6ab-d4e4-42b6-a5c0-16aaadbcea9e osd.4
ceph crash archive-all
Aktualisierung (von Ceph 14 auf) Ceph 15
nach https://pve.proxmox.com/wiki/Ceph_Nautilus_to_Octopus
sed -i 's/nautilus/octopus/' /etc/apt/sources.list.d/ceph.list
ceph osd set noout- Im Übrigen kann das auch per GUI geklickt werden (beliebiger Server -> (Ceph) OSD -> (oben, über der Auflistung) Schaltfläche Manage Global Flags -> Checkbox (Zeile) noout).
GUI
noout flag(s) set
apt update && apt -y full-upgrade
systemctl restart ceph-mon.target
- Alle Monitore (Monitors) werden von gelb auf grün angezeigt.
- [unerwartet] Alle Manager (Manager) werden von gelb auf grün angezeigt.
systemctl restart ceph-mgr.target
(Achtung! Bei der Durchfühung auf den einzelnen Nodes zum Neustarten der OSDs für Ceph ist darauf zu achten, dass die Gesundheit nach dem Neustarten der OSDs für Ceph vom vorherigen Node "zurück" sind.)
systemctl restart ceph-osd.target
GUI
2 pools have too many placement groups
Pool storage has 128 placement groups, should have 32 Pool cephfs_data has 128 placement groups, should have 32
F……k!
Weitermachen?! Jo!
ceph config set osd bluestore_fsck_quick_fix_on_mount false
ceph osd require-osd-release octopus
zu hohe Anzahl von placement groups für Ceph in einigen Pool für Ceph
- Problem
- Ceph "meckert" (durch seine Funktionalität ), dass die Anzahl vom placement groups im P
ceph osd pool autoscale-status
POOL SIZE TARGET SIZE RATE RAW CAPACITY RATIO TARGET RATIO EFFECTIVE RATIO BIAS PG_NUM NEW PG_NUM AUTOSCALE storage 758.9G 3.0 11178G 0.2037 1.0 128 32 warn cephfs_data 277.4G 3.0 11178G 0.0745 1.0 128 32 warn cephfs_metadata 7789k 3.0 11178G 0.0000 4.0 32 warn device_health_metrics 1312k 3.0 11178G 0.0000 1.0 1 on
pveceph pool ls
┌───────────────────────┬──────┬──────────┬────────┬─────────────┬────────────────┬───────────────────┬──────────────────────────┬───────────────────────────┬─────────────────┬──────────────────────┬───────────────┐ │ Name │ Size │ Min Size │ PG Num │ min. PG Num │ Optimal PG Num │ PG Autoscale Mode │ PG Autoscale Target Size │ PG Autoscale Target Ratio │ Crush Rule Name │ %-Used │ Used │ ╞═══════════════════════╪══════╪══════════╪════════╪═════════════╪════════════════╪═══════════════════╪══════════════════════════╪═══════════════════════════╪═════════════════╪══════════════════════╪═══════════════╡ │ cephfs_data │ 3 │ 2 │ 128 │ │ 32 │ warn │ │ │ replicated_rule │ 0.10118156671524 │ 893843079168 │ ├───────────────────────┼──────┼──────────┼────────┼─────────────┼────────────────┼───────────────────┼──────────────────────────┼───────────────────────────┼─────────────────┼──────────────────────┼───────────────┤ │ cephfs_metadata │ 3 │ 2 │ 32 │ 16 │ 16 │ warn │ │ │ replicated_rule │ 3.23224207932071e-06 │ 25664757 │ ├───────────────────────┼──────┼──────────┼────────┼─────────────┼────────────────┼───────────────────┼──────────────────────────┼───────────────────────────┼─────────────────┼──────────────────────┼───────────────┤ │ device_health_metrics │ 3 │ 2 │ 1 │ 1 │ 1 │ on │ │ │ replicated_rule │ 5.0767386028383e-07 │ 4031038 │ ├───────────────────────┼──────┼──────────┼────────┼─────────────┼────────────────┼───────────────────┼──────────────────────────┼───────────────────────────┼─────────────────┼──────────────────────┼───────────────┤ │ storage │ 3 │ 2 │ 128 │ │ 32 │ warn │ │ │ replicated_rule │ 0.228989392518997 │ 2358233763477 │ └───────────────────────┴──────┴──────────┴────────┴─────────────┴────────────────┴───────────────────┴──────────────────────────┴───────────────────────────┴─────────────────┴──────────────────────┴───────────────┘
ceph osd pool get cephfs_data pg_num
pg_num: 128
ceph osd pool get cephfs_data pgp_num
pgp_num: 128
ceph osd pool get storage pg_num
pg_num: 128
ceph osd pool get storage pgp_num
pgp_num: 128
ceph osd pool get cephfs_data pgp_num
pgp_num: 128
ceph osd pool set cephfs_data pgp_num 32
set pool 2 pgp_num to 32
ceph osd pool get cephfs_data pgp_num
pgp_num: 123
w00t?
- Ceph hat begonnen zu arbeiten und
ceph osd pool set storage pgp_num 32
set pool 1 pgp_num to 32
ceph osd pool get storage pgp_num
pgp_num: 128
ceph osd pool set storage pgp_num 32
set pool 1 pgp_num to 32
ceph osd pool get storage pgp_num
pgp_num: 128
- Im Übrigen kann das auch per GUI geklickt werden (beliebiger Server -> (Ceph) Pools -> (Zeile für den bestimmten Pool für Ceph in der Auflistung anwählen) Schaltfläche Edit -> (Checkbox Advanced anwählen) Textfeld für Zahlen # of PGs).
GUI
2 pools have pg_num > pgp_num
pool storage pg_num 128 > pgp_num 32 pool cephfs_data pg_num 128 > pgp_num 32
Austüdeln lassen!
w00t? Das kann auch "autogescalet" werden? https://access.redhat.com/documentation/en-us/red_hat_ceph_storage/4/html-single/storage_strategies_guide/index#auto-scaling-placement-groups
testpool ist die Variable für die Bezeichnung vom Pool für Ceph.
ceph osd pool set testpool pg_autoscale_mode on
Setzen der Variable, dass immmer beim Erstellen von einem Pool für Ceph
ceph config set global osd_pool_default_pg_autoscale_mode <mode>
Für den Pool für Ceph storage über die Oberfläche "geklickt".
- Die Anpassung der Anzahl von PGs kann über die GUI beobachtet werden.
ceph osd pool set cephfs_data pg_num 32
set pool 2 pg_num to 32
ceph osd pool get cephfs_data pg_num
pg_num: 123
ceph osd pool get cephfs_data pg_num
pg_num: 32
Streiken von einem einzelnen Gerät für Massenspeicher in einem Cluster für Ceph
1 osds down
osd.4 (root=default,host=n3) is down
1 daemons have recently crashed
osd.4 crashed on host n3 at 2021-08-09T21:29:34.296598Z