====== Ceph - RBD-Storage ======

CLI-basierte Installation ist notwendig, wenn z.B. ein Mesh-Netzwerk für Storage verwendet wird, da die IP-Adresse nicht in ///etc/network/interfaces// steht und somit in der GUI-Variante nicht ausgewählt werden kann.

==== Voraussetzungen ====

mind. 3 Nodes bilden einen Cluster. Bei 2 aktiven Nodes steht der Storage weiterhin zur Verfügung.

==== Installation ====

per CLI
<code>
pveceph install -repository no-subscription

HINT: The no-subscription repository is not the best choice for production setups.
Proxmox recommends using the enterprise repository with a valid subscription.
This will install Ceph Quincy - continue (y/N)? y
</code>

Initial Ceph configuration via CLI
nur auf einer Node um das 10Gbit-Netz auswählen zu können, da dies nicht in ///etc/network/interfaces// konfiguriert ist.

  pveceph init --network 10.13.13.0/24

==== Monitor-Nodes hinzufügen ====

  pveceph mon create
andere können über GUI hinzugefügt werden

==== Manager-Nodes hinzufügen ====

kann über GUI auf allen Nodes hinzugefügt werden.

==== OSD erstellen ====
Auf allen Nodes ausführen.

{{:proxmox_ceph_osd_1.png?nolink&600|}}


==== Crush-rules für SSD und HDD ====

wenn nur SSD's und nur HDD's je einen **replicated Pool** (Default) bilden sollen, so müssen separate CRUSH rules vergeben werden. Die entsprechenden OSD's müssen bereits vorhanden sein.

  ceph osd crush rule create-replicated SSD_REP default host ssd
  ceph osd crush rule create-replicated HDD_REP default host hdd

Die CRUSH-rule wird nur für **replicated Pools** benötigt.
==== Ceph-Pool erstellen ====

Der Pool wird nur auf einer Node erstellt. Über die GUI läßt sich nur der defaultmäßige **replicated Pool** erstellen. Hier werden die Daten auf allen Nodes identisch vorgehalten, was  die bestmöglivche Geschwindigkeit bietet.

{{:proxmox_ceph_osd_2.png?nolink&600|}}

CRUSH-rule für den Storage auswählen.

Soll ein **Erasure Coded Pool** erstellt werden, werden die Daten so verteilt, daß mehr Plattenplatz zur Verfügung steht als beim replicated Pool, dies aber auf Kosten der Performance erfolgt. Dies ist nur über das CLI möglich

  pveceph pool create Ceph-SSD --erasure-coding k=2,m=1 --add_storages