Ceph in Proxmox VE deinstallieren (How-To)

In diesem Artikel erfahren Sie, wie Sie Ceph vollständig und rückstandslos von einem Proxmox-VE-Knoten deinstallieren, alle aktiven Dienste stoppen und sämtliche Konfigurations-, Paket- und Speicher-Reste (Purge) bereinigen.

Ausgangslage & Typische Einsatzszenarien

In der Praxis gibt es verschiedene Szenarien, in denen ein vollständiges Purgen der Ceph-Installation auf einem Proxmox-VE-Host notwendig wird:

• Decommissioning oder Storage-Wechsel: Ein bisheriger hyperkonvergenter Ceph-Cluster wird aufgelöst oder durch alternative Enterprise-Storage-Lösungen (z. B. ZFS over iSCSI, Enterprise NVMe-oF oder NFS) ersetzt.
• Fehlgeschlagene Initialkonfiguration: Bei einem unvollständigen oder korrumpierten Ceph-Setup (z. B. falsche Netzwerk-Bindungen, inkonsistente Monmap) ist ein sauberer Reset schneller und sicherer als langwieriges manuelles Debugging.
• Knoten-Wiederverwendung (Repurposing): Ein Node soll aus einem bestehenden Ceph-Verbund herausgelöst und künftig als reiner Compute-Node ohne lokale Ceph-Dienste betrieben werden.

---

Vorbereitung: Storage-Einträge in Proxmox VE entfernen

Bevor Sie die Dienste und Pakete auf Betriebssystemebene entfernen, sollten Sie bestehende Ceph-Speicherverweise (RBD-Pools, CephFS) aus der Proxmox-VE-Speicherkonfiguration austragen, um Fehlermeldungen im Cluster-Dateisystem (pmxcfs) zu vermeiden.

Prüfen Sie zunächst die aktiven Speicher:

root@pve:~# pvesm status

Falls dort noch Ceph-Pools (z. B. ceph-pool oder cephfs) eingehängt sind, entfernen Sie diese entweder über das Proxmox Web-GUI (Rechenzentrum → Storage → [Storage] → Entfernen) oder via CLI:

root@pve:~# pvesm remove <STORAGE_ID>

---

Schritt 1: Alle aktiven Ceph-Targets und Dienste stoppen

Um Dateninkonsistenzen und Sperren bei der Dateibereinigung zu verhindern, werden alle Ceph-Systemd-Ziele (Targets) auf dem betroffenen Knoten gestoppt. Damit werden sämtliche Instanzen von Monitoren (MON), Managern (MGR), Metadata-Servern (MDS) und Object Storage Daemons (OSD) geordnet heruntergefahren.

Führen Sie auf der Root-Shell folgende Befehle aus:

root@pve:~# systemctl stop ceph-mon.target
root@pve:~# systemctl stop ceph-mgr.target
root@pve:~# systemctl stop ceph-mds.target
root@pve:~# systemctl stop ceph-osd.target

Bedeutung der Targets:

• ceph-mon.target: Steuert alle lokalen Ceph-Monitor-Instanzen (Zustands- und Quorum-Verwaltung).
• ceph-mgr.target: Steuert die Ceph-Manager-Dienste (Metriken, Dashboard und Module).
• ceph-mds.target: Steuert die Metadatenserver für CephFS-Dateisysteme.
• ceph-osd.target: Steuert alle lokalen Datenträger-Dienste (Object Storage Daemons).

---

Schritt 2: Systemd-Dienste entfernen und verbleibende Prozesse beenden

Nach dem Stoppen der Targets können benutzerdefinierte oder automatisch generierte systemd-Unit-Dateien verbleiben. Zudem können hängende Prozesse (z. B. blockierte Socket-Verbindungen) das spätere Entfernen der Binärdateien blockieren.

root@pve:~# rm -rf /etc/systemd/system/ceph*
root@pve:~# killall -9 ceph-mon ceph-mgr ceph-mds
root@pve:~# systemctl daemon-reload

Erläuterung der Schritte:

• rm -rf /etc/systemd/system/ceph*: Löscht alle manuellen oder von Proxmox angelegten Service-Overlays und Instanz-Links.
• killall -9 ceph-mon ceph-mgr ceph-mds: Beendet eventuell noch im Hintergrund laufende Daemons hart (Signal SIGKILL), damit keine Dateizugriffe auf /var/lib/ceph mehr offen sind.
• systemctl daemon-reload: Lädt den systemd-Manager neu, damit gelöschte Unit-Dateien sofort aus dem Prozessbaum entfernt werden.

---

Schritt 3: Lokale Runtime- und Zustandsdaten bereinigen

Ceph speichert Datenbanken (RocksDB / LevelDB), Schlüsselbunde und Socket-Dateien der lokalen Monitore, Manager und MDS-Dienste unter /var/lib/ceph/. Diese Verzeichnisse müssen vollständig geleert werden:

root@pve:~# rm -rf /var/lib/ceph/mon/
root@pve:~# rm -rf /var/lib/ceph/mgr/
root@pve:~# rm -rf /var/lib/ceph/mds/

Damit sind alle lokalen Datenbank- und Monmap-Zustände der Dienste auf dieser Node gelöscht.

---

Schritt 4: Proxmox Ceph-Konfiguration bereinigen und Pakete purgen

Proxmox VE stellt mit dem CLI-Befehl pveceph purge eine eigene Routine bereit, um die PVE-spezifischen Verknüpfungen aufzulösen. Im Anschluss werden alle Debian-Pakete von Ceph inklusive ihrer systemweiten Konfigurationsdateien via apt purge restlos deinstalliert.

root@pve:~# pveceph purge
root@pve:~# apt purge -y ceph-mon ceph-osd ceph-mgr ceph-mds
root@pve:~# apt purge -y ceph-base ceph-mgr-modules-core
root@pve:~# apt autoremove -y

Unterschied zwischen remove und purge: Ein gewöhnliches apt remove belässt Konfigurationsdateien im System. Erst durch den Parameter purge werden auch globale Konfigurationen, Log-Rotations-Skripte und Service-Templates restlos entfernt.

---

Schritt 5: Verbleibende Konfigurationen, Cluster-Dateien und Keys löschen

Im letzten Schritt werden noch vorhandene Konfigurationsreste unter /etc/ceph/ sowie die über das Cluster-Dateisystem (pmxcfs) synchronisierten Dateien entfernt:

root@pve:~# rm -rf /etc/ceph/*
root@pve:~# rm -rf /etc/pve/ceph.conf
root@pve:~# rm -rf /etc/pve/priv/ceph.*

Bedeutung der gelöschten Pfade:

• /etc/ceph/*: Lokale Konfigurationen und Keyrings der Node.
• /etc/pve/ceph.conf: Die globale Ceph-Konfiguration im Proxmox Cluster Filesystem (löscht die Konfiguration clusterweit für alle Nodes).
• /etc/pve/priv/ceph.*: Die administrativen Schlüsselbunde (Admin Keyring, Client Keys und Auth-Secrets).

---

Schritt 6: Verifikation des Systemzustands

Zur Bestätigung, dass alle Ceph-Pakete und -Dienste vollständig deinstalliert wurden, führen Sie folgende Prüfungen durch:

1. Paketstatus abfragen

root@pve:~# dpkg -l | grep -E "ceph-(mon|osd|mgr|mds|base)"

Wird kein Ergebnis zurückgegeben, sind alle Kernkomponenten vollständig deinstalliert.

2. Laufende Dienste prüfen

root@pve:~# systemctl list-units | grep -i ceph

Es dürfen keine aktiven oder fehlgeschlagenen (failed) Ceph-Units mehr gelistet werden.

3. Web-GUI-Status prüfen

Öffnen Sie die Proxmox-VE-Weboberfläche und navigieren Sie zu [Node] → Ceph. Hier sollte nun wieder der ursprüngliche Initialisierungs-Assistent mit der Meldung „Ceph is not installed on this node“ erscheinen.

---

Übersicht der bereinigten Verzeichnisse

Fazit

Mit der dargestellten Befehlskette wird ein Proxmox-VE-System in einen sauberen Zustand vor der ersten Ceph-Installation zurückversetzt. Wichtig ist dabei die präzise Reihenfolge: Erst alle Targets und Daemons stoppen, dann die Verzeichnisstrukturen leeren, anschließend die Debian-Pakete via apt purge entfernen und zuletzt die globalen Cluster-Dateien in /etc/pve/ bereinigen.