9 Teil IX — MQTT
9.1 Was das Dateisystem gelehrt hat und wofür es nicht taugt
Das Dateisystem lehrte Veröffentlichungsgrenzen, Verzeichnisse als Adressen, Beobachtung, unabhängige Prozesse, unabhängige Sprachen, Synchronisationslatenz, Verdrahtung zur Laufzeit, State, Intent, Events, Vermittlerkosten, Dienstbesitz und Transformatordienste. Es war ein guter Lehrer und ist kein eleganter Nachrichten-Broker: am Ende war die Architektur sauber und der Transport ein Haufen .tmp-Dateien, atomarer Verschiebungen, erneuter Scans, geteilter Pfade und Replikationsverzögerung.
Die Schlussfolgerung ist nicht „Dateien schlecht, MQTT gut”. Das Dateisystem hat einen Vorteil, den MQTT nicht erreicht — es speichert routinemässig Gigabytes bis Terabytes, während Broker und Clients für kleine Nachrichten gebaut sind, und das Stückeln einer riesigen Nutzlast über MQTT heisst, ein Dateitransferprotokoll in einem Nachrichtenprotokoll zu erfinden. Also:
Nachrichten für Koordination und Ereignisse. Für grosse Daten ein passender Datei- oder Objektspeicher. Eine Nachricht kann Ort, Identität und Metadaten dieser Daten tragen statt der Terabytes selbst.
Ein repliziertes Dateisystem gibt zudem jeder Maschine eine lokale Kopie, eine echte Stärke — doch Replikation ist kein Backup: Löschungen und Beschädigungen replizieren mit, sofern nicht eine Versionierung ältere Kopien bewahrt.
9.2 MQTT sollte vertraut wirken
| Dateisystem / Syncthing | MQTT |
|---|---|
| Wurzel des synchronisierten Nachrichtenbretts | Broker / Namensraum |
| Verzeichnispfad | Topic |
.msg-Datei |
Veröffentlichung |
| Dateiinhalt | Nutzlast |
WatchService |
Abonnement |
| dynamisches Verzeichnis | Topic / Filter |
| Steuerverzeichnis | I |
| Zustandsverzeichnis | S/… |
| Ereignisverzeichnis | E/… |
Die gewünschte Reaktion des Materials: „Ach. Diese Architektur kennen wir schon.” MQTT ist ein Transportwechsel, keine architektonische Aussage.
Zwei Dinge, die ein Verzeichnis nicht konnte, in einer Minute auf der Kommandozeile sichtbar. Eine Veröffentlichung vor der Existenz eines Abonnenten erreicht ihn nie — die Lehre der liegengebliebenen Nachrichten zum dritten Mal, nun mit einer Antwort, die das Dateisystem nie hatte. Und ein Filter wie test/# passt auf test/a und test/a/b/c, nicht aber auf testing/x, weil # auf Ebenen arbeitet, nicht auf Zeichenpräfixen; test/+ passte nur eine Ebene tief.
Die tiefere Korrektur: ein Topic ist kein Behälter. Es gibt kein Objekt namens test/a auf dem Broker. Ein Topic ist ein Routing-Schlüssel, den jede Veröffentlichung trägt und der gegen die Filter derjenigen geprüft wird, die in diesem Moment abonniert haben. Verzeichnisse halten Nachrichten; Topics vergleichen sie. Ein Abonnement deckt daher Topics ab, die noch nicht existieren — wo ein Nachrichtenbrett ein neues Verzeichnis und eine neue Registrierung brauchte.
9.3 Die Bibliothek, die Client-ID und die Broker-Adresse
Java hat keinen MQTT-Client in der Standardbibliothek, also kommt Paho jetzt — nach dem Bedarf, wie der Vermittler in Schritt 7 und Jackson in Schritt 64. Vier Dinge braucht man: verbinden, veröffentlichen, abonnieren, Rückruf. Das Verbinden ist absichtlich unspektakulär: „Hier ist architektonisch nichts geschehen. Wir haben unseren Prozess nur an den Transport angeschlossen.”
Zwei Details des Verbindens haben Gewicht:
- die Client-ID ist nicht bloss ein Eindeutigkeitsmerkmal. Der Broker erkennt daran einen zurückkehrenden Client und hält Sitzungszustand für ihn: Abonnements, bei QoS > 0 eingereihte Nachrichten und die Verknüpfung mit seinem Last Will. Ein Verzeichnis wusste nie, wer es beobachtete — genau deshalb spielte ein neu gestarteter Beobachter nichts nach.
- die Broker-Adresse ist Deployment-Konfiguration: jedes Programm liest
System.getProperty("mqtt.broker", "tcp://localhost:1883"). Sie ist auch die einzige Konfiguration, die nicht als Intent kommen kann, denn Intent reist durch den Broker. Topologie lässt sich veröffentlichen; die Adresse des Veröffentlichenden nicht.
Abonnieren kostet ein Paket, und der Broker führt die Abonnementliste. Es gibt keinen Standardweg, ihn zu fragen, was ein anderer Client abonniert hat — daher S/subscriptions: die eigene Erklärung einer Komponente über ihre Verdrahtung, veröffentlicht, damit die Architektur weiss, was der Transport privat hält. Nur ihr Eigentümer darf sie veröffentlichen, nach der Ein-Schreiber-Regel, denn nur er weiss, was er angenommen hat.
9.4 Strukturierter Intent und zwei Mapper
TOPIC some/path hat ein Feld und eine Bedeutung. Es kann nicht sagen, welche Art Intent vorliegt, keinen zweiten Parameter tragen, nicht verschachteln, nicht erweitert werden; und ein Empfänger hat nichts, wogegen er prüfen könnte. Reicherer Intent braucht Struktur:
subscribe:
topic: Demo/ConsoleIn/U/alice/E/textErst dann hat eine Serialisierungsbibliothek eine klare Aufgabe. JsonTools hält zwei Mapper, und die Asymmetrie ist Absicht:
- das Lesen nutzt eine YAML-Factory mit abgeschaltetem
FAIL_ON_UNKNOWN_PROPERTIES— JSON ist eine Teilmenge von YAML, handgetippter Intent wird akzeptiert, und ein neuerer Konfigurator darf Felder senden, die ein älterer Dienst ignoriert; - das Schreiben nutzt strenges JSON mit
INDENT_OUTPUT, die veröffentlichten Nutzlasten sind also streng und lesbar.
Tolerant hinein, streng hinaus. Ein einziger Mapper müsste auf eines davon verzichten.
9.5 DUISE und das Umverdrahten im Betrieb
Das Namensschema erhält endlich seinen Namen: Description (welche Verträge dieser Dienst versteht und veröffentlicht), Unit (welche Instanz), Intent (gewünschtes Verhalten), Status (was jetzt gilt), Event (was geschehen ist).
Demo/ROT13/U/alice/{I, S/online, S/subscriptions/text, E/crypted}
U/<unit> brauchte das Dateisystem nie: jede Maschine hatte ihr eigenes Replikat desselben relativen Pfades, Instanzidentität war implizit. MQTT hat einen gemeinsamen Namensraum, ein Topic muss also sagen, welche Kopie. U/alice in einer Fähigkeit festzuschreiben ist daher schlimmer, als consoleIn.outbox es je war: es bindet das Build an ein Deployment. Per Intent konfiguriert, dient ein Build allen — daher die drei Unit-Namen als Argumente von MqttConfigure. Die Unit-Namen sind die Topologie.
Umverdrahten, am laufenden System beobachtet: einen neuen Intent mit anderer Quelle veröffentlichen, und der Dienst kündigt die alte, abonniert die neue und veröffentlicht S/subscriptions passend neu. Kein Neustart, keine Änderung. Schickt man stattdessen einen ungültigen Filter — Demo/#/E/text, wo # nicht die letzte Ebene ist — weist MqttTools.isValidFilter ihn ab; das alte Abonnement bleibt, und der Status sagt weiter die Wahrheit.
Diese Abweisung legt eine echte Lücke offen, die man benennen und nicht verstecken sollte: sie wird nur lokal protokolliert. Der Konfigurator erfährt nicht, ob sein Intent angewandt oder abgelehnt wurde, und ein Monitor kann „abgelehnt” nicht von „noch nicht verarbeitet” unterscheiden. In diesem Entwurf erfährt ein Sender das Ergebnis, indem er den Status liest und mit seiner Anfrage vergleicht. Abweisungen als Event zu veröffentlichen oder ein Letzter-Fehler-Status würden die Lücke schliessen; beides steht nicht im Material — es ist eine zu begründende Entwurfsentscheidung.
9.6 Was ein neuer Abonnent erfährt und was ein Toter zugibt
Drei Sekunden Demo/# abonnieren, ohne dass etwas veröffentlicht wird, ergibt dies:
Demo/ROT13/U/nitro5/S/online {"value":true}
Demo/ROT13/U/nitro5/S/subscriptions/text "Demo/ConsoleIn/U/nitro5/E/text"
Demo/ConsoleOut/U/nitro5/S/online {"value":true}
Demo/ConsoleOut/U/nitro5/S/subscriptions/text "Demo/ROT13/U/nitro5/E/crypted"
Ein Spätankömmling erfährt augenblicklich die gesamte aktuelle Verdrahtung des Systems, ohne jemanden zu fragen und ohne dass eine Komponente von einem Monitor weiss. Das ist retained Status. Keine Events kommen an, denn Events werden nicht retained veröffentlicht — „retained State, nicht retained Events”. Es ist auch die richtige Antwort auf den Reflex, einen Dienst zu fragen, was er tut: niemand fragt; der Dienst erklärt es einmal, und der Broker bewahrt es für jeden, der kommt.
Retained Status allein würde allerdings lügen. Beendet man einen Dienst mit Ctrl+C, bleibt sein S/online = true für immer beim Broker. Daher der Last Will, bei der Verbindung registriert:
var will = new MqttMessage("{\"value\":false}".getBytes(UTF_8), 1, true, new MqttProperties());
options.setWill(lastWillTopic, will);Der Will ist retained, ersetzt also beim Veröffentlichen durch den Broker das veraltete true. Die Komponente, die ausfällt, ist nicht die, die den Ausfall meldet — die einzige Anordnung, die funktionieren kann. Ein Vorbehalt: ein sauberes DISCONNECT löst keinen Will aus; ein gut erzogener Dienst veröffentlicht daher beim Beenden selbst online=false, und der Will deckt die hässlichen Tode.
9.7 Was den Transport überlebte und welche Kopplung bleibt
Die untere Hälfte der Tabelle Dateisystem→MQTT ist der Punkt: I, S, E, egoistische Dienste, Topologie zur Laufzeit und „Transformator wenn nötig” sind unverändert. Die Architektur überlebte den Transportwechsel, und das ist der stärkste verfügbare Beleg, dass sie nie am Transport hing.
Lose Kopplung heisst nicht, dass nichts etwas weiss. Notwendig bleibt die Einigkeit über: Nachrichtensyntax, Nachrichtensemantik, Topic-Verträge, Intent, Besitz, Bedeutung von State und Bedeutung von Events. Ziel ist nicht, Kopplung zu beseitigen, sondern unnötiges Wissen zu beseitigen. Konkret muss hier jeder Dienst genau einen fremden Event-Vertrag verstehen — ROT13 den E/text von ConsoleIn, ConsoleOut den E/crypted von ROT13 — plus das Intent-Schema, das er auf seinem eigenen I annimmt. Diese Liste ist das unverzichtbare Minimum.
Davon getrennt: der Broker ist eine geteilte Infrastrukturabhängigkeit; alle brauchen seine Adresse, und ohne ihn läuft nichts. Real, aber anderer Art als das Wissen einer Komponente über eine andere.
Die Prüfliste aus Schritt 78 ist das Werkzeug, das bleibt. Zwölf Fragen, von denen diese sechs das Argument dieses Systems tragen:
| Frage | Antwort hier |
|---|---|
| enthält eine Fähigkeit eine festgeschriebene Produzentenidentität? | nein — sie kommt als Intent |
| welche fremden Verträge muss sie verstehen? | je einen Event-Vertrag, plus ihr eigenes Intent-Schema |
| wo ist die Topologie definiert? | im Konfigurator, ausserhalb des Datenpfads |
| kann sich die Topologie ohne Neukompilieren ändern? | ja — am laufenden System gezeigt |
| könnte der Transport ersetzt werden? | ja — gezeigt: Dateisystem, dann MQTT |
| leistet jeder Vermittler etwas, das Vermittlung braucht? | ja, trivial: TEXT → TEXT braucht keine, und es gibt keinen |
Die Mahnung des Materials gilt: die Antworten müssen nicht alle „nein” lauten. Sie müssen absichtlich sein.
9.8 Der ganze Weg
Das Programm hat sich nie geändert: eine Zeile geht hinein, dieselbe kommt um 13 Buchstaben verschoben heraus. Geändert hat sich, elfmal, wie die Teile verbunden sind und wer das Wissen über diese Verbindung hält.
| Stufe | wie die Teile verbunden sind | wo die Topologie liegt | im Datenpfad ausser den Fähigkeiten |
|---|---|---|---|
| 1 prozedural | direkte Aufrufe | im Code der Fähigkeit | — |
| 2 egoistische Dienste | gar nicht verbunden | nirgends — das ist das Problem | — |
| 3 statische Vermittlung, eine JVM | Postfächer, von Vermittlern kopiert | die Vermittler, gestartet in main() |
zwei Vermittler |
| 4 statische Vermittlung, Dateisystem | Verzeichnisse, von Vermittlerprozessen kopiert | die Befehlszeilen des Bedieners | zwei Vermittlerprozesse |
| 5 statische Vermittlung, Syncthing | replizierte Verzeichnisse | die Befehlszeilen des Bedieners | zwei Vermittlerprozesse, dazu Replikationsverzögerung |
| 6 benannte, konfigurierbare Vermittler | ROUTE-Intent von einem Orchestrator |
der Orchestrator, ausserhalb des Pfads | weiterhin die Vermittler |
| 7 dynamisch, eine JVM | die Dienste hören selbst, gesteuert durch TOPIC-Intent |
der Konfigurator | nichts |
| 8 dynamisch, Dateisystem | dasselbe, über Verzeichnisse | der Konfigurator | nichts |
| 9 dynamisch, Syncthing | dasselbe, über replizierte Verzeichnisse | der Konfigurator | nichts — nur Transportsprünge |
| 10 Verträge | kompatibel: direkt; inkompatibel: ein Transformator | der Konfigurator | ein Transformator, nur wo Verträge sich unterscheiden |
| 11 MQTT | Topics auf einem Broker | der Konfigurator | nichts — der Broker ist Transport |
Die dritte Spalte von oben nach unten gelesen: die Topologie wandert nach aussen, Stufe um Stufe, bis keine Fähigkeit mehr etwas davon hält. Die letzte gelesen: der Preis dieser Wanderung fällt in Stufe 7 auf null und bleibt dort, während darunter dreimal der Transport wechselt. Dieselbe Architektur, besserer Transport.
9.9 Die Sätze, die man behalten sollte
- „Event-driven” beschreibt, wie Information und Steuerung fliessen.
- Lose Kopplung beschreibt, wie viel die Beteiligten voneinander wissen müssen.
- Veröffentliche, was geschehen ist.
- Erkläre, was du willst.
- Veröffentliche deinen eigenen Zustand.
- Halte Fähigkeiten egoistisch.
- Halte die Topologie aus den Fähigkeiten heraus.
- Bezahle keinen Vermittler, der nicht wirklich vermittelt.
Und wann immer eine Architektur verwirrend wird, zurück zur ersten Frage dieses Buches: wer kennt wen?