Dein Hive-Account als lokal abgespeicherte "Wolke" / Your Hive Accout as Locally Saved Post-Cloud

summary: the post describes how you can use the free software Obsidian (using a small Python script) to import all your Hive posts and pics on your local local drive, and how to visualize, filter and search them!

Liebe Leser,
wie wir wissen, kann die Suche nach alten Posts auf Hive leider etwas mühsam sein.
Inspiriert von einem kürzlichen Gedankenaustausch mit @beesmartblog, wollte ich einmal die von ihm (in einer anderen Anwendung) benutzte kostenfreie Wissensmanagement-Software Obsidian ausprobieren, um meine bisherigen ca. 2000 Posts zu visualisieren, besser zu verknüpfen und schneller zu finden, auch nach Tags. Das Lexikon hat nämlich keine Tag-Filterungsmöglichkeit. Und positiver Nebeneffekt: Alle Posts inkl. Fotos sind offline verfügbar!

Die Basics

Dabei ist es recht praktisch, dass das von Obsidian benutzte Markdown-Format das gleiche ist, das auch von Hive benutzt wird, die Darstellung der Posts also in Obsidian einwandfrei ist inklusive der Fotos (so als "obsidian" ein Hive-Frontend wäre😃). Es erfordert lediglich ein Python-Script, um die Posts von der Hive Blockchain auszulesen und als .md-Dateien abzuspeichern. Also konkret diese 4 Schritte:

1. Obsidian herunterladen z.B. für Windows (aber es läuft auch auf Mac und Linux oder als Webbroswer-extension) und einen neuen "Vault" anlegen (der Ort, wo die .md-Dateien hinkommen)
2. Python-Script z.B. von Claude (Gratisversion reicht vollkommen) erstellen lassen
3. Das Python-Script in einem Windows-Terminal laufen lassen (ev. muss man vorher Python oder andere Software runterladen, aber das wird Dir Claude schon sagen, wenn Du ihm die Fehlermeldungen zeigst)
4. Die vom Script erzeugten Dateien bzw. Ordner in Deinen Obsidian-Vault-Ordner kopieren, damit werden sie automatisch sichtbar in dieser App

Wichtig ist, dass das Script die Tags der Hiveposts erkennt und im .md-Format ebenfalls in den Metadaten als Tags abspeichert (per default passiert das leider nicht immer, z.B. muss man im Titel der importierten Posts eventuelle Sonderzeichen entfernen), korrekt sollte die Notiz in Obsidian so aussehen wie in diesem random-Beispiel:

Wie man sieht, steht vor dem eigentlichen Text noch ein Block mit Metadaten, damit Obsidian ihn einordnen und filtern kann. Man kann noch andere Eigenschaften (z.B. alias, rating) hinzufügen, die Eigenschaft "type" habe ich ergänzt, falls ich später einmal diese Datenbank mit anderen Notiz-Typen wie Zitat, Studie, Artikel aus anderen Medien,... erweitern sollte. Der Post-Text selbst wird im Programm richtig formatiert dargestellt und mit funktionstüchtigen Links, auch die Fotos werden angezeigt (und gifs abgespielt). Ein weiterer Grund, sich seine Posts lokal abzuspeichern, denn die Fotos werden ja nicht auf der Blockchain gespeichert. Falls Hive (bzw. die Top-Witnesses) den Vertrag mit dem Bildserver nicht mehr bedienen können (oder wollen), könnten die Fotos im worst case auch plötzlich weg sein!

Optimierung

Aber Achtung, die Default-Einstellung ist, dass die Fotos nur auf einen Ort im www verweisen! Wenn Du die Fotos tatsächlich lokal abspeichern willst, musst Du das im Script explizit so veranlassen! Es gibt da mehrere Möglichkeiten (alle in einem Ordner, oder die Bilder bei jedem Post separat); ich habe mich für Letzteres entschieden, sodass jeder Post zu einem Ordner wird mit der .md-Datei selbst und den Bildern (inkl. gifs)), wie in diesem Beispiel:

Der benötigte Speicherplatz und Zeitaufwand beim Import von hunderten Posts ist aber nicht zu vernachlässigen. In meinem Fall (1405 Posts, denn die ca. 600 Schachposts habe ich weggelassen) waren es über 6GB und es dauerte ca. 2 Stunden, bis alle Posts importiert waren! Die Fotos wurden aber nicht 1:1 importiert, sondern leicht komprimiert (sind im Schnitt 0,8-2,2 MB groß).

Hat man den Import geschafft, kann man sich um die Darstellung kümmern.
Jeder Post ist eine Notiz (note) in Obsidian und in der graphischen Ansicht ist es ein Knoten in einer Wolke (hier in blau), der über die Tags (grün) mit anderen Posts verbunden ist. Dass der Typ "Post" blau ist (oder eine beliebige andere Farbe hat), kann man definieren über das Anlegen einer "Gruppe" im Menü rechts des Graphen. Die Tags werden in einer Standardfarbe gezeigt, die sich aber auch ändern lässt.

Bei viele Posts kann das schon etwas unübersichtlich sein, hier alle meine Posts (inkl. der 68 von @stayooutoftherz) plus die importierten Tags in der Übersicht:

In den Graph-Display-Einstellungen kann man sich noch herumspielen, z.B. kann man die Zentrierkraft ändern, je höher, desto strikter kugelförmig wird die Wolke, je niedriger, desto "ausgefranster" erscheint sie.

Zommt man hinein, sieht man die Titel der Posts/Tags:

Klickt man auf einen Tag, sieht man alle Posts, die diesen Tag haben:

Nicht optimal: Viele Tags wurden angelegt nicht für Optimierung in einem Tool wie Obsidian, sondern zur "Traffic-Maximierung" oder um in bestimmten Communities aufzuscheinen, daher habe ich beim Import nach dem Prinzip "weniger ist mehr" einige Tags weggelassen (z.B. pimp, ocd, pob, leofinance, worldmappin, photofeed, amazingnature, pinmapple, challenge, gems, gem, etc.). Alle diese Tags sagen (fast) nichts über den Inhalt aus. Andere Tags habe ich vom Script auch auf die "Ignorier-Liste" setzen lassen, um weniger Redundanz und mehr Übersichtlichkeit zu haben (z.B. politics, society, petals, garden, silver - für all die habe ich ohnehin auch deutsche Tags). Der Prozeß dauert noch an, da ich immer wieder wenig (oder nur früher) benutzte und heute wenig hilfreiche Tags finde und aussortiere (z.B "palnet" oder "steemleo", die zu Steemzeiten beliebt waren). In der letzten Version habe ich auch #deutsch entfernt, da mir die Sprache, in der ein Post geschrieben ist, nicht wichtig ist.

Nach jeder neuen Version des Scripts gilt es übrigens, alle importierten Posts zu löschen und Schritte 3 und 4 (siehe oben) neu durchzuführen.

Suche - einfach und schnell

Hat man seine "optimierte" Wolke (oder schon davor natürlich), kann man sehr einfach nach Tags, Wörtern im Titel oder (wenn nichts anderes angegeben) eine Volltextsuche machen und Obsidian spuckt alle Posts (und Links darin) aus, die den Tag, das Wort oder die Phrase enthalten, und zwar weit schneller, als man das mit einer Online-Suche könnte (und beliebig weit zurück)!
Beispiel: Die Suche nach "tag:travel USA" findet alle Posts mit dem Tag "travel", in deren Text "USA" vorkommt (damit nicht auch das Wort "zusammen" x-fach als falscher Treffer erscheint, kann man praktischerweise durch Klick auf das "Aa"-Symbol oben rechts die Case-Sensitivität ein- und ausschalten).

Durch die Angabe der genauen Stelle mit Kontext ist das Suchen wesentlich effizienter als mit den üblichen Hive-Suchmethoden, die meines Wissens immer nur den ganzen Post auswerfen.
Die Filterung kann man sich auch im Graph anschauen und dort z.B. Notes mit nur bestimmten Tags anzeigen lassen, hier als Beispiel "greece":

Gibt man z.B. an -tag:xyz, finden sich alle Posts, die ein bestimmtes Tag nicht enthalten, was auch nützlich sein kann für eine verfeinerte Suche.

Next steps

Obsidian kann aber noch viel mehr. Man kann Posts nicht nur über Tags, sondern auch direkt mit anderen verknüpfen (oder mit AI agents verknüpfen lassen, aber das ist eine andere Geschichte). Der Vollständigkeit halber will ich diese Option hier erwähnen, habe aber außer zu Testzwecken noch nicht systematisch damit angefangen, da ja jede Änderung der Tagliste einen neuen Import erfordert und die manuellen Änderungen von den Notizen dann verloren gehen.
Damit lassen sich Notes jeglicher Art thematisch verknüpfen, die zwar nicht gleiche Tags haben, aber inhaltlich zusammengehören, wie z.B. diese drei.

Möglich ist es, indem man einfach im Text den zu verlinkenden Notiznamen (=Posttitel) in eine doppelte eckige Klammer [[ ]] setzt, wobei zur leichteren Suche eine Auswahlliste erschein, sodass man nicht den ganzen Titel eintippen muss - sehr praktisch. Die verknüpften Notes sind dann im Graph direkt mit Strichen verbunden.

Auch gibt es eine Fülle an Gratis-Erweiterungen für Obsidian, Community-Plugins genannt. Eine sehr beliebte Erweiterung ist Dataview, die Obsidian erst zu einer richtigen Datenbank macht. Damit kann man Statistiken abfragen (z.B. "wieviele Posts enthalten (nicht) ein bestimmtes Tag) oder Posts innerhalb eines bestimmten Datumbereichs finden und als Liste darstellen. Alle Möglichkeiten hier aufzuzählen, würde allerdings zu weit führen...
Eine andere namens Tag Wrangler erlaubt es, Tags umzubennen über alle Posts hinweg oder von einer Suche auszuschließen.

Habt Ihr Obsidian schon einmal ausprobiert, eventuell in einem ganz anderen Kontext? Für ein Projekt, eine Ideensammlung, einen digitalen "Zettelkasten", einen Roman,...?