Komplett extra ein paar Tage zu spät, dieses Mal, um dem Wichtel-Pin nicht direkt Aufmerksamkeit zu stehlen ;)) nix wurde hier vergessen.
Ihr könnt hier Rückfütter, Kritik und dies das Ananas hineinwerfen oder halt alles, was ihr gerne mal den Mods sagen wolltet!
Außerdem nutze ich das hier für eine kleine Service Meldung zu den vergangenen Zensen (zensuse🧐, zensassen? Zensomonten?)
Nämlich hatte ich immer dauerhafte sharelinks verteilt zu einer Proton Drive. Die existiert nicht mehr!
Der neue Link um alle bisherigen Ergebnisse zu finden lautet wie folgt:
cloud.nudeltopia.de/s/QCw4JYBiJLkiedd
Novembermetapfaden!
Pünktlichkeitsausrede
Komplett extra ein paar Tage zu spät, dieses Mal, um dem Wichtel-Pin nicht direkt Aufmerksamkeit zu stehlen ;)) nix wurde hier vergessen.
Ihr könnt hier Rückfütter, Kritik und dies das Ananas hineinwerfen oder halt alles, was ihr gerne mal den Mods sagen wolltet!
Außerdem nutze ich das hier für eine kleine Service Meldung zu den vergangenen Zensen (zensuse🧐, zensassen? Zensomonten?)
Nämlich hatte ich immer dauerhafte sharelinks verteilt zu einer Proton Drive. Die existiert nicht mehr!
Der neue Link um alle bisherigen Ergebnisse zu finden lautet wie folgt:
cloud.nudeltopia.de/s/QCw4JYBiJLkiedd
Gibt tatsächlich einige sehr interessante Insights. Man sieht zum beispiel welche Crawler sich an die robot.txt halten, welche sie ignorieren oder welche sogar explizit die verbotenen seiten aufrufen.
Überrascht hat mich: Google ist sehr brav. Hällt sich zu 100% an die robot.txt.
Mastodon hingegen… Wo ich gutes erwartet hatte… Mastodon juckt das nicht und schaut sich alles an. Skurril. Der Mastodon crawler ist nur da für link previews. Warum schaut er sich so viel an.
Beim erstellen dieses Posts in Photon hab ich auch mal getestet wie die anfrage ankommt wenn man hier den Titel des Posts automatisch auslesen lässt. Lemmy oder zumindest Photon kommt als Masked Visitor rein. Gibt sich also als Mensch oder normaler Browser aus. Keine weitere Info daher auslesbar, weil das zusammen geworfen wird mit allen anderen anonymen Crawlern.
Super interessante seite. Kannst da auch irgendwie mit den Crawlern spielen. Dachte findet ihr vielleicht auch lustig.
Gibt tatsächlich einige sehr interessante Insights. Man sieht zum beispiel welche Crawler sich an die robot.txt halten, welche sie ignorieren oder welche sogar explizit die verbotenen seiten aufrufen.
Überrascht hat mich: Google ist sehr brav. Hällt sich zu 100% an die robot.txt.
Mastodon hingegen… Wo ich gutes erwartet hatte… Mastodon juckt das nicht und schaut sich alles an. Skurril. Der Mastodon crawler ist nur da für link previews. Warum schaut er sich so viel an.
Beim erstellen dieses Posts in Photon hab ich auch mal getestet wie die anfrage ankommt wenn man hier den Titel des Posts automatisch auslesen lässt. Lemmy oder zumindest Photon kommt als Masked Visitor rein. Gibt sich also als Mensch oder normaler Browser aus. Keine weitere Info daher auslesbar, weil das zusammen geworfen wird mit allen anderen anonymen Crawlern.
Super interessante seite. Kannst da auch irgendwie mit den Crawlern spielen. Dachte findet ihr vielleicht auch lustig.