Anzahl der "Gäste" im Forum

[Elbe]

Die Anzahl an Crawlern, KI-Bots und sonstigem Gelumpe der Herren Zuckerberg und Co. nimmt immer mehr zu. Mir erscheint das fast exponentiell zu sein. Vorgestern Abend waren gleichzeitig 38 User eingeloggt und über 4000 "Gäste" anwesend! Vermutlich fünf oder zehn Menschen aus Fleisch und Blut, der Rest Bots. Die werden ja nicht alle vor sich hindösen, sondern den Server mit ihren dauernden Anfragen belasten, fast wie eine Denial-of-Service-Attacke und jede Menge zu bezahlenden Traffic verursachen.

Frage: Seht ihr eine technische Möglichkeit, das ganze Unwesen wenigstens etwas einzudämmen? Über eine robots.txt werden die sich ja wohl totlachen. Oder müssen wir uns zukünftig auf Performance-Einbußen des Forums einstellen, weil Heerscharen an "Gästen" uns registrierte User ausbremsen?

 

[DailyDriver]

weil Heerscharen an "Gästen" uns registrierte User ausbremsen?

Das war am letzten Dienstag massiv der Fall, und das nicht nur aus nördlicher Richtung, sondern wie
ich während einer Unterhaltung via PM erfahren musste, auch aus südlicher Richtung. Bei mir hat
das hochladen einer simplen Textantwort mit 2 Sätzen schon mal 40-50 sek. gedauert…

 

[Elbe]

Ich wunderte mich auch, daß das Forum so träge war und habe mir daraufhin mal die Liste angesehen. Einige Hundert "Gäste" sind immer da, aber plötzlich waren es 4000. Wie ein Heuschreckenschwarm.

 

[Micha]

Natürlich gibt es Mittel und Wege damit technisch umzugehen. Allerdings sind diese nicht kostenfrei.
Da diese Seite nicht unbedingt immer zu 100% verfügbar sein muss, sollte man sich schon gut überlegen ob diese Maßnahmen dann wirklich sinn machen.
Sollten die DDoS Attacken (ungewollt oder gewollt) stark zunehmen, kann man ja nochmal darüber nachdenken.

 

[Olli37]

Da sieht Mann das das Forum
Systhemrelevant und "kritische Infrastruktur" ist

 

[Elbe]

Na ja, es wäre schon ärgerlich, wenn die User kaum ans Forum kämen, nur weil die Bots des Herrn Zuckerberg unsere Inhalte zur Fütterung seiner KI abgreifen.

 

[Maaa]

Ich wunderte mich auch, daß das Forum so träge war und habe mir daraufhin mal die Liste angesehen. Einige Hundert "Gäste" sind immer da, aber plötzlich waren es 4000. Wie ein Heuschreckenschwarm.

Ah, jetzt weiß ich warum das Forum nicht reagiert hat....

 

[grisumo]

Ich denke, dass solche Seiten auch zunehmend von KI-Bots "gescannt" werden. Da wird sich alles laufend einverleibt und verwurstet was wir hier schreiben. Ein Nimmersatt wird das.

Systhemrelevant und "kritische Infrastruktur

 

[Micha]

Ich denke, dass solche Seiten auch zunehmend von KI-Bots "gescannt" werden. Da wird sich alles laufend einverleibt und verwurstet was wir hier schreiben. Ein Nimmersatt wird das.

Da kannst Du dir sogar sicher sein. Wenn ich gelegentlich auch mal privat mit KI arbeite und etwas aus dem Rasuruniversum recherchiere, kommen sehr oft auch Links zu diesem Forum. Und es sind dann sogar sehr aktuelle Beiträge.
Das deutet darauf hin dass dieses Forum sehr oft und regelmäßig auf neue Inhalte gescannt wird.

 

[les pronk]

Da kannst Du dir sogar sicher sein. Wenn ich gelegentlich auch mal privat mit KI arbeite und etwas aus dem Rasuruniversum recherchiere, kommen sehr oft auch Links zu diesem Forum. Und es sind dann sogar sehr aktuelle Beiträge.
Das deutet darauf hin dass dieses Forum sehr oft und regelmäßig auf neue Inhalte gescannt wird.

Und ich bin dankbar dafür, denn manche Sachen findet man hier nur über google, die eingebaute Forums-Suchfunktion finde ich nur selten brauchbar.

Im übrigen sind hier gerade < 800 Gäste unterwegs und es geht alles flott. Ich würde also die Gästestürme erstmal weiter beobachten...

 

[Elbe]

Eben gerade im Forum für Füllerfreunde, penexchange.de und es geht zäääh. Das Forum reagiert fast nicht. Nachgesehen: 5 User sichtbar, ein User unsichtbar und 5500 "Gäste". Sieht für mich nach einem inzwischen zunehmenden Problem aus.

 

[grisumo]

Sieht für mich nach einem inzwischen zunehmenden Problem aus

Ich denke, dass dieses Problem sehr schnell deutlich anwachsen wird. Das war in der Vergangenheit nur die übliche Indizierung der Seiten für die Suchmaschinen. Mit Verlinkung auf die Herkunft dieser Inhalte. Sicherlich von Vorteil, für die Nutzer. Das was hier gerade aus dem Ei schlüpft, diese Einverleibung aller digital auffindbaren Daten zur Generierung neuer "eigener" KI-Schöpfungen (ohne nachvollziehbaren, oder auch aufgrund der schieren Menge nicht mehr möglich Quellenbezug), ist was ganz anderes.

Aber wie kann man da reagieren? Sichtbarkeit nur nach Anmeldung? Ich selber habe jahrelang immer mal wieder in das ohne Anmeldung zugängliche Forum der Rasur geschaut, und mir Infos geholt (D.h. registriert war ich schon, aber reingeschaut habe ich ohne Anmeldung, also als Gast). Man möchte doch auch neu Interessierte für die klassische Nassrasur gewinnen. Möglichst niederschwellig.

 

[puck73]

Sichtbarkeit nur nach Anmeldung?

Das finde ich bei vielen Foren sehr lästig. Manchmal sucht man hat nur eine Info oder Hilfestellung, die schon aussreichend bearbeitet und beantwortet ist, kommt aber nicht dran, weil das Forum vorher eine Registrierung verlangt.
Ich registriere mich ja gerne, wenn ich auch aktiv teilnehmen will, aber das ist halt nicht bei jedem Thema der Fall.
Kann aber jeden Admin verstehen, der seine Forumskasse vor zuviel Traffic (und Kosten) schützen will

waren das noch Zeiten als die robots.txt noch halbwegs ernst genommen wurde.

 

[dirk]

Die Anzahl an Crawlern, KI-Bots und sonstigem Gelumpe der Herren Zuckerberg und Co. nimmt immer mehr zu. Mir erscheint das fast exponentiell zu sein. Vorgestern Abend waren gleichzeitig 38 User eingeloggt und über 4000 "Gäste" anwesend! Vermutlich fünf oder zehn Menschen aus Fleisch und Blut, der Rest Bots. Die werden ja nicht alle vor sich hindösen, sondern den Server mit ihren dauernden Anfragen belasten, fast wie eine Denial-of-Service-Attacke und jede Menge zu bezahlenden Traffic verursachen.

Frage: Seht ihr eine technische Möglichkeit, das ganze Unwesen wenigstens etwas einzudämmen? Über eine robots.txt werden die sich ja wohl totlachen. Oder müssen wir uns zukünftig auf Performance-Einbußen des Forums einstellen, weil Heerscharen an "Gästen" uns registrierte User ausbremsen?

Hallo,

das kann man nur eindämmen, wenn man den Lesezugriff nur nach erfolgtem Einloggen erlauben würden. Damit stirbt ein Forum aber ab. Das ist also keine Option.

Durch den rasanten Anstieg von KI, gibt es jetzt seh viel mehr Bots, die unsere Inhalte kopieren, um sie dann als "KI-Wissen" woanders gegen unsere Zustimmung und gegen unsere AGB teuer zu verkaufen. Das ist bei allen Foren so. Aber so ist das leider momentan und wir können nichts dagegen tun.

Aber wir haben natürlich durch den immer grösseren Bekannheitsgrad auch viel mehr "Passivleser"/"Schaufenstergucker" (Leser, die mitlesen, sich nicht einloggen wollen) als früher. Es sind also nicht nur Bots.

Ich erwarte momentan keine Perfomanceeinbussen durch Crawler/Bots. Wir haben eher Platzprobleme auf den Servern, weil wir zu viele & zu grosse Bilder haben

Eben gerade im Forum für Füllerfreunde, penexchange.de und es geht zäääh. Das Forum reagiert fast nicht. Nachgesehen: 5 User sichtbar, ein User unsichtbar und 5500 "Gäste". Sieht für mich nach einem inzwischen zunehmenden Problem aus.

Das könnte theoretisch auch ein temporäres technisches Problem des Servers selber sein, nicht unbedingt aufgrund der Anzahl der Besucher. Oder eine Hackerattacke. Mögliche Erklärungen gibt es da viele. So etwas kann immer mal vorkommen.

waren das noch Zeiten als die robots.txt noch halbwegs ernst genommen wurde.

Du willst auch nicht mit einer robots.text Datei alle Suchmaschinen ausschliessen (wenn sie sich daran halten sollten). Denn dann würde man unser Forum innerhalb von 3 Wochen in keiner Suchmschine mehr finden.

VG

 

[DailyDriver]

Einige Hundert "Gäste" sind immer da, aber plötzlich waren es 4000. Wie ein Heuschreckenschwarm.

Gerade mal zufällig hingeschaut, 22.o6.26, 20:08h, nicht ganz 4000 „Gäste“, aber immerhin…

 

[Fitzscarraldo]

Man kann das Forum nach außen hin fast komplett 'abschließen', dann hat man keine Bots mehr. Wie die Foren-Software die Gäste überhaupt zählt und wie und ob sich das auf die Performance auswirkt, müßte man auch erst mal herausfinden. Die von XenForo wissen es wahrscheinlich.

In jedem Fall besteht die Zwickmühle der Auffindbarkeit und Suchmaschinen-Indizierung, wenn man ein großes Schloß vor den Eingang hängt.

Komischer SEO Kram eben.