Website-Inhalte automatisch importieren

Bestehende Seiteninhalte per URL importieren, statt sie manuell in go33 zu übertragen.

Statt Inhalte doppelt zu pflegen, kann go33 bestehende Seiten Ihrer Website direkt importieren.

Import starten

  1. Öffnen Sie Wissensbasis Website.
  2. Geben Sie die URL der zu importierenden Seite ein.

go33 liest den sichtbaren Textinhalt aus und übernimmt ihn als Wissensquelle.

Der Import läuft im Hintergrund

Bei einer größeren Website dauert der Import einige Minuten. Sie müssen währenddessen nichts offen halten: Der Import läuft weiter, wenn Sie das Fortschrittsfenster schließen, auf eine andere Seite wechseln oder den Browser beenden. Nur Import abbrechen stoppt ihn wirklich.

Wenn er fertig ist, erhalten Sie eine E-Mail mit der Zahl der eingelesenen Seiten, und die Meldung steht in der Glocke oben rechts. Schlägt der Import fehl, bekommen Sie ebenfalls eine Nachricht, mit dem Grund darin. Ob und auf welchem Weg diese Meldungen Sie erreichen, stellen Sie unter Benachrichtigungen ein.

Kehren Sie während des Imports auf die Seite zurück, zeigt das Fortschrittsfenster wieder den aktuellen Stand.

Woher die Seiten kommen

Beim Hinzufügen einer Website wählen Sie, wie go33 an die Seiten kommt. Alle drei Wege führen zum selben Ergebnis, sie unterscheiden sich nur darin, wer die Liste der Seiten aufstellt.

Ganze Website: go33 beginnt bei der Startadresse und folgt den Links. Der übliche Weg, und der einzige, bei dem der Umfang-Regler und die Seitentiefe eine Rolle spielen.

Bestimmte Seiten: Sie geben die Adressen selbst an, eine pro Zeile. Genau diese Seiten werden gelesen, Links darauf werden nicht verfolgt. Sinnvoll, wenn nur eine Handvoll Seiten überhaupt Wissen enthält — oder wenn eine wichtige Seite von keiner anderen aus verlinkt ist.

Sitemap: Sie geben die Adresse der Sitemap an, meist /sitemap.xml. go33 übernimmt, was dort aufgelistet ist. Gemeint ist die XML-Datei, nicht eine Übersichtsseite mit Links.

Die Sitemap wird bei jedem Import neu gelesen. Seiten, die Ihre Website seither dazubekommen hat, kommen damit von selbst mit — bei eingeschalteter Aktualisierung ohne Ihr Zutun.

Der gewählte Weg lässt sich jederzeit über Einstellungen an der Domain ändern. Ausschlussregeln, Zugangs-Header, Seitenlimit und die automatische Aktualisierung gelten in allen drei Fällen.

Nur bestimmte Bereiche importieren

Bei größeren Websites ist selten jede Seite als Wissensquelle sinnvoll. Über Einstellungen an der jeweiligen Domain legen Sie zwei Listen an, die steuern, was übernommen wird.

Nur diese Seiten übernehmen: Sobald hier mindestens ein Muster steht, landen ausschließlich passende Seiten in der Wissensdatenbank. Alle anderen werden nicht übernommen.

Diese Seiten nie aufrufen: Passende Adressen werden gar nicht erst geladen. Das ist die richtige Liste für Bereiche, die endlos weiterverlinken, etwa Kommentarseiten oder Kalenderarchive.

Platzhalter im Muster

Ein Stern * steht für einen Abschnitt der Adresse, zwei Sterne ** für beliebig viele:

  • /shop/** erfasst den gesamten Shop-Bereich mit allen Unterseiten.
  • /portal/*/senioren erfasst /portal/nord/senioren, aber nicht /portal/nord/haus-3/senioren.
  • /blog/*/kommentar trifft die Kommentarseite jedes Blogbeitrags.

Ohne abschließendes ** gilt ein Muster exakt für die beschriebene Ebene. /shop/produkte erfasst also nicht automatisch /shop/produkte/stuhl.

Ein einzelner Schrägstrich / steht für die Startseite. Damit übernehmen Sie ausschließlich diese, wenn Sie ihn als einziges Muster in die erste Liste setzen.

Seiten, die zu keinem Muster der ersten Liste passen, werden trotzdem nach Links durchsucht. Nur ihr eigener Inhalt wird verworfen. Anders wären tiefer liegende Seiten gar nicht erreichbar: Um /portal/nord/senioren zu finden, muss go33 zuerst über die Startseite und /portal gehen.

Im Fortschrittsfenster erscheinen solche Seiten als Übersprungen, getrennt von tatsächlichen Fehlern. An der Domain selbst zeigt ein Hinweis, wie viele Regeln aktiv sind.

Übersprungene Seiten landen nicht in der Wissensbasis und belegen dort auch keinen Platz. Geladen werden sie trotzdem, und sie zählen deshalb auf die Seitenzahl, die ein einzelner Import verarbeitet. Bei großen Websites lohnt es sich, weiträumige Bereiche zusätzlich über die zweite Liste auszuschließen, statt sie nur über die erste Liste auszusortieren — dann bleibt mehr davon für die Seiten übrig, die Sie wirklich brauchen.

Wenn Ihre Website den Import abweist

Manche Websites blocken automatische Zugriffe, etwa über Cloudflare oder eine Firewall. Der Import bricht dann sofort ab und meldet, dass Ihre Website unsere Anfragen abgewiesen hat.

Dafür gibt es unter Wissensbasis Website in den Einstellungen einer Domain den Bereich Zugang bei Bot-Schutz. Tragen Sie dort einen Header-Namen und einen frei gewählten Wert ein, zum Beispiel X-Go33-Zugang und eine zufällige Zeichenfolge. Wir schicken diesen Header bei jedem Abruf mit. Ihr Webmaster hinterlegt in der Firewall eine Regel, die Anfragen mit genau diesem Header durchlässt.

Der Header verlässt uns nur in Richtung Ihrer eigenen Domain. Leitet eine Seite auf einen fremden Host weiter, senden wir ihn dorthin nicht mit.

Die Startseite darf nicht durch ein Muster der zweiten Liste ausgeschlossen sein. Der Import bricht in diesem Fall mit einer Meldung ab, statt die Regel stillschweigend zu übergehen.

Inhalte aktuell halten

Der Import ist eine Momentaufnahme zum Zeitpunkt des Abrufs. Ändert sich der Inhalt Ihrer Website, stoßen Sie den Import über Erneut importieren manuell an.

Passwortgeschützte oder per JavaScript nachgeladene Inhalte können nicht zuverlässig importiert werden. Kopieren Sie solche Inhalte stattdessen als Text-Snippet.