FAQ - Häufig gestellte Fragen

Von welchen IP-Adressen crawlt TFSNA2?

Der offizielle Crawler crawlt vom TFSNA-Rechner (141.24.51.245) aus. Zum Entwickeln benutzen wir häufig einen Crawler auf TFSNA-DEV (141.24.51.112) und vom VPN-Knoten (141.24.53.250) aus. Gelegentlich wird auch von anderen Rechnern gecrawlt.

Was kann ich tun, damit Umlaute auf meinem Rechner richtig angezeigt werden?

Bei FTP-Servern: FTP-Server sollten normalerweise die Code-Page ISO Latin-I (ISO 8859-1) verwenden. Tun sie dies nicht kommt es zu Problemen bei Umlauten und anderen Zeichen. Stellt entweder euren FTP-Server um auf ISO Latin-I oder teilt uns die von euch verwendetete Code-Page mit, wir können dies beim Crawlen dann berücksichtigen. Einige FTP-Server bieten die Unterstützung von UTF-8 an. Prinzipiell eine sehr schöne Sache, wird allerdings von mindestens einem FTP-Server nicht korrekt implementiert, wodurch das Crawlen dann teilweise verhindert wird.

Bei SMB-Servern: Das SMB-Protokoll verwendet Unicode, es sollte daher zu keinen Problemen mit Sonderzeichen geben. Wenn es diese doch gibt, so liegt dies am verwendeten SMB-Server.

Ich betreibe einen chinesischen FTP-Server. Was muss ich tun, um korrekt indiziert zu werden?

Teile uns mit, dass du einen solchen Server betreibst und evtl. noch welche Code-Page du verwendest (meist GB2312).

Der Crawler läd meine ganzen MP3, AVI, JPG etc. Dateien herunter. Das stört mich, bzw. was soll das?

Der Crawler läd von einigen Dateien die ersten 8 KByte herunter, um Information über Länge, Bitrate, Auflösung etc. anzeigen zu können. Die Datei wird allerdings nur einmal gezogen, die relevanten Informationen werden dann auf dem TFSNA-Rechner gespeichert. Beim nächsten Crawlerdurchlauf werden nur die Dateien heruntergeladen, die neu hinzugekommen sind, bzw. die sich verändert haben. Wenn dich das immer noch stört, teile uns dies mit, wir werden dieses Verhalten dann im Crawler für deinen Rechner deaktivieren.