Αγνοεί ο crawler σας τη Disallow οδηγία στο αρχείο robots.txt μας;

Όχι.

Ακολουθούμε τις οδηγίες Disallow, με μόνη εξαίρεση την Αρχική Σελίδα. Ως εργαλείο ανάλυσης SEO, χρειάζεται να διαβάζουμε τουλάχιστον την αρχική σελίδα και στη συνέχεια, βασιζόμενοι στις οδηγίες Disallow: του αρχείου robots.txt, να λαμβάνουμε περαιτέρω ενέργειες.

Παράδειγμα:

Καταγραφή:

172.104.138.120 - - [15/Sep/2018:10:11:45 +0200] "GET / HTTP/1.1" 301 546 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_5) AppleWebKit/600.1.17 (KHTML, like Gecko) Version/7.1 Safari/537.85.10 MarketGoo/2.1"  
172.104.138.120 - - [15/Sep/2018:10:11:45 +0200] "GET / HTTP/1.1" 200 35620 "http://district1071.nl/" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_5) AppleWebKit/600.1.17 (KHTML, like Gecko) Version/7.1 Safari/537.85.10 MarketGoo/2.1"  

172.104.138.120 - - [15/Sep/2018:10:11:46 +0200] "GET /robots.txt HTTP/1.1" 301 566 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_5) AppleWebKit/600.1.17 (KHTML, like Gecko) Version/7.1 Safari/537.85.10 MarketGoo/2.1"  
172.104.138.120 - - [15/Sep/2018:10:11:46 +0200] "GET /robots.txt HTTP/1.1" 301 5770 "http://district1071.nl/robots.txt" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_5) AppleWebKit/600.1.17 (KHTML, like Gecko) Version/7.1 Safari/537.85.10 MarketGoo/2.1"  

172.104.138.120 - - [15/Sep/2018:10:11:46 +0200] "GET /robots.txt HTTP/1.1" 200 5806 "https://district1071.nl/robots.txt" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_5) AppleWebKit/600.1.17 (KHTML, like Gecko) Version/7.1 Safari/537.85.10 MarketGoo/2.1"

Στην περίπτωση μιας οδηγίας Disallow: τόσο περιοριστικής όπως το Disallow: /, δεν θα διαβάσουμε καμία άλλη σελίδα πέρα από την αρχική. Ωστόσο, σημειώστε ότι αυτό θα αποτρέψει το εργαλείο μας από το να σας παρέχει μια πιο λεπτομερή ανάλυση του ιστότοπού σας. Για να δημιουργήσουμε μια σωστή και περιεκτική λίστα ενεργειών για εσάς, πρέπει να έχουμε πρόσβαση σε όσο το δυνατόν περισσότερο περιεχόμενο.

Αγνοεί ο crawler σας τη Disallow οδηγία στο αρχείο robots.txt μας;

Σύννεφο Ετικετών

Υποστήριξη