Le pagine di ciascun sito vengono regolarmente scansionate da robot di ricerca, che elaborano le informazioni sul sito in modo che siano disponibili su richiesta degli utenti nei motori di ricerca. Le visite dei visitatori dai motori di ricerca hanno un effetto positivo sul traffico del sito e stimolano lo sviluppo della risorsa. Tuttavia, se sul sito sono presenti pagine le cui informazioni non sono destinate al pubblico di Internet (ad esempio, le pagine personali degli utenti o la pagina di registrazione), non è necessario il passaggio dai motori di ricerca a tali pagine e è meglio vietare l'indicizzazione di queste informazioni.
Necessario
- - avere il tuo sito web
- - conoscere i link alle pagine la cui indicizzazione dovrebbe essere vietata.
- - avere almeno una conoscenza di base dell'HTML
Istruzioni
Passo 1
Per impedire al robot di ricerca di indicizzare determinate pagine del sito, devi apportare modifiche al file robots.txt, se è già presente sul tuo sito, oppure creare questo file.
Passo 2
Se il file robots.txt è già caricato sul sito ed è possibile modificare questo file direttamente dal pannello di controllo delle risorse, quindi aprire robots.txt tramite il servizio web per la modifica.
Passaggio 3
Se non è possibile apportare modifiche al file desiderato direttamente dal pannello di controllo, aprire robots.txt in un browser facendo clic sul collegamento a questo file. Copia tutti i dati dalla pagina che si apre e incollali sul foglio in Blocco note.
Passaggio 4
Se sul sito non è presente robots.txt, apri il programma "Blocco note", nel nuovo documento di cui dovrai inserire il codice necessario.
Passaggio 5
Su un foglio bianco di un documento di testo, scrivi la prima riga richiesta:
Agente utente: *
Passaggio 6
Quindi vai alla riga successiva premendo il tasto Invio e digita il seguente codice:
Disallow: / index / page3Disallow: indica nessuna indicizzazione e / index / page3 è un collegamento a una pagina che non necessita di essere indicizzata. Al posto del link/indice/pagina3, inserisci un link alla pagina del tuo sito che vuoi bloccare per l'elaborazione da parte dei robot.
Passaggio 7
Si noti che il nome di dominio stesso manca all'inizio del collegamento; la sua presenza nella voce implica la barra. Durante la scansione di un sito, un robot di ricerca inserisce automaticamente un nome di dominio in tali collegamenti. Pertanto, scrivi i collegamenti alle pagine necessarie in questo modo.
Passaggio 8
Dopo Disallow: puoi inserire non solo un collegamento a una pagina specifica, ma anche un collegamento a qualsiasi sezione o directory del sito. Allo stesso modo, puoi vietare l'indicizzazione della parte desiderata del sito.
Passaggio 9
Se è necessario vietare l'elaborazione da parte dei robot di diverse sezioni della risorsa, scrivere un collegamento a ciascuna sezione o pagina su una nuova riga, all'inizio della quale non dimenticare di inserire la voce Disallow:.
Passaggio 10
Per completare la modifica di robots.txt, fai clic sul pulsante "Salva" durante la modifica del file nel pannello di controllo, oppure salva un documento di testo con le voci sotto il nome robots.txt e carica questo file sul sito.
