L'indicizzazione è il processo di scansione dei file che si trovano su una risorsa Internet da parte di un robot di ricerca. Questa procedura viene eseguita in modo che il sito sia disponibile nei risultati di ricerca per varie query nel motore di ricerca. Tra i più grandi motori di ricerca oggi c'è Yandex, che conduce questa scansione a modo suo.
Istruzioni
Passo 1
L'indicizzazione del sito Internet viene eseguita da speciali programmi automatici: robot di ricerca, che tracciano automaticamente l'aspetto di nuovi siti sul World Wide Web, scansionando costantemente le pagine Internet situate su Internet, i file e i collegamenti ad essi su ciascuna risorsa.
Passo 2
Per eseguire la scansione, il robot va nella directory in cui si trova la risorsa su un particolare server. Quando si sceglie un nuovo sito, il robot è guidato dalla sua disponibilità. Ad esempio, si ritiene che Yandex esegua prima la scansione dei siti creati in un dominio in lingua russa e in russo - ru, rf, su o ua, e solo successivamente si sposti in altre regioni.
Passaggio 3
Il robot accede al sito e ne scansiona la struttura, cercando prima i file che indicano un'ulteriore ricerca. Ad esempio, un sito viene scansionato per Sitemap.xml o robots.txt. Questi file possono essere utilizzati per impostare il comportamento del robot di ricerca durante la scansione. Utilizzando la mappa del sito (sitemap.xml), il robot ottiene un'idea più accurata della struttura della risorsa. Il webmaster utilizza robots.txt per definire i file che non desidera vengano visualizzati nei risultati di ricerca. Ad esempio, potrebbero essere informazioni personali o altri dati indesiderati.
Passaggio 4
Dopo aver scansionato questi due documenti e ricevuto le istruzioni necessarie, il robot inizia ad analizzare il codice HTML ed elaborare i tag ricevuti. Per impostazione predefinita, in assenza di un file robots.txt, il motore di ricerca avvia l'elaborazione di tutti i documenti archiviati sul server.
Passaggio 5
Facendo clic sui collegamenti nei documenti, il robot riceve anche informazioni su altri siti che sono in coda per la scansione a seguito di questa risorsa. I file scansionati sul sito vengono salvati come copia di testo e struttura sui server nei data center Yandex.
Passaggio 6
Anche la necessità di una nuova scansione è determinata automaticamente dai robot. Il programma confronta il risultato della scansione esistente con la versione aggiornata del sito quando esegue nuovamente l'indicizzazione. Se i dati ricevuti dal programma differiscono, la copia del sito viene aggiornata anche sul server Yandex.
