Molto spesso mi sono scontrato con siti Web che, nel momento della progettazione, avevano dato poca importanza alla Sitemap XML. In taluni casi, quelle poche volte che mi sono ritrovato a ottimizzare siti su WordPress, la sitemap viene generata attraverso qualche plugin e poco ci si interessa di cosa ci finisce dentro (generare le sitemap con plugin va benissimo, l’importante è avere il controllo delle stesse); in altri casi, soprattutto quando il sito è custom, la sitemap manca proprio oppure presenta vari errori. Quando arriva la richiesta di sviluppare la sitemap, il programmatore tipo tira fuori la lista delle URL con i parametri fondamentali, quindi, in buona sostanza, solo con la lista di “loc“, e presenta la lista di URL presenti sul sito. In tale condizione la sitemap è come non averla, tanto vale non sprecare nemmeno quel po’ di tempo. Premessa: all’interno dell’articolo ci saranno dei concetti che sono stati fortemente semplificati per poter essere adatti alla lettura di tutti. Ovviamente le logiche con cui lavora lo spider di Google sono molto più complesse di come vengono qui esposte. Ai fini dell’articolo, comunque, l’importante non è comprendere i concetti tecnici approfonditamente, ma spiegare per quale ragione è importante fare…
Tag: Crawl Budget
Il Crawl Budget altro non è che il numero di risorse messo a disposizione da Google per il vostro sito. In un mondo di risorse finite, anche Google fa economia e impiega le proprie risorse a scansionare i siti più attivi e, secondo il suo punto di vista, migliori.
Facendo un parallelo, è come se sul vostro conto bancario ci fossero solo 1.000 euro e nel mese dovete decidere a cosa destinarli, suddividendo in quote questo capitale. Ecco quindi che voi destinerete la maggiorparte del vostro capitale per l’abitazione e per il cibo.
Google, da un certo punto di vista, fa la stessa cosa. Ovviamente il crawl budget non è inteso in termini economici ma di risorse. Diciamo, per semplificare molto, che abbia a disposizione 10 server (se così fosse non si chiamerebbe Google, ma per ora accettate questa semplificazione) e questi hanno un potere di calcolo, di memoria e di velocità per scansionare pagine in giro per il Web.
Con questi 10 server Google andrà a guardare 50 siti web e per ognuno di questi destinerà una quota di risorse. Allo stesso modo, all’interno di ognuno di questi domini, Google destinerà una sottoquota per ogni tipologia di pagina.
Parametri per calcolare il crawl budget
Google semplifica il calcolo restituendo il feedback su 3 parametri differenti:
- Velocità media delle pagine
- Peso delle pagine
- Popolarità/Aggiornamenti del sito
Partiamo proprio da quest’ultimo parametro, e mettiamo il caso di avere tra le mani un sito che si aggiorna spesso e che è molto popolare (cioè che ha molti link in ingresso). Diciamo che Google assegna 100 risorse a questo sito (accettate anche qua la semplificazione).
Google come scansiona il mio sito?
Per comprendere come viene sfruttato il crawl budget, facciamo due esempi.
Primo esempio: Google inizierà a scansionare il sito e vedrà pagine molto veloci e che pesano poco, quindi riuscirà a scansionare 1.000 pagine al giorno.
Poniamo invece il caso che le pagine siano lente e pesanti, ecco che Google, quelle 100 risorse, le brucerà velocemente e riuscirà a scansionare solo 50 pagine al giorno.
Il crawl budget a me destinato è sufficiente?
La risposta è: dipende.
Abbiamo visto i due differenti casi di uso di Crawl Budget. Poniamo di avere un sito con 10 pagine, ecco quindi che le risorse sono sufficienti in entrambi i casi.
Poniamo invece di avere un sito con 10.000 pagine, ecco quindi che le risorse sono fortemente insufficienti, in entrambi i casi.
“Discovered – currently not indexed”. Perché alcune URL non vengono indicizzate?
I SEO, che hanno avuto per le mani progetti abbastanza grossi, si sono certamente scontrati con delle URL mal digeste per Google. Tipicamente tali URL finiscono nei report di Search Console, nelle categorie “Crawled – currently not indexed” (“Pagina scansionata, ma attualmente non indicizzata” in italiano) oppure in “Discovered – currently not indexed” (“Rilevata, ma attualmente non indicizzata” in italiano). Non c’è una chiara spiegazione da parte di Google, il quale semplicemente indica, rispettivamente: “Discovered – currently not indexed“: Google ha individuato la URL ma, per non sovraccaricare il sito, si è deciso di non crawlarla, riprogrammando quindi la scansione; “Crawled – currently not indexed“: pagina scansionata ma non indicizzata; potrebbe essere indicizzata o meno in futuro ma non c’è bisogno di segnalarma nuovamente al motore di ricerca. Come si può vedere si tratta di indicazioni abbastanza vaghe, che non permettono al proprietario del sito di capire cosa fare per farsi indicizzare le URL. Le risposte di Google Giusto qualche giorno fa, un SEO, Dan Shure, ha effettuato un test. In pratica afferma di aver pubblicato due articoli che sono finiti in “Discovered – currently not indexed”, dopo aver aspettato qualche giorno, ha copiato il medesimo contenuto su una nuova…
Errori SEO più comuni
Faccio SEO dal 2003 e in questi quasi 20 anni di lavoro ho affrontato varie problematiche a livello SEO; ho visto negli anni tanti progetti che di base avevano sempre gli stessi problemi. Ecco quindi una carrellata di errori visti varie volte e su cui qualsiasi azienda dovrebbe prestate molta attenzione. Il developer non è un SEO Nella mia vita ho incontrato tanti sviluppatori di software con buone competenze SEO, ma di base un developer non è un SEO. Questo è il primo errore principale, che commettono moltissime aziende. Non è colpa degli sviluppatori se un progetto non funziona dal punto di vista SEO, anche perché un buon developer fa quello per cui è stato pagato: far funzionare i siti. La questione di fondo è che non è detto che ciò che funziona e si vede online sia sempre ottimizzata a livello SEO. Se sei un manager, che decide dove allocare il budget e su quali figure puntare, ricorda che un buon developer potrebbe non avere competenze SEO, ed è giusto così. Se vuoi risolvere i problemi con l’ottimizzazione per i motori di ricerca chiami un SEO. Questo, di base, è il padre di tutti gli errori commessi sui siti.…