Oggi parliamo del numero di URL da rendere disponibile per Google e di quale sia l'utilità di fornire centinaia di milioni di indirizzi differenti, per farlo useremo un caso pratico di un nostro cliente, che purtroppo, a causa di NDA, non possiamo citare direttamente.
Si tratta di un sito classified, quindi con annunci e chiaramente delle pagine utili per raggiungere tali annunci. Questa tipologia di sito è sempre ostica, perché ci sono filtri, località, aree, geografia, immagini, gallery e molto altro che può velocemente aumentare il numero di URL generati.
Visto che parliamo di un caso concreto vale subito la pena di mostrare qualche riferimento e per farlo vediamo la situazione attuale delle pagine indicizzate e meno:
Con 248 milioni di URL il sito è un boccone enorme anche per Google ed è chiaro che qui il motore di ricerca sta urlando "abbiamo un problema". L'analisi non si limita a questo e chiaramente andiamo a vedere anche cosa rappresentano quelle 178 milioni di URL escluse; nel caso di specie parliamo di molte pagine che sono 404 o 301 oppure noindex, quindi correttamente escluse, ma sono presenti anche 54 milioni di URL "Crawled - currently not indexed":
Queste rappresentano nel concreto un problema rilevante, perché per la maggior parte si tratta di thin content, cioè contenuti che il motore di ricerca reputa inutile mostrare agli utenti, perché la pagina che li contiene non ha abbastanza valore. E parliamo di thin content proprio perché l'analisi delle tipologie di pagina coinvolte ha evidenziato una prevalenza di contenuti di scarso valore, spesso generati dalle combinazioni dei filtri e caratterizzati da contenuti estremamente simili tra loro.
Quando affrontiamo un nuovo sito questo è uno dei primi punti che andiamo ad analizzare.
Le URL indicizzate sono tutte utili?
Ma il titolo di questo articolo non riguarda nello specifico le URL escluse quanto quelle indicizzate ed è su queste che vogliamo concentrarci oggi, perché a fronte di 70 milioni di URL si può erroneamente pensare che le landing pages su cui atterreranno gli utenti sono milioni... errato.
Nel caso del sito che stiamo analizzando le landing pages (o URL che hanno ottenuto visibilità organica, come direbbero quelli bravi) sono molte ma molte di meno. Abbiamo esportato tutti i dati su BigQuery e analizzando le landing che ricevono almeno 10 impressions (giusto per escludere le pagine con una visibilità del tutto occasionale) abbiamo 41.246 URL negli ultimi 28 giorni, i quali diventano 68.416 negli ultimi 3 mesi e ben 89.881 negli ultimi 16 mesi.
Sì, avete letto bene, il sito su cui stiamo per lavorare ha 70 milioni di URL indicizzate e solo 90 mila negli ultimi 16 mesi hanno ricevuto almeno 10 impressions su Google. Se togliessimo il limite delle 10 impressions le URL aumenterebbero, diventando 64.842 negli ultimi 28 giorni, 124.588 negli ultimi 3 mesi e 223.215 negli ultimi 16 mesi.
Prendendo per buono il dato maggiore, quindi 223 mila URL che hanno ricevuto almeno una impression nell'arco degli ultimi 16 mesi (e attenzione, parliamo di impressions su Google, non di click, quindi non sono ancora utenti che sono atterrati sul dominio del cliente) possiamo dire che le restanti 69.984.548 sono totalmente e completamente inutili? No, non possiamo dirlo, almeno non per tutte, perché oltre alle pagine che ricevono traffico ci sono URL di "contorno" che sono comunque utili alle pagine principali, che hanno comunque del contenuto e che meritano tranquillamente di stare online. Ma non parliamo di 70 milioni di URL, a dire il vero non parliamo nemmeno di una decina di milioni, stiamo parlando dalla nostra analisi di circa 5/6 milioni di URL. A questo dato ci siamo arrivati analizzando nel profondo il linking interno, le URL che apportano valore alle pagine principali, le URL che hanno del reale contenuto e che possono distinguersi per originalità rispetto a tutte le altre. Inoltre, per arrivare ai circa 6 milioni di URL abbiamo escluso tutta una serie di pagine che, per la nostra analisi, non avrebbero meritato di essere indicizzate (altri thin content, contenuti duplicati, pagine con un filtro che sono praticamente identiche alla pagina senza filtro e altre URL che sono "erroneamente" indicizzate da Google).
Quindi, riassumendo, abbiamo lo 0,32% di URL indicizzate che ricevono almeno una impression nell'arco dell'ultimo anno e mezzo, abbiamo lo 0,13% che ricevono almeno 10 impressions nell'arco dell'ultimo anno e mezzo e abbiamo, pressappoco, l'8,5% delle URL che meritano realmente di essere online. Il resto? Tutta sporcizia. Chiaramente essendo un classified non è nemmeno detto che le URL che hanno ricevuto impressions siano ancora online, quindi il dato corretto sarebbe con il confronto delle 70 milioni di URL attualmente indicizzate + tutte le URL che erano indicizzate e che oggi non lo sono più, ma il confronto sarebbe decisamente troppo impietoso e quindi meglio limitarci a questi 70 milioni, facendo finta di non sapere che sarebbero molte di più.
E qui la domanda potrebbe essere: allora perché Google le sta indicizzando? I motivi sono tanti, ma il principale è che stiamo parlando di un sito che ha un brand enorme e un trust ancora più grande, quindi Google chiude un occhio (ma possiamo anche dire entrambi) e alcune regole elementari per siti come questi sono un po' optional.
Immaginiamo per esempio Amazon, giusto per fare un parallelo, verrebbe quasi da pensare che per un sito del genere non ci sia bisogno di fare ottimizzazioni SEO. Non perché non serva, ma per il semplice motivo che se Amazon sparisse da Google il problema non sarebbe per Amazon ma per Google. Un sito con un brand fortissimo può permettersi inefficienze strutturali che per un progetto più piccolo sarebbero estremamente penalizzanti. Questo non significa che Google applichi regole differenti, ma che la popolarità, la domanda degli utenti e l'autorevolezza complessiva possono compensare, almeno in parte, alcuni limiti tecnici. Ed è proprio per questo che copiare le strategie SEO dei grandi portali, senza comprenderne il contesto, è spesso un errore (quante volte chi fa SEO ha sentito dire "ma lui lo fa e funziona"?). Amazon in realtà ha bisogno del SEO come tutti gli altri, ma perché nelle SERP si ritrova spesso i produttori e altri siti grandi che possono rubargli posizioni e oggi, con tutte le "porcherie" che sono presenti in SERP (AI Overview, Q&A, Featured Snippet, People Also Ask, SiteLink, mappe, annunci e altro), essere primo o essere terzo fa una grandissima differenza.
Quindi il mio cliente è al sicuro? No, non proprio, anche perché per quanto sia grande non è certamente Amazon e inoltre ha competitor in SERP altrettanto grandi, quindi essere primo o essere quarto fa una grande differenza. E su questo andremo a lavorare...
L'obiettivo non sarà semplicemente ridurre il numero delle pagine indicizzate, perché togliere URL dall'indice non rappresenta di per sé un miglioramento SEO. Il nostro lavoro sarà distinguere le pagine che intercettano una domanda reale, quelle che contribuiscono all'architettura del sito e quelle che generano soltanto combinazioni ridondanti. Vogliamo che Google dedichi più attenzione alle risorse realmente importanti, senza compromettere la navigazione degli utenti e la capacità del sito di intercettare nuove ricerche. Anche perché, con 248 milioni di URL conosciute da Google, il rischio di disperdere una quantità enorme di crawl budget su pagine prive di reale valore è concreto. Ed è proprio su questo che dovremo lavorare seriamente, analizzando anche le statistiche di scansione e i log del server per capire dove Googlebot stia effettivamente spendendo le proprie risorse.