Semalt giver hovedårsagerne til, at Googlebot ikke gennemsøger hver side på nogle websteder


Vi har fået klienter til at klage over, at nogle af deres websteder ikke bliver gennemgået af Googlebot. Som SEO -eksperter er det vores opgave at finde problemet og rette det, så vores kunder kan være glade og holde deres websted i topform.

Googles John Mueller forklarer nogle faktorer, der påvirker, hvordan siderne på ethvert websted bliver gennemgået. Selvfølgelig var dette ikke specifikt, men det peger os i den rigtige retning. I dette indlæg fremhæver John også, hvorfor nogle sider på et websted ikke crawles.

Spørgsmålet, der udløste dette svar, var bekymret over, hvorfor Google crawlede websteder i et relativt lavt tempo, hvilket er utilstrækkeligt til at håndtere det enorme antal websteder i dag.

Forståelse af Google Crawl Budget

Dette er det første område, vi vælger at fokusere på, da det forklarer meget om, hvor ofte Google crawler et websted. Googlebot (navnet på Googles webcrawler) går gennem websider og holder dem indekseret, så de kan rangeres på SERP. Den store mængde websteder bliver imidlertid et problem, hvorfor Google udarbejdede en strategi, hvor den kun indekserer websider af høj kvalitet. Tænk på det som en form for filter. I stedet for at bruge alle disse ressourcer på sider, der sandsynligvis er irrelevante for brugeren, fokuserer Google kun på websider af høj kvalitet.

Et websteds crawlbudget er mængden af ​​ressourcer, Google bruger til at gennemgå det pågældende websted. Det er også vigtigt at bemærke, at ikke alt, der bliver gennemsøgt, bliver indekseret. Websider bliver først indekseret, når de er blevet gennemsøgt og anset for værdifulde.

Når dit crawlbudget er brugt op, stopper Google med at gennemgå dine websider.

Indstilling af dit gennemsøgningsbudget

Et websteds crawlbudget bestemmes af fire hovedfaktorer:
Det er let at forstå, hvorfor du ville være så bekymret, når noget af dit indhold ikke bliver gennemgået som webstedsejer. Dette reducerer dine chancer for placering, især når det er dine mest værdifulde indholdsstykker, der udelades.

Sådan løses gennemgangsproblemer

Løsning af problemer med dine Meta -tags eller robots.txt -fil

Problemer, der falder ind under denne kategori, er normalt lette at opdage og løse. Nogle gange forbliver hele dit websted eller bestemte sider på dit websted uset af Google, fordi Googlebot ikke har tilladelse til at indtaste dem.

Der er en række botkommandoer, der forhindrer sidegennemgang, og dette kan rettes ved at kontrollere dine metatags og robots.txt -fil. At have de rigtige parametre og tilstrækkeligt bruge dem vil faktisk hjælpe dig med at spare dit crawlbudget og pege Googlebot i den rigtige retning.

Det er også muligt at have ikke-følg-links. I dette tilfælde indekserer crawlen en side, men stoppes fra at følge linket. Dette er ikke godt for dit websted, da Googlebot bruger disse interne links til at finde nye sider. Dette tager os til det næste punkt.

Interne ødelagte links

At have brudte links er aldrig en god oplevelse for både brugere og crawlere. For hver side, der bliver indekseret, tages en del af webstedets crawlbudget ud. Når vi kender dette, forstår vi, at når der er for mange ødelagte links, vil botten spilde alt dit crawlbudget ved at indeksere dem, men det kommer ikke frem til dine relevante sider og kvalitetssider.

At rette dine ødelagte links hjælper med at gøre dit kvalitetsindhold mere synligt for Googlebot.

Interne ødelagte links kan være et resultat af webadressefejl (hvor der er en stavefejl i hyperlinket URL -adresse), forældede webadresser eller sider med nægtet adgang.

Serverrelateret problem

Din server kan også være grunden til, at Google ikke finder bestemte sider. At have en høj mængde 5xx -fejl på dit websted kan være et signal om, at der er noget galt med din server. For at løse dette problem omkonfigurerer vi områder, hvor der er fejl og retter fejlene.

Nogle gange kan det være, at din server er overbelastet. I dette tilfælde stopper det med at reagere på brugerens og botens anmodninger. Når dette sker, har dine seere såvel som bots ikke adgang til siden.

I ekstreme situationer kan vi se på en fejlkonfiguration af en webserver. Her er stedet synligt for menneskelige brugere, men det bliver ved med at give en fejlmeddelelse til webcrawlere. Dette problem er ret vanskeligt, da det kan være svært at lægge mærke til. I dette tilfælde er websiden utilgængelig for Googlebot, hvilket gør det umuligt at blive gennemsøgt og indekseret af bots.

Problemer med sitemap -XML

Sitemap påvirker en lang række elementer på dit websted. Det er vigtigt at holde webadresserne i dit webstedskort relevante. De skal opdateres og korrekte. Dette er vigtigt, for når dit crawlbudget er utilstrækkeligt, leder dit sitemap crawlerbots til de mest relevante websteder. På den måde bliver dine vigtigste sider stadig indekseret.

Fejl med webarkitektur

Dette er et af de mest udfordrende spørgsmål at løse. Problemer, der falder ind under denne kategori, kan blokere eller desorientere crawlerne på dit websted. Det kan komme i form af problemer med din interne forbindelse. Eller det kan være tilfældet med forkerte omdirigeringer. I dette tilfælde videresendes brugere og bots til mindre relevante sider. Endelig har vi dobbelt indhold. Desværre er duplikatindhold et af de mest almindelige SEO -spørgsmål. Dette er også en af ​​hovedårsagerne til, at du løber tør for dit crawlbudget, og det bliver svært for Google at gennemgå nogle af dine sider.

Konklusion

Google er ikke i stand til at finde dit indhold ikke kun på grund af indholdsrelaterede problemer eller at du optimerer til de forkerte søgeord. Selv optimeret indhold kan forblive usynligt for Google, hvis det har gennemgåelsesproblemer.

Vi er her for at finde ud af, hvad der er galt, samt udarbejde en plan for, hvordan vi kan løse dette problem. Kontakt os i dag, og Semalt kan hjælpe dig med at sætte dit indhold tilbage på radaren.

mass gmail