Çfarë do të thotë të indeksosh një faqe. Indeksi i kërkimit

Është shumë e rëndësishme që të gjitha faqet e faqes tuaj të indeksohen në motorët e kërkimit (Yandex, Google, etj.).

Së pari, nëse faqja nuk është në indeks, atëherë njerëzit nuk do të mund ta gjejnë atë dhe ju keni humbur kohë (dhe ndoshta para) në krijimin, mbushjen dhe dizajnimin e saj. Çdo faqe në indeks është një burim vizitorësh.
Së dyti, nëse faqja nuk është në indeks, kjo mund të tregojë probleme teknike në faqe, të tilla si përmbajtja e kopjuar, siti ose defekte në pritje.
Së treti, kjo faqe mund të luajë një rol teknik, për shembull, të marrë pjesë në një skemë lidhëse (ose të përmbajë lidhje me pagesë për të cilat nuk do të merrni para nëse faqja nuk është në indeks).

Duke punuar me klientët, kam hasur vazhdimisht në faktin se për shkak të problemeve me indeksimin kishte pozicione të këqija. Ky është një problem teknik që zakonisht e rregulloj në muajin e parë të bashkëpunimit, për shkak të të cilit nga muaji i dytë ka një rritje të dukshme të vizitorëve dhe pozicioneve.

Më poshtë do të shqyrtoj mënyra manuale dhe të automatizuara për të kontrolluar indeksimin e faqeve në Yandex dhe Google. Unë do t'ju tregoj si të kontrolloni indeksimin e faqes në internet në përgjithësi dhe çdo faqe veç e veç.

Si të zbuloni numrin e faqeve në sit

Kjo mund të bëhet në disa mënyra:

Tani që e dimë numrin aktual të faqeve, duhet të kontrollojmë se sa prej tyre janë të indeksuar në Yandex dhe Google

Ne shikojmë indeksimin e faqes në tërësi

Në këtë rast, ne do ta dimë sa faqe të faqes janë të indeksuara në motorin e kërkimit. Çfarë na jep kjo? Duke ditur numrin aktual të faqeve në sit, mund të krahasojmë nëse ai korrespondon me numrin e faqeve të indeksuara. Dhe nëse përputhet, atëherë gjithçka është në rregull, dhe nëse jo, atëherë duhet të merreni me problemin dhe të zbuloni se cilat faqe mungojnë (ose cilat faqe kanë dublikatë).

Indeksimi i faqes në Yandex

Disa mënyra.

Siç mund ta shihni, të dhënat janë paksa të ndryshme. Kjo për faktin se url: ndërtimi i faqes suaj nuk tregon vetëm faqe, por lloje të tjera skedarësh (doc, xls, jpg, etj.). Webmaster tregon saktësisht numrin e faqeve.

Indeksimi i faqes në Google

Këtu, në mënyrë të ngjashme me Yandex, ka 2 mënyra:

Duke përdorur manualisht sitin: ndërtimi i faqes tuaj. Efekti do të jetë pothuajse i njëjtë si me Yandex.
Duke përdorur Google Webmaster Tools https://www.google.com/webmasters/(i ngjashëm me Yandex.Webmaster)

mënyrat automatike

Ç'pritet më tej

Tani që e dimë se sa faqe të numrit aktual janë indeksuar, mund të ketë 3 situata:

Numri i faqeve në motorët e kërkimit dhe në faqe është i njëjtë. Ky është një opsion ideal, kështu që gjithçka është në rregull me sitin.
Numri i faqeve të indeksuara është më i vogël. Do të thotë se ka probleme me sitin (problemi më i njohur është përmbajtja jo informative ose jo unike)
Numri i faqeve të indeksuara është më i madh. Me shumë mundësi keni një problem me dublikimin e faqeve, d.m.th. një faqe mund të aksesohet nga disa adresa. Kjo është e keqe për promovimin, sepse pesha statike e faqes është e paqartë dhe përveç kësaj, ka shumë faqe me përmbajtje të përsëritur.

Për të diagnostikuar më tej faqen, duhet të dimë se cilat faqe janë të indeksuara saktë dhe cilat nuk përfshihen në indeks.

Si të kontrolloni indeksimin e një faqeje

Mund të na duhet kjo kur duam të kontrollojmë një faqe specifike në faqen tonë (për shembull, të publikuar së fundmi) ose një faqe në faqen e dikujt tjetër (për shembull, ku kemi blerë një lidhje dhe presim që ajo të indeksohet)

Si të kontrolloni indeksimin e të gjitha faqeve individualisht

Në këtë rast, ne do të kontrollojmë të gjitha faqet e faqes për indeksim menjëherë dhe si rezultat do ta zbulojmë cilat faqe specifike nuk janë të indeksuara në motorin e kërkimit.

Këtu duhet të dimë jo vetëm numrin e faqeve aktuale në sit, por edhe një listë të adresave të këtyre faqeve (url-at e tyre). Kjo është ndoshta pjesa më e vështirë e këtij artikulli. Dukej se morëm listën e faqeve kur krijuam hartën e faqes, por adresat atje nuk janë në formën e tyre të pastër dhe ju duhet të jeni në gjendje të punoni me një lloj programi të përpunimit të të dhënave për t'i nxjerrë ato. Prandaj, ne do të përdorim një program tjetër.

Si të merrni një listë të të gjitha faqeve në një faqe

Përpara mbledhjes së lidhjeve, duhet të konfiguroni parametrin Exclude Patterns. Kjo është bërë për të përjashtuar lidhjet e panevojshme kur mbledh, për shembull, në rastin tim, kur mbledh shumë adresa të formularit: https://website/prodvizhenie/kak-prodvigayut-sajjty.html? replytocom=324#respond të cilat tregojnë një koment në faqe. Dhe gjithçka që më duhet është URL-ja e faqes. Prandaj, vendosa një përjashtim të adresave nga maska *replytocom*:

Më pas, fillojmë të mbledhim url dhe kur programi përfundon mbledhjen e tyre, shkoni te skedari Yahoo Map / Text dhe kopjoni adresat prej andej (butoni i ruajtjes nuk funksionon, sepse ne përdorim versionin falas të programit)

Tani kemi adresat e të gjitha faqeve.

Si të kontrolloni automatikisht indeksimin e faqeve

Gjithçka është e thjeshtë këtu. Pas fillimit të programit, shtoni listën e url-ve të faqes suaj të mbledhura në hapin e fundit dhe shtoni ato në listën e url-ve fillestare. Programi ju lejon të kontrolloni indeksimin në Yandex, Google dhe Rambler, të zgjidhni motorin e kërkimit që na nevojitet dhe të ekzekutoni kontrollin:

Pasi kemi marrë një listë të faqeve që nuk janë përfshirë në indeks, duhet të kuptojmë pse ndodhi kjo. Nëse gjithçka është në rregull me faqen, atëherë në mënyrë që ajo të hyjë në indeks, mund të blini lidhje me të ose disa retweet nga llogaritë e pompuara.

konkluzioni

Mundësia për të kontrolluar indeksimin e faqeve të faqes tuaj do t'ju lejojë të punoni më produktivisht me motorët e kërkimit, si dhe të llogaritni problemet ekzistuese me sitin.

Në përgjithësi, nëse burimi juaj është i mirë, i bërë mirë, atëherë nuk duhet të ketë probleme me indeksimin e tij. Nëse faqja, megjithëse jo 100%, por plotëson kërkesat e motorëve të kërkimit - "për njerëzit", atëherë ata do të jenë të lumtur t'ju shikojnë në dritë dhe të indeksojnë gjithçka të re që do të shtohet.

Por sido që të jetë, hapi i parë në promovimin e një faqeje është shtimi i tij në indeksin PS. Derisa burimi të indeksohet, në përgjithësi, nuk ka asgjë për të promovuar, sepse motorët e kërkimit nuk do të dinë fare për të. Prandaj, në këtë artikull do të shqyrtoj se çfarë është indeksimi i faqes në Yandex dhe si të paraqisni një burim për indeksim. Unë gjithashtu do t'ju tregoj se si të kontrolloni nëse një faqe ose një faqe e veçantë është përfshirë në indeksin Yandex dhe çfarë të bëni për të shpejtuar indeksimin nga Yandex.

Indeksimi i një siti në Yandex është një anashkalim i faqes tuaj nga robotët e motorit të kërkimit yandex dhe futja e të gjitha faqeve të hapura në bazën e të dhënave. Spider-i i motorit të kërkimit rus shton të dhëna në lidhje me sitin në bazën e të dhënave: faqet e tij, fotot, videot, dokumentet që janë të disponueshme për kërkim. Gjithashtu, boti i kërkimit është i angazhuar në indeksimin e lidhjeve dhe elementëve të tjerë që nuk mbyllen me etiketa dhe skedarë të veçantë.

Mënyrat kryesore për të indeksuar një burim:

I detyruar - duhet të dërgoni sitin për indeksim në Yandex përmes një formulari të veçantë.

Natyrore - merimanga e kërkimit arrin të gjejë vetë faqen tuaj, duke lëvizur nga burimet e jashtme që lidhen me faqen e internetit.

Koha për indeksimin e një siti në Yandex është e ndryshme për të gjithë dhe mund të variojë nga disa orë në disa javë.

Varet nga shumë faktorë: cilat vlera janë në Sitemap.xml, sa shpesh plotësohet burimi, sa shpesh shfaqet përmendja e faqes në burime të tjera. Procesi i indeksimit është ciklik, kështu që roboti do të vijë tek ju në intervale (praktikisht) të barabarta kohore. Por me çfarë frekuence - varet nga faktorët e përmendur më lart dhe nga roboti specifik.

Merimanga mund të indeksojë të gjithë faqen e internetit (nëse është e vogël) ose një seksion të veçantë (kjo vlen për dyqanet ose mediat online). Në burimet e përditësuara shpesh, të tilla si media dhe portalet e informacionit, ekzistojnë të ashtuquajturat robotë të shpejtë për indeksimin e shpejtë të një siti në Yandex.

Ndonjëherë projekti mund të ketë probleme teknike (ose probleme me serverin), në të cilin rast indeksimi Yandex i faqes nuk do të bëhet, për shkak të të cilit motori i kërkimit mund të përdorë skenarin e mëposhtëm:

hidhni menjëherë faqet e pa indeksuara nga baza e të dhënave;
riindeksoni burimin pas një kohe të caktuar;
vendosni faqet që nuk janë indeksuar të përjashtohen nga baza e të dhënave dhe nëse nuk gjenden gjatë riindeksimit, ato do të hidhen jashtë indeksit.

Si të shpejtoni indeksimin e faqes në Yandex

Si të shpejtoni indeksimin në Yandex është një pyetje e zakonshme në forume të ndryshme të webmasterëve. Në fakt, jeta e të gjithë sitit varet nga indeksimi: pozicioni i burimit në PS, numri i klientëve prej tyre, popullariteti i projektit, fitimi, në fund.

Unë kam përgatitur 10 mënyra që shpresoj të jenë të dobishme për ju. Pesë të parat janë standarde për indeksimin e përhershëm të burimit, dhe pesë të mëposhtmet do t'ju ndihmojnë të shpejtoni indeksimin e faqes në Yandex:

shërbime për shënimin e faqeve;

RSS-feed - do të sigurojë transmetimin e materialeve të reja nga burimi juaj në postën e pajtimtarëve dhe në drejtoritë RSS;

shkëmbimet e lidhjeve - do të sigurojë një rritje të qëndrueshme të lidhjeve dofollow nga donatorë cilësorë, me përzgjedhjen e tyre të saktë (si të zgjidhni saktë);

- nëse nuk e keni regjistruar ende sitin në drejtori, atëherë ju këshilloj ta bëni këtë. Shumë njerëz thonë se drejtoritë kanë vdekur prej kohësh ose regjistrimi në to do të vrasë sitin - kjo nuk është e vërtetë. Më saktësisht, jo e vërteta e plotë, nëse regjistroheni në të gjitha drejtoritë me radhë, atëherë burimi juaj do të vuajë vetëm nga kjo. Por me përzgjedhjen e duhur të besimit dhe katalogëve të mirë, efekti do të jetë i pamohueshëm.

Kontrollimi i indeksimit të faqes në Yandex

operatorët e faqeve dhe URL-ve. Nëse dëshironi të kontrolloni indeksimin e faqes në Yandex, mund të përdorni operatorët standardë të motorit të kërkimit..biz. (Sigurisht, në vend të domenit tim, juaji)
Shiriti RDS. Unë mendoj se mënyra më e mirë dhe më e shpejtë për të kontrolluar indeksimin e faqeve në Yandex. Kjo shtojcë mund të instalohet në të gjithë shfletuesit e njohur dhe menjëherë do të japë informacion të detajuar në lidhje me numrin e faqeve të faqes në indeks dhe praninë e materialit specifik në të. Me këtë shtesë, nuk do të humbisni kohë duke futur manualisht URL-të në shërbime ose kërkime. Në përgjithësi, unë rekomandoj që shiriti RDS të jetë jashtëzakonisht i përshtatshëm:
Serfant shërbimi. Një burim shumëfunksional me të cilin mund të analizoni sitin: vlerësimi i efektivitetit dhe monitorimi i faqeve, analizimi i faqeve të konkurrentëve, kontrollimi i pozicioneve dhe indeksimi i faqes. Ju mund të kontrolloni indeksimin e faqeve falas në këtë lidhje: https://serphunt.ru/indexing/. Për shkak të kontrollit të grupit (deri në 50 adresa) dhe besueshmërisë së lartë të rezultateve, ky shërbim është në tre të parët për mendimin tim.
Shërbimi XSEO. Një grup mjetesh për webmasterët, në XSEO.in mund të shihni sitin duke indeksuar në Yandex. Merrni gjithashtu shumë informacione shtesë të dobishme në lidhje me burimin tuaj:
Shërbimet PR-CY dhe CY-PR. Disa shërbime të tjera që do t'ju ofrojnë informacion për numrin total të faqeve të indeksuara:
shërbimi i raportimit të faqes. Një shërbim i shkëlqyer që do të tregojë të gjitha gabimet tuaja në punën në sit. Ai gjithashtu ka një seksion "Indeksimi", ku do të ofrohet informacion për secilën faqe të faqes që tregon nëse është indeksuar apo jo në motorët e kërkimit Yandex dhe Google. Prandaj, unë rekomandoj përdorimin e këtij burimi për të zbuluar problemet në sit dhe për të kontrolluar indeksimin masiv të Yandex:

Indeksimi i faqeve në motorët e kërkimit është i rëndësishëm për çdo webmaster. Në të vërtetë, për promovimin cilësor të projektit, është e nevojshme të monitorohet indeksimi i tij. Unë do të përshkruaj procesin e kontrollit të indeksimit në Yandex.

Indeksimi në Yandex

Roboti Yandex skanon faqet e internetit çdo ditë në kërkim të diçkaje "të shijshme". Mbledh në krye të numrit ato faqe dhe faqe që, sipas tij, e meritojnë më shumë. Epo, ose thjesht Yandex e donte në këtë mënyrë, kush e di 🙂

Ne, si webmaster të vërtetë, do t'i përmbahemi teorisë se sa më mirë të bëhet faqja, aq më të larta janë pozicionet e saj dhe më shumë trafik.

Ka disa mënyra për të kontrolluar indeksimin e një siti në Yandex:

duke përdorur Yandex Webmaster;
duke përdorur operatorët e motorëve të kërkimit;
duke përdorur shtesa dhe shtojca;
duke përdorur shërbimet online.

Indeksimi i faqeve të faqeve në Yandex Webmaster

Për të kuptuar se çfarë ka zbuluar motori i kërkimit në faqen tonë, duhet të shkoni te Webmaster-i ynë i preferuar Yandex në seksionin "Indeksimi".

Zvarritje statistikash në Yandex Webmaster

Së pari, le të shkojmë te artikulli "Bypass Statistics". Seksioni ju lejon të zbuloni se cilat faqe të faqes tuaj zvarritet roboti. Ju mund të identifikoni adresat që roboti nuk mund t'i ngarkonte për shkak të padisponueshmërisë së serverit në të cilin ndodhet faqja, ose për shkak të gabimeve në përmbajtjen e vetë faqeve.

Seksioni përmban informacione rreth faqeve:

të reja - faqet që janë shfaqur kohët e fundit në sit ose roboti sapo i ka anashkaluar ato;
ndryshuar - faqet që motori i kërkimit Yandex shihte, por ato kanë ndryshuar;
historia e zvarritjes - numri i faqeve që zvarriti Yandex, duke marrë parasysh kodin e përgjigjes së serverit (200, 301, 404 dhe të tjerë).

Grafiku tregon faqe të reja (jeshile) dhe të ndryshuara (blu).

Dhe ky është grafiku i historisë së anashkalimit.

Ky artikull shfaq faqet që ka gjetur Yandex.

N/a - URL-ja nuk është e njohur për robotin, d.m.th. roboti nuk e kishte takuar kurrë më parë.

Cilat përfundime mund të nxirren nga ekrani:

Yandex nuk e gjeti adresën /xenforo/xenforostyles/, e cila, në fakt, është logjike, sepse kjo faqe nuk ekziston më.
Yandex gjeti adresën /bystrye-ssylki-v-yandex-webmaster/, e cila është gjithashtu mjaft logjike, sepse faqja eshte e re.

Pra, në rastin tim, Yandex Webmaster pasqyron atë që prisja të shihja: çfarë nuk është e nevojshme - Yandex u hoq dhe çfarë nevojitet - shtoi Yandex. Pra, me bypass-in gjithçka është në rregull me mua, nuk ka asnjë bllokim.

Faqet në kërkim

Rezultatet e kërkimit ndryshojnë vazhdimisht - faqe të reja shtohen, të vjetrat fshihen, pozicionet në rezultate rregullohen, etj.

Ju mund të përdorni informacionin në seksionin "Faqet në kërkim":

për të gjurmuar ndryshimet në numrin e faqeve në Yandex;
për të mbajtur gjurmët e faqeve të shtuara dhe të përjashtuara;
për të gjetur arsyet e përjashtimit të faqes nga rezultatet e kërkimit;
për të marrë informacion në lidhje me datën kur u vizitua siti nga një motor kërkimi;
për informacion rreth ndryshimeve në rezultatet e kërkimit.

Për të kontrolluar indeksimin e faqeve, nevojitet ky seksion. Këtu Yandex Webmaster tregon faqet e shtuara në rezultatet e kërkimit. Nëse të gjitha faqet tuaja shtohen në seksion (një e re do të shtohet brenda një jave), atëherë gjithçka është në rregull me faqet.

Kontrollimi i numrit të faqeve në indeksin Yandex duke përdorur operatorët

Përveç Yandex Webmaster, mund të kontrolloni indeksimin e faqeve duke përdorur operatorët direkt në vetë kërkimin.

Ne do të përdorim dy operatorë:

"faqe" - kërkoni nëpër të gjitha nëndomainët dhe faqet e sitit të specifikuar;
"host" - kërkoni nëpër faqet e vendosura në këtë host.

Le të përdorim operatorin "site". Vini re se nuk ka hapësirë midis operatorit dhe sajtit. 18 faqe janë në kërkimin Yandex.

Le të përdorim operatorin "host". 19 faqe të indeksuara nga Yandex.

Kontrollimi i indeksimit me shtojca dhe shtesa

Kontrolloni indeksimin e faqeve duke përdorur shërbimet

Ka shumë shërbime të tilla. Unë do t'ju tregoj dy.

Serfant

Serphunt është një shërbim i analizës së faqeve në internet. Ata kanë një mjet të dobishëm për të kontrolluar indeksimin e faqeve.

Në të njëjtën kohë, mund të kontrolloni deri në 100 faqe të faqes duke përdorur dy motorë kërkimi - Yandex dhe Google.

Klikoni "Filloni skanimin" dhe pas disa sekondash marrim rezultatin:

Çfarë është indeksimi? Ky është procesi i dërgimit të përmbajtjes së faqeve të faqes suaj në robot dhe përfshirjes së kësaj përmbajtje në rezultatet e kërkimit. Nëse i drejtohemi numrave, atëherë baza e të dhënave e robotit të indeksimit përmban triliona adresa faqesh faqesh. Çdo ditë roboti kërkon miliarda adresa të tilla.

Por i gjithë ky proces i madh i indeksimit të internetit mund të ndahet në hapa të vegjël:

Së pari, roboti indeksues duhet të dijë se kur është shfaqur një faqe në faqen tuaj. Për shembull, duke indeksuar faqe të tjera në internet, duke gjetur lidhje ose duke shkarkuar set nemp. Mësuam për faqen, pas së cilës planifikojmë të anashkalojmë këtë faqe, të dërgojmë të dhëna në serverin tuaj për të kërkuar këtë faqe të faqes, të marrim përmbajtjen dhe ta përfshijmë atë në rezultatet e kërkimit.

I gjithë ky proces është procesi i shkëmbimit të robotit të indeksimit me faqen tuaj. Nëse kërkesat e dërguara nga roboti indeksues praktikisht nuk ndryshojnë, dhe ndryshon vetëm adresa e faqes, atëherë përgjigja e serverit tuaj ndaj një kërkese të faqes nga roboti varet nga shumë faktorë:

nga cilësimet tuaja CMS;
nga cilësimet e ofruesit të pritjes;
nga puna e një ofruesi të ndërmjetëm.

Kjo përgjigje po ndryshon. Para së gjithash, kur kërkon një faqe, roboti merr përgjigjen e mëposhtme të shërbimit nga faqja juaj:

Këto janë titujt HTTP. Ato përmbajnë informacione të ndryshme shërbimi që i bëjnë të qartë robotit se çfarë përmbajtje do të transmetohet tani.

Unë dua të përqendrohem në kokën e parë - ky është një kod përgjigjeje HTTP që i tregon robotit të indeksimit statusin e faqes që roboti ka kërkuar.

Ekzistojnë disa dhjetëra statuse të tilla të kodeve HTTP:

Unë do të flas për më të njohurit. Kodi më i zakonshëm i përgjigjes është HTTP-200. Faqja është e disponueshme, mund të indeksohet, të përfshihet në rezultatet e kërkimit, gjithçka është në rregull.

E kundërta e këtij statusi është HTTP-404. Faqja mungon në sit, nuk ka asgjë për të indeksuar, nuk ka asgjë për të përfshirë as në kërkim. Kur ndryshoni strukturën e faqes dhe ndryshoni adresat e faqeve të brendshme, ju rekomandojmë të vendosni një server 301 për një ridrejtim. Thjesht ai do t'i tregojë robotit se faqja e vjetër është zhvendosur në një adresë të re dhe është e nevojshme të përfshihet adresa e re në rezultatet e kërkimit.

Nëse përmbajtja e faqes nuk ka ndryshuar që kur roboti e vizitoi për herë të fundit faqen, është më mirë të ktheni një kod HTTP-304. Roboti do të kuptojë se nuk është e nevojshme të përditësohet faqja në rezultatet e kërkimit dhe as përmbajtja nuk do të transferohet.

Kur faqja juaj është e disponueshme për një kohë të shkurtër, për shembull, kur bëni disa punë në server, është më mirë të konfiguroni HTTP-503. Ai do t'i tregojë robotit që faqja dhe serveri nuk janë të disponueshëm tani, duhet të shkoni pak më vonë. Në rast mosdisponueshmërie afatshkurtër, kjo do të parandalojë që faqet të përjashtohen nga rezultatet e kërkimit.

Përveç këtyre kodeve HTTP, statuseve të faqeve, ju gjithashtu duhet të merrni drejtpërdrejt përmbajtjen e vetë faqes. Nëse për një vizitor normal, faqja duket kështu:

këto janë fotografi, tekst, navigacion, gjithçka është shumë e bukur, atëherë për robotin indeksues çdo faqe është vetëm një grup kodi burimor, kodi HTML:

Etiketa të ndryshme meta, përmbajtje teksti, lidhje, skripta, shumë informacione. Roboti e mbledh atë dhe e përfshin në rezultatet e kërkimit. Duket se gjithçka është e thjeshtë, ata kërkuan një faqe - morën statusin, morën përmbajtjen, e përfshinë në kërkim.

Por nuk është më kot që shërbimi i kërkimit në Yandex merr më shumë se 500 letra nga webmasterët dhe pronarët e faqeve duke thënë se disa probleme lindën me përgjigjen e serverit.

Të gjitha këto probleme mund të ndahen në dy pjesë:

Këto janë probleme me kodin e përgjigjes HTTP dhe probleme me kodin HTML, me përmbajtjen e drejtpërdrejtë të faqeve. Mund të ketë shumë arsye për këto probleme. Më e zakonshme është bllokimi i robotit të indeksimit nga ofruesi i pritjes.

Për shembull, keni hapur një faqe interneti, keni shtuar një seksion të ri. Roboti fillon të vizitojë faqen tuaj më shpesh, rrit ngarkesën në server. Ofruesi i pritjes e sheh këtë në monitorimin e tyre, bllokon robotin e indeksimit dhe për këtë arsye roboti nuk mund të hyjë në faqen tuaj. Ju shkoni te burimi juaj - gjithçka është në rregull, gjithçka funksionon, faqet janë të bukura, gjithçka hapet, gjithçka është super, roboti nuk mund të indeksojë sitin në të njëjtën kohë. Nëse faqja është përkohësisht e padisponueshme, për shembull, nëse keni harruar të paguani për emrin e domenit, faqja çaktivizohet për disa ditë. Roboti vjen në sit, nuk është i disponueshëm, në kushte të tilla mund të zhduket nga rezultatet e kërkimit fjalë për fjalë pas një kohe.

Cilësimet e pasakta të CMS, për shembull, kur përditësoni ose kaloni në një CMS tjetër, kur përditësoni dizajnin, gjithashtu mund të shkaktojnë që faqet e faqes tuaj të zhduken nga rezultatet e kërkimit nëse cilësimet janë të pasakta. Për shembull, prania e një etikete meta ndaluese në kodin burimor të faqeve të faqes, vendosja e gabuar e atributit kanonik. Kontrolloni që pas të gjitha ndryshimeve që bëni në sajt, faqet të jenë të disponueshme për robotin.

Mjeti në Yandex do t'ju ndihmojë me këtë. Webmaster për kontrollimin e përgjigjes së serverit:

Ju mund të shihni se cilat tituj HTTP i kthen serveri juaj robotit, drejtpërdrejt përmbajtjen e faqeve.

Seksioni "indeksimi" përmban statistika, ku mund të shihni se cilat faqe janë përjashtuar, dinamikën e ndryshimeve në këta tregues dhe të bëni klasifikime dhe filtrim të ndryshëm.

Gjithashtu, sot fola për këtë seksion, seksionin "diagnostika e faqes". Nëse faqja juaj është bërë e padisponueshme për robotin, do të merrni një njoftim dhe rekomandime. Si mund të korrigjohet kjo? Nëse nuk ka probleme të tilla, faqja është e disponueshme, i përgjigjet kodeve-200, përmban përmbajtje të saktë, atëherë roboti fillon të vizitojë automatikisht të gjitha faqet që njeh. Kjo jo gjithmonë çon në pasojat e dëshiruara, kështu që aktiviteti i robotit mund të kufizohet në një mënyrë të caktuar. Ekziston një skedar robots.txt për këtë. Ne do të flasim për të në pjesën tjetër.

Robotët.txt

Skedari robots.txt në vetvete është një dokument i vogël teksti, ai shtrihet në dosjen rrënjë të faqes dhe përmban rregulla strikte për robotin e indeksimit që duhet të ndiqen kur zvarritet siti. Përparësitë e skedarit robots.txt janë se nuk kërkon njohuri të veçanta dhe të veçanta për ta përdorur atë.

Mjafton të hapni Notepad, të futni disa rregulla të formatit dhe më pas thjesht ta ruani skedarin në server. Gjatë ditës, roboti fillon të përdorë këto rregulla.

Nëse marrim një shembull të një skedari të thjeshtë robots.txt, ja ku është, vetëm në rrëshqitjen tjetër:

Direktiva User-Agent:” tregon se për cilët robotë është menduar rregulli, direktivat e lejimit/refuzimit dhe direktivat ndihmëse të Hartës së Faqes dhe Host. Pak teori, dua të kaloj në praktikë.

Disa muaj më parë, doja të blija një hapamatës, kështu që iu drejtova Yandex. Tregoni për ndihmë me zgjedhjen. U zhvendos nga faqja kryesore e Yandex në Yandex. Trego dhe arritëm në faqen kryesore të shërbimit.

Më poshtë shihni adresën e faqes ku shkova. Në adresën e vetë shërbimit u shtua edhe identifikuesi im, si përdorues i faqes.

Pastaj shkova në seksionin "katalog".

Zgjodhi nënseksionin e dëshiruar dhe konfiguroi opsionet e renditjes, çmimin, filtrin, mënyrën e renditjes, prodhuesin.

Kam marrë një listë produktesh dhe adresa e faqes tashmë është rritur.

Shkova te produkti i dëshiruar, klikova në butonin “Shto në Shportë” dhe vazhdova me arkën.

Gjatë udhëtimit tim të shkurtër, adresat e faqeve ndryshuan në një mënyrë të caktuar.

Atyre u shtuan parametrat e shërbimit, të cilët më identifikuan si përdorues, konfiguruan renditjen, i treguan pronarit të faqes nga ku shkova në këtë ose atë faqe të faqes.

Faqe të tilla, faqe shërbimi, mendoj se nuk do të jenë me shumë interes për përdoruesit e motorëve të kërkimit. Por nëse ato janë të disponueshme për robotin e indeksimit, ata mund të futen në kërkim, sepse roboti sillet, në fakt, si një përdorues.

Ai shkon në një faqe, sheh një lidhje që mund të klikoni, shkon tek ajo, ngarkon të dhënat në bazën e të dhënave të robotit të tij dhe vazhdon të anashkalojë të gjithë faqen. E njëjta kategori adresash të tilla mund të përfshijë gjithashtu të dhëna personale të përdoruesve, për shembull, të tilla si informacioni i dorëzimit ose informacioni i kontaktit të përdoruesve.

Natyrisht, është më mirë t'i ndaloni ato. Vetëm për këtë, skedari robots.txt do t'ju ndihmojë. Mund të vini në faqen tuaj sonte pas përfundimit të Webmaster-it, klikoni, shikoni se cilat faqe janë vërtet të disponueshme.

Për të kontrolluar robots.txt, ekziston një mjet i veçantë në Webmaster:

Mund të shkarkoni, të futni adresat e faqeve, të shihni nëse ato janë të disponueshme për robotin apo jo.

Bëni disa ndryshime, shikoni se si roboti reagon ndaj këtyre ndryshimeve.

Gabime gjatë punës me robots.txt

Përveç një ndikimi kaq pozitiv - mbyllja e faqeve të shërbimit, robots.txt, nëse keqpërdoret, mund të luajë një shaka mizore.

Së pari, problemi më i zakonshëm kur përdorni robots.txt është mbyllja e faqeve të faqes që janë vërtet të nevojshme, ato që duhet të jenë në kërkim dhe të shfaqen në kërkesa. Përpara se të bëni ndryshime në robots.txt, sigurohuni që të kontrolloni nëse faqja që dëshironi të mbyllni nuk po merr pjesë, nëse shfaqet për pyetje në kërkim. Ndoshta një faqe me disa parametra është në rezultatet e kërkimit dhe vizitorët vijnë në të nga kërkimi. Prandaj, sigurohuni që të kontrolloni përpara se të përdorni dhe bëni ndryshime në robots.txt.

Së dyti, nëse adresat cirilike përdoren në faqen tuaj, nuk do të jeni në gjendje t'i specifikoni ato drejtpërdrejt në robots.txt, ato duhet të jenë të koduara. Meqenëse robots.txt është një standard ndërkombëtar, të gjithë robotët e indeksimit e ndjekin atë, ata patjetër do të duhet të kodohen. Alfabeti cirilik nuk mund të specifikohet në mënyrë eksplicite.

Problemi i tretë më i popullarizuar janë rregulla të ndryshme për robotë të ndryshëm të motorëve të ndryshëm të kërkimit. Për një robot indeksues, të gjitha faqet e indeksimit u mbyllën, për të dytin, asgjë nuk u mbyll fare. Si rezultat i kësaj, gjithçka është në rregull në një motor kërkimi, faqja që ju nevojitet është në kërkim, dhe në një motor tjetër kërkimi mund të ketë mbeturina, faqe të ndryshme mbeturinash, diçka tjetër. Sigurohuni që të ndiqni nëse vendosni një ndalim, ai duhet të bëhet për të gjithë robotët e indeksimit.

Problemi i katërt më i zakonshëm është përdorimi i direktivës Crawl-delay kur nuk është e nevojshme. Kjo direktivë ju lejon të ndikoni në pastërtinë e pyetjeve nga ana e robotit të indeksimit. Ky është një shembull praktik, një faqe e vogël, e vendosur në një host të vogël, gjithçka është në rregull. Ata shtuan një katalog të madh, roboti erdhi, pa një mori faqesh të reja, fillon të vizitojë më shpesh sitin, rrit ngarkesën, e shkarkon dhe faqja bëhet e padisponueshme. Ne vendosëm direktivën Crawl-delay, roboti e sheh këtë, zvogëlon ngarkesën, gjithçka është në rregull, faqja funksionon, gjithçka është indeksuar në mënyrë perfekte, është në rezultatet e kërkimit. Pas ca kohësh, faqja rritet edhe më shumë, transferohet në një host të ri që është gati për t'u përballur me këto kërkesa, me një numër të madh kërkesash dhe direktiva Crawl-delay harrohet të hiqet. Si rezultat, roboti kupton që shumë faqe janë shfaqur në faqen tuaj, por nuk mund t'i indeksojë ato thjesht për shkak të grupit të direktivave. Nëse e keni përdorur ndonjëherë direktivën e vonesës së zvarritjes, kontrolloni që ajo është zhdukur tani dhe nëse shërbimi juaj është gati për të përballuar ngarkesën nga roboti i indeksimit.

Përveç funksionalitetit të përshkruar, skedari robots.txt ju lejon gjithashtu të zgjidhni dy detyra shumë të rëndësishme - të hiqni qafe dublikatat në sit dhe të specifikoni adresën e pasqyrës kryesore. Kjo është pikërisht ajo për të cilën do të flasim në pjesën tjetër.

Dyshe

Me dublikatë, nënkuptojmë disa faqe të së njëjtës faqe që përmbajnë përmbajtje absolutisht identike. Shembulli më i zakonshëm janë faqet me dhe pa një të pjerrët në fund të adresës. Gjithashtu, një dublikatë mund të kuptohet si i njëjti produkt në kategori të ndryshme.

Për shembull, patina me rul mund të jetë për vajzat, për djemtë, i njëjti model mund të jetë në dy seksione në të njëjtën kohë. Dhe, së treti, këto janë faqe me një parametër të parëndësishëm. Si në shembullin me Yandex. Tregojeni këtë faqe "identifikues sesioni", ky parametër nuk e ndryshon përmbajtjen e faqes në parim.

Për të zbuluar dublikatat, shikoni se cilat faqe i qaset robotit, mund të përdorni Yandex. Webmaster.

Përveç statistikave, ka edhe adresa të faqeve që roboti ka ngarkuar. Ju shikoni kodin dhe thirrjen e fundit.

Problemi i shkaktuar nga dublikatat

Pse dublikatat janë të këqija?

Së pari, roboti fillon të hyjë në faqe absolutisht identike të faqes, gjë që krijon një ngarkesë shtesë jo vetëm në serverin tuaj, por gjithashtu ndikon në anashkalimin e faqes në tërësi. Roboti fillon t'i kushtojë vëmendje faqeve të kopjuara, dhe jo atyre faqeve që duhet të indeksohen dhe përfshihen në rezultatet e kërkimit.

Problemi i dytë është se faqet e kopjuara, nëse janë të disponueshme për robotin, mund të futen në rezultatet e kërkimit dhe të konkurrojnë me faqet kryesore për pyetje, gjë që, natyrisht, mund të ndikojë negativisht në faqen që gjendet për pyetje të caktuara.

Si mund të merreni me dublikatat?

Para së gjithash, ju këshilloj të përdorni etiketën "kanonike". në mënyrë që të drejtojë robotin në faqen kryesore, kanonike, e cila duhet të indeksohet dhe të jetë në kërkimin e pyetjeve.

Në rastin e dytë, mund të përdorni ridrejtimet e serverit 301, për shembull, për situata me një pjerrësi në fund të adresës dhe pa një pjerrësi. Instaluar një ridrejtim - nuk ka dublikatë.

Dhe së treti, siç thashë, ky është skedari robots.txt. Ju mund të përdorni të dyja direktivat e çaktivizimit dhe direktivën Clean-param për të hequr qafe parametrat e parëndësishëm.

Pasqyrat e faqes

Detyra e dytë që robots.txt ju lejon të zgjidhni është të drejtoni robotin në adresën e pasqyrës kryesore.

Pasqyrat janë një grup faqesh që janë absolutisht identike, si dublikatat, vetëm dy faqe të ndryshme. Webmasterët zakonisht ndeshen me pasqyra në dy raste - kur duan të kalojnë në një domen të ri, ose kur një përdorues duhet të vërë në dispozicion disa adresa faqesh.

Për shembull, ju e dini se përdoruesit, kur shkruajnë adresën tuaj, adresën e faqes tuaj në shiritin e adresave, shpesh bëjnë të njëjtin gabim - ata shkruajnë gabim, vendosin karakterin e gabuar ose diçka tjetër. Ju mund të blini një domen shtesë në mënyrë që t'u tregoni përdoruesve jo një cung nga një ofrues pritës, por t'u tregoni sitit në të cilin dëshironin vërtet të shkonin.

Le të ndalemi në pikën e parë, sepse është me të që problemet lindin më shpesh kur punoni me pasqyra.

Ju këshilloj të kryeni të gjithë procesin e lëvizjes sipas udhëzimeve të mëposhtme. Një udhëzim i vogël që do t'ju lejojë të shmangni probleme të ndryshme kur kaloni në një emër të ri domain:

Së pari, ju duhet t'i bëni faqet e aksesueshme për robotin e indeksimit dhe të vendosni përmbajtje absolutisht identike në to. Sigurohuni gjithashtu që roboti të dijë për ekzistencën e vendeve. Mënyra më e lehtë është t'i shtoni ato në Yandex. Webmaster dhe konfirmoni të drejtat për to.

Së dyti, duke përdorur direktivën Host, drejtojeni robotin në adresën e pasqyrës kryesore - ajo që duhet të indeksohet dhe të jetë në rezultatet e kërkimit.

Ne jemi në pritje të ngjitjes dhe transferimit të të gjithë treguesve nga siti i vjetër në atë të ri.

Pas kësaj, tashmë mund të vendosni një ridrejtim nga adresa e vjetër në atë të re. Udhëzime të thjeshta, nëse jeni duke lëvizur, sigurohuni që ta përdorni. Shpresoj që të mos ketë probleme me
duke lëvizur.

Por, sigurisht, gabimet ndodhin kur punoni me pasqyra.

Para së gjithash, problemi kryesor është mungesa e udhëzimeve të qarta për robotin indeksues në adresën e pasqyrës kryesore, adresën që duhet të jetë në kërkim. Kontrolloni në sajtet tuaja që ato kanë një direktivë pritës në robots.txt dhe kjo të çon në adresën që dëshironi të shihni në kërkim.

Problemi i dytë më i zakonshëm është përdorimi i një ridrejtimi për të ndryshuar pasqyrën kryesore në një grup ekzistues pasqyrash. Cfare po ndodh? Adresa e vjetër, meqenëse ridrejton, nuk indeksohet nga roboti, ajo përjashtohet nga rezultatet e kërkimit. Në të njëjtën kohë, faqja e re nuk futet në kërkim, sepse është një pasqyrë jo kryesore. Po humbisni trafikun, po humbisni vizitorë, mendoj se askush nuk ka nevojë për të.

Dhe problemi i tretë është paarritshmëria e njërës prej pasqyrave kur lëviz. Shembulli më i zakonshëm në këtë situatë është kur përmbajtja e faqes u kopjua në një adresë të re, dhe adresa e vjetër thjesht u çaktivizua, emri i domenit nuk u pagua dhe u bë i padisponueshëm. Natyrisht, faqe të tilla nuk do të ngjiten, ato duhet të jenë të disponueshme për robotin e indeksimit.

Lidhje të dobishme në veprim:

Do të gjeni më shumë informacione të dobishme në shërbimin Yandex.Help.
Të gjitha mjetet për të cilat fola dhe madje edhe më shumë - ekziston një version beta i Yandex.Webmaster.

Përgjigjet në pyetje

Faleminderit për raportin. A duhet të mbyll indeksimin e skedarëve CSS për robotin në robots.txt apo jo?

Për momentin, ne nuk rekomandojmë mbylljen e tyre. Po, është më mirë të lini CSS, JavaScript, sepse tani po punojmë që roboti indeksues të njohë si skriptet në faqen tuaj ashtu edhe stilet, ta shohë atë si një vizitor nga një shfletues i rregullt.

“Më thuaj, nëse url-at e adresave të faqes janë të njëjta, për të vjetrat dhe për të rejat, a është kjo normale?”.

është në rregull. Në fakt, ju vetëm duhet të përditësoni dizajnin, të shtoni disa përmbajtje.

“Sajti ka një kategori dhe përbëhet nga disa faqe: p.sh., slash, faqe1, faqe2, deri në 10. Të gjitha faqet kanë një tekst të një kategorie dhe rezulton të jetë dublikatë. A do të jetë ky tekst një dublikatë apo duhet mbyllur disi, një indeks i ri në faqet e dyta dhe të tjera?

Para së gjithash, meqenëse faqet në faqen e parë dhe përmbajtja në faqen e dytë janë përgjithësisht të ndryshme, ato nuk do të jenë dublikatë. Por ju duhet të llogaritni që faqet e dyta, të treta dhe faqet e tjera të faqes mund të futen në kërkim dhe të shfaqen në çdo kërkesë përkatëse. Më mirë në faqet e faqes, unë do të rekomandoja përdorimin e atributit kanonik, në rastin më të mirë, në faqen që përmban të gjitha produktet, në mënyrë që roboti të mos përfshijë faqet e faqes në kërkim. Njerëzit shumë shpesh përdorin kanonik në faqen e parë të faqes. Roboti vjen në faqen e dytë, sheh produktin, sheh tekstin, nuk përfshin faqe në kërkim dhe kupton për shkak të atributit që është faqja e parë e faqes që duhet të përfshihet në rezultatet e kërkimit. Përdor kanonike dhe mbylle vetë tekstin, mendoj se nuk është e nevojshme.

Burimi (video): Si të vendosni indeksimin e faqes- Aleksandër Smirnov

Magomed Cherbizhev