Először döntsd el, hogy az adott oldal nyilvános, kereshető tartalom, keresőből kihagyandó segédoldal vagy belépéshez kötött adat. Ebből következik, mely hozzáférési és indexelési feltételeket kell vizsgálnod. A robots.txt, a sitemap és a noindex eltérő lépésben vesz részt.
A robots.txt-generátor és a sitemap-generátor eltérő feladatot támogat. A generált állományok megléte nem bizonyítja a helyes működést. Az alábbi ellenőrzési rend a konkrét URL szerepéből indul, és kerüli a hasznos nyilvános tartalom indokolatlan tiltását.
A nyilvános kalkulátor példája
Legyen egy nyilvános, érdemi magyarázattal és működő eszközzel rendelkező oldalad. A cél, hogy a látogató keresőből is megtalálhassa. Az oldalnak hozzáférhetőnek kell lennie, és nem szabad véletlen noindex utasítást adnia.
A sitemap felsorolhatja ezt a kanonikus címet, segítve a felfedezését. A belső navigációban is legyen valódi hivatkozás rá. A sitemap-bejegyzés ugyanakkor nem garantál indexelést vagy meghatározott helyezést. A tartalom és a technikai állapot külön vizsgálatot igényel.
Egy szerkesztési ellenőrzőlapon szerepeljen a cél-URL, HTTP-válasz, kanonikus cím, robots szabály és indexelési utasítás. Így egy későbbi beállításmódosítás után pontosan látható, melyik feltétel változott.
Mit csinál a robots.txt?
A robots.txt a robotok feltérképezési hozzáférését szabályozza az érintett útvonalakon. Nem biztonsági hozzáférésvédelem, és a tiltott URL más hivatkozásokból továbbra is ismertté válhat. Privát adatok védelméhez hitelesítés és megfelelő szerveroldali jogosultságkezelés szükséges.
Az általános tiltás különösen kockázatos, ha olyan erőforrásokat vagy oldalakat érint, amelyek szükségesek a nyilvános tartalom megértéséhez. Egyetlen széles útvonalminta helyett először pontosan sorold fel, mely típusokat akarod kezelni.
A kézzel megadott szabályt a webhely valódi elérési útjaival teszteld. Egy adminmappa neve más alkalmazásban nyilvános tartalmi kategória is lehet, ezért a másolt szabályokat nem indokolt ellenőrzés nélkül alkalmazni.
A noindex feltétele
A noindex indexelési utasítás, amelyet a keresőnek meg kell tudnia olvasni az oldal válaszából. Ha a robots.txt közben elzárja az URL feltérképezését, a Googlebot nem tudja az oldal válaszából leolvasni az új noindex utasítást. A két beállítás összekapcsolása ezért tudatos döntést igényel.
Egy személyes eredményoldalnál először az adatvédelmi szerepet tisztázd. Ha a tartalom privát, a noindex nem helyettesíti a belépést. Ha nyilvános, de önálló keresési megjelenést nem kívánó segédoldal, más kezelés lehet indokolt. A döntést az oldal feladata alapján dokumentáld.
Egyszerű ellenőrzési mátrix
| Oldaltípus | Látogatói cél | Első ellenőrzés |
|---|---|---|
| Nyilvános kalkulátor | Kereshető, használható eszköz | Elérhetőség, véletlen tiltások hiánya |
| Belépéses ügyféladat | Jogosult felhasználó kiszolgálása | Hitelesítés és jogosultság |
| Ugyanazon oldal paraméteres másolata | Azonos tartalom követési paraméterrel | Kanonikus kapcsolat és mérés |
| Végleg megszűnt, helyettesítő nélküli oldal | Korrekt megszűnés jelzése | Megfelelő HTTP-válasz |
A táblázat munkalap, nem teljes webhelyre másolható konfiguráció. Például a paraméteres cím mögött valóban más termékválasztás is lehet, amelyet külön kell értékelni.
Módosítás utáni bizonyíték
A konfiguráció elmentése után kérd le újra az érintett URL tényleges válaszát. A forrásfájlban látott beállítás eltérhet a gyorsítótárból vagy más kiszolgálási rétegből érkező tartalomtól. Jegyezd fel a vizsgálat idejét és azt, melyik választ ellenőrizted.
A sitemap ne tartalmazzon tudatosan hibás, átirányított vagy privát címlistát. A webhelyen használt kanonikus címekkel legyen következetes. A változás keresőoldali feldolgozását külön ellenőrizd; a szerveroldali javítás és a kereső indexének frissülése eltérő esemény.
A noindex beállítása és leolvashatósága két külön adat
Egy kitalált ellenőrzésben száz URL-ből kilencven nyilvános, kereshető oldal. Hat további, szintén nyilvános segédoldal elérhető a Googlebot számára, és a válaszában noindex szerepel. Négy másik segédoldalt a robots.txt blokkol, miközben a szerkesztő azok sablonjában is noindexet állított be.
Itt tíz sablonhoz írtak noindexet, de a leírt hozzáférési feltételek mellett csak hat URL válaszából tudja azt a robot leolvasni. A négy blokkolt URL-ről a sablon megtekintése alapján nem igazolt a keresőből történő eltávolítás. A robots.txt tiltása mellett az új utasítást a Googlebot nem tudja az oldalról feldolgozni.
Ha ez a négy oldal valóban nyilvános segédtartalom, a hozzáférés és a noindex összhangját kell helyreállítani, majd a kereső későbbi feldolgozását ellenőrizni. Ha bármelyik bizalmas adatot szolgál ki, a hitelesítés a megfelelő feladat. A sitemapből törlés egyik esetben sem bizonyítja önmagában az indexből eltűnést. A száz URL száma ellenőrzési példa; a kilencven kereshető oldal tényleges indexelését sem garantálja.
Gyakori kérdések
A robots.txt elrejti az admin jelszavát?
Nem jogosultságkezelő eszköz. Titkot vagy védendő adatot megfelelő hitelesítés nélkül nem szabad nyilvánosan kiszolgálni.
A sitemap-be tett oldal biztosan indexbe kerül?
A sitemap felfedezési segítség és jelzés. Indexelési garanciát nem ad.
Minden paraméteres URL legyen noindex?
A paraméter funkcióját előbb meg kell vizsgálni. Követési változat és önállóan hasznos tartalom eltérő döntést igényel.
Módszertani forrás
Google Search Central – A robots.txt feladata
Google Search Central – noindex és feltérképezés
Google Search Central – Webhelytérképek
Záró tudáspróba
Válassz kérdésenként egy választ, és jegyezd fel a betűjelét. Minden helyes válasz 1 pont; a hibás, kihagyott vagy több betűvel jelölt válasz 0 pont. Legfeljebb 3 pontot szerezhetsz. A megoldókulcsot a válaszadás után olvasd el.
1. Hat noindexes oldal feltérképezhető, négy további noindexes sablon URL-je robots.txt-vel blokkolt. Hány oldal válaszából olvasható le a leírt helyzetben az utasítás?
- A) Tíz.
- B) Hat.
- C) Négy.
2. A blokkolt URL bizalmas ügyféladatot tartalmaz. Mi a megfelelő védelem?
- A) Szerveroldali hitelesítés és jogosultságkezelés.
- B) A noindex szó hozzáadása a robots.txt fájlhoz.
- C) Csak a sitemapből törlés.
3. Egy nyilvános segédoldalt kivettél a sitemapből. Biztos, hogy eltűnt a keresőből?
- A) Igen, azonnal.
- B) Nem; a sitemapből kihagyás önmagában nem eltávolítási utasítás.
- C) Igen, ha a fájl kevesebb sort tartalmaz.
Megoldókulcs és értelmezés
1. B. A hat hozzáférhető válaszból leolvasható az utasítás. A négy blokkolt URL új noindexét a robot nem tudja így megismerni.
2. A. Az indexelési és feltérképezési jelzések nem korlátozzák a jogosulatlan látogató hozzáférését.
3. B. A felfedezési lista és az indexelési állapot különbözik. A tényleges választ és a későbbi keresőfeldolgozást kell ellenőrizni.
0–1 pont: A hat hozzáférhető és négy blokkolt oldal példáján válaszd külön a beállított utasítást, annak leolvashatóságát és a tényleges indexállapotot.
2 pont: A hibás vagy kihagyott válasz magyarázata alapján keresd vissza a kapcsolódó számítást, majd oldd meg újra azt a kérdést.
3 pont: A három feladatban helyesen alkalmaztad a cikk összefüggéseit. Az URL-ellenőrző tábládban a sablonbeállítás mellé vedd fel a kiszolgált válasz és a feltérképezhetőség külön eredményét. A rövid próba csak ezeket a tanulságokat ellenőrzi.