Wyobraź sobie bibliotekę – największą na świecie, która zarządzana jest przez tylko kilkoro ludzi, ale władze mają małe roboty – pająki. Pająki te bezustannie dokonują klasyfikacji i zapisują zawartość każdej książki, każdy rozdział, każde słowo w nich zapisane oraz poszukują nowych książek i dodają je do szaf katalogowych oraz niekończącego się dokumentu. Biblioteka ta z godziny na godzinę powiększa się – nie ma limitu wielkości, rośnie i pracuje całą dobę bezustannie.
Być może brzmi to jak fikcja, ale tak się dzieje codziennie – bo czym innym jest Google?
To wielka biblioteka – książki to strony internetowe, sklepy i blogi, a niekończący się dokument to indeks wyszukiwarki, do którego uzyskujesz dostęp za każdym razem kiedy wpisujesz cokolwiek w dowolną wyszukiwarkę.
Rok temu – w listopadzie – Google miało zarejestrowanych w indeksie ponad 130 bilionów indywidualnych stron [s].
Czym jest Googlebot?
Googlebot to nazwa nadana tym „robotom – pająkom”. Każda wyszukiwarka ma własne mechanizmy indeksowania, a więc Googlebot jest dostępny tylko i wyłącznie dla Google.
Praca tych bardzo pilnych pająków polega na śledzeniu aktualizacji istniejących stron oraz znajdowaniu nowych – celem ich klasyfikacji i wpisania do indeksu.
To, że Twoja strona jest zarejestrowana w tym indeksie – jest pierwszym krokiem do zbudowania marki w sieci i pozwala na rozpoczęcie procesu pozycjonowania.
Podstawowe pojęcia
Postaram się pisać najprościej jak tylko to możliwe, aby każdy mógł to zrozumieć i nie musieć zagłębiać się w techniczną papkę :) Klikając w [s] możesz przejść do zewnętrznych stron, które szerzej omawiają dany temat lub są źródłem podanej informacji.
Indeksowanie
W języku angielskim słowo „crawl” odnosi się do powolnego ruchu, którym poruszają się niektóre owady (Crawl – pol. czołgać się / pełzać). W kontekście wyszukiwarek – indeksowanie to proces przeprowadzany przez wyszukiwarki w celu identyfikacji i klasyfikacji stron internetowych.
W odniesieniu do tego to dość ironiczne – ponieważ roboty wyszukiwarek wcale nie są takie wolne. Indeksowanie odbywa się okresowo – sprawdzane są aktualizacje już istniejącej treści, przestarzałych linków – robot odwiedza też stronę, jeżeli natrafi na link do niej w internecie.
Indeks
Inaczej spis treści. Gdy tylko robot odwiedza Twoją stronę indeksuje ją, czyli zapisuje ją do spisu treści wyszukiwarki. Za każdym razem kiedy wyszukujesz czegokolwiek, wyszukiwarka odnajduje te informacje w indeksie, a następnie nadaje im pozycje – kolejność w jakiej widzisz wyniki, a ją z kolei określa swoimi algorytmami.
Algorytmy wyszukiwania
Istnieje ponad 200 znanych lub prawdopodobnych czynników, które wypływają na pozycje Twojej strony w wyszukiwarce Google [s], lecz każda wyszukiwarka ma własne – poza nielicznymi osobami na ziemi nikt inny nie zna wszystkich.
Algorytmy określają pozycje danej strony w odniesieniu do konkretnego wyszukiwania, podobnie jak w bibliotece – potrzebujesz jedną lub kilka książek, aby zgłębić dany temat lub szukasz czegoś konkretnego.
Algorytm stara się dać Tobie na pierwszym miejscu wynik, który będzie najbardziej odpowiedni dla wyszukiwanego przez Ciebie hasła.
Mapa witryny
To plik w formacie XML, zawierający spis wszystkich Twoich podstron i treści dostępnych na stronie. Plik ten znajduje się na serwerze i ułatwia pracę pająkom.
Mapa witryny (ang. Sitemap) zawiera też informacje o typie treści, częstotliwości aktualizacji oraz znaczeniu na stronie, której dotyczy.
Jak działa Googlebot?
Proces indeksowania rozpoczyna się od adresów stron internetowych odwiedzanych w przeszłości i map witryn dostarczonych przez webmasterów. Podczas gdy te małe roboty przechodzą przez witryny, używają linków na nich zawartych, aby odkryć inne. W ten sposób identyfikują nowe strony, zmiany i nieaktualne linki oraz wykorzystują te informacje do aktualizacji indeksu wyszukiwarki.
Za każdym razem, gdy Googlebot odnajdzie nową stronę, analizuje jej treść, indeksuje ją i umieszcza na swojej trasie, aby okresowo ją odwiedzać. Oprócz stron internetowych Googlebot może indeksować m.in. zdjęcia, dokumenty czy filmy.
Dwa typy Googlebota:
Freshbot
Ten robot specjalizuje się w wyszukiwaniu i indeksowaniu nowej treści oraz wytrwale odwiedza często aktualizowane witryny np. serwisy z wiadomościami czy blogi.
Deepbot
Odnajduje strony poprzez odnośniki – odkrywa, zapisuje i analizuje, a następnie udostępnia do użycia w wyszukiwarce.
Pajączku – chodź do tatusia
Jeżeli teraz zadajesz sobie pytanie – Jak sprawić, aby google odnalazł i często zaglądał na moją stronę?…
… poniżej kilka wskazówek:
- Twórz świeże i wysokiej jakości treści,
- Aktualizuj je i dbaj o ich aktualność,
- Dodaj linki do swoich profili w sieciach społecznościowych,
- Zdobywaj wartościowe linki – poniżej link do artykułu, który pokazuje proste metody ich zdobycia
- Utwórz łatwą i przejrzystą nawigację,
- Pod żadnych pozorem nie używaj Flasha czy innych nie wspieranych przez wyszukiwarki technologii,
- Utwórz mapę witryny lub poproś o jej stworzenie,
- Stworzoną wcześniej mapę zgłoś w Narzędziach Google dla Webmasterów,
- Zadbaj o stronę techniczną strony – m.in. optymalizacja prędkości i wyświetlania strony na komputerach i urządzeniach mobilnych,
- Użyj pliku robots.txt – ten plik służy do blokowania stron lub całych sekcji, które nie mają być indeksowane – nie każda wyszukiwarka to respektuje, jednak warto o tym pamiętać,
Aby sprawdzić kiedy Googlebot ostatnio Ciebie odwiedził sprawdź kopie swojej strony w wyszukiwarce – klikając w niebieski trójkącik i kliknąć w opcje „kopia” ewentualnie użyć komendę „cache:adres.pl”.
Ostatnie kilka słów
Użytkownik jest najważniejszy – nie możesz o tym zapomnieć. Wszystko musi być dla niego – od zawartości po nawigację.