Indeksowanie jest to proces analizy zawartości witryn internetowych polegający na zbieraniu i przechowywaniu informacji o nich w bazie danych. Stworzenie takiej bazy danych pozwala na bardziej efektywne wyszukiwanie i szybszą kontrolę treści w przyszłości.
Przy pomocy wtyczki Litespeed Cache masz możliwość uruchomienia wewnętrznego robota indeksującego, który również na poziomie wewnętrznym sprawi, że strony twojego serwisu WWW, będą trafiały do cache szybciej.
Uwaga! Domyślnie robot indeksujący / crawler nie jest dostępny. Jeśli życzysz sobie go uruchomić, skontaktuj się z obsługą klienta poprzez Helpdesk 24h dostępny w dPanelu.
Pamiętaj, że uruchomienie robota indeksującego spowoduje zwiększenie zużycia zasobów. Dlatego zalecamy aktywację mając uruchomioną opcję elastycznego skalowania.
Spis treści
Gdzie znajdziesz ustawienia robota indeksującego?
Po zalogowaniu się do zaplecza WordPress, w menu po lewej stronie przejdź do sekcji Litespeed Cache i tam wybierz pozycję Robot indeksujący.
W naszym artykule omówimy ustawienia dostępne pod zakładką General Settings czyli ustawienia ogólne.
Opóźnienie
Crawler, przeglądając naszą witrynę, wysyła w tle żądania – jedna podstrona po drugiej. Może to spowodować duże obciążenie serwera, jeśli odstępy między tymi żądaniami są zbyt krótkie.
Ustawienie opóźnienia spowoduje, że robot LSCache będzie wiedział, jak często może wysyłać żądania. Domyślną wartością w tym przypadku jest 10 000 mikrosekund (czyli 0,01 sekundy). Możemy ją dowolnie zwiększyć, aby zmniejszyć obciążenie, ale wtedy automatycznie zwiększy się czas indeksowania.
Czas uruchomienia
Aby zapobiec zawieszaniu się serwera podczas skanowania witryny, możemy ograniczyć czas trwania indeksowania. Na przykład, jeśli ustawimy czas działania na 60 sekund, robot będzie przeszukiwał witrynę przez 1 minutę, zanim zrobi sobie przerwę.
Po przerwie, która jest określona przez inne ustawienie (np. Odstęp między kolejnymi uruchomieniami), robot rozpocznie ponownie skanowanie dokładnie w miejscu, w którym zakończył je przed przerwą. Takie przerwy będą kontynuowane do momentu przeskanowania całego obszaru.
Interwał miedzy uruchomieniami
Interwał zdefiniowany w tym polu określa długość interwału, o którym wspomnieliśmy powyżej. Jeśli ustawimy wartość 120 sekund, indeksowanie witryny przez robota zostanie wstrzymane na 2 minuty po każdym 1-minutowym interwale.
Interwał robota indeksującego
Po przeskanowaniu wszystkich stron w witrynie robot indeksujący zostaje zatrzymany. Interwał robota indeksującego określa czas potrzebny na ponowne rozpoczęcie skanowania przez robota.
Wątki
Liczba wątków określa, ile oddzielnych procesów indeksowania odbywa się jednocześnie. Jeśli wybierzemy wartość 4 wątków, robot będzie działał z “4 razy większą mocą”. Im więcej wątków, tym szybciej nasza witryna zostanie zaindeksowana. Wadą tego rozwiązania jest większe obciążenie serwera.
Timeout
Timeout określa jak długo robot ma oczekiwać na załadowanie się poszczególnych stron, które podlegają jego indeksowaniu. 30 sekund jest wartością domyślną i sugerowaną w tym przypadku.
Limit obciążenia serwera
Ustawienie limitu obciążenia serwera jest zabezpieczeniem przed ewentualną awarią lub zawieszeniem serwera. Dzięki niemu mamy pewność, że robot nie będzie wykorzystywał wszystkich zasobów systemowych.
Po osiągnięciu limitu obciążenia, czyli maksymalnej liczby procesów, proces indeksowania zostanie zatrzymany. Ustawienie to jest zależne od obciążenia serwera linuksowego. Serwer w stanie bezczynności ma obciążenie równe “0”, gdy każdy kolejny uruchomiony proces korzystający z zasobów procesora dodaje “1”.
