YetiBOT to prosty robot internetowy, którego zadaniem jest dotarcie w każdy możliwy zakątek naszego krajowego internetu. Został on stworzony przez grupę osób, z czystej nieprzymuszonej ciekawości.
Kilka faktów technicznych:
- przestrzega reguł zapisanych w robots.txt (reaguje na YetiBOT)
- każdy adres odwiedzany jest nie cześciej niż raz na 20 dni
- odwiedzana jest tylko strona główna i podstrony które są na niej zlinkowane
- linki nie są wywoływane częściej niż raz na sekundę
- strony i podstrony są analizowane pod kątem linków do innych stron, tak aby dotrzeć do wszystkich możliwych adresów
- poza kodem html głównej strony, oraz nazwami domen, żadne dane nie są przechowywane
Jeśli nie życzysz sobie aby robot analizował Twoją stronę, zblokuj go w robots.txt, lub też prześlij nam wiadomość z listą domen na adres: yetibot@yetibot.ovh