Оглавление файла ( /WEBMASTER/robots-faq.txt )


  • The Web Robots FAQ
  • Несколько слов о том, как работают роботы (spiders) поисковых машин
  • Стандарт исключений для роботов

  • Size: 43399 bytes
    Last-modified: Thu, 28 May 1998 14:14:05 GMT

    Сбор средств на открытие мемориальной доски М.Л.Анчарову

    Художники - картинные галереи

    Фотохостинг 4put.ru

    Music.lib.ru MP3 Легально! Бесплатно!
    "Самиздат" ждет Писателей и Читателей
    "Заграница" - впечатления о зарубежной жизни
    Водный туризм - готовь байдарку зимой