Оглавление файла ( /WEBMASTER/robots-faq.txt )



  • The Web Robots FAQ

  • Несколько слов о том, как работают роботы (spiders) поисковых машин

  • Стандарт исключений для роботов
    • Size: 43399 bytes
    Last-modified: Thu, 28 May 1998 14:14:05 GMT

    Проект "Пресса Войны" просит помощи
    Статьи, фотографии, Совинформбюро за 1941-1945

    Художники - картинные галереи

    Music.lib.ru MP3 Легально! Бесплатно!
    "Самиздат" ждет Писателей и Читателей
    "Заграница" - впечатления о зарубежной жизни
    Водный туризм - готовь байдарку зимой