Компонент Chilkat Spider позволяет получить содержимое файла robots.txt для заданного сайта. Он автоматически выбирает файл robots.txt сайта и считывает его содержимое. Компонент не будет загружать страницы, запрещенные в файле robots.txt. Страницы, запрещенные для индексации в robots.txt, не будут появляться в списке «unspidered». Пример демонстрирует как загрузить и просмотреть содержимое файла robots.txt для данного сайта.
Dim fso, robotsFile ' Объвляем экземпляп объекта Scripting.FileSystemObject для записи в файл Set fso = CreateObject("Scripting.FileSystemObject") ' Создаем файл robots.txt для записи Set robotsFile = fso.CreateTextFile("robots.txt", True) ' Объвляем экземпляп объекта Chilkat.Spider set spd = CreateObject("Chilkat.Spider") ' Задаем домен для сканирования spd.Initialize "scriptcoding.ru" ' Считываем содержимое файла robots.txt robotsText = spd.FetchRobotsText() ' Производим запись в файл robotsFile.WriteLine(robotsText) ' Закрываем файл файл robotsFile.Close MsgBox "Считывание завершено"
Сам компонент и его описание вы найдете тут.