Пример простого обхода 20 страниц сайта, используя компонент Chilkat.Spider, с последующей их записью в текстовый файл. С начало в свойстве Initialize задается начальный домен, в свойстве AddUnspidered задается страница, с которой будет начинаться обход.
Dim fso, outFile ' Создаем экземпляп объекта Scripting.FileSystemObject для работы с файлами Set fso = CreateObject("Scripting.FileSystemObject") ' Зоздаем текстовый файл description.txt для записи Set outFile = fso.CreateTextFile("description.txt", True) ' Создаем экземпляп объекта Chilkat.Spider set spd = CreateObject("Chilkat.Spider") ' Задаем начальный домен ' Цикл будет считывать 20 URL адресов spd.Initialize "scriptcoding.ru" ' Добавляем URL адрес для исследования spd.AddUnspidered "https://scriptcoding.ru/" ' Создаем цикл для обхода 20 страниц For i = 0 To 19 success = spd.CrawlNext() If (success = 1) Then ' Производим считывание адреса полученой страницы outFile.WriteLine(spd.LastUrl) Else ' Условие возникновения ошибки, или закончился обход If (spd.NumUnspidered = 0) Then MsgBox "Адрес отсутствует" Else ' Информацию об ошибке MsgBox spd.LastErrorText End If End If ' Ожидание в 1 секунду до перехода к следующему URL spd.SleepMs 1000 Next MsgBox "Обход адресов закончен" ' Закрываем открытый файл outFile.Close
Сам компонент и его описание вы найдете тут.