Иногда возникает ситуация, когда необходимо получить все ссылки которые есть на определенном сайте. Ситуации могут быть разные:
- Допусти вам надо скачать все архивы с определенного сайта (после я сортирую ссылки по типу .rar, .zip и с помощью download master загружаю весь список)
- Узнать какие внешние ссылки у вас есть на сайте
- Составить карту сайта
- Или просто для дальнейшего грабинга информации с него
Для это есть замечательная программа под названием xenu's link sleuth (бесплатная).
Скачать ее можно отсюда - http://home.snafu.de/tilman/xenulink.html#Download
