2019-09-28 19:59:02 +04:00
|
|
|
|
// NNM-Club torrent filess mass downloader
|
|
|
|
|
|
// Created for Uploaders group
|
|
|
|
|
|
// Copyright (c) 2012-2019 Vladimir "fat0troll" Hodakov
|
|
|
|
|
|
|
|
|
|
|
|
package fetcherv1
|
|
|
|
|
|
|
|
|
|
|
|
import (
|
|
|
|
|
|
"strconv"
|
2019-09-28 20:20:23 +04:00
|
|
|
|
"time"
|
2019-09-28 19:59:02 +04:00
|
|
|
|
)
|
|
|
|
|
|
|
|
|
|
|
|
func fetch(forumID int) {
|
|
|
|
|
|
startPage := "https://" + c.Config.URL + "/forum/viewforum.php?f=" + strconv.Itoa(forumID)
|
|
|
|
|
|
|
2019-09-28 20:20:23 +04:00
|
|
|
|
time.Sleep(5 * time.Second)
|
|
|
|
|
|
|
2019-09-28 19:59:02 +04:00
|
|
|
|
startPageFile, err := dumpForumPage(startPage)
|
|
|
|
|
|
if err != nil {
|
|
|
|
|
|
dlog.Error().Err(err).Msg("Не удалось получить данные с форума")
|
|
|
|
|
|
}
|
|
|
|
|
|
|
|
|
|
|
|
if uberDebug {
|
|
|
|
|
|
dlog.Info().Str("имя файла", startPageFile).Msg("Получена стартовая страница форума")
|
|
|
|
|
|
}
|
|
|
|
|
|
|
|
|
|
|
|
err = setQuerier(startPageFile, "forumPage", 1)
|
|
|
|
|
|
if err != nil {
|
|
|
|
|
|
dlog.Fatal().Err(err).Msg("Не удалось создать обработчик для страницы")
|
|
|
|
|
|
}
|
|
|
|
|
|
|
|
|
|
|
|
dlog.Info().Str("название форума", getForumName(forumPages[1])).Msg("Определён форум для загрузки")
|
|
|
|
|
|
|
|
|
|
|
|
getNavigation(forumPages[1])
|
|
|
|
|
|
|
|
|
|
|
|
downloadAdditionalPages()
|
|
|
|
|
|
}
|
