Add fetcher, support for downloading forum pages

domains/fetcher/v1/fetcher.go

@@ -0,0 +1,33 @@
+// NNM-Club torrent filess mass downloader
+// Created for Uploaders group
+// Copyright (c) 2012-2019 Vladimir "fat0troll" Hodakov
+
+package fetcherv1
+
+import (
+	"strconv"
+)
+
+func fetch(forumID int) {
+	startPage := "https://" + c.Config.URL + "/forum/viewforum.php?f=" + strconv.Itoa(forumID)
+
+	startPageFile, err := dumpForumPage(startPage)
+	if err != nil {
+		dlog.Error().Err(err).Msg("Не удалось получить данные с форума")
+	}
+
+	if uberDebug {
+		dlog.Info().Str("имя файла", startPageFile).Msg("Получена стартовая страница форума")
+	}
+
+	err = setQuerier(startPageFile, "forumPage", 1)
+	if err != nil {
+		dlog.Fatal().Err(err).Msg("Не удалось создать обработчик для страницы")
+	}
+
+	dlog.Info().Str("название форума", getForumName(forumPages[1])).Msg("Определён форум для загрузки")
+
+	getNavigation(forumPages[1])
+
+	downloadAdditionalPages()
+}