Add main business logic of this program

Now we can download torrents like old Python
version does.

domains/fetcher/v1/exported.go

@@ -15,12 +15,16 @@ import (
 )
 
 var (
-	c               *context.Context
-	dclient         http.Client
-	dlog            zerolog.Logger
-	forumPages      map[int]*goquery.Document
-	forumPagesLinks map[string]string
-	uberDebug       bool
+	c                    *context.Context
+	dclient              http.Client
+	dlog                 zerolog.Logger
+	forumPages           map[int]*goquery.Document
+	forumPagesLinks      map[string]string
+	forumTopics          map[int]*forumTopic
+	forumTopicInProgress int
+	outputDirPath        string
+	totalLength          int64
+	uberDebug            bool
 )
 
 // New initializes package
@@ -42,8 +46,16 @@ func New(cc *context.Context) {
 		DefaultValue: false,
 	})
 
+	_ = c.Flagger.AddFlag(&flagger.Flag{
+		Name:         "outputDir",
+		Description:  "Директория, в которую будут помещены скачанные торрент-файлы",
+		Type:         "string",
+		DefaultValue: "./",
+	})
+
 	forumPages = make(map[int]*goquery.Document)
 	forumPagesLinks = make(map[string]string)
+	forumTopics = make(map[int]*forumTopic)
 
 	dlog.Info().Msg("Модуль инициализирован")
 }
@@ -55,8 +67,11 @@ func Process() {
 	if forumID == 0 {
 		dlog.Fatal().Msg("Номер форума не указан. Используйте ключ -forum XXX, чтобы указать номер форума")
 	}
+	outputDirPathPrefix, _ := c.Flagger.GetStringValue("outputDir")
 
 	dlog.Info().Int("forum ID", forumID).Msg("Получен ID форума, начинаем работу...")
 
+	createOutputDir(outputDirPathPrefix, forumID)
 	fetch(forumID)
+	printStats()
 }

domains/fetcher/v1/fetcher.go

@@ -5,16 +5,94 @@
 package fetcherv1
 
 import (
+	"os"
+	"path/filepath"
 	"strconv"
 	"time"
+
+	"github.com/anacrolix/torrent/metainfo"
+	"github.com/dustin/go-humanize"
+	"github.com/kennygrant/sanitize"
 )
 
+func createOutputDir(prefix string, forumID int) {
+	path, _ := filepath.Abs(filepath.Join(prefix, strconv.Itoa(forumID)))
+	if err := os.Mkdir(path, os.ModePerm); err != nil {
+		dlog.Fatal().Str("путь создания", path).Err(err).Msg("Невозможно создать поддиректорию для торрент-файлов")
+	}
+
+	outputDirPath = path
+}
+
+func download(topic *forumTopic) {
+	forumTopicInProgress++
+
+	dlog.Info().Str("название топика", topic.Name).Int("количество топиков", len(forumTopics)).
+		Int("номер топика", forumTopicInProgress).Msg("Скачивается топик")
+	fileName, err := downloadFile(topic.Link, true)
+	if err != nil {
+		dlog.Error().Err(err).Str("название топика", topic.Name).Msg("Не удалось загрузить страницу топика. Пропуск")
+		return
+	}
+
+	querier, err := obtainQuerier(fileName)
+	if err != nil {
+		dlog.Error().Err(err).Str("название топика", topic.Name).Str("ссылка на топик", topic.Link).
+			Msg("Не удалось получить обработчик для страницы топика. Пропуск")
+		return
+	}
+
+	lastModified := getLastModeratedDate(querier)
+	if lastModified == "" {
+		dlog.Warn().Str("название топика", topic.Name).Str("ссылка на топик", topic.Link).
+			Msg("Топик не проверен модератором. Пропуск")
+		return
+	}
+
+	downloadLink := getDownloadLink(querier)
+	if downloadLink == "" {
+		dlog.Warn().Str("название топика", topic.Name).Str("ссылка на топик", topic.Link).
+			Msg("Не найдена ссылка для скачивания торрента. Пропуск")
+		return
+	}
+
+	tempF, err := downloadFile("https://"+c.Config.URL+"/forum/"+downloadLink, false)
+	if err != nil {
+		dlog.Warn().Err(err).Str("название топика", topic.Name).Str("ссылка на топик", topic.Link).
+			Msg("Не удалось скачать торрент-файл через несколько попыток. Пропуск")
+		return
+	}
+
+	result := outputDirPath + "/" + lastModified + "-" + sanitize.BaseName(topic.Name) + ".torrent"
+
+	err = os.Rename(tempF, result)
+	if err != nil {
+		dlog.Warn().Err(err).Str("название топика", topic.Name).Str("ссылка на топик", topic.Link).
+			Msg("Не удалось сохранить торрент-файл. Пропуск")
+		return
+	}
+
+	f, _ := os.Open(result)
+	defer f.Close()
+
+	// Check downloaded torrent and get some metadata
+	metadata, err := metainfo.Load(f)
+	if err != nil {
+		dlog.Warn().Err(err).Str("название топика", topic.Name).Str("ссылка на топик", topic.Link).
+			Msg("Скачанный файл не является торрент-файлом. Пропуск")
+		return
+	}
+
+	unmarshalledMetadata, _ := metadata.UnmarshalInfo()
+	totalLength += unmarshalledMetadata.TotalLength()
+}
+
 func fetch(forumID int) {
 	startPage := "https://" + c.Config.URL + "/forum/viewforum.php?f=" + strconv.Itoa(forumID)
 
 	time.Sleep(5 * time.Second)
 
-	startPageFile, err := dumpForumPage(startPage)
+	startPageFile, err := downloadFile(startPage, true)
 	if err != nil {
 		dlog.Error().Err(err).Msg("Не удалось получить данные с форума")
 	}
@@ -33,4 +111,21 @@ func fetch(forumID int) {
 	getNavigation(forumPages[1])
 
 	downloadAdditionalPages()
+
+	for _, forumPage := range forumPages {
+		getTopics(forumPage)
+	}
+
+	dlog.Info().Int("топиков для скачивания", len(forumTopics)).Msg("Определены все топики для скачивания")
+
+	for _, forumTopic := range forumTopics {
+		download(forumTopic)
+	}
+}
+
+func printStats() {
+	dlog.Info().Int("топиков обработано", len(forumTopics)).
+		Str("объём раздела при полном скачивании", humanize.Bytes(uint64(totalLength))).
+		Str("директория с торрент-файлами", outputDirPath).
+		Msg("Работа завершена успешно. Загруженные торрент-файлы расположены в директории, указанной при старте.")
 }

domains/fetcher/v1/parser.go

@@ -6,10 +6,29 @@ package fetcherv1
 
 import (
 	"strings"
+	"time"
 
 	"github.com/PuerkitoBio/goquery"
 )
 
+var (
+	// I haven't found internal solution in stdlib
+	russianMonths = map[string]string{
+		"Янв": "Jan",
+		"Фев": "Feb",
+		"Мар": "Mar",
+		"Апр": "Apr",
+		"Май": "May",
+		"Июн": "Jun",
+		"Июл": "Jul",
+		"Авг": "Aug",
+		"Сен": "Sep",
+		"Окт": "Oct",
+		"Ноя": "Nov",
+		"Дек": "Dec",
+	}
+)
+
 // checkLoginness checks if downloaded page belongs to user
 func checkLoginness(querier *goquery.Document) bool {
 	authorized := false
@@ -23,10 +42,50 @@ func checkLoginness(querier *goquery.Document) bool {
 	return authorized
 }
 
+func getDownloadLink(querier *goquery.Document) string {
+	var downloadLink string
+	querier.Find("a[rel=nofollow]").Each(func(i int, sel *goquery.Selection) {
+		if strings.Contains(sel.Text(), "Скачать") {
+			href, _ := sel.Attr("href")
+			downloadLink = href
+		}
+	})
+
+	return downloadLink
+}
+
 func getForumName(querier *goquery.Document) string {
 	return querier.Find("h1").First().Text()
 }
 
+func getLastModeratedDate(querier *goquery.Document) string {
+	var dateValue time.Time
+	var err error
+	haveDate := false
+	querier.Find("table.btTbl td.genmed").Each(func(i int, sel *goquery.Selection) {
+		if strings.Contains(sel.Text(), "модератором") {
+			date := strings.TrimPrefix(sel.Text(), " Оформление проверено модератором ")
+			// Fix russian months names
+			for i := range russianMonths {
+				date = strings.Replace(date, i, russianMonths[i], -1)
+			}
+			dateValue, err = time.Parse("02 Jan 2006 15:04:05", date)
+			if err != nil {
+				dlog.Error().Err(err).Str("строка поиска даты", sel.Text()).
+					Msg("Не удалось получить дату проверки торрента")
+			} else {
+				haveDate = true
+			}
+		}
+	})
+
+	if !haveDate {
+		return ""
+	}
+
+	return dateValue.Format("2006-01-02")
+}
+
 func getNavigation(querier *goquery.Document) {
 	querier.Find("td[align=right] .nav a").Each(func(i int, sel *goquery.Selection) {
 		if !strings.Contains(sel.Text(), "След") {
@@ -37,3 +96,21 @@ func getNavigation(querier *goquery.Document) {
 
 	dlog.Info().Int("количество страниц", len(forumPagesLinks)+1).Msg("Определено количество страниц")
 }
+
+func getTopics(querier *goquery.Document) {
+	querier.Find(".forumline tr").Each(func(i int, sel *goquery.Selection) {
+		if strings.Contains(sel.Text(), "DL:") {
+			link := sel.Find("h2 a")
+			topicName := link.Text()
+			href, _ := link.Attr("href")
+			href = "https://" + c.Config.URL + "/forum/" + href
+			if uberDebug {
+				dlog.Debug().Str("название", topicName).Str("ссылка", href).Msg("Найден элемент для загрузки")
+			}
+			forumTopics[len(forumTopics)] = &forumTopic{
+				Link: href,
+				Name: topicName,
+			}
+		}
+	})
+}

domains/fetcher/v1/querier.go

@@ -11,14 +11,23 @@ import (
 	"github.com/PuerkitoBio/goquery"
 )
 
-func setQuerier(pageFile string, pageType string, page int) error {
+func obtainQuerier(pageFile string) (*goquery.Document, error) {
 	f, err := os.Open(pageFile)
 	if err != nil {
-		return err
+		return nil, err
 	}
 	defer f.Close()
 
 	querier, err := goquery.NewDocumentFromReader(f)
+	if err != nil {
+		return nil, err
+	}
+
+	return querier, nil
+}
+
+func setQuerier(pageFile string, pageType string, page int) error {
+	querier, err := obtainQuerier(pageFile)
 	if err != nil {
 		return err
 	}

domains/fetcher/v1/request.go

@@ -19,7 +19,7 @@ func downloadAdditionalPages() {
 	for i := range forumPagesLinks {
 		forumPage, _ := strconv.Atoi(i)
 		dlog.Info().Int("номер страницы", forumPage).Msg("Скачивается ещё одна страница форума")
-		pageFile, err := dumpForumPage("https://" + c.Config.URL + "/forum/" + forumPagesLinks[i])
+		pageFile, err := downloadFile("https://"+c.Config.URL+"/forum/"+forumPagesLinks[i], true)
 		if err != nil {
 			dlog.Fatal().Err(err).Msg("Не удалось загрузить страницу форума")
 		}
@@ -28,7 +28,7 @@ func downloadAdditionalPages() {
 	}
 }
 
-func dumpForumPage(url string) (string, error) {
+func downloadFile(url string, transformEncoding bool) (string, error) {
 	req, err := http.NewRequest(http.MethodGet, url, nil)
 	if err != nil {
 		return "", err
@@ -63,10 +63,21 @@ func dumpForumPage(url string) (string, error) {
 	}
 	defer tempF.Close()
 
-	respInUTF8 := transform.NewReader(resp.Body, charmap.Windows1251.NewDecoder())
-	_, err = io.Copy(tempF, respInUTF8)
-	if err != nil {
-		return "", err
+	if transformEncoding {
+		respInUTF8 := transform.NewReader(resp.Body, charmap.Windows1251.NewDecoder())
+		_, err = io.Copy(tempF, respInUTF8)
+		if err != nil {
+			return "", err
+		}
+	} else {
+		_, err = io.Copy(tempF, resp.Body)
+		if err != nil {
+			return "", err
+		}
+	}
+
+	if uberDebug {
+		dlog.Debug().Str("расположение", tempF.Name()).Msg("Загружен файл из сети")
 	}
 
 	return tempF.Name(), nil

domains/fetcher/v1/structs.go

@@ -0,0 +1,10 @@
+// NNM-Club torrent filess mass downloader
+// Created for Uploaders group
+// Copyright (c) 2012-2019 Vladimir "fat0troll" Hodakov
+
+package fetcherv1
+
+type forumTopic struct {
+	Link string
+	Name string
+}