Просмотр исходного кода

优化照片补录逻辑,原来策略是联网后一次性全部补录照片,优化后,每天补录10(可调)张,避免一次性上传过多导致蜂窝流量短时过载

niujiuru 1 неделя назад
Родитель
Сommit
c0963b791b
3 измененных файлов с 120 добавлено и 59 удалено
  1. 11 35
      mqtt_reporter/photo.go
  2. 56 24
      mqtt_reporter/reporter.go
  3. 53 0
      utils/utils.go

+ 11 - 35
mqtt_reporter/photo.go

@@ -4,7 +4,6 @@ import (
 	"fmt"
 	"os"
 	"path/filepath"
-	"sort"
 	"strings"
 	"time"
 
@@ -34,7 +33,7 @@ func (r *MQTTReporter) startImagWorker() {
 }
 
 func (r *MQTTReporter) takePhotoAndUploadToImagServers() bool {
-	r.pruneHistoryPhotos(baseapp.IMG_DIR, photoMaxNums) // 这里先清理历史补录照片, 避免磁盘空间不足
+	r.pruneHistoryPhotos(baseapp.IMG_DIR, photoMaxNums) //// 这里先清理历史补录照片, 避免磁盘空间不足
 
 	utils.PlayAudioAsync(filepath.Join(baseapp.EXEC_DIR, "voices",
 		"takephoto.wav")) // 播报拍照开始语音
@@ -136,47 +135,24 @@ func (r *MQTTReporter) uploadPhotoToImagServers(imgFile string, isBackfill /* 
 }
 
 func (r *MQTTReporter) pruneHistoryPhotos(dir string, maxCount int) error {
-	files, err := os.ReadDir(dir)
-	if err != nil {
-		return err
+	if maxCount < 0 {
+		return fmt.Errorf("maxCount不能小于0")
 	}
 
-	type fileInfo struct {
-		name    string
-		path    string
-		modTime time.Time
-	}
-	var jpgFiles []fileInfo
-
-	for _, f := range files { // 遍历目录, 找出所有jpg文件
-		if r.ctx.Err() != nil {
-			return nil
-		}
-
-		if f.IsDir() || filepath.Ext(f.Name()) != ".jpg" {
-			continue
-		}
-
-		info, err := f.Info()
-		if err != nil {
-			continue
-		}
-		jpgFiles = append(jpgFiles, fileInfo{name: f.Name(), path: filepath.Join(dir, f.Name()), modTime: info.ModTime()})
+	files, err := utils.GetSortedFiles(r.ctx, dir, ".jpg", false)
+	if err != nil {
+		return err
 	}
 
-	if len(jpgFiles) <= maxCount {
+	if len(files) <= maxCount {
 		return nil
 	}
 
-	sort.Slice(jpgFiles, func(i, j int) bool {
-		if jpgFiles[i].modTime.Equal(jpgFiles[j].modTime) {
-			return jpgFiles[i].name < jpgFiles[j].name //////////// 如果时间相同就按文件名排序
+	for _, file := range files[:len(files)-maxCount] {
+		if r.ctx.Err() != nil {
+			break
 		}
-		return jpgFiles[i].modTime.Before(jpgFiles[j].modTime) // 默认按照文件的修改时间排序
-	})
-
-	for i := 0; i < len(jpgFiles)-maxCount; i++ {
-		os.Remove(jpgFiles[i].path)
+		_ = os.Remove(file)
 	}
 
 	return nil

+ 56 - 24
mqtt_reporter/reporter.go

@@ -3,20 +3,24 @@ package mqtt_reporter
 import (
 	"context"
 	"fmt"
-	"io/fs"
 	"os"
 	"path/filepath"
 	"strings"
 	"sync"
+	"time"
 
 	"hnyfkj.com.cn/rtu/linux/baseapp"
 	"hnyfkj.com.cn/rtu/linux/rtu/cbd/local_rpc"
+	"hnyfkj.com.cn/rtu/linux/rtu/cbd/utils"
 	"hnyfkj.com.cn/rtu/linux/utils/singletask"
 )
 
 const (
 	MODULE_NAME      = "Reporter"
 	DefaultQoS  byte = 1
+	// 每次补录上传历史遗存照片的最大数量, 超过后等待下次补
+	// 录任务再上传, 避免一次性上传过多导致蜂窝流量短时过载
+	MAX_PHOTO_BACKFILL_COUNT = 10
 )
 
 var reporter *MQTTReporter
@@ -76,6 +80,9 @@ func ModuleInit() bool {
 	// 3, 启动照片上报任务 /////////////////////////////////////////////
 	reporter.startImagWorker()
 
+	// 4, 启动数据补录任务 /////////////////////////////////////////////
+	reporter.runDataBackfill()
+
 	return true
 }
 
@@ -88,11 +95,12 @@ func (r *MQTTReporter) initMQTTClients() {
 					MODULE_NAME, server.Name, err)
 				continue
 			}
-			if server.DataBackfill { // 执行数据补录, 单实例运行
-				r.dataBackfillTasks[server.Name] = &singletask.OnceTask{}
-				r.dataBackfillTasks[server.Name].Run(func() {
+			if server.DataBackfill { // 初始化执行一次数据补录, 单实例运行
+				task := singletask.NewOnceTask(func() {
 					r.startYFKJDataBackfill(server)
-				}, true)
+				})
+				r.dataBackfillTasks[server.Name] = task
+				task.Run(true)
 			}
 		default:
 			baseapp.Logger.Errorf("[%s] MQTT服务器 %s 的 %s 协议不合法!!",
@@ -155,36 +163,60 @@ func (r *MQTTReporter) initYFKJClient(server MQTTServer, devID string) error {
 func (r *MQTTReporter) startYFKJDataBackfill(server MQTTServer) {
 	go func() {
 		baseapp.Logger.Infof("[%s] MQTT服务器 %s ++数据补录开始++", MODULE_NAME, server.Name)
-		nums1, err := r.reportYFKJBackfillData()
-		baseapp.Logger.Infof("[%s] MQTT服务器 %s --数据补录结束--, 上传条数: %d, 错误信息: %v", MODULE_NAME, server.Name, nums1, err)
+		nums, err := r.reportYFKJBackfillData()
+		baseapp.Logger.Infof("[%s] MQTT服务器 %s --数据补录结束--, 上传条数: %d, 错误信息: %v", MODULE_NAME, server.Name, nums, err)
 	}()
 
 	go func() {
 		baseapp.Logger.Infof("[%s] MQTT服务器 %s ++照片补录开始++", MODULE_NAME, server.Name)
-		nums2 := 0
-		filepath.WalkDir(baseapp.IMG_DIR, func(path string, d fs.DirEntry, walkErr error) error {
-			if walkErr != nil || d.IsDir() || filepath.Ext(path) != ".jpg" {
-				return nil
-			} else if r.ctx.Err() != nil {
-				return context.Canceled
+
+		files, err := utils.GetSortedFiles(r.ctx, baseapp.IMG_DIR, ".jpg", true)
+		files = files[:min(len(files), MAX_PHOTO_BACKFILL_COUNT)]
+
+		nums := 0
+		for _, file := range files {
+			if err = r.ctx.Err(); err != nil {
+				break
 			}
 
-			if !strings.HasPrefix(filepath.Base(path), "history-") {
-				newPath := filepath.Join(filepath.Dir(path), "history-"+filepath.Base(path))
-				if err := os.Rename(path, newPath); err != nil {
+			if !strings.HasPrefix(filepath.Base(file), "history-") {
+				newFile := filepath.Join(filepath.Dir(file), "history-"+filepath.Base(file))
+				if err := os.Rename(file, newFile); err != nil {
 					baseapp.Logger.Errorf("[%s] 本地照片文件重命名失败, 无法标记为补录照片: %s -> %s, 错误: %v!!",
-						MODULE_NAME, path, newPath, err)
-					return nil
+						MODULE_NAME, file, newFile, err)
+					continue
 				}
-				path = newPath
+				file = newFile
 			}
 
-			r.uploadPhotoToImagServers(path, true) // 补录上传照片文件
-			nums2++
+			r.uploadPhotoToImagServers(file, true) // 补录上传照片文件
+			nums++
+		}
+
+		baseapp.Logger.Infof("[%s] MQTT服务器 %s --照片补录结束--, 处理张数: %d, 错误信息: %v",
+			MODULE_NAME, server.Name, nums, err)
+	}()
+}
+
+func (r *MQTTReporter) runDataBackfill() {
+	go func() {
+		ticker := time.NewTicker(24 * time.Hour)
+		defer ticker.Stop()
 
-			return nil
-		})
-		baseapp.Logger.Infof("[%s] MQTT服务器 %s --照片补录结束--, 处理张数: %d", MODULE_NAME, server.Name, nums2)
+		for {
+			for _, task := range r.dataBackfillTasks {
+				if r.ctx.Err() != nil {
+					return
+				}
+				task.Run(true)
+			}
+
+			select {
+			case <-r.ctx.Done():
+				return
+			case <-ticker.C:
+			}
+		}
 	}()
 }
 

+ 53 - 0
utils/utils.go

@@ -10,8 +10,10 @@ import (
 	"os"
 	"os/exec"
 	"path/filepath"
+	"sort"
 	"strconv"
 	"strings"
+	"time"
 
 	"hnyfkj.com.cn/rtu/linux/baseapp"
 	"hnyfkj.com.cn/rtu/linux/utils/ftpclient"
@@ -273,3 +275,54 @@ func DownloadUpgradeFile(url, dst string) error {
 	PlayAudioAsync(filepath.Join(baseapp.EXEC_DIR, "voices", audioFile))
 	return err
 }
+
+func GetSortedFiles(ctx context.Context, dir, ext string, reverse bool) ([]string, error) {
+	entries, err := os.ReadDir(dir)
+	if err != nil {
+		return nil, err
+	}
+
+	type fileInfo struct {
+		name    string
+		path    string
+		modTime time.Time
+	}
+	files := make([]fileInfo, 0, len(entries))
+
+	for _, entry := range entries {
+		if err := ctx.Err(); err != nil {
+			return nil, err
+		}
+		if entry.IsDir() || filepath.Ext(entry.Name()) != ext {
+			continue
+		}
+
+		info, err := entry.Info()
+		if err != nil {
+			continue
+		}
+
+		files = append(files, fileInfo{
+			name:    entry.Name(),
+			path:    filepath.Join(dir, entry.Name()),
+			modTime: info.ModTime(),
+		})
+	}
+
+	sort.Slice(files, func(i, j int) bool {
+		if files[i].modTime.Equal(files[j].modTime) {
+			return files[i].name < files[j].name ///////////// 如果时间相同就按文件名排序
+		}
+		if reverse {
+			return files[i].modTime.After(files[j].modTime) // 默认按照文件的修改时间倒序
+		}
+		return files[i].modTime.Before(files[j].modTime) /// 默认按照文件的修改时间正序
+	})
+
+	paths := make([]string, len(files))
+	for i := range files {
+		paths[i] = files[i].path
+	}
+
+	return paths, nil
+}