|
|
@@ -3,20 +3,24 @@ package mqtt_reporter
|
|
|
import (
|
|
|
"context"
|
|
|
"fmt"
|
|
|
- "io/fs"
|
|
|
"os"
|
|
|
"path/filepath"
|
|
|
"strings"
|
|
|
"sync"
|
|
|
+ "time"
|
|
|
|
|
|
"hnyfkj.com.cn/rtu/linux/baseapp"
|
|
|
"hnyfkj.com.cn/rtu/linux/rtu/cbd/local_rpc"
|
|
|
+ "hnyfkj.com.cn/rtu/linux/rtu/cbd/utils"
|
|
|
"hnyfkj.com.cn/rtu/linux/utils/singletask"
|
|
|
)
|
|
|
|
|
|
const (
|
|
|
MODULE_NAME = "Reporter"
|
|
|
DefaultQoS byte = 1
|
|
|
+ // 每次补录上传历史遗存照片的最大数量, 超过后等待下次补
|
|
|
+ // 录任务再上传, 避免一次性上传过多导致蜂窝流量短时过载
|
|
|
+ MAX_PHOTO_BACKFILL_COUNT = 10
|
|
|
)
|
|
|
|
|
|
var reporter *MQTTReporter
|
|
|
@@ -76,6 +80,9 @@ func ModuleInit() bool {
|
|
|
// 3, 启动照片上报任务 /////////////////////////////////////////////
|
|
|
reporter.startImagWorker()
|
|
|
|
|
|
+ // 4, 启动数据补录任务 /////////////////////////////////////////////
|
|
|
+ reporter.runDataBackfill()
|
|
|
+
|
|
|
return true
|
|
|
}
|
|
|
|
|
|
@@ -88,11 +95,12 @@ func (r *MQTTReporter) initMQTTClients() {
|
|
|
MODULE_NAME, server.Name, err)
|
|
|
continue
|
|
|
}
|
|
|
- if server.DataBackfill { // 执行数据补录, 单实例运行
|
|
|
- r.dataBackfillTasks[server.Name] = &singletask.OnceTask{}
|
|
|
- r.dataBackfillTasks[server.Name].Run(func() {
|
|
|
+ if server.DataBackfill { // 初始化执行一次数据补录, 单实例运行
|
|
|
+ task := singletask.NewOnceTask(func() {
|
|
|
r.startYFKJDataBackfill(server)
|
|
|
- }, true)
|
|
|
+ })
|
|
|
+ r.dataBackfillTasks[server.Name] = task
|
|
|
+ task.Run(true)
|
|
|
}
|
|
|
default:
|
|
|
baseapp.Logger.Errorf("[%s] MQTT服务器 %s 的 %s 协议不合法!!",
|
|
|
@@ -155,36 +163,60 @@ func (r *MQTTReporter) initYFKJClient(server MQTTServer, devID string) error {
|
|
|
func (r *MQTTReporter) startYFKJDataBackfill(server MQTTServer) {
|
|
|
go func() {
|
|
|
baseapp.Logger.Infof("[%s] MQTT服务器 %s ++数据补录开始++", MODULE_NAME, server.Name)
|
|
|
- nums1, err := r.reportYFKJBackfillData()
|
|
|
- baseapp.Logger.Infof("[%s] MQTT服务器 %s --数据补录结束--, 上传条数: %d, 错误信息: %v", MODULE_NAME, server.Name, nums1, err)
|
|
|
+ nums, err := r.reportYFKJBackfillData()
|
|
|
+ baseapp.Logger.Infof("[%s] MQTT服务器 %s --数据补录结束--, 上传条数: %d, 错误信息: %v", MODULE_NAME, server.Name, nums, err)
|
|
|
}()
|
|
|
|
|
|
go func() {
|
|
|
baseapp.Logger.Infof("[%s] MQTT服务器 %s ++照片补录开始++", MODULE_NAME, server.Name)
|
|
|
- nums2 := 0
|
|
|
- filepath.WalkDir(baseapp.IMG_DIR, func(path string, d fs.DirEntry, walkErr error) error {
|
|
|
- if walkErr != nil || d.IsDir() || filepath.Ext(path) != ".jpg" {
|
|
|
- return nil
|
|
|
- } else if r.ctx.Err() != nil {
|
|
|
- return context.Canceled
|
|
|
+
|
|
|
+ files, err := utils.GetSortedFiles(r.ctx, baseapp.IMG_DIR, ".jpg", true)
|
|
|
+ files = files[:min(len(files), MAX_PHOTO_BACKFILL_COUNT)]
|
|
|
+
|
|
|
+ nums := 0
|
|
|
+ for _, file := range files {
|
|
|
+ if err = r.ctx.Err(); err != nil {
|
|
|
+ break
|
|
|
}
|
|
|
|
|
|
- if !strings.HasPrefix(filepath.Base(path), "history-") {
|
|
|
- newPath := filepath.Join(filepath.Dir(path), "history-"+filepath.Base(path))
|
|
|
- if err := os.Rename(path, newPath); err != nil {
|
|
|
+ if !strings.HasPrefix(filepath.Base(file), "history-") {
|
|
|
+ newFile := filepath.Join(filepath.Dir(file), "history-"+filepath.Base(file))
|
|
|
+ if err := os.Rename(file, newFile); err != nil {
|
|
|
baseapp.Logger.Errorf("[%s] 本地照片文件重命名失败, 无法标记为补录照片: %s -> %s, 错误: %v!!",
|
|
|
- MODULE_NAME, path, newPath, err)
|
|
|
- return nil
|
|
|
+ MODULE_NAME, file, newFile, err)
|
|
|
+ continue
|
|
|
}
|
|
|
- path = newPath
|
|
|
+ file = newFile
|
|
|
}
|
|
|
|
|
|
- r.uploadPhotoToImagServers(path, true) // 补录上传照片文件
|
|
|
- nums2++
|
|
|
+ r.uploadPhotoToImagServers(file, true) // 补录上传照片文件
|
|
|
+ nums++
|
|
|
+ }
|
|
|
+
|
|
|
+ baseapp.Logger.Infof("[%s] MQTT服务器 %s --照片补录结束--, 处理张数: %d, 错误信息: %v",
|
|
|
+ MODULE_NAME, server.Name, nums, err)
|
|
|
+ }()
|
|
|
+}
|
|
|
+
|
|
|
+func (r *MQTTReporter) runDataBackfill() {
|
|
|
+ go func() {
|
|
|
+ ticker := time.NewTicker(24 * time.Hour)
|
|
|
+ defer ticker.Stop()
|
|
|
|
|
|
- return nil
|
|
|
- })
|
|
|
- baseapp.Logger.Infof("[%s] MQTT服务器 %s --照片补录结束--, 处理张数: %d", MODULE_NAME, server.Name, nums2)
|
|
|
+ for {
|
|
|
+ for _, task := range r.dataBackfillTasks {
|
|
|
+ if r.ctx.Err() != nil {
|
|
|
+ return
|
|
|
+ }
|
|
|
+ task.Run(true)
|
|
|
+ }
|
|
|
+
|
|
|
+ select {
|
|
|
+ case <-r.ctx.Done():
|
|
|
+ return
|
|
|
+ case <-ticker.C:
|
|
|
+ }
|
|
|
+ }
|
|
|
}()
|
|
|
}
|
|
|
|