Преглед изворни кода

完成历史图片和数据补录代码编写

niujiuru пре 1 месец
родитељ
комит
13bdea057b
3 измењених фајлова са 108 додато и 6 уклоњено
  1. 75 3
      mqtt_reporter/data.go
  2. 10 2
      mqtt_reporter/photo.go
  3. 23 1
      mqtt_reporter/reporter.go

+ 75 - 3
mqtt_reporter/data.go

@@ -2,6 +2,8 @@ package mqtt_reporter
 
 import (
 	"encoding/json"
+	"errors"
+	"os"
 	"path/filepath"
 
 	"hnyfkj.com.cn/rtu/linux/baseapp"
@@ -10,8 +12,7 @@ import (
 )
 
 const (
-	dataSavFile = "backfill.json" // 上传失败时, 暂时保存到本地文件存储, 等待下次补录
-	dataMaxNums = 1000            // 最大保存的历史环境数据条数, 超过后删除最早的一条
+	dataMaxNums = 1000 ///// MCU控制板 历史数据最大保存条数, 超出后采用 FIFO 覆盖策略
 )
 
 type MCUData struct {
@@ -106,6 +107,9 @@ func (r *MQTTReporter) forwardDataToMqttServers(data []byte) {
 }
 
 func (r *MQTTReporter) saveYFKJBackfillData(data []byte) error {
+	r.yfkjDataBackfillMu.Lock()
+	defer r.yfkjDataBackfillMu.Unlock()
+
 	var msg struct {
 		Cmd string          `json:"cmd"`
 		Ext json.RawMessage `json:"ext"`
@@ -126,5 +130,73 @@ func (r *MQTTReporter) saveYFKJBackfillData(data []byte) error {
 	}
 
 	return utils.SaveJSONData(
-		filepath.Join(saveDir, dataSavFile), []MCUData{mcuData}, dataMaxNums)
+		filepath.Join(saveDir, "backfill.json"), []MCUData{mcuData}, dataMaxNums)
+}
+
+func (r *MQTTReporter) reportYFKJBackfillData() (int, error) {
+	r.yfkjDataBackfillMu.Lock()
+	defer r.yfkjDataBackfillMu.Unlock()
+
+	filePath := filepath.Join(baseapp.EXEC_DIR, "yfkj_history", "data", "backfill.json")
+	data, err := utils.LoadJSONData[MCUData](filePath)
+	if err != nil {
+		if errors.Is(err, os.ErrNotExist) {
+			return 0, nil
+		}
+		return 0, err
+	}
+	if len(data) == 0 {
+		return 0, nil
+	}
+
+	var client *Client
+	var server MQTTServer
+	for _, s := range r.config.GetMQTTServers() {
+		if !s.Enable || s.Protocol != "yfkj-private" || !s.DataBackfill {
+			continue
+		}
+		client = r.clients[s.Name]
+		if client != nil {
+			server = s
+			break
+		}
+	}
+	if client == nil {
+		return 0, nil
+	}
+
+	nums := 0
+	for i, item := range data {
+		if r.ctx.Err() != nil {
+			break
+		}
+
+		payload, err := json.Marshal(struct {
+			Cmd string  `json:"cmd"`
+			Ext MCUData `json:"ext"`
+		}{
+			Cmd: "data-history",
+			Ext: item,
+		})
+		if err != nil {
+			return nums, err
+		}
+
+		if err := client.Publish(server.Topics.Pub, server.Qos, false, payload); err != nil {
+			data = data[i:]
+			break
+		}
+		nums++
+	}
+	data = data[nums:]
+
+	content, err := json.Marshal(data)
+	if err != nil {
+		return nums, err
+	}
+	if err := utils.WriteFileAtomic(filePath, content); err != nil {
+		return nums, err
+	}
+
+	return nums, nil
 }

+ 10 - 2
mqtt_reporter/photo.go

@@ -5,6 +5,7 @@ import (
 	"os"
 	"path/filepath"
 	"sort"
+	"strings"
 	"time"
 
 	"hnyfkj.com.cn/rtu/linux/baseapp"
@@ -32,7 +33,7 @@ func (r *MQTTReporter) startImagWorker() {
 }
 
 func (r *MQTTReporter) takePhotoAndUploadToImagServers() bool {
-	r.pruneOldPhotos(baseapp.IMG_DIR, photoMaxNums) // 先清理旧照片, 避免磁盘空间不足
+	r.pruneHistoryPhotos(baseapp.IMG_DIR, photoMaxNums) // 这里先清理历史补录照片, 避免磁盘空间不足
 
 	baseapp.Logger.Infof("[%s] 拍照中, 请稍后...", MODULE_NAME)
 
@@ -98,7 +99,7 @@ func (r *MQTTReporter) uploadPhotoToImagServers(imgFile string) {
 	}
 }
 
-func (r *MQTTReporter) pruneOldPhotos(dir string, maxCount int) error {
+func (r *MQTTReporter) pruneHistoryPhotos(dir string, maxCount int) error {
 	files, err := os.ReadDir(dir)
 	if err != nil {
 		return err
@@ -115,6 +116,13 @@ func (r *MQTTReporter) pruneOldPhotos(dir string, maxCount int) error {
 		if f.IsDir() || filepath.Ext(f.Name()) != ".jpg" {
 			continue
 		}
+
+		path := filepath.Join(dir, f.Name())
+		if !strings.HasPrefix(f.Name(), "history-") {
+			os.Remove(path)
+			continue
+		}
+
 		info, err := f.Info()
 		if err != nil {
 			continue

+ 23 - 1
mqtt_reporter/reporter.go

@@ -3,8 +3,10 @@ package mqtt_reporter
 import (
 	"context"
 	"fmt"
+	"io/fs"
 	"path/filepath"
 	"strings"
+	"sync"
 
 	"hnyfkj.com.cn/rtu/linux/baseapp"
 	"hnyfkj.com.cn/rtu/linux/rtu/cbd/local_rpc"
@@ -26,7 +28,8 @@ type MQTTReporter struct {
 
 	deviceID string // 设备的ID
 	// 补录上传历史遗存数据的任务
-	dataBackfillTasks map[string]*singletask.OnceTask
+	dataBackfillTasks  map[string]*singletask.OnceTask
+	yfkjDataBackfillMu sync.Mutex
 }
 
 func ModuleInit() bool {
@@ -146,6 +149,25 @@ func (r *MQTTReporter) initYFKJClient(server MQTTServer, devID string) error {
 }
 
 func (r *MQTTReporter) startYFKJDataBackfill(server MQTTServer) {
+	baseapp.Logger.Infof("[%s] MQTT服务器 %s ++数据补录开始++", MODULE_NAME, server.Name)
+	nums1, err := r.reportYFKJBackfillData()
+	baseapp.Logger.Infof("[%s] MQTT服务器 %s --数据补录结束--, 上传条数: %d, 错误信息: %v", MODULE_NAME, server.Name, nums1, err)
+
+	baseapp.Logger.Infof("[%s] MQTT服务器 %s ++照片补录开始++", MODULE_NAME, server.Name)
+	nums2 := 0
+	filepath.WalkDir(baseapp.IMG_DIR, func(path string, d fs.DirEntry, walkErr error) error {
+		if walkErr != nil || d.IsDir() || filepath.Ext(path) != ".jpg" || !strings.HasPrefix(filepath.Base(path), "history-") {
+			return nil
+		} else if r.ctx.Err() != nil {
+			return context.Canceled
+		}
+
+		r.uploadPhotoToImagServers(path)
+		nums2++
+
+		return nil
+	})
+	baseapp.Logger.Infof("[%s] MQTT服务器 %s --照片补录结束--, 处理张数: %d", MODULE_NAME, server.Name, nums2)
 }
 
 func ModuleExit() {