فهرست منبع

如果网络不好, 上报环境数据失败时, 暂时记录到本地文件, 等待下次联网时重新上报

niujiuru 10 ماه پیش
والد
کامیت
5a536f13be
2فایلهای تغییر یافته به همراه165 افزوده شده و 33 حذف شده
  1. 152 30
      reporter/envdata.go
  2. 13 3
      reporter/reporter.go

+ 152 - 30
reporter/envdata.go

@@ -2,7 +2,10 @@ package reporter
 
 import (
 	"encoding/json"
+	"errors"
 	"fmt"
+	"io"
+	"os"
 	"time"
 
 	mqtt "github.com/eclipse/paho.mqtt.golang"
@@ -11,6 +14,11 @@ import (
 	mcu "hnyfkj.com.cn/rtu/sy_1a/mcu_ctrl_board"
 )
 
+const (
+	envDataSavFile = "sensor_data.json" // 上传失败时, 暂时保存到本地文件存储, 等待下次补录
+	envDataMaxNums = 1000               // 最大保存的历史环境数据条数, 超过后删除最早的一条
+)
+
 type StrEnv struct {
 	Timestamp   string `json:"timestamp"`   // 时间戳(秒, 存在"​​2038-01-19 03:14:07 UTC​​"溢出风险)
 	Temperature string `json:"temperature"` // 温度(0.1°C)
@@ -19,57 +27,97 @@ type StrEnv struct {
 	Voltage     string `json:"voltage"`     // 电压(0.1V)
 }
 
-func (r *MQTTReporter) loopRecvOneEnvData() {
+func (r *MQTTReporter) loopRecvOneEnvData() { // 单条环境数据接收上报循环
 	for {
 		select {
 		case envData := <-mcu.Board.EnvDataOneCh:
-			mcu.MCBSetEnvStateBit(mcu.ParsingEnvData)
-			var strEnvOne StrEnv
-			strEnvOne.Timestamp, strEnvOne.Temperature, strEnvOne.Humidity,
-				strEnvOne.Illuminance, strEnvOne.Voltage = envData.StringWithoutUnit()
-			baseapp.Logger.Infof("[%s] 收到一条环境数据: %s", MODULE_NAME, envData.LogString())
-			mcu.MCBSetEnvStateBit(mcu.Idle)
-
-			r.reportSensorData(strEnvOne) // 开始执行上报
+			strEnvOne := StrEnv{}
+
+			func() {
+				mcu.MCBSetEnvStateBit(mcu.ParsingEnvData)
+				defer mcu.MCBSetEnvStateBit(mcu.Idle)
+
+				strEnvOne.Timestamp, strEnvOne.Temperature, strEnvOne.Humidity,
+					strEnvOne.Illuminance, strEnvOne.Voltage = envData.StringWithoutUnit()
+				baseapp.Logger.Infof("[%s] 收到一条环境数据: %s", MODULE_NAME, envData.LogString())
+			}()
+
+			err := r.reportSensorData(strEnvOne)
+			if err != nil {
+				if true {
+					baseapp.Logger.Errorf("[%s] 环境数据上传失败: %v!!", MODULE_NAME, err)
+				}
+
+				tmpFile := "sensor_data.json.tmp"
+				if err := r.saveSensorData(strEnvOne, tmpFile); err != nil {
+					baseapp.Logger.Errorf("[%s] 暂存环境数据失败: %v!!", MODULE_NAME, err)
+					return
+				}
+
+				if err := os.Rename(tmpFile, envDataSavFile); err != nil {
+					os.Remove(tmpFile)
+					baseapp.Logger.Errorf("[%s] 转存环境数据失败: %v!!", MODULE_NAME, err)
+				}
+			}
 		case <-r.ctx.Done():
 			return
 		} // end select
 	} // end for
 }
 
-func (r *MQTTReporter) loopRecvGrpEnvData() {
+func (r *MQTTReporter) loopRecvGrpEnvData() { // 批量环境数据接收上报循环
 	for {
 		select {
 		case grpData := <-mcu.Board.EnvDataGrpCh:
-			mcu.MCBSetEnvStateBit(mcu.ParsingEnvData)
 			strEnvGrp := make([]StrEnv, len(grpData))
-			for idx, envData := range grpData {
-				strEnvGrp[idx].Timestamp, strEnvGrp[idx].Temperature, strEnvGrp[idx].Humidity,
-					strEnvGrp[idx].Illuminance, strEnvGrp[idx].Voltage = envData.StringWithoutUnit()
-				baseapp.Logger.Infof("[%s] 收到一组环境数据: [%02d]: %s", MODULE_NAME, idx+1, envData.LogString())
-			}
-			mcu.MCBSetEnvStateBit(mcu.Idle)
 
-			r.reportSensorData(strEnvGrp) // 开始执行上报
+			func() {
+				mcu.MCBSetEnvStateBit(mcu.ParsingEnvData)
+				defer mcu.MCBSetEnvStateBit(mcu.Idle)
+
+				for idx, envData := range grpData {
+					strEnvGrp[idx].Timestamp, strEnvGrp[idx].Temperature, strEnvGrp[idx].Humidity,
+						strEnvGrp[idx].Illuminance, strEnvGrp[idx].Voltage = envData.StringWithoutUnit()
+					baseapp.Logger.Infof("[%s] 收到一组环境数据: [%02d]: %s", MODULE_NAME, idx+1, envData.LogString())
+				}
+			}()
+
+			err := r.reportSensorData(strEnvGrp)
+			if err != nil {
+				if true {
+					baseapp.Logger.Errorf("[%s] 环境数据上传失败: %v!!", MODULE_NAME, err)
+				}
+
+				tmpFile := "sensor_data.json.tmp"
+				if err := r.saveSensorData(strEnvGrp, tmpFile); err != nil {
+					baseapp.Logger.Errorf("[%s] 暂存环境数据失败: %v!!", MODULE_NAME, err)
+					return
+				}
+
+				if err := os.Rename(tmpFile, envDataSavFile); err != nil {
+					os.Remove(tmpFile)
+					baseapp.Logger.Errorf("[%s] 转存环境数据失败: %v!!", MODULE_NAME, err)
+				}
+			}
 		case <-r.ctx.Done():
 			return
 		} // end select
 	} // end for
 }
 
-func (r *MQTTReporter) reportSensorData(data any) {
+func (r *MQTTReporter) reportSensorData(data any) error {
 	mcu.MCBSetEnvStateBit(mcu.EnvDataUploading)
 	defer mcu.MCBSetEnvStateBit(mcu.Idle)
 
 	if !Reporter.IsLogin() {
-		baseapp.Logger.Warnf("[%s] 未登录, 无法上报环境数据!", MODULE_NAME)
-		return
+		return errors.New("未登录后台服务器")
 	}
 
 	var msg []byte
 	var err error
 	var topic string
 	var token mqtt.Token
+
 	now := time.Now()
 
 	switch data := data.(type) {
@@ -102,26 +150,100 @@ func (r *MQTTReporter) reportSensorData(data any) {
 
 		topic = fmt.Sprintf("/yfkj/bxs-sy/notify/%s/envData24h", Reporter.dui)
 	default:
-		baseapp.Logger.Errorf("[%s] 未知数据类型: %T!!", MODULE_NAME, data)
-		return
+		return errors.New("无效环境数据类型, not StrEnv or []StrEnv")
 	}
 
 	if err != nil {
-		baseapp.Logger.Errorf("[%s] 编码通知失败: %v!!", MODULE_NAME, err)
-		return
+		return errors.New("编码环境数据失败")
 	}
 
 	token = Reporter.client.Publish(topic, MqttQos1, false, msg)
 	select {
 	case <-r.ctx.Done():
-		return
+		return errors.New("上报器已停止运行")
 	case <-token.Done():
 	}
 
 	if token.Error() != nil {
-		baseapp.Logger.Errorf("[%s] 环境数据上传失败: %v!!", MODULE_NAME, token.Error())
-	} else {
-		elapsed := time.Since(now).Milliseconds()
-		baseapp.Logger.Infof("[%s] 环境数据上传成功, 用时: %d毫秒", MODULE_NAME, elapsed)
+		return token.Error()
+	}
+
+	elapsed := time.Since(now).Milliseconds()
+	baseapp.Logger.Infof("[%s] 环境数据上传成功, 用时: %d毫秒", MODULE_NAME, elapsed)
+	return nil
+}
+
+func (r *MQTTReporter) reportSensorHist(filePath string) (int, error) {
+	uploadingData, err := r.loadSensorData(filePath)
+	if err != nil {
+		return -1, err
+	}
+
+	nums := len(uploadingData)
+	if nums == 0 { // 没有历史环境数据
+		return 0, nil
+	}
+
+	return nums, r.reportSensorData(uploadingData)
+}
+
+func (r *MQTTReporter) loadSensorData(filePath string) ([]StrEnv, error) {
+	var existingData []StrEnv
+
+	f, err := os.OpenFile(filePath, os.O_RDWR|os.O_CREATE, 0644)
+	if err != nil {
+		return nil, err
+	}
+	defer f.Close()
+
+	decoder := json.NewDecoder(f)
+	if err := decoder.Decode(&existingData); err != nil && err != io.EOF {
+		return nil, err
 	}
+
+	return existingData, nil
+}
+
+func (r *MQTTReporter) saveSensorData(data any, filePath string) error {
+	existingData, err := r.loadSensorData(filePath)
+	if err != nil {
+		return err
+	}
+
+	if len(existingData) >= envDataMaxNums {
+		existingData = existingData[1:] // 删除最早的一条记录(避免磁盘空间不足)
+	}
+
+	switch data := data.(type) {
+	case StrEnv:
+		existingData = append(existingData, data)
+	case []StrEnv:
+		existingData = append(existingData, data...)
+	default:
+		return errors.New("无效环境数据类型, not StrEnv or []StrEnv")
+	}
+
+	f, err := os.OpenFile(filePath, os.O_RDWR|os.O_CREATE, 0644)
+	if err != nil {
+		return err
+	}
+	defer f.Close()
+
+	err = f.Truncate(0)
+	if err != nil { // 清空现有的文件内容
+		return err
+	}
+
+	_, err = f.Seek(0, 0)
+	if err != nil { // 移动文件指针到开头
+		return err
+	}
+
+	encoder := json.NewEncoder(f)
+	encoder.SetIndent("", "  ") // 美化输出格式
+	if err := encoder.Encode(existingData); err != nil {
+		return err
+	}
+
+	return nil
 }

+ 13 - 3
reporter/reporter.go

@@ -215,8 +215,18 @@ func (r *MQTTReporter) onLogin(client mqtt.Client, msg mqtt.Message) {
 }
 
 func (r *MQTTReporter) reuploadLegacy() {
+	baseapp.Logger.Infof("[%s] ++数据补录开始++", MODULE_NAME)
+	nums1 := 0
+	if FileExists(envDataSavFile) {
+		var err error
+		if nums1, err = r.reportSensorHist(envDataSavFile); err != nil {
+			os.Remove(envDataSavFile) // 上传成功后删除历史数据文件
+		}
+	}
+	baseapp.Logger.Infof("[%s] --数据补录结束--, 上传条数: %d", MODULE_NAME, nums1)
+
 	baseapp.Logger.Infof("[%s] ++照片补录开始++", MODULE_NAME)
-	nums := 0
+	nums2 := 0
 	filepath.WalkDir(baseapp.IMG_DIR, func(path string, d fs.DirEntry, walkErr error) error {
 		if walkErr != nil || d.IsDir() || filepath.Ext(path) != ".jpg" {
 			return nil
@@ -234,12 +244,12 @@ func (r *MQTTReporter) reuploadLegacy() {
 		if err == nil {
 			baseapp.Logger.Infof("[%s] 照片上传成功, 本地文件: %q已删除", MODULE_NAME, path)
 			os.Remove(path)
-			nums++
+			nums2++
 		}
 
 		return nil
 	})
-	baseapp.Logger.Infof("[%s] --照片补录结束--, 上传张数: %d", MODULE_NAME, nums)
+	baseapp.Logger.Infof("[%s] --照片补录结束--, 上传张数: %d", MODULE_NAME, nums2)
 }
 
 func (r *MQTTReporter) reportMcuCfg(cfg *mcu.Config) {