Parcourir la source

1,调整优化代码;2,完成从控制板接收数据上报到MQTT服务器的编码

niujiuru il y a 1 mois
Parent
commit
faa2a5de25
5 fichiers modifiés avec 112 ajouts et 20 suppressions
  1. 2 2
      mcu_ctrl_board/mcu_ctrl_board.go
  2. 30 3
      mqtt_reporter/config.go
  3. 64 2
      mqtt_reporter/data.go
  4. 11 8
      mqtt_reporter/photo.go
  5. 5 5
      utils/utils.go

+ 2 - 2
mcu_ctrl_board/mcu_ctrl_board.go

@@ -83,7 +83,7 @@ func (b *MCUCtrlBoard) WriteDataToMqtt(data []byte) error {
 
 	select {
 	case old := <-b.DataToMqttCh:
-		baseapp.Logger.Warnf("[%s] DataToMqtt 通道满, 丢弃一条老数据! : %q", MODULE_NAME, old)
+		baseapp.Logger.Warnf("[%s] DataToMqtt 通道满, 丢弃一条老数据! : %s", MODULE_NAME, old)
 	default:
 	}
 
@@ -111,7 +111,7 @@ func (b *MCUCtrlBoard) WriteDataToUart(data []byte) error {
 
 	select {
 	case old := <-b.DataToUartCh:
-		baseapp.Logger.Warnf("[%s] DataToUart 通道满, 丢弃一条老数据! : %q", MODULE_NAME, old)
+		baseapp.Logger.Warnf("[%s] DataToUart 通道满, 丢弃一条老数据! : %s", MODULE_NAME, old)
 	default:
 	}
 

+ 30 - 3
mqtt_reporter/config.go

@@ -3,6 +3,7 @@ package mqtt_reporter
 import (
 	"encoding/json"
 	"errors"
+	"fmt"
 	"os"
 	"strings"
 	"sync"
@@ -37,9 +38,10 @@ type Topics struct {
 }
 
 type ImagServer struct {
-	Enable bool   `json:"enable"`
-	Name   string `json:"name"`
-	PutURL string `json:"putUrl"`
+	Enable       bool   `json:"enable"`
+	Name         string `json:"name"`
+	ImagBackfill bool   `json:"imagBackfill"`
+	PutURL       string `json:"putUrl"`
 }
 
 type UpgrServer struct {
@@ -77,6 +79,7 @@ const defaultConfig = `{
     {
       "enable": true,
 			"name": "YFKJ-CBD-IMG-FTP-SERVER",
+			"imagBackfill": true,
       "putUrl": "ftp://cbd_user:YFkj%406O2O@8.136.98.49:21/${id}/"
     }
   ],
@@ -132,6 +135,30 @@ func LoadServerConfig(filePath, deviceID string) (*ServerConfig, error) {
 		return nil, err
 	}
 
+	dataBackfillSet := make(map[string]string)
+	for _, server := range cfg.MQTTServers {
+		if !server.DataBackfill {
+			continue
+		}
+		if name, ok := dataBackfillSet[server.Protocol]; ok {
+			return nil, fmt.Errorf("%q协议下只能有一个MQTT服务器启用数据补录: %q, %q",
+				server.Protocol, name, server.Name)
+		}
+		dataBackfillSet[server.Protocol] = server.Name
+	}
+
+	imagBackfillSet := ""
+	for _, server := range cfg.ImagServers {
+		if !server.ImagBackfill {
+			continue
+		}
+		if imagBackfillSet != "" {
+			return nil, fmt.Errorf("图片服务器只能有一个启用图片上传补录功能: %q, %q",
+				imagBackfillSet, server.Name)
+		}
+		imagBackfillSet = server.Name
+	}
+
 	r := strings.NewReplacer("${id}", deviceID)
 
 	for i := range cfg.MQTTServers {

+ 64 - 2
mqtt_reporter/data.go

@@ -1,6 +1,13 @@
 package mqtt_reporter
 
-import mcu "hnyfkj.com.cn/rtu/linux/rtu/cbd/mcu_ctrl_board"
+import (
+	"encoding/json"
+	"path/filepath"
+
+	"hnyfkj.com.cn/rtu/linux/baseapp"
+	mcu "hnyfkj.com.cn/rtu/linux/rtu/cbd/mcu_ctrl_board"
+	"hnyfkj.com.cn/rtu/linux/rtu/cbd/utils"
+)
 
 const (
 	dataSavFile = "backfill.json" // 上传失败时, 暂时保存到本地文件存储, 等待下次补录
@@ -55,7 +62,7 @@ func (r *MQTTReporter) startDataWorker() {
 		for { //////////////// 循环的处理控制板发来的数据上发请求 ////
 			select {
 			case data := <-mcu.Board.DataToMqttCh:
-				r.forwardDataToMqttServers(data)
+				go r.forwardDataToMqttServers(data) // 并发处理上发 ////
 			case <-r.ctx.Done():
 				return
 			} // end select
@@ -64,4 +71,59 @@ func (r *MQTTReporter) startDataWorker() {
 }
 
 func (r *MQTTReporter) forwardDataToMqttServers(data []byte) {
+	for _, server := range r.config.GetMQTTServers() {
+		select {
+		case <-r.ctx.Done():
+			return
+		default:
+		}
+
+		if !server.Enable {
+			continue
+		}
+
+		client := r.clients[server.Name]
+		if client == nil {
+			continue
+		}
+
+		err := client.Publish(server.Topics.Pub, server.Qos, false, data)
+		if err == nil {
+			continue
+		}
+
+		baseapp.Logger.Errorf("[%s] 向 %s 服务器发送数据 %s 失败: %v!!",
+			MODULE_NAME, server.Name, data, err)
+
+		if server.Protocol == "yfkj-private" && server.DataBackfill {
+			if err := r.saveYFKJBackfillData(data); err != nil {
+				baseapp.Logger.Errorf("[%s] 保存待补录的数据 %s 失败: %v!!",
+					server.Name, data, err)
+			}
+		}
+	}
+}
+
+func (r *MQTTReporter) saveYFKJBackfillData(data []byte) error {
+	var msg struct {
+		Cmd string          `json:"cmd"`
+		Ext json.RawMessage `json:"ext"`
+	}
+
+	if err := json.Unmarshal(data, &msg); err != nil || msg.Cmd != "data" {
+		return nil // 不是"data"数据, 无需保存留作补录
+	}
+
+	var mcuData MCUData
+	if err := json.Unmarshal(msg.Ext, &mcuData); err != nil {
+		return err
+	}
+
+	saveDir := filepath.Join(baseapp.EXEC_DIR, "yfkj_history_data")
+	if err := baseapp.ExistsDir(saveDir, true); err != nil {
+		return err
+	}
+
+	return utils.SaveJSONData(
+		filepath.Join(saveDir, dataSavFile), []MCUData{mcuData}, dataMaxNums)
 }

+ 11 - 8
mqtt_reporter/photo.go

@@ -44,7 +44,7 @@ func (r *MQTTReporter) takePhotoAndUploadToImagServers() bool {
 		return false
 	}
 	elapsed := time.Since(start).Milliseconds()
-	baseapp.Logger.Infof("[%s] 拍照完成, 输出到本地文件: %q, 用时: %d毫秒", MODULE_NAME, imgFile, elapsed)
+	baseapp.Logger.Infof("[%s] 拍照完成, 输出到本地文件: %s, 用时: %d毫秒", MODULE_NAME, imgFile, elapsed)
 
 	r.uploadPhotoToImagServers(imgFile)
 
@@ -57,33 +57,36 @@ func (r *MQTTReporter) uploadPhotoToImagServers(imgFile string) {
 
 	ftpclient.FileUpFolder = r.deviceID
 
-	uploaded := false
+	needImagBackfill := false
+
 	for _, server := range r.config.GetImagServers() {
 		if !server.Enable {
 			continue
 		}
 
-		baseapp.Logger.Infof("[%s] 开始上传照片文件: %q -> %s", MODULE_NAME, imgFile, server.Name)
+		baseapp.Logger.Infof("[%s] 开始上传照片文件: %s -> %s", MODULE_NAME, imgFile, server.Name)
 
 		serverInfo, err := utils.ParseURL(server.PutURL)
 		if err != nil {
-			baseapp.Logger.Errorf("[%s] 照片文件上传失败: %q -> %s, 原因: %v!!", MODULE_NAME, imgFile, server.Name, err)
+			baseapp.Logger.Errorf("[%s] 照片文件上传失败: %s -> %s, 原因: %v!!", MODULE_NAME, imgFile, server.Name, err)
 			continue
 		}
 
 		start := time.Now()
 		if _, err := ftpclient.UploadFileToFtp(r.ctx, imgFile,
 			serverInfo.Host, serverInfo.User, serverInfo.Pass, ftpclient.DefaultUploadTimeout); err != nil {
-			baseapp.Logger.Errorf("[%s] 照片文件上传失败: %q -> %s, 原因: %v!!", MODULE_NAME, imgFile, server.Name, err)
+			baseapp.Logger.Errorf("[%s] 照片文件上传失败: %s -> %s, 原因: %v!!", MODULE_NAME, imgFile, server.Name, err)
+			if server.ImagBackfill {
+				needImagBackfill = true
+			}
 			continue
 		}
 
-		uploaded = true
 		elapsed := time.Since(start).Milliseconds()
-		baseapp.Logger.Infof("[%s] 照片文件上传成功: %q -> %s, 耗时 %dms", MODULE_NAME, imgFile, server.Name, elapsed)
+		baseapp.Logger.Infof("[%s] 照片文件上传成功: %s -> %s, 耗时 %dms", MODULE_NAME, imgFile, server.Name, elapsed)
 	}
 
-	if uploaded { // 只要有一个服务器上传成功, 就说明联网是正常的, 就可以删除本地刚拍摄的照片文件, 不用留做以后进行数据补录
+	if !needImagBackfill { // 无需补录,删除本地照片
 		os.Remove(imgFile)
 	}
 }

+ 5 - 5
utils/utils.go

@@ -26,7 +26,7 @@ func ExecShell(cmd string) error {
 	command.Stdout = os.Stdout
 	command.Stderr = os.Stderr
 	if err := command.Run(); err != nil {
-		return fmt.Errorf(`执行命令 "%q" 失败: %w!!`, cmd, err)
+		return fmt.Errorf(`执行命令 %q 失败: %w!!`, cmd, err)
 	}
 	return nil
 }
@@ -176,7 +176,7 @@ func LoadJSONData[T any](filePath string) ([]T, error) {
 
 	var result []T
 	if err := json.Unmarshal(data, &result); err != nil {
-		return nil, fmt.Errorf("decode JSON file %q: %w", filePath, err)
+		return nil, err
 	}
 
 	if result == nil {
@@ -213,11 +213,11 @@ func SaveJSONData[T any](filePath string, data []T, maxCount int) error {
 
 	content, err := json.MarshalIndent(existingData, "", "  ")
 	if err != nil {
-		return fmt.Errorf("encode JSON data: %w", err)
+		return err
 	}
 
 	if err := WriteFileAtomic(filePath, content); err != nil {
-		return fmt.Errorf("save JSON file %q: %w", filePath, err)
+		return err
 	}
 
 	return nil
@@ -239,7 +239,7 @@ func CountJSONRecords(filePath string) (int, error) {
 
 	var records []json.RawMessage
 	if err := json.Unmarshal(data, &records); err != nil {
-		return 0, fmt.Errorf("decode JSON file %q: %w", filePath, err)
+		return 0, err
 	}
 
 	return len(records), nil