Contents

mqtt

MQTT

一、MQTT简述

MQTT(Message Queuing Telemetry Transport,消息队列遥测传输协议),是一种基于发布/订阅(publish/subscribe)模式的"轻量级"通讯协议,该协议构建于TCP/IP协议上,由IBM在1999年发布。MQTT最大优点在于,可以以极少的代码和有限的带宽,为连接远程设备提供实时可靠的消息服务。作为一种低开销、低带宽占用的即时通讯协议,使其在物联网、小型设备、移动应用等方面有较广泛的应用。

MQTT是一个基于客户端-服务器的消息发布/订阅传输协议。MQTT协议是轻量、简单、开放和易于实现的,这些特点使它适用范围非常广泛。在很多情况下,包括受限的环境中,如:机器与机器(M2M)通信和物联网(IoT)。其在,通过卫星链路通信传感器、偶尔拨号的医疗设备、智能家居、及一些小型化设备中已广泛使用。

https://github.com/jeremyxu2010/demo-mqtt/raw/master/assets/mqtt-fidge-2.png

从上面的架构图来看,MQTT其实跟传统的MQ很像,也是消息队列。但MQTT协议工作在低带宽、不可靠的网络的远程传感器和控制设备通讯而设计的协议,跟传统MQ相比,它具有以下主要的几项特性:

(1)使用发布/订阅消息模式,提供一对多的消息发布,解除应用程序耦合。

这一点很类似于XMPP,但是MQTT的信息冗余远小于XMPP,,因为XMPP使用XML格式文本来传递数据。

(2)对负载内容屏蔽的消息传输。

(3)使用TCP/IP提供网络连接。

主流的MQTT是基于TCP连接进行数据推送的,但是同样有基于UDP的版本,叫做MQTT-SN。这两种版本由于基于不同的连接方式,优缺点自然也就各有不同了。

(4)有三种消息发布服务质量:

“至多一次”,消息发布完全依赖底层TCP/IP网络。会发生消息丢失或重复。这一级别可用于如下情况,环境传感器数据,丢失一次读记录无所谓,因为不久后还会有第二次发送。这一种方式主要普通APP的推送,倘若你的智能设备在消息推送时未联网,推送过去没收到,再次联网也就收不到了。

“至少一次”,确保消息到达,但消息重复可能会发生。

“只有一次”,确保消息到达一次。在一些要求比较严格的计费系统中,可以使用此级别。在计费系统中,消息重复或丢失会导致不正确的结果。这种最高质量的消息发布服务还可以用于即时通讯类的APP的推送,确保用户收到且只会收到一次。

(5)小型传输,开销很小(固定长度的头部是2字节),协议交换最小化,以降低网络流量。

这就是为什么在介绍里说它非常适合"在物联网领域,传感器与服务器的通信,信息的收集",要知道嵌入式设备的运算能力和带宽都相对薄弱,使用这种协议来传递消息再适合不过了。

(6)使用Last Will和Testament特性通知有关各方客户端异常中断的机制。

Last Will:即遗言机制,用于通知同一主题下的其他设备发送遗言的设备已经断开了连接。

Testament:遗嘱机制,功能类似于Last Will。

二、MQTT协议原理

MQTT协议实现方式

实现MQTT协议需要客户端和服务器端通讯完成,在通讯过程中,MQTT协议中有三种身份:发布者(Publish)、代理(Broker)(服务器)、订阅者(Subscribe)。其中,消息的发布者和订阅者都是客户端,消息代理是服务器,消息发布者可以同时是订阅者。

MQTT传输的消息分为:主题(Topic)和负载(payload)两部分:

  • Topic,可以理解为消息的类型,订阅者订阅(Subscribe)后,就会收到该主题的消息内容(payload);

  • payload,可以理解为消息的内容,是指订阅者具体要使用的内容。

网络传输与应用消息

MQTT会构建底层网络传输:它将建立客户端到服务器的连接,提供两者之间的一个有序的、无损的、基于字节流的双向传输。

当应用数据通过MQTT网络发送时,MQTT会把与之相关的服务质量(QoS)和主题名(Topic)相关连。

MQTT客户端

一个使用MQTT协议的应用程序或者设备,它总是建立到服务器的网络连接。客户端可以:

  • 发布其他客户端可能会订阅的信息;
  • 订阅其它客户端发布的消息;
  • 退订或删除应用程序的消息;
  • 断开与服务器连接。

MQTT服务器

MQTT服务器以称为"消息代理"(Broker),可以是一个应用程序或一台设备。它是位于消息发布者和订阅者之间,它可以:

  • 接受来自客户的网络连接;
  • 接受客户发布的应用信息;
  • 处理来自客户端的订阅和退订请求;
  • 向订阅的客户转发应用程序消息。

MQTT协议中的订阅、主题、会话

订阅(Subscription)

订阅包含主题筛选器(Topic Filter)和最大服务质量(QoS)。订阅会与一个会话(Session)关联。一个会话可以包含多个订阅。每一个会话中的每个订阅都有一个不同的主题筛选器。

会话(Session)

每个客户端与服务器建立连接后就是一个会话,客户端和服务器之间有状态交互。会话存在于一个网络之间,也可能在客户端和服务器之间跨越多个连续的网络连接。

主题名(Topic Name)

连接到一个应用程序消息的标签,该标签与服务器的订阅相匹配。服务器会将消息发送给订阅所匹配标签的每个客户端。

主题筛选器(Topic Filter)

一个对主题名通配符筛选器,在订阅表达式中使用,表示订阅所匹配到的多个主题。

负载(Payload)

消息订阅者所具体接收的内容。

MQTT协议中的方法

MQTT协议中定义了一些方法(也被称为动作),来于表示对确定资源所进行操作。这个资源可以代表预先存在的数据或动态生成数据,这取决于服务器的实现。通常来说,资源指服务器上的文件或输出。主要方法有:

  • Connect。等待与服务器建立连接。
  • Disconnect。等待MQTT客户端完成所做的工作,并与服务器断开TCP/IP会话。
  • Subscribe。等待完成订阅。
  • UnSubscribe。等待服务器取消客户端的一个或多个topics订阅。
  • Publish。MQTT客户端发送消息请求,发送完成后返回应用程序线程。

MQTT使用上一些特殊玩法

MQTT基于主题(Topic)消息路由

MQTT协议基于主题(Topic)进行消息路由,主题(Topic)类似URL路径,例如:

chat/room/1
sensor/10/temperature
sensor/+/temperature
$SYS/broker/metrics/packets/received
$SYS/broker/metrics/#

主题(Topic)通过/分割层级,支持+, #通配符:

`+`: 表示通配一个层级,例如a/+,匹配a/x, a/y
`#`: 表示通配多个层级,例如a/#,匹配a/x, a/b/c/d

订阅者与发布者之间通过主题路由消息进行通信,例如采用mosquitto命令行发布订阅消息:

mosquitto_sub -t a/b/+ -q 1
mosquitto_pub -t a/b/c -m hello -q 1

订阅者可以订阅含通配符主题,但发布者不允许向含通配符主题发布消息。

MQTT消息QoS

MQTT发布消息QoS保证不是端到端的,是客户端与服务器之间的。订阅者收到MQTT消息的QoS级别,最终取决于发布消息的QoS和主题订阅的QoS,简单说就是发布消息的QoS和主题订阅的QoS两者间的较小值。

MQTT 提供了三种服务质量(QoS),在不同网络环境下保证消息的可靠性。

  • QoS 0:消息最多传送一次。如果当前客户端不可用,它将丢失这条消息。
  • QoS 1:消息至少传送一次。
  • QoS 2:消息只传送一次。

关于 MQTT QoS 的更多详情,请参阅文章 MQTT QoS 0, 1, 2 介绍

MQTT 的工作流程

  1. 客户端使用 TCP/IP 协议与 Broker 建立连接,可以选择使用 TLS/SSL 加密来实现安全通信。客户端提供认证信息,并指定会话类型(Clean Session 或 Persistent Session)。
  2. 客户端既可以向特定主题发布消息,也可以订阅主题以接收消息。当客户端发布消息时,它会将消息发送给 MQTT Broker;而当客户端订阅消息时,它会接收与订阅主题相关的消息。
  3. MQTT Broker 接收发布的消息,并将这些消息转发给订阅了对应主题的客户端。它根据 QoS 等级确保消息可靠传递,并根据会话类型为断开连接的客户端存储消息

三、Bot应用

1、内置mqtt broker

package main

import (
	"fmt"
	"log"
	"strings"

	mqtt "github.com/mochi-mqtt/server/v2"
	"github.com/mochi-mqtt/server/v2/listeners"
	"github.com/mochi-mqtt/server/v2/packets"
)

// 自定义 Hook
type MyAuthACLHook struct {
	mqtt.HookBase
}

// Hook ID
func (h *MyAuthACLHook) ID() string {
	return "my-auth-acl-hook"
}

// 声明支持的 Hook
func (h *MyAuthACLHook) Provides(b byte) bool {
	return b == mqtt.OnConnectAuthenticate ||
		b == mqtt.OnACLCheck
}

// ========================
// 1️⃣ 认证
// ========================
func (h *MyAuthACLHook) OnConnectAuthenticate(cl *mqtt.Client, pk packets.Packet) bool {
	username := string(pk.Connect.Username)
	password := string(pk.Connect.Password)

	log.Printf("auth: client=%s user=%s", cl.ID, username)

	// 示例账号
	if username == "root" && password == "password" {
		// 👇 可以把用户信息挂到客户端(后面 ACL 用)
		cl.Properties.Username = []byte(username)
		return true
	}

	return false
}

// ========================
// 2️⃣ ACL 权限控制
// ========================
func (h *MyAuthACLHook) OnACLCheck(cl *mqtt.Client, topic string, write bool) bool {
	username := cl.Properties.Username

	log.Printf("acl: user=%s topic=%s write=%v", username, topic, write)

	// ======================
	// 示例规则:
	// ======================

	// admin:全部允许
	if string(username) == "root" {
		return true
	}

	// user1:只能访问 user1/ 开头的 topic
	if string(username) == "user1" {
		if strings.HasPrefix(topic, "user1/") {
			return true
		}
		return false
	}
	// 默认拒绝
	return false
}

func main() {
	server := mqtt.New(&mqtt.Options{
		InlineClient: true,
	})

	_ = server.AddHook(new(MyAuthACLHook), nil)
	tcp := listeners.NewTCP(listeners.Config{
		Address: ":1885",
	})
	_ = server.AddListener(tcp)

	go func() {
		if err := server.Serve(); err != nil {
			log.Fatal(err)
		}
	}()

	callbackFn := func(cl *mqtt.Client, sub packets.Subscription, pk packets.Packet) {
		server.Log.Info("inline client received message from subscription", "client", cl.ID, "subscriptionId", sub.Identifier, "topic", pk.TopicName)
		fmt.Printf("payload: %s\n", string(pk.Payload))
	}
	server.Subscribe("sugar/home/#", 1, callbackFn)
	select {}
}

2、mbot

package main

import (
	"bytes"
	"encoding/json"
	"fmt"
	"log/slog"
	"os/exec"
	"syscall"
	"time"

	mqtt "github.com/eclipse/paho.mqtt.golang"
)

type MqttConfig struct {
	Broker   string
	ClientID string
	Username string
	Password string
	SubTopic string
	PubTopic string
}

var cfg = &MqttConfig{
	// Broker:   "broker.emqx.io:1883",
	Broker:   "localhost:1885",
	ClientID: "go-temperature-client",
	Username: "root",
	Password: "password",
	SubTopic: "sugar/home/cmd",
	PubTopic: "sugar/home/sensor/temperature",
}

func main() {
	opts := mqtt.NewClientOptions()
	opts.AddBroker(fmt.Sprintf("tcp://%s", cfg.Broker))
	opts.SetClientID(cfg.ClientID)
	if cfg.Username != "" {
		opts.SetUsername(cfg.Username)
		opts.SetPassword(cfg.Password) // 可选
	}
	opts.SetAutoReconnect(true)

	// 连接回调
	opts.OnConnect = func(c mqtt.Client) {
		slog.Info("Connected to MQTT broker", "broker", cfg.Broker)
		// 连接成功后自动订阅
		if token := c.Subscribe(cfg.SubTopic, 1, messageHandler); token.Wait() && token.Error() != nil {
			slog.Error("Subscribe error: %v", "err", token.Error())
		}
	}

	// 断开回调
	opts.OnConnectionLost = func(c mqtt.Client, err error) {
		slog.Error("Connection lost", "broker", cfg.Broker, "error", err)
	}

	// 创建客户端
	client := mqtt.NewClient(opts)

	// 连接
	if token := client.Connect(); token.Wait() && token.Error() != nil {
		slog.Error("Failed to connect to MQTT broker", "broker", cfg.Broker, "error", token.Error())
	}

	// 模拟温度数据上传
	for {
		temp := getTemperature()

		// 构造消息(JSON)
		payload := fmt.Sprintf(`{"device_id":"sensor_001","temperature":%.2f,"ts":%d}`,
			temp, time.Now().Unix())

		// 发布消息
		token := client.Publish(cfg.PubTopic, 0, false, payload)
		token.Wait()
		slog.Info("Published:", "payload", payload)
		time.Sleep(10000 * time.Second)
	}
}

// 模拟获取温度
func getTemperature() float64 {
	return 20 + (5 * float64(time.Now().Unix()%10) / 10)
}

type Payload struct {
	Msg string `json:"msg"`
	Cmd string `json:"cmd"`
}

type PayloadV2 struct {
	Result string `json:"result"`
}

func messageHandler(client mqtt.Client, msg mqtt.Message) {
	slog.Info("Received message", "topic", msg.Topic())

	var data Payload
	err := json.Unmarshal(msg.Payload(), &data)
	if err != nil {
		slog.Error("Failed to parse message payload", "error", err)
		return
	}

	fmt.Printf("Received message - Msg: %s, Cmd: %s", data.Msg, data.Cmd)
	switch data.Msg {
	case "bash":
		var dataV2 PayloadV2
		stdout, stderr, ok := RunCommandWithTimeout(10, data.Cmd)
		if ok {
			dataV2.Result = stderr
		} else {
			dataV2.Result = stdout
		}
		jsonBytes, _ := json.Marshal(dataV2)
		token := client.Publish(cfg.PubTopic, 0, false, jsonBytes)
		token.Wait()

	default:
		fmt.Printf("payload: %v", string(msg.Payload()))
	}
}

func RunCommandWithTimeout(timeout int, command string) (stdout, stderr string, isKilled bool) {
	var stdoutBuf, stderrBuf bytes.Buffer
	cmd := exec.Command("/bin/bash", "-c", command)

	cmd.Stdout = &stdoutBuf
	cmd.Stderr = &stderrBuf
	cmd.Start()
	done := make(chan error)
	go func() {
		done <- cmd.Wait()
	}()
	after := time.After(time.Duration(timeout) * time.Second)
	select {
	case <-after:
		cmd.Process.Signal(syscall.SIGINT)
		time.Sleep(10 * time.Millisecond)
		cmd.Process.Kill()
		isKilled = true
	case <-done:
		isKilled = false
	}
	stdout = string(bytes.TrimSpace(stdoutBuf.Bytes())) // Remove \n
	stderr = string(bytes.TrimSpace(stderrBuf.Bytes())) // Remove \n
	return
}

实现效果:

mbot会定时上传温度信息,除此外往 sugar/home/cmd推送命令,mbot收到后会执行,并上传到broker中,实现远程控制功能