WO2019184585A1

WO2019184585A1 - 一种基于WiFi感知控制家用电器的方法及系统

Info

Publication number: WO2019184585A1
Application number: PCT/CN2019/073509
Authority: WO
Inventors: 伍楷舜; 王建
Original assignee: 深圳大学
Priority date: 2018-03-29
Filing date: 2019-01-28
Publication date: 2019-10-03
Also published as: CN108600057A

Abstract

本发明适用于无线通信技术识别领域，提供了一种基于WiFi感知控制家用电器的方法及系统，包括：S1、将手持终端及支撑WiFi功能的家用电器与路由设备的WiFi模块建立连接；S2、手持终端接收WiFi信号采集手势动作数据信息；S3、判断采集的手势动作数据信息与数据库中的预设的手势动作进行匹配；S4、根据匹配的预设手势动作的物理地址信息生成控制指令发送给路由器；S5设备根据接收的控制指令的地址信息将指令发给对应的家用电器执行控制指令。同时结合最新的机器学习算法进行分析判断，从而快速准确地识别用户的手势动作和家庭智能中控进行交互。

Description

一种基于 WiFi感知控制家用电器的方法及系统技术领域

[0001] 本发明属于无线通信技术识别领域，尤其涉及一种基于 WiFi感知控制家用电器的方法及系统。

背景技术

[0002] 自从人类发明了机器，就有了人机交互体验的抽象概念。

[0003] 在如今自动化，智能化蓬勃发展的社会背景下，人机体验也变得越来越重要；如今市面上有很多类型的终端控制产品，例如通过视频识别，这类产品因为要在终端进行视觉识别算法的处理运算，对终端的运算性能要求比较高，所以购买成本略高，还有就是因为运算量大，所以电池续航能力较低。还有一种传感器类型的产品，利用微控制器采集加速度传感器的数据来对用户的动作进行分析，并通过某种无线数据传输技术来传输用户的控制意图，这类产品成本低，功能单一，并不能满足如今用户的多元化消费娱乐理念。我们在基于 WiFi 设备的机器学习算法的二次开发，使普通的家庭路由器和我们的手持终端产品在家庭环境中通过无形的 WiFi网络形成了一个具有自适应环境，自我分辨学习功能的智能交互场景。用户通过手持终端产品，并做出相关动作来使设备里的智能机器学习算法进行分析和判断，并最终分析出用户的具体操控意图，然后通过无线网络把数据传输给相应的控制执行设备，最终控制家庭电子电气设备，实现智能交互的过程。其核心原理是运用了机器学习算法对 WiFi设备的信道状态信息进行运算分析，通过分析结果来判断室内的环境状态，和人手持设备所做出的行为动作以达到产品的核心感知控制功能。其次我们的产品在另一种场合下还可以充当一个 WiFi路由器，中继器的功能，当然还可以扩展 WiFi 媒体中心，用来离线下载网络媒体资源，作为家庭影音娱乐中心。

发明概述

技术问题

问题的解决方案技术解决方案

[0004] 本发明的目的在于提供一种基于 WiFi感知控制家用电器的方法及系统，旨在解决上述的技术问题。

[0005] 本发明是这样实现的，一种基于 WiFi感知控制家用电器的方法，所述方法包括以下步骤：

[0006] S1、将手持终端及支撑 WiFi功能的家用电器与路由设备的 WiFi模块建立连接；

[0007] S2、手持终端接收 WiFi信号采集手势动作数据信息；

[0008] S3、判断采集的手势动作数据信息与数据库中的预设的手势动作进行匹配，如匹配成功，则执行下一步，如匹配不成功，则删除该手势动作；

[0009] S4、根据匹配的预设手势动作的物理地址信息生成控制指令发送给路由器；

[0010] S5设备根据接收的控制指令的地址信息将指令发给对应的家用电器执行控制指令。

[0011] 本发明的进一步技术方案是：所述步骤 S1前还包括步骤：

[0012] S0、将家用电器的 MAC地址输入进手持中端进行数据库保存并设置对应手势指令。

[0013] 本发明的进一步技术方案是：所述步骤 S3中在数据库中为预设的手势动作与控制目的进行一一映射绑定。

[0014] 本发明的进一步技术方案是：所述手持终端采用的是可充电的锂电池供电，充电接口采用的是 Micro USB接口 +5V充电。

[0015] 本发明的进一步技术方案是：手持终端与路由设备之间的 WiFi信号状态变化通过智能识别算法检测判断人手动作与智能家庭控制中枢进行交互。

[0016] 本发明的进一步技术方案是：所述手势包括竖直方向上下晃动、水平方向左右晃动、水平方向前后晃动及竖直方向倾斜 45°晃动。

[0017] 本发明的另一目的在于提供一种基于 WiFi感知控制家用电器的系统，所述系统包括：

[0018] 手持终端，用于接收 WiFi信号，根据 WiFi信号的变化情况识别手势动作，根据手势动作生成相对应的动作指令，并将指令发送给路由设备；

[0019] 路由设备，用于产生 WiFi信号并将信号以广播形式发送，接收返回信号，根据返回信号的地址将其指令信号发送给相对应的家用电器；

[0020] 家用电器，支持 WiFi功能的家用电器，用于接收路由设备根据地址发送的相应的指令，控制中枢根据指令信息执行相应的指令动作。

发明的有益效果

有益效果

[0021] 本发明的有益效果是：集家庭远程交互遥控设备和多功能智能路由器于一体，体积小巧，通过手机微信配置，简单快捷，开创性地运用了 WiFi信号的信道状态信息，来作为分析判断的依据。同时结合最新的机器学习算法进行分析判断，从而快速准确地识别用户的手势动作和家庭智能中控进行交互。

对附图的简要说明

附图说明

[0022] 图 1是本发明实施例提供的基于 WiFi感知控制家用电器的方法。

[0023] 图 2是本发明实施例提供的产品使用流程图。

[0024] 图 3是本发明实施例提供的产品的工作原理图。

[0025] 图 4是本发明实施例提供的产品的应用场景图。

[0026] 图 5是本发明实施例提供的手势方向示意图一。

[0027] 图 6是本发明实施例提供的手势方向示意图二。

发明实施例

本发明的实施方式

[0028] 图 1示出了本发明提供的基于 WiFi感知控制家用电器的方法的流程图，其详述如下：

[0029] 步骤 S0, 将家用电器的 MAC地址输入进手持中端进行数据库保存并设置对应手势指令；将手持终端与路由设备也建立连接，在连接好的手持终端中设置相手势和家用电器的的对应关系，在建立映射关系中一起建立与手势和动作指令信号。

[0030] 步骤 S1，将手持终端及支撑 WiFi功能的家用电器与路由设备的 WiFi模块建立连接；将家中支持 WiFi功能的家用电器与路由设备建立连接，在建立连接时，可以采用自动获取 IP连接或指定 IP地址与 MAC（Media Access Control或者 Medium Access Control的缩写）地址对应绑定连接，其中家用电器包括电视、空调、冰箱及洗衣机等，手持终端与路由设备也同时建立 WiFi信号连接。

[0031] 步骤 S2, 手持终端接收 WiFi信号采集手势动作数据信息；在建立好的连接系统中，对这手持重点做各种手势动作，手持终端根据接收的信号变化情况采集各种手势动作，并将采集到的动作输出。

[0032] 步骤 S3 , 判断采集的手势动作数据信息与数据库中的预设的手势动作进行匹配，如匹配成功，则执行下一步，如匹配不成功，则删除该手势动作；在数据库中为预设的手势动作与控制目的进行一一映射绑定。。

[0033] 步骤 S4, 根据匹配的预设手势动作的物理地址信息生成控制指令发送给路由器 ; 将匹配的手势动作所对应的 MAC地址信息多对应的指令进行提取，将提起的指令前将 MAC地址映射进去，这样将其发给路由设备，路由设备能够提取到相应的地址，用于完成后续的动作，路由设备根据解析的地址将指令发送过去。

[0034] 步骤 S5 , 设备根据接收的控制指令的地址信息将指令发给对应的家用电器执行控制指令；根据接收到的控制指令信息，家电中枢对其进行识别，对识别的指令进行执行，完成控制过程。

[0035] 所述手持终端采用的是可充电的锂电池供电，充电接口采用的是 Micro USB接口 +5V充电。

[0036] 持终端与路由设备之间的 WiFi信号状态变化通过智能识别算法检测判断人手动作与智能家庭控制中枢进行交互。

[0037] 所述手势包括竖直方向上下晃动、水平方向左右晃动、水平方向前后晃动及竖直方向倾斜 45°晃动，如图 5、 6所示。

[0038] 本发明的另一目的在于提供一种基于 WiF撼知控制家用电器的系统，所述系统包括：

[0039] 手持终端，用于接收 WiFi信号，根据 WiFi信号的变化情况识别手势动作，根据手势动作生成相对应的动作指令，并将指令发送给路由设备；

[0040] 路由设备，用于产生 WiFi信号并将信号以广播形式发送，接收返回信号，根据返回信号的地址将其指令信号发送给相对应的家用电器； [0041] 家用电器，支持 WiFi功能的家用电器，用于接收路由设备根据地址发送的相应的指令，控制中枢根据指令信息执行相应的指令动作。

[0042] 手持设备，利用手持设备和路由器之间的 WiFi信号的状态变化情况，通过智能识别算法来检测判断出人手所做的动作，进而通过人的手势动作来与智能家庭控制中枢进行交互。

[0043] 所述 WiFi信号为家庭常用 WiFi信号，即智能手持终端和家庭路由器之间连接的

WiFi信号。

[0044] 所述智能手持设备为锂电池供电，具备可充放电功能，采用 5 V的 Micro USB接口，与普通常用的手机充电器所兼容。

[0045] 所述手势动作需要用户按照说明书向导结合微信客户端进行简单预设，当动作与预设动作相匹配时才会触发设备识别，进而与智能控制平台交互。

[0046] 所述手势按照设置向导，会进行手势动作与控制目的的映射绑定，也就是选择不同的手势对应不同的操作目的。产品内置了几种手势，并提供用户自定义手势的设置方式。

[0047] 所述几种手势包括：上下晃动，左右晃动，前后晃动，其次还可设置晃动的次数的不同来对应不同的手势。

[0048] 提供设备智能配网功能，极大地方便了用户的配网流程。通过设备按钮进入配网模式，通过手机微信扫描二维码进入配网页面，然后输入 WiFi密码即可完成设备连网。

[0049] 产品内置相关应急预案措施，例如检测设备是否与路由器和网络服务器连接良好；否则启动相关应急恢复手段。检测设备的无线状态环境是否与产品预设的条件相兼容；如果不兼容则通过相关方式通知用户进行调整。检测设备的无线信道状态信息是否和周围电磁环境干扰严重，如果严重就启动相关调整措施来改良。

[0050] 手持终端，如产品应用场景所描述，其主要功能有：

[0051] si、与家庭控制平台进行交互的功能。实现智能交互体验。如 4图，家电与家庭控制平台进行 WiFi连接，我们的智能终端也与控制平台连接，此时，在设备配置完成的情况下，设备中的智能算法可以根据 WiFi信号的变化情况来判断出用户的手势，进而当设备分析出手势之后会把这一信息发送给控制平台，控制平台根据用户预设的手势映射关系来操作对应的控制动作。例如设备摇两下，电视机进行切换频道的操作。

[0052] s2、设备的配网和手势对应的预设都在手机微信端进行操作，用户通过扫描设备二维码进入公众号，再通过相应的用户引导进行配网和手势设定的配置工作

[0053] 如图 2所示，为产品的使用流程图：

[0054] S3、设备通电，然后按设备上的配网按钮，此时设备进入配网模式。

[0055] s4、通过手机微信端扫描二维码进入公众号，然后在用户引导的帮助下，进行相关配置。

[0056] s5、如果按照流程，设备此时已经连接上 WiFi网络，并会和云端的服务器进行通信。

[0057] s6、此时设备和服务器连通，设备会通过向服务器进行相关注册来配置相关数据库，同时和手机客户端进行映射，此时用户通过在手机微信客户端进行操作，就可以实现操作设备的效果了。

[0058] s7、设备首先启动时会根据现场环境进行初始化操作，然后在初始化完成后，设备会得出一系列根环境有关的技术参数。

[0059] s8、在设备初始化完成后，用户手持设备做出对应预设动作，设备就可以根据用户的手势动作来操作对应的家庭设备了。

[0060] 如图 3所示，为产品的大致工作原理图解：

[0061] s9、本产品基于开源操作系统 OpenWrt进行特别定制，通过修改无线网卡的驱动程序来获取 WiFi物理层的关键信息。

[0062] slO、然后用户层程序打开驱动设备文件，然后进行接收数据到应用层，应用层会对接收的数据进行校验。如果数据校验出错，会丢弃数据，重新进行接收

[0063] sl l、然后 CSI原始数据会根据相关算法进行转换，转换为增幅和相位的 3*3*56 的 CSI矩阵。

[0064] sl2、然后就是在矩阵的层面对这些数据进行矫正，滤波。随后这些数据被放入数据队列里。

[0065] sl3、等数据队列的数据量达到一定程度后就启动检测程序进行检测。

[0066] sl4、其中检测程序分为初始化阶段和实时检测阶段。

[0067] sl5、其中检测程序的实时检测阶段和前台数据接收程序为多线程调用，检测效果实时性更强。

[0068] 用户手持设备，并做出相关手势，此时设备能检测分析出用户手持设备时所做出的具体动作。

[0069] 检测设备把检测到的用户手势传输给家庭电器控制中枢，然后由控制中枢来实施控制动作。

[0070] 产品是一个采用内置可反复充电的锂电池供电的具有 WiFi功能的小型 Linux计算机。核心芯片为 MT7688，运行定制化的 OpenWrt操作系统。其中，在设备中内置了我们的算法程序，该程序可以准确地捕捉到用户的手势动作，并会把检测到的动作及时发送给控制中枢。

[0071] 产品会推荐几种识别效果最好的手势，如果采用这些手势，识别效果会很好，如果采用其他手势，效果一般。其中如果是内置的几种手势的话那么匹配程度将比较高。

[0072] 采用机器学习算法对 WiFi的基于时间序列的信道状态信息进行分析，由于人手持设备进行不同动作时对 WiFi信号的信道状态信息的影响是有区别的，所以，基于这个原理，我们能通过检测 WiFi信道状态信息的不同变化规律来判断用户具体做了哪些手势动作，其中，如果判断到和预设的某个手势相匹配的话，就把识别到的手势指令发送给控制中枢。进而进行下一步的控制流程。

[0073] 具备与手持设备通信的功能，具备与家庭电器进行通信和控制的功能。基于普通家庭路由器，在此进行相关数据传输和电器控制功能的扩展。此产品不在本发明的描述范围内。智能感知设备只负责手势识别，识别结果发送给控制中枢，而后由控制中枢进行实际的电器设备的操控。

[0074] 提供设备的电力供应，产品已通过相关安全性认证，具备多次充放电能力，集成在设备内部。

[0075] 具备连接 WiFi热点的无线网卡硬件，并能结合程序算法的底层驱动，获取到重要业务信息。

[0076] 通过开源 OpenWrt操作系统，进行应用层逻辑的开发。核心芯片为联发科 MT76 88。在操作系统的驱动层和应用层均进行了相关开发。我们的业务逻辑都在应用层，具备模式识别和网络通信的功能。用户手势的捕捉就是通过分析从内核驱动传输过来的数据进行判断。

[0077] 几种手势分别为，竖直方向上下晃动；水平方向左右晃动；水平方向前后晃动 ; 竖直方向倾斜 45° 晃动。其所支持的手势不仅限于这几种，其他手势也能正常识别。其中，这些手势的具体操作效提供给用户自定义设置的自由。具体的设置通过微信客户端的设置向导来进行设置。

[0078] 能根据 WiFi信道的情况和环境的不同进行自我适应，自我学习。能在不同的应用环境中发挥良好作用。

[0079] 以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

权利要求书

[权利要求 1] 一种基于 WiFi感知控制家用电器的方法，其特征在于，所述方法包括以下步骤：

51、将手持终端及支撑 WiFi功能的家用电器与路由设备的 WiFi模块建立连接；

52、手持终端接收 WiFi信号采集手势动作数据信息；

53、判断采集的手势动作数据信息与数据库中的预设的手势动作进行匹配，如匹配成功，则执行下一步，如匹配不成功，则删除该手势动作；

54、根据匹配的预设手势动作的物理地址信息生成控制指令发送给路由器；

S5设备根据接收的控制指令的地址信息将指令发给对应的家用电器执行控制指令。

[权利要求 2] 根据权利要求 1所述的基于 WiFi感知控制家用电器的方法，其特征在于，所述步骤 S1前还包括步骤：

S0、将家用电器的 MAC地址输入进手持中端进行数据库保存并设置对应手势指令。

[权利要求 3] 根据权利要求 2所述的基于 WiFi感知控制家用电器的方法，其特征在于，所述步骤 S3中在数据库中为预设的手势动作与控制目的进行一一映射绑定。

[权利要求 4] 根据权利要求 3所述的基于 WiFi感知控制家用电器的方法，其特征在于，所述手持终端采用的是可充电的锂电池供电，充电接口采用的是

Micro USB接口 +5V充电。

[权利要求 5] 根据权利要求 5所述的基于 WiFi感知控制家用电器的方法，其特征在于，手持终端与路由设备之间的 WiFi信号状态变化通过智能识别算法检测判断人手动作与智能家庭控制中枢进行交互。

[权利要求 6] 根据权利要求 5所述的基于 WiFi感知控制家用电器的方法，其特征在于，所述手势包括竖直方向上下晃动、水平方向左右晃动、水平方向前后晃动及竖直方向倾斜 45°晃动。

[权利要求 7] 一种基于 WiFi感知控制家用电器的系统，其特征在于，所述系统包括手持终端，用于接收 WiFi信号，根据 WiFi信号的变化情况识别手势动作，根据手势动作生成相对应的动作指令，并将指令发送给路由设备；

路由设备，用于产生 WiFi信号并将信号以广播形式发送，接收返回信号，根据返回信号的地址将其指令信号发送给相对应的家用电器；家用电器，支持 WiFi功能的家用电器，用于接收路由设备根据地址发送的相应的指令，控制中枢根据指令信息执行相应的指令动作。