WO2017185207A1 - 一种感知机器人及其感知方法 - Google Patents

一种感知机器人及其感知方法 Download PDF

Info

Publication number
WO2017185207A1
WO2017185207A1 PCT/CN2016/080132 CN2016080132W WO2017185207A1 WO 2017185207 A1 WO2017185207 A1 WO 2017185207A1 CN 2016080132 W CN2016080132 W CN 2016080132W WO 2017185207 A1 WO2017185207 A1 WO 2017185207A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensing
robot
module
image
perceived
Prior art date
Application number
PCT/CN2016/080132
Other languages
English (en)
French (fr)
Inventor
叶军
苗森
姜洪正
Original Assignee
深圳普得技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳普得技术有限公司 filed Critical 深圳普得技术有限公司
Priority to PCT/CN2016/080132 priority Critical patent/WO2017185207A1/zh
Publication of WO2017185207A1 publication Critical patent/WO2017185207A1/zh

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions

Definitions

  • the present invention relates to the field of Internet of Things and sensory robots, and more particularly to a sensory robot and a method of sensing the same.
  • the technical problem to be solved by the present invention is to provide a sensing robot and a sensing method thereof.
  • the technical solution adopted by the present invention to solve the technical problem is: constructing a sensing robot, including a sensing robot head mounted with a camera and rotatable, and further comprising: a wireless communication module, a camera module, An image recognition module, a direction sensing module, and a motor control module, wherein
  • the wireless communication module is used for communication between the sensing robot and a wireless device
  • the camera module is connected to the image recognition module, and the camera module is configured to collect image information of the wireless device and a surrounding environment of the wireless device, and transmit the collected image information to the image.
  • Identification module
  • the image recognition module processes the collected image information, identifies and determines the surrounding environment of the wireless device and the wireless device, and transmits the processed information to the motor control module;
  • the direction sensing module pre-stores the location information of the wireless device, and calculates a direction and an angle of sensing the rotation of the robot head according to the relative positional relationship between the perceived robot head and the wireless device;
  • the motor control module is connected to the direction sensing module, and the motor control module drives the motor to rotate according to the information uploaded by the image recognition module and the direction sensing module, and rotates the head of the sensing robot Go to the target location and capture images of the wireless device and the surrounding environment of the wireless device.
  • the image recognition module recognizes one or more of pattern mode recognition, image brightness recognition, and image color recognition.
  • the motor control module controls the angle of rotation of the motor as:
  • A is the final angle at which the head of the robot is sensed
  • n is the number of steps driven
  • a is the angle of rotation of each pulse, A; is the initial angle at which the head of the robot is sensed.
  • the wireless communication module and the wireless device are connected into a network by means of an ad hoc network, and the self-organizing network adopts one or more of Zigbee, Zwave, Thread.
  • the wireless The communication module also includes one or more of WiR, 3G, 4G, 5G networks for data transmission.
  • the wireless device includes a control device and a sensing device
  • the control device includes one or more of a smart light, a wireless socket, an air conditioner, and a color TV
  • the sensor device includes a door magnet.
  • the present invention also discloses a sensing method of a sensing robot, which includes the following steps:
  • the sensing robot retrieves the pre-stored position information of the to-be-perceived area, and according to the relative positional relationship between the sensing robot head and the to-be-perceived area, calculates the sensing robot head by the direction sensing module.
  • Direction and angle of rotation [0021]
  • the motor control module controls the rotation of the motor according to the direction and the angle of the head of the robot to be rotated, so that the area to be perceived enters the field of view of the camera in the camera module, and captures the image of the area to be perceived;
  • the captured image to be perceived is subjected to brightness and color recognition by the image recognition module, and the recognition result is fed back.
  • the sensing method of the sensing robot of the present invention further includes:
  • the sensing method of the sensing robot of the present invention further includes:
  • the sensing robot issues a control command to generate a sensing demand
  • control command is resent, and the sensing robot re-issues the control command to generate a sensing demand; if so, it ends.
  • the sensing method of the sensing robot of the present invention further includes:
  • the sensing method of the sensing robot of the present invention further includes:
  • the sensing robot when the wireless device issues an alarm, the sensing robot receives an alarm command to generate a sensing requirement
  • the sensing robot performs a preset alarm operation; if not, it ends.
  • a perceptual robot and a sensing method embodying the present invention have the following beneficial effects:
  • the present invention discloses a perceptual robot that communicates with a wireless device.
  • the perceptual robot makes the camera of the perceptual robot wireless by rotating the sensing robot head.
  • Image analysis of the device and nearby areas The image analysis result can be used as a feedback of the control result of the control type wireless device, or can be used as a linkage when the sensing type wireless device is triggered, so that the level of intelligence of the perceived robot in managing the Internet of Things wireless device is greatly improved.
  • FIG. 1 is a schematic structural view of a sensing robot of the present invention
  • FIG. 2 is a schematic diagram of a sensing robot and an external wireless connection device of the present invention
  • FIG. 3 is an image of the sensing robot of the present invention capturing a wireless sensor by rotation
  • FIG. 4 is a comparison of machine vision of different sensing sensors of the sensing robot of the present invention.
  • FIG. 5 is a schematic diagram of the determination of the LED lamp by the sensing robot of the present invention.
  • FIG. 6 is a flowchart of a sensing method of a sensing robot of the present invention.
  • FIG. 7 is a flow chart of the sensing of the sensing robot of the present invention in a control application
  • FIG. 8 is a flow chart of the sensing of the sensing robot of the present invention in a security application.
  • FIG. 1 is a schematic structural view of a sensing robot of the present invention
  • the technical solution adopted by the present invention to solve the technical problem is: constructing a perceptual robot, including a perceptual robot head mounted with a camera and rotatable, further comprising: a wireless communication module 515, a camera module 510, and image recognition a module 511, a direction sensing module 520, and a motor control module 530, wherein
  • the wireless communication module 515 is configured to sense communication between the robot and the wireless device.
  • the wireless communication module 515 and the wireless device are connected into a network through an ad hoc network, and the self-organizing network adopts Zigbee, Zwavex Thread. BLE.
  • One or more of Mesh at the same time, as an IoT device, the sensing robot will be equipped with a network access technology with a large bandwidth, and the wireless communication module 515 also includes Wi Fi, 3G, 4G, 5G networks for data transmission.
  • the wireless device comprises a control device and a sensor device, and the control device includes one or more of a smart light, a wireless socket, an air conditioner, and a color TV.
  • the sensor device includes a door sensor, a human motion detecting sensor, and a smoke sensor. One or more of them.
  • the camera module 510 is connected to the image recognition module 511.
  • the camera module 510 is configured to collect image information of the wireless device and the surrounding environment of the wireless device, and transmit the collected image information to the image recognition module 511.
  • the image recognition module 511 collects the image.
  • the image information is processed to identify and determine the surrounding environment of the wireless device and the wireless device. After the image is recognized, the identification information may be fed back to the display module of the sensing robot or transmitted to the external device or platform through the wireless communication module, and The processed information is transmitted to the motor control module 530.
  • the image recognition module 511 recognizes one or more of pattern pattern recognition, image brightness recognition, and image color recognition.
  • the camera module 510 and the image recognition module 511 implement machine vision functions that sense the robot.
  • the direction sensing module 520 acquires and stores the location information of the wireless device in advance by means of wireless network positioning, visible light communication, etc., and calculates the rotation of the sensing robot head according to the relative positional relationship between the perceived robot head and the wireless device.
  • the motor control module 530 is connected to the direction sensing module 520.
  • the motor control module 530 drives the motor to rotate according to the information uploaded by the image recognition module 51 and the direction sensing module 520, and rotates the sensing robot head to the target position and captures An image of the surrounding environment of wireless devices and wireless devices.
  • the motor control module 530 controls the angle of rotation of the motor to:
  • A is the final angle at which the head of the robot is sensed
  • n is the number of steps driven
  • a is the angle of rotation of each pulse, A; is the initial angle at which the head of the robot is sensed.
  • the sensing robot 101 of the present invention can use a servo motor for its head.
  • the servo motor provides more precise angle control, which is only a difference in the motor control method.
  • the present invention does not limit the type of the motor, and can realize the control rotation.
  • the sensing robot 101 of the present invention is an integral part of an intelligent system and is connected to a wireless device by wireless communication.
  • the wireless connection devices are mainly divided into two categories, a control class 110 and a sensing class 120.
  • the control class 110 includes a smart light 111, a wireless socket 112, and home appliances such as an air conditioner and a color TV.
  • the sensing class 120 includes various wireless sensors, such as The door magnetic sensor 121, the human motion detecting sensor 122, the smoke sensor 123, and the like.
  • the sensing robot 101 of the present invention is provided with the basic features of the sensing robot, that is, the sensing robot head equipped with the camera can be rotated, and the base that can be fixedly mounted, preferably, the sensing robot head in the present invention.
  • the part is spherical, which facilitates the rotation of all angles.
  • Figure 3 shows two different doors
  • the magnetic sensors 121A and 121B have different positions.
  • the sensing robot moves the head magnetic sensor 121A into the camera image of the sensing robot 101 by the rotation of the head.
  • the door magnetic sensor 121A is placed at the intermediate position of the camera image of the sensing robot 101.
  • the sensing robot moves the head to place the door magnetic sensor 121B at the intermediate position of the camera image of the sensing robot 101.
  • the sensing robot of the present invention recognizes and judges the sensor and the periphery of the sensor by machine vision.
  • Figure 4A is a grayscale photo of the sensor with the door closed.
  • Figure 4B is an image of Figure 4A as perceived by the robot through machine vision.
  • Figure 4C is a grayscale photo of the door when a gap is opened.
  • Figure 4D is an image of Figure 4C as perceived by the sensing robot through machine vision.
  • Machine vision has different technical routes.
  • the present invention takes the image processing method of the local binary mode Local Binary Pattem LBP as an example. In the machine vision LBP image, the value of each point represents the feature of the point, and the feature corresponds to the connection relationship around each pixel.
  • the sensing robot of the present invention has a function of sensing brightness and color in addition to pattern recognition by grayscale images. As shown in Fig. 5, when the sensory robot 101 senses the state of the smart light 111, it analyzes the brightness and color of the camera image. In general, RGB image formats can be extracted directly from the red, green, and blue color components. For lighting and other devices with higher brightness, the Y component of YUV or YCbCr is generally used as the measure of brightness.
  • the flow 650 of the sensing robot sensing method of the present invention is as follows:
  • the system first retrieves the pre-stored location information of the required sensing area, and calculates the relative position relationship between the sensing robot head and the to-be-perceived area, and calculates by the direction sensing module 520.
  • the direction and angle 601 at which the head of the robot needs to be rotated is sensed.
  • the motor control module 530 controls the rotation of the motor according to the direction and angle of the head of the robot to be rotated, so that the area to be perceived enters the field of view of the camera in the camera module 510, and captures the image 602 to be perceived. This process can be assisted by the image recognition technology. Has entered the camera screen.
  • the system judges the perceived demand: whether brightness, color recognition 603 is needed, mainly with perception such as LED/OLED lighting, LED/LCD/ Image analysis requirements such as FTF/OLED display with brightness and color. If yes, the captured image to be perceived is subjected to brightness and color recognition 604 by the image recognition module 511, and the result is fed back; if not, the step of brightness and color recognition 604 is skipped. The system then determines if the perceived demand requires graphical pattern recognition 605. If so, graphics pattern recognition 606 is performed; if not, the step of pattern pattern recognition 606 is skipped until end 620.
  • the Perceptual Robot Awareness Process 650 can be embedded as a basic functional module for use in various applications.
  • FIG. 7 it is a flow chart of the sensing method of the sensing robot of the present invention in the control application, and the closed-loop operation of the control system can be well realized by sensing.
  • the system or the present invention senses that the robot sends a control command 702.
  • the sensing robot of the present invention collects the feedback information through the above-described sensing process 650. For example, when an "on" command is sent, the robot is perceived to collect and judge the brightness in the process flow 650, so that the system has feedback to determine whether the instruction is effectively executed. A determination is made as to whether the result of the perceived process 650 meets the requirements 705. If yes, then end 7 20; if no, return to the step of the delivery control command 702 and re-execute the control command to ensure that the control is achieved.
  • FIG. 8 is a flow chart of the perception of the perceived sensor in the security application.
  • the sensing robot enters the sensing process 650.
  • the perceptual robot determines whether image recording 805 is required. If so, the image 806 is recorded, including the still image and video; if not, the step of recording the image 806 is skipped.
  • the sensing robot determines whether an alarm 807 is required. If yes, alarm 808; if no, skip alarm 808 step. Then end 820.

Abstract

一种感知机器人（101）及其感知方法，包括安装有摄像头并可转动的感知机器人（101）头部，还包括：无线通信模块（515）、摄像头模块（510）、图像识别模块（511）、方向传感模块（520）和电机控制模块（530）。感知机器人（101）通过无线通信模块（515）与无线设备（110、120）通信。在有感知需求时，感知机器人（101）通过转动感知机器人（101）头部使感知机器人（101）的摄像头对无线设备（110、120）以及附近区域进行图像分析，图像分析结果可以作为控制类无线设备（110）控制结果的反馈，也可以作为感知类无线设备（120）触发时的联动，使得感知机器人（101）在管理物联网无线设备的智能化水平大大提高。

Description

发明名称：一种感知机器人及其感知方法
技术领域
[0001] 本发明涉及物联网和感知机器人领域， 更具体地说， 涉及一种感知机器人及其 感知方法。
背景技术
[0002] 随着感知机器人技术的不断发展， 感知机器人的功能越来越强， 智能化程度越 来越高。
[0003] 在国外， 已经出现以 Jibo感知机器人为代表的家庭服务感知机器人， 这种感知 机器人可以通过多种交互方式， 为家庭用户提供咨询。 同时， 也具有一定的物 联网功能， 即该感知机器人通过无线技术与一些智能设备连接实现安防等家庭 所需要的功能。
[0004] 在国内， 家庭感知机器人的技术还处于起步阶段， 而且产品定位也以低端为主 , 智能化程度不高， 不能对感知机器人周边的无线连接设备以及周边的情况进 行自动判断， 不能自动控制和感知。
技术问题
[0005] 在国外， 已经出现以 Jibo感知机器人为代表的家庭服务感知机器人， 这种感知 机器人可以通过多种交互方式， 为家庭用户提供咨询。 同时， 也具有一定的物 联网功能， 即该感知机器人通过无线技术与一些智能设备连接实现安防等家庭 所需要的功能。 在国内， 家庭感知机器人的技术还处于起步阶段， 而且产品定 位也以低端为主， 智能化程度不高， 不能对感知机器人周边的无线连接设备以 及周边的情况进行自动判断， 不能自动控制和感知。
问题的解决方案
技术解决方案
[0006] 本发明要解决的技术问题在于， 提供一种感知机器人及其感知方法。
[0007] 本发明解决其技术问题所釆用的技术方案是： 构造一种感知机器人， 包括安装 有摄像头并可转动的感知机器人头部， 还包括： 无线通信模块、 摄像头模块、 图像识别模块、 方向传感模块和电机控制模块， 其中，
[0008] 所述无线通信模块用于所述感知机器人与无线设备之间的通信；
[0009] 所述摄像头模块连接所述图像识别模块， 所述摄像头模块用于釆集所述无线设 备及所述无线设备的周边环境的图像信息， 并将釆集的图像信息传输至所述图 像识别模块；
[0010] 所述图像识别模块对釆集的图像信息进行处理， 对所述无线设备及所述无线设 备的周边环境进行识别和判断， 并将处理后的信息传输至所述电机控制模块；
[0011] 所述方向传感模块预先存储所述无线设备的位置信息， 并根据感知机器人头部 与所述无线设备的相对位置关系， 计算出感知机器人头部转动的方向和角度；
[0012] 所述电机控制模块连接所述方向传感模块， 所述电机控制模块根据所述图像识 别模块和所述方向传感模块上传的信息驱动电机转动,将所述感知机械人头部转 动至目标位置， 并捕获所述无线设备及所述无线设备的周边环境的图像。
[0013] 优选地， 所述图像识别模块识别方式釆用图形模式识别、 图像亮度识别、 图像 颜色识别中的一种或多种。
[0014] 优选地， 所述电机控制模块控制电机转动的角度为：
[0015] A=n*a+A；
[0016] 其中 A为感知机器人头部的最终角度， n为驱动的步数， a为每个脉冲的转动角 度， A；为感知机器人头部的初始角度。
[0017] 优选地， 所述无线通信模块与所述无线设备通过自组网方式连接成网络， 自组 网方式釆用 Zigbee、 Zwave、 Thread. BLE Mesh中的一种或多种， 所述无线通 信模块还包括用于数据传输的 WiR、 3G、 4G、 5G网络中的一种或多种。
[0018] 优选地， 所述无线设备包括控制类设备和感知类设备， 所述控制类设备包括智 能灯、 无线插座、 空调、 彩电中的一种或多种， 所述感知类设备包括门磁传感 器、 人体运动检测传感器、 烟雾传感器中的一种或多种。
[0019] 另， 本发明还公开一种感知机器人的感知方法， 包括下述步骤：
[0020] 根据感知需求， 感知机器人调取预先存储的待感知区域的位置信息， 并根据感 知机器人头部与所述待感知区域的相对位置关系， 通过方向传感模块计算出感 知机器人头部需转动的方向和角度； [0021] 电机控制模块根据感知机器人头部需转动的方向和角度控制电机转动， 使所述 待感知区域进入摄像头模块中摄像头的视野范围， 捕获待感知区域图像；
[0022] 判断感知需求中是否需要识别所述待感知区域图像的亮度和颜色信息；
[0023] 若是 , 则通过图像识别模块对捕获的所述待感知区域图像进行亮度和颜色识别 ， 并反馈识别结果。
[0024] 优选地， 本发明所述的感知机器人的感知方法， 还包括：
[0025] 在判断感知需求中是否需要识别所述待感知区域图像的亮度和颜色信息后， 判 断感知需求中是否需要图形模式识别；
[0026] 若是， 则对捕获的所述待感知区域图像进行图形模式识别； 若否， 则结束对所 述待感知区域图像的感知。
[0027] 优选地， 本发明所述的感知机器人的感知方法， 还包括：
[0028] 根据控制需求， 感知机器人发出控制指令， 产生感知需求；
[0029] 在结束对所述待感知区域图像的感知后， 判断是否达到所述控制需求；
[0030] 若否， 则重新发送控制指令， 感知机器人重新发出控制指令， 产生感知需求； 若是， 则结束。
[0031] 优选地， 本发明所述的感知机器人的感知方法， 还包括：
[0032] 在结束对所述待感知区域图像的感知后， 判断是否需要记录捕获的所述待感知 区域图像；
[0033] 若是， 则记录捕获待的所述待感知区域图像， 并进行存储。
[0034] 优选地， 本发明所述的感知机器人的感知方法， 还包括：
[0035] 当无线设备发出警报时， 感知机器人接收到报警指令， 产生感知需求；
[0036] 在判断是否需要记录捕获待的所述待测区域图像后， 判断是否需要报警；
[0037] 若是， 则感知机器人执行预设的报警操作； 若否， 则结束。
发明的有益效果
有益效果
[0038] 实施本发明的一种感知机器人以及感知方法， 具有以下有益效果： 本发明公开 了一种感知机器人， 该感知机器人的无线通信模块与无线设备通信。 在有感知 需求时， 该感知机器人通过转动感知机器人头部使感知机器人的摄像头对无线 设备以及附近区域进行图像分析。 图像分析结果可以作为控制类无线设备控制 结果的反馈， 也可以作为感知类无线设备触发时的联动， 使得感知机器人在管 理物联网无线设备的智能化水平大大提高。
对附图的简要说明
附图说明
[0039] 下面将结合附图及实施例对本发明作进一步说明， 附图中：
[0040] 图 1是本发明感知机器人的结构示意图；
[0041] 图 2是本发明感知机器人和外部无线连接设备的示意图；
[0042] 图 3是本发明感知机器人通过转动捕获无线传感器的图像；
[0043] 图 4是本发明感知机器人的机器视觉对不同传感器状态的对比；
[0044] 图 5是本发明感知机器人的对 LED灯判断的示意图；
[0045] 图 6是本发明感知机器人的感知方法的流程图；
[0046] 图 7是本发明感知机器人的感知在控制应用中的流程图；
[0047] 图 8是本发明感知机器人的感知在安防应用中的流程图。
实施该发明的最佳实施例
本发明的最佳实施方式
[0048] 如图 1所示， 在本发明的感知机器人的结构示意图；
[0049] 本发明解决其技术问题所釆用的技术方案是： 构造一种感知机器人， 包括安装 有摄像头并可转动的感知机器人头部， 还包括： 无线通信模块 515、 摄像头模块 510、 图像识别模块 511、 方向传感模块 520和电机控制模块 530， 其中，
[0050] 无线通信模块 515用于感知机器人与无线设备之间的通信； 优选地， 无线通信 模块 515与无线设备通过自组网方式连接成网络， 自组网方式釆用 Zigbee、 Zwavex Thread. BLE Mesh中的一种或多种； 同时作为物联网设备， 感知机器 人会配备带宽较大的网络接入技术， 无线通信模块 515还包括用于数据传输的 Wi Fi、 3G、 4G、 5G网络中的一种或多种。 优选地， 无线设备包括控制类设备和感 知类设备， 控制类设备包括智能灯、 无线插座、 空调、 彩电中的一种或多种， 感知类设备包括门磁传感器、 人体运动检测传感器、 烟雾传感器中的一种或多 种。 [0051] 摄像头模块 510连接图像识别模块 511 , 摄像头模块 510用于釆集无线设备及无 线设备的周边环境的图像信息， 并将采集的图像信息传输至图像识别模块 511 ; 图像识别模块 511对采集的图像信息进行处理， 对无线设备及无线设备的周边环 境进行识别和判断， 对图像识别后， 可将识别信息反馈给感知机器人的显示模 块或通过无线通信模块传输给外部设备或平台， 并将处理后的信息传输至电机 控制模块 530; 优选地， 图像识别模块 511识别方式采用图形模式识别、 图像亮 度识别、 图像颜色识别中的一种或多种。
[0052] 摄像头模块 510和图像识别模块 511实现感知机器人的机器视觉功能。
[0053] 方向传感模块 520通过无线网络定位、 可视光通信等方式预先获取并存储无线 设备的位置信息， 并根据感知机器人头部与无线设备的相对位置关系， 计算出 感知机器人头部转动的方向和角度；
[0054] 电机控制模块 530连接方向传感模块 520, 电机控制模块 530根据图像识别模块 5 11和方向传感模块 520上传的信息驱动电机转动,将感知机械人头部转动至目标位 置， 并捕获无线设备及无线设备的周边环境的图像。
[0055] 优选地， 电机控制模块 530控制电机转动的角度为：
[0056] A=n*a+A；
[0057] 其中 A为感知机器人头部的最终角度， n为驱动的步数， a为每个脉冲的转动角 度， A；为感知机器人头部的初始角度。 本发明感知机器人 101， 其头部可以使用 伺服电机。 伺服电机提供更精确的角度控制， 这只是电机控制方法的差异， 本 发明对电机类型不做限定， 能实现控制转动即可。
[0058] 如图 2所示， 本发明感知机器人 101作为智能系统的一个组成部分， 通过无线通 信方式与无线设备连接。 这些无线连接设备主要分成两类， 控制类 110和感知类 120， 其中， 控制类 110包括智能灯 111、 无线插座 112、 以及空调、 彩电等家电 设备等； 感知类 120包括各种无线传感器， 如门磁传感器 121、 人体运动检测传 感器 122、 烟雾传感器 123等。
[0059] 如图 3所示， 本发明感知机器人 101具备感知机器人的基本特征， 即装配有摄像 头的感知机器人头部可以旋转， 以及可固定安装的底座， 优选地， 本发明中的 感知机器人头部为球形， 从而方便各个角度的转动。 图 3表达的是两个不同的门 磁传感器 121A和 121B， 它们位置不同。 在需要监控门磁传感器 121A时， 感知机 器人通过头部的旋转， 将门磁传感器 121A放在感知机器人 101的摄像头图像内， 优选地， 将门磁传感器 121A放在感知机器人 101的摄像头图像的中间位置。 在需 要监控门磁传感器 121B时， 感知机器人通过头部的旋转， 将门磁传感器 121B放 在感知机器人 101的摄像头图像的中间位置。
[0060] 如图 4所示， 以门磁传感器 121为例， 本发明的感知机器人通过机器视觉对传感 器以及传感器周边进行识别和判断。 图 4A为门在关闭吋传感器的灰度照片。 图 4 B为感知机器人通过机器视觉所看到的图 4A的图像。 图 4C为门开启一个缝隙时 的灰度照片。 图 4D为感知机器人通过机器视觉所看到的图 4C的图像。 机器视觉 有不同技术路线， 本发明以本地二进制模式 Local Binary PattemLBP的图像处理 方法为例。 在机器视觉的 LBP图像里， 每个点的数值代表该点的特征， 而该特征 与每个像素点周边的连接关系对应。 通过相似度对比算法， 可以很容易判断图 4 B与图 4D的图像存在很大区别， 即传感器和传感器周边的情况发生了变化。 这个 判断被认为是本发明感知机器人通过自身的摄像头设备和相关模块所感知到的 f 息。
[0061] 本发明感知机器人， 除了通过灰度图像的模式识别， 同时具有感知亮度、 颜色 的功能。 如图 5所示， 感知机器人 101感知智能灯 111的状态时， 会对摄像头图像 的亮度、 颜色进行分析。 一般情况下， RGB的图像格式可以直接从红、 绿、 蓝 的各颜色分量中提取出来。 而对于照明和其他亮度较高的设备， 一般使用 YUV 或 YCbCr等格式的 Y分量作为亮度的衡量数值。
[0062] 如图 6所示， 本发明感知机器人感知方法的流程 650如下：
[0063] 当感知机器人有感知需求 600时， 首先系统会调取预先存储的所需要感知区域 的位置信息， 并根据感知机器人头部与待感知区域的相对位置关系， 通过方向 传感模块 520计算出感知机器人头部需转动的方向和角度 601。 电机控制模块 530 根据感知机器人头部需转动的方向和角度控制电机转动， 使待感知区域进入摄 像头模块 510中摄像头的视野范围， 捕获待感知区域图像 602， 这个过程可以采 用图像识别技术辅助判断设备已经进入摄像头画面。 然后系统对感知需求判断 ： 是否需要亮度、 颜色识别 603， 主要配合感知例如 LED/OLED照明、 LED/LCD/ FTF/OLED显示等有亮度和颜色的图像分析需求。 如果是， 则通过图像识别模块 511对捕获的待感知区域图像进行亮度和颜色识别 604， 并反馈结果； 如果否， 则跳过亮度、 颜色识别 604这个步骤。 然后， 系统对感知需求判断是否需要图形 模式识别 605。 如果是， 则进行图形模式识别 606 ; 如果否， 则跳过图形模式识 别 606这个步骤， 直至结束 620。
[0064] 感知机器人感知流程 650作为一个基础功能模块可以嵌入在各种应用中使用。
如图 7所示， 是本发明感知机器人的感知方法在控制应用中的流程图， 可以通过 感知， 很好地实现控制系统的闭环操作。 当一个控制需求 701发起时， 系统或本 发明感知机器人发送控制指令 702。 当控制指令发送后， 本发明感知机器人通过 上述感知流程 650 , 收集反馈信息。 例如当一条"开灯"指令发送出去， 感知机器 人通过感知流程 650中对亮度的收集和判断， 使得系统有反馈， 来判断指令是否 有效执行。 对感知流程 650的结果是否达到要求进行判断 705。 如果是， 则结束 7 20； 如果否， 回到放送控制指令 702的步骤， 重新执行控制指令， 以确保达到控 制目的。
[0065] 与控制应用相似， 图 8是本发感知明感知机器人的感知在安防应用中的流程图 。 当无线传感器报警 802, 感知机器人进入感知流程 650。 该感知机器人判断是 否需要图像记录 805。 如果是， 则记录图像 806， 包括静态图像和视频； 如果否 , 则跳过记录图像 806步骤。 该感知机器人判断是否需要报警 807。 如果是， 则 报警 808 ; 如果否， 则跳过报警 808步骤。 然后结束 820。
[0066] 以上实施例只为说明本发明的技术构思及特点 , 其目的在于让熟悉此项技术的 人士能够了解本发明的内容并据此实施， 并不能限制本发明的保护范围。 凡跟 本发明权利要求范围所做的均等变化与修饰， 均应属于本发明权利要求的涵盖 范围。

Claims

[权利要求 1] 一种感知机器人， 其特征在于， 包括安装有摄像头并可转动的感知机 器人头部， 还包括： 无线通信模块 （515) 、 摄像头模块 (510) 、 图 像识别模块 （511) 、 方向传感模块 （520) 和电机控制模块 （530)
， 其中，
所述无线通信模块 （515) 用于所述感知机器人与无线设备之间的通 信；
所述摄像头模块 （510) 连接所述图像识别模块 （511 ) , 所述摄像头 模块 （510) 用于釆集所述无线设备及所述无线设备的周边环境的图 像信息， 并将采集的图像信息传输至所述图像识别模块 （511) ； 所述图像识别模块 （511) 对釆集的图像信息进行处理， 对所述无线 设备及所述无线设备的周边环境进行识别和判断， 并将处理后的信息 传输至所述电机控制模块 (530) ；
所述方向传感模块 （520) 预先存储所述无线设备的位置信息， 并根 据感知机器人头部与所述无线设备的相对位置关系， 计算出感知机器 人头部转动的方向和角度；
所述电机控制模块 （530) 连接所述方向传感模块 （520) , 所述电机 控制模块 （530) 根据所述图像识别模块 （511) 和所述方向传感模块
(520) 上传的信息驱动电机转动,将所述感知机械人头部转动至目标 位置， 并捕获所述无线设备及所述无线设备的周边环境的图像。
[权利要求 2] 根据权利要求 1所述的感知机器人， 其特征在于， 所述图像识别模块
(511) 识别方式采用图形模式识别、 图像亮度识别、 图像颜色识别 中的一种或多种。
[权利要求 3] 根据权利要求 1所述的感知机器人， 其特征在于， 所述电机控制模块
(530) 控制电机转动的角度为：
Α=η¾+Α i
其中 A为感知机器人头部的最终角度， n为驱动的步数， a为每个脉冲 的转动角度， A ;为感知机器人头部的初始角度。
[权利要求 4] 根据权利要求 1所述的感知机器人， 其特征在于， 所述无线通信模块
(515) 与所述无线设备通过自组网方式连接成网络， 自组网方式釆 用 Zigbee、 Zwave、 Thread ^ BLE Mesh中的一种或多种， 所述无线通 信模块 （515) 还包括用于数据传输的 WiFi、 3G、 4G、 5G网络中的 一种或多种。
[权利要求 5] 根据权利要求 1所述的感知机器人， 其特征在于， 所述无线设备包括 控制类设备和感知类设备， 所述控制类设备包括智能灯、 无线插座、 空调、 彩电中的一种或多种， 所述感知类设备包括门磁传感器、 人体 运动检测传感器、 烟雾传感器中的一种或多种。
[权利要求 6] —种感知机器人的感知方法， 其特征在于， 包括下述步骤：
根据感知需求， 感知机器人调取预先存储的待感知区域的位置信息， 并根据感知机器人头部与所述待感知区域的相对位置关系， 通过方向 传感模块 （520) 计算出感知机器人头部需转动的方向和角度； 电机控制模块 (530) 根据感知机器人头部需转动的方向和角度控制 电机转动， 使所述待感知区域进入摄像头模块 （510) 中摄像头的视 野范围， 捕获待感知区域图像；
判断感知需求中是否需要识别所述待感知区域图像的亮度和颜色信息 若是， 则通过图像识别模块 （511) 对捕获的所述待感知区域图像进 行亮度和颜色识别， 并反馈识别结果。
[权利要求 7] 根据权利要求 6所述的感知机器人的感知方法， 其特征在于， 还包括 在判断感知需求中是否需要识别所述待感知区域图像的亮度和颜色信 息后， 判断感知需求中是否需要图形模式识别； 若是， 则对捕获的所述待感知区域图像进行图形模式识别； 若否， 则 结束对所述待感知区域图像的感知。
[权利要求 8] 根据权利要求 7所述的感知机器人的感知方法， 其特征在于， 还包括 根据控制需求， 感知机器人发出控制指令， 产生感知需求； 在结束对所述待感知区域图像的感知后， 判断是否达到所述控制需求 若否， 则重新发送控制指令， 感知机器人重新发出控制指令， 产生感 知需求； 若是， 则结束。
[权利要求 9] 根据权利要求 7所述的感知机器人的感知方法， 其特征在于， 还包括 在结束对所述待感知区域图像的感知后， 判断是否需要记录捕获的所 述待感知区域图像；
若是， 则记录捕获待的所述待感知区域图像， 并进行存储。
[权利要求 10] 根据权利要求 9所述的感知机器人的感知方法， 其特征在于， 还包括 当无线设备发出警报吋， 感知机器人接收到报警指令， 产生感知需求 在判断是否需要记录捕获待的所述待测区域图像后， 判断是否需要报 藝.
若是， 则感知机器人执行预设的报警操作； 若否， 则结束。
PCT/CN2016/080132 2016-04-25 2016-04-25 一种感知机器人及其感知方法 WO2017185207A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/080132 WO2017185207A1 (zh) 2016-04-25 2016-04-25 一种感知机器人及其感知方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/080132 WO2017185207A1 (zh) 2016-04-25 2016-04-25 一种感知机器人及其感知方法

Publications (1)

Publication Number Publication Date
WO2017185207A1 true WO2017185207A1 (zh) 2017-11-02

Family

ID=60160611

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2016/080132 WO2017185207A1 (zh) 2016-04-25 2016-04-25 一种感知机器人及其感知方法

Country Status (1)

Country Link
WO (1) WO2017185207A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN202145279U (zh) * 2011-07-08 2012-02-15 上海合时智能科技有限公司 基于目标识别技术的家用移动安保机器人
CN102545275A (zh) * 2010-12-07 2012-07-04 上海新世纪机器人有限公司 机器人自动充电装置及其自动充电方法
CN102596517A (zh) * 2009-07-28 2012-07-18 悠进机器人股份公司 移动机器人定位和导航控制方法及使用该方法的移动机器人
CN103624789A (zh) * 2013-12-03 2014-03-12 深圳如果技术有限公司 一种安防机器人
US20140180479A1 (en) * 2012-12-20 2014-06-26 Wal-Mart Stores, Inc. Bagging With Robotic Arm
CN204189024U (zh) * 2014-09-29 2015-03-04 江门市东方智慧物联网科技有限公司 一种信号采集机器人
WO2015119838A2 (en) * 2014-02-04 2015-08-13 Microsoft Technology Licensing, Llc Controlling a robot in the presence of a moving object
CN104935896A (zh) * 2015-06-29 2015-09-23 广州杰赛科技股份有限公司 自适应运动环境侦测装置以及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102596517A (zh) * 2009-07-28 2012-07-18 悠进机器人股份公司 移动机器人定位和导航控制方法及使用该方法的移动机器人
CN102545275A (zh) * 2010-12-07 2012-07-04 上海新世纪机器人有限公司 机器人自动充电装置及其自动充电方法
CN202145279U (zh) * 2011-07-08 2012-02-15 上海合时智能科技有限公司 基于目标识别技术的家用移动安保机器人
US20140180479A1 (en) * 2012-12-20 2014-06-26 Wal-Mart Stores, Inc. Bagging With Robotic Arm
CN103624789A (zh) * 2013-12-03 2014-03-12 深圳如果技术有限公司 一种安防机器人
WO2015119838A2 (en) * 2014-02-04 2015-08-13 Microsoft Technology Licensing, Llc Controlling a robot in the presence of a moving object
CN204189024U (zh) * 2014-09-29 2015-03-04 江门市东方智慧物联网科技有限公司 一种信号采集机器人
CN104935896A (zh) * 2015-06-29 2015-09-23 广州杰赛科技股份有限公司 自适应运动环境侦测装置以及系统

Similar Documents

Publication Publication Date Title
US20120169584A1 (en) Air conditioning apparatus and a method for controlling an air conditioning apparatus
CN107660039A (zh) 一种识别动态手势的灯具控制系统
US20130169801A1 (en) Visual Command Processing
TWI755762B (zh) 目標跟蹤方法、智慧移動設備和儲存介質
KR101835552B1 (ko) 스마트 팩토리 작업환경 관제시스템
CN206865614U (zh) 一种具有远程跟踪的红外摄像机
US20210185987A1 (en) Rearing place management device and method
CN112487891B (zh) 一种应用于电力作业现场的视觉智能动态识别模型构建方法
US11276292B2 (en) Recording activity detection
US10127424B2 (en) Image processing apparatus, image processing method, and image processing system
US20150153822A1 (en) Rapidly programmable volumes
US11257355B2 (en) System and method for preventing false alarms due to display images
AU2017202764B2 (en) Method for controlling barrier door
CN107544387A (zh) 一种人脸识别家庭安防系统及方法
CN102438122B (zh) 摄影机装置及利用其动态侦测监控对象的方法
KR102129734B1 (ko) 인공지능 기반의 영상 감시 시스템
KR20140022654A (ko) 제스처 인식 기능을 구비한 청소 로봇 및, 그 제어 방법
KR20180092033A (ko) 부품 등록기
WO2014180208A1 (zh) 处理方法及设备、控制设备及工作方法、控制方法及系统
WO2017185207A1 (zh) 一种感知机器人及其感知方法
CN108093284B (zh) 信息输入方式选择系统
US20190310589A1 (en) Neural network combining visible and thermal images for inferring environmental data of an area of a building
JP2019148940A (ja) 学習処理方法、サーバ装置及び反射検知システム
KR101352539B1 (ko) 홈 오토메이션 시스템의 조명제어장치
WO2023088357A1 (zh) 利用图形编码操作乘客输送装置的方法和乘客输送装置

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16899721

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16899721

Country of ref document: EP

Kind code of ref document: A1