KR20140031038A - Moving robot and driving method of the same - Google Patents

Moving robot and driving method of the same Download PDF

Info

Publication number
KR20140031038A
KR20140031038A KR1020120097913A KR20120097913A KR20140031038A KR 20140031038 A KR20140031038 A KR 20140031038A KR 1020120097913 A KR1020120097913 A KR 1020120097913A KR 20120097913 A KR20120097913 A KR 20120097913A KR 20140031038 A KR20140031038 A KR 20140031038A
Authority
KR
South Korea
Prior art keywords
mobile robot
operation mode
surrounding environment
driving
unit
Prior art date
Application number
KR1020120097913A
Other languages
Korean (ko)
Other versions
KR101398142B1 (en
Inventor
무라야마 카즈유키
김주현
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020120097913A priority Critical patent/KR101398142B1/en
Publication of KR20140031038A publication Critical patent/KR20140031038A/en
Application granted granted Critical
Publication of KR101398142B1 publication Critical patent/KR101398142B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/01—Mobile robot

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

Disclosed are a moving robot and an operating method thereof. According to an embodiment of the present invention, the invention operates a camera and an illumination unit at the same time if it is determined that surrounding environment of the moving robot is dark, thereby allowing the moving robot to exactly recognize its own position and collect image data even in a dark condition and normally drives the moving robot in an operating mode in which an illumination unit is not operated, thereby minimizing the waste of power consumption. Also, by recognizing surrounding environment of the moving robot based on information acquired from various sensors, the moving robot can acquire more accurate darkness information, recognize its own position, and collect image data without regard to location and time, and therefore moving robot usage environment becomes widespread. [Reference numerals] (10) Clock; (100) Operating mode determination unit; (101) Day and night determination module; (102) Illuminance threshold setting module; (103) Illuminance determination module; (104) Environment recognition determination module; (105) Operating mode determination module; (11) Illuminance sensor; (12) Image data collecting unit; (14) Normal operating mode driving command unit; (15) Dark operating mode driving command unit

Description

이동 로봇 및 이동 로봇의 구동방법{MOVING ROBOT AND DRIVING METHOD OF THE SAME}[0001] MOVING ROBOT AND DRIVING METHOD OF THE SAME [0002]

본 발명은 이동 로봇 및 이동 로봇의 구동방법에 관한 것으로, 특히 주변 환경의 명암 정보에 근거하여 카메라 주변에 설치되는 조명부의 작동 여부를 결정하여 본체를 구동하기 위한 이동 로봇 및 이동 로봇의 구동방법에 관한 것이다.
The present invention relates to a mobile robot and a driving method of the mobile robot. More particularly, the present invention relates to a mobile robot for driving a main body and a driving method of the mobile robot, .

이동 로봇은 일반적으로 일정 공간을 자유롭게 이동하기 위해 현재의 자기 위치를 정확히 인식한 후 현재 위치로부터 목표 위치로 오차 없이 이동할 수 있어야 한다. 즉, 이동 로봇은 사용범위와 환경에 따라 적절한 동작을 수행할 수 있도록 다양한 구동 모드가 프로그램되어 있다.In order to freely move a certain space, the mobile robot should be able to correctly recognize the current magnetic position and then move without error from the current position to the target position. In other words, the mobile robot is programmed with various driving modes so as to perform an appropriate operation according to the use range and environment.

이러한, 이동 로봇은 현재 자기의 위치를 인식하기 어려운 환경, 예를 들어 어두운 환경에서, 조명 제공수단이 함께 동작할 필요가 있다. 특히, 이동 로봇이 주변 환경의 이미지 데이터를 수집하거나 주변 환경에 대한 지도를 작성하고자 하는 경우 주변 환경에 어두울 때에는 카메라와 조명 제공수단을 동시에 구동시킬 수 있어야한다.Such a mobile robot needs to operate together with the illumination providing means in an environment in which it is difficult to recognize the position of the self at present, for example, in a dark environment. In particular, when the mobile robot collects image data of the surrounding environment or creates a map of the surrounding environment, the camera and the illumination providing means must be able to be driven simultaneously when the mobile robot is dark in the surrounding environment.

최근에는 이동 로봇의 하나인 청소로봇에 카메라를 장착하여 주변 환경을 인지하고 그로부터 일정 공간을 감시하는 임무를 수행하는 용도로 사용되기도 한다. 이러한 경우, 특히 이동 로봇의 보다 정확한 주변 환경 인지가 요구된다.Recently, it has been used as a task of mounting a camera on a cleaning robot, which is one of mobile robots, to perceive the surrounding environment and to monitor a certain space therefrom. In this case, it is particularly required that the mobile robot is more accurate in the surrounding environment.

이와 같은 이동 로봇의 다양한 기능 요구에 따라, 어두운 환경에서 이동 로봇을 운행하는 경우, 카메라와 조명 제공수단을 동시에 구동시킬 필요성이 대두되나, 조명 제공수단의 구동은 소비전력의 증가를 야기하므로 예를 들어 청소로봇의 경우 충전된 소비전력이 더욱 빨리 소모되어 청소동작 중에 운행이 정지해버리는 문제가 있을 수 있다.
According to various functions of the mobile robot, when the mobile robot is operated in a dark environment, it is necessary to simultaneously drive the camera and the illumination providing means. However, since driving the illumination providing means causes an increase in power consumption, In the case of the cleaning robot, the charged power consumption may be consumed more quickly and the operation may be stopped during the cleaning operation.

이에, 본 발명의 실시예들은 이동 로봇의 주변 환경이 어두운 경우에는 카메라와 조명부를 동시에 구동하는 운전 모드로 이동 로봇을 운행하고, 평소에는 조명부가 동작하지 않는 운전 모드로 이동 로봇을 운행함으로써, 주변의 환경에 구애됨이 없이 이동 로봇의 정상 동작이 가능하고 동시에 소비전력의 낭비를 최소화할 수 있도록 한 이동 로봇 및 이동 로봇의 구동방법을 제공하는데 그 목적이 있다.Therefore, in the embodiments of the present invention, when the surrounding environment of the mobile robot is dark, the mobile robot is operated in an operation mode for simultaneously driving the camera and the illumination unit, and the mobile robot is operated in an operation mode, The present invention is directed to a mobile robot and a method of driving the mobile robot, which can operate normally of the mobile robot without minimizing the environment of the mobile robot and minimize the waste of power consumption.

본 발명의 실시예에 따른 이동 로봇은, 이동 로봇의 주변 환경을 촬영하는 카메라와; 상기 카메라로부터 하나 이상의 이미지 데이터를 취득하는 이미지 데이터 취득부와; 상기 카메라의 주변에 설치되고, 이동 로봇의 주변 환경에 빛을 조사하는 조명부와; 상기 취득된 이미지 데이터를 분석하여 주변 환경을 인지하고, 인지된 주변 환경으로부터 획득된 명암 정보에 따라 운전시 상기 조명부의 작동 여부에 대응하는 운전 모드를 결정하는 운전 모드 결정부;를 포함한다.A mobile robot according to an embodiment of the present invention includes: a camera for photographing a surrounding environment of a mobile robot; An image data acquisition unit that acquires one or more image data from the camera; A lighting unit installed in the periphery of the camera and irradiating light to the surrounding environment of the mobile robot; And an operation mode determination unit for recognizing the surrounding environment by analyzing the acquired image data and determining an operation mode corresponding to whether the illumination unit is operated during operation according to the lightness and darkness information obtained from the perceived surrounding environment.

일 실시예에서, 상기 운전 모드 결정부는, 상기 획득된 명암 정보가 미리설정된 임계값을 초과하는 밝기이면 일반 운전 모드로 구동하도록 결정하고, 상기 획득된 명암 정보가 미리설정된 임계값 이하의 밝기이면 어둠 운전 모드로 구동하도록 결정하고, 상기 일반 운전 모드는 이동 로봇의 운전시 상기 조명부를 오프 상태로 하고, 상기 어둠 운전 모드는 이동 로봇의 운전시 상기 조명부를 온 상태 하여 구동하는 운전 모드인 것을 특징으로 한다.In one embodiment, the operation mode determination unit determines that the obtained lightness information is in a normal operation mode if the brightness exceeds a preset threshold value, and if the obtained lightness information is brightness less than a preset threshold value, And the dark operation mode is an operation mode in which the illumination unit is turned on at the time of operation of the mobile robot, do.

일 실시예에서, 상기 어둠 운전 모드에서는, 상기 이미지 데이터 취득부의 구동 여부, 구동 주기, 및 구동 범위를 감소 내지 최소화하고, 상기 이동 로봇을 구동하기 위한 모터의 회전속도를 감소 내지 최소화하는 것을 특징으로 한다.In one embodiment, in the dark driving mode, the driving speed, the driving period, and the driving range of the image data acquisition unit are reduced or minimized, and the rotational speed of the motor for driving the mobile robot is reduced or minimized do.

일 실시예에서, 상기 운전 모드 결정부는, 상기 취득된 이미지 데이터로부터 주변 환경의 형상 정보를 인지할 수 있는지를 판단하는 환경인지 판단모듈과; 상기 인지된 주변 환경으로부터 획득된 명암 정보와 상기 환경인지 판단모듈로부터 획득된 형상 정보가 상기 이동 로봇의 자기 위치를 인식하기에 충분한 정도의 밝기인지에 따라 일반 운전 모드로 구동할지 또는 어둠 운전 모드로 구동할지를 결정하는 운전모드 판단모듈;을 포함하는 것을 특징으로 한다.In one embodiment, the operation mode determination unit may include an environment determination module that determines whether the shape information of the surrounding environment can be recognized from the acquired image data; Whether to operate in the normal operation mode or the dark operation mode depending on whether the contrast information obtained from the perceived surrounding environment and the shape information obtained from the environment awareness determination module are sufficient to recognize the self position of the mobile robot And an operation mode determination module for determining whether to drive the vehicle.

일 실시예에서, 상기 이동 로봇은, 상기 운전 모드 결정부에 시간 데이터를 제공하는 시계와; 상기 이동 로봇의 주변 환경의 조도를 감지하고, 상기 운전 모드 결정부에 감지된 조도 데이터를 제공하는 조도센서;를 더 포함하는 것을 특징으로 한다.In one embodiment, the mobile robot includes: a clock for providing time data to the operation mode determination unit; And an illuminance sensor for sensing the illuminance of the surrounding environment of the mobile robot and providing the illuminance data sensed by the operation mode determination unit.

일 실시예에서, 상기 운전 모드 결정부는, 상기 시간 데이터를 이용하여 밤낮을 판단하고, 상기 조도 데이터를 이용하여 주변 환경의 조도를 판단하여, 운전시 상기 조명부의 작동 여부에 대응하는 운전 모드를 결정하는 것을 특징으로 한다.In one embodiment, the operation mode determination unit determines the day and night using the time data, determines the illuminance of the surrounding environment using the illumination data, and determines an operation mode corresponding to whether the illumination unit is operated during operation .

일 실시예에서, 상기 운전 모드 결정부는, 상기 시간 데이터에 포함된 월, 일, 및 시각과 미리설정된 일출 및 일몰 시간을 비교하여 주간 또는 야간을 판단하는 주야 판단모듈과; 입력받은 조도 값에 대해 밝음 또는 어두움을 판단하기 위한 조도 임계값을 설정하는 조도임계치 설정모듈과; 상기 조도 데이터에 포함된 조도값을 상기 조도 임계값과 비교하여 주변 환경의 밝음 또는 어둠을 판단하는 조도판단모듈; 을 더 포함하는 것을 특징으로 한다.In one embodiment, the operation mode determination unit may include a day / night determination module that compares a month, day, and time included in the time data with a preset sunrise and sunset time to determine daytime or nighttime; An illuminance threshold value setting module for setting an illuminance threshold value for determining brightness or darkness of an input illuminance value; A roughness determination module for comparing the roughness value included in the roughness data with the roughness threshold value to determine the brightness or darkness of the surrounding environment; Further comprising:

일 실시예에서, 상기 조도 데이터의 조도값이 상기 조도 임계값을 초과하여 밝음으로 판단되고, 상기 환경인지 판단모듈에 의한 주변 환경의 형상 정보가 인지할 수 있는 것으로 판단되면, 상기 운전 모드 결정부는, 상기 이동 로봇을 일반 운전 모드로 구동하도록 결정하는 것을 특징으로 한다.In one embodiment, when the illuminance value of the illuminance data is determined to be brighter than the illuminance threshold value and it is determined that the shape information of the surrounding environment by the environment awareness module is perceptible, the operation mode determiner , And determines to drive the mobile robot in the normal operation mode.

일 실시예에서, 상기 운전 모드 결정부는, 상기 조명부의 작동 여부에 대응하는 운전 모드를 미리설정된 주기마다 결정하고, 결정된 운전모드에 따라, 일반 운전 모드 구동 지령부 또는 상기 카메라와 상기 조명부를 연동하여 이동 로봇을 구동하는 어둠 운전 모드 구동 지령부로 구동신호를 전달하는 것을 특징으로 한다.
In one embodiment, the operation mode determination unit may determine an operation mode corresponding to whether the illumination unit is operated at a predetermined cycle, and may operate the normal operation mode drive command unit or the camera and the illumination unit in accordance with the determined operation mode And transmits the driving signal to the dark driving mode driving command unit for driving the mobile robot.

또한, 본 발명의 실시예에 따른 이동 로봇의 구동방법은, 이동 로봇의 주변 환경을 촬영하여 하나 이상의 이미지 데이터를 취득하는 단계와; 취득된 이미지 데이터를 분석하여 이동 로봇의 주변 환경을 인지하는 단계와; 인지된 주변 환경으로부터 획득되는 명암 정보에 따라, 운전시 조명부의 작동 여부에 대응하는 운전 모드를 결정하는 단계와; 결정된 운전 모드가 일반 운전 모드이면 상기 조명부를 오프 상태로 하여 이동 로봇을 구동하고 이미지 데이터를 취득하는 단계와; 결정된 운전 모드가 어둠 운전 모드이면 상기 조명부를 온 상태로 하여 이동 로봇을 구동하고 이미지 데이터를 취득하는 단계;를 포함한다.According to another aspect of the present invention, there is provided a method of driving a mobile robot, comprising: capturing at least one image data of a surrounding environment of a mobile robot; Analyzing the acquired image data to recognize the surrounding environment of the mobile robot; Determining an operation mode corresponding to whether the illumination unit is operated during operation according to the contrast information obtained from the perceived surrounding environment; If the determined operation mode is the normal operation mode, turning off the illumination unit to drive the mobile robot and acquire image data; And if the determined operation mode is the dark operation mode, turning on the illumination unit to drive the mobile robot and acquire image data.

일 실시예에서, 상기 운전 모드를 결정하는 단계는, 상기 획득된 명암 정보가 미리설정된 임계값을 초과하는 밝기이면 일반 운전 모드로 구동하도록 결정하고, 상기 획득된 명암 정보가 미리설정된 임계값 이하의 밝기이면 어둠 운전 모드로 구동하도록 결정하는 단계인 것을 특징으로 한다.In one embodiment, the step of determining the operation mode may include determining that the obtained lightness information is in a normal operation mode if the obtained lightness exceeds a preset threshold value, and if the obtained lightness information is less than a preset threshold value And if it is bright, it is determined to drive in the dark driving mode.

일 실시예에서, 상기 주변 환경을 인지하는 단계는, 상기 취득된 이미지 데이터로부터 주변 환경의 형상 정보를 인지할 수 있는지를 판단하는 단계를 포함하고, 상기 운전 모드를 결정하는 단계는, 상기 인지된 주변 환경으로부터 획득된 명암 정보와 상기 획득된 형상 정보가 이동 로봇의 자기 위치를 인식하기에 충분한 정도의 밝기인지에 따라, 운전시 조명부의 작동 여부에 대응하는 운전 모드를 결정하는 단계인 것을 특징으로 한다.
In one embodiment, the step of recognizing the ambient environment includes the step of determining whether the shape information of the surrounding environment can be recognized from the acquired image data, and the step of determining the operation mode includes: And determining an operation mode corresponding to whether or not the illumination unit is operated according to whether the obtained shape information is brightness enough to recognize the self position of the mobile robot, do.

본 발명의 실시예에 따른 이동 로봇 및 이동 로봇의 구동방법에 의하면, 이동 로봇의 주변 환경이 어두운 것으로 판단된 경우 카메라와 조명부를 동시에 구동시켜서 어두운 환경에서도 이동 로봇의 보다 정확한 자기 위치 인식과 이미지 데이터 수집이 가능하고, 평소에는 조명부가 동작하지 않는 운전 모드로 구동함으로써 소비전력의 낭비를 최소화할 수 있다.According to the driving method of the mobile robot and the mobile robot according to the embodiment of the present invention, when it is determined that the surrounding environment of the mobile robot is dark, the camera and the illumination unit are simultaneously driven, And it is possible to minimize the waste of power consumption by driving in an operation mode in which the illumination unit is not normally operated.

또한, 본 발명의 실시예에 따른 이동 로봇 및 이동 로봇의 구동방법에 의하면, 다양한 센서로부터 획득되는 정보에 기초하여 이동 로봇의 주변 환경을 인지함으로써 보다 정확한 명암 정보의 획득이 가능하고, 장소와 시간에 구애됨이 없이 자기 위치 인식과 이미지 데이터 수집이 가능하여 이동 로봇의 사용 환경이 광범위해진다.
In addition, according to the driving method of the mobile robot and the mobile robot according to the embodiment of the present invention, it is possible to acquire more accurate brightness information by recognizing the surrounding environment of the mobile robot based on the information obtained from various sensors, It is possible to recognize the self position and to collect the image data, so that the use environment of the mobile robot is wide.

도 1 및 도 2는 본 발명의 실시예에 따른 이동 로봇의 예시들의 사시도를 보인 도면이다.
도 3은 본 발명의 실시예에 따라, 주변 환경의 명암 정보에 근거한 이동 로봇의 운전 모드와 각 운전 모드와 연계되는 구성을 보인 블록도이다.
도 4는 본 발명의 실시예에 따라, 시간 데이터에 포함된 정보를 이용하여 주간 또는 야간을 판단하기 위한 일출 및 일몰 시간을 보인 도면이다.
도 5는 본 발명의 실시예에 따른 운전 모드 결정부의 세부적인 구성을 보인 블록도이다.
도 6은 본 발명의 실시예에 따른 이동 로봇의 구동방법의 예시 흐름도이다.1 and 2 are perspective views illustrating examples of a mobile robot according to an embodiment of the present invention.
3 is a block diagram showing an operation mode of a mobile robot based on light and dark information of a surrounding environment and a configuration associated with each operation mode according to an embodiment of the present invention.
4 is a diagram showing sunrise and sunset times for determining daytime or nighttime using information included in time data according to an embodiment of the present invention.
5 is a block diagram showing a detailed configuration of an operation mode determination unit according to an embodiment of the present invention.
6 is an exemplary flowchart of a method of driving a mobile robot according to an embodiment of the present invention.

본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세하게 설명하기 위해, 본 발명의 실시 예가 첨부된 도면을 참조하여 설명한다. 하지만, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고, 도면에서 본 발명을 명확하게 설명하기 위해 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통해 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the technical idea of the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In the drawings, parts irrelevant to the description are omitted in order to clearly describe the present invention, and like reference numerals designate like parts throughout the specification.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예들에 따른 이동 로봇 및 이동 로봇의 구동방법에 대해 보다 상세하게 기술하기로 한다.
Hereinafter, a method of driving a mobile robot and a mobile robot according to embodiments of the present invention will be described in detail with reference to the accompanying drawings.

먼저, 도 3을 참조하여, 본 발명의 실시예에 따른 이동 로봇의 세부적인 구성을 기술하면 다음과 같다. 3, a detailed configuration of a mobile robot according to an embodiment of the present invention will be described below.

상기 이동 로봇은 주변 환경의 명암 정보에 근거하여 이동 로봇의 운전 모드를 결정하는 운전 모드 결정부(100)와, 상기 운전 모드 결정부(100)에 명암 정보를 제공하기 위한 시계(10), 조도 센서(11), 및 이미지 데이터 취득부(12)를 포함하며, 상기 운전 모드 결정부(100)에 의하여 결정된 운전 모드에 따라 이동 로봇을 구동하는 일반 운전 모드 구동지령부(14) 및 어둠 운전 모드 구동지령부(15)를 포함하고, 일반 운전 모드 구동지령부(14) 또는 어둠 운전 모드 구동지령부(15)로부터 전달되는 구동신호에 따라 제어되는 구성들로 모터(16), 센서(17), 카메라(18), 및 조명부(19)를 포함한다.The mobile robot includes an operation mode determining unit 100 for determining an operation mode of the mobile robot based on lightness and darkness information of surrounding environment, a clock 10 for providing lightness information to the operation mode determining unit 100, A normal operation mode driving command unit 14 for driving the mobile robot according to the operation mode determined by the operation mode determination unit 100 and a dark operation mode control unit 14 including a sensor 11 and an image data acquisition unit 12, The motor 17 and the sensor 17 are controlled in accordance with the drive signal transmitted from the normal operation mode drive command section 14 or the dark operation mode drive command section 15, A camera 18, and an illumination unit 19.

본 발명의 실시예에 따른 이동 로봇은 자율 주행 및 특정 위치로의 이동이 가능한 로봇으로서, 예를 들어 홈 서빙 로봇 또는 청소 로봇일 수 있다. The mobile robot according to an embodiment of the present invention may be a robot capable of autonomous travel and movement to a specific position, for example, a home-serving robot or a cleaning robot.

이와 관련하여, 도 1 및 도 2를 참조하면, 도 1은 상기 이동 로봇이 홈 서빙 로봇의 형태로 구현된 예이고, 도 2는 상기 이동 로봇이 청소 로봇의 형태로 구현된 예를 도시한다. 청소 로봇의 경우 사용자 조작 없이 청소하고자 하는 구역내를 스스로 주행하면서 바닥면으로부터 먼지와 이물질을 흡입하는 이동 로봇인데, 청소 로봇의 경우도 설정된 청소 경로를 자동으로 주행하면서 청소 동작을 수행하기 위해 자기 위치 인식과 주변 환경의 지도 작성 기능이 반드시 필요하다. 1 and 2, FIG. 1 shows an example in which the mobile robot is implemented in the form of a home-serving robot, and FIG. 2 shows an example in which the mobile robot is implemented in the form of a cleaning robot. In the case of a cleaning robot, the robot is a mobile robot that draws dirt and foreign matter from the floor surface while traveling in a self-cleaning area without user's operation. In the case of a cleaning robot, Recognition and mapping of the surrounding environment are essential.

도 1 및 도 2에 도시된 바와 같이, 이동 로봇의 상면 또는 측면에는 조도 센서(2), 조명부(3), 카메라(4), 및 시계(5)가 설치되고, 이동 로봇의 하부에는 일정 공간내에서 주행이 가능하도록 소정의 주행수단(6)이 구비된다. 다만, 본 발명의 실시예에 따른 이동 로봇의 구성이 이에 한정되는 것은 아니며, 상기한 구성들 중 일부가 생략되거나 다른 구성들을 포함하여 구현될 수도 있다.1 and 2, an illuminance sensor 2, an illumination unit 3, a camera 4, and a clock 5 are installed on an upper surface or a side surface of the mobile robot, A predetermined traveling means 6 is provided so as to be able to travel in the vehicle. However, the configuration of the mobile robot according to the embodiment of the present invention is not limited thereto, and some of the configurations may be omitted or may include other configurations.

계속해서 도 3을 참조하면, 카메라(18)는 본체에 구비되어, 이동 로봇의 주변 환경을 촬영한다.3, the camera 18 is provided in the main body, and photographs the surrounding environment of the mobile robot.

이미지 데이터 취득부(12)는 상기 카메라(18)로부터 하나 이상의 이미지 데이터를 취득하여 저장한다.The image data acquisition unit 12 acquires one or more image data from the camera 18 and stores the acquired image data.

조명부(19)는 상기 카메라(18)의 주변에 설치되어, 이동 로봇의 주변 환경에 빛을 조사한다. 상기 조명부(19)는 일정 지점에 위치 고정되어 설치되거나, 또는 필요한 경우 제어신호에 따라 상하 좌우로 이동되는 팬/틸트 구동수단을 포함하여 위치 조정 가능하도록 설치될 수도 있다.The illumination unit 19 is installed around the camera 18 and irradiates the surrounding environment of the mobile robot with light. The illuminating unit 19 may be fixedly installed at a predetermined position or may be installed so as to be adjustable in position, including a pan / tilt driving unit that is moved up and down and left and right according to a control signal.

운전 모드 결정부(100)는 이미지 데이터 취득부(12)로부터 취득된 이미지 데이터를 분석하여 주변 환경을 인지한다. 또, 운전 모드 결정부(100)는 인지된 주변 환경으로부터 획득된 명암 정보에 따라, 운전시 조명부(19)의 작동 여부에 대응하는 운전 모드를 결정한다.The operation mode determination unit 100 analyzes the image data acquired from the image data acquisition unit 12 to recognize the surrounding environment. In addition, the operation mode determination unit 100 determines an operation mode corresponding to whether the illumination unit 19 is operated in accordance with the light / dark information obtained from the perceived surrounding environment.

또한, 운전 모드 결정부(100)는 상기 인지된 주변 환경으로부터 획득된 명암 정보가 미리설정된 임계값을 초과하는 밝기이면 일반 운전 모드로 구동하는 것으로 결정한다. 한편, 인지된 주변 환경으로부터 획득된 명암 정보가 미리설정된 임계값 이하의 밝기이면 상기 운전 모드 결정부(100)는 어둠 운전 모드로 구동하는 것으로 결정한다.In addition, the operation mode determination unit 100 determines to drive in the normal operation mode if the brightness and darkness information obtained from the perceived surrounding environment exceeds the preset threshold value. On the other hand, if the brightness information obtained from the perceived surrounding environment is less than or equal to a preset threshold value, the operation mode determination unit 100 determines to drive in the dark operation mode.

여기서, 일반 운전 모드는 이동 로봇의 운전시 조명부(19)를 오프(off) 상태로 하여 구동하는 운전 모드이고, 어둠 운전 모드는 이동 로봇의 운전시 조명부(19)를 온(on) 상태로 하여 구동하는 운전 모드이다. Here, the general operation mode is an operation mode in which the illumination unit 19 is turned off during operation of the mobile robot. In the dark operation mode, the illumination unit 19 is turned on during operation of the mobile robot Driving mode.

즉, 운전 모드 결정부(100)에 의해 결정된 운전 모드가 일반 운전 모드이면 일반 운전 모드 구동 지령부(14)가 이동 로봇의 모터(16), 센서(17), 및 카메라(18)에만 구동을 명하는 구동신호를 전달한다. 한편, 결정된 운전 모드가 어둠 운전 모드이면 어둠 운전 모드 구동 지령부(15)가 이동 로봇의 모터(16), 센서(17), 카메라(18)뿐만 아니라 조명부(19)에도 구동을 명하는 구동신호를 전달한다. 이와 같이, 이동 로봇의 주변 환경이 어두운 것으로 판단되면 카메라(18)와 조명부(19)를 동시에 구동시켜 이미지 데이터를 획득하게 함으로써 어두운 환경에서도 주변 환경의 이미지 데이터를 수집할 수 있을 뿐만 아니라, 평소에는 조명부(19)가 동작하지 않도록 함으로써 소비전력의 낭비를 최소화할 수 있다.That is, when the operation mode determined by the operation mode determination unit 100 is the normal operation mode, the normal operation mode drive command unit 14 drives only the motor 16, the sensor 17, and the camera 18 of the mobile robot And transmits a driving signal to be specified. On the other hand, when the determined operation mode is the dark driving mode, the dark driving mode driving instruction unit 15 outputs driving signals to the lighting unit 19 as well as the motor 16, the sensor 17, and the camera 18 of the mobile robot . In this manner, if it is determined that the surrounding environment of the mobile robot is dark, the camera 18 and the illumination unit 19 are simultaneously driven to acquire image data, so that image data of the surrounding environment can be collected in a dark environment, Waste of power consumption can be minimized by preventing the illumination unit 19 from operating.

한편, 일반 운전 모드에서는 조명부(19)를 작동시키지 않음으로써 낭비되는 소비전력을 최소화할 수 있으나, 어둠 운전 모드에서는 조명부(19)가 작동하고 이는 소비전력을 증가시키므로, 특히 이미지 데이터 취득시 다른 구성들의 구동으로 인한 소비전력의 증가를 막기 위한 방안이 필요하다. On the other hand, in the normal operation mode, the power consumption wasted by not operating the illumination unit 19 can be minimized. However, in the dark operation mode, the illumination unit 19 operates and increases the power consumption. It is necessary to prevent the increase of the power consumption due to the driving of the switches.

이에, 본 발명에 따른 실시예에서는, 운전 모드 결정부(100)의 결정에 따른 어둠 운전 모드에서, 이미지 데이터 취득부(12)의 구동 여부, 구동 주기, 및 구동 범위를 감소 내지 최소화하고, 나아가 이동 로봇을 구동하기 위한 모터(16)의 회전속도를 감소 내지 최소화하는 것으로 구현하는 것이 바람직할 것이다.Therefore, in the embodiment according to the present invention, in the dark operation mode according to the determination of the operation mode determination unit 100, whether or not to drive the image data acquisition unit 12, the drive cycle, and the drive range are reduced or minimized, It may be desirable to implement a reduction or a minimization of the rotational speed of the motor 16 for driving the mobile robot.

또한, 운전 모드 결정부(100)의 결정에 따른 어둠 운전 모드에서, 일단 정지 및/또는 방향 변경과 같이 자기 위치 환경이 변화하지 않는 경우에는 이미지 데이터의 수집 및 검색을 하지 않음으로써 소비전력의 증가하는 것을 방지할 수 있다.
In addition, in the dark operation mode determined by the operation mode determination unit 100, when the self-location environment does not change, such as once stop and / or change direction, image data is not collected and retrieved, Can be prevented.

도 5를 참조하면, 운전 모드 결정부(100)는 환경인지 판단모듈(104)과 운전 모드 판단 모듈(105)을 포함하여 이루어진다. Referring to FIG. 5, the operation mode determination unit 100 includes an environment determination module 104 and an operation mode determination module 105.

환경인지 판단모듈(104)은 이미지 데이터 취득부(12)로부터 취득된 이미지 데이터로부터 주변 환경의 형상 정보를 인지할 수 있는지를 판단한다.The environment determination module 104 determines whether or not the shape information of the surrounding environment can be recognized from the image data acquired from the image data acquisition section 12. [

운전 모드 판단 모듈(105)은 상기 인지된 주변 환경으로부터 획득된 명암 정보와 환경인지 판단모듈(104)로부터 획득된 형상 정보가 이동 로봇(1)의 자기 위치를 인식하기에 충분한 정도의 밝기인지를 판단하고, 판단 결과에 따라 일반 운전 모드로 구동할지 또는 어둠 운전 모드로 구동할지를 결정한다. The operation mode determination module 105 determines whether the brightness information obtained from the perceived surrounding environment and the shape information obtained from the environment perception determination module 104 is sufficient to recognize the self position of the mobile robot 1 And determines whether to drive in the normal operation mode or the dark operation mode according to the determination result.

즉, 획득된 형상 정보가 이동 로봇(1)의 자기 위치를 인식하기에 충분한 밝기로 판단되면('자기 위치 인식 가능'), 운전 모드 판단 모듈(105)은 조명부(19)를 오프(off) 상태로 하여 이동 로봇을 구동하도록 일반 운전 모드로 결정한다. 반면, 획득된 형상 정보가 이동 로봇(1)의 자기 위치를 인식하기 어려운 밝기로 판단되면('자기 위치 인식 불가'), 상기 운전 모드 판단 모듈(105)은 예를 들어 주변 환경의 이미지 데이터 취득시 조명부(19)를 온(on) 상태로 하여 이동 로봇을 구동하도록 어둠 운전 모드로 결정한다.That is, if the acquired shape information is determined to be bright enough to recognize the self position of the mobile robot 1 ('self position recognition is possible'), the driving mode determination module 105 turns off the illumination unit 19, And the normal operation mode is determined so as to drive the mobile robot. On the other hand, if the acquired shape information is determined to be difficult to recognize the self-position of the mobile robot 1 ('self position is not recognized'), the operation mode determination module 105 obtains, And sets the dark lighting operation mode to drive the mobile robot with the city lighting unit 19 on.

상기 운전 모드 결정부(100)는 본체에 설치된 조명부(19)의 작동 여부를 달리하는 운전 모드, 즉 일반 운전 모드로 구동할지 또는 어둠 운전 모드로 구동할지를 미리설정된 주기마다 결정할 수 있다. 결정된 운전 모드에 따라, 상기 운전 모드 결정부(100)는 일반 운전 모드 구동 지령부(14)에 구동신호를 전달하거나, 또는 카메라(18)와 조명부(19)를 연동하여 구동시키는 어둠 운전 모드 구동 지령부(15)에 구동신호를 전달한다.The operation mode determination unit 100 may determine whether the illumination unit 19 installed in the main body is operated in a different operation mode, that is, whether it is driven in the normal operation mode or in the dark operation mode. The operation mode determining unit 100 may be configured to transmit a driving signal to the normal driving mode driving command unit 14 or to operate in the dark driving mode in which the camera 18 and the lighting unit 19 are driven in conjunction with each other, And transmits a driving signal to the command unit 15. [

또한, 상기 운전 모드 결정부(100)는 이미지 데이터 취득부(12)외에도 시계(10) 및 조도 센서(11)로부터 명암 정보를 취득할 수 있다. The operation mode determination unit 100 can acquire lightness information from the clock 10 and the light intensity sensor 11 in addition to the image data acquisition unit 12. [

시계(10)는 운전 모드 결정부(100)에 시간 데이터를 제공한다. 또, 조도 센서(11)는 이동 로봇의 주변 환경의 조도를 감지하고, 감지된 조도 데이터를 운전 모드 결정부(100)에 제공한다. 시계(10) 및 조도 센서(11)를 구비한 이동 로봇의 경우, 운전 모드 결정부(100)는 시계(10)로부터 제공된 시간 데이터를 이용하여 밤낮을 판단하고, 조도 센서(11)로부터 제공된 조도 데이터를 이용하여 주변 환경의 조도를 판단하여, 운전시 상기 조명부(19)의 작동 여부에 대응하는 운전 모드를 결정하게 된다.The clock 10 provides time data to the operation mode determination unit 100. The illuminance sensor 11 senses the illuminance of the surrounding environment of the mobile robot and provides the sensed illuminance data to the operation mode determination unit 100. In the case of a mobile robot having a clock 10 and an illuminance sensor 11, the operation mode determination unit 100 determines day and night using the time data provided from the clock 10, The illuminance of the surrounding environment is determined using the data, and the operation mode corresponding to whether the illumination unit 19 is operated or not is determined during operation.

이와 관련하여, 도 5는 상기 운전 모드 결정부(100)의 보다 세부적인 구성들을 보여준다. 도시된 바와 같이, 운전 모드 결정부(100)는 주야 판단모듈(101), 조도 임계치 설정모듈(102), 조도 판단모듈(103), 환경인지 판단모듈(104), 운전 모드 판단모듈(105)을 포함하여 이루어진다.In this regard, FIG. 5 shows more detailed configurations of the operation mode determination unit 100. FIG. As shown in the figure, the operation mode determination unit 100 includes a day / night determining module 101, an illumination threshold setting module 102, an illumination determination module 103, an environment awareness determination module 104, a driving mode determination module 105, .

주야 판단모듈(101)은 시계(10)로부터 획득된 시간 데이터에 포함된 월, 일, 및 시각과 미리설정된 일출 및 일몰 시간을 비교하여 주간 또는 야간을 판단한다. The day / night determining module 101 compares the month, day, and time included in the time data acquired from the clock 10 with predetermined sunrise and sunset times to determine daytime or nighttime.

이와 관련하여, 도 4는 본 발명의 실시예에 따라, 시간 데이터에 포함된 정보를 이용하여 주간 또는 야간을 판단하기 위한 일출 및 일몰시간을 그래프를 통해 보여준다. 도시된 바와 같이, 일출 및 일몰시간은 계절 또는 월에 따라 시각이 달라지므로, 계절별(또는 월별)로 일출 및 일몰시간을 미리저장하고, 시계(10)로부터 획득된 시간 데이터의 월, 일로부터 대응하는 일출 및 일몰시간을 산출한다. 그런 다음, 현재 시계(10)가 가리키는 시각과 일출 및 일몰시간을 비교하여 주간 또는 야간인지를 판단할 수 있다.In this regard, FIG. 4 shows graphs of sunrise and sunset times for determining daytime or nighttime using information included in time data, according to an embodiment of the present invention. As shown in the figure, the sunrise and sunset times vary depending on the season or month, so the sunrise and sunset times are stored in advance for each season (or monthly) To calculate the sunrise and sunset times. Then, it is possible to determine whether it is daytime or nighttime by comparing the time indicated by the current clock 10 with the sunrise and sunset times.

조도 임계치 설정모듈(102)은 입력받은 조도 값에 대해 밝음 또는 어두움을 판단하기 위한 조도 임계값을 설정한다. 운전 모드 결정부(100)는, 획득된 명암 정보가 조도 임계치 설정모듈(102)에 미리설정된 임계값을 초과하는 밝기이면 일반 운전 모드로 구동하도록 결정하고, 획득된 명암 정보가 상기 조도 임계치 설정모듈(102)에 미리설정된 임계값 이하의 밝기이면 어둠 운전 모드로 구동하도록 결정한다.The illuminance threshold value setting module 102 sets an illuminance threshold value for determining the brightness or darkness of the received illuminance value. The operation mode determining unit 100 determines that the obtained lightness information is to be driven in the normal operation mode when the obtained lightness exceeds the preset threshold value in the lightness threshold value setting module 102, If the brightness is equal to or lower than a threshold value set in advance in the dark operation mode.

조도 판단모듈(103)은 조도 센서(11)로부터 획득된 조도 데이터에 포함된 조도값을 조도 임계치 설정모듈(102)의 조도 임계값과 비교하여 주변 환경의 밝음 또는 어둠을 판단한다. The roughness determination module 103 compares the roughness value included in the roughness data obtained from the roughness sensor 11 with the roughness threshold value of the roughness threshold setting module 102 to determine the brightness or darkness of the surrounding environment.

조도 판단모듈(103)의 판단 결과, 획득된 조도 데이터의 조도값이 조도 임계값을 초과하여 '밝음'으로 판단되고, 환경인지 판단모듈(104)에 의하여 주변 환경의 형상 정보 - 예를 들어, 장애물, 벽 등- 가 인지할 수 있는 것으로 판단되면, 상기 운전 모드 결정부(100)는, 상기 이동 로봇을 일반 운전 모드로 구동하는 것으로 결정한다.As a result of the determination by the roughness determination module 103, the roughness value of the obtained roughness data exceeds the roughness threshold value and is determined as 'bright', and the environment-relatedness determination module 104 determines the shape information of the surrounding environment, An obstacle, a wall, or the like) is recognized, the operation mode determination unit 100 determines to drive the mobile robot in the normal operation mode.

한편, 조도 판단모듈(13)의 판단 결과, 획득된 조도 데이터의 조도값이 조도 임계값을 이하여서 '어둠'으로 판단되면, 환경인지 판단모듈(104)에 의하여 주변 환경의 형상 정보를 인지할 수 있더라도 상기 운전 모드 결정부(100)는, 상기 이동 로봇을 어둠 운전 모드로 구동하는 것으로 결정한다. 다만, 실시예에 따라 이동 로봇에 시계(10) 및 조도센서(11)가 구비되어 있지 않아 운전 모드 결정부(100)가 조도 판단모듈(103)을 구비하지 않는 경우에는 환경인지 판단모듈(104)에 의하여 주변 환경의 형상 정보를 인지할 수 있는지 여부에 따라, 상기 운전 모드 결정부(100)는 일반 운전 모드로 구동할지 또는 어둠 운전 모드로 구동할지를 결정한다.
On the other hand, if it is determined that the roughness value of the obtained roughness data is less than the roughness threshold value as a result of the roughness determination module 13, the environment awareness module 104 recognizes the shape information of the surrounding environment The operation mode determination unit 100 determines that the mobile robot is to be driven in the dark operation mode. However, if the operation mode determining unit 100 does not include the illumination intensity determining module 103 because the mobile robot is not equipped with the watch 10 and the illuminance sensor 11 according to the embodiment, , The operation mode determination unit 100 determines whether to drive in the normal operation mode or in the dark operation mode according to whether or not the shape information of the surrounding environment can be recognized.

본 발명의 실시예에 따른 이동 로봇은 시계 및 조도센서를 구비한 사양과 시계 및 조도센서를 구비하지 않은 사양으로 구현될 수 있다.
The mobile robot according to the embodiment of the present invention can be implemented with a specification including a clock and an illuminance sensor, and a specification without a clock and an illuminance sensor.

<실시예1- 시계 및 조도센서를 구비한 이동 로봇>&Lt; Embodiment 1 - Mobile Robot Having a Clock and Light Sensor >

시계 및 조도센서를 구비한 이동 로봇의 경우, 운전 모드 결정부(100)는 시계(10)로부터 시간데이터를 입력받아 주간 또는 야간을 판단하는 주야 판단 모듈(101)과, 조도센서(11)로부터 입력받은 조도값과 조도 임계치 설정모듈(102)에 미리설정된 조도 임계값을 비교하여 주변 환경의 밝음 또는 어둠을 판단하는 조도 판단모듈(103)을 포함한다. In the case of a mobile robot having a clock and an illuminance sensor, the operation mode determining unit 100 includes a day / night determining module 101 that receives time data from the clock 10 and determines a day or night, And an illuminance determination module 103 for comparing the received illuminance value with the illuminance threshold value preset in the illumination threshold value setting module 102 to determine the brightness or darkness of the surrounding environment.

그에 따라, 조도 판단모듈(103)에 의한 판단 결과가 '밝음'으로 판단되고 그리고 환경인지 판단모듈(104)에 의한 판단 결과 주변 환경의 형상 정보가 인지할 수 있는 것으로 판단된 경우 이동 로봇을 일반 운전 모드로 구동한다.Accordingly, when it is determined that the determination result by the roughness determination module 103 is 'bright', and the environment determination module 104 determines that the shape information of the surrounding environment can be recognized, Drive mode.

한편, 환경인지 판단모듈(104)에 의한 판단 결과 주변 환경의 형상 정보가 인지할 수 있는 것으로 판단된 경우라도 조도 판단모듈(103)에 의한 판단 결과가 '어둠'으로 판단되면, 이동 로봇을 어둠 운전 모드로하여 조명부(19)를 작동 상태로 하여 운행한다. On the other hand, even if it is determined that the shape information of the surrounding environment is recognizable as a result of the determination by the environment awareness module 104, if the determination result of the roughness determination module 103 is determined to be 'darkness' And operates the lighting unit 19 in an operation mode.

또, 조도 판단모듈(103)에 의한 판단 결과가 '밝음'으로 판단된 경우라도 환경인지 판단모듈(104)에 의한 판단 결과 주변 환경의 형상 정보가 인지할 수 없는 것으로 판단되면, 마찬가지로 이동 로봇을 어둠 운전 모드로하여 조명부(19)를 작동 상태로 하여 운행한다. If it is determined that the shape information of the surrounding environment can not be recognized as a result of the determination by the environment determination module 104 even if the determination result by the roughness determination module 103 is 'bright', similarly, And the lighting unit 19 is operated in the dark driving mode.

조도 판단모듈(103)에 의한 판단 결과가 '어둠'이고 환경인지 판단모듈(104)에 의한 판단 결과도 주변 환경의 형상 정보를 인지할 수 없는 경우이면 이동 로봇은 어둠 운전 모드로 구동된다.If the determination result by the illumination determination module 103 is 'dark' and the determination result by the environment determination module 104 is that the shape information of the surrounding environment can not be recognized, the mobile robot is driven in the dark operation mode.

이와 같이, 시계 및 조도센서를 구비한 이동 로봇의 경우는 보다 다양한 센서로부터 획득된 정보에 근거하여 이동 로봇의 주변 환경에 대한 명암 정보를 보다 정확하게 인지함으로써 장소와 시간에 구애됨이 없이 자기 위치 인식과 이미지 데이터 수집이 가능해진다.
Thus, in the case of a mobile robot having a clock and an illuminance sensor, it is possible to more accurately recognize the contrast information of the surrounding environment of the mobile robot based on information obtained from various sensors, And image data collection becomes possible.

<실시예2- 시계 및 조도센서를 구비하지 않은 이동 로봇><Embodiment 2 - Mobile robot without clock and illuminance sensor>

한편, 시계 및 조도센서를 구비하지 않은 이동 로봇의 경우는, 이미지 데이터 취득부(12)에 의하여 획득된 주변 환경 정보에 근거하여서만 운전 모드가 결정된다. On the other hand, in the case of a mobile robot not provided with a clock and illuminance sensor, the operation mode is determined only based on the surrounding environment information acquired by the image data acquisition unit 12. [

즉, 운전 모드 결정부(100)는 이미지 데이터 취득부(12)로부터 취득된 이미지 데이터를 입력받아 환경인지 판단모듈(104)에 의해 주변 환경의 형상 정보를 인지할 수 있는지를 판단한다. 그런 다음, 운전 모드 판단 모듈(105)이 인지된 주변 환경의 명암 정보와 환경인지 판단모듈(104)로부터 획득된 형상 정보를 이용하여 이동 로봇의 주변 환경이 자기 위치를 인식하기에 충분한 정도의 밝기인지를 판단한다. That is, the operation mode determining unit 100 receives the image data acquired from the image data acquiring unit 12, and determines whether the environment information determining module 104 can recognize the shape information of the surrounding environment. Then, using the lightness and darkness information of the perimeter environment recognized by the operation mode determination module 105 and the shape information obtained from the environment perception determination module 104, the surrounding environment of the mobile robot is brightened to a brightness sufficient to recognize its own position .

판단 결과, 획득된 형상 정보와 명암 정보에 따라 주변 환경이 이동 로봇의 자기 위치를 인식하기에 충분한 것으로 판단되면('자기 위치 인식 가능'), 운전 모드 판단 모듈(105)은 조명부(19)를 오프(off) 상태로 하는 일반 운전 모드로 결정한다. 반면, 획득된 형상 정보와 명암 정보에 따라 주변 환경이 이동 로봇의 자기 위치를 인식하기 어려운 것으로 판단되면('자기 위치 인식 불가'), 운전 모드 판단 모듈(105)은 조명부(19)를 온(on) 상태로 하여 이동 로봇을 구동하는 어둠 운전 모드로 결정한다.
As a result of the determination, if it is determined that the surrounding environment is sufficient to recognize the self position of the mobile robot according to the obtained shape information and the brightness information ('self position recognition is possible'), the driving mode determination module 105 controls the illumination unit 19 It is determined that the normal operation mode is set to the off state. On the other hand, if it is determined that the surrounding environment is difficult to recognize the self-position of the mobile robot according to the obtained shape information and the intensity information ('self position recognition is impossible'), the driving mode determination module 105 turns on the illumination unit 19 on state to determine the dark operation mode for driving the mobile robot.

이하에서는, 도 6을 참조하여, 본 발명의 실시예에 따른 이동 로봇의 구동방법을 기술한다.Hereinafter, a method of driving a mobile robot according to an embodiment of the present invention will be described with reference to FIG.

먼저, 본체에 구비된 카메라를 통해 이동 로봇의 주변 환경을 촬영하여 하나 이상의 이미지 데이터를 취득한다(S10). 그런 다음, 취득된 이미지 데이터를 분석하여 이동 로봇의 주변 환경을 인지한다(S20). 주변 환경을 인지한다는 것은, 예를 들어, 주변의 장애물, 벽, 문턱과 같은 형상 정보와 주변 환경의 밝기와 같은 명암 정보를 모두 포함할 수 있다.First, the surrounding environment of the mobile robot is photographed through a camera provided in the main body to acquire one or more image data (S10). Then, the acquired image data is analyzed to recognize the surrounding environment of the mobile robot (S20). Recognition of the surrounding environment may include, for example, both shape information such as surrounding obstacles, walls, and thresholds, and contrast information such as the brightness of the surrounding environment.

이동 로봇은, 인지된 주변 환경으로부터 획득된 명암 정보에 따라, 운전시 조명부의 작동 여부에 대응하는 운전 모드를 결정한다(S30). 구체적으로, 획득된 명암 정보가 미리설정된 임계값을 초과하는 밝기인지를 판단(S40)하여 '밝음' 또는 '어둠'에 대응하는 운전 모드를 결정한다.The mobile robot determines an operation mode corresponding to whether the illumination unit is operated during operation according to the contrast information obtained from the perceived surrounding environment (S30). Specifically, it is determined whether the obtained brightness information is brightness exceeding a preset threshold value (S40) to determine an operation mode corresponding to 'bright' or 'dark'.

판단(S40)결과, 결정된 운전 모드가 일반 운전 모드이면, 즉 획득된 명암 정보가 미리설정된 임계값을 초과하는 밝기이면('밝음'), 카메라 주변에 설치된 조명부를 오프 상태로 하여 이동 로봇을 구동한다(S50). As a result of the determination (S40), if the determined operation mode is the normal operation mode, that is, if the obtained lightness information exceeds the predetermined threshold value ('light'), the lighting unit installed in the vicinity of the camera is turned off, (S50).

반면, 판단(S40)결과, 결정된 운전 모드가 어둠 운전 모드이면, 즉 획득된 명암 정보가 미리설정된 임계값 이하의 밝기이면('어둠'), 카메라 주변에 설치된 조명부를 온 상태로 하여 이동 로봇을 구동하고 이미지 데이터를 취득한다(S60).On the other hand, if it is determined in operation S40 that the determined operation mode is the dark operation mode, that is, if the obtained lightness information is brightness less than a predetermined threshold value ('darkness'), And acquires image data (S60).

본 발명에 따른 실시예에서, 주변 환경을 인지하는 과정(S20)은, 취득된 이미지 데이터로부터 주변 환경의 형상 정보를 인지할 수 있는지를 판단하는 단계를 포함할 수 있다. 구체적으로, 인지된 주변 환경으로부터 획득된 명암 정보와 획득된 형상 정보가 이동 로봇의 자기 위치를 인식하기에 충분한 정도의 밝기인지를 판단한다.In the embodiment of the present invention, the process of recognizing the surrounding environment (S20) may include determining whether the shape information of the surrounding environment can be recognized from the acquired image data. Specifically, it is determined whether the brightness information obtained from the perceived surrounding environment and the obtained shape information are bright enough to recognize the self-position of the mobile robot.

나아가, 상기 운전 모드를 결정하는 과정(S30)은, 주변 환경을 인지하는 과정(S20)에서 인지된 주변 환경의 명암 정보와 획득된 형상 정보가 이동 로봇의 자기 위치를 인식하기에 충분한 정도의 밝기인지에 따라 운전시 조명부의 작동 여부에 대응하는 운전 모드를 결정할 수 있다. 이를 위해, 먼저, 환경인지 판단모듈(104)은 취득된 주변 환경의 이미지 데이터로부터 형상 정보를 명확하게 인지할 수 있는지를 판단한다. 그리고, 인지된 주변 환경으로부터 획득된 명암 정보와 획득된 형상 정보가 이동 로봇의 자기 위치를 인식하기에 충분한 정도의 밝기인지를 판단하고, 그 판단 결과에 따라 일반 운전 모드로 구동할지 또는 어둠 운전 모드로 구동할지를 결정할 수 있다.
In addition, the operation mode determination step S30 may include a step S30 of recognizing the surrounding environment, the step S30 of recognizing the surrounding environment, the step S30, It is possible to determine an operation mode corresponding to whether the illumination unit is operated during operation. To this end, the environment determination module 104 first determines whether or not the shape information can be clearly recognized from the image data of the acquired surrounding environment. Then, it is determined whether the lightness and darkness information obtained from the perceived surrounding environment and the obtained shape information are bright enough to recognize the self-position of the mobile robot, and whether to operate in the normal operation mode or in the dark operation mode As shown in FIG.

이상에서 기술한 바와 같이, 본 발명의 실시예에 따른 이동 로봇 및 이동 로봇의 구동방법에 의하면, 이동 로봇의 주변 환경이 어두운 것으로 판단된 경우 카메라와 조명부를 동시에 구동시킴으로써 어두운 환경에서도 이동 로봇의 보다 정확한 자기 위치 인식과 이미지 데이터 수집하는 것이 가능하고, 평소에는 조명부가 동작하지 않는 운전 모드로 구동함으로써 소비전력의 낭비를 최소화할 수 있다. 또한, 다양한 센서로부터 획득되는 정보에 기초하여 이동 로봇의 주변 환경을 인지함으로써 보다 정확한 명암정보의 획득이 가능하고, 장소와 시간에 구애됨이 없이 자기 위치 인식과 이미지 데이터 수집이 가능하여 이동 로봇의 사용 환경이 광범위해진다.As described above, according to the driving method of the mobile robot and the mobile robot according to the embodiment of the present invention, when the surrounding environment of the mobile robot is judged to be dark, the camera and the illumination unit are simultaneously driven, It is possible to accurately recognize the self position and to acquire the image data, and it is possible to minimize the waste of power consumption by driving in the operation mode in which the illumination unit does not normally operate. In addition, it is possible to acquire more accurate lightness information by recognizing the surrounding environment of the mobile robot based on information obtained from various sensors, and it is possible to acquire self-position recognition and image data without being bound to place and time, The use environment becomes wide.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It should be understood that various modifications may be made by those skilled in the art without departing from the spirit and scope of the present invention.

1 - 이동 로봇 본체 2, 11 - 조도 센서
3, 19 - 조명부 4, 18 - 카메라
5, 10 - 시계 6 - 주행수단
12 - 이미지 데이터 취득부 14 - 일반 운전 모드 구동지령부
15 - 어둠 운전 모드 구동지령부 16 - 모터
17 - 센서 100 - 운전 모드 결정부
101 - 주야 판단모듈 102 - 조도 임계치 설정모듈
103 - 조도 판단모듈 104 - 환경 인지 판단모듈
105 - 운전 모드 판단모듈1 - mobile robot body 2, 11 - illuminance sensor
3, 19 - illumination unit 4, 18 - camera
5, 10 - Clock 6 - Driving means
12 - image data acquisition unit 14 - normal operation mode drive command unit
15 - dark driving mode driving command section 16 - motor
17 - Sensor 100 - Operation mode determination section
101 - Day / Night Judgment Module 102 - Illumination Threshold Setting Module
103 - illumination determination module 104 - environment recognition module
105 - Operation mode judgment module

Claims (12)

이동 로봇의 주변 환경을 촬영하는 카메라;
상기 카메라로부터 하나 이상의 이미지 데이터를 취득하는 이미지 데이터 취득부;
상기 카메라의 주변에 설치되어, 이동 로봇의 주변 환경에 빛을 조사하는 조명부; 및
상기 취득된 이미지 데이터를 분석하여 주변 환경을 인지하고, 인지된 주변 환경으로부터 획득된 명암 정보에 따라 상기 조명부의 작동 여부에 대응하는 운전 모드를 결정하는 운전 모드 결정부;를 포함하는 것을 특징으로 하는,
이동 로봇.A camera for photographing a surrounding environment of the mobile robot;
An image data acquisition unit that acquires one or more image data from the camera;
A lighting unit installed in the periphery of the camera for irradiating light to a surrounding environment of the mobile robot; And
And a driving mode determiner configured to recognize the surrounding environment by analyzing the acquired image data, and determine a driving mode corresponding to whether the lighting unit is operated according to the contrast information acquired from the recognized surrounding environment. ,
Mobile robot. 제1항에 있어서,
상기 운전 모드 결정부는,
상기 획득된 명암 정보가 미리설정된 임계값을 초과하는 밝기이면 일반 운전 모드로 구동하도록 결정하고, 상기 획득된 명암 정보가 미리설정된 임계값 이하의 밝기이면 어둠 운전 모드로 구동하도록 결정하고,
상기 일반 운전 모드는 이동 로봇의 운전시 상기 조명부를 오프 상태로 하여 구동하는 운전 모드이고, 상기 어둠 운전 모드는 이동 로봇의 운전시 상기 조명부를 온 상태 하여 구동하는 운전 모드인 것을 특징으로 하는,
이동 로봇.The method of claim 1,
Wherein the operation mode determination unit determines,
If the obtained contrast information is a brightness exceeding a predetermined threshold value, it is determined to drive in a normal driving mode, if the obtained brightness information is less than a predetermined threshold value, it is determined to drive in a dark driving mode,
Wherein the general operation mode is an operation mode in which the illumination unit is turned off during operation of the mobile robot, and the dark operation mode is an operation mode in which the illumination unit is turned on and driven during operation of the mobile robot.
Mobile robot. 제2항에 있어서,
상기 어둠 운전 모드에서는, 상기 이미지 데이터 취득부의 구동, 구동 주기, 및 구동 범위를 감소 내지 최소화하고, 상기 이동 로봇을 구동하기 위한 모터의 회전속도를 감소 내지 최소화하는 것을 특징으로 하는,
이동 로봇.3. The method of claim 2,
Wherein in the dark operation mode, the drive, the drive cycle, and the drive range of the image data acquisition unit are reduced or minimized, and the rotational speed of the motor for driving the mobile robot is reduced or minimized.
Mobile robot. 제1항 또는 제2항에 있어서,
상기 운전 모드 결정부는,
상기 취득된 이미지 데이터로부터 주변 환경의 형상을 인지할 수 있는지를 판단하는 환경인지 판단모듈과;
상기 인지된 주변 환경으로부터 획득된 명암 정보와 상기 환경인지 판단모듈에 의해 판단된 형상 인지 정보가 상기 이동 로봇의 자기 위치를 인식하기에 충분한 정도의 밝기인지에 따라 일반 운전 모드로 구동할지 또는 어둠 운전 모드로 구동할지를 결정하는 운전모드 판단모듈;을 포함하는 것을 특징으로 하는,
이동 로봇.3. The method according to claim 1 or 2,
Wherein the operation mode determination unit determines,
An environment determining unit determining whether an environment shape can be recognized from the acquired image data;
Whether to drive in the normal driving mode or dark driving depending on whether the brightness information obtained from the recognized surrounding environment and the shape recognition information determined by the environment determination module are sufficiently bright to recognize the magnetic position of the mobile robot. Characterized in that it comprises a; driving mode determination module for determining whether to drive in the mode;
Mobile robot. 제4항에 있어서,
상기 운전 모드 결정부에 시간 데이터를 제공하는 시계; 및
상기 이동 로봇의 주변 환경의 조도를 감지하고, 상기 운전 모드 결정부에 감지된 조도 데이터를 제공하는 조도센서; 를 더 포함하는 것을 특징으로 하는,
이동 로봇.5. The method of claim 4,
A clock for providing time data to the operation mode determination unit; And
An illumination sensor which senses an illumination of the surrounding environment of the mobile robot and provides the illumination data sensed by the operation mode determiner; Lt; RTI ID = 0.0 &gt; 1, &lt; / RTI &
Mobile robot. 제5항에 있어서,
상기 운전 모드 결정부는,
상기 시간 데이터를 이용하여 밤낮을 판단하고, 상기 조도 데이터를 이용하여 주변 환경의 조도를 판단하여, 운전시 상기 조명부의 작동 여부에 대응하는 운전 모드를 결정하는 것을 특징으로 하는,
이동 로봇.6. The method of claim 5,
Wherein the operation mode determination unit determines,
Wherein the controller determines the day and night using the time data and determines the illuminance of the surrounding environment using the illuminance data to determine an operation mode corresponding to whether the illuminator is operated during operation,
Mobile robot. 제5항에 있어서,
상기 운전 모드 결정부는,
상기 시간 데이터에 포함된 월, 일, 및 시각과 미리설정된 일출 및 일몰 시간을 비교하여 주간 또는 야간을 판단하는 주야 판단모듈과;
조도 값의 밝음 또는 어둠을 판단하기 위한 조도 임계값을 설정하는 조도임계치 설정모듈; 및
상기 조도 데이터의 조도값을 상기 조도 임계값과 비교하여 주변 환경의 밝음 또는 어둠을 판단하는 조도판단모듈; 을 더 포함하는 것을 특징으로 하는,
이동 로봇.6. The method of claim 5,
Wherein the operation mode determination unit determines,
A day and night determination module for comparing day, night and night by comparing the month, day, and time included in the time data with a preset sunrise and sunset time;
An illuminance threshold setting module for setting an illuminance threshold value for judging the brightness or darkness of the illuminance value; And
An illuminance determination module for comparing the illuminance value of the illuminance data with the illuminance threshold to determine the lightness or darkness of the surrounding environment; &Lt; / RTI &gt;
Mobile robot. 제7항에 있어서,
상기 조도 데이터의 조도값이 상기 조도 임계값을 초과하여 밝음으로 판단되고, 상기 환경인지 판단모듈에 의해 주변 환경의 형상이 인지할 수 있는 것으로 판단되면,
상기 운전 모드 결정부는, 상기 이동 로봇을 일반 운전 모드로 구동하도록 결정하는 것을 특징으로 하는,
이동 로봇.8. The method of claim 7,
If it is determined that the illuminance value of the illuminance data exceeds the illuminance threshold and is determined to be bright by the environment determination module, the shape of the surrounding environment may be recognized.
The driving mode determination unit, characterized in that for determining to drive the mobile robot in the normal driving mode,
Mobile robot. 제1항 또는 제2항에 있어서,
상기 운전 모드 결정부는,
상기 조명부의 작동 여부에 대응하는 운전 모드를 미리설정된 주기마다 결정하고,
결정된 운전모드에 따라, 일반 운전 모드 구동 지령부 또는 상기 카메라와 상기 조명부를 연동하여 이동 로봇을 구동하는 어둠 운전 모드 구동 지령부에 구동신호를 전달하는 것을 특징으로 하는,
이동 로봇.3. The method according to claim 1 or 2,
Wherein the operation mode determination unit determines,
The operation mode corresponding to whether or not the illumination unit is operated is determined every predetermined period,
Wherein the drive signal is transmitted to the normal operation mode drive command unit or the dark operation mode drive command unit that drives the mobile robot in association with the camera and the illumination unit according to the determined operation mode,
Mobile robot. 이동 로봇의 주변 환경을 촬영하여 하나 이상의 이미지 데이터를 취득하는 단계;
취득된 이미지 데이터를 분석하여 이동 로봇의 주변 환경을 인지하는 단계;
인지된 주변 환경으로부터 획득된 명암 정보에 따라, 운전시 조명부의 작동 여부에 대응하는 운전 모드를 결정하는 단계;
결정된 운전 모드가 일반 운전 모드이면 상기 조명부를 오프 상태로 하여 이동 로봇을 구동하고, 결정된 운전 모드가 어둠 운전 모드이면 상기 조명부를 온 상태로 하여 이동 로봇을 구동하는 단계;를 포함하는 것을 특징으로 하는,
이동 로봇의 구동방법.Capturing at least one image data of a surrounding environment of the mobile robot;
Analyzing the acquired image data to recognize a surrounding environment of the mobile robot;
Determining a driving mode corresponding to whether the lighting unit is in operation while driving based on contrast information obtained from the recognized surrounding environment;
And driving the mobile robot by turning off the lighting unit when the determined driving mode is a normal driving mode, and driving the mobile robot by turning the lighting unit on when the determined driving mode is a dark driving mode. ,
A driving method of a mobile robot. 제10항에 있어서,
상기 운전 모드를 결정하는 단계는,
상기 획득된 명암 정보가 미리설정된 임계값을 초과하는 밝기이면 일반 운전 모드로 구동하도록 결정하고, 상기 획득된 명암 정보가 미리설정된 임계값 이하의 밝기이면 어둠 운전 모드로 구동하도록 결정하는 단계인 것을 특징으로 하는,
이동 로봇의 구동방법.11. The method of claim 10,
Determining the driving mode,
Determining to drive in the normal driving mode when the obtained contrast information is at a brightness level exceeding a preset threshold value, and determining to drive in the dark driving mode when the obtained brightness information is at or below a predetermined threshold value. Made,
A driving method of a mobile robot. 제10항 또는 제11항에 있어서,
상기 주변 환경을 인지하는 단계는, 상기 취득된 이미지 데이터로부터 주변 환경의 형상을 인지할 수 있는지를 판단하는 단계를 포함하고,
상기 운전 모드를 결정하는 단계는, 상기 인지된 주변 환경으로부터 획득된 명암 정보와 상기 판단된 형상 인지 정보가 이동 로봇의 자기 위치를 인식하기에 충분한 정도의 밝기인지에 따라, 운전시 조명부의 작동 여부에 대응하는 운전 모드를 결정하는 단계인 것을 특징으로 하는,
이동 로봇의 구동방법.The method according to claim 10 or 11,
Recognizing the surrounding environment includes determining whether the shape of the surrounding environment can be recognized from the acquired image data,
The determining of the driving mode may include determining whether the lighting unit is operating when driving, depending on whether the brightness information obtained from the recognized surrounding environment and the determined shape recognition information are bright enough to recognize the magnetic position of the mobile robot. Determining a driving mode corresponding to the
A driving method of a mobile robot.
KR1020120097913A 2012-09-04 2012-09-04 Moving robot and driving method of the same KR101398142B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120097913A KR101398142B1 (en) 2012-09-04 2012-09-04 Moving robot and driving method of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120097913A KR101398142B1 (en) 2012-09-04 2012-09-04 Moving robot and driving method of the same

Publications (2)

Publication Number Publication Date
KR20140031038A true KR20140031038A (en) 2014-03-12
KR101398142B1 KR101398142B1 (en) 2014-06-27

Family

ID=50643353

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120097913A KR101398142B1 (en) 2012-09-04 2012-09-04 Moving robot and driving method of the same

Country Status (1)

Country Link
KR (1) KR101398142B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200106107A (en) * 2019-02-25 2020-09-11 엘지전자 주식회사 A moving-robot and control method thereof
WO2021135673A1 (en) * 2020-01-03 2021-07-08 苏州宝时得电动工具有限公司 Self-moving device
CN113163125A (en) * 2020-01-03 2021-07-23 苏州宝时得电动工具有限公司 Self-moving equipment
CN113671853A (en) * 2021-08-02 2021-11-19 广东启智创新教育科技有限公司 Control system who possesses interactive robot of dance

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105619421A (en) * 2016-03-27 2016-06-01 绵阳晓迪圣点创意科技有限公司 Clock robot

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200305679Y1 (en) * 2002-11-09 2003-03-03 삼성광주전자 주식회사 Robot cleaner having lamp
KR101337534B1 (en) * 2007-07-24 2013-12-06 삼성전자주식회사 Apparatus and method for localization of moving robot
KR101618030B1 (en) * 2009-07-28 2016-05-09 주식회사 유진로봇 Method for Recognizing Position and Controlling Movement of a Mobile Robot, and the Mobile Robot Using the same

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200106107A (en) * 2019-02-25 2020-09-11 엘지전자 주식회사 A moving-robot and control method thereof
WO2021135673A1 (en) * 2020-01-03 2021-07-08 苏州宝时得电动工具有限公司 Self-moving device
CN113163125A (en) * 2020-01-03 2021-07-23 苏州宝时得电动工具有限公司 Self-moving equipment
CN113671853A (en) * 2021-08-02 2021-11-19 广东启智创新教育科技有限公司 Control system who possesses interactive robot of dance

Also Published As

Publication number Publication date
KR101398142B1 (en) 2014-06-27

Similar Documents

Publication Publication Date Title
KR101398142B1 (en) Moving robot and driving method of the same
US8115811B2 (en) Vehicle surrounding area display device
KR102006928B1 (en) A mobile robot
KR100854653B1 (en) Localization system of the mobile robot using the charging station
RU2242159C1 (en) Cleaning robot (variants), robotized cleaning system and method for controlling robot and system
JP5327392B1 (en) Vehicle with vehicle side illumination / visual means
WO2014188903A1 (en) Lighting control device
EP2138350A2 (en) Auto lighting system
JP2011209019A (en) Robot device and method of controlling the same
KR101453806B1 (en) Dimming Control System Using Image Data
RU2003108270A (en) ROBOT-CLEANER (OPTIONS), ROBOTECHNICAL SYSTEM-CLEANER AND METHOD FOR MANAGING THEM
CN103547024A (en) Lighting system and sensing device
EP2785141A1 (en) Lighting control system and lighting control method
KR20180051007A (en) Smart streetlight system
US20200050865A1 (en) Method and system for detecting a raised object located within a parking area
CN109032126B (en) Autonomous vehicle and system with vehicle and external lighting device
JP2008296759A (en) Information processor, method, and program
KR102192593B1 (en) A control system for a traffic light of crosswalk using piezoelectric block
JP2010123373A (en) Illumination system
JP4999653B2 (en) Vehicle lamp control system
KR101849970B1 (en) Robot Cleaner and Method for Controlling the same
KR200305679Y1 (en) Robot cleaner having lamp
JP4097144B2 (en) Crosswalk lighting device and pedestrian identification device
KR20150057072A (en) Illumination control apparatus and method using camera
KR20180032017A (en) Light Control Apparatus for Sensing Driver&#39;s Dangerous Object and Control Method Thereof

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170414

Year of fee payment: 4