KR101398142B1 - 이동 로봇 및 이동 로봇의 구동방법 - Google Patents

이동 로봇 및 이동 로봇의 구동방법 Download PDF

Info

Publication number
KR101398142B1
KR101398142B1 KR1020120097913A KR20120097913A KR101398142B1 KR 101398142 B1 KR101398142 B1 KR 101398142B1 KR 1020120097913 A KR1020120097913 A KR 1020120097913A KR 20120097913 A KR20120097913 A KR 20120097913A KR 101398142 B1 KR101398142 B1 KR 101398142B1
Authority
KR
South Korea
Prior art keywords
operation mode
mobile robot
surrounding environment
driving
dark
Prior art date
Application number
KR1020120097913A
Other languages
English (en)
Other versions
KR20140031038A (ko
Inventor
무라야마 카즈유키
김주현
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020120097913A priority Critical patent/KR101398142B1/ko
Publication of KR20140031038A publication Critical patent/KR20140031038A/ko
Application granted granted Critical
Publication of KR101398142B1 publication Critical patent/KR101398142B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/04Viewing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/01Mobile robot

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

이동 로봇 및 이동 로봇의 구동 방법이 개시된다. 본 발명의 실시예들에 의하면, 이동 로봇의 주변 환경이 어두운 것으로 판단된 경우 카메라와 조명부를 동시에 구동시켜서 어두운 환경에서도 이동 로봇의 보다 정확한 자기 위치 인식과 이미지 데이터 수집하는 것이 가능하고, 평소에는 조명부가 동작하지 않는 운전 모드로 구동함으로써 소비전력의 낭비를 최소화할 수 있다. 또한, 다양한 센서로부터 획득된 정보에 기초하여 이동 로봇의 주변 환경을 인지함으로써 보다 정확한 명암정보의 획득이 가능하고, 장소와 시간에 구애됨이 없이 자기 위치 인식과 이미지 데이터 수집이 가능하여 이동 로봇의 사용 환경이 광범위해진다.

Description

이동 로봇 및 이동 로봇의 구동방법{MOVING ROBOT AND DRIVING METHOD OF THE SAME}
본 발명은 이동 로봇 및 이동 로봇의 구동방법에 관한 것으로, 특히 주변 환경의 명암 정보에 근거하여 카메라 주변에 설치되는 조명부의 작동 여부를 결정하여 본체를 구동하기 위한 이동 로봇 및 이동 로봇의 구동방법에 관한 것이다.
이동 로봇은 일반적으로 일정 공간을 자유롭게 이동하기 위해 현재의 자기 위치를 정확히 인식한 후 현재 위치로부터 목표 위치로 오차 없이 이동할 수 있어야 한다. 즉, 이동 로봇은 사용범위와 환경에 따라 적절한 동작을 수행할 수 있도록 다양한 구동 모드가 프로그램되어 있다.
이러한, 이동 로봇은 현재 자기의 위치를 인식하기 어려운 환경, 예를 들어 어두운 환경에서, 조명 제공수단이 함께 동작할 필요가 있다. 특히, 이동 로봇이 주변 환경의 이미지 데이터를 수집하거나 주변 환경에 대한 지도를 작성하고자 하는 경우 주변 환경에 어두울 때에는 카메라와 조명 제공수단을 동시에 구동시킬 수 있어야한다.
최근에는 이동 로봇의 하나인 청소로봇에 카메라를 장착하여 주변 환경을 인지하고 그로부터 일정 공간을 감시하는 임무를 수행하는 용도로 사용되기도 한다. 이러한 경우, 특히 이동 로봇의 보다 정확한 주변 환경 인지가 요구된다.
이와 같은 이동 로봇의 다양한 기능 요구에 따라, 어두운 환경에서 이동 로봇을 운행하는 경우, 카메라와 조명 제공수단을 동시에 구동시킬 필요성이 대두되나, 조명 제공수단의 구동은 소비전력의 증가를 야기하므로 예를 들어 청소로봇의 경우 충전된 소비전력이 더욱 빨리 소모되어 청소동작 중에 운행이 정지해버리는 문제가 있을 수 있다.
이에, 본 발명의 실시예들은 이동 로봇의 주변 환경이 어두운 경우에는 카메라와 조명부를 동시에 구동하는 운전 모드로 이동 로봇을 운행하고, 평소에는 조명부가 동작하지 않는 운전 모드로 이동 로봇을 운행함으로써, 주변의 환경에 구애됨이 없이 이동 로봇의 정상 동작이 가능하고 동시에 소비전력의 낭비를 최소화할 수 있도록 한 이동 로봇 및 이동 로봇의 구동방법을 제공하는데 그 목적이 있다.
본 발명의 실시예에 따른 이동 로봇은, 이동 로봇의 주변 환경을 촬영하는 카메라와; 상기 카메라로부터 하나 이상의 이미지 데이터를 취득하는 이미지 데이터 취득부와; 상기 카메라의 주변에 설치되고, 이동 로봇의 주변 환경에 빛을 조사하는 조명부와; 상기 취득된 이미지 데이터를 분석하여 주변 환경을 인지하고, 인지된 주변 환경으로부터 획득된 명암 정보에 따라 운전시 상기 조명부의 작동 여부에 대응하는 운전 모드를 결정하는 운전 모드 결정부;를 포함한다.
일 실시예에서, 상기 운전 모드 결정부는, 상기 획득된 명암 정보가 미리설정된 임계값을 초과하는 밝기이면 일반 운전 모드로 구동하도록 결정하고, 상기 획득된 명암 정보가 미리설정된 임계값 이하의 밝기이면 어둠 운전 모드로 구동하도록 결정하고, 상기 일반 운전 모드는 이동 로봇의 운전시 상기 조명부를 오프 상태로 하고, 상기 어둠 운전 모드는 이동 로봇의 운전시 상기 조명부를 온 상태 하여 구동하는 운전 모드인 것을 특징으로 한다.
일 실시예에서, 상기 어둠 운전 모드에서는, 상기 이미지 데이터 취득부의 구동 여부, 구동 주기, 및 구동 범위를 감소 내지 최소화하고, 상기 이동 로봇을 구동하기 위한 모터의 회전속도를 감소 내지 최소화하는 것을 특징으로 한다.
일 실시예에서, 상기 운전 모드 결정부는, 상기 취득된 이미지 데이터로부터 주변 환경의 형상 정보를 인지할 수 있는지를 판단하는 환경인지 판단모듈과; 상기 인지된 주변 환경으로부터 획득된 명암 정보와 상기 환경인지 판단모듈로부터 획득된 형상 정보가 상기 이동 로봇의 자기 위치를 인식하기에 충분한 정도의 밝기인지에 따라 일반 운전 모드로 구동할지 또는 어둠 운전 모드로 구동할지를 결정하는 운전모드 판단모듈;을 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 이동 로봇은, 상기 운전 모드 결정부에 시간 데이터를 제공하는 시계와; 상기 이동 로봇의 주변 환경의 조도를 감지하고, 상기 운전 모드 결정부에 감지된 조도 데이터를 제공하는 조도센서;를 더 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 운전 모드 결정부는, 상기 시간 데이터를 이용하여 밤낮을 판단하고, 상기 조도 데이터를 이용하여 주변 환경의 조도를 판단하여, 운전시 상기 조명부의 작동 여부에 대응하는 운전 모드를 결정하는 것을 특징으로 한다.
일 실시예에서, 상기 운전 모드 결정부는, 상기 시간 데이터에 포함된 월, 일, 및 시각과 미리설정된 일출 및 일몰 시간을 비교하여 주간 또는 야간을 판단하는 주야 판단모듈과; 입력받은 조도 값에 대해 밝음 또는 어두움을 판단하기 위한 조도 임계값을 설정하는 조도임계치 설정모듈과; 상기 조도 데이터에 포함된 조도값을 상기 조도 임계값과 비교하여 주변 환경의 밝음 또는 어둠을 판단하는 조도판단모듈; 을 더 포함하는 것을 특징으로 한다.
일 실시예에서, 상기 조도 데이터의 조도값이 상기 조도 임계값을 초과하여 밝음으로 판단되고, 상기 환경인지 판단모듈에 의한 주변 환경의 형상 정보가 인지할 수 있는 것으로 판단되면, 상기 운전 모드 결정부는, 상기 이동 로봇을 일반 운전 모드로 구동하도록 결정하는 것을 특징으로 한다.
일 실시예에서, 상기 운전 모드 결정부는, 상기 조명부의 작동 여부에 대응하는 운전 모드를 미리설정된 주기마다 결정하고, 결정된 운전모드에 따라, 일반 운전 모드 구동 지령부 또는 상기 카메라와 상기 조명부를 연동하여 이동 로봇을 구동하는 어둠 운전 모드 구동 지령부로 구동신호를 전달하는 것을 특징으로 한다.
또한, 본 발명의 실시예에 따른 이동 로봇의 구동방법은, 이동 로봇의 주변 환경을 촬영하여 하나 이상의 이미지 데이터를 취득하는 단계와; 취득된 이미지 데이터를 분석하여 이동 로봇의 주변 환경을 인지하는 단계와; 인지된 주변 환경으로부터 획득되는 명암 정보에 따라, 운전시 조명부의 작동 여부에 대응하는 운전 모드를 결정하는 단계와; 결정된 운전 모드가 일반 운전 모드이면 상기 조명부를 오프 상태로 하여 이동 로봇을 구동하고 이미지 데이터를 취득하는 단계와; 결정된 운전 모드가 어둠 운전 모드이면 상기 조명부를 온 상태로 하여 이동 로봇을 구동하고 이미지 데이터를 취득하는 단계;를 포함한다.
일 실시예에서, 상기 운전 모드를 결정하는 단계는, 상기 획득된 명암 정보가 미리설정된 임계값을 초과하는 밝기이면 일반 운전 모드로 구동하도록 결정하고, 상기 획득된 명암 정보가 미리설정된 임계값 이하의 밝기이면 어둠 운전 모드로 구동하도록 결정하는 단계인 것을 특징으로 한다.
일 실시예에서, 상기 주변 환경을 인지하는 단계는, 상기 취득된 이미지 데이터로부터 주변 환경의 형상 정보를 인지할 수 있는지를 판단하는 단계를 포함하고, 상기 운전 모드를 결정하는 단계는, 상기 인지된 주변 환경으로부터 획득된 명암 정보와 상기 획득된 형상 정보가 이동 로봇의 자기 위치를 인식하기에 충분한 정도의 밝기인지에 따라, 운전시 조명부의 작동 여부에 대응하는 운전 모드를 결정하는 단계인 것을 특징으로 한다.
본 발명의 실시예에 따른 이동 로봇 및 이동 로봇의 구동방법에 의하면, 이동 로봇의 주변 환경이 어두운 것으로 판단된 경우 카메라와 조명부를 동시에 구동시켜서 어두운 환경에서도 이동 로봇의 보다 정확한 자기 위치 인식과 이미지 데이터 수집이 가능하고, 평소에는 조명부가 동작하지 않는 운전 모드로 구동함으로써 소비전력의 낭비를 최소화할 수 있다.
또한, 본 발명의 실시예에 따른 이동 로봇 및 이동 로봇의 구동방법에 의하면, 다양한 센서로부터 획득되는 정보에 기초하여 이동 로봇의 주변 환경을 인지함으로써 보다 정확한 명암 정보의 획득이 가능하고, 장소와 시간에 구애됨이 없이 자기 위치 인식과 이미지 데이터 수집이 가능하여 이동 로봇의 사용 환경이 광범위해진다.
도 1 및 도 2는 본 발명의 실시예에 따른 이동 로봇의 예시들의 사시도를 보인 도면이다.
도 3은 본 발명의 실시예에 따라, 주변 환경의 명암 정보에 근거한 이동 로봇의 운전 모드와 각 운전 모드와 연계되는 구성을 보인 블록도이다.
도 4는 본 발명의 실시예에 따라, 시간 데이터에 포함된 정보를 이용하여 주간 또는 야간을 판단하기 위한 일출 및 일몰 시간을 보인 도면이다.
도 5는 본 발명의 실시예에 따른 운전 모드 결정부의 세부적인 구성을 보인 블록도이다.
도 6은 본 발명의 실시예에 따른 이동 로봇의 구동방법의 예시 흐름도이다.
본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세하게 설명하기 위해, 본 발명의 실시 예가 첨부된 도면을 참조하여 설명한다. 하지만, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고, 도면에서 본 발명을 명확하게 설명하기 위해 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통해 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예들에 따른 이동 로봇 및 이동 로봇의 구동방법에 대해 보다 상세하게 기술하기로 한다.
먼저, 도 3을 참조하여, 본 발명의 실시예에 따른 이동 로봇의 세부적인 구성을 기술하면 다음과 같다.
상기 이동 로봇은 주변 환경의 명암 정보에 근거하여 이동 로봇의 운전 모드를 결정하는 운전 모드 결정부(100)와, 상기 운전 모드 결정부(100)에 명암 정보를 제공하기 위한 시계(10), 조도 센서(11), 및 이미지 데이터 취득부(12)를 포함하며, 상기 운전 모드 결정부(100)에 의하여 결정된 운전 모드에 따라 이동 로봇을 구동하는 일반 운전 모드 구동지령부(14) 및 어둠 운전 모드 구동지령부(15)를 포함하고, 일반 운전 모드 구동지령부(14) 또는 어둠 운전 모드 구동지령부(15)로부터 전달되는 구동신호에 따라 제어되는 구성들로 모터(16), 센서(17), 카메라(18), 및 조명부(19)를 포함한다.
본 발명의 실시예에 따른 이동 로봇은 자율 주행 및 특정 위치로의 이동이 가능한 로봇으로서, 예를 들어 홈 서빙 로봇 또는 청소 로봇일 수 있다.
이와 관련하여, 도 1 및 도 2를 참조하면, 도 1은 상기 이동 로봇이 홈 서빙 로봇의 형태로 구현된 예이고, 도 2는 상기 이동 로봇이 청소 로봇의 형태로 구현된 예를 도시한다. 청소 로봇의 경우 사용자 조작 없이 청소하고자 하는 구역내를 스스로 주행하면서 바닥면으로부터 먼지와 이물질을 흡입하는 이동 로봇인데, 청소 로봇의 경우도 설정된 청소 경로를 자동으로 주행하면서 청소 동작을 수행하기 위해 자기 위치 인식과 주변 환경의 지도 작성 기능이 반드시 필요하다.
도 1 및 도 2에 도시된 바와 같이, 이동 로봇의 상면 또는 측면에는 조도 센서(2), 조명부(3), 카메라(4), 및 시계(5)가 설치되고, 이동 로봇의 하부에는 일정 공간내에서 주행이 가능하도록 소정의 주행수단(6)이 구비된다. 다만, 본 발명의 실시예에 따른 이동 로봇의 구성이 이에 한정되는 것은 아니며, 상기한 구성들 중 일부가 생략되거나 다른 구성들을 포함하여 구현될 수도 있다.
계속해서 도 3을 참조하면, 카메라(18)는 본체에 구비되어, 이동 로봇의 주변 환경을 촬영한다.
이미지 데이터 취득부(12)는 상기 카메라(18)로부터 하나 이상의 이미지 데이터를 취득하여 저장한다.
조명부(19)는 상기 카메라(18)의 주변에 설치되어, 이동 로봇의 주변 환경에 빛을 조사한다. 상기 조명부(19)는 일정 지점에 위치 고정되어 설치되거나, 또는 필요한 경우 제어신호에 따라 상하 좌우로 이동되는 팬/틸트 구동수단을 포함하여 위치 조정 가능하도록 설치될 수도 있다.
운전 모드 결정부(100)는 이미지 데이터 취득부(12)로부터 취득된 이미지 데이터를 분석하여 주변 환경을 인지한다. 또, 운전 모드 결정부(100)는 인지된 주변 환경으로부터 획득된 명암 정보에 따라, 운전시 조명부(19)의 작동 여부에 대응하는 운전 모드를 결정한다.
또한, 운전 모드 결정부(100)는 상기 인지된 주변 환경으로부터 획득된 명암 정보가 미리설정된 임계값을 초과하는 밝기이면 일반 운전 모드로 구동하는 것으로 결정한다. 한편, 인지된 주변 환경으로부터 획득된 명암 정보가 미리설정된 임계값 이하의 밝기이면 상기 운전 모드 결정부(100)는 어둠 운전 모드로 구동하는 것으로 결정한다.
여기서, 일반 운전 모드는 이동 로봇의 운전시 조명부(19)를 오프(off) 상태로 하여 구동하는 운전 모드이고, 어둠 운전 모드는 이동 로봇의 운전시 조명부(19)를 온(on) 상태로 하여 구동하는 운전 모드이다.
즉, 운전 모드 결정부(100)에 의해 결정된 운전 모드가 일반 운전 모드이면 일반 운전 모드 구동 지령부(14)가 이동 로봇의 모터(16), 센서(17), 및 카메라(18)에만 구동을 명하는 구동신호를 전달한다. 한편, 결정된 운전 모드가 어둠 운전 모드이면 어둠 운전 모드 구동 지령부(15)가 이동 로봇의 모터(16), 센서(17), 카메라(18)뿐만 아니라 조명부(19)에도 구동을 명하는 구동신호를 전달한다. 이와 같이, 이동 로봇의 주변 환경이 어두운 것으로 판단되면 카메라(18)와 조명부(19)를 동시에 구동시켜 이미지 데이터를 획득하게 함으로써 어두운 환경에서도 주변 환경의 이미지 데이터를 수집할 수 있을 뿐만 아니라, 평소에는 조명부(19)가 동작하지 않도록 함으로써 소비전력의 낭비를 최소화할 수 있다.
한편, 일반 운전 모드에서는 조명부(19)를 작동시키지 않음으로써 낭비되는 소비전력을 최소화할 수 있으나, 어둠 운전 모드에서는 조명부(19)가 작동하고 이는 소비전력을 증가시키므로, 특히 이미지 데이터 취득시 다른 구성들의 구동으로 인한 소비전력의 증가를 막기 위한 방안이 필요하다.
이에, 본 발명에 따른 실시예에서는, 운전 모드 결정부(100)의 결정에 따른 어둠 운전 모드에서, 이미지 데이터 취득부(12)의 구동 여부, 구동 주기, 및 구동 범위를 감소 내지 최소화하고, 나아가 이동 로봇을 구동하기 위한 모터(16)의 회전속도를 감소 내지 최소화하는 것으로 구현하는 것이 바람직할 것이다.
또한, 운전 모드 결정부(100)의 결정에 따른 어둠 운전 모드에서, 일단 정지 및/또는 방향 변경과 같이 자기 위치 환경이 변화하지 않는 경우에는 이미지 데이터의 수집 및 검색을 하지 않음으로써 소비전력의 증가하는 것을 방지할 수 있다.
도 5를 참조하면, 운전 모드 결정부(100)는 환경인지 판단모듈(104)과 운전 모드 판단 모듈(105)을 포함하여 이루어진다.
환경인지 판단모듈(104)은 이미지 데이터 취득부(12)로부터 취득된 이미지 데이터로부터 주변 환경의 형상 정보를 인지할 수 있는지를 판단한다.
운전 모드 판단 모듈(105)은 상기 인지된 주변 환경으로부터 획득된 명암 정보와 환경인지 판단모듈(104)로부터 획득된 형상 정보가 이동 로봇(1)의 자기 위치를 인식하기에 충분한 정도의 밝기인지를 판단하고, 판단 결과에 따라 일반 운전 모드로 구동할지 또는 어둠 운전 모드로 구동할지를 결정한다.
즉, 획득된 형상 정보가 이동 로봇(1)의 자기 위치를 인식하기에 충분한 밝기로 판단되면('자기 위치 인식 가능'), 운전 모드 판단 모듈(105)은 조명부(19)를 오프(off) 상태로 하여 이동 로봇을 구동하도록 일반 운전 모드로 결정한다. 반면, 획득된 형상 정보가 이동 로봇(1)의 자기 위치를 인식하기 어려운 밝기로 판단되면('자기 위치 인식 불가'), 상기 운전 모드 판단 모듈(105)은 예를 들어 주변 환경의 이미지 데이터 취득시 조명부(19)를 온(on) 상태로 하여 이동 로봇을 구동하도록 어둠 운전 모드로 결정한다.
상기 운전 모드 결정부(100)는 본체에 설치된 조명부(19)의 작동 여부를 달리하는 운전 모드, 즉 일반 운전 모드로 구동할지 또는 어둠 운전 모드로 구동할지를 미리설정된 주기마다 결정할 수 있다. 결정된 운전 모드에 따라, 상기 운전 모드 결정부(100)는 일반 운전 모드 구동 지령부(14)에 구동신호를 전달하거나, 또는 카메라(18)와 조명부(19)를 연동하여 구동시키는 어둠 운전 모드 구동 지령부(15)에 구동신호를 전달한다.
또한, 상기 운전 모드 결정부(100)는 이미지 데이터 취득부(12)외에도 시계(10) 및 조도 센서(11)로부터 명암 정보를 취득할 수 있다.
시계(10)는 운전 모드 결정부(100)에 시간 데이터를 제공한다. 또, 조도 센서(11)는 이동 로봇의 주변 환경의 조도를 감지하고, 감지된 조도 데이터를 운전 모드 결정부(100)에 제공한다. 시계(10) 및 조도 센서(11)를 구비한 이동 로봇의 경우, 운전 모드 결정부(100)는 시계(10)로부터 제공된 시간 데이터를 이용하여 밤낮을 판단하고, 조도 센서(11)로부터 제공된 조도 데이터를 이용하여 주변 환경의 조도를 판단하여, 운전시 상기 조명부(19)의 작동 여부에 대응하는 운전 모드를 결정하게 된다.
이와 관련하여, 도 5는 상기 운전 모드 결정부(100)의 보다 세부적인 구성들을 보여준다. 도시된 바와 같이, 운전 모드 결정부(100)는 주야 판단모듈(101), 조도 임계치 설정모듈(102), 조도 판단모듈(103), 환경인지 판단모듈(104), 운전 모드 판단모듈(105)을 포함하여 이루어진다.
주야 판단모듈(101)은 시계(10)로부터 획득된 시간 데이터에 포함된 월, 일, 및 시각과 미리설정된 일출 및 일몰 시간을 비교하여 주간 또는 야간을 판단한다.
이와 관련하여, 도 4는 본 발명의 실시예에 따라, 시간 데이터에 포함된 정보를 이용하여 주간 또는 야간을 판단하기 위한 일출 및 일몰시간을 그래프를 통해 보여준다. 도시된 바와 같이, 일출 및 일몰시간은 계절 또는 월에 따라 시각이 달라지므로, 계절별(또는 월별)로 일출 및 일몰시간을 미리저장하고, 시계(10)로부터 획득된 시간 데이터의 월, 일로부터 대응하는 일출 및 일몰시간을 산출한다. 그런 다음, 현재 시계(10)가 가리키는 시각과 일출 및 일몰시간을 비교하여 주간 또는 야간인지를 판단할 수 있다.
조도 임계치 설정모듈(102)은 입력받은 조도 값에 대해 밝음 또는 어두움을 판단하기 위한 조도 임계값을 설정한다. 운전 모드 결정부(100)는, 획득된 명암 정보가 조도 임계치 설정모듈(102)에 미리설정된 임계값을 초과하는 밝기이면 일반 운전 모드로 구동하도록 결정하고, 획득된 명암 정보가 상기 조도 임계치 설정모듈(102)에 미리설정된 임계값 이하의 밝기이면 어둠 운전 모드로 구동하도록 결정한다.
조도 판단모듈(103)은 조도 센서(11)로부터 획득된 조도 데이터에 포함된 조도값을 조도 임계치 설정모듈(102)의 조도 임계값과 비교하여 주변 환경의 밝음 또는 어둠을 판단한다.
조도 판단모듈(103)의 판단 결과, 획득된 조도 데이터의 조도값이 조도 임계값을 초과하여 '밝음'으로 판단되고, 환경인지 판단모듈(104)에 의하여 주변 환경의 형상 정보 - 예를 들어, 장애물, 벽 등- 가 인지할 수 있는 것으로 판단되면, 상기 운전 모드 결정부(100)는, 상기 이동 로봇을 일반 운전 모드로 구동하는 것으로 결정한다.
한편, 조도 판단모듈(13)의 판단 결과, 획득된 조도 데이터의 조도값이 조도 임계값을 이하여서 '어둠'으로 판단되면, 환경인지 판단모듈(104)에 의하여 주변 환경의 형상 정보를 인지할 수 있더라도 상기 운전 모드 결정부(100)는, 상기 이동 로봇을 어둠 운전 모드로 구동하는 것으로 결정한다. 다만, 실시예에 따라 이동 로봇에 시계(10) 및 조도센서(11)가 구비되어 있지 않아 운전 모드 결정부(100)가 조도 판단모듈(103)을 구비하지 않는 경우에는 환경인지 판단모듈(104)에 의하여 주변 환경의 형상 정보를 인지할 수 있는지 여부에 따라, 상기 운전 모드 결정부(100)는 일반 운전 모드로 구동할지 또는 어둠 운전 모드로 구동할지를 결정한다.
본 발명의 실시예에 따른 이동 로봇은 시계 및 조도센서를 구비한 사양과 시계 및 조도센서를 구비하지 않은 사양으로 구현될 수 있다.
<실시예1- 시계 및 조도센서를 구비한 이동 로봇>
시계 및 조도센서를 구비한 이동 로봇의 경우, 운전 모드 결정부(100)는 시계(10)로부터 시간데이터를 입력받아 주간 또는 야간을 판단하는 주야 판단 모듈(101)과, 조도센서(11)로부터 입력받은 조도값과 조도 임계치 설정모듈(102)에 미리설정된 조도 임계값을 비교하여 주변 환경의 밝음 또는 어둠을 판단하는 조도 판단모듈(103)을 포함한다.
그에 따라, 조도 판단모듈(103)에 의한 판단 결과가 '밝음'으로 판단되고 그리고 환경인지 판단모듈(104)에 의한 판단 결과 주변 환경의 형상 정보가 인지할 수 있는 것으로 판단된 경우 이동 로봇을 일반 운전 모드로 구동한다.
한편, 환경인지 판단모듈(104)에 의한 판단 결과 주변 환경의 형상 정보가 인지할 수 있는 것으로 판단된 경우라도 조도 판단모듈(103)에 의한 판단 결과가 '어둠'으로 판단되면, 이동 로봇을 어둠 운전 모드로하여 조명부(19)를 작동 상태로 하여 운행한다.
또, 조도 판단모듈(103)에 의한 판단 결과가 '밝음'으로 판단된 경우라도 환경인지 판단모듈(104)에 의한 판단 결과 주변 환경의 형상 정보가 인지할 수 없는 것으로 판단되면, 마찬가지로 이동 로봇을 어둠 운전 모드로하여 조명부(19)를 작동 상태로 하여 운행한다.
조도 판단모듈(103)에 의한 판단 결과가 '어둠'이고 환경인지 판단모듈(104)에 의한 판단 결과도 주변 환경의 형상 정보를 인지할 수 없는 경우이면 이동 로봇은 어둠 운전 모드로 구동된다.
이와 같이, 시계 및 조도센서를 구비한 이동 로봇의 경우는 보다 다양한 센서로부터 획득된 정보에 근거하여 이동 로봇의 주변 환경에 대한 명암 정보를 보다 정확하게 인지함으로써 장소와 시간에 구애됨이 없이 자기 위치 인식과 이미지 데이터 수집이 가능해진다.
<실시예2- 시계 및 조도센서를 구비하지 않은 이동 로봇>
한편, 시계 및 조도센서를 구비하지 않은 이동 로봇의 경우는, 이미지 데이터 취득부(12)에 의하여 획득된 주변 환경 정보에 근거하여서만 운전 모드가 결정된다.
즉, 운전 모드 결정부(100)는 이미지 데이터 취득부(12)로부터 취득된 이미지 데이터를 입력받아 환경인지 판단모듈(104)에 의해 주변 환경의 형상 정보를 인지할 수 있는지를 판단한다. 그런 다음, 운전 모드 판단 모듈(105)이 인지된 주변 환경의 명암 정보와 환경인지 판단모듈(104)로부터 획득된 형상 정보를 이용하여 이동 로봇의 주변 환경이 자기 위치를 인식하기에 충분한 정도의 밝기인지를 판단한다.
판단 결과, 획득된 형상 정보와 명암 정보에 따라 주변 환경이 이동 로봇의 자기 위치를 인식하기에 충분한 것으로 판단되면('자기 위치 인식 가능'), 운전 모드 판단 모듈(105)은 조명부(19)를 오프(off) 상태로 하는 일반 운전 모드로 결정한다. 반면, 획득된 형상 정보와 명암 정보에 따라 주변 환경이 이동 로봇의 자기 위치를 인식하기 어려운 것으로 판단되면('자기 위치 인식 불가'), 운전 모드 판단 모듈(105)은 조명부(19)를 온(on) 상태로 하여 이동 로봇을 구동하는 어둠 운전 모드로 결정한다.
이하에서는, 도 6을 참조하여, 본 발명의 실시예에 따른 이동 로봇의 구동방법을 기술한다.
먼저, 본체에 구비된 카메라를 통해 이동 로봇의 주변 환경을 촬영하여 하나 이상의 이미지 데이터를 취득한다(S10). 그런 다음, 취득된 이미지 데이터를 분석하여 이동 로봇의 주변 환경을 인지한다(S20). 주변 환경을 인지한다는 것은, 예를 들어, 주변의 장애물, 벽, 문턱과 같은 형상 정보와 주변 환경의 밝기와 같은 명암 정보를 모두 포함할 수 있다.
이동 로봇은, 인지된 주변 환경으로부터 획득된 명암 정보에 따라, 운전시 조명부의 작동 여부에 대응하는 운전 모드를 결정한다(S30). 구체적으로, 획득된 명암 정보가 미리설정된 임계값을 초과하는 밝기인지를 판단(S40)하여 '밝음' 또는 '어둠'에 대응하는 운전 모드를 결정한다.
판단(S40)결과, 결정된 운전 모드가 일반 운전 모드이면, 즉 획득된 명암 정보가 미리설정된 임계값을 초과하는 밝기이면('밝음'), 카메라 주변에 설치된 조명부를 오프 상태로 하여 이동 로봇을 구동한다(S50).
반면, 판단(S40)결과, 결정된 운전 모드가 어둠 운전 모드이면, 즉 획득된 명암 정보가 미리설정된 임계값 이하의 밝기이면('어둠'), 카메라 주변에 설치된 조명부를 온 상태로 하여 이동 로봇을 구동하고 이미지 데이터를 취득한다(S60).
본 발명에 따른 실시예에서, 주변 환경을 인지하는 과정(S20)은, 취득된 이미지 데이터로부터 주변 환경의 형상 정보를 인지할 수 있는지를 판단하는 단계를 포함할 수 있다. 구체적으로, 인지된 주변 환경으로부터 획득된 명암 정보와 획득된 형상 정보가 이동 로봇의 자기 위치를 인식하기에 충분한 정도의 밝기인지를 판단한다.
나아가, 상기 운전 모드를 결정하는 과정(S30)은, 주변 환경을 인지하는 과정(S20)에서 인지된 주변 환경의 명암 정보와 획득된 형상 정보가 이동 로봇의 자기 위치를 인식하기에 충분한 정도의 밝기인지에 따라 운전시 조명부의 작동 여부에 대응하는 운전 모드를 결정할 수 있다. 이를 위해, 먼저, 환경인지 판단모듈(104)은 취득된 주변 환경의 이미지 데이터로부터 형상 정보를 명확하게 인지할 수 있는지를 판단한다. 그리고, 인지된 주변 환경으로부터 획득된 명암 정보와 획득된 형상 정보가 이동 로봇의 자기 위치를 인식하기에 충분한 정도의 밝기인지를 판단하고, 그 판단 결과에 따라 일반 운전 모드로 구동할지 또는 어둠 운전 모드로 구동할지를 결정할 수 있다.
이상에서 기술한 바와 같이, 본 발명의 실시예에 따른 이동 로봇 및 이동 로봇의 구동방법에 의하면, 이동 로봇의 주변 환경이 어두운 것으로 판단된 경우 카메라와 조명부를 동시에 구동시킴으로써 어두운 환경에서도 이동 로봇의 보다 정확한 자기 위치 인식과 이미지 데이터 수집하는 것이 가능하고, 평소에는 조명부가 동작하지 않는 운전 모드로 구동함으로써 소비전력의 낭비를 최소화할 수 있다. 또한, 다양한 센서로부터 획득되는 정보에 기초하여 이동 로봇의 주변 환경을 인지함으로써 보다 정확한 명암정보의 획득이 가능하고, 장소와 시간에 구애됨이 없이 자기 위치 인식과 이미지 데이터 수집이 가능하여 이동 로봇의 사용 환경이 광범위해진다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
1 - 이동 로봇 본체 2, 11 - 조도 센서
3, 19 - 조명부 4, 18 - 카메라
5, 10 - 시계 6 - 주행수단
12 - 이미지 데이터 취득부 14 - 일반 운전 모드 구동지령부
15 - 어둠 운전 모드 구동지령부 16 - 모터
17 - 센서 100 - 운전 모드 결정부
101 - 주야 판단모듈 102 - 조도 임계치 설정모듈
103 - 조도 판단모듈 104 - 환경 인지 판단모듈
105 - 운전 모드 판단모듈

Claims (12)

  1. 이동 로봇의 주변 환경을 촬영하는 카메라;
    상기 이동 로봇의 주변 환경의 조도를 감지하는 조도센서;
    상기 카메라로부터 하나 이상의 이미지 데이터를 취득하는 이미지 데이터 취득부;
    상기 카메라의 주변에 설치되어, 이동 로봇의 주변 환경에 빛을 조사하는 조명부; 및
    상기 조명부의 작동 여부에 대응하는 일반 운전 모드 또는 어둠 운전 모드를 결정하는 운전 모드 결정부;를 포함하되,
    상기 운전 모드 결정부는,
    상기 취득된 이미지 데이터로부터 주변 환경의 형상을 인지할 수 있는지를 판단하는 환경인지 판단모듈; 및
    상기 조도센서에 의해 감지된 조도값을 기 설정된 조도 임계값과 비교하여 주변 환경의 밝음 또는 어둠을 판단하는 조도판단모듈;
    을 포함하여,
    상기 조도판단모듈이 밝음으로 판단하고, 동시에 상기 환경인지 판단모듈이 주변 환경의 형상을 인지할 수 있는 것으로 판단하는 경우에만, 상기 일반 운전 모드로 결정하는 것을 특징으로 하는,
    이동 로봇.
  2. 제1항에 있어서,
    상기 운전 모드 결정부는,
    획득된 명암 정보가 미리설정된 임계값을 초과하는 밝기이면 상기 일반 운전 모드로 구동하도록 결정하고, 획득된 명암 정보가 미리설정된 임계값 이하의 밝기이면 상기 어둠 운전 모드로 구동하도록 결정하고,
    상기 일반 운전 모드는 이동 로봇의 운전시 상기 조명부를 오프 상태로 하여 구동하는 운전 모드이고, 상기 어둠 운전 모드는 이동 로봇의 운전시 상기 조명부를 온 상태 하여 구동하는 운전 모드인 것을 특징으로 하는,
    이동 로봇.
  3. 제2항에 있어서,
    상기 어둠 운전 모드에서는, 상기 이미지 데이터 취득부의 구동, 구동 주기, 및 구동 범위를 감소 내지 최소화하고, 상기 이동 로봇을 구동하기 위한 모터의 회전속도를 감소 내지 최소화하는 것을 특징으로 하는,
    이동 로봇.
  4. 제1항 또는 제2항에 있어서,
    상기 운전 모드 결정부는,
    상기 인지된 주변 환경으로부터 획득된 명암 정보와 상기 환경인지 판단모듈에 의해 판단된 형상 인지 정보가 상기 이동 로봇의 자기 위치를 인식하기에 충분한 정도의 밝기인지에 따라 일반 운전 모드로 구동할지 또는 어둠 운전 모드로 구동할지를 결정하는 운전모드 판단모듈;을 더 포함하는 것을 특징으로 하는,
    이동 로봇.
  5. 제4항에 있어서,
    상기 운전 모드 결정부에 시간 데이터를 제공하는 시계; 를 더 포함하는 것을 특징으로 하는,
    이동 로봇.
  6. 제5항에 있어서,
    상기 운전 모드 결정부는,
    상기 시간 데이터를 이용하여 밤낮을 판단하고, 상기 조도 데이터를 이용하여 주변 환경의 조도를 판단하여, 운전시 상기 조명부의 작동 여부에 대응하는 운전 모드를 결정하는 것을 특징으로 하는,
    이동 로봇.
  7. 제5항에 있어서,
    상기 운전 모드 결정부는,
    상기 시간 데이터에 포함된 월, 일, 및 시각과 미리설정된 일출 및 일몰 시간을 비교하여 주간 또는 야간을 판단하는 주야 판단모듈; 및
    조도 값의 밝음 또는 어둠을 판단하기 위한 조도 임계값을 설정하는 조도임계치 설정모듈; 을 더 포함하는 것을 특징으로 하는,
    이동 로봇.
  8. 삭제
  9. 제1항 또는 제2항에 있어서,
    상기 운전 모드 결정부는,
    상기 조명부의 작동 여부에 대응하는 운전 모드를 미리설정된 주기마다 결정하고,
    결정된 운전모드에 따라, 일반 운전 모드 구동 지령부 또는 상기 카메라와 상기 조명부를 연동하여 이동 로봇을 구동하는 어둠 운전 모드 구동 지령부에 구동신호를 전달하는 것을 특징으로 하는,
    이동 로봇.
  10. 이동 로봇의 주변 환경을 촬영하여 하나 이상의 이미지 데이터를 취득하는 단계;
    취득된 이미지 데이터를 분석하여 이동 로봇의 주변 환경을 인지하는 단계;
    운전시 조명부의 작동 여부에 대응하는 일반 운전 모드 또는 어둠 운전 모드를 결정하는 단계; 및
    결정된 운전 모드가 일반 운전 모드이면 상기 조명부를 오프 상태로 하여 이동 로봇을 구동하고, 결정된 운전 모드가 어둠 운전 모드이면 상기 조명부를 온 상태로 하여 이동 로봇을 구동하는 단계;를 포함하되,
    상기 주변 환경을 인지하는 단계는, 상기 취득된 이미지 데이터로부터 주변 환경의 형상을 인지할 수 있는지를 판단하는 단계;를 포함하고,
    상기 일반 운전 모드 또는 어둠 운전 모드를 결정하는 단계는,
    환경인지 판단모듈이, 상기 취득된 이미지 데이터로부터 주변 환경의 형상을 인지할 수 있는지를 판단하는 단계; 및
    조도판단모듈이, 조도센서에 의해 감지된 상기 이동 로봇의 주변 환경의 조도값을 기 설정된 조도 임계값과 비교하여 주변 환경의 밝음 어둠을 판단하는 단계;
    를 포함하여, 상기 조도판단모듈이 밝음으로 판단하고, 동시에 상기 환경인지 판단모듈이 주변환경의 형상을 인지할 수 있는 것으로 판단하는 경우에만, 상기 일반 모드로 결정하는 것을 특징으로 하는,
    이동 로봇의 구동방법.
  11. 제10항에 있어서,
    상기 일반 운전 모드 또는 어둠 운전 모드를 결정하는 단계는,
    획득된 명암 정보가 미리설정된 임계값을 초과하는 밝기이면 일반 운전 모드로 구동하도록 결정하고, 획득된 명암 정보가 미리설정된 임계값 이하의 밝기이면 어둠 운전 모드로 구동하도록 결정하는 단계인 것을 특징으로 하는,
    이동 로봇의 구동방법.
  12. 제10항 또는 제11항에 있어서,
    상기 일반 운전 모드 또는 어둠 운전 모드를 결정하는 단계는, 상기 인지된 주변 환경으로부터 획득된 명암 정보와 상기 판단된 형상 인지 정보가 이동 로봇의 자기 위치를 인식하기에 충분한 정도의 밝기인지에 따라, 운전시 조명부의 작동 여부에 대응하는 운전 모드를 결정하는 단계인 것을 특징으로 하는,
    이동 로봇의 구동방법.
KR1020120097913A 2012-09-04 2012-09-04 이동 로봇 및 이동 로봇의 구동방법 KR101398142B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120097913A KR101398142B1 (ko) 2012-09-04 2012-09-04 이동 로봇 및 이동 로봇의 구동방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120097913A KR101398142B1 (ko) 2012-09-04 2012-09-04 이동 로봇 및 이동 로봇의 구동방법

Publications (2)

Publication Number Publication Date
KR20140031038A KR20140031038A (ko) 2014-03-12
KR101398142B1 true KR101398142B1 (ko) 2014-06-27

Family

ID=50643353

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120097913A KR101398142B1 (ko) 2012-09-04 2012-09-04 이동 로봇 및 이동 로봇의 구동방법

Country Status (1)

Country Link
KR (1) KR101398142B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105619421A (zh) * 2016-03-27 2016-06-01 绵阳晓迪圣点创意科技有限公司 时钟机器人

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102183098B1 (ko) * 2019-02-25 2020-11-25 엘지전자 주식회사 이동 로봇 및 이동 로봇의 제어방법
WO2021135673A1 (zh) * 2020-01-03 2021-07-08 苏州宝时得电动工具有限公司 自移动设备
CN113163125A (zh) * 2020-01-03 2021-07-23 苏州宝时得电动工具有限公司 自移动设备
CN113671853A (zh) * 2021-08-02 2021-11-19 广东启智创新教育科技有限公司 一种具备舞蹈互动机器人的控制系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200305679Y1 (ko) * 2002-11-09 2003-03-03 삼성광주전자 주식회사 조명장치를 갖는 로봇청소기
KR20090010767A (ko) * 2007-07-24 2009-01-30 삼성전자주식회사 이동 로봇의 위치 인식 장치 및 방법
KR20110011424A (ko) * 2009-07-28 2011-02-08 주식회사 유진로봇 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR200305679Y1 (ko) * 2002-11-09 2003-03-03 삼성광주전자 주식회사 조명장치를 갖는 로봇청소기
KR20090010767A (ko) * 2007-07-24 2009-01-30 삼성전자주식회사 이동 로봇의 위치 인식 장치 및 방법
KR20110011424A (ko) * 2009-07-28 2011-02-08 주식회사 유진로봇 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105619421A (zh) * 2016-03-27 2016-06-01 绵阳晓迪圣点创意科技有限公司 时钟机器人

Also Published As

Publication number Publication date
KR20140031038A (ko) 2014-03-12

Similar Documents

Publication Publication Date Title
KR101398142B1 (ko) 이동 로봇 및 이동 로봇의 구동방법
US8115811B2 (en) Vehicle surrounding area display device
KR102006928B1 (ko) 이동 로봇
RU2242159C1 (ru) Робот-уборщик (варианты), робототехническая система-уборщик и способ управления ими
KR100854653B1 (ko) 충전스테이션을 이용한 이동로봇의 위치 인식장치
EP2685791B1 (en) Lighting system
WO2014188903A1 (ja) 灯火制御装置
KR101453806B1 (ko) 영상데이터를 이용한 조명장치의 디밍제어시스템
RU2003108270A (ru) Робот-уборщик (варианты), робототехническая система-уборщик и способ управления ими
JP2011209019A (ja) ロボット装置及びロボット装置の制御方法
US20070109785A1 (en) System and method for proactively controlling interior light in vehicles
US20140285111A1 (en) Lighting Control System and Lighting Control Method
KR20190007114A (ko) 자동주차 시스템의 주차궤적 생성방법
KR20180051007A (ko) 스마트 가로등 시스템
JP6944274B2 (ja) 電気掃除機
JP2008296759A (ja) 情報処理装置および方法、並びにプログラム
KR101703238B1 (ko) 차량등 구동 제어 시스템 및 그 방법
KR20150116945A (ko) 조도 설정 가변 제어형 led 조명 장치 및 그 제어 방법
KR20200027654A (ko) 압전 블록을 이용한 보행 신호등 구동 제어 시스템
JP4999653B2 (ja) 車両用ランプ制御システム
US20190174611A1 (en) Light switch as touchless controller
KR101849970B1 (ko) 로봇청소기 및 로봇청소기를 제어하는 방법
KR200305679Y1 (ko) 조명장치를 갖는 로봇청소기
KR20150057072A (ko) 카메라를 이용한 조명 제어 장치 및 그 방법
KR20180032017A (ko) 운전자의 위험물체 인지를 위한 조명 제어 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170414

Year of fee payment: 4