KR101660703B1 - 입체 영상 카메라와 로고를 이용한 광학 호밍 시스템 및 방법 - Google Patents

입체 영상 카메라와 로고를 이용한 광학 호밍 시스템 및 방법 Download PDF

Info

Publication number
KR101660703B1
KR101660703B1 KR1020150091212A KR20150091212A KR101660703B1 KR 101660703 B1 KR101660703 B1 KR 101660703B1 KR 1020150091212 A KR1020150091212 A KR 1020150091212A KR 20150091212 A KR20150091212 A KR 20150091212A KR 101660703 B1 KR101660703 B1 KR 101660703B1
Authority
KR
South Korea
Prior art keywords
image
logo
unit
docking
request signal
Prior art date
Application number
KR1020150091212A
Other languages
English (en)
Inventor
신경철
박성주
이재영
Original Assignee
주식회사 유진로봇
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유진로봇 filed Critical 주식회사 유진로봇
Priority to KR1020150091212A priority Critical patent/KR101660703B1/ko
Priority to PCT/KR2016/006774 priority patent/WO2016209029A1/ko
Application granted granted Critical
Publication of KR101660703B1 publication Critical patent/KR101660703B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2868—Arrangements for power supply of vacuum cleaners or the accessories thereof
    • A47L9/2873—Docking units or charging stations
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852—Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/008—Manipulators for service tasks
    • B25J11/0085—Cleaning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • H04N13/0203—
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/02—Docking stations; Docking operations
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

입체 영상 카메라와 로고를 이용한 광학 호밍 시스템 및 방법을 공개한다. 본 발명은 도킹 요청 신호를 방사하고, 도킹 요청 신호에 응답하여 발광하는 로고에 대한 입체 영상을 획득 및 분석하여, 도킹 위치를 판별하는 이동 로봇을 포함한다.

Description

입체 영상 카메라와 로고를 이용한 광학 호밍 시스템 및 방법{VISUAL HOMING SYSTEM AND METHOD USING STEREO CAMERA AND ACTIVE LOGO}
본 발명은 호밍 시스템 및 방법에 관한 것으로, 특히 입체 영상 카메라와 로고를 이용한 광학 호밍 시스템 및 방법에 관한 것이다.
로봇 기술의 발전에 따라 다양한 분야에서 여러가지 목적으로 로봇이 사용되고 있다. 그리고 청소 로봇과 같이 이동하며 작업을 수행하는 이동 로봇들은 자율 이동(autonomous mobility) 기술과 더불어 자율 호밍(autonomous homing) 또는 자율 도킹(autonomous docking) 기술이 매우 중요하다. 자율 호밍 기술은 이동 로봇이 자율적으로 도킹 스테이션(docking station)에 도킹하여 전력을 공급 받을 수 있도록 함으로써, 로봇이 사용자의 개입 없이 장시간 논스톱 작업을 수행할 수 있도록 하는 기술이다.
로봇의 자율 호밍 기술에 대해서는 기존에도 다양한 방법들이 연구 개발되었으나, 현재 대부분의 상용화된 로봇들은 적외선 센서(Infrared sensor) 기반 호밍 기술을 사용하고 있다. 이는 적외선 센서 기반 호밍 기술이 저비용 및 낮은 기술적 난이도를 필요로 하여 이동 로봇에 적용하기 용이하기 때문이다.
도1 은 기존의 호밍 시스템의 일예를 나타낸다.
도1 은 국제 공개 특허 WO 2005/081074호 (2005.09.01 공개)에 공개된 기술로서, 호밍 시스템은 자율 이동하는 이동 로봇(MR)과 도킹 스테이션(DS)을 구비한다.
도킹 스테이션(DS)은 3가지 서로 다른 적외선 빔(bf1 ~ bf3)을 방사한다. 제1 적외선 빔(bf1)은 도킹 스테이션(DS)의 주위로 기설정된 반경(예를 들면, 30cm) 이내의 범위로 원 또는 호를 형성하는 형태의 빔 패턴으로 방사된다. 제1 적외선 빔(bf1)은 이동 로봇(MR)이 도킹 스테이션(DS)에 근접하였음을 알려주기 위한 적외선 빔이다. 그리고 제2 및 제3 적외선 빔(bf2, bf3)은 도킹 스테이션(DS)에서 이동 로봇(MR)이 접근하여 도킹해야 하는 방향을 중심으로 기설정된 각도 범위 내에서 서로 일부 영역이 중첩되는 형태의 빔 패턴으로 방사된다. 제2 및 제3 적외선 빔(bf2, bf3)은 기설정된 각도 범위 내에서 제1 적외선 빔(bf1)이 도달하지 않는 원거리(예를 들면 10m)까지 방사되어 이동 로봇(MR)이 도킹 스테이션(DS)의 위치를 인식할 수 있도록 하며, 동시에 이동 로봇(MR)이 도킹 스테이션(DS)으로 접근할 방향을 지정한다.
제1 내지 제3 적외선 빔(bf1 ~ bf3)은 사용자에게 인식되지 않도록 적외선 광으로 방사된다. 그리고 제1 내지 제3 적외선 빔(bf1 ~ bf3)은 이동 로봇이 각각의 적외선 빔(bf1 ~ bf3)을 구분할 수 있도록 서로 다른 주파수로 방사되거나, 서로 다른 비컨(beacon)에 따라 방사되도록 하여 이동 로봇(MR)이 감지한 빔 패턴을 구분하여 인식할 수 있도록 한다.
이동 로봇(MR)은 작업 종료 또는 전력 부족 등의 이유로 도킹 스테이션(DS)으로 복귀하고자 하는 경우, 이동 로봇(MR)은 우선 도킹 스테이션(DS)의 위치를 판별하여 이동하여야 하고, 도킹 스테이션(DS)에서도 전원 충전 단자 등이 배치된 도킹 영역 방향으로 정확히 이동하여 도킹하여야 한다.
이에 도1 의 이동 로봇(MR)은 적어도 하나의 적외선 센서를 구비하여, 도킹 스테이션(DS)에서 방사된 제1 내지 제3 적외선 빔(bf1 ~ bf3)을 감지한다. 제1 내지 제3 적외선 빔(bf1 ~ bf3) 중 적어도 하나의 적외선 빔이 감지되면, 이동 로봇(MR)은 감지된 적외선 빔의 종류와 개수에 따라 기설정된 동작을 수행한다.
제1 적외선 빔(bf1)만이 감지되면, 이동 로봇(MR)은 도킹 스테이션(DS)에 근접한 상태이지만, 도킹 영역 방향으로 접근한 것이 아니므로, 도킹 영역 방향으로 이동해야 한다. 그에 비해 제2 및 제3 적외선 빔(bf2, bf3) 중 하나만 감지되면, 이동 로봇은 감지된 빔에 따른 방향으로 회전하며 이동한다. 즉 제2 적외선 빔(bf2)이 감지되면, 도킹 스테이션(DS)의 도킹 영역이 전방 우측에 배치되어 있으므로, 우측으로 회전하며 이동하며, 제3 적외선 빔(bf3)이 감지되면, 좌측으로 회전하며 이동한다. 그리고 제2 및 제3 적외선 빔(bf2, bf3)이 모두 감지되면, 도킹 영역이 정면에 배치된 상태이므로 회전하지 않고 이동한다. 즉 제2 및 제3 적외선 빔(bf2, bf3)은 이동 로봇(MR)이 도킹 스테이션(DS)로 접근할 방향을 지정한다. 그리고 제1 내지 제3 적외선 빔(bf1 ~ bf3)이 모두 감지되면, 도킹 영역을 향한 방향으로 이동하여 도킹 스테이션(DS)에 근접한 상태이므로, 이동 로봇(MR)은 속도를 조절하는 등과 같이 도킹에 대한 예비 동작을 수행한다.
도1 에 도시된 바와 같은 적외선 센서 기반 호밍 기술은 비용 대비 안정적호밍 기술을 제공한다. 그러나 제2 및 제3 적외선 빔(bf2, bf3)은 원거리까지 방사되는 반면, 이동 로봇(MR)의 접근 방향을 지정하기 위해 빔 방사 각도가 매우 협소하고, 제1 적외선 빔(bf1)은 전 방향으로 방사 가능하지만, 적외선 빔의 도달 거리가 매우 짧아, 이동 로봇(MR)이 적외선 빔(bf1 ~ bf3)을 감지하지 못한 경우, 적어도 하나의 적외선 빔(bf1 ~ bf3)을 감지할 때까지 장시간 이동해야 하는 문제가 있다. 그리고 이동 로봇(MR)이 제1 적외선 빔(bf1)을 감지할 지라도, 제1 적외선 빔(bf1)은 접근 방향을 지정하지 않으므로, 이동 로봇(MR)이 진행 방향을 판단하지 못한다. 또한 이동 로봇(MR)에 구비되는 적외선 센서가 적외선 광이 수신되는 방향을 판별하지 못하므로, 이동 로봇(MR)이 제2 및 제3 적외선 빔(bf2, bf3) 중 적어도 하나를 감지하더라도, 감지되는 적외선 빔의 변화를 분석하여야만 정확한 진행 방향을 판별할 수 있어 즉각적으로 진행 방향을 결정할 수 없다는 한계가 있다.
국제 공개 특허 WO 2005/081074 호 (2005.09.01 공개)
본 발명의 목적은 이동 로봇이 도킹 스테이션의 도킹 영역을 신속하고 정확하게 인식하여 도킹 진행 방향을 결정할 수 있도록 입체 영상 카메라와 액티브 로고를 이용한 광학 호밍 시스템을 제공하는데 있다.
본 발명의 다른 목적은 상기 광학 호밍 시스템을 이용한 광학 호밍 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 예에 따른 광학 호밍 시스템은 도킹 요청 신호를 방사하고, 상기 도킹 요청 신호에 응답하여 도킹 스테이션에서 발광하는 로고에 대한 입체 영상을 획득 및 분석하여, 도킹 위치를 판별하는 이동 로봇; 을 포함한다.
상기 도킹 스테이션은 상기 도킹 요청 신호를 감지하여, 감지 신호를 생성하는 도킹 요청 신호 감지 센서; 및 기지정된 디자인으로 구현된 상기 로고와 상기 로고에 대응하는 위치에 상기 감지 신호에 응답하여 점멸되는 조명 수단을 구비하는 액티브 로고; 를 포함하는 것을 특징으로 한다.
상기 이동 로봇은 상기 도킹 스테이션으로 복귀하기 위해 기설정된 회전 속도로 회전하면서 상기 도킹 요청 신호를 지정된 시간에 방사하고, 상기 도킹 요청 신호가 방사되는 시간 구간에 대응하여 상기 입체 영상을 획득하며, 획득된 상기 입체 영상에 상기 액티브 로고가 포함되어 있는지 분석하여, 상기 액티브 로고가 포함되어 있는 것으로 판별되면, 상기 액티브 로고의 위치를 분석하여 이동하는 것을 특징으로 한다.
상기 이동 로봇은 상기 도킹 요청 신호를 기설정된 각도 범위를 갖는 적외선 빔 패턴으로 방사하는 도킹 요청 신호 발신 소자; 상기 이동 로봇이 이동 및 회전하도록 구동되는 구동부; 기설정된 간격으로 이격되어 배치되는 2개의 카메라를 구비하여 상기 입체 영상을 획득하는 영상 획득부; 상기 도킹 스테이션으로 상기 이동 로봇의 복귀 여부를 결정하고, 상기 이동 로봇이 복귀해야 하는 경우, 상기 이동 로봇을 회전하도록 상기 구동부를 제어하고, 상기 도킹 요청 신호 발신 소자가 기설정된 주기로 상기 도킹 요청 신호를 방사하도록 제어하며, 상기 영상 획득부가 상기 도킹 요청 신호를 방사하는 기간 및 방사하지 않는 기간 각각에서 상기 입체 영상을 획득하도록 제어하며, 상대 위치가 전송되면, 상기 이동 로봇이 상기 도킹 스테이션으로 이동하도록 상기 구동부를 제어하는 제어부; 상기 영상 획득부에서 획득한 상기 입체 영상을 기저장된 템플릿과 비교하여 상기 영상에 액티브 로고가 포함되어 있는지 판별하는 로고 인식부; 및 상기 로고 인식부에서 상기 액티브 로고가 포함된 것으로 판별하면, 상기 영상에 포함된 액티브 로고를 기저장된 로고 샘플과 비교하여 상기 도킹 스테이션의 상기 상대 위치를 판별하여 상기 제어부로 전송하는 로고 위치 판별부; 를 포함하는 것을 특징으로 한다.
상기 로고 인식부는 상기 영상 획득부가 획득한 상기 입체 영상을 버퍼링하는 영상 버퍼부; 상기 영상 버퍼부에 버퍼링된 상기 입체 영상 중 상기 적외선이 방사되는 기간에 획득된 상기 입체 영상과 상기 적외선이 방사되지 않는 기간에 획득된 상기 입체 영상의 차영상을 획득하는 차영상 획득부; 상기 차영상을 인가받아 기설정된 방식으로 외곽선을 추출하고, 추출된 상기 외곽선 중 기설정된 크기 범위의 외곽선 면적을 갖는 영역을 영상 패치로써 추출하는 컨투어링부; 추출된 상기 영상 패치 각각에 대해 국부 이진 패턴을 추출하여 국부 이진 패턴 서술자를 획득하는 국부 이진 패턴 추출부; 촬영 각도 및 촬영 거리에 따라 구분된 영상에 포함된 상기 액티브 로고에 대응하여 추출된 국부 이진 패턴 서술자인 복수개의 상기 템플릿이 기저장되는 패턴 DB; 상기 국부 이진 패턴 추출부에서 전송된 상기 국부 이진 패턴 서술자와 상기 복수개의 템플릿 각각을 비교하여 유사도를 분석하는 패턴 비교부; 및 상기 복수개의 템플릿 중 상기 국부 이진 패턴 서술자와 상기 유사도의 유사도값이 기설정된 기준 유사도값 이상인 템플릿이 존재하는지 판별하는 로고 판별부; 를 포함하는 것을 특징으로 한다.
상기 로고 위치 판별부는 상기 복수개의 템플릿에 대응하여, 촬영 각도 및 촬영 거리에 따라 구분되어 상기 액티브 로고가 포함된 복수개의 샘플 영상이 저장되는 로고 샘플 DB; 상기 로고 샘플 DB에 저장된 상기 복수개의 샘플 영상 중 상기 로고 판별부에서 판별한 템플릿에 대응하는 샘플 영상을 선택하고, 선택된 상기 샘플 영상을 상기 영상 버퍼부로부터 인가되는 상기 입체 영상에 투영하는 로고 투영부; 상기 입체 영상과 투영된 상기 샘플 영상의 픽셀값을 비교하여 픽셀 오차를 판별하는 픽셀 비교부; 상기 샘플 영상이 투영된 상기 입체 영상의 그래디언트를 획득하는 그래디언트 추출부; 및 선택된 상기 샘플 영상의 상기 촬영 각도 및 상기 촬영 거리에 대응하여 상기 로고 샘플 DB에 함께 저장된 회전 행렬 및 병진 벡터로부터 상기 상대 위치를 판별하고, 상기 픽셀 오차와 상기 그래디언트의 합이 최소화되도록 하는 위치 보정값을 계산하여, 상기 상대 위치를 보정하는 오차 최소화부; 를 포함하는 것을 특징으로 한다.
상기 다른 목적을 달성하기 위한 본 발명의 일 예에 따른 광학 호밍 방법은 도킹 스테이션 및 이동 로봇을 포함하는 광학 호밍 시스템의 광학 호밍 방법에 있어서, 상기 이동 로봇이 기설정된 적외선 빔 패턴으로 구현되는 도킹 요청 신호를 방사하는 단계; 상기 이동 로봇이 상기 도킹 요청 신호에 응답하여 발광하는 상기 도킹 스테이션의 액티브 로고에 대한 입체 영상을 획득하는 단계; 및 상기 입체 영상을 분석하여, 상기 도킹 스테이션의 도킹 위치를 판별하는 단계; 를 포함한다.
상기 도킹 요청 신호를 방사하는 단계는 상기 이동 로봇이 상기 도킹 스테이션으로의 복귀 여부를 판별하는 단계; 상기 도킹 스테이션으로 복귀해야 하는 것으로 판별되면, 상기 이동 로봇이 기설정된 회전 속도로 회전하는 단계; 및 상기 이동 로봇이 회전하는 동안, 상기 이동 로봇에 구비된 도킹 요청 신호 발신 소자를 이용하여 지정된 시간에 상기 도킹 요청 신호를 방사하는 단계; 를 포함하는 것을 특징으로 한다.
상기 입체 영상을 획득하는 단계는 상기 도킹 스테이션이 상기 도킹 요청 신호를 감지하는 단계; 감지된 상기 도킹 요청 신호에 응답하여, 상기 도킹 스테이션이 상기 액티브 로고를 발광시키는 단계; 및 상기 이동 로봇이 상기 도킹 요청 신호가 방사되는 기간 및 방사되지 않는 기간 각각에서 상기 입체 영상을 획득하는 단계; 를 포함하는 것을 특징으로 한다.
상기 도킹 스테이션의 도킹 위치를 판별하는 단계는 상기 이동 로봇이 획득된 상기 입체 영상에 상기 액티브 로고가 포함되어 있는지 판별하는 단계; 상기 액티브 로고가 포함되어 있는 것으로 판별되면, 상기 이동 로봇이 상기 액티브 로고의 위치를 분석하는 단계; 및 상기 이동 로봇이 상기 액티브 로고의 위치로 이동하여 도킹하는 단계; 를 포함하는 것을 특징으로 한다.
상기 액티브 로고가 포함되어 있는지 판별하는 단계는 상기 영상 획득부가 획득한 상기 입체 영상을 버퍼링하는 단계; 버퍼링된 상기 입체 영상 중 상기 도킹 요청 신호가 방사되는 기간에 획득된 상기 입체 영상과 상기 도킹 요청 신호가 방사되지 않는 기간에 획득된 상기 입체 영상의 차영상을 획득하는 단계; 상기 차영상에서 기설정된 방식으로 외곽선을 추출하고, 추출된 상기 외곽선 중 기설정된 크기 범위의 외곽선 면적을 갖는 영역을 영상 패치로써 추출하는 단계; 상기 영상 패치 각각에 대해 국부 이진 패턴을 추출하여 국부 이진 패턴 서술자를 획득하는 단계; 상기 국부 이진 패턴 서술자를 미리 촬영 각도 및 촬영 거리에 따라 구분된 영상에 포함된 상기 액티브 로고에 대응하여 국부 이진 패턴 서술자로 추출된 복수개의 템플릿과 비교하여 유사도를 획득하는 단계; 상기 복수개의 템플릿 중 상기 국부 이진 패턴 서술자와 상기 유사도의 유사도값이 기설정된 기준 유사도값 이상인 템플릿이 존재하는지 판별하는 단계; 및 상기 유사도값이 기설정된 기준 유사도값 이상인 템플릿이 존재하면, 해당 템플릿 정보를 획득하는 단계; 를 포함하는 것을 특징으로 한다.
상기 액티브 로고의 위치를 분석하는 단계는 상기 복수개의 템플릿에 대응하여, 상기 액티브 로고가 포함되고 촬영 각도 및 촬영 거리에 따라 구분되어 기저장된 복수개의 샘플 영상 중 상기 템플릿 정보에 대응하는 샘플 영상을 선택하고, 선택된 샘플 영상의 상기 촬영 각도 및 상기 촬영 거리에 대응하여 기저장된 회전 행렬 및 병진 벡터로부터 상기 상대 위치를 판별하는 단계; 선택된 상기 샘플 영상을 상기 입체 영상에 투영하는 단계; 상기 입체 영상과 투영된 상기 샘플 영상의 픽셀값을 비교하여 픽셀 오차를 판별하는 단계; 상기 샘플 영상이 투영된 상기 입체 영상의 그래디언트를 획득하는 단계; 및 상기 픽셀 오차와 상기 그래디언트의 합이 최소화되도록 하는 위치 보정값을 계산하여, 상기 상대 위치를 보정하는 단계; 를 포함하는 것을 특징으로 한다.
따라서, 본 발명의 입체 영상 카메라와 로고를 이용한 광학 호밍 시스템 및 방법은 도킹 스테이션이 이동 로봇에서 방사되는 도킹 요청 신호에 응답하여 액티브 로고를 활성화하고, 이동 로봇은 액티브 로고를 입체 영상으로 인식하여 도킹 영역의 방향과 거리를 판별할 수 있도록 함으로써, 신속하게 도킹 진행 방향을 판별한다. 그러므로 이동 로봇이 최적화된 경로로 도킹 스테이션에 도킹 할 수 있다. 또한 액티브 로고를 제품 디자인으로 활용함으로써, 도킹 스테이션을 포함하는 이동 로봇 제품의 상품성을 높일 수 있다.
도1 은 기존의 호밍 시스템의 일예를 나타낸다.
도2a 와 도2b 는 본 발명의 일 실시예에 따른 광학 호밍 시스템을 나타낸다.
도3 은 이동 로봇의 구성을 나타낸다.
도4 는 도3 의 로고 인식부의 상세 구성을 나타낸다.
도5 는 도4 의 패턴 비교부가 유사도를 판별하는 방식의 일예를 나타낸다.
도6 은 도3 의 로고 위치 판별부의 상세 구성을 나타낸다.
도7 은 본 발명의 호밍 시스템의 이동 로봇이 로고를 인식하여 이동하는 과정을 나타낸다.
도8 은 본 발명의 다른 실시예에 따른 광학 호밍 시스템을 나타낸다.
도9 는 본 발명의 일 실시예에 따른 광학 호밍 방법을 나타낸다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도2a 와 도2b 는 본 발명의 일 실시예에 따른 광학 호밍 시스템을 나타내고, 도3 은 이동 로봇의 구성을 나타낸다.
도2a, 도2b 및 도3 을 참조하여 본 발명의 광학 호밍 시스템을 설명하면, 본 발명의 호밍 시스템 또한 도1 과 마찬가지로 이동 로봇(MR)과 도킹 스테이션(DS)을 구비한다.
도킹 스테이션(DS)은 도킹 요청 신호 감지 센서(irr)와 액티브 로고(AL)를 구비한다. 도킹 스테이션(DS)에서 도킹 요청 신호 감지 센서(irr)는 이동 로봇(MR)에서 방사된 도킹 요청 신호를 감지하여 감지 신호를 생성한다. 그리고 액티브 로고(AL)는 제조사 명이나 제품명, 브랜드 명, 상표 등과 같이 이동 로봇 제품에 부합되는 형상의 로고로 구현되어 도킹 스테이션(DS)에서 이동 로봇이 도킹하게 되는 도킹 영역 방향으로 배치된다. 액티브 로고(AL)는 로고 후면에 백라이트(back light)와 같은 발광 소자가 구비되어, 도킹 요청 신호 감지 센서(irr)로부터 감지 신호가 인가되면 발광하도록 구성된다. 즉 도킹 스테이션(DS)은 이동 로봇(MR)에서 방사된 도킹 요청 신호에 응답하여 액티브 로고(AL)가 점멸하도록 구성된다. 여기서 도킹 요청 신호는 일 예로 적외선 신호의 형태로 구현될 수 있다.
본 발명에서 도킹 스테이션(DS)의 액티브 로고(AL)가 발광하도록 구성되는 것은 본 발명의 호밍 시스템이 영상 정보를 이용하는 광학 호밍 시스템이기 때문이다. 기존에도 영상 정보를 이용하는 호밍 시스템은 존재하였으나, 조도가 낮은 공간에서 사용할 수 없고, 조도 변화에 따른 인식률의 저하가 크며, 폐색(occlusion)이 존재하는 이미지 공간에서 오인식률이 높아진다는 문제로 인해 사용되는 빈도가 극히 낮았다. 경우에 따라서 인식률을 높이기 위해 인위적인 표식을 제공하는 경우도 있으나, 이러한 표식의 형태가 호밍 시스템을 적용할 제품의 디자인에 적합하지 않은 경우가 대부분이어서 상용 제품에 적용되기 어렵다는 문제가 있었다.
그러나 본 발명에서는 액티브 로고(AL)가 자체적으로 발광이 가능하도록 함으로써, 광학 호밍 시스템이 조도의 영향을 크게 받지 않도록 하여 인식률을 높일 수 있다. 뿐만 아니라, 액티브 로고(AL) 자체의 디자인을 다양하게 구현할 수 있어 제품의 디자인을 향상 시키는 역할을 수행할 수 있다.
그리고 이동 로봇(MR)은 도3 에 도시된 바와 같이, 전원 관리부(110), 제어부(120), 구동부(130), 도킹 요청 신호 발신 소자(IR Emitter : ire)(140), 영상 획득부(150), 로고 인식부(160) 및 로고 위치 판별부(170)를 구비한다.
전원 관리부(110)는 이동 로봇(MR)의 배터리의 충전 상태를 감지하고, 전력이 부족하여 배터리의 전압 레벨이 기설정된 기준 전압 이하이면, 저전압 경고 신호를 제어부(120)로 전송한다.
구동부(130)는 제어부(120)의 제어에 따라 구동되어 이동 로봇(MR)을 이동 및 회전한다.
도킹 요청 신호 발신 소자(140)는 이동 로봇(MR)의 전면에 배치되고, 제어부(120)의 제어에 따라 도킹 요청 신호(bf)를 방사한다. 이때 방사되는 도킹 요청 신호(bf)는 기설정된 각도 범위를 갖는 적외선 빔 패턴으로 방사될 수 있다.
영상 획득부(150)는 도2 에 도시된 바와 같이, 입체 영상 촬영을 위해 이동 로봇(MR)의 전면 양측으로 기설정된 간격만큼 이격되어 배치되는 2개의 카메라(c1, c2)를 구비한다. 영상 획득부(150)는 제어부(120)의 제어에 따라 활성화되어 2개의 카메라(c1, c2) 각각을 통해 입체 영상을 획득한다.
로고 인식부(160)는 영상 획득부(150)에서 획득한 입체 영상을 기저장된 로고 이미지와 비교 분석하여 영상에 액티브 로고가 포함되어 있는지 판별한다.
로고 위치 판별부(170)는 로고 인식부(160)가 입체 영상에 액티브 로고(AL)가 포함되어 있는 것으로 판별하면, 입체 영상에 포함된 로고의 위치를 판별한다. 그리고 판별된 위치를 제어부(120)로 전송한다.
제어부(120)는 전원 관리부(110)에서 인가되는 저전압 경고 신호에 응답하여, 구동부(130)를 제어하여 이동 로봇(MR)이 기설정된 회전 속도로 서서히 회전하도록 한다. 동시에 제어부(120)는 도킹 요청 신호 발신 소자(140)가 도킹 요청 신호(bf)를 방사하도록 제어하고, 영상 획득부(150)가 영상을 획득하도록 한다. 이때 제어부(120)는 도킹 요청 신호 발신 소자(140)가 지정된 시간에 도킹 요청 신호(bf)를 방사하도록 IR ON 신호를 도킹 요청 신호 발신 소자(140)로 전송한다. 제어부(120)는 도킹 요청 신호(bf)가 기설정된 주기로 방사되도록 IR ON 신호와 IR OFF 신호를 교대로 도킹 요청 신호 발신 소자(140)로 전송할 수 있다. 영상 획득부(150)는 IR ON 신호가 전송되는 기간 및 IR OFF 신호가 전송되는 기간 각각에서 영상을 획득하도록 제어한다. 이는 영상 획득부(150)가 획득되는 영상에서 방사된 도킹 요청 신호(bf)에 응답하여 점멸되는 액티브 로고(AL)를 용이하게 추출할 수 있도록 하기 위함이다.
그리고 로고 인식부(160)에서 로고를 인식하고, 로고 위치 판별부(170)가 로고의 위치를 판별하여 전송하면, 전송된 로고 위치로 이동 로봇(MR)이 이동하도록 구동부(130)를 제어한다.
도4 는 도3 의 로고 인식부의 상세 구성을 나타낸다.
도4 에서 로고 인식부(160)는 영상 버퍼부(161), 차영상 획득부(162), 컨투어링부(163), 국부 이진 패턴 추출부(164), 패턴 데이터베이스(165), 패턴 비교부(166) 및 로고 판별부(167)를 구비한다.
영상 버퍼부(161)는 영상 획득부(150)에서 획득한 영상을 인가받아 버퍼링한다. 상기한 바와 같이, 영상 획득부(150)는 IR ON 신호가 전송되는 기간 및 IR OFF 신호가 전송되는 기간 각각에서 영상을 획득한다. 따라서 도킹 스테이션(DS)이 도킹 요청 신호 발신 소자(140)에서 방사된 도킹 요청 신호(bf)의 범위 내에 존재한다면, 도킹 스테이션(DS)의 액티브 로고(AL)가 점등된 상태의 영상과 소등된 상태의 영상이 순차적으로 전송되어 저장된다.
차영상 획득부(162)는 영상 버퍼부(161)에 순차적으로 저장된 2개의 영상을 인가받아 차영상을 생성한다. 차영상 획득부(162)는 IR ON 신호가 전송되는 기간에 획득된 영상(Ip)로부터 IR OFF 신호가 전송되는 기간에 획득된 영상(In)을 차감(Ip - In)하여 차 영상(Is)을 획득한다.
그리고 차영상 획득부(162)는 획득된 차영상(Is)의 확대 또는 축소를 통해 노이즈를 제거하고, 신호를 강조하기 위해 모폴로지 연산(morphological operation)을 추가로 수행할 수 있다. 모폴로지 연산은 영상에 포함된 사물의 기하학적 형태를 추출하는 기술로서, 영상 처리 기술에서 전처리 기술로 잘 알려진 공지 기술이므로 여기서는 상세하게 설명하지 않는다.
컨투어링부(163)는 차영상 획득부(162)로부터 차영상(Is)를 인가받아, 기설정된 방식으로 차영상(Is)에서 외곽선을 추출한 후, 기설정된 크기 범위의 외곽선 면적을 갖는 영역을 영상 패치(image patch)로 추출한다.
국부 이진 패턴 추출부(164)는 컨투어링부(163)에서 추출된 영상 패치들 각각에 대해 국부 이진 패턴을 추출한다. 국부 이진 패턴 추출은 영상 패치에서 임의의 두 개의 픽셀(x, y)를 선택하고, 각 픽셀의 강도(intensity)(Ix, Iy)를 확인한다. 그리고 확인된 픽셀 강도(Ix, Iy)를 비교하여 픽셀(x)의 강도(Ix)가 픽셀(y)의 강도(Iy)보다 크면, 대응하는 비트 영역에 1의 값을 할당하고, 크지 않으면 0의 값을 할당한다. 그리고 영상 패치 내의 모든 픽셀에 대해 픽셀 강도를 반복하여 수행한다. 예를 들어, 영상 패치 내의 픽셀 개수가 N(여기서 N은 자연수)이면, 국부 이진 패턴 추출부는 N에 대응하는 횟수(예를 들면 N-1회)만큼 픽셀 값을 반복적으로 비교하여 각 픽셀에 대응하는 비트값을 획득한다. 그리고 획득된 비트값들을 나열하여 국부 이진 패턴 서술자(Local Binary Pattern Descriptor : LBPD)를 도출한다. 국부 이진 패턴 서술자(LBPD)는 도5 에 일 예가 도시되어 있다.
국부 이진 패턴 추출 기법 또한 공지된 기술로서 여기서는 상세하게 게 설명하지 않는다.
패턴 DB(165)에는 이동 로봇(MR)이 사전에 액티브 로고(AL)가 포함되도록 촬영한 영상을 이용하여 획득한 국부 이진 패턴 서술자(LBPD)가 템플릿(Templet)으로 미리 저장된다. 템플릿은 국부 이진 패턴 추출부(164)가 추출한 국부 이진 패턴 서술자(LBPD)가 액티브 로고(AL)에 대응하는 서술자인지를 판별하기 위해 사전에 저장되는 정보이다. 패턴 DB(165)는 하나의 템플릿만을 저장하지 않고, 액티브 로고(AL)에 대해 이동 로봇(MR)의 상대 위치에 따라 가변되는 촬영 각도나 촬영 거리에도 용이하게 액티브 로고(AL)을 판별할 수 있도록, 기설정된 거리 및 각도별 촬영 영상 각각에 대한 복수개의 템플릿을 저장할 수 있다. 이때 각각의 템플릿에는 카메라(c1, c2)의 촬영 각도나 촬영 거리 대응하는 회전 행렬(R) 및 병진 벡터(T)가 포함될 수 있다.
패턴 비교부(166)는 국부 이진 패턴 추출부(164)로부터 국부 이진 패턴 서술자(LBPD)를 인가받고, 인가된 국부 이진 패턴 서술자(LBPD)를 패턴 DB(165)에 저장된 적어도 하나의 템플릿과 비교하여 유사도(Sim)를 획득한다.
도5 는 도4 의 패턴 비교부가 유사도를 판별하는 방식의 일예를 나타낸다.
도5 를 참조하면, 패턴 비교부(166)는 일예로 국부 이진 패턴 서술자(LBPD)와 템플릿(Tem)의 유사도를 비교하기 위해 국부 이진 패턴 서술자(LBPD)와 템플릿(Tem)에 대해 비트 연산인 배타적 논리합(XOR) 연산을 수행한다. 배타적 논리합 연산(XOR)은 동일한 값의 비트에 대해서는 0의 값을 도출하고, 서로 다른 값의 비트에 대해서는 1 의 값을 도출한다. 따라서 유사도(Sim)는 국부 이진 패턴 서술자(LBPD)와 템플릿(Tem) 사이에 동일 비트값을 갖는 비트의 수만큼 0값의 비트가 포함되고 서로 상이한 비트값을 갖는 비트의 수만큼 1값의 비트가 포함된다.
로고 인식부(160)가 국부 이진 패턴 추출부(164)를 구비하여 영상 패치를 이진화한 후, 템플릿과 비교하는 것은 기존의 템플릿 매칭 방법의 경우, 영상 패치 내의 모든 픽셀 값들을 순차적으로 비교하여 유사도를 획득하기 때문에 계산 량이 증가되므로 빠른 검색에 적합하지 않기 때문이다.
다시 도4 를 참조하면, 로고 판별부(167)는 패턴 비교부(166)으로부터 적어도 하나의 템플릿 각각에 대응하는 유사도를 인가받아 0값을 갖는 비트의 개수를 카운팅함으로써, 유사도값을 확인하고, 유사도값이 기설정된 기준 유사도값 이상인지 판별한다. 만일 유사도값이 기준 유사도값 이상인 것으로 판별되면 로고 판별부(167)는 현재 획득된 영상에 액티브 로고가 포함된 것으로 판별하고, 대응하는 템플릿 정보를 로고 위치 판별부(170)로 전송한다.
도6 은 도3 의 로고 위치 판별부의 상세 구성을 나타낸다.
로고 위치 판별부(170)는 로고 투영부(171), 픽셀 비교부(172), 그래디언트 추출부(173), 오차 최소화부(174) 및 로고 샘플 DB(175)를 구비한다.
로고 샘플 DB(175)는 적어도 하나의 로고 샘플을 저장한다. 로고 샘플은 이동 로봇이 도킹 스테이션(DS)의 도킹 영역으로 도킹하기 위한 방향 및 거리를 판별하기 위한 영상으로써, 액티브 로고(AL)에 대한 영상이 로고 샘플로 저장된다. 로고 샘플 DB(175)는 이동 로봇(MV)이 2차원 평면 상에서 이동하므로, 카메라(c1, c2)의 내부 파라미터(K)와 2차원 평면 공간으로 촬영하는 카메라(c1, c2)의 촬영 각도나 촬영 거리 대응하는 회전 행렬(R) 및 병진 벡터(T)에 따른 샘플링을 수행하여 복수개의 로고 샘플을 저장할 수 있다. 로고 샘플 DB(175)는 복수개의 로고 샘플 각각에 대응하는 내부 파라미터(K)와 회전 행렬(R) 및 병진 벡터(T)가 함께 저장된다. 일예로 병진 벡터(T)는 액티브 로고(AL)로부터 0.2m ~ 1.2m 까지 0.2m 단위로 샘플링하고, 회전 행렬(R)은 0 ~ 50도까지의 각도 범위 내에서 매 10도의 각도마다 샘플링을 수행할 수 있다. 이때 -50 ~ 0도의 각도 범위는 0 ~ 50도까지의 각도 범위와 대칭으로 판별하여 샘플링을 수행하지 않는다. 그러나 경우에 따라서는 -50 ~ 50도의 각도 범위에 대해서 샘플링을 수행할 수 있다. 그리고 다른 각도 범위에 대해서 샘플링을 수행할 수도 있다.
로고 샘플 DB(175)는 각 샘플에 대해 투영 변환(Perspective transform) 작업을 수행하여 액티브 로고를 변환한 후 저장할 수 있다. 투영 변환은 수학식 1에 따라 수행될 수 있다.
Figure 112015062150127-pat00001
(여기서, K는 카메라 내부 파라미터를 나타내고, R은 회전 행렬을 나타내며, T는 병진 벡터를 나타낸다. 그리고 Pw는 3차원 상의 임의의 위치를 나타낸다.)
도4 에서 패턴 데이터베이스(165)에 저장되는 템플릿은 로고 샘플 DB(175)에 저장된 로고 샘플에 대한 국부 이진 패턴 서술자를 나타내며, 경우에 따라서 패턴 DB(165)는 로고 샘플 DB(175)에 포함되도록 구성될 수 있다.
로고 투영부(171)는 로고 인식부(160)로부터 템플릿 정보와 버퍼링된 영상을 인가받고, 템플릿 정보에 대응하는 로고 샘플을 로고 샘플 DB(175)로부터 인가받아 영상에 투영한다. 즉 로고 샘플에 포함된 로고 이미지가 영상에 포함된 액티브 로고(AL)에 중첩되도록 배치하여 매칭되는 로고 샘플을 획득한다.
이동 로봇(MR)은 영상에 투영된 로고 샘플의 회전 행렬(R)과 병진 벡터(T)를 통해 로고의 위치를 인지할 수 있으나, 이는 샘플링 과정을 통해 획득된 정보로서, 정확도가 낮다.
그리고 픽셀 비교부(172)는 도킹 스테이션(DS)의 액티브 로고(AL)의 상대 좌표를 정확하게 획득하기 위해 투영된 로고 샘플의 픽셀값과 영상의 픽셀값을 비교하여 픽셀 오차값을 계산한다.
한편 그래디언트 추출부(173)는 투영된 좌표 상에서 영상의 그래디언트를 획득하고, 오차 최소화부(174)는 픽셀 오차값과 획득된 그래디언트를 이용하여 픽셀 오차값의 합계가 최소화되도록 하는 위치 보정값을 계산하고, 계산된 위치 보정값을 이용하여 회전 행렬(R)과 병진 벡터(T)를 이용하여 획득된 상대 좌표를 보정하여 제어부(120)로 전송한다. 여기서 일예로 로고 샘플과 영상의 픽셀 강도(intensity)의 오차일 수 있다.
제어부(120)는 보정된 상대 좌표값에 따라 액티브 로고(AL)의 위치를 인식하고, 인식된 액티브 로고(AL)의 위치로 이동 로봇(MR)이 이동하도록 구동부(130)를 제어한다.
도7 은 본 발명의 호밍 시스템의 이동 로봇이 로고를 인식하여 이동하는 과정을 나타낸다.
도7 에 도시된 바와 같이, 본 발명의 이동 로봇은 입체 영상을 획득하기 위한 2개의 카메라(c1, c2)를 구비하여 액티브 로고(AL)에 대한 광학 영상을 획득한다. 그리고 액티브 로고(AL)에 대한 광학 영상과 로고 샘플이 매칭되도록 이동 로봇(MR)을 구동함으로써, 이동 로봇(MR)이 도킹 스테이션(DS)에 용이하게 도킹할 수 있도록 한다.
도8 은 본 발명의 다른 실시예에 따른 광학 호밍 시스템을 나타낸다.
도8 의 광학 호밍 시스템의 구성은 기본적으로 도2 의 광학 호밍 시스템과 동일하다. 다만 도8 의 광학 호밍 시스템은 액티브 로고(AL)가 평면으로 구현되는 도2 의 호밍 시스템과 달리 반원형으로 돌출되는 형태로 구현된다. 이는 액티브 로고(AL)가 평면으로 구현되는 경우, 이동 로봇(MR)이 액티브 로고(AL)의 측면에서 액티브 로고(AL)을 인지하기 어렵기 때문이다. 즉 액티브 로고(AL)를 감지하여 도킹 스테이션(DS)의 위치를 판별해야 하는 이동 로봇(MR)이 액티브 로고(AL)를 감지하기 어렵고, 감지하더라도 위치를 판별하기 어렵다는 문제가 있다.
도8 에서는 액티브 로고(AL)가 반원형으로 돌출되는 형태로 구현됨에 따라 이동 로봇(MR)은 더 넓은 각도 범위에서 액티브 로고(AL)을 감지하고 위치를 인식할 수 있다. 도8 에서는 반원형의 액티브 로고(AL)를 도시하였으나, 액티브 로고(AL)은 원통형으로 구현될 수도 있다. 액티브 로고(AL)가 원통형으로 구현되면, 이동 로봇(MR)은 모든 방향에서 도킹 스테이션(DR)의 위치를 판별할 수 있다. 다만 이 경우 액티브 로고(AL)은 도킹 스테이션(DS)의 도킹 영역에 대해 이동 로봇(MR)이 배치된 방향을 용이하게 인지할 수 있도록 각도별 서로 다른 이미지가 되도록 액티브 로고(AL)을 설정해야 한다.
도9 는 본 발명의 일 실시예에 따른 광학 호밍 방법을 나타낸다.
도2 내지 도8 을 참조하여, 도9 의 광학 호밍 방법을 설명하면, 우선 전원 관리부(110)가 이동 로봇(MR)의 배터리 상태를 감지한다(S11). 그리고 제어부(120)는 배터리 상태를 감지한 전원 관리부(110)로부터 저전압 경고가 인가되는지 판별한다(S12). 만일 저전압 경고가 인가된 것으로 판별되면, 제어부(120)는 구동부(130)를 제어하여 이동 로봇(MR)이 기설정된 회전 속도로 회전하도록 함과 동시에 도킹 요청 신호 발신 소자(140)로 IR ON 신호와 IR OFF 신호를 기설정된 주기로 교대로 전송하여 도킹 요청 신호 발신 소자(140)가 도킹 요청 신호(bf)를 주기적으로 발신하도록 한다 (S12). 그리고 제어부(120)는 저전압 경고가 인가되지 않더라도, 이전 지정된 동작이 완료되어 도킹 스테이션(DS)로 복귀하도록 설정된 경우에도 동일한 작업을 수행한다.
한편 제어부(120)는 영상 획득부(150)를 제어하여, 도킹 요청 신호 발신 소자(140)가 도킹 요청 신호(bf)를 발신하는 기간 및 발신하지 않는 기간 각각에서의 영상을 획득하도록 한다(S14). 로고 인식부(160)는 도킹 요청 신호(bf)를 발신되는 기간 및 발신되지 않는 기간 각각에서 영상 획득부(150)가 획득한 영상을 인가받아 차영상을 획득하고, 외곽선을 추출한 후 기설정된 크기 범위의 외곽선 면적을 갖는 영상 패치를 추출한다(S15). 그리고 추출된 영상 패치를 국부 이진 패턴 변환하여 국부 이진 패턴 서술자(LBPD)를 획득하고, 획득된 국부 이진 패턴 서술자(LBPD)를 기저장된 템플릿과 비교하여 액티브 로고의 유사도를 분석한다(S16).
로고 인식부(160)는 유사도값이 기설정된 기준 유사도 이상인 템플릿이 존재하는지 확인하여, 획득된 영상에 로고가 포함되어 있는지 판별한다(S17). 만일 로고가 포함된 것으로 판별되면, 로고 위치 판별부(170)가 템플릿에 대응하는 로고 샘플의 회전 행렬(R) 및 병진 벡터(T)를 이용하여 액티브 로고(AL)의 개략적인 상대 위치를 판별하고, 로고 샘플을 획득된 영상에 투영한 후, 투영된 로고 샘플과 획득된 영상 사이의 오차가 최소화되도록 상대 위치를 보정하여 제어부(120)로 전송한다(S18).
이에 제어부(120)는 이동 로봇(MR)이 도킹을 위해 로고 위치 판별부(170)에서 전송된 상대 위치로 이동하도록 구동부(130)를 제어한다(S19). 그리고 제어부(120)는 이동 로봇(MR)이 도킹 스테이션(DS)에 도킹하였는지 판별한다(S20). 만일 도킹하지 않았으면, 이동 로봇을 계속적으로 이동시키고, 도킹하였으면 작업을 종료한다.
본 발명에 따른 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (16)

  1. 도킹 스테이션으로 복귀하기 위해 기설정된 회전 속도로 회전하면서 도킹 요청 신호를 지정된 시간에 방사하고, 상기 도킹 요청 신호에 응답하여 상기 도킹 스테이션에서 점멸 발광하는 로고에 대한 입체 영상을 상기 도킹 요청 신호가 방사되는 시간 구간 및 방사되지 않는 시간 구각 각각에 대응하여 획득하며, 획득된 상기 입체 영상에 상기 로고가 포함되어 있는지 분석하여, 상기 로고가 포함되어 있는 것으로 판별되면, 상기 로고의 위치를 분석하여 이동도킹 위치를 판별하는 이동 로봇; 을 포함하는 광학 호밍 시스템.
  2. 제1 항에 있어서, 상기 도킹 스테이션은
    상기 도킹 요청 신호를 감지하여, 감지 신호를 생성하는 도킹 요청 신호 감지 센서; 및
    기지정된 디자인으로 구현된 상기 로고와 상기 로고에 대응하는 위치에 상기 감지 신호에 응답하여 점멸되는 조명 수단을 구비하는 액티브 로고; 를 포함하는 것을 특징으로 하는 광학 호밍 시스템.
  3. 삭제
  4. 제2 항에 있어서, 상기 이동 로봇은
    상기 도킹 요청 신호를 기설정된 각도 범위를 갖는 적외선 빔 패턴으로 방사하는 도킹 요청 신호 발신 소자;
    상기 이동 로봇이 이동 및 회전하도록 구동되는 구동부;
    기설정된 간격으로 이격되어 배치되는 2개의 카메라를 구비하여 상기 입체 영상을 획득하는 영상 획득부;
    상기 도킹 스테이션으로 상기 이동 로봇의 복귀 여부를 결정하고, 상기 이동 로봇이 복귀해야 하는 경우, 상기 이동 로봇을 회전하도록 상기 구동부를 제어하고, 상기 도킹 요청 신호 발신 소자가 기설정된 주기로 상기 도킹 요청 신호를 방사하도록 제어하며, 상기 영상 획득부가 상기 도킹 요청 신호를 방사하는 기간 및 방사하지 않는 기간 각각에서 상기 입체 영상을 획득하도록 제어하며, 상대 위치가 전송되면, 상기 이동 로봇이 상기 도킹 스테이션으로 이동하도록 상기 구동부를 제어하는 제어부;
    상기 영상 획득부에서 획득한 상기 입체 영상을 기저장된 템플릿과 비교하여 상기 영상에 액티브 로고가 포함되어 있는지 판별하는 로고 인식부; 및
    상기 로고 인식부에서 상기 액티브 로고가 포함된 것으로 판별하면, 상기 영상에 포함된 액티브 로고를 기저장된 로고 샘플과 비교하여 상기 도킹 스테이션의 상기 상대 위치를 판별하여 상기 제어부로 전송하는 로고 위치 판별부; 를 포함하는 것을 특징으로 하는 광학 호밍 시스템.
  5. 제4 항에 있어서, 상기 로고 인식부는
    상기 영상 획득부가 획득한 상기 입체 영상을 버퍼링하는 영상 버퍼부;
    상기 영상 버퍼부에 버퍼링된 상기 입체 영상 중 상기 적외선이 방사되는 기간에 획득된 상기 입체 영상과 상기 적외선이 방사되지 않는 기간에 획득된 상기 입체 영상의 차영상을 획득하는 차영상 획득부;
    상기 차영상을 인가받아 기설정된 방식으로 외곽선을 추출하고, 추출된 상기 외곽선 중 기설정된 크기 범위의 외곽선 면적을 갖는 영역을 영상 패치로써 추출하는 컨투어링부;
    추출된 상기 영상 패치 각각에 대해 국부 이진 패턴을 추출하여 국부 이진 패턴 서술자를 획득하는 국부 이진 패턴 추출부;
    촬영 각도 및 촬영 거리에 따라 구분된 영상에 포함된 상기 액티브 로고에 대응하여 추출된 국부 이진 패턴 서술자인 복수개의 상기 템플릿이 기저장되는 패턴 DB;
    상기 국부 이진 패턴 추출부에서 전송된 상기 국부 이진 패턴 서술자와 상기 복수개의 템플릿 각각을 비교하여 유사도를 분석하는 패턴 비교부; 및
    상기 복수개의 템플릿 중 상기 국부 이진 패턴 서술자와 상기 유사도의 유사도값이 기설정된 기준 유사도값 이상인 템플릿이 존재하는지 판별하는 로고 판별부; 를 포함하는 것을 특징으로 하는 광학 호밍 시스템.
  6. 제5 항에 있어서, 상기 차영상 획득부는
    획득된 상기 차영상에서 노이즈를 제거하기 위해 영상에 포함된 사물의 기하학적 형태를 추출하는 모폴로지 연산을 추가로 수행하는 것을 특징으로 하는 광학 호밍 시스템.
  7. 제5 항에 있어서, 상기 국부 이진 패턴 추출부는
    상기 영상 패치의 복수개의 픽셀 중 두 개의 픽셀을 선택하고, 선택된 픽셀의 픽셀 강도를 비교하여 이진값을 할당하는 방식으로 상기 영상 패치 내의 모든 픽셀에 대한 상기 이진값을 할당하는 것을 특징으로 하는 광학 호밍 시스템.
  8. 제5 항에 있어서, 상기 패턴 비교부는
    상기 국부 이진 패턴 서술자를 상기 복수개의 템플릿 각각과 배타적 논리합 연산을 수행하여 상기 유사도를 획득하는 것을 특징으로 하는 광학 호밍 시스템.
  9. 제8 항에 있어서, 상기 로고 판별부는
    상기 유사도에서 0의 비트값 개수 또는 1의 비트값 개수를 카운트하여 상기 유사도값을 획득하는 것을 특징으로 하는 광학 호밍 시스템.
  10. 제5 항에 있어서, 상기 로고 위치 판별부는
    상기 복수개의 템플릿에 대응하여, 촬영 각도 및 촬영 거리에 따라 구분되어 상기 액티브 로고가 포함된 복수개의 샘플 영상이 저장되는 로고 샘플 DB;
    상기 로고 샘플 DB에 저장된 상기 복수개의 샘플 영상 중 상기 로고 판별부에서 판별한 템플릿에 대응하는 샘플 영상을 선택하고, 선택된 상기 샘플 영상을 상기 영상 버퍼부로부터 인가되는 상기 입체 영상에 투영하는 로고 투영부;
    상기 입체 영상과 투영된 상기 샘플 영상의 픽셀값을 비교하여 픽셀 오차를 판별하는 픽셀 비교부;
    상기 샘플 영상이 투영된 상기 입체 영상의 그래디언트를 획득하는 그래디언트 추출부; 및
    선택된 상기 샘플 영상의 상기 촬영 각도 및 상기 촬영 거리에 대응하여 상기 로고 샘플 DB에 함께 저장된 회전 행렬 및 병진 벡터로부터 상기 상대 위치를 판별하고, 상기 픽셀 오차와 상기 그래디언트의 합이 최소화되도록 하는 위치 보정값을 계산하여, 상기 상대 위치를 보정하는 오차 최소화부; 를 포함하는 것을 특징으로 하는 광학 호밍 시스템.
  11. 도킹 스테이션 및 이동 로봇을 포함하는 광학 호밍 시스템의 광학 호밍 방법에 있어서,
    상기 이동 로봇이 기설정된 적외선 빔 패턴으로 구현되는 도킹 요청 신호를 방사하는 단계;
    상기 이동 로봇이 상기 도킹 요청 신호에 응답하여 발광하는 상기 도킹 스테이션의 액티브 로고에 대한 입체 영상을 획득하는 단계; 및
    상기 입체 영상을 분석하여, 상기 도킹 스테이션의 도킹 위치를 판별하는 단계; 를 포함하고,
    상기 입체 영상을 획득하는 단계는
    상기 도킹 스테이션이 상기 도킹 요청 신호를 감지하는 단계;
    감지된 상기 도킹 요청 신호에 응답하여, 상기 도킹 스테이션이 상기 액티브 로고를 발광시키는 단계; 및
    상기 이동 로봇이 상기 도킹 요청 신호가 방사되는 기간 및 방사되지 않는 기간 각각에서 상기 입체 영상을 획득하는 단계; 를 포함하는 것을 특징으로 하는 광학 호밍 방법.
  12. 제11 항에 있어서, 상기 도킹 요청 신호를 방사하는 단계는
    상기 이동 로봇이 상기 도킹 스테이션으로의 복귀 여부를 판별하는 단계;
    상기 도킹 스테이션으로 복귀해야 하는 것으로 판별되면, 상기 이동 로봇이 기설정된 회전 속도로 회전하는 단계; 및
    상기 이동 로봇이 회전하는 동안, 상기 이동 로봇에 구비된 도킹 요청 신호 발신 소자를 이용하여 지정된 시간에 상기 도킹 요청 신호를 방사하는 단계; 를 포함하는 것을 특징으로 하는 광학 호밍 방법.
  13. 삭제
  14. 제12 항에 있어서, 상기 도킹 스테이션의 도킹 위치를 판별하는 단계는
    상기 이동 로봇이 획득된 상기 입체 영상에 상기 액티브 로고가 포함되어 있는지 판별하는 단계;
    상기 액티브 로고가 포함되어 있는 것으로 판별되면, 상기 이동 로봇이 상기 액티브 로고의 위치를 분석하는 단계; 및
    상기 이동 로봇이 상기 액티브 로고의 위치로 이동하여 도킹하는 단계; 를 포함하는 광학 호밍 방법.
  15. 제14 항에 있어서, 상기 액티브 로고가 포함되어 있는지 판별하는 단계는
    상기 영상 획득부가 획득한 상기 입체 영상을 버퍼링하는 단계;
    버퍼링된 상기 입체 영상 중 상기 도킹 요청 신호가 방사되는 기간에 획득된 상기 입체 영상과 상기 도킹 요청 신호가 방사되지 않는 기간에 획득된 상기 입체 영상의 차영상을 획득하는 단계;
    상기 차영상에서 기설정된 방식으로 외곽선을 추출하고, 추출된 상기 외곽선 중 기설정된 크기 범위의 외곽선 면적을 갖는 영역을 영상 패치로써 추출하는 단계;
    상기 영상 패치 각각에 대해 국부 이진 패턴을 추출하여 국부 이진 패턴 서술자를 획득하는 단계;
    상기 국부 이진 패턴 서술자를 미리 촬영 각도 및 촬영 거리에 따라 구분된 영상에 포함된 상기 액티브 로고에 대응하여 국부 이진 패턴 서술자로 추출된 복수개의 템플릿과 비교하여 유사도를 획득하는 단계;
    상기 복수개의 템플릿 중 상기 국부 이진 패턴 서술자와 상기 유사도의 유사도값이 기설정된 기준 유사도값 이상인 템플릿이 존재하는지 판별하는 단계; 및
    상기 유사도값이 기설정된 기준 유사도값 이상인 템플릿이 존재하면, 해당 템플릿 정보를 획득하는 단계; 를 포함하는 것을 특징으로 하는 호밍 방법.
  16. 제15 항에 있어서, 상기 액티브 로고의 위치를 분석하는 단계는
    상기 복수개의 템플릿에 대응하여, 상기 액티브 로고가 포함되고 촬영 각도 및 촬영 거리에 따라 구분되어 기저장된 복수개의 샘플 영상 중 상기 템플릿 정보에 대응하는 샘플 영상을 선택하고, 선택된 샘플 영상의 상기 촬영 각도 및 상기 촬영 거리에 대응하여 기저장된 회전 행렬 및 병진 벡터로부터 상대 위치를 판별하는 단계;
    선택된 상기 샘플 영상을 상기 입체 영상에 투영하는 단계;
    상기 입체 영상과 투영된 상기 샘플 영상의 픽셀값을 비교하여 픽셀 오차를 판별하는 단계;
    상기 샘플 영상이 투영된 상기 입체 영상의 그래디언트를 획득하는 단계; 및
    상기 픽셀 오차와 상기 그래디언트의 합이 최소화되도록 하는 위치 보정값을 계산하여, 상기 상대 위치를 보정하는 단계; 를 포함하는 것을 특징으로 하는 광학 호밍 방법.
KR1020150091212A 2015-06-26 2015-06-26 입체 영상 카메라와 로고를 이용한 광학 호밍 시스템 및 방법 KR101660703B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150091212A KR101660703B1 (ko) 2015-06-26 2015-06-26 입체 영상 카메라와 로고를 이용한 광학 호밍 시스템 및 방법
PCT/KR2016/006774 WO2016209029A1 (ko) 2015-06-26 2016-06-24 입체 영상 카메라와 로고를 이용한 광학 호밍 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150091212A KR101660703B1 (ko) 2015-06-26 2015-06-26 입체 영상 카메라와 로고를 이용한 광학 호밍 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101660703B1 true KR101660703B1 (ko) 2016-09-28

Family

ID=57101249

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150091212A KR101660703B1 (ko) 2015-06-26 2015-06-26 입체 영상 카메라와 로고를 이용한 광학 호밍 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR101660703B1 (ko)
WO (1) WO2016209029A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109146919A (zh) * 2018-06-21 2019-01-04 全球能源互联网研究院有限公司 一种结合图像识别与激光引导的跟瞄系统及方法
KR101938668B1 (ko) 2017-05-29 2019-01-15 엘지전자 주식회사 청소기 및 그 제어방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108748184B (zh) * 2018-06-13 2020-04-28 四川长虹电器股份有限公司 一种基于区域地图标识的机器人巡逻方法及机器人设备
CN109683605B (zh) * 2018-09-25 2020-11-24 上海肇观电子科技有限公司 机器人及其自动回充方法、系统、电子设备、存储介质
CN110801181A (zh) * 2019-11-07 2020-02-18 珠海格力电器股份有限公司 扫地机器人系统、扫地机器人控制方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005081074A1 (en) 2004-01-21 2005-09-01 Irobot Corporation Method of docking an autonomous robot
KR100709066B1 (ko) * 2004-01-17 2007-04-18 주식회사 한울로보틱스 주행방향 감시 카메라를 이용한 이동로봇의 자동충전 방법
US20140100693A1 (en) * 2012-10-05 2014-04-10 Irobot Corporation Robot management systems for determining docking station pose including mobile robots and methods using same

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100766434B1 (ko) * 2005-07-22 2007-10-15 엘지전자 주식회사 영상 인식이 가능한 이동체와 이동체 유도 방법
JP2007152472A (ja) * 2005-12-02 2007-06-21 Victor Co Of Japan Ltd 充電システム、充電ステーション及びロボット誘導システム
KR100773344B1 (ko) * 2006-08-09 2007-11-05 (주)다사로봇 랜드마크를 이용한 충전스테이션 위치 인식 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100709066B1 (ko) * 2004-01-17 2007-04-18 주식회사 한울로보틱스 주행방향 감시 카메라를 이용한 이동로봇의 자동충전 방법
WO2005081074A1 (en) 2004-01-21 2005-09-01 Irobot Corporation Method of docking an autonomous robot
US20140100693A1 (en) * 2012-10-05 2014-04-10 Irobot Corporation Robot management systems for determining docking station pose including mobile robots and methods using same

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101938668B1 (ko) 2017-05-29 2019-01-15 엘지전자 주식회사 청소기 및 그 제어방법
US11412907B2 (en) 2017-05-29 2022-08-16 Lg Electronics Inc. Cleaner and controlling method thereof
CN109146919A (zh) * 2018-06-21 2019-01-04 全球能源互联网研究院有限公司 一种结合图像识别与激光引导的跟瞄系统及方法
CN109146919B (zh) * 2018-06-21 2020-08-04 全球能源互联网研究院有限公司 一种结合图像识别与激光引导的跟瞄系统及方法

Also Published As

Publication number Publication date
WO2016209029A1 (ko) 2016-12-29

Similar Documents

Publication Publication Date Title
KR101660703B1 (ko) 입체 영상 카메라와 로고를 이용한 광학 호밍 시스템 및 방법
KR102109941B1 (ko) 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치
US10366310B2 (en) Enhanced camera object detection for automated vehicles
WO2019179442A1 (zh) 智能设备的交互目标确定方法和装置
US8351646B2 (en) Human pose estimation and tracking using label assignment
US20090290758A1 (en) Rectangular Table Detection Using Hybrid RGB and Depth Camera Sensors
US8352075B2 (en) Apparatus and method for extracting feature information of object and apparatus and method for creating feature map
US20220161430A1 (en) Recharging Control Method of Desktop Robot
CN108481327B (zh) 一种增强视觉的定位装置、定位方法及机器人
KR20110011424A (ko) 이동 로봇의 위치 인식 및 주행 제어 방법과 이를 이용한 이동 로봇
US10043279B1 (en) Robust detection and classification of body parts in a depth map
CN108038139B (zh) 地图构建方法、装置和机器人定位方法、装置、计算机设备和存储介质
CN107527368B (zh) 基于二维码的三维空间姿态定位方法与装置
Holz et al. Towards semantic scene analysis with time-of-flight cameras
Jin et al. Sensor fusion for fiducial tags: Highly robust pose estimation from single frame rgbd
KR20090061355A (ko) 이동로봇의 주행 제어 방법 및 이를 이용한 이동 로봇
Führ et al. Camera self-calibration based on nonlinear optimization and applications in surveillance systems
McGreavy et al. Next best view planning for object recognition in mobile robotics
JP2016148956A (ja) 位置合わせ装置、位置合わせ方法及び位置合わせ用コンピュータプログラム
JP7448035B2 (ja) 情報処理装置、３次元位置推定方法、及びプログラム
Shen et al. A multi-view camera-projector system for object detection and robot-human feedback
Schmidt et al. The impact of the image feature detector and descriptor choice on visual SLAM accuracy
JP2005156199A (ja) 車両検知方法及び車両検知装置
KR20140034996A (ko) 이동로봇 및 상기 이동로봇에 대한 경로학습방법
CN212044739U (zh) 一种基于惯性数据和视觉特征的定位装置及机器人

Legal Events

Date Code Title Description
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190903

Year of fee payment: 4