KR101337534B1 - 이동 로봇의 위치 인식 장치 및 방법 - Google Patents

이동 로봇의 위치 인식 장치 및 방법 Download PDF

Info

Publication number
KR101337534B1
KR101337534B1 KR1020070074131A KR20070074131A KR101337534B1 KR 101337534 B1 KR101337534 B1 KR 101337534B1 KR 1020070074131 A KR1020070074131 A KR 1020070074131A KR 20070074131 A KR20070074131 A KR 20070074131A KR 101337534 B1 KR101337534 B1 KR 101337534B1
Authority
KR
South Korea
Prior art keywords
image
mobile robot
unit
illuminance
light emitting
Prior art date
Application number
KR1020070074131A
Other languages
English (en)
Other versions
KR20090010767A (ko
Inventor
정우연
박준호
방석원
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070074131A priority Critical patent/KR101337534B1/ko
Priority to US12/218,058 priority patent/US8379966B2/en
Publication of KR20090010767A publication Critical patent/KR20090010767A/ko
Application granted granted Critical
Publication of KR101337534B1 publication Critical patent/KR101337534B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/125—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by using cameras
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

이동 로봇의 위치 인식 장치가 제공된다. 본 발명의 실시예에 따른 이동 로봇의 위치 인식 장치는 이동 로봇에 장착되어 영상을 획득하는 영상 획득부, 영상을 획득하고자 하는 지점의 조도를 판단하는 조도 판단부, 상기 지점을 향하여 빛을 발하는 발광부, 조도의 판단에 따라 상기 발광부를 제어하는 발광부 제어부, 조도의 판단에 따라 이동 로봇의 이동 속도를 제어하는 구동 제어부 및 미리 저장된 영상과 획득한 영상을 비교하여 상기 이동 로봇의 위치를 인식하는 위치 인식부를 포함한다.
천장 영상, 로컬라이제이션, 이동 로봇, 조도, 조명

Description

이동 로봇의 위치 인식 장치 및 방법{Apparatus and method for localization of moving robot}
본 발명은 이동 로봇의 위치 인식 장치 및 방법에 관한 것으로, 보다 상세하게는 조도에 따라서 발광원의 점등과 이동 로봇의 속도를 제어하여 조명이 없는 야간에도 이동 로봇의 위치 인식을 수행하고, 획득한 영상에 있는 조명이 켜져 있다고 판단된 경우 영상처리를 하여 조명의 점등 여부에 따라서 달라질 수 있는 영상의 특징들을 동일화하여 이동 로봇의 위치 인식 효율을 향상시키는 것에 관한 것이다.
이동로봇은 산업현장에서 제품을 옮기거나 조립하는 작업을 수행하기도하고, 가정에서는 청소나 물건을 옮기기도 한다. 이처럼, 산업분야 또는 가정에서 이동로봇을 활용하기 위해서는 이동로봇이 자신의 위치와 방향을 정확히 인식하는 것이 무엇보다 중요하다.
이동로봇의 자기위치 인식기술은 엔코더(Encoder)와 같은 주행거리계 및 초음파 센서와 레이저 등을 이용한 거리측정 장치 등을 이용하여 이동로봇의 상대적인 자기위치를 인식하는 기술과, 영상처리장치를 이용하여 실내의 소정의 위치에 부착된 인공표식이나 자연사물의 위치를 검출함으로써 이동로봇의 절대적인 위치를 인식하는 기술로 구분된다.
상기 상대적인 자기위치 인식기술의 특징은 이동로봇이 주행하여야 할 환경정보가 미리 주어져 있지 않더라도 이동로봇 스스로 환경지도의 작성을 통해서 자율주행이 가능한 장점이 있는 반면에, 주행거리계인 엔코더의 경우 주행시간이 증가함으로써 슬립(Slip)현상 등에 의해 위치오차가 누적될 수 있으며, 특히 이러한 위치오차는 충돌이나 회피동작 시에 더욱 심화된다. 또한, 사람에 의해 인위적으로 이동로봇의 위치가 변화될 경우 자기위치를 인식하지 못하게 되는 경우도 발생한다.
따라서, 최근에는 이동로봇이 자신의 위치를 인식하고 있지 못하더라도 주어진 환경지도 정보와 주변의 특징정보를 이용하여 자기위치를 재추정할 수 있는 절대적인 위치인식 기술이 연구되고 있다.
이러한 절대적인 위치인식 방법은 천장 등에 있는 표식을 영상 장치를 통해 획득한 영상과 미리 저장된 영상에 대하여 표식의 특징(feature)을 비교하여 이동 로봇의 위치를 인식하게 되는데, 실내의 조도가 어두운 경우에는 표식의 영상을 획득하는 것이 어렵다는 문제점이 있다. 또한, 획득한 천장의 영상에서 조명이 있을 경우, 조명이 켜져 있을 때와 조명이 켜져 있지 않을 때 픽셀값이 현저하게 다르게 인식되고 크기가 다르게 인식되어 이동 로봇의 위치 인식에 오류가 생긴다는 문제점이 있다.
본 발명은 상기한 문제점을 개선하기 위해 고안된 것으로, 본 발명이 이루고자 하는 기술적 과제는 조도에 따라서 발광원의 점등과 이동 로봇의 속도를 제어하여 조명이 없는 야간에도 선명한 영상을 획득할 수 있도록 하여 이동 로봇의 위치 인식 능력을 향상시키도록 하는 것이다.
본 발명의 또다른 목적은 획득한 영상에 있는 조명이 켜져 있다고 판단된 경우 영상처리를 하여 조명의 점등 여부에 따라서 달라질 수 있는 영상의 특징들을 동일화하여 이동 로봇의 위치 인식 효율을 향상시키도록 하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 이동 로봇의 위치 인식 장치는 이동 로봇에 장착되어 영상을 획득하는 영상 획득부; 영상을 획득하고자 하는 지점의 조도를 판단하는 조도 판단부; 상기 지점을 향하여 빛을 발하는 발광부; 상기 조도의 판단에 따라 상기 발광부를 제어하는 발광부 제어부; 상기 조도의 판단에 따라 상기 이동 로봇의 이동 속도를 제어하는 구동 제어부; 및 미리 저장된 영상과 상기 획득한 영상을 비교하여 상기 이동 로봇의 위치를 인식하는 위치 인식부를 포함한다.
상기 목적을 달성하기 위하여, 본 발명의 다른 실시예에 따른 이동 로봇의 위치 인식 장치는 이동 로봇에 장착되어 영상을 획득하는 영상 획득부; 상기 획득한 영상에서 조명이 켜져 있는지의 여부를 판단하는 조명 온오프 판단부; 상기 획득한 영상에서 조명이 켜져 있다고 판단한 경우, 상기 영상에 대하여 영상 처리를 하는 영상 처리부; 상기 획득한 영상 또는 상기 영상 처리된 영상과 미리 저장된 영상과 비교하여 상기 이동 로봇의 위치를 인식하는 위치 인식부를 포함한다.
상기 목적을 달성하기 위하여, 본 발명의 다른 실시예에 따른 이동 로봇의 위치 인식 방법은 (a) 이동 로봇에 장착된 영상 획득 수단에 의해 영상을 획득하는 단계; (b) 상기 획득한 영상에서 조명이 켜져 있는지의 여부를 판단하는 단계; (c) 상기 조명이 켜져 있다고 판단한 경우 상기 영상에 대하여 영상 처리를 하는 단계; 및 (d) 상기 영상 처리된 영상과 미리 저장된 영상을 비교하여 상기 이동 로봇의 위치를 인식하는 단계를 포함한다.
상기한 바와 같은 본 발명의 이동 로봇의 위치 인식 장치 및 방법에 따르면 다음과 같은 효과가 하나 혹은 그 이상 있다.
첫째, 조도가 어두운 경우에 발광부를 점등시키고 이동 로봇의 속도를 조절하여 긴 노출시간에서도 떨림이 없는 영상을 획득할 수 있어서 야간에서도 이동 로봇의 위치 인식의 오류를 줄일 수 있다는 장점이 있다.
둘째, 조도가 어두울 때 발광부의 점등시간과 카메라의 노출 시간을 동기화시켜 불필요하게 발광부가 켜지는 것을 방지할 수 있다는 장점도 있다.
셋째, 획득한 영상에서 조명이 있을 때 적절한 영상 처리를 수행하여 조명이 켜져 있을 때와 조명이 꺼져 있을 때의 조명에 관한 피쳐를 동일화하여 이동 로봇의 위치 인식의 효율을 향상시킬 수 있다는 장점도 있다.
실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
이하, 본 발명의 실시예들에 의한 이동 로봇의 위치 인식 장치 및 방법을 설명하기 위한 블록도 또는 처리 흐름도에 대한 도면들을 참고하여 본 발명에 대해 설명하도록 한다. 이 때, 처리 흐름도 도면들의 각 블록과 흐름도 도면들의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수 있음을 이해할 수 있을 것이다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도 블록(들)에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 흐름도 블록(들)에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑제되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도 블록(들)에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
도 1은 본 발명의 일 실시예에 따른 조도에 따라 발광부의 점등, 이동 로봇의 속도, 영상 획득부의 셔터의 노출시간을 제어하는 이동 로봇의 위치 인식 장치(100)의 블록도이고, 도 2는 로봇의 이동 속도와 셔터의 노출 시간에 따른 획득한 영상을 보여주는 도면이다.
본 발명의 일 실시예에 따른 이동 로봇의 위치 인식 장치(100)는 영상 획득부(110), 조도 판단부(120), 발광부(150), 발광부 제어부(140), 구동 제어부(160) 및 위치 인식부(170)를 포함할 수 있다. 또한, 동기화부(130)를 더 포함할 수도 있다.
영상 획득부(110)는 이미지 촬상 소자를 가진 디지털 카메라와 같은 영상 장치로부터 영상을 획득한다. 바람직하게는 천장에 있는 표식(예를 들면, 위치 인식 을 위해 인공적으로 부착한 표식 또는 천장의 무늬 또는 천정의 조명 형상 등)의 영상을 획득하는데, 이에 한정되지 않고 벽 등의 구조물을 영상을 획득하여 이동 로봇의 위치를 인식할 수도 있다. 영상 획득부(110)는 이동 로봇에 장착되어 움직이면서 영상을 획득하게 된다.
조도 판단부(120)는 영상을 획득하는 지점의 조도를 판단한다. 별도의 조도를 측정하는 센서(미도시)를 이동 로봇이나 또는 별도의 장치에 설치하여 조도를 측정할 수도 있으나, 본 발명에서는 영상 획득부(110)에서 획득한 영상으로부터 조도를 판단하는 것이 바람직하다. 획득한 영상으로부터 조도를 판단하는 방법으로, 획득한 영상의 각 픽셀값에서 밝기를 나타내는 값의 평균을 내어 영상을 획득할 지점의 조도를 판단할 수 있다. 이외 다양한 방법으로 조도를 판단할 수 있음은 물론이다.
조도 판단부(120)에 의해 판단된 조도에 따라서, 후술할 발광부 제어부(140)는 발광부(150)의 점등을 제어하고 구동 제어부(160)는 이동 로봇의 속도를 제어하게 된다.
발광부(150)는 영상 획득부(110)가 영상을 획득하는 지점을 향하여 빛을 발한다. 조도 판단부(120)에 의해 조도가 어둡다고 판단된 경우에 발광부 제어부(140)에 의해 제어되는 발광부(150)는 켜지면서 어두운 야간에서도 영상을 획득할 수 있게 한다. 발광부(150)는 적외선 LED(light emitting diode) 또는 LED 전구로 구성될 수 있는데, 조도가 낮을 때 영상을 획득할 수만 있다면 이에 한정되지 않는다.
발광부 제어부(140)는 조도 판단부(120)의 판단에 따라서 발광부(150)의 점등을 제어한다. 조도 판단부(120)에서 조도가 어둡다고 판단한 경우에는, 영상 획득부(110)에서 영상을 획득할 때 발광부(150)가 켜지도록 한다. 따라서, 조도가 어두운 야간에서도 발광부(150)의 점등에 의해 영상을 획득할 수가 있다.
구동 제어부(160)는 조도 판단부의 판단에 따라서 이동 로봇의 속도를 제어한다. 구동 제어부(160)는 이동 로봇을 움직이는 바퀴의 모터 등을 제어하는데, 조도 판단부(120)에서 조도가 어둡다고 판단한 경우에는, 영상 획득부(110)에서 영상을 획득할 때 구동 제어부(160)에 의해 이동 로봇의 속도를 낮춘다. 반대로 조도가 상대적으로 밝다고 판단한 경우에는, 영상 획득부(110)에서 영상을 획득할 때 구동 제어부(160)에 의해 이동 로봇의 속도를 상대적으로 빠르게 하여 영상을 획득할 수 있다. 물론, 이때에도 이동 로봇의 속도를 낮추어서 영상을 획득할 수 있음은 물론이다.
조도가 어두울 때에는 조도가 밝을 때와 대비하여 상대적으로 카메라 셔터의 노출 시간을 길게 하여야지만 선명한 영상을 획득할 수 있다. 그러나, 영상을 획득할 때 이동 로봇의 이동 속도가 빠르다면 셔터의 긴 노출 시간 동안 이동 로봇의 이동에 의해 영상에 떨림(블러링(blurring))이 발생하게 된다. 따라서, 조도가 어두운 경우에는 구동 제어부(160)에 의해 이동 로봇의 속도를 낮추어서 영상을 획득함으로써 영상의 떨림을 막을 수 있다. 도 2를 살펴보면 도 2는 조명이 켜진 천장을 카메라 셔터의 노출 시간과 카메라가 장착된 이동 로봇의 이동시간을 달리하여 획득한 영상을 나타내는데, 셔터의 노출 시간이 일정할 때 이동 로봇의 속도가 300mm/sec에서 150mm/sec, 100mm/sec로 낮아질수록 영상의 떨림이 작아짐을 알 수 있다. 물론, 조도가 밝을 때에도 이동 로봇의 속도를 낮추어서 영상을 획득하면 더욱 선명한 영상을 획득할 수 있으나, 조도가 어두울 때와 비교하여 상대적으로 빠른 속도로 움직이면서도 영상을 획득할 수가 있다.
위치 인식부(170)는 영상 획득부(110)로부터 미리 저장된 영상과 현재 이동 로봇의 위치에서 획득한 영상과 비교하여 현재 이동 로봇의 위치를 인식한다. 위치 인식부(170)는 천장 영상에서 획득한 영상에서 위치 인식에 사용할 피쳐(feature)를 추출한다. 피쳐는 위치 인식을 위해 영상으로부터 추출한 특징적인 점, 선, 면 또는 픽셀값 등이 될 수 있는데, 천장에 위치 인식을 위해 인공으로 부착한 표식 또는 천장의 무늬 또는 천정에 위치하는 조명 형상 등을 기초로 추출될 수 있다. 그리고 미리 저장된 천장의 영상에서도 위치 인식에 필요한 피쳐를 추출하고, 두 개의 영상에서 추출한 피쳐를 비교함으로써 이동 로봇의 위치를 인식하게 된다. 피쳐를 비교하여 이동 로봇의 위치를 인식하는 방법은 널리 알려진 공지 기술로 다양한 방법이 제시되어 있으므로 자세한 설명은 생략하기로 한다.
동기화부(130)는 발광부 제어부(140)에 의한 발광부(150)의 점등 시간과 영상 획득부(110)에서 영상을 획득할 때 셔터의 노출 시간을 동기화시킨다. 발광부(150)는 순간적으로 밝은 빛을 발하여 천장을 밝히는데 계속적으로 빛을 발할 경우 발광부(150)에 손상이 가거나 수명이 짧아질 수 있다. 따라서, 본 발명에서는 영상 획득부(110)에서 영상을 획득하기 위하여 셔터를 노출시키는 동안만 발광부(150)가 켜질 수 있도록 한다.
다시 정리하면, 본 발명의 이동 로봇의 위치 인식 장치(100)는 영상 획득부(110)에서 획득한 영상으로부터 조도 판단부(120)가 조도가 어둡다고 판단하면, 영상을 획득할 지점을 향하여 발광부(150)를 켜서 조도를 밝게 하고, 이와 동시에 영상 획득부(110)의 셔터 노출 시간을 늘리고 이동 로봇의 이동 속도를 낮추어서 획득하는 영상의 떨림을 감소시킨다. 그리고, 동기화부(130)에서는 셔터의 노출시간과 발광부(150)의 점등시간을 동기화시켜서 영상을 획득하기 위해 셔터가 노출되었을 때에만 발광부(150)가 켜지도록 한다.
다음, 조명의 점등 여부에 따라서 달라질 수 있는 영상의 특징들을 동일화하여 이동 로봇의 위치 인식 효율을 향상시키는 본 발명에 따른 이동 로봇의 위치 인식 장치(200)를 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 획득한 영상에서 조명이 켜져 있을 경우 영상 처리를 하여 이동 로봇의 위치 인식을 하는 장치(200)의 블록도이고, 도 4는 본 발명의 일 실시예에 따른 획득한 영상에 조명이 켜져 있을 때 영상처리를 하는 방법들을 보여주는 도면이다.
본 발명의 일 실시예에 따른 이동 로봇의 위치 인식을 하는 장치(200)는 영상 획득부(210), 조명 온오프 판단부(220), 영상 처리부(230), 위치 인식부(240)를 포함할 수 있다.
영상 획득부(210), 위치 인식부(240)는 전술한 바와 동일하므로 설명을 생략하기로 하고, 이하 조명 온오프 판단부(220)와 영상 처리부(230)에 대해서 설명하기로 한다.
조명 온오프 판단부(220)는 영상 획득부(210)에서 획득한 영상에서 조명이 켜져 있는지의 여부를 판단한다. 이는 영상을 획득할 때 실내 조명이 켜져 있는지의 여부를 판단하는 것이 아니라, 획득한 영상에서 조명이 포함되었을 때, 영상에 있는 조명이 켜져 있는지의 여부를 판단하는 것이다. 예를 들어 획득한 영상을 잘라내어(cropping) 0~255의 픽셀 밝기값 범위 중에서 250 이상의 픽셀이 잘라낸 지역에 10%이상을 차지하면 조명이 켜져 있는 것으로 판단할 수 있다. 물론 이는 조명이 켜져 있는지의 여부를 판단하는 한 예를 설명한 것으로 이외에 다양한 방법으로 판단할 수 있을 것이다.
영상 처리부(230)는 조명 온오프 판단부(220)에서 획득한 영상에 조명이 켜져 있다고 판단한 경우 영상에 대하여 영상 처리를 수행한다. 도 4는 같은 지점에 대하여 야간에 흑백 카메라를 통하여 천장에 조명이 켜져 있을 때의 영상(310)과 조명이 켜져 있지 않을 때의 영상(320)을 보여준다. 특히 조명이 있는 부분을 보면 조명이 켜져 있는 경우에 조명은 흰색으로 찍히고, 조명이 꺼져 있는 경우에 조명은 검은색으로 찍힌다. 따라서, 같은 지점에서 조명이 켜져 있을 때와 조명이 꺼져 있을 때 다른 지점의 영상으로 인식하여 이동 로봇의 위치 인식에 오류가 발생할 수 있다. 따라서 본 발명에서는 조명이 켜져 있을 때와 조명이 꺼져 있을 때 조명을 동일한 피쳐로 인식하여 이동 로봇의 위치를 인식할 수 있도록 영상 처리를 수행한다.
도 4의 우측도면은 도 4의 좌측에 있는 각각의 영상(310, 320)에서 조명이 있는 부분(312, 322)을 절단하여 영상처리를 하는 본 발명의 실시예들을 설명한다.
먼저, 우측 상단에 있는 도면(312a, 312b)은 조명이 켜져 있는 영상(312a)과 조명이 꺼져 있는 영상(322a)에서 조명에 해당하는 경계선을 추출하는 영상 처리를 수행할 수 있다. 동일한 조명에 대하여 조명이 꺼져 있는 경우에는 조명 부분을 검은색 픽셀값으로, 조명이 켜져 있는 경우에는 조명 부분을 흰색 픽셀값으로 판단하여 영상을 비교함으로써 두 영상을 다른 피쳐로 판단하여 위치 인식에 있어서 오류가 발생할 수 있다. 그러나, 조명의 온오프 유무와 상관없이 추출된 조명의 경계선을 기초로 조명을 동일 피쳐로 판단함으로써 위치 인식의 오류를 줄일 수 있다.
우측의 가운데에 있는 두 도면(312b, 322b)은 영상 처리를 하는 또 다른 방법을 보여주는데, 조명이 켜져 있다고 판단되는 부분을 검은색 픽셀값을 가지도록 변환(312b)함으로써 조명이 꺼져 있는 경우의 영상과 유사한 영상으로 변환시킬 수 있다. 야간에 조명이 꺼져 있을 때 천장 영상을 찍으면 일반적으로 천장의 색깔이 밝으므로 조명은 우측에 있는 도면(322b)처럼 검은색으로 나타난다. 따라서, 좌측에 있는 도면(312b)과 같이 조명이라고 판단되는 부분을 검은색으로 변환하는 영상 처리를 수행하여 조명을 동일 피쳐로 판단하여 위치 인식의 오류를 줄일 수 있다.
우측의 아래에 있는 두 도면(312c, 322c)은 영상 처리를 하는 또 다른 방법을 보여주는데, 조명이 켜져 있다고 판단되는 부분에 대하여 네거티브 영상으로 변환시킴(312c)으로써 조명이 꺼져 있는 경우와 유사한 영상으로 변환시킬 수 있다. 조명이 켜져 있는 경우에는 흰색 계열로 조명이 찍히고, 조명이 꺼져 있는 경우에는 검은색 계열로 조명이 찍히므로 조명이 켜져 있을 때 조명 부분을 네거티브 영상으로 변환하는 영상 처리를 수행하면 조명이 켜져 있을 때와 조명이 꺼져 있을 때 조명에 대하여 동일 피쳐로 판단할 수 있으므로 위치 인식의 오류를 줄일 수 있다.
위치 인식부(240)는 획득한 영상에서 조명이 켜져 있는 경우에는 획득한 영상으로부터 영상 처리를 수행한 영상과 미리 저장된 영상을 비교하여 이동 로봇의 위치를 인식할 수 있다. 그리고, 획득한 영상에서 조명이 켜져 있지 않은 경우나, 조명이 없는 경우에는 획득한 영상에 대하여 영상 처리 없이 획득한 영상과 미리 저장된 영상을 비교하여 이동 로봇의 위치를 인식할 수 있다.
다음, 조명의 점등 여부에 따라서 달라질 수 있는 영상의 특징들을 동일화하여 이동 로봇의 위치 인식 효율을 향상시키는 본 발명에 따른 이동 로봇의 위치 인식 방법을 설명하기로 한다.
도 5는 본 발명의 일 실시예에 따른 획득한 영상에서 조명이 켜져 있을 경우 영상 처리를 하여 이동 로봇의 위치 인식을 하는 방법의 순서도이다.
본 발명의 실시예에 따른 이동 로봇의 위치 인식 방법은 우선 이동 로봇에 장착된 영상 획득부(210)로부터 천장의 영상을 획득한다(S400). 다음, 획득한 영상에 조명이 포함될 때, 조명이 켜져 있는지의 여부를 판단한다(S410). 획득한 영상의 조명이 켜져 있다고 판단되면 획득한 영상에서 영상 처리(S420)를 수행한다. 영상 처리의 방법은 전술한 바와 같이 조명의 경계선을 추출하는 방법, 조명이 켜져 있다고 판단되는 부분을 검은색으로 변환시키는 방법, 조명이 켜져 있다고 판단되는 부분의 네거티브 영상으로 변환시키는 방법 등이 있다. 다음 영상 처리를 수행한 영상과 미리 저장된 영상을 비교하여 이동 로봇의 위치를 인식한다(S430). 이 때, 경계선 추출 등을 위해서 미리 저장된 영상에 대해서도 영상 처리를 수행할 수 있음은 물론이다. 획득한 영상에서 조명이 없거나 조명이 켜져 있지 않다고 판단(S410)한 경우에는 영상 처리 없이 미리 저장된 천장의 영상과 새로이 획득한 영상으로부터 피쳐 매칭(matching)을 수행하여 이동 로봇의 위치를 인식한다(S430).
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
도 1은 본 발명의 일 실시예에 따른 조도에 따라 발광부의 점등, 이동 로봇의 속도, 영상 획득부의 셔터의 노출시간을 제어하는 이동 로봇의 위치 인식 장치의 블록도이다.
도 2는 로봇의 이동 속도와 셔터의 노출 시간에 따른 획득한 영상을 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 따른 획득한 영상에서 조명이 켜져 있을 경우 영상 처리를 하여 이동 로봇의 위치 인식을 하는 장치의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 획득한 영상에 조명이 켜져 있을 때 영상처리를 하는 방법들을 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 따른 획득한 영상에서 조명이 켜져 있을 경우 영상 처리를 하여 이동 로봇의 위치 인식을 하는 방법의 순서도이다.
<도면의 주요 부분에 대한 부호의 설명>
110: 영상 획득부 120: 조도 판단부
130: 동기화부 140: 발광부 제어부
150: 발광부 160: 구동 제어부
170: 위치 인식부 210: 영상 획득부
220: 조명 온오프 판단부 230: 영상 처리부
250: 위치 인식부

Claims (16)

  1. 이동 로봇에 장착되어 영상을 획득하는 영상 획득부;
    영상을 획득하고자 하는 지점의 조도를 판단하는 조도 판단부;
    상기 지점을 향하여 빛을 발하는 발광부;
    상기 조도의 판단에 따라 상기 발광부를 제어하는 발광부 제어부;
    상기 조도의 판단에 따라 상기 이동 로봇의 이동 속도를 제어하는 구동 제어부; 및
    미리 저장된 영상과 상기 획득한 영상을 비교하여 상기 이동 로봇의 위치를 인식하는 위치 인식부를 포함하며,
    상기 조도 판단부가 상기 조도가 낮다고 판단하면, 상기 발광부 제어부는 상기 발광부를 켜고, 상기 구동 제어부는 이동 로봇의 속도를 낮추는 이동 로봇의 위치 인식 장치.
  2. 제 1 항에 있어서,
    상기 조도 판단부는 상기 영상 획득부에서 획득한 영상으로부터 조도를 판단하는 이동 로봇의 위치 인식 장치.
  3. 제 1 항에 있어서,
    상기 발광부는 적외선 LED(light emitting diode) 또는 LED 전구를 포함하여 구성되는 이동 로봇의 위치 인식 장치.
  4. 제 1 항에 있어서,
    상기 발광부 제어부에 의한 발광부의 점등 시간과 상기 영상 획득부에서 영상을 획득하기 위한 셔터의 노출 시간을 동기화하는 동기화부를 더 포함하는 이동 로봇의 위치 인식 장치.
  5. 삭제
  6. 제 1 항에 있어서,
    상기 조도 판단부가 상기 조도가 낮다고 판단하면, 상기 영상 획득부에서 영상을 획득하기 위한 노출 시간을 늘리는 이동 로봇의 위치 인식 장치.
  7. 이동 로봇에 장착되어 영상을 획득하는 영상 획득부;
    상기 획득한 영상의 픽셀값을 비교하여 상기 획득한 영상에서 조명이 켜져 있는지의 여부를 판단하는 조명 온오프 판단부;
    상기 획득한 영상에서 조명이 켜져 있다고 판단한 경우, 상기 영상에 대하여 영상 처리를 하는 영상 처리부; 및
    상기 획득한 영상 또는 상기 영상 처리된 영상과 미리 저장된 영상과 비교하여 상기 이동 로봇의 위치를 인식하는 위치 인식부를 포함하는 이동 로봇의 위치 인식 장치.
  8. 삭제
  9. 제 7 항에 있어서,
    상기 영상 처리부는 상기 획득한 영상과 미리 저장된 영상의 경계선을 추출하는 영상 처리를 하는 이동 로봇의 위치 인식 장치.
  10. 제 7 항에 있어서,
    상기 영상 처리부는 상기 획득한 영상에서 조명으로 판단되는 부분을 검은색으로 변환하는 영상 처리를 하는 이동 로봇의 위치 인식 장치.
  11. 제 7 항에 있어서,
    상기 영상 처리부는 상기 획득한 영상을 네거티브 영상으로 변환하는 영상 처리를 하는 이동 로봇의 위치 인식 장치.
  12. (a) 이동 로봇에 장착된 영상 획득 수단에 의하여 영상을 획득하는 단계;
    (b) 상기 획득한 영상의 픽셀값을 비교하여 상기 획득한 영상에서 조명이 켜져 있는지의 여부를 판단하는 단계;
    (c) 상기 조명이 켜져 있다고 판단한 경우 상기 영상에 대하여 영상 처리를 하는 단계; 및
    (d) 상기 영상 처리된 영상과 미리 저장된 영상을 비교하여 상기 이동 로봇의 위치를 인식하는 단계를 포함하는 이동 로봇의 위치 인식 방법.
  13. 삭제
  14. 제 12 항에 있어서,
    상기 (c) 단계에서는 상기 획득한 영상과 미리 저장된 영상의 경계선을 추출하는 영상 처리를 하는 이동 로봇의 위치 인식 방법.
  15. 제 12 항에 있어서,
    상기 (c) 단계에서는 상기 획득한 영상에서 조명으로 판단되는 부분을 검은색으로 변환하는 영상 처리를 하는 이동 로봇의 위치 인식 방법.
  16. 제 12 항에 있어서,
    상기 (c) 단계에서는 상기 획득한 영상을 네거티브 영상으로 변환하는 영상 처리를 하는 이동 로봇의 위치 인식 방법.
KR1020070074131A 2007-07-24 2007-07-24 이동 로봇의 위치 인식 장치 및 방법 KR101337534B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070074131A KR101337534B1 (ko) 2007-07-24 2007-07-24 이동 로봇의 위치 인식 장치 및 방법
US12/218,058 US8379966B2 (en) 2007-07-24 2008-07-11 Apparatus and method for recognizing position of mobile robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070074131A KR101337534B1 (ko) 2007-07-24 2007-07-24 이동 로봇의 위치 인식 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20090010767A KR20090010767A (ko) 2009-01-30
KR101337534B1 true KR101337534B1 (ko) 2013-12-06

Family

ID=40295385

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070074131A KR101337534B1 (ko) 2007-07-24 2007-07-24 이동 로봇의 위치 인식 장치 및 방법

Country Status (2)

Country Link
US (1) US8379966B2 (ko)
KR (1) KR101337534B1 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8744665B2 (en) * 2009-07-28 2014-06-03 Yujin Robot Co., Ltd. Control method for localization and navigation of mobile robot and mobile robot using the same
KR101686170B1 (ko) * 2010-02-05 2016-12-13 삼성전자주식회사 주행 경로 계획 장치 및 방법
KR101311100B1 (ko) * 2011-08-27 2013-09-25 고려대학교 산학협력단 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법
KR101366860B1 (ko) * 2011-09-20 2014-02-21 엘지전자 주식회사 이동 로봇 및 이의 제어 방법
KR101398142B1 (ko) * 2012-09-04 2014-06-27 엘지전자 주식회사 이동 로봇 및 이동 로봇의 구동방법
GB2529847B (en) 2014-09-03 2018-12-19 Dyson Technology Ltd A mobile Robot with Independently Adjustable Light Sources
GB2529848B (en) * 2014-09-03 2018-12-19 Dyson Technology Ltd A mobile robot
GB2529846B (en) 2014-09-03 2019-02-20 Dyson Technology Ltd Illumination Control of a Vision System for a Mobile Robot
JP6288060B2 (ja) 2015-12-10 2018-03-07 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
JP6311695B2 (ja) 2015-12-16 2018-04-18 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
US10788836B2 (en) * 2016-02-29 2020-09-29 AI Incorporated Obstacle recognition method for autonomous robots
JP6187623B1 (ja) * 2016-03-14 2017-08-30 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
US10213082B2 (en) 2016-08-30 2019-02-26 Samsung Electronics Co., Ltd. Robot cleaner
JP6827758B2 (ja) * 2016-10-12 2021-02-10 東芝映像ソリューション株式会社 移動式アシスト装置及び移動式アシスト方法
DE102016124897A1 (de) * 2016-12-20 2018-06-21 Miele & Cie. Kg Verfahren zum Steuern zumindest einer Beleuchtungseinrichtung und/oder einer Abdunkelungseinrichtung in einer Smart Home Umgebung durch einen hochautomatisierten Staubsauger und Staubsauger
KR102000067B1 (ko) * 2017-01-16 2019-09-17 엘지전자 주식회사 이동 로봇
DE102017108806A1 (de) * 2017-04-25 2018-10-25 Miele & Cie. Kg Selbstfahrendes Bodenbearbeitungsgerät
DE102017112793A1 (de) * 2017-06-09 2018-12-13 Vorwerk & Co. Interholding Gmbh Sich selbsttätig innerhalb einer Umgebung fortbewegendes Fahrzeug sowie System mit einem Fahrzeug und einer externen Beleuchtungseinrichtung
JP7127303B2 (ja) * 2018-03-09 2022-08-30 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
GB2574418B (en) * 2018-06-05 2022-08-31 Dyson Technology Ltd A mobile robot and method of controlling a mobile robot illumination system
JP7462642B2 (ja) * 2019-07-23 2024-04-05 本田技研工業株式会社 自律作業機、制御装置、自律作業機の制御方法、制御装置の動作方法及びプログラム
WO2021039212A1 (ja) * 2019-08-26 2021-03-04 日本電気株式会社 システム、位置情報管理装置、位置特定方法及びプログラム
CN110460782B (zh) 2019-08-28 2021-07-20 北京海益同展信息科技有限公司 信息采集装置、方法、巡检机器人和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030026496A (ko) * 2001-09-26 2003-04-03 현대중공업 주식회사 이동로봇의 표식기반 자기위치인식을 위한 인공표식장치
KR20060085751A (ko) * 2005-01-25 2006-07-28 삼성전자주식회사 상향 영상을 이용한 이동체의 위치 추정 및 지도 생성장치 및 방법과 그 장치를 제어하는 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록 매체
KR100669250B1 (ko) 2005-10-31 2007-01-16 한국전자통신연구원 인공표식 기반의 실시간 위치산출 시스템 및 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5134435A (en) * 1985-04-25 1992-07-28 Canon Kabushiki Kaisha Camera
US5051906A (en) * 1989-06-07 1991-09-24 Transitions Research Corporation Mobile robot navigation employing retroreflective ceiling features
JPH064127A (ja) 1992-06-16 1994-01-14 Ishikawajima Harima Heavy Ind Co Ltd 屋内移動体の自己位置測定装置
US5793900A (en) * 1995-12-29 1998-08-11 Stanford University Generating categorical depth maps using passive defocus sensing
US7057653B1 (en) * 1997-06-19 2006-06-06 Minolta Co., Ltd. Apparatus capable of image capturing
JP3986720B2 (ja) * 1999-11-20 2007-10-03 株式会社バンダイ 昆虫ロボット
JP2004021774A (ja) * 2002-06-19 2004-01-22 Matsushita Electric Ind Co Ltd 移動作業ロボット
WO2004032086A1 (ja) * 2002-10-04 2004-04-15 Fujitsu Limited ロボットシステムおよび自律走行ロボット
KR100500842B1 (ko) * 2002-10-31 2005-07-12 삼성광주전자 주식회사 로봇청소기와, 그 시스템 및 제어방법
JP3963162B2 (ja) * 2003-08-28 2007-08-22 ソニー株式会社 ロボット装置及びロボット装置の制御方法ロボット装置
KR100552691B1 (ko) * 2003-09-16 2006-02-20 삼성전자주식회사 이동로봇의 자기위치 및 방위각 추정방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030026496A (ko) * 2001-09-26 2003-04-03 현대중공업 주식회사 이동로봇의 표식기반 자기위치인식을 위한 인공표식장치
KR20060085751A (ko) * 2005-01-25 2006-07-28 삼성전자주식회사 상향 영상을 이용한 이동체의 위치 추정 및 지도 생성장치 및 방법과 그 장치를 제어하는 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록 매체
KR100669250B1 (ko) 2005-10-31 2007-01-16 한국전자통신연구원 인공표식 기반의 실시간 위치산출 시스템 및 방법

Also Published As

Publication number Publication date
US20090028387A1 (en) 2009-01-29
US8379966B2 (en) 2013-02-19
KR20090010767A (ko) 2009-01-30

Similar Documents

Publication Publication Date Title
KR101337534B1 (ko) 이동 로봇의 위치 인식 장치 및 방법
JP5726792B2 (ja) 情報処理装置、画像センサ装置及びプログラム
JP4544233B2 (ja) 車両検出装置及びヘッドランプ制御装置
JP4743037B2 (ja) 車両検出装置
US11827140B2 (en) Vehicle detecting device, vehicle lamp system, vehicle detecting method, light distribution controlling device, and light distribution controlling method
US20120288145A1 (en) Environment recognition device and environment recognition method
US11787330B2 (en) Vehicle lamp system
GB0323210D0 (en) Location mark detecting method for robot cleaner and robot cleaner using the method
JP2010532018A (ja) 多色自動焦点装置および方法
JP2009043068A (ja) 信号機認識装置
JP6983016B2 (ja) 車両の路面描画装置
JP3057004B2 (ja) 追尾装置
JP2007028279A (ja) 車両及び路面標示認識装置
KR101092002B1 (ko) 인공표식, 인공표식과 자연표식을 혼용한 네비게이션 장치 및 방법
JP2006011671A (ja) 車載周辺状況検出装置
JP6011173B2 (ja) 瞳孔検出装置および瞳孔検出方法
JP2009043067A (ja) 信号機認識装置
JP2009080101A (ja) エッジ検出を強化するシステム及び方法
EP3031668A1 (en) Image calibration and monitoring apparatus and image calibration and monitoring method
JP5898535B2 (ja) 撮像ユニットの露光制御装置
KR100483566B1 (ko) 로봇청소기 및 위치인식방법
KR100621415B1 (ko) 이동로봇의 자기위치 검출시스템 및 검출방법
US20180130230A1 (en) Recognition apparatus, determination method, and article manufacturing method
CN114019533A (zh) 移动机器人
JP2010026591A (ja) 標識認識装置及び標識認識方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161018

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171018

Year of fee payment: 5