KR20130084747A - 영상 기반 위치 인식을 위한 특징점 등록 장치, 이를 사용한 등록 방법, 및 이를 포함하는 로봇 청소기 - Google Patents

영상 기반 위치 인식을 위한 특징점 등록 장치, 이를 사용한 등록 방법, 및 이를 포함하는 로봇 청소기 Download PDF

Info

Publication number
KR20130084747A
KR20130084747A KR1020120005535A KR20120005535A KR20130084747A KR 20130084747 A KR20130084747 A KR 20130084747A KR 1020120005535 A KR1020120005535 A KR 1020120005535A KR 20120005535 A KR20120005535 A KR 20120005535A KR 20130084747 A KR20130084747 A KR 20130084747A
Authority
KR
South Korea
Prior art keywords
image
feature point
depth
feature
unit
Prior art date
Application number
KR1020120005535A
Other languages
English (en)
Other versions
KR101980677B1 (ko
Inventor
백승민
안수남
이성수
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020120005535A priority Critical patent/KR101980677B1/ko
Publication of KR20130084747A publication Critical patent/KR20130084747A/ko
Application granted granted Critical
Publication of KR101980677B1 publication Critical patent/KR101980677B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00—Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836—Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852—Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection

Abstract

본 발명은 영상 기반 위치 인식을 위한 특징점 등록 장치 및 등록 방법에 관한 것이다. 본 발명에 의한 영상 기반 위치 인식을 위한 특징점 등록 장치의 실시예의 일 양태는, 2D 영상 및 깊이 영상을 입력하는 영상 입력기; 상기 영상 입력기가 입력한 2D 영상 및 깊이 영상으로부터 특징점 및 깊이 정보를 추출하고, 추출된 상기 특징점 및 깊이 정보를 매칭하여 기술자를 생성하는 영상 처리기; 및 상기 영상 처리기에서 생성된 상기 기술자를 포함하는 상기 특징점을 등록하는 영상 등록기; 를 포함한다. 따라서 본 발명의 실시예에 의하면, 보다 간단하고, 정확한 특징점의 추출 및 등록이 가능해지는 효과를 기대할 수 있다.

Description

영상 기반 위치 인식을 위한 특징점 등록 장치, 이를 사용한 등록 방법, 및 이를 포함하는 로봇 청소기{APPARATUS AND METHOD OF FEATURE REGISTRATION FOR IMAGE BASED LOCALIZATION AND ROBOT CLEANER COMPRISING THE SAME APPARATUS}
본 발명은 영상 기반 위치 인식을 위한 특징점 등록 장치, 이를 사용한 등록 방법 및 이를 포함하는 로봇 청소기에 관한 것이다.
이동형 로봇이란, 주행하면서 기설정된 동작을 수행하는 것으로, 예를 들면, 로봇형 청소기나 로봇형 의료기기 등이 있다. 이와 같은 이동형 로봇의 동작 수행을 위해서는, 지도의 작성 및 맵 상에서의 절대 위치를 인식하는 작업이 필요하다. 이와 같은 지도의 작성 및 절대 위치의 인식을 위한 기술의 대표적 예로는, 동시 위치 인식 및 지도 작성(Simultaneous Localization And Mapping; SLAM) 기술이 있다.
SLAM 기술이란, 획득된 영상을 기반으로 지도를 작성하고, 이동형 로봇이 자신의 위치를 인식하는 영상 기반의 위치 인식 기술이다. 그리고 이와 같은 SLAM은, 스테레오 비전(StereoVision) 카메라나 TOF(Time of Flight) 카메라 등을 사용하여 영상을 촬영하고, 촬영된 영상으로부터 특징점(Feature)을 추출한다. 그리고 상기 특징점에 해당하는 3차원 좌표값을 계산하여 이를 3차원 특징점(3D Feature)으로 등록한다.
그러나 이와 같은 종래 기술에 의한 위치 인식 및 지도 작성 기술에는 다음과 같은 문제점이 발생한다.
종래에는, 상기 카메라가 촬영한 영상으로부터 다수회의 연산을 거쳐서 계산된 3차원 좌표값으로 3차원 특징점을 등록한다. 예를 들면, 상기 카메라가 촬영한 영상을 다운 샘플링(Down-Sampling)하여 획득된 다수개의 영상으로부터 특징점 및 깊이(depth)값을 추출하고, 이로부터 3차원 좌표값을 계산할 수 있다. 또는, 상기 카메라가 촬영한 영상으로부터 깊이 정보에 따라서 배경(Background) 영역과 전경(Foreground) 영역을 추출한 후 상대적으로 깊이값이 작은 전경 영역의 깊이값으로부터 3차원 좌표값을 계산할 수 있다. 그러나 상술한 방법들은 상대적으로 다수회의 연산을 필요로 하므로, 이를 처리하기 위한 별도의 프로세서, 즉 그래픽 처리 장치(Graphics Processing Unit, GPU) 등이 필요로 하게 될 뿐만 아니라, 연산의 처리를 위한 시간이 소요될 수 있다.
또한 종래에는, 외부의 조건, 예를 들면, 장애물이나 조명에 의한 음영의 변화 등에 의하여 상기 카메라가 촬영한 영상으로부터 특징점의 깊이값을 계산하는 것이 불가능하게 될 수 있다. 이와 같은 경우에는, 실질적으로 특징점의 추출하지 못함으로써, 정확한 3차원 정보를 등록하지 못하게 된다.
본 발명은 상술한 바와 같은 종래 기술에 의한 문제점을 해결하기 위한 것으로, 본 발명의 목적은, 보다 간단하고, 정확한 특징점의 추출 및 등록이 가능한 영상 기반 위치 인식을 위한 특징점 등록 장치, 이를 사용한 등록 방법 및 이를 포함하는 로봇 청소기를 제공하는 것이다.
상술한 목적을 달성하기 위한 본 발명에 의한 영상 기반 위치 인식을 위한 특징점 등록 장치의 실시예의 일 양태는, 2D 영상 및 깊이 영상을 입력하는 영상 입력기; 상기 영상 입력기가 입력한 2D 영상 및 깊이 영상으로부터 특징점 및 깊이 정보를 추출하고, 추출된 상기 특징점 및 깊이 정보를 매칭하여 기술자를 생성하는 영상 처리기; 및 상기 영상 처리기에서 생성된 상기 기술자를 포함하는 상기 특징점을 등록하는 영상 등록기; 를 포함한다.
본 발명에 의한 영상 기반 위치 인식을 위한 특징점 등록 방법의 실시예의 일 양태는, 제1 및 제2영상 입력부가, 2D 영상 및 깊이 영상을 입력하는 단계; 특징점 추출부 및 깊이 정보 추출부가, 상기 2D 영상 및 깊이 영상으로부터 특징점 및 깊이 정보를 각각 추출하는 단계; 특징점 매칭부가, 추출된 상기 특징점 및 깊이 정보를 매칭하는 단계; 기술자 생성부가, 추출된 상기 특징점 및 깊이 정보로부터 기술자를 생성하는 단계; 및 특징점 등록부가, 상기 기술자를 포함하는 상기 특징점을 등록하는 단계; 를 포함한다.
본 발명에 의한 영상 기반 위치 인식을 위한 특징점 등록 장치, 이를 사용한 등록 방법 및 이를 포함하는 로봇 청소기의 실시예에서는, 2D 영상 및 깊이 영상으로부터 특징점 및 깊이 정보를 각각 추출한 후, 이들을 매칭하여 기술자를 포함하는 특징점을 생성한다. 또한 본 발명의 실시예에서는, 추출된 특징점에 대응하는 깊이 정보가 존재하지 않는 경우에는, 특징점에 인접하는 다른 픽셀의 깊이값 중 최소값을 특징점의 깊이값으로 추정한다. 따라서 본 발명의 실시예에 의하면, 보다 간단하고, 정확한 특징점의 추출 및 등록이 가능해지는 효과를 기대할 수 있다.
도 1은 본 발명에 의한 영상 기반 위치 인식을 위한 특징점 등록 장치의 실시예를 구성하는 SLAM 장치를 보인 블럭도.
도 2는 본 발명의 실시예에 의한 특징점 추출 과정을 보인 제어 흐름도.
도 3 내지 도 7은 본 발명의 실시예에서 특징점 추출 과정을 보인 개념도.
도 8은 본 발명에 의한 영상 기반 위치 인식을 위한 특징점 등록 장치를 포함하는 로봇 청소기의 실시예를 보인 사시도.
도 9는 본 발명의 실시예를 보인 블럭도.
이하에서는 본 발명에 의한 영상 기반 위치 인식을 위한 특징점 등록 장치의 실시예를 첨부된 도면을 참조하여 보다 상세하게 설명한다.
도 1은 본 발명에 의한 영상 기반 위치 인식을 위한 특징점 등록 장치의 실시예를 구성하는 SLAM 장치를 보인 블럭도이다.
도 1을 참조하면, 본 실시예에 의한 특징점 등록 장치는, 영상 입력기(100), 영상 처리기(200) 및 영상 등록기(300)를 포함한다. 상기 영상 입력기(100)는 특징점의 추출 및 등록을 위한 파사체의 영상을 입력하는 부분이다. 그리고 상기 영상 처리기(200)는, 상기 영상 입력기(100)가 입력한 영상을 통하여 특징점(Feature) 및 깊이(Depth) 정보를 추출하고, 각 특징점에 대한 기술자(Descreptor)를 생성한다. 상기 영상 등록기(300)에는, 상기 영상 처리기(200)에서 추출된 특징점이 등록된다.
보다 상세하게는, 상기 영상 입력기(100)는 제1영상 입력부(110) 및 제2영상 입력부(120)를 포함한다. 상기 제1영상 입력부(110)는, 피사체의 2D 영상(2D Image)를 입력하고, 상기 제2영상 입력부(120)는, 피사체의 깊이 영상(Depth Image)를 입력한다. 상기 제1영상 입력부(110)로는, 일반적인 피사체의 컬러를 촬영할 수 있는 CMOS(Complementary Metal Oxide Semiconductor) 카메라나 CCD(Charge-Coupled Device) 카메라 등이 사용될 수 있다. 그리고 상기 제2영상 입력부(120)는, 피사체로의 빛의 조사 및 반사 사이의 시간차를 측정하여 깊이값을 산출하고, 이를 영상으로 표현한다. 예를 들면, 상기 제2영상 입력부(120)는, 적외선을 피사체에 조사하고, 반사되는 적외선을 감지하여 양자 사이의 시간차를 측정하며, 이를 통하여 산출된 깊이값을 영상으로 표현할 수 있다.
그리고 상기 영상 처리기(200)는, 특징점 추출부(210), 깊이 정보 추출부(220), 특징점 매칭부(230) 및 기술자 생성부(240)를 포함한다. 상기 특징점 추출부(210)는, 상기 제1영상 입력부(110)가 입력한 2D 영상으로부터 특징점을 추출한다. 예를 들면, 상기 2D 영상에 존재하는 코너가 특징점으로 추출될 수 있다. 그리고 상기 깊이 정보 추출부(220)는 상기 제2영상 입력부(120)가 입력한 깊이 영상으로부터 깊이 정보, 즉 깊이값을 추출한다. 상기 특징점 매칭부(230)는, 서로 대응되는 상기 특징점 및 깊이 정보를 매칭시킨다. 이때 상기 특징점 매칭부(230)는, 상기 특징점에 해당하는 상기 깊이 정보가 부존재하는 경우에, 상기 특징점에 인접하는 다른 픽셀의 깊이값 중 최소값을 상기 특징점의 깊이값으로 추정한다. 예를 들면, 주변의 음영이나 장애물에 의하여 상기 깊이 이미지로부터 상기 특징점의 깊이값이 0으로 표현되는 경우에는, 실질적인 깊이값을 추출하지 못하게 된다. 이와 같은 경우에, 상기 특징점 매칭부(230)는, 상기 특징점에 인접하는 다른 픽셀의 깊이값 중 최소값을 상기 특징점의 깊이값으로 추정한다. 예를 들면, 상기 특징점을 중심으로 m×n 영역에 속하는 픽셀의 깊이값 중 최소값을 상기 특징점의 깊이값으로 추정할 수 있다. 이는 통상적으로 배경(Background)에 비하여 전경(Foreground)에서 상기 특징점이 추출되기 때문이다. 그리고 상기 기술자 생성부(240)는, 상기 특징점 추출부(210)에서 추출된 특징점 및 상기 깊이 정보 추출부(220)에서 추출한 깊이 정보로부터 기술자를 생성한다. 예를 들면, 상기 기술자 생성부(240)는, 상기 특징점 추출부(210)에서 추출된 특징점 및 상기 깊이 정보 추출부(220)에서 추출한 깊이 정보를 서로 매칭시켜서 SIFT(Scale Invariant Feature Transform) 기술자를 생성할 수 있다.
한편 상기 영상 등록기(300)는, 특징점 등록부(310) 및 데이터 베이스(320)를 포함한다. 상기 특징점 등록부(310)는, 상기 특징점 매칭부(230)로부터 전달받은 상기 기술자를 포함하는 상기 특징점을 상기 데이터 베이스(320)에 등록한다.
이하에서는 본 발명에 의한 영상 기반 위치 인식을 위한 특징점 등록 방법의 실시예를 첨부된 도면을 참조하여 보다 상세하게 설명한다.
도 2는 본 발명의 실시예에 의한 특징점 추출 과정을 보인 제어 흐름도이고, 도 3 내지 도 7은 본 발명의 실시예에서 특징점 추출 과정을 보인 개념도이다.
먼저 도 2를 참조하면, 영상 입력기(100), 즉 제1 및 제2영상 입력부(110)(120)가 각각 피사체에 대한 2D 영상 및 깊이 영상을 입력한다.(S10) 이때 상기 제1영상 입력부(110)가 입력한 2D 영상 및 상기 제2영상 입력부(120)가 입력한 깊이 영상은, 각각 도 3 및 도 4를 참조하면, 용이하게 이해될 수 있을 것이다.
다음으로, 영상 처리기(200)가, 상기 영상 입력기(100)가 입력한 영상을 통하여 특징점 및 깊이 정보를 추출하고, 각 특징점에 대한 기술자를 생성한다.(S20)(S30) 그리고 상기 영상 처리기(200)는, 상기 특징점에 해당하는 상기 깊이 정보의 존재 여부를 판단한 후 상기 특징점 및 이에 해당하는 깊이 정보를 매칭한다.(S50)(S60)
보다 상세하게는, 상기 제20단계에서, 특징점 추출부(210) 및 깊이 정보 추출부(220)가 각각 상기 제1영상 입력부(110)가 입력한 2D 영상 및 상기 제2영상 입력부(120)가 입력한 깊이 영상으로부터 특징점 및 깊이 정보를 각각 추출한다.(도 3 및 도 4참조) 그리고 상기 제30단계에서, 특징점 매칭부(230)가, 상기 특징점 추출부(210)에서 추출한 상기 특징점에 해당하는 상기 깊이 정보, 즉 깊이값이 존재하는지 여부를 판단한다. 다시 말하면, 상기 제30단계에서는, 상기 깊이 정보 추출부(220)가 상기 특징점에 해당하는 상기 깊이 정보를 상기 깊이 영상으로부터 추출할 수 있는지 여부를 판단한다고 할 수 있다. 그리고 상기 제30단계에서 상기 특징점에 해당하는 상기 깊이 정보가 존재하는 것으로 판단되면, 상기 제40단계에서, 기술자 생성부(240)가 기술자를 생성한다. 이때 상기 기술자로는, SIFT 기술자를 예로 들 수 있다.
한편 상기 제30단계에서 상기 특징점에 해당하는 상기 깊이 정보가 부존재하는 것으로 판단되면, 상기 특징점 매칭부(230)는, 상기 특징점에 인접하는 픽셀의 깊이값 중 최소값을 상기 특징점의 깊이값으로 추정한다.(S50) 예를 들면, 도 6에 도시된 바와 같이 상기 특징점 추출부(210)가 특징점(C)을 추출할 수 있다. 그런데 도 7에 도시된 바와 같이, 상기 깊이 영상에는 상기 특징점(C)에 해당하는 상기 깊이 정보가 0으로 표시된다. 예를 들면, 주변의 음영이나 장애물 등에 의하여 상기 특징점(C)에 해당하는 상기 깊이 정보가 상기 깊이 영상에 표현되지 못할 수 있다. 이와 같은 경우에는, 상기 특징점 매칭부(230)가 상기 특징점(C)에 인접하는 다수개의 픽셀, 아래의 [표 1]을 참조하면, 상기 특징점(C)을 중심으로는 5×5 영역에 속하는 픽셀(A)의 깊이값 중 최소값인 976을 상기 특징점(C)의 깊이값으로 추정한다. 그러나 상기 특징점(C)의 깊이값을 추정하기 위한 영역이 5×5 영역으로 한정되는 것은 아니다. 그리고 상기 제50단계에서 상기 특징점의 깊이값이 추정되면, 상기 제40단계가 수행된다.
1278 1270 1284 1273 1275
0 0 0 1034 1027
0 0 0(특징점) 0 1088
0 0 0 0 1070
0 0 976 978 987
그리고 상기 제40단계에서, 상기 특징점에 대한 상기 기술자가 생성되면, 영상 등록기(300), 즉 특징점 등록부(310)가, 상기 기술자를 포함하는 상기 특징점을 데이터 베이스(320)에 등록한다.(도 5참조)
이하에서는 본 발명에 의한 영상 기반 위치 인식을 위한 특징점 등록 장치를 포함하는 로봇 청소기의 실시예를 첨부된 도면을 참조하여 보다 상세하게 설명한다.
도 8은 본 발명에 의한 영상 기반 위치 인식을 위한 특징점 등록 장치를 포함하는 로봇 청소기의 실시예를 보인 사시도이고, 도 9는 본 발명의 실시예를 보인 블럭도이다. 본 실시예의 구성 요소 중 상술한 본 발명의 실시예의 구성 요소와 동일한 구성 요소에 대해서는, 도 1 내지 도 7의 도면 부호를 원용하고, 이에 대한 상세한 설명을 생략하기로 한다.
도 7 및 도 8을 참조하면, 본 실시예에 의한 로봇 청소기는, 설정된 영역을 주행하면서 청소하는 동작을 수행한다. 상기 로봇 청소기는, 케이싱(10), 주행부(20), 흡입부(30), 영상 입력기(100), 영상 처리기(200), 영상 등록기(300) 및 제어부(40)를 포함한다.
상기 케이싱(10)은, 상기 로봇 청소기의 외관을 형성한다. 그리고 상기 케이싱(10)의 내부에는, 상기 로봇 청소기를 구성하는 부품, 즉 상기 주행부(20), 흡입부(30), 영상 입력기(100), 영상 처리기(200), 영상 등록기(300) 및 제어부(40)가 설치된다.
상기 주행부(20)는 상기 케이싱(10)의 주행을 위한 구동력을 제공한다. 예를 들면, 상기 주행부(20)는, 주행 모터(미도시) 및 상기 주행 모터에 의하여 회전하는 주행 바퀴(미도시)를 포함할 수 있다.
그리고 상기 흡입부(30)는, 상기 케이싱(10)의 내부로 이물질을 흡입하기 위한 구동력을 제공한다. 예를 들면, 상기 흡입부(30)로는, 흡입 모터(미도시) 및 상기 흡입 모터에 의하여 회전하는 흡입 팬(미도시)을 포함할 수 있다.
상기 영상 입력기(100) 및 영상 처리기(200)는, 각각 상기 케이싱(10)의 주행 방향으로 상기 케이싱(10)의 전방에 해당하는 기설정된 영역의 2D 영상 및 깊이 영상을 입력하거나, 상기 영상 입력기(100)가 입력한 2D 영상 및 깊이 영상으로부터 특징점 및 깊이 정보를 추출하고, 추출된 상기 특징점 및 깊이 정보를 매칭하여 기술자를 생성하는 역할을 한다. 그리고 상기 영상 등록기(300)는, 상기 영상 처리기(200)에서 생성된 상기 기술자를 포함하는 상기 특징점을 등록하는 역할을 한다. 실질적으로, 상기 영상 입력기(100), 영상 처리기(200) 및 영상 등록기(300)의 구체적인 구성 및 작용은 상술한 본 발명의 제1실시예의 그것들과 동일하므로, 이에 대한 설명은 생략한다.
상기 제어부(40)는, 상기 로봇 청소기를 구성하는 부품, 즉 상기 주행부(20), 흡입부(30), 영상 입력기(100), 영상 처리기(200) 및 영상 등록기(300)의 동작을 제어한다. 또한 상기 제어부(40)는, 상기 영상 등록기(300)에 등록된 상기 특징점에 정보를 기반으로 지도를 작성하고, 상기 영상 처리기(200)에서 실시간으로 추출된 특징점의 좌표를 작성된 지도 상에서 비교함으로써, 지도 상에서 상기 케이싱(10), 즉 상기 로봇 청소기의 위치를 인식한다. 그리고 상기 제어부(40)는, 지도 상의 상기 로봇 청소기의 위치에 따라서 상기 로봇 청소기가 장애물에 의하여 간섭받지 않고 주행하면서 설정된 영역 전체를 청소할 수 있도록 상기 주행부(20) 및 흡입부(30)의 동작을 제어한다.
이와 같은 본 발명의 기본적인 기술적 사상의 범주 내에서 당업계의 통상의 지식을 가진 자에게 있어서는 다른 많은 변형이 가능함은 물론이고, 본 발명의 권리범위는 첨부한 특허청구범위에 기초하여 해석되어야 할 것이다.

Claims (11)

  1. 2D 영상 및 깊이 영상을 입력하는 영상 입력기;
    상기 영상 입력기가 입력한 2D 영상 및 깊이 영상으로부터 특징점 및 깊이 정보를 추출하고, 추출된 상기 특징점 및 깊이 정보를 매칭하여 기술자를 생성하는 영상 처리기; 및
    상기 영상 처리기에서 생성된 상기 기술자를 포함하는 상기 특징점을 등록하는 영상 등록기; 를 포함하는 영상 기반 위치 인식을 위한 특징점 등록 장치.
  2. 제 1 항에 있어서,
    상기 영상 입력기는,
    상기 2D 영상을 입력하는 제1영상 입력부; 및
    상기 깊이 영상을 입력하는 제2영상 입력부; 를 포함하는 영상 기반 위치 인식을 위한 특징점 등록 장치.
  3. 제 1 항에 있어서,
    상기 영상 처리기는, 상기 깊이 영상으로부터 상기 특징점에 해당하는 상기 깊이 정보를 추출하지 못하는 경우에는, 상기 특징점에 인접하는 다수개의 픽셀의 깊이값 중 최소값을 상기 특징부의 깊이값으로 추정하는 영상 기반 위치 인식을 위한 특징점 등록 장치.
  4. 제 1 항에 있어서,
    상기 영상 처리기는, 상기 깊이 영상으로부터 상기 특징점에 해당하는 상기 깊이 정보를 추출하지 못하는 경우에는, 상기 특징점을 중심으로 하는 m×n 영역에 속하는 픽셀의 깊이값 중 최소값을 상기 특징부의 깊이값으로 추정하는 영상 기반 위치 인식을 위한 특징점 등록 장치.
  5. 제 1 항에 있어서,
    상기 영상 처리기는,
    상기 2D 영상으로부터 상기 특징점을 특징점 추출부;
    상기 깊이 영상으로부터 상기 깊이 정보를 추출하는 깊이 정보 추출부; 및
    상기 특징점 추출부가 추출한 상기 특징점 및 상기 깊이 정보 추출부가 추출한 상기 깊이 정보를 매칭하는 특징점 매칭부; 를 포함하는 영상 기반 위치 인식을 위한 특징점 등록 장치.
  6. 제 5 항에 있어서,
    상기 특징점 추출부는, 상기 특징점에 해당하는 상기 깊이 정보가 상기 깊이 영상에서 0으로 표시되는 경우에는, 상기 특징점을 중심으로 하는 m×n 영역에 속하는 픽셀의 깊이값 중 최소값을 상기 특징부의 깊이값으로 추정하는 영상 기반 위치 인식을 위한 특징점 등록 장치.
  7. 제1 및 제2영상 입력부가, 2D 영상 및 깊이 영상을 입력하는 단계;
    특징점 추출부 및 깊이 정보 추출부가, 상기 2D 영상 및 깊이 영상으로부터 특징점 및 깊이 정보를 각각 추출하는 단계;
    특징점 매칭부가, 추출된 상기 특징점 및 깊이 정보를 매칭하는 단계;
    기술자 생성부가, 추출된 상기 특징점 및 깊이 정보로부터 기술자를 생성하는 단계; 및
    특징점 등록부가, 상기 기술자를 포함하는 상기 특징점을 등록하는 단계; 를 포함하는 영상 기반 위치 인식을 위한 특징점 등록 방법.
  8. 제 7 항에 있어서,
    상기 특징점 매칭부는, 상기 깊이 정보 추출부가 추출한 깊이값이 0인 경우에는, 상기 특징점에 인접하는 다수개의 픽셀의 깊이값 중 최소값을 상기 특징부의 깊이값으로 추정하는 영상 기반 위치 인식을 위한 특징점 등록 방법.
  9. 제 7 항에 있어서,
    상기 특징점 매칭부는, 상기 깊이 정보 추출부가 추출한 깊이값이 0인 경우에는, 상기 특징점을 중심으로 하는 m×n 영역에 속하는 다수개의 픽셀의 깊이값 중 최소값을 상기 특징부의 깊이값으로 추정하는 영상 기반 위치 인식을 위한 특징점 등록 방법.
  10. 외관을 정의하는 케이싱;
    상기 케이싱의 주행을 위한 구동력을 제공하는 주행부;
    상기 케이싱의 내부로 이물질을 흡입하기 위한 구동력을 제공하는 흡입부;
    상기 주행부 및 흡입부의 동작을 제어하는 제어부; 및
    상기 케이싱에 설치되고, 상기 제어부에 의하여 제어되는 제 1 항 내지 제 6 항 중 어느 한 항의 영상 기반 위치 인식을 위한 특징점 등록 장치; 를 포함하고,
    상기 제어부는, 상기 영상 등록기에 등록된 상기 특징점에 정보를 기반으로 지도를 작성하고, 상기 영상 처리기에서 실시간으로 추출된 특징점의 좌표를 작성된 지도 상에서 비교함으로써, 지도 상에서 상기 케이싱의 위치를 인식하는 로봇 청소기.
  11. 제 10 항에 있어서,
    상기 영상 입력기는, 상기 케이싱의 주행 방향으로 상기 케이싱의 전방에 해당하는 기설정된 영역의 2D 영상 및 깊이 영상을 입력하는 로봇 청소기.
KR1020120005535A 2012-01-18 2012-01-18 영상 기반 위치 인식을 위한 특징점 등록 장치, 이를 사용한 등록 방법, 및 이를 포함하는 로봇 청소기 KR101980677B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120005535A KR101980677B1 (ko) 2012-01-18 2012-01-18 영상 기반 위치 인식을 위한 특징점 등록 장치, 이를 사용한 등록 방법, 및 이를 포함하는 로봇 청소기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120005535A KR101980677B1 (ko) 2012-01-18 2012-01-18 영상 기반 위치 인식을 위한 특징점 등록 장치, 이를 사용한 등록 방법, 및 이를 포함하는 로봇 청소기

Publications (2)

Publication Number Publication Date
KR20130084747A true KR20130084747A (ko) 2013-07-26
KR101980677B1 KR101980677B1 (ko) 2019-05-22

Family

ID=48995214

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120005535A KR101980677B1 (ko) 2012-01-18 2012-01-18 영상 기반 위치 인식을 위한 특징점 등록 장치, 이를 사용한 등록 방법, 및 이를 포함하는 로봇 청소기

Country Status (1)

Country Link
KR (1) KR101980677B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100005488A (ko) * 2008-07-07 2010-01-15 삼성전자주식회사 이동 로봇의 지도 구성 장치 및 방법
KR20110064622A (ko) * 2009-12-08 2011-06-15 삼성전자주식회사 티오에프 카메라를 이용한 3차원 에지 추출 방법 및 장치
KR20110080097A (ko) * 2010-01-04 2011-07-12 삼성전자주식회사 영상 기반의 위치 인식을 위한 특징점 등록 장치 및 그 방법
KR20110134228A (ko) * 2010-06-08 2011-12-14 삼성전자주식회사 영상 및 거리 데이터를 이용한 위치 인식 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100005488A (ko) * 2008-07-07 2010-01-15 삼성전자주식회사 이동 로봇의 지도 구성 장치 및 방법
KR20110064622A (ko) * 2009-12-08 2011-06-15 삼성전자주식회사 티오에프 카메라를 이용한 3차원 에지 추출 방법 및 장치
KR20110080097A (ko) * 2010-01-04 2011-07-12 삼성전자주식회사 영상 기반의 위치 인식을 위한 특징점 등록 장치 및 그 방법
KR20110134228A (ko) * 2010-06-08 2011-12-14 삼성전자주식회사 영상 및 거리 데이터를 이용한 위치 인식 장치 및 방법

Also Published As

Publication number Publication date
KR101980677B1 (ko) 2019-05-22

Similar Documents

Publication Publication Date Title
US10311648B2 (en) Systems and methods for scanning three-dimensional objects
KR101758058B1 (ko) 깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템
US11308347B2 (en) Method of determining a similarity transformation between first and second coordinates of 3D features
US10192313B2 (en) Networked capture and 3D display of localized, segmented images
KR101633620B1 (ko) 영상 기반의 위치 인식을 위한 특징점 등록 장치 및 그 방법
KR100920931B1 (ko) Ｔｏｆ 카메라를 이용한 로봇의 물체 자세 인식 방법
JP2004334819A (ja) ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置
KR20130066438A (ko) 영상 처리 장치 및 영상 처리 방법
JP5297779B2 (ja) 形状測定装置およびプログラム
JP5156601B2 (ja) 形状測定装置およびプログラム
KR102011564B1 (ko) 비전 시스템에서 3d 정렬 알고리즘의 자동 선택을 위한 시스템 및 방법
TW201705088A (zh) 基於場景之立體影像所產生之差異圖
JP2014170368A (ja) 画像処理装置、方法及びプログラム並びに移動体
CN112734652A (zh) 一种基于双目视觉的近红外血管图像投影校正方法
Fan et al. A shape-based stereo matching algorithm for binocular vision
JP2004301607A (ja) 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム
JP2009211122A (ja) 画像処理装置およびオブジェクト推定プログラム。
KR20130084747A (ko) 영상 기반 위치 인식을 위한 특징점 등록 장치, 이를 사용한 등록 방법, 및 이를 포함하는 로봇 청소기
Ha Improved algorithm for the extrinsic calibration of a camera and laser range finder using 3D-3D correspondences
Aliakbarpour et al. Multi-sensor 3D volumetric reconstruction using CUDA
TWI595446B (zh) 擴充實境中基於深度攝影機之遮蔽邊緣品質改善方法
Nguyen et al. Real-time obstacle detection for an autonomous wheelchair using stereoscopic cameras
Jung et al. 3D map building using the kinect mounted on a mobile robot
Abdelhamid et al. Extracting depth information using a correlation matching algorithm
Hau et al. Combined Plane and Point Registration of Sequential Depth Images for Indoor Localization

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant