KR101633620B1 - 영상 기반의 위치 인식을 위한 특징점 등록 장치 및 그 방법 - Google Patents

영상 기반의 위치 인식을 위한 특징점 등록 장치 및 그 방법 Download PDF

Info

Publication number
KR101633620B1
KR101633620B1 KR1020100000272A KR20100000272A KR101633620B1 KR 101633620 B1 KR101633620 B1 KR 101633620B1 KR 1020100000272 A KR1020100000272 A KR 1020100000272A KR 20100000272 A KR20100000272 A KR 20100000272A KR 101633620 B1 KR101633620 B1 KR 101633620B1
Authority
KR
South Korea
Prior art keywords
corner
image
feature point
feature
dimensional
Prior art date
Application number
KR1020100000272A
Other languages
English (en)
Other versions
KR20110080097A (ko
Inventor
윤석준
노경식
형승용
안성환
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020100000272A priority Critical patent/KR101633620B1/ko
Priority to US12/979,036 priority patent/US8498472B2/en
Publication of KR20110080097A publication Critical patent/KR20110080097A/ko
Application granted granted Critical
Publication of KR101633620B1 publication Critical patent/KR101633620B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Manipulator (AREA)

Abstract

영상 기반의 위치 인식을 구현하는데 있어서 영상의 특징점을 추출하여 등록하는 장치 및 그 방법을 개시한다. 영상에서 코너로 인식이 되는 특징점을 2D 코너와 3D 코너로 분리하여 특징점의 깊이 정보를 구하고, 특징점의 영상 좌표와 깊이 정보를 이용하여 2D 코너와 3D 코너로 분리된 특징점의 3차원 좌표를 안정되게 등록함으로써 영상 기반 로봇의 위치 인식을 정확히 수행할 수 있게 된다. 이에 따라 영상 기반 로봇의 위치 인식을 기반으로 하는 증강 현실(AR;Augmented Reality) 구현을 보다 효과적으로 수행할 수 있도록 한다.

Description

영상 기반의 위치 인식을 위한 특징점 등록 장치 및 그 방법{FEATURE REGISTRATION APPARATUS FOR IMAGE BASED LOCALIZATION AND METHOD THE SAME}
영상 기반의 위치 인식을 구현하는데 있어서 영상의 특징점을 추출하여 등록하는 장치 및 그 방법에 관한 것이다.
로봇이 자율적으로 이동하기 위해서는 주변 환경에 대한 사전 정보 없이 자기의 위치를 인식하고, 환경에 대한 정보로부터 지도를 작성하는 위치 인식(Localization)과 지도 작성(Mapping)의 과정이 동시에 유기적으로 수행되어야 한다. 이를 로봇의 동시 위치 인식 및 지도 작성(Simultaneous Localization And Mapping; SLAM)이라 한다.
SLAM은 전방위 시야를 갖는 카메라를 통해 영상을 획득하여 실시간으로 지도를 작성하며 자기 위치를 인식하는 영상 기반의 위치 인식 기술로서, 영상 기반의 위치 인식을 수행하기 위해서는 영상의 특징점(Feature)을 추출하고, 그 특징점(Feature)에 해당하는 3차원 좌표값을 구하여 3차원 특징점(Feature)으로 등록해야 한다. 영상에서 특징점(Feature)은 주로 코너(Corner)가 사용되는데, 이는 코너의 경우 영상이 움직일 때, 강인하게 추적이 되기 때문이다. 통상 이러한 3차원 정보를 추출하기 위하여 스테레오 비전(Stereo Vision)/TOF(Time of Flight) 카메라를 사용한다. 그러나 이러한 코너의 3차원 정보를 추출할 경우, 스테레오 비전(Stereo Vision)/TOF(Time of Flight) 카메라로부터 값을 얻지 못하는 경우가 발생된다. 그 이유는 스테레오 비전(Stereo Vision) 카메라의 경우 두 영상의 시차(Disparity)를 이용하여 3차원 정보를 구하게 되나 3차원 형상의 경우 폐색(Occlusion)이 발생되기 때문에 코너 지점에서의 3차원 정보를 구하지 못하는 경우가 발생한다. 또한, TOF(Time of Flight) 카메라의 경우에도 모서리에서 회절 등이 발생되기 때문에 모서리 부분이 정확히 구분되지 않으며, 이에 따라 3차원 정보를 구하지 못하는 경우가 발생한다.
영상에서 코너로 인식이 되는 특징점을 2차원 평면 상에 존재하는 2D 코너와 3차원 공간 상에 존재하는 3D 코너로 분리하여 특징점의 깊이 정보를 구하고, 특징점의 영상 좌표와 깊이 정보를 이용하여 3차원 특징점을 등록하는 영상 기반의 위치 인식을 위한 특징점 등록 장치 및 그 방법을 개시한다.
이를 위해 본 발명의 일 측면에 의한 영상 기반의 위치 인식을 위한 특징점 등록 장치는, 영상을 획득하는 카메라; 카메라에서 획득한 영상의 특징점을 추출하는 특징점 추출부; 특징점을 2D 코너와 3D 코너로 분리하여 특징점의 깊이 정보를 계산하는 계산부; 특징점의 깊이 정보와 특징점의 영상 좌표를 이용하여 특징점의 3차원 좌표를 등록하는 특징점 등록부를 포함한다.
특징점 추출부는 특징점을 포함하는 윈도우의 3차원 정보를 획득한다.
또한, 본 발명의 일 측면에 의한 영상 기반의 위치 인식을 위한 특징점 등록 장치는, 특징점을 포함하는 윈도우의 3차원 정보를 이용하여 특징점이 2D 코너인지 또는 3D 코너인지 판단하는 코너 판단부를 더 포함한다.
계산부는 특징점이 2D 코너인 경우, 윈도우 전체 영역의 평균 깊이 값을 특징점의 깊이 정보로 계산한다.
계산부는 특징점이 3D 코너인 경우, 영상의 전경 영역을 추출하여 전경 영역의 평균 깊이 값을 특징점의 깊이 정보로 계산한다.
계산부는 윈도우의 깊이 분포를 계산하여 영상의 전경 영역과 배경 영역을 분리한다.
본 발명의 일 측면에 의한 영상 기반의 위치 인식을 위한 특징점 등록 방법은, 카메라의 영상을 획득하고; 획득한 영상으로부터 특징점을 추출하여 특징점을 포함하는 윈도우의 3차원 정보를 획득하고; 특징점을 포함하는 윈도우의 3차원 정보에 따라 특징점이 2D 코너인지 또는 3D 코너인지 판단하고; 2D 코너 또는 3D 코너의 깊이 정보를 계산하고; 2D 코너 또는 3D 코너의 깊이 정보와 특징점의 영상 좌표를 이용하여 특징점의 3차원 좌표를 등록한다.
특징점이 3D 코너인 경우, 윈도우의 깊이 분포에 따라 영상을 전경 영역과 배경 영역으로 분리하는 것을 더 포함한다.
특징점이 3D 코너인 경우, 분리된 전경 영역의 평균 깊이 값을 특징점의 깊이 정보로 계산한다.
개시된 영상 기반의 위치 인식을 위한 특징점 등록 장치 및 그 방법에 의하면, 영상에서 코너로 인식이 되는 특징점을 2차원 평면 상에 존재하는 2D 코너와 3차원 공간 상에 존재하는 3D 코너로 분리하여 특징점의 깊이 정보를 구하고, 특징점의 영상 좌표와 깊이 정보를 이용하여 2D 코너와 3D 코너로 분리된 특징점의 3차원 좌표를 안정되게 등록함으로써 영상 기반 로봇의 위치 인식을 정확히 수행할 수 있게 된다. 이에 따라 영상 기반 로봇의 위치 인식을 기반으로 하는 증강 현실(AR;Augmented Reality) 구현을 보다 효과적으로 수행할 수 있도록 한다.
도 1은 본 발명의 일 실시예에 의한 영상 기반의 위치 인식을 위한 특징점 등록 장치의 제어 블록도이다.
도 2는 본 발명의 일 실시예에 의한 영상 기반의 위치 인식을 위한 특징점 등록 방법을 나타낸 동작 순서도이다.
도 3은 본 발명의 일 실시예에 의한 특징점 추출을 위한 실제 영상이다.
도 4는 본 발명의 일 실시예에 의한 특징점 추출의 개념도이다.
도 5는 본 발명의 일 실시예에 의한 특징점의 2D/3D 코너 정보를 나타낸 개념도이다.
이하, 본 발명의 일 실시예를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시예에 의한 영상 기반의 위치 인식을 위한 특징점 등록 장치의 제어 블록도로서, 영상 획득부(10), 특징점 추출부(20), 코너 판단부(30), 계산부(40), 저장부(50) 및 특징점 등록부(60)를 포함한다.
영상 획득부(10)는 로봇이 주변 환경에 대한 사전 정보 없이 이동할 때 이동하는 경로 상의 영상을 촬영하여 경로 상에 위치하는 다양한 물체(예를 들어, 책꽂이나 스탠드 등)의 3차원 정보를 실시간으로 획득하는 3차원 측정장비(예를 들어, 스테레오 카메라, TOF 카메라 등)이다. 3차원 측정장비는 카메라의 각각의 픽셀에 대한 영상 정보를 알 수 있을 뿐만 아니라 검출한 물체의 거리 정보까지 알 수 있어 카메라의 영상과 3차원 정보(깊이 정보)를 획득한다. 한편, 3차원 측정장비인 영상 획득부(10)는 지능 로봇 이외의 게임기, 휴대폰, 스마트폰 등의 IT 기기에 마련될 수 있다.
특징점 추출부(20)는 영상 획득부(10)를 통해 획득된 영상의 3차원 정보를 입력받아 특징점을 추출하고, 이에 해당하는 3차원 정보(깊이 정보)를 획득한다. 특징점은 로봇이 이동하는 환경 상에 일정한 점을 선택하였을 때 시간과 관찰 각도에 의해서 변하지 않는 정량적 특징을 추출할 수 있어야 한다. 보통 영상에서는 주로 코너(Corner)를 사용하여 어느 각도에서 관찰하여도 변하지 않는 특징점을 찾아낸다. 이는 코너(Corner)의 경우 영상이 움직일 때 강인하게 추적이 되기 때문이다.
따라서, 특징점 추출부(20)는 3차원 측정장비인 영상 획득부(10)를 통해 획득된 영상으로부터 특징점을 추출하고, 특징점을 포함하는 윈도우(예를 들어, 11×11 윈도우)의 3차원 정보(깊이 정보)를 획득한다.
코너 판단부(30)는 특징점을 포함하는 윈도우의 3차원 정보(깊이 정보)를 이용하여 영상의 특징점이 2D 코너인지 또는 3D 코너인지를 판단한다. 영상에서 코너로 인식이 되는 특징점은 실제 공간 상에서 2차원 평면 상에 존재하는 2D 코너와 3차원 공간 상에 존재하는 3D 코너로 나누어진다.
특징점이 3D 코너인 경우, 특징점을 포함하는 윈도우의 3차원 정보(깊이 정보)에 불연속성(Discontinuity)이 존재한다. 그 이유는 영상 획득부(10)의 3차원 측정장비로 스테레오 카메라를 사용할 경우, 두 영상(Stereo Image)의 시차(Disparity)를 이용하여 3차원 정보를 획득하기 위해서는 시차 맵(Disparity Map)의 정확한 계산이 요구되나 시차 맵(Disparity map)에 오차가 발생하면 한쪽 영상 내의 점이 그에 대응하는 다른 쪽 영상 내에서 보이지 않는 폐색(Occlusion)이 발생되어 코너 지점에서의 3차원 정보를 구하지 못하는 경우가 발생하기 때문이다. 또한, 영상 획득부(10)의 3차원 측정장비로 TOF(Time of Flight) 카메라를 사용할 경우, 모서리에서 회절 등이 발생되기 때문에 모서리 부분이 정확히 구분되지 않으며, 이에 따라 정확한 3차원 정보를 구하지 못하는 경우가 발생한다.
따라서, 코너 판단부(30)는 특징점 추출부(20)를 통해 추출된 특징점을 포함하는 윈도우의 3차원 정보(깊이 정보)를 이용하여 영상의 특징점이 실제 공간 상에서 2D 코너인지 또는 3D 코너인지를 판단한다.
계산부(40)는 코너 판단부(30)에서 판단된 영상의 특징점이 2D 코너인 경우와 3D 코너인 경우를 분리하여 2D 코너와 3D 코너로 분리된 특징점의 깊이 정보(깊이 값)를 계산한다.
코너 판단부(30)에서 판단된 영상의 특징점이 2D 코너인 경우, 계산부(40)는 2D 코너의 깊이 값을 아래의 [수학식 1]을 이용하여 윈도우의 크기에 해당하는 깊이의 평균값 즉, 전체 윈도우 영역의 평균 깊이 값으로 계산한다.
[수학식 1]
Figure 112010000253825-pat00001
계산부(40)에서 2D 코너의 깊이 값을 위의 [수학식 1]을 이용하여 계산할 경우, i, j는 특징점을 포함하는 윈도우 영역의 x, y 픽셀 좌표 중 (i, j) 영역의 윈도우 크기를 나타낸다.
코너 판단부(30)에서 판단된 영상의 특징점이 3D 코너인 경우, 계산부(40)는 윈도우의 깊이 분포 즉, 깊이의 변화량을 계산하여 배경(Background) 영역과 전경(Foreground) 영역을 추출한다. 추출법은 11×11 윈도우의 경우 가장 깊이가 작은 영역을 전경(Foreground) 영역으로 추출하여 분리한다. 다만, 시차 맵(Disparity Map)의 오차를 고려하여 윈도우의 크기에 따라 최소 개수를 제한한다.
따라서, 계산부(40)는 3D 코너의 깊이 값을 위의 [수학식 1]을 이용하여 분리된 전경(Foreground) 영역의 평균 깊이 값으로 계산한다.
계산부(40)에서 3D 코너의 깊이 값을 위의 [수학식 1]을 이용하여 계산할 경우, i, j는 전경(Foreground) 영역의 x, y 픽셀 좌표 중 (i, j) 영역의 윈도우 크기를 나타낸다.
저장부(50)는 계산부(40)를 통해 2D 코너와 3D 코너로 분리되어 계산된 특징점의 깊이 정보를 저장한다. 특징점이 2D 코너인 경우에는 특징점의 깊이 정보를 윈도우 전체 영역의 평균 깊이 값으로 저장하고, 특징점이 3D 코너인 경우에는 특징점의 깊이 정보를 전경(Foreground) 영역의 평균 깊이 값으로 저장한다.
특징점 등록부(60)는 저장부(50)에 저장된 2D 코너 또는 3D 코너의 특징점의 깊이 정보와 특징점 추출부(20)를 통해 추출된 특징점의 영상 좌표(x, y)를 이용하여 특징점의 3차원 좌표(X, Y, Z)를 구한다. 이때 구해진 3차원 좌표(X, Y, Z)의 점을 3차원 특징점인 표식(Landmark)으로 등록한다.
이하, 상기와 같이 구성된 영상 기반의 위치 인식을 위한 특징점 등록 장치 및 그 방법의 동작과정 및 작용효과를 설명한다.
도 2는 본 발명의 일 실시예에 의한 영상 기반의 위치 인식을 위한 특징점 등록 방법을 나타낸 동작 순서도이고, 도 3은 본 발명의 일 실시예에 의한 특징점 추출을 위한 실제 영상이며, 도 4는 본 발명의 일 실시예에 의한 특징점 추출의 개념도이고, 도 5는 본 발명의 일 실시예에 의한 특징점의 2D/3D 코너 정보를 나타낸 개념도이다.
도 2에서, 로봇이 주변 환경에 대한 사전 정보 없이 이동하면, 로봇에 마련된 영상 획득부(10)는 로봇이 이동하는 경로 상의 영상을 도 3에 도시한 바와 같이, 촬영하여 경로 상에 위치하는 다양한 물체(예를 들어, 책꽂이나 스탠드 등)의 영상과 3차원 정보(깊이 정보)를 획득한다(100).
특징점 추출부(20)는 영상 획득부(10)를 통해 획득된 영상의 3차원 정보를 입력받아 도 4에 도시한 바와 같이, 영상의 코너로 인식이 되는 특징점(ㅁ)을 추출한다(102). 도 4에서 알 수 있듯이, 보통 영상에서는 주로 코너(Corner)를 사용하여 어느 각도에서 관찰하여도 변하지 않는 특징점(ㅁ)을 찾아낸다. 이는 코너(Corner)의 경우 영상이 움직일 때 강인하게 추적이 되기 때문이다.
이와 같이, 영상의 특징점(ㅁ)이 추출되면, 특징점 추출부(20)는 추출된 영상의 특징점(ㅁ)을 포함하는 윈도우(예를 들어, 11×11 윈도우)의 3차원 정보(깊이 정보)를 획득한다(104).
이후, 코너 판단부(30)는 특징점을 포함하는 윈도우의 3차원 정보(깊이 정보)를 이용하여 영상의 특징점이 2D 코너(평면)인지를 판단한다(106). 영상에서 코너로 인식이 되는 특징점은 실제 공간 상에서 2차원 평면 상에 존재하는 2D 코너와 3차원 공간 상에 존재하는 3D 코너로 나누어진다. 따라서 도 5에 도시한 바와 같이, 영상의 특징점이 3차원 공간 상에서 2D 코너(예를 들어, 책꽂이)인지 또는 3D 코너(예를 들어, 스탠드)인지를 판단해야 한다. 이는 영상의 특징점이 3D 코너인 경우, 특징점의 3차원 정보(깊이 정보)에 불연속성(Discontinuity)이 존재하게 되므로 어느 정보를 이용하여 3차원 특징점의 초기화(initialization)를 수행할지 결정해야 하기 때문이다. 그 이유는 3D 코너의 3차원 정보를 추출할 경우 3차원 정보를 구하지 못하는 경우가 발생하지 않도록 하기 위함이다.
단계 106의 판단 결과, 영상의 특징점이 2D 코너인 경우, 계산부(40)는 윈도우의 크기에 해당하는 평균 깊이 값 즉, 전체 윈도우 영역의 평균 깊이 값을 아래의 [수학식 1]을 이용하여 계산한다(108).
[수학식 1]
Figure 112010000253825-pat00002
계산부(40)에서 2D 코너의 깊이 값을 위의 [수학식 1]을 이용하여 계산할 경우, i, j는 특징점을 포함하는 윈도우 영역의 x, y 픽셀 좌표 중 (i, j) 영역의 윈도우 크기를 나타낸다.
[수학식 1]을 이용하여 계산된 윈도우의 크기에 해당하는 평균 깊이 값이 2D 코너의 깊이 값이 된다.
그리고, 계산부(40)를 통해 계산된 2D 코너의 깊이 값 즉, 2D 코너인 특징점의 깊이 정보를 저장부(50)에 저장한다(110).
한편, 단계 106의 판단 결과, 영상의 특징점이 2D 코너가 아닌 경우, 영상의 특징점이 3D 코너에 해당하므로 계산부(40)는 윈도우의 깊이 분포를 계산하여 영상의 배경(Background) 영역과 전경(Foreground) 영역을 추출하되, 깊이가 가장 작은 영역을 전경(Foreground) 영역으로 분리한다(112).
이와 같이, 영상의 배경(Background) 영역과 전경(Foreground) 영역이 분리되면, 계산부(40)는 분리된 전경(Foreground) 영역의 평균 깊이 값을 아래의 [수학식 1]을 이용하여 계산한다(114).
[수학식 1]
Figure 112010000253825-pat00003
계산부(40)에서 3D 코너의 깊이 값을 위의 [수학식 1]을 이용하여 계산할 경우, i, j는 전경(Foreground) 영역의 x, y 픽셀 좌표 중 (i, j) 영역의 윈도우 크기를 나타낸다.
그리고, 계산부(40)를 통해 계산된 3D 코너의 깊이 값 즉, 3D 코너인 특징점의 깊이 정보를 저장부(50)에 저장한다(110).
저장부(50)에 2D 코너와 3D 코너의 특징점의 깊이 정보가 저장되면, 특징점 등록부(60)는 특징점 추출부(20)를 통해 추출된 특징점의 영상 좌표(x, y)와, 저장부(50)에 저장된 2D 코너와 3D 코너의 특징점의 깊이 정보를 이용하여 영상의 특징점이 2D 코너인 경우와 3D 코너인 경우 각각에 있어서 특징점의 3차원 좌표(X, Y, Z)를 구한다(116).
그리고, 구한 3차원 좌표(X, Y, Z)의 점을 3차원 특징점인 표식(Landmark)으로 등록한다(118).
따라서, 영상에서 코너로 인식이 되는 특징점을 실제 공간 상에서 2차원 평면 상에 존재하는 2D 코너와 3차원 공간 상에 존재하는 3D 코너로 나누어 3차원 정보를 얻지 못하는 경우가 발생되지 않도록 함으로써 SLAM의 성능이 향상된 영상 기반의 위치 인식을 수행한다.
한편, 본 발명의 일 실시예에서는 로봇으로 가사 도우미 로봇, 공공장소용 서비스 로봇이나 지능형 휴머노이드 로봇 등과 같이 자율적으로 이동을 해야 하는 이동 로봇을 예로 들어 설명하였으나, 본 발명은 이에 한정되지 않고 휴대폰이나 wearable 형태로 탑재되어 현재의 위치를 인지하여 진행해야 할 방향을 알려줄 수도 있고, 차량에 탑재되어 무인으로 목적지에 도달하거나 자동으로 주차를 하는 등의 다양한 응용기술에도 적용 가능함은 물론이다.
10 : 영상 획득부 20 : 특징점 추출부
30 : 코너 판단부 40 : 계산부
50 : 저장부 60 : 특징점 등록부

Claims (10)

  1. 영상을 획득하는 카메라;
    상기 획득된 영상에서 특징점을 추출하는 특징점 추출부;
    상기 특징점을 포함하는 윈도우의 3차원 정보에 기초하여 상기 특징점이 2차원 평면 상에 존재하는 2D 코너인지 또는 3차원 공간 상에 존재하는 3D 코너인지 판단하는 코너 판단부;
    상기 특징점이 상기 2D 코너인지 또는 상기 3D 코너인지에 따라 상기 특징점의 깊이 정보를 계산하는 계산부; 및
    상기 특징점의 깊이 정보와 상기 특징점의 영상 좌표를 이용하여 상기 특징점의 3차원 좌표를 등록하는 특징점 등록부를 포함하는 영상 기반의 위치 인식을 위한 특징점 등록 장치.
  2. 제1항에 있어서,
    상기 특징점 추출부는 상기 특징점을 포함하는 윈도우의 3차원 정보를 획득하는 영상 기반의 위치 인식을 위한 특징점 등록 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 계산부는 상기 특징점이 상기 2D 코너인 경우, 상기 윈도우 전체 영역의 평균 깊이 값을 상기 특징점의 깊이 정보로 계산하는 영상 기반의 위치 인식을 위한 특징점 등록 장치.
  5. 제1항에 있어서,
    상기 계산부는 상기 특징점이 상기 3D 코너인 경우, 상기 영상의 전경 영역을 추출하여 상기 전경 영역의 평균 깊이 값을 상기 특징점의 깊이 정보로 계산하는 영상 기반의 위치 인식을 위한 특징점 등록 장치.
  6. 제5항에 있어서,
    상기 계산부는 상기 윈도우의 깊이 분포를 계산하여 상기 영상의 상기 전경 영역과 배경 영역을 분리하는 영상 기반의 위치 인식을 위한 특징점 등록 장치.
  7. 카메라의 영상을 획득하고;
    상기 획득된 영상에서 특징점을 추출하고 상기 특징점을 포함하는 윈도우의 3차원 정보를 획득하고;
    상기 특징점을 포함하는 윈도우의 3차원 정보에 기초하여 상기 특징점이 2차원 평면 상에 존재하는 2D 코너인지 또는 3차원 공간 상에 존재하는 3D 코너인지 판단하고;
    상기 특징점이 상기 2D 코너인지 또는 상기 3D 코너인지에 따라 상기 특징점의 깊이 정보를 계산하고;
    상기 특징점의 깊이 정보와 상기 특징점의 영상 좌표를 이용하여 상기 특징점의 3차원 좌표를 등록하는 영상 기반의 위치 인식을 위한 특징점 등록 방법.
  8. 제7항에 있어서,
    상기 특징점이 상기 2D 코너인 경우, 상기 윈도우 전체 영역의 평균 깊이 값을 상기 특징점의 깊이 정보로 계산하는 영상 기반의 위치 인식을 위한 특징점 등록 방법.
  9. 제7항에 있어서,
    상기 특징점이 상기 3D 코너인 경우, 상기 윈도우의 깊이 분포에 따라 상기 영상을 전경 영역과 배경 영역으로 분리하는 것을 더 포함하는 영상 기반의 위치 인식을 위한 특징점 등록 방법.
  10. 제9항에 있어서,
    상기 특징점이 상기 3D 코너인 경우, 상기 분리된 전경 영역의 평균 깊이 값을 상기 특징점의 깊이 정보로 계산하는 영상 기반의 위치 인식을 위한 특징점 등록 방법.
KR1020100000272A 2010-01-04 2010-01-04 영상 기반의 위치 인식을 위한 특징점 등록 장치 및 그 방법 KR101633620B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100000272A KR101633620B1 (ko) 2010-01-04 2010-01-04 영상 기반의 위치 인식을 위한 특징점 등록 장치 및 그 방법
US12/979,036 US8498472B2 (en) 2010-01-04 2010-12-27 Image-based localization feature point registration apparatus, method and computer-readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100000272A KR101633620B1 (ko) 2010-01-04 2010-01-04 영상 기반의 위치 인식을 위한 특징점 등록 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20110080097A KR20110080097A (ko) 2011-07-12
KR101633620B1 true KR101633620B1 (ko) 2016-06-27

Family

ID=44224729

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100000272A KR101633620B1 (ko) 2010-01-04 2010-01-04 영상 기반의 위치 인식을 위한 특징점 등록 장치 및 그 방법

Country Status (2)

Country Link
US (1) US8498472B2 (ko)
KR (1) KR101633620B1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8446492B2 (en) * 2009-12-10 2013-05-21 Honda Motor Co., Ltd. Image capturing device, method of searching for occlusion region, and program
KR101739996B1 (ko) * 2010-11-03 2017-05-25 삼성전자주식회사 이동 로봇 및 이동 로봇의 위치 인식 및 지도 작성 방법
CN103493093B (zh) * 2011-11-17 2017-07-18 松下知识产权经营株式会社 图像处理装置、摄像装置及图像处理方法
KR101980677B1 (ko) * 2012-01-18 2019-05-22 엘지전자 주식회사 영상 기반 위치 인식을 위한 특징점 등록 장치, 이를 사용한 등록 방법, 및 이를 포함하는 로봇 청소기
US8996036B2 (en) 2012-02-09 2015-03-31 Southwest Research Institute Autonomous location of objects in a mobile reference frame
US8725413B2 (en) 2012-06-29 2014-05-13 Southwest Research Institute Location and motion estimation using ground imaging sensor
US9218529B2 (en) 2012-09-11 2015-12-22 Southwest Research Institute 3-D imaging sensor based location estimation
US9576183B2 (en) * 2012-11-02 2017-02-21 Qualcomm Incorporated Fast initialization for monocular visual SLAM
US9151953B2 (en) * 2013-12-17 2015-10-06 Amazon Technologies, Inc. Pointer tracking for eye-level scanners and displays
CN103679204A (zh) * 2013-12-23 2014-03-26 上海安琪艾可网络科技有限公司 基于智能移动设备平台的图像识别与创作应用系统及方法
CN104881860B (zh) * 2014-02-28 2019-01-08 国际商业机器公司 基于照片进行定位的方法和装置
CN105005970B (zh) * 2015-06-26 2018-02-16 广东欧珀移动通信有限公司 一种增强现实的实现方法及装置
US10216289B2 (en) * 2016-04-29 2019-02-26 International Business Machines Corporation Laser pointer emulation via a mobile device
CN106485744B (zh) * 2016-10-10 2019-08-20 成都弥知科技有限公司 一种同步定位与地图构建方法
CN110166787B (zh) * 2018-07-05 2022-11-29 腾讯数码（天津）有限公司 增强现实数据传播方法、系统和存储介质
CN109643127B (zh) * 2018-11-19 2022-05-03 深圳阿科伯特机器人有限公司 构建地图、定位、导航、控制方法及系统、移动机器人
CN110533719B (zh) * 2019-04-23 2020-06-09 以见科技(上海)有限公司 基于环境视觉特征点识别技术的增强现实定位方法及装置
CN111967345B (zh) * 2020-07-28 2023-10-31 国网上海市电力公司 一种实时判定摄像头遮挡状态的方法
US20220060481A1 (en) * 2020-08-24 2022-02-24 Arm Limited Augmented reality system
CN114723788A (zh) * 2021-01-04 2022-07-08 北京小米移动软件有限公司 图像配准方法、装置、终端及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5959397A (ja) * 1982-09-29 1984-04-05 オムロン株式会社 特徴点のラベリング装置
US8023724B2 (en) * 1999-07-22 2011-09-20 Photon-X, Inc. Apparatus and method of information extraction from electromagnetic energy based upon multi-characteristic spatial geometry processing
JP4653606B2 (ja) * 2005-05-23 2011-03-16 株式会社東芝 画像認識装置、方法およびプログラム
JP4645411B2 (ja) * 2005-10-28 2011-03-09 コニカミノルタホールディングス株式会社 認証システム、登録システム及びプログラム
EP2160037A3 (en) * 2006-06-23 2010-11-17 Imax Corporation Methods and systems for converting 2D motion pictures for stereoscopic 3D exhibition
US8165354B1 (en) * 2008-03-18 2012-04-24 Google Inc. Face recognition with discriminative face alignment

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Jensfelt, Patric, et al. "A framework for vision based bearing only 3D SLAM." Robotics and Automation, 2006. ICRA 2006. Proceedings 2006 IEEE International Conference on. IEEE, 2006.

Also Published As

Publication number Publication date
KR20110080097A (ko) 2011-07-12
US20110164832A1 (en) 2011-07-07
US8498472B2 (en) 2013-07-30

Similar Documents

Publication Publication Date Title
KR101633620B1 (ko) 영상 기반의 위치 인식을 위한 특징점 등록 장치 및 그 방법
CN110411441B (zh) 用于多模态映射和定位的系统和方法
CN108406731B (zh) 一种基于深度视觉的定位装置、方法及机器人
US9928656B2 (en) Markerless multi-user, multi-object augmented reality on mobile devices
KR101758058B1 (ko) 깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템
KR101590530B1 (ko) 자동 장면 교정
CN106959691B (zh) 可移动电子设备和即时定位与地图构建方法
US20110205338A1 (en) Apparatus for estimating position of mobile robot and method thereof
US8503730B2 (en) System and method of extracting plane features
EP2339294B1 (en) Systems and methods for matching scenes using mutual relations between features
Lee et al. Low-cost 3D motion capture system using passive optical markers and monocular vision
EP3114647A2 (en) Method and system for 3d capture based on structure from motion with simplified pose detection
KR102398478B1 (ko) 전자 디바이스 상에서의 환경 맵핑을 위한 피쳐 데이터 관리
KR101506610B1 (ko) 증강현실 제공 장치 및 그 방법
KR101207535B1 (ko) 이동 로봇의 이미지 기반 동시적 위치 인식 및 지도 작성 방법
Huang et al. Mobile robot localization using ceiling landmarks and images captured from an rgb-d camera
KR20140134090A (ko) 이미지 센서와 대상 객체 사이의 상대적인 각도를 이용하는 깊이 영상 처리 장치 및 방법
CN111553342B (zh) 一种视觉定位方法、装置、计算机设备和存储介质
CN106682584B (zh) 无人机障碍物检测方法及装置
KR102410300B1 (ko) 스테레오 카메라를 이용한 카메라 위치 측정 장치 및 방법
Aliakbarpour et al. Three-dimensional reconstruction based on multiple virtual planes by using fusion-based camera network
WO2014203743A1 (en) Method for registering data using set of primitives
KR101509105B1 (ko) 증강현실 제공 장치 및 그 방법
Abdelhamid et al. Extracting depth information using a correlation matching algorithm
Toriya et al. A mobile camera localization method using aerial-view images

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190520

Year of fee payment: 4