KR20110016160A - 특징점 추출 방법 및 추출 장치, 이를 이용한 영상 기반 위치인식 방법 - Google Patents

특징점 추출 방법 및 추출 장치, 이를 이용한 영상 기반 위치인식 방법 Download PDF

Info

Publication number
KR20110016160A
KR20110016160A KR1020090073730A KR20090073730A KR20110016160A KR 20110016160 A KR20110016160 A KR 20110016160A KR 1020090073730 A KR1020090073730 A KR 1020090073730A KR 20090073730 A KR20090073730 A KR 20090073730A KR 20110016160 A KR20110016160 A KR 20110016160A
Authority
KR
South Korea
Prior art keywords
image
feature points
feature
feature point
information
Prior art date
Application number
KR1020090073730A
Other languages
English (en)
Other versions
KR101622110B1 (ko
Inventor
안성환
노경식
윤석준
형승용
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090073730A priority Critical patent/KR101622110B1/ko
Priority to US12/844,259 priority patent/US8553980B2/en
Publication of KR20110016160A publication Critical patent/KR20110016160A/ko
Application granted granted Critical
Publication of KR101622110B1 publication Critical patent/KR101622110B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

계층적 영상 분할을 이용하여 특징점을 추출하는 특징점 추출 방법 및 추출 장치, 이를 이용한 영상 기반 위치 인식 방법을 개시한다. 위치 추정 시 관측된 정보를 이용하여 파악한 유사도를 이용하여 영상을 분할하고, 기 등록된 특징점이 존재하지 않는 분할 영역에서 새로운 특징점을 추출한 뒤 이를 토대로 위치 추정하므로 안정적이고 견실한 위치인식을 수행할 수 있다.

Description

특징점 추출 방법 및 추출 장치, 이를 이용한 영상 기반 위치인식 방법{method and apparatus of feature extraction and image based localization method using the same}
계층적 영상 분할을 이용한 특징점 추출 방법 및 추출 장치, 이를 이용한 영상 기반 위치인식 방법에 관한 것이다.
이동물체가 주변 환경에 대한 아무런 정보 없이 자신의 위치를 인식하고 환경에 대한 정보를 형성하기 위해서는 위치인식(localization)과 지도형성(mapping)의 과정이 동시에 유기적으로 수행되어야 한다. 이를 동시 위치인식 및 지도형성(SLAM, Simultaneous Localization And Mapping)이라 한다.
일반적으로 SLAM 알고리즘은 영상 정보를 분석하여 위치 인식하는 영상 기반 위치인식 시스템에 적용할 수 있다. 이러한 영상 기반 위치인식에 관련한 기존 연구는 위치 인식을 위한 전처리 과정에서 수행되는 영상 분할 방법으로서 랜덤 선택 방식과 균일 분할 방식을 제시하고 있다.
랜덤 선택 방식은 영상에서 새로운 특징점을 추출하기 위해 기 등록된 특징점과 겹쳐지지 않는 영역을 랜덤하게 선택한 뒤 그 선택 영역 안에서 특징점을 추 출한다.
균일 분할 방식은 현재 영상을 일정한 크기의 영역으로 분할한 뒤 해당 영역에서 기 등록된 특징점이 나타나지 않는 경우에만 새로운 특징점을 추출한다.
그러나 랜덤 선택 방식에 따르면 특징점이 특정 영역에서 몰려 나오면 전체 영상에 특징점이 불균일하게 추출될 수 있는 문제가 있고, 균일 분할 방식에 따르면 분할된 영역의 개수이상의 특징점을 추출할 수 없어 실제 환경에 따라 위치인식의 성능이 저하되거나 반복되는 영상 패턴과 같이 비슷한 특징량을 가지는 특징점이 나오는 경우 대응하는 부분이 없어 정보 교합(data association) 성능 저하 및 위치인식 실패로 이어질 수 있다.
기존과 다르게 계층적 영상 분할을 이용하여 특징점을 추출하는 특징점 추출 방법 및 추출 장치, 이를 이용한 영상 기반의 위치인식 방법을 제공한다.
이를 위해 본 발명의 일 측면에 의한 특징점 추출 방법은 이동물체의 주위 환경을 촬영한 영상을 획득하고; 상기 획득한 영상의 유사도에 따라 영상을 분할하며; 상기 영상 분할로 얻어진 복수의 분할 영역에서 위치 추정에 필요한 특징점을 추출하는 것;을 특징으로 한다.
또한, 상기 특징점 추출은 상기 영상에서 모든 특징점을 추출하고, 상기 추출된 모든 특징점과 위치 추정에 이용된 기 등록된 특징점을 매칭하여 새로운 특징점을 알아낸다.
또한, 상기 특징점 매칭은 상호간 특징점의 특징량이 비슷하지 않으면 새로운 특징점으로 결정하고, 특징점이 비슷하고 그 특징점이 속한 분할 영역이 같으면 기 등록된 특징점으로 결정한다.
또한, 상기 적어도 어느 하나의 분할 영역에 기 등록된 특징점이 존재하는 경우, 상기 기 등록된 특징점이 존재하지 않는 분할 영역에서 새로운 특징점을 추출한다.
또한, 상기 복수의 분할 영역은 동일한 특성을 가진 영상들로 구성된다.
또한, 상기 영상 분할은 상기 영상의 모든 화소에 대해 화소간 유사 척도를 계산하고, 상기 계산된 유사 척도를 요소값으로 하는 유사 행렬을 구성하며, 상기 유사 행렬의 고유값 크기와 결정된 기준값을 비교하여 분할 영역을 정한다.
또한, 상기 기준값은 분할 영역에 대응하여 차등적으로 결정된다.
또한, 상기 기준값의 범위를 조정하여 분할 영역의 개수를 변경한다.
또한, 상기 유사척도는 위치 추정 시 관측된 정보를 이용하여 수학식1에 의해 정의된다.
수학식 1
m(X1,X2) = exp[-{(｜d(X1)-d(X2)｜)/σ2 d}-{(｜i(X1)-i(X2)｜)/σ2 i}-{(｜c(X1)-c(X2)｜)/σ2 c}]
여기서 X1,X2는 화소 좌표, ｜d(X1)-d(X2)｜은 공간 상의 두 화소의 거리, ｜i(X1)-i(X2)｜은 두 화소의 밝기 레벨 차이, ｜c(X1)-c(X2)｜은 두 화소의 재질 차이, σ2 d는 거리의 차이를 구분지어 주는 파라미터, σ2 i는 밝기의 차이를 구분지어 주는 파라미터, σ2 c는 재질의 차이를 구분지어 주는 파라미터이다.
또한, 상기 이동물체는 이동 로봇과 핸드폰 및 캠코더 중 어느 하나의 기기이고, 이 기기에 마련된 단일 카메라를 이용하여 촬영한다.
본 발명의 일 측면에 의한 특징점 추출 장치는 이동물체에 마련된 카메라로 주위 환경을 촬영한 영상을 제공하는 영상 입력기와; 상기 영상 입력기로 획득한 영상을 분석하여 위치 추정하는 위치 인식기;를 포함하고, 상기 위치 인식기는 상기 획득한 영상의 유사도에 따라 분할된 복수의 분할 영역에서 추출한 특징점을 이용하여 위치 추정하는 것을 특징으로 한다.
또한, 상기 위치 인식기는, 상기 분할 영역에서 추출한 특징점에 대응하는 특징점 정보를 제공하는 특징점 추출기와, 상기 특징점 정보를 등록하는 특징점 등록기를 포함한다.
또한, 상기 특징점 추출기는 상기 영상의 모든 화소에 대한 화소간 유사 척도를 요소값으로 하는 유사행렬을 구성하고 상기 유사 행렬의 고유값 분석을 통해 분할 영역을 정한다.
또한, 상기 특징점 추출기는 위치 추정 시 관측된 화소의 거리 정보와 밝기 정보와 재질 정보를 이용하여 상기 유사 척도를 계산한다.
또한, 상기 위치 인식기는 상기 특징점 등록기의 등록 정보를 가지고 위치인식 알고리즘을 이용하여 특징점 위치, 카메라의 위치 및 자세 정보를 동시에 추정하는 모션 예측기와, 상기 모션 예측기로 위치 추정 시 이용된 특징점과 상기 특징점 추출기에 의해 현재 영상에서 추출된 특징점을 매칭하여 새로운 특징점을 알아내는 특징점 매칭기를 더 포함한다.
또한, 상기 특징점 매칭기는 상기 특징점의 특징량과 특징점이 속한 분할 영역이 일치하는가에 따라 새로운 특징점과 기 등록된 특징점을 구분한다.
또한, 상기 특징점 추출기는 상기 특징점 매칭기의 도움을 받아 새로운 특징점을 알아내고, 상기 분할 영역 중 기 등록된 특징점이 존재하지 않는 분할 영역에 서 추출된 새로운 특징점만의 특징점 정보를 상기 특징점 등록기에 제공한다.
본 발명의 일 측면에 의한 영상 기반 위치인식 방법은 이동물체의 카메라로 촬영한 영상을 분석하여 위치 추정하는 영상 기반 위치인식 방법에 있어서, 상기 카메라를 통해 획득한 영상의 유사도에 따라 영상을 분할하고; 상기 영상 분할에 의한 복수의 분할 영역에서 위치 추정에 필요한 특징점을 추출하고; 상기 추출된 특징점에 대응하는 특징점의 필터 상태 정보와 카메라의 위치 및 자세 정보를 추정하기 위한 위치 추정 상태 변수를 등록하며; 상기 등록 정보를 가지고 위치인식 알고리즘을 이용하여 특징점 위치와 카메라의 위치 및 자세 정보를 동시 추정하는 것을 특징으로 한다.
또한, 상기 위치 추정 시 관측된 화소의 거리 정보와 밝기 정보 및 재질 정보를 이용하여 유사 척도를 계산하고, 상기 계산된 유사 척도에 따라 유사 척도를 요소값으로 하는 유사 행렬을 구성하며, 상기 유사 행렬의 고유값 크기와 결정된 기준값을 비교하여 분할 영역을 정한다.
또한, 상기 영상에서 추출된 모든 특징점과 위치 추정 시 이용된 기 등록된 특징점을 매칭하여 새로운 특징점을 알아내고, 기 등록된 특징점이 존재하지 않는 분할 영역에서 추출된 새로운 특징점만의 특징점 정보를 추가하여 등록 정보를 갱신한다.
이와 같이, 등록된 특징점이 존재하지 않는 분할 영역에서 새로운 특징점 추 출이 이루어지므로 전체 영상에서 골고루 특징점을 획득하고, 이를 이용하여 위치 추정할 수 있어 안정적이고 견실한 위치인식을 수행할 수 있다. 또한 실제 환경의 영향을 받아 위치인식 성능이 저하되는 것을 방지할 수 있다.
이하 본 발명의 일 실시 예에 따른 특징점 추출 방법 및 추출 장치, 이를 이용한 영상 기반 위치인식 방법의 기술적 사상에 따른 실시 예를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상 기반 위치인식 시스템의 블록도이고, 도 2a의 실사 영상을 도 2b와 같이 동일한 특성을 가진 영상들로 분할한 경우의 예이다.
도 1을 참조하면, 영상 기반 위치인식 시스템(1)은 영상 입력기(10)와 위치 인식기(20)를 포함한다.
영상 입력기(10)는 이동물체에 마련된 카메라를 통해 촬영한 영상을 위치 인식기(20)에 제공한다. 이동물체는 이동로봇, 휴대 가능한 핸드폰 및 캠코더 등 촬영 기능을 갖춘 기기를 포함할 수 있으며, 단일 카메라를 이용하여 영상 정보를 획득한다.
영상 입력기(10)를 통해 이동물체의 주변 환경을 촬영한 영상을 제공받은 위치 인식기(20)가 영상 정보를 분석하여 특징점 위치와 카메라의 위치 및 자세 정보를 추정한다.
위치 인식기(20)는 특징점 추출기(21), 특징점 등록기(22), 모션 예측기(23), 특징점 매칭기(24), 및 관측량 갱신기(25)를 포함한다.
특징점 추출기(21)가 입력 영상에서 추출한 특징점에 대한 특징점 정보를 특징점 등록기(22)에 전달한다. 여기서 특징점 추출은 Harris의 코너 추출 방법이나 SIFT(Scale Invariant Feature Transform) 알고리즘을 사용할 수 있다.
그 추출된 특징점 정보는 위치인식에 필요한 특징점에 대응하는 필터의 상태변수로서 특징점 등록기(22)에 등록된다. 그러면 특징점 등록기(22)가 위치인식에 필요한 특징점에 대응하는 필터의 상태변수를 포함한 등록 정보를 모션 예측기(23)에 제공한다. 여기서 필터의 상태 변수는 특징점의 위치 추정을 위한 상태 변수이고, 등록 정보는 이러한 특징점의 필터 상태변수뿐만 아니라 카메라의 위치 및 자세 정보를 추정하기 위한 위치 추정 상태 변수들을 포함한다.
이 등록 정보를 가지고 모션 예측기(23)가 위치인식 알고리즘을 이용하여 특징점 위치와 카메라 위치 및 자세 정보를 동시에 추정한다. 이러한 위치 추정 과정에서 공간좌표계의 위치를 영상좌표계의 위치로 변환하는 과정이 수반된다.
모션 예측기(23)에서 위치 추정한 결과를 바탕으로 특징점 등록기(22)에 등록된 카메라의 위치 및 자세 정보를 추정하기 위한 위치 추정 상태변수를 갱신하는 과정은 특징점 매칭기(24)와 관측량 갱신기(25)에 의해 수행된다.
특징점 매칭기(24)는 현재 영상에서 추출된 특징점과 위치 추정에 이용된 기 등록된 특징점을 매칭하고, 위치 추정 상태변수의 갱신에 필요한 정보를 관측량 갱신기(25)에 알려 준다. 그러면 관측량 갱신기(25)가 갱신 정보를 등록할 수 있게 상태 변수로 변환한 뒤 특징점 등록기(22)에 전달하여 위치 추정 상태 변수를 갱신하게 된다. 이렇게 위치 추정 결과를 피드백하여 위치 추정 변수를 갱신하는 과정은 순환적으로 지속된다.
한편, 위치인식 성능의 신뢰성을 확보하려면 지속적 관측이 가능한 특징점 유지뿐만 아니라 상호간 구분 가능한 고유 특징량을 가지는 특징점 추출이 뒷받침되어야 한다. 이러한 구속 조건을 충족시키기 위해 특징점 추출기(21)가 특징점 매칭기(24)로부터 제공받은 정보를 이용하여 동일한 특성을 가진 영상들로 분할한다.
예를 들어 도 2a와 같이 카메라를 통해 촬영된 실사 영상에 하늘과 함께 복잡한 형상의 지대가 존재하는데, 이 실사 영상은 도 2b에 도시한 바와 같이 지대에 속하는 영역이라도 지형 특성에 따라 복수의 영상으로 분할할 수 있다.
본 실시예에 따르면, 영상 분할을 위한 기준은 영상의 유사도를 결정하는 유사척도(affinity measure; m(X1, X2))를 이용하며 수학식1에 의해 정의된다. 이 유사 척도는 위치 추정 시 관측된 영상의 거리 정보와 밝기 정보 및 재질 정보 등 다양한 영상 정보에 의해 정의된다. 다양한 정보에 기초하여 영상을 분할하는 점에서 계층적 영상 분할을 이용한다고 할 수 있다.
수학식 1
m(X1,X2) = exp[-{(｜d(X1)-d(X2)｜)/σ2 d}-{(｜i(X1)-i(X2)｜)/σ2 i}-{(｜c(X1)-c(X2)｜)/σ2 c}]
여기서 X1,X2는 화소 좌표, ｜d(X1)-d(X2)｜은 공간 상의 두 화소의 거리, ｜i(X1)-i(X2)｜은 두 화소의 밝기 레벨 차이, ｜c(X1)-c(X2)｜은 두 화소의 재질 차이, σ2 d는 거리의 차이를 구분지어 주는 파라미터, σ2 i는 밝기의 차이를 구분지어 주는 파라미터, σ2 c는 재질의 차이를 구분지어 주는 파라미터이다.
영상의 모든 화소에 대해 화소간 유사 척도가 계산되고, 계산된 유사척도는 유사 행렬(affinity matrix)를 구성하는 요소 값이 된다.
이 유사 행렬의 고유값(eigenvalue) 분석을 통해 일정 크기 이상의 고유값을 갖는 클러스터링 그룹들로 구분하는 과정을 거쳐 동일한 특성의 영상들로 분할할 수 있다. 즉 각각의 클러스터링 그룹에 대응하여 기준값을 차등적으로 정하고, 이 기준값과 비교되는 유사 행렬의 고유값의 크기에 따라 화소 집합으로 구분하면, 실사 영상은 도 2b와 같이 그래프(graph)로 단순하게 분할할 수 있다.
또한 기준값 범위를 조정하면 영상에 대한 분할 영역의 개수를 변경할 수 있고, 이에 따라 사용 환경에 적절한 개수의 분할 영역을 획득할 수 있다.
도 3을 참고하면, 현재 영상으로부터 얻은 11개 분할 영역(i1~i11)에는 이전 영상에서 획득된 기 등록된 특징점(☆)이 존재하는 5개 분할 영역(i2, i5, i8, i9, i11)과 새로운 특징점(◇)이 존재하는 5개 분할 영역(i1, i3, i4, i6, i7)이 있다.
특징점 추출기(21)는 현재 영상에서 특징점 추출 조건에 맞는 특징점을 모두 추출하고, 그런 다음 전체 추출된 특징점에 대한 특징점 정보를 특징점 매칭기(24) 에 전달한다. 그러면 특징점 매칭기(24)가 모션 예측기(23)에 의해 위치 추정할 때 이용한 특징점과 특징점 추출기(21)에 의해 추출된 특징점을 매칭하여 추출된 특징점이 등록되지 않은 새로운 특징점인지 알아내고 그 결과를 특징점 추출기(21)에 제공한다.
특징점 매칭기(24)의 도움을 받은 특징점 추출기(21)가 전체 추출된 특징점 중에서 어떤 특징점이 새로운 특징점인지 알아낼 수 있으므로, 기 등록된 특징점이 존재하지 않는 분할 영역에서 추출한 새로운 특징점만을 대상으로 그 특징점 정보를 특징점 등록기(22)에 제공할 수 있다.
이에 따라 특징점 등록기(22)에 기 등록된 특징점뿐만 아니라 새로운 특징점에 대한 특징점 정보가 추가됨으로서 카메라를 통해 입력되는 현재 영상 정보가 반영될 수 있다.
도 3에 예시한 바와 같이, 동일 특성의 분할 영상에서 특징점 추출이 이루어지면 그 분할 영상의 대표 특징점이 됨은 물론 위치인식에 필요한 적절한 개수의 특징점이 추출된다. 이것은 기존 연구에서 제시한 영역 분할 방식보다 전체 영상에서 균일하게 특징점 추출이 이루어짐과 동시에 실제 환경의 영향을 받아 위치 인식 성능이 저하되는 것을 최소화할 수 있다.
위치 인식 시스템 동작 시 영상 입력기(10)를 통한 이동물체의 주위 환경 촬영이 지속되면 위치 인식기(20)에 의해 영상 정보로부터 특징점 추출, 등록, 갱신, 및 위치 인식 알고리즘을 이용한 위치 추정을 지속할 수 있다.
도 4는 본 발명의 일 실시예에 따른 특징점 추출 방법을 설명하기 위한 흐름 도이고, 도 5는 본 발명의 일 실시예에 따른 특징점 매칭을 설명하기 위한 흐름도이다.
도 4에 도시한 바와 같이, 특징점 등록기(22)의 등록 정보를 가지고 위치인식 알고리즘을 이용하여 위치 추정한 결과로서 기 등록된 특징점의 위치를 예측할 수 있다(50).
또한 영상 입력기(10)를 통해 현재 영상을 획득할 수 있다(51).
위치 추정 시 관측된 거리 정보와 밝기 정보와 재질 정보 등 다양한 정보를 특징점 매칭기(24)로부터 제공받은 특징점 추출기(21)가 수학식1에 따라 현재 영상의 모든 화소들에 대해 유사 척도를 계산한다(52).
그런 다음 특징점 추출기(21)가 계산된 유사 척도를 가지고 유사 행렬을 구성하고, 이 유사 행렬의 고유값 분석을 통해 클러스터링 그룹을 정하여 현재 영상을 동일한 특성을 갖는 영상들로 분할한다(53).
특징점 추출기(21)는 현재 영상에서 추출한 모든 특징점을 특징점 매칭기(24)에 전달하고, 기 등록된 특징점의 예측 위치를 알고 있으므로, 특징점 매칭기(24)는 추출된 모든 특징점과 위치 추정에 이용된 특징점을 매칭하여 새로운 특징점을 알아내고 그 결과를 특징점 추출기(21)에 전달한다.
이에 따라 특징점 추출기(21)는 기 등록된 특징점이 존재하지 않은 분할 영역을 선택하고(54), 선택된 분할 영상에서 추출된 특징점에 대응하는 특징점 정보만을 특징점 등록기(22)에 등록한다(55).
한편 특징점 매칭 시 서로 다른 영역에 존재하지만 특징량이 비슷하여 잘못 된 매칭을 할 수 있으므로 이를 고려할 필요가 있다.
도 5를 참고하여, 현재 추출된 특징점과 기 등록된 특징점에 대해 매칭을 시작하고(60), 매칭하려는 두 특징점의 특징량이 비슷한지 판단하여 서로 비슷하지 않으면(61의 아니오) 현재 추출된 특징점을 새로운 특징점으로 결정한다(62).
매칭하려는 두 특징점의 특징량이 비슷하면(61의 예) 매칭하려는 두 특징점이 속한 분할 영역이 같은지 판단하고, 그 특징점들이 속한 분할 영역이 동일하면(63의 예) 두 특징점이 동일하다고 인정하여 기 등록된 특징점으로 결정한다(64). 반면 그 특징점이 속한 분할 영역이 동일하지 않으면(63의 아니오) 매칭 대상에서 제외한다(65).
이렇게 특징점 매칭기(24)는 특징점에 대응하는 특징량 뿐만 아니라 그 특징점이 속한 영역도 고려하여 매칭함으로서 잘못된 매칭을 방지할 수 있다.
도 6에 예시한 왼쪽 영상에 대해 위치 추종하여 얻은 오른쪽 시험 결과로부터 영상 기반 위치인식 분야에 충실하게 구현이 가능하다.
이와 같이 동일 특성을 갖는 분할 영상에서 추출된 특징점의 필터 상태변수를 포함한 등록 정보를 가지고 위치인식 알고리즘을 이용하여 특징점 위치와 카메라의 위치 및 자세 정보를 지속적으로 추종할 수 있다.
또한 본 실시예에 따른 특징점 추출이 청소 로봇, 서비스 로봇, 휴머노이드 등 영상 기반 위치 인식에 적용될 수 있다.
또한 유비쿼터스 환경에서 디스플레이 기술로 각광받고 있는 증강 현실(augmented reality)에 적용되어 개선된 위치 인식을 통해 안정적인 증강 현실 구현이 가능하다.
도 1은 본 발명의 일 실시예에 따른 영상 기반 위치인식 시스템의 블록도이다.
도 2a는 실사 영상을 나타내고 도 2b는 도 2a의 실사 영상을 동일한 특성을 가진 영상들로 분할한 경우의 예이다.
도 3은 본 발명의 일 실시예에 따른 분할 영상에서 추출된 특징점을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 특징점 추출 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 특징점 매칭을 설명하기 위한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 위치 추정한 모의 시험 결과를 보여 주는 도면이다.
*도면의 주요부분에 대한 부호 설명*
1 : 영상기반 위치인식 시스템 10 : 영상 입력기
20 : 위치 인식기 21 : 특징점 추출기
22 : 특징점 등록기 23 : 모션 예측기
24 : 특징점 매칭기 25 : 관측량 갱신기

Claims (20)

  1. 이동물체의 주위 환경을 촬영한 영상을 획득하고;
    상기 획득한 영상의 유사도에 따라 영상을 분할하며;
    상기 영상 분할로 얻어진 복수의 분할 영역에서 위치 추정에 필요한 특징점을 추출하는 것;을 특징으로 하는 특징점 추출 방법.
  2. 제1항에 있어서,
    상기 특징점 추출은 상기 영상에서 모든 특징점을 추출하고, 상기 추출된 모든 특징점과 위치 추정에 이용된 기 등록된 특징점을 매칭하여 새로운 특징점을 알아내는 특징점 추출 방법.
  3. 제2항에 있어서,
    상기 특징점 매칭은 상호간 특징점의 특징량이 비슷하지 않으면 새로운 특징점으로 결정하고, 특징점이 비슷하고 그 특징점이 속한 분할 영역이 같으면 기 등록된 특징점으로 결정하는 특징점 추출 방법.
  4. 제1항에 있어서,
    상기 적어도 어느 하나의 분할 영역에 기 등록된 특징점이 존재하는 경우, 상기 기 등록된 특징점이 존재하지 않는 분할 영역에서 새로운 특징점을 추출하는 특징점 추출 방법.
  5. 제1항에 있어서,
    상기 복수의 분할 영역은 동일한 특성을 가진 영상들로 구성되는 특징점 추출 방법.
  6. 제1항에 있어서,
    상기 영상 분할은 상기 영상의 모든 화소에 대해 화소간 유사 척도를 계산하고, 상기 계산된 유사 척도를 요소값으로 하는 유사 행렬을 구성하며, 상기 유사 행렬의 고유값 크기와 결정된 기준값을 비교하여 분할 영역을 정하는 특징점 추출 방법.
  7. 제6항에 있어서,
    상기 기준값은 분할 영역에 대응하여 차등적으로 결정되는 특징점 추출방법.
  8. 제7항에 있어서,
    상기 기준값의 범위를 조정하여 분할 영역의 개수를 변경하는 특징점 추출 방법.
  9. 제6항에 있어서,
    상기 유사척도는 위치 추정 시 관측된 정보를 이용하여 수학식1에 의해 정의되는 특징점 추출 방법.
    수학식 1
    m(X1,X2) = exp[-{(｜d(X1)-d(X2)｜)/σ2 d}-{(｜i(X1)-i(X2)｜)/σ2 i}-{(｜c(X1)-c(X2)｜)/σ2 c}]
    여기서 X1,X2는 화소 좌표, ｜d(X1)-d(X2)｜은 공간 상의 두 화소의 거리, ｜i(X1)-i(X2)｜은 두 화소의 밝기 레벨 차이, ｜c(X1)-c(X2)｜은 두 화소의 재질 차이, σ2 d는 거리의 차이를 구분지어 주는 파라미터, σ2 i는 밝기의 차이를 구분지어 주는 파라미터, σ2 c는 재질의 차이를 구분지어 주는 파라미터이다.
  10. 제1항에 있어서,
    상기 이동물체는 이동 로봇과 핸드폰 및 캠코더 중 어느 하나의 기기이고, 이 기기에 마련된 단일 카메라를 이용하여 촬영하는 특징점 추출 방법.
  11. 이동물체에 마련된 카메라로 주위 환경을 촬영한 영상을 제공하는 영상 입력기와;
    상기 영상 입력기로 획득한 영상을 분석하여 위치 추정하는 위치 인식기;를 포함하고,
    상기 위치 인식기는 상기 획득한 영상의 유사도에 따라 분할된 복수의 분할 영역에서 추출한 특징점을 이용하여 위치 추정하는 것을 특징으로 하는 특징점 추출 장치.
  12. 제11항에 있어서,
    상기 위치 인식기는, 상기 분할 영역에서 추출한 특징점에 대응하는 특징점 정보를 제공하는 특징점 추출기와, 상기 특징점 정보를 등록하는 특징점 등록기를 포함하는 특징점 추출장치.
  13. 제12항에 있어서,
    상기 특징점 추출기는 상기 영상의 모든 화소에 대한 화소간 유사 척도를 요소값으로 하는 유사행렬을 구성하고 상기 유사 행렬의 고유값 분석을 통해 분할 영역을 정하는 특징점 추출장치.
  14. 제13항에 있어서,
    상기 특징점 추출기는 위치 추정 시 관측된 화소의 거리 정보와 밝기 정보와 재질 정보를 이용하여 상기 유사 척도를 계산하는 특징점 추출장치.
  15. 제12항에 있어서,
    상기 위치 인식기는 상기 특징점 등록기의 등록 정보를 가지고 위치인식 알고리즘을 이용하여 특징점 위치, 카메라의 위치 및 자세 정보를 동시에 추정하는 모션 예측기와, 상기 모션 예측기로 위치 추정 시 이용된 특징점과 상기 특징점 추출기에 의해 현재 영상에서 추출된 특징점을 매칭하여 새로운 특징점을 알아내는 특징점 매칭기를 더 포함하는 특징점 추출 장치.
  16. 제15항에 있어서,
    상기 특징점 매칭기는 상기 특징점의 특징량과 특징점이 속한 분할 영역이 일치하는가에 따라 새로운 특징점과 기 등록된 특징점을 구분하는 특징점 추출장치.
  17. 제15항에 있어서,
    상기 특징점 추출기는 상기 특징점 매칭기의 도움을 받아 새로운 특징점을 알아내고, 상기 분할 영역 중 기 등록된 특징점이 존재하지 않는 분할 영역에서 추출된 새로운 특징점만의 특징점 정보를 상기 특징점 등록기에 제공하는 특징점 추출장치.
  18. 이동물체의 카메라로 촬영한 영상을 분석하여 위치 추정하는 영상 기반 위치 인식 방법에 있어서,
    상기 카메라를 통해 획득한 영상의 유사도에 따라 영상을 분할하고;
    상기 영상 분할에 의한 복수의 분할 영역에서 위치 추정에 필요한 특징점을 추출하고;
    상기 추출된 특징점에 대응하는 특징점의 필터 상태 정보와 카메라의 위치 및 자세 정보를 추정하기 위한 위치 추정 상태 변수를 등록하며;
    상기 등록 정보를 가지고 위치인식 알고리즘을 이용하여 특징점 위치와 카메라의 위치 및 자세 정보를 동시 추정하는 것을 특징으로 하는 영상 기반 위치인식 방법.
  19. 제18항에 있어서,
    상기 위치 추정 시 관측된 화소의 거리 정보와 밝기 정보 및 재질 정보를 이용하여 유사 척도를 계산하고, 상기 계산된 유사 척도에 따라 유사 척도를 요소값으로 하는 유사 행렬을 구성하며, 상기 유사 행렬의 고유값 크기와 결정된 기준값을 비교하여 분할 영역을 정하는 영상 기반 위치인식 방법.
  20. 제18항에 있어서,
    상기 영상에서 추출된 모든 특징점과 위치 추정 시 이용된 기 등록된 특징점을 매칭하여 새로운 특징점을 알아내고, 기 등록된 특징점이 존재하지 않는 분할 영역에서 추출된 새로운 특징점만의 특징점 정보를 추가하여 등록 정보를 갱신하는 영상 기반 위치인식 방법.
KR1020090073730A 2009-08-11 2009-08-11 특징점 추출 방법 및 추출 장치, 이를 이용한 영상 기반 위치인식 방법 KR101622110B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090073730A KR101622110B1 (ko) 2009-08-11 2009-08-11 특징점 추출 방법 및 추출 장치, 이를 이용한 영상 기반 위치인식 방법
US12/844,259 US8553980B2 (en) 2009-08-11 2010-07-27 Method and apparatus extracting feature points and image based localization method using extracted feature points

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090073730A KR101622110B1 (ko) 2009-08-11 2009-08-11 특징점 추출 방법 및 추출 장치, 이를 이용한 영상 기반 위치인식 방법

Publications (2)

Publication Number Publication Date
KR20110016160A true KR20110016160A (ko) 2011-02-17
KR101622110B1 KR101622110B1 (ko) 2016-05-18

Family

ID=43588632

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090073730A KR101622110B1 (ko) 2009-08-11 2009-08-11 특징점 추출 방법 및 추출 장치, 이를 이용한 영상 기반 위치인식 방법

Country Status (2)

Country Link
US (1) US8553980B2 (ko)
KR (1) KR101622110B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101247220B1 (ko) * 2011-03-10 2013-03-25 서울대학교산학협력단 반복 패턴을 이용한 영상 처리 방법 및 장치
KR101276314B1 (ko) * 2013-02-27 2013-06-18 주식회사 케이쓰리아이 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템 및 그 방법
KR20180008575A (ko) * 2015-05-20 2018-01-24 캐논 가부시끼가이샤 정보 처리 장치, 방법, 및 프로그램
US10445924B2 (en) 2016-11-14 2019-10-15 Samsung Electronics Co., Ltd. Method and device for processing DVS events
KR102035433B1 (ko) * 2018-12-18 2019-10-23 전자부품연구원 카메라의 위치 추정과 3차원 환경 복원을 위한 영상 키프레임 기반의 확률적 필터링 방법

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5436367B2 (ja) * 2009-09-29 2014-03-05 富士フイルム株式会社 グラフィック配置決定方法ならびにそのプログラムおよび情報処理装置
KR20120044768A (ko) * 2010-10-28 2012-05-08 엘지전자 주식회사 로봇 청소기 및 이의 제어 방법
KR101165357B1 (ko) * 2011-02-14 2012-07-18 (주)엔써즈 이미지 특징 데이터 생성 장치 및 방법
US8675997B2 (en) 2011-07-29 2014-03-18 Hewlett-Packard Development Company, L.P. Feature based image registration
US8385732B2 (en) 2011-07-29 2013-02-26 Hewlett-Packard Development Company, L.P. Image stabilization
US8938257B2 (en) 2011-08-19 2015-01-20 Qualcomm, Incorporated Logo detection for indoor positioning
KR101311100B1 (ko) * 2011-08-27 2013-09-25 고려대학교 산학협력단 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법
KR101329111B1 (ko) 2012-05-02 2013-11-14 한국과학기술연구원 실내 네비게이션 시스템 및 방법
EP3060880A4 (en) * 2013-10-22 2017-07-05 Polaris Sensor Technologies, Inc. Sky polarization and sun sensor system and method
US10962625B2 (en) * 2013-10-22 2021-03-30 Polaris Sensor Technologies, Inc. Celestial positioning system and method
KR20150049535A (ko) * 2013-10-30 2015-05-08 삼성전자주식회사 전자장치 및 그 이용방법
US9838604B2 (en) * 2015-10-15 2017-12-05 Ag International Gmbh Method and system for stabilizing video frames
JP6790995B2 (ja) 2017-04-27 2020-11-25 富士通株式会社 照合装置、照合方法および照合プログラム
CN107563366A (zh) * 2017-07-26 2018-01-09 安徽讯飞爱途旅游电子商务有限公司 一种定位方法及装置、电子设备
US10762425B2 (en) 2017-09-26 2020-09-01 Nvidia Corporation Learning affinity via a spatial propagation neural network
CN110188777B (zh) * 2019-05-31 2023-08-25 东莞先知大数据有限公司 一种基于数据挖掘的多周期钢轨伤损数据对齐方法
CN110428423A (zh) * 2019-06-25 2019-11-08 深圳乐动机器人有限公司 一种区域编辑方法、编辑设备及编辑系统
KR20220004460A (ko) 2020-07-03 2022-01-11 삼성전자주식회사 이미지 병합을 위한 이미지 매칭 방법 및 이를 수행하는 데이터 처리 장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6529613B1 (en) * 1996-11-27 2003-03-04 Princeton Video Image, Inc. Motion tracking using image-texture templates
JP4492036B2 (ja) * 2003-04-28 2010-06-30 ソニー株式会社 画像認識装置及び方法、並びにロボット装置
US8229166B2 (en) * 2009-07-07 2012-07-24 Trimble Navigation, Ltd Image-based tracking
JP4254873B2 (ja) * 2007-02-16 2009-04-15 ソニー株式会社 画像処理装置及び画像処理方法、撮像装置、並びにコンピュータ・プログラム
US8103056B2 (en) * 2008-10-15 2012-01-24 Honeywell International Inc. Method for target geo-referencing using video analytics

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101247220B1 (ko) * 2011-03-10 2013-03-25 서울대학교산학협력단 반복 패턴을 이용한 영상 처리 방법 및 장치
KR101276314B1 (ko) * 2013-02-27 2013-06-18 주식회사 케이쓰리아이 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템 및 그 방법
WO2014133251A1 (ko) * 2013-02-27 2014-09-04 주식회사 케이쓰리아이 엘에스에이치 알고리즘의 자료조회결과의 특징점을 이용한 매칭포인트 추출시스템 및 그 방법
KR20180008575A (ko) * 2015-05-20 2018-01-24 캐논 가부시끼가이샤 정보 처리 장치, 방법, 및 프로그램
US10430967B2 (en) 2015-05-20 2019-10-01 Canon Kabushiki Kaisha Information processing apparatus, method, and program
US10445924B2 (en) 2016-11-14 2019-10-15 Samsung Electronics Co., Ltd. Method and device for processing DVS events
KR102035433B1 (ko) * 2018-12-18 2019-10-23 전자부품연구원 카메라의 위치 추정과 3차원 환경 복원을 위한 영상 키프레임 기반의 확률적 필터링 방법

Also Published As

Publication number Publication date
KR101622110B1 (ko) 2016-05-18
US8553980B2 (en) 2013-10-08
US20110038540A1 (en) 2011-02-17

Similar Documents

Publication Publication Date Title
KR101622110B1 (ko) 특징점 추출 방법 및 추출 장치, 이를 이용한 영상 기반 위치인식 방법
KR101722803B1 (ko) 이미지들의 시퀀스에서 물체들의 실시간 표현들의 하이브리드 추적을 위한 방법, 컴퓨터 프로그램 및 디바이스
CN108229288B (zh) 神经网络训练及衣服颜色检测方法、装置、存储介质、电子设备
KR101791590B1 (ko) 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법
EP2491531B1 (en) Alignment of an ordered stack of images from a specimen.
CN110223330B (zh) 一种可见光和红外图像的配准方法及系统
KR101380628B1 (ko) 복수의 카메라를 사용한 객체 추적 방법 및 장치
EP1949339A2 (en) Tracking using an elastic cluster of trackers
WO2011001398A2 (en) Method circuit and system for matching an object or person present within two or more images
KR20050082252A (ko) 객체 추적 방법 및 그 장치
US9361692B2 (en) Image registration device and operation method of the same
KR20040053337A (ko) 개연적인 프레임워크를 사용하는 블롭-기반의 분석용컴퓨터 비전 방법 및 시스템
WO2015035462A1 (en) Point feature based 2d-3d registration
KR20190002772A (ko) 다중 히스토그램을 이용한 객체 추적 방법 및 이를 이용한 객체 추적 시스템
CN110598795A (zh) 图像差异检测方法及装置、存储介质、终端
JP2018036226A (ja) 画像処理プログラム、画像処理方法および画像処理装置
CN111935641A (zh) 一种室内自定位的实现方法、智能移动设备和存储介质
CN110967667A (zh) 一种基于众包Wi-Fi指纹定位的室内轨迹采集方法
CN113793362A (zh) 基于多镜头视频的行人轨迹提取方法和装置
Arredondo et al. Optical flow using textures
Gimenez et al. Unsupervised edge map scoring: A statistical complexity approach
CN112233161A (zh) 手部图像深度确定方法、装置、电子设备及存储介质
Chen et al. Mean shift tracking combining SIFT
JP6540577B2 (ja) 物体認識装置
WO2010070128A1 (en) Method for multi-resolution motion estimation

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190422

Year of fee payment: 4