KR20130127868A - 점 대응을 찾기 위한 방법, 상기 방법을 수행할 수 있는 장치, 및 이를 포함하는 시스템 - Google Patents

점 대응을 찾기 위한 방법, 상기 방법을 수행할 수 있는 장치, 및 이를 포함하는 시스템 Download PDF

Info

Publication number
KR20130127868A
KR20130127868A KR1020120051697A KR20120051697A KR20130127868A KR 20130127868 A KR20130127868 A KR 20130127868A KR 1020120051697 A KR1020120051697 A KR 1020120051697A KR 20120051697 A KR20120051697 A KR 20120051697A KR 20130127868 A KR20130127868 A KR 20130127868A
Authority
KR
South Korea
Prior art keywords
feature points
sub
image
feature
finding
Prior art date
Application number
KR1020120051697A
Other languages
English (en)
Inventor
김동훈
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120051697A priority Critical patent/KR20130127868A/ko
Priority to US13/795,336 priority patent/US20130307936A1/en
Publication of KR20130127868A publication Critical patent/KR20130127868A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

점 대응을 찾기 위한 방법이 개시된다. 상기 점 대응을 찾기 위한 방법은 제1왼쪽 이미지를 제1서브 영역들로 나누고, 제1오른쪽 이미지를 제2서브 영역들로 나누는 단계, 상기 제1서브 영역들 각각에 대응되는 제1문턱 값들 각각에 따라 제1특징 점들을 검출하고, 상기 제2서브 영역들 각각에 대응되는 상기 제1문턱 값들 각각에 따라 제2특징 점들을 검출하는 단계, 및 상기 제1특징 점들 각각과 상기 제2특징 점들 각각을 매칭하고, 매칭된 특징점들 각각으로부터 점 대응을 찾는 단계를 포함한다.

Description

점 대응을 찾기 위한 방법, 상기 방법을 수행할 수 있는 장치, 및 이를 포함하는 시스템{Method for finding point correspondences, device performing the same, and system having the device}
본 발명은 3D 디스플레이 기술에 관한 것으로, 특히, 스테레오 이미지들 사이에서 점 대응을 찾기 위한 방법, 장치 및 시스템에 관한 것이다.
3D 디스플레이 기술은 3D 디스플레이 장치를 이용하여 3D 이미지를 보는 사람(viewer)에게 제공하는 기술이다. 예컨대, 상기 3D 디스플레이 기술은 스테레오스코픽(stereoscopic)일 수 있다. 상기 스테레오스코픽은 2개의 오프셋 이미지들 (two offset images)을 보는 사람의 왼쪽 눈과 오른쪽 눈에 떨어져서 나타냄 (presenting)으로써 이미지에서 영상의 깊이(illusion of depth)를 생성하거나 향상시키기 위한 기술이다.
상기 3D 디스플레이 기술에 있어서, 스테레오 이미지들에서 특징 점들 (feature points)을 추출하고, 상기 스테레오 이미지들 사이에서 추출된 특징 점들을 매칭하는 것이 필요하다. 그러나, 텍스쳐(texture)나 컬러 정보가 부족(lack)한 경우, 상기 스테레오 이미지들에서 특징 점들을 추출하고, 추출된 특징 점들을 매칭하는데 어려움이 있다.
본 발명이 이루고자 하는 기술적인 과제는 3D 이미지 처리 시스템에서 강건하게(robustly) 점 대응(point correspondences)을 찾기 위한 방법, 장치 및 시스템을 제공하는 것이다.
본 발명의 실시 예에 따른 점 대응을 찾기 위한 방법은 제1왼쪽 이미지를 제1서브 영역들로 나누고, 제1오른쪽 이미지를 제2서브 영역들로 나누는 단계, 상기 제1서브 영역들 각각에 대응되는 제1문턱 값들 각각에 따라 제1특징 점들을 검출하고, 상기 제2서브 영역들 각각에 대응되는 상기 제1문턱 값들 각각에 따라 제2특징 점들을 검출하는 단계, 및 상기 제1특징 점들 각각과 상기 제2특징 점들 각각을 매칭하고, 매칭된 특징점들 각각으로부터 점 대응을 찾는 단계를 포함한다.
상기 점 대응을 찾는 단계는 상기 제1특징 점들 각각의 제1특징 벡터와 상기 제2특징 점들 각각의 제2특징 벡터를 비교하는 단계, 및 상기 비교 결과와 제2문턱 값에 따라 상기 매칭된 특징 점들에서 상기 점 대응을 찾는 단계를 포함한다.
실시 예에 따라 상기 점 대응을 찾기 위한 방법은 상기 제1왼쪽 이미지 또는 상기 제2오른쪽 이미지에서 상기 검출된 특징 점들에 따라 상기 각각의 제1문턱 값을 업데이트하는 단계를 더 포함할 수 있다.
실시 예에 따라 상기 점 대응을 찾기 위한 방법은 제2왼쪽 이미지와 제2오른쪽 이미지 각각에서 상기 각각의 업데이트된 제1문턱 값에 따라 특징 점들을 검출하는 단계를 더 포함할 수 있다.
실시 예에 따라 상기 점 대응을 찾기 위한 방법은 상기 점 대응에 따라 상기 제2문턱 값을 업데이트하는 단계를 더 포함할 수 있다.
상기 점 대응을 찾기 위한 방법은 제2왼쪽 이미지와 제2오른쪽 이미지 각각에서 특징 점들을 검출하는 단계, 및 제2왼쪽 이미지와 제2오른쪽 이미지 각각에서 상기 특징 점들을 매칭하고, 상기 업데이트된 제2문턱 값에 따라 상기 매칭된 특징 점들에서 점 대응을 찾는 단계를 더 포함할 수 있다.
상기 점 대응을 찾기 위한 방법은 상기 점 대응을 이용하여 상기 제1왼쪽 이미지와 상기 제1오른쪽 이미지에서 깊이 정보를 추정하는 단계를 더 포함할 수 있다.
상기 점 대응을 찾기 위한 방법은 상기 점 대응을 이용하여 기초 행렬을 더 계산하는 단계를 더 포함할 수 있다.
상기 각각의 제1문턱 값은 서로 다른 값을 가진다.
본 발명의 실시 예에 따른 프로세서는 한 쌍의 스테레오 이미지들 각각을 서브 영역들로 나누고, 상기 서브 영역들 각각에 포함된 각각의 제1문턱 값에 따라 상기 한 쌍의 스테레오 이미지들 중 각각의 i번째 이미지에서 특징 점들을 검출하는 특징 점 검출 블록, 및 상기 각각의 i번째 이미지에서 상기 특징 점들을 매칭하고, 제2문턱 값에 따라 상기 매칭된 특징 점들에서 점 대응을 찾는 특정 점 비교기를 포함한다.
상기 각각의 제1문턱 값은 상기 검출된 특징 점들에 따라 업데이트된다.
상기 제2문턱 값은 상기 점 대응에 따라 업데이트된다.
실시 예에 따라 상기 프로세서는 상기 점 대응을 이용하여 기초 행렬을 계산하는 기초 행렬 계산기를 더 포함할 수 있다.
본 발명의 실시 예에 따른 이미지 처리 시스템은 한 쌍의 스테레오 이미지들을 수신하는 이미지 센서들, 및 상기 프로세서를 포함한다.
상기 스테레오 이미지 처리 시스템은 3D 디스플레이 장치이다.
본 발명의 실시 예에 따른 점 대응을 찾기 위한 방법, 장치 및 시스템은 한 쌍의 스테레오 이미지들에서 특징 점을 추출하고 매칭하기 위한 문턱 값들을 적응적으로 업데이트함으로써 강건하게(robustly) 점 대응(point correspondences)를 찾을 수 있는 효과가 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 일 실시 예에 따른 스테레오 이미지 처리 시스템의 블록도를 나타낸다.
도 2는 도 1에 도시된 복수의 이미지 센서들로부터 출력되는 복수의 이미지들을 나타낸다.
도 3은 도 1에 도시된 특징 점 검출 블록에 의해 복수의 서브 영역들로 나누어진 복수의 이미지들의 일 실시 예를 나타낸다.
도 4는 도 1에 도시된 특징 점 검출 블록에 의해 복수의 서브 영역들로 나누어진 복수의 이미지들의 다른 실시 예를 나타낸다.
도 5는 도 1에 도시된 특징 점 검출 블록에 의해 검출된 특징 점들이 포함된 복수의 이미지들을 나타낸다.
도 6은 도 3에 도시된 복수의 서브 영역들 각각과 대응되는 각각의 제1문턱 값이 포함된 복수의 이미지들을 나타낸다.
도 7은 도 3에 도시된 복수의 서브 영역들 각각과 대응되는 각각의 제1문턱 값이 포함된 복수의 이미지들의 일 실시 예를 나타낸다.
도 8은 도 6에 도시된 각각의 제1문턱 값에 따른 특징 점들이 포함된 복수의 이미지들을 나타낸다.
도 9는 도 1에 도시된 특징 점 비교기에 의해 매칭된 특징 점들이 포함된 복수의 이미지들을 나타낸다.
도 10은 도 1에 도시된 프로세서의 동작 방법의 일 실시 예를 설명하기 위한 흐름도를 나타낸다.
도 11은 도 1에 도시된 프로세서의 동작 방법의 다른 실시 예를 설명하기 위한 흐름도를 나타낸다.
본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니된다.
본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.
도 1은 본 발명의 일 실시 예에 따른 스테레오 이미지 처리 시스템의 블록도를 나타내며, 도 2는 도 1에 도시된 복수의 이미지 센서들로부터 출력되는 복수의 이미지들을 나타낸다.
도 1과 도 2를 참조하면, 스테레오 이미지 시스템(100)은 보는 사람에게 3D 이미지를 제공한다. 예컨대, 스테레오 이미지 시스템(100)은 PC(personal computer), 랩탑(laptop) 컴퓨터, 스마트 폰 또는 태블릿(tablet) PC와 같은 3D 디스플레이 장치일 수 있다.
스테레오 이미지 시스템(100)은 복수의 이미지 센서들(11과 13), 프로세서 (20), 메모리(15), 및 3D 디스플레이(17)를 포함한다. 각 구성 요소(15, 17, 및 20)는 버스(101)를 통해 서로 통신한다.
복수의 이미지 센서들(11과 13)은 한 쌍의 스테레오 이미지들(LI와 RI)을 생성한다.
예컨대, 제1이미지 센서(11)는 3D 디스플레이(17)를 통해 보는 사람의 왼쪽에 이미지들을 디스플레이하기 위한 m(m은 자연수)개의 레프트 이미지들(LI)을 생성할 수 있다. 제2이미지 센서(13)는 3D 디스플레이(17)를 통해 보는 사람의 오른쪽에 이미지들을 디스플레이하기 위한 m개의 라이트 이미지들(RI)을 생성할 수 있다. 레프트 이미지들(LI)은 복수의 이미지들(LI1~LIm)을 포함하고, 라이트 이미지들(RI)은 복수의 이미지들(RI1~RIm)을 포함한다.
한 쌍의 스테레오 이미지들(LI와 RI) 각각은 디지털 신호이다. 실시 예에 따라, 복수의 이미지 센서들의 수는 다양할 수 있다.
메모리(15)는 프로세서(20)에 의해 처리된 한 쌍의 스테레오 이미지들(LI와 RI)을 저장할 수 있다. 메모리(15)는 ROM(read only memory), PROM(programmable read only memory), EPROM(erasable programmable read only memory), EEPROM (electrically erasable programmable read only memory), 플래시 메모리(flash memory), FRAM(ferroelectrics random access memory), MRAM(magnetic random access memory), PRAM(phase change random access memory), NRAM(nano random access memory), SONOS(silicon-oxide-nitride-oxide-silicon), 저항 메모리 (resistive memory) 또는 레이스 트랙 메모리(racetrack memory)로 구현될 수 있다.
프로세서(20)는 복수의 이미지 센서들(11과 13)로부터 출력된 한 쌍의 스테레오 이미지들(LI와 RI)을 수신하고, 3D 디스플레이(17)에 한 쌍의 스테레오 이미지들(LI와 RI)을 디스플레이하기 위해 이미지 처리 동작을 수행한다. 실시 예에 따라, 프로세서(20)는 이미지 신호 프로세서(image signal processor(ISP))라고 불릴 수 있다.
프로세서(20)는 특징 점 검출 블록(21), 특징 점 비교기(27), 깊이 정보 추정기(29), 및 기초 행렬(fundamental matrix(FM)) 계산기(31)를 포함할 수 있다.
특징 점 검출 블록(21)은 m개의 레프트 이미지들(LI) 각각과 m개의 라이트 이미지들(RI) 각각을 서브 영역들로 나눈다.
특징 점 검출 블록(21)은 제1특징 점 검출기(23)와 제2특징 점 검출기(25)를 포함한다. 제1특징 점 검출기(23)는 m개의 레프트 이미지들(LI) 각각을 제1서브 영역들로 나눈다. 제2특징 점 검출기(25)는 m개의 라이트 이미지들(RI) 각각을 제2서브 영역들로 나눈다.
도 3은 도 1에 도시된 특징 점 검출 블록에 의해 복수의 서브 영역들로 나누어진 복수의 이미지들의 일 실시 예를 나타낸다.
도 1 내지 도 3을 참조하면, 복수의 레프트 이미지들(LI) 각각은 특징 점 검출 블록(21)에 의해 제1서브 영역들(SR1~SR5)로 나뉜다. 복수의 라이트 이미지들 (RI) 각각은 특징 점 검출 블록(21)에 의해 제2서브 영역들(SR1'~SR5')로 나뉜다.
제1서브 영역들(SR1~SR5)과 제2서브 영역들(SR1'~SR5')은 같은 수, 같은 위치, 또는 같은 모양을 가질 수 있다. 제1서브 영역들(SR1~SR5) 각각과 제2서브 영역들(SR1'~SR5') 각각은 서로 대응된다.
실시 예에 따라, 제1서브 영역들(SR1~SR5)과 제2서브 영역들(SR1'~SR5')의 수, 위치, 또는 모양은 서로 달라질 수 있다.
도 4는 도 1에 도시된 특징 점 검출 블록에 의해 복수의 서브 영역들로 나누어진 복수의 이미지들의 다른 실시 예를 나타낸다.
도 1, 도 2, 및 도 4를 참조하면, 복수의 레프트 이미지들(LI) 각각은 특징 점 검출 블록(21)에 의해 서브 영역들(SR1-1~SR1~4)로 나뉜다. 복수의 라이트 이미지들(RI) 각각은 특징 점 검출 블록(21)에 의해 서브 영역들(SR1-1'~SR1~4')로 나뉜다.
상술한 바와 같이, 서브 영역들(SR1-1과 SR1', SR1-2과 SR1-2', SR1-3과 SR1-3', 및 SR1-4와 SR1-4')는 서로 대응된다.
도 5는 도 1에 도시된 특징 점 검출 블록에 의해 검출된 특징 점들이 포함된 복수의 이미지들을 나타낸다.
도 1 내지 도 3, 및 도 5를 참조하면, 특징 점 검출 블록(21)은 한 쌍의 스테레오 이미지들(LI와 RI) 중에서 제1레프트 이미지(LI1)와 제2라이트 이미지(RI1) 각각에서 복수의 특징 점들을 검출할 수 있다.
제1특징 점 검출기(23)는 제1레프트 이미지(LI1)에서 복수의 특징 점들을 검출할 수 있다. 제2특징 점 검출기(25)는 제2라이트 이미지(RI1)에서 복수의 특징 점들을 검출할 수 있다.
특징 점들은 이미지 처리를 위해 한 쌍의 이미지들(LI과 RI)에서 흥미로운 부분(interesting part)이다. 예컨대, 특징 점들은 SIFT(scale invariant feature transform) 또는 SURF(speeded up robust feature)와 같은 알고리즘에 의해 검출될 수 있다.
특징 점 검출 블록(21)은 SIFT 또는 SURF와 같은 알고리즘을 구현하기 위해 설계될 수 있다. 실시 예에 따라, 특징 점 대신에 특징 영역(feature region)이 검출될 수 있다. 예컨대, 상기 특징 영역은 에지(edge) 또는 모서리(corner)일 수 있다.
도 6은 도 3에 도시된 복수의 서브 영역들 각각과 대응되는 각각의 제1문턱 값이 포함된 복수의 이미지들을 나타낸다. 설명의 편의를 위해, 도 6에서 복수의 서브 영역들과 각각의 제1문턱 값만이 도시되었다.
도 1, 도 5, 및 도 6을 참조하면, 복수의 제1서브 영역들(SR1~SR5) 각각은 각각의 제1문턱 값(α1 t~αN t)을 포함한다. 복수의 제2서브 영역들(SR1'~SR5') 각각은 각각의 제1문턱 값(α1 t~αN t)을 포함한다.
복수의 제1서브 영역들(SR1~SR5) 각각에 대응되는 제1문턱 값들(α1 t~αN t) 각각과 복수의 제2서브 영역들(SR1'~SR5') 각각에 대응되는 제1문턱 값들(α1 t~αN t)각각은 서로 같을 수 있다.
αk t에서 아래 첨자 k는 서브 영역들의 순서를 나타내며, 윗 첨자 t는 이미지 순서를 나타낸다. 예컨대, α2 1는 첫 번째 왼쪽 이미지 또는 첫 번째 오른쪽 이미지에서 두 번째 서브 영역의 문턱 값을 나타낸다.
도 7은 도 3에 도시된 복수의 서브 영역들 각각과 대응되는 각각의 제1문턱 값이 포함된 복수의 이미지들의 일 실시 예를 나타낸다. 설명의 편의를 위해 도 7에서 복수의 서브 영역들과 각각의 제1문턱 값만이 도시되었다.
도 1, 및 도 5 내지 도 7을 참조하면, 각각의 제1문턱 값(α1 t~ αN t)은 복수의 제1서브 영역들(SR1~SR5) 각각에 따라 서로 다른 값을 가질 수 있다. 실시 예에 따라, 각각의 제1문턱 값(α1 t~ αN t)은 복수의 제2서브 영역들(SR1'~SR5') 각각에 따라 서로 다른 값을 가질 수 있다.
도 8은 도 6에 도시된 각각의 제1문턱 값에 따른 특징 점들이 포함된 복수의 이미지들을 나타낸다.
도 1, 및 도 5 내지 도 8을 참조하면, 특징 점 검출 블록(21)은 각각의 제1문턱 값(α1 t~ αN t)에 따라 제1레프트 이미지(LI1)와 제1라이트 이미지(RI1) 각각에서 검출된 특징 점들 중에서 좋지 못한(poor) 특징 점을 제거한다.
예컨대, 각 서브 영역(SR1과 SR1')에서 검출된 특징 점들 중에서 문턱 값(α1 1)보다 작은 값을 갖는 특징점 들이 제거된다. 유사하게, 각 서브 영역(SR3과 SR3')에서 검출된 특징 점들 중에서 문턱 값(α3 1)보다 작은 값을 갖는 특징점 들이 제거된다.
이와 같은 방법으로, 제1서브 영역들(SR1~SR5) 각각과 제2서브 영역 (SR1'~SR5') 각각에서 검출된 특징 점들 중에서 제1문턱 값들(α1 t~ αN t) 각각 보다 작은 값을 가지는 특징 점들이 제거된다.
상기 특징 점들 각각의 값은 SIFT 알고리즘에서 2차 테일러 전개식의 값(the value of the second order Taylor expansion)일 수 있다.
각각의 제1이미지(LI1과 RI1)에서 남은 특징 점들의 수에 따라 각각의 제1문턱 값(α1 t~ αN t)이 업데이트된다. 예컨대, 각각의 이미지(LI1와 RI1)의 복수의 서브 영역들(SR1~SR5, 및 SR1'~SR5') 각각과 대응되는 제1문턱 값들(α1 t~ αN t ; N은 5) 각각이 14, 12, 12, 17, 및 19이고, 각 서브 영역(SR1~SR5)에서 특징 점들의 개수가 10개에서 20개 사이의 범위를 갖는다고 가정한다.
제1문턱 값(α1 t)에 따라 제1이미지(LI1)의 제1서브 영역(SR1)의 특징 점들이 7개가 검출될 때, 제1문턱 값(α1 t)은 14보다 더 작은 값을 가지도록 업데이트된다. 또한, 제1문턱 값(α2 t)에 따라 제1이미지(LI1)의 제2서브 영역(SR2)의 특징 점들이 22개가 검출될 때, 제1문턱 값(α2 t)은 12보다 더 큰 값을 가지도록 업데이트된다.
업데이트된 각각의 제1문턱 값(α1 t+1~ αN t +1)은 다음 스테레오 이미지들에서 특징 점들을 검출하기 위해 사용된다.
도 9는 도 1에 도시된 특징 점 비교기에 의해 매칭된 특징 점들이 포함된 복수의 이미지들을 나타낸다. 설명의 편의를 위해, 도 9에서 복수의 서브 영역들과 특징 점들만이 도시되었다.
도 1 및, 도 5 내지 도 9를 참조하면, 특징 점 검출 블록(21)에 의해 각각의 제1이미지(LI1과 RI1)에서 특징 점들이 검출될 때, 상기 특징 점들 각각에서 특징 벡터(feature vector)가 생성된다. 실시 예에 따라 특징 벡터는 특징 설명어 (feature descriptor)라고 호칭될 수 있다.
상기 특징 벡터는 강도들의 리스트(list of intensities)로 표현될 수 있다. 실시 예에 따라, 상기 특징 벡터는 컬러 또는 텍스쳐(texture)의 리스트로 표현될 수 있다. 또한, 실시 예에 따라 상기 특징 벡터는 히스토그램을 이용하여 표현될 수 있다.
특징 점 비교기(27)는 이미지들(LI1와 RI1) 각각에서 각각의 특징 벡터를 매칭한다. 특징 점 비교기(27)는 왼쪽 이미지(LI1)의 특징 점의 특징 벡터와 오른쪽 이미지(RI1)의 특징 벡터들을 비교하고, 비교 결과에 따라 각각의 유사도 (similarity) 값(예컨대, S1, S2, 및 S3)을 계산한다. 각각의 유사도 값(S1, S2, 및 S3)은 평균 제곱 오차(mean square error)를 이용하여 계산될 수 있다.
예컨대, 특징 점 비교기(27)는 왼쪽 이미지(LI1)의 제3서브 영역(SR3)에서 검출된 특징 점의 특징 벡터와, 각각의 유사도 값(S1, S2 및 S3) 중 가장 큰 유사도 값(예컨대, S2)을 가지는 특징 벡터를 매칭한다.
특징 점 비교기(27)는 왼쪽 이미지(LI1)의 제1서브 영역(SR1)에서 검출된 특징 점의 특징 벡터와, 각각의 유사도 값(S4, S5 및 S6) 중 가장 큰 유사도 값(예컨대, S5)을 가지는 특징 벡터를 매칭한다. 각각의 유사도 값(S4, S5 및 S6)도 평균 제곱 오차를 이용하여 계산될 수 있다.
특징 점 비교기(27)는 가장 큰 유사도 값들(예컨대, S2와 S5) 각각과 제2문턱 값(βt)을 비교하여 점 대응을 찾는다. 즉, 특징 벡터들이 매칭되더라도 가장 큰 유사도 값들(예컨대, S2와 S5) 중 제2문턱 값(βt)보다 작은 유사도 값(예컨대, S2)을 가지는 특징 점들은 특징 점 비교기(27)에 의해 제거된다.
βt에서 위 첨자 t는 복수의 이미지들(LI 또는 RI)에서 이미지 순서를 나타낸다. 따라서, 특징 점 비교기(27)는 매칭된 특징 점 각각으로부터 점 대응을 찾을 수 있다.
상기 점 대응에 따라 제2문턱 값(βt)은 업데이트된다. 예컨대, 상기 점 대응의 개수가 너무 많을 때, 제2문턱 값(βt)은 더 큰 값을 가지도록 업데이트된다. 상기 점 대응의 개수가 너무 적을 때, 제2문턱 값(βt)은 더 작은 값을 가지도록 업데이트된다. 업데이트된 제2문턱 값(βt+1)은 다음 스테레오 이미지들에서 점 대응을 찾기 위해 이용된다.
도 1을 참조하면, 깊이 정보 추정기(29)은 점 대응을 이용하여 스테레오 이미지들에서 깊이 정보를 추정한다.
기초 행렬(fundamental matrix) 계산기(31)는 상기 점 대응을 이용하여 기초 행렬을 계산한다. 상기 기초 행렬은 보정되지 않은 이미지 센서들(11과 13)로부터 출력되는 한 쌍의 스테레오 이미지들의 대응 점들 사이에 기하학적 관계(geometric relationship)를 설명하기 위해 이용된다.
도 10은 도 1에 도시된 프로세서의 동작 방법을 설명하기 위한 흐름도의 일 실시 예를 나타낸다.
도 1 내지 도 10을 참조하면, 특징 점 검출 블록(21)은 왼쪽 이미지들(LI) 각각을 제1서브 영역들(SR1~SR5)로 나누고, 오른쪽 이미지들(RI) 각각을 제2서브 영역들(SR1'~SR5')로 나눈다(S10).
제1특징 점 검출기(23)는 왼쪽 이미지들(LI) 각각을 제1서브 영역들 (SR1~SR5)로 나눈다. 제2특징 점 검출기(25)는 오른쪽 이미지들(RI) 각각을 제2서브 영역들(SR1'~SR5')로 나눈다.
특징 점 검출 블록(21)은 왼쪽 이미지들(LI) 중 i번째 왼쪽 이미지(예컨대, LI1)에서 서브 영역들(SR1~SR5) 각각과 대응되는 각각의 제1문턱 값(α1 t~ αN t)에 따라 특징 점들(feature points)을 검출하고, 오른쪽 이미지들(RI) 중 i번째 오른쪽 이미지(예컨대, RI1)에서 서브 영역들(SR1'~SR5') 각각과 대응되는 각각의 제1문턱 값(α1 t~ αN t)에 따라 특징 점들을 검출하는 검출 동작을 수행한다(S20).
각각의 제1문턱 값(α1 t~ αN t)은 제1서브 영역들(SR1~SR5) 각각과 대응된다. 각각의 제1문턱 값(α1 t~ αN t)은 서로 다른 값을 가질 수 있다.
제1특징 점 검출기(23)는 i번째 왼쪽 이미지(예컨대, LI1)에서 특징 점들을 검출하고, 각각의 제1문턱 값(α1 t~ αN t)보다 작은 값을 가지는 특징 점들을 제거한다. 제2특징 점 검출기(25)는 i번째 오른쪽 이미지(예컨대, RI1)에서 특징 점들을 검출하고, 각각의 제1문턱 값(α1 t~ αN t)보다 작은 값을 가지는 특징 점들을 제거한다.
남은 특징 점들의 개수에 따라 각각의 제1문턱 값(α1 t~ αN t)은 업데이트된다. 업데이트된 각각의 제1문턱 값(α1 t+1~ αN t +1)은 (i+1)번째 스테레오 이미지들 각각에서 특징 점들을 검출하기 위해 이용된다.
특징 점 비교기(27)는 각각의 i번째 이미지(예컨대, LI1과 RI1)에서 상기 특징 점들을 매칭하는 매칭 동작을 수행한다(S30).
특징 점 비교기(27)는 이미지들(LI1와 RI1)에서 각각의 특징 벡터를 비교하고, 비교 결과에 따라 각각의 유사도(similarity) 값(예컨대, S1, S2 및 S3)을 계산한다. 특징 점 비교기(27)는 오른쪽 이미지(RI1)에서 가장 큰 유사도 값(예컨대, S2)을 가지는 특징 벡터를 왼쪽 이미지(LI1)에서 특징 벡터와 매칭한다.
특징 점 비교기(27)는 제2문턱 값(βt)에 따라 상기 매칭된 특징 점들에서 점 대응을 찾는다(S40).
특징 점 비교기(27)는 가장 큰 유사도 값들(예컨대, S2와 S5) 각각과 제2문턱 값(βt)을 비교하여 점 대응을 찾는다. 특징 벡터들이 매칭되더라도 가장 유사도 값들(예컨대, S2와 S5) 중 제2문턱 값(βt)보다 작은 유사도 값(예컨대, S2)을 가지는 특징 점은 제거된다. 즉, 특징 점 비교기(27)는 점 대응을 찾는다.
상기 점 대응에 따라 제2문턱 값(βt)은 업데이트된다. 상기 업데이트된 제2문턱 값(βt+1)은 (i+1)번째 스테레오 이미지들에서 점 대응을 찾기 위해 이용된다.
상기 검출 동작과 상기 매칭 동작은 m번째 스테레오 이미지들(LI와 RI)까지 반복적으로 수행된다(S50).
깊이 정보 추정기(29)은 상기 점 대응을 이용하여 스테레오 이미지들에서 깊이 정보를 추정한다(S60).
기초 행렬 계산기(31)는 상기 점 대응을 이용하여 기초 행렬을 계산한다(S70).
도 11은 도 1에 도시된 프로세서의 동작 방법의 다른 실시 예를 설명하기 위한 흐름도를 나타낸다.
도 1 내지 도 9, 및 도 11을 참조하면, 특징 점 검출 블록(21)은 왼쪽 이미지들(LI) 각각과 오른쪽 이미지들(RI) 각각을 제1서브 영역들(SR1~SR5)과 제2서브 영역들(SR1'~SR5')로 나눈다(S100).
특징 점 검출 블록(21)은 각 이미지(LI와 RI)마다 업데이트된 제1문턱 값들(α1 t~ αN t)에 따라 특징 점들(feature points)을 검출하는 검출 동작을 수행한다(S110).
특징 점 비교기(27)는 각 이미지들(LI와 RI)에서 특징 점들을 매칭한다(S120).
특징 점 비교기(27)는 각 이미지들(LI와 RI)에 대해 업데이트된 제2문턱 값(βt)에 따라 상기 매칭된 특징 점들에서 점 대응을 찾는다(S130).
상기 점 대응을 이용하여 스테레오 이미지들에서 깊이 정보가 추정되거나 상기 점 대응을 이용하여 기초 행렬이 계산될 수 있다.
본 발명은 도면에 도시된 일 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100; 스테레오 이미지 시스템
11, 13; 복수의 이미지 센서들
20; 프로세서
21; 특징 점 검출 블록
27; 특징 점 비교기
29; 깊이 정보 추정기
31; 기초 행렬 계산기
15; 메모리
17; 3D 디스플레이
101; 버스

Claims (10)

  1. 제1왼쪽 이미지를 제1서브 영역들로 나누고, 제1오른쪽 이미지를 제2서브 영역들로 나누는 단계;
    상기 제1서브 영역들 각각에 대응되는 제1문턱 값들 각각에 따라 제1특징 점들(feature points)을 검출하고, 상기 제2서브 영역들 각각에 대응되는 상기 제1문턱 값들 각각에 따라 제2특징 점들을 검출하는 단계; 및
    상기 제1특징 점들 각각과 상기 제2특징 점들 각각을 매칭하고, 매칭된 특징점들 각각으로부터 점 대응(point correspondences)을 찾는 단계를 포함하는 점 대응을 찾기 위한 방법.
  2. 제1항에 있어서, 상기 점 대응을 찾는 단계는,
    상기 제1특징 점들 각각의 제1특징 벡터와 상기 제2특징 점들 각각의 제2특징 벡터를 서로 비교하는 단계; 및
    상기 비교 결과와 제2문턱 값에 따라 상기 매칭된 특징 점들에서 상기 점 대응을 찾는 단계를 포함하는 점 대응을 찾기 위한 방법.
  3. 제1항에 있어서, 상기 점 대응을 찾기 위한 방법은,
    상기 제1왼쪽 이미지 또는 상기 제2오른쪽 이미지에서 상기 검출된 특징 점들에 따라 상기 각각의 제1문턱 값을 업데이트하는 단계를 더 포함하는 점 대응을 찾기 위한 방법.
  4. 제1항에 있어서, 상기 점 대응을 찾기 위한 방법은,
    제2왼쪽 이미지와 제2오른쪽 이미지 각각에서 상기 각각의 업데이트된 제1문턱 값에 따라 특징 점들을 검출하는 단계를 더 포함하는 점 대응을 찾기 위한 방법.
  5. 제2항에 있어서, 상기 점 대응을 찾기 위한 방법은,
    상기 점 대응에 따라 상기 제2문턱 값을 업데이트하는 단계를 더 포함하는 점 대응을 찾기 위한 방법.
  6. 제5항에 있어서, 상기 점 대응을 찾기 위한 방법은,
    제2왼쪽 이미지와 제2오른쪽 이미지 각각에서 특징 점들을 검출하는 단계; 및
    상기 제2왼쪽 이미지와 상기 제2오른쪽 이미지 각각에서 상기 특징 점들을 매칭하고, 상기 업데이트된 제2문턱 값에 따라 상기 매칭된 특징 점들에서 점 대응을 찾는 단계를 더 포함하는 점 대응을 찾기 위한 방법.
  7. 제1항에 있어서, 상기 점 대응을 찾기 위한 방법은,
    상기 점 대응을 이용하여 상기 제1왼쪽 이미지와 상기 제1오른쪽 이미지에서 깊이 정보를 추정하는 단계를 더 포함하는 점 대응을 찾기 위한 방법.
  8. 한 쌍의 스테레오 이미지들 각각을 서브 영역들로 나누고, 상기 서브 영역들 각각에 포함된 각각의 제1문턱 값에 따라 상기 한 쌍의 스테레오 이미지들 중 각각의 i번째 이미지에서 특징 점들을 검출하는 특징 점 검출 블록; 및
    상기 각각의 i번째 이미지에서 상기 특징 점들을 매칭하고, 제2문턱 값에 따라 상기 매칭된 특징 점들에서 점 대응을 찾는 특정 점 비교기를 포함하는 프로세서.
  9. 한 쌍의 스테레오 이미지들을 수신하는 이미지 센서들; 및
    제8항의 프로세서를 포함하는 스테레오 이미지 처리 시스템.
  10. 제9항에 있어서, 상기 스테레오 이미지 처리 시스템은,
    3D 디스플레이 장치인 스테레오 이미지 처리 시스템.
KR1020120051697A 2012-05-15 2012-05-15 점 대응을 찾기 위한 방법, 상기 방법을 수행할 수 있는 장치, 및 이를 포함하는 시스템 KR20130127868A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120051697A KR20130127868A (ko) 2012-05-15 2012-05-15 점 대응을 찾기 위한 방법, 상기 방법을 수행할 수 있는 장치, 및 이를 포함하는 시스템
US13/795,336 US20130307936A1 (en) 2012-05-15 2013-03-12 Method of finding point correspondences, device for performing the method, and system including the device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120051697A KR20130127868A (ko) 2012-05-15 2012-05-15 점 대응을 찾기 위한 방법, 상기 방법을 수행할 수 있는 장치, 및 이를 포함하는 시스템

Publications (1)

Publication Number Publication Date
KR20130127868A true KR20130127868A (ko) 2013-11-25

Family

ID=49580989

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120051697A KR20130127868A (ko) 2012-05-15 2012-05-15 점 대응을 찾기 위한 방법, 상기 방법을 수행할 수 있는 장치, 및 이를 포함하는 시스템

Country Status (2)

Country Link
US (1) US20130307936A1 (ko)
KR (1) KR20130127868A (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2703314A1 (en) * 2009-05-06 2010-11-06 University Of New Brunswick Method of interest point matching for images
CN102859555B (zh) * 2011-01-13 2016-04-20 松下知识产权经营株式会社 图像处理装置及图像处理方法
WO2012168322A2 (en) 2011-06-06 2012-12-13 3Shape A/S Dual-resolution 3d scanner
JP6230345B2 (ja) * 2013-09-06 2017-11-15 キヤノン株式会社 画像処理方法、画像処理装置、及びプログラム
JP6699902B2 (ja) * 2016-12-27 2020-05-27 株式会社東芝 画像処理装置及び画像処理方法
JP7227969B2 (ja) * 2018-05-30 2023-02-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 三次元再構成方法および三次元再構成装置
CN110895699B (zh) * 2018-09-12 2022-09-13 北京字节跳动网络技术有限公司 用于处理图像的特征点的方法和装置
CN109842791B (zh) * 2019-01-15 2020-09-25 浙江舜宇光学有限公司 一种图像处理方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4995091A (en) * 1989-10-25 1991-02-19 Mazda Motor Manufacturing (Usa) Corporation Method of and apparatus for detecting objects in an assembly line
GB9201006D0 (en) * 1992-01-17 1992-03-11 Philip Electronic And Associat Classifying faces
US6804380B1 (en) * 2000-05-18 2004-10-12 Leica Geosystems Hds, Inc. System and method for acquiring tie-point location information on a structure
US7054850B2 (en) * 2000-06-16 2006-05-30 Canon Kabushiki Kaisha Apparatus and method for detecting or recognizing pattern by employing a plurality of feature detecting elements
US8508580B2 (en) * 2009-07-31 2013-08-13 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3D) images of a scene
US9380292B2 (en) * 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
US8571350B2 (en) * 2010-08-26 2013-10-29 Sony Corporation Image processing system with image alignment mechanism and method of operation thereof
JP5792662B2 (ja) * 2011-03-23 2015-10-14 シャープ株式会社 視差算出装置、距離算出装置及び視差算出方法

Also Published As

Publication number Publication date
US20130307936A1 (en) 2013-11-21

Similar Documents

Publication Publication Date Title
KR20130127868A (ko) 점 대응을 찾기 위한 방법, 상기 방법을 수행할 수 있는 장치, 및 이를 포함하는 시스템
US11132809B2 (en) Stereo matching method and apparatus, image processing apparatus, and training method therefor
CN109829875B (zh) 用于估计视差的方法和装置
US9875545B2 (en) Camera pose estimation apparatus and method
JP6760957B2 (ja) ３次元モデリング方法及び装置
US9020251B2 (en) Image processing apparatus and method
US10853960B2 (en) Stereo matching method and apparatus
US20130004079A1 (en) Image processing apparatus, image processing method, and program thereof
US11145080B2 (en) Method and apparatus for three-dimensional object pose estimation, device and storage medium
JP6679858B2 (ja) 対象の遮蔽を検出する方法と装置
KR101551576B1 (ko) 로봇 청소기, 제스쳐 인식 장치 및 방법
US11657485B2 (en) Method for expanding image depth and electronic device
CN111382637A (zh) 行人检测跟踪方法、装置、终端设备及介质
Prakhya et al. Detecting keypoint sets on 3D point clouds via Histogram of Normal Orientations
US10097808B2 (en) Image matching apparatus and method thereof
Zhu et al. Infrared small target detection using local feature-based density peaks searching
KR101515926B1 (ko) 객체 검출방법 및 이를 이용한 검출장치
KR102126722B1 (ko) 3차원 피사체 인식의 안티-스푸핑 방법
TW201421423A (zh) 影像感測器及其運作方法
US10210414B2 (en) Object detection system and computer program product
KR101756352B1 (ko) 확장성 국부 이진 패턴을 이용한 이미지 내 얼굴의 연령 추정 방법
Aglave et al. Implementation Of High Performance Feature Extraction Method Using Oriented Fast And Rotated Brief Algorithm
KR101436695B1 (ko) 깊이 영상을 이용한 손 검출 장치 및 방법
Qi et al. Feature points matching based on geometric constraints
JP6668740B2 (ja) 道路面推定装置

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid