KR101088722B1 - 물체의 깊이 검출 방법 및 장치 - Google Patents

물체의 깊이 검출 방법 및 장치 Download PDF

Info

Publication number
KR101088722B1
KR101088722B1 KR1020090115288A KR20090115288A KR101088722B1 KR 101088722 B1 KR101088722 B1 KR 101088722B1 KR 1020090115288 A KR1020090115288 A KR 1020090115288A KR 20090115288 A KR20090115288 A KR 20090115288A KR 101088722 B1 KR101088722 B1 KR 101088722B1
Authority
KR
South Korea
Prior art keywords
image
depth
correlation
unit
reference image
Prior art date
Application number
KR1020090115288A
Other languages
English (en)
Other versions
KR20110058476A (ko
Inventor
김은수
김승철
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020090115288A priority Critical patent/KR101088722B1/ko
Publication of KR20110058476A publication Critical patent/KR20110058476A/ko
Application granted granted Critical
Publication of KR101088722B1 publication Critical patent/KR101088722B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/3504—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light for analysing gases, e.g. multi-gas analysis
    • G01N2021/3509—Correlation method, e.g. one beam alternating in correlator/sample field
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/59—Transmissivity
    • G01N21/5907—Densitometers
    • G01N2021/5957—Densitometers using an image detector type detector, e.g. CCD

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명의 일 실시예에 따른 깊이 검출 장치는 물체를 촬영하여 참조 영상을 생성하는 제1 픽업부, 상기 참조 영상을 복원하여 깊이 별 평면 복원 영상을 생성하는 복원부,상기 평면 복원 영상을 픽업하여 대상 영상을 생성하는 제2 픽업부, 상기 참조 영상과 상기 대상 영상의 단위 블록 간의 상관도를 산출하는 상관도 산출부, 상기 참조 영상의 단위 블록에 상응하는 상기 상관도 중 최대값인 최대 상관도를 검출하는 최대 상관도 검출부, 각 깊이에 상응하는 최대 상관도 검출 횟수를 산출하고, 상기 깊이 중 상기 최대 상관도 검출 횟수가 최대인 깊이를 상기 물체의 깊이로 검출하는 깊이 검출부를 포함한다. 본 발명의 일 실시예에 따르면, 미리 저장된 참조 영상 없이 3차원 영상에 포함된 물체의 깊이를 제공함으로써, 참조 영상이 미리 준비되지 않은 물체에 대한 깊이를 추출할 수 있다.
물체 인식, 참조 영상, 3차원.

Description

물체의 깊이 검출 방법 및 장치{Method and apparatus for detecting depth of object}
본 발명은 3차원 영상 기술에 관한 것으로, 상세하게는 3차원 영상에 포함된 물체의 깊이 검출 방법 및 장치에 관한 것이다.
최근 3차원 물체 인식에 관한 연구 및 시스템 구현에 대해 많은 연구가 진행되고 있다. 특히 3차원 물체 인식을 위해 3차원 영상을 기록하고 복원할 수 있는 집적영상 기술이 도입되고 있다.
집적영상 기술은 픽업과 복원 과정을 포함한다. 픽업 과정은 3차원 물체에 대한 렌즈 배열을 통하여 요소 영상 배열(EIA : Elemental Image Array)의 형태로 저장하는 단계이다.
복원 과정은 요소 영상 배열을 디스플레이하고, 다시 렌즈 배열을 통과시켜 원래의 위치에 3차원 영상을 복원하는 단계이다.
복원 과정을 거친 3차원 영상은 깊이 별 평면 영상으로 표현할 수 있다. 이 때, 종래 물체 인식 방법은 각 평면 영상들과 특정 물체를 나타내는 참조 영상 간의 코릴레이션을 이용하여 3차원 영상에 포함된 참조 영상이 나타내는 물체를 인식한다.
이러한 물체 인식 방법은 참조 영상을 미리 저장하여야 하는 제약이 있다.
본 발명이 해결하고자 하는 과제는 집적 영상을 복원한 평면 복원 영상을 컴퓨터적 픽업 방법을 이용하여 다시 픽업함으로써, 미리 저장된 참조 영상 없이 물체의 깊이를 제공하는 것이다.
본 발명이 제시하는 이외의 기술적 과제들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 물체를 촬영하여 참조 영상을 생성하는 제1 픽업부;상기 참조 영상을 복원하여 깊이 별 평면 복원 영상을 생성하는 복원부; 상기 평면 복원 영상을 픽업하여 대상 영상을 생성하는 제2 픽업부; 상기 참조 영상과 상기 대상 영상의 단위 블록 간의 상관도를 산출하는 상관도 산출부; 상기 참조 영상의 단위 블록에 상응하는 상기 상관도 중 최대값인 최대 상관도를 검출하는 최대 상관도 검출부; 및 각 깊이에 상응하는 최대 상관도 검출 횟수를 산출하고, 상기 깊이 중 상기 최대 상관도 검출 횟수가 최대인 깊이를 상기 물체의 깊이로 검출하는 깊이 검출부를 포함하는 깊이 검출 장치가 제공된다.
본 발명의 다른 측면에 따르면, 깊이 검출 장치가 입체 영상에 포함된 물체의 깊이를 검출하는 방법에 있어서, 물체를 촬영하여 참조 영상을 생성하는 단계;상기 참조 영상을 복원하여 깊이 별 평면 복원 영상을 생성하는 단계;상기 평면 복원 영상을 픽업하여 대상 영상을 생성하는 단계;상기 참조 영상과 상기 대상 영상의 단위 블록 간의 상관도를 산출하는 단계;상기 참조 영상의 단위 블록에 상응하는 상기 상관도 중 최대값인 최대 상관도를검출하는 단계; 및 각 깊이에 상응하는 최대 상관도 검출 횟수를 산출하고, 상기 깊이 중 상기 최대 상관도 검출 횟수가 최대인 깊이를 상기 물체의 깊이로 검출하는 단계를 포함하는 깊이 검출 방법이 제공된다.
본 발명의 일 실시예에 따르면, 미리 저장된 참조 영상 없이 3차원 영상에 포함된 물체의 깊이를 제공함으로써, 참조 영상이 미리 준비되지 않은 물체에 대한 깊이를 추출할 수 있다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발 명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 1은 본 발명의 일 실시예에 따른 깊이 검출 장치를 예시한 도면이다.
도 1을 참조하면, 물체 인식 장치는 렌즈부(110), 광학 픽업부(120), 복원부(140), 컴퓨터 픽업부(150), 상관도 산출부(160), 최대 상관도 검출부(170) 및 깊이 검출부(180)를 포함한다.
렌즈부(110)는 집적 영상의 촬상 및 디스플레이를 위한 복수의 렌즈 또는 핀홀 배열을 포함한다.
광학 픽업부(120)는 렌즈부(110)를 투과하여 투사된 빛을 감지하여 영상 데이터를 생성한다. 즉, 광학 픽업부(120)는 렌즈부(110)를 투과하여 투사된 빛을 감지하여 복수의 요소 영상(Elemental Image)를 포함하는 집적 영상인 참조 영상을 생성한다. 이하 참조 영상을 구성하는 요소 영상을 참조 요소 영상이라 지칭한다. 광학 픽업부(120)는 CCD 또는 CMOS를 포함할 수 있다.
복원부(140)는 참조 영상을 컴퓨터적 복원 방법을 이용하여 평면 복원 영상(POI: Plane Object Image)를 생성한다. 이하, 참조 영상을 복원한 평면 복원 영상을 참조 복원 영상이라 지칭하도록 한다.
컴퓨터 픽업부(150)는 복원부(140)에서 복원된 각 평면 복원 영상을 렌즈 배열 또는 핀홀 배열을 통해 생성되는 과정을 시뮬레이션하여 집적 영상을 생성한다. 이하 시뮬레이션을 통해 생성된 집적 영상을 대상 영상이라 지칭하도록 한다. 즉, 컴퓨터 픽업부(150)는 가상의 컴퓨터 그래픽 모델을 렌즈 배열을 통해 감지하는 과정을 가상으로 수행하는 시뮬레이션을 통해 집적 영상을 생성하는 컴퓨터적 픽업 방법을 이용하여, 각 평면 복원 영상에 상응하는 집적 영상인 대상 영상을 생성한다. 이 때, 대상 영상을 구성하는 요소 영상을 대상 요소 영상이라 지칭하도록 한다. 평면 복원 영상의 대상 영상을 생성하는 과정은 추후 도 5를 참조하여 상세히 설명하도록 한다. 컴퓨터 픽업부(150)는 픽업한 대상 영상을 상관도 산출부(160)로 전송한다.
상관도 산출부(160)는 광학 픽업부(120)로부터 참조 영상을 수신하고, 컴퓨터 픽업부(150)로부터 대상 영상을 수신한다.
상관도 산출부(160)는 참조 영상과 이에 상응하는 대상 영상 간의 상관도를 산출한다. 본 실시예에서는 상관도를 NCC(Normalized Cross-Correlation)인 것으로 하여 설명하도록 하지만, 상관도가 NCC 이외의 다른 코릴레이션 방식으로 산출될 수 있음은 당업자에게 자명하다.
상관도 산출부(160)는 대상 영상과 참조 영상 간의 상관도를 하기 수학식 1을 통해 산출할 수 있다.
[수학식 1]
Figure 112009072903936-pat00001
이 때, S는 대상 영상에 포함된 특정 픽셀의 값이고, T는 참조 영상의 포함 된 특정 픽셀의 값이고, S와 T는 동일 좌표에 위치한 픽셀의 값이고, NCC(S, T)는 대상 영상 및 참조 영상의 픽셀 간의 상관도이고, E(T)는 T가 포함된 참조 영상에 포함된 픽셀의 값들의 평균이고, E(S)는 S가 포함된 참조 영상에 포함된 픽셀의 값들의 평균이다.
즉, 상관도 산출부(160)는 수학식 1을 이용하여 깊이 별 대상 영상과 참조 영상에 포함된 동일 좌표의 픽셀 간의 상관도를 산출한다. 상관도 산출부(160)는 산출한 상관도를 위치 검출부(170)로 전송한다.
최대 상관도 검출부(170)는 요소 영상 별 최대 상관도를 검출한다. 예를 들어, 최대 상관도 검출부(170)는 대상 요소 영상 및 참조 요소 영상을 구성하는 각 픽셀 간의 상관도를 그룹화한다. 최대 상관도 검출부(170)는 각 그룹의 상관도 중 최대값인 해당 그룹의 대표 상관도를 산출한다. 즉, 최대 상관도 검출부(170)는 대상 요소 영상과 참조 요소 영상의 짝에 상응하는 대표 상관도를 산출한다. 깊이 검출부(170)는 대표 상관도와 상응하는 참조 요소 영상의 위치가 동일한 대표 상관도끼리 그룹화한다. 이어서, 깊이 검출부(170)는 각 그룹의 대표 상관도 중 최대값인 최대 상관도를 선정한다.
깊이 검출부(180)는 최대 상관도 검출부(170)로부터 검출된 최대 상관도를 분석하여 물체의 깊이를 검출한다. 예를 들어, 깊이 검출부(180)는 최대 상관도 검출부(170)에서 최대 상관도를 검출할 경우, 해당 최대 상관도에 상응하는 깊이의 최대 상관도 검출 횟수를 카운트한다. 이 때, 최대 상관도 검출 횟수는 각 깊이에 상응하는 최대 상관도가 검출된 수이다. 깊이 검출부(170)는 전체 깊이 중 최대 상 관도 검출 횟수가 최대인 깊이를 물체의 깊이로 검출한다.
도 2a는 본 발명의 일 실시예에 따른 픽업 과정을 예시한 도면이고, 도 2b는 본 발명의 일 실시예에 따른 복원 과정을 예시한 도면이다.
도 2a를 참조하면, 3차원 물체로부터 반사된 빛이 렌즈부(110)를 통해 광학 픽업부(120)로 투사되고, 광학 픽업부(120)는 투사된 빛을 CCD 또는 CMOS 등의 센서를 통해 감지하여 디지털 영상을 생성한다. 광학 픽업부(120)가 생성한 영상은 복수의 요소 영상을 포함하는 집적 영상으로 렌즈부(110)를 통해 역투사될 경우, 입체 영상이 디스플레이될 수 있다.
도 2b를 참조하면, 광학 픽업부(120)를 통해 픽업된 영상을 디스플레이 패널(dispaly panel)과 같은 디스플레이 장치를 통해 렌즈부(110)로 집적 영상을 투사하면, 렌즈부(110)의 전면에 입체 영상이 디스플레이될 수 있다.
집적 영상을 복원하는 방법으로는 광학적 집적 영상 복원 방식(OIIR : Optical Integral Imaging Reconstruction) 또는 컴퓨터적 집적 영상 복원 방식(CIIR : Computational Integral Imaging Reconstruction)이 있다.
도 2b에 예시된 복원 방식은 상술한 광학적 집적 영상 복원 방식이다. 광학적 집적 영상 복원 방식은 회적과 수차 등과 같은 광학적 장치의 물리적인 제한에 의해 야기되는 요소 영상들 간의 불충분한 오버랩과 디스플레이된 3차원 영상의 저하된 화질로 인해 저해상도의 3차원 영상이 디스플레이되는 등의 문제점이 있다. 이러한 결점을 보완하기 위해 기하광학의 디지털 시뮬레이션을 통해 컴퓨터로 3차 원 영상을 복원하는 컴퓨터적 집적 영상 복원 방식이 복원 방식으로 사용된다. 이하 컴퓨터적 집적 영상 복원 방식을 도 3을 참조하여 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 컴퓨터적 집적 영상 복원 방식을 예시한 개념도이다.
도 3을 참조하면, 복원부(140)는 핀홀 배열을 통하여 복원 평면으로 집적 영상을 투사한다. 이 때, 핀홀 배열 대신 렌즈 배열을 이용하여 집적 영상을 복원 평면으로 투사할 수 있음은 자명하다. 도 3에 예시된 바와 같이, 복원부(140)는 핀홀 배열로부터 z만큼 떨어진 복원 평면에 투사된 각 요소 영상 간의 일부는 중첩되어 평면 복원 영상(POI)를 생성한다. 이 때, 복원부(140)는 깊이 z를 변경하여 복수의 평면 복원 영상을 생성할 수 있다. 즉, 복원부(140)는 복수의 깊이 별 평면 복원 영상을 생성할 수 있다.
복원부(140)는 상술한 과정을 기하광학에 따른 디지털 시뮬레이션을 통해, 핀홀 배열 또는 렌즈 배열을 이용하지 않고 깊이 별 평면 복원 영상을 생성할 수 있다.
도 4는 본 발명의 일 실시예에 따른 깊이 검출 장치가 물체의 깊이를 검출하는 방법을 예시한 도면이다.
도 4를 참조하면, 렌즈부(110)로부터 거리가 z만큼 떨어진 물체를 광학 픽업부(120)가 픽업하여 참조 영상(410)을 생성한다.
복원부(140)는 도 3을 참조하여 상술한 컴퓨터적 집적 영상 복원 방법(CIIR)을 이용하여 참조 복원 영상(420)을 각 깊이 별로 생성한다.
이어서, 컴퓨터 픽업부(150)는 각 참조 복원 영상을 컴퓨터적 픽업 방법을 이용하여 픽업한다. 즉, 컴퓨터 픽업부(150)는 평면 영상인 참조 복원 영상을 물체로 지정하고, 이를 렌즈 배열을 통해 픽업하는 과정을 가상의 시뮬레이션을 통해 픽업하여 대상 영상(430)을 생성한다. 광학 픽업부(120), 복원부(140) 및 컴퓨터 픽업부(150)의 기능 수행 과정은 추후 도 5를 참조하여 상세히 설명하도록 한다.
상관도 산출부(160)는 참조 영상(410)과 각 대상 영상(430) 간의 상관도를 산출한다.
최대 상관도 검출부(170)는 참조 영상(410)과 각 대상 영상(430)의 상관도 중 최대값인 최대 상관도를 검출한다. 예를 들어, 도 4와 같이 깊이 검출부(170)는 참조 영상(410)의 (4,5)에 위치한 참조 요소 영상과 대상 영상(431)의 (4,5)에 위치한 대상 요소 영상에 포함된 픽셀에 상응하는 상관도의 최대값인 대표 상관도를 검출한다. 깊이 검출부(170)는 참조 영상(410)의 (4,5)에 위치한 참조 요소 영상과 나머지 대상 영상(431)의 (4,5)에 위치한 대상 요소 영상들에 상응하는 대표 상관도를 각각 검출한다. 대표 상관도를 깊이에 따라 그래프로 나타내면 440과 같이 예시된다. 이어서 깊이 검출부(160)는 검출한 대표 상관도 중 최대값인 최대 상관도를 검출한다. 예를 들어, 440에 따르면, 깊이 75mm에서 대표 상관도가 가장 크다. 따라서, 깊이 검출부(170)는 깊이 75mm에 상응하는 최대 상관도를 검출한다.
이 때, 깊이 검출부(180)는 깊이 75mm에 상응하는 최대 상관도의 검출 횟수 를 1 증가시킨다. 깊이 검출부(180)는 상술한 최대 상관도 검출 과정을 모든 요소 영상에 대해서 수행하고, 각 최대 상관도 검출에 따른 깊이 별 최대 상관도의 검출 횟수를 카운트한다. 450과 같이 최대 상관도의 검출 횟수를 깊이에 따른 그래프로 나타낼 수 있다.
깊이 검출부(180)는 최대 상관도 검출 횟수가 가장 큰 깊이를 물체가 위치한 깊이로 검출한다. 예를 들어, 그래프 450에서 최대 상관도 검출 횟수는 75mm에서 가장 크기 때문에, 깊이 검출부(180)는 75mm로 물체의 깊이를 검출할 수 있다.
도 5는 본 발명의 일 실시예에 따른 광학적 픽업 및 컴퓨터 픽업 과정을 예시한 도면이다.
도 5를 참조하면, 광학 픽업부(120)는 렌즈부(110)를 통과한 물체에서 반사된 빛을 감지하여 참조 영상을 생성한다.
이어서, 복원부(140)는 참조 영상을 깊이 zi(i = 1,..., n, n은 임의의 자연수)에 상응하는 평면 복원 영상인 참조 복원 영상을 생성한다.
컴퓨터 픽업부(150)는 복원부(140)로부터 참조 복원 영상을 깊이 zi 에 위치한 평면 물체로 설정하여 픽업 과정을 수행한다. 이 때, 참조 복원 영상은 디지털 데이터 형태이기 때문에 컴퓨터적 픽업 방식을 이용하여 픽업할 수 있다. 즉, 컴퓨터 픽업부(150)는 컴퓨터적 픽업 방식을 이용하여 하나의 참조 복원 영상에 상응하는 하나의 집적 영상인 대상 영상을 생성할 수 있다.
도 1 내지 도 5를 참조하여 상술한 깊이 검출 장치는 요소 영상을 단위로 대표 상관도를 산출하는 것으로 설명하였지만, 구현 방법에 따라 대상 영상 및 참조 영상을 지정된 크기의 블록으로 분할하고, 각 블록 별로 대표 상관도를 산출하여 깊이 검출 과정을 수행할 수 있음은 당업자에게 자명하다.
도 6a는 본 발명의 일 실시예에 따른 요소 영상을 단위로 산출된 대표 상관도를 깊이에 따라 나타낸 그래프이고, 도 6b는 본 발명의 다른 실시예에 따른 요소 영상을 2x2로 분할한 크기의 블록을 단위로 산출된 대표 상관도를 깊이에 따라 나타낸 그래프이다.
도 6a와 같이 요소 영상을 단위로 대표 상관도를 산출하는 방식에 비해, 도 6b는 요소 영상보다 작은 블록 별로 대표 상관도를 생성함으로써, 대표 상관도의 개수가 증가하여 좀 더 정확한 물체의 깊이를 검출할 수 있다.
도 7은 본 발명의 일 실시예에 따른 깊이 검출 장치의 깊이를 검출하는 과정을 예시한 순서도이다.
깊이 검출 장치는 물체를 광학적 픽업 방법을 이용하여 참조 영상을 생성한다(710).
깊이 검출 장치는 참조 영상을 컴퓨터적 집적 영상 복원 방법을 이용하여 평면 복원 영상으로 복원한다(720).
깊이 검출 장치는 컴퓨터적 픽업 방식을 이용하여 복원된 평면 복원 영상을 픽업하여 대상 영상을 생성한다(730). 예를 들어, 깊이 검출 장치는 단계 720에서 복원된 평명 복원 영상 각각을 컴퓨터적 픽업 방식을 이용하여 픽업함으로써, 복수의 대상 영상을 생성한다.
깊이 검출 장치는 대상 영상과 참조 영상 간의 상관도를 산출한다(740). 예를 들어, 깊이 검출 장치는 대상 영상의 각 픽셀과 참조 영상의 픽셀 중 동일한 픽셀 간의 상관도를 산출한다.
깊이 검출 장치는 단위 블록 별로 상관도를 그룹화한다(750). 즉, 깊이 검출 장치는 대상 영상 및 참조 영상의 픽셀을 단위 블록 별로 분할하고, 각 픽셀에 상응하는 상관도를 단위 블록 별로 그룹화한다.
깊이 검출 장치는 단위 블록 별 최대 상관도를 검출하고, 각 깊이에 상응하는 최대 상관도 검출 횟수를 카운트한다(760). 깊이 검출 장치는 단위 블록 별로 그룹화된 상관도 중 최대값을 검출하고, 해당 상관도에 상응하는 깊이에 대한 최대 상관도 검출 횟수에 1을 더한다.
깊이 검출 장치는 최대 상관도 검출 횟수가 가장 큰 깊이를 물체가 위치한 깊이로 검출한다(770).
이제까지 본 발명에 대하여 그 실시 예를 중심으로 살펴보았다. 전술한 실시 예 외의 많은 실시 예들이 본 발명의 특허청구범위 내에 존재한다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이 다. 그러므로 개시된 실시 예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 물체 인식 장치를 예시한 도면.
도 2a는 본 발명의 일 실시예에 따른 픽업 과정을 예시한 도면.
도 2b는 본 발명의 일 실시예에 따른 복원 과정을 예시한 도면.
도 3은 본 발명의 일 실시예에 따른 컴퓨터적 집적 영상 복원 방식을 예시한 개념도.
도 4는 본 발명의 일 실시예에 따른 깊이 검출 장치가 물체의 깊이를 검출하는 방법을 예시한 도면.
도 5는 본 발명의 일 실시예에 따른 광학적 픽업 및 컴퓨터 픽업 과정을 예시한 도면.
도 6a는 본 발명의 일 실시예에 따른 요소 영상을 단위로 산출된 대표 상관도를 깊이에 따라 나타낸 그래프.
도 6b는 본 발명의 다른 실시예에 따른 요소 영상을 2x2로 분할한 크기의 블록을 단위로 산출된 대표 상관도를 깊이에 따라 나타낸 그래프.
도 7은 본 발명의 일 실시예에 따른 깊이 검출 장치의 깊이를 검출하는 과정을 예시한 순서도.

Claims (15)

  1. 물체를 촬영하여 참조 영상을 생성하는 제1 픽업부;
    상기 참조 영상을 복원하여 깊이 별 평면 복원 영상을 생성하는 복원부;
    상기 평면 복원 영상을 픽업하여 대상 영상을 생성하는 제2 픽업부;
    상기 참조 영상과 상기 대상 영상의 단위 블록 간의 상관도를 산출하는 상관도 산출부;
    상기 참조 영상의 단위 블록에 상응하는 상기 상관도 중 최대값인 최대 상관도를검출하는 최대 상관도 검출부; 및
    각 깊이에 상응하는 최대 상관도 검출 횟수를 산출하고, 상기 깊이 중 상기 최대 상관도 검출 횟수가 최대인 깊이를 상기 물체의 깊이로 검출하는 깊이 검출부를 포함하는 깊이 검출 장치.
  2. 제 1항에 있어서,
    렌즈 배열 또는 핀홀 배열을 포함하는 렌즈부를 더 포함하는 깊이 검출 장치.
  3. 제 2항에 있어서,
    상기 제1 픽업부는 상기 렌즈부를 통해 상기 물체를 촬영하여 집적 영상을 생성하는 것을 특징으로 하는 깊이 검출 장치.
  4. 제 1항에 있어서,
    상기 제2 픽업부는 상기 평면 복원 영상을 대상으로 하여 컴퓨터적 픽업 방식을 통해 상기 대상 영상을 생성하는 것을 특징으로 하는 깊이 검출 장치.
  5. 제 1항에 있어서,
    상기 제2 픽업부는 상기 평면 복원 영상 당 하나의 대상 영상을 생성하는 것을 특징으로 하는 깊이 검출 장치.
  6. 제 1항에 있어서,
    상기 최대 상관도 검출 횟수는 상기 각 깊이에 상응하는 상기 최대 상관도가 검출된 횟수인 것을 특징으로 하는 깊이 검출 장치.
  7. 제 1항에 있어서,
    상기 상관도 산출부는 상기 참조 영상 및 상기 대상 영상에서 동일한 위치의 상기단위 블록 간의 상관도를 산출하는 것을 특징으로 하는 깊이 검출 장치.
  8. 제 7항에 있어서,
    상기 상관도 산출부는 상기 참조 영상에 상응하는 상기 단위 블록에 포함된 픽셀들을 상기 대상 영상에 상응하는 상기 단위 블록에 포함된 픽셀과 비교하여 상관도를 산출하고, 상기 픽셀에 상응하는 상관도 중 최대값을 상기 단위 블록 간의 상관도로 산출하는 것을 특징으로 하는 깊이 검출 장치.
  9. 깊이 검출 장치가 입체 영상에 포함된 물체의 깊이를 검출하는 방법에 있어서,
    물체를 촬영하여 참조 영상을 생성하는 단계;
    상기 참조 영상을 복원하여 깊이 별 평면 복원 영상을 생성하는 단계;
    상기 평면 복원 영상을 픽업하여 대상 영상을 생성하는 단계;
    상기 참조 영상과 상기 대상 영상의 단위 블록 간의 상관도를 산출하는 단계;
    상기 참조 영상의 단위 블록에 상응하는 상기 상관도 중 최대값인 최대 상관도를검출하는 단계; 및
    각 깊이에 상응하는 최대 상관도 검출 횟수를 산출하고, 상기 깊이 중 상기 최대 상관도 검출 횟수가 최대인 깊이를 상기 물체의 깊이로 검출하는 단계를 포함하는 깊이 검출 방법.
  10. 제 9항에 있어서,
    상기 참조 영상을 생성하는 단계는 렌즈 배열 또는 핀홀 배열을 통해 상기 물체를 촬영하여 집적 영상을 생성하는 것을 특징으로 하는 깊이 검출 방법.
  11. 제 9항에 있어서,
    상기 대상 영상을 생성하는 단계는 상기 평면 복원 영상을 대상으로 하여 컴퓨터적 픽업 방식을 통해 상기 대상 영상을 생성하는 단계인 것을 특징으로 하는 깊이 검출 방법.
  12. 제 9항에 있어서,
    상기 대상 영상을 생성하는 단계는 상기 평면 복원 영상 당 하나의 대상 영상을 생성하는 단계인 것을 특징으로 하는 깊이 검출 방법.
  13. 제 9항에 있어서,
    상기 최대 상관도 검출 횟수는 상기 각 깊이에 상응하는 상기 최대 상관도가 검출된 횟수인 것을 특징으로 하는 깊이 검출 방법.
  14. 제 9항에 있어서,
    상기 단위 블록 간의 상관도를 산출하는 단계는 상기 참조 영상 및 상기 대상 영상에서 동일한 위치의 상기 단위 블록 간의 상관도를 산출하는 단계인 것을 특징으로 하는 깊이 검출 방법.
  15. 제 14항에 있어서,
    상기 단위 블록 간의 상관도를 산출하는 단계는 상기 참조 영상에 상응하는 상기 단위 블록에 포함된 픽셀들을 상기 대상 영상에 상응하는 상기 단위 블록에 포함된 픽셀과 비교하여 상관도를 산출하고, 상기 픽셀에 상응하는 상관도 중 최대값을 상기 단위 블록 간의 상관도로 산출하는 단계인 것을 특징으로 하는 깊이 검출 방법.
KR1020090115288A 2009-11-26 2009-11-26 물체의 깊이 검출 방법 및 장치 KR101088722B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090115288A KR101088722B1 (ko) 2009-11-26 2009-11-26 물체의 깊이 검출 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090115288A KR101088722B1 (ko) 2009-11-26 2009-11-26 물체의 깊이 검출 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20110058476A KR20110058476A (ko) 2011-06-01
KR101088722B1 true KR101088722B1 (ko) 2011-12-01

Family

ID=44393968

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090115288A KR101088722B1 (ko) 2009-11-26 2009-11-26 물체의 깊이 검출 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101088722B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102083875B1 (ko) 2014-08-11 2020-03-03 한국전자통신연구원 홀로그래픽 영상에 대한 품질 측정 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100781941B1 (ko) 2006-06-30 2007-12-04 강원대학교산학협력단 3차원 영상시스템에서 정치영상 재생 방법 및 재생영상의전체적 깊이 변환 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100781941B1 (ko) 2006-06-30 2007-12-04 강원대학교산학협력단 3차원 영상시스템에서 정치영상 재생 방법 및 재생영상의전체적 깊이 변환 방법

Also Published As

Publication number Publication date
KR20110058476A (ko) 2011-06-01

Similar Documents

Publication Publication Date Title
JP7250709B2 (ja) 畳み込み画像変換を使用して同時位置特定およびマッピングを実施する方法およびシステム
KR102674646B1 (ko) 뷰로부터 거리 정보를 획득하는 장치 및 방법
JP7403528B2 (ja) シーンの色及び深度の情報を再構成するための方法及びシステム
US10366504B2 (en) Image processing apparatus and image processing method for performing three-dimensional reconstruction of plurality of images
JP7337091B2 (ja) 飛行時間カメラの低減された出力動作
US20120242795A1 (en) Digital 3d camera using periodic illumination
KR100891161B1 (ko) 3차원 집적 영상 복원 방식의 위치 검출 방법 및 장치
WO2014044126A1 (zh) 坐标获取装置、实时三维重建系统和方法、立体交互设备
KR20150121179A (ko) 실시간 스테레오 정합
TW201118791A (en) System and method for obtaining camera parameters from a plurality of images, and computer program products thereof
CN111080776B (zh) 人体动作三维数据采集和复现的处理方法及系统
JP2013500536A5 (ko)
TW201225658A (en) Imaging device, image-processing device, image-processing method, and image-processing program
KR101104296B1 (ko) 물체 인식 방법 및 장치
KR100942271B1 (ko) 깊이 정보를 이용한 집적 영상 복원 방법 및 장치
JP6409769B2 (ja) ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
KR101088722B1 (ko) 물체의 깊이 검출 방법 및 장치
JP7312026B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR101100784B1 (ko) 물체 인식 방법 및 장치
KR101289008B1 (ko) 깊이 카메라를 이용한 3차원 집적영상 획득방법 및 디스플레이 장치
JP2018133064A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP2018081378A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
Liu et al. Fusion of depth maps based on confidence
JP2012098207A (ja) 位置計測装置、位置計測方法及びマーカー
KR101093758B1 (ko) 집적 영상 복원 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151125

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161123

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20171106

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191104

Year of fee payment: 9