KR20140077771A - 거리 영상 획득 장치 및 방법 - Google Patents

거리 영상 획득 장치 및 방법 Download PDF

Info

Publication number
KR20140077771A
KR20140077771A KR1020120146896A KR20120146896A KR20140077771A KR 20140077771 A KR20140077771 A KR 20140077771A KR 1020120146896 A KR1020120146896 A KR 1020120146896A KR 20120146896 A KR20120146896 A KR 20120146896A KR 20140077771 A KR20140077771 A KR 20140077771A
Authority
KR
South Korea
Prior art keywords
pattern
image
distance
unit
information
Prior art date
Application number
KR1020120146896A
Other languages
English (en)
Inventor
신호철
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120146896A priority Critical patent/KR20140077771A/ko
Publication of KR20140077771A publication Critical patent/KR20140077771A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

거리 영상 획득 장치가 개시된다. 상기 거리 영상 획득 장치는 서로 다른 기저거리(base-line) 및 위상(phase)을 가지는 복수의 패턴광을 조사하는 패턴 조사부, 상기 복수의 패턴광이 대상물체에서 반사되는 반사광을 이용하여 영상을 촬영하는 영상 촬영부 및 상기 촬영된 영상으로부터 추출된 패턴을 기반으로 상기 패턴의 순열 정보를 구성하고, 상기 패턴의 순열 정보를 기초로 상기 패턴의 시프트(shift) 정도를 결정하여 거리 정보를 추정하고, 상기 거리 정보를 기초로 거리 영상을 획득하는 영상 처리부를 포함한다.

Description

거리 영상 획득 장치 및 방법{APPARATUS AND METHOD FOR ACQUIRING 3D DEPTH IMAGE}
본 발명은 거리 영상(depth image)에 관한 것으로, 보다 상세하게는 다수의 기저거리(base-line) 및 위상 배열 패턴 광원을 사용한 거리 영상 획득 방법 및 장치에 관한 것이다.
3DTV와 같은 3D 관련 분야가 발전함에 따라 사물의 거리 정보를 추출하는 것에 대한 요구가 증대되고 있다.
종래의 물체의 거리 정보 획득 방법에는 두 대의 카메라를 이용하는 스테레오 매칭 방법, 구조광에 기초한 거리 정보 획득 방법, 적외선을 조사하여 돌아오는 시간을 측정하는 거리 정보 획득 방법 등이 있다.
이 중 구조광에 기초한 거리 정보 획득 방법은 특정한 정보를 인코딩 한 패턴광을 물체에 비추고, 패턴광이 물체에 반사된 영상을 카메라로 촬영하며, 촬영된 영상으로부터 패턴을 해석하여 패턴의 위상 변화량으로부터 물체의 거리 정보를 찾는 방법이다.
그러나, 구조광에 기초한 거리 정보 획득 방법은 패턴의 손실로 인해 거리 정보의 정확성 및 신뢰성이 감소하게 된다. 따라서, 손실된 패턴 정보를 계산하여 거리 정보의 정확성 및 신뢰성을 높일 수 있는 방법이 필요하다.
본 발명은 기저거리 및 위상 차이를 가지는 복수의 패턴광을 이용하여 대상물체까지의 거리 영상을 획득하는 장치 및 방법을 제공한다.
본 발명은 손실된 패턴 정보를 계산하여 대상물체까지의 거리 정보를 추정하는 장치 및 방법을 제공한다.
본 발명의 일 양태에 따르면, 거리 영상 획득 장치를 제공한다. 상기 장치는 서로 다른 기저거리(base-line) 및 위상(phase)을 가지는 복수의 패턴광을 조사하는 패턴 조사부, 상기 복수의 패턴광이 대상물체에서 반사되는 반사광을 이용하여 영상을 촬영하는 영상 촬영부 및 상기 촬영된 영상으로부터 추출된 패턴을 기반으로 상기 패턴의 순열 정보를 구성하고, 상기 패턴의 순열 정보를 기초로 상기 패턴의 시프트(shift) 정도를 결정하여 거리 정보를 추정하고, 상기 거리 정보를 기초로 거리 영상을 획득하는 영상 처리부를 포함한다.
다수의 기저거리와 위상 차이를 가지는 병렬 패턴 조사 방식을 사용함으로써 기존의 구조광 등에서 사용하던 고정된 기저거리 및 순차적 패턴 조사 방식에 비해 거리 영상 획득 시간, 거리 영상의 정밀도 및 신뢰도를 크게 향상시킬 수 있다. 또한, 손실된 패턴을 계산하여 거리 정보 추정에 반영함으로써 거리 영상의 품질을 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 거리 영상 획득 장치를 개략적으로 나타낸 블록도이다.
도 2는 본 발명에서 사용하는 위상차를 가지는 패턴의 일예를 나타낸 도면이다.
도 3은 조사된 패턴광이 대상물체에서 반사되는 과정에서 발생할 수 있는 패턴 시프트(shift)의 일예를 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 패턴 조사부와 영상 촬영부의 구성을 개략적으로 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 거리 영상 획득 방법을 개략적으로 나타낸 순서도이다.
이하에서는 첨부한 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 또한 본 발명은 이하에서 설명하는 실시 예에 한정되지 않으며, 본 발명의 기술적 사상의 범위 내에서 여러 가지 상이한 형태로 적용될 수 있다.
본 명세서에서 설명하는 구성요소는 필요에 따라 이하에서 설명할 구성요소 이외의 것을 포함할 수 있으며, 본 발명에 직접적인 연관이 없는 부분 또는 중복되는 내용에 대해서는 자세한 설명을 생략한다. 또한, 본 명세서에서 설명하는 각 구성요소의 배치는 필요에 따라서 조정이 가능하며, 하나의 구성요소가 다른 구성요소에 포함될 수도 있고 하나의 구성요소가 둘 이상의 구성요소로 세분화 될 수도 있다.
도 1은 본 발명의 실시예에 따른 거리 영상 획득 장치를 개략적으로 나타낸 블록도이다.
도 1을 참조하면, 거리 영상 획득 장치(100)는 패턴 조사부(110), 영상 촬영부(120) 및 영상 처리부(130)을 포함한다.
패턴 조사부(110)는 위상(phase)차 및 기저거리(base-line)차를 가지는 복수의 패턴광을 대상물체(105)에 조사한다. 복수의 패턴광은 각각의 패턴을 분리해 낼 수 있도록 서로 다른 위상을 가지는 패턴으로 구성된다. 이때, 복수의 패턴광이 대상물체(105)에 조사되어 패턴의 중첩이 발생하더라도 각 패턴은 복원될 수 있다.
도 2는 본 발명에서 사용하는 위상차를 가지는 패턴의 일예를 나타낸 도면이다. 각 패턴 내 도시된 화살표는 패턴의 위상을 나타낸다.
도 2에 도시된 바와 같이, 패턴 조사부(110)는 서로 다른 위상을 가지는 패턴1(210), 패턴2(220), 패턴3(230), 패턴4(240), …, 패턴n(250)으로 구성된 패턴광을 조사할 수 있다.
패턴 조사부(110)에서 조사되는 패턴의 개수는 거리 영상을 획득하고자 하는 대상물체(105)의 조건 및 거리 영상의 정밀도에 따라 결정될 수 있다.
조사되는 패턴의 개수가 적으면 각각의 패턴이 용이하게 구분될 수 있으나, 거리 영상, 즉 대상물체(105)와의 거리 측정의 정밀도가 낮아질 수 있다. 반면, 조사되는 패턴의 개수가 많아지면 각각의 패턴을 구분하기 위한 계산 시간과 오차가 증가할 수 있으나, 대상물체(105)와의 거리 측정의 정밀도가 향상될 수 있다. 또한, 조사되는 패턴의 크기가 커질수록 패턴이 용이하게 구분될 수 있으나, 거리 영상의 해상도가 낮아질 수 있다. 반면, 조사되는 패턴의 크기가 작아지면 패턴의 구분이 어려우나, 거리 영상의 해상도가 높아질 수 있다. 따라서, 레이저와 DOE(Diffraction Optical Element) 등을 사용하여 패턴을 조사하는 경우에는 대상물체(105)와 거리 영상의 품질을 고려하여 조사되는 패턴의 개수와 크기를 결정할 수 있으며, 빔프로젝터 등의 가변적인 장치를 사용할 경우에는 실시간으로 패턴의 개수와 크기를 결정하여 적용할 수 있다.
다시 도 1을 참조하면, 영상 촬영부(120)는 패턴 조사부(110)에 의해 조사된 복수의 패턴광이 대상물체(105)에서 반사되는 반사광을 이용하여 영상을 촬영한다.
영상 처리부(130)는 영상 촬영부(120)에 의해 촬영된 영상으로부터 추출된 패턴을 기반으로 거리정보를 추정하여 대상물체(105)에 대한 거리 영상(depth image)을 획득한다. 영상 처리부(130)는 패턴 추출부(131), 패턴 조합부(133), 패턴 시프트(shift) 계산부(135), 거리정보 추정부(137) 및 거리영상 획득부(139)를 포함할 수 있다.
패턴 추출부(131)는 영상 촬영부(120)에 의해 촬영된 영상으로부터 패턴을 추출한다. 이때, 패턴 조사부(110)에 의해 조사된 복수의 패턴광은 각각의 위상차를 가지고 있기 때문에, 패턴 추출부(131)는 촬영된 영상으로부터 패턴이 존재하는 지점과 패턴의 위상 정보를 추출할 수 있다. 이러한 패턴 추출 과정을 통해, 영상 촬영부(120)에 의해 촬영된 영상 내 중첩된 패턴들을 각각의 패턴(예를 들어, 패턴1, 패턴2, …, 패턴n)으로 분류할 수 있다. 분류된 패턴(예를 들어, 패턴1, 패턴2, …, 패턴n)은 패턴 조합부(133)와 패턴 시프트 계산부(135)로 입력될 수 있다.
한편, 패턴 조사부(110)에서 조사된 패턴광이 대상물체(105)에서 반사될 때, 패턴 조사부(110)와 영상 촬영부(120) 간의 기저거리 차이 및 대상물체(105)와의 거리 차이에 따라, 도 3에 도시된 것과 같은 패턴이 시프트(shift)되는 현상이 발생한다. 또한, 조사된 패턴광이 대상물체(105)에서 반사되는 과정에서 패턴의 손실이 발생할 수 있으며, 이는 대상물체(105)에 대한 거리 정보를 계산하는데 심각한 오류를 발생시킬 수 있다.
이러한 패턴 손실을 보정하기 위하여, 패턴 조합부(133)는 패턴 추출부(131)에 의해 추출된 패턴을 기초로 가능한 경우의 수를 조합하여 각각의 패턴에 대한 순열 정보를 구성한다. 또한, 패턴 조합부(133)는 순열 정보를 이용하여 특정 패턴이 손실되었는지의 여부를 판단한다.
패턴 시프트 계산부(135)는 패턴 조합부(133)에서 입력된 순열 정보를 기초로 복수의 패턴광이 대상물체(105)에서 반사되면서 각 패턴이 시프트된 양을 계산한다.
거리정보 추정부(137)는 패턴에 대한 순열 정보, 특정 패턴의 손실 및 겹침 영역의 발생 여부에 관한 정보, 각 패턴의 시프트 정보, 패턴 조사부(110)와 영상 촬영부(120) 간의 기저거리에 대한 정보, 영상 촬영부(120)의 초점거리에 대한 정보 등을 사용하여 각 패턴에 대한 거리 정보를 추정한다.
거리영상 획득부(139)는 거리정보 추정부(137)로부터 추정된 각 패턴에 대한 거리 정보를 기초로 대상물체(105)에 대한 종합 거리 정보를 산출하여 거리 영상을 획득한다.
도 3은 조사된 패턴광이 대상물체에서 반사되는 과정에서 발생할 수 있는 패턴 시프트(shift)의 일예를 나타낸 도면이다.
패턴 조사부(110)에서 도 3에 도시된 바와 같은 패턴(310)을 가지는 패턴광을 대상물체(300)에 조사하면, 영상 촬영부(120)가 대상물체(300)에서 반사되는 광을 이용하여 영상(320)을 촬영할 수 있다. 이때, 상술한 바와 같이 패턴광을 조사하는 패턴 조사부와 이를 기초로 대상물체(300)에 대한 영상을 촬영하는 영상 촬영부 간의 기저거리 차이 및 대상물체(300)와의 거리 차이 등에 따라 촬영된 영상(320) 내 패턴이 시프트된 부분(330)이 발생할 수 있다.
본 발명에서는 이러한 패턴 시프트로 인해 발생하는 패턴의 손실을 상술한 바와 같이 패턴 조합 및 패턴 시프트 계산을 통해 보정함으로써, 대상물체(300)에 대한 거리 정보의 정밀도와 신뢰성을 높일 수 있다.
도 4는 본 발명의 일실시예에 따른 패턴 조사부와 영상 촬영부의 구성을 개략적으로 나타낸 도면이다.
도 4를 참조하면, 패턴 조사부(110)는 복수의 패턴광을 조사하기 위한 복수의 패턴 조사기(410, 411, 412, …, 413)를 포함할 수 있고, 영상 촬영부(120)는 영상을 촬영하기 위한 카메라(420)를 포함할 수 있다.
이때, 복수의 패턴 조사기(410, 411, 412, …, 413) 각각은 카메라(420)에 대해 지정된 간격으로 배치될 수 있다. 따라서, 카메라(420)와 패턴 조사기(410, 411, 412, …, 413) 각각 간의 기저거리 차이(d1, d2, d3, …, dn)가 생기게 되며, 패턴 조사기(410, 411, 412, …, 413) 각각은 기저거리 차를 가지는 패턴광을 대상물체에 조사할 수 있다. 상술한 바와 같이, 패턴 조사기(410, 411, 412, …, 413) 각각은 서로 다른 위상의 패턴을 가지는 패턴광을 대상물체에 조사할 수도 있다.
또한, 영상 촬영부(120)는 필요한 경우 제2의 카메라(421)를 더 포함할 수도 있으며, 후술할 도 5의 과정을 역순으로 수행하여 추가적 거리 영상을 획득하여 거리 영상의 정확도와 신뢰도를 향상시킬 수 있다.
한편, 패턴 조사기(410, 411, 412, …, 413)와 카메라(420, 421)는 가시광선, 적외선(IR), 또는 자외선(UV) 파장에 대해 서로 일치되는 파장을 사용할 수 있도록 구성하여 주변광으로 인한 성능 저하를 방지할 수 있다.
도 5는 본 발명의 실시예에 따른 거리 영상 획득 방법을 개략적으로 나타낸 순서도이다. 이 방법은 도 1의 거리 영상 획득 장치에 의해 수행될 수 있다.
도 5를 참조하면, 거리 영상 획득 장치는 거리 영상을 획득하고자 하는 대상물체에 패턴광을 조사한다(S500). 이때, 서로 다른 기저거리 및 위상을 가지는 복수의 패턴광이 대상물체에 조사될 수 있다. 복수의 패턴광은 복수의 패턴 조사기에 의해 병렬적으로 대상물체에 조사될 수 있다. 따라서, 본 발명에 따른 기저거리 및 위상 차이를 가지는 복수의 패턴광 조사 방식은 기존의 구조광(structural light) 등에서 사용하던 고정된 기저거리 및 순차적 패턴 조사 방식에 비해 거리 영상의 획득 시간, 정밀도 및 신뢰도를 크게 향상시킬 수 있다.
거리 영상 획득 장치는 조사된 패턴광이 대상물체에 반사되는 반사광을 이용하여 카메라를 통해 대상물체에 대한 영상을 촬영한다(S510).
거리 영상 획득 장치는 촬영된 영상으로부터 추출된 패턴을 기초로 거리 영상을 획득한다(S520).
보다 구체적으로, 거리 영상 획득 장치는 촬영된 영상으로부터 패턴을 추출한다. 단계 S500에서 조사된 복수의 패턴광 각각은 서로 다른 패턴 형태, 즉 위상차를 가지고 있으므로, 촬영된 영상으로부터 패턴의 위상차를 이용하여 각각의 패턴을 추출할 수 있다.
거리 영상 획득 장치는 추출된 패턴의 조합을 통해 각 패턴에 대한 순열 정보를 획득하고, 획득된 각 패턴에 대한 순열 정보를 기초로 각 패턴의 손실 여부를 판단한다. 상술한 바와 같이, 거리 영상 획득 장치에서 조사된 패턴광이 대상물체에서 반사되는 과정에서 패턴의 손실이 발생할 수 있다. 예컨대, 촬영된 영상에 포함된 패턴이 시프트되는 현상이 발생할 수 있다(도 3 참조). 복수의 패턴광 각각이 서로 다른 기저거리를 가지기 때문에, 이러한 패턴의 시프트 정도는 카메라 및 복수의 패턴 조사기 각각 간의 기저거리에 따라 다르게 나타날 수 있다.
거리 영상 획득 장치는 각 패턴에 대한 순열 정보를 기초로 각 패턴이 원래 영상에서 시프트된 양을 결정하고, 이를 기반으로 각 패턴에 대한 거리 정보를 추정한다. 추정된 각 패턴에 대한 거리 정보를 종합하여 거리 영상을 획득한다.
본 발명에서는 거리 정보 추정 시 각 패턴의 시프트 정도를 계산하여 사용하기 때문에, 거리 정보의 정밀도와 신뢰성을 증가시킬 수 있고, 이에 따라 거리 영상의 품질이 크게 향상되는 효과를 가진다. 또한, 본 발명에서는 다수의 위상차와 기저거리차를 가지는 패턴광을 조사하기 때문에, 거리 영상 생성에 있어서 다양한 주변 상황에 대해 정밀도와 신뢰성을 높일 수 있다.
상술한 실시예들에서, 방법들은 일련의 단계 또는 블록으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 특허청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (1)

  1. 서로 다른 기저거리(base-line) 및 위상(phase)을 가지는 복수의 패턴광을 조사하는 패턴 조사부;
    상기 복수의 패턴광이 대상물체에서 반사되는 반사광을 이용하여 영상을 촬영하는 영상 촬영부; 및
    상기 촬영된 영상으로부터 추출된 패턴을 기반으로 상기 패턴의 순열 정보를 구성하고, 상기 패턴의 순열 정보를 기초로 상기 패턴의 시프트(shift) 정도를 결정하여 거리 정보를 추정하고, 상기 거리 정보를 기초로 거리 영상을 획득하는 영상 처리부를 포함하는 거리 영상 획득 장치.
KR1020120146896A 2012-12-14 2012-12-14 거리 영상 획득 장치 및 방법 KR20140077771A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120146896A KR20140077771A (ko) 2012-12-14 2012-12-14 거리 영상 획득 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120146896A KR20140077771A (ko) 2012-12-14 2012-12-14 거리 영상 획득 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20140077771A true KR20140077771A (ko) 2014-06-24

Family

ID=51129621

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120146896A KR20140077771A (ko) 2012-12-14 2012-12-14 거리 영상 획득 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20140077771A (ko)

Similar Documents

Publication Publication Date Title
KR102096806B1 (ko) 3차원 센서 시스템 및 3차원 데이터 획득방법
JP6855587B2 (ja) 視点から距離情報を取得するための装置及び方法
CN107077743B (zh) 用于阵列相机的动态校准的系统和方法
KR101259835B1 (ko) 깊이 정보를 생성하기 위한 장치 및 방법
JP6456156B2 (ja) 法線情報生成装置、撮像装置、法線情報生成方法および法線情報生成プログラム
KR101652393B1 (ko) 3차원 영상 획득 장치 및 방법
JP4915859B2 (ja) 物体の距離導出装置
JP6172978B2 (ja) 撮像装置、撮像システム、信号処理装置、プログラム、および、記憶媒体
JP2001194114A (ja) 画像処理装置および画像処理方法、並びにプログラム提供媒体
CN104634276A (zh) 三维测量系统、拍摄设备和方法、深度计算方法和设备
US9438887B2 (en) Depth measurement apparatus and controlling method thereof
JP2012058076A (ja) ３次元計測装置及び３次元計測方法
JP5342413B2 (ja) 画像処理方法
US20210150744A1 (en) System and method for hybrid depth estimation
JP2014186010A (ja) 計測装置、方法及びプログラム
JP2013024653A (ja) 距離測定装置及びプログラム
KR101578891B1 (ko) 패턴 인식을 이용한 영상 정보의 차원 일치 장치 및 방법
KR101706934B1 (ko) 디지털 홀로그램 데이터를 이용한 마이크로 광학 소자의 3차원 측정방법 및 이를 통해 운용되는 측정장치
JP6591332B2 (ja) 放射線強度分布測定システム及び方法
JP2011095131A (ja) 画像処理方法
KR101465996B1 (ko) 선택적 큰 주기를 이용한 고속 3차원 형상 측정 방법
Chen et al. Recovering depth from a single image using spectral energy of the defocused step edge gradient
KR20140077771A (ko) 거리 영상 획득 장치 및 방법
EP3688407B1 (en) Light projection systems
KR101599434B1 (ko) 자동 초점 조절을 이용한 영상촬상장치의 공간감지장치 및 공간감지방법

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination