WO2011071313A2 - 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법 - Google Patents

텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법 Download PDF

Info

Publication number
WO2011071313A2
WO2011071313A2 PCT/KR2010/008758 KR2010008758W WO2011071313A2 WO 2011071313 A2 WO2011071313 A2 WO 2011071313A2 KR 2010008758 W KR2010008758 W KR 2010008758W WO 2011071313 A2 WO2011071313 A2 WO 2011071313A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
pattern
target object
scene
texture
Prior art date
Application number
PCT/KR2010/008758
Other languages
English (en)
French (fr)
Other versions
WO2011071313A3 (ko
Inventor
김진웅
블란코 리베라루제
김태원
장은영
김욱중
허남호
이수인
황승구
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to CN2010800633447A priority Critical patent/CN102884798A/zh
Priority to EP10836208.8A priority patent/EP2512142A4/en
Priority to US13/514,807 priority patent/US20130083165A1/en
Publication of WO2011071313A2 publication Critical patent/WO2011071313A2/ko
Publication of WO2011071313A3 publication Critical patent/WO2011071313A3/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법이 개시된다. 본 발명의 장치는 타겟 오브젝트에 패턴 영상을 조사하고, 패턴 영상이 타겟 오브젝트에 의해 반사된 장면 영상을 촬영하며, 장면 영상을 이용하여 텍스쳐 영상과 깊이 영상을 동시에 추출할 수 있다.

Description

텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법
본 발명은 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법에 관한 것으로, 시간적으로 적분하면 백색광으로되는 패턴 영상을 조사함으로써 텍스쳐 영상과 깊이 영상을 동시에 추출할 수 있는 장치 및 방법에 관한 것이다.
3DTV 등 3D 관련 분야가 발전함에 따라 시간적으로 변화하는 사물의 깊이 정보를 추출하는 요구가 증가하고 있다. 3D 기술에서 깊이 정보를 추출하는 방법은 스테레오 방식을 이용한다. 스테레오 방식이란 3D 디스플레이를 위해 좌영상과 우영상을 이용하는 것을 의미한다. 그러나, 3DTV 서비스를 제공하기 위해 좌영상과 우영상을 모두 전송하는 경우, 전송 채널의 대역폭에 문제가 발생할 수 있다.
이러한 대역폭 문제를 해결하기 위해 깊이 정보를 사용하는 방법이 제안되었다. 구체적으로, 새롭게 제안된 방법은 컬러 영상에 대응하는 텍스쳐 영상과 텍스쳐 영상에 대응하는 깊이 영상을 전송하고, 장면 합성을 통해 스테레오 영상을 합성함으로써 대역폭 문제를 해결할 수 있다.
이 때, 종래의 방법은 타겟 오브젝트가 동적인 경우 효과적으로 텍스쳐 영상과 깊이 영상을 획득하기 어려웠다. 그리고, 타겟 오브젝트가 인간인 경우, 텍스쳐 영상과 깊이 영상을 획득하기 위해 인간에게 조사되는 백색광은 인간의 시각에 불편한 문제가 있었다. 뿐만 아니라, 3D 영상에 포함된 타겟 오브젝트의 표면에 컬러가 존재하거나 타겟 오브젝트에 환경 조명(ambiance illumination)이 존재하는 경우에 텍스쳐 영상의 정확도가 떨어지는 문제가 존재하였다.
본 발명은 시간적으로 적분하면 백색광이 되는 패턴 영상을 타겟 오브젝트에 연속적으로 조사하여 장면 영상을 촬영함으로써 타겟 오브젝트의 텍스쳐 영상과 깊이 영상을 동시에 획득할 수 있는 방법 및 장치를 제공한다.
본 발명은 시간적으로 적분하면 백색광이 되는 패턴 영상을 타겟 오브젝트에 조사함으로써, 백색광을 조사함에 따라 인간의 시각에 불편함을 끼치는 것을 방지할 수 있는 방법 및 장치를 제공한다.
본 발명은 타겟 오브젝트의 텍스쳐 영상을 통해 장면 영상의 컬러를 확인하여 인코딩된 패턴 영상을 디코딩함으로써 타겟 오브젝트의 표면의 컬러와 환경 조명에 강건하게 대응점을 찾을 수 있는 방법 및 장치를 제공한다.
본 발명의 일실시예에 따른 장치는 타겟 오브젝트에 패턴 영상을 조사하는 패턴 영상 조사부; 상기 패턴 영상이 타겟 오브젝트에 의해 반사된 장면 영상을 촬영하는 영상 촬영부; 및 상기 촬영된 장면 영상을 이용하여 텍스쳐 영상과 깊이 영상을 추출하는 영상 처리부를 포함할 수 있다.
본 발명의 일실시예에 따른 방법은 패턴 영상 조사부가 타겟 오브젝트에 패턴 영상을 조사하는 단계; 장면 영상 촬영부가 상기 패턴 영상이 타겟 오브젝트에 의해 반사된 장면 영상을 촬영하는 단계; 및 영상 처리부가 상기 촬영된 장면 영상을 이용하여 텍스쳐 영상과 깊이 영상을 추출하는 단계를 포함할 수 있다.
본 발명의 일실시예에 따르면, 시간적으로 적분하면 백색광이 되는 패턴 영상을 타겟 오브젝트에 연속적으로 조사하여 장면 영상을 촬영함으로써 타겟 오브젝트의 텍스쳐 영상과 깊이 영상을 동시에 획득할 수 있다.
본 발명의 일실시예에 따르면, 시간적으로 적분하면 백색광이 되는 패턴 영상을 타겟 오브젝트에 조사함으로써, 백색광을 조사함에 따라 인간의 시각에 불편함을 끼치는 것을 방지할 수 있다.
본 발명의 일실시예에 따르면, 타겟 오브젝트의 텍스쳐 영상을 통해 장면 영상의 컬러를 확인하여 인코딩된 패턴 영상을 디코딩함으로써 타겟 오브젝트의 표면의 컬러와 환경 조명에 강건하게 대응점을 찾을 수 있다.
도 1은 본 발명의 일실시예에 따라 텍스쳐 영상과 깊이 영상을 동시에 추출하는 장치를 도시한 도면이다.
도 2는 본 발명의 일실시예에 따른 패턴 영상의 패턴 배열을 도시한 도면이다.
도 3은 본 발명의 일실시예에 따라 장면 영상으로부터 텍스쳐 영상을 추출하는 과정을 도시한 도면이다.
도 4는 본 발명의 일실시예에 따라 패턴 영상이 시간적으로 적분된 장면 영상을 촬영하는 과정을 도시한 도면이다.
도 5는 본 발명의 일실시예에 따라 빔 스플리터를 이용하여 장면 영상을 촬영하는 과정을 도시한 도면이다.
도 6은 본 발명의 일실시예에 따라 타겟 오브젝트의 표면과 반사광과의 관계를 도시한 도면이다.
도 7은 본 발명의 일실시예에 따라 CIELab 차트를 도시한 도면이다.
도 8은 본 발명의 일실시예에 따라 장면 영상의 컬러를 확인하기 위한 도면이다.
도 9는 본 발명의 일실시예에 따라 패턴 조사부와 영상 촬영부 간의 동기 신호를 도시한 도면이다.
도 10은 본 발명의 다른 실시예에 따라 패턴 조사부와 영상 촬영부 간의 동기 신호를 도시한 도면이다.
도 11은 본 발명의 일실시예에 따라 텍스쳐 영상과 깊이 영상을 동시에 추출하는 장치를 도시한 플로우차트이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따라 텍스쳐 영상과 깊이 영상을 동시에 추출하는 장치를 도시한 도면이다.
도 1을 참고하면, 장치(101)는 패턴 영상 조사부(102), 영상 촬영부(103) 및 영상 처리부(104)를 포함할 수 있다.
패턴 영상 조사부(102)는 타겟 오브젝트(105)에 패턴 영상을 조사할 수 있다. 구체적으로, 패턴 영상 조사부(102)는 패턴 영상을 버퍼에 저장해 두고, 영상 처리부(104)의 동기 신호에 따라 버퍼에 저장된 패턴 영상을 순차적으로, 그리고 반복적으로 조사할 수 있다. 즉, 패턴 영상 조사부(102)는 구조광 기법에 따라 특정한 정보가 인코딩된 패턴 영상을 타겟 오브젝트(105)에 조사할 수 있다.
이 때, 패턴 영상 조사부(102)는 시간적 또는 공간적인 패턴 배열에 기초하여 패턴 영상을 조사할 수 있다. 여기서, 패턴 영상 조사부(102)는 공간적인 패턴 배열 중 deBruijin 패턴 배열에 기초한 패턴 영상을 조사할 수 있다.
본 발명의 일실시예에 따른 패턴 영상은 패턴 배열에 따라 고속으로 타겟 오브젝트(105)에 조사된다. 이 때, 패턴 영상은 일정 시간동안 적분되면 백색광을 조사한 것과 동일한 효과가 나타날 수 있다. 즉, 패턴 영상은 고속 카메라에서는 R(Red), G(Green), B(Blue)로 구분될 수 있으나, 일반 카메라에서는 R(Red), G(Green), B(Blue)가 결합된 백색광으로 구분될 수 있다. 결국, 본 발명의 일실예에 따르면, 타겟 오브젝트(105)의 픽셀마다 R/G/B로 구성된 패턴 영상을 연속으로 조사함으로써, 하나의 백색광을 조사한 것과 유사한 효과를 나타낼 수 있다. 그러면, 3개의 패턴 영상이 타겟 오브젝트(105)에 반사된 장면 영상으로부터 하나의 텍스쳐 영상(106)과 깊이 영상(107)이 획득될 수 있다.
영상 촬영부(103)는 패턴 영상이 타겟 오브젝트(105)에 의해 반사된 장면 영상을 촬영할 수 있다. 이 때, 영상 촬영부(103)는 영상 처리부(105)의 동기 신호에 따라 패턴 영상이 타겟 오브젝트(105)에 조사되어 반사된 장면 영상을 촬영할 수 있다.
이 때, 영상 촬영부(103)는 적어도 하나의 카메라로 구성될 수 있으며, 카메라의 종류는 일반 카메라 또는 고속 카메라일 수 있다. 앞서 설명하였듯이, 일반 카메라는 패턴 영상을 R(Red), G(Green), B(Blue)로 구분하지 못하고 백색광으로 인식하며, 고속 카메라는 패턴 영상을 R(Red), G(Green), B(Blue)로 구분할 수 있는 카메라를 의미한다.
영상 처리부(104)는 촬영된 장면 영상을 이용하여 타겟 오브젝트(105)에 대한 텍스쳐 영상(106)과 깊이 영상(107)를 추출할 수 있다.
일례로, 영상 처리부(104)는 구조광 기법과 스테레오 매칭 기법을 적용하여 깊이 영상(107)을 추출할 수 있다. 타겟 오브젝트(105)의 깊이 정보를 추출하기 위한 수동적인 접근 방법으로 스테레오 매칭 기법(stereo matching method)이 사용될 수 있다. 그리고, 오브젝(105)의 깊이 정보를 추출하기 위한 능동적인 접근 방법으로 구조광 기법(structured light method)이 사용될 수 있다.
스테레오 매칭 기법은 기본적으로 시점을 달리는 영상을 2장 이상 캡쳐한 후, 캡쳐된 영상 간의 대응점(correspondence points)을 찾는 기법이다. 카메라가 보정되어 있는 경우, 삼각법을 대응점에 적용하여 3D 깊이 정보가 도출될 수 있다. 이 때, 스테레오 매칭 기법에 의하면, 타겟 오브젝트(105)의 표면에 텍스쳐가 없이 균일(Homogenous)한 경우 모호성(ambiguity)이 발생하여 대응점을 찾기 어려울 수 있다.
이 때, 구조광 기법은 타겟 오브젝트(105)의 표면이 균일한 경우에도 특정한 패턴광을 조사하여 모호성을 제거함으로써 대응점을 계산할 수 있다. 구조광 기법은 특정한 정보를 인코딩한 패턴 영상을 타겟 오브젝트(105)에 조사한 후, 타겟 오브젝트(105)에 반사된 장면 영상을 촬영하여 이를 디코딩함으로써 대응점을 찾을 수 있다. 여기서, 장면 영상을 디코딩할 때 장면 영상의 컬러를 확인하는 것이 중요하다. 이 때, 타겟 오브젝트(105)의 텍스쳐 영상에 기초하여 장면 영상의 컬러가 확인될 수 있다. 본 발명의 일실시예에 따라 타겟 오브젝트(105)의 텍스쳐 영상을 이용하는 경우, 타겟 오브젝트(105)의 표면에 존재하는 컬러나 환경 조명에 의한 영향을 제거할 수 있어, 보다 강건하게(Robust) 장면 영상이 디코딩될 수 있다.
또한, 영상 처리부(104)는 다양한 방법으로 타겟 오브젝트(105)의 텍스쳐 영상(106)을 추출할 수 있다. 이 때, 영상 촬영부(103)가 고속 카메라 또는 일반 카메라인 경우에 타겟 오브젝트(105)의 텍스쳐 영상(106)을 추출하는 방식이 달라질 수 있다. 영상 촬영부(103)가 고속 카메라인 경우, 영상 처리부(104)는 영상 촬영부(103)가 촬영한 장면 영상을 평균하여 타겟 오브젝트(105)의 텍스쳐 영상(106)을 추출할 수 있다. 그리고, 영상 촬영부(103)가 일반 카메라인 경우, 영상 촬영부(103)는 셔터 스피드를 길게 유지하여 시간적으로 적분된 장면 영상을 촬영할 수 있다. 그러면, 영상 처리부(104)는 시간적으로 적분된 장면 영상을 이용하여 타겟 오브젝트(105)의 텍스쳐 영상(106)을 추출할 수 있다.
만약, 영상 촬영부(103)가 일반 카메라와 고속 카메라인 경우, 일반 카메라와 고속 카메라는 빔 스플리터를 통해 패턴 영상이 타겟 오브젝트(105)에 반사된 장면 영상을 각각 촬영할 수 있다.
이하에서는, 타겟 오브젝트(105)의 텍스쳐 영상(106)과 깊이 영상(107)을 추출하는 과정에 대해서 구체적으로 설명하기로 한다.
도 2는 본 발명의 일실시예에 따른 패턴 영상의 패턴 배열을 도시한 도면이다.
광의 합성에 따라, R(Red), G(Green), B(Blue)가 조합되면 백색광이 생성된다. 이 때, 패턴 영상 조사부(102)는 도 2에 도시된 deBruijin 패턴 배열에 따라 패턴 영상을 조사할 수 있다. 도 2를 참고하면, 공간적으로 패턴 1(201), 패턴 2(202), 패턴 3(203)의 순서에 따라 패턴 영상이 타겟 오브젝트에 조사될 수 있다. 즉, 하나의 stripe 컬러가 패턴 1(201), 패턴 2(202), 패턴 3(203)의 순서에 따라 시간적으로 Red->Green->Blue 순서로 변화할 수 있다. 그러면, 인간의 시각은 일정 시간동안 패턴 영상을 적분하여 최종적으로 백색광으로 느낄 수 있다.
뿐만 아니라, stripe 컬러를 Red->Green->Blue 뿐만 아니라 Red->Blue->Green으로 배치하더라도 동일한 효과를 발휘할 수 있으므로, 공간적인 패턴 배열뿐만 아니라 시간적인 패턴 배열까지 고려하면 인코딩된 패턴 영상에 포함된 정보의 수는 2배로 증가할 수 있다.
결국, 타겟 오브젝트의 텍스쳐 영상을 추출하기 위해 인간의 시각에 불편을 끼치는 백색광을 조사하지 않고 특정한 정보가 인코딩된 패턴 영상을 조사하더라도 동일한 효과를 얻을 수 있다.
도 3은 본 발명의 일실시예에 따라 장면 영상으로부터 텍스쳐 영상을 추출하는 과정을 도시한 도면이다.
도 3을 참고하면, 패턴 영상이 타겟 오브젝트에 반사된 장면 영상으로부터 텍스쳐 영상을 추출하는 과정을 나타낸다. 특히, 도 3은 고속 카메라인 영상 촬영부(103)가 장면 영상(301~303)을 촬영한 경우, 텍스쳐 영상(304)을 추출하는 과정을 나타낸다.
영상 촬영부(103)는 패턴 영상 조사부(102)가 조사한 패턴 영상에 따라 반사된 장면 영상 1(301), 장면 영상 2(302), 장면 영상(303)을 촬영할 수 있다. 그러면, 영상 처리부(104)는 장면 영상 1(301), 장면 영상 2(302), 장면 영상(303)의 평균을 계산하여 타겟 오브젝트에 대한 텍스쳐 영상(304)을 추출할 수 있다.
즉, 텍스쳐 영상(304)은 백색광이 조사된 경우 추출될 수 있으나, 본 발명의 일실시예에 따르면 패턴 영상들이 시간적으로 적분되면 백색광이 추출되는 것을 백색광의 성질을 이용하여 텍스쳐 영상(304)을 추출할 수 있다. 만약, 타겟 오브젝트가 인간인 경우, 백색광을 직접 조사하면 인간의 시각은 불편함을 느끼기 때문에, 패턴 영상을 연속적으로 조사함으로써 백색광을 조사한 것과 동일한 효과를 나타낼 수 있다.
도 4는 본 발명의 일실시예에 따라 패턴 영상이 시간적으로 적분된 장면 영상을 촬영하는 과정을 도시한 도면이다.
도 4는 일반 카메라인 영상 촬영부(103)가 장면 영상을 촬영하는 경우를 나타낸다. 영상 촬영부(103)는 카메라의 셔터 스피드를 길게 유지하여 노출 시간을 길게함으로써 3개의 연속적인 패턴 영상이 시간적으로 적분된 장면 영상을 촬영할 수 있다. 패턴 영상이 시간적으로 적분된 장면 영상은 백색광을 타겟 오브젝트에 조사하여 반사된 장면 영상과 동일한 효과를 나타낸다.
그러면, 영상 처리부(104)는 촬영된 장면 영상으로부터 타겟 오브젝트의 텍스쳐 영상을 추출할 수 있다.
도 5는 본 발명의 일실시예에 따라 빔 스플리터를 이용하여 장면 영상을 촬영하는 과정을 도시한 도면이다.
도 5는 패턴 영상이 타겟 오브젝트(504)에 조사된 후 반사된 장면 영상을 빔 스플리터(503)를 통해 일반 카메라인 영상 촬영부(501)와 고속 카메라인 영상 촬영부(502)가 동시에 촬영하는 것을 나타낸다.
빔 스플리터(503)을 이용하는 경우, 일반 카메라 영상 촬영부(501)을 통해서는 패턴 영상이 시간적으로 적분된 효과에 의해 백색광이 투사된 것과 같은 텍스쳐 영상을 얻게 되고, 고속 카메라를 통해서는 패턴 영상을 얻게 되어서 깊이 정보를 추출하는 데 사용할 수 있다.
도 6은 본 발명의 일실시예에 따라 타겟 오브젝트의 표면과 반사광과의 관계를 도시한 도면이다.
본 발명의 일실시예에 따르면, 구조광 기법에 따라 인코딩된 패턴 영상을 영상 처리부(104)가 디코딩하기 위해서 영상 촬영부(103)가 촬영한 장면 영상의 컬러를 확인하는 것이 필요하다. 이 때, 장면 영상은 패턴 영상이 타겟 오브젝트에 조사되어 반사된 영상을 의미한다.
본 발명의 일실시예에 따르면, 영상 처리부(104)는 타겟 오브젝트의 텍스쳐 영상을 이용하여 장면 영상의 컬러를 확인할 수 있다. 타겟 오브젝트의 텍스쳐 영상을 이용하는 경우, 타겟 오브젝트의 표면의 컬러나 환경 조명에 의한 영향이 제거될 수 있어 보다 강건한 디코딩이 수행될 수 있다.
타겟 오브젝트에 패턴 영상이 조사되면, 타겟 오브젝트의 표면의 컬러나 환경 조명에 따라 반사되는 장면 영상의 컬러가 달라질 수 있다. 도 6의 도면(601)을 참고하면, 타겟 오브젝트의 표면의 컬러가 R(Red)인 경우, 타겟 오브젝트에 조사된 백색광 중 R(Red)이 반사광이 되고, 나머지 컬러는 모두 흡수광이 된다. 이 때, 백색광은 패턴 영상이 순차적으로 조사된 경우와 동일한 효과를 나타낸다. 그러면, 타겟 오브젝트에 반사된 장면 영상은 R(Red)로 구성된다.
그리고, 도 6의 도면(602)을 참고하면, 타겟 오브젝트의 표면의 컬러가 G(Green)인 경우, 타겟 오브젝트에 조사된 백색광 중 G(Green)이 반사광이 되고, 나머지 컬러는 모두 흡수광이 된다. 그러면, 타겟 오브젝트에 반사된 장면 영상을 G(Green)으로 구성된다.
도 7은 본 발명의 일실시예에 따라 CIELab 차트를 도시한 도면이다.
도 7은 타겟 오브젝트의 표면의 컬러가 Reddish, Greenish, Blueish이고, 타겟 오브젝트에 조사되는 광의 컬러가 Red, Green, Blue, White인 경우, 영상 촬영부(103)가 촬영한 장면 영상의 컬러가 어떻게 변화하는 지를 나타내는 CIELab 차트를 도시하고 있다. 타겟 오브젝트에 조사되는 광의 컬러는 타겟 오브젝트에 조사되는 패턴 영상의 컬러와 대응된다.
도 7에서 볼 수 있듯이, 타겟 오브젝트에 조사되는 4개의 광의 좌표가 타겟 오브젝트의 표면의 컬러에 편향(biased)되는 것을 알 수 있다. 그러면, 영상 촬영부(103)가 Red, Green, Blue가 타겟 오브젝트에 조사된 후 반사된 장면 영상을 촬영하고, 영상 처리부(104)가 촬영된 장면 영상의 평균을 계산하면 타겟 오브젝트의 표면의 컬러를 구할 수 있다. 타겟 오브젝트의 표면의 컬러가 구해지면, 장면 영상의 컬러가 확인될 수 있다. 장면 영상의 컬러를 확인하는 과정은 도 8에서 구체적으로 설명하기로 한다.
도 8은 본 발명의 일실시예에 따라 장면 영상의 컬러를 확인하기 위한 도면이다.
도 8을 참고하면, 도면(801)에서 장면 영상의 평균(average) 컬러가 도시된다. 그러면, 도면(802)에서, 평균 컬러에 R(Red), G(Green) 및 B(Blue)를 더하여 생성되는 3개의 전이 컬러(shifted color) 중 장면 영상의 컬러와의 차이가 작은 전이 컬러를 장면 영상의 컬러(c1, c2, c2)로 확인될 수 있다.
도 9는 본 발명의 일실시예에 따라 패턴 조사부와 영상 촬영부 간의 동기 신호를 도시한 도면이다.
연속적으로 패턴 영상을 조사하고, 패턴 영상이 타겟 오브젝트에 반사된 장면 영상을 캡쳐하기 위해서는 패턴 영상 조사부(102)와 영상 촬영부(103) 간에 동기 신호가 필요하다. 도 9를 참고하면, 패턴 영상이 조사되는 패턴 영상 조사부(102)의 트리거 신호에 기초하여 영상 촬영부(103)의 셔터 신호에 대한 time 다이어그램이 도시되어 있다. 이 때, 영상 촬영부(103)가 고속 카메라이거나 일반 카메라인 경우에 서로 다른 time 다이어그램이 나타나는 것을 알 수 있다.
패턴 영상 조사부(102)의 트리거 신호가 발생하는 주기동안 영상 촬영부(103)의 셔터 신호가 유지되는 것을 알 수 있다. 영상 촬영부(103)가 고속 카메라인 경우, 신호의 주기가 짧은 반면에 일반 카메라인 경우 신호의 주기가 긴 것을 알 수 있다. 즉, 도 9를 참고하면, 영상 촬영부(103)가 고속 카메라인 경우, 패턴 영상의 R, G, B가 반사된 3개의 장면 영상을 각각 촬영하는 반면, 영상 촬영부(103)가 일반 카메라인 경우, 패턴 영상의 R, G, B가 반사되어 시간적으로 적분된 1개의 장면 영상을 촬영하는 것을 알 수 있다.
도 10은 본 발명의 다른 실시예에 따라 패턴 조사부와 영상 촬영부 간의 동기 신호를 도시한 도면이다.
도 10은 도 9와 비교했을 때, 패턴 영상 촬영부(102)의 트리거 신호의 주기가 더 짧은 것을 알 수 있다. 즉, 도 10은 타겟 오브젝트의 움직임이 빠른 경우를 나타낸다. 타겟 오브젝트의 움직임이 빠른 경우, 패턴 영상이 보다 빠르게 조사될 필요가 있다. 그래서, 도 10은 도 9보다 트리거 신호의 주기가 짧다.
도 11은 본 발명의 일실시예에 따라 텍스쳐 영상과 깊이 영상을 동시에 추출하는 장치를 도시한 플로우차트이다.
장치(101)의 패턴 영상 조사부(102)는 타겟 오브젝트에 패턴 영상을 조사할 수 있다(S1101). 일례로, 패턴 영상 조사부(102)는 시간적 또는 공간적인 패턴 배열에 기초하여 패턴 영상을 순차적으로 조사할 수 있다. 이 때, 패턴 영상 조사부(102)는 공간적인 패턴 배열 중 deBruijin 패턴 배열에 기초한 패턴 영상을 조사할 수 있다. 본 발명의 일실시예에 따르면, 패턴 영상은 패턴 배열에 따라 고속으로 타겟 오브젝트에 조사되고, 일정 시간동안 적분되면 백색광이 될 수 있다.
장치(101)의 영상 촬영부(103)는 패턴 영상이 타겟 오브젝트에 의해 반사된 장면 영상을 촬영할 수 있다(S1102). 일례로, 영상 촬영부(103)는 빔 스플리터(Beam Splitter)를 이용하여 패턴 영상이 타겟 오브젝트에서 반사된 장면 영상을 일반 카메라와 고속 카메라를 통해 촬영할 수 있다.
장치(101)의 영상 처리부(104)는 촬영된 장면 영상을 이용하여 텍스쳐 영상과 깊이 영상을 추출할 수 있다(S1103).
영상 처리부(104)는 장면 영상에 구조광 기법과 스테레오 매칭 기법을 적용하여 깊이 영상을 추출할 수 있다. 이 때, 영상 처리부(104)는 타겟 오브젝트의 텍스쳐 영상에 따라 장면 영상의 컬러를 확인하고, 구조광 기법에 따라 장면 영상의 컬러를 이용하여 대응점을 추출할 수 있다. 구체적으로, 영상 처리부(104)는 타겟 오브젝트의 장면 영상의 평균 컬러에 R(Red), G(Green) 및 B(Blue) 채널을 적용하여 생성된 전이 컬러와 장면 영상의 원본 컬러의 차이를 이용하여 장면 영상의 컬러를 확인할 수 있다.
그리고, 영상 처리부(104)는 패턴 영상을 평균하여 타겟 오브젝트의 텍스쳐 영상을 추출할 수 있다. 또한, 영상 촬영부(103)가 셔터 스피드를 길게 유지하여 패턴 영상이 시간적으로 적분된 장면 영상을 촬영하는 경우, 영상 처리부(104)는 패턴 영상이 시간적으로 적분된 장면 영상을 이용하여 타겟 오브젝트의 텍스쳐 영상을 추출할 수 있다.
본 발명의 실시 예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (20)

  1. 타겟 오브젝트에 패턴 영상을 조사하는 패턴 영상 조사부;
    상기 패턴 영상이 타겟 오브젝트에 의해 반사된 장면 영상을 촬영하는 영상 촬영부; 및
    상기 촬영된 장면 영상을 이용하여 텍스쳐 영상과 깊이 영상을 추출하는 영상 처리부
    를 포함하는 장치.
  2. 제1항에 있어서,
    상기 패턴 영상 조사부는,
    시간적 또는 공간적인 패턴 배열에 기초하여 패턴 영상을 순차적으로 조사하는 것을 특징으로 하는 장치.
  3. 제1항에 있어서,
    상기 패턴 영상은,
    패턴 배열에 따라 고속으로 타겟 오브젝트에 조사되고, 일정 시간동안 적분되면 백색광이 되는 것을 특징으로 하는 장치.
  4. 제1항에 있어서,
    상기 영상 처리부는,
    상기 장면 영상에 구조광 기법과 스테레오 매칭 기법을 적용하여 깊이 영상을 추출하는 것을 특징으로 하는 장치.
  5. 제1항에 있어서,
    상기 영상 처리부는,
    상기 패턴 영상을 시간 적분 특징을 이용하여 상기 타겟 오브젝트의 텍스쳐 영상을 추출하는 것을 특징으로 하는 장치.
  6. 제1항에 있어서,
    상기 영상 촬영부는,
    셔터 스피드를 길게 유지하여 패턴 영상이 시간적으로 적분된 장면 영상을 촬영하고,
    상기 영상 처리부는,
    패턴 영상이 시간적으로 적분된 장면 영상을 이용하여 상기 타겟 오브젝트의 텍스쳐 영상을 추출하는 것을 특징으로 하는 장치.
  7. 제4항에 있어서,
    상기 영상 처리부는,
    상기 타겟 오브젝트의 텍스쳐 영상에 따라 상기 장면 영상의 컬러를 확인하고, 상기 구조광 기법에 따라 상기 장면 영상의 컬러를 이용하여 대응점을 추출하는 것을 특징으로 하는 장치.
  8. 제7항에 있어서,
    상기 영상 처리부는,
    상기 타겟 오브젝트의 장면 영상의 평균 컬러에 R(Red), G(Green) 및 B(Blue) 채널을 적용하여 생성된 전이 컬러와 상기 장면 영상의 원본 컬러의 차이를 이용하여 상기 장면 영상의 컬러를 확인하는 것을 특징으로 하는 장치.
  9. 제1항에 있어서,
    상기 장면 영상 촬영부는,
    상기 패턴 영상 조사부에서 조사되는 패턴 영상의 트리거 신호에 기초하여 동기화되는 것을 특징으로 하는 장치.
  10. 제1항에 있어서,
    상기 패턴 영상 조사부는,
    상기 타겟 오브젝트의 움직임 속도에 기초하여 패턴 영상을 조사하는 속도를 제어하는 것을 특징으로 하는 장치.
  11. 텍스쳐 영상과 깊이 영상을 동시에 획득하는 장치에 의해 수행되는 방법에 있어서,
    패턴 영상 조사부가 타겟 오브젝트에 패턴 영상을 조사하는 단계;
    장면 영상 촬영부가 상기 패턴 영상이 타겟 오브젝트에 의해 반사된 장면 영상을 촬영하는 단계; 및
    영상 처리부가 상기 촬영된 장면 영상을 이용하여 텍스쳐 영상과 깊이 영상을 추출하는 단계
    를 포함하는 방법.
  12. 제11항에 있어서,
    상기 패턴 영상을 조사하는 단계는,
    시간적 또는 공간적인 패턴 배열에 기초하여 패턴 영상을 순차적으로 조사하는 것을 특징으로 하는 방법.
  13. 제11항에 있어서,
    상기 패턴 영상은,
    패턴 배열에 따라 고속으로 타겟 오브젝트에 조사되고, 일정 시간동안 적분되면 백색광이 되는 것을 특징으로 하는 방법.
  14. 제11항에 있어서,
    상기 텍스쳐 영상과 깊이 영상을 추출하는 단계는,
    상기 장면 영상에 구조광 기법과 스테레오 매칭 기법을 적용하여 깊이 영상을 추출하는 것을 특징으로 하는 방법.
  15. 제11항에 있어서,
    상기 텍스쳐 영상과 깊이 영상을 추출하는 단계는,
    상기 패턴 영상을 시간 적분 특징을 이용하여 상기 타겟 오브젝트의 텍스쳐 영상을 추출하는 것을 특징으로 하는 방법.
  16. 제11항에 있어서,
    상기 장면 영상을 촬영하는 단계는,
    셔터 스피드를 길게 유지하여 패턴 영상이 시간적으로 적분된 장면 영상을 촬영하고,
    상기 텍스쳐 영상과 깊이 영상을 추출하는 단계는,
    패턴 영상이 시간적으로 적분된 장면 영상을 이용하여 상기 타겟 오브젝트의 텍스쳐 영상을 추출하는 것을 특징으로 하는 방법.
  17. 제13항에 있어서,
    상기 텍스쳐 영상과 깊이 영상을 추출하는 단계는,
    상기 타겟 오브젝트의 텍스쳐 영상에 따라 상기 장면 영상의 컬러를 확인하고, 상기 구조광 기법에 따라 상기 장면 영상의 컬러를 이용하여 대응점을 추출하는 것을 특징으로 하는 방법.
  18. 제17항에 있어서,
    상기 텍스쳐 영상과 깊이 영상을 추출하는 단계는,
    상기 타겟 오브젝트의 텍스쳐 영상의 평균 컬러에 R(Red), G(Green) 및 B(Blue) 채널을 적용하여 생성된 전이 컬러와 상기 텍스처 영상의 원본 컬러의 차이를 이용하여 상기 장면 영상의 컬러를 확인하는 것을 특징으로 하는 방법.
  19. 제11항에 있어서,
    상기 장면 영상을 촬영하는 단계는,
    조사된 패턴 영상의 트리거 신호에 동기화하여 타겟 오브젝트에 의해 반사되는 장면 영상을 촬영하는 것을 특징으로 하는 방법.
  20. 제11항에 있어서,
    상기 패턴 영상을 조사하는 단계는,
    상기 타겟 오브젝트의 움직임 속도에 기초하여 패턴 영상을 조사하는 속도를 제어하는 것을 특징으로 하는 방법.
PCT/KR2010/008758 2009-12-08 2010-12-08 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법 WO2011071313A2 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN2010800633447A CN102884798A (zh) 2009-12-08 2010-12-08 提取纹理图像和深度图像的装置及方法
EP10836208.8A EP2512142A4 (en) 2009-12-08 2010-12-08 METHOD AND APPARATUS FOR EXTRACTING A TEXTURE IMAGE AND A DEPTH IMAGE
US13/514,807 US20130083165A1 (en) 2009-12-08 2010-12-08 Apparatus and method for extracting texture image and depth image

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2009-0120920 2009-12-08
KR20090120920 2009-12-08

Publications (2)

Publication Number Publication Date
WO2011071313A2 true WO2011071313A2 (ko) 2011-06-16
WO2011071313A3 WO2011071313A3 (ko) 2011-10-20

Family

ID=44146051

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2010/008758 WO2011071313A2 (ko) 2009-12-08 2010-12-08 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법

Country Status (5)

Country Link
US (1) US20130083165A1 (ko)
EP (1) EP2512142A4 (ko)
KR (1) KR101407818B1 (ko)
CN (1) CN102884798A (ko)
WO (1) WO2011071313A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8983121B2 (en) 2010-10-27 2015-03-17 Samsung Techwin Co., Ltd. Image processing apparatus and method thereof

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101346982B1 (ko) * 2010-11-08 2014-01-02 한국전자통신연구원 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법
KR101282352B1 (ko) * 2011-09-30 2013-07-04 주식회사 홀코 가변패턴을 이용한 3차원 이미지 촬영장치 및 방법
KR101913317B1 (ko) * 2012-03-20 2018-10-30 삼성전자주식회사 장면 정보를 획득하는 방법 및 그 장치
KR101359099B1 (ko) * 2012-11-14 2014-02-06 재단법인대구경북과학기술원 카메라의 밝기 조절을 이용한 깊이 정보 획득 장치 및 방법

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL127534A (en) * 1996-06-13 2001-08-26 Leuven K U Res & Dev Method and system for acquiring a three-dimensional shape description
US6542185B1 (en) * 1998-01-07 2003-04-01 Intel Corporation Method and apparatus for automated optimization of white and color balance on video camera
JP3729035B2 (ja) 2000-06-30 2005-12-21 富士ゼロックス株式会社 ３次元画像撮像装置および３次元画像撮像方法
JP3855053B2 (ja) * 2003-01-30 2006-12-06 国立大学法人 東京大学 画像処理装置、画像処理方法、及び画像処理プログラム
KR100528343B1 (ko) * 2003-07-14 2005-11-15 삼성전자주식회사 3차원 객체의 영상 기반 표현 및 편집 방법 및 장치
JP2005128006A (ja) 2003-09-29 2005-05-19 Brother Ind Ltd ３次元形状検出装置、撮像装置、及び、３次元形状検出プログラム
US7421111B2 (en) * 2003-11-07 2008-09-02 Mitsubishi Electric Research Laboratories, Inc. Light pen system for pixel-based displays
DE102004029552A1 (de) * 2004-06-18 2006-01-05 Peter Mäckel Verfahren zur Sichtbarmachung und Messung von Verformungen von schwingenden Objekten mittels einer Kombination einer synchronisierten, stroboskopischen Bildaufzeichnung mit Bildkorrelationsverfahren
WO2007061632A2 (en) * 2005-11-09 2007-05-31 Geometric Informatics, Inc. Method and apparatus for absolute-coordinate three-dimensional surface imaging
KR100806201B1 (ko) * 2006-10-30 2008-02-22 광주과학기술원 깊이영상의 계층적 분해를 이용한 삼차원 비디오 생성방법, 이를 위한 장치, 및 그 시스템과 기록 매체
WO2009008864A1 (en) * 2007-07-12 2009-01-15 Thomson Licensing System and method for three-dimensional object reconstruction from two-dimensional images
KR100918862B1 (ko) * 2007-10-19 2009-09-28 광주과학기술원 참조영상을 이용한 깊이영상 생성방법 및 그 장치, 생성된깊이영상을 부호화/복호화하는 방법 및 이를 위한인코더/디코더, 그리고 상기 방법에 따라 생성되는 영상을기록하는 기록매체
CN101281023A (zh) * 2008-05-22 2008-10-08 北京中星微电子有限公司 一种获取三维目标外形的方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8983121B2 (en) 2010-10-27 2015-03-17 Samsung Techwin Co., Ltd. Image processing apparatus and method thereof

Also Published As

Publication number Publication date
EP2512142A4 (en) 2014-02-26
KR20110065399A (ko) 2011-06-15
WO2011071313A3 (ko) 2011-10-20
CN102884798A (zh) 2013-01-16
EP2512142A2 (en) 2012-10-17
KR101407818B1 (ko) 2014-06-17
US20130083165A1 (en) 2013-04-04

Similar Documents

Publication Publication Date Title
KR101493064B1 (ko) 고도의 정확성으로 결함이 있는 눈을 검출하는 카메라에 기반한 방법
WO2017204571A1 (ko) 물체의 3차원 정보 획득을 위한 카메라 센싱 장치 및 이를 이용한 가상 골프 시뮬레이션 장치
WO2009142390A2 (ko) 표면형상 측정장치
WO2014081107A1 (ko) 3차원 영상 획득 방법 및 장치
WO2016068560A1 (ko) 반투명 마크, 반투명 마크 합성 및 검출 방법, 투명 마크 그리고 투명 마크 합성 및 검출 방법
WO2011071313A2 (ko) 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법
WO2014035127A1 (en) Apparatus for generating depth image
WO2014035128A1 (en) Image processing system
WO2015016459A1 (en) Light field image capturing apparatus including shifted microlens array
WO2012023639A1 (ko) 다수의 센서를 이용하는 객체 계수 방법 및 장치
WO2016200096A1 (ko) 3차원 형상 측정장치
EP3560195A1 (en) System and method for depth map
WO2010076988A2 (en) Image data obtaining method and apparatus therefor
WO2013176482A1 (ko) 3차원 형상 측정장치의 높이 측정 방법
JP5694332B2 (ja) オブジェクトの外観を強調するための照明システム及び方法
WO2017195984A1 (ko) 3차원 스캐닝 장치 및 방법
RU2008106924A (ru) Способ измерения дефекта формы панели конструкции летательного аппарата и система для применения этого способа
WO2016099154A1 (ko) 부품이 실장된 기판 검사방법 및 검사장치
WO2020101431A1 (ko) 3차원 영상을 렌더링하는 방법, 상기 방법을 사용하는 영상처리장치, 상기 영상처리장치와 연동하는 촬영장치, 상기 촬영장치의 촬영방법, 및 3차원 영상을 렌더링하는 시스템
CN103905738B (zh) 高动态范围图像生成系统及方法
WO2018101746A2 (ko) 도로면 폐색 영역 복원 장치 및 방법
WO2017086522A1 (ko) 배경스크린이 필요 없는 크로마키 영상 합성 방법
WO2021132824A1 (ko) 집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법 및 이를 구현하는 집적영상 현미경 시스템
WO2010095770A1 (ko) 입체영상 가시화를 위한 자동 피사계심도 조절 방법
WO2019103193A1 (ko) 분산 가상 카메라를 이용한 게임 내 360 vr 영상 획득 시스템 및 방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080063344.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10836208

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2010836208

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13514807

Country of ref document: US