KR20120048908A - 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법 - Google Patents

텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법 Download PDF

Info

Publication number
KR20120048908A
KR20120048908A KR1020100110377A KR20100110377A KR20120048908A KR 20120048908 A KR20120048908 A KR 20120048908A KR 1020100110377 A KR1020100110377 A KR 1020100110377A KR 20100110377 A KR20100110377 A KR 20100110377A KR 20120048908 A KR20120048908 A KR 20120048908A
Authority
KR
South Korea
Prior art keywords
image
pattern
scene
extracting
target object
Prior art date
Application number
KR1020100110377A
Other languages
English (en)
Other versions
KR101346982B1 (ko
Inventor
추현곤
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100110377A priority Critical patent/KR101346982B1/ko
Priority to US13/884,176 priority patent/US20130242055A1/en
Priority to PCT/KR2011/008271 priority patent/WO2012064042A2/en
Publication of KR20120048908A publication Critical patent/KR20120048908A/ko
Application granted granted Critical
Publication of KR101346982B1 publication Critical patent/KR101346982B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/254—Image signal generators using stereoscopic image cameras in combination with electromagnetic radiation sources for illuminating objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Image Generation (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

패턴 영상에 기초한 깊이 영상 획득 방법에서 텍스쳐 영상 및 깊이 영상 획득하는 방법 및 장치가 개시된다. 텍스쳐 영상 및 깊이 영상 획득 장치는 제1 패턴 영상 및 상기 제1 패턴 영상과 보색 관계에 있는 제2 패턴 영상을 타겟 오브젝트에 조사하는 패턴 영상 조사부; 상기 제1 패턴 영상과 제2 패턴 영상이 타겟 오브젝트에 의해 각각 반사된 제1 장면 영상과 제2 장면 영상을 촬영하는 영상 촬영부; 및 상기 촬영된 제1 장면 영상과 제2 장면 영상을 이용하여 상기 타겟 오브젝트의 텍스쳐 영상과 깊이 영상을 추출하는 영상 처리부를 포함할 수 있다.

Description

텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법{APPARATUS AND METHOD FOR EXTRACTING DEPTH IMAGE AND TEXTURE IMAGE}
본 발명은 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법에 관한 것으로, 보다 상세하게는 서로 보색 관계인 두 개의 패턴 영상을 이용하여 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법에 관한 것이다.
3DTV와 같은 3D 관련 분야가 발전함에 따라, 타겟 오브젝트의 깊이 영상을 추출하려는 요구가 증가하고 있다. 종래에 타겟 오브젝트의 깊이 영상을 획득하는 방법으로, 두 대의 카메라를 이용하는 스테레오 매칭 방법, 구조광에 기초한 깊이 영상 획득 방법, 적외선을 조사하여 돌아오는 시간을 측정하는 깊이 영상 획득 방법 등이 있었다.
구조광에 기초한 깊이 영상 획득 방법은 특정한 정보를 인코딩한 패턴 영상을 타겟 오브젝트에 조사하고, 패턴 영상이 타겟 오브젝트에 반사된 장면 영상을 카메라로 촬영하며, 촬영된 장면 영상으로부터 인코딩된 패턴을 해석하여 패턴의 위상의 변화량으로부터 타겟 오브젝트의 깊이 영상을 찾는 방법이다.
이러한, 구조광에 기초한 깊이 영상 획득 방법의 일례로 연속된 R/G/B로 구성된 패턴 영상을 타겟 오브젝트에 조사한 후, 타겟 오브젝트에 반사된 장면 영상을 고속 카메라를 이용하여 촬영하는 방법이 존재한다. 상기 방법은 하나의 백색광을 조사한 것과 유사한 효과를 나타내기 위해 하나의 픽셀에 연속으로 R/G/B로 구성된 패턴 영상을 조사한 후, 각각의 패턴 영상이 타겟 오브젝트에 의해 각각 반사된 3장의 장면 영상으로부터 텍스쳐 영상과 깊이 영상을 얻을 수 있다.
그러나, 초당 30 frame의 텍스쳐 영상과 깊이 영상을 얻고자 하는 경우, 상기 방법은 각각의 프레임마다 3장의 장면 영상을 필요하기 때문에 3배 이상의 속도를 가진 고속의 프로젝터, 고속의 카메라, 고속의 동기화 신호 발생장치 및 메모리 장치가 요구됨으로써 시스템 구축 비용이 상승하는 문제가 있었다.
따라서, 일반 카메라와 프로젝트를 사용하여 보다 적은 장면 영상으로도 텍스쳐 영상과 깊이 영상을 획득하는 방법이 요구되고 있다.
본 발명은 서로 보색 관계인 두 개의 패턴 영상을 이용함으로써 적은 장면 영상으로도 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법을 제공한다.
본 발명의 일실시예에 따른 텍스쳐 영상 및 깊이 영상 획득 장치는 제1 패턴 영상 및 상기 제1 패턴 영상과 보색 관계에 있는 제2 패턴 영상을 타겟 오브젝트에 조사하는 패턴 영상 조사부; 상기 제1 패턴 영상과 제2 패턴 영상이 타겟 오브젝트에 의해 각각 반사된 제1 장면 영상과 제2 장면 영상을 촬영하는 영상 촬영부; 및 상기 촬영된 제1 장면 영상과 제2 장면 영상을 이용하여 상기 타겟 오브젝트의 텍스쳐 영상과 깊이 영상을 추출하는 영상 처리부를 포함할 수 있다.
본 발명의 일실시예에 따른 영상 처리 장치의 패턴 영상 조사부가 조사하는 제1 패턴 영상은, R(Red), G(Green) 및 B(Blue)로 구성되고, 제2 패턴 영상은, R에 대응하는 Cyan, G에 대응하는 Magenta, B에 대응하는 Yellow로 구성될 수 있다.
본 발명의 일실시예에 따른 텍스쳐 영상 및 깊이 영상 획득 방법은 제1 패턴 영상 및 상기 제1 패턴 영상과 보색 관계에 있는 제2 패턴 영상을 타겟 오브젝트에 조사하는 단계; 상기 제1 패턴 영상과 제2 패턴 영상이 타겟 오브젝트에 의해 각각 반사된 제1 장면 영상과 제2 장면 영상을 촬영하는 단계; 및 상기 촬영된 제1 장면 영상과 제2 장면 영상을 이용하여 상기 타겟 오브젝트의 텍스쳐 영상과 깊이 영상을 추출하는 단계를 포함할 수 있다.
본 발명의 일실시예에 의하면, 연속된 R/G/B로 구성된 패턴 영상과 동일한 효과를 획득하기 위해 보색 관계인 두 개의 패턴 영상을 연속적으로 조사함으로써 패턴 영상의 수를 감소 시킬 수 있다.
본 발명의 일실시예에 의하면, 보색 관계인 두 개의 패턴 영상을 조사함으로써 메모리가 저장하는 장면 영상을 줄일 수 있어 모션에 의한 에러를 감소시킬 수 있다.
도 1은 본 발명의 일실시예에 따른 텍스쳐 영상 및 깊이 영상을 추출하는 장치를 도시한 블록 다이어그램이다.
도 2는 본 발명의 일실시예에 따라 빛의 보색 관계를 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 패턴 영상의 일례이다.
도 4는 본 발명의 일실시예에 따른 텍스쳐 영상 및 깊이 영상을 추출하는 방법을 도시한 플로우차트이다.
이하, 본 발명의 실시예를 첨부된 도면을 참조하여 상세하게 설명한다. 본 발명의 일실시예에 따른 텍스쳐 영상 및 깊이 영상을 추출하는 방법은 텍스쳐 영상 및 깊이 영상을 추출하는 장치에 의해 수행될 수 있다.
도 1은 본 발명의 일실시예에 따른 텍스쳐 영상 및 깊이 영상을 추출하는 장치를 도시한 블록 다이어그램이다.
도 1을 참고하면, 본 발명의 일실시예에 따른 텍스쳐 영상 및 깊이 영상 획득 장치는 구조광 중 하나인 패턴 영상에 기초한 텍스쳐 영상 및 깊이 영상 획득 장치로서, 패턴 영상 조사부(110), 영상 촬영부(120), 및 영역 처리부(130)를 포함할 수 있다.
패턴 영상 조사부(110)는 제1 패턴 영상 및 상기 제1 패턴 영상과 보색 관계에 있는 제2 패턴 영상을 촬영할 대상인 타겟 오브젝트에 조사한다. 구체적으로 패턴 영상 조사부(110)는 패턴 영상을 저장하기 위한 프레임 버퍼를 포함하고, 영상 처리부(130)의 동기 신호에 따라 프레임 버퍼에 저장된 패턴 영상(pattern sequence)을 순서대로 타겟 오브젝트에 조사할 수 있다.
영상 촬영부(120)는 패턴 영상 조사부(110)가 조사한 패턴 영상이 타겟 오브젝트에 반사된 영상인 장면 영상을 촬영한다. 구체적으로, 영상 촬영부(120)는 제1 패턴 영상과 제2 패턴 영상이 타겟 오브젝트에 의해 각각 반사된 영상인 제1 장면 영상과 제2 장면 영상을 촬영할 수 있다. 이때, 영상 촬영부(120)는 적어도 하나의 카메라로 구성될 수 있으며, 영상 촬영부(120)에 포함되는 카메라의 수가 증가할수록 영상 처리부(130)가 획득하는 깊이 영상의 정확도가 증가할 수 있다.
다음으로 영상 처리부(130)는 영상 촬영부(120)에서 촬영된 제1 장면 영상과 제2 장면 영상을 이용하여 타겟 오브젝트의 텍스쳐 영상과 깊이 영상을 동시에 추출할 수 있다.
이때, 영상 처리부(130)는 제1 장면 영상과 제2 장면 영상을 조합하여 타겟 오브젝트에 대한 텍스쳐 영상을 추출할 수 있다.
구체적으로, 영상 처리부(130)는 수학식 1과 같이 장면 영상 I를 조명(A)과 이에 대한 반사정보(gθ), 그리고 타겟 오브젝트의 고유의 색상 정보(S)로 해석할 수 있다.
Figure pat00001
즉, 영상 처리부(130)는 제1 패턴 영상(P1)이 타겟 오브젝트에 의해 반사된 제1 장면 영상 I1과 제2 패턴 영상(P2)이 타겟 오브젝트에 의해 반사된 제2 장면 영상 I2을 각각 수학식 2로 해석할 수 있다.
Figure pat00002
그리고, 기존의 조명이 없이 패턴 영상 만으로 조명을 구성하는 경우, 영상 처리부(130)는 제1 장면 영상 I1과 제2 장면 영상 I2를 각각 수학식 3으로 해석할 수 있다.
Figure pat00003
이때, 방송에서 사용하는 조명은 백색광이고, 제1 패턴영상 P1 과 제2 패턴영상 P2 의 각 패턴 구조는 보색관계를 이루게 되므로, 영상 처리부(130)는 수학식 2와 수학식 3을 기초로 수학식 4를 계산할 수 있다.
Figure pat00004
또한, 조명 A가 일반 조명(백색광) 아래에서의 빛의 세기인 경우, 영상 처리부(130)는 수학식 5를 사용하여 텍스쳐 영상 It 를 계산할 수 있다. 즉 영상 처리부(130)는 제1 장면 영상과 제2 장면 영상의 합을 기초로 텍스쳐 영상을 계산할 수 있다. 이때, c는 패턴 영상의 세기에 기초하여 변경되는 변수이다.
Figure pat00005
이때, 영상 처리부(130)는 c의 값을 조절하여 텍스쳐 영상 It 를 계산할 수 있다. 일례로, c의 값을 1로 가정한 경우, 영상 처리부(130)는 수학식 6를 사용하여 텍스쳐 영상 It 를 계산할 수 있다. 즉, 영상 처리부(130)는 제1 장면 영상 I1와 제2 장면 영상 I2의 합의 평균치를 사용하여 텍스쳐 영상 It 를 계산할 수 있다.
Figure pat00006
또한, 영상 처리부(130)는 수학식 3처럼 구조광 만으로 조명을 구성하는 경우, 제1 장면 영상 I1와 제2 장면 영상 I2의 합만을 사용하여 텍스쳐 영상 It 를 계산할 수 있다.
그리고, 영상 처리부(130)는 제1 장면 영상과 제2 장면 영상 각각의 색상에 대한 위상차를 이용하여 깊이 영상을 추출할 수 있다.
일례로, 영상 처리부(130)는 텍스쳐 영상의 색상을 이용하여 타겟 오브젝트에 대한 깊이 영상을 추출할 수 있다.
구체적으로 영상 처리부(130)는 제1 장면 영상과 텍스쳐 영상 간의 색상 비율(I1/It)을 이용하여 색상 패턴을 디코딩(decoding)하고, 디코딩된 색상 패턴을 기초로 깊이 영상을 추출할 수 있다.
이때, 영상 처리부(130)는 수학식 7에 따라 각 채널에 가중치를 부여하여 색상 패턴을 디코딩할 수 있다. 일례로, 한 픽셀에서 장면 영상의 색상이 Red 일 경우, 상기 픽셀은 기본적으로 Red 채널의 값이 크므로 영상 처리부(130)는 상기 픽셀의 Red 채널에 낮은 가중치를 부여하고, 상기 픽셀의 다른 채널은 기본 값이 작으므로 Red에 비해 높은 가중치를 부여할 수 있다.
Figure pat00007
이때, 영상 처리부(130)가 수학식 7의 값을 바탕으로 수학식 8과 같이 각 채널간의 값을 비교하면 상수의 영향은 사라지게 된다. 따라서, 영상 처리부(130)는 각 채널 별로 가장 큰 값 또는 phase shift를 사용하여 디코딩 할 수 있다.
Figure pat00008
또한, 영상 처리부(130)는 디코딩된 색상 패턴을 수치화하여 표현하고, 표현된 각 수치의 변형 정보를 획득하며, 카메라와 패턴 영상 조사부(110)간의 기하학적인 관계에 각 수치의 변형정보를 이용하여 깊이 영상을 획득할 수 있다.
다른 일례로 영상 처리부(130)는 기존의 패턴의 위상의 변화 방향을 통해 변이를 추출하는 방법과 유사하게 제1 장면 영상과 제2 장면 영상 간 채널의 변화 방향에 기초하여 깊이 영상을 추출할 수 있다.
구체적으로, 영상 처리부(130)는 수학식 9에 따른 제1 장면 영상과 제2 장면 영상 간 특정 채널의 변화가 다른 2개의 채널의 변화와 반대인 지 여부를 고려하여 색상 패턴을 디코딩(decoding)하고, 디코딩된 색상 패턴을 기초로 깊이 영상을 추출할 수 있다.
Figure pat00009
일례로, 영상 처리부(130)는 수학식 10과 같이 RGB의 증가 감소에 따라 각기 다른 색상 패턴으로 디코딩할 수 있다. 구체적으로 하나의 픽셀에 조사되는 제1 패턴 영상이 red이면 제1 장면 영상에서 상기 픽셀의 RGB space는 (255, 0, 0) 이므로 red가 가장 크고, 나머지 두 채널은 작은 값을 가지게 된다. 이때, 시간의 경과에 따라 상기 픽셀에 조사되는 패턴 영상이 Margenta인 제2 패턴 영상으로 변경되면, 제2 장면 영상에서 상기 픽셀의 RGB space는 (0, 255, 255)이므로 red 는 감소하고, 다른 채널은 증가하는 것을 볼 수 있다. 즉, R은 -로 변화하고 G와 B는 +로 변화하므로 영상 처리부(130)는 수학식 10에 따라 상기 픽셀의 색상 패턴을 code 0으로 디코딩 할 수 있다.
Figure pat00010
즉, 영상 처리부(130)는 어떤 채널이 다른 채널에 비해 반대로 변화량을 가지는 지를 통하여 현재 패턴 영상의 색상 패턴을 디코딩할 수 있다.
도 2는 본 발명의 일실시예에 따라 빛의 보색 관계를 나타낸 도면이다.
빛은 R(Red), G(Green) 및 B(Blue)의 합성에 따라 다양한 색상을 나타낼 수 있으며, R/G/B가 모두 합성될 경우에는 백색광(white)이 생성될 수 있다. 따라서, 종래의 텍스쳐 영상 및 깊이 영상 획득 장치는 각각 R/G/B 중 하나를 사용하는 3 종류의 패턴 영상을 사용하고 있었다.
그러나, 도 2를 참조하면 빛은 R과 Cyan, G와 Magenta B와 Yellow와 같이 서로 보색 관계인 색상이 조합된 경우에도 백색광(white)을 생성할 수 있다.
즉, 본 발명에 따른 패턴 영상 조사부(110)는 서로 보색 관계인 2가지 패턴 영상을 번갈아 가면서 조사하는 것으로서, R/G/B에 기초한 3 종류의 패턴 영상을 조사하는 것과 같은 효과를 얻을 수 있다.
도 3은 본 발명의 일실시예에 따른 패턴 영상의 일례이다.
본 발명에 따른 패턴 영상 조사부(110)는 도 3에 도시된 바와 같이 제1 패턴 영상(310)과 제2 패턴 영상(320)을 번갈아 조사할 수 있다. 이때, 제2 패턴 영상(320)는 제1 패턴 영상(310)과 보색 관계에 있는 색상을 사용한다.
일례로, 제1 패턴 영상(310)에서 패턴의 색상이 R인 경우 제2 패턴 영상(320)에서 해당 패턴과 같은 위치에 있는 패턴의 색상은 Cyan이다. 다른 일례로, 제1 패턴 영상에서 패턴의 색상이 G인 경우 제2 패턴 영상(320)에서 해당 패턴과 같은 위치에 있는 패턴의 색상은 Magenta이다. 즉, 제1 패턴 영상은, R(Red), G(Green) 및 B(Blue)로 구성되고, 제2 패턴 영상은, R에 대응하는 Cyan, G에 대응하는 Magenta, B에 대응하는 Yellow로 구성될 수 있다.
그러나 실시예에 따라서는 제1 패턴 영상이 Cyan, Magenta, Yellow로 구성되고, 제2 패턴 영상은, Cyan에 대응하는 R, Magenta에 대응하는 G, Yellow에 대응하는 B로 구성될 수도 있다.
도 4는 본 발명의 일실시예에 따른 텍스쳐 영상 및 깊이 영상 획득 방법을 도시한 플로우차트이다.
단계(S410)에서 패턴 영상 조사부(110)는 제1 패턴 영상 및 상기 제1 패턴 영상과 보색 관계에 있는 제2 패턴 영상을 타겟 오브젝트에 순차적으로 반복하여 조사할 수 있다.
단계(S420)에서 영상 촬영부(120)는 단계(S410)에서 조사한 제1 패턴 영상과 제2 패턴 영상이 타겟 오브젝트에 의해 각각 반사된 제1 장면 영상과 제2 장면 영상을 촬영할 수 있다.
단계(S430)에서 영상 처리부(130)는 단계(S420)에서 촬영된 제1 장면 영상과 제2 장면 영상을 이용하여 타겟 오브젝트의 텍스쳐 영상을 추출할 수 있다.
구체적으로 영상 처리부(130)는 수학식 5를 사용하여 텍스쳐 영상을 추출할 수 있다.
단계(S440)에서 영상 처리부(130)는 단계(S420)에서 촬영된 제1 장면 영상과 제2 장면 영상을 이용하여 깊이 영상을 추출할 수 있다.
구체적으로 영상 처리부(130)는 텍스쳐 영상의 색상을 이용하여 타겟 오브젝트에 대한 깊이 영상을 추출하거나, 제1 장면 영상과 제2 장면 영상 간 채널의 변화 방향에 기초하여 깊이 영상을 추출할 수 있다.
본 발명은 연속된 R/G/B로 구성된 패턴 영상과 동일한 효과를 획득하기 위해 보색 관계인 두 개의 패턴 영상을 연속적으로 조사함으로써 패턴 영상의 수를 감소 시킬 수 있다. 또한, 본 발명은 보색 관계인 두 개의 패턴 영상을 조사함으로써 메모리가 저장하는 장면 영상을 줄일 수 있어 모션에 의한 에러를 감소시킬 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
110: 패턴 영상 조사부
120: 영상 촬영부
130: 영상 처리부

Claims (20)

  1. 제1 패턴 영상 및 상기 제1 패턴 영상과 보색 관계에 있는 제2 패턴 영상을 타겟 오브젝트에 조사하는 패턴 영상 조사부;
    상기 제1 패턴 영상과 제2 패턴 영상이 타겟 오브젝트에 의해 각각 반사된 제1 장면 영상과 제2 장면 영상을 촬영하는 영상 촬영부; 및
    상기 촬영된 제1 장면 영상과 제2 장면 영상에서 상기 타겟 오브젝트의 텍스쳐 영상과 깊이 영상을 동시에 추출하는 영상 처리부
    를 포함하는 장치.
  2. 제1항에 있어서,
    상기 패턴 영상 조사부는,
    타겟 오브젝트에 백색광이 조사한 것과 동일한 영상 효과를 나타내기 위해 시간에 따라 상기 제1 패턴 영상과 제2 패턴 영상을 번갈아 조사하는 것을 특징으로 하는 장치.
  3. 제1항에 있어서,
    상기 제1 패턴 영상은, R(Red), G(Green) 및 B(Blue)로 구성되고,
    상기 제2 패턴 영상은, R에 대응하는 Cyan, G에 대응하는 Magenta, B에 대응하는 Yellow로 구성되는 것을 되는 것을 특징으로 하는 장치.
  4. 제1항에 있어서,
    상기 패턴 영상 조사부는,
    상기 영상 처리부의 동기 신호에 기초하여 상기 제1 패턴 영상과 제2 패턴 영상을 조사하는 것을 특징으로 하는 장치.
  5. 제1항에 있어서,
    상기 영상 처리부는,
    상기 제1 장면 영상과 상기 제2 장면 영상을 조합하여 상기 타겟 오브젝트에 대한 텍스쳐 영상을 추출하는 것을 특징으로 하는 장치.
  6. 제1항에 있어서,
    상기 영상 처리부는,
    상기 제1 장면 영상과 상기 제2 장면 영상 각각의 색상에 대한 위상차를 이용하여 깊이 영상을 추출하는 것을 특징으로 하는 장치.
  7. 제6항에 있어서,
    상기 영상 처리부는,
    상기 텍스쳐 영상의 색상을 이용하여 상기 타겟 오브젝트에 대한 깊이 영상을 추출하는 것을 특징으로 하는 장치.
  8. 제7항에 있어서,
    상기 영상 처리부는,
    상기 제1 장면 영상과 상기 텍스쳐 영상 간의 색상 비율을 이용하여 깊이 영상을 추출하는 것을 특징으로 하는 장치.
  9. 제6항에 있어서,
    상기 영상 처리부는,
    상기 제1 장면 영상과 제2 장면 영상 간 채널의 변화 방향에 기초하여 깊이 영상을 추출하는 것을 특징으로 하는 장치.
  10. 제9항에 있어서,
    상기 영상 처리부는,
    상기 제1 장면 영상과 제2 장면 영상 간 특정 채널의 변화가 다른 2개의 채널의 변화와 반대인 지 여부를 고려하여 깊이 영상을 추출하는 것을 특징으로 하는 장치.
  11. 제1 패턴 영상 및 상기 제1 패턴 영상과 보색 관계에 있는 제2 패턴 영상을 타겟 오브젝트에 조사하는 단계;
    상기 제1 패턴 영상과 제2 패턴 영상이 타겟 오브젝트에 의해 각각 반사된 제1 장면 영상과 제2 장면 영상을 촬영하는 단계; 및
    상기 촬영된 제1 장면 영상과 제2 장면 영상을 이용하여 상기 타겟 오브젝트의 텍스쳐 영상과 깊이 영상을 추출하는 단계
    를 포함하는 방법.
  12. 제11항에 있어서,
    상기 조사하는 단계는,
    타겟 오브젝트에 백색광이 조사한 것과 동일한 영상 효과를 나타내기 위해 시간에 따라 상기 제1 패턴 영상과 제2 패턴 영상을 번갈아 조사하는 것을 특징으로 하는 방법.
  13. 제11항에 있어서,
    상기 제1 패턴 영상은, R(Red), G(Green) 및 B(Blue)로 구성되고,
    상기 제2 패턴 영상은, R에 대응하는 Cyan, G에 대응하는 Magenta, B에 대응하는 Yellow로 구성되는 것을 특징으로 하는 방법.
  14. 제11항에 있어서,
    상기 조사하는 단계는,
    영상 처리부의 동기 신호에 기초하여 상기 제1 패턴 영상과 제2 패턴 영상을 조사하는 것을 특징으로 하는 방법.
  15. 제11항에 있어서,
    상기 추출하는 단계는,
    상기 제1 장면 영상과 상기 제2 장면 영상을 조합하여 상기 타겟 오브젝트에 대한 텍스쳐 영상을 추출하는 것을 특징으로 하는 방법.
  16. 제11항에 있어서,
    상기 추출하는 단계는,
    상기 제1 장면 영상과 상기 제2 장면 영상 각각의 색상에 대한 위상차를 이용하여 깊이 영상을 추출하는 것을 특징으로 하는 방법.
  17. 제16항에 있어서,
    상기 추출하는 단계는,
    상기 텍스쳐 영상의 색상을 이용하여 상기 타겟 오브젝트에 대한 깊이 영상을 추출하는 것을 특징으로 하는 방법.
  18. 제17항에 있어서,
    상기 추출하는 단계는,
    상기 제1 장면 영상과 상기 텍스쳐 영상 간의 색상 비율을 이용하여 깊이 영상을 추출하는 것을 특징으로 하는 방법.
  19. 제16항에 있어서,
    상기 추출하는 단계는,
    상기 제1 장면 영상과 제2 장면 영상 간 채널의 변화 방향에 기초하여 깊이 영상을 추출하는 것을 특징으로 하는 방법.
  20. 제19항에 있어서,
    상기 추출하는 단계는,
    상기 제1 장면 영상과 제2 장면 영상 간 특정 채널의 변화가 다른 2개의 채널의 변화와 반대인 지 여부를 고려하여 깊이 영상을 추출하는 것을 특징으로 하는 방법.
KR1020100110377A 2010-11-08 2010-11-08 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법 KR101346982B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020100110377A KR101346982B1 (ko) 2010-11-08 2010-11-08 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법
US13/884,176 US20130242055A1 (en) 2010-11-08 2011-11-03 Apparatus and method for extracting depth image and texture image
PCT/KR2011/008271 WO2012064042A2 (en) 2010-11-08 2011-11-03 Apparatus and method for extracting depth image and texture image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100110377A KR101346982B1 (ko) 2010-11-08 2010-11-08 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120048908A true KR20120048908A (ko) 2012-05-16
KR101346982B1 KR101346982B1 (ko) 2014-01-02

Family

ID=46051378

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100110377A KR101346982B1 (ko) 2010-11-08 2010-11-08 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법

Country Status (3)

Country Link
US (1) US20130242055A1 (ko)
KR (1) KR101346982B1 (ko)
WO (1) WO2012064042A2 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6403490B2 (ja) * 2014-08-20 2018-10-10 キヤノン株式会社 画像処理装置、画像形成装置、画像処理方法及びプログラム。
CN109588055A (zh) * 2016-07-29 2019-04-05 索尼公司 图像处理设备和图像处理方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3729035B2 (ja) 2000-06-30 2005-12-21 富士ゼロックス株式会社 ３次元画像撮像装置および３次元画像撮像方法
JP2005128006A (ja) 2003-09-29 2005-05-19 Brother Ind Ltd ３次元形状検出装置、撮像装置、及び、３次元形状検出プログラム
JP2006277023A (ja) 2005-03-28 2006-10-12 Brother Ind Ltd ３次元情報取得装置、パターン光生成方法、３次元情報取得方法、プログラム及び記録媒体
US20070115484A1 (en) * 2005-10-24 2007-05-24 Peisen Huang 3d shape measurement system and method including fast three-step phase shifting, error compensation and calibration
KR100943407B1 (ko) * 2007-07-23 2010-02-19 주식회사 나노시스템 전사 방식의 3차원 형상 측정 시스템
DK2300808T3 (da) * 2008-07-24 2014-06-30 Massachusetts Inst Technology Systemer og fremgangsmåder til billeddannelse ved anvendelse af absorption
US8471895B2 (en) * 2008-11-25 2013-06-25 Paul S. Banks Systems and methods of high resolution three-dimensional imaging
US8861833B2 (en) * 2009-02-18 2014-10-14 International Press Of Boston, Inc. Simultaneous three-dimensional geometry and color texture acquisition using single color camera
KR101259835B1 (ko) * 2009-06-15 2013-05-02 한국전자통신연구원 깊이 정보를 생성하기 위한 장치 및 방법
US8908958B2 (en) * 2009-09-03 2014-12-09 Ron Kimmel Devices and methods of generating three dimensional (3D) colored models
US20130083165A1 (en) * 2009-12-08 2013-04-04 Electronics And Telecommunications Research Institute Apparatus and method for extracting texture image and depth image

Also Published As

Publication number Publication date
KR101346982B1 (ko) 2014-01-02
WO2012064042A3 (en) 2012-07-19
US20130242055A1 (en) 2013-09-19
WO2012064042A2 (en) 2012-05-18

Similar Documents

Publication Publication Date Title
US10477185B2 (en) Systems and methods for multiscopic noise reduction and high-dynamic range
Rerabek et al. New light field image dataset
TWI584634B (zh) 適於產生深度圖的電子裝置與方法
US10264174B2 (en) Photographing apparatus and focus detection method using the same
EP3284061B1 (en) Systems and methods for performing high speed video capture and depth estimation using array cameras
US8619128B2 (en) Systems and methods for an imaging system using multiple image sensors
JP3884321B2 (ja) ３次元情報取得装置、３次元情報取得における投影パターン、及び、３次元情報取得方法
WO2017159312A1 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
CN108012078B (zh) 图像亮度处理方法、装置、存储介质和电子设备
JP2016510108A5 (ko)
CN102356631A (zh) 图像处理装置、信号处理方法以及程序
JPWO2015059897A1 (ja) 映像撮影装置、映像撮影方法、符号型赤外カットフィルタ、および符号型特定色カットフィルタ
WO2019105304A1 (zh) 图像白平衡处理方法、计算机可读存储介质和电子设备
KR20100039120A (ko) 영상의 노이즈를 저감하는 영상 처리 장치 및 방법
JP2011176710A (ja) 撮像装置
US9500475B2 (en) Method and apparatus for inspecting an object employing machine vision
CN109325905B (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
KR101407818B1 (ko) 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법
WO2018127629A1 (en) Method and apparatus for video depth map coding and decoding
KR101346982B1 (ko) 텍스쳐 영상과 깊이 영상을 추출하는 장치 및 방법
CN113905223B (zh) 基于单个彩色相机零配准误差彩色3d成像方法及彩色相机
JP2013150071A (ja) 符号化装置、符号化方法、プログラム及び記憶媒体
CN106852190B (zh) 图像处理单元、拍摄装置及图像处理方法
US10334161B2 (en) Image processing apparatus, image processing method, computer program and imaging apparatus
EP4210335A1 (en) Image processing device, image processing method, and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161121

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee