KR20140086779A - 깊이 정보를 획득하는 방법 및 디스플레이 장치 - Google Patents

깊이 정보를 획득하는 방법 및 디스플레이 장치 Download PDF

Info

Publication number
KR20140086779A
KR20140086779A KR1020130009075A KR20130009075A KR20140086779A KR 20140086779 A KR20140086779 A KR 20140086779A KR 1020130009075 A KR1020130009075 A KR 1020130009075A KR 20130009075 A KR20130009075 A KR 20130009075A KR 20140086779 A KR20140086779 A KR 20140086779A
Authority
KR
South Korea
Prior art keywords
image
depth
acquiring
sensor
images
Prior art date
Application number
KR1020130009075A
Other languages
English (en)
Other versions
KR101905528B1 (ko
Inventor
서성주
최창규
박두식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/071,965 priority Critical patent/US10257506B2/en
Priority to JP2013256699A priority patent/JP6412690B2/ja
Priority to CN201310744537.4A priority patent/CN103916654B/zh
Priority to EP13199749.6A priority patent/EP2749993B1/en
Publication of KR20140086779A publication Critical patent/KR20140086779A/ko
Application granted granted Critical
Publication of KR101905528B1 publication Critical patent/KR101905528B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/22—Measuring arrangements characterised by the use of optical techniques for measuring depth

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

깊이 정보를 획득하는 방법 및 디스플레이 장치를 제공한다. 일실시예에 따른 디스플레이 장치는, 오브젝트로부터의 거리에 따라 센서 패널의 센서 영역을 변경하고, 변경된 센서 영역에 기초하여, 오브젝트의 깊이 정보를 획득할 수 있다.

Description

깊이 정보를 획득하는 방법 및 디스플레이 장치{METHOD OF OBTAINING DEPTH INFORMATION AND DISPLAY APPARATUS}
이하의 실시예들은 깊이 정보를 획득하는 방법 및 상기 방법을 구현하는 디스플레이 장치에 관한 것이다.
차세대 멀티미디어 서비스로 주목 받고 있는 3차원 영상 제공 서비스는, 두 시점 이상의 영상을 이용하여 사용자가 입체감을 느낄 수 있게 하는 서비스일 수 있다.
상기 3차원 영상 제공 서비스의 구현하는 방법으로, 예컨대 깊이 카메라(depth camera)를 이용하여 촬영하고자 하는 물체로 광을 발사하고, 발사된 광이 되돌아오는 시간차를 계산하여 물체의 깊이를 산출하며, 이를 통해 입체감 있는 입체 영상을 작성하는 방식이 있을 수 있다.
실시예에 따른 깊이 정보를 획득하는 방법은, 오브젝트로부터의 거리에 따라 센서 패널의 센서 영역을 변경하는 단계, 및 상기 변경된 센서 영역에 기초하여, 상기 오브젝트의 깊이 정보를 획득하는 단계를 포함할 수 있다.
또한, 실시예에 따른 깊이 정보를 획득하는 방법은, 기준 거리를 추정하는 단계와, 상기 센서 패널에서, 상기 기준 거리에 따른 센서 데이터를 선택하는 단계와, 상기 센서 데이터를 이용하여 오브젝트에 대한 멀티 뷰 영상(multi-view images)을 생성하는 단계, 및 상기 멀티 뷰 영상으로부터 상기 오브젝트의 깊이 영상을 획득하는 단계를 포함할 수 있다.
또한, 실시예에 따른 깊이 정보를 획득하는 방법은, 기준 거리를 추정하는 단계와, 상기 센서 패널에서, 상기 기준 거리에 따른 센서 데이터를 선택하는 단계와, 상기 센서 데이터를 이용하여 오브젝트에 대한 멀티 뷰 영상(multi-view images)을 생성하는 단계와, 상기 멀티 뷰 영상을 이용하여, 복수의 리포커스 영상을 생성하는 단계, 및 상기 복수의 리포커스 영상으로부터 상기 오브젝트의 깊이 영상을 획득하는 단계를 포함할 수 있다.
또한, 실시예에 따른 깊이 정보를 획득하는 방법은, 기준 거리에 따라 상기 센서 패널에서 선택되는 센서 데이터를 이용하여 오브젝트에 대한 멀티 뷰 영상을 생성하는 단계와, 상기 멀티 뷰 영상을 이용하여, 복수의 리포커스 영상을 생성하는 단계, 및 상기 멀티 뷰 영상 및 상기 복수의 리포커스 영상을 이용하여, 상기 오브젝트의 깊이 영상을 획득하는 단계를 포함할 수 있다.
실시예에 따른 디스플레이 장치는, 기준 거리를 추정하는 기준 결정부와, 상기 센서 패널에서, 상기 기준 거리에 따른 센서 데이터를 선택하는 센서 선택부와, 상기 센서 데이터를 이용하여 오브젝트에 대한 멀티 뷰 영상(multi-view images)을 생성하는 데이터 디코딩부, 및 상기 멀티 뷰 영상으로부터 상기 오브젝트의 깊이 영상을 획득하는 깊이 획득부를 포함할 수 있다.
또한, 실시예에 따른 디스플레이 장치는, 기준 거리를 추정하는 기준 결정부와, 상기 센서 패널에서, 상기 기준 거리에 따른 센서 데이터를 선택하는 센서 선택부와, 상기 센서 데이터를 이용하여 오브젝트에 대한 멀티 뷰 영상(multi-view images)을 생성하고, 상기 멀티 뷰 영상을 이용하여, 복수의 리포커스 영상을 생성하는 데이터 디코딩부, 및 상기 복수의 리포커스 영상으로부터 상기 오브젝트의 깊이 영상을 획득하는 깊이 획득부를 포함할 수 있다.
또한, 실시예에 따른 디스플레이 장치는, 기준 거리에 따라 상기 센서 패널에서 선택되는 센서 데이터를 이용하여 오브젝트에 대한 멀티 뷰 영상을 생성하고, 상기 멀티 뷰 영상을 이용하여, 복수의 리포커스 영상을 생성하는 데이터 디코딩부, 및 상기 멀티 뷰 영상 및 상기 복수의 리포커스 영상을 이용하여, 상기 오브젝트의 깊이 영상을 획득하는 깊이 획득부를 포함 할 수 있다.
도 1는 일실시예에 따른 깊이 정보를 획득하는 디스플레이 장치의 개략적인 구조를 설명하는 도면이다.
도 2는 센서 패널의 영상획득 영역과 멀티 뷰 영상에 대한 일례를 설명하기 위한 도면이다.
도 3은 센서 데이터를 감지하는 영상획득 영역과 센서 영역과의 관계를 상세히 설명하기 위한 도면이다.
도 4는 일실시예에 따라 센서 영역의 크기를, 오브젝트와의 거리에 따라 변경하는 일례를 설명하기 위한 도면이다.
도 5는 일실시예에 따른 깊이 정보를 획득하는 디스플레이 장치의 구체적인 구성을 나타내는 도면이다.
도 6은 일실시예에 따라 센서 영역을 선택하기 위한 기준 거리를 결정하는 방법을 설명하기 위한 도면이다.
도 7은 센서 패널에서 감지된 센서 데이터를 가변적으로 선택하는 일례를 설명하기 위한 도면이다.
도 8a와 도 8b는 대응점을 이용하여 멀티 뷰 영상을 매칭하여 깊이 영상을 획득하는 일례를 설명하기 위한 도면이다.
도 9는 멀티 뷰 영상으로부터 리포커스 영상을 생성하는 개념을 설명하기 위한 도면이다.
도 10은 멀티 뷰 영상으로부터 리포커스 영상을 생성하는 실례를 설명하기 위한 도면이다.
도 11은 경계면을 이용하여 리포커스 영상을 매칭하여 깊이 영상을 획득하는 일례를 설명하기 위한 도면이다.
도 12는 제1 깊이 영상 및 제2 깊이 영상을 재조합하여 오브젝트에 대한 깊이 영상을 획득하는 것을 설명하기 위한 도면이다.
도 13은 일실시예에 따른 디스플레이 장치의 깊이 정보를 획득하는 방법을 구체적으로 도시한 작업 흐름도이다.
이하에서, 실시예들을, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 실시 가능한 예시는, 명세서에 기재된 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
일실시예에 따른 디스플레이 장치는, 이미징 패턴을 포함하여 상기 이미징 패턴 내 어퍼쳐를 통해 오브젝트의 입력광을 통과시키는 디스플레이 패널과, 상기 이미징 패턴을 통과한 입력광에 의해 코딩된 데이터(이하, 센서 데이터라 함)를 감지하여 상기 오브젝트의 영상을 복원하기 위한 센서 패널을 포함할 수 있다. 상기 센서 패널은 상기 센서 데이터가 감지될 수 있는 최대 영역으로서의 영상획득 영역을 포함할 수 있다. 상기 영상획득 영역의 크기는 상기 이미징 패턴의 크기에 대응되도록 설정될 수 있다.
디스플레이 장치는, 오브젝트로부터의 거리, 예컨대 오브젝트와 디스플레이 패널 사이의 거리를 고려하여, 상기 영상획득 영역 중 적어도 일부를 센서 영역으로 선택할 수 있다. 상기 센서 영역은 상기 오브젝트의 영상을 복원하기 위한 디코딩 처리에서, 실제 활용되는 센서 데이터를 선택하기 위한 영역일 수 있다.
일실시예에 따른 디스플레이 장치는, 오브젝트가 위치하는 거리에 기초한 센서 영역의 가변적인 선택에 따라, 최적의 깊이 영상을 생성할 수 있다.
도 1는 일실시예에 따른 깊이 정보를 획득하는 디스플레이 장치의 개략적인 구조를 설명하는 도면이다.
도 1에 도시한 바와 같이, 디스플레이 장치(100)는 디스플레이 패널(110)과 센서 패널(120)을 포함할 수 있다.
디스플레이 패널(display panel)(110)은 영상을 디스플레이 하기 위한 패널일 수 있다. 예를 들어, 디스플레이 패널(110)에는 LCD 픽셀 구성의 패널, 또는 OLED 픽셀 구성의 패널이 이용될 수 있으며, 이들에 한정되지 않는다. 실시예에 따라, 디스플레이 패널(110)은 외부로부터의 입력광(input light)을 통과시켜 센서 패널(120)이 센서 데이터(sensor data)를 획득(acquire)할 수 있도록 한다. 상기 센서 데이터(sensor data)는 센서 패널(120)에 포함된 센서에 의하여 감지(detect)된 데이터일 수 있다.
상기 입력광을 통과시키기 위해, 디스플레이 패널(110)은 복수의 이미징 패턴(112)을 포함할 수 있다. 이미징 패턴(imaging pattern)(112)은 디스플레이 패널(110)를 구성하는 디스플레이 픽셀의 종류에 따라, 형성하는 과정에서 차이가 있을 수 있다.
일례로, 상기 디스플레이 픽셀(display pixel)을 LCD 픽셀(LCD pixel)로 구성하는 경우, 디스플레이 패널(110)은 복수 LCD 픽셀의 조합에 근거하여 이미징 패턴(112)을 광학적으로 형성할 수 있다. 이때, LCD 픽셀의 디스플레이 패널(110)은 시분할되어 미리 결정된 시간, 예컨대 방송 영상신호가 디스플레이 되지 않는 시간 동안에 이미징 패턴(112)을 형성하여 외부의 상기 입력광을 통과시킬 수 있다.
예를 들어, LCD 픽셀의 디스플레이 패널(110)은 시분할 기법(time multiplexing)을 이용하여, 일정한 시간 동안에 디스플레이 모드로 동작하고, 다른 일정한 시간 동안에 영상획득 모드로 구분하여 동작할 수 있다.
상기 디스플레이 모드에서 디스플레이 패널(110)은 상기 LCD 픽셀을 이용하여 방송 영상신호를 디스플레이 할 수 있다. 또한, 상기 영상획득 모드에서 디스플레이 패널(110)은 상기 LCD 픽셀들의 광학적인 조합으로 이미징 패턴(112)을 형성하고, 형성된 이미징 패턴(112)으로 외부의 입력광을 통과시켜 디스플레이 패널(110)의 후면에 있는 센서 패널(120)이 센서 데이터를 감지할 수 있도록 할 수 있다.
상기 LCD 픽셀들의 광학적인 조합으로 형성되는 이미징 패턴(112)은, 예컨대 투명하게 광조합되는 이미지와 불투명하게 광조합되는 이미지를, 선정된 규칙에 따라 배열하여, 다양한 양태로 설계될 수 있다.
일례로, 이미징 패턴(112)은, 상기 투명하게 광조합되는 이미지의 주위로 상기 불투명하게 광조합되는 이미지를 다수 배치하여 핀 홀 패턴으로 설계될 수 있다. 다른 일례로서, 이미징 패턴(112)은 상기 투명하게 광조합되는 이미지와, 상기 불투명하게 광조합되는 이미지를, 교차하여 정해진 문양이 되게 배치하여, 무라(MURA: Modified Uniformly Redundant Array) 패턴으로 설계될 수 있다. 다른 일례로, 상기 디스플레이 픽셀을 OLED 픽셀로 구성하는 경우, 디스플레이 패널(110)은 패널 제조 단계에서 미리 설계된 이미징 패턴(112)을 포함할 수 있다.
이미징 패턴(112)의 설계에 있어, 디스플레이 패널(110)을 구성하는 OLED 픽셀의 일부는, 투명창을 포함하여 상기 입력광을 통과시킬 수 있게 한다. 상기 투명창을 포함하는 OLED 픽셀은, 예컨대 OLED 픽셀 내 윈도우를 투명(transparent)하게 조정하여 제작할 수 있다.
또한, 상기 OLED 픽셀의 다른 일부는, 불투명창을 포함하여 상기 입력광을 통과시키지 않을 수 있다. 상기 불투명창을 포함하는 OLED 픽셀은, 예컨대 OLED 픽셀 내 윈도우를 불투명(opaque)하게 조정하여 제작할 수 있다.
이미징 패턴(112)은, 상기 투명창을 포함하는 OLED 픽셀과, 상기 불투명창을 포함하는 OLED 픽셀을, 선정된 규칙에 따라 배열하여, 다양한 양태로 설계될 수 있다. 예컨대, 이미징 패턴(112)은, 상기 투명창을 포함하는 OLED 픽셀의 주위로 상기 불투명창을 포함하는 OLED 픽셀을 다수 배치하여 핀 홀 패턴으로 설계될 수 있다. 다른 일례로서, 이미징 패턴(112)은 상기 투명창을 포함하는 OLED 픽셀과, 상기 불투명창을 포함하는 OLED 픽셀을, 교차하여 정해진 문양이 되게 배치하여, 무라 패턴으로 설계될 수 있다. 도 1에서는, 이미징 패턴(112)으로, 4개의 무라 패턴을 정방형으로 타일링(tiling)하는 것을 예시하고 있다.
디스플레이 패널(110)에서의 이미징 패턴(112)의 개수와, 이미징 패턴(112)의 위치는, 상기 입력광을 받아 들이는 디스플레이 패널(110)의 크기, 패널의 제조 환경 등을 고려하여 결정 될 수 있다.
상기 입력광의 통과에 있어, 상기 OLED 픽셀의 디스플레이 패널(110)은 시분할 기법을 이용하여, 일정한 시간 동안에 디스플레이 모드로 동작하고, 다른 일정한 시간 동안에 영상획득 모드로 구분하여 동작할 수 있다.
상기 디스플레이 모드에서 디스플레이 패널(110)은 상기 OLED 픽셀을 이용하여 방송 영상신호를 디스플레이 할 수 있다. 또한, 상기 영상획득 모드에서 디스플레이 패널(110)은 미리 설계되어 패널에 포함되어 있는 이미징 패턴(112)으로 상기 외부의 입력광을 통과시켜 디스플레이 패널(110)의 후면에 있는 센서 패널(120)이 센서 데이터를 감지할 수 있도록 할 수 있다.
또한, OLED 픽셀의 디스플레이 패널(110)은 이미징 패턴(112)이 패널 내에 포함되어 있으므로, 실시예에 따라, 방송 영상신호를 디스플레이하면서 동시적으로 상기 입력광을 통과시킬 수도 있다.
예컨대, OLED 픽셀의 디스플레이 패널(110)은 OLED 픽셀에 포함되는 투명창 또는 비투명창 이용하여 시분할 없이, 디스플레이하면서 동시적으로 상기 입력광을 통과시킬 수 있다. 이 경우, 방송 영상신호를 디스플레이 하는 광이, 오브젝트에 반사되어 추가로 입력됨에 따라, 디스플레이 패널(110)을 보다 많은 광량의 입력광을 통과시킬 수 있고, 이로 인해 후단의 센서 패널(120)에 감지되는 센서 데이터의 품질을 향상시킬 수도 있다.
디스플레이 패널(110)의 이미징 패턴(112)을 통과한 입력광은, 영상에 관한 센서 데이터로 코딩되고, 상기 센서 데이터는 센서 패널(sensor panel)(120)에 의해 감지된다. 예컨대, 센서 패널(120)은, 복수의 이미징 패턴(112) 각각을 통과한 입력 광에 의한 센서 데이터를, 복수의 영상획득 영역(image capture areas)에서 감지할 수 있다.
이후 디스플레이 장치(100)는 센서 패널(120)에서 감지된 센서 데이터를 디코딩 처리 함으로써, 상기 입력광과 관련한 오브젝트의 영상을, 영상획득 영역 별로 복수 개 복원하여, 멀티 뷰 영상(multi-view image)을 생성할 수 있다.
이러한 실시예에 따른 디스플레이 장치(100)는, 별도의 깊이 카메라를 사용하지 않더라도, 깊이 영상을 획득할 수 있다.
도 2는 센서 패널의 영상획득 영역과 멀티 뷰 영상에 대한 일례를 설명하기 위한 도면이다.
멀티 뷰 영상은 하나의 오브젝트에 대해 시점을 각기 달리하는 복수의 영상일 수 있고, 실시예에서, 복수의 영상획득 영역과 관련하여 생성되는 영상들의 통칭일 수 있다. 디스플레이 장치는, 개별의 영상획득 영역으로 감지되는 센서 데이터를 각각 디코딩하여, 상기 영상획득 영역의 개수에 상응하는 복수의 영상을 상기 멀티 뷰 영상으로 생성할 수 있다.
센서 데이터의 감지에 있어서, 센서 패널은, 이미징 패턴에 포함된 어퍼쳐(aperture)(예컨대 투명창을 포함하는 OLED 픽셀의 투명창)를 통과하는 입력 광으로부터, 이미징 패턴의 수에 대응하는 복수의 센서 데이터를 감지할 수 있다.
도 2(a)에는, 디스플레이 패널이 3x3의 9개의 이미징 패턴을 포함하는 경우, 상기 9개의 이미징 패턴을 통과한 입력광에 의한 센서 데이터를, 센서 패널의 영상획득 영역(210)에서 감지하는 일례를 도시하고 있다. 예컨대, 오브젝트의 입력광은 상기 9개의 이미징 패턴에서 각각 상이한 각도로 통과하며, 센서 패널은 상기 9개의 이미징 패턴(112)에 의해 코딩된 센서 데이터를, 3x3의 9개의 영상획득 영역(210)에서 각각 감지할 수 있다.
영상획득 영역(210)에 감지되는 센서 데이터는, 상기 입력광과 관련한 오브젝트와의 거리(오브젝트와 디스플레이 패널 사이의 이격 거리)에 따라, 영상획득 영역(210) 내 특정 부분에 집중되어 분포할 수 있다. 이에 따라, 디스플레이 장치는 상기 오브젝트와의 거리를 고려하여 센서 패널의 영상획득 영역(210)으로부터, 실제 디코딩할 센서 데이터를 결정하기 위한 센서 영역(220)을 선택할 수 있다.
예컨대, 디스플레이 장치는 상기 오브젝트와의 거리(distance from the object)를, 기준 거리(reference distance)로 우선 추정(estimate)할 수 있고, 상기 기준 거리에 기초하여 센서 패널의 영상획득 영역(210) 중 적어도 일부를 센서 영역(220)으로 선택할 수 있다. 기준 거리의 추정에 관해서는 후술한다.
도 2(b)에는 9개의 영상획득 영역(210)에서 각각 선택된 센서 영역(220) 내 센서 데이터를 독립적으로 디코딩 처리하여, 3x3의 9개의 멀티 뷰 영상(231 내지 239)을 생성하는 것을 예시한다.
도 2(b)에서와 같이, 멀티 뷰 영상(231 내지 239)은, 하나의 오브젝트에 대해, 복수의 시점을 갖는 복수의 영상(복수의 영상의 각각은 각각의 시점에 대응)일 수 있다.
예컨대, 도 2(b)의 9개의 멀티 뷰 영상 중에서 중앙에 생성되는 영상(235)(이하, '센터 영상'이라 함)은, 상기 오브젝트의 입력광이 이미징 패턴을 수직에 근사하는 각도로 통과하여 센서 패널 내 중앙에 위치한 영상획득 영역(220)으로 감지되는 센서 데이터를 디코딩 함에 따라 생성되는 영상일 수 있다. 상기 센터 영상(235)의 시점은 상기 오브젝트를 정면에서 바라보는 각도일 수 있다.
또한, 상기 센터 영상(235)과 횡으로 인접하는 영상들(234, 236)은, 상기 센터 영상(235)과 수평 시점에서 차이를 가지고 생성되는 영상으로, 상기 오브젝트를, 상기 센터 영상(235)에 비해 좌측 또는 우측에서 바라보는 영상일 수 있다.
유사하게, 상기 센터 영상(235)과 종으로 인접하는 영상들(232, 238)은, 상기 센터 영상(235)과 수직 시점에서 차이를 가지고 생성되는 영상으로, 상기 오브젝트를, 상기 센터 영상(235)에 비해 위 또는 아래에서 바라보는 영상일 수 있다.
또한, 센터 영상(235)과 대각으로 인접하는 영상들(231, 233, 237, 239)은 상기 센터 영상(235)과 수평 및 수직 시점 모두 차이를 가지고 생성되는 영상일 수 있다. 예컨대 멀티 뷰 영상(231)은 상기 센터 영상(235)에 비해, 좌측 위로 올려다 보는 영상일 수 있다.
도 2(b)의 멀티 뷰 영상(231 내지 239)은, 센터 영상(235)을 기준으로, 상기 오브젝트를 바라 보는 시점이 조금씩 틀어져 보이는 복수의 영상으로 생성될 수 있다.
도 2(b)의 멀티 뷰 영상은 설명의 목적으로 제시된 것이며, 실시예에 따라서 멀티 뷰 영상은 9개 이상 또는 9개 이하의 영상으로 구성될 수 있다.
도 3은 센서 데이터를 감지하는 영상획득 영역(image capture area)과 센서 영역(sensor area)과의 관계를 상세하기 위한 도면이다.
상술한 바와 같이, 디스플레이 패널에는 복수의 이미징 패턴이 포함될 수 있고, 도 3에는, 일례에 따른, 복수의 이미징 패턴 중 하나의 이미징 패턴(310)이 도시되어 있다. 일례에 따르면, 각각의 이미징 패턴(310)은, 도 3과 같이, 한 변이 r인 4개의 무라 패턴(321 내지 324)을 정방형(square)으로 배치하여 구성할 수 있다.
무라 패턴(321 내지 324)은 내부에 형성된 어퍼쳐, 예컨대 투명창을 포함하는 OLED 픽셀을 통해, 오브젝트(350)로부터의 입력광을 통과시켜 코딩 함으로써 후단의 센서 패널(120)에서 센서 데이터가 감지되도록 할 수 있다.
센서 패널(120)은 영상획득 영역(330)을 포함하고, 이미징 패턴(310)에 의해 코딩되는 센서 데이터를 영상획득 영역(330)에서 감지할 수 있다.
영상획득 영역(330)은 상기 센서 데이터를 감지할 수 있는 최대 영역일 수 있고, 도 3에서는 이미징 패턴(310)의 크기에 상응하여, 한 변을 2r(상기 r은 무라 패턴(320)의 일변 길이)로 갖는 정사각 영역으로 설정될 수 있다.
일실시예의 디스플레이 장치(300)는, 오브젝트(350)로부터의 거리를 고려하여, 센서 영역(340)의 범위(range)를 변경하여 선택할 수 있다. 여기서, 센서 영역(340)은 영상획득 영역(330)에 포함되는 영역으로서, 예를 들어, 영상획득 영역(330) 중 깊이 영상 획득을 위하여 사용되는 영역을 지칭할 수 있다. 또는, 예를 들어, 센서 영역(340)은 영상획득 영역(330) 중 센서 데이터(sensor data)가 실제로 분포되는 영역을 지칭할 수 있다. 실시예에 따라서, 센서 영역(340)은 오브젝트(350)로부터의 거리에 기초하여 그 범위가 결정될 수 있다.
예컨대, 디스플레이 장치(300)는 오브젝트(350)와 디스플레이 패널(110)과의 거리를 이용하여, 영상획득 영역(330)의 적어도 일부를 센서 영역(340)으로 선택할 수 있다.
도 3에서, 오브젝트(350)와 디스플레이 패널(110) 사이의 거리(오브젝트(350)로부터의 거리)는 Z로 참조된다. 앞에서 설명한 바와 같이, 디스플레이 패널은 이미징 패턴(310)을 포함한다.
디스플레이 패널(110)과 센서 패널(120) 사이의 거리는 F로 참조(refer)된다. 이때, 영상획득 영역(330)의 한 변의 길이가 2r일 경우, 실시예에 따라서, 디스플레이 장치(300)는 한 변의 길이를 (1+(F/Z))r로 갖는 센서 영역(340)을, 영상획득 영역(330)으로부터 선택할 수 있다.
도 3에 도시한 바와 같이, 센서 영역(340)으로 선택되는 (1+(F/Z))r는, 예컨대 오브젝트(350)와의 거리에 따라, 입력광이, 무라 패턴(324)을 통과하여 영상획득 영역(330)에 도달하는 좌측 끝단과, 무라 패턴(323)을 통과하여 영상획득 영역(330)에 도달하는 우측 끝단 사이의 길이에 해당할 수 있다.
오브젝트(350)와의 거리를 고려하여 영상획득 영역(330)으로부터 선택되는, 센서 영역(340)에는 상기 입력광에 의해 생성되는 센서 데이터가 집중적으로 분포될 수 있다.
실시예에서, 디스플레이 장치(300)는 오브젝트(350)로부터의 거리가 변화 됨에 따라 센서 영역(340)의 크기(size)를 변경하여 선택할 수 있다. 예컨대, 디스플레이 장치(300)는 오브젝트(350)와 디스플레이 패널(110) 사이의 이격된 거리가 멀어짐에 따라, 센서 영역(340)의 크기를 보다 작게 변경하여 선택할 수 있다. 상기 (1+(F/Z))r에서 Z의 증가로 인해, 선택되는 센서 영역(340)의 크기는 작게 변경될 수 있다.
역으로, 디스플레이 장치(300)는 오브젝트(350)와 디스플레이 패널(110) 사이의 이격된 거리가 가까워짐에 따라, 센서 영역(340)의 크기를 보다 크게 변경하여 선택할 수 있다. 예컨대 상기 (1+(F/Z))r에서 Z의 감소로 인해, 선택되는 센서 영역(340)의 크기는 오히려 크게 변경될 수 있다.
센서 영역(340)은 이미징 패턴(310)의 개수에 상응하여 복수 개 결정되며, 디스플레이 장치(300)는 결정된 센서 영역(340)에 속하는 각각의 센서 데이터를 이용한 디코딩 처리를 통해, 다시점의 멀티 뷰 영상을 생성할 수 있다.
따라서, 실시예에 따르면, 오브젝트(350)로부터의 거리에 따라 센서 영역(340)의 크기를 조절함으로써, 디스플레이 장치(300)로부터 멀리 위치한 오브젝트뿐만 아니라, 디스플레이 장치(300)에 근접한 오브젝트의 깊이 영상도 생성할 수 있다.
또한, 본 실시예에 따르면, 디스플레이 장치(300)로부터 근접한 사용자의 손 동작 등을 인식하여 그에 대응한 처리를 할 수 있기 때문에, 사용자에게 터치스크린과 같은 사용자 경험(user experience)을 제공할 수도 있다.
또한, 일실시예에 따른 디스플레이 장치(300)는 오브젝트(350)와의 거리를 고려하여 가변적으로 선택되는 센서 영역(340) 내 센서 데이터를 이용한, 디코딩 처리를 통해 멀티 뷰 영상을 생성하고, 상기 멀티 뷰 영상을 조합하여 궁극적으로 오브젝트(350)에 관한 깊이 영상을 획득하는 환경을 마련할 수 있다.
도 4는 일실시예에 따라 센서 영역의 크기를, 오브젝트와의 거리에 따라 변경하는 일례를 설명하는 도면이다.
도 4에서는 오브젝트(420)로부터의 거리에 따라 센서 영역의 크기를 변경하는 동작을 설명하고 있다.
도 4는, 디스플레이 패널(430)과 센서 패널(440) 사이의 거리가 F일 경우, 오브젝트(420)를 디스플레이 패널(430)과 Z0만큼 떨어트릴 때에 선택되는 센서 영역의 크기와, 오브젝트(420)를 상기 Z0 보다 먼 Z1만큼 떨어트릴 때에 선택되는 센서 영역의 크기를 비교하기 위한 예시도이다.
도 4(a)에서, 디스플레이 장치는 디스플레이 패널(430)로부터 Z0만큼 떨어진 거리에 있는 오브젝트(420)에 관한 센서 데이터를 센서 패널(440)에서 감지할 수 있다. 여기서, 오브젝트(420)의 입력광은 이미징 패턴의 어퍼쳐(410)를 각도 θ0로 통과하게 되고, 디스플레이 장치는, 이미징 패턴에 의해 코딩된 센서 데이터를 센서 패널(440)의 범위 S0에서 감지할 수 있다. 디스플레이 장치는 상기 범위 S0를, 센서 영역으로 선택할 수 있다.
상기 각도 θ0는 수학식 1을 만족하여 계산될 수 있다.
Figure pat00001
또한, 도 4(b)에서, 디스플레이 장치는 디스플레이 패널(430)로부터 Z1만큼 떨어진 거리에 있는 오브젝트(420)에 대한 영상을 획득할 수 있다. 상기 Z1은 도 4(a)의 Z0 보다, 디스플레이 패널(430)로부터 더 멀리 떨어진 거리일 수 있다.
여기서, 오브젝트(420)의 입력광은 이미징 패턴의 어퍼쳐(410)를 각도 θ1로 통과할 수 있다. 이때, 각도 θ1은, 상기 거리 Z1가 앞선 도 4(a)의 Z0 보다 상대적으로 멀어지게 됨에 따라, 도 4(a)의 θ0 보다 작은 각을 가질 수 있다.
또한, 디스플레이 장치는 이미징 패턴에 의해 코딩된 센서 데이터를 센서 패널(440)의 범위 S1에서 감지할 수 있다. 디스플레이 장치는 상기 범위 S1을, 센서 영역으로 선택할 수 있다. 상기 S1은 입력광이 어퍼쳐(410)를 통과하는 각도의 감소로 인해, 도 4(a)의 S0 보다 좁은 크기일 수 있다.
다시 말해, 디스플레이 장치는 오브젝트(420)로부터의 거리가 멀수록, 센서 영역의 크기를 보다 작게 선택할 수 있다.
상기 각도 θ1은 수학식 2을 만족하여 계산할 수 있다.
Figure pat00002
디스플레이 장치는 오브젝트(420)로부터의 거리에 따라 센서 패널(440)의 센서 영역의 크기를 변경하여 결정 함으로써, 거리를 고려한 멀티 뷰 영상으로의 복원을 가능하게 할 수 있고, 궁극적으로 오브젝트(420)의 깊이 정보를 추정할 수 있게 하는 환경을 마련할 수 있다.
예컨대, 디스플레이 장치는 오브젝트(420)로부터의 거리에 따라 센서 패널(440)의 센서 영역을 변경하고, 변경된 센서 영역에 기초하여, 오브젝트(420)의 깊이 정보를 획득할 수 있다. 여기서, 센서 영역의 변경은, 오브젝트(420)로부터의 상기 거리에 따라 센서 패널(440)의 센서 영역의 크기를 변경하는 것일 수 있다. 예를 들어, 오브젝트(420)로부터의 상기 거리가 멀수록, 센서 영역의 크기는, 작아질 수 있다. 반면, 오브젝트(420)로부터의 상기 거리가 작아질수록, 센서 영역의 크기는, 크게 될 수 있다.
도 5는 일실시예에 따른 깊이 정보를 획득하는 디스플레이 장치의 구체적인 구성을 나타내는 도면이다.
디스플레이 장치(500)는 디스플레이 패널(550) 및 센서 패널(560)에 추가하여, 기준 결정부(510), 센서 선택부(520), 데이터 디코딩부(530) 및 깊이 획득부(540)를 더 포함할 수 있다.
우선, 기준 결정부(reference distance estimating unit)(510)는 기준 거리(reference distance)를 추정(estimate)할 수 있다. 상기 기준거리는 어떤 거리에 오브젝트가 있음을 가정하여, 후술하는 센서 선택부(520)에서 센서 영역을 우선하여 선택하게 하는 거리일 수 있다.
일 실시예에 따르면, 상기 기준거리의 추정에 있어, 기준 결정부(510)는 복수의 후보 거리를 선택하고, 상기 복수의 후보 거리 각각에 대응하여, 센서 패널(560)과 연관하여 생성된 영상의 선명도에 따라, 상기 복수의 후보 거리 중에서 상기 기준 거리를 결정할 수 있다.
예를 들어, 기준 결정부(510)는 각 후보 거리(candidate distance)에 대해, 센서 패널(560)에서 후보 센서 영역(candidate sensor area)을 각각 선택하고, 상기 선택된 후보 센서 영역의 센서 데이터를 디코딩하여 생성된 멀티 뷰 영상의 선명도(degree of definition)를 비교할 수 있다. 선명도 비교에 있어, 기준 결정부(510)는 각 후보 거리와 연관된 생성된 멀티 뷰 영상 중에서 센터 영상의 선명도를 비교할 수 있다. 여기서 센터 영상(center image)은, 멀티 뷰 영상 중에서, 이미징 패턴의 어퍼쳐를 수직에 근사하는 각도로 통과한 입력광에 의해 생성되는 영상일 수 있다(도 2에서 도번 235로 도시한 영상).
기준 결정부(510)는 선명도 비교를 통해 선명도가 가장 좋은 센터 영상을 레퍼런스 영상을 결정하고, 상기 레퍼런스 영상의 생성과 관련된 후보 거리를, 상기 기준 거리로 결정할 수 있다. 예컨대, 기준 결정부(510)는 센터 영상 중에서, 영상 내 블러(blur)가 적게 포함될수록 상기 선명도가 높은 것으로 판단할 수 있다.
실시예에서, 기준 결정부(510)는 선택된 제1 거리에 따라, 센서 패널(560)에서 제1 센서 영역을 선택하고, 상기 제1 센서 영역에 기초하여 생성되는 멀티 뷰 영상 중에서 센터 영상을 선별할 수 있다. 유사하게, 기준 결정부(510)는 상기 제1 거리와 상이한 제2 거리에 따라, 센서 패널(560)에서 제2 센서 영역을 선택하고, 상기 제2 센서 영역에 기초하여 생성되는 멀티 뷰 영상 중에서 센터 영상을 선별할 수 있다. 이후, 기준 결정부(510)는 선별된 각 센터 영상 중에서, 선명도가 상대적으로 우수한 레퍼런스 영상과 관련한 거리를, 상기 기준거리로 선정할 수 있다.
도 6은 일 실시예에 따라 센서 영역을 선택하기 위한 기준 거리를 결정하는 방법을 설명하기 위한 도면이다.
도 6에는 복수의 후보 거리에 따라 복수의 후보 센서 영역을 선택하고, 선택된 후보 센서 영역 내 센서 데이터를 이용한 디코딩 처리 결과에 따라, 상기 복수의 후보 거리 중에서 기준 거리를 결정하는 일례가 도시되어 있다.
우선, 도 5의 기준 결정부(510)는, 복수의 후보 거리에 따른 복수의 후보 센서 데이터를 선택하고, 상기 후보 센서 데이터를 디코딩하여 제1 영상을 생성할 수 있다. 예컨대, 기준 결정부(510)는 도 6(a)에서와 같이, 임의의 후보 거리 30cm와 50cm 각각에 대해 후보 센서 영역을 선택하고, 선택된 후보 센서 영역에 속하는 후보 센서 데이터를 이용한 디코딩(610)을 통해, 후보 거리 30cm에 대응하는 제1 영상(670) 및 후보 거리 50cm에 대응하는 제1 영상(680)을 생성할 수 있다.
또한, 기준 결정부(510)는 상기 제1 영상에 대해 잡음 제거 처리를 수행하여 제2 영상을 생성할 수 있다. 예컨대, 기준 결정부(510)는 상기 후보 거리 30cm와 50cm와 관련하여 생성된 제1 영상들에 대해, Non-Local Means 등을 이용한 잡음 제거 처리(620)를 수행할 수 있다.
또한, 기준 결정부(510)는 상기 제2 영상에 대해 이진화(binarization)(630)를 수행하여 제3 영상을 생성할 수 있다.
또 다른 실시예에 따르면, 기준 결정부(510)는 각 후보 거리에 대한 센서 영상(670, 680) 및 이진화된 제3 영상을 조합하여 생성된 영상들 간의 선명도를 비교할 수 있다. 예를 들어, 기준 결정부(510)는 후보 거리 30cm에 대한 센서 영상(670) 및 후보 거리 30cm에 대한 이진화된 제3 영상을 조합한다. 이진화된 영상은 각 픽셀에 대해 세그먼트된(segmented) 2개의 값(예를 들어, 0과 255)만을 가질 수 있다. 기준 결정부(510)는 후보 거리 30cm에 대한 센서 영상(670) 및 후보 거리 30cm에 대한 이진화된 제3 영상을, 예를 들어, AND 연산함으로써 조합된 영상을 생성할 수 있다. 기준 결정부(510)는 이렇게 후보 거리 30cm 및 50cm에 대해 각각 조합된 영상을 생성하고, 상기 조합된 영상들 간의 선명도를 비교할 수 있다.
이때, 선명도의 비교를 위해서는, Edge영역의 평균절대변화율(Mean Absolute Gradient) 값이 이용될 수 있다(640).
상기 선명도 비교 결과, 기준 결정부(510)는 블러(blur)가 발생하지 않아 평균절대변화율이 우수한 후보 거리 30cm에 대한 센서 영상(670)을 상대적으로 보다 선명한 것으로 판단할 수 있다(650).
또한, 기준 결정부(510)는 선명도가 높은 것으로 판단된 후보 거리 30cm에 대한 센서 영상(670)을 레퍼런스 영상으로 결정하고, 결정된 레퍼런스 영상과 관련한 거리(예를 들어, 30cm)를 기준 거리(reference distance)로 결정할 수 있다(660).
이러한 기준 거리의 추정을 통해, 디스플레이 장치는 오브젝트에 대한 깊이 영상의 획득시, 추정된 기준 거리에 따라 센서 영역을 빠르게 선택할 수 있다.
다시 도 5를 살펴 보면, 센서 선택부(sensor selecting unit)(520)는 센서 패널(560)에서, 상기 기준 거리에 따른 센서 데이터(sensor data)를 선택할 수 있다. 예컨대 센서 선택부(520)는, 상기 기준 거리와 연관하여 가변적으로 선택되는 센서 영역을 고려하여, 센서 데이터를 선택할 수 있다.
센서 데이터의 선택시, 센서 선택부(520)는 상기 기준 거리에 따라, 선택되는 센서 데이터의 수를 변화시킬 수 있다. 이때, 센서 선택부(520)는 상기 기준 거리가 멀수록, 상기 센서 데이터의 수를 감소하여 선택할 수 있다. 반면, 상기 기준 거리가 작아질수록, 센서 선택부(520)는 선택하는 센서 데이터의 수를 증가시킬 수 있다.
도 7은 센서 패널에서 감지된 센서 데이터를 가변적으로 선택하는 일례를 설명하기 위한 도면이다.
앞서 설명한 것과 같이, 센서 패널(700)은, 이미징 패턴의 어퍼쳐(예컨대 OLED 픽셀의 투명창)를 통과하는 입력광으로부터, 이미징 패턴의 수에 대응하는 복수의 센서 데이터를 감지할 수 있다. 상기 이미징 패턴은 4개의 무라 패턴을 정방형으로 타일링하여 구성할 수 있다(도 1, 도 3 참조).
도 7에는 3x3의 9개의 이미징 패턴을 통과한 입력광에 의한 센서 데이터를, 센서 패널(700)의 영상획득 영역(710)에서 감지하는 일례를 도시하고 있다.
도 5의 센서 선택부(520)는 영상획득 영역(710)으로부터 상기 기준 거리에 따른 센서 영역(720)을 선택 함으로써, 오브젝트의 영상 복원을 위해 실제 디코딩되는 센서 데이터를 선택할 수 있다.
예컨대, 상기 기준 거리를 Z, 디스플레이 패널(550)과 센서 패널(560) 사이의 거리를 F라 하고, 이미징 패턴을 구성하는 정방형의 4개의 무라 패턴의 한 변의 길이가 r일 경우, 센서 영역(720)은 한 변의 길이를 (1+(F/Z))r로 갖는 정사각형일 수 있다.
상기 (1+(F/Z))r로부터 알 수 있는 바와 같이, 만약 기준 거리가 멀어져 Z가 커지는 경우, 센서 선택부(520)는 센서 영역(720)의 한 변의 길이를 보다 짧게 선택할 수 있다. 반면, 기준 거리가 짧아져 Z가 작아지면, 센서 선택부(520)는 센서 영역(720)의 한 변의 길이를 보다 길게 선택할 수 있다
선택된 센서 영역(720)에 포함되는 센서 데이터의 수는, 센서 픽셀 개수 Rp를 이용하여 표현할 수 있다.
상기 센서 픽셀 개수 Rp는 수학식 3을 만족하여 정해질 수 있다.
Figure pat00003
여기서, 상기 (1+(F/Z))r은 센서 선택부(520)에 의해 선택된 센서 영역(720)의 한 변의 길이이고, 상기 Sp는 픽셀 피치를 의미할 수 있다.
수학식 3에 따른 센서 픽셀 개수 Rp는, 센서 영역(720)의 한 변의 길이와, 센서 영역(720)의 픽셀 피치(Pixel Pitch)와의 비에 대한 반올림 값 임을 알 수 있다.
선택된 센서 영역(720)에 포함되는 센서 데이터의 수는, 상기 센서 픽셀 개수 Rp의 제곱(Rp * Rp)으로 표현될 수 있다.
도 7과 수학식 3을 통해, 알 수 있듯이, 센서 선택부(520)는 오브젝트와의 거리로 추정된 기준 거리를 고려하여, 영상획득 영역(710)으로부터 가변적으로 센서 영역, 또는 센서 영역에 포함되는 센서 데이터를 선택할 수 있다.
다시 도 5를 살펴보면, 데이터 디코딩부(data decoding unit)(530)는 상기 센서 데이터를 이용하여 오브젝트에 대한 멀티 뷰 영상(multi-view images)을 생성할 수 있다. 데이터 디코딩부(530)는 선택된 센서 데이터를 디코딩하여, 해석(interpret)함으로써, 오브젝트에 관해 다양한 시점(viewpoint)으로 바라본 다시점의 멀티 뷰 영상을 생성할 수 있다(도 2(b) 참조).
센서 데이터의 디코딩의 일례로서, 데이터 디코딩부(530)는 센서 데이터 및 이미징 패턴을 컨볼루션(convolution)하여 오브젝트에 대한 멀티 뷰 영상을 생성할 수 있다. 예컨대, 데이터 디코딩부(530)는, 센서 영역에 포함되는 센서 데이터를, 이미징 패턴 내 무라 패턴과 컨볼루션 연산을 하여 디코딩 함으로써, 오브젝트에서 송출된 다양한 각도의 입력광에 기인하여 생성되는 복수의 영상을 시각화하여 복원할 수 있다.
또한, 깊이 획득부(depth acquiring unit)(540)는 상기 멀티 뷰 영상으로부터 오브젝트의 깊이 영상을 획득할 수 있다. 예컨대, 깊이 획득부(540)는 오브젝트에 대한 대응점을 결정하고, 상기 대응점을 이용하여 상기 멀티 뷰 영상 각각을 매칭하여 상기 깊이 영상을 획득할 수 있다.
도 8a와 도 8b는 대응점(corresponding points)을 이용하여 멀티 뷰 영상을 매칭하여 깊이 영상을 획득하는 일례를 설명하기 위한 도면이다.
도 8a에서는 멀티 뷰 영상의 생성을 위한 디스플레이 패널(802) 및 센서 패널(804)을 예시하고 있다.
도 8a에서와 같이, 디스플레이 장치(800)는 디스플레이 패널(802)와 센서 패널(804)를 포함하고, 오브젝트(손, 806)와 연관되는 입력광을 입력받는다. 상기 입력광은 디스플레이 패널(802)에 포함되는 복수의 이미징 패턴을 통과하면서 영상에 관한 센서 데이터로 코딩되고, 상기 센서 데이터는 센서 패널(804)의 복수의 영상획득 영역에서 감지된다. 멀티 뷰 영상의 생성을 위한 디코딩의 경우, 센서 패널(804)에서는 추정된 기준 거리(reference distance)에 따라, 상기 디코딩에 관여될 센서 데이터의 수가, 상기 영상획득 영역 별로 가변적으로 선택될 수 있다. 이후, 도 5의 데이터 디코딩부(530)는 상기 선택된 센서 데이터를, 상기 영상획득 영역 별로 디코딩 함으로써, 오브젝트(806)에 관해 다양한 시점으로 바라본 다시점의 멀티 뷰 영상을 생성할 수 있다
도 8b에서는 멀티 뷰 영상을 단일의 깊이 영상으로 매칭하는 것을 예시하고 있다.
먼저, 도 5의 깊이 획득부(540)는 도 8a의 오브젝트(806)를 바라보는 기준 시점의 영상(830-1, 830-2)과, 상기 기준 시점과 시점이 상이한 복수의 멀티 뷰 영상 페어(810, 820)의 각각으로부터 오브젝트(806)의 특징 부위를 대응점으로 추출할 수 있다. 여기서, 상기 멀티 뷰 페어 중 제1 멀티 뷰 영상(810)은 오브젝트(806)에 대한 왼쪽 시점으로부터의 영상일 수 있고, 상기 멀티 뷰 페어 중 제2 멀티 뷰 영상(820)은 오브젝트(806)에 대한 오른쪽 시점으로부터의 영상일 수 있다. 또한, 상기 기준 시점의 영상(830-1, 830-2)은 오브젝트(806)에 대한 중앙 시점으로부터의 영상일 수 있다.
깊이 획득부(540)는 기준 시점의 영상(830-1, 830-2)과, 상기 멀티 뷰 영상 페어(810, 820)의 각각으로부터 대응점을 추출할 수 있다. 예컨대, 도 8b에 도시한 바와 같이, 깊이 획득부(540)는 제1 멀티 뷰 영상(810)과 기준 시점의 영상(830-1)에 대해, 손바닥 부위의 특징부(feature)를 점(points)으로 표시하여 상기 대응점을 추출할 수 있다. 또한, 깊이 획득부(540)는 제2 멀티 뷰 영상(820)과 기준 시점의 영상(830-2)에 대해, 팔목 부위의 특징부를 점으로 표시하여 상기 대응점을 추출할 수 있다. 도 8b에서 대응점은 손바닥과 팔목에 특징부를 점으로 표시하고 있지만, 이는 설명의 목적을 위한 것이며, 더 많거나 더 적은 대응점이 선택될 수 있음을 기술분야에서 통상의 지식을 가진 자는 이해할 수 있다.
또한, 깊이 획득부(540)는 기준 시점의 영상(830-1)에 표시되는 특징부를 참조하여, 제1 멀티 뷰 영상(810)에 표시된, 상기 손바닥 부위 내 특징부를 조정하여 확정할 수 있다. 유사하게, 깊이 획득부(540)는 기준 시점의 영상(830-2)에 표시되는 특징부를 참조하여, 제2 멀티 뷰 영상(820)에 표시된, 상기 팔목 부위 내 특징부를 조정하여 확정할 수 있다.
이후, 깊이 획득부(540)는 상기 손바닥 부위 내 특징부를 표시하는 제1 멀티 뷰 영상(810)과, 상기 팔목 부위 내 특징부를 표시하는 제2 멀티 뷰 영상(820)을 조합하여 오브젝트(806)에 관한 깊이 영상(840)을 획득할 수 있다. 예를 들어, 깊이 획득부(540)는 복수의 멀티 뷰 영상 페어(810, 820) 간의 대응점, 또는 상기 대응점을 포함하는 대응영역을 이용하여 오브젝트(806)에 관한 깊이 영상(840)을 획득할 수 있다. 상기 대응점을 구하는 방법으로는, 특징 정합법(feature matching), 스테레오 정합(stereo matching) 기법 등을 예시할 수 있고, 깊이 획득부(540)는 작업 환경에 따라 상기 기법들을 유연하게 선택하여 상기 대응점을 구하는 데에 이용할 수 있다.
이를 통해, 일실시예에 따른 디스플레이 장치는, 기준거리에 따라 선택되는 센서 데이터와 연관하여 생성된 멀티 뷰 영상으로부터 대응점을 식별하고, 상기 대응점에 대응하는 깊이 정보를 갖는 오브젝트의 깊이 영상을 획득 할 수 있다.
다른 실시예에서 디스플레이 장치는 상기 멀티 뷰 영상으로부터 리포커스 영상(refocused image)을 생성하고, 상기 리포커스 영상을 이용하여 오브젝트의 깊이 영상을 획득할 수 있다.
이를 위해, 도 5의 데이터 디코딩부(530)은 멀티 뷰 영상을 이용하여, 복수의 리포커스 영상을 생성할 수 있다. 예컨대, 데이터 디코딩부(530)은 상기 멀티 뷰 영상 중 센터 영상을 중심으로, 상기 멀티 뷰 영상 각각을 픽셀 단위로 쉬프트하고, 상기 쉬프트에 따라 상기 센터 영상에 대해 중첩되는 영상을, 상기 리포커스 영상으로 생성할 수 있다. 상기 리포커스 영상 각각은, 쉬프트 되는 픽셀 값에 기초하여, 상기 오브젝트의 일부를 선명하게 표현하는 영상일 수 있다.
도 9는 멀티 뷰 영상으로부터 리포커스 영상을 생성하는 개념을 설명하기 위한 도면이다.
도 9(a)에는 상이한 깊이를 갖는 제1 내지 제3 오브젝트(910, 920, 930)의 입력광이, 핀 홀 패턴(pin hole pattern)을 통과 함에 따라, 센서 패널에서 깊이 정보를 갖는 멀티 뷰 영상(영상 #1 내지 #3)을 감지하는 것을 예시하고 있다. 도 9(a)에 도시된 핀 홀 패턴은 이미징 패턴의 일례이며, 핀 홀 패턴 이외의 다른 패턴이 사용될 수도 있다.
예컨대, 센서 패널은, 핀 홀과 각 오브젝트(910, 920, 930)와의 시점 차이로 인해, 멀티 뷰 영상(영상 #1 내지 #3) 내 오브젝트 관련 이미지들 간의 거리를 서로 다른 거리로 감지할 수 있다.
이후, 도 5의 데이터 디코딩부(530)은 상기 멀티 뷰 영상 중 센터 영상(영상 #2)을 중심으로, 영상 #1와 영상 #3을 픽셀 단위로 쉬프트 할 수 있다.
예컨대, 도 9(b)에서, 데이터 디코딩부(530)는 센터 영상인 영상 #2를 중심으로, 영상 #1을 오른쪽으로 3픽셀 쉬프트하고, 영상 #3을 왼쪽으로 3픽셀 쉬프트 함으로써, 가장 큰 깊이를 갖는 깊이 3의 제3 오브젝트(930) 관련 이미지의 사이에서 중첩이 이루어져, 제3 오브젝트(930)를 선명하게 표현하는 리포커싱 영상(940)을 생성할 수 있다. 이 때, 제1 오브젝트(910)와 제2 오브젝트(920) 관련 이미지는 중첩을 위한 쉬프트 량이 부족하여 리포커싱을 완성할 수 없다.
또한, 데이터 디코딩부(530)는 영상 #2를 중심으로, 영상 #1을 오른쪽으로 2픽셀 쉬프트하고, 영상 #3을 왼쪽으로 2픽셀 쉬프트 함으로써, 중간 깊이를 갖는 깊이 2의 오브젝트(920) 관련 이미지의 사이에서 중첩이 이루어져, 제2 오브젝트(920)를 선명하게 표현하는 리포커싱 영상(950)을 생성할 수 있다. 이 때, 제1 오브젝트(910) 관련 이미지는 중첩을 위한 쉬프트 량이 부족하여 리포커싱을 완성하지 못하고, 반면 제3 오브젝트(930) 관련 이미지는 중첩을 위한 쉬프트 량이 많아 역시 리포커싱을 완성할 수 없다.
또한, 데이터 디코딩부(530)는 센터 영상인 영상 #2를 중심으로, 영상 #1을 오른쪽으로 1픽셀 쉬프트하고, 영상 #3을 왼쪽으로 1픽셀 쉬프트 함으로써, 가장 작은 깊이를 갖는 깊이 1의 제1 오브젝트(910) 관련 이미지의 사이에서 중첩이 이루어져, 제1 오브젝트(910)를 선명하게 표현하는 리포커싱 영상(960)을 생성할 수 있다. 이 때, 제2 오브젝트(920)와 제3 오브젝트(930) 관련 이미지는 중첩을 위한 쉬프트 량이 많아 리포커싱을 완성할 수 없다.
이와 같이, 데이터 디코딩부(530)은 쉬프트 되는 픽셀 값에 기초하여, 오브젝트의 일부를 선명하게 표현하는 리포커스 영상을 생성할 수 있다.
도 10은 멀티 뷰 영상으로부터 리포커스 영상을 생성하는 실례를 설명하기 위한 도면이다.
우선, 도 5의 기준 결정부(510)는 기준 거리에 따라, 센서 패널에서 센서 영역을 선택하고, 상기 선택된 센서 영역에 기초하여 멀티 뷰 영상(1000)을 생성할 수 있다. 도 10에서는, 상기 생성된 멀티 뷰 영상(1000)에 대해, 센터 영상(1005)을 중심으로, 멀티 뷰 영상(1000) 각각을 픽셀 단위로, 예컨대, 가로 방향, 세로 방향, 대각선 방향 등으로 쉬프트 하는 것을 예시하고 있다. 도 10에서, 멀티 뷰 영상(multi-view images)(1000)은 25개의 멀티 뷰 영상을 포함하고 있다.
예컨대, 도 5의 데이터 디코딩부(530)는 센터 영상(1005)을 제외한 모든 멀티 뷰 영상(1000)을, 상기 센터 영상(1005)을 중심으로 16 픽셀(실제 약 23cm) 쉬프트하고, 상기 쉬프트에 따라 상기 센터 영상(1005)에 대해 중첩되는 영상을, 리포커스 영상(1010)으로 생성할 수 있다. 이때, 리포커스 영상(1010)은 오브젝트의 부위 중, 예컨대 좌측 팔 부위가 선명하게 표현되는 영상일 수 있다.
또한, 데이터 디코딩부(530)는 센터 영상(1005)을 제외한 모든 멀티 뷰 영상(1000)을, 상기 센터 영상(1005)을 중심으로 13 픽셀(실제 약 28cm) 쉬프트하고, 상기 쉬프트에 따라 상기 센터 영상(1005)에 대해 중첩되는 영상을, 리포커스 영상(1020)으로 생성할 수 있다. 이때, 리포커스 영상(1020)은 오브젝트의 부위 중, 예컨대 가슴 부위가 선명하게 표현되는 영상일 수 있다.
또한, 데이터 디코딩부(530)는 센터 영상(1005)을 제외한 모든 멀티 뷰 영상(1000)을, 상기 센터 영상(1005)을 중심으로 10 픽셀(실제 약 37cm) 쉬프트하고, 상기 쉬프트에 따라 상기 센터 영상(1005)에 대해 중첩되는 영상을, 리포커스 영상(1030)으로 생성할 수 있다. 이때, 리포커스 영상(1030)은 오브젝트의 부위 중, 예컨대 우측 팔 부위가 선명하게 표현되는 영상일 수 있다.
이에 따라, 데이터 디코딩부(530)는 오브젝트의 일부(좌측 팔 부위, 가슴 부위, 우측 팔 부위)를 특징적으로 선명하게 표현하는 복수의 리포커스 영상(1010, 1020, 1030)을 각각 생성할 수 있다.
리포커스 영상의 생성 후, 도 5의 깊이 획득부(540)는 상기 복수의 리포커스 영상(1010, 1020, 1030)으로부터 상기 오브젝트의 깊이 영상을 획득할 수 있다. 예컨대, 깊이 획득부(540)는 상기 복수의 리포커스 영상(1010, 1020, 1030) 각각에서 경계면을 결정하고, 상기 경계면을 이용하여 리포커스 영상(1010, 1020, 1030) 각각을 매칭하여 상기 깊이 영상을 획득할 수 있다.
도 11은 경계면을 이용하여 리포커스 영상을 매칭하여 깊이 영상을 획득하는 일례를 설명하기 위한 도면이다.
도 11에서는 복수의 리포커스 영상을 단일의 깊이 영상으로 매칭하는 것을 예시하고 있다.
먼저, 도 5의 깊이 획득부(540)는 리포커스 영상(1110 내지 1140) 각각으로부터 영상의 경계면을 추출할 수 있다.
예컨대, 깊이 획득부(540)는 오브젝트의 손가락에 리포커싱된 제1 리포커스 영상(1110)으로부터 주변에 비해 밝게 표현된 상기 손가락을 포함한 에지(edge) 관련 경계면 영상을 추출할 수 있다. 또한, 깊이 획득부(540)는 오브젝트의 손바닥에 리포커싱된 제2 리포커스 영상(1120)으로부터 주변에 비해 밝게 표현된 상기 손바닥을 포함한 에지 관련 경계면 영상을 추출할 수 있다.
유사하게, 깊이 획득부(540)는 오브젝트의 팔목과 팔뚝에 각각 리포커싱된 제3, 4 리포커스 영상(1130, 1140)으로부터 주변에 비해 밝게 표현된 상기 팔목을 포함한 에지 관련 경계면 영상과 상기 팔뚝을 포함한 에지 관련 경계면 영상을 각각 추출할 수 있다.
이후, 깊이 획득부(540)은, 추출된 복수의 에지 관련 경계면 영상을, 에지의 선명도(edge sharpness)를 고려하여 하나의 영상으로 조합 함으로써, 오브젝트에 관한 깊이 영상(1150)을 획득할 수 있다. 상기 복수의 에지 관련 경계면을 조합하는 방법으로는, 예컨대 DFF(Depth-From-Focus), 윤곽선 이미지 매칭법(boundary image matching) 기법 등을 활용할 수 있다.
이를 통해, 일실시예에 따른 디스플레이 장치는, 기준거리와 관련하여 생성된 멀티 뷰 영상으로부터, 오브젝트의 특정 부위에 대한 에지값이 상대적으로 높은 리포커싱 영상들을 생성하여 조합 함으로써, 오브젝트의 각 부위를 최적하게 표현하면서 깊이 정보를 갖는 오브젝트의 깊이 영상을 획득 할 수 있다.
또 다른 실시예에서, 디스플레이 장치는 멀티 뷰 영상을 조합하여 얻은 제1 깊이 영상과, 리포커스 영상을 조합하여 얻은 제2 깊이 영상을, 재조합하여 오브젝트에 관한 보다 선명한 깊이 영상을 획득하는 것에 대해 설명한다.
이를 위해, 도 5의 깊이 획득부(540)는, 상기 멀티 뷰 영상의 점(point)에 관한 깊이 정보 및 상기 리포커스 영상의 에지(edge)에 관한 깊이 정보를 이용하여 오브젝트의 깊이 영상을 획득할 수 있다.
예컨대, 깊이 획득부(540)는, 오브젝트에 대한 대응점을 이용하여 상기 멀티 뷰 영상 각각을 매칭하여 상기 멀티 뷰 영상에 관한 제1 깊이 영상을 생성하고, 상기 리포커스 영상 내 경계면을 이용하여 상기 리포커스 영상 각각을 매칭하여 상기 리포커스 영상에 관한 제2 깊이 영상을 생성하며, 상기 제1 깊이 영상과 상기 제2 깊이 영상을 재조합하여 깊이 영상을 획득할 수 있다.
도 12는 제1 깊이 영상 및 제2 깊이 영상을 재조합하여 오브젝트에 대한 깊이 영상을 획득하는 것을 설명하기 위한 도면이다.
우선, 디스플레이 장치는 기준 거리에 따라, 센서 패널 내에서 센서 영역(1212)을 선택할 수 있다(1210). 예컨대, 디스플레이 장치는 오브젝트(예를 들어, 사람의 손)에 관한 입력광이 이미징 패턴을 통과함에 따라 코딩된 센서 데이터를 센서 패널에서 감지하고, 상기 센서 데이터가 집중되어 분포하는 영역을, 상기 기준 거리를 고려하여 센서 영역(1212)으로 선택할 수 있다.
센서 영역(1212)은 하나의 변을 '(1+F/z)r'의 길이를 갖도록 선택될 수 있다. 여기서, 상기 Z는 오브젝트와 디스플레이 패널 사이의 거리이고, 상기 F는 디스플레이 패널과 센서 패널 사이의 거리이며, 상기 r은 상기 영상획득 영역의 1/2 변의 길이일 수 있다.
또한, 디스플레이 장치는 선택된 센서 영역(1212)과 관련하여 멀티 뷰 영상을 생성할 수 있다(1220). 예컨대, 디스플레이 장치는 이미징 패턴의 개수에 해당하는 복수의 센서 영역(1212)을 선택할 수 있고, 상기 복수의 센서 영역(1212)에 포함되는 센서 데이터 각각에 대해, 디코딩 처리를 통해 다시점의 멀티 뷰 영상을 생성할 수 있다.
또한, 디스플레이 장치는 상기 멀티 뷰 영상을 이용하여, 복수의 리포커스 영상을 생성할 수 있다(1230). 예컨대, 디스플레이 장치는 상기 멀티 뷰 영상 내 센터 영상을 중심으로, 상기 멀티 뷰 영상 각각을 픽셀 단위로 쉬프트하고, 상기 쉬프트에 따라 상기 센터 영상에 대해 중첩되는 영상을, 상기 리포커스 영상으로 생성할 수 있다.
이어서, 디스플레이 장치는 단계(1220)에서 생성된 멀티 뷰 영상에 대해 특징 정합법(feature matching) 등을 실행하여, 오브젝트의 대응점과 관련한 상기 멀티 뷰 영상의 제1 깊이 영상을 생성할 수 있다(1240). 예컨대, 디스플레이 장치는 멀티 뷰 영상 각각으로부터 오브젝트의 특징 부위(손바닥, 팔목, 팔뚝)를 대응점으로 추출하고, 상기 특징 부위와 관련한 부분 영상을 조합하여, 상기 멀티 뷰 영상의 점(point)에 관한 깊이 정보를 갖는 제1 깊이 영상을 생성할 수 있다.
또한, 디스플레이 장치는 단계(1230)을 통해 생성된 리포커스 영상의 각 픽셀에 대해 DFF(depth-from-focus) 등을 실행하여, 경계면과 관련한 상기 리포커스 영상의 제2 깊이 영상을 생성할 수 있다(1250). 예컨대. 오브젝트의 특징 부위(손가락, 손바닥, 팔목, 팔뚝)로 각각 리포커싱된 복수의 리포커싱 영상으로부터 각각 복수의 경계면 영상을 추출하고, 이들 경계면 영상들을 조합하여, 상기 리포커스 영상의 에지(edge)에 관한 깊이 정보를 갖는 제2 깊이 영상을 생성할 수 있다(1250).
이후, 디스플레이 장치는 단계(1240)과 단계(1250)의 결과를 재조합하여, 오브젝트에 관한 깊이 영상을 생성한다(1260). 예컨대, 디스플레이 장치는, 상기 제2 깊이 영상을 통해 오브젝트의 손과 팔의 경계면(예, 윤곽선)을 표현하고, 상기 제1 깊이 영상을 통해 오브젝트의 손과 팔의 내부 점들을 표현하도록, 재조합 할 수 있다.
이를 통해, 일실시예에 따른 디스플레이 장치는 무렌즈 방식의 코딩된 어퍼쳐 이미지를 이용하여, 부호화된 센서 영역으로부터 가변적으로 센서 영역을 선택하고, 멀티 뷰 영상 및 리포커스 영상을 생성하여, 두 영상의 조합으로 보다 정밀한 깊이 영상을 생성할 수 있다.
이하, 깊이 정보를 획득하는 디스플레이 장치의 동작에 대한 흐름을 상세히 설명한다.
도 13은 일실시예에 따른 디스플레이 장치의 깊이 정보를 획득하는 방법을 구체적으로 도시한 작업 흐름도이다.
실시예에 따른 깊이 정보 획득 방법은, 디스플레이 패널 및 센서 패널을 포함한 도 5의 디스플레이 장치(500)에 의해 수행될 수 있다.
일실시예에서, 디스플레이 장치(500)는, 멀티 뷰 영상의 점에 관한 깊이 정보를 획득할 수 있다.
일실시예에서, 디스플레이 장치(500)는 기준 거리(reference distance)를 추정(estimate)할 수 있다(1310). 본 단계(1310)에서 디스플레이 장치(500)는 어떤 거리에 오브젝트가 있음을 가정하여, 센서 영역을 우선하여 선택하게 하는 거리로서의 기준거리를 결정할 수 있다. 실시예에 따르면, 오브젝트로부터의 거리에 따라 영상획득 영역 내에서 센서 영역의 크기를 결정하는데, 상기 센서 영역의 크기를 결정하기 위한 거리가 단계(1310)에서 추정될 수 있다.
상기 기준거리의 추정에 있어, 디스플레이 장치(500)는 복수의 후보 거리를 선택하고, 상기 복수의 후보 거리 각각에 대응하여, 센서 패널과 연관하여 생성된 영상의 선명도에 따라, 상기 복수의 후보 거리 중에서 상기 기준 거리를 결정할 수 있다. 상기 후보 거리(candidate distance)는 디스플레이 장치(500)로부터 오브젝트까지의 거리를 추정한 값이다.
디스플레이 장치(500)는 각 후보 거리에 대해, 센서 패널에서 후보 센서 영역을 각각 선택하고, 상기 선택된 후보 센서 영역의 센서 데이터를 디코딩하여 생성된 멀티 뷰 영상의 선명도를 비교할 수 있다. 선명도 비교에 있어, 디스플레이 장치(500)는 상기 후보 센서 영역의 센서 데이터를 이용하여 생성되는 멀티 뷰 영상의 선명도로서, 평균절대변화율(Mean Absolute Gradient) 값을 계산할 수 있다. 예컨대, 디스플레이 장치(500)는 상기 평균절대변화율이 우수하여, 영상 내 블러가 적게 포함된 것으로 판단되는 멀티 뷰 영상을 선명도가 높은 것으로 판단할 수 있다.
이에 따라, 디스플레이 장치(500)는 선명도가 높은 것으로 판단된 멀티 뷰 영상을 레퍼런스 영상으로 결정하고, 결정된 레퍼런스 영상과 관련한 거리를 상기 기준 거리로 결정할 수 있다.
또한, 디스플레이 장치(500)는 센서 패널에서, 상기 기준 거리에 따른 센서 데이터를 선택하고, 선택된 센서 데이터를 이용하여 오브젝트에 대한 멀티 뷰 영상(multi-view images)을 생성할 수 있다(1320). 본 단계(1320)에서 디스플레이 장치(500)는 상기 기준 거리와 연관하여 가변적으로 선택되는 센서 영역을 고려하여, 센서 데이터를 선택할 수 있다.
상기 센서 데이터의 선택시, 디스플레이 장치(500)는 상기 기준 거리에 따라, 선택되는 센서 데이터의 수를 변화시킬 수 있다. 이때, 디스플레이 장치(500)는 상기 기준 거리가 멀수록, 상기 센서 데이터의 수를 감소하여 선택할 수 있다. 반면, 상기 기준 거리가 좁아질수록, 디스플레이 장치(500)는 선택하는 센서 데이터의 수를 증가시킬 수 있다.
본 단계(1320)에서 디스플레이 장치(500)는 선택된 센서 데이터를 디코딩하여, 시각화 함으로써, 오브젝트에 관해 다양한 시점으로 바라본 다시점의 멀티 뷰 영상을 생성할 수 있다.
센서 데이터의 디코딩 일례로서, 디스플레이 장치(500)는 센서 데이터 및 이미징 패턴을 컨볼루션하여 오브젝트에 대한 멀티 뷰 영상을 생성할 수 있다. 예컨대, 디스플레이 장치(500)는 센서 영역에 포함되는 센서 데이터를, 이미징 패턴 내 무라 패턴과 컨볼루션 연산을 하여 디코딩 함으로써, 오브젝트에서 송출된 다양한 각도의 입력광에 기인하여 생성되는 복수의 영상을, 시각화하여 복원할 수 있다.
계속해서, 디스플레이 장치(500)는 대응점을 이용하여, 상기 멀티 뷰 영상으로부터 제1 깊이 영상을 생성할 수 있다(1330). 단계(1330)에서 디스플레이 장치는 상기 멀티 뷰 영상의 점(point)에 관한 깊이 정보를 생성할 수 있다. 예컨대, 디스플레이 장치는, 오브젝트에 대한 대응점을 이용하여 상기 멀티 뷰 영상 각각을 매칭하여 상기 멀티 뷰 영상에 관한 제1 깊이 영상을 생성할 수 있다.
예를 들어, 디스플레이 장치는 3개의 멀티 뷰 영상에서 대응점으로 각각 추출된, 오브젝트의 손바닥, 팔목, 팔뚝과 관련한 부분 영상을, 특징 정합법 등으로 조합 함으로써, 오브젝트에 관한 상기 제1 깊이 영상을 획득할 수 있다(도 8b 참조).
이를 통해, 일실시예에 따른 디스플레이 장치는, 기준거리에 따라 선택되는 센서 데이터와 연관하여 생성된 멀티 뷰 영상으로부터 대응점을 식별하고, 상기 대응점에 대응하는 깊이 정보를 갖는 오브젝트의 깊이 영상을 획득할 수 있다.
다른 실시예에서, 디스플레이 장치(500)는, 리포커스 영상의 에지에 관한 깊이 정보를 획득할 수 있다.
다른 실시예에서, 디스플레이 장치(500)는 기준 거리를 추정하고(1310), 추정된 기준 거리에 따라 선택된 센서 데이터를 이용하여 오브젝트에 대한 멀티 뷰 영상을 생성할 수 있다(1320). 단계(1310)과 단계(1320)은 상술의 일실시예에서 설명한 것으로 갈음하고 여기서는 생략한다.
단계(1310)과 단계(1320)을 수행한 이후, 디스플레이 장치(500)는 상기 멀티 뷰 영상으로부터 리포커스 영상을 생성할 수 있다(1340). 단계(1340)에서 디스플레이 장치(500)는 상기 멀티 뷰 영상 내 센터 영상을 중심으로, 상기 멀티 뷰 영상 각각을 픽셀 단위로 쉬프트하고, 상기 쉬프트에 따라 상기 센터 영상에 대해 중첩되는 영상을, 상기 리포커스 영상으로 생성할 수 있다. 상기 리포커스 영상 각각은, 쉬프트 되는 픽셀 값에 기초하여, 상기 오브젝트의 일부를 선명하게 표현하는 영상일 수 있다.
예컨대, 디스플레이 장치(500)는 센터 영상을 제외한 모든 멀티 뷰 영상을, 상기 센터 영상을 중심으로 픽셀 단위로 순차적으로 쉬프트하고, 각 쉬프트에 따라 오브젝트의 손가락이 선명하게 표현되는 리포커스 영상, 오브젝트의 손바닥 부위가 선명하게 표현되는 리포커스 영상, 오브젝트의 팔목이 선명하게 표현되는 리포커스 영상, 오브젝트의 팔뚝이 선명하게 표현되는 리포커스 영상을 생성할 수 있다.
이어서, 디스플레이 장치(500)는 경계면을 이용하여 제2 깊이 영상을 생성할 수 있다(1350). 단계(1350)에서 디스플레이 장치는 상기 리포커스 영상의 에지(edge)에 관한 깊이 정보를 생성할 수 있다. 디스플레이 장치(500)는, 상기 리포커스 영상 내 경계면을 이용하여 상기 리포커스 영상 각각을 매칭하여 상기 리포커스 영상에 관한 제2 깊이 영상을 생성할 수 있다
예를 들어, 디스플레이 장치(500)는 4개의 리포커스 영상에서 포커스 된 오브젝트의 손가락, 손바닥, 팔목, 팔뚝을 각각 포함한 에지 관련 경계면 영상을, DFF(Depth-From-Focus) 등을 이용하여 하나의 영상으로 조합 함으로써, 오브젝트에 관한 상기 제2 깊이 영상을 획득할 수 있다(도 11 참조).
이를 통해, 다른 실시예에 따른 디스플레이 장치는, 기준거리와 관련하여 생성된 멀티 뷰 영상으로부터, 오브젝트의 특정 부위에 대한 에지값이 상대적으로 높은 리포커싱 영상들을 생성하여 조합 함으로써, 오브젝트의 각 부위를 최적하게 표현하면서 깊이 정보를 갖는 오브젝트의 깊이 영상을 획득 할 수 있다.
또 다른 실시예에서, 디스플레이 장치(500)는, 제1 깊이 영상 및 제2 깊이 영상을 재조합하여 오브젝트에 대한 깊이 영상을 획득할 수 있다.
또 다른 실시예에서, 디스플레이 장치(500)는, 기준 거리를 추정하고(1310), 멀티 뷰 영상과 제1 깊이 영상을 생성하며(1320, 1330), 리포커스 영상과 제2 깊이 영상을 생성할 수 있다(1340, 1350). 단계(1310) 내지 단계(1350)은 상술의 일실시예 및 다른 실시예에서 설명한 것으로 갈음하고 여기서는 생략한다.
단계(1310) 내지 단계(1350)을 수행한 이후, 디스플레이 장치(500)는 상기 멀티 뷰 영상 및 상기 복수의 리포커스 영상을 이용하여, 상기 오브젝트의 깊이 영상을 획득할 수 있다(1360). 본 단계(1360)는, 상기 멀티 뷰 영상의 점(point)에 관한 깊이 정보 및 상기 리포커스 영상의 에지(edge)에 관한 깊이 정보를 이용하여 상기 오브젝트의 깊이 영상을 획득할 수 있다.
예컨대, 디스플레이 장치(500)는 상기 멀티 뷰 영상과 관련하여 조합된 상기 제1 깊이 영상, 및 상기 리포커스 영상과 관련하여 조합된 상기 제2 깊이 영상을 재조합하여 오브젝트의 깊이 영상을 생성할 수 있다.
상기 제1 및 제2 깊이 영상의 재조합에 있어서, 디스플레이 장치(500)는 오브젝트의 특정 부위의 에지를 선명하게 표현하는 제2 깊이 영상에 대해, 해당 부위의 내부 점들을 선명하게 표현하고 있는 제1 깊이 영상을 매칭하여 조합할 수 있다. 예컨대, 디스플레이 장치(500)는, 상기 제2 깊이 영상을 통해 오브젝트의 손과 팔의 경계면(예, 윤곽선)을 표현하고, 상기 제1 깊이 영상을 통해 오브젝트의 손과 팔의 내부 점들을 표현하도록, 조합할 수 있다(도 12 참조).
이를 통해, 일실시예에 따른 깊이 정보 획득 방법은 무렌즈 방식의 코딩된 어퍼쳐 이미지를 이용하여, 부호화된 센서 영역으로부터 가변적으로 센서 영역을 선택하고, 멀티 뷰 영상 및 리포커스 영상을 생성하여, 두 영상의 조합으로 보다 정밀한 깊이 영상을 생성할 수 있다.
실시예에 따른 깊이 정보 획득 방법은 디스플레이 패널 내 어퍼쳐를 렌즈 대신 이용하여 깊이 추정을 할 수 있어, 플랫 패널 디스플레이(Flat Panel Display)로의 최적한 적용을 가능하게 할 수 있다.
또한, 실시예에 따른 깊이 정보 획득 방법은 종래의 센싱 음영 영역과 같은 오브젝트 인지 불능 영역이 없어, 오브젝트의 거리에 무관하게 깊이 추정이 가능하여, 터치, 고해상도 스캐닝, 공간 조작 등의 입체 영상이 활용되는 모든 분야로의 적용이 가능할 수 있다.
또한, 실시예에 따른 깊이 정보 획득 방법은 3D 디스플레이와 결합하는 경우, 스크린 밖으로 물체를 조작하는 사용자의 손을 화면 정면에서 캡쳐하도록 하는 깊이 영상을 생성 함으로써 사용자로 하여금 실감하는 인터랙션을 제공할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.　
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
500 : 디스플레이 장치
510 : 기준 결정부 520 : 센서 선택부
530 : 데이터 디코딩부 540 : 깊이 획득부
550 : 디스플레이 패널 560 : 센서 패널

Claims (33)

  1. 디스플레이 패널 및 센서 패널을 포함한 디스플레이 장치에서 깊이 정보를 획득하는 방법에 있어서,
    상기 센서 패널의 센서 영역을 변경하는 단계; 및
    상기 변경된 센서 영역에 기초하여, 오브젝트의 깊이 정보를 획득하는 단계
    를 포함하는 깊이 정보를 획득하는 방법.
  2. 제1항에 있어서,
    상기 센서 패널의 센서 영역을 변경하는 단계는,
    상기 오브젝트로부터의 추정된 거리에 따라 상기 센서 패널의 상기 센서 영역의 크기를 변경하는 단계
    를 포함하는 깊이 정보를 획득하는 방법.
  3. 제2항에 있어서,
    상기 오브젝트로부터의 추정된 거리가 멀수록, 상기 센서 영역의 크기는,
    작아지는
    깊이 정보를 획득하는 방법.
  4. 디스플레이 패널 및 센서 패널을 포함한 디스플레이 장치에서 오브젝트의 깊이 정보를 획득하는 방법에 있어서,
    기준 거리를 추정하는 단계;
    상기 센서 패널에서, 상기 기준 거리에 따른 센서 데이터를 선택하는 단계;
    상기 센서 데이터를 이용하여 상기 오브젝트에 대한 멀티 뷰 영상(multi-view images)을 생성하는 단계; 및
    상기 멀티 뷰 영상을 이용하여 상기 오브젝트의 깊이 영상을 획득하는 단계
    를 포함하는 깊이 정보를 획득하는 방법.
  5. 제4항에 있어서,
    상기 멀티 뷰 영상을 이용하여 상기 오브젝트의 깊이 영상을 획득하는 단계는,
    상기 오브젝트에 대한 대응점을 결정하는 단계: 및
    상기 대응점을 이용하여 상기 멀티 뷰 영상 각각을 매칭하여 상기 깊이 영상을 획득하는 단계
    를 포함하는 깊이 정보를 획득하는 방법.
  6. 제4항에 있어서,
    상기 멀티 뷰 영상을 이용하여, 복수의 리포커스 영상을 생성하는 단계
    를 더 포함하고,
    상기 오브젝트의 깊이 영상을 획득하는 단계는,
    상기 복수의 리포커스 영상으로부터 상기 오브젝트의 깊이 영상을 획득하는 단계
    를 포함하는 깊이 정보를 획득하는 방법.
  7. 제6항에 있어서,
    상기 복수의 리포커스 영상을 생성하는 단계는,
    상기 멀티 뷰 영상 내 센터 영상을 중심으로, 상기 멀티 뷰 영상 각각을 픽셀 단위로 쉬프트하는 단계; 및
    상기 쉬프트에 따라 상기 센터 영상에 대해 중첩되는 영상을, 상기 리포커스 영상으로 생성하는 단계
    를 포함하는 깊이 정보를 획득하는 방법.
  8. 제7항에 있어서,
    상기 리포커스 영상 각각은,
    쉬프트 되는 픽셀 값에 기초하여, 상기 오브젝트의 일부를 선명하게 표현하는 영상인
    깊이 정보를 획득하는 방법.
  9. 제6항에 있어서,
    상기 복수의 리포커스 영상으로부터 상기 오브젝트의 깊이 영상을 획득하는 단계는,
    상기 복수의 리포커스 영상 각각에서 경계면을 결정하는 단계: 및
    상기 경계면을 이용하여 상기 리포커스 영상 각각을 매칭하여 상기 깊이 영상을 획득하는 단계
    를 포함하는 깊이 정보를 획득하는 방법.
  10. 제4항에 있어서,
    상기 기준 거리에 따른 센서 데이터를 선택하는 단계는,
    상기 기준 거리에 따라, 상기 센서 데이터의 수를 변화하여 선택하는 단계
    를 포함하는 깊이 정보를 획득하는 방법.
  11. 제10항에 있어서,
    상기 기준 거리가 멀수록, 상기 센서 데이터의 수는,
    감소하는
    깊이 정보를 획득하는 방법.
  12. 제4항에 있어서,
    상기 기준 거리를 추정하는 단계는,
    복수의 후보 거리를 선택하는 단계; 및
    상기 복수의 후보 거리 각각에 대응하여, 상기 센서 패널과 연관하여 생성된 영상의 선명도에 따라, 상기 복수의 후보 거리 중에서 상기 기준 거리를 결정하는 단계
    를 포함하는 깊이 정보를 획득하는 방법.
  13. 제12항에 있어서,
    상기 복수의 후보 거리 중에서 상기 기준 거리를 결정하는 단계는,
    상기 영상 내 블러가 적게 포함될수록 상기 선명도가 높은 것으로 판단하는 단계
    를 포함하는 깊이 정보를 획득하는 방법.
  14. 제12항에 있어서,
    상기 복수의 후보 거리 중에서 상기 기준 거리를 결정하는 단계는,
    상기 센서 패널에서, 상기 복수의 후보 거리에 따른 복수의 후보 센서 데이터를 선택하는 단계; 및
    상기 후보 센서 데이터를 이용하여 생성되는 상기 영상의 선명도로서, 평균절대변화율(Mean Absolute Gradient) 값을 계산하는 단계
    를 포함하는 깊이 정보를 획득하는 방법.
  15. 제14항에 있어서,
    상기 평균절대변화율 값을 계산하는 단계는,
    상기 후보 센서 데이터를 디코딩하여 제1 영상을 생성하는 단계;
    상기 제1 영상에 대해 논 로컬 민즈(non-local means)를 수행하여 제2 영상을 생성하는 단계;
    상기 제2 영상에 대해 이진화(binarization)를 수행하여 제3 영상을 생성하는 단계; 및
    상기 제3 영상에 대해 상기 평균절대변화율 값을 계산하는 단계
    를 포함하는 깊이 정보를 획득하는 방법.
  16. 디스플레이 패널 및 센서 패널을 포함한 디스플레이 장치에서 오브젝트의 깊이 정보를 추정하는 방법에 있어서,
    기준 거리에 따라 상기 센서 패널에서 선택되는 센서 데이터를 이용하여 상기 오브젝트에 대한 멀티 뷰 영상을 생성하는 단계;
    상기 멀티 뷰 영상을 이용하여, 복수의 리포커스 영상을 생성하는 단계; 및
    상기 멀티 뷰 영상 및 상기 복수의 리포커스 영상을 이용하여, 상기 오브젝트의 깊이 영상을 획득하는 단계
    를 포함하는 깊이 정보를 획득하는 방법.
  17. 제16항에 있어서,
    상기 오브젝트의 깊이 영상을 획득하는 단계는,
    상기 멀티 뷰 영상의 점(point)에 관한 깊이 정보 및 상기 리포커스 영상의 에지(edge)에 관한 깊이 정보를 이용하여 상기 오브젝트의 깊이 영상을 획득하는 단계
    를 포함하는 깊이 정보 획득 방법.
  18. 제16항에 있어서,
    상기 오브젝트의 깊이 영상을 획득하는 단계는,
    상기 오브젝트에 대한 대응점을 이용하여 상기 멀티 뷰 영상 각각을 매칭하여 상기 멀티 뷰 영상에 관한 제1 깊이 영상을 생성하는 단계;
    상기 리포커스 영상 내 경계면을 이용하여 상기 리포커스 영상 각각을 매칭하여 상기 리포커스 영상에 관한 제2 깊이 영상을 생성하는 단계; 및
    상기 제1 깊이 영상과 상기 제2 깊이 영상을 조합하여 상기 깊이 영상을 획득하는 단계
    를 포함하는 깊이 정보를 획득하는 방법.
  19. 디스플레이 패널 및 센서 패널을 포함한 디스플레이 장치에 있어서,
    기준 거리를 추정하는 기준 결정부;
    상기 센서 패널에서, 상기 기준 거리에 따른 센서 데이터를 선택하는 센서 선택부;
    상기 센서 데이터를 이용하여 오브젝트에 대한 멀티 뷰 영상(multi-view images)을 생성하는 데이터 디코딩부; 및
    상기 멀티 뷰 영상을 이용하여 상기 오브젝트의 깊이 영상을 획득하는 깊이 획득부
    를 포함하는 깊이 정보를 획득하는 디스플레이 장치.
  20. 제19항에 있어서,
    상기 깊이 획득부는,
    상기 오브젝트에 대한 대응점을 결정하고, 상기 대응점을 이용하여 상기 멀티 뷰 영상 각각을 매칭하여 상기 깊이 영상을 획득하는
    깊이 정보를 획득하는 디스플레이 장치.
  21. 제19항에 있어서,
    상기 데이터 디코딩부는, 상기 멀티 뷰 영상을 이용하여, 복수의 리포커스 영상을 생성하고,
    상기 깊이 획득부는, 상기 복수의 리포커스 영상으로부터 상기 오브젝트의 깊이 영상을 획득하는
    깊이 정보를 획득하는 디스플레이 장치.
  22. 제21항에 있어서,
    상기 데이터 디코딩부는,
    상기 멀티 뷰 영상 내 센터 영상을 중심으로, 상기 멀티 뷰 영상 각각을 픽셀 단위로 쉬프트하고, 상기 쉬프트에 따라 상기 센터 영상에 대해 중첩되는 영상을, 상기 리포커스 영상으로 생성하는
    깊이 정보를 획득하는 디스플레이 장치.
  23. 제22항에 있어서,
    상기 리포커스 영상 각각은,
    쉬프트 되는 픽셀 값에 기초하여, 상기 오브젝트의 일부를 선명하게 표현하는 영상인
    깊이 정보를 획득하는 디스플레이 장치.
  24. 제21항에 있어서,
    상기 깊이 획득부는,
    상기 복수의 리포커스 영상 각각에서 경계면을 결정하고, 상기 경계면을 이용하여 상기 리포커스 영상 각각을 매칭하여 상기 깊이 영상을 획득하는
    깊이 정보를 획득하는 디스플레이 장치.
  25. 제19항에 있어서,
    상기 센서 선택부는,
    상기 기준 거리에 따라, 상기 센서 데이터의 수를 변화하여 선택하는
    깊이 정보를 획득하는 디스플레이 장치.
  26. 제25항에 있어서,
    상기 기준 거리가 멀수록, 상기 센서 데이터의 수는,
    감소하는
    깊이 정보를 획득하는 디스플레이 장치.
  27. 제19항에 있어서,
    상기 기준 결정부는,
    복수의 후보 거리를 선택하고, 상기 복수의 후보 거리 각각에 대응하여, 상기 센서 패널과 연관하여 생성된 영상의 선명도에 따라, 상기 복수의 후보 거리 중에서 상기 기준 거리를 결정하는
    깊이 정보를 획득하는 디스플레이 장치.
  28. 제27항에 있어서,
    상기 기준 결정부는,
    상기 영상 내 블러가 적게 포함될수록 상기 선명도가 높은 것으로 판단하는
    깊이 정보를 획득하는 디스플레이 장치.
  29. 제27항에 있어서,
    상기 기준 결정부는,
    상기 센서 패널에서, 상기 복수의 후보 거리에 따른 복수의 후보 센서 데이터를 선택하고, 상기 후보 센서 데이터를 이용하여 생성되는 상기 영상의 선명도로서, 평균절대변화율(Mean Absolute Gradient) 값을 계산하는
    깊이 정보를 획득하는 디스플레이 장치.
  30. 제29항에 있어서,
    상기 기준 결정부는,
    상기 후보 센서 데이터를 디코딩하여 제1 영상을 생성하고, 상기 제1 영상에 대해 논 로컬 민즈(non-local means)를 수행하여 제2 영상을 생성하며, 상기 제2 영상에 대해 이진화(binarization)를 수행하여 제3 영상을 생성하고, 상기 제3 영상에 대해 상기 평균절대변화율 값을 계산하는
    깊이 정보를 획득하는 디스플레이 장치.
  31. 디스플레이 패널 및 센서 패널을 포함한 디스플레이 장치에 있어서,
    기준 거리에 따라 상기 센서 패널에서 선택되는 센서 데이터를 이용하여 오브젝트에 대한 멀티 뷰 영상을 생성하고, 상기 멀티 뷰 영상을 이용하여, 복수의 리포커스 영상을 생성하는 데이터 디코딩부; 및
    상기 멀티 뷰 영상 및 상기 복수의 리포커스 영상을 이용하여, 상기 오브젝트의 깊이 영상을 획득하는 깊이 획득부
    를 포함하는 깊이 정보를 획득하는 디스플레이 장치.
  32. 제31항에 있어서,
    상기 깊이 획득부는,
    상기 멀티 뷰 영상의 점(point)에 관한 깊이 정보 및 상기 리포커스 영상의 에지(edge)에 관한 깊이 정보를 이용하여 상기 오브젝트의 깊이 영상을 획득하는
    깊이 정보를 획득하는 디스플레이 장치.
  33. 제31항에 있어서,
    상기 깊이 획득부는,
    상기 오브젝트에 대한 대응점을 이용하여 상기 멀티 뷰 영상 각각을 매칭하여 상기 멀티 뷰 영상에 관한 제1 깊이 영상을 생성하고, 상기 리포커스 영상 내 경계면을 이용하여 상기 리포커스 영상 각각을 매칭하여 상기 리포커스 영상에 관한 제2 깊이 영상을 생성하며, 상기 제1 깊이 영상과 상기 제2 깊이 영상을 조합하여 상기 깊이 영상을 획득하는
    깊이 정보를 획득하는 디스플레이 장치.
KR1020130009075A 2012-12-28 2013-01-28 깊이 정보를 획득하는 방법 및 디스플레이 장치 KR101905528B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US14/071,965 US10257506B2 (en) 2012-12-28 2013-11-05 Method of obtaining depth information and display apparatus
JP2013256699A JP6412690B2 (ja) 2012-12-28 2013-12-12 深さ情報を取得する方法及びディスプレイ装置
CN201310744537.4A CN103916654B (zh) 2012-12-28 2013-12-30 获得深度信息的方法和显示设备
EP13199749.6A EP2749993B1 (en) 2012-12-28 2013-12-30 Apparatus for obtaining depth information

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20120156387 2012-12-28
KR1020120156387 2012-12-28

Publications (2)

Publication Number Publication Date
KR20140086779A true KR20140086779A (ko) 2014-07-08
KR101905528B1 KR101905528B1 (ko) 2018-10-08

Family

ID=51735957

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130009075A KR101905528B1 (ko) 2012-12-28 2013-01-28 깊이 정보를 획득하는 방법 및 디스플레이 장치

Country Status (1)

Country Link
KR (1) KR101905528B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210056540A (ko) 2019-11-11 2021-05-20 삼성전자주식회사 디스패리티 이미지를 생성하는 알고리즘 갱신 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020122124A1 (en) * 2000-10-25 2002-09-05 Yasuo Suda Image sensing apparatus and its control method, control program, and storage medium
US20090167922A1 (en) * 2005-01-18 2009-07-02 Perlman Stephen G Apparatus and method for capturing still images and video using coded lens imaging techniques
US20110019056A1 (en) * 2009-07-26 2011-01-27 Massachusetts Institute Of Technology Bi-Directional Screen
KR20110130102A (ko) * 2010-05-27 2011-12-05 삼성전자주식회사 촬영이 가능한 디스플레이 장치
US20120307093A1 (en) * 2011-05-31 2012-12-06 Canon Kabushiki Kaisha Image capturing apparatus, image processing apparatus, and method thereof

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020122124A1 (en) * 2000-10-25 2002-09-05 Yasuo Suda Image sensing apparatus and its control method, control program, and storage medium
US20090167922A1 (en) * 2005-01-18 2009-07-02 Perlman Stephen G Apparatus and method for capturing still images and video using coded lens imaging techniques
US20110019056A1 (en) * 2009-07-26 2011-01-27 Massachusetts Institute Of Technology Bi-Directional Screen
KR20110130102A (ko) * 2010-05-27 2011-12-05 삼성전자주식회사 촬영이 가능한 디스플레이 장치
US20120307093A1 (en) * 2011-05-31 2012-12-06 Canon Kabushiki Kaisha Image capturing apparatus, image processing apparatus, and method thereof

Also Published As

Publication number Publication date
KR101905528B1 (ko) 2018-10-08

Similar Documents

Publication Publication Date Title
JP6412690B2 (ja) 深さ情報を取得する方法及びディスプレイ装置
EP3395064B1 (en) Processing a depth map for an image
US9214013B2 (en) Systems and methods for correcting user identified artifacts in light field images
CN101542529B (zh) 图像的深度图的生成方法和图像处理单元
JP5370542B1 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
US9349073B2 (en) Apparatus and method for image matching between multiview cameras
KR20100095465A (ko) 이미지 데이터의 세그먼테이션
JP2015522198A (ja) 画像に対する深度マップの生成
JP2008242658A (ja) 立体物体の撮像装置
US9886096B2 (en) Method and apparatus for processing three-dimensional (3D) object based on user interaction
WO2016202837A1 (en) Method and apparatus for determining a depth map for an image
EP2781099B1 (en) Apparatus and method for real-time capable disparity estimation for virtual view rendering suitable for multi-threaded execution
Oliveira et al. Selective hole-filling for depth-image based rendering
KR20110047791A (ko) 2차원 영상의 3차원 영상으로의 변환방법 및 그 장치
KR101125061B1 (ko) Ｌｄｉ 기법 깊이맵을 참조한 2ｄ 동영상의 3ｄ 동영상 전환방법
Northam et al. Stereoscopic 3D image stylization
JP6429483B2 (ja) 情報処理装置、撮像装置、情報処理システム、情報処理方法およびプログラム
KR20160085708A (ko) 멀티뷰 영상들에 대한 슈퍼픽셀들을 생성하기 위한 방법 및 장치
KR20170047780A (ko) 적응적 윈도우 마스크를 이용하는 로우 코스트 계산장치 및 그 방법
KR101905528B1 (ko) 깊이 정보를 획득하는 방법 및 디스플레이 장치
Orozco et al. HDR multiview image sequence generation: Toward 3D HDR video
KR20140051035A (ko) 영상 부호화 방법 및 장치
Uliyar et al. Fast EPI based depth for plenoptic cameras
JP7170052B2 (ja) ３次元画像生成装置、３次元画像生成方法、及びプログラム
KR101278636B1 (ko) 2차원 영상을 스테레오스코픽 입체 영상으로 변환하기 위한 객체 검출 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant