KR20220107831A - 디스플레이 장치 및 그 제어 방법 - Google Patents
디스플레이 장치 및 그 제어 방법 Download PDFInfo
- Publication number
- KR20220107831A KR20220107831A KR1020210010985A KR20210010985A KR20220107831A KR 20220107831 A KR20220107831 A KR 20220107831A KR 1020210010985 A KR1020210010985 A KR 1020210010985A KR 20210010985 A KR20210010985 A KR 20210010985A KR 20220107831 A KR20220107831 A KR 20220107831A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- disparity
- display
- images
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000004891 communication Methods 0.000 claims abstract description 16
- 230000003247 decreasing effect Effects 0.000 claims 2
- 230000008569 process Effects 0.000 description 33
- 238000012545 processing Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 239000010454 slate Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
- H04N13/395—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/139—Format conversion, e.g. of frame-rate or size
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20228—Disparity calculation for image-based rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/12—Acquisition of 3D measurements of objects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
Abstract
디스플레이 장치 및 그 제어 방법이 개시된다. 디스플레이 장치는 이미지를 포함하는 컨텐츠 및 이미지와 관련된 정보를 수신하는 통신 인터페이스, 프로세서 및 디스플레이를 포함하고, 프로세서는 수신된 이미지와 관련된 정보에 기초하여 이미지에 포함된 오브젝트에 대한 오브젝트 디스패리티 및 촬영된 이미지의 개수를 획득하고, 디스플레이가 표현할 수 있는 디스플레이 디스패리티와 오브젝트 디스패리티가 일치하는지 식별하며, 디스플레이 디스패리티와 오브젝트 디스패리티가 일치하지 않는 경우, 디스플레이 디스패리티, 오브젝트 디스패리티, 촬영된 이미지의 개수를 기초로 이미지 인터폴레이션을 수행하여 추가 이미지를 생성하고, 수신된 컨텐츠에 포함된 이미지 및 생성된 추가 이미지에 기초하여 입체 컨텐츠를 표시하도록 디스플레이를 제어한다.
Description
본 개시는 디스플레이 장치 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 촬영된 이미지를 처리하여 입체 컨텐츠를 표시하는 디스플레이 장치 및 그 제어 방법에 관한 것이다.
전자 기술의 발전에 따라 컨텐츠를 현실적으로 표현하는 기술에 대한 연구가 활발히 진행되고 있다. 컨텐츠를 현실적으로 표현하는 기술 중 하나는 체적 디스플레이(volumetric display) 기술이다. 기존의 3D 기술은 다양한 시각 효과를 통해 뎁스(depth)를 표현하는 평면 이미지이지만, 체적 디스플레이는 물리적인 3차원에서 물체의 시각적 표현을 형성하는 기술을 의미한다.
한편, 체적 디스플레이로 컨텐츠를 표현하기 위해서는 디스플레이 장치에서 요구되는 사양에 맞춰 충분히 많은 카메라로 물체를 촬영해야 한다. 그러나, 현실적으로 요구 사양을 충족시킬 수 있는 많은 수의 카메라로 물체를 촬영하는 것은 불가능하다. 따라서, 일정한 개수의 카메라로 물체를 촬영하고, 촬영된 이미지를 이용하여 필요한 개수의 이미지를 생성하는 방법이 고안되었다. 그러나, 디스플레이 장치의 사양은 다양하기 때문에 모든 디스플레이 장치의 요구 사항을 만족시킬 수 있는 체적 디스플레이용 컨텐츠의 제작에 어려움이 있다.
따라서, 동일한 체적 디스플레이용 컨텐츠를 다양한 디스플레이 장치에서 재생할 수 있는 기술에 대한 필요성이 존재한다.
본 개시는 상술한 문제점을 해결하기 위한 것으로, 본 개시의 목적은 체적 디스플레이용 컨텐츠를 재생할 수 있도록 체적 디스플레이용 컨텐츠를 처리하는 디스플레이 장치 및 그 제어 방법을 제공하는 것이다.
이상과 같은 목적을 달성하기 위한 일 실시 예에 따르면, 디스플레이 장치는 이미지를 포함하는 컨텐츠 및 상기 이미지와 관련된 정보를 수신하는 통신 인터페이스, 프로세서 및 디스플레이를 포함하고, 상기 프로세서는 상기 수신된 이미지와 관련된 정보에 기초하여 상기 이미지에 포함된 오브젝트에 대한 오브젝트 디스패리티(disparity) 및 촬영된 이미지의 개수를 획득하고, 상기 디스플레이가 표현할 수 있는 디스플레이 디스패리티와 상기 오브젝트 디스패리티가 일치하는지 식별하며, 상기 디스플레이 디스패리티와 상기 오브젝트 디스패리티가 일치하지 않는 경우, 상기 디스플레이 디스패리티, 상기 오브젝트 디스패리티, 상기 촬영된 이미지의 개수를 기초로 이미지 인터폴레이션(interpolation)을 수행하여 추가 이미지를 생성하고, 상기 수신된 컨텐츠에 포함된 이미지 및 상기 생성된 추가 이미지에 기초하여 입체 컨텐츠를 표시하도록 상기 디스플레이를 제어한다.
그리고, 이상과 같은 목적을 달성하기 위한 일 실시 예에 따르면, 디스플레이 장치의 제어 방법은 이미지를 포함하는 컨텐츠 및 상기 이미지와 관련된 정보를 수신하는 단계, 상기 수신된 이미지와 관련된 정보에 기초하여 상기 이미지에 포함된 오브젝트에 대한 오브젝트 디스패리티(disparity) 및 촬영된 이미지의 개수를 획득하는 단계, 디스플레이가 표현할 수 있는 디스플레이 디스패리티와 상기 오브젝트 디스패리티가 일치하는지 식별하는 단계, 상기 디스플레이 디스패리티와 상기 오브젝트 디스패리티가 일치하지 않는 경우, 상기 디스플레이 디스패리티, 상기 오브젝트 디스패리티, 상기 촬영된 이미지의 개수를 기초로 이미지 인터폴레이션(interpolation)을 수행하여 추가 이미지를 생성하는 단계 및 상기 수신된 컨텐츠에 포함된 이미지 및 상기 생성된 추가 이미지에 기초하여 입체 컨텐츠를 표시하는 단계를 포함한다.
도 1은 본 개시의 일 실시 예에 따른 입체 컨텐츠를 디스플레이하는 과정을 설명하는 도면이다.
도 2는 본 개시의 일 실시 예에 따른 디스플레이 장치의 구성을 설명하는 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 디스플레이 장치의 구체적인 구성을 설명하는 블록도이다.
도 4는 본 개시의 일 실시 예에 따른 이미지 처리 과정을 설명하는 도면이다.
도 5는 본 개시의 일 실시 예에 따른 복수의 오브젝트를 포함하는 이미지에 대한 처리 과정을 설명하는 도면이다.
도 6은 본 개시의 일 실시 예에 따른 입체 컨텐츠를 디스플레이하는 과정을 설명하는 흐름도이다.
도 7은 본 개시의 일 실시 예에 따른 복수의 오브젝트를 포함하는 컨텐츠를 디스플레이하는 과정을 설명하는 흐름도이다.
도 8a는 본 개시의 일 실시 예에 따른 디스플레이 장치의 정보를 나타내는 도면이다.
도 8b는 본 개시의 일 실시 예에 따른 이미지를 포함하는 컨텐츠의 정보를 나타내는 도면이다.
도 9는 본 개시의 일 실시 예에 따른 이동 오브젝트를 포함하는 이미지에 대한 처리 과정을 설명하는 도면이다.
도 10은 본 개시의 일 실시 예에 따른 오브젝트의 이동에 따른 거리 정보를 포함하는 테이블을 나타내는 도면이다.
도 11은 본 개시의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하는 흐름도이다.
도 2는 본 개시의 일 실시 예에 따른 디스플레이 장치의 구성을 설명하는 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 디스플레이 장치의 구체적인 구성을 설명하는 블록도이다.
도 4는 본 개시의 일 실시 예에 따른 이미지 처리 과정을 설명하는 도면이다.
도 5는 본 개시의 일 실시 예에 따른 복수의 오브젝트를 포함하는 이미지에 대한 처리 과정을 설명하는 도면이다.
도 6은 본 개시의 일 실시 예에 따른 입체 컨텐츠를 디스플레이하는 과정을 설명하는 흐름도이다.
도 7은 본 개시의 일 실시 예에 따른 복수의 오브젝트를 포함하는 컨텐츠를 디스플레이하는 과정을 설명하는 흐름도이다.
도 8a는 본 개시의 일 실시 예에 따른 디스플레이 장치의 정보를 나타내는 도면이다.
도 8b는 본 개시의 일 실시 예에 따른 이미지를 포함하는 컨텐츠의 정보를 나타내는 도면이다.
도 9는 본 개시의 일 실시 예에 따른 이동 오브젝트를 포함하는 이미지에 대한 처리 과정을 설명하는 도면이다.
도 10은 본 개시의 일 실시 예에 따른 오브젝트의 이동에 따른 거리 정보를 포함하는 테이블을 나타내는 도면이다.
도 11은 본 개시의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하는 흐름도이다.
이하에서는 첨부된 도면을 참조하여 다양한 실시 예를 보다 상세하게 설명한다. 본 명세서에 기재된 실시 예는 다양하게 변형될 수 있다. 특정한 실시 예가 도면에서 묘사되고 상세한 설명에서 자세하게 설명될 수 있다. 그러나, 첨부된 도면에 개시된 특정한 실시 예는 다양한 실시 예를 쉽게 이해하도록 하기 위한 것일 뿐이다. 따라서, 첨부된 도면에 개시된 특정 실시 예에 의해 기술적 사상이 제한되는 것은 아니며, 개시의 사상 및 기술 범위에 포함되는 모든 균등물 또는 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이러한 구성요소들은 상술한 용어에 의해 한정되지는 않는다. 상술한 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
한편, 본 명세서에서 사용되는 구성요소에 대한 "모듈" 또는 "부"는 적어도 하나의 기능 또는 동작을 수행한다. 그리고, "모듈" 또는 "부"는 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합에 의해 기능 또는 동작을 수행할 수 있다. 또한, 특정 하드웨어에서 수행되어야 하거나 적어도 하나의 프로세서에서 수행되는 "모듈" 또는 "부"를 제외한 복수의 "모듈들" 또는 복수의 "부들"은 적어도 하나의 모듈로 통합될 수도 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 개시의 설명에 있어서 각 단계의 순서는 선행 단계가 논리적 및 시간적으로 반드시 후행 단계에 앞서서 수행되어야 하는 경우가 아니라면 각 단계의 순서는 비제한적으로 이해되어야 한다. 즉, 위와 같은 예외적인 경우를 제외하고는 후행 단계로 설명된 과정이 선행단계로 설명된 과정보다 앞서서 수행되더라도 개시의 본질에는 영향이 없으며 권리범위 역시 단계의 순서에 관계없이 정의되어야 한다. 그리고 본 명세서에서 "A 또는 B"라고 기재한 것은 A와 B 중 어느 하나를 선택적으로 가리키는 것뿐만 아니라 A와 B 모두를 포함하는 것도 의미하는 것으로 정의된다. 또한, 본 명세서에서 "포함"이라는 용어는 포함하는 것으로 나열된 요소 이외에 추가로 다른 구성요소를 더 포함하는 것도 포괄하는 의미를 가진다.
본 명세서에서는 본 개시의 설명에 필요한 필수적인 구성요소만을 설명하며, 본 개시의 본질과 관계가 없는 구성요소는 언급하지 아니한다. 그리고 언급되는 구성요소만을 포함하는 배타적인 의미로 해석되어서는 아니되며 다른 구성요소도 포함할 수 있는 비배타적인 의미로 해석되어야 한다.
그 밖에도, 본 개시를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그에 대한 상세한 설명은 축약하거나 생략한다. 한편, 각 실시 예는 독립적으로 구현되거나 동작될 수도 있지만, 각 실시 예는 조합되어 구현되거나 동작될 수도 있다.
도 1은 본 개시의 일 실시 예에 따른 입체 컨텐츠를 디스플레이하는 과정을 설명하는 도면이다.
입체 컨텐츠(또는, 체적 컨텐츠)를 생성하기 위해 복수의 카메라를 이용하여 오브젝트(1)가 촬영될 수 있다. 그러나, 입체 컨텐츠의 하나의 장면을 생성하기 위해 동시에 복수의 카메라로 오브젝트가 촬영되어야 한다. 그러나, 입체 컨텐츠를 생성하기 위해 수많은 카메라로 오브젝트를 촬영해야 하기 때문에 실제적으로 어려움이 있다. 또한, 디스플레이 장치의 해상도 및 표현 가능한 디스패리티가 다르기 때문에 모든 디스플레이 장치가 촬영된 동일한 이미지(또는, 컨텐츠)로 입체 컨텐츠를 표시할 수 없다. 따라서, 본 개시는 촬영된 일부 이미지 및 이미지와 관련된 정보에 기초하여 모든 디스플레이 장치가 입체 컨텐츠를 표시하는 방법을 설명한다.
도 1을 참조하면, 일정한 개수의 카메라는 오브젝트(1)를 촬영하고, 외부 장치는 오브젝트(1)를 촬영한 이미지(11-1, 11-2, 11-3)를 이용하여 컨텐츠를 생성할 수 있다. 디스플레이 장치(100)는 촬영된 이미지(11-1, 11-2, 11-3)를 포함하는 컨텐츠와 함께 촬영된 이미지와 관련된 정보를 수신한다. 예를 들어, 촬영된 이미지와 관련된 정보는 오브젝트(1)를 촬영한 카메라의 개수(또는, 이미지의 개수), 오브젝트의 뎁스(depth), 오브젝트의 디스패리티, 카메라의 베이스 라인, 초점 거리, 픽셀 사이즈, 초점을 맞춘 오브젝트에 대한 정보 등을 포함할 수 있다.
오브젝트의 뎁스는 오브젝트의 깊이를 의미한다. 다시 말하면, 카메라가 오브젝트를 포함하는 하나의 평면 이미지를 촬영할 때, 오브젝트의 뎁스는 오브젝트가 위치하는 가상의 평면과 카메라 간의 거리를 의미한다. 오브젝트의 디스패리티는 오브젝트의 입체감을 인식할 수 있는 시야각을 의미한다. 예를 들어, 일정한 간격으로 이격된 두 개의 카메라가 이미지를 촬영할 때, 제1 카메라의 중앙 지점과 제2 카메라의 중앙 지점은 일정한 간격으로 이격된다. 디스패리티는 두 개의 카메라의 중앙 지점 간의 이격된 거리를 의미한다. 즉, 오브젝트의 디스패리티는 일정한 간격으로 이격된 두 개의 카메라가 하나의 오브젝트를 촬영할 때, 제1 및 제2 카메라에서 촬영된 오브젝트의 위치의 차이를 의미한다. 그리고, 카메라의 베이스 라인은 카메라 간의 간격을 의미한다.
디스플레이 장치(100)는 수신된 이미지와 관련된 정보에 기초하여 이미지에 포함된 오브젝트(1)에 대한 오브젝트 디스패리티 및 촬영된 이미지의 개수를 획득한다. 예를 들어, 디스플레이 장치(100)는 외부 장치로부터 오브젝트 디스패리티를 직접 수신할 수 있고, 수신된 오브젝트 뎁스에 기초하여 오브젝트 디스패리티를 산출할 수 있다. 또는, 디스플레이 장치(100)가 오브젝트 디스패리티나 오브젝트 뎁스를 수신하지 못한 경우, 수신된 초점을 맞춘 오브젝트에 대한 정보를 이용하여 오브젝트 디스패리티를 추정할 수 있다.디스플레이 장치(100)의 디스플레이는 복수의 레이어를 포함할 수 있고, 디스플레이 장치(100)에는 디스플레이가 표현할 수 있는 디스플레이 디스패리티가 설정될 수 있다. 디스플레이 장치(100)는 디스플레이 디스패리티와 오브젝트 디스패리티가 일치하는지 판단한다. 만일, 디스플레이 디스패리티와 오브젝트 디스패리티가 일치하지 않으면, 디스플레이 장치(100)는 수신된 이미지를 이용하여 추가 이미지를 생성할 수 있다. 예를 들어, 디스플레이 장치(100)는 디스플레이 디스패리티, 오브젝트 디스패리티, 수신된 이미지의 개수에 기초하여 이미지 인터폴레이션을 수행하여 추가 이미지를 생성할 수 있다. 생성된 추가 이미지는 촬영된 이미지(11-1, 11-2, 11-3)의 사이에 위치하는 이미지(12-1, 12-n)일 수 있다. 이미지 인터폴레이션을 수행하는 구체적인 설명은 후술한다.
디스플레이 장치(100)는 촬영된 이미지(11-1, 11-2, 11-3) 및 생성된 추가 이미지(12-1, 12-n)에 기초하여 입체 컨텐츠를 디스플레이한다. 디스플레이 장치(100)에서 표시하는 입체 컨텐츠는 다양한 디스패리티를 가지는 복수의 이미지를 포함할 수 있다. 따라서, 디스플레이 장치(100)는 사용자가 위치에 따라 서로 다른 형태의 오브젝트(1)를 볼 수 있는 입체 컨텐츠를 디스플레이할 수 있다.
아래에서는, 디스플레이 장치의 구성에 대해 설명한다.
도 2는 본 개시의 일 실시 예에 따른 디스플레이 장치의 구성을 설명하는 블록도이다.
도 2를 참조하면, 디스플레이 장치(100)는 통신 인터페이스(110), 프로세서(120) 및 디스플레이(130)를 포함한다. 예를 들어, 디스플레이 장치(100)는 스마트폰, 태블릿 PC, 네비게이션, 슬레이트 PC, 웨어러블 디바이스, 디지털 TV, 데스크탑 컴퓨터, 랩탑 컴퓨터, 키오스크, 모니터 등을 포함할 수 있다.
통신 인터페이스(110)는 유무선 통신 방식을 이용하여 외부 장치와 통신을 수행할 수 있다. 통신 인터페이스(110)는 3G, LTE(Long Term Evolution), 5G, 와이파이, 블루투스, DMB(Digital Multimedia Broadcasting), ATSC(Advanced Television Systems Committee), DVB(Digital Video Broadcasting), LAN(Local Area Network) 등의 방식으로 통신을 수행할 수 있는 모듈을 포함할 수 있다. 외부 장치는 웹 서버, 클라우드, 셋탑 박스 등을 포함할 수 있다. 예를 들어, 통신 인터페이스(110)는 외부 장치로부터 이미지를 포함하는 컨텐츠 및 컨텐츠에 포함된 이미지와 관련된 정보를 수신한다. 외부 장치와 통신을 수행하는 통신 인터페이스(110)는 통신부, 통신 모듈, 송수신부 등으로 불릴 수도 있다.
프로세서(120)는 디스플레이 장치(100)의 각 구성을 제어할 수 있다. 예를 들어, 프로세서(120)는 이미지를 포함하는 컨텐츠 및 이미지와 관련된 정보를 수신하도록 통신 인터페이스(110)를 제어하고, 이미지를 처리하여 처리된 이미지를 입체 컨텐츠로 표시하도록 디스플레이(130)를 제어한다.
그리고, 프로세서(120)는 수신된 이미지와 관련된 정보에 기초하여 이미지에 포함된 오브젝트에 대한 오브젝트 디스패리티 및 촬영된 이미지의 개수를 획득한다. 예를 들어, 수신된 이미지와 관련된 정보는 오브젝트 디스패리티, 오브젝트 뎁스 또는 이미지를 촬영한 카메라 정보, 촬영된 이미지의 개수, 초점을 맞춘 오브젝트에 대한 정보 등을 포함할 수 있다. 일 실시 예로서, 이미지를 촬영한 카메라 정보는 베이스 라인, 초점 거리 및 픽셀 사이즈 등을 포함할 수 있다. 예를 들어, 수신된 이미지와 관련된 정보가 오브젝트 디스패리티를 포함하면, 프로세서(120)는 수신된 이미지와 관련된 정보로부터 오브젝트 디스패리티를 획득할 수 있다. 수신된 이미지와 관련된 정보가 오브젝트 뎁스 및 카메라 정보를 포함하면, 프로세서(120)는 오브젝트 뎁스 및 카메라 정보에 기초하여 오브젝트 디스패리티를 획득할 수 있다. 예를 들어, 오브젝트 디스패리티는 (식 1)을 이용하여 획득될 수 있다.
(식 1)
뎁스 = (베이스 라인×초점 거리)/(오브젝트 디스패리티×픽셀 사이즈)
한편, 수신된 이미지에 복수 개의 오브젝트가 포함되면, 프로세서(120)는 각 오브젝트를 제로 플레인(zero plane)으로 이동시키고, 제로 플레인으로 이동된 오브젝트를 기초로 오브젝트 디스패리티를 획득할 수 있다.
프로세서(120)는 디스플레이가 표현할 수 있는 디스플레이 디스패리티와 오브젝트 디스패리티가 일치하는지 식별한다. 프로세서(120)는 디스플레이 디스패리티와 오브젝트 디스패리티가 일치하지 않으면, 디스플레이 디스패리티, 오브젝트 디스패리티, 촬영된 이미지의 개수를 기초로 이미지 인터폴레이션을 수행하여 추가 이미지를 생성한다. 경우에 따라, 수신된 이미지 및 생성된 추가 이미지의 총 개수가 디스플레이(130)에서 표현 가능한 이미지의 개수를 초과할 수 있다. 이 경우, 프로세서(120)는 이미지에 대한 추가 처리 과정을 수행할 수 있다. 예를 들어, 프로세서(120)는 디스플레이 디스패리티를 기초로 오브젝트 디스패리티의 표시 가능 여부를 식별할 수 있다. 디스플레이 장치(100)에서 오브젝트 디스패리티의 표시를 할 수 없는 경우는 표현 가능한 이미지의 개수를 초과한 경우와 유사한 의미일 수 있다. 오브젝트 디스패리티가 디스플레이 장치(100)에서 표시할 수 없는 경우, 프로세서(120)는 디스플레이 디스패리티를 기초로 오브젝트를 포함하는 이미지의 해상도를 리사이징(resizing)할 수 있다. 이미지의 해상도의 리사이징은 이미지의 해상도를 낮춤과 동시에 오브젝트 디스패리티 및 추가 이미지의 개수도 낮출 수 있다. 또는, 수신된 컨텐츠에 포함된 이미지 및 생성된 추가 이미지를 포함하는 이미지의 개수가 디스플레이(130)에서 표시할 수 있는 이미지의 개수를 초과하면, 프로세서(120)는 수신된 컨텐츠에 포함된 이미지 및 생성된 추가 이미지의 배열 중 양단에 위치한 이미지로부터 초과된 개수의 이미지를 제거할 수 있다.
한편, 수신된 이미지에는 위치가 변경되는 이동 오브젝트가 포함될 수 있다. 이미지에 포함된 오브젝트가 이동 오브젝트이고, 수신된 이미지와 관련된 정보가 초점을 맞춘 이동 오브젝트에 대한 정보 및 이동 오브젝트의 오브젝트 뎁스를 포함하면, 프로세서(120)는 오브젝트 뎁스에 기초하여 이동 오브젝트의 오브젝트 디스패리티를 획득할 수 있다. 그리고, 프로세서(120)는 획득된 이동 오브젝트의 오브젝트 디스패리티 및 디스플레이 디스패리티에 기초하여 이미지 인터폴레이션을 수행하여 추가 이미지를 생성할 수 있다. 이동 오브젝트가 근접 이동하는 경우, 프로세서(120)는 촬영된 이미지의 개수를 감소시키고, 이미지 인터폴레이션의 배율을 증가시킬 수 있다. 또한, 프로세서(120)는 이동 오브젝트의 오브젝트 디스패리티가 감소하도록 컨텐츠에 포함된 이미지의 해상도를 리사이징할 수 있다. 프로세서(120)는 수신된 컨텐츠에 포함된 이미지 및 생성된 추가 이미지에 기초하여 입체 컨텐츠를 표시하도록 디스플레이(130)를 제어한다.
디스플레이(130)는 복수의 레이어를 포함할 수 있다. 디스플레이(130)는 포함된 레이어에 기초하여 표현 가능한 디스패리티(디스플레이 디스패리티)가 설정될 수 있다. 디스플레이(130)는 프로세서(120)의 제어에 따라 수신된 이미지 및 생성된 추가 이미지에 기초하여 입체 컨텐츠를 디스플레이한다. 예를 들어, 디스플레이(130)는 LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode), 플렉서블 디스플레이, 터치 스크린 등으로 구현될 수 있다. 디스플레이(130)가 터치 스크린으로 구현되는 경우, 디스플레이 장치(100)는 터치 스크린을 통해 제어 명령을 입력받을 수 있다.
도 3은 본 개시의 일 실시 예에 따른 디스플레이 장치의 구체적인 구성을 설명하는 블록도이다.
도 3을 참조하면, 디스플레이 장치(100)는 통신 인터페이스(110), 프로세서(120), 디스플레이(130), 입력 인터페이스(140), 스피커(150), 카메라(160), 메모리(170), 마이크(180) 및 센서(190)를 포함할 수 있다. 통신 인터페이스(110) 및 디스플레이(130)는 도 2에서 설명한 바와 동일하므로 도 3에서는 구체적인 설명을 생략한다.
입력 인터페이스(140)는 사용자의 명령을 입력받을 수 있다. 예를 들어, 입력 인터페이스(140)는 키보드, 키패드, 터치 패드, 마우스, 입출력 포트 등을 포함할 수 있다. 일 실시 예로서, 입출력 포트는 입출력 포트는 HDMI(High-Definition Multimedia Interface), DP(DisplayPort), RGB, DVI(Digital Visual Interface), USB(Universal Serial Bus), 썬더볼트, LAN 등의 포트를 포함할 수 있다. 입력 인터페이스(140)가 입출력 포트를 포함하는 경우, 입력 인터페이스(140)는 외부 장치 등을 통해 이미지를 포함하는 컨텐츠와 이미지와 관련된 정보를 입력받을 수도 있다. 사용자의 명령 또는 컨텐츠 등을 입력받는 입력 인터페이스(140)는 입력부, 입력 모듈 등으로 불릴 수도 있다.
스피커(150)는 음성 처리가 수행된 음성 신호를 출력한다. 또한, 스피커(150)는 사용자의 입력 명령, 디스플레이 장치(100)의 상태 관련 정보 또는 동작 관련 정보 등을 음성이나 알림음으로 출력할 수 있다.
카메라(160)는 디스플레이 장치(100)의 주변 환경을 촬영할 수 있다. 또는, 카메라(160)는 사용자의 표정이나 동작 등을 촬영할 수 있다. 프로세서(120)는 촬영된 사용자의 표정이나 동작에 기초하여 제어 명령을 인식하고, 인식된 제어 명령에 대응되는 제어 동작을 수행할 수 있다. 예를 들어, 카메라(160)는 CCD 센서, CMOS 센서를 포함할 수 있다. 또한, 카메라(140)는 RGB 카메라, 뎁스 카메라를 포함할 수도 있다.
메모리(170)는 디스플레이 장치(100)의 기능을 수행하는 데이터, 알고리즘 등을 저장하고, 디스플레이 장치(100)에서 구동되는 프로그램, 명령어 등을 저장할 수 있다. 메모리(170)에 저장된 알고리즘은 프로세서(120)의 제어에 의해 프로세서(120)에 로딩되어 추가 이미지 생성, 이미지 해상도의 리사이징, 선택된 이미지 제거 등의 이미지 처리 과정을 수행할 수 있다. 예를 들어, 메모리(170)는 롬, 램, HDD, SSD, 메모리 카드 등의 타입으로 구현될 수 있다.
마이크(180)는 사용자의 음성을 입력받을 수 있다. 프로세서(120)는 입력된 음성에 기초하여 제어 명령을 인식하고, 인식된 제어 명령에 대응되는 제어 동작을 수행할 수 있다.
센서(190)는 디스플레이 장치(100) 주변의 물체를 감지할 수 있다. 프로세서(120)는 감지된 신호에 기초하여 제어 명령을 인식하고, 인식된 제어 명령에 대응되는 제어 동작을 수행할 수 있다. 또한, 센서(190)는 디스플레이 장치(100)의 주변 환경 정보를 감지할 수 있다. 프로세서(120)는 센서(190)에서 감지된 주변 환경 정보에 기초하여 대응되는 제어 동작을 수행할 수 있다. 예를 들어, 센서(190)는 가속도 센서, 중력 센서, 자이로 센서, 지자기 센서, 방향 센서, 모션 인식 센서, 근접 센서, 전압계, 전류계, 기압계, 습도계, 온도계, 조도 센서, 열 감지 센서, 터치 센서, 적외선 센서, 초음파 센서 등을 포함할 수 있다.
디스플레이 장치(100)는 상술한 구성을 모두 포함할 수 있고, 일부 구성을 포함할 수도 있다. 또한, 디스플레이 장치(100)는 상술한 구성 이외에도 다양한 기능을 수행하는 다른 구성을 더 포함할 수도 있다. 지금까지 디스플레이 장치(100)의 구성을 설명하였다. 아래에서는 디스플레이 장치(100)가 수신된 이미지 및 이미지와 관련된 정보를 이용하여 이미지를 처리하는 과정을 설명한다.
도 4는 본 개시의 일 실시 예에 따른 이미지 처리 과정을 설명하는 도면이다.
도 4를 참조하면, 오브젝트(circle)를 촬영하는 카메라가 도시되어 있다. 일 실시 예로서, 오브젝트는 하나이고, 좌측 카메라 및 우측 카메라로 촬영된 이미지가 실제 촬영된 이미지이다. 즉, 오브젝트는 2개의 카메라로 촬영될 수 있다. 그리고, 촬영된 이미지는 오브젝트를 포함할 수 있다. 카메라는 오브젝트의 뎁스 정보를 획득할 수 있다. 그리고, 촬영된 이미지 및 획득된 뎁스 정보에 기초하여 전자 장치는 오브젝트의 오브젝트 디스패리티를 계산할 수 있다. 예를 들어, 전자 장치는 입체 컨텐츠를 생성하는 장치로서, 서버, 클라우드, 컴퓨터 등을 포함할 수 있다. 일 실시 예로서, 오브젝트 뎁스는 3000mm일 수 있고, 계산된 디스패리티는 15일 수 있다. 전자 장치는 생성된 입체 컨텐츠 및 입체 컨텐츠에 포함된 이미지와 관련된 정보를 디스플레이 장치로 전송할 수 있다. 일 실시 예로서, 이미지와 관련된 정보는 오브젝트 뎁스, 오브젝트 디스패리티, 초점을 맞춘 오브젝트에 대한 정보, 초점을 맞춘 오브젝트에 대한 정보 등을 포함할 수 있다. 디스플레이 장치는 초점을 맞춘 오브젝트에 대한 정보를 이용하여 오브젝트를 식별할 수 있다. 그리고, 디스플레이 장치는 수신된 촬영 이미지 및 정보에 기초하여 디스플레이 장치에서 표현할 수 있도록 이미지를 처리하여 입체 컨텐츠를 표시할 수 있다.
일 실시 예로서, 입체 컨텐츠를 수신한 디스플레이 장치가 표현할 수 있는 디스플레이 디스패리티는 5 (-5 ~ 5)일 수 있다. 디스플레이 장치는 오브젝트 디스패리티와 디스플레이 디스패리티의 일치 여부를 판단할 수 있다. 도 4에 도시된 예에서, 디스플레이 디스패리티는 5이고, 오브젝트 디스패리티는 15이므로 디스플레이 장치는 오브젝트 디스패리티와 디스플레이 디스패리티가 일치하지 않는다고 판단할 수 있다. 이 경우, 디스플레이 장치는 이미지 인터폴레이션 과정을 수행할 수 있다. 디스플레이 장치는 (식 2)를 이용하여 이미지 인터폴레이션의 배율을 결정할 수 있다.
(식 2)
인터폴레이션 배율(SR rate) = 오브젝트 디스패리티/디스플레이 디스패리티
디스플레이 장치는 (식 2)에 의해 이미지 인터폴레이션 배율을 3으로 결정할 수 있다. 따라서, 디스플레이 장치는 수신된 이미지 사이에 2개의 추가 이미지(가상 이미지)를 생성할 수 있다. 디스플레이 장치는 수신된 이미지 2개와 추가 이미지 2개를 표시함으로써 입체 컨텐츠를 표시할 수 있다.
한편, 이미지에는 복수의 오브젝트가 포함되고, 복수의 오브젝트 각각의 디스패리티는 서로 다른 값일 수 있다.
도 5는 본 개시의 일 실시 예에 따른 복수의 오브젝트를 포함하는 이미지에 대한 처리 과정을 설명하는 도면이다.
도 5를 참조하면, 복수의 오브젝트(circle, square)를 촬영하는 카메라가 도시되어 있다. 좌측 카메라 및 우측 카메라로 촬영된 이미지가 실제 촬영된 이미지이다. 즉, 복수의 오브젝트는 2개의 카메라로 촬영될 수 있다. 복수의 오브젝트 중 circle은 상대적으로 앞에 위치하며 디스패리트는 9일 수 있고, square는 상대적으로 뒤에 위치하며 디스패리티는 3일 수 있다. 디스플레이 장치는 이미지를 포함하는 입체 컨텐츠 및 이미지와 관련된 정보를 수신할 수 있다. 이미지에 서로 다른 디스패리티의 복수의 오브젝트가 포함된 경우, 디스플레이 장치는 복수의 오브젝트를 제로 플레인(zero plane)으로 이동시키고, 제로 플레인으로 이동된 오브젝트를 기초로 오브젝트 디스패리티를 획득할 수 있다. 제로 플레인은 복수의 오브젝트를 표현할 수 있는 최적의 위치를 의미한다. 일 실시 예로서, 복수의 오브젝트 디스패리티의 평균 디스패리티에 근접한 위치일 수 있다. 도 5에서 circle의 디스패리티는 12이고, square의 디스패리티는 4이므로 제로 플레인으로 이동시킨 디스패리티는 8 (-8 ~ 8)일 수 있다. 그리고, 디스플레이 장치가 표현할 수 있는 디스플레이 디스패리티는 2 (-2 ~ 2)일 수 있다. 디스플레이 장치는 오브젝트 디스패리티와 디스플레이 디스패리티의 일치 여부를 판단하고, 일치하지 않으면 이미지 인터폴레이션 과정을 수행할 수 있다. 디스플레이 장치는 (식 2)에 의해 이미지 인터폴레이션 배율을 4로 결정할 수 있다. 따라서, 디스플레이 장치는 수신된 이미지 사이에 3개의 추가 이미지(가상 이미지)를 생성할 수 있다. 디스플레이 장치는 수신된 이미지 2개와 추가 이미지 3개를 표시함으로써 입체 컨텐츠를 표시할 수 있다.
도 6은 본 개시의 일 실시 예에 따른 입체 컨텐츠를 디스플레이하는 과정을 설명하는 흐름도이다.
도 6을 참조하면, 디스플레이 장치는 이미지를 포함하는 입체 컨텐츠 및 이미지 관련 정보를 수신하고, 파싱(parsing)할 수 있다(S610). 디스플레이 장치는 수신된 이미지 관련 정보에 오브젝트 디스패리티 정보가 포함되어 있는지 판단할 수 있다(S620). 오브젝트 디스패리티 정보가 포함되지 않은 경우, 디스플레이 장치는 오브젝트 뎁스 정보가 포함되어 있는지 판단할 수 있다(S630). 오브젝트 뎁스 정보가 포함되지 않은 경우, 이미지 관련 정보에는 초점을 맞춘 오브젝트에 대한 정보가 포함될 수 있다. 디스플레이 장치는 초점을 맞춘 오브젝트에 대한 정보를 이용하여 오브젝트 뎁스를 추정할 수 있다.(S640). 예를 들어, 디스플레이 장치는 초점을 맞춘 오브젝트에 대한 정보에 기초하여 각 이미지에 포함된 초점을 맞춘 오브젝트를 판단할 수 있다. 그리고, 디스플레이 장치는 각 이미지에 포함된 초점을 맞춘 오브젝트의 한 픽셀(또는, 일정 크기의 영역, 오브젝트의 전 영역의 평균 지점) 간의 위치 차이에 기초하여 오브젝트 디스패리티를 추정할 수 있다.
이미지 관련 정보에 오브젝트 뎁스 정보가 포함된 경우, 디스플레이 장치는 오브젝트 뎁스 정보를 이용하여 오브젝트 디스패리티를 계산할 수 있다(S650). 이미지 관련 정보에 오브젝트 디스패리티 정보가 포함된 경우, 디스플레이 장치는 수신된 이미지 관련 정보로부터 오브젝트 디스패리티를 획득할 수 있다.
디스플레이 장치는 디스플레이 디스패리티와 오브젝트 디스패리티의 일치 여부를 판단할 수 있다(S660). 디스플레이 디스패리티와 오브젝트 디스패리티가 일치하지 않으면, 디스플레이 장치는 이미지(뷰) 인터폴레이션 과정을 수행할 수 있다(S670). 이미지 인터폴레이션 과정은 도 4 및 도 5에서 설명하였다.
디스플레이 장치는 ZPP(Zero Parallax Plane)를 기반으로 이미지를 렉티피케이션(retification)할 수 있다(S680). 수신된 이미지 및 생성된 추가 이미지는 서로 약간의 시차를 가지는 이미지이다. 따라서, 약간의 시차를 가지는 복수의 이미지를 하나의 화면에 표시하기 위해 이미지 매칭 과정이 필요하다. 이미지 렉티피케이션은 일종의 스테레오 이미지의 정합 과정을 의미한다. 이후, 디스플레이 장치는 복수의 이미지를 포함하는 입체 컨텐츠를 렌더링할 수 있다(S690). 즉, 디스플레이 장치는 입체 컨텐츠를 디스플레이할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 복수의 오브젝트를 포함하는 컨텐츠를 디스플레이하는 과정을 설명하는 흐름도이다.
도 7을 참조하면, 디스플레이 장치는 이미지를 포함하는 입체 컨텐츠 및 이미지 관련 정보를 수신하고, 파싱(parsing)할 수 있다(S710). 디스플레이 장치는 이미지 관련 정보에 다중 오브젝트와 관련된 정보가 포함되어 있는지 판단할 수 있다(S720). 다중 오브젝트와 관련된 정보가 포함된 경우, 디스플레이 장치는 제로 플레인 조정 과정을 수행할 수 있다(S730). 즉, 디스플레이 장치는 복수의 오브젝트 디스패리티가 모두 표현될 수 있도록 적절한 제로 플레인으로 오브젝트를 이동시키고 오브젝트 디스패리티를 획득할 수 있다.
디스플레이 장치는 DoF(Depth of Field)의 일치 여부를 판단할 수 있다(S740). 즉, 디스플레이 장치는 이미지 디스패리티가 디스플레이 디스패리티에 의해 표현될 수 있는지 여부를 판단할 수 있다. DoF가 일치하지 않으면, 디스플레이 장치는 이미지 디스패리티를 최적화할 수 있다(S750). 예를 들어, 디스플레이 장치는 디스플레이 디스패리티를 기초로 이미지 디스패리티가 표현될 수 없는 경우, 이미지 해상도를 리사이징하거나 일부 이미지를 선택하여 제거할 수 있다.
DoF가 일치하면, 디스플레이 장치는 디스패리티 일치 여부를 판단할 수 있다(S760). 즉, 디스플레이 장치는 디스플레이 장치는 디스플레이 디스패리티와 오브젝트 디스패리티의 일치 여부를 판단할 수 있다. 디스플레이 디스패리티와 오브젝트 디스패리티가 일치하지 않으면, 디스플레이 장치는 이미지(뷰) 인터폴레이션 과정을 수행할 수 있다(S770).
디스패리티가 일치하면, 디스플레이 장치는 ZPP(Zero Parallax Plane)를 기반으로 이미지를 렉티피케이션(retification)할 수 있다(S780). 이후, 디스플레이 장치는 복수의 이미지를 포함하는 입체 컨텐츠를 렌더링할 수 있다(S790). 즉, 디스플레이 장치는 입체 컨텐츠를 디스플레이할 수 있다.
디스플레이 장치는 이미지의 총 개수가 디스플레이에서 표현 가능한 이미지의 개수를 초과하는 경우 또는 오브젝트 디스패리티가 디스플레이 디스패리티를 초과하는 경우 이미지 해상도를 리사이징하거나 일부 이미지를 제거할 수 있다. 아래에서 구체적으로 설명한다.
도 8a는 본 개시의 일 실시 예에 따른 디스플레이 장치의 정보를 나타내는 도면이고, 도 8b는 본 개시의 일 실시 예에 따른 이미지를 포함하는 컨텐츠의 정보를 나타내는 도면이다. 도 8a 및 도 8b를 참조하여 설명한다.
도 8a를 참조하면, 일 실시 예로서, 디스플레이 장치의 디스플레이는 2K 또는 4K 해상도, 51장의 이미지, 디스플레이 디스패리티는 2, 전체 표현 가능한 디스패리티는 102일 수 있다. 만일, 21개의 카메라로 촬영한 이미지의 오브젝트 디스패리티가 8인 경우, 디스플레이 장치는 4배 이미지 인터폴레이션을 수행하여 촬영된 이미지 사이에 3개의 추가 이미지를 삽입할 수 있다. 따라서, 전체 이미지의 수는 81개일 수 있다. 그리고, 전체 오브젝트 디스패리트는 (식 3)에 의해 168일 수 있다. 촬영된 이미지에 대한 정보는 도 8b의 윗줄에 도시되어 있다.
(식 3)
전체 디스패리티 = 디스패리티 × 촬영된 이미지 수
촬영된 이미지의 정보로부터 이미지의 총 디스패리티는 168이고, 이미지 인터폴레이션이 수행된 전체 이미지의 수는 81이다. 그리고, 디스플레이가 표현할 수 있는 총 디스패리트는 102이고, 전체 이미지의 수는 51이다. 따라서, 이미지의 디스패리트 및 전체 이미지 수는 디스플레이에서 표현 가능한 디스패리티 및 전체 이미지를 초과한다. 따라서, 디스플레이 장치는 선택 이미지를 제거하거나 이미지 해상도의 리사이징으로 이미지 최적화 과정을 수행할 수 있다.
먼저, 선택 이미지를 제거하는 방법을 설명한다. 디스플레이 장치는 디스플레이가 표현할 수 있는 이미지의 개수를 기초로 촬영된 이미지 및 생성된 이미지 중에서 일부 이미지를 제거하여 디스플레이가 표현할 수 있는 이미지의 개수 이하로 표현할 이미지의 수를 줄일 수 있다. 또는, 디스플레이 장치는 디스플레이가 표현할 수 있는 이미지의 개수 이하로 표현할 이미지를 선택할 수 있다. 예를 들어, 디스플레이 장치는 촬영된 이미지 및 생성된 이미지 중 양단에 위치한 이미지를 제거하여 디스플레이가 표현할 수 있는 이미지의 개수 이하로 표현할 이미지를 선택할 수 있다. 즉, 디스플레이 장치는 수신된 컨텐츠에 포함된 이미지 및 생성된 추가 이미지의 배열 중 양단에 위치한 이미지로부터 초과된 개수의 이미지를 제거할 수 있다. 상술한 예에서, 디스플레이 장치는 이미지 인터폴레이션이 수행된 81장의 이미지에서 양단 각각의 이미지 15장을 제거함으로써 51장의 이미지를 선택할 수 있다.
상술한 이미지 선택 방법은 이미지의 해상도를 유지할 수 있는 장점이 있지만, 가장자리 이미지가 제거되기 때문에 시야각이 감소될 수 있다.
다음으로, 이미지 해상도의 리사이징을 설명한다. 상술한 예에서, 디스플레이 장치가 4K 해상도의 촬영된 이미지를 2K로 해상도 리사이징을 수행하는 경우, 촬영된 이미지의 수는 유지되고, 디스패리티는 절반(8 -> 4)으로 감소될 수 있다. 해상도 리사이징 후 이미지 인터폴레이션을 수행하면, 이미지 인터폴레이션 배율이 2가 되고, 촬영된 이미지 사이에 1장의 추가 이미지가 삽입될 수 있다. 따라서, 도 8b의 아랫줄에 도시된 바와 같이, 전체 이미지의 수는 41이고, 총 디스패리티는 84일 수 있다. 도 8b의 아랫줄에 도시된 이미지 정보의 전체 이미지 수 및 디스패리티는 도 8a에 도시된 디스플레이에서 표현 가능한 이미지 수 및 디스패리티 이하라는 것을 보여준다. 즉, 디스플레이 장치는 디스플레이 디스패리티를 기초로 오브젝트를 포함하는 이미지의 해상도를 리사이징함으로써 이미지 최적화 과정을 수행할 수 있다. 이미지 해상도의 리사이징 방법은 이미지의 해상도가 감소되는 단점이 있으나, 시야각을 유지할 수 있는 장점이 있다.
따라서, 디스플레이 장치는 시야각 보다 고해상도 이미지를 표현해야 하는 컨텐츠의 경우 이미지 선택 제거 방법으로 이미지 최적화 과정을 수행하고, 스포츠 경기 등과 같이 해상도보다 시야각을 유지해야 하는 컨텐츠의 경우 이미지 해상도 리사이징 방법으로 이미지 최적화 과정을 수행할 수 있다.
한편, 이미지에는 이동하는 오브젝트가 포함될 수 있다.
도 9는 본 개시의 일 실시 예에 따른 이동 오브젝트를 포함하는 이미지에 대한 처리 과정을 설명하는 도면이고, 도 10은 본 개시의 일 실시 예에 따른 오브젝트의 이동에 따른 거리 정보를 포함하는 테이블을 나타내는 도면이다. 도 9 및 도 10을 참조하여 설명한다.
이동하는 오브젝트는 오브젝트 디스패리티가 변할 수 있다. 따라서, 디스플레이 장치는 이동하는 오브젝트에 대해 가변적으로 이미지 인터폴레이션 등의 이미지 처리 과정을 수행할 필요가 있다. 도 9에 도시된 바와 같이, 5개의 카메라가 오브젝트(1)를 촬영하여 5장의 촬영 이미지(11-1, 11-5)를 획득할 수 있다. 그리고, 디스플레이 장치는 상술한 방법으로 촬영 이미지(11-1, 11-5) 사이에 추가 이미지(21-1, 21-4)를 생성하여 삽입할 수 있다. 도 9에 도시된 바와 같이, 오브젝트(1)가 카메라가 배치된 방향으로 근접하는 경우, 디스플레이 장치는 오브젝트와 근접한 카메라에서 촬영된 이미지를 기초로 이미지 인터폴레이션을 수행할 수 있다. 즉, 근접한 오브젝트(1)와 먼 거리에 배치된 카메라에서 촬영된 양단에 위치한 이미지(11-1, 21-1, 21-4, 21-5)는 제거될 수 있다. 오브젝트(1)가 이동하는 경우, 오브젝트 뎁스, 오브젝트 디스패리티 등이 변할 수 있다. 따라서, 이미지 인터폴레이션의 배율도 달라질 수 있다. 즉, 디스플레이 장치는 촬영된 이미지의 개수를 감소시키고, 이미지 인터폴레이션의 배율을 증가시킬 수 있다. 또한, 이동 오브젝트의 근접에 따라 오브젝트 디스패리티는 커질 수 있다. 디스플레이 장치는 이동 오브젝트의 오브젝트 디스패리티가 감소하도록 컨텐츠에 포함된 이미지의 해상도를 리사이징할 수 있다.
한편, 이미지에 이동하는 오브젝트가 포함된 경우, 카메라는 이동하는 오브젝트에 초점을 맞추어 촬영할 수 있다. 따라서, 디스플레이 장치가 수신하는 이미지와 관련된 정보에는 초점을 맞춘 이동 오브젝트에 대한 정보 등을 포함할 수 있다. 디스플레이 장치는 수신된 초점을 맞춘 이동 오브젝트에 대한 정보에 기초하여 이동 오브젝트가 이미지에 포함되어 있는지 여부를 판단할 수 있다. 디스플레이 장치는 이동 오브젝트에 대해 상술한 이미지 처리 과정을 수행하고 입체 컨텐츠를 디스플레이할 수 있다.
한편, 경우에 따라, 이미지와 관련된 정보는 초점을 맞춘 이동 오브젝트에 대한 정보를 포함하지 않을 수 있다. 이 경우, 디스플레이 장치는 이미지에 포함된 오브젝트의 오브젝트 뎁스를 이용하여 최소 디스패리티 및 최대 디스패리티를 계산할 수 있다. 오브젝트 뎁스 및 오브젝트 디스패리티에 대한 정보는 도 10에 도시된 바와 같이, 메타 데이터로 디스플레이 장치가 수신하거나 디스플레이 장치에 저장될 수 있다.
지금까지 디스플레이 장치에서 입체 컨텐츠를 표현하기 위한 다양한 실시 예를 설명하였다. 아래에서는 디스플레이 장치의 제어 방법을 설명한다.
도 11은 본 개시의 일 실시 예에 따른 디스플레이 장치의 제어 방법을 설명하는 흐름도이다.
도 11을 참조하면, 디스플레이 장치는 이미지를 포함하는 컨텐츠 및 이미지와 관련된 정보를 수신한다(S1110). 그리고, 디스플레이 장치는 수신된 이미지와 관련된 정보에 기초하여 이미지에 포함된 오브젝트에 대한 오브젝트 디스패리티 및 촬영된 이미지의 개수를 획득한다(S1120). 예를 들어, 디스플레이 장치는 수신된 이미지와 관련된 정보가 오브젝트 뎁스를 포함하는 경우, 오브젝트 뎁스에 기초하여 오브젝트 디스패리티를 획득할 수 있다. 또는, 디스플레이 장치는 수신된 이미지와 관련된 정보가 이미지를 촬영한 카메라 정보를 포함하는 경우, 카메라 정보에 기초하여 오브젝트 뎁스를 획득할 수 있다. 그리고, 디스플레이 장치는 획득된 오브젝트 뎁스에 기초하여 오브젝트 디스패리티를 획득할 수 있다. 예를 들어, 카메라 정보는 베이스 라인, 초점 거리 및 픽셀 사이즈를 포함할 수 있다. 또는, 디스플레이 장치는 이미지에 포함된 오브젝트가 복수 개인 경우, 오브젝트를 제로 플레인으로 이동시키고, 제로 플레인으로 이동된 오브젝트를 기초로 오브젝트 디스패리티를 획득할 수 있다.
디스플레이 장치는 디스플레이가 표현할 수 있는 디스플레이 디스패리티와 오브젝트 디스패리티가 일치하는지 여부를 식별한다(S1130). 디스플레이 디스패리티와 오브젝트 디스패리티가 일치하지 않는 경우, 디스플레이 장치는 디스플레이 디스패리티, 오브젝트 디스패리티, 촬영된 이미지의 개수를 기초로 이미지 인터폴레이션을 수행하여 추가 이미지를 생성한다(S1140). 한편, 표시하려는 이미지가 디스플레이의 사양을 기초로 표현할 수 없는 경우, 디스플레이 장치는 이미지를 최적화할 수 있다. 예를 들어, 디스플레이 장치는 디스플레이 디스패리티를 기초로 오브젝트 디스패리티의 표시 가부를 식별할 수 있다. 오브젝트 디스패리티가 표시 불가한 경우, 디스플레이 장치는 디스플레이 디스패리티를 기초로 오브젝트를 포함하는 이미지의 해상도를 리사이징할 수 있다. 또는, 수신된 컨텐츠에 포함된 이미지 및 생성된 추가 이미지를 포함하는 이미지의 개수가 디스플레이에서 표시할 수 있는 이미지의 개수를 초과하는 경우, 디스플레이 장치는 수신된 컨텐츠에 포함된 이미지 및 생성된 추가 이미지의 배열 중 양단에 위치한 이미지로부터 초과된 개수의 이미지를 제거할 수 있다.
한편, 이미지에 이동 오브젝트가 포함될 수 있다. 그리고, 이미지와 관련된 정보는 초점을 맞춘 이동 오브젝트에 대한 정보 및 이동 오브젝트의 오브젝트 뎁스를 포함할 수 있다. 이 경우, 디스플레이 장치는 오브젝트 뎁스에 기초하여 이동 오브젝트의 오브젝트 디스패리티를 획득할 수 있다. 그리고, 디스플레이 장치는 획득된 이동 오브젝트의 오브젝트 디스패리티 및 디스플레이 디스패리티에 기초하여 이미지 인터폴레이션을 수행하여 추가 이미지를 생성할 수 있다. 일 실시 예로서, 이동 오브젝트가 근접 이동하는 경우, 디스플레이 장치는 촬영된 이미지의 개수를 감소시키고, 이미지 인터폴레이션의 배율을 증가시키는 이미지 최적화 과정을 수행할 수 있다. 또는, 디스플레이 장치는 이동 오브젝트의 오브젝트 디스패리티가 감소하도록 컨텐츠에 포함된 이미지의 해상도를 리사이징하는 이미지 최적화 과정을 수행할 수 있다.
디스플레이 장치는 수신된 컨텐츠에 포함된 이미지 및 생성된 추가 이미지에 기초하여 입체 컨텐츠를 표시한다(S1150).
상술한 다양한 실시 예에 따른 디스플레이 장치의 제어 방법은 컴퓨터 프로그램 제품으로 제공될 수도 있다. 컴퓨터 프로그램 제품은 S/W 프로그램 자체 또는 S/W 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)를 포함할 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시가 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.
100: 디스플레이 장치 110: 통신 인터페이스
120: 프로세서 130: 디스플레이
120: 프로세서 130: 디스플레이
Claims (20)
- 이미지를 포함하는 컨텐츠 및 상기 이미지와 관련된 정보를 수신하는 통신 인터페이스;
프로세서; 및
디스플레이;를 포함하고,
상기 프로세서는,
상기 수신된 이미지와 관련된 정보에 기초하여 상기 이미지에 포함된 오브젝트에 대한 오브젝트 디스패리티(disparity) 및 촬영된 이미지의 개수를 획득하고,
상기 디스플레이가 표현할 수 있는 디스플레이 디스패리티와 상기 오브젝트 디스패리티가 일치하는지 식별하며,
상기 디스플레이 디스패리티와 상기 오브젝트 디스패리티가 일치하지 않는 경우, 상기 디스플레이 디스패리티, 상기 오브젝트 디스패리티, 상기 촬영된 이미지의 개수를 기초로 이미지 인터폴레이션(interpolation)을 수행하여 추가 이미지를 생성하고,
상기 수신된 컨텐츠에 포함된 이미지 및 상기 생성된 추가 이미지에 기초하여 입체 컨텐츠를 표시하도록 상기 디스플레이를 제어하는, 디스플레이 장치. - 제1항에 있어서,
상기 프로세서는,
상기 수신된 이미지와 관련된 정보가 오브젝트 뎁스(depth)를 포함하는 경우, 상기 오브젝트 뎁스에 기초하여 상기 오브젝트 디스패리티를 획득하는, 디스플레이 장치. - 제1항에 있어서,
상기 프로세서는,
상기 수신된 이미지와 관련된 정보가 초점을 맞춘 오브젝트에 대한 정보를 포함하는 경우, 상기 초점을 맞춘 오브젝트에 대한 정보에 기초하여 상기 오브젝트 디스패리티를 획득하는, 디스플레이 장치. - 제3항에 있어서,
상기 프로세서는,
상기 수신된 이미지와 관련된 정보가 카메라 정보를 포함하는 경우, 상기 카메라 정보에 기초하여 상기 오브젝트 디스패리티를 획득하고,
상기 카메라 정보는,
베이스 라인, 초점 거리 및 픽셀 사이즈를 포함하는, 디스플레이 장치. - 제1항에 있어서,
상기 프로세서는,
상기 이미지에 포함된 오브젝트가 복수 개인 경우, 상기 오브젝트를 제로 플레인(zero plane)으로 이동시키고, 상기 제로 플레인으로 이동된 오브젝트를 기초로 오브젝트 디스패리티를 획득하는, 디스플레이 장치. - 제1항에 있어서,
상기 프로세서는,
상기 디스플레이 디스패리티를 기초로 상기 오브젝트 디스패리티의 표시 가부를 식별하고, 상기 오브젝트 디스패리티가 표시 불가한 경우 상기 디스플레이 디스패리티를 기초로 상기 오브젝트를 포함하는 이미지의 해상도를 리사이징(resizing)하는, 디스플레이 장치. - 제1항에 있어서,
상기 프로세서는,
상기 수신된 컨텐츠에 포함된 이미지 및 상기 생성된 추가 이미지를 포함하는 이미지의 개수가 상기 디스플레이에서 표시할 수 있는 이미지의 개수를 초과하는 경우, 상기 수신된 컨텐츠에 포함된 이미지 및 상기 생성된 추가 이미지의 배열 중 양단에 위치한 이미지로부터 초과된 개수의 이미지를 제거하는, 디스플레이 장치. - 제1항에 있어서,
상기 프로세서는,
상기 이미지에 포함된 오브젝트가 이동 오브젝트이고, 상기 수신된 이미지와 관련된 정보가 초점을 맞춘 상기 이동 오브젝트에 대한 정보 및 상기 이동 오브젝트의 오브젝트 뎁스를 포함하는 경우, 상기 오브젝트 뎁스에 기초하여 상기 이동 오브젝트의 오브젝트 디스패리티를 획득하고, 상기 획득된 이동 오브젝트의 오브젝트 디스패리티 및 상기 디스플레이 디스패리티에 기초하여 이미지 인터폴레이션을 수행하여 추가 이미지를 생성하는, 디스플레이 장치. - 제8항에 있어서,
상기 프로세서는,
상기 이동 오브젝트가 근접 이동하는 경우, 상기 촬영된 이미지의 개수를 감소시키고, 이미지 인터폴레이션의 배율을 증가시키는, 디스플레이 장치. - 제8항에 있어서,
상기 프로세서는,
상기 이동 오브젝트가 근접 이동하는 경우, 상기 이동 오브젝트의 오브젝트 디스패리티가 감소하도록 상기 컨텐츠에 포함된 이미지의 해상도를 리사이징하는, 디스플레이 장치. - 이미지를 포함하는 컨텐츠 및 상기 이미지와 관련된 정보를 수신하는 단계;
상기 수신된 이미지와 관련된 정보에 기초하여 상기 이미지에 포함된 오브젝트에 대한 오브젝트 디스패리티(disparity) 및 촬영된 이미지의 개수를 획득하는 단계;
디스플레이가 표현할 수 있는 디스플레이 디스패리티와 상기 오브젝트 디스패리티가 일치하는지 식별하는 단계;
상기 디스플레이 디스패리티와 상기 오브젝트 디스패리티가 일치하지 않는 경우, 상기 디스플레이 디스패리티, 상기 오브젝트 디스패리티, 상기 촬영된 이미지의 개수를 기초로 이미지 인터폴레이션(interpolation)을 수행하여 추가 이미지를 생성하는 단계; 및
상기 수신된 컨텐츠에 포함된 이미지 및 상기 생성된 추가 이미지에 기초하여 입체 컨텐츠를 표시하는 단계;를 포함하는 디스플레이 장치의 제어 방법. - 제11항에 있어서,
상기 획득하는 단계는,
상기 수신된 이미지와 관련된 정보가 오브젝트 뎁스(depth)를 포함하는 경우, 상기 오브젝트 뎁스에 기초하여 상기 오브젝트 디스패리티를 획득하는, 디스플레이 장치의 제어 방법. - 제11항에 있어서,
상기 획득하는 단계는,
상기 수신된 이미지와 관련된 정보가 초점을 맞춘 오브젝트에 대한 정보를 포함하는 경우, 상기 초점을 맞춘 오브젝트에 대한 정보에 기초하여 상기 오브젝트 디스패리티를 획득하는, 디스플레이 장치의 제어 방법. - 제13항에 있어서,
상기 획득하는 단계는,
상기 수신된 이미지와 관련된 정보가 카메라 정보를 포함하는 경우, 상기 카메라 정보에 기초하여 상기 오브젝트 디스패리티를 획득하고,
상기 카메라 정보는,
베이스 라인, 초점 거리 및 픽셀 사이즈를 포함하는, 디스플레이 장치의 제어 방법. - 제11항에 있어서,
상기 획득하는 단계는,
상기 이미지에 포함된 오브젝트가 복수 개인 경우, 상기 오브젝트를 제로 플레인(zero plane)으로 이동시키고, 상기 제로 플레인으로 이동된 오브젝트를 기초로 오브젝트 디스패리티를 획득하는, 디스플레이 장치의 제어 방법. - 제11항에 있어서,
상기 디스플레이 디스패리티를 기초로 상기 오브젝트 디스패리티의 표시 가부를 식별하는 단계; 및
상기 오브젝트 디스패리티가 표시 불가한 경우 상기 디스플레이 디스패리티를 기초로 상기 오브젝트를 포함하는 이미지의 해상도를 리사이징(resizing)하는 단계;를 더 포함하는 디스플레이 장치의 제어 방법. - 제11항에 있어서,
상기 수신된 컨텐츠에 포함된 이미지 및 상기 생성된 추가 이미지를 포함하는 이미지의 개수가 상기 디스플레이에서 표시할 수 있는 이미지의 개수를 초과하는 경우, 상기 수신된 컨텐츠에 포함된 이미지 및 상기 생성된 추가 이미지의 배열 중 양단에 위치한 이미지로부터 초과된 개수의 이미지를 제거하는 단계;를 더 포함하는 디스플레이 장치의 제어 방법. - 제11항에 있어서,
상기 획득하는 단계는,
상기 이미지에 포함된 오브젝트가 이동 오브젝트이고, 상기 수신된 이미지와 관련된 정보가 초점을 맞춘 상기 이동 오브젝트에 대한 정보 및 상기 이동 오브젝트의 오브젝트 뎁스를 포함하는 경우, 상기 오브젝트 뎁스에 기초하여 상기 이동 오브젝트의 오브젝트 디스패리티를 획득하고,
상기 생성하는 단계는,
상기 획득된 이동 오브젝트의 오브젝트 디스패리티 및 상기 디스플레이 디스패리티에 기초하여 이미지 인터폴레이션을 수행하여 추가 이미지를 생성하는, 디스플레이 장치의 제어 방법. - 제18항에 있어서,
상기 이동 오브젝트가 근접 이동하는 경우, 상기 촬영된 이미지의 개수를 감소시키고, 이미지 인터폴레이션의 배율을 증가시키는 단계;를 더 포함하는 디스플레이 장치의 제어 방법. - 제18항에 있어서,
상기 이동 오브젝트가 근접 이동하는 경우, 상기 이동 오브젝트의 오브젝트 디스패리티가 감소하도록 상기 컨텐츠에 포함된 이미지의 해상도를 리사이징하는 단계;를 더 포함하는 디스플레이 장치의 제어 방법.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210010985A KR20220107831A (ko) | 2021-01-26 | 2021-01-26 | 디스플레이 장치 및 그 제어 방법 |
| EP21923353.3A EP4201060A4 (en) | 2021-01-26 | 2021-04-29 | DISPLAY DEVICE AND ASSOCIATED CONTROL METHOD |
| PCT/KR2021/005461 WO2022163943A1 (en) | 2021-01-26 | 2021-04-29 | Display apparatus and control method thereof |
| US17/246,039 US11902502B2 (en) | 2021-01-26 | 2021-04-30 | Display apparatus and control method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210010985A KR20220107831A (ko) | 2021-01-26 | 2021-01-26 | 디스플레이 장치 및 그 제어 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220107831A true KR20220107831A (ko) | 2022-08-02 |
Family
ID=82495000
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210010985A KR20220107831A (ko) | 2021-01-26 | 2021-01-26 | 디스플레이 장치 및 그 제어 방법 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11902502B2 (ko) |
| EP (1) | EP4201060A4 (ko) |
| KR (1) | KR20220107831A (ko) |
| WO (1) | WO2022163943A1 (ko) |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100667810B1 (ko) * | 2005-08-31 | 2007-01-11 | 삼성전자주식회사 | ３ｄ 영상의 깊이감 조정 장치 및 방법 |
| US9188849B2 (en) | 2010-03-05 | 2015-11-17 | Panasonic Intellectual Property Management Co., Ltd. | 3D imaging device and 3D imaging method |
| WO2011108276A1 (ja) | 2010-03-05 | 2011-09-09 | パナソニック株式会社 | 立体撮像装置、および立体撮像方法 |
| JP4875762B2 (ja) | 2010-05-26 | 2012-02-15 | シャープ株式会社 | 画像処理装置、画像表示装置および画像撮像装置 |
| US20110304618A1 (en) | 2010-06-14 | 2011-12-15 | Qualcomm Incorporated | Calculating disparity for three-dimensional images |
| US8446461B2 (en) * | 2010-07-23 | 2013-05-21 | Superd Co. Ltd. | Three-dimensional (3D) display method and system |
| KR101727899B1 (ko) * | 2010-11-26 | 2017-04-18 | 엘지전자 주식회사 | 휴대 단말기 및 그 동작 제어방법 |
| US9049423B2 (en) * | 2010-12-01 | 2015-06-02 | Qualcomm Incorporated | Zero disparity plane for feedback-based three-dimensional video |
| US9237331B2 (en) | 2011-01-18 | 2016-01-12 | Disney Enterprises, Inc. | Computational stereoscopic camera system |
| JP6113411B2 (ja) * | 2011-09-13 | 2017-04-12 | シャープ株式会社 | 画像処理装置 |
| WO2014067552A1 (en) * | 2012-10-29 | 2014-05-08 | Telefonaktiebolaget L M Ericsson (Publ) | 3d video warning module |
| CN103813148A (zh) * | 2012-11-13 | 2014-05-21 | 联咏科技股份有限公司 | 三维立体显示装置及其方法 |
| WO2015002442A1 (ko) | 2013-07-02 | 2015-01-08 | 엘지전자 주식회사 | 다시점 영상이 제공되는 시스템에서 부가 오브젝트를 포함하는 3차원 영상 처리 방법 및 장치 |
| JP6380972B2 (ja) * | 2014-05-02 | 2018-08-29 | オリンパス株式会社 | 画像処理装置および撮像装置 |
| US10397539B2 (en) | 2014-08-25 | 2019-08-27 | Schepens Eye Research Institute | Compensating 3D stereoscopic imagery |
| WO2016048402A2 (en) * | 2014-09-26 | 2016-03-31 | Reald | Multiscopic image capture system |
| US10341634B2 (en) * | 2016-01-29 | 2019-07-02 | Samsung Electronics Co., Ltd. | Method and apparatus for acquiring image disparity |
| CA2993561C (en) | 2018-01-31 | 2020-06-30 | Synaptive Medical (Barbados) Inc. | System for three-dimensional visualization |
| JP7005458B2 (ja) * | 2018-09-12 | 2022-01-21 | 株式会社東芝 | 画像処理装置、及び、画像処理プログラム、並びに、運転支援システム |
| US10547823B2 (en) * | 2018-09-25 | 2020-01-28 | Intel Corporation | View interpolation of multi-camera array images with flow estimation and image super resolution using deep learning |
-
2021
- 2021-01-26 KR KR1020210010985A patent/KR20220107831A/ko active Search and Examination
- 2021-04-29 EP EP21923353.3A patent/EP4201060A4/en active Pending
- 2021-04-29 WO PCT/KR2021/005461 patent/WO2022163943A1/en unknown
- 2021-04-30 US US17/246,039 patent/US11902502B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US11902502B2 (en) | 2024-02-13 |
| US20220239895A1 (en) | 2022-07-28 |
| EP4201060A1 (en) | 2023-06-28 |
| EP4201060A4 (en) | 2024-02-14 |
| WO2022163943A1 (en) | 2022-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10540753B2 (en) | Systems, methods, and media for adjusting one or more images displayed to a viewer | |
| US10255481B2 (en) | Display device and operating method thereof with adjustments display | |
| US9619861B2 (en) | Apparatus and method for improving quality of enlarged image | |
| EP3125524A1 (en) | Mobile terminal and method for controlling the same | |
| US8762846B2 (en) | Method and system for adaptive viewport for a mobile device based on viewing angle | |
| EP3039476B1 (en) | Head mounted display device and method for controlling the same | |
| US20130135295A1 (en) | Method and system for a augmented reality | |
| KR20180057081A (ko) | 디스플레이장치 및 그 제어방법 | |
| KR102336997B1 (ko) | 서버, 디스플레이장치 및 그 제어방법 | |
| CN105939497B (zh) | 媒体串流系统及媒体串流方法 | |
| KR20150067197A (ko) | 비디오 시각 변경 방법 및 장치 | |
| US20140307101A1 (en) | Method and apparatus for displaying and recording images using multiple image capturing devices integrated into a single mobile device | |
| US10108387B2 (en) | Technologies for display calibration and adjustment | |
| JP2019531038A (ja) | ディスプレイ装置及びその制御方法 | |
| JP6632681B2 (ja) | 制御装置、制御方法、及びプログラム | |
| US11062422B2 (en) | Image processing apparatus, image communication system, image processing method, and recording medium | |
| US10152950B2 (en) | Electronic device and image adjustment method | |
| JP2018033107A (ja) | 動画の配信装置及び配信方法 | |
| US20190058861A1 (en) | Apparatus and associated methods | |
| JP2013038454A (ja) | 画像処理装置および方法、並びにプログラム | |
| KR102604170B1 (ko) | 전자 장치 및 그 제어 방법 | |
| KR20220107831A (ko) | 디스플레이 장치 및 그 제어 방법 | |
| WO2018004934A1 (en) | Apparatus and method for capturing and displaying segmented content | |
| US11681487B2 (en) | Electronic apparatus and control method thereof and storage medium | |
| KR102566738B1 (ko) | 전자 장치 및 그 제어 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination |