WO2013081435A1 - 3d 영상 표시 장치 및 방법 - Google Patents

3d 영상 표시 장치 및 방법 Download PDF

Info

Publication number
WO2013081435A1
WO2013081435A1 PCT/KR2012/010375 KR2012010375W WO2013081435A1 WO 2013081435 A1 WO2013081435 A1 WO 2013081435A1 KR 2012010375 W KR2012010375 W KR 2012010375W WO 2013081435 A1 WO2013081435 A1 WO 2013081435A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
depth
stereo image
information
stereo
Prior art date
Application number
PCT/KR2012/010375
Other languages
English (en)
French (fr)
Inventor
양정휴
신성욱
임정은
이주현
오승균
김종찬
임진석
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US201161566008P priority Critical
Priority to US61/566,008 priority
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Publication of WO2013081435A1 publication Critical patent/WO2013081435A1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/36Image preprocessing, i.e. processing the image information without deciding about the identity of the image
    • G06K9/46Extraction of features or characteristics of the image
    • G06K9/4642Extraction of features or characteristics of the image by performing operations within image blocks or by using histograms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/128Adjusting depth or disparity
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/10Special adaptations of display systems for operation with variable images
    • G09G2320/103Detection of image changes, e.g. determination of an index representative of the image change
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/16Calculation or use of calculated indices related to luminance levels in display data
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/144Processing image signals for flicker reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00Details of stereoscopic systems
    • H04N2213/007Aspects relating to detection of stereoscopic image format, e.g. for adaptation to the display format

Abstract

3D 영상을 표시하는 장치 및 방법이 개시된다. 3D 영상 표시 장치는 좌 영상과 우 영상으로 구성된 스테레오 영상을 입력받아 에지 정보, 칼라 정보, 장면 변화 정보 중 적어도 하나를 포함하는 영상 정보를 검출하는 스테레오 영상 분석부, 상기 검출된 영상 정보를 기반으로 상기 스테레오 영상의 깊이 분포를 분석하여 기준점을 결정하고, 상기 결정된 기준점을 기준으로 상기 스테레오 영상을 쉬프트시켜 상기 스테레오 영상의 입체감을 조절하는 제1 깊이 조절부, 상기 스테레오 영상의 크기를 줄인 후 픽셀 단위로 깊이 맵 정보를 추출하고, 추출된 깊이 맵 정보를 와핑하여 새로운 시점의 영상을 생성함에 의해 상기 스테레오 영상의 입체감을 조절하는 제2 깊이 조절부, 및 상기 제1 깊이 조절부와 제2 깊이 조절부 중 적어도 하나에서 입체감이 조절된 스테레오 영상을 디스플레이 장치에 맞게 포맷 변환하는 포맷터를 포함할 수 있다.

Description

3D 영상 표시 장치 및 방법

본 발명은 3D(Dimensional) 영상을 표시하는 장치 및 방법에 관한 것으로서, 더욱 상세하게는 3D 영상으로부터 추출한 깊이(depth) 정보를 이용하여 3D 영상의 입체감을 조절하기 위한 장치 및 방법에 관한 것이다.

일반적으로 3D 영상은 두 눈의 스테레오(stereo) 시각 원리에 의한다. 양안 시차(binocular parallax)는 입체감을 느끼게 하는 중요한 요인으로 좌우 눈이 각각 연관된 평면 영상을 볼 경우, 뇌는 이들 서로 다른 두 영상을 융합하여 3차원 영상 본래의 입체감(또는 깊이감이라 함)과 실재감을 재생할 수 있다. 여기서, 양안 시차란, 두 눈의 시차를 말하는 것으로, 약 65mm 정도 떨어져 존재하는 두 눈 사이의 간격에 따라 발생하는 좌안과 우안의 보이는 것의 차이를 뜻한다. 즉, 3D 영상은 왼쪽 눈과 오른쪽 눈에 맺히는 상의 차이로 인해서 사람의 두뇌에서 입체로 인식된다. 이를 위해서 3D 영상 표시 장치는 여러 가지 방법으로 왼쪽 눈과 오른쪽 눈에 보이는 상의 차이를 만들어 낸다.

그리고 3D 영상을 보여주는 방식에는 크게 안경식과 무안경식이 있다. 여기서 안경식은 다시 패시브(passive) 방식과 액티브(active) 방식으로 나눈다. 패시브 방식은 편광필터를 사용해서 좌영상과 우영상을 구분해서 보여주는 방식이다. 즉, 패시브 방식은 양안에 각각 청색과 적색의 색안경을 쓰고 보는 방식이다. 액티브 방식은 시간적으로 왼쪽 눈과 오른쪽 눈을 순차적으로 가림으로써 좌영상과 우영상을 구분하는 방식이다. 즉, 액티브 방식은 시간 분할된 화면을 주기적으로 반복시키고 이 주기에 동기시킨 전자 셔터가 설치된 안경을 쓰고 보는 방식이며, 시분할 방식 또는 셔텨드 글래스 방식이라 하기도 한다. 무안경식은 디스플레이 장치 앞에 특수한 장치를 해서 양쪽 눈에 보이는 상을 달리 만드는 방식이다. 무안경식의 대표적인 것으로는 원통형의 렌즈 어레이를 수직으로 배열한 렌티큘러(lenticular) 렌즈 판을 영상 패널 전방에 설치하는 렌티큘러 방식과 영상 패널 상부에 주기적인 슬릿을 갖는 배리어 층을 구비하는 패러랙스 배리어(parallax barrier) 방식이 있다.

이와 같이 3D 영상 표시 장치는 양안 깊이(depth) 원리를 최대한 활용하여 입체감을 생성한다. 즉, 디스플레이 상에 시공간적으로 인터리빙(interleaving) 형태로 보여주는 좌우 영상을 편광 안경이나 셔터 안경을 이용해서 각각 좌우안에 분리시켜준다. 이때 시차의 크기에 따라서 느껴지는 입체감의 크기가 달라지게 되는데, 동일한 영상이라고 하더라도 디스플레이의 크기에 따라서 물리적인 시차의 크기가 달라지게 된다. 또한, 동일 시차라 하더라도 사람 눈의 동공간 거리 등에 따라서 입체감에 대한 개인 편차가 존재하게 된다.

그러므로 3D 영상 표시 장치에서 사용자에게 3D 영상을 서비스하기 위해서는 이러한 변수에 대해서 개인의 취향에 맞게 입체감을 조절할 수 있도록 하는 수단을 제공할 필요가 있다.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 3D 영상의 입체감을 조절할 수 있도록 하는 3D 영상 표시 장치 및 방법을 제공함에 있다.

본 발명의 다른 목적은 사용자가 개인의 취향에 맞게 3D 영상의 입체감을 조절할 수 있도록 하는 3D 영상 표시 장치 및 방법을 제공함에 있다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 3D 영상 표시 장치는, 좌 영상과 우 영상으로 구성된 스테레오 영상을 입력받아 에지 정보, 칼라 정보, 장면 변화 정보 중 적어도 하나를 포함하는 영상 정보를 검출하는 스테레오 영상 분석부, 상기 검출된 영상 정보를 기반으로 상기 스테레오 영상의 깊이 분포를 분석하여 기준점을 결정하고, 상기 결정된 기준점을 기준으로 상기 스테레오 영상을 쉬프트시켜 상기 스테레오 영상의 입체감을 조절하는 제1 깊이 조절부, 상기 스테레오 영상의 크기를 줄인 후 픽셀 단위로 깊이 맵 정보를 추출하고, 추출된 깊이 맵 정보를 와핑하여 새로운 시점의 영상을 생성함에 의해 상기 스테레오 영상의 입체감을 조절하는 제2 깊이 조절부, 및 상기 제1 깊이 조절부와 제2 깊이 조절부 중 적어도 하나에서 입체감이 조절된 스테레오 영상을 디스플레이 장치에 맞게 포맷 변환하는 포맷터를 포함하는 것을 일 실시예로 한다.

상기 스테레오 영상 분석부는 상기 스테레오 영상을 기 설정된 크기로 순차적으로 줄여 복수 레벨의 영상을 구성하고, 적어도 하나의 레벨의 영상으로부터 에지 정보, 칼라 정보, 장면 변화 정보 중 적어도 하나를 포함하는 영상 정보를 검출하는 것을 일 실시예로 한다.

상기 제1 깊이 조절부는 상기 영상 정보를 기반으로 상기 스테레오 영상 내 좌 영상과 우 영상에 대한 특징 대응점을 추출하여 상기 스테레오 영상의 깊이 분포를 표시하는 깊이 히스토그램을 구성하고, 상기 깊이 히스토그램으로부터 기준점을 결정하는 깊이 분포 분석부, 및 상기 결정된 기준점을 기준으로 상기 스테레오 영상을 쉬프트시켜 상기 스테레오 영상의 입체감을 조절하는 영상 쉬프트 조절부를 포함하는 일 실시예로 한다.

상기 깊이 분포 분석부는 상기 제2 깊이 조절부로부터 픽셀 단위의 깊이 맵 정보를 입력받아 상기 스테레오 영상의 깊이 분포를 표시하는 깊이 히스토그램을 구성하고, 상기 깊이 히스토그램으로부터 기준점을 결정하는 것을 일 실시예로 한다.

상기 영상 쉬프트 조절부는 상기 깊이 분포 분석부에서 결정된 기준점에 이전 프레임에서의 깊이 통계치를 가중치하여 상기 기준점을 재구성하는 깊이 범위 분석부, 및 상기 재구성된 기준점과 깊이 레벨을 기반으로 상기 스테레오 영상을 쉬프트시킬 쉬프트 값을 계산한 후 상기 스테레오 영상을 쉬프트시키는 쉬프트 값 계산부를 포함하는 것을 일 실시예로 한다.

상기 깊이 레벨은 사용자 인터페이스(UI)를 통해 사용자가 설정하거나 3D 영상 표시 장치에서 자동으로 설정하는 것을 일 실시예로 한다.

상기 영상 쉬프트 조절부는 상기 스테레오 영상이 기 설정된 기준 깊이 범위를 벗어나면, 상기 스테레오 영상을 상기 기준 깊이 범위 내로 쉬프트시키는 것을 일 실시예로 한다.

상기 제2 깊이 조절부는 원영상의 해상도보다 낮은 레벨의 스테레오 영상으로부터 각 픽셀의 깊이 맵 정보를 추정한 후 원영상의 해상도로 상기 깊이 맵 정보를 업샘플링하는 깊이 맵 추출부, 및 상기 깊이 맵 정보를 와핑하여 새로운 시점의 영상을 생성하는 새로운 시점 영상 합성부를 포함하는 것을 일 실시예로 한다.

상기 깊이 맵 추출부는 제2 레벨의 스테레오 영상으로부터 각 픽셀의 깊이 맵 정보를 추정하여 서치 범위를 추정하는 전 처리부, 상기 추정된 서치 범위 내 제1 레벨의 스테레오 영상으로부터 각 픽셀의 베이스 깊이 맵 정보를 추정하는 베이스 깊이 추정부, 및 원영상의 해상도로 상기 베이스 깊이 맵 정보를 업샘플링하는 인핸스드 깊이 추정부를 포함하는 것을 일 실시예로 한다.

상기 새로운 시점 영상 합성부는 깊이 레벨에 따라 상기 깊이 맵 정보를 와핑하고, 와핑된 깊이 맵 정보를 기반으로 새로운 시점의 영상을 생성하는 와핑부, 상기 와핑 과정에서 생긴 홀을 채우는 홀 채움부, 및 상기 새로운 시점 영상의 바운더리에 발생된 홀 영역을 제거하는 바운더리 핸들링부를 포함하는 것을 일 실시예로 한다.

본 발명의 일 실시예에 따른 3D 영상 표시 방법은 좌 영상과 우 영상으로 구성된 스테레오 영상을 입력받아 에지 정보, 칼라 정보, 장면 변화 정보 중 적어도 하나를 포함하는 영상 정보를 검출하는 스테레오 영상 분석 단계, 상기 검출된 영상 정보를 기반으로 상기 스테레오 영상의 깊이 분포를 분석하여 기준점을 결정하고, 상기 결정된 기준점을 기준으로 상기 스테레오 영상을 쉬프트시켜 상기 스테레오 영상의 입체감을 조절하는 제1 깊이 조절 단계, 상기 스테레오 영상의 크기를 줄인 후 픽셀 단위로 깊이 맵 정보를 추출하고, 추출된 깊이 맵 정보를 와핑하여 새로운 시점의 영상을 생성함에 의해 상기 스테레오 영상의 입체감을 조절하는 제2 깊이 조절 단계, 및 상기 제1 깊이 조절 단계와 제2 깊이 조절 단계 중 적어도 하나에서 입체감이 조절된 스테레오 영상을 디스플레이 장치에 맞게 포맷 변환하는 단계를 포함하는 것을 일 실시예로 한다.

본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.

본 발명에서는 3D 입력 영상으로부터 깊이 값의 분포를 분석하고, 분석 결과를 기반으로 좌/우 영상 중 적어도 하나를 쉬프트시켜 3D 영상의 입체감을 조절하거나, 또는 3D 입력 영상으로부터 깊이 맵을 추출하고, 추출된 깊이 맵을 기반으로 새로운 시점 영상을 합성하여 3D 영상의 입체감을 조절한다. 이렇게 함으로써, 왜곡없이 3D 영상의 입체감을 조절할 수 있게 된다. 특히 사용자 인터페이스(UI)를 통해 사용자가 조절을 원하는 깊이 레벨을 선택할 수 있도록 함으로써, 사용자의 취향에 맞게 3D 영상의 입체감을 조절할 수 있게 된다.

또한, 3D 영상의 깊이가 일정 범위를 벗어나는 경우에 상기 3D 영상의 깊이를 자동으로 조절하도록 함으로써, 3D 영상의 안전 시청 조건을 충족시킬 수 있게 되므로, 3D 영상 시청시 발생하는 사용자의 시각 피로도를 줄일 수 있게 된다.

도 1은 본 발명의 일 실시예에 따른 3D 영상 표시 장치를 개략적으로 보인 블록도

도 2는 본 발명에 따른 3D 영상 표시 장치 중 깊이 제어부의 일 실시예를 보인 구성 블록도

도 3은 본 발명에 따른 3D 영상 표시 장치 중 깊이 제어부의 다른 실시예를 보인 구성 블록도

도 4는 본 발명에 따른 3D 영상 표시 장치 중 깊이 제어부의 또 다른 실시예를 보인 구성 블록도

도 5는 본 발명에 따른 스테레오 영상 분석부의 일 실시예를 보인 상세 블록도

도 6은 본 발명에 따른 깊이 분포 분석부의 일 실시예를 보인 상세 블록도

도 7a는 본 발명에 따른 좌 영상의 일 예를 보인 도면

도 7b는 본 발명에 따른 우 영상의 일 예를 보인 도면

도 7c는 도 7a의 좌 영상, 도 7b의 우 영상에 대해서 구한 특징 대응점의 일 예를 보인 도면

도 7d는 본 발명에 따른 깊이 맵 추출부에서 픽셀 단위로 추출한 깊이 맵 정보의 일 예를 보인 도면

도 7e는 본 발명에 따른 깊이 히스토그램부에서 구성된 깊이 히스토그램의 일 예를 보인 도면

도 8은 본 발명에 따른 영상 쉬프트 조절부의 일 실시예를 보인 상세 블록도

도 9는 본 발명에 따른 영상 쉬프트 조절부에서 영상을 쉬프트하는 일 예를 보인 도면

도 10의 (a) 내지 도 10의 (c)는 본 발명에 따른 영상 쉬프트 조절부에서 영상을 쉬프트하는 다른 예를 보인 도면

도 11은 본 발명에 따른 깊이 맵 추출부의 일 실시예를 보인 상세 블록도

도 12는 본 발명에 따른 베이스 깊이 추정부의 일 실시예를 보인 상세 블록도

도 13은 본 발명에 따른 인핸스드 깊이 추정부의 일 실시예를 보인 상세 블록도

도 14는 본 발명에 따른 새로운 시점 영상 합성부의 일 실시예를 보인 상세 블록도

도 15는 본 발명에 따른 새로운 시점 영상 합성시 바운더리 핸들링의 일 예를 보인 도면

도 16은 본 발명을 ASIC으로 구현 시, 하드웨어 구성의 일 예를 보인 블록도

도 17의 (a), (b)는 본 발명에 따른 ASIC에서의 컨피규레이션 예를 보인 도면

도 18은 본 발명에 따른 3D 영상 표시 장치에서 스테레오 영상의 입체감을 조절하는 방법의 일 실시예를 보인 흐름도

도 19의 (a) 내지 도 19의 (f)는 본 발명에 따른 3D 영상 표시 장치에서 깊이 조절 UI를 실행하는 시나리오의 일 예를 보인 도면

도 20의 (a) 내지 도 20의 (f)는 본 발명에 따른 3D 영상 표시 장치에서 깊이 조절 UI를 실행하는 시나리오의 다른 예를 보인 도면

이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 함을 밝혀두고자 한다.

또한 본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 개념에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니된다.

본 발명의 개념에 따른 실시 예는 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있으므로 특정 실시예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

그리고 본 발명에서 제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

본 발명에서 3D 영상으로는 두 개의 시점을 고려하는 스테레오(또는 스테레오스코픽) 영상, 세 시점 이상을 고려하는 다시점 영상 등이 있다.

상기 스테레오 영상은 일정한 거리로 이격되어 있는 좌측 카메라와 우측 카메라로 동일한 피사체를 촬영하여 획득한 1쌍의 좌우 영상을 말한다. 상기 다시점 영상은 일정한 거리나 각도를 갖는 3개 이상의 카메라로 동일한 피사체를 촬영하여 획득한 3개 이상의 영상을 말한다.

본 발명은 스테레오 영상을 일 실시예로 설명할 것이나, 다시점 영상도 본 발명에 적용될 수 있음은 당연하다.

상기 스테레오 영상의 전송 포맷으로는 싱글 비디오 스트림 포맷과 멀티 비디오 스트림 포맷이 있다.

상기 싱글 비디오 스트림 포맷으로는 사이드 바이 사이드(side by side), 톱/바텀(top/bottom), 인터레이스드(interlaced), 프레임 시퀀셜(frame sequential), 체커 보드(checker board), 애너그리프(anaglyph) 등이 있다.

상기 멀티 비디오 스트림 포맷으로는 풀 좌/우(Full left/right), 풀 좌/하프 우(Full left/Half right), 2D 비디오/깊이(2D video/depth) 등이 있다.

예를 들어, 사이드 바이 사이드 포맷은 좌 영상과 우 영상을 각각 수평 방향으로 1/2 서브 샘플링하고, 샘플링한 좌 영상을 좌측에, 샘플링한 우 영상을 우측에 위치시켜 하나의 스테레오 영상을 만든 경우이다. 그리고 탑/바텀 포맷은 좌 영상과 우 영상을 각각 수직 방향으로 1/2 서브 샘플링하고, 샘플링한 좌 영상을 상부에, 샘플링한 우 영상을 하부에 위치시켜 하나의 스테레오 영상을 만든 경우이다. 그리고 인터레이스드 포맷은 좌 영상과 우 영상을 각각 수직 방향으로 1/2 서브 샘플링하고, 샘플링한 좌 영상의 화소와 우 영상의 화소가 라인마다 교대로 위치하도록 하여 스테레오 영상을 만들거나, 좌 영상과 우 영상을 각각 수평 방향으로 1/2 서브 샘플링하고, 샘플링한 좌 영상의 화소와 우 영상의 화소가 한 화소씩 교대로 위치하도록 하여 스테레오 영상을 만든 경우이다.

본 발명은 3D 영상으로부터 깊이 정보를 추출하여 3D 영상의 입체감을 조절하는데 있다. 본 발명은 일 실시예로, 사용자가 유저 인터페이스(User Interface; UI)를 통해 3D 영상의 입체감을 조절할 수 있도록 하는데 있다. 본 발명은 다른 실시예로, 3D 영상의 깊이가 일정 범위를 벗어나는 경우에 상기 3D 영상의 깊이를 자동으로 조절하도록 하는데 있다. 본 발명은 또 다른 실시예로, 사용자가 UI를 통해 3D 영상의 입체감을 조절할 수 있도록 함과 동시에 3D 영상의 깊이가 일정 범위를 벗어나면 자동으로 상기 3D 영상의 깊이를 조절하도록 하는데 있다.

본 발명은 3D 입력 영상으로부터 깊이 값의 분포를 분석하고, 분석 결과를 이용하여 좌/우 영상 중 적어도 하나를 쉬프트함으로써, 3D 영상의 입체감을 조절하는 것을 일 실시예로 설명하기로 한다.

본 발명은 3D 입력 영상으로부터 깊이 맵(depth map)을 추출하고, 추출된 깊이 맵을 이용해서 새로운 시점의 영상을 합성(또는 생성)함으로써, 3D 영상의 입체감을 조절하는 것을 다른 실시예로 설명하기로 한다.

본 발명에서 깊이(depth or disparity)란 좌/우 영상 사이의 거리를 의미하며, 이러한 깊이는 시청자로 하여금 영상에 입체감을 느끼게 한다. 즉, 좌우 영상 사이의 깊이로 인해 사용자는 두 눈 사이에 시차를 느끼게 되고, 이러한 양안 시차는 입체감을 느끼게 한다. 다시 말해, 깊이와 시차는 상관 관계를 가진다.

그리고 3D 영상과 같은 입체 영상 시청시 사용자가 느끼는 양안 시차는 음의 시차, 양의 시차, 및 제로 시차로 세가지가 있다. 음의 시차는 영상에 포함된 물체가 스크린으로부터 튀어 나온 것처럼 보이는 경우이다. 그리고, 양의 시차는 영상에 포함된 물체가 스크린 속으로 들어간 것처럼 보이는 경우이며, 제로 시차는 영상에 포함된 물체가 스크린과 동일한 깊이로 보이는 경우이다.

일반적으로, 입체 영상에서 음의 시차가 양의 시차보다 입체 효과가 더 크지만, 양안의 수렴각이 음의 시차에서 양의 시차일 때보다 크기 때문에 양안의 편안함은 양의 시차가 더 크다. 그러나, 양의 시차가 편안하더라도 입체 영상 내에 물체들이 양의 시차만을 가지면 양안은 피로감을 느끼게 된다. 마찬가지로, 입체 영상 내에 물체들이 음의 시차만을 가져도 양안은 피로감을 느끼게 된다.

도 1은 본 발명의 일 실시예에 따른 3D 영상 표시 장치를 개략적으로 보인 블록도로서, 수신기(101), 좌 영상 처리부(102), 우 영상 처리부(103), 깊이 제어부(104), 및 포맷터(105)를 포함한다.

본 발명에서 3D 영상 표시 장치는 디지털 텔레비전, 셋톱 박스 등이 해당될 수 있다. 또한 상기 3D 영상 표시 장치는 휴대폰, 스마트 폰, 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등과 같은 이동 단말기일 수도 있고, 데스크 탑, 랩탑(또는 노트북), 태블릿 또는 핸드헬드 컴퓨터 등의 퍼스널 컴퓨터 시스템일 수도 있다.

그리고 도 1에서 수신기(101)는 방송 수신기인 것을 일 실시예로 한다. 이 경우 수신기(101)는 튜너, 복조부, 디코더 등을 포함할 수 있다. 즉, 튜너는 사용자가 선택한 채널을 수신하고, 복조부는 수신된 채널의 방송 신호를 복조한다. 디코더는 복조된 방송 신호를 디코딩하여 압축 이전의 상태로 복원한다. 이때 복조된 방송 신호가 3D 영상 신호라면 상기 디코더는 전송 포맷에 따라 상기 방송 신호를 디코딩하여 좌 영상과 우 영상으로 출력한다. 예를 들어, 전송 포맷이 사이드 바이 사이드 포맷이면 한 프레임 내에서 좌측 절반의 픽셀은 디코딩하여 좌 영상으로 출력하고, 우측 절반의 픽셀은 디코딩하여 우 영상으로 출력한다. 이때 반대의 경우도 가능하다. 다른 예로, 전송 포맷이 톱/바텀 포맷이면 한 프레임 내에서 상측 절반의 픽셀은 디코딩하여 좌 영상으로 출력하고, 하측 절반의 픽셀은 디코딩하여 우 영상으로 출력한다. 이때 반대의 경우도 가능하다. 그리고 상기 좌 영상은 좌 영상 처리부(102)로 출력되고, 우 영상은 우 영상 처리부(103)로 출력된다.

상기 좌 영상 처리부(102)는 좌 영상 스케일러(L scaler)라 하기도 하며, 입력된 좌 영상을 디스플레이 장치의 해상도 또는 소정 화면비에 맞도록 스케일링(scaling)한 후 깊이 제어부(104)로 출력한다.

상기 우 영상 처리부(102)는 우 영상 스케일러(R scaler)라 하기도 하며, 입력된 우 영상을 디스플레이 장치의 해상도 또는 소정 화면비에 맞도록 스케일링한 후 깊이 제어부(104)로 출력한다.

상기 디스플레이 장치는 제품 사양 별로 소정 해상도, 예를 들어 720x480 포맷, 1024x768 포맷, 1280×720 포맷, 1280×768 포맷, 1280×800 포맷, 1920×540 포맷, 1920×1080 포맷 또는 4K ×2K 포맷 등을 갖는 영상 화면을 출력하도록 제작되어 있다. 그에 따라서, 좌 영상 처리부(102)와 우 영상 처리부(103)는 다양한 값으로 입력될 수 있는 좌 영상과 우 영상의 해상도를 해당 디스플레이 장치의 해상도에 맞춰 변환할 수 있다.

본 발명은 상기 좌 영상 처리부(102)에서 처리된 좌 영상과 상기 우 영상 처리부(103)에서 처리된 우 영상을 합하여 3D 입력 영상 또는 스테레오 영상이라 하기로 한다.

상기 깊이 제어부(104)는 일 실시예로, 상기 3D 입력 영상으로부터 깊이 값의 분포를 분석하고, 분석 결과를 이용하여 좌/우 영상을 쉬프트하여 3D 영상의 입체감을 조절한 후 포맷터(105)로 출력할 수 있다.

상기 깊이 제어부(104)는 다른 실시예로, 상기 3D 입력 영상으로부터 깊이 맵(depth map)을 추출하고, 추출된 깊이 맵을 이용해서 새로운 시점의 영상을 합성하여 3D 영상의 입체감을 조절한 후 포맷터(105)로 출력할 수 있다.

본 발명에 따른 깊이 제어부(104)는 시스템 설계에 의해 자동으로 3D 영상의 입체감을 조절할 수도 있고, UI를 통한 사용자의 요청에 따라 3D 영상의 입체감을 조절할 수도 있다.

상기 포맷터(105)는 상기 깊이 제어부(104)에서 입체감이 조절된 3D 영상을 디스플레이 장치의 출력 포맷에 맞게 변환하여 디스플레이 장치로 출력한다. 일 예로, 상기 포맷터(105)는 깊이가 조절된 좌 영상과 우 영상을 라인 단위로 섞어주는 역할을 수행하기도 한다.

상기 디스플레이 장치는 상기 포맷터(105)로부터 출력되는 3D 영상을 디스플레이한다. 상기 디스플레이 장치는 스크린, 모니터, 프로젝터 등이 될 수 있다. 또한 상기 디스플레이 장치는 일반 2D 영상을 디스플레이할 수 있는 장치, 안경을 필요로 하는 3D 영상을 디스플레이할 수 있는 장치, 안경을 필요로 하지 않는 3D 영상을 디스플레이할 수 있는 장치 등이 될 수 있다.

도 1에서 수신기로 수신된 방송 신호가 2D 영상이라면 좌 영상 처리부(102)와 우 영상 처리부(103) 중 하나만 활성화되고, 깊이 제어부(104)는 바이패스하는 것을 일 실시예로 한다.

도 2는 도 1의 깊이 제어부(104)의 일 실시예를 보인 상세 블록도로서, 스테레오 영상 분석부(121), 깊이 분포 분석부(131), 영상 쉬프트 조절부(132), 깊이 맵 추출부(141), 새로운 시점 영상 합성부(142), 및 깊이 조절 UI부(151)를 포함할 수 있다.

본 발명에서는 상기 깊이 분포 분석부(131)와 영상 쉬프트 조절부(132)를 합하여 제1 깊이 조절부라 하고, 상기 깊이 맵 추출부(141)와 새로운 시점 영상 합성부(142)을 합하여 제2 깊이 조절부라 하기로 한다. 상기 제1 깊이 조절부와 제2 깊이 조절부는 선택적으로 동작될 수도 있고, 동시에 모두 동작된 후 포맷터(105)에서 그 중 하나를 선택하게 할 수도 있다. 상기 제1 깊이 조절부와 제2 깊이 조절부 중 하나를 3D 영상 표시 장치에서 자동으로 선택하게 할 수도 있고, 사용자가 UI를 통해 선택하게 할 수도 있다. 그리고 3D 입력 영상은 좌 영상과 우 영상으로 구성된 스테레오 영상인 것을 일 실시예로 한다. 상기 스테레오 영상은 스테레오 영상 분석부(121)로 입력된다.

상기 스테레오 영상 분석부(121)는 입력되는 스테레오 영상으로부터 기본적인 영상 정보를 분석하여 깊이 분포 분석부(131)와 깊이 맵 추출부(141)로 출력한다.

상기 깊이 분포 분석부(131)는 상기 스테레오 영상 분석부(121)에서 분석된 영상 정보와 상기 깊이 맵 추출부(141)에서 추출된 깊이 맵 정보 중 적어도 하난를 기반으로 상기 스테레오 영상에 포함된 좌 영상과 우 영상의 깊이 분포를 분석하여 기준점을 구한 후 영상 쉬프트 조절부(132)로 출력한다.

상기 영상 쉬프트 조절부(132)는 사용자에 의해 또는 3D 영상 표시 장치에서 결정된 깊이 레벨과 상기 깊이 분포 분석부(131)에서 출력되는 기준점을 기반으로 좌 영상과 우 영상 중 적어도 하나를 쉬프트시켜 스테레오 영상의 깊이를 조절한다. 즉, 상기 영상 쉬프트 조절부(132)는 프레임 단위로 영상의 깊이를 제어하여 입체감을 조절한다.

상기 깊이 맵 추출부(141)는 스테레오 영상에 포함된 좌 영상과 우 영상의 깊이 맵 정보를 추출한 후, 그 결과를 깊이 분포 분석부(131)와 새로운 시점 영상 합성부(142)로 출력한다.

이때 영상 처리 부하를 줄이고 동일 처리 블록 크기에 대해서 더 넓은 주위 영역 정보를 활용하기 위해서 상기 깊이 맵 추출부(141)는 입력되는 스테레오 영상의 크기를 줄인 영상을 스테레오 영상 분석부(121)로부터 제공받아 깊이 맵 정보를 추출하는 것을 일 실시예로 한다. 즉, 영상의 크기를 줄임으로써, 계산량이 줄어들고 구현성이 좋아지며 동일 처리 블록 크기에 대해 더 넓은 주위 영역 정보를 활용할 수 있다. 이를 위해 상기 스테레오 영상 분석부(121)는 입력되는 스테레오 영상을 기 설정된 크기로 순차적으로 줄여 영상 계층을 구성한다. 상기 깊이 맵 정보는 스크린에서 Z축을 기준으로 각 픽셀당 거리 정보를 의미한다. 예를 들어, 스크린을 0으로 가정하였을 때 해당 영상에서 각 픽셀이 얼마나 나오고(+), 얼마나 들어갔는지(-)를 나타낸다.

상기 새로운 시점 영상 합성부(142)는 사용자에 의해 또는 3D 영상 표시 장치에서 결정된 깊이 레벨, 상기 깊이 맵 추출부(141)에서 추출된 깊이 맵 정보, 그리고 원본 영상을 기반으로 새로운 시점의 영상을 생성함으로서, 스테레오 영상의 깊이를 조절한다. 즉, 상기 새로운 시점 영상 합성부(142)는 픽셀 단위로 영상의 깊이를 제어하여 입체감을 조절한다.

상기 깊이 조절 UI부(151)는 메뉴 형태로 제공될 수 있으며, 사용자는 리모콘이나 3D 영상 표시 장치에 부착된 키 입력부를 이용하여 상기 깊이 조절 UI를 제공하는 메뉴에 진입할 수 있다. 사용자는 상기 깊이 조절 UI부(151)를 통해 3D 영상의 입체감을 조절하기 위한 깊이 레벨을 선택할 수 있다. 도 2는 3D 영상 표시 장치에 제1 깊이 조절부와 제2 깊이 조절부가 모두 구현된 예를 보이고 있다.

도 3은 본 발명에 따른 3D 영상 표시 장치 중 깊이 제어부의 다른 실시예를 보인 구성 블록도로서, 특히 3D 영상 표시 장치에 제1 깊이 조절부만 구현된 예를 보이고 있다. 즉, 도 3에서 3D 영상 표시 장치는 스테레오 영상 분석부(151), 깊이 분포 분석부(152), 깊이 맵 추출부(153), 영상 쉬프트 조절부(154), 및 깊이 조절 UI부(155)를 포함한다. 도 3의 각 부의 동작은 도 2의 동일 블록의 동작 설명과 동일하므로, 도 2의 설명을 참조하기로 하고 여기서는 생략한다. 또한 도 3에서 깊이 맵 추출부(153)는 선택적(optional)이다.

도 4는 본 발명에 따른 3D 영상 표시 장치 중 깊이 제어부의 또 다른 실시예를 보인 구성 블록도로서, 특히 3D 영상 표시 장치에 제2 깊이 조절부만 구현된 예를 보이고 있다. 즉, 도 4에서 3D 영상 표시 장치는 스테레오 영상 분석부(161), 깊이 맵 추출부(162), 새로운 시점 영상 합성부(163), 및 깊이 조절 UI부(164)를 포함한다. 도 4의 각 부의 동작은 도 2의 동일 블록의 동작 설명과 동일하므로, 도 2의 설명을 참조하기로 하고 여기서는 생략한다.

이 후 도 2 내지 도 4의 3D 영상 표시 장치의 각 부의 상세 동작을 설명한다. 도 2 내지 도 4에서 동일한 이름을 가진 블록들로 동일한 동작을 수행한다. 하지만 설명의 편의를 위해 도 2의 도면 부호를 가지고 각 부의 동작을 상세히 설명하기로 한다.

도 5는 스테레오 영상 분석부(121)의 일 실시예를 보인 상세 블록도로서, 영상 계층부(211), 에지 분석부(212), 컬러 분석부(213), 및 장면 변화 분석부(214)를 포함할 수 있다.

상기 스테레오 영상 분석부(121)는 원해상도 스테레오 영상을 2-N으로 순차적으로 줄여 복수개의 레벨 영상을 생성한 후 각 레벨의 영상으로부터 에지 정보, 컬러 정보, 장면 변화 정보와 같은 영상 정보를 검출한다. 이렇게 검출된 에지 정보, 컬러 정보, 장면 변화 정보 중 적어도 하나는 각 레벨의 영상과 함께 깊이 분포 분석부(131)와 깊이 맵 추출부(141)로 출력된다.

즉, 상기 스테레오 영상 분석부(121)의 영상 계층부(211)는 입력되는 스테레오 영상의 크기를 줄여 영상 계층(image hierarchy)을 구성한다. 예를 들어, 입력되는 스테레오 영상에 대해 가로/세로 각각 1/2씩 줄인 영상을 순차적으로 생성하여 영상 계층을 구성할 수 있다. 본 발명은 원해상도 영상(즉, 원본 영상)을 레벨 0(또는 레벨 0 영상), 가로/세로로 각각 2-N으로 줄인 영상을 레벨 N(또는 레벨 N 영상)이라 하기로 한다. 즉, 원해상도 영상을 가로/세로로 각각 1/2씩 줄인 영상은 레벨 1(또는 레벨 1 영상), 레벨 1의 영상을 다시 가로/세로로 각각 1/2씩 줄인 영상을 레벨 2 (또는 레벨 2 영상)이라 하기로 한다. 그리고 이러한 레벨 0~N 영상을 영상 계층(image hierarchy)이라 하기로 한다. 상기 영상 계층부(211)에서 구성된 각 레벨의 영상은 깊이 분포 분석부(131)와 깊이 맵 추출부(141)로 출력된다. 또한 상기 각 레벨의 영상은 스테레오 영상 분석부(121) 내 에지 검출부(212), 컬러 분석부(213) 및 장면 변화 검출부(214) 중 적어도 하나로 출력된다.

상기 에지 분석부(212)는 적어도 하나의 레벨 영상으로부터 에지 정보를 추출한다. 본 발명은 상기 에지 정보를 검출하기 위하여 3x3 소벨 필터(sobel filter)를 사용하는 것을 일 실시예로 한다. 상기 3x3 소벨 필터는 에지를 구하기 위한 픽셀을 중심으로 하여 3x3 이웃 블록에 대해서 구하고자 하는 방향에 따라 다른 필터 계수를 할당한다. 즉, 상기 3x3 소벨 필터는 비선형 연산자로서 사용하는 마스크 윈도우 영역에서 양 끝단에 속한 픽셀들 사이의 합의 차이를 구한 후 이를 수평과 수직 방향에 대하여 평균 크기를 구함으로써, 경계 부위를 강조하는 역할을 한다.

상기 컬러 분석부(213)는 적어도 하나의 레벨 영상으로부터 컬러 정보를 추출한다. 이때 R/G/B 각각 8 비트(bit) 인 경우 컬러의 조합은 224 개가 된다. 상기 컬러 분석부(213)에서는 유사한 컬러들을 그룹핑하여 컬러 분포 특성을 이용하기 위해서 컬러 세그멘테이션(color segmentation)을 수행한다. 또한, 좌/우 영상의 컬러를 분석하여 보정하는 작업을 수행할 수 있다.

상기 장면 변화 검출부(214)는 적어도 하나의 레벨 영상의 시퀀스로부터 장면 변화를 검출한다. 즉, 영상 시퀀스는 장면(scene)들의 연속으로 이루어지며, 동일 장면 내의 영상 프레임들간에 영상 특성이나 3D 깊이에 있어서 상관성이 존재한다. 그러므로 장면 전환 검출부(214)에서는 적어도 하나의 레벨의 영상 시퀀스로부터 장면이 바뀌는 지점을 검출한 후 장면 변화 정보를 출력한다.

상기 에지 분석부(212)에서 추출된 에지 정보, 컬러 분석부(213)에서 추출된 컬러 정보, 상기 장면 변화 검출부(214)에서 검출된 장면 변화 정보 중 적어도 하나는 깊이 분포 분석부(131)와 깊이 맵 추출부(141)로 출력된다.

도 6은 상기 깊이 분포 분석부(131)의 일 실시예를 보인 상세 블록도로서, 특징 분석(feature analysis)부(221), 깊이 히스토그램부(222), 및 히스토그램 통계부(223)를 포함할 수 있다.

상기 깊이 분포 분석부(131)는 깊이 값 히스토그램(histogram)을 구성하고 각종 통계치를 도출한다. 즉, 상기 깊이 분포 분석부(131)는 스크린을 기준으로 어느 위치에 물체들이 분포되어 있는지를 분석한다. 다시 말해, 하나의 프레임에 대해 각 깊이 별로 픽셀들의 분포 비율을 분석한다.

이를 위해 상기 깊이 분포 분석부(131)의 특징 분석부(221)는 상기 스테레오 영상 분석부(104)에서 출력되는 적어도 하나의 레벨 영상 및 영상 정보(예를 들어, 에지 정보, 컬러 정보, 장면 변화 정보 중 적어도 하나)를 이용하여 스테레오 영상의 특징(feature)을 추출하고, 추출된 특징을 이용하여 좌/우 영상에 대해서 특징 대응점을 구한다. 예를 들어, 상기 특징 분석부(221)는 에지/코너(edge/corner) 등의 특징을 추출하고, 추출된 특징을 이용하여 좌/우 영상(즉, 스테레오 영상)에 대해서 특징 대응점을 구한다.

도 7a는 좌 영상의 예를 보이고, 도 7b는 우 영상의 예를 보이고 있다. 도 7a와 도 7b에서 보면, 좌 영상이 우 영상보다 좌측으로 좀 더 이동되어 있다. 다시 말해, 물체가 화면 밖으로 튀어 나오는 예이다.

도 7c는 도 7a의 좌 영상, 도 7b의 우 영상에 대해서 구한 특징 대응점을 표시하고 있다.

즉, 좌 영상과 우 영상에서 물체의 동일 지점을 나타내는 특징 대응점들은 좌우 영상에서 수평적으로 벌어져서 나타난다. 이때 벌어진 정도(시차)는 깊이 정도에 따라서 달라지게 된다. 예를 들어, 물체가 화면 밖으로 튀어나오는 경우는 좌영상에 나타난 특징 대응점이 우영상에 나타난 특징 대응점보다 오른쪽에 위치한다. 반대로 물체가 화면 안으로 들어가는 경우는 반대로 위치한다. 도 7c에서 굵은 실선으로 좌우 영상이 벌어진 정도를 나타내고, 굵은 실선의 오른쪽 끝의 x는 좌 영상에서 추출한 특징 대응점을 나타낸다. 반대로 굵은 실선의 왼쪽 끝은 우 영상에서 추출한 특징 대응점이 된다. 이때 좌 영상에서 추출한 특징 대응점과 우 영상에서 추출한 특징 대응점이 일치하면 물체는 스크린 상에 있는 것이고, 벌어진 정도가 클수록 즉, 굵은 실선이 길수록 영상은 스크린에서 멀어지고, 물체는 화면 밖으로 튀어나오거나 들어간다.

도 7d는 상기 깊이 맵 추출부(141)에서 픽셀 단위로 추출한 깊이 맵 정보의 예를 보이고 있다. 즉, 상기 깊이 맵 정보는 스크린에서 Z축을 기준으로 각 픽셀의 거리 정보를 포함한다.

상기 깊이 히스토그램부(222)는 상기 특징 분석부(221)에서 출력되는 특징 상의 깊이 값들(즉, 특징 대응점) 또는 상기 깊이 맵 추출부(141)에서 출력되는 픽셀 단위의 깊이 값들(각 픽셀의 거리 정보)을 이용하여 깊이 히스토그램을 구성한다. 상기 히스토그램 통계부(223)는 상기 깊이 히스토그램에서 다양한 통계치를 구하고, 이를 이용하여 영상 쉬프트 조절부(132)에서 영상을 쉬프트하기 위한 기준점을 구한다.

도 7e는 깊이 히스토그램부(222)에서 구성된 깊이 히스토그램의 예를 보이고 있고, 히스토그램 통계부(223)에서는 이를 이용하여 다양한 통계치를 구한다. 도 7e의 깊이 히스토그램에서 가로축은 깊이를 나타내고, 세로축은 깊이 분포를 나타낸다. 본 발명에서 히스토그램 통계치는 최소(Min) 깊이, 최대(Max) 깊이, 평균(Mean) 깊이, 각 깊이에서의 피크 등이 있을 수 있다. 여기서 각 깊이에서의 피크는 해당 깊이에서의 픽셀 수가 될 수 있다. 예를 들어, 도 7e의 최소 깊이에서는 대략 75개 정도의 픽셀이 존재함을 알 수 있다. 도 7e는 깊이 분포가 (-) 방향으로 편향되어 있음을 나타낸다. 깊이 분포가 (-) 또는 (+) 방향으로 편향되어 있을 경우, 3D 영상 시청시 사용자는 쉽게 피로감을 느끼게 된다. 만일 깊이 분포를 0 지점으로 가깝게 포지셔닝(positioning)하면 편안한 입체감을 제공할 수 있다. 반대로 0 지점으로부터 멀게 포지셔닝하면 피로도는 증가하나 더 풍부한 입체감을 제공할 수 있다. 따라서 본 발명은 UI를 통해 사용자가 3D 영상을 0 지점으로 가깝게 포지셔닝하거나 0 지점으로부터 멀게 포지셔닝할 수 있도록 한다. 즉, 사용자가 깊이 조절 UI부(151)를 통해 깊이 레벨을 선택하면, 영상 쉬프트 조절부(132)에서는 사용자가 선택한 깊이 레벨에 따라 기준점을 기준으로 3D 영상을 쉬프트시켜 0 지점으로 가깝게 포지셔닝하거나 0 지점으로부터 멀게 포지셔닝할 수 있다. 다른 실시예로, 3D 영상 표시 장치에서 자동으로 3D 영상을 0 지점으로 가깝게 포지셔닝하거나 0 지점으로부터 멀게 포지셔닝할 수도 있다.

이때 깊이 분포를 프레임 전체에 대해서 구하면 글로벌 특성으로 후단에서 처리를 할 수 있고, 영상을 블록으로 나눠서 블록 별로 깊이 분포를 구하면 후단에서 로컬 특성을 반영해서 영상 조정이 가능하게 된다.

그리고 본 발명은 히스토그램의 평균(Mean) 값을 영상을 쉬프트하기 위한 기준점으로 설정하는 것을 일 실시예로 한다. 이때 이 기준점을 0에 가깝게 하거나 멀게 하거나 또는 0 중심으로 축 반대 방향으로 이동하도록 깊이 조절 값을 구할 수 있다. 상기 깊이 조절 값은 상기 깊이 조절 UI부(151)를 통해 사용자가 깊이 레벨을 선택하여 설정할 수도 있고, 3D 영상 표시 장치에서 자동으로 설정할 수도 있다.

상기 영상 쉬프트 조절부(132)는 상기 깊이 조절 UI부(151)에서 선택된 깊이 레벨 또는 3D 영상 표시 장치에서 자동으로 설정한 깊이 레벨에 따라서 상기 깊이 조절 값을 스케일링(scaling)하고, 기준점을 기준으로 상기 스케일링된 깊이 조절 값만큼 좌/우 영상을 반대 방향으로 쉬프트함으로써, 스테레오 영상의 입체감을 조절한다. 즉, 상기 영상 쉬프트 조절부(132)는 깊이 값의 분포 위치를 조절하기 위한 값을 구하여 좌/우 영상을 쉬프트한다.

도 8은 상기 영상 쉬프트 조절부(132)의 일 실시예를 보인 상세 블록도로서, 깊이 범위 분석(depth range analysis)부(231)과 쉬프트 값 계산부(232)를 포함할 수 있다.

상기 깊이 범위 분석부(231)는 상기 히스토그램 통계부(223)에서 구한 기준점을 재구성한다. 이때 이전 프레임에서의 깊이 통계치들을 가중치하여 기준점을 재구성할 수도 있다. 예를 들어, 상기 깊이 범위 분석부(231)는 시간적인 깊이 범위(depth range) 정보, 상기 히스토그램 통계부(223)에서 구한 깊이 분포의 기준점 정보, 기 설정된 기준 깊이(reference depth) 범위 정보 등을 기반으로 현재 프레임에 대한 깊이 분포의 기준점을 재구성한다. 이는 시간적으로 자연스럽게 변하고 장면 변화에서 불연속성이 가능하도록 하기 위해서이다.

상기 쉬프트 값 계산부(232)는 상기 깊이 조절 UI부(151)에 의해 선택된 또는 3D 영상 표시 장치에서 자동으로 선택된 깊이 레벨을 기반으로 좌/우 영상의 쉬프트 값 즉, 깊이 조절 값을 계산한다.

도 9는 본 발명에 따른 영상 쉬프트 조절부(132)의 동작 예를 보여준다. 도 9에서 점선은 입력 영상들의 깊이의 최대/최소값들의 시간적 변화를 나타낸다. 실선은 깊이 조절 후의 시간적 변화를 나타낸다. 그리고 도면에서 네모 박스는 기준 깊이 범위(또는 가이드 라인이라 함)를 나타낸다. 깊이 조절에 의해서 점선의 깊이 범위를 실선의 깊이 범위로 변경한 예이다. 즉, 기준 깊이 범위를 벗어나는 영상에 대해서는 기준 깊이 범위 내로 쉬프트시킨다. 이렇게 함으로써, 3D 영상의 안전 시청 조건을 충족시킬 수 있게 되므로, 3D 영상 시청시 발생하는 사용자의 시각 피로도를 줄일 수 있게 된다. 상기 기준 깊이 범위를 벗어나는 영상에 대해서 기준 깊이 범위 내로 쉬프트시키는 동작은 3D 영상 표시 장치에서 자동으로 수행할 수 있다. 또는 사용자가 UI를 통해 온/오프를 선택할 수 있도록 하고, 온을 선택한 경우에만 자동으로 수행하게 할 수도 있다.

그리고 시간적으로 부드러운 깊이 변화를 구하기 위해서 깊이 범위 조절을 수행할 때는 이전의 깊이 범위 히스토리(history)를 반영해주는 것을 일 실시예로 한다.

다음의 수학식 1은 최대 깊이를 기준점으로 하고, 그 기준점을 기준으로 깊이 조절을 한다고 가정할 경우의 깊이 편차(depth deviation)를 구하는 예를 보이고 있다.

수학식 1

Figure PCTKR2012010375-appb-M000001

(현재의 최대 깊이 (t) - 기준최대 깊이 (t), 0)

상기 수학식 1에서 depth_deviation(t) 값이 (+)이면 현재 시간(t)의 최대 깊이가 기준 최대 깊이를 넘어선 경우이다.

이때 실제 깊이 조절 값은 다음의 수학식 2와 같이 이전 시간의 깊이 편차를 반영하는 것을 일 실시에로 한다.

수학식 2

Figure PCTKR2012010375-appb-M000002

가중치 wk는 k=0부터 n까지에 대해서 단조 감소하게 할당함으로써, 현재 영상과 시간적으로 가까운 영상의 depth_deviation에 더 큰 가중치를 부여한다. 만일 W0=1이고, 나머지는 0인 경우는 이전 시간의 depth_deviation을 반영하지 않는 경우가 된다.

그리고 최대 또는 최소 기준 깊이 값 중 하나를 기준으로 depth_deviation을 계산하고 깊이를 조절할 경우, 다른 깊이 값이 기준을 벗어나는 경우들이 발생할 수 있다. 이렇게 전체적인 기준 깊이 범위를 충족시키지 못하는 경우에는 2D로 전환해서 보여 줄 수도 있다.또한 상기 기준 깊이(reference depth) 범위는 단계별로 설정할 수 있다. 범위를 가장 좁게 설정한 1단계 범위부터 최대, 최소를 확장시켜가면서 몇 단계로 기준 깊이 범위를 설정하여 깊이 조절 기능을 수행할 수도 있다.

다른 실시 예로는, 기준 깊이 범위를 설정하지 않고, 기준점을 0 또는 특정 값으로 이동시키도록 조절할 수도 있다. 깊이가 전면이나 후면으로 치우칠 경우 전체적으로 스크린 위치(즉, 깊이=0인 지점)로 이동하면 편안한 입체감을 느낄 수 있다. 이와 반대 방향으로 조절할 경우, 더욱 큰 입체감을 제시하게 된다. 기준점을 0 또는 특정 값으로 쉬프트시키기 위한 쉬프트 값은 깊이 레벨에 의해 결정되며, 상기 깊이 레벨은 상기 깊이 조절 UI부(151)를 통해 사용자가 조절할 수도 있고, 3D 영상 표시 장치에서 강제로 조절할 수도 있다. 그러면 상기 쉬프트 값 계산부(232)는 상기 기준점 및 상기 깊이 레벨을 기반으로 좌/우 영상의 쉬프트 값 즉, 깊이 조절 값을 계산한다. 또한 기준점을 강제로(또는 자동으로) 0 또는 특정값으로 쉬프트시킬 경우, 사용자는 UI를 통해 온/오프만 선택하게 할 수도 있다.

도 10의 (a) 내지 도 10의 (c)는 상기 영상 쉬프트 조절부(132)에 의한 깊이 조절 동작의 다른 예를 보여준다. 좌 영상 및 우 영상 위의 흰색 화살표는 깊이 조절량을 나타내고, 상기 깊이 조절량만큼 좌 영상과 우 영상 중 적어도 하나의 영상을 쉬프트함으로써 3D 영상의 깊이감(즉, 입체감)이 조절된다. 이때 도 10의 (b)와 같이 좌 영상은 왼쪽 방향, 우 영상은 오른쪽 방향으로 깊이 조절량만큼 쉬프트하면 물체가 시청자로부터 멀어지는 효과가 있다. 또한 도 10의 (c)와 같이 각각 반대 방향으로 깊이 조절량만큼 좌 영상과 우 영상을 쉬프트하면 물체가 시청자에게 가까워지는 효과가 있다. 여기서 깊이 조절량은 상기 쉬프트 값 계산부(232)에서 구해진다.

또한 본 발명은 기준 깊이 범위를 벗어나는 좌/우 영상에 대해서는 기준 깊이 범위 내로 쉬프트시키면서 동시에 사용자가 선택한 기준 레벨에 따라 기준점을 기준으로 좌/우 영상을 쉬프트시킬 수도 있다.

한편 상기 깊이 맵 추출부(141)는 기본 깊이 맵 추출, 정교화, 보간 작업을 통해서 최종 깊이 맵(즉, 각 픽셀의 거리 정보)을 계산한 후 깊이 분포 분석부(131)와 새로운 시점 영상 합성부(142)로 출력한다.

도 11은 상기 깊이 맵 추출부(141)의 일 실시예를 보인 상세 블록도로서, 전 처리부(pre-processor)(241), 베이스 깊이 추정부(242) 및 인핸스드 깊이 추정부(243)를 포함할 수 있다.

상기 전 처리부(241)는 상기 스테레오 영상 분석부(121)에서 출력되는 영상 계층 중 적어도 하나의 레벨의 영상을 이용하여 깊이 범위(depth range or disparity range, 스크린에서 Z축을 각 픽셀의 거리 정보)를 미리 추정하여 깊이 범위를 근사화시킨다. 즉, 상기 전 처리부(241)는 스테레오 영상의 영상 계층(image hierarchy)으로부터 깊이 추정을 본격적으로 수행하기 전에 깊이 범위를 추정한다. 이때, 뒷 단의 베이스 깊이 추정부(242)에서 이용하는 레벨의 영상과 같거나 더 낮은 레벨의 영상을 이용하여 깊이 범위를 추정하는 것을 일 실시예로 한다.

만일 상기 베이스 깊이 추정부(242)에서 베이스 깊이(base depth)를 레벨 2 영상으로 구한다면, 상기 전 처리부(241)에서는 레벨 3 영상으로부터 SAD(Sum of Absolute Difference)를 수행하여 깊이 범위를 근사화시키는 것을 일 실시예로 한다. 여기서 SAD는 두 블록 사이에 같은 위치 픽셀 값끼리 뺀 값의 절대값을 더한 값이며, 작을 수록 블록간 유사도가 크다.

다른 실시예로, 각 라인 별로 깊이 범위(depth range or disparity range)를 구할 수도 있다. 또 다른 실시예로, 직사각형 블록 별로도 깊이 범위를 구하여 베이스 깊이 추정시에 활용할 수도 있다. 이와 같이 본 발명은 특정 위치의 깊이 범위를 다양한 방법으로 구할 수 있다.

즉, 본 발명은 스테레오 매칭(stereo matching) 시에 발생할 수 있는 매칭 에러(matching error)를 최소화하기 위해서 상기 전 처리부(241)를 통해 실제 후보가 생길 수 있는 서치 범위(search range)를 미리 추정하는 것이다.

도 12는 도 11의 베이스 깊이 추정부의 일 실시예를 보인 상세 블록도로서, 스테레오 서치부(251), 필터링 및 최적화부(252), 및 어클루션 핸들링(occlusion handling)부(253)를 포함할 수 있다.

상기 베이스 깊이 추정부(242)에서는 레벨 0 영상(즉, 원해상도 스테레오 영상)을 이용하여 깊이 범위를 추정할 경우 계산량이 방대하기 때문에 영상 계층 상의 작은 크기의 영상을 이용하여 베이스 깊이를 추정한다. 본 발명에서는 레벨 2 영상을 이용하여 베이스 깊이를 추정하는 것을 일 실시예로 한다.

이를 위해 스테레오 서치부(251)에서는 주어진 깊이 서치 범위(disparity search range) 내에서 좌우 영상에서 비교하고자 하는 각 픽셀 또는 블록 단위로 SAD 등의 유사도를 구하고 가장 유사도가 높은 쌍들을 구한다. 두 쌍의 x좌표 값 차이가 깊이 크기(즉, 시차)를 반영한다. 이때 두 쌍의 x 좌표 값의 차이가 0이면 영상의 물체는 스크린 상에 있는 것이고, x 좌표 값의 차이가 클수록 영상의 물체는 화면 밖으로 더 튀어나오거나 더 들어간다.

상기 필터링 및 최적화부(252)에서는 필터를 이용하여 영상에서의 물체의 경계와 깊이 맵에서의 물체의 경계를 일치(align)시킨다. 즉, SAD만 하면 영상의 물체의 경계보다 깊이 맵에서의 물체의 경계가 더 두껍게 표시된다. 이를 해결하기 위해 필터링 및 최적화부(252)는 영상에서의 물체의 경계와 깊이 맵에서의 물체의 경계를 일치(align)시킨다. 이때 비교하고자 하는 두 블록 사이에서 2개의 항목을 반영하여 유사도를 비교하는 경우 바이리터럴(bilateral) 필터를 사용하고, 3개의 항목을 반영하여 유사도를 비교하는 경우 트리리터럴(trilateral) 필터를 사용하는 것을 일 실시예로 한다. 바이리터럴 필터를 사용할 경우, 비교하고자 하는 두 블록 사이에서 컬러 차이, 평균값과의 차이 항목을 반영하여 유사도를 비교하고, 트리리터럴 필터를 사용할 경우, 비교하고자 하는 두 블록 사이에서 컬러 차이, 평균값과의 차이, 깊이 값과의 차이 항목을 반영하여 유사도를 비교하는 것을 일 실시예로 한다.

또한 상기 필터링 및 최적화부(252)에서는 구하고자 하는 위치의 근처 정보만이 아니라 프레임 전체에서의 상관 관계를 이용해서, 전체 프레임에서의 결과가 최적이 되도록 현재의 결과를 조정하는 최적화 방법을 수행할 수도 있다.

상기 어클루션 핸들링부(253)에서는 좌/우 깊이 간의 대응 관계 체크를 통해서 어클루션 영역을 검출한 후 필터(예를 들어 바이리터럴 필터 또는 트리리터럴 필터 등)를 이용하고, 영상 정보에 기반하여 어클루션 영역의 깊이를 새롭게 구하여 갱신한다. 예를 들어, 좌 영상에서 보이는 물체나 배경이 우 영상에서는 다른 물체에 가려져 보이지 않는 경우가 발생할 수 있다. 즉, 시점에 따라 특정 물체에 의해 가려지는 다른 물체나 배경을 어클루션 영역이라 한다.

상기 베이스 깊이 추정 과정에서 이용하는 깊이 서치 범위(disparity search range)는 라인이나 블록 등의 로컬 영역에서 유효한 깊이 범위나 후보를 도출함으로써 깊이 노이즈(depth noise)를 줄일 수 있다.

도 13은 도 11의 인핸스드 깊이 추정부(243)의 일 실시예를 보인 상세 블록도로서, 깊이 업 샘플링부(261), 깊이 개선(depth refinement)부(262), 및 깊이 필터링부(263)를 포함할 수 있다.

상기 인핸스드 깊이 추정부(243)에서는 상기 베이스 깊이 추정부(242)에서 추정된 베이스 깊이를 상위 레벨의 해상도로 향상시켜준다. 본 발명에서는 원영상 해상도의 깊이로 향상시키는 것을 일 실시예로 한다.

이를 위해 상기 깊이 업 샘플링부(261)는 필터를 사용하여 베이스 깊이 추정부(242)에서 추정된 레벨 영상의 베이스 깊이를 상위 레벨 영상의 깊이로 업샘플링한다. 이때 상기 필터는 바이리니어(bilinear)와 같은 리니어(linear) 필터 또는 바이리터럴(bilateral) 필터와 같은 에지-보호(edge-preserving) 필터를 사용할 수 있다. 일 예로, 상기 베이스 깊이 추정부(242)에서 레벨 2 영상을 이용하여 베이스 깊이를 추정하였다면, 상기 깊이 업 샘플링부(261)에서는 레벨 1 영상의 깊이로 업샘플링한다. 또한 상기 베이스 깊이 추정부(242)에서 레벨 1 영상을 이용하여 베이스 깊이를 추정하였다면, 상기 업 샘플링부(261)는 레벨 0 영상의 깊이로 업샘플링한다.

상기 깊이 개선부(262)에서는 상기 업 샘플링부(261)에서 업 샘플링된 깊이 값 주위에서 로컬 서치를 수행하여 깊이 정확도(depth precision)를 높인다.

상기 깊이 필터링부(263)에서는 상기 정확도를 높인 깊이의 노이즈를 필터를 이용하여 제거(또는 상쇄)한다. 상기 깊이 필터링부(263)에서 노이즈가 제거된 각 픽셀의 깊이 즉, 깊이 맵 정보는 새로운 시점 영상 합성부(142)로 출력된다.

상기 새로운 시점 영상 합성부(142)는 상기 깊이 맵 추출부(141)에서 출력되는 깊이 맵 정보와 상기 깊이 조절 UI부(151)를 통해 입력되는 깊이 레벨을 기반으로 원영상들을 변형하여 원하는 시점의 영상을 생성한다. 즉, 상기 새로운 시점 영상 합성부(142)는 원본 영상과 깊이 맵 정보를 이용하여 상기 깊이 조절 UI부(151)를 통해 입력된 깊이 레벨에 맞도록 새로운 시점의 영상을 생성한다.

도 14는 본 발명에 따른 새로운 시점 영상 합성부(142)의 일 실시예를 보인 상세 블록도로서, 깊이 역 와핑(depth reverse warping)부(271), 영상 포워드 와핑(image forward warping)부(272), 홀 채움(hole filling)부(273), 및 바운더리 핸들링(boundary handling)부(274)를 포함할 수 있다.

상기 깊이 역 와핑부(271)에서는 깊이 조절 UI부(151)를 통해 입력된 깊이 레벨에 맞는 새로운 시점 위치에서의 깊이를 구하기 위해서 좌/우 원본 영상 위치에서의 깊이 맵을 와핑(warping)한다.

상기 영상 포워드 와핑부(272)에서는 새로운 시점의 깊이 맵이 가리키는 위치로 원본 영상 픽셀 값을 쉬프트시킴으로써, 새로운 시점의 영상을 구성한다.

즉, 상기 깊이 역 와핑부(271)와 영상 포워드 와핑부(272)에서는 사용자가 UI를 통해 입력한 깊이 레벨에 따라 상기 깊이 맵 추출부(141)에서 추출된 깊이 맵을 조작하고, 조작된 깊이 맵에 해당하는 깊이로 원본 영상의 픽셀들을 쉬프트시킴으로써, 새로운 시점의 영상을 생성(합성)한다. 그리고 새로운 시점의 영상과 원본 영상은 홀 채움부(273)로 출력된다.

상기 홀 채움부(273)에서는 와핑 과정에서 생기는 홀 영역을 채워준다. 일 실시예로, 좌/우 영상에서 존재하는 픽셀 값으로 홀 영역을 채워 줄 수 있다. 다른 실시예로, 두 영상 모두에서 존재하지 않는 홀인 경우는 바이리터럴 또는 트리리터럴 필터와 컬러 값 유사도, 깊이 값 유사도 정보를 활용해서 이미 채워진 컬러 값으로 채워줄 수 있다. 이때 물체 경계는 배경(background)과 픽셀 단위로 명확히 구분되지 않고 믹싱(mixing)되는 영역이 존재하기 때문에 와핑 후에는 일부 배경에, 또는 배경 일부가 물체(object)에 남는 경우가 발생한다. 이때는 에지가 와핑되는 정보 등을 이용하여 바운더리 변환 조건을 체크해서 영상을 처리할 수 있다.

상기 바운더리 핸들링부(274)는 새로운 시점 영상 합성 후 발생한 영상 좌/우 경계면에서의 거대 홀 영역을 제거한다. 이때 영상 좌/우 경계면에서의 와핑 방향을 분석하여 바운더리 핸들링을 적용할 부분을 결정한 후 바운더리 핸들링을 적용하는 순서로 진행하는 것을 일 실시예로 한다. 본 발명은 바운더리 핸들링의 일례로 깊이 맵의 좌/우 경계면 일정 영역을 깊이 값이 0으로 수렴하도록 스트레칭(stretching) 시키는 방법을 제안한다. 이렇게 함으로써 영상 경계면에서의 거대 홀 영역은 홀이 발생하지 않은 영상 영역을 스트레칭하여 덮게 된다. 이때 깊이 맵의 좌/우 경계면 일정 영역은 고정된 값으로 설정할 수도 있고, 각 수평 라인(Horizontal Line)별로 영상 경계면에서의 와핑 사이즈(Warping Size)를 분석하여 그 값대로 설정할 수도 있으며, 또는 적절히 변형하여 설정할 수도 있다.

도 15의 (a), (b)는 새로운 시점 영상 합성 후 발생한 거대 홀 영역에 대한 바운더리 핸들링(Boundary Handling)의 예를 보여주고 있다. 즉, 도 15의 (a)에서 발생된 거대 홀 영역은 바운더리 핸들링 후 도 15의 (b)와 같이 없어진다.

본 발명에서 깊이 레벨은 전술한 바와 같이 상기 깊이 조절 UI부(151)를 통해 사용자가 설정할 수도 있고, 3D 영상 표시 장치에서 영상 분석을 통해 자동으로 결정할 수도 있다. 그리고 사용자에 의해 또는 자동으로 결정된 깊이 레벨은 영상 쉬프트 조절부(132) 및/또는 새로운 영상 시점 합성부(142)로 제공된다.

상기 영상 쉬프트 조절부(132) 및/또는 새로운 시점 영상 합성부(142)에서 입체감이 조절된 스테레오 영상은 상기 포맷터(105)로 출력된다.

상기 포맷터(105)는 상기 영상 쉬프트 조절부(132)에서 입체감이 조절된 스테레오 영상과 상기 새로운 시점 영상 합성부(142)에서 입체감이 조절된 스테레오 영상 중 하나를 디스플레이 장치의 출력 포맷에 맞게 변환한다. 일 예로, 상기 포맷터(105)는 깊이가 조절된 좌 영상과 우 영상을 라인 단위로 섞어주는 역할을 수행하기도 한다.

도 16은 본 발명을 ASIC(Application Specific Integrated Circuit)으로 구현 시, 깊이 맵을 추출하고 새로운 시점 영상을 합성하는 장치에 대한 하드웨어 블록도를 보여준다. 즉, 좌/우 영상은 인터페이스 입력(예, HS-LVDS RX) 단자를 통해서 입력을 받으며, 입력된 좌/우 영상은 스테레오 영상 분석부(121)를 통해 깊이 맵 추출부(141)의 전 처리부(241)로 입력된다. 도 16에서 전 처리부(241), 베이스 깊이 추정부(242), 인핸스드 깊이 추정부(243), 및 새로운 시점 영상 합성부(142)의 상세 동작은 위에서 설명하였으므로 여기서는 생략하기로 한다. 이때 상기 전 처리부(241), 베이스 깊이 추정부(242), 인핸스드 깊이 추정부(243), 및 새로운 시점 영상 합성부(142)는 서로 독립적으로 메모리와 통신하여 입력 및 결과값을 전송할 수 있다. 각 과정에서 필요한 정보들은 제어부(Micro Controller Unit, MCU)를 통해서 전달하고, 일정 부분의 연산 과정을 MCU가 담당할 수 있다. 하나의 원본 영상과 새로운 시점 영상 결과는 인터페이스 출력(예, HS-LVDS TX) 단자를 통해서 출력할 수 있다.

도 17의 (a), (b)는 깊이 제어부(104)에 대한 ASIC의 시스템 상에서의 컨피규레이션(configuration) 예를 보여준다. 특히 도 17의 (a)는 깊이 조절을 위한 ASIC이 메인 SoC로부터 듀얼 풀(dual full) HD 60Hz로 스테레오 영상을 입력받아 깊이를 조절한 후 출력하는 예를 보이고 있다. 이때 FRC(frame rate conversion) 블록은 깊이가 조절된 스테레오 영상의 프레임 레이트를 특정 프레임 레이트(예, 120Hz)로 변환하여 출력하는 것을 일 실시예로 한다. 도 17의 (b)는 120Hz 프레임 호환(frame-compatible)으로 스테레오 영상을 입력받아 깊이를 조절한 후 라인-바이-라인(Line-by-Line)으로 출력하는 예를 보이고 있다. 이때 TCON(timing controller) 블록은 깊이가 조절된 스테레오 영상을 타이밍에 맞게 디스플레이 장치에 출력하는 것을 일 실시예로 한다.

도 18은 본 발명에 따른 TV 수신기와 같은 3D 영상 표시 장치에서 스테레오 영상의 입체감을 조절하는 방법의 일 실시예를 보인 흐름도이다. 도 18에서 깊이 레벨은 깊이 조절 UI부(151)를 통해 입력받는 것을 일 실시예로 한다.

도 18을 보면, 사용자가 깊이 조절 UI부(151)를 통해 깊이 레벨을 선택하면(S301), 3D 영상 표시 장치는 깊이 조절 모드로 전환한다(S302). 일 예로, 사용자는 리모콘을 통해서 메뉴 상에 표시되는 입체감 조절 항목에서 원하는 깊이 레벨을 선택하는 것으로 깊이 조절 모드 동작이 시작된다. 이때 3D 영상 표시 장치의 영상 처리 칩 내부 CPU, MCU에서는 깊이 조절 UI를 처리하여 깊이 조절 모드로 전환한다. 이어, 제1 깊이 조절부와 제2 깊이 조절부 중 적어도 하나가 활성화되어 입력되는 또는 디스플레이 중인 스테레오 영상의 깊이를 조절한다(S303). 상기 제1 깊이 조절부와 제2 깊이 조절부의 상세 동작은 위에서 설명하였으므로 여기서는 생략하기로 한다. 상기 단계 S303에서 깊이가 조절된 3D 영상은 포맷터를 통해 디스플레이 장치로 출력되어 디스플레이된다(S304). 즉, 깊이 레벨에 따라 입체감이 조절된 3D 영상이 디스플레이 장치에 디스플레이된다.

도 19는 3D 영상 표시 장치에서 깊이 조절 UI를 실행하는 시나리오를 보여준다. 사용자는 도 19의 (a)부터 (f)까지 순차적으로 진행하여 깊이 레벨을 조절할 수 있다.

도 19의 (a)는 현재의 3D 영상 화면이고, 도 19의 (b)는 화면의 하단에 시스템 설정 메뉴 항목(또는 아이콘)이 표시되는 예를 보여주고 있다. 도 19의 (c)는 사용자가 시스템 설정 메뉴 항목을 선택하였을 때 표시되는 메뉴 항목들 중 영상 메뉴 항목을 선택하였을 때 나타나는 메뉴 항목들의 예를 보이고 있다. 도 19의 (c)에서 보면, 사용자가 영상 메뉴 항목을 선택하였을 때 3D 설정 메뉴 항목이 나타남을 알 수 있다. 그리고 사용자가 3D 설정 메뉴 항목을 도 19의 (d)에서와 같이 선택하면, 3D 설정과 관련된 메뉴 항목들이 도 19의 (e)와 같이 나타난다. 예를 들어, 3D 설정과 관련된 메뉴 항목들은 3D 영상으로 시작하기 메뉴 항목, 3D 입체감 조절 메뉴 항목, 3D 시점 조절 메뉴 항목, 3D 색상 보정 메뉴 항목, 및 3D 사운드 메뉴 항목 등이 될 수 있다. 이때 사용자가 3D 입체감 조절 메뉴 항목을 선택하면 도 19의 (f)와 같이 깊이 레벨을 설정할 수 있는 화면이 디스플레이된다. 일 예로, 도 19의 (e)와 같은 화면에서 사용자가 3D 입체감 조절 메뉴 항목에 커서를 이동시키면 “물체와 배경간의 3D 원근감을 조절합니다"와 같이 그 메뉴 항목의 기능을 설명하는 도움말을 풍선말 형태로 디스플레이할 수도 있다. 또한 도 19의 (e)와 같이 현재 프레임(또는 메뉴 항목들 뒤에 표시된 현재 영상)의 깊이 레벨을 수평 바 등을 이용하여 보여줄 수도 있다.

도 19의 (f)에서 예를 들면, 사용자는 0~20 깊이 레벨 중에서 하나를 선택할 수 있으며, 선택된 깊이 레벨에 맞게 3D 영상의 입체감이 메뉴 뒤에서 조절되는 것을 볼 수 있다. 이때 사용자가 저장 항목을 선택하면 깊이(즉, 입체감)가 조절된 3D 영상이 디스플레이 장치에 디스플레이되고, 취소 항목을 선택하면 깊이(즉, 입체감)가 조절되기 이전 3D 영상이 디스플레이 장치에 디스플레이되는 것을 일 실시예로 한다.

한편 본 발명은 추가적인 UI로서 깊이 조절을 위해 2가지 모드를 적용할 수도 있다. 즉, 자동 모드와 수동(또는 사용자) 모드를 두고, 둘 중 하나를 사용자가 선택하게 할 수도 있다. 수동 모드에서는 위 UI의 세부 설정들을 사용자가 조절할 수 있고, 자동 모드일 때는 사용자는 자동 모드 온(즉, 켜짐)/오프(즉, 꺼짐)만을 선택할 수 있고, 만일 사용자가 자동 모드 온(즉, 켜짐)을 선택하면 앞서 추출한 깊이 조절, 영상 쉬프트 조절 값을 적용하여 콘텐츠에 따라 적절한 입체감을 느끼도록 자동으로 조절해 줄 수 있다.

도 20은 3D 영상의 입체감을 조절하기 위해 자동 모드와 수동 모드를 적용한 3D 영상 표시 장치에서 깊이 조절 UI를 실행하는 시나리오를 보여준다. 사용자는 도 20의 (a)부터 (f)까지 순차적으로 진행하여 깊이 레벨을 조절할 수 있다. 이때 도 20의 (a) 내지 도 20의 (d)의 설명은 도 19의 (a) 내지 도 19의 (d)와 동일하므로 여기서는 상세 설명을 생략하기로 한다.

도 20의 (e)를 보면, 3D 입체감 자동 조절 메뉴 항목과 3D 입체감 수동 조절 메뉴 항목이 모두 표시됨을 볼 수 있다. 이때 사용자는 3D 입체감 자동 조절 메뉴 항목에서 켜짐(온) 또는 꺼짐(오프)을 선택할 수 있으며, 사용자가 켜짐을 선택하면 3D 영상 표시 장치는 3D 영상의 입체감을 자동으로 조절해준다. 예를 들어, 3D 영상이 기준 레벨 범위를 벗어나면 기준 레벨 범위 내로 해당 영상을 쉬프트시킬 수 있다. 다른 예로, 기준점을 강제로 0으로 쉬프트시킬 수도 있다. 한편 사용자가 3D 입체감 수동 조절 메뉴 항목을 선택하면 도 20의 (f)와 같이 사용자에 의해 깊이 레벨을 설정할 수 있는 화면이 디스플레이된다. 예를 들어, 기준점을 사용자가 설정하는 깊이 레벨에 따라 특정 값으로 쉬프트시킬 수 있다. 도 20의 (f)에서도 사용자가 저장 항목을 선택하면 깊이(즉, 입체감)가 조절된 3D 영상이 디스플레이 장치에 디스플레이되고, 취소 항목을 선택하면 깊이(즉, 입체감)가 조절되기 이전 3D 영상이 디스플레이 장치에 디스플레이된다. 도 20에서 설명되지 않은 부분은 도 19의 설명을 따르는 것을 일 실시예로 한다.

지금까지 설명한 본 발명은 상술한 실시예에 한정되지 않으며, 첨부된 청구범위에서 알 수 있는 바와 같이 본 발명이 속한 분야의 통상의 지식을 가지 자에 의해 변형이 가능하고 이러한 변형은 본 발명의 범위에 속한다.

전술한 바와 같이, 상기 발명의 실시를 위한 최선의 형태에서, 관련된 사항을 기술하였다.

전술한 바와 같이, 본 발명은 TV 수신기뿐만 아니라 3D 영상을 디스플레이하는 기기에는 모두 적용될 수 있다.  

Claims (20)

  1. 좌 영상과 우 영상으로 구성된 스테레오 영상을 입력받아 에지 정보, 칼라 정보, 장면 변화 정보 중 적어도 하나를 포함하는 영상 정보를 검출하는 스테레오 영상 분석부;
    상기 검출된 영상 정보를 기반으로 상기 스테레오 영상의 깊이 분포를 분석하여 기준점을 결정하고, 상기 결정된 기준점을 기준으로 상기 스테레오 영상을 쉬프트시켜 상기 스테레오 영상의 입체감을 조절하는 제1 깊이 조절부;
    상기 스테레오 영상의 크기를 줄인 후 픽셀 단위로 깊이 맵 정보를 추출하고, 추출된 깊이 맵 정보를 와핑하여 새로운 시점의 영상을 생성함에 의해 상기 스테레오 영상의 입체감을 조절하는 제2 깊이 조절부; 및
    상기 제1 깊이 조절부와 제2 깊이 조절부 중 적어도 하나에서 입체감이 조절된 스테레오 영상을 디스플레이 장치에 맞게 포맷 변환하는 포맷터를 포함하는 것을 특징으로 하는 3D 영상 표시 장치.
  2. 제 1 항에 있어서, 상기 스테레오 영상 분석부는
    상기 스테레오 영상을 기 설정된 크기로 순차적으로 줄여 복수 레벨의 영상을 구성하고, 적어도 하나의 레벨의 영상으로부터 에지 정보, 칼라 정보, 장면 변화 정보 중 적어도 하나를 포함하는 영상 정보를 검출하는 것을 특징으로 하는 3D 영상 표시 장치.
  3. 제 2 항에 있어서, 상기 제1 깊이 조절부는
    상기 영상 정보를 기반으로 상기 스테레오 영상 내 좌 영상과 우 영상에 대한 특징 대응점을 추출하여 상기 스테레오 영상의 깊이 분포를 표시하는 깊이 히스토그램을 구성하고, 상기 깊이 히스토그램으로부터 기준점을 결정하는 깊이 분포 분석부; 및
    상기 결정된 기준점을 기준으로 상기 스테레오 영상을 쉬프트시켜 상기 스테레오 영상의 입체감을 조절하는 영상 쉬프트 조절부를 포함하는 것을 특징으로 하는 3D 영상 표시 장치.
  4. 제 3 항에 있어서, 상기 깊이 분포 분석부는
    상기 제2 깊이 조절부로부터 픽셀 단위의 깊이 맵 정보를 입력받아 상기 스테레오 영상의 깊이 분포를 표시하는 깊이 히스토그램을 구성하고, 상기 깊이 히스토그램으로부터 기준점을 결정하는 것을 특징으로 하는 3D 영상 표시 장치.
  5. 제 3 항에 있어서, 상기 영상 쉬프트 조절부는
    상기 깊이 분포 분석부에서 결정된 기준점에 이전 프레임에서의 깊이 통계치를 가중치하여 상기 기준점을 재구성하는 깊이 범위 분석부; 및
    상기 재구성된 기준점과 깊이 레벨을 기반으로 상기 스테레오 영상을 쉬프트시킬 쉬프트 값을 계산한 후 상기 스테레오 영상을 쉬프트시키는 쉬프트 값 계산부를 포함하는 것을 특징으로 하는 3D 영상 표시 장치.
  6. 제 5 항에 있어서, 상기 깊이 레벨은
    사용자 인터페이스(UI)를 통해 사용자가 설정하거나 3D 영상 표시 장치에서 자동으로 설정하는 것을 특징으로 하는 3D 영상 표시 장치.
  7. 제 3 항에 있어서, 상기 영상 쉬프트 조절부는
    상기 스테레오 영상이 기 설정된 기준 깊이 범위를 벗어나면, 상기 스테레오 영상을 상기 기준 깊이 범위 내로 쉬프트시키는 것을 특징으로 하는 3D 영상 표시 장치.
  8. 제 1 항에 있어서, 상기 제2 깊이 조절부는
    원영상의 해상도보다 낮은 레벨의 스테레오 영상으로부터 각 픽셀의 깊이 맵 정보를 추정한 후 원영상의 해상도로 상기 깊이 맵 정보를 업샘플링하는 깊이 맵 추출부; 및
    상기 깊이 맵 정보를 와핑하여 새로운 시점의 영상을 생성하는 새로운 시점 영상 합성부를 포함하는 것을 특징으로 하는 3D 영상 표시 장치.
  9. 제 8 항에 있어서, 상기 깊이 맵 추출부는
    제2 레벨의 스테레오 영상으로부터 각 픽셀의 깊이 맵 정보를 추정하여 서치 범위를 추정하는 전 처리부;
    상기 추정된 서치 범위 내 제1 레벨의 스테레오 영상으로부터 각 픽셀의 베이스 깊이 맵 정보를 추정하는 베이스 깊이 추정부; 및
    원영상의 해상도로 상기 베이스 깊이 맵 정보를 업샘플링하는 인핸스드 깊이 추정부를 포함하는 것을 특징으로 하는 3D 영상 표시 장치.
  10. 제 8 항에 있어서, 상기 새로운 시점 영상 합성부는
    깊이 레벨에 따라 상기 깊이 맵 정보를 와핑하고, 와핑된 깊이 맵 정보를 기반으로 새로운 시점의 영상을 생성하는 와핑부;
    상기 와핑 과정에서 생긴 홀을 채우는 홀 채움부; 및
    상기 새로운 시점 영상의 바운더리에 발생된 홀 영역을 제거하는 바운더리 핸들링부를 포함하는 것을 특징으로 하는 3D 영상 표시 장치.
  11. 3D 영상 표시 장치에서 3D 영상을 표시하는 방법에 있어서,
    좌 영상과 우 영상으로 구성된 스테레오 영상을 입력받아 에지 정보, 칼라 정보, 장면 변화 정보 중 적어도 하나를 포함하는 영상 정보를 검출하는 스테레오 영상 분석 단계;
    상기 검출된 영상 정보를 기반으로 상기 스테레오 영상의 깊이 분포를 분석하여 기준점을 결정하고, 상기 결정된 기준점을 기준으로 상기 스테레오 영상을 쉬프트시켜 상기 스테레오 영상의 입체감을 조절하는 제1 깊이 조절 단계;
    상기 스테레오 영상의 크기를 줄인 후 픽셀 단위로 깊이 맵 정보를 추출하고, 추출된 깊이 맵 정보를 와핑하여 새로운 시점의 영상을 생성함에 의해 상기 스테레오 영상의 입체감을 조절하는 제2 깊이 조절 단계; 및
    상기 제1 깊이 조절 단계와 제2 깊이 조절 단계 중 적어도 하나에서 입체감이 조절된 스테레오 영상을 디스플레이 장치에 맞게 포맷 변환하는 단계를 포함하는 것을 특징으로 하는 3D 영상 표시 방법.
  12. 제 11 항에 있어서, 상기 스테레오 영상 분석 단계는
    상기 스테레오 영상을 기 설정된 크기로 순차적으로 줄여 복수 레벨의 영상을 구성하고, 적어도 하나의 레벨의 영상으로부터 에지 정보, 칼라 정보, 장면 변화 정보 중 적어도 하나를 포함하는 영상 정보를 검출하는 것을 특징으로 하는 3D 영상 표시 방법.
  13. 제 12 항에 있어서, 상기 제1 깊이 조절 단계는
    상기 영상 정보를 기반으로 상기 스테레오 영상 내 좌 영상과 우 영상에 대한 특징 대응점을 추출하여 상기 스테레오 영상의 깊이 분포를 표시하는 깊이 히스토그램을 구성하고, 상기 깊이 히스토그램으로부터 기준점을 결정하는 깊이 분포 분석 단계; 및
    상기 결정된 기준점을 기준으로 상기 스테레오 영상을 쉬프트시켜 상기 스테레오 영상의 입체감을 조절하는 영상 쉬프트 조절 단계를 포함하는 것을 특징으로 하는 3D 영상 표시 방법.
  14. 제 13 항에 있어서, 상기 깊이 분포 분석 단계는
    상기 제2 깊이 조절 단계로부터 픽셀 단위의 깊이 맵 정보를 입력받아 상기 스테레오 영상의 깊이 분포를 표시하는 깊이 히스토그램을 구성하고, 상기 깊이 히스토그램으로부터 기준점을 결정하는 것을 특징으로 하는 3D 영상 표시 방법.
  15. 제 13 항에 있어서, 상기 영상 쉬프트 조절 단계는
    상기 깊이 분포 분석 단계에서 결정된 기준점에 이전 프레임에서의 깊이 통계치를 가중치하여 상기 기준점을 재구성하는 단계; 및
    상기 재구성된 기준점과 깊이 레벨을 기반으로 상기 스테레오 영상을 쉬프트시킬 쉬프트 값을 계산한 후 상기 스테레오 영상을 쉬프트시키는 단계를 포함하는 것을 특징으로 하는 3D 영상 표시 방법.
  16. 제 15 항에 있어서, 상기 깊이 레벨은
    사용자 인터페이스(UI)를 통해 사용자가 설정하거나 3D 영상 표시 장치에서 자동으로 설정하는 것을 특징으로 하는 3D 영상 표시 방법.
  17. 제 13 항에 있어서, 상기 영상 쉬프트 조절 단계는
    상기 스테레오 영상이 기 설정된 기준 깊이 범위를 벗어나면, 상기 스테레오 영상을 상기 기준 깊이 범위 내로 쉬프트시키는 단계를 더 포함하는 것을 특징으로 하는 3D 영상 표시 방법.
  18. 제 11 항에 있어서, 상기 제2 깊이 조절 단계는
    원영상의 해상도보다 낮은 레벨의 스테레오 영상으로부터 각 픽셀의 깊이 맵 정보를 추정한 후 원영상의 해상도로 상기 깊이 맵 정보를 업샘플링하는 깊이 맵 추출 단계; 및
    상기 깊이 맵 정보를 와핑하여 새로운 시점의 영상을 생성하는 새로운 시점 영상 합성 단계를 포함하는 것을 특징으로 하는 3D 영상 표시 방법.
  19. 제 18 항에 있어서, 상기 깊이 맵 추출 단계는
    제2 레벨의 스테레오 영상으로부터 각 픽셀의 깊이 맵 정보를 추정하여 서치 범위를 추정하는 단계;
    상기 추정된 서치 범위 내 제1 레벨의 스테레오 영상으로부터 각 픽셀의 베이스 깊이 맵 정보를 추정하는 단계; 및
    원영상의 해상도로 상기 베이스 깊이 맵 정보를 업샘플링하는 단계를 포함하는 것을 특징으로 하는 3D 영상 표시 방법.
  20. 제 18 항에 있어서, 상기 새로운 시점 영상 합성 단계는
    깊이 레벨에 따라 상기 깊이 맵 정보를 와핑하고, 와핑된 깊이 맵 정보를 기반으로 새로운 시점의 영상을 생성하는 단계;
    상기 와핑 과정에서 생긴 홀을 채우는 단계; 및
    상기 새로운 시점 영상의 바운더리에 발생된 홀 영역을 제거하는 단계를 포함하는 것을 특징으로 하는 3D 영상 표시 방법.
PCT/KR2012/010375 2011-12-02 2012-12-03 3d 영상 표시 장치 및 방법 WO2013081435A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US201161566008P true 2011-12-02 2011-12-02
US61/566,008 2011-12-02

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/362,244 US20140333739A1 (en) 2011-12-02 2012-12-03 3d image display device and method

Publications (1)

Publication Number Publication Date
WO2013081435A1 true WO2013081435A1 (ko) 2013-06-06

Family

ID=48535803

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/010375 WO2013081435A1 (ko) 2011-12-02 2012-12-03 3d 영상 표시 장치 및 방법

Country Status (2)

Country Link
US (1) US20140333739A1 (ko)
WO (1) WO2013081435A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150130910A1 (en) * 2013-11-13 2015-05-14 Samsung Display Co., Ltd. Three-dimensional image display device and method of displaying three dimensional image
WO2015181811A1 (en) * 2014-05-28 2015-12-03 Inuitive Ltd. A method for stereoscopic reconstruction of three dimensional images

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9177381B2 (en) * 2010-12-22 2015-11-03 Nani Holdings IP, LLC Depth estimate determination, systems and methods
KR101428866B1 (ko) * 2012-10-26 2014-08-12 한국과학기술원 스테레오 영상의 깊이감 조절 장치 및 방법
KR20150009128A (ko) * 2013-07-15 2015-01-26 삼성전자주식회사 영상 처리 장치, 영상 처리 시스템 및 영상 처리 방법
US9317925B2 (en) * 2013-07-22 2016-04-19 Stmicroelectronics S.R.L. Depth map generation method, related system and computer program product
JP6308748B2 (ja) * 2013-10-29 2018-04-11 キヤノン株式会社 画像処理装置、撮像装置及び画像処理方法
US9552633B2 (en) * 2014-03-07 2017-01-24 Qualcomm Incorporated Depth aware enhancement for stereo video
KR20160063805A (ko) * 2014-11-27 2016-06-07 한국전자통신연구원 다시점 영상 생성 장치 및 방법
EP3088954A1 (en) * 2015-04-27 2016-11-02 Thomson Licensing Method and device for processing a lightfield content
KR20170053270A (ko) * 2015-11-06 2017-05-16 삼성전자주식회사 무안경 3d 디스플레이 장치 및 그 제어 방법
US10198590B2 (en) * 2015-11-11 2019-02-05 Adobe Inc. Content sharing collections and navigation
US10389804B2 (en) 2015-11-11 2019-08-20 Adobe Inc. Integration of content creation and sharing
US10249061B2 (en) 2015-11-11 2019-04-02 Adobe Inc. Integration of content creation and sharing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050078328A (ko) * 2004-01-29 2005-08-05 삼성에스디아이 주식회사 입체감을 조절할 수 있는 입체영상 표시장치 및 그 방법
KR20090102705A (ko) * 2008-03-26 2009-09-30 후지필름 가부시키가이샤 입체 동화상 처리 장치 및 방법 그리고 프로그램
KR20110062983A (ko) * 2009-12-04 2011-06-10 삼성전자주식회사 3d 영상의 입체감 조절 요소를 설정하는 gui를 표시하는 디스플레이 장치 및 이에 적용되는 gui 제공 방법
KR20110114257A (ko) * 2010-04-13 2011-10-19 삼성전자주식회사 3d 디스플레이 장치 및 그의 디스플레이 모드 설정 방법, 그리고 3d 영상 제공 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4915737B2 (ja) * 2007-03-13 2012-04-11 興和株式会社 画像解析システム、及び画像解析プログラム
JP5397190B2 (ja) * 2009-11-27 2014-01-22 ソニー株式会社 画像処理装置、画像処理方法、およびプログラム
US9350982B2 (en) * 2010-07-22 2016-05-24 Seiko Epson Corporation Image display device, image supply device, and image processing method with brightness expanding processing for improved contrast sensitivity in a 3D image
US20130127988A1 (en) * 2011-11-17 2013-05-23 Sen Wang Modifying the viewpoint of a digital image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050078328A (ko) * 2004-01-29 2005-08-05 삼성에스디아이 주식회사 입체감을 조절할 수 있는 입체영상 표시장치 및 그 방법
KR20090102705A (ko) * 2008-03-26 2009-09-30 후지필름 가부시키가이샤 입체 동화상 처리 장치 및 방법 그리고 프로그램
KR20110062983A (ko) * 2009-12-04 2011-06-10 삼성전자주식회사 3d 영상의 입체감 조절 요소를 설정하는 gui를 표시하는 디스플레이 장치 및 이에 적용되는 gui 제공 방법
KR20110114257A (ko) * 2010-04-13 2011-10-19 삼성전자주식회사 3d 디스플레이 장치 및 그의 디스플레이 모드 설정 방법, 그리고 3d 영상 제공 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150130910A1 (en) * 2013-11-13 2015-05-14 Samsung Display Co., Ltd. Three-dimensional image display device and method of displaying three dimensional image
US9756321B2 (en) * 2013-11-13 2017-09-05 Samsung Display Co., Ltd. Three-dimensional image display device and method of displaying three dimensional image
WO2015181811A1 (en) * 2014-05-28 2015-12-03 Inuitive Ltd. A method for stereoscopic reconstruction of three dimensional images

Also Published As

Publication number Publication date
US20140333739A1 (en) 2014-11-13

Similar Documents

Publication Publication Date Title
JP4072674B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
CN1132123C (zh) 计算深度信息的方法和使用深度信息进行图象处理的方法
KR100820129B1 (ko) 입체 영상 재생 장치 및 입체 영상 재생 방법
US8890934B2 (en) Stereoscopic image aligning apparatus, stereoscopic image aligning method, and program of the same
US20080247670A1 (en) Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
EP0961506B1 (en) Autostereoscopic display
US9036006B2 (en) Method and system for processing an input three dimensional video signal
US8026950B2 (en) Method of and apparatus for selecting a stereoscopic pair of images
US6765568B2 (en) Electronic stereoscopic media delivery system
JP5149435B1 (ja) 映像処理装置および映像処理方法
DE69632755T2 (de) Vorrichtung zur Erzeugung von rechnererzeugten stereoskopischen Bildern
Tam et al. Smoothing depth maps for improved steroscopic image quality
JP2848291B2 (ja) 立体tv装置
EP2299726B1 (en) Video communication method, apparatus and system
JP2012227924A (ja) 画像解析装置、画像解析方法及びプログラム
TWI444036B (zh) 2d至3d使用者介面內容資料轉換
EP1413148B1 (en) Stereoscopic image processing apparatus and method
US8963913B2 (en) Stereoscopic image display and method of adjusting stereoscopic image thereof
US9007442B2 (en) Stereo image display system, stereo imaging apparatus and stereo display apparatus
US20060120712A1 (en) Method and apparatus for processing image
KR101185870B1 (ko) 3d 입체 영상 처리 장치 및 방법
US20080085049A1 (en) Methods and systems for 2d/3d image conversion and optimization
US8860784B2 (en) Image processing apparatus, image processing method, and program
KR20120128607A (ko) 방송 수신기 및 3d 이미지 디스플레이 방법
KR101240789B1 (ko) 비디오 변환시스템에 있어서의 뎁스맵 생성

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12853874

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase in:

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14362244

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 12853874

Country of ref document: EP

Kind code of ref document: A1