KR20120119173A - 3ｄ 영상처리장치 및 그 입체감 조정방법 - Google Patents

3ｄ 영상처리장치 및 그 입체감 조정방법 Download PDF

Info

Publication number
KR20120119173A
KR20120119173A KR1020110036973A KR20110036973A KR20120119173A KR 20120119173 A KR20120119173 A KR 20120119173A KR 1020110036973 A KR1020110036973 A KR 1020110036973A KR 20110036973 A KR20110036973 A KR 20110036973A KR 20120119173 A KR20120119173 A KR 20120119173A
Authority
KR
South Korea
Prior art keywords
information
metadata
video signal
adjustment value
auxiliary data
Prior art date
Application number
KR1020110036973A
Other languages
English (en)
Inventor
김창원
임대일
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110036973A priority Critical patent/KR20120119173A/ko
Priority to EP11181614.6A priority patent/EP2515544B1/en
Priority to US13/243,262 priority patent/US20120268557A1/en
Publication of KR20120119173A publication Critical patent/KR20120119173A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity

Abstract

본 발명은 3D 영상처리장치 및 그 입체감 조정방법에 관한 것이다. 본 발명에 따른 3D 영상처리장치는 입력 영상 신호에 대한 메타데이터를 해석하여 상기 메타데이터로부터 상기 입력 영상 신호의 입체감 정보를 조정하는데 이용될 수 있는 적어도 하나의 보조 데이터를 추출하는 메타데이터 해석부와; 상기 추출된 적어도 하나의 보조 데이터에 기초하여 상기 입체감 정보를 조정할 수 있는 입체감 조정값을 계산하는 메타데이터 처리부와; 상기 계산된 입체감 조정값을 이용하여 상기 입체감 정보를 갱신하고, 상기 입력 영상신호가 상기 갱신된 입체감 정보에 따른 입체감을 갖도록 조정하는 입체감 조정부를 포함한다.
이에 의해, 입력영상신호에 대한 다양한 종류의 메타데이터의 속성에 따라 입력영상신호의 깊이맵을 조정함으로써 사용자가 인지하는 입체감을 섬세하게 조정하여 입력영상신호의 입체감을 극대화시킬 수 있다.

Description

3Ｄ 영상처리장치 및 그 입체감 조정방법{3D IMAGE PROCESSING APPARATUS AND METHOD FOR ADJUSTING THREE-DIMENSIONAL EFFECT THEREOF}
본 발명은 3D 영상처리장치 및 그 입체감 조정방법에 관한 것으로서, 보다 상세하게는 메타데이터를 이용하여 입력영상신호의 입체감을 조정하는 3D 영상처리장치 및 그 입체감 조정방법에 대한 것이다.
종래 영상처리장치는 2차원 영상신호의 화질을 개선하기 위하여 영상신호에 대한 메타데이터를 이용하거나 또는 2차원 영상신호로부터 3차원 영상신호를 생성에 필요한 깊이맵의 생성에 영상신호에 대한 메타데이터를 이용하고 있다. 그러나, 종래 영상처리장치는 영상신호의 메타데이터를 이용하여 입력영상신호에 대한 깊이맵을 조정하여 사용자가 인지하는 입체감을 조정하지는 못하였다.
따라서, 본 발명의 목적은 영상신호에 대한 다양한 종류의 메타데이터를 이용하는데, 상기 다양한 종류의 메타데이터의 속성에 따라 입력영상신호에 대한 깊이맵을 조정함으로써 사용자가 인지하는 입체감을 섬세하게 조정할 수 있는 3D 영상처리장치 및 그 입체감 조정 방법을 제공하는 것이다.
상기 목적은, 본 발명에 따라, 3D 영상처리장치에 있어서, 입력영상신호에 대한 메타데이터를 해석하여 상기 메타데이터로부터 상기 입력영상신호의 입체감 정보를 조정하는데 이용될 수 있는 적어도 하나의 보조 데이터를 추출하는 메타데이터 해석부와; 상기 추출된 적어도 하나의 보조 데이터에 기초하여 상기 입체감 정보에 대한 적어도 하나의 입체감 조정값을 계산하는 메타데이터 처리부와; 상기 계산된 입체감 조정값을 이용하여 상기 입체감 정보를 갱신하고, 상기 3차원 영상신호가 상기 갱신된 입체감 정보에 따른 입체감을 갖도록 조정하는 입체감 조정부를 포함하는 것을 특징으로 하는 3D 영상처리장치에 의하여 달성될 수 있다.
상기 메타데이터 처리부는, 상기 적어도 하나의 보조 데이터의 속성에 따라 입체감 조정값을 계산할 수 있다.
상기 메타데이터 처리부는, 상기 메타데이터 해석부에 의해 복수의 보조 데이터가 추출되면, 상기 복수의 보조 데이터에 대응하는 복수의 입체감 조정값을 계산하고, 상기 계산된 복수의 입체감 조정값을 가중치로 적용하여 합산된 최종 입체감 조정값을 계산하여 상기 입체감 조정부로 전달할 수 있다.
상기 깊이 조정용 데이터는, 상기 입력영상신호에 대응하는 컨텐츠 정보, 상기 입력영상신호에 대한 스테레오 카메라 정보 및 상기 입력영상신호에 대한 영상 관련 정보 중 적어도 어느 하나를 포함할 수 있다.
상기 컨텐츠 정보는, 컨텐츠 장르 정보, 컨텐츠의 스토리 라인 정보 및 컨텐츠의 시청 연령 정보 중 적어도 어느 하나를 포함할 수 있다.
상기 스테레오 카메라 정보는, 스테레오 카메라의 렌즈 위치 정보, 스테레오 카메라의 초점 정보, 스테레오 카메라의 조명 정보 및 스테레오 카메라의 노출 정보 중 적어도 어느 하나를 포함할 수 있다.
상기 영상 관련 정보는, 상기 입력영상신호의 씬 변경 정보, 상기 입력영상신호의 키 프레임 정보 및 상기 입력영상신호의 영상 속성 정보, 상기 입력영상신호의 최소 및 최대 깊이값 정보 중 적어도 어느 하나를 포함할 수 있다.
상기 메타데이터 처리부는, 상기 보조 데이터가 상기 스테레오 카메라 정보이면, 상기 스테레오 카메라 정보를 이용하여 상기 입력영상신호의 깊이맵을 생성할 수 있다.
상기 메타데이터 처리부는, 상기 보조 데이터가 상기 키프레임 정보이면, 상기 키프레임의 입체감 조정값을 계산하고, 상기 계산된 키프레임의 입체감 조정값을 이용하여 비-키프레임의 입체감 조정값을 추정할 수 있다.
상기 입체감 정보는 상기 입력영상신호의 깊이맵을 포함하고, 상기 보조 데이터는 상기 깊이맵의 조정에 이용할 수 있는 깊이 조정용 데이터를 포함하고, 상기 입체감 조정값은 상기 깊이맵을 조정할 수 있는 깊이 조정값을 포함할 수 있다.
또한, 상기 목적은, 본 발명에 따라 3D 영상처리장치의 입체감 조정방법에 있어서, 입력영상신호에 대한 메타데이터를 해석하여 상기 메타데이터로부터 상기 입력영상의 입체감 정보를 조정하는데 이용될 수 있는 적어도 하나의 보조 데이터를 추출하는 단계와; 상기 추출된 적어도 하나의 보조 데이터에 기초하여 상기 입체감 정보에 대한 적어도 하나의 입체감 조정값을 계산하는 단계와; 상기 계산된 입체감 조정값을 이용하여 상기 입체감 정보를 갱신하고, 상기 입력영상신호가 상기 갱신된 입체감 정보에 따른 입체감을 갖도록 조정하는 단계를 포함하는 것을 특징으로 하는 3D 영상처리장치의 입체감 조정방법에 의하여 달성될 수 있다.
상기 입체감 조정값 계산 단계는, 상기 적어도 하나의 보조 데이터의 속성에 따라 입체감 조정값을 계산하는 단계이다.
상기 입체감 조정값 계산 단계는, 상기 보조 데이터의 추출단계에서 복수의 보조 데이터가 추출되면, 상기 복수의 보조 데이터에 대응하는 복수의 입체감 조정값을 계산하고, 상기 계산된 복수의 입체감 조정값을 가중치로 적용하여 합산된 최종 입체감 조정값을 계산하는 단계를 포함한다.
상기 보조 데이터는, 상기 입력영상신호에 대응하는 컨텐츠 정보, 상기 입력영상신호에 대한 스테레오 카메라 정보 및 상기 입력영상신호에 대한 영상 관련 정보 중 적어도 어느 하나를 포함할 수 있다.
상기 컨텐츠 정보는, 컨텐츠 장르 정보, 컨텐츠의 스토리 라인 정보 및 컨텐츠의 시청 연령 정보 중 적어도 어느 하나를 포함할 수 있다.
상기 스테레오 카메라 정보는, 스테레오 카메라의 렌즈 위치 정보, 스테레오 카메라의 초점 정보, 스테레오 카메라의 조명 정보 및 스테레오 카메라의 노출 정보 중 적어도 어느 하나를 포함할 수 있다.
상기 영상 관련 정보는, 상기 입력영상신호의 씬 변경 정보, 상기 입력 영상신호의 키 프레임 정보 및 상기 입력영상신호의 영상 속성 정보, 상기 입력 영상신호의 최소 및 최대 깊이값 정보 중 적어도 어느 하나를 포함할 수 있다.
상기 보조 데이터가 상기 스테레오 카메라 정보이면, 상기 스테레오 카메라 정보를 이용하여 상기 입력영상신호의 깊이맵을 생성하는 단계를 더 포함할 수 있다.
상기 입체감 조정값 계산 단계는, 상기 보조 데이터가 상기 키프레임 정보이면, 상기 키프레임의 입체감 조정값을 계산하고, 상기 계산된 키프레임의 입체감 조정값을 이용하여 비-키프레임의 입체감 조정값을 추정하는 단계를 포함할 수 있다.
상기 입체감 정보는 상기 입력영상신호의 깊이맵을 포함하고, 상기 보조 데이터는 상기 깊이맵의 조정에 이용할 수 있는 깊이 조정용 데이터를 포함하고, 상기 입체감 조정값은 상기 깊이맵을 조정할 수 있는 깊이 조정값을 포함할 수 있다.
이상 설명한 바와 같이, 본 발명에 따르면, 영상신호에 대한 다양한 종류의 메타데이터의 속성에 따라 입력영상신호의 깊이맵을 조정함으로써 사용자가 인지하는 입체감을 섬세하게 조정함으로써 입력 영상신호의 입체감을 극대화시킬 수 있는 3D 영상처리장치 및 그 입체감 조정방법이 제공된다.
도 1은 본 발명의 일 실시예에 따른 3D 영상처리장치의 제어 블록도이고,
도 2는 도 1의 3D 영상처리장치에 포함된 메타데이터 처리부의 제어 블록도이고,
도 3은 도 2의 메타데이터 처리부의 처리 동작의 일 실시예를 도시한 도면이고,
도 4는 도 2의 메타데이터 처리부의 처리 동작의 다른 일 실시예를 도시한 도면이고,
도 5는 도 2의 메타데이터 처리부의 처리 동작의 또 다른 일 실시예를 도시한 도면이고,
도 6는 도 1의 3D 영상처리장치의 제어 동작을 보여주는 플로우차트이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예들에 한정되지 않는다. 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙이도록 한다.
도 1은 본 발명의 일 실시예에 따른 3D 영상처리장치의 제어 블록도이다.
본 실시예에 따른 3D 영상처리장치(100)는 입력영상신호에 대한 입체감 정보를 입력영상신호에 대한 메타데이터를 이용하여 상기 입체감 정보를 조정하여, 사용자가 인지하는 입체감을 섬세하게 조정하여 입력영상신호의 입체감을 극대화시킬 수 있다. 상기 입체감 정보는 상기 입력영상신호에 대한 깊이맵 정보를 포함하는 것으로서, 본 실시예에 따른 3D 영상처리장치(100)는 입력영상신호에 대한 메타데이터를 이용하여 상기 깊이맵 정보를 조정하여 입력영상신호의 입체감을 더욱 섬세하게 조정할 수 있다.
본 실시예에 따른 3D 영상처리장치(100)는 3차원 영상신호를 처리하여 출력할 수 있는 전자장치를 포함한다. 3D 영상처리장치(100)는 3차원 영상신호를 처리하여 디스플레이부(140)에 표시하는 디스플레이장치로 구현될 수 있다. 또한, 3D 영상처리장치(100)는 디스플레이부(140)를 포함하지 않는 셋탑 박스, BD 및/또는 DVD 플레어, 게임 콘솔 등으로 구현될 수 있다.
3D 영상처리장치(100)는 외부로부터 2차원 영상신호를 수신하여 3차원 영상신호를 생성, 처리 및 출력할 수 있는 전자장치를 포함하고, 이 경우에는 메타데이터를 이용하여 깊이맵을 생성하여 3차원 영상신호를 생성할 수 있다.
3D 영상처리장치(100)는 외부로부터 3차원 영상신호를 수신하여 처리 및 출력할 수 있는 전자장치를 포함하고, 이 경우 상기 영상신호에 깊이맵 정보가 메타데이터의 형태로 포함되어 있으면, 상기 깊이맵 정보를 추출하고 이용하여 3차원 영상신호를 처리할 수 있다. 만약 깊이맵 정보가 메타데이터의 형태로 3차원 영상신호에 포함되어 있지 않으면, 3D 영상처리장치(100)는 상기 수신한 3차원 영상신호로부터 일반적으로 알려진 추정 이론을 이용하여 깊이맵을 추정하고, 이에 기초하여 3차원 영상신호를 처리할 수 있다.
입력영상신호에 대한 메타데이터는 영상신호에 포함되어 3D 영상처리장치(100)에 수신될 수도 있고, 또는 영상신호와는 별도의 외부장치(미도시)로부터 메타데이터가 3D 영상처리장치(100)로 수신될 수도 있다. 전자의 경우, 3D 영상처리장치(100)는 메타데이터 추출부(131)를 더 포함하고, 메타데이터 추출부(131)는 수신된 영상신호로부터 메타데이터를 추출하여 메타데이터 해석부(133)로 전달한다. 후자의 경우, 3D 영상처리장치(100)는 외부장치(미도시)로부터 영상신호에 대한 메타데이터를 수신하는 메타데이터 수신부(120)를 더 포함할 수 있다. 이 때, 외부장치(미도시)는 3D 영상처리장치(100)와 통신을 수행하여, 3D 영상처리장치(100)로부터 영상신호에 대한 메타데이터의 요청을 받으면, 상기 메타데이터를 3D 영상처리장치(100)로 전송할 수 있다. 이러한 외부장치(미도시)는 서버, 웹서버 등의 형태로 구현될 수 있다.
도 1에 도시된 바와 같이, 3D 영상처리장치(100)는 영상신호수신부(110), 메타데이터 수신부(120), 영상신호처리부(130) 및 디스플레이부(140)를 포함한다.
영상신호수신부(110)는 도시되지 않은 외부의 영상공급원으로부터 2차원 영상신호 또는 3차원 영상신호를 수신할 수 있다. 방송국으로부터 송출되는 RF(Radio Frequency) 신호를 무선으로 수신하거나, 컴포지트(composite) 비디오, 컴포넌트(component) 비디오, 슈퍼 비디오(super video), SCRAT, HDMI 규격 등에 의한 영상신호를 유선으로 수신할 수 있다. 또는, 영상신호수신부(110)는 웹 서버(미도시)에 접속하여 웹 컨텐츠의 데이터 패킷(data packet)을 수신할 수 있다. 경우에 따라서, 영상신호수신부(110)는 메타데이터를 포함하는 2차원 영상신호 또는 메타데이터를 포함하는 3차원 영상신호를 수신할 수 있다. 이럴 경우, 영상신호수신부(110)는 상기 수신한 메타데이터를 포함하는 2차원 또는 3차원 영상신호를 메타데이터 추출부(131)로 전달할 수 있다.
메타데이터 수신부(120)는 도시되지 않은 외부장치로부터 2차원 영상신호 또는 3차원 영상신호에 대한 메타데이터를 수신할 수 있다. 상기 영상신호수신부(110)로부터 메타데이터를 포함하지 않는 2차원 또는 3차원 영상신호를 수신하는 경우, 메타데이터 수신부(120)는 외부장치와의 통신을 수행하여, 상기 수신된 영상신호에 대응하는 메타데이터를 요청하여 수신할 수 있다. 메타데이터 수신부(120)는 수신한 메타데이터를 메타데이터 해석부(133)로 전달할 수 있다.
영상신호처리부(130)는 영상신호수신부(110)로 수신된 영상신호 및 메타데이터 수신부(120)로 수신된 메타데이터를 처리할 수 있다. 영상신호처리부(130)는 수신된 영상신호가 디스플레이부(140)에서 표시될 수 있도록 일반적인 영상신호처리 프로세스를 수행할 수 있다. 예를 들어, 다양한 영상포맷에 대응하는 디코딩 및 인코딩, 디인터레이싱, 프레임 리프레시 레이트 변환, 스케일링, 영상 화질 개선을 위한 노이즈 감소 처리, 디테일 인핸스먼트, 라인 스캐닝 등을 수행할 수 있다. 영상신호처리부(130)가 3차원 영상신호를 처리하는 경우, 좌안 영상 및 우안 영상 각각에 대응하는 영상신호를 교대로 디스플레이부(140)에 주사하도록 처리할 수 있다.
영상신호처리부(130)는 메타데이터 추출부(131), 메타데이터 해석부(133), 메타데이터 처리부(135) 및 입체감 조정부(137)를 포함할 수 있다.
메타데이터 추출부(131)는 영상신호수신부(110)로부터 메타데이터를 포함하는 영상신호를 수신하면, 상기 수신된 영상신호로부터 메타데이터를 추출하여 이를 메타데이터 해석부(133)로 전달할 수 있다. 메타데이터 수신부(120)가 영상신호의 전송과는 별도로 메타데이터를 수신하는 경우에는 메타데이터 추출부(131)는 필수적 구성요소는 아니다.
메타데이터 해석부(133)는 메타데이터 추출부(131) 또는 메타데이터 수신부(120)를 통해 영상신호수신부(110)로 수신된 영상신호에 대한 메타데이터를 수신할 수 있다. 메타데이터 해석부(133)는 수신한 메타데이터를 해석하여 영상신호수신부(110)로 수신된 입력영상신호의 입체감 정보를 조정하는데 이용할 수 있는 적어도 하나의 보조 데이터를 추출할 수 있다. 메타데이터 해석부(133)는 보조 데이터를 복수 개 추출할 수 있다. 상기 보조 데이터는 영상신호수신부(110)로 수신된 영상신호에 대응하는 컨텐츠 정보; 영상신호수신부(110)로 수신된 영상신호가 3차원 영상신호인 경우, 상기 3차원 영상신호에 대한 스테레오 카메라 정보; 및 영상신호수신부(110)로 수신된 영상신호에 대한 영상 관련 정보 중 적어도 어느 하나를 포함할 수 있다. 상기 컨텐츠 정보는 컨텐츠 장르 정보, 컨텐츠의 스토리 라인 정보 및 컨텐츠의 시청 연령 정보 중 적어도 어느 하나를 포함할 수 있다. 상기 스테레오 카메라 정보는 스테레오 카메라의 렌즈 위치 정보, 스테레오 카메라의 초점 정보, 스테레오 카메라의 조명 정보 및 스테레오 카메라의 노출 정보 중 적어도 어느 하나를 포함할 수 있다. 상기 영상 관련 정보는, 상기 입력영상신호의 씬 변경 정보, 상기 입력영상신호의 키 프레임 정보 및 상기 입력영상신호의 영상 속성 정보, 상기 입력영상신호의 최소 및 최대 깊이값 정보 중 적어도 어느 하나를 포함할 수 있다.
여기에서, 상기 입력영상신호의 입체감 정보는 상기 입력영상신호에 대한 깊이맵 정보를 포함할 수 있고, 상기 보조 데이터는 상기 깊이맵 정보의 조정에 이용할 수 있는 깊이 조정용 데이터를 포함할 수 있다.
메타데이터 처리부(135)는 메타데이터 해석부(133)로부터 추출된 적어도 하나의 보조 데이터를 수신하고, 상기 적어도 하나의 보조 데이터에 기초하여 영상신호수신부(110)로 수신된 영상신호의 입체감 정보에 대한 적어도 하나의 입체감 조정값을 계산하고 이를 입체감 조정부(137)로 전달할 수 있다. 메타데이터 처리부(135)에 대하여는 하기에서 도 2 내지 도 4를 참조하여 상세히 설명한다.
입체감 조정부(137)는 메타데이터 처리부(135)로부터 수신한 입체감 조정값을 이용하여 영상신호수신부(110)로 수신된 영상신호의 입체감 정보를 갱신하고, 상기 수신된 영상신호가 상기 갱신된 입체감 정보에 따른 입체감을 갖도록 조정할 수 있다.
디스플레이부(140)는 영상신호처리부(130)로부터 출력되는 영상신호에 기초한 영상을 표시한다. 영상신호처리부(130)에 의하여 일반적인 영상처리가 되고, 또한 입체감 조정부(137)에 의하여 조정된 입체감을 갖는 3차원 영상신호를 수신하여 이를 좌안 영상 및 우안 영상을 교대로 표시할 수 있다. 디스플레이부(140)의 구현 방식은 한정되지 않는 바, 액정(liquid crystal), 플라즈마(plasma), 발광 다이오드(light-emitting diode), 유기 발광 다이오드(organic light-emitting diode), 면전도 전자총(surface-conduction electron-emitter), 탄소 나노 튜브(carbon nano-tube), 나노 크리스탈(nano-crystal) 등의 다양한 디스플레이 방식으로 구현될 수 있다.
도 2 내지 도 4를 참조하여, 메타데이터 처리부(135)의 구성 및 동작을 상세히 설명한다. 도 2는 메타데이터 처리부(135)의 제어 블록도이다. 도 2를 참조하면, 메타데이터 처리부(135)는 입체감 정보 생성부(11), 입체감 조정값 계산부(13) 및 입체감 조정값 합산부(15)를 포함한다.
입체감 정보 생성부(11)는 영상신호수신부(110)로 수신된 영상신호에 대한 입체감 정보를 추정하거나 생성하는 기능을 수행하고, 상기 입체감 정보는 상기 영상신호에 대한 깊이맵을 포함한다.
A. 입체감 정보 생성부 (11)는, 영상신호수신부(110)로 입력된 영상신호가 2차원 영상신호이면, 상기 입력된 2차원 영상신호에 대응하는 3차원 영상신호를 생성하기 위하여, 일반적으로 알려진 깊이맵 추정 이론 또는 생성이론을 이용하여 깊이맵을 추정/생성할 수 있다.
B. 입체감 정보 생성부 (11)는 영상신호수신부(110)로 입력된 영상신호가 3차원 영상신호이고, 상기 3차원 영상신호에 깊이맵 정보가 포함되어 있지 않은 경우, 상기 수신된 3차원 영상신호를 분석하여 일반적으로 알려진 깊이맵 추정 이론을 이용하여 깊이맵을 추정할 수 있다.
C. 입체감 정보 생성부 (11)는 영상신호수신부(110)로 입력된 영상신호가 3차원 영상신호이고, 상기 3차원 영상신호에 깊이맵 정보가 포함되어 있지 않고, 다만 스테레오 카메라 정보가 메타데이터의 형태로 포함되어 있는 경우, 상기 스테레오 카메라 정보를 이용하여 깊이맵을 생성할 수 있다. 상기 스테레오 카메라 정보는 렌즈의 종류(이에 따른 렌즈의 시야각), 스테레오 카메라 사이의 거리, 슈팅 거리(Shooting distance), 초점 거리, 노출 정보, 조명 정보 등을 포함할 수 있다. 따라서, 입체감 정보 생성부(11)는 상기 스테레오 카메라 정보를 하기 수식 1을 이용하여 영상신호에 포함된 객체의 깊이값을 계산할 수 있다.
[수식 1]
Figure pat00001

상기 Ld는 스테레오스코픽 객첵의 위치, Lb는 슈팅 거리(Shooting distance), dc는 스테레오 카메라 사이의 거리, de는 양안 거리, α는 렌즈의 종류 또는 렌즈의 시야각, β는 사람의 시야각을 의미한다. 따라서, 상기 스테레오 카메라 정보로부터 상기 수식 1에 필요한 구성 요소의 수치를 분석하여 대입하면, 스테레오스코픽 객체의 위치가 결정되고, 여기에서 상기 스테레오스코픽 객체의 위치는 객체의 깊이값과 동일하다. 따라서, 스테레오 카메라 정보가 메타데이터의 형태로 주어지면 상기 수식 1을 이용하여 객체의 깊이값을 쉽게 계산할 수 있다.
따라서, 본 실시예의 입체감 정보 생성부(11)는, 영상신호수신부(110)를 통해 수신한 영상신호가 2차원 영상신호이든, 3차원 영상신호이든 또는 영상신호에 깊이맵이 포함되어 있지 않더라도, 영상신호수신부(110)를 통해 수신한 영상신호에 대한 소정의 깊이맵을 추정 또는 생성할 수 있다.
입체감 조정값 계산부(13)는 메타데이터 해석부(133)를 통해 수신된 보조 데이터를 분석 및 처리하여 입체감 정보 생성부(11)에 의해 추정/생성된 입체감 정보를 조정하기 위한 입체감 조정값을 계산한다.
여기에서, 상기 입체감 정보는, 상기 기재한 바와 같이 입력영상신호에 대해 추정/생성된 깊이맵을 포함하는 것이고, 상기 보조 데이터는 상기 깊이맵의 조정에 이용할 수 있는 깊이 조정용 데이터를 포함하는 것이고, 상기 입체감 조정값은 상기 깊이맵의 깊이값을 조정할 수 있는 깊이 조정값을 포함하는 것이다. 따라서, 입체감 조정값 계산부(13)는 메타데이터 해석부(133)을 통해 수신된 깊이 조정용 데이터를 분석 및 처리하여 입체감 정보 생성부(11)에 의해 생성/추정된 깊이맵을 조정하기 위한 깊이 조정값을 계산할 수 있다.
입체감 조정값 계산부(13)는 메타데이터 해석부(133)로부터 수신한 깊이 조정용 데이터의 속성에 따라 깊이 조정값을 상이하게 계산한다. 입체감 조정값 계산부(13)의 깊이 조정용 데이트의 속성에 따라 서로 상이하게 깊이 조정값을 계산하는 예를 설명한다.
D. 메타데이터 해석부(133)로부터 수신한 깊이 조정용 데이터가 컨텐츠 장르 정보인 경우, 입체감 조정값 계산부(13)는 컨텐츠 장르에 따라 서로 상이한 깊이 조정값을 계산한다. 예를 들어, 컨텐츠 장르가 멜로 드라마인 경우에는 깊이값이 크면 오히려 사용자의 컨텐츠 몰입도가 줄어들 수 있으므로, 입체감 정보 생성부(11)에서 추정/생성된 깊이맵에 따른 깊이값보다 소정 범위 낮은 깊이값을 갖도록 하는 깊이 조정값을 계산할 수 있다. 또는 컨텐츠 장르가 스포츠, 액션 영화 또는 전쟁 영화인 경우에는 깊이값이 작으면 상기 스포츠, 액션 영화 또는 전쟁 영화의 생동감을 느끼기에 부족할 수 있으므로, 입체감 정보 생성부(11)에서 추정/생성된 깊이맵에 따른 깊이값보다 소정 범위 높은 깊이값을 갖도록 하는 깊이 조정값을 계산할 수 있다.
E. 메타데이터 해석부(133)로부터 수신한 깊이 조정용 데이터가 스토리 라인 정보인 경우, 입체감 조정값 계산부(13)는 스토리 라인에 따라 영상신호의 입체감이 변화할 수 있는 깊이 조정값을 계산할 수 있다. 도 3을 참조하여 설명하면, 도 3의 (A)는 영상신호의 스토리 라인 또는 드라마 구조로서, 상기 스토리 라인 정보는 영상신호의 설명(Exposition), 전개(inciting action), 갈등 상승(rising action), 클라이맥스(climax), 갈등 해소(falling action), 대단원(denouement) 부분에 대한 정보를 포함한다. 입체감 조정값 계산부(13)는 영상신호의 전개 부분에서 시청자의 호기심 유발 또는 몰입도 증가를 위하여, 상기 전개 부분의 깊이값을 입체감 정보 생성부(11)에서 추정/생성된 깊이맵에 따른 깊이값보다 소정 범위 높은/큰 깊이값을 갖도록 하는 깊이 조정값을 계산할 수 있다. 또한, 영상신호의 클라이맥스 부분에서 사용자의 극적 긴장감을 극대화하기 위하여, 입체감 조정값 계산부는 클라이맥스 바로 직전 부분에서는 입체감 정보 생성부(11)에서 추정/생성된 깊이맵에 따른 깊이값보다 소정 범위 작은 깊이값을 갖도록 하는 깊이 조정값을 계산하고, 클라이맥스 부분에서는 입체감 정보 생성부(11)에서 추정/생성된 깊이맵에 따른 깊이값보다 소정 범위 높은 깊이값을 갖도록 하는 깊이 조정값을 계산할 수 있다. 이에 따라, 입체감 조정값 계산부(13)는 영상신호의 스토리 라인 또는 드라마 구조에 비례하는 깊이값을 갖도록 하는 깊이 조정값을 계산할 수 있다.
F. 메타데이터 해석부(133)로부터 수신한 깊이 조정용 데이터가 컨텐츠의 시청연령정보인 경우, 입체감 조정값 계산부(13)는 시청연령정보에 따라 영상신호의 입체감이 변화할 수 있는 깊이 조정값을 계산할 수 있다. 예를 들어, 입체감 조정값 계산부(13)는 시청연령등급이 낮을수록, 입체감 정보 생성부(11)에서 추정/생성된 깊이맵에 따른 깊이값보다 소정 범위 낮은 깊이값을 갖도록 하는 깊이 조정값을 계산하고, 시청연령등급이 높을수록 입체감 정보 생성부(11)에서 추정/생성된 깊이맵에 따른 깊이값보다 소정 범위 높은 깊이값을 갖도록 하는 깊이 조정값을 계산할 수 있다.
G. 메타데이터 해석부(133)로부터 수신한 깊이 조정용 데이터가 스테레오 카메라 정보인 경우, 입체감 조정값 계산부(13)는 입체감 정보 생성부(11)에서 분석된 스테레오 카메라 정보를 수신할 수 있다. 상기 스테레오 카메라 정보는 렌즈의 종류(이에 따른 렌즈의 시야각), 스테레오 카메라 사이의 거리, 슈팅 거리(Shooting distance), 초점 거리, 노출 정보, 조명 정보 등을 포함할 수 있다. 또는 입체감 조정값 계산부(13)는 입체감 정보 생성부(11)에서 수식 (1)을 이용하여 계산한 객체의 깊이값을 수신할 수 있다. 만약, 영상신호의 깊이맵이 일반적인 깊이맵 추정이론에 의하여 추정된 것인 경우, 입체감 조정값 계산부(13)는 상기 입체감 정보 생성부(11)에서 수식(1)을 이용하여 계산된 깊이값과 상기 추정된 깊이맵에서의 객체의 깊이값을 비교하고, 서로 상이한 경우에는 상기 추정된 깊이맵에서 상기 수식 (1)을 이용하여 계산 깊이값이 되도록 하는 깊이 조정값을 계산한다. 상기 수식(1)은 실제 스테레오 카메라 정보를 이용하여 도출된 깊이값이므로, 사용자는 디스플레이를 통하여 표시되는 영상으로부터 실제 환경에서의 입체감을 느낄 수 있게 된다.
H. 메타데이터 해석부(133)로부터 수신한 깊이 조정용 데이터가 스테레오 카메라 정보 중에서 노출 정보 또는 조명 정보인 경우, 입체감 조정값 계산부(13)는 영상신호의 밝기에 따라 영상신호의 입체감이 변화할 수 있는 깊이 조정값을 계산할 수 있다. 사람의 눈은 어두울 때 시력이 낮아지고 시야 또한 줄어든다. 어두운 밤이 되면 주위의 광원의 세기가 약해져서 눈으로 입사하는 광량을 늘려야 하는데 이러한 효과를 얻는 것이 눈의 동공을 확대하는 것이다. 광량을 확대하여 적은 광원으로도 물체를 식별하게 되는 대신에 시력은 낮아지고 시야 또한 줄어든다. 그러므로, 영상의 어두운 영역에서는 깊이값이 크더라도 사용자는 입체감을 제대로 느낄 수 없게 된다. 따라서, 입체감 조정값 계산부(13)는 영상신호의 밝기에 따라서 영상신호의 입체감이 변화할 수 있도록 하는 깊이 조정값을 계산할 수 있다. 도 4를 참조하여 설명한다. 입체감 조정값 계산부(13)는 스테레오 카메라 정보 중 노출 정보 및/또는 조명 정보와, 영상 속성 정보를 이용하여 영상의 어두운 영역의 분포를 확인할 수 있다.
도 4에 도시된 바와 같이, 영상의 어두운 영역이 전체 영역의 대부분을 차지하는 경우(A)에는, 사람의 두 눈은 어두운 화면에서 객체를 인식하기 위하여 눈의 동공을 확대할 것이고, 이로 인하여 시력이 낮아지고 시야가 줄어들게 된다. 이럴 경우, 상기 어두운 영역에 있어서 입체감 정보 생성부(11)에서 추정/생성된 깊이맵에 따르면 큰 깊이값을 가지게 되더라도, 사용자는 입체감을 크게 인지할 수 없게 된다. 따라서, 입체감 조정값 계산부(13)는 전체 영역의 대부분이 어두운 영역이면, 입체감 정보 생성부(11)에서 추정/생성된 깊이맵에 따른 깊이값보다 소정 범위 큰 깊이값(d1)을 갖도록 하는 깊이 조정값을 계산할 수 있다(도 4의 (B) 참조).
영상의 어두운 영역이 화면의 중앙역을 차지하는 경우(C)에는, 입체감 조정값 계산부(13)는 상기 어두운 영역에 있어서 입체감 정보 생성부(11)에서 추정/생성된 깊이맵에 따른 깊이값보다 소정 범위 크지만, 상기 (B)의 깊이값(d1)보다는 소정 범위 작은 깊이값(d2)을 갖도록 하는 깊이 조정값을 계산할 수 있다(도 4의 (D) 참조). 따라서, (D) 경우의 깊이값 d2는 (B) 경우의 깊이값 d1보다 작게 되도록 할 수 있다.
영상의 어두운 영역이 화면의 가장자리 영역을 차지하는 경우(E)에는, 입체감 조정값 계산부(13)는 상기 어두운 영역에 있어서 입체감 정보 생성부(11)에서 추정/생성된 깊이맵에 따른 깊이값보다 소정 범위 크지만, 상기 (D) 의 깊이값(d2)보다는 소정 범위 작은 깊이값(d3)을 갖도록 하는 깊이 조정값을 계산할 수 있다(도 4의 (F) 참조). 따라서, (F) 경우의 깊이값 d3는 (F) 경우의 깊이값 d2보다 작게 되도록 할 수 있다.
I. 메타데이터 해석부(133)로부터 수신한 깊이 조정용 데이터가 영상신호의 영상 속성 정보인 경우, 입체감 조정값 계산부(13)는 영상 속성에 영상신호의 입체감이 변화할 수 있는 깊이 조정값을 계산할 수 있다. 상기 영상 속성 정보는 영상신호의 밝기 정보, 콘트라스트, 색온도 등을 포함할 수 있다. 영상속성정보 중 색온도를 예를 들어 설명하면 다음과 같다. 사람의 인지 특성에 의하여 색온도가 낮은 영역(붉은 색 계열)은 객체가 실제보다 튀어 나와 보이게 되고, 색온도가 높은 영역(푸른색 계열)은 객체가 실제보다 더 들어가 보이게 된다. 따라서, 입체감 조정값 계산부(13)는 상기 영상 속성 정보를 이용하여 색온도 분포를 분석하여, 색온도가 낮은 영역에서는 입체감 정보 생성부(11)에서 추정/생성된 깊이맵에 따른 깊이값보다 소정 범위 더 작은 깊이값을 갖도록 하는 깊이 조정값을 계산할 수 있다. 또는 색온도가 높은 영역에서는 입체감 정보 생성부(11)에서 추정/생성된 깊이맵에 따른 깊이값보다 소정 범위 더 큰 깊이값을 갖도록 하는 깊이 조정값을 계산할 수 있다.
메타데이터 해석부(133)로부터 수신한 보조 데이터는 단수 또는 복수 개 일수 있다. 이 때 상기 보조 데이터는 입력영상신호의 깊이맵 조정에 이용할 수 있는 깊이 조정용 데이터를 포함할 수 있다. 따라서, 깊이 조정용 데이터는 단수 또는 복수 개일 수 있다. 메타데이터 해석부(133)로부터 복수 개의 깊이 조정용 데이터를 수신하면, 입체감 조정값 계산부(13)는 상기 복수 개의 깊이 조정용 데이터를 상기 기재한 경우와 같이 분석 및 처리하여 복수 개의 깊이 조정값을 계산할 수 있고, 이를 입체감 조정값 합산부(15)로 전달할 수 있다.
입체감 조정값 합산부(15)는 입체감 조정값 계산부(13)로부터 깊이 조정값을 수신할 수 있다. 수신한 깊이 조정값이 한 개이면, 이를 그대로 입체감 조정부(137)로 전달한다. 만약 수신한 깊이 조정값이 복수 개이면, 입체감 조정값 합산부(15)는 상기 복수 개의 깊이 조정값을 가중치로 적용하여 합산된 최종 깊이 조정값을 계산하고, 이를 입체감 조정부(137)로 전달할 수 있다.
다시 도 2를 참조하면, 입체감 조정값 계산부(13)는 복수 개의 깊이 조정용 데이터(N개)로부터 복수 개의 깊이 조정값(W1, W2, W3, W4, W5, W6, W7,…, WN)을 계산하고 이를 입체감 조정값 합산부(15)로 전달할 수 있다. 복수 개의 깊이 조정값을 수신한 입체감 조정값 합산부(15)는 하기 수식 2를 이용하여 최종 깊이 조정값(3D effect)를 도출할 수 있다. 이는 결국, 복수 개의 깊이 조정값을 가중치로 합산하는 것이다.
[수식 2]
Figure pat00002
입체감 조정값 합산부(15)가 상기 수식 2를 이용하여 최종 깊이 조정값을 계산하여 입체감 조정부(137)로 전달하면, 입체감 조정부(137)는 상기 최종 깊이 조정값을 이용하여 입체감 정보 생성부(11)에서 추정/생성된 깊이맵을 갱신하고, 상기 갱신된 깊이맵을 이용하여 3차원 영상신호의 입체감을 조정할 수 있다. 상기 입체감이 조정된 영상신호는 디스플레이부(140)로 전달될 수 있다.
도 5는 도 2의 메타데이터 처리부의 또 다른 실시예에 따른 처리 동작 개략도로서, 메타데이터로서 키프레임 정보를 수신할 경우의 처리 동작을 보여준다.
도 5에 도시된 바와 같이, 입력영상신호에 대한 메타데이터에 영상신호의 키프레임 정보가 포함되어 있는 경우, 메타데이터 처리부(135)는 메타데이터 해석부(133)로부터 키프레임 정보를 수신한다.
이하 메타데이터 처리부(135)의 키프레임에 대한 동작을 기재한다. 메타데이터 처리부(135)의 입체감 정보 생성부(11)는 키프레임에 대한 적어도 하나의 보조 데이터를 메타데이터 해석부(133)로부터 더 수신할 수 있다. 이에 따라, 키프레임에 대한 적어도 하나의 보조데이터에 기초하여 스트레오 카메라 정보 분석을 통한 깊이맵 생성 또는 일반적인 깊이맵 추정이론에 따른 깊이맵 추정을 수행한다. 이 때 입체감 정보 생성부(11)의 동작은 상기 기재한 A 내지 C 실시예에서 기재한 것과 동일 또는 유사한 방법으로 수행된다. 메타데이터 처리부(135)의 입체감 조정값 계산부(13)는 메타데이터 해석부(133)로부터 키프레임에 대한 적어도 하나의 보조데이터를 더 수신할 수 있다. 따라서, 키프레임에 대하여 수신한 적어도 하나의 보조데이터를 이용하여 상기 기재한 D 내지 I 실시예에서 기재한 것과 동일 또는 유사한 방법으로 입체감 조정값을 계산할 수 있다. 계산된 입체감 조정값이 복수인 경우, 입체감 조정값 합산부(15)는 상기 복수의 입체감 조정값을 합산하여 키프레임에 대한 최종 입체감 조정값을 도출한다.
또한 메타데이터 처리부(135)의 입체감 조정값 계산부(13)는 키프레임 이외의 프레임(비-키프레임)은 상기 키프레임을 위한 최종 입체감 조정값을 이용하여 비-키프레임을 위한 입체감 조정값을 추정할 수 있다. 이때, 상기 키프레임과 비-키프레임 사이의 움직임 정보의 차이값, 깊이값 차이값, 영상 화소의 차이값 등을 이용하여 상기 키프레임의 입체감 조정값에 기초하여 상기 비-키프레임의 입체감 조정값을 추정할 수 있다. 이 경우에 있어서, 입체감 조정값 계산부(13)는 모든 프레임에 대한 입체감 조정값을 계산하지 않아도 되는 이점을 갖는다. 상기 상기 키프레임과 비-키프레임 사이의 움직임 정보의 차이값, 깊이값 차이값, 영상 화소의 차이값 등 역시 메타데이터에 포함되거나, 만약 포함되어 있지 않다면 이는 영상신호처리부(130)에서 추정할 수 있다.
만약, 입력영상신호에 대한 메타데이터에 상기 영상신호의 키프레임 정보가 포함되어 있지 않는 경우에는, 입체감 조정값 계산부(13)는 모든 프레임에 대하여 영상신호의 보조데이터를 이용하여 상기 기재한 D 내지 I 실시예에서 기재한 것과 동일 또는 유사한 방법으로 입체감 조정값을 계산할 수 있다.
도 6는 도 1의 3D 영상처리장치의 제어 동작을 보여주는 플로우차트이다.
도시된 바와 같이, 3D 영상처리장치(100)의 메타데이터 해석부(133)는 입력영상신호에 대한 메타데이터를 해석하여, 보조 데이터를 추출한다(S11). 상기 기재한 바와 같이, 메타데이터는 영상신호에 포함되어 있으면, 영상신호로부터 메타데이터를 추출하여 이용할 수 있고, 메타데이터는 영상신호와는 별도로 수신될 수도 있다. 상기 보조 데이터는 영상신호의 깊이맵을 조정하는데 이용할 수 있는 깊이 조정용 데이터를 포함하는 것으로서, 또는 복수 개를 포함할 수 있다. 보조 데이터는 입력영상신호에 대응하는 컨텐츠 정보, 상기 입력영상신호에 대한 스테레오 카메라 정보 및 상기 입력영상신호에 대한 영상 관련 정보 중 적어도 어느 하나를 포함할 수 있다.
메타데이터 처리부(135)는 상기 추출된 보조 데이터에 기초하여 입체감 정보에 대한 입체감 조정값을 계산할 수 있다(S12). 상기 입체감 정보는 입력영상신호에 대한 깊이맵을 포함하고, 상기 입체감 조정값은 상기 깊이맵을 조정하는 깊이 조정값을 포함한다. 한편, 깊이맵을 포함하지 않은 영상신호를 수신하는 경우, 메타데이터 처리부(135)의 입체감 정보 생성부(11)는 일반적인 깊이맵 추정이론을 통하여 입력영상신호에 대한 깊이맵을 추정하거나 메타데이터를 이용하여 깊이맵을 생성할 수 있다. 메타데이터 해석부(133)로부터 복수 개의 보조 데이터를 수신하면, 복수 개의 보조 데이터를 분석하여 각각에 대한 입체감 조정값을 계산해 내고, 상기 복수의 입체감 조정값을 가중치로 합산하여 최종 입체감 조정값을 계산한다.
메타데이터 처리부(135)의 입체감 조정부(15)는 상기 입체감 조정값을 수신하면, 상기 입체감 정보를 상기 수신한 입체감 조정값을 이용하여 갱신하고(S13), 상기 갱신된 입체감 정보를 이용하여 입력영상신호의 입체감을 조정할 수 있다(S14).
비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.
100: 3D 영상처리장치 110: 영상신호 수신부
120: 메타데이터 수신부 130: 영상신호처리부
140: 디스플레이부

Claims (20)

  1. 3D 영상처리장치에 있어서,
    입력 영상 신호에 대한 메타데이터를 해석하여 상기 메타데이터로부터 상기 입력 영상 신호의 입체감 정보를 조정하는데 이용될 수 있는 적어도 하나의 보조 데이터를 추출하는 메타데이터 해석부와;
    상기 추출된 적어도 하나의 보조 데이터에 기초하여 상기 입체감 정보를 조정할 수 있는 입체감 조정값을 계산하는 메타데이터 처리부와;
    상기 계산된 입체감 조정값을 이용하여 상기 입체감 정보를 갱신하고, 상기 입력 영상신호가 상기 갱신된 입체감 정보에 따른 입체감을 갖도록 조정하는 입체감 조정부를 포함하는 것을 특징으로 하는 3D 영상처리장치.
  2. 제1항에 있어서,
    상기 메타데이터 처리부는, 상기 적어도 하나의 보조 데이터의 속성에 따라 입체감 조정값을 계산하는 것을 특징으로 하는 3D 영상처리장치.
  3. 제1항에 있어서,
    상기 메타데이터 처리부는,
    상기 메타데이터 해석부에 의해 복수의 보조 데이터가 추출되면, 상기 복수의 보조 데이터에 대응하는 복수의 입체감 조정값을 계산하고, 상기 계산된 복수의 입체감 조정값을 가중치로 적용하여 합산된 최종 입체감 조정값을 계산하여 상기 입체감 조정부로 전달하는 것을 특징으로 하는 3D 영상처리장치.
  4. 제1항에 있어서,
    상기 보조 데이터는,
    상기 입력 영상신호에 대응하는 컨텐츠 정보, 상기 입력 영상신호에 대한 스테레오 카메라 정보 및 상기 입력 영상신호에 대한 영상 관련 정보 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 3D 영상처리장치.
  5. 제4항에 있어서,
    상기 컨텐츠 정보는,
    컨텐츠 장르 정보, 컨텐츠의 스토리 라인 정보 및 컨텐츠의 시청 연령 정보 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 3D 영상처리장치.
  6. 제4항에 있어서,
    상기 스테레오 카메라 정보는,
    스테레오 카메라 사이의 거리 정보, 스테레오 카메라의 렌즈 정보, 스테레오 카메라의 초점 정보, 스테레오 카메라의 조명 정보 및 스테레오 카메라의 노출 정보 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 3D 영상처리장치.
  7. 제4항에 있어서,
    상기 영상 관련 정보는,
    상기 입력영상신호의 씬 변경 정보, 상기 입력영상신호의 키 프레임 정보 및 상기 입력영상신호의 영상 속성 정보, 상기 입력영상신호의 최소 및 최대 깊이값 정보 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 3D 영상처리장치.
  8. 제7항에 있어서,
    상기 메타데이터 처리부는,
    상기 보조 데이터가 상기 스테레오 카메라 정보이면, 상기 스테레오 카메라 정보를 이용하여 상기 입력영상신호의 깊이맵을 생성하는 것을 특징으로 하는 3D 영상처리장치.
  9. 제7항에 있어서,
    상기 메타데이터 처리부는,
    상기 보조 데이터가 상기 키프레임 정보이면, 상기 키프레임의 입체감 조정값을 계산하고, 상기 계산된 키프레임의 입체감 조정값을 이용하여 비-키프레임의 입체감 조정값을 추정하는 것을 특징으로 하는 3D 영상처리장치.
  10. 제1항에 있어서,
    상기 입체감 정보는 상기 입력영상신호의 깊이맵을 포함하고,
    상기 보조 데이터는 상기 깊이맵의 조정에 이용할 수 있는 깊이 조정용 데이터를 포함하고,
    상기 입체감 조정값은 상기 깊이맵을 조정할 수 있는 깊이 조정값을 포함하는 것을 특징으로 하는 3D 영상처리장치.
  11. 3D 영상처리장치의 입체감 조정방법에 있어서,
    입력영상신호에 대한 메타데이터를 해석하여 상기 메타데이터로부터 상기 입력영상신호의 입체감 정보를 조정하는데 이용될 수 있는 적어도 하나의 보조 데이터를 추출하는 단계와;
    상기 추출된 적어도 하나의 보조 데이터에 기초하여 상기 입체감 정보에 대한 적어도 하나의 입체감 조정값을 계산하는 단계와;
    상기 계산된 입체감 조정값을 이용하여 상기 입체감 정보를 갱신하고, 상기 입력영상신호가 상기 갱신된 입체감 정보에 따른 입체감을 갖도록 조정하는 단계를 포함하는 것을 특징으로 하는 3D 영상처리장치의 입체감 조정방법.
  12. 제11항에 있어서,
    상기 입체감 조정값 계산 단계는,
    상기 적어도 하나의 보조 데이터의 속성에 따라 입체감 조정값을 계산하는 단계인 것을 특징으로 하는 3D 영상처리장치의 입체감 조정방법.
  13. 제11항에 있어서,
    상기 입체감 조정값 계산 단계는,
    상기 보조 데이터의 추출단계에서 복수의 보조 데이터가 추출되면, 상기 복수의 보조 데이터에 대응하는 복수의 입체감 조정값을 계산하고, 상기 계산된 복수의 입체감 조정값을 가중치로 적용하여 합산된 최종 입체감 조정값을 계산하는 단계인 것을 특징으로 하는 3D 영상처리장치의 입체감 조정방법.
  14. 제11항에 있어서,
    상기 보조 데이터는,
    상기 입력 영상신호에 대응하는 컨텐츠 정보, 상기 입력 영상신호에 대한 스테레오 카메라 정보 및 상기 입력 영상신호에 대한 영상 관련 정보 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 3D 영상처리장치의 입체감 조정방법.
  15. 제14항에 있어서,
    상기 컨텐츠 정보는,
    컨텐츠 장르 정보, 컨텐츠의 스토리 라인 정보 및 컨텐츠의 시청 연령 정보 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 3D 영상처리장치의 입체감 조정방법.
  16. 제14항에 있어서,
    상기 스테레오 카메라 정보는,
    스테레오 카메라의 렌즈 위치 정보, 스테레오 카메라의 초점 정보, 스테레오 카메라의 조명 정보 및 스테레오 카메라의 노출 정보 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 3D 영상처리장치의 입체감 조정방법.
  17. 제14항에 있어서,
    상기 영상 관련 정보는,
    상기 입력영상신호의 씬 변경 정보, 상기 입력영상신호의 키 프레임 정보 및 상기 입력영상신호의 영상 속성 정보, 상기 입력영상신호의 최소 및 최대 깊이값 정보 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 3D 영상처리장치의 입체감 조정방법.
  18. 제16항에 있어서,
    상기 보조 데이터가 상기 스테레오 카메라 정보이면, 상기 스테레오 카메라 정보를 이용하여 상기 입력영상신호의 깊이맵을 생성하는 단계를 더 포함하는 것을 특징으로 하는 3D 영상처리장치의 입체감 조정방법.
  19. 제17항에 있어서,
    상기 입체감 조정값 계산 단계는,
    상기 보조 데이터가 상기 키프레임 정보이면, 상기 키프레임의 입체감 조정값을 계산하고, 상기 계산된 키프레임의 입체감 조정값을 이용하여 비-키프레임의 입체감 조정값을 추정하는 단계를 포함하는 것을 특징으로 하는 3D 영상처리장치의 입체감 조정방법.
  20. 제11항에 있어서,
    상기 입체감 정보는 상기 입력영상신호의 깊이맵을 포함하고,
    상기 보조 데이터는 상기 깊이맵의 조정에 이용할 수 있는 깊이 조정용 데이터를 포함하고,
    상기 입체감 조정값은 상기 깊이맵을 조정할 수 있는 깊이 조정값을 포함하는 것을 특징으로 하는 3D 영상처리장치의 입체감 조정방법.
KR1020110036973A 2011-04-20 2011-04-20 3ｄ 영상처리장치 및 그 입체감 조정방법 KR20120119173A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020110036973A KR20120119173A (ko) 2011-04-20 2011-04-20 3ｄ 영상처리장치 및 그 입체감 조정방법
EP11181614.6A EP2515544B1 (en) 2011-04-20 2011-09-16 3D image processing apparatus and method for adjusting 3D effect thereof
US13/243,262 US20120268557A1 (en) 2011-04-20 2011-09-23 3d image processing apparatus and method for adjusting 3d effect thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110036973A KR20120119173A (ko) 2011-04-20 2011-04-20 3ｄ 영상처리장치 및 그 입체감 조정방법

Publications (1)

Publication Number Publication Date
KR20120119173A true KR20120119173A (ko) 2012-10-30

Family

ID=44789318

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110036973A KR20120119173A (ko) 2011-04-20 2011-04-20 3ｄ 영상처리장치 및 그 입체감 조정방법

Country Status (3)

Country Link
US (1) US20120268557A1 (ko)
EP (1) EP2515544B1 (ko)
KR (1) KR20120119173A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150106441A (ko) * 2013-03-15 2015-09-21 인텔 코포레이션 가변 해상도 깊이 표현
KR101649188B1 (ko) * 2015-03-31 2016-08-18 서울대학교 산학협력단 입체감 측정 방법 및 장치
US10542242B2 (en) 2015-09-30 2020-01-21 Samsung Electronics Co., Ltd. Display device and method for controlling same

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150008408A (ko) * 2012-04-13 2015-01-22 코닌클리케 필립스 엔.브이. 깊이 시그널링 데이터
KR102249831B1 (ko) * 2014-09-26 2021-05-10 삼성전자주식회사 3d 파노라마 이미지 생성을 위한 영상 생성 장치 및 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100612835B1 (ko) * 2002-12-12 2006-08-18 삼성전자주식회사 영상의 색 특성에 관한 사용자 선호성 데이터 생성 방법및 장치와 이를 이용한 영상 색선호특성 변환 방법 및 장치
CA2669016A1 (en) * 2006-11-20 2008-05-29 Thomson Licensing System and method for compositing 3d images
JP4356774B2 (ja) * 2007-06-06 2009-11-04 ソニー株式会社 情報処理装置、映像再生方法、プログラム、および映像再生システム
KR20100002032A (ko) * 2008-06-24 2010-01-06 삼성전자주식회사 영상 생성 방법, 영상 처리 방법, 및 그 장치
WO2009157707A2 (en) * 2008-06-24 2009-12-30 Samsung Electronics Co,. Ltd. Image processing method and apparatus
EP2374280A1 (en) * 2008-11-24 2011-10-12 Koninklijke Philips Electronics N.V. Combining 3d video and auxiliary data
KR101574068B1 (ko) * 2008-12-26 2015-12-03 삼성전자주식회사 영상 처리 방법 및 장치
US20110310982A1 (en) * 2009-01-12 2011-12-22 Lg Electronics Inc. Video signal processing method and apparatus using depth information
US9213785B2 (en) * 2009-02-03 2015-12-15 Thomas Plewe Systems and methods for component-based architecture design
ES2578022T3 (es) * 2009-02-17 2016-07-20 Koninklijke Philips N.V. Combinación de datos de imágenes 3D y gráficos
KR101716636B1 (ko) * 2009-07-27 2017-03-15 코닌클리케 필립스 엔.브이. ３ｄ 비디오 및 보조 데이터의 결합
US8614737B2 (en) * 2009-09-11 2013-12-24 Disney Enterprises, Inc. System and method for three-dimensional video capture workflow for dynamic rendering
US9066076B2 (en) * 2009-10-30 2015-06-23 Mitsubishi Electric Corporation Video display control method and apparatus
JP5387399B2 (ja) * 2009-12-28 2014-01-15 ソニー株式会社 情報処理装置および情報処理方法
EP2520096A4 (en) * 2009-12-29 2013-10-09 Shenzhen Tcl New Technology PERSONALIZING A 3D TV VIEW
KR101647408B1 (ko) * 2010-02-03 2016-08-10 삼성전자주식회사 영상 처리 장치 및 방법
CN103202028A (zh) * 2011-03-11 2013-07-10 日立民用电子株式会社 记录装置/方法/介质、再现装置/方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150106441A (ko) * 2013-03-15 2015-09-21 인텔 코포레이션 가변 해상도 깊이 표현
KR101649188B1 (ko) * 2015-03-31 2016-08-18 서울대학교 산학협력단 입체감 측정 방법 및 장치
US10542242B2 (en) 2015-09-30 2020-01-21 Samsung Electronics Co., Ltd. Display device and method for controlling same

Also Published As

Publication number Publication date
US20120268557A1 (en) 2012-10-25
EP2515544A1 (en) 2012-10-24
EP2515544B1 (en) 2016-08-17

Similar Documents

Publication Publication Date Title
US9355455B2 (en) Image data processing method and stereoscopic image display using the same
TWI528781B (zh) 用以訂製立體內容之三維效果的方法及裝置
JP6027034B2 (ja) 立体映像エラー改善方法及び装置
JP2015156607A (ja) 画像処理装置、画像処理装置、及び電子機器
US20140028810A1 (en) Scaling pixel depth values of user-controlled virtual object in three-dimensional scene
US9729845B2 (en) Stereoscopic view synthesis method and apparatus using the same
CN105894567B (zh) 放缩三维场景中的用户控制的虚拟对象的像素深度值
JP2013527646A5 (ko)
KR20100040236A (ko) 시각적 관심에 기반한 2차원 영상의 3차원 영상 변환기 및 변환 방법
KR20120055991A (ko) 영상처리장치 및 그 제어방법
KR20120119173A (ko) 3ｄ 영상처리장치 및 그 입체감 조정방법
KR101763686B1 (ko) 입체 영상 처리 장치 및 그 처리 방법
Hanhart et al. Subjective evaluation of two stereoscopic imaging systems exploiting visual attention to improve 3D quality of experience
KR20120004203A (ko) 디스플레이 방법 및 장치
US8781215B2 (en) Image processing apparatus and control method thereof
Cho et al. Prediction of visual discomfort in watching 3D video using multiple features
TWI502960B (zh) 二維轉三維轉換裝置及其方法
CA2982015A1 (en) Method and apparatus for depth enhanced imaging
JP2012049880A (ja) 画像処理装置、画像処理方法及び画像処理システム
JP2011193461A (ja) 映像処理装置、映像処理方法および立体映像表示装置
JP2014225736A (ja) 画像処理装置
Doyen et al. 3D intensity adjustment of a stereo content to improve Quality Of Experience
Jung et al. Caption insertion method for 3D broadcasting service
JP2019103099A (ja) 映像処理装置及びプログラム
KR20130142911A (ko) 스테레오스코픽 3d 동영상 크기 변환 방법 및 장치

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid