KR20110129903A - 3d 시청자 메타데이터의 전송 - Google Patents

3d 시청자 메타데이터의 전송 Download PDF

Info

Publication number
KR20110129903A
KR20110129903A KR1020117021689A KR20117021689A KR20110129903A KR 20110129903 A KR20110129903 A KR 20110129903A KR 1020117021689 A KR1020117021689 A KR 1020117021689A KR 20117021689 A KR20117021689 A KR 20117021689A KR 20110129903 A KR20110129903 A KR 20110129903A
Authority
KR
South Korea
Prior art keywords
display
viewer
source
metadata
image data
Prior art date
Application number
KR1020117021689A
Other languages
English (en)
Inventor
데르 헤이덴 제라르두스 베. 테. 판
필립 에스. 뉴톤
크리스티안 체베 베니엔
펠릭스 게. 그렘제
Original Assignee
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 코닌클리케 필립스 일렉트로닉스 엔.브이.
Publication of KR20110129903A publication Critical patent/KR20110129903A/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/327Calibration thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking

Abstract

시청자를 위해 3D 디스플레이 상에 디스플레이하기 위한 3차원[3D] 이미지 데이터를 처리하는 시스템이 기술된다. 3D 디스플레이 메타데이터는 3D 디스플레이에 의해 지원되는 깊이 범위와 같은 3D 디스플레이의 공간적 디스플레이 파라미터들을 규정한다. 시청자 메타데이터는 시청 거리 또는 눈동자-간 거리와 같이 3D 디스플레이에 대한 시청자의 공간적 시청 파라미터들을 규정한다. 소스 공간적 시청 구성을 위해 준비되는 소스 3D 이미지 데이터는 타겟 공간적 시청 구성에서 3D 디스플레이 상에 디스플레이하기 위한 타겟 3D 디스플레이 데이터를 발생시키기 위해 처리된다. 먼저, 타겟 공간적 구성은 3D 디스플레이 메타데이터 및 시청자 메타데이터에 의존하여 결정된다. 이어서, 소스 3D 이미지 데이터는 소스 공간적 시청 구성 및 타겟 공간적 시청 구성 간의 차이들에 기초하여 타겟 3D 디스플레이 데이터로 변환된다.

Description

3D 시청자 메타데이터의 전송{TRANSFERRING OF 3D VIEWER METADATA}
본 발명은 시청자를 위해 3D 디스플레이 상에 디스플레이하기 위한 3차원[3D] 이미지 데이터를 처리하는 방법에 관한 것이다.
본 발명은 또한 3D 소스 디바이스 및 3D 디스플레이 디바이스, 및 시청자를 위해 3D 디스플레이 상에 디스플레이하기 위한 3차원[3D] 이미지 데이터를 처리하도록 준비된 3D 디스플레이 신호에 관한 것이다.
본 발명은 3차원 이미지 데이터, 예를 들어, 3D 비디오를 고속 디지털 인터페이스, 예를 들어, HDMI를 통해 3D 디스플레이 상에 디스플레이하고, 소스 3D 이미지 디바이스와 3D 디스플레이 디바이스 간에 전송하기 위한 3D 이미지 데이터를 처리하는 분야에 관한 것이다.
예를 들어, 디지털 비디오 신호들을 제공하는 DVD 플레이어들 또는 셋톱 박스들과 같은 비디오 플레이어들인 2D 비디오 데이터를 공급하기 위한 디바이스들은 공지되어 있다. 소스 디바이스는 TV 세트 또는 모니터와 같은 디스플레이 디바이스에 연결되게 된다. 이미지 데이터는 적절한 인터페이스, 바람직하게는, HDMI와 같은 고속 디지털 인터페이스를 통해 소스 디바이스로부터 전송된다. 현재, 3차원(3D) 이미지 데이터를 공급하기 위한 3D 강화된 디바이스들이 제안되어 있다. 유사하게, 3D 이미지 데이터를 디스플레이하기 위한 디바이스들이 제안되어 있다. 소스 디바이스로부터 디스플레이 디바이스로 3D 비디오 신호들을 전송하기 위해서, 예를 들어, 기존의 HDMI 표준에 기초하고 이 표준과 호환될 수 있는 새로운 고속 데이터 디지털 인터페이스 표준들이 개발되고 있다.
국제 특허 출원 제 WO2008/038205 호는 3D 디스플레이 상에 디스플레이하기 위해 3D 이미지를 처리하는 예가 기술되어 있다. 3D 이미지 신호는 3D 디스플레이의 개별 깊이 범위들에서 그래픽 데이터와 조합되도록 처리된다.
미국 특허 출원 제 US2005/0219239 호는 3D 이미지들을 처리하기 위한 시스템을 기술하고 있다. 이 시스템은 데이터베이스에 있는 객체들의 3D 데이터로부터 3D 이미지 신호를 발생시킨다. 3D 데이터는 완전히 모델링된, 즉, 3차원 구조를 갖는 객체들과 관련된다. 이 시스템은 컴퓨터 시뮬레이션 환경에서 객체들에 기초한 3D 세계에서 가상 카메라를 설치하고, 특정 시청 구성을 위해 3D 신호를 발생시킨다. 3D 이미지 신호를 발생시키기 위해서, 디스플레이 크기 및 시청 거리와 같은 시청 구성의 다양한 파라미터들이 사용된다. 정보 획득 유닛은 사용자와 디스플레이 간의 거리와 같은 사용자 입력을 수신한다.
국제 특허 출원 제 WO2008/038205 호는 다른 3D 데이터와 조합될 때 시청자 경험을 최적화하기 위한 처리 이후에 소스 3D 이미지 데이터를 디스플레이하는 3D 디스플레이 디바이스의 예를 제공한다. 전통적인 3D 이미지 디스플레이 시스템은 제한된 3D 깊이 범위에서 디스플레이되도록 소스 3D 이미지 데이터를 처리한다. 그러나, 소스 3D 이미지 데이터를 특정 3D 디스플레이 상에 디스플레이할 때, 특히, 상이한 디스플레이 상에 특정 시청 구성을 위해 준비된 3D 이미지 데이터를 디스플레이할 때, 3D 이미지 효과의 시청자 경험은 불충분한 것으로 보일 수도 있다.
본 발명의 목적은 임의의 특정 3D 디스플레이 디바이스 상에 디스플레이될 때 시청자에게 충분한 3D 경험을 제공하는 3D 이미지 데이터의 처리를 위한 시스템을 제공하는 것이다.
이 목적을 위해서, 본 발명의 제 1 양태에 따르면, 서두에 기술된 것과 같은 방법은, 소스 공간적 시청 구성을 위해 준비된 소스 3D 이미지 데이터를 수신하는 단계, 3D 디스플레이의 공간적 디스플레이 파라미터들을 정의하는 3D 디스플레이 메타데이터를 제공하는 단계, 3D 디스플레이에 대한 시청자의 공간적 시청 파라미터들을 규정하는 시청자 메타데이터를 제공하는 단계, 타겟 공간적 시청 구성에서 3D 디스플레이 상에 디스플레이하기 위한 타겟 3D 디스플레이 데이터를 발생시키기 위해 소스 3D 이미지 데이터를 처리하는 단계를 포함하고, 상기 처리 단계는 3D 디스플레이 메타데이터 및 시청자 메타데이터에 의존하여 타겟 공간적 구성을 결정하는 단계 및 소스 공간적 시청 구성 및 타겟 공간적 시청 구성 간의 차이들에 기초하여 소스 3D 이미지 데이터를 타겟 3D 디스플레이 데이터로 변환하는 단계를 포함한다.
이 목적을 위하여, 본 발명의 또 다른 양태에 따르면, 시청자를 위해 3D 디스플레이 상에 디스플레이하기 위한 3D 이미지 데이터의 처리를 위한 3D 이미지 디바이스는, 소스 공간적 시청 구성을 위해 준비된 소스 3D 이미지 데이터를 수신하기 위한 입력 수단, 3D 디스플레이의 공간적 디스플레이 파라미터들을 규정하는 3D 디스플레이 메타데이터를 제공하기 위한 디스플레이 메타데이터 수단, 3D 디스플레이 데이터에 대하여 시청자의 공간적 시청 파라미터들을 규정하는 시청자 메타데이터를 제공하기 위한 시청자 메타데이터 수단, 타겟 공간적 시청 구성에서 3D 디스플레이 상에 디스플레이하기 위한 3D 디스플레이 신호를 발생시키기 위해 소스 3D 이미지 데이터를 처리하기 위한 처리 수단으로서, 3D 디스플레이 메타데이터 및 시청자 메타데이터에 의존하여 타겟 공간적 구성을 결정하고, 소스 공간적 시청 구성과 타겟 공간적 시청 구성 간의 차이들에 기초하여 소스 3D 이미지 데이터를 3D 디스플레이 신호로 변환하도록 준비되는, 상기 처리 수단을 포함한다.
이 목적을 위해서, 본 발명의 또 다른 양태에 따르면, 시청자를 위해 3D 디스플레이 상에 디스플레이하기 위한 3D 이미지 데이터를 제공하기 위한 3D 소스 디바이스는, 소스 공간적 시청 구성을 위해 준비된 소스 3D 이미지 데이터를 수신하기 위한 입력 수단, 3D 디스플레이 신호를 전송하기 위한 3D 디스플레이를 갖는 3D 디스플레이 디바이스와 인터페이스하기 위한 이미지 인터페이스 수단, 3D 디스플레이에 대한 시청자의 공간적 시청 파라미터들을 규정하는 시청자 메타데이터를 제공하기 위한 시청자 메타데이터 수단, 및 타겟 공간적 시청 구성에서 3D 디스플레이 상에 디스플레이하기 위한 3D 디스플레이 신호를 발생시키기 위한 처리 수단으로서, 상기 처리 수단은 3D 디스플레이 디바이스로 하여금 타겟 공간적 시청 구성에서 3D 디스플레이 상에 디스플레이하기 위한 소스 3D 이미지 데이터를 처리할 수 있도록 하기 위한 디스플레이 신호에 시청자 메타데이터를 포함하도록 준비되고, 상기 처리는 3D 디스플레이 메타데이터 및 시청자 메타데이터에 의존하여 타겟 공간적 구성을 결정하고, 소스 공간적 시청 구성과 타겟 공간적 시청 구성 간의 차이들에 기초하여 소스 3D 이미지 데이터를 3D 디스플레이 신호로 변환하는 것을 포함하는, 상기 처리 수단을 포함한다.
이 목적을 위해서, 본 발명의 또 다른 양태에 따르면, 3D 디스플레이 디바이스는 3D 이미지 데이터를 디스플레이하기 위한 3D 디스플레이, 3D 디스플레이 신호를 전송하기 위해 소스 3D 이미지 디바이스와 인터페이스하기 위한 디스플레이 인터페이스 수단으로서, 소스 3D 이미지 디바이스는 소스 공간적 시청 구성을 위해 준비된 소스 3D 이미지 데이터를 수신하기 위한 입력 수단을 포함하는, 상기 디스플레이 인터페이스 수단, 3D 디스플레이에 대한 시청자의 공간적 시청 파라미터들을 규정하는 시청자 메타데이터를 제공하기 위한 시청자 메타데이터 수단, 및 3D 디스플레이 상에 디스플레이하기 위한 3D 디스플레이 신호를 발생시키기 위한 처리 수단으로서, 상기 처리 수단은 소스 3D 이미지 디바이스가 타겟 공간적 시청 구성에서 3D 디스플레이 상에 디스플레이하기 위한 소스 3D 이미지 데이터를 처리할 수 있도록 하기 위한 시청자 메타데이터를 디스플레이 인터페이스 수단을 통해 디스플레이 신호로 소스 3D 이미지 디바이스에 전송하도록 준비되고, 상기 처리는 3D 디스플레이 메타데이터와 시청자 메타데이터에 의존하여 타겟 공간적 구성을 결정하고 소스 공간적 시청 구성과 타겟 공간적 시청 구성 간의 차이들에 기초하여 3D 이미지 데이터를 3D 디스플레이 신호로 변환하는 것을 포함하는, 상기 처리 수단을 포함한다.
이 목적을 위해서, 본 발명의 또 다른 양태에 따르면, 시청자를 위해 3D 디스플레이 상에 디스플레이하기 위한 3D 이미지 데이터를 3D 이미지 디바이스와 3D 디스플레이 간에 전송하기 위한 3D 디스플레이 신호는, 3D 이미지 디바이스로 하여금 소스 공간적 시청 구성을 위해 준비된 소스 3D 이미지 데이터를 수신하고 타겟 공간적 시청 구성에서 3D 디스플레이 상에 디스플레이하기 위한 소스 3D 이미지 데이터를 처리할 수 있도록 하기 위한 시청자 메타데이터를 포함하고, 시청자 메타데이터는 개별 데이터 채널을 통해 3D 디스플레이로부터 3D 이미지 디바이스로 또는 3D 이미지 디바이스로부터 별개의 패킷에 포함된 3D 디스플레이로 전송되고, 처리는 3D 디스플레이 메타데이터 및 시청자 메타데이터에 의존하여 타겟 공간적 구성을 결정하고 소스 공간적 시청 구성과 타겟 공간적 시청 구성 간의 차이들에 기초하여 소스 3D 이미지 데이터를 3D 디스플레이 신호로 변환하는 것을 포함한다.
이 목적을 위해서, 본 발명의 또 다른 양태에 따르면, 시청자를 위해 3D 디스플레이 상에 디스플레이하기 위해 3D 이미지 데이터를 3D 이미지 디바이스로 전송하기 위한 3D 이미지 신호는, 3D 이미지 디바이스로 하여금 타겟 공간적 시청 구성에서 3D 디스플레이 상에 디스플레이하기 위해 소스 3D 이미지 데이터를 처리할 수 있도록 하기 위해 소스 공간적 시청 구성을 위해 준비된 소스 3D 이미지 데이터 및 소스 공간적 시청 구성을 나타내는 소스 이미지 메타데이터를 포함하고, 처리는 3D 디스플레이 메타데이터 및 시청자 메타데이터에 의존하여 타겟 공간적 구성을 결정하고 소스 공간적 시청 구성과 타겟 공간적 시청 구성 간의 차이들에 기초하여 소스 3D 이미지 데이터를 3D 디스플레이 신호로 변환하는 것을 포함한다.
측정치들은, 소스 3D 이미지 데이터가 스크린 치수들 같은 실제 디스플레이 메타데이터, 및 시청 거리 및 시청자의 눈동자-간 거리 같은 실제 시청자 메타데이터를 고려하여, 시청자에게 의도된 3D 경험을 제공하도록 처리되는 효과를 갖는다. 특히, 소스 공간적 시청 구성을 위해 준비된 3D 이미지 데이터가 먼저 수신된 다음, 실제 시청 구성의 실제 시청자 메타데이터에 기초하여 상이한 타겟 공간적 시청 구성을 위해 재-준비된다. 유리하게, 인간 시청자의 두 눈들에 제공되는 이미지들은 의도된 3D 경험을 발생시키기 위해 3D 디스플레이 및 시청자의 실제 공간적 시청 구성에 따르도록 적응된다.
본 발명은 또한 다음 인식에 기초한다. 레거시 소스 3D 이미지 데이터는 영화관에서의 영화와 같은 특정 공간적 시청 구성을 위해 내재적으로 준비된다. 발명자들은, 이러한 소스 공간적 시청 배치가, 스크린 크기 같은 특정 공간적 디스플레이 파라미터들을 갖는 특정 3D 디스플레이를 포함하고, 예를 들어, 실제 시청 거리에 있고, 실제 공간적 시청 파라미터들을 갖는 적어도 한 명의 실제 시청자를 포함하는 실제 시청 배치와는 실질적으로 상이할 수도 있다는 것을 알게 되었다. 또한, 시청자의 눈동자-간 거리는, 최적의 3D 경험을 위해, 두 눈들에서 3D 디스플레이에 의해 재생되는 이미지들이 인간 뇌에 의해 자연스러운 3D 이미지 입력으로서 지각되도록 하는 전용 차이를 갖도록 하는 것을 요구한다. 예를 들어, 3D 객체는 소스 3D 이미지 데이터에서 내재적으로 사용되는 눈동자-간 거리보다 작은 실제 눈동자-간 거리를 갖는 어린이에 의해 지각될 수 있다. 발명자들은 타겟 공간적 시청 구성이 시청자의 이러한 공간적 시청 파라미터에 의해 영향을 받는다는 것을 알게 되었다. 특히, 이것은, 소스 (처리되지 않은)(특히, 무한한 범위에서의) 3D 이미지 콘텐트에 대해서 어린이들의 눈들은 벗어나게 되고, 이는 눈의 피로나 메스꺼움을 유발한다는 것을 의미한다. 부가적으로, 3D 경험은 사람들의 시청 거리에 의존한다. 제공되는 해결책은, 3D 디스플레이 메타데이터 및 시청자 메타데이터를 제공하고, 이어서, 3D 디스플레이 메타데이터 및 시청자 메타데이터에 기초한 계산에 의해 타겟 공간적 구성을 결정하는 것을 포함한다. 상기 타겟 공간적 시청 구성에 기초하여, 요구되는 3D 이미지 데이터는 소스 공간적 시청 구성과 타겟 공간적 시청 구성 간의 차이들에 기초하여 소스 3D 이미지 데이터를 변환함으로써 발생될 수 있다.
시스템의 실시예에 있어서, 시청자 메타데이터는 다음의 공간적 시청 파라미터들, 즉, 3D 디스플레이까지의 시청자의 시청 거리; 시청자의 눈동자-간 거리; 3D 디스플레이의 평면에 대한 시청자의 시청 각도; 3D 디스플레이의 중심에 대한 시청자 위치의 시청 오프셋 중 적어도 하나를 포함한다.
효과는, 시청자 메타데이터가 실제 시청자에게 자연스러운 3D 경험을 제공하기 위해 3D 이미지 데이터를 계산할 수 있도록 한다는 것이다. 유리하게, 실제 시청자에게는 피로 또는 눈의 피로가 발생하지 않는다. 여러 명의 시청자들이 있을 때, 다수의 시청자들에 대한 평균 파라미터들은 모든 시청자들에 대해 전반적인 최적화된 시청 경험이 되도록 고려된다.
시스템의 일 실시예에서, 3D 디스플레이 메타데이터는 다음의 공간적 디스플레이 파라미터들, 즉, 3D 디스플레이의 스크린 크기; 3D 디스플레이에 의해 지원되는 깊이 범위; 3D 디스플레이의 사용자 선호의 깊이 범위 중 적어도 하나를 제공하는 것을 포함한다.
효과는, 디스플레이 메타데이터가 실제 디스플레이의 시청자에게 자연스러운 3D 경험을 제공하기 위해 3D 이미지 데이터를 계산할 수 있도록 한다는 것이다. 유리하게, 시청자에게는 피로 또는 눈의 피로가 발생하지 않는다.
시청자 메타데이터, 디스플레이 메타데이터 및/또는 소스 이미지 메타데이터는 소스 3D 이미지 디바이스 및/또는 3D 디스플레이 디바이스에서 이용할 수도 있거나 검출될 수도 있다는 것을 유념해야 한다. 또한, 타겟 공간적 시청 구성에 대한 소스 3D 데이터의 처리는 소스 3D 이미지 디바이스 또는 3D 디스플레이 디바이스에서 수행될 수도 있다. 따라서, 처리의 위치에서 메타데이터를 제공하는 것은: 요구된 메타데이터를 임의의 적절한 외부 인터페이스를 통해 검출하고, 설정하고, 추정하고, 디폴트값들을 적용하고, 발생시키고, 계산하고 및/또는 수신하는 것 중 임의의 것을 포함할 수도 있다. 특히, 두 디바이스들 간에 3D 디스플레이 신호를 또한 전송하는 인터페이스, 또는 소스 이미지 데이터를 제공하는 인터페이스가 메타데이터를 전송하기 위해 사용될 수도 있다. 여기서, 필요하다면 양방향인 이미지 데이터 인터페이스가 또한 소스 디바이스로부터 3D 디스플레이 디바이스로 시청자 메타데이터를 전달할 수도 있거나, 또는 그 반대일 수도 있다. 따라서, 청구된 것과 같은 각각의 디바이스들에 있어서, 시스템 구성 및 이용 가능한 인터페이스들에 의존하여, 메타데이터 수단은 상기 메타데이터를 수신 및/또는 전송하기 위한 인터페이스들과 협동하도록 준비된다.
효과는, 시청자 메타데이터 및 디스플레이 메타데이터가 제공되어 처리의 위치로 전송되는 경우에 있어서 다양한 구성들이 이루어질 수 있다는 것이다. 유리하게, 실제 디바이스들은 시청자 메타데이터를 입력하거나 검출하고 이어서 그에 따라서 3D 소스 데이터를 처리하는 작업들을 위해 구성될 수 있다.
시스템의 일 실시예에 있어서, 시청자 메타데이터 수단은 공간적 시청 파라미터로서 어린이를 나타내는 눈동자-간 거리를 제공하기 위한 어린이 모드를 설정하기 위한 수단을 포함한다. 효과는, 타겟 공간적 시청 구성이 어린이 모드를 설정함으로써 어린이들에 대해 최적화된다는 것이다. 유리하게, 사용자는 시청자 메타데이터의 세부사항들을 이해할 필요가 없다.
시스템의 일 실시예에 있어서, 시청자 메타데이터 수단은 3D 디스플레이의 시청 영역에 존재하는 시청자의 적어도 하나의 공간적 시청 파라미터를 검출하기 위한 시청자 검출 수단을 포함한다. 효과는, 시스템이 실제 시청자의 관련 파라미터들을 자체적으로 검출한다는 것이다. 유리하게, 시스템은 시청자가 변경될 때 타겟 공간적 시청 구성을 적응시킬 수도 있다.
본 발명에 따른 방법, 3D 디바이스들 및 신호의 또 다른 바람직한 실시예들은 본원에 참조로서 포함되는 첨부된 청구항들에 주어져 있다.
본 발명의 이들 및 다른 양태들은 첨부 도면들을 참조하여 다음 설명에서 예시적인 방식으로 기술되는 실시예들로부터 명백해질 것이며 이들에 의해 설명될 것이다.
본 발명의 3D 이미지 데이터의 처리를 위한 시스템에 따르면, 3D 디스플레이 디바이스 상에 디스플레이될 때 시청자에게 충분한 3D 경험을 제공할 수 있다.
도 1은 3차원(3D) 이미지 데이터를 처리하기 위한 시스템을 도시하는 도면.
도 2는 3D 이미지 데이터의 예를 도시하는 도면.
도 3은 3D 이미지 디바이스 및 3D 디스플레이 디바이스 메타데이터 인터페이스를 도시하는 도면.
도 4는 메타데이터에 의해 확장된 AVI-인포 프레임의 표를 도시하는 도면.
도면들에서, 이미 기술된 요소들에 대응하는 요소들은 동일한 참조부호들을 갖는다.
도 1은 비디오, 그래픽 또는 다른 시각 정보와 같은 3차원(3D) 이미지 데이터를 처리하기 위한 시스템을 도시한다. 3D 이미지 디바이스(10)는 3D 디스플레이 신호(56)를 전송하기 위한 3D 디스플레이 디바이스(13)에 연결된다.
3D 이미지 디바이스는 이미지 정보를 수신하기 위한 입력 유닛(51)을 갖는다. 예를 들어, 입력 유닛 디바이스는 DVD 또는 블루-레이 디스크와 같은 광학 기록 캐리어(54)로부터 다양한 종류들의 이미지 정보를 검색하기 위한 광학 디스크 유닛(58)을 포함할 수도 있다. 대안적으로, 입력 유닛은 네트워크(55), 예를 들어, 인터넷 또는 방송 네트워크에 연결하기 위한 네트워크 인터페이스 유닛(59)을 포함할 수도 있고, 이러한 디바이스는 일반적으로 셋-톱 박스라고 불린다. 이미지 데이터는 원격 매체 서버(57)로부터 검색될 수도 있다. 3D 이미지 디바이스는 또한 위성 수신기, 또는 디스플레이 신호들을 직접 제공하는 매체 서버, 즉, 디스플레이 유닛에 직접 연결되어 3D 디스플레이 신호를 출력하는 임의의 적절한 디바이스일 수도 있다.
3D 이미지 디바이스는 이미지 인터페이스 유닛(12)을 통해 디스플레이 디바이스로 전송되는 3D 디스플레이 신호(56)를 발생시키도록 이미지 정보를 처리하기 위해 입력 유닛(51)에 연결된 이미지 처리 유닛(52)을 갖는다. 처리 유닛(52)은 디스플레이 디바이스(13) 상에 디스플레이하기 위한 3D 디스플레이 신호(56)에 포함되는 이미지 데이터를 발생시키도록 준비된다. 이미지 디바이스에는 콘스트라스트 또는 컬러 파라미터와 같은 이미지 데이터의 디스플레이 파라미터들을 제어하기 위한 사용자 제어 소자들(15)이 제공된다. 이와 같은 사용자 제어 소자들은 공지되어 있고, 재생 및 기록 기능들과 같은 3D 이미지 디바이스의 다양한 기능들을 제어하기 위해 다양한 버튼들 및/또는 커서 제어 기능들을 갖고, 예를 들어, 그래픽 사용자 인터페이스 및/또는 메뉴들을 통해 상기 디스플레이 파라미터들을 설정하기 위한 원격 제어 유닛을 포함할 수도 있다.
일 실시예에서, 3D 이미지 디바이스는 메타데이터를 제공하기 위한 메타데이터 유닛(11)을 갖는다. 메타데이터 유닛은 3D 디스플레이에 대한 시청자의 공간적 시청 파라미터들을 규정하는 시청자 메타데이터를 제공하기 위한 시청자 메타데이터 유닛(111), 및 3D 디스플레이의 공간적 디스플레이 파라미터들을 규정하는 3D 디스플레이 메타데이터를 제공하기 위한 디스플레이 메타데이터 유닛(112)을 포함한다.
일 실시예에서, 시청자 메타데이터는 다음의 공간적 시청 파라미터들 중 적어도 하나를 포함한다:
- 3D 디스플레이까지의 시청자의 시청 거리;
- 시청자의 눈동자-간 거리;
- 3D 디스플레이의 평면에 대한 시청자의 시청 각도;
- 3D 디스플레이의 중심에 대한 시청자 위치의 시청 오프셋.
일 실시예에서, 3D 디스플레이 메타데이터는 다음의 공간적 디스플레이 파라미터들 중 적어도 하나를 포함한다:
- 3D 디스플레이의 스크린 크기;
- 3D 디스플레이에 의해 지원되는 깊이 범위;
- 제조사 권장 깊이 범위, 즉, 최대 지원되는 깊이 범위보다 작을 수도 있는 요구되는 품질의 3D 이미지를 제공하기 위해 나타내는 범위;
- 3D 디스플레이의 사용자 선호의 깊이 범위.
깊이 범위에 있어서, 시차(parallax) 또는 디스패리티(disparity)가 표시될 수도 있다는 것을 유념해야 한다. 상기 파라미터들은 3D 디스플레이 및 시청자의 기하학적 배치를 정의하고, 따라서, 인간 시청자의 왼쪽 및 오른쪽 눈에 대해 발생될 요구되는 이미지들을 계산할 수 있도록 한다. 예를 들어, 객체가 시청자 눈의 요구되는 거리에서 지각될 때, 배경에 대한 왼쪽 및 오른쪽 눈 이미지에서 상기 객체의 이동이 쉽게 계산될 수 있다.
3D 이미지 처리 유닛(52)은 타겟 공간적 시청 구성에서 3D 디스플레이 상에 디스플레이하기 위한 타겟 3D 디스플레이 데이터를 발생시키기 위해 소스 공간적 시청 구성을 위해 준비되는 소스 3D 이미지 데이터를 처리하는 기능을 위해 준비된다. 처리는 먼저 3D 디스플레이 메타데이터 및 시청자 메타데이터에 의존하여 타겟 공간적 구성을 결정하는 것을 포함하고, 이 메타데이터는 메타데이터 유닛(11)에서 이용 가능하다. 이어서, 소스 3D 이미지 데이터는 소스 공간적 시청 구성과 타겟 공간적 시청 구성 간의 차이들에 기초하여 타겟 3D 디스플레이 데이터로 변환된다.
공간적 시청 구성의 결정은 실제 시청 공간에서의 실제 스크린의 기본 셋업에 기초하고, 스크린은 미리 규정된 물리적 크기와 추가적인 3D 디스플레이 파라미터들, 및 실제 시청자 청중의 위치 및 배치, 예를 들어, 시청자 눈까지의 디스플레이 스크린의 거리를 갖는다. 현재의 방식에서, 시청자는, 단지 한 명의 시청자가 존재하는 경우에 대해 논의된다는 것을 유념해야 한다. 명백하게, 다수의 시청자들이 또한 존재할 수도 있고, 공간적 시청 구성의 계산들 및 3D 이미지 처리는, 예를 들어, 특정 시청 영역 또는 시청자의 유형들에 대한 평균값들, 최적의 값들 등을 사용하여, 상기 다수에 대한 최상의 가능한 3D 경험을 수용하도록 적응될 수 있다.
3D 디스플레이 디바이스(13)는 3D 이미지 데이터를 디스플레이하기 위한 것이다. 이 디바이스는 3D 이미지 디바이스(10)로부터 전송되는 3D 이미지 데이터를 포함하는 3D 디스플레이 신호(56)를 수신하기 위한 디스플레이 인터페이스 유닛(14)을 갖는다. 디스플레이 디바이스에는 또한 콘트라스트, 컬러 또는 깊이 파라미터들과 같은 디스플레이의 디스플레이 파라미터들을 설정하기 위한 사용자 제어 소자들(16)이 제공된다. 전송된 이미지 데이터는 사용자 제어 소자들로부터의 설정 명령들에 따라 이미지 처리 유닛(18)에서 처리되어, 3D 이미지 데이터에 기초하여 3D 디스플레이 상에 3D 이미지 데이터를 렌더링하기 위한 디스플레이 제어 신호들을 발생시킨다. 디바이스는 처리된 이미지 데이터를 디스플레이하기 위한 디지털 제어 신호들을 수신하는 3D 디스플레이(17), 예를 들어, 듀얼 또는 렌티큘러 LCD를 갖는다. 디스플레이 디바이스(13)는 3D 디스플레이라고도 하는 임의의 종류의 스테레오스코픽 디스플레이일 수도 있고, 화살표(44)로 나타낸 디스플레이 깊이 범위를 갖는다.
일 실시예에서, 3D 이미지 디바이스는 메타데이터를 제공하기 위한 메타데이터 유닛(19)을 갖는다. 메타데이터 유닛은 3D 디스플레이에 대한 시청자의 공간적 시청 파라미터들을 규정하는 시청자 메타데이터를 제공하기 위한 시청자 메타데이터 유닛(191), 및 3D 디스플레이의 공간적 디스플레이 파라미터들을 규정하는 3D 디스플레이 메타데이터를 제공하기 위한 디스플레이 메타데이터 유닛(192)을 포함한다.
3D 이미지 처리 유닛(18)은 타겟 공간적 시청 구성에서 3D 디스플레이 상에 디스플레이하기 위한 타겟 3D 디스플레이 데이터를 발생시키기 위해 소스 공간적 시청 구성에 대해 준비된 소스 3D 이미지 데이터를 처리하는 기능을 위해 준비된다. 처리는 먼저 3D 디스플레이 메타데이터 및 시청자 메타데이터에 따라서 타겟 공간적 구성을 결정하는 것을 포함하고, 그 메타데이터는 메타데이터 유닛(19)에서 이용 가능하다. 이어서, 소스 3D 이미지 데이터는 소스 공간적 시청 구성 및 타겟 공간적 시청 구성 간의 차이들에 기초하여 타겟 3D 디스플레이 데이터로 변환된다.
일 실시예에서, 시청자 메타데이터를 제공하는 것은, 예를 들어, 사용자 인터페이스(15)를 통해 각각의 공간적 시청 파라미터들을 설정함으로써, 3D 이미지 디바이스에서 수행된다. 대안적으로, 시청자 메타데이터를 제공하는 것은, 예를 들어, 사용자 인터페이스(16)를 통해 각각의 공간적 시청 파라미터들을 설정함으로써 3D 디스플레이 디바이스에서 수행될 수도 있다. 또한, 소스 공간적 시청 구성을 타겟 공간적 시청 구성에 적응시키기 위한 3D 데이터의 상기 처리는 상기 디바이스들 중 어느 하나에서 수행될 수도 있다. 따라서, 시스템의 다양한 배치들에 있어서, 상기 메타데이터 및 3D 이미지 처리는 이미지 디바이스 또는 3D 디스플레이 디바이스 중 어느 하나에서 제공된다. 또한, 두 디바이스들은 단일 멀티 기능 디바이스로 조합될 수도 있다. 따라서, 상기 다양한 시스템 배치들에서의 두 디바이스들의 실시예들에 있어서, 이미지 인터페이스 유닛(12) 및/또는 디스플레이 인터페이스 유닛(14)은 상기 시청자 메타데이터를 전송 및/또는 수신하도록 준비될 수도 있다. 또한, 디스플레이 메타데이터는 3D 디스플레이 디바이스로부터 3D 이미지 디바이스의 인터페이스(12)로의 인터페이스(14)를 통해 전송될 수도 있다.
상기 다양한 시스템 배치들에 있어서, 3D 이미지 데이터를 전송하기 위한 3D 디스플레이 신호는 시청자 메타데이터를 포함한다. 메타데이터는 양방향 인터페이스에서 사용하는 3D 이미지 데이터와는 다른 방향을 가질 수도 있다는 것을 유념해야 한다. 시청자 메타데이터를 제공하는 신호는, 상기 디스플레이 메타데이터를 적용하는 경우에, 3D 이미지 디바이스로 하여금 타겟 공간적 시청 구성에서 3D 디스플레이 상에 디스플레이하기 위한 소스 공간적 시청 구성을 위해 준비된 소스 3D 이미지 데이터를 처리하는 것을 가능하게 한다. 처리는 상술된 처리에 대응한다. 3D 디스플레이 신호는, 시청자 메타데이터 및/또는 디스플레이 메타데이터를 규정하기 위해 확장된, 공지되어 있는 HDMI 인터페이스(예를 들어, 2006년 11월 10일, "고 선명도 멀티미디어 인터페이스 명세 버전 1.3a" 참조)와 같은 적절한 고속 디지털 비디오 인터페이스를 통해 전송될 수도 있다.
도 1은 또한 3D 이미지 데이터의 캐리어로서 기록 캐리어(54)를 도시한다. 기록 캐리어는 디스크-형상이고, 트랙 및 중심 홀을 갖는다. 물리적으로 검출 가능한 일련의 마크들로 구성되는 트랙은 정보층 상의 실질적으로 평행한 트랙들을 구성하는 나선형 또는 동심원 패턴의 턴들에 따라 준비된다. 기록 캐리어는 광학적으로 판독 가능할 수도 있어, 광학 디스크라고도 하며, 예로서 CD, DVD 또는 BD(블루-레이 디스크)가 있다. 정보는 트랙을 따르는 광학적으로 검출 가능한 마크들, 예를 들어, 피트들 및 랜드들에 의해 정보층 상에 표시된다. 트랙 구조는 또한 보통은 정보 블록들이라고 하는 정보의 유닛들의 위치를 표시하기 위한 위치 정보, 예를 들어, 헤더들 및 주소들을 포함한다. 기록 캐리어(54)는 비디오와 같이 디지털로 인코딩된 3D 이미지 데이터를 표현하는 정보를, 3D를 위해 확장된 DVD 또는 BD 포맷과 같은 미리 규정된 기록 포맷으로 전달한다.
예를 들어, 트랙들의 마크들에 의해 기록 캐리어 상에서 구체화된 또는 네트워크(55)를 통해 검색된 3D 이미지 데이터는 시청자를 위해 3D 디스플레이 상에 디스플레이하기 위해 3D 이미지 데이터를 전송하기 위한 3D 이미지 신호를 제공한다. 일 실시예에서, 3D 이미지 신호는 소스 이미지 데이터가 준비되는 소스 공간적 시청 구성을 나타내는 소스 이미지 메타데이터를 포함한다. 소스 이미지 메타데이터는 3D 이미지 디바이스로 하여금 상술된 바와 같이 타겟 공간적 시청 구성에서 3D 디스플레이 상에 디스플레이하기 위한 소스 3D 이미지 데이터를 처리할 수 있도록 한다.
특정 소스 이미지 메타데이터가 제공되지 않을 때. 이러한 데이터는 소스 데이터의 일반적인 분류에 기초하여 메타데이터 유닛에 의해 설정될 수도 있다는 것이 유념되어야 한다. 예를 들어, 3D 영화 데이터는 평균 크기의 영화관에서의 시청을 위한 것으로, 예를 들어, 미리 규정된 크기의 스크린의 미리 규정된 거리에서 중심 시청 영역에 대해 최적화된 것으로 가정될 수도 있다. 예를 들어, TV 방송 소스 자료에 대해서, 평균 시청자들의 방 크기 및 TV 크기가 가정될 수도 있다. 타겟 공간적 시청 구성, 예를 들어, 이동 전화 3D 디스플레이는 실질적으로 상이한 디스플레이 파라미터들을 가질 수도 있다. 따라서, 상기 변환은 소스 공간적 시청 구성에 대한 가정을 사용하여 이루어질 수 있다.
다음 섹션은 3차원 디스플레이들의 개요 및 인간들에 의한 깊이의 지각을 제공한다. 3D 디스플레이들은 그들이 더욱 선명한 깊이 지각을 제공할 수 있다는 점에서 2D 디스플레이들과는 다르다. 이것은 그들이 단안(monocular) 깊이 큐들 및 움직임에 기초한 큐들만을 보여줄 수 있는 2D 디스플레이들보다 더 많은 깊이 큐들을 제공하기 때문에 달성된다.
단안(또는 정적) 깊이 큐들은 하나의 눈을 사용하여 정적 이미지로부터 얻어질 수 있다. 화가들은 종종 그들의 그림들에서 깊이의 느낌을 생성하기 위해 단안 큐들을 사용한다. 이들 큐들은 상대적 크기, 수평에 대한 높이, 폐색, 원근감, 텍스처 변화도, 및 조명/음영들을 포함한다. 안구 운동 큐들은 시청자들의 눈들의 근육들에서의 장력으로부터 유도된 깊이 큐들이다. 눈들은 눈들을 회전시키고 수정체를 신장시키기 위한 근육들을 갖는다. 수정체의 신장 및 이완은 원근 조절이라고 하고, 이미지에 초점을 맞출 때 행해진다. 수정체 근육들의 신장 또는 이완 양은 객체가 얼마나 멀리 있는지 또는 가까이 있는지에 대한 큐를 제공한다. 눈들의 회전은 두 눈들이 동일한 객체에 초점을 맞추도록 행해지고, 이는 수렴 현상이라고 한다. 마지막으로, 움직임 시차는, 시청자와 가까운 개체들이 더 멀리 있는 객체들보다 더 빠르게 움직이는 것처럼 보이는 효과이다.
양안 디스패리티는 우리의 두 눈들이 조금 상이한 이미지를 본다는 사실로부터 유도되는 깊이 큐이다. 단안 깊이 큐들은 임의의 2D 시각 디스플레이 형태일 수 있고 및 그 형태로 사용된다. 디스플레이에서 양안 디스패리티를 재-생성하는 것은, 디스플레이가 왼쪽 및 오른쪽 눈에 대한 시야를 분리할 수 있도록 하여, 각각 디스플레이 상에서 약간 상이한 이미지가 보여지도록 하는 것을 요구한다. 양안 디스패리티를 재-생성할 수 있는 디스플레이들은 우리가 3D 또는 입체 디스플레이들이라고 하는 특별한 디스플레이들이다. 3D 디스플레이들은 인간 눈들에 의해 실제로 지각되는 깊이 차원을 따라 이미지들을 디스플레이할 수 있고, 이는 본원에서 디스플레이 깊이 범위를 갖는 3D 디스플레이라고 일컬어진다. 따라서, 3D 디스플레이들은 왼쪽 및 오른쪽 눈에 상이한 뷰를 제공한다.
2개의 상이한 뷰들을 제공할 수 있는 3D 디스플레이들이 나온지는 오래되었다. 이들 중 대부분은 왼쪽 및 오른쪽 눈 뷰를 분리시키기는 안경을 사용하는 것에 기초한다. 디스플레이 기술의 진보에 의해, 안경을 사용하지 않고 스테레오 뷰를 제공할 수 있는 새로운 디스플레이들이 시장에 출현하였다. 이들 디스플레이들은 오토-스테레오스코픽 디스플레이들이라고 한다.
제 1 방식은 사용자가 안경 없이 스테레오 비디오를 볼 수 있도록 하는 LCD 디스플레이들에 기초한다. 이들은 두 가지 기술들, 즉, 렌티큘러 스크린 및 배리어 디스플레이들 중 어느 하나에 기초한다. 렌티큘러 디스플레이에 있어서, LCD는 렌티큘러 렌즈들의 시트로 덮여진다. 이들 렌즈들은 디스플레이로부터의 광을 회절시켜, 왼쪽 및 오른쪽 눈이 상이한 화소들로부터 수광하도록 한다. 이것은 2개의 상이한 이미지들을 왼쪽 눈 뷰에 대해 하나 및 오른쪽 눈 뷰에 대해 하나가 디스플레이되도록 하는 것을 가능하게 한다.
렌티큘러 스크린의 대안은, LCD에서 화소들로부터 광을 분리시키기 위해 LCD의 뒤 및 역광 앞에서 시차 배리어를 사용하는 배리어 디스플레이이다. 배리어는, 스크린 앞의 설정된 위치로부터, 왼쪽 눈이 오른쪽 눈과는 다른 화소들을 보도록 한다. 배리어는 또한 디스플레이의 행에서의 화소들이 왼쪽 및 오른쪽 눈에 의해 교대로 보일 수 있도록 LCD와 인간 시청자 사이에 있을 수도 있다. 배리어 디스플레이가 갖는 문제점은 휘도 및 해상도의 손실뿐만 아니라 매우 좁은 시청 각도이다. 이것은, 예를 들어, 9개의 뷰들 및 다수의 시청 구역들을 갖는 렌티큘러 스크린에 비해 거실 TV로서는 덜 매력적이 되도록 한다.
또 다른 방식은 높은 리프레시 비율(예를 들어, 120㎐)로 프레임들을 디스플레이할 수 있는 고-해상도 비머들과 함께 셔터-안경을 사용하는 것에 또한 기초한다. 셔터 안경 방법에 있어서, 왼쪽 및 오른쪽 눈 뷰는 교대로 디스플레이되기 때문에, 높은 리프레시 비율이 요구된다. 시청자가 끼고 있는 동안 안경은 60㎐로 스테레오 비디오를 지각한다. 셔터-안경 방법은 고품질 비디오 및 큰 레벨의 깊이를 가능하게 한다.
오토 스테레오스코픽 디스플레이들 및 셔터 안경 방법은 모두 원근 조절-수렴 현상 불일치를 겪는다. 이것은 이들 디바이스들을 사용하여 편안하게 시청될 수 있는 깊이 및 시간의 양을 제한한다. 이 문제를 겪지 않는, 홀로그램 및 용적 측정 디스플레이들과 같은, 다른 디스플레이 기술들이 있다. 본 발명은 깊이 범위를 갖는 임의의 종류의 3D 디스플레이에 사용될 수도 있다는 것을 유념해야 한다.
3D 디스플레이들에 대한 이미지 데이터는 전자, 대개는 디지털 데이터로서 이용될 수 있는 것으로 가정된다. 본 발명은 이러한 이미지 데이터와 관련되고, 디지털 분야에서의 이미지 데이터를 다룬다. 이미지 데이터는 소스로부터 전송될 때, 예를 들어, 이중 카메라들을 사용하여 3D 정보를 이미 포함하고 있을 수도 있거나, 또는 2D 이미지들로부터 3D 정보를 (재-)생성하기 위해 전용 처리 시스템이 수반될 수도 있다. 이미지 데이터는 슬라이드들과 같이 정지된 것일 수도 있거나, 또는 영화들과 같이 움직이는 비디오를 포함할 수도 있다. 다른 이미지 데이터, 대개는 그래픽 데이터는 저장되어 있는 객체들로서 이용할 수 있거나 또는 응용에서 필요로 할 때 플라이(fly) 상에서 발생될 수도 있다. 예를 들어, 메뉴들, 네비게이션 항목들이나 텍스트 및 도움말 주석들과 같은 사용자 제어 정보가 다른 이미지 데이터에 부가될 수도 있다.
스테레오 이미지들이 포매팅될 수도 있는 많은 상이한 방법들이 있으며, 이는 3D 이미지 포맷이라고 한다. 몇몇 포맷들은 스테레오 정보를 전달하기 위해 2D 채널을 사용하는 것에 기초한다. 예를 들어, 왼쪽 및 오른쪽 뷰는 인터레이스될 수 있거나 또는 나란히 및 위 아래로 배치될 수 있다. 이들 방법들은 스테레오 정보를 전달하기 위해 해상도를 희생시킨다. 또 다른 옵션은 컬러를 희생시키는 것으로, 이 방식은 애너그리프 스테레오(anaglyphic stereo)라고 한다. 애너그리프 스테레오는 2개의 별개의 중첩된 이미지들을 보색들로 디스플레이하는 것에 기초하는 스펙트럼 멀티플렉싱을 사용한다. 채색된 필터들을 갖는 안경을 사용함으로써, 각 눈은 그 눈의 앞에 있는 필터의 색과 동일한 색의 이미지만을 보게 된다. 따라서, 예를 들어, 오른쪽 눈은 적색 이미지만을 보게 되고, 왼쪽 눈은 녹색 이미지만을 보게 된다.
상이한 3D 포맷은, 2D 이미지 및 2D 이미지에서 객체들의 깊이에 관한 정보를 전달하는 부가적인 깊이 이미지, 소위 깊이 맵을 사용하는 2개의 뷰들에 기초한다. 이미지+깊이라고 하는 포맷은 2D 이미지를 소위 "깊이" 또는 디스패리티 맵과 조합하는 것과는 다르다. 이것은 그레이 스케일 이미지이고, 그로써, 화소의 그레이 스케일 값은 연관된 2D 이미지에서 대응하는 화소에 대한 디스패리티(또는 깊이 맵의 경우에는 깊이)의 양을 나타낸다. 디스플레이 디바이스는 입력으로서 2D 이미지를 취하는 부가적인 뷰들을 산출하기 위해 디스패리티, 깊이 또는 시차 맵을 사용한다. 이것은 다양한 방법들로 행해질 수도 있으며, 가장 간단한 형태로는, 그 화소들과 연관된 디스패리티 값에 의존하여 왼쪽 또는 오른쪽으로 화소들을 이동시키는 것이다. 크리스토프 펜에 의한 명칭이 "3D TV에 관한 새로운 방식에 있어서의 깊이 이미지 기반 렌더링, 압축 및 송신"인 논문은 이 기술의 우수한 개요를 제공한다(http://iphome.hhi.de/fehn/Publications/fehn_EI2004.pdf 참조).
도 2는 3D 이미지 데이터의 예를 도시한다. 이미지 데이터의 왼쪽 부분은 대개 컬러의 2D 이미지(21)이고, 이미지 데이터의 오른쪽 부분은 깊이 맵(22)이다. 2D 이미지 정보는 임의의 적절한 이미지 포맷으로 표현될 수도 있다. 깊이 맵 정보는, 가능하게는 2D 이미지에 비해 감소된 해상도로, 각 화소에 대한 깊이 값을 갖는 부가적인 데이터 스트림일 수도 있다. 깊이 맵에서, 그레이 스케일 값들은 2D 이미지에서의 연관된 화소의 깊이를 나타낸다. 하얀색은 시청자와 가까운 것을 나타내고, 검정색은 시청자로부터 멀리 있는 큰 깊이를 나타낸다. 3D 디스플레이는 깊이 맵으로부터의 깊이 값을 사용함으로써 및 필요한 화소 변환들을 계산함으로써 스테레오에 요구되는 부가적인 뷰를 계산할 수 있다. 추정 또는 홀 필터링 기술들을 사용하여 폐색들이 해결될 수도 있다. 예를 들어, 폐색 맵, 시차 맵 및/또는 배경 앞의 움직이는 투명한 객체들에 대한 투명도 맵과 같이, 이미지 및 깊이 맵 포맷에 더 부가되는 부가적인 프레임들이 데이터 스트림에 포함될 수도 있다.
비디오에 스테레오를 부가하는 것은 또한 블루-레이 디스크 플레이어와 같은 플레이어 디바이스로부터 스테레오 디스플레이로 전송될 때 비디오의 포맷에 영향을 준다. 2D의 경우에는 2D 비디오 스트림만이 전송된다(디코딩된 화상 데이터). 스테레오 비디오에 있어서, 이것은 제 2 스트림이 (스테레오를 위한) 제 2 뷰 또는 깊이 맵을 포함하여 전송되어야 할 때 증가한다. 이것은 전기 인터페이스에 있어서 요구되는 비트 레이트를 두 배로 할 수 있다. 다른 방식은 제 2 뷰 또는 깊이 맵이 인터레이스되거나 2D 비디오와 나란히 배치되도록 스트림에서 해상도 및 포맷을 희생시키는 것이다.
가정에 있는 다수의 디바이스들(DVD/BD/TV) 또는 가정 외부에 있는 다수의 디바이스들(전화, 휴대용 매체 플레이어)은 향후 스테레오스코픽 또는 오토-스테레오스코픽 디바이스들에서 3D 콘텐트를 디스플레이하는 것을 지원할 것이다. 그러나, 3D 콘텐트는 주로 특정 스크린 크기에 맞춰 개발된다. 이것은 콘텐트가 디지털 영화를 위해 기록된 경우에 가정용 디스플레이에 대해서는 재-준비되어야 할 수도 있다는 것을 의미한다. 해결책은 플레이어에서 콘텐트를 재-준비하는 것이다. 이미지 데이터 포맷에 따라서, 이것은 깊이-맵의 처리, 예를 들어, 팩터 스케일링, 또는 스테레오 콘텐트를 위한 왼쪽 또는 오른쪽 뷰 이동을 필요로 한다. 여기서, 스크린 크기는 플레이어가 알고 있어야 한다. 콘텐트의 정확한 용도 변경을 행하기 위해서, 스크린 치수들이 중요할 뿐만 아니라, 다른 인자들 또한 고려되어야 한다. 이것은, 예를 들어, 시청자 청중으로, 예를 들어, 어린이들의 눈동자-간 거리는 어른들 보다 더 작다. 부정확한 3D 데이터(특히, 무한 범위)는 어린이들의 눈들이 벌어지도록 하고, 이것은 눈의 피로 또는 메스꺼움을 유발한다. 또한, 3D 경험은 사람들의 시청 거리에 의존한다. 시청자와 관련된 데이터 및 3D 디스플레이에 대한 그의 위치는 시청자 메타데이터라고 한다. 또한, 디스플레이는 동적 디스플레이 영역, 최적의 깊이 범위 등을 가질 수도 있다. 외부에서, 디스플레이 아티팩트들의 깊이 범위는, 예를 들어, 뷰들 간의 혼선과 같이, 너무 커질 수도 있다. 이것은 또한 소비자의 시청 편안함을 감소시킨다. 실제 3D 디스플레이 데이터는 디스플레이 메타데이터라고 한다. 현재의 해결책은 가정용 시스템의 다양한 디바이스들 간에 액세스할 수 있는 메타데이터를 저장하고, 분배하고 만드는 것이다. 예를 들어, 메타데이터는 디스플레이의 EDID 정보를 통해 전송될 수도 있다.
도 3은 3D 이미지 디바이스 및 3D 디스플레이 디바이스 메타데이터 인터페이스를 도시한다. 3D 이미지 디바이스(10)와 3D 디스플레이 디바이스(13) 간의 양방향 인터페이스(31)를 통한 메시지들이 개략적으로 도시되어 있다. 3D 이미지 디바이스(10), 예를 들어, 재생 디바이스는 인터페이스를 통해 디스플레이(13)의 능력들을 알게 되고, 디스플레이가 다룰 수 있는 공간적 및 시간적 최고 해상도 비디오를 전송하기 위해 비디오의 포맷 및 타이밍 파라미터들을 조정한다. 실제로, 표준은 소위 EDID가 사용된다. 확장형 디스플레이 식별 데이터(EDID)는 이미지 소스, 예를 들어, 그래픽 카드에 대한 그의 능력들을 기술하기 위해 디스플레이 디바이스에 의해 제공되는 데이터 구조이다. 이것은 현대의 개인용 컴퓨터가 어떤 종류의 모니터가 접속되어 있는지를 알 수 있도록 한다. EDID는 비디오 전자 표준 협회(VESA)에 의해 공개된 표준에 의해 규정된다. 또한, http://www.vesa.org/를 통해 이용할 수 있는 2008년 1월 11일, VESA 디스플레이 포트 표준 버전 1, 리비전 1a를 참조한다.
전통적인 EDID는 제조자명, 제품 종류, 인 또는 필터 종류, 디스플레이에 의해 지원되는 타이밍들, 디스플레이 크기, 휘도 데이터 및 (디지털 디스플레이들에 대해서만) 화소 매핑 데이터를 포함한다. 디스플레이로부터 그래픽 카드로 EDID를 전송하기 위한 채널은 일반적으로 소위
Figure pct00001
버스이다. EDID 및
Figure pct00002
의 조합은 디스플레이 데이터 채널 버전 2 또는 DDC2라고 한다. 버전 2는 상이한 직렬 포맷을 사용하는 VESA의 원래 DDC와 구별하기 위한 것이다. EDID는 종종
Figure pct00003
버스와 호환될 수 있는 직렬 PROM(프로그램 가능한 판독-전용 메모리) 또는 EEPROM(전기적으로 소거 가능한 PROM)이라고 하는 메모리 디바이스로 모니터에 저장된다.
재생 디바이스는 E-EDID 요청을 DDC2 채널을 통해 디스플레이에 전송한다. 디스플레이는 E-EDID 정보를 전송함으로써 응답한다. 플레이어는 최상의 포맷을 결정하고 비디오 채널을 통해 송신하기 시작한다. 이전 종류들의 디스플레이들에 있어서, 디스플레이는 E-EDID 정보를 DDC 채널 상에서 연속적으로 전송한다. 요청은 전송되지 않는다. 인터페이스에서 사용하기 위한 비디오 포맷을 또한 규정하기 위해서, 또 다른 단체(소비자 전자장치 협회; CEA)는 E-EDID를 TV 종류의 디스플레이들과 함께 사용하기에 더욱 적합하게 만들기 위해서 여러 개의 부가적인 제약들 및 확장들을 규정하였다. 특정 E-EDID 요건들 외에 (상기 언급된) HDMI 표준은 많은 상이한 비디오 포맷들에 대한 식별 코드들 및 관련 타이밍 정보를 지원한다. 예를 들어, CEA 861-D 표준이 인터페이스 표준 HDMI에 채택된다. HDMI는 물리 링크들을 규정하고, 고 레벨 시그널링을 처리하기 위해 CEA 861-D 및 VESA E-EDID 표준들을 지원한다. VESA E-EDID 표준은 디스플레이가 스테레오스코픽 비디오 송신을 지원하는지 및 어떤 포맷인지를 나타낼 수 있도록 한다. 디스플레이의 능력들에 관한 이러한 정보는 소스 디바이스 쪽으로 다시 전달된다는 것을 유념해야 한다. 공지된 VESA 표준들은 디스플레이에서 3D 처리를 제어하는 임의의 포워드 3D 정보를 규정하지 않는다.
본 시스템의 일 실시예에서, 디스플레이는 실제 시청자 메타데이터 및/또는 실제 디스플레이 메타데이터를 제공한다. 실제 디스플레이 메타데이터는 E-EDID와 같은 기존의 디스플레이 크기 파라미터와는 다르고, E-EDID에 이미 포함되어 있는 디스플레이 크기와는 다른(예를 들어, 더 작은), 3D 이미지 데이터를 디스플레이하기 위해 사용되는 디스플레이 영역의 실제 크기를 규정한다는 것을 유념해야 한다. E-EDID는 전통적으로 PROM으로부터 디바이스에 관한 정적 정보를 제공한다. 제안된 확장은 디스플레이 디바이스에서 이용 가능할 때의 시청자 메타데이터, 및 타겟 공간적 시청 구성에 대한 소스 3D 이미지 데이터를 처리하는 것과 관련된 다른 디스플레이 메타데이터를 동적으로 포함한다.
일 실시예에서, 시청자 메타데이터 및/또는 디스플레이 메타데이터는, 예를 들어, 관련되는 각각의 메타데이터 종류를 식별하는 동안 데이터 스트림에서 별개의 패킷으로서 별도로 전송된다. 패킷은 또한 3D 처리를 조정하기 위해 메타데이터 또는 제어 데이터를 포함할 수도 있다. 실제 실시예에 있어서, HDMI 데이터 아일랜드들 내의 패킷들에 메타데이터가 삽입된다.
오디오 비디오 데이터(AV) 스트림의 HDMI에 규정된 것과 같은 보조 비디오 정보(AVI)에 메타데이터를 포함하는 예는 다음과 같다. AVI는 인포 프레임으로서 소스 디바이스로부터 디지털 텔레비전(DTV) 모니터로 AV-스트림에서 전달된다. 제어 데이터를 교환함으로써, 두 디바이스들이 상기 메타데이터의 송신을 지원한다면, 먼저 확립될 수도 있다.
도 4는 메타데이터로 확장된 AVI-인포 프레임의 표를 도시한다. AVI-인포 프레임은 CEA에 의해 규정되고, 컬러 및 크로마 샘플링, 오버스캔과 언더스캔 및 애스팩트비에 관한 프레임 시그널링을 제공하기 위해 HDMI 및 다른 비디오 송신 표준들에 의해 채택된다. 부가적인 정보가 다음과 같이 메타데이터를 구체화하기 위해 부가된다. 메타데이터는 또한 E-EDID 또는 임의의 다른 적절한 전송 프로토콜을 통해 유사한 방식으로 전송될 수도 있다는 것을 유념해야 한다. 도면은 소스로부터 싱크로의 통신을 보여준다. 유사한 통신이 임의의 적절한 프로토콜에 의해 양방향으로 또는 싱크로부터 소스로 가능하다.
도 4의 통신 예에서, 데이터 바이트 1의 마지막 비트인 F17 및 데이터 바이트 4의 마지막 비트인 F47은 표준 AVI-인포 프레임에 예약되어 있다. 일 실시예에서, 이들은 블랙-바 정보로 메타데이터의 존재를 나타내기 위해 사용된다. 블랙-바 정보는 일반적으로 데이터 바이트 6 내지 13에 포함된다. 바이트 14 내지 27은 일반적으로 HDMI에 예약된다. 표의 구문은 다음과 같다. F17이 설정되면(=1), 데이터 바이트 9 내지 13은 3D 메타데이터 파라미터 정보를 포함한다. 디폴트 경우는 3D 메타데이터 파라미터 정보가 없는 것을 의미하는 F17이 설정되지 않을 때이다(=0).
다음 정보는, 도 4의 예에 의해 도시된 바와 같이, AVI 또는 EDID 정보에 부가될 수 있다:
- (권장됨) 디스플레이에 의해 지원되는 최소 시차(또는 깊이 또는 디스패리티);
- (권장됨) 디스플레이에 의해 지원되는 최대 시차(또는 깊이 또는 디스패리티);
- 사용자 선호의 최소 깊이(또는 시차 또는 디스패리티);
- 사용자 선호의 최대 깊이(또는 시차 또는 디스패리티);
- 어린이 모드(눈동자-간 거리를 포함함);
- 최소 및 최대 시청 거리.
상기 파라미터들의 조합된 값들, 및/또는 별개의 최소 및 최대 또는 평균 값들이 사용될 수도 있다는 것을 유념해야 한다. 또한, 정보 중 일부는 전송된 정보에 존재하지 않아야 하지만, 각각 플레이어 또는 디스플레이에 제공되고, 설정되고 및/또는 저장될 수 있고, 특정 디스플레이를 위한 최상의 3D 콘텐트를 발생시키기 위해 이미지 처리 유닛에 의해 사용될 수 있다. 그 정보는 또한 모든 이용 가능한 시청자 정보에 기초하여 디스플레이 디바이스에서의 처리에 적용함으로써 최상의 가능한 렌더링을 행할 수 있도록 하기 위해 디스플레이와 플레이어 간에 전송될 수 있다.
시청자 메타데이터는 자동 또는 사용자 제어 방식으로 검색될 수 있다. 예를 들어, 최소 및 최대 시청 거리는 사용자 메뉴를 통해 사용자에 의해 삽입될 수 있다. 어린이 모드는 원격 제어기 상의 버튼에 의해 제어될 수 있다. 일 실시예에서, 디스플레이는 카메라에 내장된다. 이와 같이 공지된 이미지 처리를 통해, 디바이스는 시청 거리 및 가능한 눈동자-간 거리를 추정하는 것에 기초하여 시청자 청중의 얼굴들을 검출할 수 있다.
디스플레이 메타데이터의 실시예에서, 디스플레이에 의해 지원되는 권장된 최소 및/또는 최대 깊이가 디스플레이 제조자에 의해 제공된다. 디스플레이 메타데이터는 메모리에 저장되어 있을 수도 있거나, 또는 인터넷과 같은 네트워크를 통해 검색될 수도 있다.
요약하면, 상술된 바와 같이 시청자 메타데이터 및 디스플레이 메타데이터를 교환하기 위해 협력하는 3D 디스플레이 또는 3D 가능 플레이어는, 사용자에게 최상의 시청 경험을 제공하는 것과 같이, 콘텐트를 최적으로 렌더링하기 위한 3D 이미지 데이터를 처리하기 위한 모든 정보를 갖는다.
본 발명은 프로그램 가능한 구성요소들을 사용하여 하드웨어 및/또는 소프트웨어로 구현될 수도 있다는 것을 유념해야 한다. 본 발명을 구현하기 위한 방법은 도 1을 참조하여 설명된 3D 이미지 데이터의 처리에 대응하는 처리 단계들을 갖는다. 본 발명은 주로 가정용 3D 디스플레이 디바이스들 상에 디스플레이될 광학 기록 캐리어들 또는 인터넷으로부터의 3D 소스 이미지 데이터를 사용하는 실시예들에 의해 설명되었지만, 본 발명은 또한 3D 디스플레이를 갖는 이동 PDA나 이동 전화, 3D 개인용 컴퓨터 디스플레이 인터페이스, 또는 무선 3D 디스플레이 디바이스에 연결된 3D 매체 센터와 같이 어떠한 이미지 처리 환경에도 적합하다.
본원에서, 단어 '포함하는'은 나열된 것 이외의 다른 요소들 또는 단계들의 존재를 배제하지 않고, 요소 앞에 오는 단어 '한' 또는 '하나의'는 이러한 요소들의 복수의 존재를 배제하지 않고, 임의의 참조 부호들은 청구항들의 범위를 제한하지 않고, 본 발명은 하드웨어 및 소프트웨어 모두로 구현될 수도 있고, 여러 개의 '수단들' 또는 '유닛들'은 하드웨어 또는 소프트웨어의 동일한 항목으로 표현될 수도 있고, 처리기는 가능하게는 하드웨어 요소들과 함께 하나 이상의 유닛들의 기능을 이행할 수도 있다. 또한, 본 발명은 실시예들로 제한되지 않고, 새로운 특징 또는 상술된 특징들의 조합 각각 및 모두에 포함된다.
10 : 3D 이미지 디바이스 12 : 이미지 인터페이스 유닛
13 : 3D 디스플레이 디바이스 14 : 디스플레이 유닛
15, 16 : 사용자 제어 소자 17 : 3D 디스플레이
18 : 이미지 처리 유닛 19 : 메타데이터 유닛
51 : 입력 유닛 52 : 이미지 처리 유닛
54 : 기록 캐리어 55 : 네트워크
56 : 3D 디스플레이 신호 57 : 원격 매체 서버
58 : 광학 디스크 유닛 59 : 네트워크 인터페이스 유닛
111, 191 : 시청자 메타데이터 유닛
112, 192 : 디스플레이 메타데이터 유닛

Claims (14)

  1. 시청자를 위해 3D 디스플레이 상에 디스플레이하기 위한 3차원[3D] 이미지 데이터의 처리 방법에 있어서:
    소스 공간적 시청 구성을 위해 준비된 소스 3D 이미지 데이터를 수신하는 단계,
    상기 3D 디스플레이의 공간적 디스플레이 파라미터들을 규정하는 3D 디스플레이 메타데이터를 제공하는 단계,
    상기 3D 디스플레이에 대한 상기 시청자의 공간적 시청 파라미터들을 규정하는 시청자 메타데이터를 제공하는 단계, 및
    타겟 공간적 시청 구성에서 상기 3D 디스플레이 상에 디스플레이하기 위한 타겟 3D 디스플레이 데이터를 발생시키기 위해 상기 소스 3D 이미지 데이터를 처리하는 단계를 포함하고,
    상기 처리는,
    상기 3D 디스플레이 메타데이터 및 상기 시청자 메타데이터에 의존하여 상기 타겟 공간적 구성을 결정하고,
    상기 소스 공간적 시청 구성 및 상기 타겟 공간적 시청 구성 간의 차이들에 기초하여 상기 소스 3D 이미지 데이터를 상기 타겟 3D 디스플레이 데이터로 변환하는 것을 포함하는, 3차원 이미지 데이터의 처리 방법.
  2. 제 1 항에 있어서,
    상기 시청자 메타데이터를 제공하는 단계는:
    상기 3D 디스플레이까지의 상기 시청자의 시청 거리;
    상기 시청자의 눈동자-간 거리;
    상기 3D 디스플레이의 평면에 대한 상기 시청자의 시청 각도; 및
    상기 3D 디스플레이의 중심에 대한 상기 시청자 위치의 시청 오프셋을 포함하는 공간적 시청 파라미터들 중 적어도 하나를 제공하는 단계를 포함하는, 3차원 이미지 데이터의 처리 방법.
  3. 제 1 항에 있어서,
    상기 3D 디스플레이 메타데이터를 제공하는 단계는:
    상기 3D 디스플레이의 스크린 크기;
    상기 3D 디스플레이에 의해 지원되는 깊이 범위;
    상기 3D 디스플레이의 제조자 권장 깊이 범위; 및
    상기 3D 디스플레이의 사용자 선호 깊이 범위를 포함하는 공간적 디스플레이 파라미터들 중 적어도 하나를 제공하는 단계를 포함하는, 3차원 이미지 데이터의 처리 방법.
  4. 시청자를 위해 3D 디스플레이 상에 디스플레이하기 위한 3차원[3D] 이미지 데이터를 처리하기 위한 3D 이미지 디바이스에 있어서:
    소스 공간적 시청 구성을 위해 준비되는 소스 3D 이미지 데이터를 수신하기 위한 입력 수단(51),
    상기 3D 디스플레이의 공간적 디스플레이 파라미터들을 규정하는 3D 디스플레이 메타데이터를 제공하기 위한 디스플레이 메타데이터 수단(112, 192),
    상기 3D 디스플레이에 대한 상기 시청자의 공간적 시청 파라미터들을 규정하는 시청자 메타데이터를 제공하기 위한 시청자 메타데이터 수단(111, 191), 및
    타겟 공간적 시청 구성에서 상기 3D 디스플레이 상에 디스플레이하기 위한 3D 디스플레이 신호(56)를 발생시키기 위해 상기 소스 3D 이미지 데이터를 처리하기 위한 처리 수단(52, 18)을 포함하고,
    상기 처리 수단(52)은,
    상기 3D 디스플레이 메타데이터 및 상기 시청자 메타데이터에 의존하여 상기 타겟 공간적 구성을 결정하고,
    상기 소스 공간적 시청 구성 및 상기 타겟 공간적 시청 구성 간의 차이들에 기초하여 상기 소스 3D 이미지 데이터를 상기 3D 디스플레이 신호로 변환하도록 준비되는, 3D 이미지 디바이스.
  5. 제 4 항에 있어서,
    상기 디바이스는 소스 3D 이미지 디바이스이고, 상기 3D 디스플레이 신호(56)를 출력하고 상기 시청자 메타데이터를 전송하기 위한 이미지 인터페이스 수단(12)을 포함하는, 3D 이미지 디바이스.
  6. 제 4 항에 있어서,
    상기 디바이스는 3D 디스플레이 디바이스이고, 3D 이미지 데이터를 디스플레이하기 위한 3D 디스플레이(17), 및 상기 3D 디스플레이 신호(56)를 수신하고 상기 시청자 메타데이터를 전송하기 위한 디스플레이 인터페이스 수단(14)을 포함하는, 3D 이미지 디바이스.
  7. 시청자를 위해 3D 디스플레이 상에 디스플레이하기 위한 3차원[3D] 이미지 데이터를 제공하기 위한 3D 소스 디바이스에 있어서:
    소스 공간적 시청 구성을 위해 준비되는 소스 3D 이미지 데이터를 수신하기 위한 입력 수단(51),
    3D 디스플레이 신호(56)를 전송하기 위해 상기 3D 디스플레이를 갖는 3D 디스플레이 디바이스와 인터페이스하기 위한 이미지 인터페이스 수단(12),
    상기 3D 디스플레이에 대한 상기 시청자의 공간적 시청 파라미터들을 규정하는 시청자 메타데이터를 제공하기 위한 시청자 메타데이터 수단(111), 및
    타겟 공간적 시청 구성에서 상기 3D 디스플레이 상에 디스플레이하기 위한 상기 3D 디스플레이 신호(56)를 발생시키기 위한 처리 수단(52)으로서, 상기 3D 디스플레이 디바이스로 하여금 타겟 공간적 시청 구성에서 상기 3D 디스플레이 상에 디스플레이하기 위한 상기 소스 3D 이미지 데이터를 처리할 수 있도록 하기 위해 상기 디스플레이 신호에 상기 시청자 메타데이터를 포함하도록 준비되는, 상기 처리 수단(52)을 포함하고,
    상기 처리는,
    상기 3D 디스플레이 메타데이터 및 상기 시청자 메타데이터에 의존하여 상기 타겟 공간적 구성을 결정하고,
    상기 소스 공간적 시청 구성 및 상기 타겟 공간적 시청 구성 간의 차이들에 기초하여 상기 소스 3D 이미지 데이터를 상기 3D 디스플레이 신호로 변환하는 것을 포함하는, 3D 소스 디바이스.
  8. 3D 디스플레이 디바이스에 있어서:
    3D 이미지 데이터를 디스플레이하기 위한 3D 디스플레이(17),
    3D 디스플레이 신호(56)를 전송하기 위해 소스 3D 이미지 디바이스와 인터페이스하기 위한 디스플레이 인터페이스 수단(14)으로서, 상기 소스 3D 이미지 디바이스는 소스 공간적 시청 구성을 위해 준비되는 소스 3D 이미지 데이터를 수신하기 위한 입력 수단(51)을 포함하는, 상기 디스플레이 인터페이스 수단(14),
    상기 3D 디스플레이에 대한 상기 시청자의 공간적 시청 파라미터들을 규정하는 시청자 메타데이터를 제공하기 위한 시청자 메타데이터 수단(191),
    상기 3D 디스플레이(17) 상에 디스플레이하기 위해 상기 3D 디스플레이 신호(56)를 발생시키기 위한 처리 수단(18)으로서, 상기 처리 수단(18)은 상기 디스플레이 인터페이스 수단(14)을 통해 상기 3D 디스플레이 신호(56)로 상기 소스 3D 이미지 디바이스에 전송하도록 준비되고, 상기 시청자 메타데이터는 상기 소스 3D 이미지 디바이스로 하여금 타겟 공간적 시청 구성에서 상기 3D 디스플레이 상에 디스플레이하기 위한 상기 소스 3D 이미지 데이터를 처리할 수 있도록 하는, 상기 처리 수단(18)을 포함하고,
    상기 처리는,
    상기 3D 디스플레이 메타데이터 및 상기 시청자 메타데이터에 의존하여 상기 타겟 공간적 구성을 결정하고,
    상기 소스 공간적 시청 구성 및 상기 타겟 공간적 시청 구성 간의 차이들에 기초하여 상기 소스 3D 이미지 데이터를 상기 3D 디스플레이 신호를 변환하는 것을 포함하는, 3D 디스플레이 디바이스.
  9. 제 4 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 시청자 메타데이터 수단(111, 191)은 어린이를 나타내는 눈동자-간 거리를 공간적 시청 파라미터로서 제공하기 위한 어린이 모드를 설정하기 위한 수단을 포함하는, 디바이스.
  10. 제 4 항 내지 제 8 항 중 어느 한 항에 있어서,
    상기 시청자 메타데이터 수단(111, 191)은 상기 3D 디스플레이의 시청 영역에 존재하는 시청자의 적어도 하나의 공간적 시청 파라미터를 검출하기 위한 시청자 검출 수단을 포함하는, 디바이스.
  11. 3D 이미지 디바이스 및 3D 디스플레이 간에, 시청자를 위해 상기 3D 디스플레이 상에 디스플레이하기 위한 3차원[3D] 이미지 데이터를 전송하기 위한 3D 디스플레이 신호에 있어서,
    상기 3D 디스플레이 신호는 상기 3D 이미지 디바이스로 하여금 소스 공간적 시청 구성을 위해 준비되는 소스 3D 이미지 데이터를 수신하고 타겟 공간적 시청 구성에서 상기 3D 디스플레이 상에 디스플레이하기 위해 상기 소스 3D 이미지 데이터를 처리할 수 있도록 하기 위한 시청자 메타데이터를 포함하고, 상기 시청자 메타데이터는 별개의 데이터 채널을 통해 상기 3D 디스플레이로부터 상기 3D 이미지 디바이스로 또는 상기 3D 이미지 디바이스로부터 별개의 패킷에 포함되어 있는 상기 3D 디스플레이로 전송되고,
    상기 처리는,
    3D 디스플레이 메타데이터 및 상기 시청자 메타데이터에 의존하여 상기 타겟 공간적 구성을 결정하고,
    상기 소스 공간적 시청 구성 및 상기 타겟 공간적 시청 구성 간의 차이들에 기초하여 상기 소스 3D 이미지 데이터를 상기 3D 디스플레이 신호를 변환하는 것을 포함하는, 3D 디스플레이 신호.
  12. 제 11 항에 있어서,
    상기 신호는 HDMI 신호이고, 상기 시청자 메타데이터는 상기 디스플레이 데이터 채널(DDC)을 통해 상기 3D 디스플레이로부터 상기 3D 이미지 디바이스로 또는 상기 3D 이미지 디바이스로부터 HDMI 데이터 아일랜드의 패킷에 포함되어 있는 상기 3D 디스플레이로 전송되는, 3D 디스플레이 신호.
  13. 시청자를 위해 3D 디스플레이 상에 디스플레이하기 위해 3차원[3D] 이미지 데이터를 3D 이미지 디바이스로 전송하기 위한 3D 이미지 신호에 있어서,
    상기 3D 이미지 신호는 소스 공간적 시청 구성을 위해 준비되는 소스 3D 이미지 데이터 및 상기 3D 이미지 디바이스로 하여금 타겟 공간적 시청 구성에서 상기 3D 디스플레이 상에 디스플레이하기 위한 상기 소스 3D 이미지 데이터를 처리할 수 있도록 하기 위한 상기 소스 공간적 시청 구성을 나타내는 소스 이미지 메타데이터를 포함하고,
    상기 처리는,
    3D 디스플레이 메타데이터 및 시청자 메타데이터에 의존하여 상기 타겟 공간적 구성을 결정하고,
    상기 소스 공간적 시청 구성 및 상기 타겟 공간적 시청 구성 간의 차이들에 기초하여 상기 소스 3D 이미지 데이터를 상기 3D 디스플레이 신호로 변환하는 것을 포함하는, 3D 이미지 신호.
  14. 제 13 항에 청구된 것과 같은 상기 3D 이미지 신호를 나타내는 물리적으로 검출 가능한 마크들을 포함하는, 기록 캐리어.
KR1020117021689A 2009-02-18 2010-02-11 3d 시청자 메타데이터의 전송 KR20110129903A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP09153102 2009-02-18
EP09153102.0 2009-02-18

Publications (1)

Publication Number Publication Date
KR20110129903A true KR20110129903A (ko) 2011-12-02

Family

ID=40438157

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117021689A KR20110129903A (ko) 2009-02-18 2010-02-11 3d 시청자 메타데이터의 전송

Country Status (7)

Country Link
US (1) US20110298795A1 (ko)
EP (1) EP2399399A1 (ko)
JP (1) JP2012518317A (ko)
KR (1) KR20110129903A (ko)
CN (1) CN102326395A (ko)
TW (1) TW201043001A (ko)
WO (1) WO2010095081A1 (ko)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9083958B2 (en) * 2009-08-06 2015-07-14 Qualcomm Incorporated Transforming video data in accordance with three dimensional input formats
DE102010009291A1 (de) 2010-02-25 2011-08-25 Expert Treuhand GmbH, 20459 Verfahren und Vorrichtung für ein anatomie-adaptiertes pseudoholographisches Display
US8692867B2 (en) * 2010-03-05 2014-04-08 DigitalOptics Corporation Europe Limited Object detection and rendering for wide field of view (WFOV) image acquisition systems
US8896664B2 (en) * 2010-09-19 2014-11-25 Lg Electronics Inc. Method and apparatus for processing a broadcast signal for 3D broadcast service
US9035939B2 (en) 2010-10-04 2015-05-19 Qualcomm Incorporated 3D video control system to adjust 3D video rendering based on user preferences
KR20120067879A (ko) * 2010-12-16 2012-06-26 한국전자통신연구원 삼차원 영상 표시 장치 및 그 표시 방법
KR101852811B1 (ko) * 2011-01-05 2018-04-27 엘지전자 주식회사 영상표시 장치 및 그 제어방법
US9412330B2 (en) * 2011-03-15 2016-08-09 Lattice Semiconductor Corporation Conversion of multimedia data streams for use by connected devices
JP2012204852A (ja) * 2011-03-23 2012-10-22 Sony Corp 画像処理装置および方法、並びにプログラム
JP2012205267A (ja) * 2011-03-28 2012-10-22 Sony Corp 表示制御装置、表示制御方法、検出装置、検出方法、プログラム、及び表示システム
US8723959B2 (en) 2011-03-31 2014-05-13 DigitalOptics Corporation Europe Limited Face and other object tracking in off-center peripheral regions for nonlinear lens geometries
US8860816B2 (en) * 2011-03-31 2014-10-14 Fotonation Limited Scene enhancements in off-center peripheral regions for nonlinear lens geometries
US8982180B2 (en) * 2011-03-31 2015-03-17 Fotonation Limited Face and other object detection and tracking in off-center peripheral regions for nonlinear lens geometries
JP5143291B2 (ja) * 2011-04-20 2013-02-13 株式会社東芝 画像処理装置、方法、および立体画像表示装置
CN102209253A (zh) * 2011-05-12 2011-10-05 深圳Tcl新技术有限公司 立体显示方法及立体显示系统
JP5639007B2 (ja) * 2011-05-17 2014-12-10 日本電信電話株式会社 3d映像視聴装置、3d映像視聴方法及び3d映像視聴プログラム
JP5909055B2 (ja) * 2011-06-13 2016-04-26 株式会社東芝 画像処理システム、装置、方法及びプログラム
US20130044192A1 (en) * 2011-08-17 2013-02-21 Google Inc. Converting 3d video into 2d video based on identification of format type of 3d video and providing either 2d or 3d video based on identification of display device type
CN102510504B (zh) * 2011-09-27 2015-04-15 深圳超多维光电子有限公司 裸眼立体显示系统的显示范围确定及显示方法及装置
EP2600616A3 (en) * 2011-11-30 2014-04-30 Thomson Licensing Antighosting method using binocular suppression.
US9084932B2 (en) 2012-01-13 2015-07-21 Gtech Canada Ulc Automated discovery of gaming preferences
US9269222B2 (en) 2012-01-13 2016-02-23 Igt Canada Solutions Ulc Remote gaming system using separate terminal to set up remote play with a gaming terminal
US9558619B2 (en) 2012-01-13 2017-01-31 Igt Canada Solutions Ulc Systems and methods for carrying out an uninterrupted game with temporary inactivation
US9123200B2 (en) 2012-01-13 2015-09-01 Gtech Canada Ulc Remote gaming using game recommender system and generic mobile gaming device
US9208641B2 (en) 2012-01-13 2015-12-08 Igt Canada Solutions Ulc Remote gaming method allowing temporary inactivation without terminating playing session due to game inactivity
US9295908B2 (en) 2012-01-13 2016-03-29 Igt Canada Solutions Ulc Systems and methods for remote gaming using game recommender
US9558625B2 (en) 2012-01-13 2017-01-31 Igt Canada Solutions Ulc Systems and methods for recommending games to anonymous players using distributed storage
US9011240B2 (en) 2012-01-13 2015-04-21 Spielo International Canada Ulc Remote gaming system allowing adjustment of original 3D images for a mobile gaming device
US9129489B2 (en) 2012-01-13 2015-09-08 Gtech Canada Ulc Remote gaming method where venue's system suggests different games to remote player using a mobile gaming device
US9159189B2 (en) 2012-01-13 2015-10-13 Gtech Canada Ulc Mobile gaming device carrying out uninterrupted game despite communications link disruption
US9536378B2 (en) 2012-01-13 2017-01-03 Igt Canada Solutions Ulc Systems and methods for recommending games to registered players using distributed storage
TWI499278B (zh) * 2012-01-20 2015-09-01 Univ Nat Taiwan Science Tech 影像重建方法
US9754442B2 (en) 2012-09-18 2017-09-05 Igt Canada Solutions Ulc 3D enhanced gaming machine with foreground and background game surfaces
US9454879B2 (en) 2012-09-18 2016-09-27 Igt Canada Solutions Ulc Enhancements to game components in gaming systems
US20140085432A1 (en) * 2012-09-27 2014-03-27 3M Innovative Properties Company Method to store and retrieve crosstalk profiles of 3d stereoscopic displays
CA2861607A1 (en) 2012-12-28 2014-06-28 Bethany Trainor Integrating additional symbols in a 3d enhanced gaming machine
JP6259262B2 (ja) * 2013-11-08 2018-01-10 キヤノン株式会社 画像処理装置および画像処理方法
US10347073B2 (en) 2014-05-30 2019-07-09 Igt Canada Solutions Ulc Systems and methods for three dimensional games in gaming systems
US9824524B2 (en) 2014-05-30 2017-11-21 Igt Canada Solutions Ulc Three dimensional enhancements to game components in gaming systems
KR102329814B1 (ko) * 2014-12-01 2021-11-22 삼성전자주식회사 3d 디스플레이를 위한 양안 거리 인식 장치
CN106068646B (zh) * 2015-12-18 2017-09-08 京东方科技集团股份有限公司 深度图生成方法、装置和非短暂性计算机可读介质
KR20180060559A (ko) * 2016-11-29 2018-06-07 삼성전자주식회사 동공 거리 결정 방법 및 장치
WO2018120294A1 (zh) * 2016-12-30 2018-07-05 华为技术有限公司 一种信息的处理方法及装置
WO2018131813A1 (en) 2017-01-10 2018-07-19 Samsung Electronics Co., Ltd. Method and apparatus for generating metadata for 3d images
KR102329061B1 (ko) * 2017-01-10 2021-11-19 삼성전자주식회사 3차원 이미지에 대한 메타데이터를 생성하기 위한 방법 및 장치
WO2019009922A1 (en) * 2017-07-07 2019-01-10 Hewlett-Packard Development Company, L.P. SELECTING AN EXTENDED DISPLAY IDENTIFICATION DATA STANDARD
CN107277485B (zh) * 2017-07-18 2019-06-18 歌尔科技有限公司 基于虚拟现实的图像显示方法和装置
US20200168045A1 (en) 2018-11-28 2020-05-28 Igt Dynamic game flow modification in electronic wagering games

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11113028A (ja) * 1997-09-30 1999-04-23 Toshiba Corp 3次元映像表示装置
US20050146521A1 (en) * 1998-05-27 2005-07-07 Kaye Michael C. Method for creating and presenting an accurate reproduction of three-dimensional images converted from two-dimensional images
JP2002095018A (ja) * 2000-09-12 2002-03-29 Canon Inc 画像表示制御装置及び画像表示システム、並びに画像データの表示方法
US7088398B1 (en) * 2001-12-24 2006-08-08 Silicon Image, Inc. Method and apparatus for regenerating a clock for auxiliary data transmitted over a serial link with video data
US8094927B2 (en) * 2004-02-27 2012-01-10 Eastman Kodak Company Stereoscopic display system with flexible rendering of disparity map according to the stereoscopic fusing capability of the observer
JP2005295004A (ja) 2004-03-31 2005-10-20 Sanyo Electric Co Ltd 立体画像処理方法および立体画像処理装置
KR100587547B1 (ko) * 2004-04-07 2006-06-08 삼성전자주식회사 컨텐츠별로 싱크 디바이스로의 출력을 제어하는 소스디바이스 및 그 방법
US8300043B2 (en) * 2004-06-24 2012-10-30 Sony Ericsson Mobile Communications AG Proximity assisted 3D rendering
CN101203881B (zh) * 2005-06-23 2015-04-22 皇家飞利浦电子股份有限公司 图像和相关数据的组合交换
JP4179387B2 (ja) * 2006-05-16 2008-11-12 ソニー株式会社 伝送方法、伝送システム、送信方法、送信装置、受信方法及び受信装置
CN101523924B (zh) 2006-09-28 2011-07-06 皇家飞利浦电子股份有限公司 3d菜单显示
JP4388968B2 (ja) * 2007-03-28 2009-12-24 オンキヨー株式会社 画像再生システム及びそれに用いられる信号処理装置
RU2454021C2 (ru) * 2007-05-17 2012-06-20 Сони Корпорейшн Устройство и способ обработки информации
KR101167246B1 (ko) * 2007-07-23 2012-07-23 삼성전자주식회사 3차원 콘텐츠 재생 장치 및 그 제어 방법
US8390674B2 (en) * 2007-10-10 2013-03-05 Samsung Electronics Co., Ltd. Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image
US20090142042A1 (en) * 2007-11-30 2009-06-04 At&T Delaware Intellectual Property, Inc. Systems, methods, and computer products for a customized remote recording interface
US8479253B2 (en) * 2007-12-17 2013-07-02 Ati Technologies Ulc Method, apparatus and machine-readable medium for video processing capability communication between a video source device and a video sink device
US8866971B2 (en) * 2007-12-17 2014-10-21 Ati Technologies Ulc Method, apparatus and machine-readable medium for apportioning video processing between a video source device and a video sink device
US8265453B2 (en) * 2008-06-26 2012-09-11 Panasonic Corporation Recording medium, playback apparatus, recording apparatus, playback method, recording method, and program
JP5448558B2 (ja) * 2009-05-01 2014-03-19 ソニー株式会社 送信装置、立体画像データの送信方法、受信装置、立体画像データの受信方法、中継装置および立体画像データの中継方法

Also Published As

Publication number Publication date
WO2010095081A1 (en) 2010-08-26
TW201043001A (en) 2010-12-01
US20110298795A1 (en) 2011-12-08
JP2012518317A (ja) 2012-08-09
CN102326395A (zh) 2012-01-18
EP2399399A1 (en) 2011-12-28

Similar Documents

Publication Publication Date Title
US20110298795A1 (en) Transferring of 3d viewer metadata
US20190215508A1 (en) Transferring of 3d image data
KR101634569B1 (ko) 3d 이미지 데이터의 전송
US10567728B2 (en) Versatile 3-D picture format
US20100103168A1 (en) Methods and apparatuses for processing and displaying image
WO2008038205A2 (en) 3 menu display
WO2010095080A1 (en) Combining 3d image and graphical data
US11381800B2 (en) Transferring of three-dimensional image data
US20110316848A1 (en) Controlling of display parameter settings
JP6085626B2 (ja) 3d画像データの転送

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid