KR20140138527A - 송신 장치, 송신 방법 및 수신 장치 - Google Patents

송신 장치, 송신 방법 및 수신 장치 Download PDF

Info

Publication number
KR20140138527A
KR20140138527A KR20137027680A KR20137027680A KR20140138527A KR 20140138527 A KR20140138527 A KR 20140138527A KR 20137027680 A KR20137027680 A KR 20137027680A KR 20137027680 A KR20137027680 A KR 20137027680A KR 20140138527 A KR20140138527 A KR 20140138527A
Authority
KR
South Korea
Prior art keywords
parallax information
information
data
picture
image data
Prior art date
Application number
KR20137027680A
Other languages
English (en)
Other versions
KR101998892B1 (ko
Inventor
이쿠오 츠카고시
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20140138527A publication Critical patent/KR20140138527A/ko
Application granted granted Critical
Publication of KR101998892B1 publication Critical patent/KR101998892B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

시차 정보 등의 화상 데이터의 관련 정보의 송신을 양호하게 행할 수 있도록 한다. 헤더부와 콘텐츠부를 포함하여 이루어지는 데이터 패킷을 생성한다. 화상 데이터의 관련 정보, 예를 들어 시차 정보 등을, 이 데이터 패킷의 콘텐츠부에 삽입한다. 이 데이터 패킷의 헤더부에 관련 정보의 종별을 식별하기 위한 식별 정보를 삽입한다. 이 데이터 패킷을, 화상 데이터에 관련지어, 외부 기기로 송신한다. 시차 정보 등의 화상 데이터의 관련 정보를, 효율적으로 외부 기기로 송신하는 것이 가능해진다.

Description

송신 장치, 송신 방법 및 수신 장치{TRANSMITTER, TRANSMISSION METHOD AND RECEIVER}
본 기술은, 송신 장치, 송신 방법 및 수신 장치에 관한 것으로, 특히 시차 정보(disparity) 등의 화상 데이터에 관련한 관련 정보의 송신을 양호하게 행할 수 있는 송신 장치 등에 관한 것이다.
예를 들어, 특허문헌 1에는, 입체 화상 데이터의 텔레비전 방송 전파를 이용한 전송 방식에 대하여 제안되어 있다. 이 경우, 입체 화상을 구성하는 좌안 화상 데이터 및 우안 화상 데이터가 송신되고, 텔레비전 수신기에 있어서, 양안 시차를 이용한 입체 화상 표시가 행해진다.
도 64는, 양안 시차를 이용한 입체 화상 표시에 있어서, 스크린 위에 있어서의 오브젝트(물체)의 좌우상의 표시 위치와, 그 입체상의 재생 위치의 관계를 나타내고 있다. 예를 들어, 스크린 위에 도시한 바와 같이 좌상 La가 우측으로 우상 Ra가 좌측으로 벗어나 표시되어 있는 오브젝트 A에 관해서는, 좌우 시선이 스크린면보다 앞쪽에서 교차하기 때문에, 그 입체상의 재생 위치는 스크린면보다 앞쪽이 된다.
또한, 예를 들어 스크린 위에 도시한 바와 같이 좌상 Lb 및 우상 Rb가 동일 위치에 표시되어 있는 오브젝트 B에 관해서는, 좌우 시선이 스크린면에서 교차하기 때문에, 그 입체상의 재생 위치는 스크린면 위가 된다. 또한, 예를 들어 스크린 위에 도시한 바와 같이 좌상 Lc가 좌측으로 우상 Rc가 우측으로 벗어나 표시되어 있는 오브젝트 C에 관해서는, 좌우 시선이 스크린면보다 안쪽에서 교차하기 때문에, 그 입체상의 재생 위치는 스크린면보다 안쪽이 된다.
일본 특허 공개 제2005-6114호 공보
전술한 바와 같이, 입체 화상 표시에 있어서, 시청자는, 양안 시차를 이용하여 입체 화상의 원근감을 인지한다. 여기서, 가장 앞쪽의 오브젝트 재생 위치에 대한 시차각(교차 방향의 시차각) 및 가장 안쪽의 오브젝트 재생 위치에 대한 시차각(동측 방향의 시차각)이 시청상 건강을 해치지 않도록 소정의 범위 내에 있을 필요가 있다. 즉, 수신기측에서, 시차각을 체크하고, 이 시차각이 소정의 범위 내에 들어가 있지 않은 경우에는, 소정의 범위 내에 들어가도록 좌안 화상 및 우안 화상을 재구성하는 것이 기대된다.
또한, 수신기(셋톱박스, 텔레비전 수신기 등)에 있어서 화상에 중첩 표시되는 OSD(On-Screen Display) 또는 어플리케이션 등의 그래픽스에 관해서도, 2차원 공간적뿐만 아니라, 3차원의 깊이감으로서도, 입체 화상 표시와 연동하여 렌더링되는 것이 기대된다. 수신기에 있어서 그래픽스를 화상에 중첩 표시하는 경우, 화상 내의 각 물체의 원근감에 따라서 시차 조정을 실시하고, 원근감의 정합성을 유지하는 것이 기대된다.
본 기술의 목적은, 시차 정보 등의 화상 데이터의 관련 정보의 송신을 양호하게 행할 수 있도록 함에 있다.
본 기술의 개념은,
헤더부와 콘텐츠부를 포함하여 이루어지는 데이터 패킷을 생성하는 데이터 패킷 생성부와,
상기 데이터 패킷을 화상 데이터에 대응지어 외부 기기로 송신하는 송신 부를 구비하고,
상기 데이터 패킷 생성부는, 상기 콘텐츠부에 상기 화상 데이터의 관련 정보를 삽입하고, 상기 헤더부에 상기 관련 정보의 종별을 식별하기 위한 식별 정보를 삽입하는 송신 장치에 있다.
본 기술에 있어서, 데이터 패킷 생성부에 의해, 헤더부와 콘텐츠부를 포함하여 이루어지는 데이터 패킷이 생성된다. 그리고, 송신부에 의해, 이 데이터 패킷은, 화상 데이터에 대응지어, 외부 기기로 송신된다. 데이터 패킷 생성부에서는, 콘텐츠부에 화상 데이터의 관련 정보가 삽입되고, 헤더부에 관련 정보의 종별을 식별하기 위한 식별 정보가 삽입된다.
예를 들어, 데이터 패킷 생성부에서는, 콘텐츠부에 삽입되는 관련 정보의 데이터량에 따라서 콘텐츠부의 사이즈가 결정되고, 헤더부에, 이 결정된 사이즈를 나타내는 사이즈 정보가 삽입되어도 된다. 예를 들어, 패킷 생성부에서는, 데이터 패킷이, 화상 데이터의 소정수의 픽처마다 생성되어도 된다. 여기서, 소정수가 1인 경우, 모든 픽처에 대응하여 데이터 패킷이 생성된다.
예를 들어, 화상 데이터는, 입체 화상을 구성하는 좌안 화상 데이터 및 우안 화상 데이터이며, 관련 정보는, 좌안 화상 및 우안 화상의 한쪽에 대한 다른 쪽의 시차 정보로서, 픽처 표시 화면의 소정 영역마다의 대표 시차 정보로 된다. 예를 들어, 이 경우, 소정 영역마다의 대표 시차 정보에는, 소정 영역에서의 가장 앞쪽의 오브젝트 재생 위치에 대응한 제1 시차 정보가 포함된다. 또한, 예를 들어 이 경우, 소정 영역마다의 대표 시차 정보에는, 소정 영역에서의 가장 앞쪽의 오브젝트 재생 위치에 대응한 제1 시차 정보와, 소정 영역에서의 가장 안쪽의 오브젝트 재생 위치에 대응한 제2 시차 정보가 포함된다.
이와 같이 본 기술에 있어서는, 화상 데이터의 관련 정보, 예를 들어 시차 정보 등이 데이터 패킷의 콘텐츠부에 삽입됨과 함께, 이 데이터 패킷의 헤더부에 관련 정보의 종별을 식별하기 위한 식별 정보가 삽입되고, 외부 기기로 송신된다. 그로 인해, 시차 정보 등의 화상 데이터의 관련 정보를, 효율적으로, 외부 기기로 송신하는 것이 가능해진다.
또한, 본 기술에 있어서, 예를 들어 데이터 패킷 생성부에서는, 대표 시차 정보를 콘텐츠부에 절댓값 데이터로서 삽입하도록 되어도 된다. 이 경우, 정부의 부호 비트를 필요로 하지 않을 수 있어, 그만큼 시차 정보의 다이내믹 레인지를 확장하는 것이 가능해진다.
예를 들어, 송신부에서는, 데이터 패킷을, 화상 데이터의 블랭킹 기간에 삽입하여, 외부 기기로 송신하도록 되어도 된다. 또한, 예를 들어 송신부는, 수직 동기 신호에 의해 구획되는, 수평 블랭킹 기간, 수직 블랭킹 기간 및 주 영상 영역 및 보조 영상 영역을 갖는 액티브 비디오 구간을 포함하는 비디오 필드 구간을 단위로 하는 전송 데이터를 생성하여, 외부 기기로 송신하고, 주 영상 영역에 화상 데이터가 배치되고, 보조 영상 영역에 데이터 패킷이 배치되어도 된다.
또한, 본 기술의 개념은,
입체 화상을 구성하는 좌안 화상 데이터 및 우안 화상 데이터를 취득하는 화상 데이터 취득부와,
상기 화상 데이터의 소정의 픽처마다, 좌안 화상 및 우안 화상의 한쪽에 대한 다른 쪽의 시차 정보로서, 픽처 표시 화면의 분할 패턴에 대응한 각 분할 영역에서의 대표 시차 정보를 취득하는 시차 정보 취득부와,
상기 화상 데이터가 부호화되어 얻어진 비디오 스트림에, 상기 각 분할 영역에서의 대표 시차 정보를 삽입하는 시차 정보 삽입부와,
상기 시차 정보가 삽입된 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 화상 데이터 송신부를 구비하는 송신 장치에 있다.
본 기술에 있어서, 화상 데이터 취득부에 의해, 입체 화상을 구성하는 좌안 화상 데이터 및 우안 화상 데이터가 취득된다. 시차 정보 취득부에 의해, 화상 데이터의 소정의 픽처마다, 좌안 화상 및 우안 화상의 한쪽에 대한 다른 쪽의 시차 정보로서, 픽처 표시 화면의 분할 패턴에 대응한 각 분할 영역에서의 대표 시차 정보가 취득된다. 그리고, 시차 정보 삽입부에 의해, 화상 데이터가 부호화되어 얻어진 비디오 스트림에, 각 분할 영역에서의 대표 시차 정보가 삽입된다.
예를 들어, 복수의 분할 패턴으로부터 소정의 분할 패턴을 선택하는 패턴 선택부를 더 구비하고, 시차 정보 취득부는, 픽처 표시 화면의 선택된 소정의 분할 패턴에 대응한 각 분할 영역에서의 대표 시차 정보를 취득하도록 되어도 된다. 이 경우, 유저(사용자)는 분할 패턴의 선택으로, 원하는 분할 패턴에 의한 각 분할 영역의 대표 시차 정보가 취득되는 상태로 할 수 있다.
또한, 예를 들어 각 분할 영역에서의 대표 시차 정보에는, 분할 영역에서의 가장 앞쪽의 오브젝트 재생 위치에 대응한 제1 시차 정보가 포함되어도 된다. 또한, 예를 들어 각 분할 영역에서의 대표 시차 정보에는, 분할 영역에서의 가장 앞쪽의 오브젝트 재생 위치에 대응한 제1 시차 정보와, 분할 영역에서의 가장 안쪽의 오브젝트 재생 위치에 대응한 제2 시차 정보가 포함되어도 된다.
또한, 예를 들어 시차 정보 삽입부는, 대표 시차 정보를, 비디오 스트림에, 절댓값 데이터로서 삽입하도록 되어도 된다. 이 경우, 정부의 부호 비트를 필요로 하지 않을 수 있어, 그만큼 시차 정보의 다이내믹 레인지를 확장하는 것이 가능해진다.
또한, 본 기술의 또 다른 개념은,
비디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하는 화상 데이터 수신부를 구비하고,
상기 비디오 스트림은, 입체 화상을 구성하는 좌안 화상 데이터 및 우안 화상 데이터가 부호화되어 얻어지며,
상기 비디오 스트림에는, 상기 화상 데이터의 픽처마다, 좌안 화상 및 우안 화상의 한쪽에 대한 다른 쪽의 시차 정보로서, 픽처 표시 화면의 분할 패턴에 대응한 각 분할 영역에서의 대표 시차 정보가 삽입되어 있고,
상기 컨테이너에 포함되는 비디오 스트림으로부터, 상기 좌안 화상 데이터 및 우안 화상 데이터를 취득함과 함께, 상기 화상 데이터의 각 픽처의 분할 영역마다의 대표 시차 정보를 취득하는 정보 취득부와,
상기 각 픽처의 분할 영역마다의 대표 시차 정보에 대하여 시간축 방향으로 평활화 처리를 행하는 정보 평활화부와,
화상 위에 그래픽스를 표시하기 위한 그래픽스 데이터를 발생하는 그래픽스 데이터 발생부와,
취득된 상기 화상 데이터 및 평활화된 상기 시차 정보와, 발생된 상기 그래픽스 데이터를 이용하고, 좌안 화상 및 우안 화상에 중첩하는 상기 그래픽스에, 픽처마다, 상기 그래픽스의 표시 위치에 대응한 시차를 부여하고, 상기 그래픽스가 중첩된 좌안 화상의 데이터 및 상기 그래픽스가 중첩된 우안 화상의 데이터를 얻는 화상 데이터 처리부를 더 구비하는 수신 장치에 있다.
본 기술에 있어서, 화상 데이터 수신부에 의해, 비디오 스트림을 포함하는 소정 포맷의 컨테이너가 수신된다. 이 비디오 스트림은, 입체 화상을 구성하는 좌안 화상 데이터 및 우안 화상 데이터가 부호화되어 얻어진 것이다. 또한, 이 비디오 스트림에는, 화상 데이터의 픽처마다, 픽처 표시 화면의 소정수의 분할 영역에 각각 대응하여 취득된 좌안 화상 및 우안 화상의 한쪽에 대한 다른 쪽의 시차 정보로서, 픽처 표시 화면의 분할 패턴에 대응한 각 분할 영역에서의 대표 시차 정보가 삽입되어 있다.
정보 취득부에 의해, 컨테이너에 포함되는 비디오 스트림으로부터, 좌안 화상 데이터 및 우안 화상 데이터가 취득됨과 함께, 이 화상 데이터의 각 픽처의 분할 영역마다의 대표 시차 정보가 취득된다. 그리고, 정보 평활부에 의해, 각 픽처의 분할 영역마다의 대표 시차 정보에 대하여 시간축 방향으로 평활화 처리가 행해진다. 또한, 그래픽스 데이터 발생부에 의해, 화상 위에 그래픽스를 표시하기 위한 그래픽스 데이터가 발생된다. 이 그래픽스는, 예를 들어 OSD 또는 어플리케이션 등의 그래픽스, 또는 서비스 내용을 나타내는 EPG 정보이다.
화상 데이터 처리부에 의해, 취득된 화상 데이터 및 평활화된 시차 정보와, 발생된 그래픽스 데이터가 이용되고, 그래픽스가 중첩된 좌안 화상 및 우안 화상의 데이터가 얻어진다. 이 경우, 좌안 화상 및 우안 화상에 중첩되는 그래픽스에, 픽처마다, 이 그래픽스의 표시 위치에 대응한 시차가 부여됨으로써, 그래픽스가 중첩된 좌안 화상의 데이터 및 그래픽스가 중첩된 우안 화상의 데이터가 얻어진다. 예를 들어, 화상 데이터 처리부에서는, 그래픽스의 표시 위치에 대응한 소정수의 분할 영역의 시차 정보로부터 선택된 시차 정보, 예를 들어 최소값 등의 최적의 시차 정보가 이용되고, 이 그래픽스에의 시차 부여가 행해진다.
이와 같이 본 기술에 있어서는, 송신측으로부터 보내져 오는 비디오 스트림에 삽입되어 있는 시차 정보에 기초하여, 입체 화상에 중첩 표시되는 그래픽스의 깊이 제어가 행해진다. 이 경우, 비디오 스트림에는 화상 데이터의 픽처마다 취득된 각 분할 영역의 대표 시차 정보가 삽입되어 있고, 그래픽스의 깊이 제어를 픽처(프레임) 정밀도로 양호하게 행할 수 있다. 또한, 이 경우, 각 픽처의 분할 영역마다의 대표 시차 정보에 대하여 시간축 방향의 평활화 처리가 실시되어 사용되므로, 시차 정보가 급격한 변화에 대해서도, 시청 위화감의 발생을 경감할 수 있다.
본 기술에 의하면, 시차 정보 등의 화상 데이터 관련 정보의 송신을 양호하게 행할 수 있다.
도 1은 실시 형태로서의 화상 송수신 시스템의 구성예를 나타내는 블록도이다.
도 2는 블록(Block)마다의 시차 정보(시차 벡터)의 일례를 나타내는 도면이다.
도 3은 블록 단위의 시차 정보의 생성 방법의 일례를 설명하기 위한 도면이다.
도 4는 블록마다의 시차 정보로부터 소정의 분할 영역의 시차 정보를 얻기 위한 다운사이징 처리의 일례를 설명하기 위한 도면이다.
도 5는 부호화 블록 경계를 걸치지 않도록 픽처 표시 화면이 분할되는 것을 설명하기 위한 도면이다.
도 6은 픽처마다의 각 분할 영역의 시차 정보의 추이예를 모식적으로 나타내는 도면이다.
도 7은 화상 데이터의 픽처마다 취득된 시차 정보의 비디오 스트림에의 삽입 타이밍을 설명하기 위한 도면이다.
도 8은 방송국에 있어서 트랜스포트 스트림을 생성하는 송신 데이터 생성부의 구성예를 나타내는 블록도이다.
도 9는 트랜스포트 스트림의 구성예를 나타내는 도면이다.
도 10은 AVC 비디오 디스크립터(AVC video descriptor)의 구조예(Syntax) 및 주요한 규정 내용(semantics)을 나타내는 도면이다.
도 11은 MVC 익스텐션 디스크립터(MVC extension descriptor)의 구조예(Syntax) 및 주요한 규정 내용(semantics)을 나타내는 도면이다.
도 12는 그래픽스 뎁스 인포 디스크립터(graphics_depth_info_descriptor)의 구조예(Syntax) 및 주요한 규정 내용(semantics)을 나타내는 도면이다.
도 13은 부호화 방식이 AVC인 경우에 있어서의 GOP의 선두의 액세스 유닛 및 GOP의 선두 이외의 액세스 유닛의 일례를 나타내고 있다.
도 14는 「depth_information SEI message」의 구조예(Syntax) 및 「depth_information_data()」의 구조예(Syntax)를 나타내는 도면이다.
도 15는 픽처마다의 시차 정보를 픽처 단위로 삽입하는 경우에 있어서의 「depth_information()」의 구조예(Syntax)를 나타내는 도면이다.
도 16은 픽처마다의 시차 정보를 픽처 단위로 삽입하는 경우에 있어서의 「depth_information()」의 구조예(Syntax)를 나타내는 도면이다.
도 17은 픽처마다의 시차 정보를 픽처 단위로 삽입하는 경우에 있어서의 「depth_information()」의 구조예(Syntax)를 나타내는 도면이다.
도 18은 「depth_information()」의 구조예(Syntax)에 있어서의 주요한 정보의 내용(Semantics)을 나타내는 도면이다.
도 19는 픽처 표시 화면의 분할예를 나타내는 도면이다.
도 20은 픽처마다의 시차 정보를 복수의 픽처를 통합하여 부호화하는 경우에 있어서의, 「depth_information()」의 구조예(Syntax)를 나타내는 도면이다.
도 21은 픽처마다의 시차 정보를 복수의 픽처를 통합하여 부호화하는 경우에 있어서의, 「depth_information()」의 구조예(Syntax)를 나타내는 도면이다.
도 22는 픽처마다의 시차 정보를 복수의 픽처를 통합하여 부호화하는 경우에 있어서의, 「depth_information()」의 구조예(Syntax)를 나타내는 도면이다.
도 23은 「user_data()」의 구조예(Syntax) 및 「depth_information_data()」의 구조예(Syntax)를 나타내는 도면이다.
도 24는 시차 정보에 의한 그래픽스의 깊이 제어의 개념을 나타내는 도면이다.
도 25는 비디오 스트림에 픽처 단위로 시차 정보가 삽입되어 있는 경우에 화상 데이터의 픽처 타이밍에서 순차 시차 정보가 취득되는 것을 나타내는 도면이다.
도 26은 비디오 스트림에 GOP 단위로 시차 정보가 삽입되어 있는 경우에 화상 데이터의 GOP의 선두 타이밍에서, GOP 내의 각 픽처의 시차 정보가 통합하여 취득되는 것을 나타내는 도면이다.
도 27은 화상 위에 있어서의 자막(서브타이틀) 및 OSD 그래픽스의 표시예를 나타내는 도면이다.
도 28은 셋톱박스의 구성예를 나타내는 블록도이다.
도 29는 시차각의 체크 및 화상 데이터의 재구성을 설명하기 위한 도면이다.
도 30은 시차 정보 제어부의 구성예를 나타내는 블록도이다.
도 31은 깊이 제어부의 제어를 설명하기 위한 블록도이다.
도 32는 시간 방향으로 평활화하는 필터링 처리의 일례를 설명하기 위한 도면이다.
도 33은 시간 방향으로 평활화하는 필터링 처리의 다른 예를 설명하기 위한 도면이다.
도 34는 깊이 제어부의 제어 처리 수순의 일례를 나타내는 흐름도(1/2)이다.
도 35는 깊이 제어부의 제어 처리 수순의 일례를 나타내는 흐름도(2/2)이다.
도 36은 셋톱박스에 있어서의 그래픽스의 길이 제어예를 나타내는 도면이다.
도 37은 셋톱박스에 있어서의 그래픽스의 다른 길이 제어예를 나타내는 도면이다.
도 38은 텔레비전 수신기(HDMI 입력계)의 구성예를 나타내는 블록도이다.
도 39는 깊이 제어부의 제어를 설명하기 위한 블록도이다.
도 40은 깊이 제어부의 제어 처리 수순의 일례를 나타내는 흐름도이다.
도 41은 텔레비전 수신기에 있어서의 그래픽스의 깊이 제어예를 나타내는 도면이다.
도 42는 소스 기기의 HDMI 송신부와 싱크 기기의 HDMI 수신부의 구성예를 나타내는 블록도이다.
도 43은 TMDS 전송 데이터의 구조예(가로×세로가 1920 픽셀×1080 라인의 화상 데이터가 전송되는 경우)를 나타내는 도면이다.
도 44는 시차 정보의 송신에 HDMI Vendor Specific InfoFrame을 이용하는 경우에 있어서의, HDMI Vendor Specific InfoFrame의 패킷 구조예를 나타내는 도면이다.
도 45는 HDMI Vendor Specific InfoFrame의 패킷 구조예에 있어서의 주요한 정보의 내용을 나타내는 도면이다.
도 46은 싱글 픽처의 모드이며, 분할 영역이 「16」인 경우에 있어서의 VS_Info의 구조예를 나타내는 도면이다.
도 47은 픽처 단위 수신이면서 싱글 픽처 모드 송신을 행하는 경우를 개략적으로 나타내는 도면이다.
도 48은 픽처 단위 수신이면서 더블 픽처 모드 송신을 행하는 경우를 개략적으로 나타내는 도면이다.
도 49는 GOP 단위(복수 픽처 단위) 수신이면서 싱글 픽처 모드 송신을 행하는 경우를 개략적으로 나타내는 도면이다.
도 50은 GOP 단위(복수 픽처 단위) 수신이면서 더블 픽처 모드 송신을 행하는 경우를 개략적으로 나타내는 도면이다.
도 51은 VS_Info(HDMI Vendor Specific InfoFrame)의 다른 패킷 구조예를 나타내는 도면이다.
도 52는 VS_Info(HDMI Vendor Specific InfoFrame)의 다른 패킷 구조예를 나타내는 도면이다.
도 53은 N픽처와 N+1픽처의 순서 결정을 행하기 위한 구성예를 나타내는 블록도이다.
도 54는 |D(N+1)-D(N)|≤Th가 되는 경우의 시차 정보(Disparity값)의 시간 추이예를 나타내는 도면이다.
도 55는 |D(N+1)-D(N)|>Th가 되는 경우의 시차 정보(Disparity값)의 시간 추이예를 나타내는 도면이다.
도 56은 신규 정의되는 데이터 패킷으로서의 3D 디스플레잉 서포트 패킷(3D Displaying Supprt Packet)의 패킷 헤더(packet header)의 구조예를 나타내는 도면이다.
도 57은 패킷 콘텐츠(packet contents)의 구조예를 나타내는 도면이다.
도 58은 패킷 콘텐츠(packet contents)의 다른 구조예를 나타내는 도면이다.
도 59는 패킷 콘텐츠(packet contents)의 다른 구조예를 나타내는 도면이다.
도 60은 입체 화상 데이터의 TMDS 전송 데이터 구조의 하나인 프레임 패킹(Frame packing) 방식의 3D 비디오 포맷(3D Video Format)을 나타내는 도면이다.
도 61은 액티브 스페이스 영역(Active Space)을 이용하는 경우에 있어서의, HDMI Vendor Specific InfoFrame의 패킷 구조의 일례를 나타내는 도면이다.
도 62는 화상 송수신 시스템의 다른 구성예를 나타내는 블록도이다.
도 63은 텔레비전 수신기의 구성예를 나타내는 블록도이다.
도 64는 양안 시차를 이용한 입체 화상 표시에 있어서, 스크린 위에 있어서의 오브젝트의 좌우상의 표시 위치와, 그 입체상의 재생 위치의 관계를 나타내는 도면이다.
이하, 발명을 실시하기 위한 구체적인 내용(이하, 「실시 형태」로 함)에 대하여 설명한다. 또한, 설명은 이하의 순서로 행한다.
1. 실시 형태
2. 변형예
<1. 실시 형태>
[화상 송수신 시스템]
도 1은, 실시 형태로서의 화상 송수신 시스템(10)의 구성예를 나타내고 있다. 이 화상 송수신 시스템(10)은 방송국(100)과, 셋톱박스(200: STB)와, 모니터로서의 텔레비전 수신기(300)를 갖고 있다. 셋톱박스(200) 및 텔레비전 수신기(300: TV)는, HDMI(High Definition Multimedia Interface) 케이블(400)을 통해 접속되어 있다.
「방송국의 설명」
방송국(100)은 컨테이너로서의 트랜스포트 스트림 TS를 방송파에 실어 송신한다. 이 트랜스포트 스트림 TS에는, 입체 화상을 구성하는 좌안 화상 데이터 및 우안 화상 데이터가 부호화되어 얻어진 비디오 스트림이 포함된다. 예를 들어, 좌안 화상 데이터 및 우안 화상 데이터는, 1개의 비디오 스트림에 의해 전송된다. 이 경우, 예를 들어 좌안 화상 데이터 및 우안 화상 데이터는, 인터리브 처리되고, 사이드 바이 사이드 방식 또는 톱 앤드 보텀 방식의 화상 데이터로서 구성되고, 1개의 비디오 스트림에 포함된다.
또한, 예를 들어 좌안 화상 데이터 및 우안 화상 데이터는, 각각 별개의 비디오 스트림에 의해 전송된다. 이 경우, 예를 들어 좌안 화상 데이터는 MVC의 베이스 뷰(base view)의 스트림에 포함되고, 우안 화상 데이터는 MVC의 넌베이스 뷰(Nonbase view)의 스트림에 포함된다.
비디오 스트림에는, 화상 데이터의 소정의 픽처마다 취득된, 좌안 화상 및 우안 화상의 한쪽에 대한 다른 쪽의 시차 정보(Disparity data)가 삽입된다. 이 경우, 시차 정보의 취득은, 적어도 시차 정보를 송신해야 할 픽처로 행해지는 것을 전제로 한다.
여기서, 픽처마다의 시차 정보는, 픽처 표시 화면의 소정 영역에서의 대표 시차 정보를 포함하여 이루어져 있다. 이 실시 형태에 있어서, 이 대표 시차 정보로서, 제1 시차 정보 및 제2 시차 정보가 포함되어 있지만, 제1 시차 정보만이 포함되는 것도 고려된다. 제1 시차 정보는, 픽처 표시 화면의 소정 영역에서의 가장 앞쪽의 오브젝트 재생 위치에 대응한 시차 정보이다. 또한, 제2 시차 정보는, 픽처 표시 화면의 소정 영역에서의 가장 안쪽의 오브젝트 재생 위치에 대응한 시차 정보이다.
스크린 위치를 시차 제로로 하면, 오브젝트 재생 위치가 스크린보다 앞쪽에 있는 경우, 이 시차 정보는 마이너스값으로 얻어진다(도 64의 DPa 참조). 한편, 오브젝트의 재생 위치가 스크린보다 안쪽에 있는 경우, 이 시차 정보는 플러스값으로 얻어진다(도 64의 DPc 참조). 그로 인해, 제1 시차 정보로서, 예를 들어 소정 영역에서의 시차 정보 중, 최소값의 시차 정보가 이용된다. 또한, 제2 시차 정보로서, 예를 들어 소정 영역에서의 시차 정보 중, 최대값의 시차 정보가 이용된다.
이 경우, 제1 시차 정보 및 제2 시차 정보로서, 예를 들어 이하와 같은 취득 방법이 고려된다.
(1) 분할 패턴 정보에 기초하여, 픽처 표시 화면을 복수로 분할하여 얻어진 각 분할 영역에서의 제1 시차 정보를 취득하고, 픽처 표시 화면 전체에 있어서의 제2 시차 정보를 취득한다.
(2) 분할 패턴 정보에 기초하여, 픽처 표시 화면을 복수로 분할하여 얻어진 각 분할 영역에서의 제1 시차 정보 및 제2 시차 정보를 취득한다.
(3) 분할 패턴 정보에 기초하여, 픽처 표시 화면을 제1 분할 정보로 분할하여 얻어진 각 분할 영역에서의 제1 시차 정보를 취득하고, 픽처 표시 화면을 제2 분할 정보로 분할하여 얻어진 각 분할 영역에서의 제2 시차 정보를 취득한다.
(4) 분할 패턴 정보에 기초하여, 픽처 표시 화면 전체에 있어서의 제1 시차 정보를 취득하고, 픽처 표시 화면 전체에 있어서의 제2 시차 정보를 취득한다.
픽처 표시 화면 전체, 또는 각 분할 영역의 시차 정보는, 블록(Block)마다의 시차 정보에 대하여 다운사이징 처리를 실시함으로써, 취득된다. 도 2는, 블록(Block)마다의 시차 정보(시차 벡터)의 일례를 나타내고 있다.
도 3은, 블록 단위의 시차 정보의 생성 방법의 일례를 나타내고 있다. 이 예는, 좌안 뷰(Left-View)로부터 우안 뷰(Right-View)를 가리키는 시차 정보를 구하는 예이다. 이 경우, 좌안 뷰의 픽처에, 예를 들어 4*4, 8*8 또는 16*16 등의 화소 블록(시차 검출 블록)이 설정된다.
도시한 바와 같이, 좌안 뷰의 픽처가 검출 화상으로 되고, 우안 뷰의 픽처가 참조 화상으로 되고, 좌안 뷰의 픽처의 블록마다, 화소간의 차분 절댓값 합이 최소가 되도록, 우안 뷰의 픽처의 블록 탐색이 되어, 시차 데이터가 구해진다.
즉, N번째의 블록의 시차 정보 DPn은, 예를 들어 이하의 수학식 1에 나타내는 바와 같이, 이 N번째의 블록에 있어서의 차분 절댓값합이 최소가 되도록 블록 탐색되어 구해진다. 또한, 이 수학식 1에 있어서, Dj는 우안 뷰의 픽처에 있어서의 화소값, Di는 좌안 뷰의 픽처에 있어서의 화소값을 나타내고 있다.
Figure pct00001
도 4는, 다운사이징 처리의 일례를 나타내고 있다. 도 4의 (a)는 전술한 바와 같이 구해진 블록마다의 시차 정보를 나타내고 있다. 이 블록마다의 시차 정보에 기초하여, 도 4의 (b)에 도시한 바와 같이, 그룹(Group Of Block)마다의 제1 시차 정보 및 제2 시차 정보가 구해진다. 그룹은, 블록의 상위층에 해당하고, 복수개의 근접하는 블록을 통합하여 그룹화함으로써 얻어진다. 도 4의 (b)의 예에서는, 각 그룹은 파선 프레임으로 묶어지는 4개의 블록에 의해 구성되어 있다. 그리고, 각 그룹의 제1 시차 정보는, 예를 들어 그 그룹 내의 전체 블록의 시차 정보로부터 최소값의 시차 정보가 선택됨으로써 얻어진다. 또한, 각 그룹의 제2 시차 정보는, 예를 들어 그 그룹 내의 전체 블록의 시차 정보로부터 최대값의 시차 정보가 선택됨으로써 얻어진다.
다음으로, 이 그룹마다의 시차 벡터에 기초하여, 도 4의 (c)에 도시한 바와 같이, 파티션(partition)마다의 제1 시차 정보 및 제2 시차 정보가 구해진다. 파티션은, 그룹의 상위층에 해당하고, 복수개의 근접하는 그룹을 통합하여 그룹화함으로써 얻어진다. 도 4의 (c)의 예에서는, 각 파티션은, 파선 프레임으로 묶어지는 2개의 그룹에 의해 구성되어 있다. 그리고, 각 파티션의 제1 시차 정보는, 예를 들어 그 파티션 내의 전체 그룹의 제1 시차 정보로부터, 최소값의 제1 시차 정보가 선택됨으로써 얻어진다. 또한, 각 파티션의 제2 시차 정보는, 예를 들어 그 파티션 내의 전체 그룹의 제2 시차 정보로부터, 최대값의 제2 시차 정보가 선택됨으로써 얻어진다.
다음으로, 이 파티션마다의 시차 정보에 기초하여, 도 4의 (d)에 도시한 바와 같이, 최상위층에 위치하는 픽처 전체(픽처 표시 화면 전체)의 제1 시차 정보 및 제2 시차 정보가 구해진다. 도 4의 (d)의 예에서는, 픽처 전체에는, 파선 프레임으로 묶어지는 4개의 파티션이 포함되어 있다. 그리고, 픽처 전체의 제1 시차 정보는, 예를 들어 픽처 전체에 포함되는 전체 파티션의 제1 시차 정보로부터, 최소값의 제1 시차 정보가 선택됨으로써 얻어진다. 또한, 픽처 전체의 제2 시차 정보는, 예를 들어 픽처 전체에 포함되는 전체 파티션의 제2 시차 정보로부터, 최대값의 제2 시차 정보가 선택됨으로써 얻어진다.
픽처 표시 화면은 분할 정보에 기초하여 분할되고, 전술한 바와 같이 각 분할 영역의 시차 정보가 취득된다. 이 경우, 부호화 블록 경계를 걸치지 않도록 픽처 표시 화면이 분할된다. 도 5는, 픽처 표시 화면의 분할 상세예를 나타내고 있다. 이 예는, 1920*1080의 픽셀 포맷의 예로서, 수평, 수직으로 각각 2분할되고, Partition A, Partition B, Partition C, Partition D의 4개의 분할 영역이 얻어지는 예이다. 송신측에서는, 16×16의 블록마다 부호화가 행해지기 때문에, 블랭크 데이터를 포함하여 이루어지는 8라인이 부가되고, 1920 화소*1088 라인의 화상 데이터로서 부호화가 행해진다. 따라서, 수직 방향에 관해서는, 1088 라인을 기초로 2분할되어 있다.
전술한 바와 같이, 비디오 스트림에는, 화상 데이터의 소정의 픽처(프레임)마다 취득된, 픽처 표시 화면 전체 또는 각 분할 영역(Partition)의 시차 정보(제1 시차 정보, 제2 시차 정보)가 삽입된다. 도 6은, 각 분할 영역의 시차 정보의 추이예를 모식적으로 나타내고 있다. 이 예는, 수평, 수직으로 각각 4분할되고, Partition 0 내지 Partition 15까지의 16개의 분할 영역이 존재하는 예이다. 이 예에서는, 도면의 간단화를 위해, Partition 0, Partition 3, Partition 9, Partition 15의 시차 정보 D0, D3, D9, D15의 추이만을 나타내고 있다. 각 시차 정보의 값은, 시간과 함께 값이 변화하는 경우(D0, D3, D9)와 고정인 경우(D15)가 있다.
화상 데이터의 소정의 픽처마다 취득된 시차 정보는, 비디오 스트림에, 픽처 단위, 또는 GOP 단위 등의 단위로 삽입된다. 도 7의 (a)는 픽처의 부호화에 동기시키는 예, 즉 비디오 스트림에 시차 정보를 픽처 단위로 삽입하는 예를 나타내고 있다. 이 예에 있어서는, 화상 데이터를 송신할 때의 지연이 적어도 되고, 카메라로 촬상한 화상 데이터를 송신하는 라이브 방송에 적합한 것으로 된다.
도 7의 (b)는 부호화 비디오의 I 픽처(Intra picture) 또는 GOP(Group Of Pictures)에 동기시키는 예, 즉 비디오 스트림에 시차 정보를 GOP 단위로 삽입하는 예를 나타내고 있다. 이 예에 있어서는, 도 7의 (a)의 예에 비하여, 화상 데이터를 송신할 때의 지연이 커지지만, 복수의 픽처(프레임)의 시차 정보가 통합하여 송신되므로, 수신측에 있어서의 시차 정보의 취득 처리의 횟수를 저감할 수 있다. 도 7의 (c)는 비디오의 신(scene)에 동기시키는 예, 즉 비디오 스트림에 시차 정보를 신 단위로 삽입하는 예를 나타내고 있다. 또한, 도 7의 (a) 내지 (c)는 일례로서, 그 밖의 단위로 삽입하는 것도 고려된다.
또한, 트랜스포트 스트림 TS의 레이어에, 비디오 스트림에 시차 정보(제1 시차 정보, 제2 시차 정보)의 삽입이 있는지 여부를 식별하기 위한 식별 정보가 삽입되도록 해도 된다. 이 식별 정보는, 예를 들어 트랜스포트 스트림 TS에 포함되는 프로그램 맵 테이블(PMT: Program Map Table)의 지배 아래, 또는 이벤트 인포메이션 테이블(EIT: Event Information Table)의 지배 아래에 삽입된다. 이 식별 정보에 의해, 수신측에서는, 비디오 스트림에 시차 정보의 삽입이 있는지 여부를 용이하게 식별 가능해진다. 이 식별 정보의 상세에 대해서는 후술한다.
「송신 데이터 생성부의 구성예」
도 8은, 방송국(100)에 있어서, 전술한 트랜스포트 스트림 TS를 생성하는 송신 데이터 생성부(110)의 구성예를 나타내고 있다. 이 송신 데이터 생성부(110)는 화상 데이터 출력부(111L, 111R)와, 스케일러(112L, 112R)와, 비디오 인코더(113)와, 멀티플렉서(114)와, 시차 데이터 생성부(115)를 갖고 있다. 또한, 이 송신 데이터 생성부(110)는 서브타이틀 데이터 출력부(116)와, 서브타이틀 인코더(117)와, 음성 데이터 출력부(118)와, 오디오 인코더(119)와, 분할 패턴 선택부(120)를 갖고 있다.
화상 데이터 출력부(111L, 111R)는, 각각 입체 화상을 구성하는, 좌안 화상 데이터 VL 및 우안 화상 데이터 VR을 출력한다. 화상 데이터 출력부(111L, 111R)는, 예를 들어 피사체를 촬상하여 화상 데이터를 출력하는 카메라, 또는 기억 매체로부터 화상 데이터를 판독하여 출력하는 화상 데이터 판독부 등에 의해 구성된다. 화상 데이터 VL, VR은, 예를 들어 1920*1080의 풀HD 사이즈의 화상 데이터이다.
스케일러(112L, 112R)는, 각각, 화상 데이터 VL, VR에 대하여 필요에 따라, 수평 방향이나 수직 방향의 스케일링 처리를 행한다. 예를 들어, 화상 데이터 VL, VR을 1개의 비디오 스트림으로 전송하기 위해서, 사이드 바이 사이드 방식 또는 톱 앤드 보텀 방식의 화상 데이터를 구성하는 경우에는, 수평 방향 또는 수직 방향으로 1/2로 스케일 다운하여 출력한다. 또한, 예를 들어 화상 데이터 VL, VR을, MVC의 베이스 뷰 스트림, 넌베이스 뷰 스트림과 같이, 각각 별개의 비디오 스트림으로 전송하는 경우에는, 스케일링 처리를 행하지 않고, 화상 데이터 VL, VR을 그대로 출력한다.
비디오 인코더(113)는 스케일러(112L, 112R)로부터 출력되는 좌안 화상 데이터, 우안 화상 데이터에 대하여 예를 들어 MPEG4-AVC(MVC), MPEG2video, 또는 HEVC(High Efficiency Video Coding) 등의 부호화를 실시하여, 부호화 비디오 데이터를 얻는다. 또한, 이 비디오 인코더(113)는 후단에 구비하는 스트림 포매터(도시생략)에 의해, 이 부호화 데이터를 포함하는 비디오 스트림을 생성한다. 이 경우, 비디오 인코더(113)는 좌안 화상 데이터, 우안 화상 데이터의 부호화 비디오 데이터를 포함하는 1개 또는 2개의 비디오 스트림(비디오 엘리멘터리 스트림)을 생성한다.
시차 데이터 생성부(115)는 화상 데이터 출력부(111L, 111R)로부터 출력되는 좌안 화상 데이터 VL, 우안 화상 데이터 VR에 기초하여, 픽처(프레임)마다, 시차 정보를 생성한다. 이 경우, 시차 데이터 생성부(115)는 예를 들어 유저 조작에 따라서 분할 패턴 선택부(120)에서 선택된 분할 패턴의 정보에 기초하여, 제1 시차 정보 및 제2 시차 정보를 취득하는 처리를 행한다.
우선, 시차 데이터 생성부(115)는 픽처마다, 전술한 바와 같이 블록(Block)마다의 시차 정보를 취득한다. 또한, 시차 데이터 생성부(115)는 화상 데이터 출력부(111L, 111R)가 기억 매체를 갖는 화상 데이터 판독부인 경우, 블록(Block)마다의 시차 정보를, 화상 데이터와 함께 기억 매체로부터 판독하여 취득하는 구성도 고려된다. 또한, 비디오 인코더(113) 중 우안 화상 데이터와 좌안 화상 데이터 사이에서 행해지는 블록 매칭의 결과를 이용하여 시차 정보를 검출하는 방법도 고려된다.
그 후, 시차 정보 생성부(115)는 블록(Block)마다의 시차 정보에 대하여 다운사이징 처리를 행하고, 픽처 표시 화면 전체, 또는 픽처 표시 화면을 분할하여 얻어지는 각 분할 영역(Partition)의 제1 시차 정보 및 제2 시차 정보를 생성한다. 이때, 전술한 분할 패턴 정보가 이용된다. 이 분할 패턴 정보에 의해, 시차 데이터 생성부(115)에는, 픽처 표시 화면 전체에 있어서의 시차 정보를 생성하거나, 또는 픽처 표시 화면을 소정 수로 분할하여 얻어진 각 분할 영역에서의 시차 정보를 생성하는 등의 정보가 부여된다.
비디오 인코더(113)는 시차 데이터 생성부(115)에서 생성된 픽처마다의 제1 시차 정보 및 제2 시차 정보를, 비디오 스트림에 삽입한다. 이 경우, 예를 들어 픽처마다의 시차 정보는, 비디오 스트림에, 픽처 단위, 또는 GOP 단위로 삽입된다(도 7 참조). 또한, 좌안 화상 데이터 및 우안 화상 데이터가 각각 별개의 비디오 데이터에서 전송되는 경우에는, 어느 한쪽의 비디오 스트림에만 삽입되어도 된다.
서브타이틀 데이터 출력부(116)는 화상에 중첩하는 서브타이틀(자막)의 데이터를 출력한다. 이 서브타이틀 데이터 출력부(116)는 예를 들어 퍼스널 컴퓨터 등에 의해 구성된다. 서브타이틀 인코더(117)는 서브타이틀 데이터 출력부(116)로부터 출력된 서브타이틀 데이터를 포함하는 서브타이틀 스트림(서브타이틀 엘리멘터리 스트림)을 생성한다. 또한, 서브타이틀 인코더(117)는 시차 데이터 생성부(115)에서 생성되는 블록마다의 시차 정보를 참조하고, 서브타이틀 데이터에, 서브타이틀의 표시 위치에 대응한 시차 정보를 부가한다. 즉, 서브타이틀 스트림에 포함되는 서브타이틀 데이터는, 서브타이틀의 표시 위치에 대응한 시차 정보를 갖는 것으로 된다.
음성 데이터 출력부(118)는 화상 데이터에 대응한 음성 데이터를 출력한다. 이 음성 데이터 출력부(118)는 예를 들어 마이크로폰, 또는 기억 매체로부터 음성 데이터를 판독하여 출력하는 음성 데이터 판독부 등에 의해 구성된다. 오디오 인코더(119)는 음성 데이터 출력부(118)로부터 출력되는 음성 데이터에 대하여 MPEG-2Audio, AAC 등의 부호화를 실시하고, 오디오 스트림(오디오 엘리멘터리 스트림)을 생성한다.
멀티플렉서(114)는 비디오 인코더(113), 서브타이틀 인코더(117) 및 오디오 인코더(119)에 의해 생성된 각 엘리멘터리 스트림을 PES 패킷화하여 다중하고, 트랜스포트 스트림 TS를 생성한다. 이 경우, 각각의 PES(Packetized Elementary Stream) 패킷의 헤더에는, 수신측에 있어서의 동기 재생을 위해서, PTS(Presentation Time Stamp)가 삽입된다.
멀티플렉서(114)는 트랜스포트 스트림 TS의 레이어에, 전술한 식별 정보를 삽입한다. 이 식별 정보는, 비디오 스트림에 시차 정보(제1 시차 정보, 제2 시차 정보)의 삽입이 있는지 여부를 식별하기 위한 정보이다. 이 식별 정보는, 예를 들어 트랜스포트 스트림 TS에 포함되는 프로그램 맵 테이블(PMT: Program Map Table)의 지배 아래, 또는 이벤트 인포메이션 테이블(EIT: Event Information Table)의 지배 아래 등에 삽입된다.
도 8에 도시한 송신 데이터 생성부(110)의 동작을 간단히 설명한다. 화상 데이터 출력부(111L, 111R)로부터 출력되는 입체 화상을 구성하는 좌안 화상 데이터 VL, 우안 화상 데이터 VR은, 각각 스케일러(112L, 112R)에 공급된다. 스케일러(112L, 112R)에서는, 각각 화상 데이터 VL, VR에 대하여 필요에 따라서, 수평 방향이나 수직 방향의 스케일링 처리가 행해진다. 스케일러(112L, 112R)로부터 출력되는 좌안 화상 데이터, 우안 화상 데이터는, 비디오 인코더(113)에 공급된다.
비디오 인코더(113)에서는, 좌안 화상 데이터, 우안 화상 데이터에 대하여 예를 들어 MPEG4-AVC(MVC), MPEG2video, 또는 HEVC 등의 부호화가 실시되고, 부호화 비디오 데이터가 얻어진다. 또한, 이 비디오 인코더(113)에서는, 후단에 구비하는 스트림 포매터에 의해, 이 부호화 데이터를 포함하는 비디오 스트림이 생성된다. 이 경우, 좌안 화상 데이터, 우안 화상 데이터의 부호화 비디오 데이터를 포함하는 1개 또는 2개의 비디오 스트림이 생성된다.
또한, 화상 데이터 출력부(111L, 111R)로부터 출력되는 입체 화상을 구성하는 좌안 화상 데이터 VL, 우안 화상 데이터 VR은, 시차 데이터 생성부(115)에 공급된다. 이 시차 데이터 생성부(115)에서는, 픽처마다, 블록(Block)마다의 시차 정보가 취득된다. 그리고, 이 시차 데이터 생성부(115)에서는, 또한 블록(Block)마다의 시차 정보에 대하여 다운사이징 처리가 행해지고, 분할 패턴 정보에 기초하여, 픽처 표시 화면 전체, 또는 픽처 표시 화면을 분할하여 얻어진 각 분할 영역에서의 제1 시차 정보 및 제2 시차 정보가 생성된다.
시차 데이터 생성부(115)에서 생성되는 픽처마다의 제1 시차 정보 및 제2 시차 정보는, 비디오 인코더(113)에 공급된다. 비디오 인코더(113)에서는, 비디오 스트림에, 픽처마다의 제1 시차 정보 및 제2 시차 정보가, 픽처 단위, 또는 GOP 단위로 삽입된다.
또한, 서브타이틀 데이터 출력부(116)에서는, 화상에 중첩하는 서브타이틀(자막)의 데이터가 출력된다. 이 서브타이틀 데이터는, 서브타이틀 인코더(117)에 공급된다. 서브타이틀 인코더(117)에서는, 서브타이틀 데이터를 포함하는 서브타이틀 스트림이 생성된다. 이 경우, 서브타이틀 인코더(117)에서는, 시차 데이터 생성부(115)에서 생성되는 블록마다의 시차 정보가 참조되고, 서브타이틀 데이터에, 표시 위치에 대응한 시차 정보가 부가된다.
또한, 음성 데이터 출력부(118)에서는, 화상 데이터에 대응한 음성 데이터가 출력된다. 이 음성 데이터는, 오디오 인코더(119)에 공급된다. 이 오디오 인코더(119)에서는, 음성 데이터에 대하여 MPEG-2Audio, AAC 등의 부호화가 실시되고, 오디오 스트림이 생성된다.
비디오 인코더(113)에 의해 얻어지는 비디오 스트림, 서브타이틀 인코더(117)에 의해 얻어지는 서브타이틀 스트림 및 오디오 인코더(119)에 의해 얻어지는 오디오 스트림은, 각각 멀티플렉서(114)에 공급된다. 멀티플렉서(114)에서는, 각 인코더로부터 공급되는 엘리멘터리 스트림이 PES 패킷화되어 다중되고, 트랜스포트 스트림 TS가 생성된다. 이 경우, 각각의 PES 헤더에는, 수신측에 있어서의 동기 재생을 위해서, PTS가 삽입된다. 또한, 멀티플렉서(114)에서는, PMT의 지배 아래, 또는 EIT의 지배 아래 등에, 비디오 스트림에 시차 정보의 삽입이 있는지 여부를 식별하기 위한 식별 정보가 삽입된다.
[식별 정보, 시차 정보의 구조, TS 구성]
도 9는, 트랜스포트 스트림 TS의 구성예를 나타내고 있다. 이 구성예에서는, 좌안 화상 데이터 및 우안 화상 데이터가 각각 별개의 비디오 스트림으로 전송되는 예를 나타내고 있다. 즉, 좌안 화상 데이터가 부호화되어 있는 비디오 스트림의 PES 패킷 「video PES1」 및 우안 화상 데이터가 부호화되어 있는 비디오 스트림의 PES 패킷 「video PES2」가 포함되어 있다. 또한, 이 구성예에서는, 서브타이틀 데이터(시차 정보를 포함함)가 부호화되어 있는 서브타이틀 스트림의 PES 패킷 「subtitle PES3」 및 음성 데이터가 부호화되어 있는 오디오 스트림의 PES 패킷 「audio PES4」가 포함되어 있다.
비디오 스트림의 유저 데이터 영역에는, 픽처마다의 제1 시차 정보 및 제2 시차 정보를 포함하는 뎁스 인포메이션 SEI(depth_information())가 삽입되어 있다. 예를 들어, 픽처마다의 시차 정보가 픽처 단위로 삽입되는 경우, 이 뎁스 인포메이션 SEI는 비디오 스트림의 각 픽처의 유저 데이터 영역에 삽입된다. 또한, 예를 들어 픽처마다의 시차 정보가 GOP 단위로 삽입되는 경우, 이 뎁스 인포메이션 SEI는 비디오 스트림의 GOP의 선두 또는 시퀀스 파라미터 정보가 삽입되는 위치에 상당하는 픽처의 유저 데이터 영역에 삽입된다. 또한, 이 구성예에서는, 2개의 비디오 스트림의 양쪽에 뎁스 인포메이션 SEI가 삽입되도록 나타내고 있지만, 한쪽의 비디오 스트림에만 삽입되어도 된다.
트랜스포트 스트림 TS에는, PSI(Program Specific Information)로서, PMT(Program Map Table)가 포함되어 있다. 이 PSI는, 트랜스포트 스트림 TS에 포함되는 각 엘리멘터리 스트림이 어느 프로그램에 속해 있는지를 기재한 정보이다. 또한, 트랜스포트 스트림 TS에는, 이벤트 단위의 관리를 행하는 SI(Serviced Information)로서의 EIT(Event Information Table)가 포함되어 있다.
PMT의 지배 아래에, 각 엘리멘터리 스트림에 관련한 정보를 갖는 엘리멘터리 루프가 존재한다. 이 엘리멘터리 루프에는, 스트림마다, 패킷 식별자(PID) 등의 정보가 배치됨과 함께, 그 엘리멘터리 스트림에 관련된 정보를 기술하는 디스크립터도 배치된다.
전술한 비디오 스트림에 시차 정보(제1 시차 정보, 제2 시차 정보)가 삽입되어 있는지 여부를 나타내는 식별 정보를 삽입하는 경우, 예를 들어 프로그램 맵 테이블의 비디오 엘리멘터리 루프의 지배 아래에 삽입되는 디스크립터(descriptor)에 기술된다. 이 디스크립터는, 예를 들어 기존의 AVC 비디오 디스크립터(AVC video descriptor) 또는 MVC 익스텐션 디스크립터(MVC_extension_descriptor) 또는, 신규로 정의되는 뎁스 인포 디스크립터(Depth_info_descriptor)이다. 또한, 뎁스 인포 디스크립터에 대해서는, 파선으로 도시한 바와 같이, EIT의 지배 아래에 삽입하는 것도 고려된다.
도 10의 (a)는 식별 정보가 기술된 AVC 비디오 디스크립터(AVC video descriptor)의 구조예(Syntax)를 나타내고 있다. 이 디스크립터는, 비디오가 MPEG4-AVC Frame compatible 포맷의 경우에 적용할 수 있다. 이 디스크립터 자체는, 이미 H.264/AVC의 규격에 들어 있다. 여기에서는, 이 디스크립터에, 「depth_info_not_existed_flag [0]」의 1비트의 플래그 정보가, 새롭게 정의된다.
이 플래그 정보는, 도 10의 (b)의 규정 내용(semantics)에 도시한 바와 같이, 대응하는 비디오 스트림에, 픽처마다의 시차 정보를 포함하는 뎁스 인포메이션 SEI(depth_information_sei())이 삽입되어 있는지 여부를 나타낸다. 이 플래그 정보가 "0"일 때는 삽입되어 있는 것을 나타낸다. 한편, 이 플래그 정보가 "1"일 때는 삽입되어 있지 않은 것을 나타낸다.
도 11의 (a)는 식별 정보가 기술된 MVC 익스텐션 디스크립터(MVC extension descriptor)의 구조예(Syntax)를 나타내고 있다. 이 디스크립터는, 비디오가 MPEG4-AVC Annex H MVC 포맷의 경우에 적용할 수 있다. 이 디스크립터 자체는, 이미 H.264/AVC의 규격에 들어 있다. 여기에서는, 이 디스크립터에, 「depth_info_not_existed_flag」의 1비트의 플래그 정보가, 새롭게, 정의된다.
이 플래그 정보는, 도 11의 (b)의 규정 내용(semantics)에 도시한 바와 같이, 대응하는 비디오 스트림에, 픽처마다의 시차 정보를 포함하는 뎁스 인포메이션 SEI(depth_information())가 삽입되어 있는지 여부를 나타낸다. 이 플래그 정보가 "0"일 때에는 삽입되어 있는 것을 나타낸다. 한편, 이 플래그 정보가 "1"일 때는 삽입되어 있지 않은 것을 나타낸다.
도 12의 (a)는 뎁스 인포 디스크립터(depth_info_descriptor)의 구조예(Syntax)를 나타내고 있다. 「descriptor_tag」의 8비트 필드는, 이 디스크립터가 「depth_info_descriptor」임을 나타낸다. 「descriptor_length」의 8비트 필드는, 이후의 데이터 바이트수를 나타낸다. 그리고, 이 디스크립터에, 「depth_info_not_existed_flag」의 1비트의 플래그 정보가 기술되어 있다.
이 플래그 정보는, 도 12의 (b)의 규정 내용(semantics)에 도시한 바와 같이, 대응하는 비디오 스트림에, 픽처마다의 시차 정보를 포함하는 뎁스 인포메이션 SEI(depth_information())가 삽입되어 있는지 여부를 나타낸다. 이 플래그 정보가 "0"일 때는 삽입되어 있는 것을 나타낸다. 한편, 이 플래그 정보가 "1"일 때는 삽입되어 있지 않은 것을 나타낸다.
다음으로, 픽처마다의 시차 정보를 포함하는 뎁스 인포메이션 SEI(depth_information())를 비디오 스트림의 유저 데이터 영역에 삽입하는 경우에 대하여 설명한다.
예를 들어, 부호화 방식이 AVC인 경우, 「depth_information()」은, 액세스 유닛의 "SEIs"의 부분에, 「depth_information SEI message」로서 삽입된다. 도 13의 (a)는 GOP(Group Of Pictures)의 선두의 액세스 유닛을 나타내고 있고, 도 13의 (b)는 GOP의 선두 이외의 액세스 유닛을 나타내고 있다. 픽처마다의 시차 정보가 GOP 단위로 삽입되는 경우에는, GOP의 선두의 액세스 유닛에만 「depth_information SEI message」가 삽입된다.
도 14의 (a)는 「depth_information SEI message」의 구조예(Syntax)를 나타내고 있다. 「uuid_iso_iec_11578」은, "ISO/IEC 11578: 1996AnnexA."에서 나타내는 UUID값을 가진다. 「user_data_payload_byte」의 필드에, 「depth_information_data()」가 삽입된다. 도 14의 (b)는 「depth_information_data()」의 구조예(Syntax)를 나타내고 있다. 이 중에, 뎁스 인포메이션 SEI(depth_information())가 삽입된다. 「userdata_id」는, 부호 없는 16비트로 나타내는「depth_information()」의 식별자이다.
도 15의 (a), 도 16 및 도 17은, 각각 픽처마다의 시차 정보를 픽처 단위로 삽입하는 경우에 있어서의 「depth_information()」의 구조예(Syntax)를 나타내고 있다. 도 18에는, 이들 구조예에 있어서의 주요한 정보의 내용(Semantics)이 나타나 있다.
도 15의 (a)는 전술한 (1) 「분할 패턴 정보에 기초하여, 픽처 표시 화면을 복수로 분할하여 얻어진 각 분할 영역에서의 제1 시차 정보를 취득하고, 픽처 표시 화면 전체에 있어서의 제2 시차 정보를 취득한다」라고 하는 취득 방법에 대응한 구조예(Syntax)를 나타내고 있다.
「partition_type」의 3비트 필드는, 픽처 표시 화면의 분할 타입을 나타낸다. "000"은, 도 19의 (a)에 도시한 바와 같은, 분할 타입 「type000」을 나타낸다. "001"은, 도 19의 (b)에 도시한 바와 같은, 분할 타입 「type001」을 나타낸다. "010"은, 도 19의 (c)에 도시한 바와 같은, 분할 타입 「type010」을 나타낸다. "011"은, 도 19의 (d)에 도시한 바와 같은, 분할 타입 「type011」을 나타낸다. "100"은, 도 19의 (e)에 도시한 바와 같은, 분할 타입 「type100」을 나타낸다. "101"은, 도 19의 (f)에 도시한 바와 같은, 분할 타입 「type101」을 나타낸다.
「partition_count」의 4비트 필드는, 분할 영역(Partition)의 총 수를 나타내고, 전술한 「partition_type」에 의존한 값으로 된다. 예를 들어, 「partition_type=000」일 때, 도 19의 (a)에 도시한 바와 같이, 분할 영역(Partition)의 총 수는 「1」이다. 또한, 예를 들어 「partition_type=001」일 때, 도 19의 (b)에 도시한 바와 같이, 분할 영역(Partition)의 총 수는 「4」이다. 또한, 예를 들어 「partition_type=010」일 때, 도 19(c)에 도시한 바와 같이, 분할 영역(Partition)의 총 수는 「8」이다.
「max_disparity_in_picture」의 8비트 필드는, 픽처 표시 화면 전체의 제2 시차 정보, 즉 픽처 전체의 최대의 시차 정보(disparity값)를 나타낸다. 「min_disparity_in_partition」의 8비트 필드는, 각 분할 영역(Partition)의 제1 시차 정보, 즉 각 분할 영역에서의 최소의 시차 정보(disparity값)를 나타낸다.
여기서, 제1 시차 정보인 「min_disparity_in_partition」 및 제2 시차 정보인 「max_disparity_in_picture」는, 절댓값 데이터로 된다. 「min_disparity_in_partition」은, 모니터 위치보다도 앞쪽에 한정함으로써, 부호 비트를 나타내지 않더라도, 수신측에서는, 도 15의 (b)에 도시한 바와 같이, 전송되는 시차 정보(disparity)의 값(절댓값)을 부의 부호값으로 변환하여 이용할 수 있다. 마찬가지로, 「max_disparity_in_picture」는, 모니터 위치보다도 안쪽에 한정함으로써, 부호 비트를 나타내지 않고, 수신측에서는, 도 15의 (b)에 도시한 바와 같이, 전송되는 시차 정보(disparity)의 값(절대값)을 정의 부호값으로 변환하여 이용할 수 있다.
이와 같이 함으로써, 8비트로 표현되는 시차 정보(disparity)의 값의 범위는 (-255, +255)로 되고, 초고화질, 예를 들어 수평 화소수가 4K 레벨의 해상도에 있어서도, 8비트로, 필요한 시차 표현이 가능해진다. 또한, 종래의, 수평 화소수가2K 레벨의 해상도에 대해서는, 이 8비트를 「7비트」+「1비트」로 구획하여 나누고, (-127.5, +127.5)의 시차 표현을 적용할 수 있다. 이 경우, 소수 부분은 하프 화소를 나타내고, 중첩(overlay)시키는 그래픽스 오브젝트를 적절히 보간함으로써, 보다 원활한 깊이(depth) 방향의 동적 업데이트를 실현할 수 있다.
도 16은, 전술한 (2) 「분할 패턴 정보에 기초하여, 픽처 표시 화면을 복수로 분할하여 얻어진 각 분할 영역에서의 제1 시차 정보 및 제2 시차 정보를 취득한다」라고 하는 취득 방법에 대응한 구조예(Syntax)를 나타내고 있다. 이 도 16에 있어서, 도 15와 대응하는 부분은, 적절하게 그 설명을 생략한다.
「partition_type」의 3비트 필드는, 픽처 표시 화면의 분할 타입을 나타낸다. 「partition_count」의 4비트 필드는, 분할 영역(Partition)의 총 수를 나타내고, 전술한 「partition_type」에 의존한 값으로 된다. 「max_disparity_in_partition」의 8비트 필드는, 각 분할 영역(Partition)의 제2 시차 정보, 즉 각 분할 영역에서의 최대의 시차 정보(disparity값)를 나타낸다. 「min_disparity_in_partition」의 8비트 필드는, 각 분할 영역(Partition)의 제1 시차 정보, 즉 각 분할 영역에서의 최소의 시차 정보(disparity값)를 나타낸다. 여기서, 제1 시차 정보인 「min_disparity_in_partition」 및 제2 시차 정보인 「max_disparity_in_partition」은, 절댓값 데이터로 된다.
도 17은, 전술한 (3) 「분할 패턴 정보에 기초하여, 픽처 표시 화면을 제1 분할 정보로 분할하여 얻어진 각 분할 영역에서의 제1 시차 정보를 취득하고, 픽처 표시 화면을 제2 분할 정보로 분할하여 얻어진 각 분할 영역에서의 제2 시차 정보를 취득한다」라고 하는 취득 방법에 대응한 구조예(Syntax)를 나타내고 있다. 이 도 17에 있어서, 도 15, 도 16과 대응하는 부분은, 적절히 그 설명을 생략한다.
「min_partition_type」의 3비트 필드는, 제1 시차 정보의 취득에 따른 픽처 표시 화면의 분할 타입을 나타낸다. 「min_partition_count」의 4비트 필드는, 제1 시차 정보가 취득되는 분할 영역(Partition)의 총 수를 나타내고, 전술한 「min_partition_type」에 의존한 값으로 된다. 「max_partition_type」의 3비트 필드는, 제2 시차 정보의 취득에 따른 픽처 표시 화면의 분할 타입을 나타낸다. 「max_partition_count」의 4비트 필드는, 제2 시차 정보가 취득되는 분할 영역(Partition)의 총 수를 나타내고, 전술한 「max_partition_type」에 의존한 값으로 된다.
「min_disparity_in_partition」의 8비트 필드는, 각 분할 영역(Partition)의 제1 시차 정보, 즉 각 분할 영역에서의 최소의 시차 정보(disparity값)를 나타낸다. 「max_disparity_in_partition」의 8비트 필드는, 각 분할 영역(Partition)의 제2 시차 정보, 즉 각 분할 영역에서의 최대의 시차 정보(disparity값)를 나타낸다. 여기서, 제1 시차 정보인 「min_disparity_in_partition」 및 제2 시차 정보인 「max_disparity_in_partition」은, 절댓값 데이터로 된다.
도 20, 도 21 및 도 22는, 각각 픽처마다의 시차 정보를 GOP 단위로 삽입하는 경우와 같이, 복수의 픽처를 통합하여 부호화하는 경우에 있어서의, 「depth_information()」의 구조예(Syntax)를 나타내고 있다. 도 18에는, 이들 구조예에 있어서의 주요한 정보의 내용(Semantics)이 나타나 있다.
도 20은, 전술한 (1) 「분할 패턴 정보에 기초하여, 픽처 표시 화면을 복수로 분할하여 얻어진 각 분할 영역에서의 제1 시차 정보를 취득하고, 픽처 표시 화면 전체에 있어서의 제2 시차 정보를 취득한다」라고 하는 취득 방법에 대응한 구조예(Syntax)를 나타내고 있다. 이 도 20에 있어서, 전술한 도 15와 대응하는 부분은, 적절히 그 상세 설명을 생략한다.
「picture_count」의 6비트 필드는, 픽처수를 나타낸다. 이 「depth_information()」에는, 픽처수만큼의 제1 시차 정보 및 제2 시차 정보가 포함된다. 「partition_count」의 4비트 필드는, 분할 영역(Partition)의 총 수를 나타낸다. 「max_disparity_in_picture」의 8비트 필드는, 픽처 표시 화면 전체의 제2 시차 정보, 즉 픽처 전체의 최대의 시차 정보(disparity값)를 나타낸다. 「min_disparity_in_partition」의 8비트 필드는, 각 분할 영역(Partition)의 제1 시차 정보, 즉 각 분할 영역에서의 최소의 시차 정보(disparity값)를 나타낸다. 상세 설명은 생략하지만, 도 20의 구조예 이외의 것은, 도 15에 도시한 구조예와 마찬가지이다.
도 21은, 전술한 (2) 「분할 패턴 정보에 기초하여, 픽처 표시 화면을 복수로 분할하여 얻어진 각 분할 영역에서의 제1 시차 정보 및 제2 시차 정보를 취득한다」라고 하는 취득 방법에 대응한 구조예(Syntax)를 나타내고 있다. 이 도 21에 있어서, 도 16, 도 20과 대응하는 부분은, 적절히 그 설명을 생략한다.
「picture_count」의 6비트 필드는, 픽처수를 나타낸다. 이 「depth_information()」에는, 픽처수만큼의 제1 시차 정보 및 제2 시차 정보가 포함된다. 「partition_count」의 4비트 필드는, 분할 영역(Partition)의 총 수를 나타낸다. 「max_disparity_in_partition」의 8비트 필드는, 각 분할 영역(Partition)의 제2 시차 정보, 즉 각 분할 영역에서의 최대의 시차 정보(disparity값)를 나타낸다. 「min_disparity_in_partition」의 8비트 필드는, 각 분할 영역(Partition)의 제1 시차 정보, 즉 각 분할 영역에서의 최소의 시차 정보(disparity값)를 나타낸다. 상세 설명은 생략하지만, 도 21의 구조예 이외의 것은, 도 16에 도시한 구조예와 마찬가지이다.
도 22는, 전술한 (3) 「분할 패턴 정보에 기초하여, 픽처 표시 화면을 제1 분할 정보로 분할하여 얻어진 각 분할 영역에서의 제1 시차 정보를 취득하고, 픽처 표시 화면을 제2 분할 정보로 분할하여 얻어진 각 분할 영역에서의 제2 시차 정보를 취득한다」라고 하는 취득 방법에 대응한 구조예(Syntax)를 나타내고 있다. 이 도 22에 있어서, 도 17, 도 20, 도 21과 대응하는 부분은, 적절히 그 설명을 생략한다.
「picture_count」의 6비트 필드는, 픽처수를 나타낸다. 이 「depth_information()」에는, 픽처수만큼의 제1 시차 정보 및 제2 시차 정보가 포함된다. 「min_partition_type」의 3비트 필드는, 제1 시차 정보의 취득에 따른 픽처 표시 화면의 분할 타입을 나타낸다. 「max_partition_type」의 3비트 필드는, 제2 시차 정보의 취득에 따른 픽처 표시 화면의 분할 타입을 나타낸다. 「min_partition_count」의 4비트 필드는, 제1 시차 정보가 취득되는 분할 영역(Partition)의 총 수를 나타내고, 「max_partition_count」의 4비트 필드는, 제2 시차 정보가 취득되는 분할 영역(Partition)의 총 수를 나타낸다.
「min_disparity_in_partition」의 8비트 필드는, 각 분할 영역(Partition)의 제1 시차 정보, 즉 각 분할 영역에서의 최소의 시차 정보(disparity값)를 나타낸다. 「max_disparity_in_partition」의 8비트 필드는, 각 분할 영역(Partition)의 제2 시차 정보, 즉 각 분할 영역에서의 최대의 시차 정보(disparity값)를 나타낸다. 상세 설명은 생략하지만, 도 22의 구조예 이외의 것은, 도 17에 도시한 구조예와 마찬가지이다.
또한, 전술에서는 부호화 방식이 AVC인 경우에 대하여 설명하였다. 예를 들어, 부호화 방식이 MPEG2video인 경우, 「depth_information()」은, 픽처 헤더부의 유저 데이터 영역에, 유저 데이터 「user_data()」로서 삽입된다. 도 23의 (a)는 「user_data()」의 구조예(Syntax)를 나타내고 있다. 「user_data_start_code」의 32비트 필드는, 유저 데이터(user_data)의 개시 코드이며, "0x000001B2"의 고정값으로 된다.
이 개시 코드에 이어지는 32비트 필드는, 유저 데이터의 내용을 식별하는 식별자이다. 여기에서는, 「depth_information_data_identifier」로 되고, 유저 데이터가, 「depth_information_data」임을 식별 가능하게 한다. 이 식별자의 후의 데이터 본체로서, 「depth_information_data()」가 삽입된다. 도 23의 (b)는 「depth_information__data()」의 구조예(Syntax)를 나타내고 있다. 이 중에, 「depth_information()」이 삽입된다(도 15 내지 도 17, 도 20 내지 도 22 참조).
또한, 부호화 방식이 AVC 또는 MPEG2video인 경우에 있어서의 비디오 스트림에의 시차 정보의 삽입예에 대하여 설명하였다. 상세 설명은 생략하지만, 그 밖의 마찬가지 구조의 부호화 방식, 예를 들어 HEVC 등에 있어서도, 비디오 스트림에의 시차 정보의 삽입을 마찬가지의 구조로 행할 수 있다.
「셋톱박스의 설명」
셋톱박스(200)는 방송국(100)으로부터 방송파에 실어 보내져 오는 트랜스포트 스트림 TS를 수신한다. 또한, 셋톱박스(200)는 이 트랜스포트 스트림 TS에 포함되는 비디오 스트림을 디코드하여, 입체 화상을 구성하는 좌안 화상 데이터 및 우안 화상 데이터를 생성한다. 또한, 셋톱박스(200)는 비디오 스트림에 삽입되어 있는, 화상 데이터의 픽처마다의 시차 정보(제1 시차 정보, 제2 시차 정보)를 추출한다.
셋톱박스(200)는 제1 시차 정보 및 제2 시차 정보에 기초하여, 예를 들어 가장 앞쪽의 오브젝트 재생 위치에 대한 시차각(교차 방향의 시차각) 및 가장 안쪽의 오브젝트 재생 위치에 대한 시차각(동측 방향의 시차각)이 시청상 건강을 해치지 않는 소정의 범위 내에 있는지 여부를 체크한다. 그리고, 셋톱박스(200)는 소정의 범위 내에 들어가 있지 않은 경우에는, 들어가도록 좌안 화상 데이터 및 우안 화상 데이터를 재구성함과 함께, 제1 시차 정보 및 제2 시차 정보를 수정한다.
또한, 셋톱박스(200)는 화상에 그래픽스(STB 그래픽스)를 중첩 표시할 때에는, 화상 데이터 및 시차 정보(제1 시차 정보)와, 그래픽스 데이터를 이용하여, 그래픽스가 중첩된 좌안 화상 및 우안 화상의 데이터를 얻는다. 이 경우, 셋톱박스(200)는 좌안 화상 및 우안 화상에 중첩되는 그래픽스에, 픽처마다 이 그래픽스의 표시 위치에 대응한 시차를 부여하고, 그래픽스가 중첩된 좌안 화상의 데이터 및 그래픽스가 중첩된 우안 화상의 데이터를 얻는다.
전술한 바와 같이 그래픽스에 시차를 부여함으로써, 입체 화상에 중첩 표시되는 그래픽스(STB 그래픽스)를 그 표시 위치에 있어서의 입체 화상의 오브젝트보다도 앞쪽에 표시시킬 수 있다. 이에 의해, OSD 또는 어플리케이션 또는 프로그램 정보의 EPG 등의 그래픽스를 화상에 중첩 표시하는 경우에, 화상 내의 각 오브젝트에 대한 원근감의 정합성을 유지할 수 있다.
도 24는, 시차 정보에 의한 그래픽스의 깊이 제어의 개념을 나타내고 있다. 시차 정보가 마이너스값인 경우, 스크린 위에 있어서 좌안 표시용 그래픽스가 우측으로, 우안 표시용 그래픽스가 좌측으로 벗어나도록 시차가 부여된다. 이 경우, 그래픽스의 표시 위치는 스크린보다도 앞이 된다. 또한, 시차 정보가 플러스값인 경우, 스크린 위에 있어서 좌안 표시용 그래픽스가 좌측으로, 우안 표시용 그래픽스가 우측으로 벗어나도록 시차가 부여된다. 이 경우, 그래픽스의 표시 위치는 스크린보다도 안쪽이 된다.
전술한 바와 같이, 비디오 스트림에는, 화상 데이터의 픽처마다 취득된 시차 정보가 삽입되어 있다. 그로 인해, 셋톱박스(200)는 시차 정보에 의한 그래픽스의 깊이 제어를, 그래픽스의 표시 타이밍에 맞는 시차 정보를 이용하여 고정밀도로 행할 수 있다.
또한, 도 24는, 동측 방향의 시차각(θ0-θ2)과, 교차 방향의 시차각(θ0-θ1)을 나타내고 있다. 셋톱박스(200)에 있어서는, 비디오 스트림에 삽입되어 오는 픽처마다의 제1 시차 정보 및 제2 시차 정보에 기초하여, 이들 시차각이 시청상 건강을 해치지 않는 소정의 범위 내에 있는지 여부가 체크된다.
도 25는, 비디오 스트림에 픽처 단위로 시차 정보가 삽입되어 있는 경우의 예로서, 셋톱박스(200)에서는, 화상 데이터의 픽처 타이밍에서 순차 시차 정보가 취득된다. 그래픽스의 표시에 있어서는, 그래픽스의 표시 타이밍에 맞는 시차 정보(제1 시차 정보)가 사용되고, 그래픽스에 적절한 시차가 부여된다. 또한, 도 26은, 예를 들어 비디오 스트림에 GOP 단위로 시차 정보가 삽입되어 있는 경우의 예로서, 셋톱박스(200)에서는, 화상 데이터의 GOP의 선두 타이밍에서, GOP 내의 각 픽처의 시차 정보(시차 정보 세트)가 통합하여 취득된다. 그래픽스(STB 그래픽스)의 표시에 있어서는, 그래픽스의 표시 타이밍에 맞는 시차 정보(제1 시차 정보)가 사용되고, 그래픽스에 적절한 시차가 부여된다.
도 27의 (a)의 「Side View」는, 화상 위에 있어서의 자막(서브타이틀) 및 OSD 그래픽스의 표시예를 나타내고 있다. 이 표시예에서는, 배경, 중경 오브젝트 및 근경 오브젝트를 포함하여 이루어지는 화상 위에, 자막 및 그래픽스가 중첩된 예이다. 도 27의 (b)의 「Top View」는, 배경, 중경 오브젝트, 근경 오브젝트, 자막 및 그래픽스의 원근감을 나타내고 있다. 자막 및 그래픽스는, 표시 위치에 대응하는 오브젝트보다도 앞쪽에 있는 것처럼 인식됨을 나타내고 있다. 또한, 도시를 생략하였지만, 자막과 그래픽스의 표시 위치가 겹치는 경우에는, 예를 들어 그래픽스가 자막보다도 앞쪽에 인식되도록, 그래픽스에 적절한 시차가 부여된다.
「셋톱박스의 구성예」
도 28은, 셋톱박스(200)의 구성예를 나타내고 있다. 셋톱박스(200)는 컨테이너 버퍼(211)와, 디멀티플렉서(212)와, 코디드 버퍼(213)와, 비디오 디코더(214)와, 디코디드 버퍼(215)와, 스케일러(216)와, L/R 재구성부(263)와, 중첩부(217)를 갖고 있다. 또한, 셋톱박스(200)는 시차 정보 버퍼(218)와, 시차 정보 제어부(262)와, 셋톱박스(STB) 그래픽스 발생부(219)와, 깊이 제어부(220)와, 그래픽스 버퍼(221)를 갖고 있다.
또한, 셋톱박스(200)는 코디드 버퍼(231)와, 서브타이틀 디코더(232)와, 픽셀 버퍼(233)와, 서브타이틀 시차 정보 버퍼(234)와, 서브타이틀 표시 제어부(235)를 갖고 있다. 또한, 셋톱박스(200)는 코디드 버퍼(241)와, 오디오 디코더(242)와, 오디오 버퍼(243)와, 채널 믹싱부(244)와, HDMI 송신부(251)를 갖고 있다.
컨테이너 버퍼(211)는 디지털 튜너(도시생략) 등으로 수신된 트랜스포트 스트림 TS를 일시적으로 기억한다. 이 트랜스포트 스트림 TS에는, 비디오 스트림, 서브타이틀 스트림 및 오디오 스트림이 포함되어 있다. 비디오 스트림으로서, 좌안 화상 데이터 및 우안 화상 데이터가 부호화되어 얻어진 1개 또는 2개의 비디오 스트림이 포함되어 있다.
예를 들어, 좌안 화상 데이터 및 우안 화상 데이터에 의해 사이드 바이 사이드 방식 또는 톱 앤드 보텀 방식의 화상 데이터가 구성되어 1개의 비디오 스트림으로 보내져 오는 경우가 있다. 또한, 예를 들어 좌안 화상 데이터 및 우안 화상 데이터가, MVC의 베이스 뷰 스트림, 넌베이스 뷰 스트림과 같이, 각각 별개의 비디오 스트림으로 보내져 오는 경우가 있다.
디멀티플렉서(212)는 컨테이너 버퍼(211)에 일시적으로 기억된 트랜스포트 스트림 TS로부터, 비디오, 서브타이틀 및 오디오의 각 스트림을 추출한다. 또한, 디멀티플렉서(212)는 이 트랜스포트 스트림 TS로부터, 비디오 스트림에 시차 정보가 삽입되어 있는지 여부를 나타내는 식별 정보(「graphics_depth_info_not_existed_flag[0]」의 플래그 정보)를 추출하고, 도시를 생략한 제어부(CPU)로 보낸다. 비디오 디코더(214)는 제어부(CPU)의 제어 하에 식별 정보가 시차 정보의 삽입을 나타낼 때, 후술하는 바와 같이, 비디오 스트림으로부터 시차 정보(제1 시차 정보, 제2 시차 정보)를 취득한다.
코디드 버퍼(213)는, 디멀티플렉서(212)로 추출되는 비디오 스트림을 일시적으로 기억한다. 비디오 디코더(214)는 코디드 버퍼(213)에 기억되어 있는 비디오 스트림에 디코드 처리를 행하여, 좌안 화상 데이터 및 우안 화상 데이터를 취득한다. 또한, 비디오 디코더(214)는 비디오 스트림에 삽입되어 있는 화상 데이터의 픽처마다의 시차 정보(제1 시차 정보, 제2 시차 정보)를 취득한다. 디코디드 버퍼(215)는, 비디오 디코더(214)로 취득된 좌안 화상 데이터 및 우안 화상 데이터를 일시적으로 기억한다.
시차 정보 버퍼(218)는 비디오 디코더(214)로 취득된 화상 데이터의 픽처마다의 시차 정보(제1 시차 정보, 제2 시차 정보)를 일시적으로 기억한다. 시차 정보 제어부(262)는 시차 정보 버퍼(218)에 기억되어 있는 픽처마다의 제1 시차 정보 및 제2 시차 정보에 기초하여, 가장 앞쪽의 오브젝트 재생 위치에 대한 시차각(교차 방향의 시차각) 및 가장 안쪽의 오브젝트 재생 위치에 대한 시차각(동측 방향의 시차각)이 시청상 건강을 해치지 않는 소정의 범위 내에 있는지 여부를 체크한다.
또한, 이 시차 정보 제어부(262)는 시차각이 소정의 범위 내에 들어가 있지 않은 경우에는, 시차각이 소정의 범위 내에 들어가도록, L/R 재구성부(263)에 좌안 화상 데이터 및 우안 화상 데이터의 재구성을 지시한다. 또한, 시차 정보 제어부(262)는 재구성되는 좌안 화상 데이터 및 우안 화상 데이터에 맞춰 제1 시차 정보 및/또는 제2 시차 정보를 수정하여 출력한다. 또한, 시차 정보 제어부(262)는 시차각이 소정의 범위 내에 들어가 있는 경우에는, L/R 재구성부(263)에 좌안 화상 데이터 및 우안 화상 데이터의 재구성을 지시하지는 않으며, 또한 제1 시차 정보 및 제2 시차 정보를 수정하지 않고 그대로 출력한다.
도 29의 상부는, 수신 데이터(좌안 화상 데이터 및 우안 화상 데이터)에 있어서의 앞쪽(near)과 안쪽(far)의 시차각의 시간 추이의 일례를 나타내고 있다. 범위 d는, 시청상 건강에 해를 끼치지 않는 시차각의 범위를 나타내고 있다. 이 예에서는, 안쪽(far)의 시차각에 범위 d에 들어가 있지 않은 구간이 있다.
도 29의 하부는, 재구성 후의 데이터(좌안 화상 데이터 및 우안 화상 데이터)에 있어서의 앞쪽(near)과 안쪽(far)의 시차각의 시간 추이의 일례를 나타내고 있다. (a)는 범위 d를 초과할 때에 리미트 제어를 한 경우의 예이다. (b)는 범위 d를 초과하지 않도록, 전체 깊이량(depth volume)을 저감한 경우의 예이다.
도 30은, 시차 정보 제어부(262)의 구성예를 나타내고 있다. 이 시차 정보 제어부(262)는 최대값 취득부(271)와, 최소값 취득부(272)와, 시차각 체크부(272)와, 시차 정보 보정부(274)를 갖고 있다. 최대값 취득부(271)는 수신된 제2 시차 정보(Max disparity)로부터 최대값의 것을 선택하여, 시차각 체크부(273)에 공급한다. 수신된 제2 시차 정보는, 픽처 화면 전체의 것인 경우에는 1개이며, 복수의 분할 영역마다의 것이면 복수개로 된다. 최소값 취득부(272)는 수신된 제1 시차 정보(Min disparity)로부터 최소값의 것을 선택하여, 시차각 체크부(273)에 공급한다. 수신된 제1 시차 정보는, 픽처 화면 전체의 것인 경우에는 1개이며, 복수의 분할 영역마다의 것이면 복수개로 된다.
시차각 체크부(273)는 제1 시차 정보 및 제2 시차 정보에 기초하여, 앞쪽의 시차각과 안쪽의 시차각이, 시청상 건강에 해를 끼치지 않은 시차각의 범위 d(도 29 참조)에 들어가 있는 것인지 여부를 체크하고, 그 체크 결과를 시차 정보 보정부(274)에 공급한다. 시차 정보 보정부(274)는 시차각이 범위 d에 들어가 있지 않을 때, 시차각이 범위 d에 들어가도록, L/R 재구성부(263)에, 수신된 좌안 화상 데이터 및 우안 화상 데이터의 재구성을 지시한다.
또한, 시차 정보 보정부(274)에는, 수신된 제1 시차 정보(Min disparity) 및 제2 시차 정보(Max disparity)가 공급되어 있다. 시차 정보 보정부(274)는 전술한 좌안 화상 데이터 및 우안 화상 데이터의 재구성 지시에 맞춰 제1 시차 정보 및 제2 시차 정보에 대하여 수정 처리를 행하고, 수정 후의 제1 시차 정보(Corrected Min disparity) 및 제2 시차 정보(Corrected Max disparity)를 출력한다. 또한, 시차 정보 보정부(274)는 시차각이 범위 d에 들어가 있을 때에는, L/R 재구성부(263)에 좌안 화상 데이터 및 우안 화상 데이터의 재구성을 지시하지 않으며, 또한 제1 시차 정보 및 제2 시차 정보를 수정하지 않고 그대로 출력한다.
도 28로 되돌아가서, 스케일러(216)는, 디코디드 버퍼(215)로부터 출력되는 좌안 화상 데이터 및 우안 화상 데이터에 대하여 필요에 따라서, 수평 방향이나 수직 방향의 스케일링 처리를 행한다. 예를 들어, 좌안 화상 데이터 및 우안 화상 데이터가 사이드 바이 사이드 방식 또는 톱 앤드 보텀 방식의 화상 데이터로서 1개의 비디오 스트림으로 보내져 오는 경우에는, 수평 방향 또는 수직 방향으로 2배로 스케일업하여 출력한다. 또한, 예를 들어 좌안 화상 데이터 및 우안 화상 데이터가 MVC의 베이스 뷰 스트림, 넌베이스 뷰 스트림과 같이, 각각 별개의 비디오 스트림으로 보내져 오는 경우에는, 스케일링 처리를 행하지 않고, 좌안 화상 데이터 및 우안 화상 데이터를 그대로 출력한다.
L/R 재구성부(263)는 좌안 화상 데이터 및 우안 화상 데이터를 재구성한다. 즉, L/R 재구성부(263)는 적어도 동측 방향 또는 교차 방향의 시차각 중 어느 하나가 시청상 건강을 해치지 않는 소정의 범위 내로부터 비어져 나올 때, 전술한 시차 정보 제어부(262)로부터의 재구성 지시에 기초하여, 소정의 범위 내에 들어가도록 좌안 화상 데이터 및 우안 화상 데이터를 재구성한다.
코디드 버퍼(231)는, 디멀티플렉서(214)로 추출되는 서브타이틀 스트림을 일시적으로 기억한다. 서브타이틀 디코더(232)는 전술한 송신 데이터 생성부(110)의 서브타이틀 인코더(117: 도 8 참조)와는 반대의 처리를 행한다. 즉, 서브타이틀 디코더(232)는 코디드 버퍼(231)에 기억되어 있는 서브타이틀 스트림의 디코드 처리를 행하여, 서브타이틀 데이터를 얻는다.
이 서브타이틀 데이터에는, 서브타이틀(자막)의 비트맵 데이터와, 이 서브타이틀의 표시 위치 정보 「Subtitle rendering position(x2, y2)」와, 서브타이틀(자막)의 시차 정보 「Subtitle disparity」가 포함되어 있다. 픽셀 버퍼(233)는 서브타이틀 디코더(232)로 얻어지는 서브타이틀(자막)의 비트맵 데이터 및 서브타이틀(자막)의 표시 위치 정보 「Subtitle rendering position(x2, y2)」를 일시적으로 기억한다. 서브타이틀 시차 정보 버퍼(234)는 서브타이틀 디코더(232)로 얻어지는 서브타이틀(자막)의 시차 정보 「Subtitle disparity」를 일시적으로 기억한다.
서브타이틀 표시 제어부(235)는 서브타이틀(자막)의 비트맵 데이터와, 이 서브타이틀(자막)의 표시 위치 정보 및 시차 정보에 기초하여, 시차가 부여된 좌안 표시용 및 우안 표시용 서브타이틀의 비트맵 데이터 「Subtitle data」를 생성한다. 셋톱박스(STB) 그래픽스 발생부(219)는 OSD 또는 어플리케이션, 또는 EPG 등의 그래픽스 데이터를 발생한다. 이 그래픽스 데이터에는, 그래픽스 비트맵 데이터 「Graphics data」와, 이 그래픽스의 표시 위치 정보 「Graphics rendering position(x1, y1)」이 포함되어 있다.
그래픽스 버퍼(221)는 셋톱박스 그래픽스 발생부(219)에서 발생된 그래픽스 비트맵 데이터 「Graphics data」를 일시적으로 기억한다. 중첩부(217)는 좌안 화상 데이터 및 우안 화상 데이터에, 각각 서브타이틀 표시 제어부(235)에서 생성된 좌안 표시용 및 우안 표시용 서브타이틀의 비트맵 데이터 「Subtitle data」를 중첩한다.
또한, 중첩부(217)는 좌안 화상 데이터 및 우안 화상 데이터에, 각각 그래픽스 버퍼(221)에 기억되어 있는 그래픽스 비트맵 데이터 「Graphics data」를 중첩한다. 이때, 좌안 화상 데이터 및 우안 화상 데이터 각각에 중첩되는 그래픽스 비트맵 데이터 「Graphics data」에는, 후술하는 깊이 제어부(220)에 의해, 시차가 부여된다. 여기서, 그래픽스 비트맵 데이터 「Graphics data」가 서브타이틀의 비트맵 데이터 「Subtitle data」와 동일 화소를 공유하는 경우, 중첩부(217)는 서브타이틀 데이터 위에 그래픽스 데이터를 덮어쓰기 한다.
깊이 제어부(220)는 좌안 화상 데이터 및 우안 화상 데이터 각각에 중첩되는 그래픽스 비트맵 데이터 「Graphics data」에 시차를 부여한다. 그로 인해, 깊이 제어부(220)는 화상 데이터의 픽처마다, 좌안 표시용 및 우안 표시용 그래픽스의 표시 위치 정보 「Rendering position」을 생성하고, 그래픽스 버퍼(221)에 기억되어 있는 그래픽스 비트맵 데이터 「Graphics data」의 좌안 화상 데이터 및 우안 화상 데이터에의 중첩 위치의 시프트 제어를 행한다.
깊이 제어부(220)는 도 31에 도시한 바와 같이, 이하의 정보를 이용하여, 표시 위치 정보 「Rendering position」을 생성한다. 즉, 깊이 제어부(220)는 시차 정보 제어부(262)로부터 출력되는 픽처마다의 제1 시차 정보(Min disparity)를 이용한다. 또한, 깊이 제어부(220)는 픽셀 버퍼(233)에 기억되어 있는 서브타이틀(자막)의 표시 위치 정보 「Subtitle rendering position(x2, y2)」를 이용한다.
또한, 동적인 깊이(depth) 갱신에서, 분할 영역(partition)마다의 깊이 변화에 주목하면, 배경의 입체 화상 중 오브젝트가 공간적인 위치를 바꿀 때, 깊이의 변화량이 순간적으로 현저해져서, 그것을 그대로 그래픽스의 중첩(overlay)에 이용하면, 시청자측에 깊이 위화감이 발생할 수 있다. 그로 인해, 깊이 제어부(220)는 그러한 위화감을 억제하기 위해서, 픽처마다의 각 분할 영역의 제1 시차 정보(Min disparity)에 대하여, 예를 들어 이하와 같은, 시간 방향으로 평활화하는 처리(필터링 처리)를 행하여, 급격한 변화를 억제하여 원활한 변화로 한다. 여기서, 제1 시차 정보는, 수신된 절댓값을 부의 부호값으로 변환한 것이다.
도 32는, 필터링 처리의 일례를 나타내고 있다. 이 예는, T0의 타이밍에 있어서의 시차 정보(Disprity)값이 A이며, T1의 타이밍에 있어서의 시차 정보(Disprity)값이 B로 되고, 급격하게 변화하는 경우의 예이다. 이 경우, T1의 타이밍에 있어서의 시차 정보(Disprity)값은, B 바로 그 자체가 아니라, (A-α1)로 된다. 마찬가지로 하여, T2의 타이밍에서는 (A-α1*2), T3의 타이밍에서는 (A-α1*3)으로 된다. 여기서, α1=(A-B)/N이다. 이와 같이, (A-B)의 시차 정보차를 N 비디오 프레임의 시간을 두고 서서히 변화되도록, 필터링 처리가 행해지고, 최종적으로 시차 정보(Disprity)값은 B로 안정된다.
또한, (A-B)의 시차 정보차가 예를 들어 N 화소인 경우에는, 1 프레임에 1 화소의 변화량으로, N 비디오 프레임의 기간을 거쳐서 변화시키게 된다. 또한, (A-B)의 시차 정보차가 N 화소의 정수배가 아닌 경우에는, 1 프레임마다의 변화량에 소수값이 발생하지만, 화상에 중첩시키는 그래픽스를 보간 확대 축소 등을 행하는, 소위 서브 픽셀 제어를 실시하는 것도 가능하다.
도 33에는, 필터링 처리의 다른 예를 나타내고 있다. 이 예는, T0의 타이밍에 있어서의 시차 정보(Disprity)값이 A이며, T1, T2, T3의 각 타이밍에 있어서의 시차 정보(Disprity)값이 B, C, D로 되어, 급격하게 변화해 가는 경우의 예이다. 이 경우, T1의 타이밍에 있어서의 시차 정보(Disprity)값은, B 바로 그 자체가 아니라, (A-α1)로 된다. 여기서, α1=(A-B)/N이다. 이 경우, (A-B)의 시차 정보차를 N 비디오 프레임의 시간을 두고 서서히 변화되도록, 필터링 처리가 행해진다.
또한, T2의 타이밍에 있어서의 시차 정보(Disprity)값은, C 바로 그 자체가 아니라, (A-α1)-α2로 된다. 여기서, α2=((A-α1)-C)/P이다. 이 경우, ((A-α1)-C)의 시차 정보차를 P 비디오 프레임의 시간을 두고 서서히 변화되도록, 필터링 처리가 행해진다.
또한, T2의 타이밍에 있어서의 시차 정보(Disprity)값은, D 바로 그 자체가 아니라, ((A-α1)-α2)-α3)으로 된다. 여기서, α3=(((A-α1)-α2)-D)/Q이다. (((A-α1)-α2)-D)의 시차 정보차를 Q 비디오 프레임의 시간을 두고 서서히 변화되도록, 필터링 처리가 행해지고, 최종적으로 시차 정보(Disprity)값은 D로 안정된다.
또한, 시간 방향으로 평활화하는 처리(필터링 처리)는 전술한 예에 한정되는 것이 아니라, 그 밖의 방법이어도 된다. 요컨대, 이 필터링 처리에 의해, 시차 정보의 급격한 변화가 억제되면 된다.
도 31로 되돌아가서, 또한 깊이 제어부(220)는 서브타이틀 시차 정보 버퍼(234)에 기억되어 있는 서브타이틀(자막)의 시차 정보 「Subtitle disparity」를 이용한다. 또한, 깊이 제어부(220)는 셋톱박스 그래픽스 발생부(219)에서 발생되는 그래픽스의 표시 위치 정보 「Graphics rendering position(x1, y1)」를 이용한다. 또한, 깊이 제어부(220)는 비디오 스트림에 시차 정보가 삽입되어 있는지 여부를 나타내는 식별 정보를 이용한다.
또한, 깊이 제어부(220)는, 시차 정보 제어부(262)로부터 출력되는 픽처마다의 제1 시차 정보(Min disparity)를 자막 또는 그래픽스의 화상에의 중첩에 따라서 갱신한다. 이 경우, 깊이 제어부(220)는 서브타이틀(자막)의 표시 위치 및 그래픽스의 표시 위치에 대응한 분할 영역(Partition)의 시차 정보(Disparity)의 값을, 예를 들어 서브타이틀(자막) 또는 그래픽스의 시차 부여에 이용된 시차 정보(Disparity)의 값으로 갱신한다.
도 34, 도 35의 흐름도는, 깊이 제어부(220)의 제어 처리 수순의 일례를 나타내고 있다. 깊이 제어부(220)는 이 제어 처리를, 그래픽스 표시를 행하는 각 픽처(프레임)에서 실행한다. 깊이 제어부(220)는 스텝 ST1에 있어서, 제어 처리를 개시한다. 그 후에, 스텝 ST2에 있어서, 식별 정보에 기초하여 비디오 스트림에 그래픽스용 시차 정보의 삽입이 있는지 여부를 판단한다.
비디오 스트림에 시차 정보의 삽입이 있을 때, 깊이 제어부(220)는 스텝 ST3의 처리로 이행한다. 이 스텝 ST3에 있어서, 그래픽스를 중첩 표시(overlay)하는 좌표가 포함되는 분할 영역(partition)을 모두 검사한다. 그리고, 깊이 제어부(220)는 스텝 ST4에 있어서, 대상으로 되는 분할 영역(partition)의 시차 정보(disparity)를 비교하고, 최적의 값, 예를 들어 최소값을 선택하여, 그래픽스 시차 정보(disparity)의 값(graphics_disparity)으로 한다.
다음으로, 깊이 제어부(220)는 스텝 ST5의 처리로 이행한다. 전술한 스텝 ST2에서 비디오 스트림에 시차 정보의 삽입이 없을 때, 깊이 제어부(220)는 즉시, 스텝 ST5의 처리로 이행한다. 이 스텝 ST5에 있어서, 깊이 제어부(220)는 시차 정보(disparity)를 가진 서브타이틀 스트림(Subtitle stream)이 있는지 여부를 판단한다.
시차 정보(disparity)를 가진 서브타이틀 스트림(Subtitle stream)이 있을 때, 깊이 제어부(220)는 스텝 ST6에 있어서, 서브타이틀용 시차 정보(disparity)의 값(subtitle_disparity)과, 그래픽스용 시차 정보의 값(graphics_disparity)을 비교한다. 또한, 그래픽스용 시차 정보의 값(graphics_disparity)은 비디오 스트림에 그래픽스용 시차 정보(disparity)의 삽입이 없을 때는, 예를 들어 「0」으로 된다.
다음으로, 깊이 제어부(220)는 스텝 ST7에 있어서, 「subtitle_disparity>(graphics_disparity)의 조건을 만족하는지 여부를 판단한다. 이 조건을 만족할 때, 깊이 제어부(220)는 스텝 ST8에 있어서, 그래픽스 버퍼(221)에 기억되어 있는 그래픽스 비트맵 데이터 「Graphics data」에 대하여 그래픽스용 시차 정보(disparity)의 값(graphics_disparity)과 동등한 값을 이용하여, 표시 위치가 시프트된 좌안 표시용 및 우안 표시용 그래픽스 비트맵 데이터를 얻고, 각각 좌안 화상 데이터 및 우안 화상 데이터에 중첩한다.
다음으로, 깊이 제어부(220)는 스텝 ST9에 있어서, 서브타이틀 또는 그래픽스를 중첩시킨 화면 위치에 상당하는 분할 영역(Partition)의 시차 정보(disparity)의 값을 갱신한다. 깊이 제어부(220)는 스텝 ST9의 처리 후, 스텝 ST10에 있어서, 제어 처리를 종료한다.
한편, 스텝 ST7에서 조건을 만족하지 않을 때, 깊이 제어부(220)는 스텝 ST10에 있어서, 그래픽스 버퍼(221)에 기억되어 있는 그래픽스 비트맵 데이터 「Graphics data」에 대하여 서브타이틀용 시차 정보(disparity)보다도 작은 값을 이용하여, 표시 위치가 시프트된 좌안 표시용 및 우안 표시용 그래픽스 비트맵 데이터를 얻고, 각각 좌안 화상 데이터 및 우안 화상 데이터에 중첩한다. 깊이 제어부(220)는 스텝 ST11의 처리 후, 스텝 ST9의 처리를 거쳐, 스텝 ST10에 있어서, 제어 처리를 종료한다.
또한, 스텝 ST5에서 시차 정보(disparity)를 가진 서브타이틀 스트림(Subtitle stream)이 없을 때, 깊이 제어부(220)는 스텝 ST12의 처리로 이행한다. 이 스텝 ST12에 있어서, 깊이 제어부(220)는 스텝 ST4에 있어서 얻어지는 그래픽스용 시차 정보의 값(graphics_disparity)을 이용하거나, 또는 셋톱박스(200)로 산출되는 시차 정보(disparity)의 값을 이용하여, 그래픽스의 깊이 제어를 행한다.
즉, 깊이 제어부(220)는 그래픽스 버퍼(221)에 기억되어 있는 그래픽스 비트맵 데이터 「Graphics data」에 대하여 그래픽스용 시차 정보의 값(graphics_disparity) 또는 산출되는 시차 정보(disparity)의 값을 이용하여, 표시 위치가 시프트된 좌안 표시용 및 우안 표시용 그래픽스 비트맵 데이터를 얻고, 각각 좌안 화상 데이터 및 우안 화상 데이터에 중첩한다. 깊이 제어부(220)는 스텝 ST12의 처리의 후, 스텝 ST9의 처리를 거쳐, 스텝 ST10에 있어서, 제어 처리를 종료한다.
도 36은, 셋톱박스(200)에 있어서의 그래픽스의 깊이 제어예를 나타내고 있다. 이 예에 있어서, 그래픽스(STB 그래픽스)는 우측의 8개의 분할 영역(Partition 2, 3, 6, 7, 10, 11, 14, 15)의 시차 정보 중 최소값의 시차 정보에 기초하여, 좌안 표시용 그래픽스 및 우안 표시용 그래픽스에 시차가 부여된다. 그 결과, 그래픽스는 이들 8개의 분할 영역의 화상(비디오) 오브젝트보다 앞쪽에 표시되게 된다.
도 37도, 셋톱박스(200)에 있어서의 그래픽스의 깊이 제어예를 나타내고 있다. 이 예에 있어서, 그래픽스(STB 그래픽스)는 우측의 8개의 분할 영역(Partition 2, 3, 6, 7, 10, 11, 14, 15)의 시차 정보 중 최소값의 시차 정보, 나아가 서브타이틀(자막)의 시차 정보에 기초하여, 좌안 표시용 그래픽스 및 우안 표시용 그래픽스에 시차가 부여된다.
그 결과, 그래픽스는, 이들 8개의 분할 영역의 화상(비디오) 오브젝트보다 앞에서, 서브타이틀(자막)보다도 더 앞쪽에 표시되게 된다. 또한, 이 경우, 서브타이틀(자막)도, 서브타이틀(자막)의 시차 정보에 기초하여, 서브타이틀의 표시 위치에 대응한 4개의 분할 영역(Partition 8, 9, 10, 11)의 화상(비디오) 오브젝트보다 앞쪽에 표시되게 된다.
또한, 이 도 37의 깊이 제어예의 경우의 시차 정보의 갱신 처리는, 예를 들어 이하와 같이 행해진다. 즉, 처음에 서브타이틀의 표시 위치에 대응한 4개의 분할 영역(Partition 8, 9, 10, 11)의 시차 정보(Disparity)의 값이, 서브타이틀에의 시차 부여에 사용된 시차 정보값(subtitle_disparity)으로 갱신된다. 그 후, 8개의 분할 영역(Partition 2, 3, 6, 7, 10, 11, 14, 15)의 시차 정보(Disparity)의 값이, 그래픽스에의 시차 부여에 사용된 시차 정보값(graphics_disparity)으로 갱신된다.
도 28로 되돌아가서, 코디드 버퍼(241)는, 디멀티플렉서(212)로 추출되는 오디오 스트림을 일시적으로 기억한다. 오디오 디코더(242)는 전술한 송신 데이터 생성부(110)의 오디오 인코더(119: 도 8 참조)와는 반대의 처리를 행한다. 즉, 오디오 디코더(242)는 코디드 버퍼(241)에 기억되어 있는 오디오 스트림의 복호화 처리를 행하고, 복호화된 음성 데이터를 얻는다. 오디오 버퍼(243)는 오디오 디코더(242)로 얻어지는 음성 데이터를 일시적으로 기억한다. 채널 믹싱부(244)는 오디오 버퍼(243)에 기억되어 있는 음성 데이터에 대하여 예를 들어 5.1ch 서라운드 등을 실현하기 위한 각 채널의 음성 데이터를 생성하여 출력한다.
또한, 디코디드 버퍼(215), 시차 정보 버퍼(218), 픽셀 버퍼(233), 서브타이틀 시차 정보 버퍼(234) 및 오디오 버퍼(243)로부터의 정보(데이터)의 판독은, PTS에 기초하여 행해지고, 전송 동기가 취해진다.
HDMI 송신부(251)는 HDMI에 준거한 통신에 의해, 중첩부(217)에서 서브타이틀 및 그래픽스의 중첩 처리가 되어 얻어진 좌안 화상 데이터 및 우안 화상 데이터와, 채널 믹싱부(244)에서 얻어진 각 채널의 음성 데이터를, HDMI의 싱크 기기, 이 실시 형태에서는 텔레비전 수신기(300)로 송신한다. 여기서, 중첩부(217)에서 얻어지는 좌안 화상 데이터는, 좌안 표시용 서브타이틀(자막) 및 STB 그래픽스가 중첩된 좌안 화상의 데이터이다. 또한, 중첩부(217)에서 얻어지는 우안 화상 데이터는, 우안 표시용 서브타이틀(자막) 및 STB 그래픽스가 중첩된 우안 화상의 데이터이다.
또한, 이 HDMI 송신부(251)는 깊이 제어부(220)에서 갱신된 각 픽처의 제1 시차 정보(Min disparity) 및 시차 정보 제어부(262)로부터 출력되는 각 픽처의 제2 시차 정보(Max disparity)를 HDMI 인터페이스로, 텔레비전 수신기(300)로 송신한다. 이 실시 형태에 있어서, 이들 제1 시차 정보 및 제2 시차 정보는, 화상 데이터의 블랭킹 기간, 또는 액티브 스페이스 영역(Active space)에 삽입되고, 송신된다. 이 HDMI 송신부(251)의 상세는 후술한다.
도 28에 도시한 셋톱박스(200)의 동작을 간단히 설명한다. 디지털 튜너 등에 의해 수신된 트랜스포트 스트림 TS는, 컨테이너 버퍼(211)에 일시적으로 기억된다. 이 트랜스포트 스트림 TS에는, 비디오 스트림, 서브타이틀 스트림 및 오디오 스트림이 포함되어 있다. 비디오 스트림으로서는, 좌안 화상 데이터 및 우안 화상 데이터가 부호화되어 얻어진 1개 또는 2개의 비디오 스트림이 포함되어 있다.
디멀티플렉서(212)에서는, 컨테이너 버퍼(211)에 일시적으로 기억된 트랜스포트 스트림 TS로부터, 비디오, 서브타이틀 및 오디오의 각 스트림이 추출된다. 또한, 디멀티플렉서(212)에서는, 이 트랜스포트 스트림 TS로부터, 비디오 스트림에 시차 정보가 삽입되어 있는지 여부를 나타내는 식별 정보(「graphics_depth_info_not_existed_flag[0]」의 플래그 정보)가 추출되고, 도시를 생략한 제어부(CPU)로 보내진다.
디멀티플렉서(212)로 추출되는 비디오 스트림은 코디드 버퍼(213)에 공급되어 일시적으로 기억된다. 그리고, 비디오 디코더(214)에서는, 코디드 버퍼(213)에 기억되어 있는 비디오 스트림의 디코드 처리가 행해지고, 좌안 화상 데이터 및 우안 화상 데이터가 취득된다. 이 좌안 화상 데이터 및 우안 화상 데이터는, 디코디드 버퍼(215)에 일시적으로 기억된다.
또한, 비디오 디코더(214)에서는, 비디오 스트림에 삽입되어 있는, 화상 데이터의 픽처마다의 시차 정보(제1 시차 정보, 제2 시차 정보)가 취득된다. 이 시차 정보는, 시차 정보 버퍼(218)에 일시적으로 기억된다. 시차 정보 제어부(262)에서는, 시차 정보 버퍼(218)에 기억되어 있는 픽처마다의 제1 시차 정보 및 제2 시차 정보에 기초하여, 가장 앞쪽의 오브젝트 재생 위치에 대한 시차각(교차 방향의 시차각) 및 가장 안쪽의 오브젝트 재생 위치에 대한 시차각(동측 방향의 시차각)이 시청상 건강을 해치지 않는 범위 d(도 29 참조)에 들어가 있는 것인지 여부가 체크된다.
그리고, 이 시차 정보 제어부(262)에서는, 시차각이 소정의 범위 내에 들어가 있지 않은 경우, 시차각이 범위 d에 들어가도록, L/R 재구성부(263)에 좌안 화상 데이터 및 우안 화상 데이터의 재구성을 지시하는 일이 행해진다. 또한, 그 경우, 이 시차 정보 제어부(262)에서는, 재구성되는 좌안 화상 데이터 및 우안 화상 데이터에 맞춰, 제1 시차 정보 및/또는 제2 시차 정보를 수정하여 출력하는 일이 행해진다. 또한, 시차 정보 제어부(262)에서는, 시차각이 소정의 범위 d에 들어가 있는 경우에는, L/R 재구성부(263)에 좌안 화상 데이터 및 우안 화상 데이터의 재구성을 지시하는 일은 행해지지 않으며, 또한 제1 시차 정보 및 제2 시차 정보는 수정되지 않고 출력된다.
스케일러(216)에서는, 디코디드 버퍼(215)로부터 출력되는 좌안 화상 데이터 및 우안 화상 데이터에 대하여 필요에 따라서, 수평 방향이나 수직 방향의 스케일링 처리가 행해진다. 이 스케일러(216)로부터는, 예를 들어 1920*1080의 풀HD 사이즈의 좌안 화상 데이터 및 우안 화상 데이터가 얻어진다. 이 좌안 화상 데이터 및 우안 화상 데이터는, L/R 재구성부(263)를 통하여, 중첩부(217)에 공급된다.
L/R 재구성부(263)에서는, 필요에 따라서 좌안 화상 데이터 및 우안 화상 데이터의 재구성을 행한다. 즉, L/R 재구성부(263)에서는, 동측 방향 또는 교차 방향의 시차각 중 어느 하나가 시청상 건강을 해치지 않는 범위 d(도 29 참조)에 들어가 있지 않을 때, 시차 정보 제어부(262)로부터의 재구성 지시에 기초하여, 그 시차각이 소정의 범위 내에 들어가도록 좌안 화상 데이터 및 우안 화상 데이터를 재구성하는 일이 행해진다.
또한, 디멀티플렉서(212)로 추출되는 서브타이틀 스트림은, 코디드 버퍼(231)에 공급되어 일시적으로 기억된다. 서브타이틀 디코더(232)에서는, 코디드 버퍼(231)에 기억되어 있는 서브타이틀 스트림의 디코드 처리가 행해지고, 서브타이틀 데이터가 얻어진다. 이 서브타이틀 데이터에는, 서브타이틀(자막)의 비트맵 데이터와, 이 서브타이틀의 표시 위치 정보 「Subtitle rendering position(x2, y2)」와, 서브타이틀(자막)의 시차 정보 「Subtitle disparity」가 포함되어 있다.
서브타이틀 디코더(232)로 얻어지는 서브타이틀(자막)의 비트맵 데이터 및 서브타이틀(자막)의 표시 위치 정보 「Subtitle rendering position(x2, y2)」는, 픽셀 버퍼(233)에 일시적으로 기억된다. 또한, 서브타이틀 디코더(232)로 얻어지는 서브타이틀(자막)의 시차 정보 「Subtitle disparity」는 서브타이틀 시차 정보 버퍼(234)에 일시적으로 기억된다.
서브타이틀 표시 제어부(235)에서는, 서브타이틀(자막)의 비트맵 데이터와, 이 서브타이틀(자막)의 표시 위치 정보 및 시차 정보에 기초하여, 시차가 부여된 좌안 표시용 및 우안 표시용 서브타이틀의 비트맵 데이터 「Subtitle data」가 생성된다. 이와 같이 생성된 좌안 표시용 및 우안 표시용 서브타이틀의 비트맵 데이터 「Subtitle data」는 중첩부(217)에 공급되고, 각각 좌안 화상 데이터 및 우안 화상 데이터에 중첩된다.
셋톱박스(STB) 그래픽스 발생부(219)에서는, OSD 또는 어플리케이션, 또는 EPG 등의 그래픽스 데이터가 발생된다. 이 그래픽스 데이터에는, 그래픽스의 비트맵 데이터 「Graphics data」와, 이 그래픽스의 표시 위치 정보 「Graphics rendering position(x1, y1)」이 포함되어 있다. 그래픽스 버퍼(221)에는, 셋톱박스(STB) 그래픽스 발생부(219)에서 발생된 그래픽스 데이터가 일시적으로 기억된다.
중첩부(217)에서는, 좌안 화상 데이터 및 우안 화상 데이터에 그래픽스 버퍼(221)에 기억되어 있는 그래픽스 비트맵 데이터 「Graphics data」가 중첩된다. 이때, 좌안 화상 데이터 및 우안 화상 데이터 각각에 중첩되는 그래픽스 비트맵 데이터 「Graphics data」에는, 깊이 제어부(220)에 의해, 시차 정보 제어부(262)로부터 출력되는 화상 데이터의 각 픽처의 분할 영역마다의 제1 시차 정보 중, 그래픽스의 표시 위치에 대응한 시차 정보에 기초하여 시차가 부여된다.
이 경우, 그래픽스 비트맵 데이터 「Graphics data」가 서브타이틀의 비트맵 데이터 「Subtitle data」와 동일 화소를 공유하는 경우, 중첩부(217)에서는, 서브타이틀 데이터 위에 그래픽스 데이터가 덮어쓰기 된다. 또한, 이 경우, 깊이 제어부(220)에서는, 전술한 바와 같이, 제1 시차 정보가 그대로 사용되는 것이 아니라, 그래픽스 중첩의 깊이 위화감을 방지하기 위해서, 시간 방향으로 평활화되어 사용된다.
중첩부(217)로부터는, 좌안 표시용 서브타이틀(자막) 및 그래픽스가 중첩된 좌안 화상의 데이터가 얻어짐과 함께, 우안 표시용 서브타이틀(자막) 및 그래픽스가 중첩된 우안 화상의 데이터가 얻어진다. 이 좌안 화상 데이터 및 우안 화상 데이터는, HDMI 송신부(251)에 공급된다.
또한, 디멀티플렉서(212)로 추출되는 오디오 스트림은, 코디드 버퍼(241)에 공급되어 일시적으로 기억된다. 오디오 디코더(242)에서는, 코디드 버퍼(241)에 기억되어 있는 오디오 스트림의 디코드 처리가 행해지고, 복호화된 음성 데이터가 얻어진다. 이 음성 데이터는 오디오 버퍼(243)를 통해 채널 믹싱부(244)에 공급된다. 채널 믹싱부(244)에서는, 음성 데이터에 대하여 예를 들어 5.1ch 서라운드 등을 실현하기 위한 각 채널의 음성 데이터가 생성된다. 이 음성 데이터는, HDMI 송신부(251)에 공급된다.
또한, 깊이 제어부(220)에서는, 시차 정보 제어부(262)로부터 출력되는 화상 데이터의 각 픽처의 분할 영역마다의 제1 시차 정보가, 자막 또는 그래픽스의 화상에의 중첩에 따라서 갱신된다. 이 경우, 서브타이틀(자막)의 표시 위치 및 그래픽스의 표시 위치에 대응한 분할 영역(Partition)의 시차 정보(Disparity)의 값이, 예를 들어 서브타이틀(자막) 또는 그래픽스의 시차 부여에 이용된 시차 정보(Disparity)의 값으로 갱신된다. 이 갱신된 시차 정보는, HDMI 송신부(251)에 공급된다. 또한, 시차 정보 제어부(262)로부터 출력되는 화상 데이터의 각 픽처의 제2 시차 정보도, HDMI 송신부(251)에 공급된다.
HDMI 송신부(251)에 의해, HDMI에 준거한 통신에 의해, 좌안 화상 데이터 및 우안 화상 데이터, 음성 데이터, 나아가 화상 데이터의 각 픽처의 시차 정보(제1 시차 정보, 제2 시차 정보)가 텔레비전 수신기(300)에 송신된다. 이 HDMI 송신부(251)의 상세는 후술한다.
시차 정보는, 화상 데이터의 블랭킹 기간, 또는 액티브 비디오 구간(Active Video Space)에 삽입되고, 송신된다. 구체적으로는, 예를 들어 화상 데이터의 블랭킹 기간에 배치되는 정보 패킷으로서의 HDMI 벤더 스페시픽 인포프레임(HDMI Vendor Specific InfoFrame)이 이용된다. 또한, 예를 들어 신규 정의되는 데이터 아일랜드 기간에 배치되는 데이터 패킷이 이용된다. 또한, 예를 들어 액티브 비디오 구간에 존재하는 액티브 스페이스 영역(Active space)이 이용된다.
[텔레비전 수신기의 설명]
도 1로 되돌아가서, 텔레비전 수신기(300)는 셋톱박스(200)로부터 HDMI 케이블(400)을 통해 보내져 오는 좌안 화상 데이터 및 우안 화상 데이터, 음성 데이터, 나아가 화상 데이터의 각 픽처의 시차 정보(제1 시차 정보, 제2 시차 정보)를 수신한다.
텔레비전 수신기(300)는 예를 들어 화상에 그래픽스(TV 그래픽스)를 중첩 표시할 때에는, 화상 데이터 및 제1 시차 정보와, 그래픽스 데이터를 이용하여, 그래픽스가 중첩된 좌안 화상 및 우안 화상의 데이터를 얻는다. 이 경우, 텔레비전 수신기(300)는 좌안 화상 및 우안 화상에 중첩되는 그래픽스에, 픽처마다 이 그래픽스의 표시 위치에 대응한 시차를 부여하고, 그래픽스가 중첩된 좌안 화상의 데이터 및 그래픽스가 중첩된 우안 화상의 데이터를 얻는다.
전술한 바와 같이 그래픽스에 시차를 부여함으로써, 입체 화상에 중첩 표시되는 그래픽스(TV 그래픽스)를 그 표시 위치에 있어서의 입체 화상의 오브젝트보다도 앞쪽에 표시시킬 수 있다. 이에 의해, OSD 또는 어플리케이션 또는 프로그램 정보의 EPG 등의 그래픽스를 화상에 중첩 표시하는 경우에, 화상 내의 각 오브젝트에 대한 원근감의 정합성을 유지할 수 있다.
또한, 텔레비전 수신기(300)는 제1 시차 정보 및 제2 시차 정보에 기초하여, 가장 앞쪽의 오브젝트 재생 위치에 대한 시차각(교차 방향의 시차각) 및 가장 안쪽의 오브젝트 재생 위치에 대한 시차각(동측 방향의 시차각)이 시청상 건강을 해치지 않는 범위 d(도 47 참조)에 들어가 있는지 여부를 체크할 수 있고, 들어가 있지 않은 경우에는, 좌안 화상 데이터 및 우안 화상 데이터를 재구성할 수 있다.
[텔레비전 수신기의 구성예]
도 38은, 텔레비전 수신기(300)의 HDMI 입력계의 구성예를 나타내고 있다. 또한, 시차각의 체크계에 관해서는 생략하고 있다. 텔레비전 수신기(300)는 HDMI 수신부(311)와, 스케일러(312)와, 중첩부(313)와, 깊이 제어부(314)와, 그래픽스 버퍼(315)와, 텔레비전(TV) 그래픽스 발생부(316)와, 오디오 처리부(317)를 갖고 있다.
HDMI 수신부(311)는 HDMI에 준거한 통신에 의해, HDMI의 소스 기기, 이 실시 형태에서는 셋톱박스(200)로부터, 입체 화상을 구성하는 좌안 화상 데이터 및 우안 화상 데이터와, 음성 데이터를 수신한다. 또한, 이 HDMI 수신부(311)는 화상 데이터의 각 픽처의 시차 정보(제1 시차 정보, 제2 시차 정보)를 HDMI 인터페이스에 의해, 셋톱박스(200)로부터 수신한다. 이 HDMI 수신부(311)의 상세는 후술한다.
스케일러(312)는, HDMI 수신부(311)에 의해 수신된 좌안 화상 데이터 및 우안 화상 데이터를, 필요에 따라서 스케일링 처리를 행한다. 예를 들어, 스케일러(312)는, 좌안 화상 데이터 및 우안 화상 데이터의 사이즈를 표시 사이즈에 합치시킨다. 텔레비전(TV) 그래픽스 발생부(316)는 OSD 또는 어플리케이션, 또는 EPG 등의 그래픽스 데이터를 발생한다. 이 그래픽스 데이터에는, 그래픽스 비트맵 데이터 「Graphics data」와, 이 그래픽스의 표시 위치 정보 「Graphics rendering position(x1, y1)」이 포함되어 있다.
그래픽스 버퍼(315)는 텔레비전 그래픽스 발생부(316)에서 발생된 그래픽스 비트맵 데이터 「Graphics data」를 일시적으로 기억한다. 중첩부(313)는 좌안 화상 데이터 및 우안 화상 데이터에, 각각 그래픽스 버퍼(315)에 기억되어 있는 그래픽스 비트맵 데이터 「Graphics data」를 중첩한다. 이때, 좌안 화상 데이터 및 우안 화상 데이터 각각에 중첩되는 그래픽스 비트맵 데이터 「Graphics data」에는, 후술하는 깊이 제어부(314)에 의해, 시차가 부여된다.
깊이 제어부(314)는 좌안 화상 데이터 및 우안 화상 데이터 각각에 중첩되는 그래픽스 비트맵 데이터 「Graphics data」에 시차를 부여한다. 그로 인해, 깊이 제어부(314)는 화상 데이터의 픽처마다, 좌안 표시용 및 우안 표시용 그래픽스의 표시 위치 정보 「Rendering position」을 생성하고, 그래픽스 버퍼(315)에 기억되어 있는 그래픽스 비트맵 데이터 「Graphics data」의 좌안 화상 데이터 및 우안 화상 데이터에의 중첩 위치의 시프트 제어를 행한다.
깊이 제어부(314)는 도 39에 도시한 바와 같이, 이하의 정보를 이용하여, 표시 위치 정보 「Rendering position」을 생성한다. 즉, 깊이 제어부(314)는 HDMI 수신부(311)에서 수신된, 화상 데이터의 픽처마다의 각 분할 영역(Partition)의 제1 시차 정보(Min disparity)를 이용한다. 또한, 깊이 제어부(314)는 텔레비전 그래픽스 발생부(316)에서 발생되는 그래픽스의 표시 위치 정보 「Graphics rendering position(x1, y1)」을 이용한다. 또한, 깊이 제어부(314)는 HDMI 수신부(311)에서 시차 정보가 수신되어 있는지 여부를 나타내는 수신 정보를 이용한다.
도 40의 흐름도는, 깊이 제어부(314)의 제어 처리 수순의 일례를 나타내고 있다. 깊이 제어부(314)는 이 제어 처리를, 그래픽스 표시를 행하는 각 픽처(프레임)에서 실행한다. 깊이 제어부(314)는 스텝 ST21에 있어서, 제어 처리를 개시한다. 그 후에, 스텝 ST22에 있어서, 수신 정보에 기초하여, HDMI 수신부(311)에서 그래픽스용 시차 정보의 수신이 있는지 여부를 판단한다. 또한, HDMI 수신부(311)는 후술하는 HDMI Vendor Specific InfoFrame의 패킷의 「PRTY」의 식별 정보가, 참조해야 할 정보로서의 시차 정보의 존재를 나타낼 때, 상기 패킷으로부터 시차 정보를 추출하고, 사용에 대비한다. 이 경우, 수신 정보는 「수신 있음」으로 된다.
시차 정보(disparity)의 수신이 있을 때, 깊이 제어부(314)는 스텝 ST23의 처리로 이행한다. 이 스텝 ST23에 있어서, 그래픽스를 중첩 표시(overlay)하는 좌표가 포함되는 분할 영역(partition)을 모두 검사한다. 그리고, 깊이 제어부(314)는 스텝 ST24에 있어서, 대상으로 되는 분할 영역(partition)의 제1 시차 정보(Min disparity)를 비교하고, 최적의 값, 예를 들어 최소값을 선택하여, 그래픽스 시차 정보(disparity)의 값(graphics_disparity)으로 한다.
다음으로, 깊이 제어부(314)는 스텝 ST25에 있어서, 그래픽스 버퍼(315)에 기억되어 있는 그래픽스 비트맵 데이터 「Graphics data」에 대하여 그래픽스용 시차 정보(disparity)의 값(graphics_disparity)과 동등한 값을 이용하여, 표시 위치가 시프트된 좌안 표시용 및 우안 표시용 그래픽스 비트맵 데이터를 얻고, 각각 좌안 화상 데이터 및 우안 화상 데이터에 중첩한다. 깊이 제어부(314)는 스텝 ST25의 처리 후, 스텝 ST26에 있어서, 제어 처리를 종료한다.
또한, 스텝 ST22에서 시차 정보(disparity)의 수신이 없을 때, 깊이 제어부(314)는 스텝 ST27에 있어서, 그래픽스 버퍼(315)에 기억되어 있는 그래픽스 비트맵 데이터 「Graphics data」에 대하여 텔레비전 수신기(300)로 산출되는 시차 정보(disparity)의 값을 이용하여, 표시 위치가 시프트된 좌안 표시용 및 우안 표시용 그래픽스 비트맵 데이터를 얻고, 각각 좌안 화상 데이터 및 우안 화상 데이터에 중첩한다. 깊이 제어부(314)는 스텝 ST27의 처리 후, 스텝 ST26에 있어서, 제어 처리를 종료한다.
도 41은, 텔레비전 수신기(300)에 있어서의 그래픽스의 깊이 제어예를 나타내고 있다. 이 예에 있어서, TV 그래픽스에 관해서는, 우측의 4개의 분할 영역(Partition 10, 11, 14, 15)의 제1 시차 정보 중 최소값의 시차 정보에 기초하여, 좌안 표시용 그래픽스 및 우안 표시용 그래픽스에 시차가 부여된다. 그 결과, TV 그래픽스는, 이들 4개의 분할 영역의 화상(비디오) 오브젝트보다 앞쪽에 표시된다. 또한, 이 경우, 서브타이틀(자막), 나아가 STB 그래픽스는, 셋톱박스(200)에 있어서 이미 화상(비디오)에 중첩되어 있다.
도 38에 도시한 텔레비전 수신기(300)의 동작을 간단히 설명한다. HDMI 수신부(311)에 의해, HDMI에 준거한 통신에 의해, 좌안 화상 데이터 및 우안 화상 데이터, 음성 데이터, 나아가 화상 데이터의 각 픽처의 시차 정보(제1 시차 정보, 제2 시차 정보)가 셋톱박스(200)로부터 수신된다.
HDMI 수신부(311)에서 수신된 좌안 화상 데이터 및 우안 화상 데이터는, 스케일러(312)로 필요에 따라서 스케일링 처리가 실시된 후에, 중첩부(313)에 공급된다. 텔레비전 TV 그래픽스 발생부(316)에서는, OSD 또는 어플리케이션, 또는 EPG 등의 그래픽스 데이터가 발생된다. 이 그래픽스 데이터에는, 그래픽스의 비트맵 데이터 「Graphics data」와, 이 그래픽스의 표시 위치 정보 「Graphics rendering position(x1, y1)」이 포함되어 있다. 그래픽스 버퍼(315)에는, 텔레비전 그래픽스 발생부(315)에서 발생된 그래픽스 데이터가 일시적으로 기억된다.
중첩부(313)에서는, 좌안 화상 데이터 및 우안 화상 데이터에 그래픽스 버퍼(315)에 기억되어 있는 그래픽스 비트맵 데이터 「Graphics data」가 중첩된다. 이때, 좌안 화상 데이터 및 우안 화상 데이터 각각에 중첩되는 그래픽스 비트맵 데이터 「Graphics data」에는, 깊이 제어부(314)에 의해, 그래픽스의 표시 위치에 대응한 제1 시차 정보(Min disparity)에 기초하여 시차가 부여된다.
깊이 제어부(314)에서는, 그 제어를 위해서, HDMI 수신부(311)에서 수신된, 화상 데이터의 픽처마다의 각 분할 영역(Partition)의 제1 시차 정보와, 텔레비전 그래픽스 발생부(316)에서 발생되는 그래픽스의 표시 위치 정보 「Graphics rendering position(x1, y1)」이 이용된다.
중첩부(313)로부터는, 좌안 표시용 TV 그래픽스가 중첩된 좌안 화상의 데이터가 얻어짐과 함께, 우안 표시용 TV 그래픽스가 중첩된 우안 화상의 데이터가 얻어진다. 이들 화상 데이터는, 입체 화상 표시를 위한 처리부로 보내지고, 입체 화상 표시가 행해진다
또한, HDMI 수신부(311)에서 수신된 각 채널의 음성 데이터는, 음질이나 음량의 조정을 행하는 오디오 처리부(317)를 통해 스피커에 공급되고, 입체 화상 표시에 맞춘 음성 출력이 이루어진다.
[HDMI 송신부, HDMI 수신부의 구성예]
도 42는, 도 1의 화상 송수신 시스템(10)에 있어서의, 셋톱박스(200)의 HDMI 송신부(251)와, 텔레비전 수신기(300)의 HDMI 수신부(311)의 구성예를 나타내고 있다.
HDMI 송신부(251)는 유효 화상 구간(이하, 적절히 '액티브 비디오 구간'이라고도 함)에 있어서, 비압축의 1화면분의 화상의 화소 데이터에 대응하는 차동 신호를, 복수의 채널에 의해 HDMI 수신부(311)로 일방향으로 송신한다. 여기서, 유효 화상 구간은, 하나의 수직 동기 신호로부터 다음 수직 동기 신호까지의 구간으로부터, 수평 귀선 구간 및 수직 귀선 구간을 제외한 구간이다. 또한, HDMI 송신부(251)는 수평 귀선 구간 또는 수직 귀선 구간에 있어서, 적어도 화상에 부수하는 음성 데이터나 제어 데이터, 그 밖의 보조 데이터 등에 대응하는 차동 신호를, 복수의 채널에 의해 HDMI 수신부(311)로 일방향으로 송신한다.
HDMI 송신부(251)와 HDMI 수신부(311)를 포함하여 이루어지는 HDMI 시스템의 전송 채널에는, 이하의 전송 채널이 있다. 즉, HDMI 송신부(251)로부터 HDMI 수신부(311)에 대하여 화소 데이터 및 음성 데이터를, 픽셀 클록에 동기하여, 일방향으로 시리얼 전송하기 위한 전송 채널로서의, 3개의 TMDS 채널 #0 내지 #2가 있다. 또한, 픽셀 클록을 전송하는 전송 채널로서의, TMDS 클록 채널이 있다.
HDMI 송신부(251)는 HDMI 트랜스미터(81)를 갖는다. 트랜스미터(81)는 예를 들어 비압축의 화상의 화소 데이터를 대응하는 차동 신호로 변환하고, 복수의 채널인 3개의 TMDS 채널 #0, #1, #2에 의해, HDMI 케이블(400)을 통해 접속되어 있는 HDMI 수신부(311)로, 일방향으로 시리얼 전송한다.
또한, 트랜스미터(81)는 비압축의 화상에 부수하는 음성 데이터, 나아가 필요한 제어 데이터 이외의 보조 데이터 등을, 대응하는 차동 신호로 변환하고, 3개의 TMDS 채널 #0, #1, #2에 의해 HDMI 수신부(311)로, 일방향으로 시리얼 전송한다.
또한, 트랜스미터(81)는 3개의 TMDS 채널 #0, #1, #2로 송신하는 화소 데이터에 동기한 픽셀 클록을, TMDS 클록 채널에 의해 HDMI 케이블(400)을 통해 접속되어 있는 HDMI 수신부(311)로 송신한다. 여기서, 1개의 TMDS 채널 #i(i=0, 1, 2)에서는, 픽셀 클록의 1 클록의 사이에, 10비트의 화소 데이터가 송신된다.
HDMI 수신부(311)는 액티브 비디오 구간에 있어서, 복수의 채널에 의해 HDMI 송신부(251)로부터 일방향으로 송신되어 오는, 화소 데이터에 대응하는 차동 신호를 수신한다. 또한, 이 HDMI 수신부(311)는 수평 귀선 구간 또는 수직 귀선 구간에 있어서, 복수의 채널에 의해 HDMI 송신부(251)로부터 일방향으로 송신되어 오는, 음성 데이터나 제어 데이터에 대응하는 차동 신호를 수신한다.
즉, HDMI 수신부(311)는 HDMI 리시버(82)를 갖는다. 이 HDMI 리시버(82)는 TMDS 채널 #0, #1, #2에 의해, HDMI 송신부(251)로부터 일방향으로 송신되어 오는, 화소 데이터에 대응하는 차동 신호와, 음성 데이터나 제어 데이터에 대응하는 차동 신호를 수신한다. 이 경우, HDMI 송신부(251)로부터 TMDS 클록 채널에 의해 송신되어 오는 픽셀 클록에 동기하여 수신한다.
HDMI 시스템의 전송 채널에는, 전술한 TMDS 채널 #0 내지 #2 및 TMDS 클록 채널 외에, DDC(83: Display Data Channel)나 CEC 라인(84)이라 불리는 전송 채널이 있다. DDC(83)는, HDMI 케이블(400)에 포함되는 도시를 생략한 2개의 신호선을 포함하여 이루어진다. DDC(83)는, HDMI 송신부(251)가 HDMI 수신부(311)로부터, E-EDID(Enhanced Extended Display Identification Data)를 판독하기 위해 사용된다.
즉, HDMI 수신부(311)는 HDMI 리시버(81) 외에, 자신의 성능(Configuration/capability)에 관한 성능 정보인 E-EDID를 기억하고 있는, EDID ROM(Read Only Memory)(85)을 갖고 있다. HDMI 송신부(251)는 예를 들어 도시를 생략한 제어부(CPU)로부터의 요구에 따라서, HDMI 케이블(400)을 통해 접속되어 있는 HDMI 수신부(311)로부터, E-EDID를 DDC(83)를 통해 판독한다.
HDMI 송신부(251)는 판독한 E-EDID를 제어부(CPU)로 보낸다. 제어부(CPU)는 이 E-EDID에 기초하여, HDMI 수신부(311)의 성능의 설정을 인식할 수 있다. 예를 들어, 제어부(CPU)는 HDMI 수신부(311)를 갖는 텔레비전 수신기(300)가 입체 화상 데이터의 취급이 가능한지 여부, 가능한 경우에는 어떠한 TMDS 전송 데이터 구조에 더 대응 가능한지 등을 인식한다.
CEC 라인(84)은 HDMI 케이블(400)이 포함되는 도시를 생략한 1개의 신호선을 포함하여 이루어지고, HDMI 송신부(251)와 HDMI 수신부(311)의 사이에서, 제어용 데이터의 쌍방향 통신을 행하기 위해 이용된다. 이 CEC 라인(84)은 제어 데이터 라인을 구성하고 있다.
또한, HDMI 케이블(400)에는, HPD(Hot Plug Detect)라 불리는 핀에 접속되는 라인(86: HPD 라인)이 포함되어 있다. 소스 기기는, 상기 라인(86)을 이용하여, 싱크 기기의 접속을 검출할 수 있다. 또한, 이 HPD 라인(86)은 쌍방향 통신로를 구성하는 HEAC-라인으로서도 사용된다. 또한, HDMI 케이블(400)에는, 소스 기기에서 싱크 기기에 전원을 공급하기 위해 이용되는 라인(87: 전원 라인)이 포함되어 있다. 또한, HDMI 케이블(400)에는, 유틸리티 라인(88)이 포함되어 있다. 이 유틸리티 라인(88)은 쌍방향 통신로를 구성하는 HEAC+라인으로서도 사용된다.
도 43은, TMDS 전송 데이터의 구조예를 나타내고 있다. 이 도 43은, TMDS 채널 #0, #1, #2에 있어서, 가로×세로가 1920 픽셀×1080 라인의 화상 데이터가 전송되는 경우의, 각종 전송 데이터의 구간을 나타내고 있다.
HDMI의 3개의 TMDS 채널 #0, #1, #2에 의해 전송 데이터가 전송되는 비디오 필드(Video Field)에는, 전송 데이터의 종류에 따라서, 3종류의 구간이 존재한다. 이 3종류의 구간은, 비디오 데이터 구간(Video Data period), 데이터 아일랜드 구간(Data Island period) 및 컨트롤 구간(Control period)이다.
여기서, 비디오 필드 구간은, 어떤 수직 동기 신호의 상승 에지(active edge)로부터 다음 수직 동기 신호의 상승 에지까지의 구간이다. 이 비디오 필드 구간은, 수평 블랭킹 기간(horizontal blanking), 수직 블랭킹 기간(vertical blanking)과, 액티브 비디오 구간(Active Video)으로 나눠진다. 이 액티브 비디오 구간은, 비디오 필드 구간으로부터, 수평 블랭킹 기간 및 수직 블랭킹 기간을 제외한 구간이다.
비디오 데이터 구간은, 액티브 비디오 구간에 할당된다. 이 비디오 데이터 구간에서는, 비압축의 1화면분의 화상 데이터를 구성하는 1920 픽셀(화소) *1080 라인분의 유효 화소(Active pixel)의 데이터가 전송된다.
데이터 아일랜드 구간 및 컨트롤 구간은, 수평 블랭킹 기간 및 수직 블랭킹 기간에 할당된다. 이 데이터 아일랜드 구간 및 컨트롤 구간에서는, 보조 데이터(Auxiliary data)가 전송된다. 즉, 데이터 아일랜드 구간은, 수평 블랭킹 기간과 수직 블랭킹 기간의 일부분에 할당되어 있다. 이 데이터 아일랜드 구간에서는, 보조 데이터 중, 제어에 관계하지 않는 데이터인, 예를 들어 음성 데이터의 패킷 등이 전송된다.
컨트롤 구간은, 수평 블랭킹 기간과 수직 블랭킹 기간의 다른 부분에 할당되어 있다. 이 컨트롤 구간에서는, 보조 데이터 중의, 제어에 관계하는 데이터인, 예를 들어 수직 동기 신호 및 수평 동기 신호, 제어 패킷 등이 전송된다.
[HDMI에서의 시차 정보의 송수신 방법]
화상 데이터의 픽처마다의 각 분할 영역(Partition)의 시차 정보(Disparity)를 HDMI 인터페이스에 의해 송수신하는 방법에 대하여 설명한다.
「(1) HDMI Vendor Specific InfoFrame을 이용하는 예」
화상 데이터의 픽처마다의 각 분할 영역(Partition)에 있어서의 시차 정보(Disparity)의 송신을, HDMI 벤더 스페시픽 인포프레임(VS_Info: HDMI Vendor Specific InfoFrame)을 이용하여 행하는 방법을 설명한다.
이 방법에서는, VS_Info에 있어서, 「HDMI_Video_Format="010"」, 또한 「3D_Meta_present=1」로 되고, 「Vendor Specific InfoFrame extension」이 지정된다. 그 경우, 「3D_Metadata_type」은, 미사용의, 예를 들어 "001"이라 정의되고, 각 분할 영역(Partition)의 시차 정보(Disparity)가 지정된다.
도 44는, VS_Info의 패킷 구조예를 나타내고 있다. 이 VS_Info에 대해서는, CEA-861-D로 정의되어 있으므로, 상세 설명은 생략한다. 도 45에는, 도 44에 도시한 패킷 구조예에 있어서의 주요한 정보의 내용이 나타나 있다.
제4 바이트(PB4)의 제7 비트 내지 제5 비트에, 화상 데이터의 종류를 나타내는 3비트의 정보 「HDMI_Video_Format」이 배치되어 있다. 화상 데이터가 3D 화상 데이터인 경우, 이 3비트의 정보는 「010」으로 된다. 또한, 화상 데이터가 3D 화상 데이터인 경우, 제5 바이트(PB5)의 제7 비트 내지 제4 비트에, TMDS 전송 데이터 구조를 나타내는 4비트의 정보 「3D_Structure」가 배치된다. 예를 들어, 프레임 패킹 방식의 경우, 이 4비트의 정보는, 「0000」으로 된다.
또한, 제5 바이트(PB5)의 제3 비트에, 「3D_Meta_present」가 배치되고, Vendor Specific InfoFrame extension을 지정하는 경우, 이 1비트는 「1」로 된다. 또한, 제7 바이트(PB7)의 제7 비트 내지 제5 비트에, 「3D_Metadata_type」가 배치되어 있다. 각 분할 영역(Partition)의 시차 정보(Disparity)를 지정하는 경우, 이 3비트의 정보는, 미사용의, 예를 들어 "001"로 된다.
또한, 제7 바이트(PB7)의 제4 바이트 내지 제0 바이트에, 「3D_Metadata_length」가 배치되어 있다. 이 5비트의 정보는, 각 분할 영역(Partition)의 시차 정보(Disparity)의 사이즈를 나타낸다.
또한, 제6 바이트(PB6)의 제0 비트에, 「PRTY」의 1비트의 식별 정보가 배치된다. 이 식별 정보는, 이 VS_Info에, HDMI 싱크측이 참조해야 할 정보, 여기에서는 시차 정보(Disparity)가 포함되어 있는지 여부를 나타낸다. "1"은, HDMI 싱크가 참조해야 할 정보가 반드시 포함되어 있는 것을 나타낸다. "0"은, HDMI 싱크가 참조해야 할 정보가 반드시 포함되어 있는 것은 아님을 나타낸다.
이 「PRTY」의 1비트의 식별 정보가 배치되어 있는 점에서, HDMI 싱크, 이 실시 형태에 있어서 텔레비전 수신기(300)는 「3D_Metadata_type」이하를 검사하지 않아도, VS_Info 중에 참조해야 할 정보가 포함되어 있는지 여부를 판정할 수 있다. 따라서, HDMI 싱크에서는, 이 식별 정보에 의해 VS_Info로부터 참조해야 할 정보의 추출 처리를 낭비 없이 행할 수 있어, 처리 부하를 경감하는 것이 가능해진다.
또한, 제8 바이트(PB8)의 제7 비트 내지 제5 비트에, 「partition_type」이 배치되어 있다. 이 3비트의 정보는, 대상 픽처의 표시 화면의 분할 타입을 나타낸다. "000"은, 도 19의 (a)에 도시한 바와 같은, 분할 타입 「type000」을 나타낸다. "001"은, 도 19의 (b)에 도시한 바와 같은, 분할 타입 「type001」을 나타낸다. "010"은, 도 19의 (c)에 도시한 바와 같은, 분할 타입 「type010」을 나타낸다. "011"은, 도 19의 (d)에 도시한 바와 같은, 분할 타입 「type011」을 나타낸다. "100"은, 도 19의 (e)에 도시한 바와 같은, 분할 타입 「type100」을 나타낸다. "101"은, 도 19의 (f)에 도시한 바와 같은, 분할 타입 「type101」을 나타낸다.
또한, 제8 바이트(PB8)의 제4 비트에, 「d_picture」의 1비트의 식별 정보가 배치된다. 이 식별 정보는, 싱글 픽처인지 더블 픽처인지를 나타낸다. "0"은, 싱글 픽처인 것, 즉 각 분할 영역(Partition)의 시차 정보(Disparity)로서, 1픽처분을 송신하는 모드임을 나타낸다. "1"은, 더블 픽처인 것, 즉 각 분할 영역(Partition)의 시차 정보(Disparity)로서, 2픽처분을 송신하는 모드임을 나타낸다.
또한, 제8 바이트(PB8)의 제3 비트 내지 제0 비트에, 「partition_count」가 배치된다. 이 4비트의 정보는, 분할 영역(Partition)의 총 수를 나타내고, 전술한 「partition_type」에 의존한 값으로 된다. 예를 들어, "0000"은 1, "0011"은 4, "0111"은 8, "1000"은 9, "1100"은 13, "1111"은 16을 나타낸다.
그리고, 제8+1바이트(PB8+1) 이후에, 1픽처분 또는 2픽처분의, 시차 정보(제1 시차 정보, 제2 시차 정보)가 순차 배치된다. 「Max_disparity_in_picture」의 8비트 정보는, 픽처 표시 화면 전체(픽처 전체)의 제2 시차 정보, 즉 픽처 전체의 최대의 시차 정보(disparity값)를 나타낸다. 「Min_disparity_in_partition」의 8비트 정보는, 각 분할 영역(Partition)의 제1 시차 정보, 즉 각 분할 영역에서의 최소의 시차 정보(disparity값)를 나타낸다.
도 46은, 「d_picture=0」으로서 싱글 픽처의 모드이며, 「partition_type=010」으로서 분할 영역이 「16」인 경우에 있어서의 VS_Info의 구조예를 나타내고 있다. 이 경우, 제8+1바이트(PB8+1) 이후에, 1픽처분의 각 분할 영역의 시차 정보가 배치되어 있다.
전술한 바와 같이, 셋톱박스(200)는 비디오 스트림에 픽처 단위로 시차 정보가 삽입되어 있는 경우, 화상 데이터의 각 픽처의 타이밍에서 1픽처분의 시차 정보를 취득한다(도 25 참조). 또한, 전술한 바와 같이, 셋톱박스(200)는 비디오 스트림에 GOP 단위로 시차 정보가 삽입되어 있는 경우, 화상 데이터의 GOP의 선두 타이밍에서, GOP 내의 각 픽처의 시차 정보(시차 정보 세트)를 통합하여 취득한다(도 26 참조).
셋톱박스(200)는 어떠한 경우에 있어서도, 예를 들어 텔레비전 수신기(300)와의 사이의 CEC 라인(84)을 사용한 네고시에이션, 또는 EDID ROM(85)에서의 설정 등에 기초하여, 싱글 픽처 또는 더블 픽처 중 어느 한쪽의 모드를 임의로 선택 가능하도록 한다. 이 경우, 셋톱박스(200)는 픽처마다의 시차 정보를 송신하기 위한 전송 대역, 또는 셋톱박스(200)나 텔레비전 수신기(300)에 있어서의 처리 능력 등에 따라서 모드를 선택할 수 있어, 텔레비전 수신기(300)에의 시차 정보의 송신을 양호하게 행하는 것이 가능해진다.
텔레비전 수신기(300)에 있어서는, VS_Info에 배치된 「d_picture」의 모드 식별 정보와, 전술한 「PRTY」의 참조 정보 유무의 식별 정보에 기초하여, 어느 쪽 모드의 송신에 있어서도, 모든 픽처의 시차 정보(Disparity)를 적확하게 수신할 수 있다.
도 47은, 셋톱박스(200)가 화상 데이터의 각 픽처의 타이밍에서 1픽처분의 시차 정보를 취득하고, 텔레비전 수신기(300)에, 싱글 픽처의 모드에 의해, 각 픽처의 시차 정보를 순차 송신하는 경우를, 개략적으로 나타내고 있다. 또한, 도 48은, 셋톱박스(200)가 화상 데이터의 각 픽처의 타이밍에서 1픽처분의 시차 정보를 취득하고, 텔레비전 수신기(300)에, 더블 픽처의 모드에 의해, 각 픽처의 시차 정보를 순차 송신하는 경우를, 개략적으로 나타내고 있다.
또한, 도 49는, 셋톱박스(200)가 화상 데이터의 GOP의 선두 타이밍에서, GOP 내의 각 픽처의 시차 정보를 통합하여 취득하고, 텔레비전 수신기(300)에, 싱글 픽처의 모드에 의해, 각 픽처의 시차 정보를 순차 송신하는 경우를, 개략적으로 나타내고 있다. 또한, 도 50은, 셋톱박스(200)가 화상 데이터의 GOP의 선두 타이밍에서, GOP 내의 각 픽처의 시차 정보를 통합하여 취득하고, 텔레비전 수신기(300)에, 더블 픽처의 모드에 의해, 각 픽처의 시차 정보를 순차 송신하는 경우를, 개략적으로 나타내고 있다.
또한, 전술에서는 셋톱박스(200)가 싱글 픽처 또는 더블 픽처의 모드를 임의로 선택할 수 있도록 설명하였다. 그러나, 예를 들어 화상 데이터의 GOP의 선두 타이밍에서 GOP 내의 각 픽처의 시차 정보를 통합하여 취득할 때에는, 싱글 픽처의 모드에서 송신하도록 되어도 된다. 이 경우, GOP 내의 각 픽처의 시차 정보는 단일의 픽처분씩으로 할당되고, 각 단일 픽처분의 시차 정보가 픽처 단위로 순차 송신된다(도 49 참조). 이 경우, 픽처마다의 시차 정보를 송신하기 위한 전송 대역이 작은 경우에도, 각 픽처의 시차 정보를, 텔레비전 수신기(300)에 양호하게 송신할 수 있다.
한편, 셋톱박스(200)가 2 비디오 프레임 주기에 한 번의 비율로밖에 VS_Info를 보낼 수 없는 경우, 또는 텔레비전 수신기(300)가 2 비디오 프레임 주기에 한 번의 비율로밖에 VS_Info를 받을 수 없는 경우에는, 도 48과 같이 2 비디오 프레임분의 시차 정보를 계속해서 하나의 VS_Info에서 보내는 것도 고려된다.
또한, 더블 픽처 모드에서는, 제1 픽처 또는 제2 픽처의 시차 정보를, 하나 전의 픽처의 시차 정보 사이의 차분 데이터로 함으로써, 전송 데이터량을 저감할 수 있다.
도 51, 도 52는, VS_Info(HDMI Vendor Specific InfoFrame)의 다른 패킷 구조예를 나타내고 있다. 상세 설명은 생략하지만, 제0 바이트(PB0) 내지 제6 바이트(PB6)에 관해서는, 전술한 도 44에 도시한 패킷 구조예와 마찬가지이다. 도 45에는, 도 51, 도 52에 도시한 패킷 구조예에 있어서의 주요한 정보의 내용을 나타내고 있다.
제7 바이트(PB7)의 제7 비트 내지 제5 비트에, 「3D_Metadata_type」이 배치되어 있다. 각 분할 영역(Partition)의 시차 정보(Disparity)를 지정하는 경우, 이 3비트의 정보는, 미사용의, 예를 들어 "001"로 된다.
또한, 제7 바이트(PB7)의 제4 바이트 내지 제0 바이트에, 「3D_Metadata_length」가 배치되어 있다. 이 5비트의 정보는, 각 분할 영역(Partition)의 시차 정보(Disparity)의 사이즈를 나타낸다. 이 「3D_Metadata_length」의 값은, 0x00 내지 0x16의 값을 취한다. 예를 들어, "00011"은 3(10진수로)을 나타내고, "11010"은 26(10진수로)을 나타낸다.
제8 바이트(PB8)의 제7 비트에, 「d_picture」의 1비트의 식별 정보가 배치된다. 이 식별 정보는, 싱글 픽처인지 더블 픽처인지를 나타낸다. "0"은, 싱글 픽처인 것, 즉 각 분할 영역(Partition)의 시차 정보(Disparity)로서, 1픽처분을 송신하는 모드임을 나타낸다. "1"은, 더블 픽처인 것, 즉 각 분할 영역(Partition)의 시차 정보(Disparity)로서, 2픽처분을 송신하는 모드임을 나타낸다.
제8 바이트(PB8)의 제5 비트에, 「partition_enable」의 1비트의 식별 정보가 배치된다. 이 식별 정보는, 대상 픽처가 각 분할 영역(Partition)의 시차 정보(Disparity)를 갖는지 여부를 나타낸다. "1"은, 수평, 수직 방향으로 분할 영역이 지정되어 있고, 각각이 시차 정보(Disparity)를 가짐을 나타낸다. "0"은, 화면 전체가 하나의 시차 정보(Disparity)를 가짐을 나타낸다.
제8 바이트(PB8)의 제6 비트에, 「Picture_reorder」의 1비트의 식별 정보가 배치된다. 더블 픽처를 전송하는 경우, 2개의 픽처(N, N+1)의 전송이, 시간적으로 N이 먼저이고 N+1이 나중이거나, 또는 N+1이 먼저이고 N이 나중인지를 나타낸다. "1"은, (N+1) 픽처가 먼저이고 시차 정보(Disparity)의 값을 8bit로 표현하고, N픽처가 나중이고, (N-1) 픽처의 시차 정보(Disparity)로부터의 차분값을 4bit로 표현함을 나타낸다. "0"은, N픽처가 먼저이고 시차 정보(Disparity)의 값을 8bit로 표현하고, (N+1) 픽처가 나중이고, N픽처의 시차 정보(Disparity)로부터의 차분값을 4bit로 표현함을 나타낸다.
또한, 제8 바이트(PB8)의 제3 비트 내지 제0 비트에, 「partition_count」가 배치된다. 이 4비트의 정보는, 분할 영역(Partition)의 총 수를 나타낸다. 예를 들어, "0000"은 1, "0011"은 4, "0111"은 8, "1000"은 9, "1100"은 13, "1111"은 16을 나타낸다.
그리고, 제8+1 바이트(PB8+1) 이후에, 1픽처분 또는 2픽처분의, 시차 정보(제1 시차 정보, 제2 시차 정보)가 순차 배치된다. 「max_disparity_in_picture」의 8비트 정보는, 픽처 표시 화면 전체(픽처 전체)의 제2 시차 정보, 즉 픽처 전체의 최대의 시차 정보(disparity값)를 나타낸다. 「Min_disparity_in_partition」의 8비트 정보는, 각 분할 영역(Partition)의 제1 시차 정보, 즉 각 분할 영역에서의 최소의 시차 정보(disparity값)를 나타낸다.
도 51의 VS_Info의 구조예는, 「d_picture=1」로서 더블 픽처의 모드이며, 「picture_reorder=0」으로서 시간적으로 N픽처가 먼저이고 N+1픽처가 나중인 경우에 있어서의 VS_Info의 구조예를 나타내고 있다. 또한, 이 예는, 「partition_count=1111」로서, 분할 영역이 「16」인 경우를 나타내고 있다.
이 경우, 제8+1 바이트(PB8+1)에, N픽처에 있어서의 픽처 표시 화면 전체의 제2 시차 정보, 즉 픽처 전체의 최대의 시차 정보(disparity값)인 「Max_disparity_in_picture」가 배치된다. 그리고, 제8+2 바이트(PB8+2)로부터 제8+16 바이트(PB8+16)에, N픽처에 있어서의 각 분할 영역(Partition)의 제1 시차 정보, 즉 각 분할 영역에서의 최소의 시차 정보(disparity값)인 「Min_disparity_in_partition」이 배치된다.
또한, 이 경우, 제8+17 바이트(PB8+17)의 제3 비트 내지 제0 비트에, N+1픽처에 있어서의 픽처 표시 화면 전체의 제2 시차 정보, 즉 픽처 전체의 최대의 시차 정보(disparity값)의 차분 데이터인 「Differential_max_disparity_in_picture」가 배치된다. 제8+18 바이트(PB8+18) 내지 제8+25 바이트(PB8+25)에, N+1픽처에 있어서의 각 분할 영역(Partition)의 제1 시차 정보, 즉 각 분할 영역에서의 최소의 시차 정보(disparity값)의 차분값인 「Differential_min_disparity_in_partition」이 배치된다.
도 52의 VS_Info의 구조예는, 「d_picture=1」로서 더블 픽처의 모드이며, 「picture_reorder=1」로서 시간적으로 N+1픽처가 먼저이고 N픽처가 나중인 경우에 있어서의 VS_Info의 구조예를 나타내고 있다. 또한, 이 예는, 「partition_count=1111」로서, 분할 영역이 「16」인 경우를 나타내고 있다.
이 경우, 제8+1 바이트(PB8+1)에, N+1픽처에 있어서의 픽처 표시 화면 전체의 제2 시차 정보, 즉 픽처 전체의 최대의 시차 정보(disparity값)인 「Max_disparity_in_picture」가 배치된다. 그리고, 제8+2 바이트(PB8+2) 내지 제8+16 바이트(PB8+16)에, N+1픽처에 있어서의 각 분할 영역(Partition)의 제1 시차 정보, 즉 각 분할 영역에서의 최소의 시차 정보(disparity값)인 「Min_disparity_in_partition」이 배치된다.
또한, 이 경우, 제8+17 바이트(PB8+17)의 제3 비트 내지 제0 비트에, N픽처에 있어서의 픽처 표시 화면 전체의 제2 시차 정보, 즉 픽처 전체의 최대의 시차 정보(disparity값)의 차분 데이터인 「Differential_max_disparity_in_picture」가 배치된다. 제8+18 바이트(PB8+18) 내지 제8+25 바이트(PB8+25)에, N픽처에 있어서의 각 분할 영역(Partition)의 제1 시차 정보, 즉 각 분할 영역에서의 최소의 시차 정보(disparity값)의 차분값인 「Differential_min_disparity_in_partition」이 배치된다.
[N픽처와, N+1픽처의 순서 결정]
여기서, N픽처와 N+1픽처의 순서 결정, 즉 「picture_reorder」를 "0"으로 할지 "1"로 할지의 결정은, 예를 들어 이하와 같이 행해진다. N픽처와 N+1픽처의 순서 결정은, 예를 들어 도 53에 도시한 바와 같은 구성으로 행해진다. 시차 정보는, 프레임 메모리(281)에 공급되고, 1프레임만큼 지연된다. 감산기(282)에서는, N+1픽처의 시차 정보 D(N+1)과 N픽처의 시차 정보 D(N)의 차분 데이터 「D(N)-D(N+1)」이 산출되고, 이 차분 데이터가 순서 결정부(283)로 보내진다.
순서 결정부(283)에서는, 차분 데이터의 절댓값 |D(N)-D(N+1)|과 임계값 Th가 비교되고, N픽처와 N+1픽처의 순서 결정이 행해진다. |D(N)-D(N+1)|≤Th일 때, 순서 결정부(283)는,「N픽처가 먼저, N+1픽처가 나중」으로 결정하고, VS_Info의 「picture_reorder」를 "0"으로 세트하고, 이 VS_Info에, N픽처 및 N+1픽처의 시차 정보를, 전술한 도 51에 도시한 바와 같이 배치한다. 이 경우, N+1픽처의 시차 정보는, N픽처의 시차 정보와의 사이의 차분 데이터로 된다.
도 54는, |D(N)-D(N+1)|≤Th가 되는 경우의 시차 정보(Disparity값)의 시간 추이예를 나타내고 있다. 이 예에서는, N-1픽처와 N픽처 사이에서 시차 정보가 크게 변화하고 있다. 그러나, N픽처와 N+1픽처 사이에서 시차 정보의 변화는 작다. 그로 인해, |D(N)-D(N+1)|≤Th를 만족하는 것으로 된다. 이 경우, N+1픽처의 시차 정보는, N픽처의 시차 정보와의 사이의 차분 데이터가 되므로, 그 값은 비교적 작아진다.
한편, |D(N)-D(N+1)|>Th일 때, 순서 결정부(283)는 「N+1픽처가 먼저, N픽처가 나중」으로 결정하고, VS_Info의 「picture_reorder」를 "1"로 세트하고, 이 VS_Info에, N+1픽처 및 N픽처의 시차 정보를, 전술한 도 52에 도시한 바와 같이 배치한다. 이 경우, N픽처의 시차 정보는, N-1픽처의 시차 정보와의 사이의 차분 데이터로 된다.
도 55는, |D(N)-D(N+1)|>Th가 되는 경우의 시차 정보(Disparity값)의 시간 추이예를 나타내고 있다. 이 예에서는, N-1픽처와 N픽처 사이에서 시차 정보의 변화는 작지만, N픽처와 N+1픽처 사이에서 시차 정보의 변화는 크다. 그로 인해, |D(N)-D(N+1)|>Th를 만족하는 것으로 된다. 이 경우, N픽처의 시차 정보는, N-1픽처의 시차 정보와의 사이의 차분 데이터가 되므로, 그 값은 비교적 작아진다.
여기서, 「Min_disparity_in_partition」에 관해서는, D(N+1), D(N)로서, 각각, 이하의 수학식 2, 3에 나타낸 바와 같이, 각 분할 영역(Partition)의 「Min_disparity_in_partition」의 최소값 Min_disparity(N+1), Min_disparity(N)이 이용된다.
Figure pct00002
Figure pct00003
또한, D(N)에 관해서는, 전술한 수학식 3에서 구하는 대신에, 전술한 수학식 2에서 D(N+1)로서 채용된, Min_disparity(N+1)로 된 「Min_disparity_partition」과 동일한 분할 영역(Partition)의 N픽처의 「Min_disparity_partition」으로 하는 것도 가능하다.
한편, 「Max_disparity_in_picture」에 관해서는, D(N+1)로서, N+1픽처의 「Max_disparity_in_picture」가 이용되고, D(N)로서, N픽처의 「Max_disparity_in_picture」가 이용된다. 또한, |D(N)-D(N+1)|과 Th의 비교 판정 결과에 대하여, 「Min_disparity_in_partition」에 관한 결과와, 「Max_disparity_in_picture」에 관한 결과가 일치하지 않는 경우에는, 「Min_disparity_in_partition」에 관한 결과를 우선시키는 등으로 하는 것이 가능하다.
또한, 전술한 도 52의 VS_Info의 구조예에서는, 시간적으로 N+1픽처가 먼저이고 N픽처가 나중에 배치되어 있다. 이와 같이 함으로써, 제8+1 바이트(PB8+1) 내지 제8+25 바이트(PB+25)까지의 구조가, 시간적으로 N픽처가 먼저이고 N+1픽처가 나중에 배치되어 있는 도 69의 VS_Info의 구조예와 동일하게 되므로, 수신측에서의 판독의 안정화가 도모된다. 그러나, 도 52에 도시한 VS_Info의 구조예에 있어서, N+1픽처의 시차 정보와 N픽처의 시차 정보의 배치 위치를 반대로 하는 것도 고려된다.
「(2) 신규 데이터 패킷을 정의하여 이용하는 예」
화상 데이터의 픽처마다의 각 분할 영역(Partition)에 있어서의 시차 정보(Disparity)의 송신을, 데이터 아일랜드 기간에 신규 정의된 데이터 패킷을 이용하여 행하는 방법을 설명한다.
도 56은, 신규 정의되는 데이터 패킷으로서의 3D 디스플레잉 서포트 패킷(3D Displaying Supprt Packet)의 패킷 헤더(packet header)의 구조예를 나타내고 있다. 이하, 이 패킷을, 「3DDS 패킷」이라 칭하기로 한다. 도 45에는, 이 도 56에 도시한 구조예에 있어서의 주요한 정보의 내용이 나타나 있다.
이 3DDS 패킷의 패킷 헤더는, 3바이트 구성으로 되어 있다. 제0 바이트(HB0)의 제7 비트 내지 제0 비트에, 패킷 타입 정보가 배치되어 있다. 여기에서는, 3DDS 패킷임을 나타내는 「0x0B」로 된다.
제1 바이트(HB1)의 제7 비트 내지 제5 비트의 3비트 필드에, 「3D_support_ ID」가 배치되어 있다. 이 3비트의 정보는, 3DDS 패킷으로 전송되는 데이터 종별(패킷 콘텐츠)을 식별하기 위한 식별 정보이다. "001"은, 픽처 표시 화면의 각 분할 영역(Partition)의 시차 정보(Disparity)임을 나타낸다.
제2 바이트(HB2)의 제4 비트 내지 제0 비트에, 「Payload length」가 배치되어 있다. 이 5비트 정보는, 이 패킷 헤더(packet header)에 계속되는, 페이로드(payload)인 패킷 콘텐츠(packet contents)의 사이즈를 바이트 길이로 나타낸다.
도 57은, 패킷 콘텐츠(packet contents)의 구조예를 나타내고 있다. 이 구조예는, 싱글 픽처 모드의 예이다. 도 45에는, 이 도 57에 도시한 구조예에 있어서의 주요한 정보의 내용이 나타나 있다.
제0 바이트(PB0)의 제7 비트 내지 제5 비트에, 「3D_Metadata_type」이 배치되어 있다. "001"은, 픽처 표시 화면의 각 분할 영역(Partition)의 시차 정보(Disparity)임을 나타낸다. 제0 바이트(PB0)의 제4 비트 내지 제0 비트에, 「3D_Metadata_length」가 배치되어 있다. 이 5비트의 정보는, 각 분할 영역(Partition)의 시차 정보(Disparity)의 사이즈를 나타낸다.
제1 바이트(PB1)의 제6 비트 내지 제4 비트에, 「partition_type」이 배치되어 있다. 이 3비트의 정보는, 대상 픽처의 표시 화면의 분할 타입을 나타낸다. "000"은, 도 19의 (a)에 도시한 바와 같은, 분할 타입 「type000」을 나타낸다. "001"은, 도 19의 (b)에 도시한 바와 같은, 분할 타입 「type001」을 나타낸다. "010"은, 도 19의 (c)에 도시한 바와 같은, 분할 타입 「type010」을 나타낸다. "011"은, 도 19의 (d)에 도시한 바와 같은, 분할 타입 「type011」을 나타낸다. "100"은, 도 19의 (e)에 도시한 바와 같은, 분할 타입 「type100」을 나타낸다. "101"은, 도 19의 (f)에 도시한 바와 같은, 분할 타입 「type101」을 나타낸다.
제1 바이트(PB1)의 제3 비트 내지 제0 비트에, 「partition_count」가 배치된다. 이 4비트의 정보는, 분할 영역(Partition)의 총 수를 나타내고, 전술한 「partition_type」에 의존한 값으로 된다. 예를 들어, "0000"은 1, "0011"은 4, "0111"은 8, "1000"은 9, "1100"은 13, "1111"은 16을 나타낸다.
그리고, 제3 바이트(PB3) 이후에, 1픽처분의 시차 정보(제1 시차 정보, 제2 시차 정보)가 배치된다. 「Max_disparity_in_picture」의 8비트 정보는, 픽처 표시 화면 전체(픽처 전체)의 제2 시차 정보, 즉 픽처 전체의 최대 시차 정보(disparity값)를 나타낸다. 「Min_disparity_in_partition」의 8비트 정보는, 각 분할 영역(Partition)의 제1 시차 정보, 즉 각 분할 영역에서의 최소의 시차 정보(disparity값)를 나타낸다.
여기서, 제1 시차 정보인 「Min_disparity_in_partition」 및 제2 시차 정보인 「Max_disparity_in_picture」는, 절댓값 데이터로 된다. 「Min_disparity_in_partition」은, 모니터 위치보다도 앞쪽에 한정함으로써, 부호 비트를 나타내지 않고도, 수신측에서는, 전송되는 시차 정보(disparity)의 값(절댓값)을 부치화하여 이용할 수 있다. 마찬가지로, 「Max_disparity_in_picture」는, 모니터 위치보다도 안쪽에 한정함으로써, 부호 비트를 나타내지 않더라도, 수신측에서는, 전송되는 시차 정보(disparity)의 값(절댓값)을 정치화하여 이용할 수 있다.
이와 같이 시차 정보(제1 시차 정보, 제2 시차 정보)가 절댓값 데이터로 됨으로써, 8비트로 표현되는 시차 정보(disparity)의 다이내믹 레인지를 0 내지 255 화소까지의 범위로 확장할 수 있다. 그리고, 전술한 제약을 가함으로써, -255 내지 +255까지의 깊이(depth) 표현이 가능해진다. 그로 인해, 해상도가 초고화질로 되는, 4K*2K의 모니터에 있어서도, 현상의 전송 대역에서의 깊이(depth) 제어가 가능해진다.
또한, 도 57에 도시한 구조예는, 「3D_Metadata_length=11010」, 「partition_type=101」, 「partition_count=1111」인 경우의 예이다(도 19의 (f) 참조).
도 58은, 패킷 콘텐츠(packet content)의 다른 구조예를 나타내고 있다. 이 구조예는, 더블 픽처 모드의 예이다. 도 45에는, 이 도 58에 도시한 구조예에 있어서의 주요한 정보의 내용이 나타나 있다.
제0 바이트(PB0)의 제7 비트 내지 제5 비트에, 「3D_Metadata_type」이 배치되어 있다. "001"은, 픽처 표시 화면의 각 분할 영역(Partition)의 시차 정보(Disparity)임을 나타낸다. 제0 바이트(PB0)의 제4 비트 내지 제0 비트에, 「3D_Metadata_length」가 배치되어 있다. 이 5비트의 정보는, 각 분할 영역(Partition)의 시차 정보(Disparity)의 사이즈를 나타낸다.
제1 바이트(PB1)의 제7 비트에, 「d_picture」의 1비트의 식별 정보가 배치된다. 이 식별 정보는, 싱글 픽처인지 더블 픽처인지를 나타낸다. "0"은, 싱글 픽처인 것, 즉 각 분할 영역(Partition)의 시차 정보(Disparity)로서, 1픽처분을 송신하는 모드임을 나타낸다. "1"은, 더블 픽처인 것, 즉 각 분할 영역(Partition)의 시차 정보(Disparity)로서, 2픽처분을 송신하는 모드임을 나타낸다.
제1 바이트(PB1)의 제5 비트에, 「partition_enable」의 1비트의 식별 정보가 배치된다. 이 식별 정보는, 대상 픽처가 각 분할 영역(Partition)의 시차 정보(Disparity)를 갖는지 여부를 나타낸다. "1"은 수평, 수직 방향으로 분할 영역이 지정되어 있고, 각각이 시차 정보(Disparity)를 갖는 것을 나타낸다. "0"은, 화면 전체가 하나의 시차 정보(Disparity)를 갖는 것을 나타낸다.
제1 바이트(PB1)의 제6 비트에, 「Picture_reorder」의 1비트의 식별 정보가 배치된다. 더블 픽처를 전송하는 경우, 2개의 픽처(N, N+1)의 전송이, 시간적으로 N이 먼저인지 N+1이 나중인지, 또는 N+1이 먼저인지 N이 나중인지를 나타낸다. "1"은, (N+1) 픽처가 먼저이고 시차 정보(Disparity)의 값을 8bit로 표현하고, N픽처가 나중이고, (N-1) 픽처의 시차 정보(Disparity)로부터의 차분값을 4bit로 표현하는 것을 나타낸다. "0"은, N픽처가 먼저이고 시차 정보(Disparity)의 값을 8bit로 표현하고, (N+1) 픽처가 나중이고, N픽처의 시차 정보(Disparity)로부터의 차분값을 4bit로 표현하는 것을 나타낸다.
또한, 제1 바이트(PB1)의 제3 비트 내지 제0 비트에, 「partition_count」가 배치된다. 이 4비트의 정보는, 분할 영역(Partition)의 총 수를 나타낸다. 예를 들어, "0000"은 1, "0011"은 4, "0111"은 8, "1000"은 9, "1100"은 13, "1111"은 16을 나타낸다.
그리고, 제2 바이트(PB2) 이후에, 1픽처분 또는 2픽처분의, 시차 정보(제1 시차 정보, 제2 시차 정보)가 순차 배치된다. 「Max_disparity_in_picture」의 8비트 정보는, 픽처 표시 화면 전체(픽처 전체)의 제2 시차 정보, 즉 픽처 전체의 최대의 시차 정보(disparity값)를 나타낸다. 「Min_disparity_in_partition」의 8비트 정보는, 각 분할 영역(Partition)의 제1 시차 정보, 즉 각 분할 영역에서의 최소의 시차 정보(disparity값)를 나타낸다.
여기서, 제1 시차 정보인 「Min_disparity_in_partition」 및 제2 시차 정보인 「Max_disparity_in_picture」는, 전술한 도 57의 구조예에 있어서와 마찬가지로, 절댓값 데이터로 된다.
도 58의 패킷 콘텐츠(Packet Contents)의 구조예는, 「d_picture=1」로서 더블 픽처의 모드이며, 「picture_reorder=0」으로서 시간적으로 N픽처가 먼저이고, N+1픽처가 나중인 경우에 있어서의 패킷 콘텐츠(Packt Contents)의 구조예를 나타내고 있다. 또한, 이 예는, 「partition_count=1111」로서, 분할 영역이 「16」인 경우를 나타내고 있다.
이 경우, 제2 바이트(PB2)에, N픽처에 있어서의 픽처 표시 화면 전체의 제2 시차 정보, 즉 픽처 전체의 최대 시차 정보(disparity값)인 「Max_disparity_in_picture」가 배치된다. 그리고, 제3 바이트(PB3) 내지 제18 바이트(PB18)에, N픽처에 있어서의 각 분할 영역(Partition)의 제1 시차 정보, 즉 각 분할 영역에서의 최소의 시차 정보(disparity값)인 「Min_disparity_in_partition」이 배치된다.
또한, 이 경우, 제19 바이트(PB19)의 제3 비트 내지 제0 비트에, N+1픽처에 있어서의 픽처 표시 화면 전체의 제2 시차 정보, 즉 픽처 전체의 최대 시차 정보(disparity값)의 차분 데이터인 「Differential_max_disparity_in_picture」가 배치된다. 제20 바이트(PB20) 내지 제27 바이트(PB27)에, N+1픽처에 있어서의 각 분할 영역(Partition)의 제1 시차 정보, 즉 각 분할 영역에서의 최소의 시차 정보(disparity값)의 차분값인 「Differential_min_disparity_in_partition」이 배치된다.
또한, 도시 및 상세 설명은 생략하지만, 「d_picture=1」로서 더블 픽처의 모드이며, 「picture_reorder=1」로서 시간적으로 N+1픽처가 먼저이고 N픽처가 나중인 경우에 있어서의 패킷 콘텐츠(Packet Contents)의 구조예는, 전술한 도 52의 구조예에 대응한 것으로 된다.
또한, 이 신규 정의되는 3DDS 패킷에서는, 패킷 헤더(Packet header)의 「Payload length」의 비트 폭을 5비트보다도 많이 취해서, 이 패킷 헤더(packet header)에 이어서, 패킷 콘텐츠(packet contents)의 사이즈를 보다 크게 하는 것도 가능하다.
도 59는, 그 경우에 있어서의, 패킷 콘텐츠(packet contents)의 구조예를 나타내고 있다. 제0 바이트(PB0)의 제4 비트 내지 제0 비트에, 「3D_Metadata_length」의 상위 5비트가 배치되어 있다. 또한, 제1 바이트(PB0)의 제7 비트 내지 제0 비트에, 「3D_Metadata_length」의 하위 8비트가 배치되어 있다.
또한, 제2 바이트(PB2)의 제2 비트 내지 제0 비트에, 「partition_type」이 배치되어 있다. 또한, 제3 바이트의 제7 비트 내지 제0 비트에, 「partition_count」가 배치된다. 그리고, 제4 바이트(PB4) 이후에, 시차 정보(제1 시차 정보, 제2 시차 정보)가 배치된다.
「(3) 액티브 스페이스 영역(Active space)을 이용하는 예」
화상 데이터의 픽처마다의 각 분할 영역(Partition)에 있어서의 시차 정보(Disparity)의 송신을, 액티브 스페이스 영역(Active space)을 이용하여 행하는 방법을 설명한다.
도 60은, 입체 화상 데이터의 TMDS 전송 데이터 구조의 하나인 프레임 패킹(Frame packing) 방식의 3D 비디오 포맷(3D Video Format)을 나타내고 있다. 이3D 비디오 포맷은, 입체 화상 데이터로서, 프로그레시브 방식의 좌안(L) 및 우안(R)의 화상 데이터를 전송하기 위한 포맷이다.
이 3D 비디오 포맷에서는, 좌안(L) 및 우안(R)의 화상 데이터로서, 1920×1080p, 1080×720p의 픽셀 포맷의 화상 데이터의 전송이 행해진다. 또한, 도 60에는, 좌안(L) 화상 데이터 및 우안(R) 화상 데이터가, 각각, 1920 라인*1080 픽셀인 예를 나타내고 있다.
이 3D 비디오 포맷에 의해, 수직 동기 신호에 의해 구획되는, 수평 블랭킹 기간(Hblank), 수직 블랭킹 기간(Vblank) 및 액티브 비디오 구간(Hactive×Vactive)을 포함하는 비디오 필드 구간을 단위로 하는 전송 데이터가 생성된다. 이 3D 비디오 포맷에 있어서, 액티브 비디오 구간은, 2개의 액티브 비디오 영역(Active video)과, 그들 사이에 1개의 액티브 스페이스 영역(Active space)을 갖고 있다. 제1 액티브 비디오 영역에 좌안(L) 화상 데이터가 배치되고, 제2 액티브 비디오 영역에 우안(R) 화상 데이터가 배치된다. 액티브 비디오 구간은, 2개의 주 영상 영역으로서의 액티브 비디오 영역(Active video)과, 그들 사이에 보조 영상 영역으로서의 1개의 액티브 스페이스 영역(Active space)을 갖고 있다.
도 61은, 액티브 스페이스 영역(Active Space)을 이용하는 경우에 있어서의, HDMI Vendor Specific InfoFrame의 패킷 구조의 일례를 나타내고 있다. 현상에서는 리저브(Reservedbit)로 되어 있는 제5 바이트(PB5)의 제2 비트에, 「Active Space Enable」이 정의되고, 이 1비트의 정보가 "1"로 된다. 또한, 현상에서는 리저브(Reserved)로 되어 있는 액티브 스페이스 영역(Active Space)에, 화상 데이터의 픽처마다의 각 분할 영역(Partition)에 있어서의 시차 정보(Disparity)가 삽입된다.
이 경우, 액티브 스페이스 영역에는, 예를 들어 전술한 신규 정의되는 3DDS 패킷의 패킷 콘텐츠(Packet Contents)의 부분을 그대로 삽입하는 것이 고려된다(도 57, 도 58 참조). 그러나, 그 밖의 형식으로 삽입하는 것도 가능하다.
액티브 스페이스 영역은, 좌안 화상 데이터 및 우안 화상 데이터가 배치되는 액티브 비디오 영역과 함께, 액티브 비디오 구간을 구성하고 있다(도 60 참조). 여기서, 액티브 비디오 영역은 주 영상 영역을 구성하고, 액티브 스페이스 영역은 보조 영상 영역을 구성하고 있다. 액티브 스페이스 영역은, 비디오의 화상 사이즈에 따라 변동하지만, 1920*1080의 화상 사이즈의 경우에는, 1 프레임당 45라인분(86400바이트)의 용량을 갖는다.
또한, 전술에서는, 셋톱박스(200)가 싱글 픽처 또는 더블 픽처의 모드를 선택 가능한 예를 나타내었다. 그러나, 더블 픽처의 모드 대신에 복수 픽처의 모드로 하고, 픽처수를 임의로 선택 가능하게 하는 것도 고려된다. 또한, 선택할 수 있는 모드수가 3개 이상인 경우도 고려된다. 그 경우에는, 부여된 대역에서 송신 가능하도록, HDMI 소스(HDMI Source)측에 있어서, 분할 영역(partition)의 수를 적절한 수로 변경하는 것도 가능하다.
이상 설명한 바와 같이, 도 1에 도시하는 화상 송수신 시스템(10)에 있어서, 방송국(100)은 화상 데이터의 소정의 픽처마다 취득된 제1 시차 정보 및 제2 시차 정보를, 비디오 스트림에 삽입하여 송신한다. 여기서, 제1 시차 정보는 픽처 표시 화면의 소정 영역에서의 가장 앞쪽의 오브젝트 재생 위치에 대응한 시차 정보로서, 제2 시차 정보는 픽처 표시 화면의 소정 영역에서의 가장 안쪽의 오브젝트 재생 위치에 대응한 시차 정보이다. 그로 인해, 수신측의 셋톱박스(200)에서는, 예를 들어 이들 제1 시차 정보 및 제2 시차 정보에 기초하여, 시차각이 시청상 건강을 해치지 않는 소정의 범위 내에 있는지 여부를 체크하고, 필요에 따라서 좌안 화상 데이터 및 우안 화상 데이터를 재구성할 수 있다.
또한, 도 1에 도시한 화상 송수신 시스템(10)에 있어서, 셋톱박스(200)로부터 텔레비전 수신기(300)로 각 분할 영역의 시차 정보를 송신할 때, 예를 들어 신규 정의된 3DDS 패킷이 사용된다. 이 경우, 시차 정보가 3DDS 패킷의 콘텐츠부에 삽입됨과 함께, 이 3DDS 패킷의 헤더부에 시차 정보인 것을 식별하기 위한 식별 정보가 삽입되고, 텔레비전 수신기(300)로 송신된다. 그로 인해, 시차 정보를 텔레비전 수신기(300)로, 효율적으로 송신할 수 있다.
<2. 변형예>
또한, 전술한 실시 형태에 있어서는, 화상 송수신 시스템(10)이 방송국(100), 셋톱박스(200) 및 텔레비전 수신기(300)로 구성되어 있는 것을 나타냈다. 그러나, 도 62에 도시한 바와 같이, 방송국(100) 및 텔레비전 수신기(300A)로 구성되는 화상 송수신 시스템(10A)도 고려된다.
도 63은, 텔레비전 수신기(300A)의 구성예를 나타내고 있다. 이 도 63에 있어서, 도 28과 대응하는 부분에는 동일 부호를 붙이고, 그 상세 설명은 생략한다. 텔레비전(TV) 그래픽스 발생부(219A)는, 도 28의 셋톱박스(200)의 셋톱박스(STB) 그래픽스 발생부(219)와 마찬가지의 것이며, OSD 또는 어플리케이션, 또는 EPG 등의 그래픽스 데이터를 발생한다.
중첩부(217)로부터는, 좌안 표시용 서브타이틀(자막) 및 그래픽스가 중첩된 좌안 화상의 데이터가 얻어짐과 함께, 우안 표시용 서브타이틀(자막) 및 그래픽스가 중첩된 우안 화상의 데이터가 얻어진다. 이들 화상 데이터는, 입체 화상 표시를 위한 처리부로 보내지고, 입체 화상 표시가 행해진다. 또한, 채널 믹싱부(244)에서는, 음성 데이터에 대하여 예를 들어 5.1ch 서라운드 등을 실현하기 위한 각 채널의 음성 데이터가 생성된다. 이 음성 데이터는 예를 들어 스피커에 공급되고, 입체 화상 표시에 맞춘 음성 출력이 이루어진다.
상세 설명은 생략하지만, 도 63에 도시한 텔레비전 수신기(300A) 이외의 것은, 도 28의 셋톱박스(200)와 마찬가지로 구성되고, 마찬가지로 동작한다.
또한, 전술한 실시 형태에 있어서는, 신규 정의되는 3DDS 패킷(도 56-도 58 참조)에 의해 화상 데이터의 관련 정보로서 픽처 표시 화면의 각 분할 영역에서의 수평 방향의 시차 정보(Disprity)를 송신하는 예를 나타내었다. 그러나, 3DDS 패킷을 이용함으로써 그 밖의 화상 데이터 관련 정보를 송신할 수도 있다.
예를 들어, 종래의 수평 방향의 minimum_disparity값 외에, 수직 방향의minimum_disparity값을 보냄으로써, 텔레비전 수신기측에서의 3D 시차의 보정 제어를 행할 수 있다. 이 기능은, 픽처(picture) 단위의horizontal_minimum_disparity, 픽처(picture) 단위의 vetical_minimum_disparity를, 다른 3DDS 패킷으로 전송함으로써 가능해진다.
또한, 예를 들어 시차 정보(disparity)의 값이 동적으로 업데이트(update) 되는 경우, 어떤 크기의 그래픽스가 깊이(depth) 방향보다 앞쪽에 표시되면, 그 크기는 앞쪽에 있음에도 작게 느껴진다. 한편, 동일한 크기의 그래픽스가 깊이(depth) 방향으로 멀리 표시되면, 그 크기는 멀리 있음에도 크게 느껴진다.
이와 같은, 깊이 모순(depth paradox)을 해소하기 위해서, 깊이 다이내믹 레인지(depth dynamic range)의 스케일을 취하고, 그것에 따라서 그래픽스를 중첩하는 텔레비전 수신기측에서, 그래픽스를 스케일링하고 나서 화상에 중첩한다. 이 기능은, 픽처(piture) 내의 로컬라이즈된 각 부분에서의 minimum_disparity와maximum_disparity 사이의 깊이 다이내믹 레인지(depth dynamic range)를 리니어, 또는 넌리니어로 스케일링한 값을, 다른 3DDS 패킷으로 전송함으로써 가능해진다.
또한, 전술한 실시 형태에 있어서는, 셋톱박스(200)와, 텔레비전 수신기(300)가 HDMI의 디지털 인터페이스에 의해 접속되는 것을 나타내고 있다. 그러나, 이들이, HDMI의 디지털 인터페이스와 마찬가지의 디지털 인터페이스(유선의 이외에 무선도 포함함)에 의해 접속되는 경우에 있어서도, 본 기술을 마찬가지로 적용할 수 있는 것은 물론이다.
또한, 전술한 실시 형태에 있어서는, 셋톱박스(200)로부터 텔레비전 수신기(300)에 시차 정보를 송신하는 방법으로서, HDMI Vendor Specific InfoFrame을 이용하는 방법을 설명하였다. 그 밖에, 액티브 스페이스(Active Space)를 이용하는 방법, 나아가 HPD 라인(86)(HEAC-라인) 및 유틸리티 라인(88)(HEAC+라인)으로 구성되는 쌍방향 통신로를 통해 송신하는 것도 고려된다.
또한, 전술한 실시 형태에 있어서는, 셋톱박스(200)로부터 텔레비전 수신기(300)에, 시차 정보를, HDMI 인터페이스에 의해 송신하는 예를 나타냈다. 그러나, 이와 같이 HDMI 인터페이스를 통해 시차 정보를 송신하는 기술에 대해서는, 그 밖의 소스 기기 및 싱크 기기의 조합에도 응용할 수 있는 것은 물론이다. 예를 들어, 소스 기기로서는 BD나 DVD 등의 디스크 플레이어, 나아가 게임기 등도 고려되며, 싱크 기기로서는 모니터 장치, 프로젝터 장치 등도 고려된다.
또한, 전술한 실시 형태에 있어서는, 컨테이너가 트랜스포트 스트림(MPEG-2TS)인 예를 나타내었다. 그러나, 본 기술은, 인터넷 등의 네트워크를 이용하여 수신 단말기에 배신되는 구성의 시스템에도 마찬가지로 적용할 수 있다. 인터넷의 배신에서는, MP4나 그 이외의 포맷의 컨테이너에 의해 배신되는 경우가 많다.
즉, 컨테이너로서는, 디지털 방송 규격으로 채용되고 있는 트랜스포트 스트림(MPEG-2TS), 인터넷 배신에서 사용되고 있는 MP4 등의 다양한 포맷의 컨테이너가 해당된다. 또한, 하나의 서비스 내용을 공급하는 방법이 복수로 분할되어 있으며, 각각이 다른 전송 형태로 행해지는 응용, 즉 한쪽의 뷰(view)가 전파에 의한 전송이고, 또 한쪽의 뷰(view)가 인터넷에 의한 전송인 경우에도 해당된다.
또한, 본 기술은, 이하와 같은 구성을 취할 수도 있다.
[1] 헤더부와 콘텐츠부를 포함하여 이루어지는 데이터 패킷을 생성하는 데이터 패킷 생성부와,
상기 데이터 패킷을 화상 데이터에 대응지어 외부 기기로 송신하는 송신 부를 구비하고,
상기 데이터 패킷 생성부는, 상기 콘텐츠부에 상기 화상 데이터의 관련 정보를 삽입하고, 상기 헤더부에 상기 관련 정보의 종별을 식별하기 위한 식별 정보를 삽입하는, 송신 장치.
[2] 상기 데이터 패킷 생성부는, 상기 콘텐츠부에 삽입되는 상기 관련 정보의 데이터량에 따라서 상기 콘텐츠부의 사이즈를 결정하고, 상기 헤더부에 상기 결정된 사이즈를 나타내는 사이즈 정보를 삽입하는 상기 [1]에 기재된, 송신 장치.
[3] 상기 데이터 패킷 생성부는, 상기 데이터 패킷을 상기 화상 데이터의 소정수의 픽처마다 생성하는 상기 [1] 또는 [2]에 기재된, 송신 장치.
[4] 상기 화상 데이터는, 입체 화상을 구성하는 좌안 화상 데이터 및 우안 화상 데이터이며,
상기 관련 정보는, 좌안 화상 및 우안 화상의 한쪽에 대한 다른 쪽의 시차 정보로서, 픽처 표시 화면의 소정 영역마다의 대표 시차 정보인 상기 [3]에 기재된, 송신 장치.
[5] 상기 소정 영역마다의 대표 시차 정보에는, 소정 영역에서의 가장 앞쪽의 오브젝트 재생 위치에 대응한 제1 시차 정보가 포함되는 상기 [4]에 기재된, 송신 장치.
[6] 상기 소정 영역마다의 대표 시차 정보에는, 소정 영역에서의 가장 앞쪽의 오브젝트 재생 위치에 대응한 제1 시차 정보와, 소정 영역에서의 가장 안쪽의 오브젝트 재생 위치에 대응한 제2 시차 정보가 포함되는 상기 [4]에 기재된, 송신 장치.
[7] 상기 데이터 패킷 생성부는, 상기 대표 시차 정보를 상기 콘텐츠부에 절댓값 데이터로서 삽입하는 상기 [4] 내지 [6] 중 어느 하나에 기재된, 송신 장치.
[8] 상기 송신부는, 상기 데이터 패킷을 상기 화상 데이터의 블랭킹 기간에 삽입하고, 상기 외부 기기로 송신하는 상기 [1] 내지 [7] 중 어느 하나에 기재된, 송신 장치.
[9] 상기 송신부는, 수직 동기 신호에 의해 구획되는, 수평 블랭킹 기간, 수직 블랭킹 기간 및 주 영상 영역 및 보조 영상 영역을 갖는 액티브 비디오 구간을 포함하는 비디오 필드 구간을 단위로 하는 전송 데이터를 생성하여, 상기 외부 기기로 송신하고,
상기 주 영상 영역에 상기 화상 데이터가 배치되고, 상기 보조 영상 영역에 상기 데이터 패킷이 배치되어 있는 상기 [1] 내지 [7] 중 어느 하나에 기재된, 송신 장치.
[10] 헤더부와 콘텐츠부를 포함하여 이루어지는 데이터 패킷을 생성하는 데이터 패킷 생성 스텝과,
상기 데이터 패킷을 화상 데이터에 대응지어 외부 기기로 송신하는 송신 스텝을 구비하고,
상기 데이터 패킷 생성 스텝에서는, 상기 콘텐츠부에 상기 화상 데이터의 관련 정보를 삽입하고, 상기 헤더부에 상기 관련 정보의 종별을 식별하기 위한 식별 정보를 삽입하는, 송신 방법.
[11] 입체 화상을 구성하는 좌안 화상 데이터 및 우안 화상 데이터를 취득하는 화상 데이터 취득부와,
상기 화상 데이터의 소정의 픽처마다, 좌안 화상 및 우안 화상의 한쪽에 대한 다른 쪽 시차 정보로서, 픽처 표시 화면의 분할 패턴에 대응한 각 분할 영역에서의 대표 시차 정보를 취득하는 시차 정보 취득부와,
상기 화상 데이터가 부호화되어 얻어진 비디오 스트림에, 상기 각 분할 영역에서의 대표 시차 정보를 삽입하는 시차 정보 삽입부와,
상기 시차 정보가 삽입된 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 화상 데이터 송신부를 구비하는, 송신 장치.
[12] 복수의 분할 패턴으로부터 소정의 분할 패턴을 선택하는 패턴 선택부를 더 구비하고,
상기 시차 정보 취득부는, 픽처 표시 화면의 선택된 상기 소정의 분할 패턴에 대응한 각 분할 영역에서의 대표 시차 정보를 취득하는 상기 [11] 에 기재된, 송신 장치.
[13] 상기 각 분할 영역에서의 대표 시차 정보에는, 분할 영역에서의 가장 앞쪽의 오브젝트 재생 위치에 대응한 제1 시차 정보가 포함되는 상기 [11] 에 기재된, 송신 장치.
[14] 상기 각 분할 영역에서의 대표 시차 정보에는, 분할 영역에서의 가장 앞쪽의 오브젝트 재생 위치에 대응한 제1 시차 정보와, 분할 영역에서의 가장 안쪽의 오브젝트 재생 위치에 대응한 제2 시차 정보가 포함되는 상기 [11]에 기재된, 송신 장치.
[15] 상기 시차 정보 삽입부는, 상기 대표 시차 정보를 상기 비디오 스트림에 절댓값 데이터로서 삽입하는 상기 [11] 내지 [14] 중 어느 하나에 기재된, 송신 장치.
[16] 입체 화상을 구성하는 좌안 화상 데이터 및 우안 화상 데이터를 취득하는 화상 데이터 취득 스텝과,
상기 화상 데이터의 소정의 픽처마다, 좌안 화상 및 우안 화상의 한쪽에 대한 다른 쪽의 시차 정보로서, 픽처 표시 화면의 분할 패턴에 대응한 각 분할 영역에서의 대표 시차 정보를 취득하는 시차 정보 취득 스텝과,
상기 화상 데이터가 부호화되어 얻어진 비디오 스트림에, 상기 각 분할 영역에서의 대표 시차 정보를 삽입하는 시차 정보 삽입 스텝과,
상기 시차 정보가 삽입된 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 화상 데이터 송신 스텝을 구비하는, 송신 방법.
[17] 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하는 화상 데이터 수신부를 구비하고,
상기 비디오 스트림은, 입체 화상을 구성하는 좌안 화상 데이터 및 우안 화상 데이터가 부호화되어 얻어지며,
상기 비디오 스트림에는, 상기 화상 데이터의 픽처마다, 좌안 화상 및 우안 화상의 한쪽에 대한 다른 쪽의 시차 정보로서, 픽처 표시 화면의 분할 패턴에 대응한 각 분할 영역에서의 대표 시차 정보가 삽입되어 있고,
상기 컨테이너에 포함되는 비디오 스트림으로부터, 상기 좌안 화상 데이터 및 우안 화상 데이터를 취득함과 함께, 상기 화상 데이터의 각 픽처의 분할 영역마다의 대표 시차 정보를 취득하는 정보 취득부와,
상기 각 픽처의 분할 영역마다의 대표 시차 정보에 대하여 시간축 방향으로 평활화 처리를 행하는 정보 평활화부와,
화상 위에 그래픽스를 표시하기 위한 그래픽스 데이터를 발생하는 그래픽스 데이터 발생부와,
취득된 상기 화상 데이터 및 평활화된 상기 시차 정보와, 발생된 상기 그래픽스 데이터를 이용하여, 좌안 화상 및 우안 화상에 중첩하는 상기 그래픽스에, 픽처마다, 상기 그래픽스의 표시 위치에 대응한 시차를 부여하고, 상기 그래픽스가 중첩된 좌안 화상의 데이터 및 상기 그래픽스가 중첩된 우안 화상의 데이터를 얻는 화상 데이터 처리부를 더 구비하는, 수신 장치.
본 기술의 주된 특징은, 화상 데이터의 관련 정보, 예를 들어 시차 정보 등을 데이터 패킷의 콘텐츠부에 삽입함과 함께, 이 데이터 패킷의 헤더부에 관련 정보의 종별을 식별하기 위한 식별 정보를 삽입하여, 외부 기기로 송신하도록 한 것으로, 시차 정보 등의 화상 데이터 관련 정보의 효율적인 송신을 가능하게 한 것이다(도 56-도 57 참조). 또한, 시차 정보(Disprity)를 절댓값 데이터로서 송신함으로써, 정부의 부호 비트를 필요로 하지 않게 하여 시차 정보의 다이내믹 레인지의 확장을 가능하게 한 것이다(도 15-도 17 참조).
10, 10A: 화상 송수신 시스템
100: 방송국
110, 110A: 송신 데이터 생성부
111L, 111R: 화상 데이터 출력부
112L, 112: 스케일러
113: 비디오 인코더
114: 멀티플렉서
115: 시차 데이터 생성부
116: 서브타이틀 데이터 출력부
117: 서브타이틀 인코더
118: 음성 데이터 출력부
119: 오디오 인코더
120: 분할 패턴 선택부
200: 셋톱박스
211: 컨테이너 버퍼
212: 디멀티플렉서
213: 코디드 버퍼
214: 비디오 디코더
215: 디코디드 버퍼
216: 스케일러
217: 중첩부
218: 시차 정보 버퍼
219: 셋톱박스(STB) 그래픽스 버퍼
219A: 텔레비전(TV) 그래픽스 버퍼
220: 깊이 제어부
221: 그래픽스 버퍼
231: 코디드 버퍼
232: 서브타이틀 디코더
233: 픽셀 버퍼
234: 서브타이틀 시차 정보 버퍼
235: 서브타이틀 표시 제어부
241: 코디드 버퍼
242: 오디오 디코더
243: 오디오 버퍼
244: 채널 믹싱부
251: HDMI 송신부
262: 시차 정보 제어부
263: L/R 재구성부
271: 최대값 취득부
272: 최소값 취득부
273: 시차각 체크부
274: 시차 정보 보정부
281: 프레임 메모리
282: 감산기
283: 순서 결정부
300, 300A: 텔레비전 수신기
311: HDMI 수신부
312: 스케일러
313: 중첩부
314: 깊이 제어부
315: 그래픽스 버퍼
316: 텔레비전(TV) 그래픽스 발생부
317: 오디오 처리부
400: HDMI 케이블

Claims (17)

  1. 송신 장치로서,
    헤더부와 콘텐츠부를 포함하여 이루어지는 데이터 패킷을 생성하는 데이터 패킷 생성부와,
    상기 데이터 패킷을 화상 데이터에 대응지어 외부 기기로 송신하는 송신 부를 구비하고,
    상기 데이터 패킷 생성부는, 상기 콘텐츠부에 상기 화상 데이터의 관련 정보를 삽입하고, 상기 헤더부에 상기 관련 정보의 종별을 식별하기 위한 식별 정보를 삽입하는, 송신 장치.
  2. 제1항에 있어서,
    상기 데이터 패킷 생성부는, 상기 콘텐츠부에 삽입되는 상기 관련 정보의 데이터량에 따라서 상기 콘텐츠부의 사이즈를 결정하고, 상기 헤더부에 상기 결정된 사이즈를 나타내는 사이즈 정보를 삽입하는, 송신 장치.
  3. 제1항에 있어서,
    상기 데이터 패킷 생성부는, 상기 데이터 패킷을 상기 화상 데이터의 소정수의 픽처마다 생성하는, 송신 장치.
  4. 제3항에 있어서,
    상기 화상 데이터는, 입체 화상을 구성하는 좌안 화상 데이터 및 우안 화상 데이터이며,
    상기 관련 정보는, 좌안 화상 및 우안 화상의 한쪽에 대한 다른 쪽의 시차 정보(disparity)로서, 픽처 표시 화면의 소정 영역마다의 대표 시차 정보인, 송신 장치.
  5. 제4항에 있어서,
    상기 소정 영역마다의 대표 시차 정보에는, 소정 영역에서의 가장 앞쪽의 오브젝트 재생 위치에 대응한 제1 시차 정보가 포함되는, 송신 장치.
  6. 제4항에 있어서,
    상기 소정 영역마다의 대표 시차 정보에는, 소정 영역에서의 가장 앞쪽의 오브젝트 재생 위치에 대응한 제1 시차 정보와, 소정 영역에서의 가장 안쪽의 오브젝트 재생 위치에 대응한 제2 시차 정보가 포함되는, 송신 장치.
  7. 제4항에 있어서,
    상기 데이터 패킷 생성부는, 상기 대표 시차 정보를 상기 콘텐츠부에 절댓값 데이터로서 삽입하는, 송신 장치.
  8. 제1항에 있어서,
    상기 송신부는, 상기 데이터 패킷을 상기 화상 데이터의 블랭킹 기간에 삽입하여, 상기 외부 기기로 송신하는, 송신 장치.
  9. 제1항에 있어서,
    상기 송신부는, 수직 동기 신호에 의해 구획되는, 수평 블랭킹 기간, 수직 블랭킹 기간 및 주 영상 영역 및 보조 영상 영역을 갖는 액티브 비디오 구간을 포함하는 비디오 필드 구간을 단위로 하는 전송 데이터를 생성하여, 상기 외부 기기로 송신하고,
    상기 주 영상 영역에 상기 화상 데이터가 배치되고, 상기 보조 영상 영역에 상기 데이터 패킷이 배치되어 있는, 송신 장치.
  10. 송신 방법으로서,
    헤더부와 콘텐츠부를 포함하여 이루어지는 데이터 패킷을 생성하는 데이터 패킷 생성 스텝과,
    상기 데이터 패킷을 화상 데이터에 대응지어 외부 기기로 송신하는 송신 스텝을 구비하고,
    상기 데이터 패킷 생성 스텝에서는, 상기 콘텐츠부에 상기 화상 데이터의 관련 정보를 삽입하고, 상기 헤더부에 상기 관련 정보의 종별을 식별하기 위한 식별 정보를 삽입하는, 송신 방법.
  11. 송신 장치로서,
    입체 화상을 구성하는 좌안 화상 데이터 및 우안 화상 데이터를 취득하는 화상 데이터 취득부와,
    상기 화상 데이터의 소정의 픽처마다, 좌안 화상 및 우안 화상의 한쪽에 대한 다른 쪽의 시차 정보로서, 픽처 표시 화면의 분할 패턴에 대응한 각 분할 영역에서의 대표 시차 정보를 취득하는 시차 정보 취득부와,
    상기 화상 데이터가 부호화되어 얻어진 비디오 스트림에, 상기 각 분할 영역에서의 대표 시차 정보를 삽입하는 시차 정보 삽입부와,
    상기 시차 정보가 삽입된 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 화상 데이터 송신부를 구비하는, 송신 장치.
  12. 제11항에 있어서,
    복수의 분할 패턴으로부터 소정의 분할 패턴을 선택하는 패턴 선택부를 더 구비하고, 상기 시차 정보 취득부는, 픽처 표시 화면의 선택된 상기 소정의 분할 패턴에 대응한 각 분할 영역에서의 대표 시차 정보를 취득하는, 송신 장치.
  13. 제11항에 있어서,
    상기 각 분할 영역에서의 대표 시차 정보에는, 분할 영역에서의 가장 앞쪽의 오브젝트 재생 위치에 대응한 제1 시차 정보가 포함되는, 송신 장치.
  14. 제11항에 있어서,
    상기 각 분할 영역에서의 대표 시차 정보에는, 분할 영역에서의 가장 앞쪽의 오브젝트 재생 위치에 대응한 제1 시차 정보와, 분할 영역에서의 가장 안쪽의 오브젝트 재생 위치에 대응한 제2 시차 정보가 포함되는, 송신 장치.
  15. 제11항에 있어서,
    상기 시차 정보 삽입부는, 상기 대표 시차 정보를 상기 비디오 스트림에 절댓값 데이터로서 삽입하는, 송신 장치.
  16. 송신 방법으로서,
    입체 화상을 구성하는 좌안 화상 데이터 및 우안 화상 데이터를 취득하는 화상 데이터 취득 스텝과,
    상기 화상 데이터의 소정의 픽처마다, 좌안 화상 및 우안 화상의 한쪽에 대한 다른 쪽의 시차 정보로서, 픽처 표시 화면의 분할 패턴에 대응한 각 분할 영역에서의 대표 시차 정보를 취득하는 시차 정보 취득 스텝과,
    상기 화상 데이터가 부호화되어 얻어진 비디오 스트림에, 상기 각 분할 영역에서의 대표 시차 정보를 삽입하는 시차 정보 삽입 스텝과,
    상기 시차 정보가 삽입된 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 화상 데이터 송신 스텝을 구비하는, 송신 방법.
  17. 수신 장치로서,
    비디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하는 화상 데이터 수신부를 구비하고,
    상기 비디오 스트림은, 입체 화상을 구성하는 좌안 화상 데이터 및 우안 화상 데이터가 부호화되어 얻어지며,
    상기 비디오 스트림에는, 상기 화상 데이터의 픽처마다, 좌안 화상 및 우안 화상의 한쪽에 대한 다른 쪽의 시차 정보로서, 픽처 표시 화면의 분할 패턴에 대응한 각 분할 영역에서의 대표 시차 정보가 삽입되어 있고,
    상기 컨테이너에 포함되는 비디오 스트림으로부터, 상기 좌안 화상 데이터 및 우안 화상 데이터를 취득함과 함께, 상기 화상 데이터의 각 픽처의 분할 영역마다의 대표 시차 정보를 취득하는 정보 취득부와,
    상기 각 픽처의 분할 영역마다의 대표 시차 정보에 대하여 시간축 방향으로 평활화 처리를 행하는 정보 평활화부와,
    화상 위에 그래픽스를 표시하기 위한 그래픽스 데이터를 발생하는 그래픽스 데이터 발생부와,
    취득된 상기 화상 데이터 및 평활화된 상기 시차 정보와, 발생된 상기 그래픽스 데이터를 이용하여, 좌안 화상 및 우안 화상에 중첩하는 상기 그래픽스에, 픽처마다, 상기 그래픽스의 표시 위치에 대응한 시차를 부여하고, 상기 그래픽스가 중첩된 좌안 화상의 데이터 및 상기 그래픽스가 중첩된 우안 화상의 데이터를 얻는 화상 데이터 처리부를 더 구비하는, 수신 장치.
KR1020137027680A 2012-03-01 2013-02-18 송신 장치, 송신 방법 및 수신 장치 KR101998892B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012045912 2012-03-01
JPJP-P-2012-045912 2012-03-01
PCT/JP2013/053852 WO2013129158A1 (ja) 2012-03-01 2013-02-18 送信装置、送信方法および受信装置

Publications (2)

Publication Number Publication Date
KR20140138527A true KR20140138527A (ko) 2014-12-04
KR101998892B1 KR101998892B1 (ko) 2019-07-10

Family

ID=49082359

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137027680A KR101998892B1 (ko) 2012-03-01 2013-02-18 송신 장치, 송신 방법 및 수신 장치

Country Status (6)

Country Link
US (2) US9451234B2 (ko)
EP (1) EP2688304B1 (ko)
JP (2) JP6003901B2 (ko)
KR (1) KR101998892B1 (ko)
CN (1) CN103503446B (ko)
WO (1) WO2013129158A1 (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9538081B1 (en) 2013-03-14 2017-01-03 Amazon Technologies, Inc. Depth-based image stabilization
GB2516223A (en) * 2013-07-09 2015-01-21 Nokia Corp Method and apparatus for video coding and decoding
CN106416261B (zh) * 2014-06-13 2020-06-26 索尼公司 传输设备、传输方法、接收设备以及接收方法
CN106464856B (zh) * 2014-06-24 2019-01-15 谷歌有限责任公司 用于分析和确定虚拟环境的特性的计算机化系统和方法
US20170127152A1 (en) * 2014-07-01 2017-05-04 Sony Corporation Information processing device and information processing method
JP6607183B2 (ja) 2014-07-18 2019-11-20 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN107113457B (zh) * 2014-12-29 2020-12-04 索尼公司 发送装置、发送方法、接收装置和接收方法
JP6516480B2 (ja) * 2015-01-19 2019-05-22 キヤノン株式会社 表示装置、表示システム及び表示方法
JP6891806B2 (ja) * 2015-05-28 2021-06-18 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
US20160366479A1 (en) * 2015-06-12 2016-12-15 At&T Intellectual Property I, L.P. Selective information control for broadcast content and methods for use therewith
KR102519209B1 (ko) * 2015-06-17 2023-04-07 한국전자통신연구원 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법
CN105049381B (zh) * 2015-07-31 2018-03-02 南京南瑞集团公司 一种电力多媒体通信系统的实时性的测试方法
KR20170024860A (ko) * 2015-08-26 2017-03-08 엘지전자 주식회사 디지털 디바이스 및 상기 디지털 디바이스에서 데이터 처리 방법
US9894342B2 (en) * 2015-11-25 2018-02-13 Red Hat Israel, Ltd. Flicker-free remoting support for server-rendered stereoscopic imaging
WO2018011054A1 (en) * 2016-07-15 2018-01-18 Koninklijke Kpn N.V. Streaming virtual reality video
US10313763B2 (en) * 2016-07-29 2019-06-04 Mediatek, Inc. Method and apparatus for requesting and receiving selected segment streams based on projection information
US10712555B2 (en) 2016-11-04 2020-07-14 Koninklijke Kpn N.V. Streaming virtual reality video
GB2558881B (en) * 2017-01-09 2021-11-17 Nokia Technologies Oy Method and apparatus for video depth map coding and decoding
JP7026450B2 (ja) 2017-04-24 2022-02-28 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
JP6982990B2 (ja) 2017-06-19 2021-12-17 ソニーグループ株式会社 送信装置、送信方法、受信装置および受信方法
US10319114B2 (en) * 2017-07-13 2019-06-11 Google Llc Foveated compression of display streams
CN111971955A (zh) * 2018-04-19 2020-11-20 索尼公司 接收装置、接收方法、发送装置和发送方法
US20210398352A1 (en) * 2018-09-28 2021-12-23 Sharp Kabushiki Kaisha 3d data generation apparatus, 3d data reconstruction apparatus, control program, and recording medium
US11523185B2 (en) 2019-06-19 2022-12-06 Koninklijke Kpn N.V. Rendering video stream in sub-area of visible display area
CN114302193B (zh) * 2021-01-14 2022-09-30 海信视像科技股份有限公司 一种显示设备及协议检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005006114A (ja) 2003-06-12 2005-01-06 Sharp Corp 放送データ送信装置、放送データ送信方法および放送データ受信装置
KR20050111379A (ko) * 2004-05-21 2005-11-24 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
JP2011030183A (ja) * 2009-06-29 2011-02-10 Sony Corp 立体画像データ送信装置および立体画像データ送信方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4262137B2 (ja) * 2004-05-28 2009-05-13 キヤノン株式会社 記録装置、撮像装置及びそれらの制御方法
KR100621584B1 (ko) * 2004-07-15 2006-09-13 삼성전자주식회사 스무딩 필터를 이용하는 비디오 디코딩 방법 또는 비디오디코더
JP4755565B2 (ja) 2006-10-17 2011-08-24 シャープ株式会社 立体画像処理装置
JP5050637B2 (ja) * 2007-05-11 2012-10-17 ソニー株式会社 映像信号処理装置、映像信号処理方法、映像信号処理方法のプログラム及び映像信号処理方法のプログラムを記録した記録媒体
KR101366250B1 (ko) * 2007-06-19 2014-02-25 삼성전자주식회사 영상 분할을 이용한 영상 부호화, 복호화 방법 및 장치
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
WO2009104850A1 (en) * 2008-02-20 2009-08-27 Lg Electronics Inc. Method for encoding and decoding image, and apparatus for encoding and decoding image
KR101488199B1 (ko) * 2008-03-12 2015-01-30 삼성전자주식회사 영상 처리 방법, 영상 재생 방법, 그 장치 및 기록매체
KR101506219B1 (ko) * 2008-03-25 2015-03-27 삼성전자주식회사 3차원 영상 컨텐츠 제공 방법, 재생 방법, 그 장치 및 그기록매체
KR101472332B1 (ko) * 2008-04-15 2014-12-15 삼성전자주식회사 3차원 디지털 컨텐츠의 제공 방법, 수신 방법 및 그 장치
KR101500440B1 (ko) * 2008-10-17 2015-03-09 삼성전자 주식회사 영상처리장치 및 영상처리방법
KR20110114583A (ko) 2008-12-19 2011-10-19 코닌클리케 필립스 일렉트로닉스 엔.브이. 디스플레이 파라미터 설정들의 제어
KR101671021B1 (ko) * 2009-04-30 2016-11-10 삼성전자주식회사 스테레오스코픽 영상 데이터 전송 장치 및 방법
JP5402715B2 (ja) * 2009-06-29 2014-01-29 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP5407968B2 (ja) * 2009-06-29 2014-02-05 ソニー株式会社 立体画像データ送信装置および立体画像データ受信装置
TW201116041A (en) * 2009-06-29 2011-05-01 Sony Corp Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data reception device, three-dimensional image data reception method, image data transmission device, and image data reception
JP2011030182A (ja) 2009-06-29 2011-02-10 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
US10021377B2 (en) * 2009-07-27 2018-07-10 Koninklijke Philips N.V. Combining 3D video and auxiliary data that is provided when not reveived
EP2312849A1 (en) * 2009-10-01 2011-04-20 Nxp B.V. Methods, systems and devices for compression of data and transmission thereof using video transmisssion standards
WO2011049372A2 (en) * 2009-10-20 2011-04-28 Samsung Electronics Co., Ltd. Method and apparatus for generating stream and method and apparatus for processing stream
KR20110057629A (ko) * 2009-11-24 2011-06-01 엘지전자 주식회사 Ｕｉ 제공 방법 및 디지털 방송 수신기
KR20110088334A (ko) * 2010-01-28 2011-08-03 삼성전자주식회사 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 생성 방법 및 장치, 3차원 멀티미디어 서비스를 제공하기 위한 데이터스트림 수신 방법 및 장치
KR101694821B1 (ko) * 2010-01-28 2017-01-11 삼성전자주식회사 다시점 비디오스트림에 대한 링크 정보를 이용하는 디지털 데이터스트림 전송 방법와 그 장치, 및 링크 정보를 이용하는 디지털 데이터스트림 전송 방법과 그 장치
KR101206132B1 (ko) * 2010-02-16 2012-11-28 인하대학교 산학협력단 영상 합성 방법 및 장치
CN104853176A (zh) * 2010-04-02 2015-08-19 三星电子株式会社 发送和接收用于提供立体视频广播服务的数据流的方法
KR20110115087A (ko) * 2010-04-14 2011-10-20 삼성전자주식회사 3차원 영상 데이터를 부호화하는 방법 및 장치와 복호화 방법 및 장치
US9055281B2 (en) * 2010-05-20 2015-06-09 Samsung Electronics Co., Ltd. Source device and sink device and method of transmitting and receiving multimedia service and related data
JP2011249945A (ja) 2010-05-24 2011-12-08 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
KR101750047B1 (ko) * 2010-10-11 2017-06-22 삼성전자주식회사 3차원 영상 제공 및 처리 방법과 3차원 영상 제공 및 처리 장치
US9516086B2 (en) * 2011-08-12 2016-12-06 Samsung Electronics Co., Ltd. Transmitting device, receiving device, and transceiving method thereof
WO2013154397A1 (en) * 2012-04-13 2013-10-17 Samsung Electronics Co., Ltd. Transmitting system and receiving apparatus for providing hybrid service, and service providing method thereof
KR20130128266A (ko) * 2012-05-16 2013-11-26 삼성전자주식회사 컨텐츠 수신 장치, 디스플레이 장치 및 그 방법
US20140099065A1 (en) * 2012-10-04 2014-04-10 Samsung Electronics Co., Ltd. Apparatus for reproducing recording medium and method thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005006114A (ja) 2003-06-12 2005-01-06 Sharp Corp 放送データ送信装置、放送データ送信方法および放送データ受信装置
KR20050111379A (ko) * 2004-05-21 2005-11-24 한국전자통신연구원 3차원 입체 영상 부가 데이터를 이용한 3차원 입체 디지털방송 송/수신 장치 및 그 방법
JP2011030183A (ja) * 2009-06-29 2011-02-10 Sony Corp 立体画像データ送信装置および立体画像データ送信方法

Also Published As

Publication number Publication date
JP6406327B2 (ja) 2018-10-17
JP6003901B2 (ja) 2016-10-05
US9924151B2 (en) 2018-03-20
US20140071236A1 (en) 2014-03-13
US20160360178A1 (en) 2016-12-08
KR101998892B1 (ko) 2019-07-10
JPWO2013129158A1 (ja) 2015-07-30
EP2688304A4 (en) 2015-11-04
WO2013129158A1 (ja) 2013-09-06
US9451234B2 (en) 2016-09-20
EP2688304A1 (en) 2014-01-22
EP2688304B1 (en) 2019-09-25
CN103503446B (zh) 2017-04-26
JP2017022741A (ja) 2017-01-26
CN103503446A (zh) 2014-01-08

Similar Documents

Publication Publication Date Title
KR101998892B1 (ko) 송신 장치, 송신 방법 및 수신 장치
JP6365697B2 (ja) 受信装置および受信方法
TWI437873B (zh) Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data receiving device and three-dimensional image data receiving method
WO2013108531A1 (ja) 受信装置、受信方法および電子機器
EP2451170A1 (en) Stereoscopic image data transmitter and method for transmitting stereoscopic image data
JP5633259B2 (ja) 立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置
WO2013105401A1 (ja) 送信装置、送信方法、受信装置および受信方法
JP5682149B2 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
WO2013054775A1 (ja) 送信装置、送信方法、受信装置および受信方法
WO2012063675A1 (ja) 立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant