KR20140134212A - 송신 장치, 송신 방법 및 수신 장치 - Google Patents

송신 장치, 송신 방법 및 수신 장치 Download PDF

Info

Publication number
KR20140134212A
KR20140134212A KR1020137026511A KR20137026511A KR20140134212A KR 20140134212 A KR20140134212 A KR 20140134212A KR 1020137026511 A KR1020137026511 A KR 1020137026511A KR 20137026511 A KR20137026511 A KR 20137026511A KR 20140134212 A KR20140134212 A KR 20140134212A
Authority
KR
South Korea
Prior art keywords
parallax information
picture
information
image data
eye image
Prior art date
Application number
KR1020137026511A
Other languages
English (en)
Other versions
KR101981813B1 (ko
Inventor
이쿠오 츠카고시
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20140134212A publication Critical patent/KR20140134212A/ko
Application granted granted Critical
Publication of KR101981813B1 publication Critical patent/KR101981813B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

입체화상의 표시를 양호하게 행할 수 있도록 한다. 화상 데이터의 소정의 픽처마다 취득된 제1의 시차정보(픽처 표시 화면의 소정 영역에서의 가장 면전의 오브젝트 재생 위치에 대응한 시차정보)와 제2의 시차정보(픽처 표시 화면의 소정 영역에서의 가장 면후의 오브젝트 재생 위치에 대응한 시차정보)를 비디오 스트림에 삽입하여 송신한다. 수신측에서는, 이들 제1의 시차정보 및 제2의 시차정보에 의거하여, 동측방향 및 교차방향의 시차각이 시청상 건강을 해치지 않는 소정의 범위 내에 있는지의 여부를 체크할 수 있고, 필요에 응하여, 입체화상을 구성하는 좌안화상 데이터 및 우안화상 데이터를 재구성할 수 있다.

Description

송신 장치, 송신 방법 및 수신 장치{TRANSMISSION DEVICE, TRANSMISSION METHOD AND RECEIVER DEVICE}
본 기술은, 송신 장치, 송신 방법 및 수신 장치에 관한 것으로, 특히 입체화상의 표시 또는 입체화상에의 그래픽스의 중첩 표시를 양호하게 행할 수 있도록 하기 위한 송신 장치 등에 관한 것이다.
예를 들면, 특허 문헌 1에는, 입체화상 데이터의 텔레비전 방송 전파를 이용한 전송 방식에 관해 제안되어 있다. 이 경우, 입체화상을 구성하는 좌안화상 데이터 및 우안화상 데이터가 송신되고, 텔레비전 수신기에서, 양안시차를 이용한 입체화상 표시가 행하여진다.
도 77은, 양안시차를 이용한 입체화상 표시에서, 스크린상에서 오브젝트(물체)의 좌우상(像)의 표시 위치와, 그 입체상(像)의 재생 위치와의 관계를 도시하고 있다. 예를 들면, 스크린상에 도시한 바와 같이 좌상(La)이 우측으로 우상(Ra)가 좌측으로 어긋나 표시되어 있는 오브젝트(A)에 관해서는, 좌우의 시선이 스크린면보다 면전에서 교차하기 문에, 그 입체상의 재생 위치는 스크린면보다 전전이 된다.
또한, 예를 들면, 스크린상에 도시한 바와 같이 좌상(Lb) 및 우상(Rb)이 동일 위치에 표시되어 있는 오브젝트(B)에 관해서는, 좌우의 시선이 스크린면에서 교차하기 때문에, 그 입체상의 재생 위치는 스크린면상이 된다. 또한, 예를 들면, 스크린상에 도시한 바와 같이 좌상(Lc)이 좌측으로 우상(Rc)이 우측으로 어긋나 표시되어 있는 오브젝트(C)에 관해서는, 좌우의 시선이 스크린면보다 면후에서 교차하기 때문에, 그 입체상의 재생 위치는 스크린면보다 면후가 된다.
특허 문헌 1 : 일본국 특개2005-6114호 공보
상술한 바와 같이, 입체화상 표시에서, 시청자는, 양안시차를 이용하여, 입체화상의 원근감을 인지한다. 여기서, 가장 면전(面前[手前])의 오브젝트 재생 위치에 대한 시차각(視差角)(교차(交差)방향의 시차각) 및 가장 면후(面後[奧])의 오브젝트 재생 위치에 대한 시차각(동측(同側)방향의 시차각)이, 시청상(視聽上) 건강을 해치지 않도록 소정의 범위 내에 있을 필요가 있다. 즉, 수신기측에서, 시차각을 체크하고, 이 시차각이 소정의 범위 내에 수속되지 않은 경우에는, 소정의 범위 내로 수속되도록 좌안화상 및 우안화상을 재구성할 것이 기대된다.
또한, 수신기(셋톱박스, 텔레비전 수신기 등)에서 화상에 중첩 표시되는 OSD(On-Screen Display) 또는 어플리케이션 등의 그래픽스에 관해서도, 2차원 공간적뿐만 아니라, 3차원의 깊이감(奧行感)으로서도, 입체화상 표시와 연동하여 렌더링될 것이 기대된다. 수신기에서의 그래픽스를 화상에 중첩 표시하는 경우, 화상 내의 각 물체의 원근감에 응하여 시차 조정을 시행하여, 원근감의 정합성(整合性)을 유지할 것이 기대된다.
본 기술의 목적은, 입체화상의 표시 또는 입체화상에의 그래픽스의 중첩 표시를 양호하게 행할 수 있도록 하는 것에 있다.
본 기술의 개념은,
입체화상을 구성하는 좌안화상 데이터 및 우안화상 데이터를 취득하는 화상 데이터 취득부와,
상기 취득된 화상 데이터의 소정의 픽처마다, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보로서, 픽처 표시 화면의 소정 영역에서의 가장 면전의 오브젝트 재생 위치에 대응한 제1의 시차정보와, 픽처 표시 화면의 소정 영역에서의 가장 면후의 오브젝트 재생 위치에 대응한 제2의 시차정보를 취득하는 시차정보 취득부와,
상기 취득된 화상 데이터가 부호화되어 얻어진 비디오 스트림에, 상기 취득된 시차정보를 삽입하는 시차정보 삽입부와,
상기 시차정보가 삽입된 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 화상 데이터 송신부를 구비하는 송신 장치에 있다.
본 기술에서, 화상 데이터 취득부에 의해, 입체화상을 구성하는 좌안화상 데이터 및 우안화상 데이터가 취득된다. 이 경우의 화상 데이터는, 예를 들면, 카메라로 촬상되어 얻어진 것, 또는 기억 매체로부터 판독되어 얻어진 것 등이다.
시차정보 취득부에 의해, 화상 데이터의 소정의 픽처마다, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보로서, 제1의 시차정보 및 제2의 시차정보가 취득된다. 이 경우, 시차정보의 취득은, 적어도 시차정보를 송신하여야 할 픽처로 행하여지면 좋고, 반드시 모든 픽처로 행할 필요는 없다. 제1의 시차정보는, 픽처 표시 화면의 소정 영역에서의 가장 면전의 오브젝트 재생 위치에 대응한 시차정보이다. 또한, 제2의 시차정보는, 픽처 표시 화면의 소정 영역에서의 가장 면후의 오브젝트 재생 위치에 대응한 시차정보이다.
예를 들면, 시차정보 취득부는, 픽처 표시 화면을 분할 정보로 분할하여 얻어진 각 분할 영역에서의 제1의 시차정보를 취득함과 함께, 픽처 표시 화면 전체에서의 제2의 시차정보를 취득하도록 되어도 좋다. 또한, 예를 들면, 시차정보 취득부는, 픽처 표시 화면을 분할 정보로 분할하여 얻어진 각 분할 영역에서의 제1의 시차정보 및 제2의 시차정보를 취득하도록 되어도 좋다. 또한, 예를 들면, 시차정보 취득부는, 픽처 표시 화면을 제1의 분할 정보로 분할하여 얻어진 각 분할 영역에서의 제1의 시차정보를 취득함과 함께, 픽처 표시 화면을 제2의 분할 정보로 분할하여 얻어진 각 분할 영역에서의 제2의 시차정보를 취득하도록 되어도 좋다.
시차정보 삽입부에 의해, 취득된 화상 데이터가 부호화되어 얻어진 비디오 스트림에, 취득된 제1의 시차정보 및 제2의 시차정보가 삽입된다. 예를 들면, 시차정보는, 비디오 스트림에, 픽처 단위, 또는 GOP(Group of Picture) 단위로 삽입된다. 나아가서는, 그 밖의 단위, 예를 들면 신 단위로 삽입되어도 좋다.
이 경우, 시차정보 삽입부는, 시차정보에 대해, 압축부호화 처리를 행한 후에, 비디오 스트림에 삽입하도록 되어도 좋다. 예를 들면, 압축부호화 처리에서는, 가변길이(可變長) 부호를 이용하여 데이터 압축을 행하는 것이 생각되고, 또한, 픽처 사이의 시차정보의 차분 데이터를 취하고 그에 대해 가변길이 부호를 적용하여 더욱 압축률을 높이는 것이 생각된다.
또한, 이 경우, 시차정보 삽입부는, 비디오 스트림의 소정의 픽처에 시차정보를 삽입할 때에, 이 시차정보가 픽처 표시 화면 전체에서의 시차정보인지, 소정수로 분할된각 분할 영역에서의 시차정보인지를 식별하는 식별 정보를 또한 삽입하도록 되어도 좋다. 이 식별 정보에 의해, 수신측에서는, 송신되어 오는 시차정보가 픽처 표시 화면 전체에 대응하는 것인지 복수의 분할 영역마다의 것인 것인지를 용이하게 파악 가능해진다.
화상 데이터 송신부에 의해, 시차정보가 삽입된 비디오 스트림을 포함하는 소정 포맷의 컨테이너가 송신된다. 예를 들면, 컨테이너는, 디지털 방송 규격으로 채용되어 있는 트랜스포트 스트림(MPEG-2 TS)이라도 좋다. 또한, 예를 들면, 컨테이너는, 인터넷의 배신 등에서 이용되는 MP4, 또는 그 이외의 포맷의 컨테이너라도 좋다.
식별 정보 삽입부에 의해, 컨테이너의 레이어에, 비디오 스트림에 시차정보의 삽입이 있는지의 여부를 식별하기 위한 식별 정보가 삽입된다. 예를 들면, 컨테이너는 트랜스포트 스트림이고, 식별 정보 삽입부는, 식별 정보를 프로그램·맵·테이블, 또는 이벤트·인포메이션·테이블의 배하(配下)에게 삽입하도록 되어도 좋다. 예를 들면, 식별 정보 삽입부는, 프로그램·맵·테이블, 또는 이벤트·인포메이션·테이블의 배하에 삽입되는 디스크립터에, 식별 정보를 기술하도록 된다.
이와 같이 본 기술에서는, 화상 데이터의 소정의 픽처마다 취득된 제1의 시차정보(픽처 표시 화면의 소정 영역에서의 가장 면전의 오브젝트 재생 위치에 대응한 시차정보)와 제2의 시차정보(픽처 표시 화면의 소정 영역에서의 가장 면후의 오브젝트 재생 위치에 대응한 시차정보)가 비디오 스트림에 삽입되어 송신된다. 그 때문에, 수신측에서는, 이들 제1의 시차정보 및 제2의 시차정보에 의거하여, 가장 면전의 오브젝트 재생 위치에 대한 시차각(교차방향의 시차각) 및 가장 면후의 오브젝트 재생 위치에 대한 시차각(동측방향의 시차각)이 시청상 건강을 해치지 않는 소정의 범위 내에 있는지의 여부를 체크하는 것이 가능해진다.
또한, 본 기술의 다른 개념은,
비디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하는 화상 데이터 수신부를 구비하고,
상기 비디오 스트림은, 입체화상을 구성하는 좌안화상 데이터 및 우안화상 데이터가 부호화되어 얻어진 것이고,
상기 비디오 스트림에는, 상기 화상 데이터의 소정의 픽처마다, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보로서, 픽처 표시 화면의 소정 영역에서의 가장 면전의 오브젝트 재생 위치에 대응한 제1의 시차정보와, 픽처 표시 화면의 소정 영역에서의 가장 면후의 오브젝트 재생 위치에 대응한 제2의 시차정보가 삽입되어 있고,
상기 컨테이너에 포함되는 비디오 스트림으로부터 상기 좌안화상 데이터 및 우안화상 데이터를 취득함과 함께, 상기 제1의 시차정보 및 제2의 시차정보를 취득하는 정보 취득부와,
상기 취득된 제1의 시차정보 및 제2의 시차정보에 의거하여, 시차각이 소정 범위 내에 들어가도록, 적어도 상기 좌안화상 데이터 및 우안화상 데이터의 재구성을 지시하는 제어부를 또한 구비하는 수신 장치에 있다.
본 기술에서, 화상 데이터 수신부에 의해, 비디오 스트림을 포함하는 소정 포맷의 컨테이너가 수신된다. 이 비디오 스트림은, 입체화상을 구성하는 좌안화상 데이터 및 우안화상 데이터가 부호화되어 얻어진 것이다. 또한, 이 비디오 스트림에는, 화상 데이터의 소정의 픽처마다, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보로서, 제1의 시차정보 및 제2의 시차정보가 삽입되어 있다. 제1의 시차정보는, 픽처 표시 화면의 소정 영역에서의 가장 면전의 오브젝트 재생 위치에 대응한 시차정보이다. 또한, 제2의 시차정보는, 픽처 표시 화면의 소정 영역에서의 가장 면후의 오브젝트 재생 위치에 대응한 시차정보이다.
정보 취득부에 의해, 컨테이너에 포함되는 비디오 스트림으로부터, 좌안화상 데이터 및 우안화상 데이터가 취득됨과 함께, 이 화상 데이터의 소정의 픽처에 삽입되어 있는 제1의 시차정보 및 제2의 시차정보가 취득된다. 그리고, 제어부에 의해, 취득된 제1의 시차정보 및 제2의 시차정보에 의거하여, 시차각이 소정 범위 내에 들어가도록 좌안화상 데이터 및 우안화상 데이터의 재구성이 지시된다.
이와 같이 본 기술에서는, 제1의 시차정보 및 제2의 시차정보에 의거하여, 시차각이 소정 범위 내에 들어가도록 좌안화상 데이터 및 우안화상 데이터의 재구성이 지시된다. 그 때문에, 가장 면전의 오브젝트 재생 위치에 대한 시차각(교차방향의 시차각) 및 가장 면후의 오브젝트 재생 위치에 대한 시차각(동측방향의 시차각)이 시청상 건강을 해치지 않는 소정의 범위 내로 수속되도록, 좌안화상 데이터 및 우안화상 데이터를 재구성할 수 있다.
또한, 본 기술의 또 다른 개념은,
입체화상을 구성하는 좌안화상 데이터 및 우안화상 데이터를 취득하는 화상 데이터 취득부와,
상기 취득된 화상 데이터의 소정의 픽처마다, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보를 취득하는 시차정보 취득부와,
상기 취득된 시차정보에 대해 압축부호화 처리를 행하는 압축부호화부와,
상기 취득된 화상 데이터가 부호화되어 얻어진 비디오 스트림에, 상기 압축부호화된 시차정보를 삽입하는 시차정보 삽입부와,
상기 시차정보가 삽입된 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 화상 데이터 송신부를 구비하는 송신 장치에 있다.
본 기술에서, 화상 데이터 취득부에 의해, 입체화상을 구성하는 좌안화상 데이터 및 우안화상 데이터가 취득된다. 이 경우의 화상 데이터는, 예를 들면, 카메라로 촬상되어 얻어진 것, 또는 기억 매체로부터 판독되어 얻어진 것 등이다.
시차정보 취득부에 의해, 화상 데이터의 소정의 픽처마다, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보가 취득된다. 이 경우의 시차정보는, 예를 들면, 좌안화상 데이터 및 우안화상 데이터에 의거하여 생성된 것, 또는 기억 매체로부터 판독되어 얻어진 것 등이다.
압축부호화부에 의해, 취득된 시차정보에 대해 압축부호화 처리가 행하여진다. 예를 들면, 압축부호화부는, 압축부호화 처리로서, 취득된 각 픽처의 시차정보에 대해 가변길이 부호를 이용한 처리를 행하도록 되어도 좋다. 또한, 예를 들면, 압축부호화부는, 압축부호화 처리로서, 취득된 각 픽처 중, 참조 픽처에서는, 피참조 픽처와의 사이의 차분 데이터를 취득하고, 이 차분 데이터에 가변길이 부호화의 처리를 행하도록 되어도 좋다. 이 경우, 예를 들면, 압축부호화부는, 표시순(表示順)으로 선행(先行)하는 픽처를 피참조 픽처로 하여 차분 데이터를 취득하도록 되어도 좋다. 또한, 이 경우, 예를 들면, 압축부호화부는, 디코드순순(順)으로 선행하는 픽처를 피참조 픽처로 하여 차분 데이터를 취득하도록 되어도 좋다.
시차정보 삽입부에 의해, 취득된 화상 데이터가 부호화되어 얻어진 비디오 스트림에, 압축부호화된 시차정보가 삽입된다. 예를 들면, 시차정보는, 비디오 스트림에, 픽처 단위, 또는 GOP(Group of Picture) 단위로 삽입된다. 나아가서는, 그 밖의 단위, 예를 들면 신 단위로 삽입되어도 좋다.
예를 들면, 시차정보 삽입부는, 비디오 스트림의 소정의 픽처에 시차정보를 삽입할 때에, 이 삽입되는 시차정보가 인트라 데이터인지 차분 데이터인지를 식별하는 식별 정보를 또한 삽입하도록 되어도 좋다. 이 경우, 수신측에서는, 삽입되어 있는 시차정보가 인트라 데이터인지 차분 데이터인지를 용이하게 파악 가능해진다.
또한, 예를 들면, 시차정보 삽입부는, 비디오 스트림의 I픽처, P픽처 및 피참조 B픽처에 대응하여 시차정보를 삽입하고, 삽입되는 시차정보가 차분 데이터일 때, 피참조 픽처까지의 픽처수(數)의 정보를 또한 삽입하도록 되어도 좋다. 이 경우, 수신측에서는 피참조 픽처를 용이하게 파악 가능해진다.
이와 같이 본 기술에서는, 화상 데이터의 소정의 픽처마다 취득된 시차정보가 비디오 스트림에 삽입되어 송신되는 것이고, 수신측에서의 입체화상에 중첩 표시되는 그래픽스의 깊이(奧行) 제어를 픽처(프레임) 정밀도로 양호하게 행할 수 있다. 또한, 본 기술에서는, 비디오 스트림에 삽입되는 시차정보는, 압축부호화된 것이여서, 데이터량의 저감을 도모할 수 있다.
또한, 본 기술의 다른 개념은,
비디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하는 화상 데이터 수신부를 구비하고,
상기 비디오 스트림은, 입체화상을 구성하는 좌안화상 데이터 및 우안화상 데이터가 부호화되어 얻어진 것이고,
상기 비디오 스트림에는, 상기 화상 데이터의 소정의 픽처마다, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보가 삽입되어 있고,
상기 컨테이너에 포함되는 비디오 스트림으로부터 상기 좌안화상 데이터 및 우안화상 데이터를 취득함과 함께, 상기 시차정보를 취득하는 정보 취득부와,
상기 정보 취득부에서 취득되는 시차정보가 존재하지 않는 픽처의 시차정보를, 상기 취득된 전후의 픽처의 시차정보로부터 보간에 의해 생성하는 시차정보 보간부를 또한 구비하는 수신 장치에 있다.
본 기술에서, 화상 데이터 수신부에 의해, 비디오 스트림을 포함하는 소정 포맷의 컨테이너가 수신된다. 이 비디오 스트림은, 입체화상을 구성하는 좌안화상 데이터 및 우안화상 데이터가 부호화되어 얻어진 것이다. 또한, 이 비디오 스트림에는, 화상 데이터의 소정의 픽처마다, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보가 삽입되어 있다.
정보 취득부에 의해, 컨테이너에 포함되는 비디오 스트림으로부터, 좌안화상 데이터 및 우안화상 데이터가 취득됨과 함께, 화상 데이터의 소정의 픽처에 삽입되어 있는 시차정보가 취득된다. 그리고, 시차정보 보간부에 의해, 시차정보가 존재하지 않는 픽처의 시차정보는, 취득된 전후의 픽처의 시차정보로부터 보간에 의해 생성된다.
이와 같이 본 기술에서는, 시차정보가 존재하지 않는 픽처의 시차정보는, 취득된 전후의 픽처의 시차정보로부터 보간에 의해 생성된 것이다. 그 때문에, 예를 들면, 입체화상에 중첩 표시되는 그래픽스의 깊이 제어를, 픽처(프레임) 정밀도로 양호하게 행할 수 있다. 이 경우, 보간 생성된 픽처의 시차정보가 소수(小數) 정밀도로 생성된 때, 서브픽셀의 시차정보에 대응하여 있으면, 그래픽스의 깊이의 동적인 최신 정보를 보다 순조롭게 행하는 것이 가능해진다.
또한, 본 기술의 또 다른 개념은,
비디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하는 화상 데이터 수신부를 구비하고,
상기 비디오 스트림은, 입체화상을 구성하는 좌안화상 데이터 및 우안화상 데이터가 부호화되어 얻어진 것이고,
상기 비디오 스트림에는, 상기 화상 데이터의 소정의 픽처마다, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보로서, 픽처 표시 화면의 소정 영역에서의 가장 면전의 오브젝트 재생 위치에 대응한 제1의 시차정보와, 픽처 표시 화면의 소정 영역에서의 가장 면후의 오브젝트 재생 위치에 대응한 제2의 시차정보가 삽입되어 있고,
상기 컨테이너에 포함되는 비디오 스트림으로부터 상기 좌안화상 데이터 및 우안화상 데이터를 취득함과 함께, 상기 제1의 시차정보 및 제2의 시차정보를 취득하는 정보 취득부와,
상기 취득된 상기 좌안화상 데이터 및 상기 우안화상 데이터와, 상기 취득된 상기 제1의 시차정보 및 제2의 시차정보를, 대응지어서, 외부 기기에 송신하는 송신부를 또한 구비하는 수신 장치에 있다.
본 기술에서, 화상 데이터 수신부에 의해, 비디오 스트림을 포함하는 소정 포맷의 컨테이너가 수신된다. 예를 들면, 컨테이너는, 디지털 방송 규격으로 채용되어 있는 트랜스포트 스트림(MPEG-2 TS)이라도 좋다. 또한, 예를 들면, 컨테이너는, 인터넷의 배신 등에서 이용되는 MP4, 또는 그 밖의 포맷의 컨테이너라도 좋다.
이 비디오 스트림은, 입체화상을 구성하는 좌안화상 데이터 및 우안화상 데이터가 부호화되어 얻어진 것이다. 또한, 이 비디오 스트림에는, 화상 데이터의 소정의 픽처마다, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보로서, 제1의 시차정보 및 제2의 시차정보가 삽입되어 있다. 제1의 시차정보는, 픽처 표시 화면의 소정 영역에서의 가장 면전의 오브젝트 재생 위치에 대응한 시차정보이다. 또한, 제2의 시차정보는, 픽처 표시 화면의 소정 영역에서의 가장 면후의 오브젝트 재생 위치에 대응한 시차정보이다.
정보 취득부에 의해, 컨테이너에 포함되는 비디오 스트림으로부터, 좌안화상 데이터 및 우안화상 데이터가 취득됨과 함께, 이 화상 데이터의 소정의 픽처에 삽입되어 있는 제1의 시차정보 및 제2의 시차정보가 취득된다. 송신부에 의해, 취득된 좌안화상 데이터 및 우안화상 데이터와, 취득된 제1의 시차정보 및 제2의 시차정보가, 대응지어져서, 외부 기기에 송신된다.
예를 들면, 송신부는, 화상 데이터를, 소정수의 채널로, 차동 신호에 의해, 외부 기기에 송신하고, 화상 데이터의 블랭킹 기간에 시차정보를 삽입함으로써, 이 시차정보를 외부 기기에 송신하도록 된다. 이 경우, 예를 들면, 송신부는, 화상 데이터의 블랭킹 기간에 배치되는 소정 포맷의 정보 패킷에, 시차정보를 삽입하도록 된다.
예를 들면, 취득된 제1의 시차정보 및 제2의 시차정보에 의거하여, 시차각이 소정 범위 내에 들어가도록 화상 데이터 및 시차정보의 재구성을 행하는 정보 재구성부를 또한 구비하고, 송신부는, 재구성된 좌안화상 데이터 및 우안화상 데이터와, 재구성된 제1의 시차정보 및 제2의 시차정보를, 대응지어서, 외부 기기에 송신하도록 되어도 좋다.
이와 같이, 본 기술에서는, 수신 컨테이너에 포함되는 비디오 스트림으로부터 취득된 좌안화상 데이터 및 우안화상 데이터와, 제1의 시차정보 및 제2의 시차정보가, 대응지어져서, 외부 기기에 송신된다. 그 때문에, 외부 기기에서는, 이들 제1의 시차정보 및 제2의 시차정보에 의거하여, 가장 면전의 오브젝트 재생 위치에 대한 시차각(교차방향의 시차각) 및 가장 면후의 오브젝트 재생 위치에 대한 시차각(동측방향의 시차각)이 시청상 건강을 해치지 않는 소정의 범위 내에 있는지의 여부를 체크하는 것이 가능해진다.
또한, 본 기술에서, 예를 들면, 송신부는, 2픽처 단위로, 연속하는 제1의 픽처 및 제2의 픽처의 시차정보를 송신하고, 적어도, 제1의 픽처 또는 제2의 픽처의 시차정보는, 하나 전의 픽처의 시차정보와의 사이의 차분 데이터로 되어도 좋다. 이와 같이, 송신부로부터 송신되는 제1의 픽처 및 제2의 픽처의 시차정보 중 어느 하나는 차분 데이터가 되기 때문에, 전송 데이터량의 저감이 가능해진다.
또한, 본 기술에서, 예를 들면, 제1의 픽처의 시차정보와 상기 제2의 픽처의 시차정보와의 차분 데이터에 의거하여, 상기 제1의 픽처의 시차정보를 차분 데이터로 하는지 제2의 픽처의 시차정보를 차분 데이터로 하는지를 결정하는 결정부를 또한 구비하도록 되어도 좋다. 이 경우, 예를 들면, 신 체인지 등으로 제1의 픽처의 시차정보와 제2의 픽처의 시차정보와의 사이의 차분이 커질 때, 제1의 픽처의 시차정보를 차분 데이터로 하도록 결정할 수 있어서, 전송 데이터량의 더한층의 저감이 가능해진다.
또한, 본 기술에서, 예를 들면, 송신부가 송신하는 시차정보에는, 제1의 픽처의 시차정보가 차분 데이터인지 제2의 픽처의 시차정보가 차분 데이터인지를 나타내는 식별 정보가 부가되어도 좋다. 이 경우, 제1의 픽처의 시차정보가 차분 데이터인지 제2의 픽처의 시차정보가 차분 데이터인지를 용이하게 판별 가능해진다.
본 기술에 의하면, 입체화상의 표시 또는 입체화상에의 그래픽스의 중첩 표시를 양호하게 행할 수 있다.
도 1은 실시의 형태로서의 픽처 송수신 시스템의 구성례를 도시하는 블록도.
도 2는 블록(Block)마다의 시차정보(시차 벡터)의 한 예를 도시하는 도면.
도 3은 블록 단위의 시차정보의 생성 방법의 한 예를 설명하기 위한 도면.
도 4는 블록마다의 시차정보로부터 소정의 분할 영역의 시차정보를 얻기 위한 다운사이징 처리의 한 예를 설명하기 위한 도면.
도 5는 부호화 블록 경계를 넘지 않도록 픽처 표시 화면이 분할되는 것을 설명하기 위한 도면.
도 6은 픽처마다의 각 분할 영역의 시차정보의 추이례를 모식적으로 도시하는 도면.
도 7은 화상 데이터의 픽처마다 취득된 시차정보의 비디오 스트림에의 삽입 타이밍을 설명하기 위한 도면.
도 8은 방송국에서 트랜스포트 스트림을 생성하는 송신 데이터 생성부의 구성례를 도시하는 블록도.
도 9는 트랜스포트 스트림의 구성례를 도시하는 도면.
도 10은 AVC·비디오·디스크립터(AVC video descriptor)의 구조례(Syntax) 및 주요한 규정 내용(semantics)을 도시하는 도면.
도 11은 MVC·익스텐션·디스크립터(MVC extension descriptor)의 구조례(Syntax) 및 주요한 규정 내용(semantics)을 도시하는 도면.
도 12는 그래픽스·뎁스·인포·디스크립터(graphics_depth_info_descriptor)의 구조례(Syntax), 및 주요한 규정 내용(semantics)을 도시하는 도면.
도 13은 부호화 방식이 AVC인 경우에 있어서의 GOP의 선두의 액세스 유닛 및 GOP의 선두 이외의 액세스 유닛의 한 예를 도시하는 도면.
도 14는 「depth_information_for_graphics SEI message」의 구조례(Syntax) 및 「depth_information_for_graphics_data()」의 구조례(Syntax)를 도시하는 도면.
도 15는 픽처마다의 시차정보를 픽처 단위로 삽입하는 경우에 있어서의 「depth_information_for_graphics()」의 구조례(Syntax)를 도시하는 도면.
도 16은 픽처마다의 시차정보를 픽처 단위로 삽입하는 경우에 있어서의 「depth_information_for_graphics()」의 구조례(Syntax)를 도시하는 도면.
도 17은 픽처마다의 시차정보를 픽처 단위로 삽입하는 경우에 있어서의 「depth_information_for_graphics()」의 구조례(Syntax)를 도시하는 도면.
도 18은 「depth_information_for_graphics()」의 구조례(Syntax)에서의 주요한 정보의 내용(semantics)을 도시하는 도면.
도 19는 픽처 표시 화면의 분할례를 도시하는 도면.
도 20은 픽처마다의 시차정보를 복수의 픽처를 통합하여 부호화하는 경우에 있어서의, 「depth_information_for_graphics()」의 구조례(Syntax)를 도시하는 도면.
도 21은 픽처마다의 시차정보를 복수의 픽처를 통합하여 부호화하는 경우에 있어서의, 「depth_information_for_graphics()」의 구조례(Syntax)를 도시하는 도면.
도 22는 픽처마다의 시차정보를 복수의 픽처를 통합하여 부호화하는 경우에 있어서의, 「depth_information_for_graphics()」의 구조례(Syntax)를 도시하는 도면.
도 23은 「user_data()」의 구조례(Syntax) 및 ·depth_information_for_graphics_data()」의 구조례(Syntax)를 도시하는 도면.
도 24는 방송국에서 트랜스포트 스트림을 생성하는 송신 데이터 생성부의 다른 구성례를 도시하는 블록도.
도 25는 압축부호화부의 개략 구성례를 도시하는 블록도.
도 26은 가변길이 부호로서의 「Exp-Golomb 부호 se(v)」의 구성을 도시하는 도면.
도 27은 비예측 타입(Non-Prediction Type)의 압축부호화를 설명하기 위한 도면.
도 28은 예측 타입 0(Non-Prediction Type 0)의 압축부호화를 설명하기 위한 도면.
도 29는 예측 타입 1(Non-Prediction Type 1)의 압축부호화를 설명하기 위한 도면.
도 30은 예측 타입 2(Non-Prediction Type 2)의 압축부호화를 설명하기 위한 도면.
도 31은 예측 타입 3(Non-Prediction Type 3)의 압축부호화를 설명하기 위한 도면.
도 32는 픽처마다의 압축부호화된 시차정보를 픽처 단위로 삽입하는 경우에 있어서의 「depth_information_sei()」의 구조례(Syntax)를 도시하는 도면.
도 33은 픽처마다의 압축부호화된 시차정보를 픽처 단위로 삽입하는 경우에 있어서의 「depth_information_sei()」의 구조례(Syntax)를 도시하는 도면.
도 34는 픽처마다의 압축부호화된 시차정보를 픽처 단위로 삽입하는 경우에 있어서의 「depth_information_sei()」의 구조례(Syntax)를 도시하는 도면.
도 35는 픽처마다의 압축부호화된 시차정보를 복수의 픽처를 통합하여 부호화하는 경우에 있어서의 「depth_information_sei()」의 구조례(Syntax)를 도시하는 도면.
도 36은 픽처마다의 압축부호화된 시차정보를 복수의 픽처를 통합하여 부호화하는 경우에 있어서의 「depth_information_sei()」의 구조례(Syntax)를 도시하는 도면.
도 37은 픽처마다의 압축부호화된 시차정보를 복수의 픽처를 통합하여 부호화하는 경우에 있어서의 「depth_information_sei()」의 구조례(Syntax)를 도시하는 도면.
도 38은 「depth_information_sei()」의 다른 구조례(Syntax)를 도시하는 도면.
도 39는 가변길이 부호로서의 「Exp-Golomb 부호 ue(v)」의 구성을 도시하는 도면.
도 40은 「depth_information_sei()」의 다른 구조례(Syntax)를 도시하는 도면.
도 41은 시차정보에 의한 그래픽스의 깊이 제어의 개념을 도시하는 도면.
도 42는 비디오 스트림에 픽처 단위로 시차정보가 삽입되어 있는 경우에 화상 데이터의 픽처 타이밍으로 순차적으로 시차정보가 취득되는 것을 도시하는 도면.
도 43은 비디오 스트림에 GOP 단위로 시차정보가 삽입되어 있는 경우에 화상 데이터의 GOP의 선두 타이밍에서, GOP 내의 각 픽처의 시차정보가 통합하여 취득되는 것을 도시하는 도면.
도 44는 화상상에서의 자막(서브타이틀) 및 OSD 그래픽스의 표시례를 도시하는 도면.
도 45는 셋톱박스의 구성례를 도시하는 블록도.
도 46은 압축 복호화부의 개략 구성례를 도시하는 블록도.
도 47은 시차각의 체크 및 화상 데이터의 재구성을 설명하기 위한 도면.
도 48은 시차정보 제어부의 구성례를 도시하는 블록도.
도 49는 깊이 제어부의 제어를 설명하기 위한 블록도.
도 50은 깊이 제어부의 제어 처리의 순서의 한 예를 도시하는 플로 차트(1/2).
도 51은 깊이 제어부의 제어 처리의 순서의 한 예를 도시하는 플로 차트(2/2).
도 52는 셋톱박스에서의 그래픽스의 깊이 제어례를 도시하는 도면.
도 53은 셋톱박스에서의 그래픽스의 다른 깊이 제어례를 도시하는 도면.
도 54는 텔레비전 수신기(HDMI 입력계)의 구성례를 도시하는 블록도.
도 55는 깊이 제어부의 제어를 설명하기 위한 블록도.
도 56은 깊이 제어부의 제어 처리의 순서의 한 예를 도시하는 플로 차트.
도 57은 텔레비전 수신기에서의 그래픽스의 깊이 제어례를 도시하는 도면.
도 58은 소스 기기의 HDMI 송신부와 싱크 기기의 HDMI 수신부의 구성례를 도시하는 블록도.
도 59는 TMDS 전송 데이터의 구조례(가로×세로가 1920픽셀×1080라인의 화상 데이터가 전송되는 경우)를 도시하는 도면.
도 60은 소스 기기 및 싱크 기기의 HDMI 케이블이 접속되는 HDMI 단자의 핀 배열(타입 A)을 도시하는 도면.
도 61은 시차정보의 송신에 HDMI Vendor Specific InfoFrame을 이용하는 경우에 있어서의, HDMIVendor Specific InfoFrame의 패킷 구조례를 도시하는 도면.
도 62는 HDMI Vendor Specific InfoFrame의 패킷 구조례에서의 주요한 정보의 내용을 도시하는 도면.
도 63은 싱글 픽처의 모드이고, 분할 영역이 「16」인 경우에 있어서의 VS_Info의 구조례를 도시하는 도면.
도 64는 더블 픽처의 모드이고, 분할 영역이 「16」인 경우에 있어서의 VS_Info의 구조례를 도시하는 도면.
도 65는 픽처 단위 수신이면서 싱글 픽처 모드 송신을 행하는 경우를 개략적으로 도시하는 도면.
도 66은 픽처 단위 수신이면서 더블 픽처 모드 송신을 행하는 경우를 개략적으로 도시하는 도면.
도 67은 GOP 단위(복수 픽처 단위) 수신이면서 싱글 픽처 모드 송신을 행하는 경우를 개략적으로 도시하는 도면.
도 68은 GOP 단위(복수 픽처 단위) 수신이면서 더블 픽처 모드 송신을 행하는 경우를 개략적으로 도시하는 도면.
도 69는 VS_Info(HDMI Vendor Specific InfoFrame)의 다른 패킷 구조례를 도시하는 도면.
도 70은 VS_Info(HDMI Vendor Specific InfoFrame)의 다른 패킷 구조례를 도시하는 도면.
도 71은 HDMI Vendor Specific InfoFrame의 패킷 구조례에서의 주요한 정보의 내용을 도시하는 도면.
도 72는 N픽처와 N+1픽처의 순번 결정을 행하기 위한 구성례를 도시하는 블록도.
도 73은 |D(N+1)-D(N)|≤Th가 되는 경우의 시차정보(Disparity값)의 시간 추이례를 도시하는 도면.
도 74는 |D(N+1)-D(N)|>Th가 되는 경우의 시차정보(Disparity값)의 시간 추이례를 도시하는 도면.
도 75는 픽처 송수신 시스템의 다른 구성례를 도시하는 블록도.
도 76은 텔레비전 수신기의 구성례를 도시하는 블록도.
도 77은 양안시차를 이용한 입체화상 표시에서, 스크린상에서 오브젝트의 좌우상의 표시 위치와, 그 입체상의 재생 위치와의 관계를 도시하는 도면.
이하, 발명을 실시하기 위한 형태(이하, 「실시의 형태」라고 한다)에 관해 설명한다. 또한, 설명은 이하의 순서로 행한다.
1. 실시의 형태
2. 변형례
<1. 실시의 형태>
[픽처 송수신 시스템]
도 1은, 실시의 형태로서의 픽처 송수신 시스템(10)의 구성례를 도시하고 있다. 이 픽처 송수신 시스템(10)은, 방송국(100)과, 셋톱박스(STB)(200)와, 모니터로서의 텔레비전 수신기(300)를 갖고 있다. 셋톱박스(200) 및 텔레비전 수신기(TV)(300)는, HDMI(High Definition Multimedia Interface) 케이블(400)을 통하여 접속되어 있다.
「방송국의 설명」
방송국(100)은, 컨테이너로서의 트랜스포트 스트림(TS)을 방송파에 실어서 송신한다. 이 트랜스포트 스트림(TS)에는, 입체화상을 구성하는 좌안화상 데이터 및 우안화상 데이터가 부호화되어 얻어진 비디오 스트림이 포함된다. 예를 들면, 좌안화상 데이터 및 우안화상 데이터는, 하나의 비디오 스트림에 의해 전송된다. 이 경우, 예를 들면, 좌안화상 데이터 및 우안화상 데이터는, 인터리브 처리되어, 사이드·바이·사이드 방식 또는 톱·앤드·보텀 방식의 화상 데이터로서 구성되고, 하나의 비디오 스트림에 포함된다.
또한, 예를 들면, 좌안화상 데이터 및 우안화상 데이터는, 각각, 별개의 비디오 스트림에 의해 전송된다. 이 경우, 예를 들면, 좌안화상 데이터는 MVC의 베이스 뷰(base view)의 스트림에 포함되고, 우안화상 데이터는 MVC의 논베이스 뷰(Nonbase view)의 스트림에 포함된다.
비디오 스트림에는, 화상 데이터의 소정의 픽처마다 취득된, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보(Disparity data)가 삽입된다. 이 경우, 시차정보의 취득은, 적어도 시차정보를 송신하여야 할 픽처에서 행하여지는 것을 전제로 한다.
여기서, 픽처마다의 시차정보는, 제1의 시차정보 및 제2의 시차정보로 이루어저 있다. 제1의 시차정보는, 픽처 표시 화면의 소정 영역에서의 가장 면전의 오브젝트 재생 위치에 대응한 시차정보이다. 또한, 제2의 시차정보는, 픽처 표시 화면의 소정 영역에서의 가장 면후의 오브젝트 재생 위치에 대응한 시차정보이다.
스크린 위치를 시차 제로로 하면, 오브젝트 재생 위치가 스크린보다 면전에 있는 경우, 이 시차정보는 마이너스값으로 얻어진다(도 71의 DPa 참조). 한편, 오브젝트의 재생 위치가 스크린보다 면후에 있는 경우, 이 시차정보는 플러스값으로 얻어진다(도 71의 DPc 참조). 그 때문에, 제1의 시차정보로서, 예를 들면, 소정 영역에서의 시차정보 중, 최소치의 시차정보가 사용된다. 또한, 제2의 시차정보로서, 예를 들면, 소정 영역에서의 시차정보 중, 최대치의 시차정보가 사용된다.
이 경우, 제1의 시차정보 및 제2의 시차정보로서, 예를 들면, 이하와 같은 취득 방법이 생각된다.
(1) 픽처 표시 화면을 분할 정보로 분할하여 얻어진 각 분할 영역에서의 제1의 시차정보를 취득하고, 픽처 표시 화면 전체에서의 제2의 시차정보를 취득한다.
(2) 픽처 표시 화면을 분할 정보로 분할하여 얻어진 각 분할 영역에서의 제1의 시차정보 및 제2의 시차정보를 취득한다.
(3) 픽처 표시 화면을 제1의 분할 정보로 분할하여 얻어진 각 분할 영역에서의 제1의 시차정보를 취득하고, 픽처 표시 화면을 제2의 분할 정보로 분할하여 얻어진 각 분할 영역에서의 제2의 시차정보를 취득한다.
(4) 픽처 표시 화면 전체에서의 제1의 시차정보를 취득하고, 픽처 표시 화면 전체에서의 제2의 시차정보를 취득한다.
픽처 표시 화면 전체, 또는 각 분할 영역의 시차정보는, 블록(Block)마다의 시차정보에 대해, 다운사이징 처리를 시행함으로써, 취득된다. 도 2는, 블록(Block)마다의 시차정보(시차 벡터)의 한 예를 도시하고 있다.
도 3은, 블록 단위의 시차정보의 생성 방법의 한 예를 도시하고 있다. 이 예는, 좌안 뷰(Left-View)로부터 우안 뷰(Right-View)를 지시하는 시차정보를 구하는 예이다. 이 경우, 좌안 뷰의 픽처에, 예를 들면 4*4, 8*8 또는 16*16 등의 픽셀 블록(시차 검출 블록)이 설정된다.
도시하는 바와 같이, 좌안 뷰의 픽처가 검출 화상이 되고, 우안 뷰의 픽처가 참조 화상이 되고, 좌안 뷰의 픽처의 블록마다, 화소 사이의 차분 절대치 합이 최소가 되도록, 우안 뷰의 픽처의 블록 탐색이 되고, 시차 데이터가 구하여진다.
즉, N번째의 블록의 시차정보(DPn)는, 예를 들면, 이하의 (1)식으로 표시하는 바와 같이, 이 N번째의 블록에서의 차분 절대치 합이 최소가 되도록 블록 탐색되어 구하여진다. 또한, 이 (1)식에서, Dj는 우안 뷰의 픽처에서의 화소치, Di는 좌안 뷰의 픽처에서의 화소치를 나타내하고 있다.
DPn =min (Σ abs(differ (Dj - Di))) … (1)
도 4는, 다운사이징 처리의 한 예를 도시하고 있다. 도 4(a)는, 상술한 바와 같이 구하여진 블록마다의 시차정보를 나타내고 있다. 이 블록마다의 시차정보에 의거하여, 도 4(b)에 도시하는 바와 같이, 그룹(Group Of Block)마다의 제1의 시차정보 및 제2의 시차정보가 구하여진다. 그룹은, 블록의 상위층에 해당하고, 복수개가 근접하는 블록을 통합하여 그룹화함으로써 얻어진다. 도 4(b)의 예에서는, 각 그룹은, 파선테두리로 묶여지는 4개의 블록에 의해 구성되어 있다. 그리고, 각 그룹의 제1의 시차정보는, 예를 들면, 그 그룹 내의 전(全) 블록의 시차정보로부터 최소의 값의 시차정보가 선택됨으로서 얻어진다. 또한, 각 그룹의 제2의 시차정보는, 예를 들면, 그 그룹 내의 전 블록의 시차정보로부터 최대의 값의 시차정보가 선택됨으로서 얻어진다.
다음에, 이 그룹마다의 시차 벡터에 의거하여, 도 4(c)에 도시하는 바와 같이, 파티션(partition)마다의 제1의 시차정보 및 제2의 시차정보가 구하여진다. 파티션은, 그룹의 상위층에 해당하고, 복수개의 근접하는 그룹을 통합하여 그룹화함으로써 얻어진다. 도 4(c)의 예에서는, 각 파티션은, 파선테두리로 묶여지는 2개의 그룹에 의해 구성되어 있다. 그리고, 각 파티션의 제1의 시차정보는, 예를 들면, 그 파티션 내의 전 그룹의 제1의 시차정보로부터, 최소의 값의 제1의 시차정보가 선택됨으로서 얻어진다. 또한, 각 파티션의 제2의 시차정보는, 예를 들면, 그 파티션 내의 전 그룹의 제2의 시차정보로부터, 최대의 값의 제2의 시차정보가 선택됨으로서 얻어진다.
다음에, 이 파티션마다의 시차정보에 의거하여, 도 4(d)에 도시하는 바와 같이, 최상 위층에 위치하는 픽처 전체(픽처 표시 화면 전체)의 제1의 시차정보 및 제2의 시차정보가 구하여진다. 도 4(d)의 예에서는, 픽처 전체에는, 파선테두리로 묶여지는 4개의 파티션이 포함되어 있다. 그리고, 픽처 전체의 제1의 시차정보는, 예를 들면, 픽처 전체에 포함되는 전 파티션의 제1의 시차정보로부터, 최소의 값의 제1의 시차정보가 선택됨으로서 얻어진다. 또한, 픽처 전체의 제2의 시차정보는, 예를 들면, 픽처 전체에 포함되는 전 파티션의 제2의 시차정보로부터, 최대의 값의 제2의 시차정보가 선택됨으로서 얻어진다.
픽처 표시 화면은 분할 정보에 의거하여 분할되고, 상술한 바와 같이각 분할 영역의 시차정보가 취득된다. 이 경우, 부호화 블록 경계를 넘지 않도록 픽처 표시 화면이 분할된다. 도 5는, 픽처 표시 화면의 분할 상세례를 도시하고 있다. 이 예는, 1920*1080의 픽셀 포맷의 예이고, 수평, 수직으로 각각 2분할되고, Partition A, Partition B, Partition C, Partition D의 4개의 분할 영역이 얻어지는 예이다. 송신측에서는, 16×16의 블록마다 부호화가 행하여지기 때문에, 블랭크 데이터로 이루어지는 8라인이 부가되어, 1920픽셀*1088라인의 화상 데이터로서 부호화가 행하여진다. 그러면, 수직 방향에 관해서는, 1088라인을 기초로 2분할되어 있다.
상술한 바와 같이, 비디오 스트림에는, 화상 데이터의 소정의 픽처(프레임)마다 취득된, 픽처 표시 화면 전체 또는 각 분할 영역(Partition)의 시차정보(제1의 시차정보, 제2의 시차정보)가 삽입된다. 도 6은, 각 분할 영역의 시차정보의 추이례를 모식적으로 도시하고 있다. 이 예는, 수평, 수직으로에 각각 4분할되어, Partition 0 내지 Partition 15까지의 16개의 분할 영역이 존재하는 예이다. 이 예에서는, 도면의 간단화를 위해, Partition 0, Partition 3, Partition 9, Partition 15의 시차정보(D0, D3, D9, D15)의 추이만을 나타내고 있다. 각 시차정보의 값은, 시간과 함께 값이 변화하는 경우(D0, D3, D9)와 고정인 경우(D15)가 있다.
화상 데이터의 소정의 픽처마다 취득된 시차정보는, 비디오 스트림에, 픽처 단위, 또는 GOP 단위 등의 단위로 삽입된다. 도 7(a)는, 픽처의 부호화에 동기시키는 예, 즉 비디오 스트림에 시차정보를 픽처 단위로 삽입하는 예를 도시하고 있다. 이 예에서는, 화상 데이터를 송신할 때의 지연이 적어도 되고, 카메라로 촬상한 화상 데이터를 송신한 라이브 방송에 적합한 것으로 된다.
도 7(b)는, 부호화 비디오의 I픽처(Intra picture), 또는 GOP(Group Of Pictures)에 동기시키는 예, 즉 비디오 스트림에 시차정보를 GOP 단위로 삽입하는 예를 도시하고 있다. 이 예에서는, 도 7(a)의 예에 비하여, 화상 데이터를 송신할 때의 지연이 커지지만, 복수의 픽처(프레임)의 시차정보가 통합하여 송신되기 때문에, 수신측에서의 시차정보의 취득 처리의 회수를 저감할 수 있다. 도 7(c)는, 비디오의 신에 동기시키는 예, 즉 비디오 스트림에 시차정보를 신 단위로 삽입하는 예를 도시하고 있다. 또한, 도 7(a) 내지 (c)는 한 예이고, 그 밖의 단위로 삽입하는 것도 생각된다.
또한, 트랜스포트 스트림(TS)의 레이어에, 비디오 스트림에 시차정보(제1의 시차정보, 제2의 시차정보)의 삽입이 있는지의 여부를 식별하기 위한 식별 정보가 삽입되도록 하여도 좋다. 이 식별 정보는, 예를 들면, 트랜스포트 스트림(TS)에 포함되는 프로그램·맵·테이블(PMT : Program Map Table)의 배하, 또는 이벤트·인포메이션·테이블(EIT : Event Information Table)의 배하에 삽입된다. 이 식별 정보에 의해, 수신측에서는, 비디오 스트림에 시차정보의 삽입이 있는지의 여부를 용이하게 식별 가능해진다. 이 식별 정보의 상세하는 것에 대해는 후술한다.
「송신 데이터 생성부의 구성례」
도 8은, 방송국(100)에서, 상술한 트랜스포트 스트림(TS)을 생성하는 송신 데이터 생성부(110)의 구성례를 도시하고 있다. 이 송신 데이터 생성부(110)는, 화상 데이터 출력부(111L, 111R)와, 스케일러(112L, 112R)와, 비디오 인코더(113)와, 멀티플렉서(114)와, 시차 데이터 생성부(115)를 갖고 있다. 또한, 이 송신 데이터 생성부(110)는, 서브타이틀 데이터 출력부(116)와, 서브타이틀 인코더(117)와, 음성 데이터 출력부(118)와, 오디오 인코더(119)를 갖고 있다.
화상 데이터 출력부(111L, 111R)는, 각각, 입체화상을 구성하는 좌안화상 데이터(VL), 우안화상 데이터(VR)를 출력한다. 화상 데이터 출력부(111L, 111R)는, 예를 들면, 피사체를 촬상하여 화상 데이터를 출력하는 카메라, 또는 기억 매체로부터 화상 데이터를 판독하여 출력하는 화상 데이터 판독부 등에 의해 구성된다. 화상 데이터(VL, VR)는, 예를 들면, 1920*1080의 풀HD의 사이즈의 화상 데이터이다.
스케일러(112L, 112R)는, 각각, 화상 데이터(VL, VR)에 대해, 필요에 응하여, 수평 방향이나 수직 방향의 스케일링 처리를 행한다. 예를 들면, 화상 데이터(VL, VR)를 하나의 비디오 스트림으로 전송하기 위해, 사이드·바이·사이드 방식 또는 톱·앤드·보텀 방식의 화상 데이터를 구성하는 경우에는, 수평 방향 또는 수직 방향으로 1/2로 스케일 다운하여 출력한다. 또한, 예를 들면, 화상 데이터(VL, VR)를, MVC의 베이스 뷰 스트림, 논베이스 뷰 스트림과 같이, 각각, 별개의 비디오 스트림으로 전송하는 경우에는, 스케일링 처리를 행하는 일 없이, 화상 데이터(VL, VR)를 그대로 출력한다.
비디오 인코더(113)는, 스케일러(112L, 112R)로부터 출력되는 좌안화상 데이터, 우안화상 데이터에 대해, 예를 들면, MPEG4-AVC(MVC), MPEG2video, 또는 HEVC(High Efficiency Video Coding) 등의 부호화를 시행하여, 부호화 비디오 데이터를 얻는다. 또한, 이 비디오 인코더(113)는, 후단에 구비하는 스트림 포매터(도시 생략)에 의해, 이 부호화 데이터를 포함하는 비디오 스트림을 생성한다. 이 경우, 비디오 인코더(113)는, 좌안화상 데이터, 우안화상 데이터의 부호화 비디오 데이터를 포함하는 하나 또는 둘의 비디오 스트림(비디오 엘리멘터리 스트림)을 생성한다.
시차 데이터 생성부(115)는, 화상 데이터 출력부(111L, 111R)로부터 출력되는 좌안화상 데이터(VL), 우안화상 데이터(VR)에 의거하여, 픽처(프레임)마다, 시차정보를 생성한다. 시차 데이터 생성부(115)는, 픽처마다, 상술한 바와 같이 블록(Block)마다의 시차정보를 취득한다. 또한, 시차 데이터 생성부(115)는, 화상 데이터 출력부(111L, 111R)가 기억 매체를 갖는 화상 데이터 판독부인 경우, 블록(Block)마다의 시차정보를, 화상 데이터와 함께 기억 매체로부터 판독하여 취득하는 구성도 생각된다. 또한, 비디오 인코더(113)의 중의 우안화상 데이터와 좌안화상 데이터와의 사이에서 행하여지는 블록 매칭의 결과를 이용하여 시차정보를 검출하는 방법도 생각된다.
또한, 시차정보 생성부(115)는, 블록(Block)마다의 시차정보에 대해 다운사이징 처리를 행하여, 픽처 표시 화면 전체, 또는 픽처 표시 화면을 분할하여 얻어지는 각 분할 영역(Partition)의 제1의 시차정보 및 제2의 시차정보를 생성한다. 또한, 시차정보 생성부(115)에는, 예를 들면 유저 조작에 의해, 제1의 시차정보 및 제2의 시차정보의 취득 방법의 정보가 주어진다. 즉, 픽처 표시 화면 전체에서의 시차정보를 생성하는, 또는 픽처 표시 화면을 소정수로 분할하여 얻어진 각 분할 영역에서의 시차정보를 생성하는, 등의 정보가 주어진다.
비디오 인코더(113)는, 시차 데이터 생성부(115)에서 생성된 픽처마다의 제1의 시차정보 및 제2의 시차정보를, 비디오 스트림에 삽입한다. 이 경우, 예를 들면, 픽처마다의 시차정보는, 비디오 스트림에, 픽처 단위, 또는 GOP 단위로 삽입된다(도 7 참조). 또한, 좌안화상 데이터 및 우안화상 데이터가 각각 별개의 비디오 데이터로 전송되된다, 어느 하나의 비디오 스트림에만 삽입되어도 좋다.
서브타이틀 데이터 출력부(116)는, 픽처에 중첩하는 서브타이틀(자막)의 데이터를 출력한다. 이 서브타이틀 데이터 출력부(116)는, 예를 들면, 퍼스널 컴퓨터 등에 의해 구성된다. 서브타이틀 인코더(117)는, 서브타이틀 데이터 출력부(116)로부터 출력된 서브타이틀 데이터를 포함하는 서브타이틀 스트림(서브타이틀 엘리멘터리 스트림)을 생성한다. 또한, 서브타이틀 인코더(117)는, 시차 데이터 생성부(115)에서 생성되는 블록마다의 시차정보를 참조하여, 서브타이틀 데이터에, 서브타이틀의 표시 위치에 대응한 시차정보를 부가한다. 즉, 서브타이틀 스트림에 포함되는 서브타이틀 데이터는, 서브타이틀의 표시 위치에 대응한 시차정보를 갖는 것으로 된다.
음성 데이터 출력부(118)는, 화상 데이터에 대응한 음성 데이터를 출력한다. 이 음성 데이터 출력부(118)는, 예를 들면, 마이크로폰, 또는 기억 매체로부터 음성 데이터를 판독하여 출력하는 음성 데이터 판독부 등에 의해 구성된다. 오디오 인코더(119)는, 음성 데이터 출력부(118)로부터 출력되는 음성 데이터에 대해, MPEG-2Audio, AAC 등의 부호화를 시행하고, 오디오 스트림(오디오 엘리멘터리 스트림)을 생성한다.
멀티플렉서(114)는, 비디오 인코더(113), 서브타이틀 인코더(117) 및 오디오 인코더(119)에서 생성된 각 엘리멘터리 스트림을 PES 패킷화하여 다중하여, 트랜스포트 스트림(TS)을 생성한다. 이 경우, 각각의 PES(Packetized Elementary Stream) 패킷의 헤더에는, 수신측에서의 동기 재생을 위해, PTS(Presentation Time Stamp)가 삽입된다.
멀티플렉서(114)는, 트랜스포트 스트림(TS)의 레이어에, 상술한 식별 정보를 삽입한다. 이 식별 정보는, 비디오 스트림에 시차정보(제1의 시차정보, 제2의 시차정보)의 삽입이 있는지의 여부를 식별하기 위한 정보이다. 이 식별 정보는, 예를 들면, 트랜스포트 스트림(TS)에 포함되는 프로그램·맵·테이블(PMT : Program Map Table)의 배하, 또는 이벤트·인포메이션·테이블(EIT : Event Information Table)의 배하 등에 삽입된다.
도 8에 도시하는 송신 데이터 생성부(110)의 동작을 간단히 설명한다. 화상 데이터 출력부(111L, 111R)로부터 출력되는 입체화상을 구성하는 좌안화상 데이터(VL), 우안화상 데이터(VR)는, 각각, 스케일러(112L, 112R)에 공급된다. 스케일러(112L, 112R)는, 각각, 화상 데이터(VL, VR)에 대해, 필요에 응하여, 수평 방향이나 수직 방향의 스케일링 처리가 행하여진다. 스케일러(112L, 112R)로부터 출력되는 좌안화상 데이터, 우안화상 데이터는, 비디오 인코더(113)에 공급된다.
비디오 인코더(113)에서는, 좌안화상 데이터, 우안화상 데이터에 대해, 예를 들면, MPEG4-AVC(MVC), MPEG2video, 또는 HEVC 등의 부호화가 시행되어, 부호화 비디오 데이터가 얻어진다. 또한, 이 비디오 인코더(113)에서는, 후단에 구비하는 스트림 포매터에 의해, 이 부호화 데이터를 포함하는 비디오 스트림이 생성된다. 이 경우, 좌안화상 데이터, 우안화상 데이터의 부호화 비디오 데이터를 포함하는 하나 또는 둘의 비디오 스트림이 생성된다.
또한, 화상 데이터 출력부(111L, 111R)로부터 출력되는 입체화상을 구성하는 좌안화상 데이터(VL), 우안화상 데이터(VR)는, 시차 데이터 생성부(115)에 공급된다. 이 시차 데이터 생성부(115)에서는, 픽처마다, 블록(Block)마다의 시차정보가 취득된다. 그리고, 이 시차 데이터 생성부(115)에서는, 또한, 블록(Block)마다의 시차정보에 대해 다운사이징 처리가 행하여져서, 픽처 표시 화면 전체, 또는 픽처 표시 화면을 분할하여 얻어진 각 분할 영역에서의 제1의 시차정보 및 제2의 시차정보가 생성된다.
시차 데이터 생성부(115)에서 생성되는 픽처마다의 제1의 시차정보 및 제2의 시차정보는, 비디오 인코더(113)에 공급된다. 비디오 인코더(113)에서는, 비디오 스트림에, 픽처마다의 제1의 시차정보 및 제2의 시차정보가, 픽처 단위, 또는 GOP 단위로 삽입된다.
또한, 서브타이틀 데이터 출력부(116)에서는, 픽처에 중첩하는 서브타이틀(자막)의 데이터가 출력된다. 이 서브타이틀 데이터는, 서브타이틀 인코더(117)에 공급된다. 서브타이틀 인코더(117)에서는, 서브타이틀 데이터를 포함하는 서브타이틀 스트림이 생성된다. 이 경우, 서브타이틀 인코더(117)에서는, 시차 데이터 생성부(115)에서 생성되는 블록마다의 시차정보가 참조되어, 서브타이틀 데이터에, 표시 위치에 대응한 시차정보가 부가된다.
또한, 음성 데이터 출력부(118)에서는, 화상 데이터에 대응한 음성 데이터가 출력된다. 이 음성 데이터는, 오디오 인코더(119)에 공급된다. 이 오디오 인코더(119)에서는, 음성 데이터에 대해, MPEG-2Audio, AAC 등의 부호화가 시행되어, 오디오 스트림이 생성된다.
비디오 인코더(113)에서 얻어지는 비디오 스트림, 서브타이틀 인코더(117)에서 얻어지는 서브타이틀 스트림 및 오디오 인코더(119)에서 얻어지는 오디오 스트림은, 각각, 멀티플렉서(114)에 공급된다. 멀티플렉서(114)에서는, 각 인코더로부터 공급되는 엘리멘터리 스트림이 PES 패킷화 되고 다중되어, 트랜스포트 스트림(TS)이 생성된다. 이 경우, 각각의 PES 헤더에는, 수신측에서의 동기 재생을 위해, PTS가 삽입된다. 또한, 멀티플렉서(114)에서는, PMT의 배하, 또는 EIT의 배하 등에, 비디오 스트림에 시차정보의 삽입이 있는지의 여부를 식별하기 위한 식별 정보가 삽입된다.
[식별 정보, 시차정보의 구조, TS 구성]
도 9는, 트랜스포트 스트림(TS)의 구성례를 도시하고 있다. 이 구성례에서는, 좌안화상 데이터 및 우안화상 데이터가 각각 별개의 비디오 스트림으로 전송되는 예를 도시하고 있다. 즉, 좌안화상 데이터가 부호화되어 있는 비디오 스트림의 PES 패킷 「video PES1」 및 우안화상 데이터가 부호화되어 있는 비디오 스트림의 PES 패패킷 「video PES2」가 포함되어 있다. 또한, 이 구성례에서는, 서브타이틀 데이터(시차정보를 포함한다)가 부호화되어 있는 서브타이틀 스트림의 PES 패킷 「subtitle PES3」 및 음성 데이터가 부호화되어 있는 오디오 스트림의 PES 패킷 「audio PES4」가 포함되어 있다.
비디오 스트림의 유저 데이터 영역에는, 픽처마다의 제1의 시차정보 및 제2의 시차정보를 포함하는 뎁스·인포메이션·SEI(depth_information_sei())가 삽입되어 있다. 예를 들면, 픽처마다의 시차정보가 픽처 단위로 삽입되는 경우, 이 뎁스·인포메이션·SEI는, 비디오 스트림의 각 픽처의 유저 데이터 영역에 삽입된다. 또한, 예를 들면, 픽처마다의 시차정보가 GOP 단위로 삽입되는 경우, 이 뎁스·인포메이션·SEI는, 비디오 스트림의 GOP의 선두 또는 시퀀스·파라미터 정보가 삽입되는 위치에 상당하는 픽처의 유저 데이터 영역에 삽입된다. 또한, 이 구성례에서는, 2개의 비디오 스트림의 쌍방에 뎁스·인포메이션·SEI가 삽입되도록 나타내고 있지만, 한쪽의 비디오 스트림만에 삽입되어도 좋다.
트랜스포트 스트림(TS)에는, PSI(Program Specific Information)로서, PMT(Program Map Table)가 포함되어 있다. 이 PSI는, 트랜스포트 스트림(TS)에 포함되는 각 엘리멘터리 스트림이 어느 프로그램에 속하고 있는지를 기록한 정보이다. 또한, 트랜스포트 스트림(TS)에는, 이벤트 단위의 관리를 행하는 SI(Serviced Information)로서의 EIT(Event Information Table)가 포함되어 있다.
PMT의 배하에게, 각 엘리멘터리 스트림에 관련된 정보를 갖는 엘리멘터리·루프가 존재한다. 이 엘리멘터리·루프에는, 스트림마다, 패킷 식별자(PID) 등의 정보가 배치됨과 함께, 그 엘리멘터리 스트림에 관련되는 정보를 기술하는 디스크립터도 배치된다.
상술한 비디오 스트림에 시차정보(제1의 시차정보, 제2의 시차정보)가 삽입되어 있는지의 여부를 나타내는 식별 정보를 삽입하는 경우, 예를 들면, 프로그램·맵·테이블의 비디오 엘리멘터리·루프의 배하에 삽입되는 디스크립터(descriptor)에 기술된다. 이 디스크립터는, 예를 들면, 기존의 AVC·비디오·디스크립터(AVC video descriptor) 또는 MVC·익스텐션·디스크립터(MVC_extension_descriptor), 또는, 신규로 정의되는 뎁스·인포·디스크립터(Depth_info_descriptor)이다. 또한, 뎁스·인포·디스크립터에 관해서는, 파선으로 도시하는 바와 같이, EIT의 배하에 삽입하는 것도 생각된다.
도 10(a)는, 식별 정보가 기술된 AVC·비디오·디스크립터(AVC video descriptor)의 구조례(Syntax)를 도시하고 있다. 이 디스크립터는, 비디오가 MPEG4-AVC Frame compatible 포맷인 경우에 적용할 수 있다. 이 디스크립터 자체는, 이미 H. 264/AVC의 규격에 들어가 있다. 여기서는, 이 디스크립터에, 「depth_info_not_existed_flag[0]」의 1비트의 플래그 정보가, 새롭게, 정의된다.
이 플래그 정보는, 도 10(b)의 규정 내용(semantics)에 도시하는 바와 같이, 대응하는 비디오 스트림에, 픽처마다의 시차정보를 포함하는 뎁스·인포메이션·SEI(depth_information_sei())가 삽입되어 있는지의 여부를 나타낸다. 이 플래그 정보가 "0"일 때는 삽입되어 있는 것을 나타낸다. 한편, 이 플래그 정보가 "1"일 때는 삽입되지 않은 것을 나타낸다.
도 11(a)는, 식별 정보가 기술된 MVC·익스텐션·디스크립터(MVC extension descriptor)의 구조례(Syntax)를 도시하고 있다. 이 디스크립터는, 비디오가 MPEG4-AVCAnnex H MVC 포맷인 경우에 적용할 수 있다. 이 디스크립터 자체는, 이미 H. 264/AVC의 규격에 들어가 있다. 여기서는, 이 디스크립터에, 「depth_info_not_existed_flag」의 1비트의 플래그 정보가, 새롭게, 정의된다.
이 플래그 정보는, 도 11(b)의 규정 내용(semantics)에 도시하는 바와 같이, 대응하는 비디오 스트림에, 픽처마다의 시차정보를 포함하는 뎁스·인포메이션·SEI(depth_information_sei())가 삽입되어 있는지의 여부를 나타낸다. 이 플래그 정보가 "0"일 때는 삽입되어 있는 것을 나타낸다. 한편, 이 플래그 정보가 "1"일 때는 삽입되지 않은 것을 나타낸다.
도 12(a)는, 뎁스·인포·디스크립터터(depth_info_descriptor)의 구조례(Syntax)를 도시하고 있다. 「descriptor_tag」의 8비트 필드는, 이 디스크립터가 「depth_info_descriptor」인 것을 나타낸다. 「descriptor_length」의 8비트 필드는, 이후의 데이터 바이트수를 나타낸다. 그리고, 이 디스크립터에, 「depth_info_not_existed_flag」의 1비트의 플래그 정보가 기술되어 있다.
이 플래그 정보는, 도 12(b)의 규정 내용(semantics)에 도시하는 바와 같이, 대응하는 비디오 스트림에, 픽처마다의 시차정보를 포함하는 뎁스·인포메이션·SEI(depth_information_sei())가 삽입되어 있는지의 여부를 나타낸다. 이 플래그 정보가 "0"일 때는 삽입되어 있는 것을 나타낸다. 한편, 이 플래그 정보가 "1"일 때는 삽입되지 않은 것을 나타낸다.
다음에, 픽처마다의 시차정보를 포함하는 뎁스·인포메이션·SEI(depth_information_sei())를, 비디오 스트림의 유저 데이터 영역에 삽입하는 경우에 관해 설명한다.
예를 들면, 부호화 방식이 AVC인 경우, 「depth_information_sei()」는, 액세스 유닛의 "SEIs"의 부분에, 「depth_information SEI message」로서, 삽입된다. 도 13(a)는, GOP(Group Of Pictures)의 선두의 액세스 유닛을 나타내고 있고, 도 13(b)는, GOP의 선두 이외의 액세스 유닛을 나타내고 있다. 픽처마다의 시차정보가 GOP 단위로 삽입되는 경우에는, GOP의 선두의 액세스 유닛에만 「depth_information SEI message」가 삽입된다.
도 14(a)는, 「depth_information SEI message」의 구조례(Syntax)를 도시하고 있다. 「uuid_iso_iec_11578」은, "ISO/IEC 11578 : 1996AnnexA."로 나타나는 UUID값을 갖는. 「user_data_payload_byte」의 필드에, 「depth_information_sei_data()」가 삽입된다. 도 14(b)는, 「depth_information_sei_data()」의 구조례(Syntax)를 도시하고 있다. 이 중에, 뎁스·인포메이션·SEI(depth_information_sei())가 삽입된다. 「userdata_id」는, 부호 없음 16비트로 나타나는 「depth_information_sei()」의 식별자이다.
도 15, 도 16 및 도 17은, 각각, 픽처마다의 시차정보를 픽처 단위로 삽입하는 경우에 있어서의 「depth_information_sei()」의 구조례(Syntax)를 도시하고 있다. 도 18에는, 이들의 구조례에서의 주요한 정보의 내용(Semantics)이 도시되어 있다.
도 15는, 상술한 (1) 「픽처 표시 화면을 분할 정보로 분할하여 얻어진 각 분할 영역에서의 제1의 시차정보를 취득하고, 픽처 표시 화면 전체에서의 제2의 시차정보를 취득한다」는 취득 방법에 대응하는 구조례(Syntax)를 도시하고 있다.
「partition_type」의 3비트 필드는, 픽처 표시 화면의 분할 타입을 나타낸다. "000"은 분할 없음을 나타내고, "001"은 수평, 수직을 각각 2등분하는 것을 나타내고, "010"은 수평, 수직을 각각 4등분하는 것을 나타낸다.
「partition_count」의 4비트 필드는, 분할 영역(Partition)의 총수를 나타내고, 상술한 「partition_type」에 의존한 값이 된다. 예를 들면, 「partition_type=000」일 때, 도 19(a)에 도시하는 바와 같이, 분할 영역(Partition)의 총수는 「1」이다. 또한, 예를 들면, 「partition_type=001」일 때, 도 19(b)에 도시하는 바와 같이, 분할 영역(Partition)의 총수는 「4」이다. 또한, 예를 들면, 「partition_type=010」일 때, 도 19(c)에 도시하는 바와 같이, 분할 영역(Partition)의 총수는 「16」이다.
「max_disparity_in_picture」의 8비트 필드는, 픽처 표시 화면 전체의 제2의 시차정보, 즉 픽처 전체의 최대의 시차정보(disparity값)를 나타낸다. 「min_disparity_in_partition」의 8비트 필드는, 각 분할 영역(Partition)의 제1의 시차정보, 즉 각 분할 영역에서의 최소의 시차정보(disparity값)를 나타낸다.
도 16은, 상술한 (2) 「픽처 표시 화면을 분할 정보로 분할하여 얻어진 각 분할 영역에서의 제1의 시차정보 및 제2의 시차정보를 취득한다」는 취득 방법에 대응하는 구조례(Syntax)를 도시하고 있다. 이 도 16에서, 도 15와 대응하는 부분은, 적절히, 그 설명을 생략한다.
「partition_type」의 3비트 필드는, 픽처 표시 화면의 분할 타입을 나타낸다. 「partition_count」의 4비트 필드는, 분할 영역(Partition)의 총수를 나타내고, 상술한 「partition_type」에 의존한 값이 된다. 「max_disparity_in_partition」의 8비트 필드는, 각 분할 영역(Partition)의 제2의 시차정보, 즉 각 분할 영역에서의 최대의 시차정보(disparity값)를 나타낸다. 「min_disparity_in_partition」의 8비트 필드는, 각 분할 영역(Partition)의 제1의 시차정보, 즉 각 분할 영역에서의 최소의 시차정보(disparity값)를 나타낸다.
도 17은, 상술한 (3) 「픽처 표시 화면을 제1의 분할 정보로 분할하여 얻어진 각 분할 영역에서의 제1의 시차정보를 취득하고, 픽처 표시 화면을 제2의 분할 정보로 분할하여 얻어진 각 분할 영역에서의 제2의 시차정보를 취득한다는 취득 방법에 대응하는 구조례(Syntax)를 도시하고 있다. 이 도 17에서, 도 15, 도 16과 대응하는 부분은, 적절히, 그 설명을 생략한다.
「partition_type」의 3비트 필드는, 제1의 시차정보의 취득에 관한 픽처 표시 화면의 분할 타입을 나타낸다. 「min_partition_count」의 4비트 필드는, 제1의 시차정보가 취득되는 분할 영역(Partition)의 총수를 나타내고, 상술한 「partition_type」에 의존한 값이 된다. 「min_disparity_in_partition」의 8비트 필드는, 각 분할 영역(Partition)의 제1의 시차정보, 즉 각 분할 영역에서의 최소의 시차정보(disparity값)를 나타낸다.
「max_partition_count」의 4비트 필드는, 제2의 시차정보가 취득되는 분할 영역(Partition)의 총수를 나타낸다. 「max_disparity_in_partition」의 8비트 필드는, 각 분할 영역(Partition)의 제2의 시차정보, 즉 각 분할 영역에서의 최대의 시차정보(disparity값)를 나타낸다.
도 20, 도 21 및 도 22는, 각각, 픽처마다의 시차정보를 GOP 단위로 삽입하는 경우와 같이, 복수의 픽처를 통합하여 부호화하는 경우에 있어서의, 「depth_information_sei()」의 구조례(Syntax)를 도시하고 있다. 도 18에는, 이들의 구조례에서의 주요한 정보의 내용(Semantics)이 도시되어 있다.
도 20은, 상술한 (1) 「픽처 표시 화면을 분할 정보로 분할하여 얻어진 각 분할 영역에서의 제1의 시차정보를 취득하고, 픽처 표시 화면 전체에서의 제2의 시차정보를 취득한다」는 취득 방법에 대응하는 구조례(Syntax)를 도시하고 있다. 이 도 20에서, 상술한 도 15와 대응하는 부분은, 적절히, 그 상세 설명을 생략한다.
「picture_count」의 6비트 필드는, 픽처수를 나타낸다. 이 「depth_information_sei()」에는, 픽처수만큼의 제1의 시차정보 및 제2의 시차정보가 포함된다. 「partition_count」의 4비트 필드는, 분할 영역(Partition)의 총수를 나타낸다. 「max_disparity_in_picture」의 8비트 필드는, 픽처 표시 화면 전체의 제2의 시차정보, 즉 픽처 전체의 최대의 시차정보(disparity값)를 나타낸다. 「min_disparity_in_partition」의 8비트 필드는, 각 분할 영역(Partition)의 제1의 시차정보, 즉 각 분할 영역에서의 최소의 시차정보(disparity값)를 나타낸다. 상세 설명은 생략하지만, 도 20의 구조례의 그 외는, 도 15에 도시하는 구조례와 마찬가지이다.
도 21은, 상술한 (2) 「픽처 표시 화면을 분할 정보로 분할하여 얻어진 각 분할 영역에서의 제1의 시차정보 및 제2의 시차정보를 취득한다」는 취득 방법에 대응하는 구조례(Syntax)를 도시하고 있다. 이 도 21에서, 도 16, 도 20과 대응하는 부분은, 적절히, 그 설명을 생략한다.
「picture_count」의 6비트 필드는, 픽처수를 나타낸다. 이 「depth_information_sei()」에는, 픽처수만큼의 제1의 시차정보 및 제2의 시차정보가 포함된다. 「partition_count」의 4비트 필드는, 분할 영역(Partition)의 총수를 나타낸다. 「max_disparity_in_partition」의 8비트 필드는, 각 분할 영역(Partition)의 제2의 시차정보, 즉 각 분할 영역에서의 최대의 시차정보(disparity값)를 나타낸다. 「min_disparity_in_partition」의 8비트 필드는, 각 분할 영역(Partition)의 제1의 시차정보, 즉 각 분할 영역에서의 최소의 시차정보(disparity값)를 나타낸다. 상세 설명은 생략하지만, 도 21의 구조례의 그 외는, 도 16에 도시하는 구조례와 마찬가지이다.
도 22는, 상술한 (3) 「픽처 표시 화면을 제1의 분할 정보로 분할하여 얻어진 각 분할 영역에서의 제1의 시차정보를 취득하고, 픽처 표시 화면을 제2의 분할 정보로 분할하여 얻어진 각 분할 영역에서의 제2의 시차정보를 취득한다는 취득 방법에 대응하는 구조례(Syntax)를 도시하고 있다. 이 도 22에서, 도 17, 도 20, 도 21과 대응하는 부분은, 적절히, 그 설명을 생략한다.
「picture_count」의 6비트 필드는, 픽처수를 나타낸다. 이 「depth_information_sei()」에는, 픽처수만큼의 제1의 시차정보 및 제2의 시차정보가 포함된다. 「min_partition_count」의 4비트 필드는, 제1의 시차정보가 취득되는 분할 영역(Partition)의 총수를 나타내고, 「max_partition_count」의 4비트 필드는, 제2의 시차정보가 취득되는 분할 영역(Partition)의 총수를 나타낸다.
「min_disparity_in_partition」의 8비트 필드는, 각 분할 영역(Partition)의 제1의 시차정보, 즉 각 분할 영역에서의 최소의 시차정보(disparity값)를 나타낸다. 「max_disparity_in_partition」의 8비트 필드는, 각 분할 영역(Partition)의 제2의 시차정보, 즉 각 분할 영역에서의 최대의 시차정보(disparity값)를 나타낸다. 상세 설명은 생략하지만, 도 22의 구조례의 그 외는, 도 17에 도시하는 구조례와 마찬가지이다.
또한, 상술에서는 부호화 방식이 AVC인 경우에 관해 설명하였다. 예를 들면, 부호화 방식이 MPEG2video인 경우, 「depth_information_sei()」는, 픽처 헤더부의 유저 데이터 영역에, 유저 데이터 「user_data()」로서 삽입된다. 도 23(a)는, 「user_data()」의 구조례(Syntax)를 도시하고 있다. 「user_data_start_code」의 32 비트 필드는, 유저 데이터(user_data)의 시작 코드이고, "0x000001B2"의 고정치가 된다.
이 시작 코드에 계속된 32 비트 필드는, 유저 데이터의 내용을 식별하는 식별자이다. 여기서는, 「depth_information_sei_data_identifier」가 되고, 유저 데이터가, 「depth_information_sei_data」인 것을 식별 가능하게 한다. 이 식별자의 후의 데이터 본체로서, 「depth_information_sei_data()」가 삽입된다. 도 23(b)는, 「depth_information_sei_data()」의 구조례(Syntax)를 도시하고 있다. 이 중에, 「depth_information_sei()」가 삽입된다(도 15 내지 도 17, 도 20 내지 도 22 참조).
또한, 부호화 방식이 AVC 또는 MPEG2video인 경우에 있어서의 비디오 스트림에의 시차정보의 삽입례에 관해 설명하였다. 상세 설명은 생략하지만, 그 밖의 마찬가지 구조의 부호화 방식, 예를 들면 HEVC 등에서도, 비디오 스트림에의 시차정보의 삽입을 마찬가지 구조로 행할 수 있다.
「송신 데이터 생성부의 다른 구성례」
상술한 도 8에 도시하는 송신 데이터 생성부(110)에서는, 시차 데이터 생성부(115)에서 생성된 픽처마다의 시차정보(제1의 시차정보, 제2의 시차정보)를 그대로의 상태로 비디오 스트림에 삽입하는 예를 나타내였다. 그러나, 이 픽처마다의 시차정보를, 압축부호화 처리를 시행하여 데이터량을 저감한 후에, 비디오 스트림에 삽입하는 것도 생각된다.
도 24는, 그 경우에 있어서의 송신 데이터 생성부(110A)의 구성례를 도시하고 있다. 이 도 24에서, 도 8과 대응하는 부분에는 동일 부호를 붙이고, 그 상세 설명은 생략한다. 이 송신 데이터 생성부(110A)는, 압축부호화부(120)를 갖고 있다. 이 압축부호화부(120)는, 시차 데이터 생성부(115)에서 생성된 픽처마다의 시차정보(제1의 시차정보, 제2의 시차정보)에 압축부호화 처리를 시행하여, 데이터량의 저감을 도모한다.
이 압축부호화부(120)는, 예를 들면, 압축부호화 처리로서 가변길이 부호를 이용한 처리를 행한다. 비디오 인코더(113)는, 압축부호화부(120)에서 압축부호화된 후의 각 픽처의 시차정보(제1의 시차정보, 제2의 시차정보)를 비디오 스트림에 삽입한다. 이 도 24에 도시하는 송신 데이터 생성부(110A)의 그 외는, 도 8에 도시하는 송신 데이터 생성부(110)과 마찬가지로 구성되고, 마찬가지로 동작한다.
도 25는, 압축부호화부(120)의 개략 구성례를 도시하고 있다. 이 압축부호화부(120)는, 버퍼(121)와, 감산기(122)와, 가변길이 부호화부(122)를 갖고 있다. 버퍼(121)은, 입력된 픽처마다의 시차정보를 일시적으로 기억한다. 감산기(122)는, 픽처 사이의 차분 데이터를 취득한다. 가변길이 부호화부(122)는, 가변길이 부호화를 행한다. 이 가변길이 부호화부(120)는, 가변길이 부호로서, 예를 들면, 도 26에 도시하는 「Exp-Golomb 부호 se(v)」를 이용하지만, 그 밖의 가변길이 부호를 이용하는 것도 생각된다.
이 압축부호화부(120)는, 비예측 타입(Non-Prediction Type) 또는 예측 타입(Prediction Type)의 어느 하나에서 압축부호화의 처리를 행한다. 최초에 비예측 타입의 압축부호화 처리에 관해 설명한다. 이 경우, 부호화 처리부(120)에서는, 입력된 각 픽처의 시차정보 그 자체에 대해, 가변길이 부호화가 행하여진다. 따라서 이비예측 타입에서의 압축부호화 처리에서는, 도 25에 도시하는 압축부호화부(120)에서, 입력되는 각 픽처의 시차정보는 그대로 가변길이 부호화부(123)에 공급된다.
도 27은, 예측을 행하지 않는, 비예측 타입(Non-Prediction Type)만의 경우를 도시하고 있다. 도 27(a)는, I픽처, P픽처, B픽처의 비디오 슬라이스(Video Slice)의 표시순의 한 예를 도시하고 있다. 각 비디오 슬라이스에 대응하여 각 픽처의 시차정보(「SEI」로 도시)가 존재한다. 도 27(b)는, 각 픽처의 디코드순(인코드순)을 도시하고 있다. 각 픽처의 시차정보는 그대로, 즉 인트라 데이터(「Intra」로 도시)의 상태에서 가변길이 부호화된다.
이비예측 타입의 경우, SEI 예측을 하지 않기 때문에 액세스 유닛 단위의 SEI 버퍼링이 불필요하게 되지만, SEI 예측을 하지 않기 때문에, 예측을 행하는 경우와 비교하여 부호화 효율이 뒤떨어진다.
다음에, 예측 타입의 압축부호화 처리에 관해 설명한다. 이 경우, 부호화 처리부(120)에서는, 입력된 각 픽처의 시차정보 중, 참조 픽처에서는, 피참조 픽처와의 사이의 차분 데이터가 취득되고, 그 차분 데이터에 대해 가변길이 부호화가 행하여진다. 따라서 이 예측 타입에서의 압축부호화 처리에서는, 도 25에 도시하는 압축부호화부(120)에서, 참조 픽처에서는, 감산기(122)에서, 피참조 픽처와의 사이의 차분 데이터가 취하여저서 가변길이 부호화부(123)에 공급된다.
이 예측 타입(Prediction Type)으로서, 표시순으로 SEI를 예측 참조하는 타입(예측 타입 0 : Prediction Type 0)이 생각된다. 도 28은, 예측 타입 0(PredictionType 0)인 경우를 도시하고 있다. 도 28(a)는, I픽처, P픽처, B픽처의 비디오 슬라이스(VideoSlice)의 표시순의 한 예를 도시하고 있다. 도면 중, 화살표는 예측을 행할 때의 예측 대상을 나타낸다. 각 비디오 슬라이스에 대응하여 각 픽처의 시차정보(「SEI」로 도시)가 존재한다.
도 28(b)는, 각 픽처의 디코드순(인코드순)을 도시하고 있다. 각 픽처의 시차정보는, I픽처의 시차정보는, 그대로, 즉 인트라 데이터(「Intra」로 도시)의 상태에서 가변길이 부호화된다. 그리고, I픽처에 계속되는, B픽처, P픽처의 시차정보에 관해서는, 표시순으로 직전의 픽처가 피참조 픽처가 되어 차분 데이터(「Delta」로 도시)가 취하여지고, 이 차분 데이터가 가변길이 부호화된다. 이 도 28(b)에서, 각 픽처로부터의 화살표의 앞(先)은, 그 픽처가 참조하는 피참조 픽처를 나타내고 있다.
이 예측 타입 0(Prediction Type 0)인 경우, 표시순으로 SEI 예측을 하기 때문에, 차분 데이터의 값을 작게 억제할 수 있고, 부호화 효율이 가장 높아진다. 그러나, SEI 예측순이 비디오 인코드순과 일치하지 않기 때문에, SEI를 버퍼에 모아둘 필요가 있다. 또한, B 스킵(B skip) 등의 특수 재생에 부적합하다.
또한, 예측 타입(Prediction Type)으로서, 디코드순으로 SEI를 예측 참조하는 타입이 생각된다. 그리고, 이 예측 타입으로서, 비디오 픽처 타입과 맞춘 SEI 예측을 행하는 타입(예측 타입 1 : Prediction Type 1)이 생각된다. 도 29는, 예측 타입 1(Prediction Type 1)인 경우를 도시하고 있다. 도 29(a)는, I픽처, P픽처, B픽처의 비디오 슬라이스(VideoSlice)의 표시순의 한 예를 도시하고 있다. 각 비디오 슬라이스에 대응하여 각 픽처의 시차정보(「SEI」로 도시)가 존재한다.
도 29(b)는, 각 픽처의 디코드순을 도시하고 있다. I픽처의 시차정보는, 그대로, 즉 인트라 데이터(「Intra」로 도시)의 상태에서 가변길이 부호화된다. 그리고, I픽처에 계속되는, B픽처, P픽처의 시차정보에 관해서는, 디코드순으로, 비디오 픽처 타입과 맞춘 픽처가 피참조 픽처가 되어 차분 데이터(「Delta」로 도시)가 취하여지고, 이 차분 데이터가 가변길이 부호화된다. 이 도 29(b)에서, 각 픽처로부터의 화살표의 앞은, 그 픽처가 참조하는 피참조 픽처를 나타내고 있다.
이 예측 타입 1(Prediction Type 1)인 경우, SEI 예측순은, 비디오의 픽처 타입을 포함하여, 비디오 부호화순에 일치한다. 라이브 부호화 방향이고, B 스킵(B skip) 등의 특수 재생에도 대응 가능하다. 그러나, SEI 예측이 복수 프레임을 넘기 때문에, 상술한 예측 타입 0(Prediction Type 0)에 비하여 부호화 효율이 뒤떨어질 가능성이 있다.
또한, 예측 타입(Prediction Type)으로서, 디코드순으로 SEI를 예측 참조하는 타입으로, 직전에 디코드한 SEI를 참조하는 타입(예측 타입 2 : Prediction Type 2)이 생각된다. 도 30은, 예측 타입 2(Prediction Type 2)인 경우를 도시하고 있다. 도 30(a)는, I픽처, P픽처, B픽처의 비디오 슬라이스(VideoSlice)의 표시순의 한 예를 도시하고 있다. 각 비디오 슬라이스에 대응하여 각 픽처의 시차정보(「SEI」로 도시)가 존재한다.
도 30(b)는, 각 픽처의 디코드순(인코드순)를 도시하고 있다. I픽처의 시차정보는, 그대로, 즉 인트라 데이터(「Intra」로 도시)의 상태에서 가변길이 부호화된다. 그리고, I픽처에 계속되는, B픽처, P픽처의 시차정보에 관해서는, 디코드순으로, 직전의 픽처가 피참조 픽처가 되어 차분 데이터(「Delta」로 도시)가 취하여지고, 이 차분 데이터가 가변길이 부호화된다. 이 도 30(b)에서, 각 픽처로부터의 화살표의 앞은, 그 픽처가 참조하는 피참조 픽처를 나타내고 있다.
이 예측 타입 2(Prediction Type 2)인 경우, SEI 예측순은, 비디오 부호화순에 일치하지만. SEI 예측은 비디오의 픽처 타입에 의존하지 않는다. 라이브 부호화 방향이지만, SEI 예측이 복수 프레임을 넘기 때문에, 상술한 예측 타입 0(Prediction Type 0)에 비하여 부호화 효율이 뒤떨어질 가능성이 있다.
또한, 예측 타입(Prediction Type)으로서, 디코드순으로 SEI를 예측 참조하는 타입으로, 비디오 픽처 타입과 맞춘 SEI 예측을 행함과 함께, I픽처, P픽처 등의 피참조 픽처만으로 시차정보를 전송하는 타입(예측 타입 3 : Prediction Type 3)이 생각된다. 도 31은, 예측 타입 3(Prediction Type 3)인 경우를 도시하고 있다. 도 31(a)는, I픽처, P픽처, B픽처의 비디오 슬라이스(VideoSlice)의 표시순의 한 예를 도시하고 있다. 각 비디오 슬라이스에 대응하여 각 픽처의 시차정보(「SEI」로 도시)가 존재한다.
도 31(b)는, 각 픽처의 디코드순을 도시하고 있다. I픽처의 시차정보는, 그대로, 즉 인트라 데이터(「Intra」로 도시)의 상태에서 가변길이 부호화된다. 그리고, I픽처에 계속되는, P픽처, 나아가서는 도시하지 않은 피참조 B픽처의 시차정보에 관해서는, 디코드순으로, 비디오 픽처 타입과 맞춘 픽처가 피참조 픽처가 되어 차분 데이터(「Delta」로 도시)가 취하여지고, 이 차분 데이터가 가변길이 부호화된다. 이 도 31(b)에서, 각 픽처로부터의 화살표의 앞은, 그 픽처가 참조하는 피참조 픽처를 나타내고 있다. SEI 정보가 부호화되지 않은 픽처(B픽처)의 SEI 정보는, 디코더에서, 표시순으로 전후의 피참조 픽처에 부호화된 2개의 SEI의 정보로부터 보간된다.
이 예측 타입 3(Prediction Type 3)인 경우, SEI 예측순은, 비디오의 픽처 타입을 포함하고, 비디오 부호화순에 일치한다. 라이브 부호화 방향이고, B 스킵(B skip) 등의 특수 재생에도 대응 가능하다. I픽처, P픽처, 피참조 B픽처 등의 피참조 픽처만으로 시차정보가 부호화되어 전송되기 때문에, 부호화 효율이 향상한다. 그러나, SEI 예측이 복수 프레임을 넘기 때문에, 상술한 예측 타입 0(Prediction Type 0)에 비하여 부호화 효율이 뒤떨어진다. 또한, 비부호화 SEI 정보를 보간하여 각 픽처에 할당하기 때문에, 시차정보(disparity)의 예측처(先)까지의 시간적 거리로서의 픽처수를 명시할 필요가 있다.
AVC의 비디오 스트림(Frame Compatible, 또는 MVC)을 MPEG2-TS 컨테이너로 전송하는 경우, 액세스 유닛(Access Unit)마다, 그 선두에 AUD(Access Unit Delimiter)가 붙어진다. AUD의 정보는, 「primary_pic_type」으로서, I or P인 경우, 「primary_pic_type =1」이라는 값으로 나타난다. 이것은, 해당한 액세스 유닛(통상 1 picture)가 피참조 픽처인 것을 의미한다. 비디오의 패킷순은, 「AUD」-「SPS」-「PPS」-「SEI」-「Slice 」로 구성된다. 그 때문에, 디코더는, 「Slice」를 디코드하는 것보다도 빨리, SEI의 내용(中身)의 정보를 올바르게 디코드하기 위해, AUD의 정보를 이용한다. 또한, 피참조 픽처에는, AVC의 경우는, 상술한 바와 같이, I픽처, P픽처에, 피참조 B픽처도 가하여진다.
또한, 상술한 예측 타입 3(Prediction Type 3)인 경우, I픽처, P픽처, 피참조 B픽처 등의 피참조 픽처만으로 시차정보가 부호화되어 전송된다. 그 때문에, 디코더측(수신측)에서는, 시차정보의 송신이 없는 픽처에서는, 예를 들면, 전후의 픽처의 시차정보로부터 보간으로 구하도록 된다. 예를 들면, 도 31(b)에서, "SEI0"과 "SEI3"으로 전송된 시차정보에 의거하여, B1, B2에 상당하는 픽처에 대한 시차정보가 구하여진다. 보간치가 소수(小數)가 되는 경우, 「subpixel disparity」에 대응한 디코더(수신기)에서는, 그래픽스 표시 위치가 동적인 업 데이터를 보다 순조롭게 행하는 것이 가능해진다.
도 32, 도 33 및 도 34는, 각각, 픽처마다의 압축부호화된 시차정보를 픽처 단위로 삽입하는 경우에 있어서의 「depth_information_sei()」의 구조례(Syntax)를 도시하고 있다. 도 18에는, 이들의 구조례에서의 주요한 정보의 내용(Semantics)이 도시되어 있다. 상세 설명은 생략하지만, 이들의 구조례는, 시차정보가 압축부호화된 것을 제외하고, 상술한 도 15, 도 16 및 도 17에 도시하는 구조례(Syntax)와 마찬가지이다.
도 35, 도 36 및 도 37은, 각각, 픽처마다의 압축부호화된 시차정보를 GOP 단위로 삽입하는 경우와 같이, 복수의 픽처를 통합하여 부호화하는 경우에 있어서의, 「depth_information_sei()」의 구조례(Syntax)를 도시하고 있다. 도 18에는, 이들의 구조례에서의 주요한 정보의 내용(Semantics)이 도시되어 있다. 상세 설명은 생략하지만, 이들의 구조례는, 시차정보가 압축부호화된 것을 제외하고, 상술한 도 20, 도 21 및 도 22에 도시하는 구조례(Syntax)와 마찬가지이다.
도 38은, 예측 타입 3(Prediction Type 3)인 경우에 적용 가능한 「depth_information_sei()」의 구조례(Syntax)를 도시하고 있다. 도 18에는, 이들의 구조례에서의 주요한 정보의 내용(Semantics)이 도시되어 있다. 「picture_count_for_skipping」의 필드는, 시차정보(disparity)의 예측처로서의 이전의 피참조 픽처까지의 픽처수를 나타낸다. 또한, 이 필드의 정보는, 예를 들면, 도 39에 도시하는 「Exp-Golomb 부호 ue(v)」 등을 이용하여, 픽처수를 가변길이 부호화한 후에 삽입하는 것도 생각된다.
「partition_enabled_flag」의 1비트의 플래그 정보는, 화면이 분할되어 있는지의 여부를 나타낸다. 이 플래그 정보가 "1"일 때는 픽처 표시 화면이 분할되어 있는 것을 나타내고, 이 플래그 정보가 "0"일 때는 화면이 분할되지 않은 것을 나타낸다. 이 플래그 정보에 의해, 수신측에서는, 송신되어 오는 시차정보가 픽처 표시 화면 전체에 대응하는 것인지 복수의 분할 영역마다의 것인 것인지를 용이하게 파악 가능해진다.
또한, 상술한 도 15 내지 도 17, 도 20 내지 도 22, 도 32 내지 도 37에 도시하는 각 구조례(Syntax)에서, 「partition_type」의 3비트 필드를, 이 「partition_enabled_flag」의 1비트의 플래그 정보로 치환하는 것도 가능하다. 또는, 「partition_type」의 3비트 필드를, 이 「partition_enabled_flag」와 마찬가지 플래그 정보로서 취급하는 것도 가능하다. 그 경우, 3비트중의 어느 하나의 비트가 "1"일 때는 픽처 표시 화면이 분할되어 있는 것을 나타내고, 3비트의 전부가 "0"일 때는 화면이 분할되지 않은 것을 나타내는 것으로 한다.
도 38로 되돌아와, 「Intra_disparity_flag」의 1비트의 플래그 정보는, 시차정보(disparity)의 값이 비예측치(인트라 데이터)인지의 여부를 나타낸다. 이 플래그 정보가 "1"일 때는 비예측치(인트라 데이터)인 것을 나타내고, 이 플래그 정보가 "0"일 때는 예측치(차분 데이터)인 것을 나타낸다. 또한, 상술한 도 32 내지 도 37에 도시하는 각 구조례(Syntax)에서도, 이 「Intra_disparity_flag」의 1비트의 플래그 정보를 더욱 부가하도록 하여도 좋다. 이 경우, 수신측에서는, 삽입되어 있는 시차정보가 인트라 데이터인지 차분 데이터인지를 용이하게 파악 가능해진다.
「partition_count」의 4비트 필드는, 분할 영역(Partition)의 총수를 나타낸다. 「max_disparity_in_partition」의 필드는, 각 분할 영역(Partition)의 제2의 시차정보, 즉 각 분할 영역에서의 최대의 시차정보(disparity값)를 나타낸다. 「min_disparity_in_partition」의 필드는, 각 분할 영역(Partition)의 제1의 시차정보, 즉 각 분할 영역에서의 최소의 시차정보(disparity값)를 나타낸다.
도 38에 도시하는 「depth_information_sei()」의 구조례(Syntax)는, 도 32에 도시하는 「depth_information_sei()」의 구조례(Syntax)에 대응한 것이다. 도시는 생략하지만, 그 밖의 도 33 내지 도 37에 도시하는 「depth_information_sei()」의 구조례(Syntax)에 대응한 것도 마찬가지로 생각된다. 또한, 도 38에 도시하는 「depth_information_sei()」의 구조례(Syntax) 대신에, 도 40에 도시하는 「depth_information_sei()」의 구조례(Syntax)도 생각된다. 이 경우, 「partition_type」의 3비트 필드는, 예를 들면, 「partition_enabled_flag」와 마찬가지 플래그 정보로서 취급된다.
「셋톱박스의 설명」
셋톱박스(200)는, 방송국(100)으로부터 방송파에 실어서 보내 오는 트랜스포트 스트림(TS)을 수신한다. 또한, 셋톱박스(200)는, 이 트랜스포트 스트림(TS)에 포함되는 비디오 스트림을 디코드하여, 입체화상을 구성하는 좌안화상 데이터 및 우안화상 데이터를 생성한다. 또한, 셋톱박스(200)는, 비디오 스트림에 삽입되어 있는, 화상 데이터의 픽처마다의 시차정보(제1의 시차정보, 제2의 시차정보)를 추출한다.
셋톱박스(200)는, 제1의 시차정보 및 제2의 시차정보에 의거하여, 예를 들면, 가장 면전의 오브젝트 재생 위치에 대한 시차각(교차방향의 시차각) 및 가장 면후의 오브젝트 재생 위치에 대한 시차각(동측방향의 시차각)이 시청상 건강을 해치지 않는 소정의 범위 내에 있는지의 여부를 체크한다. 그리고, 셋톱박스(200)는, 소정의 범위 내에 수속되지 않은 경우에는, 수속되도록 좌안화상 데이터 및 우안화상 데이터를 재구성함과 함께, 제1의 시차정보 및 제2의 시차정보를 수정한다.
또한, 셋톱박스(200)는, 픽처에 그래픽스(STB 그래픽스)를 중첩 표시할 때에는, 화상 데이터 및 시차정보(제1의 시차정보)와, 그래픽스 데이터를 이용하여, 그래픽스가 중첩된 좌안화상 및 우안화상의 데이터를 얻는다. 이 경우, 셋톱박스(200)는, 좌안화상 및 우안화상에 중첩되는 그래픽스에, 픽처마다, 이 그래픽스의 표시 위치에 대응한 시차를 부여하고, 그래픽스가 중첩된 좌안화상의 데이터 및 그래픽스가 중첩된 우안화상의 데이터를 얻는다.
상술한 바와 같이 그래픽스에 시차를 부여함으로써, 입체화상에 중첩 표시되는 그래픽스(STB 그래픽스)를, 그 표시 위치에서의 입체화상의 오브젝트보다도 면전에 표시시킬 수 있다. 이에 의해, OSD 또는 어플리케이션 또는 프로그램 정보의 EPG 등의 그래픽스를 화상에 중첩 표시하는 경우에, 화상 내의 각 오브젝트에 대한 원근감의 정합성을 유지할 수 있다.
도 41은, 시차정보에 의한 그래픽스의 깊이 제어의 개념을 도시하고 있다. 시차정보가 마이너스값인 경우, 스크린상에서 좌안 표시용의 그래픽스가 우측으로, 우안 표시용의 그래픽스가 좌측으로 어긋나도록 시차가 부여된다. 이 경우, 그래픽스의 표시 위치는 스크린보다도 면전이 된다. 또한, 시차정보가 플러스값인 경우, 스크린상에서 좌안 표시용의 그래픽스가 좌측으로, 우안 표시용의 그래픽스가 우측으로 어긋나도록 시차가 부여된다. 이 경우, 그래픽스의 표시 위치는 스크린보다도 면후가 된다.
상술한 바와 같이, 비디오 스트림에는, 화상 데이터의 픽처마다 취득된 시차정보가 삽입되어 있다. 그 때문에, 셋톱박스(200)는, 시차정보에 의한 그래픽스의 깊이 제어를, 그래픽스의 표시 타이밍에 맞춘 시차정보를 이용하여 정밀도 좋게 행할 수 있다.
또한, 도 41은, 동측방향의 시차각(θ0-θ2)과, 교차방향의 시차각(θ0-θ1)을 나타내고 있다. 셋톱박스(200)에서는, 비디오 스트림에 삽입되어 오는 픽처마다의 제1의 시차정보 및 제2의 시차정보에 의거하여, 이들의 시차각이 시청상 건강을 해치지 않는 소정의 범위 내에 있는지의 여부가 체크된다.
도 42는, 비디오 스트림에 픽처 단위로 시차정보가 삽입되어 있는 경우의 예로서, 셋톱박스(200)에서는, 화상 데이터의 픽처 타이밍으로 순차적으로 시차정보가 취득된다. 그래픽스의 표시에서는, 그래픽스의 표시 타이밍에 맞춘 시차정보(제1의 시차정보)가 사용되고, 그래픽스에 적절한 시차가 부여된다. 또한, 도 43은, 예를 들면, 비디오 스트림에 GOP 단위로 시차정보가 삽입되어 있는 경우의 예로서, 셋톱박스(200)에서는, 화상 데이터의 GOP의 선두 타이밍에서, GOP 내의 각 픽처의 시차정보(시차정보 세트)가 통합하여 취득된다. 그래픽스(STB 그래픽스)의 표시에서는, 그래픽스의 표시 타이밍에 맞춘 시차정보(제1의 시차정보)가 사용되고, 그래픽스에 적절한 시차가 부여된다.
도 44(a)의 「Side View」는, 화상상에서의 자막(서브타이틀) 및 OSD 그래픽스의 표시례를 도시하고 있다. 이 표시례에서는, 배경, 중경 오브젝트 및 근경 오브젝트로 이루어지는 화상상에, 자막 및 그래픽스가 중첩된 예이다. 도 44(b)의 「Top View」는, 배경, 중경 오브젝트, 근경 오브젝트, 자막 및 그래픽스의 원근감을 나타내고 있다. 자막 및 그래픽스는, 표시 위치에 대응하는 오브젝트보다도 면전에 있는 것처럼 인식되는 것을 나타내고 있다. 또한, 도시하지 않지만, 자막과 그래픽스의 표시 위치가 겹쳐지는 경우에는, 예를 들면, 그래픽스가 자막보다도 앞에 인식되도록, 그래픽스에 적절한 시차가 부여된다.
「셋톱박스의 구성례」
도 45는, 셋톱박스(200)의 구성례를 도시하고 있다. 셋톱박스(200)는, 컨테이너 버퍼(211)와, 디멀티플렉서(212)와, 코티드 버퍼(213)와, 비디오 디코더(214)와, 디코티드 버퍼(215)와, 스케일러(216)와, L/R 재구성부(263)와, 중첩부(217)를 갖고 있다. 또한, 셋톱박스(200)는, 압축 복호화부(261)와, 시차정보 버퍼(218)와, 시차정보 제어부(262)와, 셋톱박스(STB) 그래픽스 발생부(219)와, 깊이 제어부(220)와, 그래픽스 버퍼(221)를 갖고 있다.
또한, 셋톱박스(200)는, 코티드 버퍼(231)와, 서브타이틀 디코더(232)와, 픽셀 버퍼(233)와, 서브타이틀 시차정보 버퍼(234)와, 서브타이틀 표시 제어부(235)를 갖고 있다. 또한, 셋톱박스(200)는, 코티드 버퍼(241)와, 오디오 디코더(242)와, 오디오 버퍼(243)와, 채널 믹싱부(244)와, HDMI 송신부(251)를 갖고 있다.
컨테이너 버퍼(211)는, 도시하지 않은 디지털 튜너 등에서 수신된 트랜스포트 스트림(TS)을 일시적으로 기억한다. 이 트랜스포트 스트림(TS)에는, 비디오 스트림, 서브타이틀 스트림 및 오디오 스트림이 포함되어 있다. 비디오 스트림으로서, 좌안화상 데이터 및 우안화상 데이터가 부호화되어 얻어진 하나 또는 둘의 비디오 스트림이 포함되어 있다.
예를 들면, 좌안화상 데이터 및 우안화상 데이터에 의해 사이드·바이·사이드 방식 또는 톱·앤드·보텀 방식의 화상 데이터가 구성되어 하나의 비디오 스트림으로 보내 오는 일이 있다. 또한, 예를 들면, 좌안화상 데이터 및 우안화상 데이터가, MVC의 베이스 뷰 스트림, 논베이스 뷰 스트림과 같이, 각각, 별개의 비디오 스트림으로 보내 오는 일이 있다.
디멀티플렉서(212)는, 컨테이너 버퍼(211)에 일시적으로 기억된 트랜스포트 스트림(TS)으로부터, 비디오, 서브타이틀 및 오디오의 각 스트림을 추출한다. 또한, 디멀티플렉서(212)는, 이 트랜스포트 스트림(TS)으로부터, 비디오 스트림에 시차정보가 삽입되어 있는지의 여부를 나타내는 식별 정보(「graphics_depth_info_not_existed_flag[0]」의 플래그 정보)를 추출하고, 도시하지 않은 제어부(CPU)에 보낸다. 비디오 디코더(214)는, 제어부(CPU)의 제어하에서, 식별 정보가 시차정보의 삽입을 나타낼 때, 후술하는 바와 같이, 비디오 스트림으로부터 시차정보(제1의 시차정보, 제2의 시차정보)를 취득한다.
코티드 버퍼(213)는, 디멀티플렉서(212)에서 추출된 비디오 스트림을 일시적으로 기억한다. 비디오 디코더(214)는, 코티드 버퍼(213)에 기억되어 있는 비디오 스트림에 디코드 처리를 행하여, 좌안화상 데이터 및 우안화상 데이터를 취득한다. 또한, 비디오 디코더(214)는, 비디오 스트림에 삽입되어 있는 화상 데이터의 픽처마다의 시차정보(제1의 시차정보, 제2의 시차정보)를 취득한다. 디코티드 버퍼(215)는, 비디오 디코더(214)에서 취득된 좌안화상 데이터 및 우안화상 데이터를 일시적으로 기억한다.
압축 복호화부(261)는, 비디오 디코더(214)에서 취득된 화상 데이터의 픽처마다의 시차정보(제1의 시차정보, 제2의 시차정보)를 입력하고, 이 입력 시차정보가 압축부호화된 것일 때, 복호화 처리를 행한다. 입력 시차정보가 압축부호화되어 있지 않은 것일 때, 압축 복호화부(261)는, 그 입력 시차정보를 그대로 출력 시차정보로 한다.
이 압축 복호화부(261)는, 도 24에 도시하는 송신 데이터 생성부(110A)에서 압축부호화부(120)와는 반대의 처리를 행한다. 도 46은, 압축 복호화부(261)의 개략 구성례를 도시하고 있다. 이 압축 복호화부(261)는, 가변길이 복호화부(264)와, 버퍼(265)와, 가산부(266)를 갖고 있다. 가변길이 복호화부(264)는, 압축부호화된 입력 시차정보에 대해 가변길이 복호화를 행한다. 버퍼(265)는, 복호화된 출력 시차정보를 일시적으로 기억한다. 가산부(266)는, 참조 픽처의 차분 데이터를 피참조 픽처의 시차정보에 가산하여, 참조 픽처의 출력 시차정보를 얻는다.
도 45로 되돌아와, 시차정보 버퍼(218)는, 압축 복호화된 시차정보(제1의 시차정보, 제2의 시차정보)를, 일시적으로 기억한다. 시차정보 제어부(262)는, 시차정보 버퍼(218)에 기억되어 있는 픽처마다의 제1의 시차정보 및 제2의 시차정보에 의거하여, 가장 면전의 오브젝트 재생 위치에 대한 시차각(교차방향의 시차각) 및 가장 면후의 오브젝트 재생 위치에 대한 시차각(동측방향의 시차각)이 시청상 건강을 해치지 않는 소정의 범위 내에 있는지의 여부를 체크한다.
또한, 이 시차정보 제어부(262)는, 시차각이 소정의 범위 내에 수속되지 않은 경우에는, 시차각이 소정의 범위 내로 수속되도록, L/R 재구성부(263)에 좌안화상 데이터 및 우안화상 데이터의 재구성을 지시한다. 또한, 시차정보 제어부(262)는, 재구성된 좌안화상 데이터 및 우안화상 데이터에 맞추어서 제1의 시차정보 및 /또는 제2의 시차정보를 수정하여 출력한다. 또한, 시차정보 제어부(262)는, 시차각이 소정의 범위 내로 수속되어 있는 경우에는, L/R 재구성부(263)에 좌안화상 데이터 및 우안화상 데이터의 재구성을 지시하는 일은 없고, 또한, 제1의 시차정보 및 제2의 시차정보를 수정하는 일 없이 그대로 출력한다.
도 47의 상부는, 수신 데이터(좌안화상 데이터 및 우안화상 데이터)에서의 면전(near)측과 면후(far)측의 시차각의 시간 추이의 한 예를 도시하고 있다. 범위(d)는, 시청상 건강에 해로움을 주지 않는 시차각의 범위를 도시하고 있다. 이 예에서는, 면후(far)측의 시차각에 범위(d)에 수속되지 않은 구간이 있다.
도 47의 하부는, 재구성 후의 데이터(좌안화상 데이터 및 우안화상 데이터)에서의 면전(near)측과 면후(far)측의 시차각의 시간 추이의 한 예를 도시하고 있다. (a)는, 범위(d)를 넘은 때에 리밋 제어를 한 경우의 예이다. (b)는, 범위(d)를 넘지 않도록, 전체의 깊이 량(depth volume)을 저감한 경우의 예이다.
도 48은, 시차정보 제어부(262)의 구성례를 도시하고 있다. 이 시차정보 제어부(262)는, 최대치 취득부(271)와, 최소치 취득부(272)와, 시차각 체크부(272)와, 시차정보 보정부(274)를 갖고 있다. 최대치 취득부(271)는, 수신된 제2의 시차정보(Max disparity)로부터 최대치의 것을 선택하고, 시차각 체크부(273)에 공급한다. 수신된 제2의 시차정보는, 픽처 화면 전체의 것인 경우에는 1개이고, 복수의 분할 영역마다의 것이면 복수개가 된다. 최소치 취득부(272)는, 수신된 제1의 시차정보(Min disparity)로부터 최소치의 것을 선택하고, 시차각 체크부(273)에 공급한다. 수신된 제1의 시차정보는, 픽처 화면 전체의 것인 경우에는 1개이고, 복수의 분할 영역마다의 것이라면 복수개가 된다.
시차각 체크부(273)는, 제1의 시차정보 및 제2의 시차정보에 의거하여, 면전측의 시차각과 면후측의 시차각이, 시청상 건강에 해로움을 주지 않는 시차각의 범위(d)(도 47 참조)에 수속되어 있는지의 여부를 체크하고, 그 체크 결과를 시차정보 보정부(274)에 공급한다. 시차정보 보정부(274)는, 시차각이 범위(d)에 수속되지 않을 때, 시차각이 범위(d)에 수속되도록, L/R 재구성부(263)에, 수신된 좌안화상 데이터 및 우안화상 데이터의 재구성을 지시한다.
또한, 시차정보 보정부(274)에는, 수신된 제1의 시차정보(Min disparity) 및 제2의 시차정보(Max disparity)가 공급되어 있다. 시차정보 보정부(274)는, 상술한 좌안화상 데이터 및 우안화상 데이터의 재구성 지시에 맞추어서 제1의 시차정보 및 제2의 시차정보에 대해 수정 처리를 행하여, 수정 후의 제1의 시차정보(Corrected Min disparity) 및 제2의 시차정보(Corrected Max disparity)를 출력한다. 또한, 시차정보 보정부(274)는, 시차각이 범위(d)에 수속되어 있을 때에는, L/R 재구성부(263)에 좌안화상 데이터 및 우안화상 데이터의 재구성을 지시하는 일은 없고, 또한, 제1의 시차정보 및 제2의 시차정보를 수정하는 일 없이 그대로 출력한다.
도 45로 되돌아와, 스케일러(216)는, 디코티드 버퍼(215)로부터 출력되는 좌안화상 데이터 및 우안화상 데이터에 대해, 필요에 응하여, 수평 방향이나 수직 방향의 스케일링 처리를 행한다. 예를 들면, 좌안화상 데이터 및 우안화상 데이터가 사이드·바이·사이드 방식 또는 톱·앤드·보텀 방식의 화상 데이터로서 하나의 비디오 스트림으로 보내 오는 경우에는, 수평 방향 또는 수직 방향으로 2배로 스케일 업하여 출력한다. 또한, 예를 들면, 좌안화상 데이터 및 우안화상 데이터가 MVC의 베이스 뷰 스트림, 논베이스 뷰 스트림과 같이, 각각, 별개의 비디오 스트림으로 보내 오는 경우에는, 스케일링 처리를 행하는 일 없이, 좌안화상 데이터 및 우안화상 데이터를 그대로 출력한다.
L/R 재구성부(263)는, 좌안화상 데이터 및 우안화상 데이터를 재구성한다. 즉, L/R 재구성부(263)는, 동측방향 또는 교차방향의 시차각의 어느 하나가 시청상 건강을 해치지 않는 소정의 범위 내로부터 비어져 나올 때, 상술한 시차정보 제어부(262)로부터의 재구성 지시에 의거하여, 소정의 범위 내로 수속되도록 좌안화상 데이터 및 우안화상 데이터를 재구성한다.
코티드 버퍼(231)는, 디멀티플렉서(214)에서 추출되는 서브타이틀 스트림을 일시적으로 기억한다. 서브타이틀 디코더(232)는, 상술한 송신 데이터 생성부(110)의 서브타이틀 인코더(117)(도 8 참조)와는 역의 처리를 행한다. 즉, 서브타이틀 디코더(232)는, 코티드 버퍼(231)에 기억되어 있는 서브타이틀 스트림의 디코드 처리를 행하여, 서브타이틀 데이터를 얻는다.
이 서브타이틀 데이터에는, 서브타이틀(자막)의 비트맵 데이터와, 이 서브타이틀의 표시 위치 정보 「Subtitle rendering position (x2, y2)」와, 서브타이틀(자막)의 시차정보 「Subtitle disparity」가 포함되어 있다. 픽셀 버퍼(233)는, 서브타이틀 디코더(232)에서 얻어지는 서브타이틀(자막)의 비트맵 데이터 및 서브타이틀(자막)의 표시 위치 정보 「Subtitle rendering position (x2, y2)」를 일시적으로 기억한다. 서브타이틀 시차정보 버퍼(234)는, 서브타이틀 디코더(232)에서 얻어지는 서브타이틀(자막)의 시차정보 「Subtitle disparity」를 일시적으로 기억한다.
서브타이틀 표시 제어부(235)는, 서브타이틀(자막)의 비트맵 데이터와, 이 서브타이틀(자막)의 표시 위치 정보 및 시차정보에 의거하여, 시차가 부여된 좌안 표시용 및 우안 표시용의 서브타이틀의 비트맵 데이터 「Subtitle data」를 생성한다. 셋톱박스(STB) 그래픽스 발생부(219)는, OSD 또는 어플리케이션, 또는 EPG 등의 그래픽스 데이터를 발생한다. 이 그래픽스 데이터에는, 그래픽스 비트맵 데이터 「Graphics data」와, 이 그래픽스의 표시 위치 정보 「Graphics rendering position (x1, y1)」가 포함되어 있다.
그래픽스 버퍼(221)는, 셋톱박스 그래픽스 발생부(219)에서 발생된 그래픽스 비트맵 데이터 「Graphics data」를 일시적으로 기억한다. 중첩부(217)는, 좌안화상 데이터 및 우안화상 데이터에, 각각, 서브타이틀 표시 제어부(235)에서 생성된 좌안 표시용 및 우안 표시용의 서브타이틀의 비트맵 데이터 「Subtitle data」를 중첩한다.
또한, 중첩부(217)는, 좌안화상 데이터 및 우안화상 데이터에, 각각, 그래픽스 버퍼(221)에 기억되어 있는 그래픽스 비트맵 데이터 「Graphics data」를 중첩한다. 이 때, 좌안화상 데이터 및 우안화상 데이터의 각각에 중첩되는 그래픽스 비트맵 데이터 「Graphics data」에는, 후술하는 깊이 제어부(220)에 의해, 시차가 부여된다. 여기서, 그래픽스 비트맵 데이터 「Graphics data」가 서브타이틀의 비트맵 데이터 「Subtitle data」와 동일 화소를 공유하는 경우, 중첩부(217)는, 서브타이틀 데이터의 위에 그래픽스 데이터를 덮어쓴다.
깊이 제어부(220)는, 좌안화상 데이터 및 우안화상 데이터의 각각에 중첩되는 그래픽스 비트맵 데이터 「Graphics data」에 시차를 부여한다. 그 때문에, 깊이 제어부(220)는, 화상 데이터의 픽처마다, 좌안 표시용 및 우안 표시용의 그래픽스의 표시 위치 정보 「Rendering position」을 생성하고, 그래픽스 버퍼(221)에 기억되어 있는 그래픽스 비트맵 데이터 「Graphics data」의 좌안화상 데이터 및 우안화상 데이터에의 중첩 위치의 시프트 제어를 행한다.
깊이 제어부(220)는, 도 49에 도시하는 바와 같이, 이하의 정보를 이용하여, 표시 위치 정보 「Rendering position」을 생성한다. 즉, 깊이 제어부(220)는, 시차정보 제어부(262)로부터 출력되는 픽처마다의 제1의 시차정보(Min disparity)를 이용한다. 또한, 깊이 제어부(220)는, 픽셀 버퍼(233)에 기억되어 있는 서브타이틀(자막)의 표시 위치 정보 「Subtitle rendering position (x2, y2)」를 이용한다.
또한, 깊이 제어부(220)는, 서브타이틀 시차정보 버퍼(234)에 기억되어 있는 서브타이틀(자막)의 시차정보 「Subtitle disparity」를 이용한다. 또한, 깊이 제어부(220)는, 셋톱박스 그래픽스 발생부(219)에서 발생되는 그래픽스의 표시 위치 정보 「Graphics rendering position (x1, y1)」를 이용한다. 또한, 깊이 제어부(220)는, 비디오 스트림에 시차정보가 삽입되어 있는지의 여부를 나타내는 식별 정보를 이용한다.
또한, 깊이 제어부(220)는, 시차정보 제어부(262)로부터 출력되는 픽처마다의 제1의 시차정보(Min disparity)를, 자막 또는 그래픽스의 픽처에의 중첩에 응하여 갱신한다. 이 경우, 깊이 제어부(220)는, 서브타이틀(자막)의 표시 위치 및 그래픽스의 표시 위치에 대응한 분할 영역(Partition)의 시차정보(Disparity)의 값을, 예를 들면, 서브타이틀(자막) 또는 그래픽스의 시차 부여에 사용된 시차정보(Disparity)의 값으로 갱신한다.
도 50, 도 51의 플로 차트는, 깊이 제어부(220)의 제어 처리의 순서의 한 예를 도시하고 있다. 깊이 제어부(220)는, 이 제어 처리를, 그래픽스 표시를 행하는 각 픽처(프레임)에서 실행한다. 깊이 제어부(220)는, 스텝 ST1에서, 제어 처리를 시작한다. 그 후에, 스텝 ST2에서, 식별 정보에 의거하여, 비디오 스트림에 그래픽스용의 시차정보의 삽입이 있는지의 여부를 판단한다.
비디오 스트림에 시차정보의 삽입이 있을 때, 깊이 제어부(220)는, 스텝 ST3의 처리로 이동한다. 이 스텝 ST3에서, 그래픽스를 중첩 표시(overlay)하는 좌표가 포함되는 분할 영역(partition)을 전부 검사한다. 그리고, 깊이 제어부(220)는, 스텝 ST4에서, 대상이 되는 분할 영역(partition)의 시차정보(disparity)를 비교하여, 최적치, 예를 들면 최소치를 선택하여, 그래픽스 시차정보(disparity)의 값(graphics_disparity)으로 한다.
다음에, 깊이 제어부(220)는, 스텝 ST5의 처리로 이동한다. 상술한 스텝 ST2에서 비디오 스트림에 시차정보의 삽입이 없을 때, 깊이 제어부(220)는, 곧바로, 스텝 ST5의 처리로 이동한다. 이 스텝 ST5에서, 깊이 제어부(220)는, 시차정보(disparity)를 갖은 서브타이틀 스트림(Subtitle stream)이 있는지의 여부를 판단한다.
시차정보(disparity)를 갖은 서브타이틀 스트림(Subtitle stream)이 있을 때, 깊이 제어부(220)는, 스텝 ST6에서, 서브타이틀용의 시차정보(disparity)의 값(subtitle_disparity)과, 그래픽스용의 시차정보의 값(graphics_disparity)을 비교한다. 또한, 그래픽스용의 시차정보의 값(graphics_disparity)은, 비디오 스트림에 그래픽스용의 시차정보(disparity)의 삽입이 없을 때는, 예를 들면, 「0」이 된다.
다음에, 깊이 제어부(220)는, 스텝 ST7에서, 「subtitle_disparity>(graphics_disparity)의 조건을 만족하는지의 여부를 판단한다. 이 조건을 만족할 때, 깊이 제어부(220)는, 스텝 ST8에서, 그래픽스 버퍼(221)에 기억되어 있는 그래픽스 비트맵 데이터 「Graphics data」에 대해, 그래픽스용의 시차정보(disparity)의 값(graphics_disparity)과 동등한 값을 이용하여, 표시 위치가 시프트된 좌안 표시용 및 우안 표시용의 그래픽스 비트맵 데이터를 얻어, 각각, 좌안화상 데이터 및 우안화상 데이터에 중첩한다.
다음에, 깊이 제어부(220)는, 스텝 ST9에서, 서브타이틀 또는 그래픽스를 중첩시킨 화면 위치에 상당하는 분할 영역(Partition)의 시차정보(disparity)의 값을 갱신한다. 깊이 제어부(220)는, 스텝 ST9의 처리의 후, 스텝 ST10에서, 제어 처리를 종료한다.
한편, 스텝 ST7에서 조건을 만족하지 않을 때, 깊이 제어부(220)는, 스텝 ST10에서, 그래픽스 버퍼(221)에 기억되어 있는 그래픽스 비트맵 데이터 「Graphics data」에 대해, 서브타이틀용의 시차정보(disparity)보다도 작은 값을 이용하여, 표시 위치가 시프트된 좌안 표시용 및 우안 표시용의 그래픽스 비트맵 데이터를 얻어, 각각, 좌안화상 데이터 및 우안화상 데이터에 중첩한다. 깊이 제어부(220)는, 스텝 ST11의 처리의 후, 스텝 ST9의 처리를 경유하여, 스텝 ST10에서, 제어 처리를 종료한다.
또한, 스텝 ST5에서 시차정보(disparity)를 갖은 서브타이틀 스트림(Subtitle stream)이 없을 때, 깊이 제어부(220)는, 스텝 ST12의 처리로 이동한다. 이 스텝 ST12에서, 깊이 제어부(220)는, 스텝 ST4에서 얻어지는 그래픽스용의 시차정보의 값(graphics_disparity)을 이용든지, 또는 셋톱박스(200)에서 산출된 시차정보(disparity)의 값을 이용하여, 그래픽스의 깊이 제어를 행한다.
즉, 깊이 제어부(220)는, 그래픽스 버퍼(221)에 기억되어 있는 그래픽스 비트맵 데이터 「Graphics data」에 대해, 그래픽스용의 시차정보의 값(graphics_disparity) 또는 산출된 시차정보(disparity)의 값을 이용하여, 표시 위치가 시프트된 좌안 표시용 및 우안 표시용의 그래픽스 비트맵 데이터를 얻어, 각각, 좌안화상 데이터 및 우안화상 데이터에 중첩한다. 깊이 제어부(220)는, 스텝 ST12의 처리의 후, 스텝 ST9의 처리를 경유하여, 스텝 ST10에서, 제어 처리를 종료한다.
도 52는, 셋톱박스(200)에서의 그래픽스의 깊이 제어례를 도시하고 있다. 이 예에서, 그래픽스(STB 그래픽스)는, 우측의 8개의 분할 영역(Partition 2, 3, 6, 7, 10, 11, 14, 15)의 시차정보 중 최소의 값의 시차정보에 의거하여, 좌안 표시용의 그래픽스 및 우안 표시용의 그래픽스에 시차가 부여된다. 그 결과, 그래픽스는, 이들 8개의 분할 영역의 픽처(비디오) 오브젝트보다 면전에 표시되게 된다.
도 53도, 셋톱박스(200)에서의 그래픽스의 깊이 제어례를 도시하고 있다. 이 예에서, 그래픽스(STB 그래픽스)는, 우측의 8개의 분할 영역(Partition 2, 3, 6, 7, 10, 11, 14, 15)의 시차정보 중 최소의 값의 시차정보, 나아가서는 서브타이틀(자막)의 시차정보에 의거하여, 좌안 표시용의 그래픽스 및 우안 표시용의 그래픽스에 시차가 부여된다.
그 결과, 그래픽스는, 이들 8개의 분할 영역의 픽처(비디오) 오브젝트보다 면전에서, 또한, 서브타이틀(자막)보다도 면전에 표시되게 된다. 또한, 이 경우, 서브타이틀(자막)도, 서브타이틀(자막)의 시차정보에 의거하여, 서브타이틀의 표시 위치에 대응한 4개의 분할 영역(Partition 8, 9, 10, 11)의 픽처(비디오) 오브젝트보다 면전에 표시되게 된다.
또한, 이 도 53의 깊이 제어례의 경우의 시차정보의 갱신 처리는, 예를 들면, 이하와 같이 행하여진다. 즉, 최초에, 서브타이틀의 표시 위치에 대응한 4개의 분할 영역(Partition 8, 9, 10, 11)의 시차정보(Disparity)의 값이, 서브타이틀에의 시차 부여에 사용된 시차정보치(subtitle_disparity)로 갱신된다. 그 후, 8개의 분할 영역(Partition2, 3, 6, 7, 10, 11, 14, 15)의 시차정보(Disparity)의 값이, 그래픽스에의 시차 부여에 사용된 시차정보치(graphics_disparity)로 갱신된다.
도 45로 되돌아와, 코티드 버퍼(241)는, 디멀티플렉서(212)에서 추출된 오디오 스트림을 일시적으로 기억한다. 오디오 디코더(242)는, 상술한 송신 데이터 생성부(110)의 오디오 인코더(119)(도 8 참조)와는 역의 처리를 행한다. 즉, 오디오 디코더(242)는, 코티드 버퍼(241)에 기억되어 있는 오디오 스트림의 복호화 처리를 행하여, 복호화된 음성 데이터를 얻는다. 오디오 버퍼(243)는, 오디오 디코더(242)에서 얻어지는 음성 데이터를 일시적으로 기억한다. 채널 믹싱부(244)는, 오디오 버퍼(243)에 기억되어 있는 음성 데이터에 대해, 예를 들면 5.1ch 서라운드 등을 실현하기 위한 각 채널의 음성 데이터를 생성하여 출력한다.
또한, 디코티드 버퍼(215), 시차정보 버퍼(218), 픽셀 버퍼(233), 서브타이틀 시차정보 버퍼(234) 및 오디오 버퍼(243)로부터의 정보(데이터)의 판독은, PTS에 의거하여 행하여지고, 전송 동기가 취하여진다.
HDMI 송신부(251)는, HDMI에 준거한 통신에 의해, 중첩부(217)에서 서브타이틀 및 그래픽스의 중첩 처리가 되어 얻어진 좌안화상 데이터 및 우안화상 데이터와, 채널 믹싱부(244)에서 얻어진 각 채널의 음성 데이터를, HDMI의 싱크 기기, 이 실시의 형태에서는 텔레비전 수신기(300)에 송신한다. 여기서, 중첩부(217)에서 얻어지는 좌안화상 데이터는, 좌안 표시용의 서브타이틀(자막) 및 STB 그래픽스가 중첩된 좌안화상의 데이터이다. 또한, 중첩부(217)에서 얻어지는 우안화상 데이터는, 우안 표시용의 서브타이틀(자막) 및 STB 그래픽스가 중첩된 우안화상의 데이터이다.
또한, 이 HDMI 송신부(251)는, 깊이 제어부(220)에서 갱신된 각 픽처의 제1의 시차정보(Min disparity), 및 시차정보 제어부(262)로부터 출력되는 각 픽처의 제2의 시차정보(Max disparity)를, HDMI 인터페이스로, 텔레비전 수신기(300)에 송신한다. 이 실시의 형태에서, 이들 제1의 시차정보 및 제2의 시차정보는, 화상 데이터의 블랭킹 기간에 삽입되어, 송신된다. 이 HDMI 송신부(251)의 상세는 후술한다.
도 45에 도시하는 셋톱박스(200)의 동작을 간단히 설명한다. 디지털 튜너 등에서 수신된 트랜스포트 스트림(TS)은, 컨테이너 버퍼(211)에 일시적으로 기억된다. 이 트랜스포트 스트림(TS)에는, 비디오 스트림, 서브타이틀 스트림 및 오디오 스트림이 포함되어 있다. 비디오 스트림으로서는, 좌안화상 데이터 및 우안화상 데이터가 부호화되어 얻어진 하나 또는 둘의 비디오 스트림이 포함되어 있다.
디멀티플렉서(212)에서는, 컨테이너 버퍼(211)에 일시적으로 기억된 트랜스포트 스트림(TS)으로부터, 비디오, 서브타이틀 및 오디오의 각 스트림이 추출된다. 또한, 디멀티플렉서(212)에서는, 이 트랜스포트 스트림(TS)으로부터, 비디오 스트림에 시차정보가 삽입되어 있는지의 여부를 나타내는 식별 정보(「graphics_depth_info_not_existed_flag[0]」의 플래그 정보)가 추출되어, 도시하지 않은 제어부(CPU)에 보내진다.
디멀티플렉서(212)에서 추출된 비디오 스트림은 코티드 버퍼(213)에 공급되어 일시적으로 기억된다. 그리고, 비디오 디코더(214)에서는, 코티드 버퍼(213)에 기억되어 있는 비디오 스트림의 디코드 처리가 행하여져서, 좌안화상 데이터 및 우안화상 데이터가 취득된다. 이 좌안화상 데이터 및 우안화상 데이터는, 디코티드 버퍼(215)에 일시적으로 기억된다.
또한, 비디오 디코더(214)에서는, 비디오 스트림에 삽입되어 있는, 화상 데이터의 픽처마다의 시차정보(제1의 시차정보, 제2의 시차정보)가 취득된다. 이 시차정보는, 압축 복호화부(261)에서 적절히 압축 복호화가 행하여진 후에, 시차정보 버퍼(218)에 일시적으로 기억된다. 시차정보 제어부(262)에서는, 시차정보 버퍼(218)에 기억되어 있는 픽처마다의 제1의 시차정보 및 제2의 시차정보에 의거하여, 가장 면전의 오브젝트 재생 위치에 대한 시차각(교차방향의 시차각) 및 가장 면후의 오브젝트 재생 위치에 대한 시차각(동측방향의 시차각)이 시청상 건강을 해치지 않는 범위(d)(도 47 참조)에 수속되어 있는지의 여부가 체크된다.
그리고, 이 시차정보 제어부(262)에서는, 시차각이 소정의 범위 내에 수속되지 않은 경우, 시차각이 범위(d)에 수속되도록, L/R 재구성부(263)에 좌안화상 데이터 및 우안화상 데이터의 재구성을 지시하는 것이 행하여진다. 또한, 그 경우, 이 시차정보 제어부(262)에서는, 재구성되는 좌안화상 데이터 및 우안화상 지시에 맞추어서, 제1의 시차정보 및/또는 제2의 시차정보를 수정하여 출력하는 것이 행하여지다. 또한, 시차정보 제어부(262)에서는, 시차각이 소정의 범위(d)에 수속되어 있는 경우에는, L/R 재구성부(263)에 좌안화상 데이터 및 우안화상 데이터의 재구성을 지시하는 것은 행하여지지 않고, 또한, 제1의 시차정보 및 제2의 시차정보는 수정되지 않고 출력된다.
스케일러(216)에서는, 디코티드 버퍼(215)로부터 출력되는 좌안화상 데이터 및 우안화상 데이터에 대해, 필요에 응하여, 수평 방향이나 수직 방향의 스케일링 처리가 행하여진다. 이 스케일러(216)로부터는, 예를 들면, 1920*1080의 풀HD의 사이즈의 좌안화상 데이터 및 우안화상 데이터가 얻어진다. 이 좌안화상 데이터 및 우안화상 데이터는, L/R 재구성부(263)를 통하여, 중첩부(217)에 공급된다.
L/R 재구성부(263)에서는, 필요에 응하여, 좌안화상 데이터 및 우안화상 데이터의 재구성을 행한다. 즉, L/R 재구성부(263)에서는, 동측방향 또는 교차방향의 시차각의 어느 하나가 시청상 건강을 해치지 않는 범위(d)(도 47 참조)에 수속되지 않을 때, 시차정보 제어부(262)로부터의 재구성 지시에 의거하여, 그 시차각이 소정의 범위 내로 수속되도록 좌안화상 데이터 및 우안화상 데이터를 재구성하는 것이 행하여진다.
또한, 디멀티플렉서(212)에서 추출된 서브타이틀 스트림은, 코티드 버퍼(231)에 공급되어 일시적으로 기억된다. 서브타이틀 디코더(232)에서는, 코티드 버퍼(231)에 기억되어 있는 서브타이틀 스트림의 디코드 처리가 행하여져서, 서브타이틀 데이터가 얻어진다. 이 서브타이틀 데이터에는, 서브타이틀(자막)의 비트맵 데이터와, 이 서브타이틀의 표시 위치 정보 「Subtitle rendering position (x2, y2)」와, 서브타이틀(자막)의 시차정보 「Subtitle disparity」가 포함되어 있다.
서브타이틀 디코더(232)에서 얻어지는 서브타이틀(자막)의 비트맵 데이터 및 서브타이틀(자막)의 표시 위치 정보 「Subtitle rendering position (x2, y2)」는, 픽셀 버퍼(233)에 일시적으로 기억된다. 또한, 서브타이틀 디코더(232)에서 얻어지는 서브타이틀(자막)의 시차정보 「Subtitle disparity」는 서브타이틀 시차정보 버퍼(234)에 일시적으로 기억된다.
서브타이틀 표시 제어부(235)에서는, 서브타이틀(자막)의 비트맵 데이터와, 이 서브타이틀(자막)의 표시 위치 정보 및 시차정보에 의거하여, 시차가 부여된 좌안 표시용 및 우안 표시용의 서브타이틀의 비트맵 데이터 「Subtitle data」가 생성된다. 이와 같이 생성된 좌안 표시용 및 우안 표시용의 서브타이틀의 비트맵 데이터 「Subtitle data」는, 중첩부(217)에 공급되어, 각각, 좌안화상 데이터 및 우안화상 데이터에 중첩된다.
셋톱박스(STB) 그래픽스 발생부(219)에서는, OSD 또는 어플리케이션, 또는 EPG 등의 그래픽스 데이터가 발생된다. 이 그래픽스 데이터에는, 그래픽스의 비트맵 데이터 「Graphics data」와, 이 그래픽스의 표시 위치 정보 「Graphics rendering position (x1, y1)」가 포함되어 있다. 그래픽스 버퍼(221)에는, 셋톱박스(STB) 그래픽스 발생부(219)에서 발생된 그래픽스 데이터가 일시적으로 기억된다.
중첩부(217)에서는, 좌안화상 데이터 및 우안화상 데이터에 그래픽스 버퍼(221)에 기억되어 있는 그래픽스 비트맵 데이터 「Graphics data」가 중첩된다. 이 때, 좌안화상 데이터 및 우안화상 데이터의 각각에 중첩되는 그래픽스 비트맵 데이터 「Graphics data」에는, 깊이 제어부(220)에 의해, 시차정보 제어부(262)로부터 출력되는 화상 데이터의 각 픽처의 분할 영역마다의 제1의 시차정보 중, 그래픽스의 표시 위치에 대응한 시차정보에 의거하여 시차가 부여된다. 이 경우, 그래픽스 비트맵 데이터 「Graphics data」가 서브타이틀의 비트맵 데이터 「Subtitle data」와 동일 화소를 공유하는 경우, 중첩부(217)에서는, 서브타이틀 데이터의 위에 그래픽스 데이터가 덮어쓰여진다.
중첩부(217)로부터는, 좌안 표시용의 서브타이틀(자막) 및 STB 그래픽스가 중첩된 좌안화상의 데이터가 얻어짐과 함께, 우안 표시용의 서브타이틀(자막) 및 STB 그래픽스가 중첩된 우안화상의 데이터가 얻어진다. 이 좌안화상 데이터 및 우안화상 데이터는, HDMI 송신부(251)에 공급된다.
또한, 디멀티플렉서(212)에서 추출되는 오디오 스트림은, 코티드 버퍼(241)에 공급되어 일시적으로 기억된다. 오디오 디코더(242)에서는, 코티드 버퍼(241)에 기억되어 있는 오디오 스트림의 디코드 처리가 행하여져서, 복호화된 음성 데이터가 얻어진다. 이 음성 데이터는 오디오 버퍼(243)를 통하여 채널 믹싱부(244)에 공급된다. 채널 믹싱부(244)에서는, 음성 데이터에 대해, 예를 들면 5.1ch 서라운드 등을 실현하기 위한 각 채널의 음성 데이터가 생성된다. 이 음성 데이터는, HDMI 송신부(251)에 공급된다.
또한, 깊이 제어부(220)에서는, 시차정보 제어부(262)로부터 출력되는 화상 데이터의 각 픽처의 분할 영역마다의 제1의 시차정보가, 자막 또는 그래픽스의 픽처에의 중첩에 응하여 갱신된다. 이 경우, 서브타이틀(자막)의 표시 위치 및 그래픽스의 표시 위치에 대응한 분할 영역(Partition)의 시차정보(Disparity)의 값이, 예를 들면, 서브타이틀(자막) 또는 그래픽스의 시차 부여에 사용된 시차정보(Disparity)의 값으로 갱신된다. 이 갱신된 시차정보는, HDMI 송신부(251)에 공급된다. 또한, 시차정보 제어부(262)로부터 출력된 화상 데이터의 각 픽처의 제2의 시차정보도, HDMI 송신부(251)에 공급된다.
HDMI 송신부(251)에 의해, HDMI에 준거한 통신에 의해, 좌안화상 데이터 및 우안화상 데이터, 음성 데이터, 나아가서는, 화상 데이터의 각 픽처의 시차정보(제1의 시차정보, 제2의 시차정보)가, 텔레비전 수신기(300)에 송신된다. 여기서, 시차정보는, 화상 데이터의 블랭킹 기간에 배치된 정보 패킷, 이 실시의 형태에서는, HDMI·벤더·스페시픽·인포프레임(HDMI Vendor Specific InfoFrame)에 삽입되어 송신된다.
[텔레비전 수신기의 설명]
도 1로 되돌아와, 텔레비전 수신기(300)는, 셋톱박스(200)로부터 HDMI 케이블(400)을 통하여 보내 오는 좌안화상 데이터 및 우안화상 데이터, 음성 데이터, 나아가서는 화상 데이터의 각 픽처의 시차정보(제1의 시차정보, 제2의 시차정보)를 수신한다.
텔레비전 수신기(300)는, 예를 들면, 픽처에 그래픽스(TV 그래픽스)를 중첩 표시할 때에는, 화상 데이터 및 제1의 시차정보와, 그래픽스 데이터를 이용하여, 그래픽스가 중첩된 좌안화상 및 우안화상의 데이터를 얻는다. 이 경우, 텔레비전 수신기(300)는, 좌안화상 및 우안화상에 중첩되는 그래픽스에, 픽처마다, 이 그래픽스의 표시 위치에 대응한 시차를 부여하고, 그래픽스가 중첩된 좌안화상의 데이터 및 그래픽스가 중첩된 우안화상의 데이터를 얻는다.
상술한 바와 같이 그래픽스에 시차를 부여함으로써, 입체화상에 중첩 표시되는 그래픽스(TV 그래픽스)를, 그 표시 위치에서의 입체화상의 오브젝트보다도 면전에 표시시킬 수 있다. 이에 의해, OSD 또는 어플리케이션 또는 프로그램 정보의 EPG 등의 그래픽스를 화상에 중첩 표시하는 경우에, 화상 내의 각 오브젝트에 대한 원근감의 정합성을 유지할 수 있다.
또한, 텔레비전 수신기(300)는, 제1의 시차정보 및 제2의 시차정보에 의거하여, 가장 면전의 오브젝트 재생 위치에 대한 시차각(교차방향의 시차각) 및 가장 면후의 오브젝트 재생 위치에 대한 시차각(동측방향의 시차각)이 시청상 건강을 해치지 않는 범위(d)(도 47 참조)에 수속되어 있는지의 여부를 체크할 수 있고, 수속되지 않은 경우는, 좌안화상 데이터 및 우안화상 데이터를 재구성할 수 있다.
[텔레비전 수신기의 구성례]
도 54는, 텔레비전 수신기(300)의 HDMI 입력계의 구성례를 도시하고 있다. 또한, 시차각의 체크계에 관해서는 생략하고 있다. 텔레비전 수신기(300)는, HDMI 수신부(311)와, 스케일러(312)와, 중첩부(313)와, 깊이 제어부(314)와, 그래픽스 버퍼(315)와, 텔레비전(TV) 그래픽스 발생부(316)와, 오디오 처리부(317)를 갖고 있다.
HDMI 수신부(311)는, HDMI에 준거한 통신에 의해, HDMI의 소스 기기, 이 실시의 형태에서는 셋톱박스(200)로부터, 입체화상을 구성하는 좌안화상 데이터 및 우안화상 데이터와, 음성 데이터를 수신한다. 또한, 이 HDMI 수신부(311)는, 화상 데이터의 각 픽처의 시차정보(제1의 시차정보, 제2의 시차정보)를, HDMI 인터페이스로, 셋톱박스(200)로부터 수신한다. 이 HDMI 수신부(311)의 상세는 후술한다.
스케일러(312)는, HDMI 수신부(311)에서 수신된 좌안화상 데이터 및 우안화상 데이터를, 필요에 응하여 스케일링 처리를 행한다. 예를 들면, 스케일러(312)는, 좌안화상 데이터 및 우안화상 데이터의 사이즈를 표시 사이즈에 합치시킨다. 텔레비전(TV) 그래픽스 발생부(316)는, OSD 또는 어플리케이션, 또는 EPG 등의 그래픽스 데이터를 발생한다. 이 그래픽스 데이터에는, 그래픽스 비트맵 데이터 「Graphics data」와, 이 그래픽스의 표시 위치 정보 「Graphics rendering position (x1, y1)」가 포함되어 있다.
그래픽스 버퍼(315)는, 텔레비전 그래픽스 발생부(316)에서 발생된 그래픽스 비트맵 데이터 「Graphics data」를 일시적으로 기억한다. 중첩부(313)는, 좌안화상 데이터 및 우안화상 데이터에, 각각, 그래픽스 버퍼(315)에 기억되어 있는 그래픽스 비트맵 데이터 「Graphics data」를 중첩한다. 이 때, 좌안화상 데이터 및 우안화상 데이터의 각각에 중첩되는 그래픽스 비트맵 데이터 「Graphics data」에는, 후술하는 깊이 제어부(314)에 의해, 시차가 부여된다.
깊이 제어부(314)는, 좌안화상 데이터 및 우안화상 데이터의 각각에 중첩되는 그래픽스 비트맵 데이터 「Graphics data」에 시차를 부여한다. 그 때문에, 깊이 제어부(314)는, 화상 데이터의 픽처마다, 좌안 표시용 및 우안 표시용의 그래픽스의 표시 위치 정보 「Rendering position」을 생성하고, 그래픽스 버퍼(315)에 기억되어 있는 그래픽스 비트맵 데이터 「Graphics data」의 좌안화상 데이터 및 우안화상 데이터에의 중첩 위치의 시프트 제어를 행한다.
깊이 제어부(314)는, 도 55에 도시하는 바와 같이, 이하의 정보를 이용하여, 표시 위치 정보 「Rendering position」을 생성한다. 즉, 깊이 제어부(314)는, HDMI 수신부(311)에서 수신된, 화상 데이터의 픽처마다의 각 분할 영역(Partition)의 제1의 시차정보(Min disparity)를 이용한다. 또한, 깊이 제어부(314)는, 텔레비전 그래픽스 발생부(316)에서 발생되는 그래픽스의 표시 위치 정보 「Graphics rendering position (x1, y1)」를 이용한다. 또한, 깊이 제어부(314)는, HDMI 수신부(311)에서 시차정보가 수신되어 있는지의 여부를 나타내는 수신 정보를 이용한다.
도 56의 플로 차트는, 깊이 제어부(314)의 제어 처리의 순서의 한 예를 도시하고 있다. 깊이 제어부(314)는, 이 제어 처리를, 그래픽스 표시를 행하는 각 픽처(프레임)에서 실행한다. 깊이 제어부(314)는, 스텝 ST21에서, 제어 처리를 시작한다. 그 후에, 스텝 ST22에서, 수신 정보에 의거하여, HDMI 수신부(311)에서 그래픽스용의 시차정보의 수신이 있는지의 여부를 판단하다. 또한, HDMI 수신부(311)는, 후술하는 HDMI Vendor Specific InfoFrame의 패킷의 「PRTY」의 식별 정보가, 참조하여야 할 정보로서의 시차정보의 존재를 나타낼 때, 당해 패킷으로부터 시차정보를 추출하고, 사용에 대비한다. 이 경우, 수신 정보는, 「수신 있음」이 된다.
시차정보(disparity)의 수신이 있을 때, 깊이 제어부(314)는, 스텝 ST23의 처리로 이동한다. 이 스텝 ST23에서, 그래픽스를 중첩 표시(overlay)하는 좌표가 포함되는 분할 영역(partition)을 전부 검사한다. 그리고, 깊이 제어부(314)는, 스텝 ST24에서, 대상이 되는 분할 영역(partition)의 제1의 시차정보(Min disparity)를 비교하여, 최적치, 예를 들면 최소치를 선택하여, 그래픽스 시차정보(disparity)의 값(graphics_disparity)으로 한다.
다음에, 깊이 제어부(314)는, 스텝 ST25에서, 그래픽스 버퍼(315)에 기억되어 있는 그래픽스 비트맵 데이터 「Graphics data」에 대해, 그래픽스용의 시차정보(disparity)의 값(graphics_disparity)와 동등한 값을 이용하여, 표시 위치가 시프트된 좌안 표시용 및 우안 표시용의 그래픽스 비트맵 데이터를 얻어, 각각, 좌안화상 데이터 및 우안화상 데이터에 중첩한다. 깊이 제어부(314)는, 스텝 ST25의 처리의 후, 스텝 ST26에서, 제어 처리를 종료한다.
또한, 스텝 ST22에서 시차정보(disparity)의 수신이 없을 때, 깊이 제어부(314)는, 스텝 ST27에서, 그래픽스 버퍼(315)에 기억되어 있는 그래픽스 비트맵 데이터 「Graphics data」에 대해, 텔레비전 수신기(300)에서 산출된 시차정보(disparity)의 값을 이용하여, 표시 위치가 시프트된 좌안 표시용 및 우안 표시용의 그래픽스 비트맵 데이터를 얻어, 각각, 좌안화상 데이터 및 우안화상 데이터에 중첩한다. 깊이 제어부(314)는, 스텝 ST27의 처리의 후, 스텝 ST26에서, 제어 처리를 종료한다.
도 57은, 텔레비전 수신기(300)에서의 그래픽스의 깊이 제어례를 도시하고 있다. 이 예에서, TV 그래픽스에 관해서는, 우측의 4개의 분할 영역(Partition 10, 11, 14, 15)의 제1의 시차정보 중 최소의 값의 시차정보에 의거하여, 좌안 표시용의 그래픽스 및 우안 표시용의 그래픽스에 시차가 부여된다. 그 결과, TV 그래픽스는, 이들 4개의 분할 영역의 픽처(비디오) 오브젝트보다 면전에 표시된다. 또한, 이 경우, 서브타이틀(자막), 나아가서는, STB 그래픽스는, 셋톱박스(200)에서의 이미 픽처(비디오)에 중첩되어 있다.
도 54에 도시하는 텔레비전 수신기(300)의 동작을 간단히 설명한다. HDMI 수신부(311)에 의해, HDMI에 준거한 통신에 의해, 좌안화상 데이터 및 우안화상 데이터, 음성 데이터, 나아가서는, 화상 데이터의 각 픽처의 시차정보(제1의 시차정보, 제2의 시차정보)가, 셋톱박스(200)로부터 수신된다.
HDMI 수신부(311)에서 수신된 좌안화상 데이터 및 우안화상 데이터는, 스케일러(312)에서 필요에 응하여 스케일링 처리가 시행된 후에, 중첩부(313)에 공급된다. 텔레비전 TV의 그래픽스 발생부(316)에서는, OSD 또는 어플리케이션, 또는 EPG 등의 그래픽스 데이터가 발생된다. 이 그래픽스 데이터에는, 그래픽스의 비트맵 데이터 「Graphics data」와, 이 그래픽스의 표시 위치 정보 「Graphicsrendering position (x1, y1)」가 포함되어 있다. 그래픽스 버퍼(315)에는, 텔레비전 그래픽스 발생부(315)에서 발생된 그래픽스 데이터가 일시적으로 기억된다.
중첩부(313)에서는, 좌안화상 데이터 및 우안화상 데이터에 그래픽스 버퍼(315)에 기억되어 있는 그래픽스 비트맵 데이터 「Graphics data」가 중첩된다. 이 때, 좌안화상 데이터 및 우안화상 데이터의 각각에 중첩되는 그래픽스 비트맵 데이터 「Graphics data」에는, 깊이 제어부(314)에 의해, 그래픽스의 표시 위치에 대응한 제1의 시차정보(Min disparity)에 의거하여 시차가 부여된다.
깊이 제어부(314)에서는, 그 제어를 위해, HDMI 수신부(311)에서 수신된, 화상 데이터의 픽처마다의 각 분할 영역(Partition)의 제1의 시차정보와, 텔레비전 그래픽스 발생부(316)에서 발생된 그래픽스의 표시 위치 정보 「Graphics rendering position (x1, y1)」가 이용된다.
중첩부(313)로부터는, 좌안 표시용의 TV 그래픽스가 중첩된 좌안화상의 데이터가 얻어짐과 함께, 우안 표시용의 TV 그래픽스가 중첩된 우안화상의 데이터가 얻어진다. 이들의 화상 데이터는, 입체화상 표시를 위한 처리부에 보내지고, 입체화상 표시가 행하여진다
또한, HDMI 수신부(311)에서 수신된 각 채널의 음성 데이터는, 음질이나 음량의 조정을 행하는 오디오 처리부(317)을 통하여 스피커에 공급되고, 입체화상 표시에 맞춘 음성 출력이 이루어진다.
[HDMI 송신부, HDMI 수신부의 구성례]
도 58은, 도 1의 픽처 송수신 시스템(10)에서, 셋톱박스(200)의 HDMI 송신부(251)와, 텔레비전 수신기(300)의 HDMI 수신부(311)의 구성례를 도시하고 있다.
HDMI 송신부(251)는, 유효 픽처 구간(이하, 적절히, 액티브 비디오 구간이라고도 한다)에서, 비압축의 1화면분의 화상의 화소 데이터에 대응하는 차동 신호를, 복수의 채널로, HDMI 수신부(311)에 일방향으로 송신한다. 여기서, 유효 픽처 구간은, 하나의 수직 동기 신호로부터 다음의 수직 동기 신호까지의 구간에서, 수평 귀선 구간 및 수직 귀선 구간을 제외한 구간이다. 또한, HDMI 송신부(251)는, 수평 귀선 구간 또는 수직 귀선 구간에서, 적어도 화상에 부수되는 음성 데이터나 제어 데이터, 그 밖의 보조 데이터 등에 대응하는 차동 신호를, 복수의 채널로, HDMI 수신부(311)에 일방향으로 송신한다.
HDMI 송신부(251)와 HDMI 수신부(311)로 이루어지는 HDMI 시스템의 전송 채널에는, 이하의 전송 채널이 있다. 즉, HDMI 송신부(251)로부터 HDMI 수신부(311)에 대해, 화소 데이터 및 음성 데이터를, 픽셀 클록에 동기하여, 일방향으로 시리얼 전송하기 위한 전송 채널로서의, 3개의 TMDS 채널(#0 내지 #2)이 있다. 또한, 픽셀 클록을 전송하는 전송 채널로서의, TMDS 클록 채널이 있다.
HDMI 송신부(251)는, HDMI 트랜스미터(81)를 갖는다. 트랜스미터(81)는, 예를 들면, 비압축의 화상의 화소 데이터를 대응하는 차동 신호로 변환하고, 복수의 채널인 3개의 TMDS 채널(#0, #1, #2)로, HDMI 케이블(400)을 통하여 접속되어 있는 HDMI 수신부(311)에, 일방향으로 시리얼 전송한다.
또한, 트랜스미터(81)는, 비압축의 화상에 부수되는 음성 데이터, 나아가서는, 필요한 제어 데이터 그 밖의 보조 데이터 등을, 대응하는 차동 신호로 변환하고, 3개의 TMDS 채널(#0, #1, #2)로 HDMI 수신부(311)에, 일방향으로 시리얼 전송한다.
또한, 트랜스미터(81)는, 3개의 TMDS 채널(#0, #1, #2)로 송신하는 화소 데이터에 동기한 픽셀 클록을, TMDS 클록 채널로, HDMI 케이블(400)을 통하여 접속되어 있는 HDMI 수신부(311)에 송신한다. 여기서, 하나의 TMDS 채널(#i)(i=0, 1, 2)에서는, 픽셀 클록의 1클록의 동안에, 10비트의 화소 데이터가 송신된다.
HDMI 수신부(311)는, 액티브 비디오 구간에서, 복수의 채널로, HDMI 송신부(251)로부터 일방향으로 송신되어 오는, 화소 데이터에 대응하는 차동 신호를 수신한다. 또한, 이 HDMI 수신부(311)는, 수평 귀선 구간 또는 수직 귀선 구간에서, 복수의 채널로, HDMI 송신부(251)로부터 일방향으로 송신되어 오는, 음성 데이터나 제어 데이터에 대응하는 차동 신호를 수신한다.
즉, HDMI 수신부(311)는, HDMI 리시버(82)를 갖는다. 이 HDMI 리시버(82)는, TMDS 채널(#0, #1, #2)로, HDMI 송신부(251)로부터 일방향으로 송신되어 오는, 화소 데이터에 대응하는 차동 신호와, 음성 데이터나 제어 데이터에 대응하는 차동 신호를 수신한다. 이 경우, HDMI 송신부(251)로부터 TMDS 클록 채널로 송신되어 오는 픽셀 클록에 동기하여 수신한다.
HDMI 시스템의 전송 채널에는, 상술한 TMDS 채널(#0 내지 #2) 및 TMDS 클록 채널 외에, DDC(Display Data Channel)(83)나 CEC 라인(84)으로 불리는 전송 채널이 있다. DDC(83)는, HDMI 케이블(400)에 포함되는 도시하지 않은 2개의 신호선으로 이루어진다. DDC(83)는, HDMI 송신부(251)가, HDMI 수신부(311)로부터, E-EDID(Enhanced Extended Display Identification Data)를 판독하기 위해 사용된다.
즉, HDMI 수신부(311)는, HDMI 리시버(81) 외에, 자신의 성능(Configuration/capability)에 관한 성능 정보인 E-EDID를 기억하고 있는, EDID ROM(Read Only Memory)(85)을 갖고 있다. HDMI 송신부(251)는, 예를 들면, 도시하지 않은 제어부(CPU)로부터의 요구에 응하여, HDMI 케이블(400)을 통하여 접속되어 있는 HDMI 수신부(311)로부터, E-EDID를, DDC(83)를 통하여 판독한다.
HDMI 송신부(251)는, 판독한 E-EDID를 제어부(CPU)에 보낸다. 제어부(CPU)는, 이 E-EDID에 의거하여, HDMI 수신부(311)의 성능의 설정을 인식할 수 있다. 예를 들면, 제어부(CPU)는, HDMI 수신부(311)를 갖는 텔레비전 수신기(300)가 입체화상 데이터의 취급이 가능한지의 여부, 가능한 경우는 또한 어떠한 TMDS 전송 데이터 구조에 대응 가능한지 등을 인식한다.
CEC 라인(84)은, HDMI 케이블(400)에 포함되는 도시하지 않은 1개의 신호선으로 이루어지고, HDMI 송신부(251)와 HDMI 수신부(311)와의 사이에서, 제어용의 데이터의 쌍방향 통신을 행하기 위해 이용된다. 이 CEC 라인(84)은, 제어 데이터 라인을 구성하고 있다.
또한, HDMI 케이블(400)에는, HPD(Hot Plug Detect)로 불리는 핀에 접속되는 라인(HPD 라인()86)이 포함되어 있다. 소스 기기는, 당해 라인(86)을 이용하여, 싱크 기기의 접속을 검출할 수 있다. 또한, 이 HPD 라인(86)은 쌍방향 통신로를 구성하는 HEAC-라인으로서도 사용된다. 또한, HDMI 케이블(400)에는, 소스 기기로부터 싱크 기기에 전원을 공급하기 위해 사용되는 라인(전원 라인)(87)이 포함되어 있다. 또한, HDMI 케이블(400)에는, 유틸리티 라인(88)이 포함되어 있다. 이 유틸리티 라인(88)은 쌍방향 통신로를 구성하는 HEAC+라인으로서도 사용된다.
도 59는, TMDS 전송 데이터의 구조례를 도시하고 있다. 이 도 59는, TMDS 채널(#0, #1, #2)에서, 가로×세로가 1920픽셀×1080라인의 화상 데이터가 전송되는 경우의, 각종의 전송 데이터의 구간을 나타내고 있다.
HDMI의 3개의 TMDS 채널(#0, #1, #2)로 전송 데이터가 전송되는 비디오 필드(Video Field)에는, 전송 데이터의 종류에 응하여, 3종류의 구간이 존재한다. 이 3종류의 구간은, 비디오 데이터 구간(Video Data period), 데이터 아일랜드 구간(Data Island period), 및 컨트롤 구간(Control period)이다.
여기서, 비디오 필드 구간은, 어느 수직 동기 신호의 상승 에지(active edge)로부터 다음의 수직 동기 신호의 상승 에지까지의 구간이다. 이 비디오 필드 구간은, 수평 블랭킹 기간(horizontal blanking), 수직 블랭킹 기간(vertical blanking), 및, 액티브 비디오 구간(Active Video)으로 나눠진다. 이 액티브 비디오 구간은, 비디오 필드 구간에서, 수평 블랭킹 기간 및 수직 블랭킹 기간을 제외한 구간이다
비디오 데이터 구간은, 액티브 비디오 구간에 할당된다. 이 비디오 데이터 구간에서는, 비압축의 1화면분의 화상 데이터를 구성하는 1920픽셀(픽셀)×1080라인분의 유효 화소(Active pixel)의 데이터가 전송된다.
데이터 아일랜드 구간 및 컨트롤 구간은, 수평 블랭킹 기간 및 수직 블랭킹 기간에 할당된다. 이 데이터 아일랜드 구간 및 컨트롤 구간에서는, 보조 데이터(Auxiliary data)가 전송된다. 즉, 데이터 아일랜드 구간은, 수평 블랭킹 기간과 수직 블랭킹 기간의 일부분에 할당되어 있다. 이 데이터 아일랜드 구간에서는, 보조 데이터 중, 제어에 관계되지 않는 데이터인, 예를 들면, 음성 데이터의 패킷 등이 전송된다.
컨트롤 구간은, 수평 블랭킹 기간과 수직 블랭킹 기간의 다른 부분에 할당되어 있다. 이 컨트롤 구간에서는, 보조 데이터중의, 제어에 관계되는 데이터인, 예를 들면, 수직 동기 신호 및 수평 동기 신호, 제어 패킷 등이 전송된다.
도 60은, HDMI 단자의 핀 배열의 한 예를 도시하고 있다. 이 도 60에 도시하는 핀 배열은 타입 A(type-A)로 불리고 있다. TMDS 채널(#i)의 차동 신호인 TMDS Data#i+와 TMDS Data#i-은 차동선인 2개의 라인에 의해 전송된다. 이 2개의 라인은, TMDS Data#i+가 할당되어 있는 핀(핀 번호가 1, 4, 7의 핀)와, TMDS Data#i-가 할당되어 있는 핀(핀 번호가 3, 6, 9의 핀)에 접속된다.
또한, 제어용의 데이터인 CEC 신호가 전송되는 CEC 라인(84)은, 핀 번호가 13인 핀에 접속된다. 또한, E-EDID 등의 SDA(Serial Data) 신호가 전송되는 라인은, 핀 번호가 16인 핀에 접속된다. SDA 신호의 송수신시의 동기에 사용되는 클록 신호인 SCL(Serial Clock) 신호가 전송되는 라인은, 핀 번호가 15인 핀에 접속된다. 상술한 DDC(83)는, SDA 신호가 전송되는 라인 및 SCL 신호가 전송되는 라인에 의해 구성된다.
또한, 상술한 바와 같이 소스 기기가 싱크 기기의 접속을 검출하기 위한 HPD 라인(HEAC-라인)(86)은, 핀 번호가 19인 핀에 접속된다. 또한, 유틸리티 라인(HEAC+라인)(88)은, 핀 번호가 14인 핀에 접속된다. 또한, 상술한 바와 같이 전원을 공급하기 위한 라인(87)은, 핀 번호가 18인 핀에 접속된다.
[HDMI로의 시차정보의 송수신 방법]
화상 데이터의 픽처마다의 각 분할 영역(Partition)의 시차정보(Disparity)를, HDMI 인터페이스로 송수신하는 방법에 관해 설명한다. 이 방법으로서, 화상 데이터의 블랭킹 기간에 배치되는 정보 패킷, 예를 들면, HDMI·벤더·스페시픽·인포프레임(VS_Info : HDMI Vendor Specific InfoFrame)을 이용하는 방법이 생각된다.
이 방법에서는, VS_Info에서, 「HDMI_Video_Format="010"」, 또한 「3D_Meta_present=1」이 되어, 「Vendor Specific InfoFrame extension」이 지정된다. 그 경우, 「3D_Metadata_type」은, 미사용의, 예를 들면, "001"로 정의되고, 각 분할 영역(Partition)의 시차정보(Disparity)가 지정된다.
도 61은, VS_Info의 패킷 구조례를 도시하고 있다. 이 VS_Info에 관해서는, CEA-861-D에 정의되어 있기 때문에, 상세 설명은 생략한다. 도 62는, 도 61에 도시하는 패킷 구조례에서의 주요한 정보의 내용을 나타내고 있다.
제4바이트(PB4)의 제7비트부터 제5비트에, 화상 데이터의 종류를 나타내는 3비트의 정보 「HDMI_Video_Format」가 배치되어 있다. 화상 데이터가 3D 화상 데이터인 경우, 이 3비트의 정보는 「010」이 된다. 또한, 화상 데이터가 3D 화상 데이터인 경우, 제5바이트(PB5)의 제7비트부터 제4비트에, TMDS 전송 데이터 구조를 나타내는 4비트의 정보 「3D_Structure」가 배치된다. 예를 들면, 프레임 패킹 방식인 경우, 이4비트의 정보는, 「0000」이 된다.
또한, 제5바이트(PB5)의 제3비트에, 「3D_Meta_present」가 배치되고, Vendor Specific InfoFrame extension을 지정하는 경우, 이 1비트는 「1」이 된다. 또한, 제7바이트(PB7)의 제7비트부터 제5비트에, 「3D_Metadata_type」이 배치되어 있다. 각 분할 영역(Partition)의 시차정보(Disparity)를 지정하는 경우, 이 3비트의 정보는, 미사용의, 예를 들면, "001"이 된다.
또한, 제7바이트(PB7)의 제4바이트로부터 제0바이트에, 「3D_Metadata_length」가 배치되어 있다. 이 5비트의 정보는, 각 분할 영역(Partition)의 시차정보(Disparity)의 사이즈를 나타낸다. 이 「3D_Metadata_length」의 값은, 0x00 내지 0x1F의 값을 취하고, 그 값에 2를 가한 것이, 이 필드의 후의 시차정보(Disparity)의 전체 사이즈를 나타낸다. 예를 들면, "00000"은 2(10진수로)를 나타내고, "11111"은 33(10진수로)을 나타낸다.
또한, 제6바이트(PB6)의 제0비트에, 「PRTY」의 1비트의 식별 정보가 배치된다. 이 식별 정보는, 이 VS_Info에, HDMI 싱크측이 참조하여야 할 정보, 여기서는 시차정보(Disparity)가 포함되어 있는지의 여부를 나타낸다. "1"은, HDMI 싱크가 참조하여야 할 정보가 반드시 포함되어 있는 것을 나타낸다. "0"은, HDMI 싱크가 참조하여야 할 정보가 반드시 포함되어 있는 것은 아닌 것을 나타낸다.
이 「PRTY」의 1비트의 식별 정보가 배치되어 있음으로써, HDMI 싱크, 이 실시의 형태에서 텔레비전 수신기(300)는, 「3D_Metadata_type」 이하를 검사하지 않아도, VS_Info의 중에, 참조하여야 할 정보가 포함되어 있는지의 여부를 판정할 수 있다. 따라서 HDMI 싱크에서는, 이 식별 정보에 의해, VS_Info로부터 참조하여야 할 정보의 추출 처리를 낭비없이 행할 수 있고, 처리 부하를 경감하는 것이 가능해진다.
또한, 제8바이트(PB8)의 제7비트부터 제5비트에, 「partition_type」이 배치되어 있다. 이 3비트의 정보는, 대상 픽처의 표시 화면의 분할 타입을 나타낸다. "000"은 분할 없음을 나타내고, "001"은 수평, 수직을 각각 2등분하는 것을 나타내고, "010"은 수평, 수직을 각각 4등분하는 것을 나타낸다.
또한, 제8바이트(PB8)의 제4비트에, 「d_picture」의 1비트의 식별 정보가 배치된다. 이 식별 정보는, 싱글 픽처인지 더블 픽처인지를 나타낸다. "0"은, 싱글 픽처인 것, 즉, 각 분할 영역(Partition)의 시차정보(disparity)로서, 1픽처분을 송신하는 모드인 것을 나타낸다. "1"은, 더블 픽처인 것, 즉, 각 분할 영역(Partition)의 시차정보(disparity)로서, 2픽처분을 송신하는 모드인 것을 나타낸다.
또한, 제8바이트(PB8)의 제3비트부터 제0비트에, 「partition_count」가 배치된다. 이 4비트의 정보는, 분할 영역(Partition)의 총수를 나타내고, 상술한 「partition_type」에 의존한 값이 된다. 예를 들면, "0000"은 총수「1」을 나타내고, "1111"은 총수「16」을 나타낸다.
그리고, 제8+1바이트(PB8+1) 이후에, 1픽처분 또는 2픽처분의, 시차정보(제1의 시차정보, 제2의 시차정보)가 순차적으로 배치된다. 「max_disparity_in_picture」의 8비트 정보는, 픽처 표시 화면 전체(픽처 전체)의 제2의 시차정보, 즉 픽처 전체의 최대의 시차정보(disparity값)를 나타낸다. 「disparity_in_partition」의 8비트 정보는, 각 분할 영역(Partition)의 제1의 시차정보, 즉 각 분할 영역에서의 최소의 시차정보(disparity값)를 나타낸다.
도 63은, 「d_picture=0」으로서 싱글 픽처의 모드이고, 「partition_type=010」으로서 분할 영역이 「16」인 경우에 있어서의 VS_Info의 구조례를 도시하고 있다. 이 경우, 제8+1바이트(PB8+1) 이후에, 1픽처분의 각 분할 영역의 시차정보가 배치되어 있다. 또한, 도 64는, 「d_picture=1」로서 더블 픽처의 모드이고, 「partition_type=010」으로서 분할 영역이 「16」인 경우에 있어서의 VS_Info의 구조례를 도시하고 있다. 이 경우, 제8+1바이트(PB8+1) 이후에, 2픽처분의 각 분할 영역의 시차정보가 배치되어 있다.
상술한 바와 같이, 셋톱박스(200)는, 비디오 스트림에 픽처 단위로 시차정보가 삽입되어 있는 경우, 화상 데이터의 각 픽처의 타이밍에서 1픽처분의 시차정보를 취득한다(도 42 참조). 또한, 상술한 바와 같이, 셋톱박스(200)는, 비디오 스트림에 GOP 단위로 시차정보가 삽입되어 있는 경우, 화상 데이터의 GOP의 선두 타이밍에서, GOP 내의 각 픽처의 시차정보(시차정보 세트)를 통합하여 취득한다(도 43 참조).
셋톱박스(200)는, 어느 경우에 있어서도, 예를 들면, 텔레비전 수신기(300)와의 사이의 CEC 라인(84)을 사용한 네고시에이션, 또는 EDIDROM(85)에서의 설정 등에 의거하여, 싱글 픽처 또는 더블 픽처의 어느 하나의 모드를 임의로 선택 가능하게 한다. 이 경우, 셋톱박스(200)는, 픽처마다의 시차정보를 송신하기 위한 전송대역, 또는, 셋톱박스(200)나 텔레비전 수신기(300)에서의 처리 능력 등에 응하여, 모드를 선택할 수 있고, 텔레비전 수신기(300)에의 시차정보의 송신을 양호하게 행하는 것이 가능해진다.
텔레비전 수신기(300)에서는, VS_Info에 배치된 「d_picture」의 모드 식별 정보와, 상술한 「PRTY」의 참조 정보의 유무의 식별 정보에 의거하여, 어느 모드의 송신에 맞아도, 모든 픽처의 시차정보(Disparity)를, 정확하게 수신할 수 있다.
도 65는, 셋톱박스(200)가, 화상 데이터의 각 픽처의 타이밍에서 1픽처분의 시차정보를 취득하고, 텔레비전 수신기(300)에, 싱글 픽처의 모드에 의해, 각 픽처의 시차정보를 순차적으로 송신하는 경우를, 개략적으로 도시하고 있다. 또한, 도 66은, 셋톱박스(200)가, 화상 데이터의 각 픽처의 타이밍에서 1픽처분의 시차정보를 취득하고, 텔레비전 수신기(300)에, 더블 픽처의 모드에 의해, 각 픽처의 시차정보를 순차적으로 송신하는 경우를, 개략적으로 도시하고 있다.
또한, 도 67은, 셋톱박스(200)가, 화상 데이터의 GOP의 선두 타이밍에서, GOP 내의 각 픽처의 시차정보를 통합하여 취득하고, 텔레비전 수신기(300)에, 싱글 픽처의 모드에 의해, 각 픽처의 시차정보를 순차적으로 송신하는 경우를, 개략적으로 도시하고 있다. 또한, 도 68은, 셋톱박스(200)가, 화상 데이터의 GOP의 선두 타이밍에서, GOP 내의 각 픽처의 시차정보를 통합하여 취득하고, 텔레비전 수신기(300)에, 더블 픽처의 모드에 의해, 각 픽처의 시차정보를 순차적으로 송신하는 경우를, 개략적으로 도시하고 있다.
또한, 상술에서는 셋톱박스(200)가 싱글 픽처 또는 더블 픽처의 모드를 임의로 선택할 수 있도록 설명하였다. 그러나, 예를 들면, 화상 데이터의 GOP의 선두 타이밍에서 GOP 내의 각 픽처의 시차정보를 통합하여 취득할 때에는, 싱글 픽처의 모드로 송신하도록 되어도 좋다. 이 경우, GOP 내의 각 픽처의 시차정보는 단일한 픽처분씩으로ㅗ 분배되고, 각 단일 픽처분의 시차정보가 픽처 단위로 순차적으로 송신된다(도 67 참조). 이 경우, 픽처마다의 시차정보를 송신하기 위한 전송 대역이 작은 경우라도, 각 픽처의 시차정보를, 텔레비전 수신기(300)에 양호하게 송신할 수 있다.
한편, 셋톱박스(200)가 2비디오 프레임 주기에 1번(度)의 비율밖에 VS_InfoFrame을 보낼 수 없는 경우, 또는 텔레비전 수신기(300)가 2비디오 프레임 주기에 1번의 비율밖에 VS_InfoFrame을 수취할 수 없는 경우에는, 도 66과 같이 2비디오 프레임분의 시차정보를 계속해서 하나의 VS_InfoFrame로 보내는 것도 생각된다.
또한, 상술에서는, 더블 픽처 모드에 있을 때, 2픽처(2프레임) 단위로, 연속하는 제1의 픽처 및 제2의 픽처의 시차정보를 그대로, 즉 인트라 데이터인 채로 송신하는 예를 나타내였다. 그러나, 이 더블 픽처 모드에서, 제1의 픽처 또는 제2의 픽처의 시차정보를, 하나 전의 픽처의 시차정보와의 사이의 차분 데이터로 하여, 전송 데이터량을 저감하는 것도 생각된다.
도 69, 도 70은, VS_Info(HDMI Vendor Specific InfoFrame)의 다른 패킷 구조례를 도시하고 있다. 상세 설명은 생략하지만, 제0바이트(PB0) 내지 제6바이트(PB6)에 관해서는, 상술한 도 61에 도시하는 패킷 구조례와 마찬가지이다. 도 71은, 도 69, 도 70에 도시하는 패킷 구조례에서의 주요한 정보의 내용을 나타내고 있다.
제7바이트(PB7)의 제7비트부터 제5비트에, 「3D_Metadata_type」이 배치되어 있다. 각 분할 영역(Partition)의 시차정보(Disparity)를 지정하는 경우, 이 3비트의 정보는, 미사용의, 예를 들면, "001"이 된다.
또한, 제7바이트(PB7)의 제4바이트로부터 제0바이트에, 「3D_Metadata_length」가 배치되어 있다. 이 5비트의 정보는, 각 분할 영역(Partition)의 시차정보(Disparity)의 사이즈를 나타낸다. 이 「3D_Metadata_length」의 값은, 0x00 내지 0x16의 값을 취한다. 예를 들면, "00011"은 3(10진수로)을 나타내고, "11010"은 26(10진수로)을 나타낸다.
제8바이트(PB8)의 제7비트에, 「d_picture」의 1비트의 식별 정보가 배치된다. 이 식별 정보는, 싱글 픽처인지 더블 픽처인지를 나타낸다. "0"은, 싱글 픽처인 것, 즉, 각 분할 영역(Partition)의 시차정보(disparity)로서, 1픽처분을 송신하는 모드인 것을 나타낸다. "1"은, 더블 픽처인 것, 즉, 각 분할 영역(Partition)의 시차정보(disparity)로서, 2픽처분을 송신하는 모드인 것을 나타낸다.
제8바이트(PB8)의 제5비트에, 「partition_enable」의 1비트의 식별 정보가 배치된다. 이 식별 정보는, 대상 픽처가 각 분할 영역(Partition)의 시차정보(Disparity)를 갖는지의 여부를 나타낸다. "1"은, 수평, 수직 방향으로 분할 영역이 지정되어 있고, 각각이 시차정보(Disparity)를 갖는 것을 나타낸다. "0"은, 화면 전체가 하나의 시차정보(Disparity)를 갖는 것을 나타낸다.
제8바이트(PB8)의 제6비트에, 「Picture_reorder」의 1비트의 식별 정보가 배치된다. 더블 픽처를 전송하는 경우, 2개의 픽처(N, N+1)의 전송이, 시간적으로 N이 앞이고 N+1이 뒤인지, 또는 N+1이 앞이고 N이 뒤인지를 나타낸다. "1"은, (N+1)픽처가 앞이고 시차정보(Disparity)의 값을 8bit로 나타내고, N픽처가 뒤이고, (N-1)픽처의 시차정보(disparity)로부터의 차분치를 4bit로 나타내는 것을 나타낸다. "0"은, N픽처가 앞이고 시차정보(Disparity)의 값을 8bit로 나타내고, (N+1)픽처가 뒤이고, N픽처의 시차정보(disparity)로부터의 차분치를 4bit로 나타내는 것을 나타낸다.
또한, 제8바이트(PB8)의 제3비트부터 제0비트에, 「partition_count」가 배치된다. 이 4비트의 정보는, 분할 영역(Partition)의 총수를 나타낸다. 예를 들면, "0000"은 총수「1」을 나타내고, "1111"은 총수「16」을 나타낸다.
그리고, 제8+1바이트(PB8+1) 이후에, 1픽처분 또는 2픽처분의, 시차정보(제1의 시차정보, 제2의 시차정보)가 순차적으로 배치된다. 「max_disparity_in_picture」의 8비트 정보는, 픽처 표시 화면 전체(픽처 전체)의 제2의 시차정보, 즉 픽처 전체의 최대의 시차정보(disparity값)를 나타낸다. 「Min_disparity_in_partition」의 8비트 정보는, 각 분할 영역(Partition)의 제1의 시차정보, 즉 각 분할 영역에서의 최소의 시차정보(disparity값)를 나타낸다.
도 69의 VS_Info의 구조례는, 「d_picture=1」로서 더블 픽처의 모드이고, 「picture_reorder=0」으로서 시간적으로 N픽처가 앞이고 N+1픽처가 뒤인 경우에 있어서의 VS_Info의 구조례를 도시하고 있다. 또한, 이 예는, 「partition_count=1111」이고, 분할 영역이 「16」인 경우를 도시하고 있다.
이 경우, 제8+1바이트(PB8+1)에, N픽처에서의 픽처 표시 화면 전체의 제2의 시차정보, 즉 픽처 전체의 최대의 시차정보(disparity값)인 「Max_disparity_in_picture」가 배치된다. 그리고, 제8+2바이트(PB8+2)부터 제8+16바이트(PB8+16)에, N픽처에서의 각 분할 영역(Partition)의 제1의 시차정보, 즉 각 분할 영역에서의 최소의 시차정보(disparity값)인 「Min_disparity_in_partition」이 배치된다.
또한, 이 경우, 제8+17바이트(PB8+17)의 제3비트부터 제0비트에, N+1픽처에서의 픽처 표시 화면 전체의 제2의 시차정보, 즉 픽처 전체의 최대의 시차정보(disparity값)의 차분 데이터인 「Differential_max_disparity_in_picture」가 배치된다. 제8+18바이트(PB8+18)부터 제8+25바이트(PB8+25)에, N+1픽처에서의 각 분할 영역(Partition)의 제1의 시차정보, 즉 각 분할 영역에서의 최소의 시차정보(disparity값)의 차분치인 「Differential_min_disparity_in_partition」이 배치된다.
도 70의 VS_Info의 구조례는, 「d_picture=1」로서 더블 픽처의 모드이고, 「picture_reorder=1」로서 시간적으로 N+1픽처가 앞이고 N픽처가 뒤인 경우에 있어서의 VS_Info의 구조례를 도시하고 있다. 또한, 이 예는, 「partition_count=1111」이고, 분할 영역이 「16」인 경우를 도시하고 있다.
이 경우, 제8+1바이트(PB8+1)에, N+1픽처에서의 픽처 표시 화면 전체의 제2의 시차정보, 즉 픽처 전체의 최대의 시차정보(disparity값)인 「Max_disparity_in_picture」가 배치된다. 그리고, 제8+2바이트(PB8+2)부터 제8+16바이트(PB8+16)에, N+1픽처에서의 각 분할 영역(Partition)의 제1의 시차정보, 즉 각 분할 영역에서의 최소의 시차정보(disparity값)인 「Min_disparity_in_partition」이 배치된다.
또한, 이 경우, 제8+17바이트(PB8+17)의 제3비트부터 제0비트에, N픽처에서의 픽처 표시 화면 전체의 제2의 시차정보, 즉 픽처 전체의 최대의 시차정보(disparity값)의 차분 데이터인 「Differential_max_disparity_in_picture」가 배치된다. 제8+18바이트(PB8+18)부터 제8+25바이트(PB8+25)에, N픽처에서의 각 분할 영역(Partition)의 제1의 시차정보, 즉 각 분할 영역에서의 최소의 시차정보(disparity값)의 차분치인 「Differential_min_disparity_in_partition」이 배치된다.
[N픽처와, N+1픽처의 순번 결정]
여기서, N픽처와 N+1픽처의 순번 결정, 즉 「picture_reorder」를 "0"으로 하는지 "1"로 하는지의 결정은, 예를 들면, 이하와 같이 행하여진다. N픽처와 N+1픽처의 순번 결정은, 예를 들면, 도 72에 도시하는 바와 같은 구성으로 행하여진다. 시차정보는, 프레임 메모리(281)에 공급되고, 1프레임만큼 지연된다. 감산기(282)에서는, N+1픽처의 시차정보(D)(N+1)와 N픽처의 시차정보(D)(N)의 차분 데이터 「D(N)-D(N+1)」가 산출되고, 이 차분 데이터가 순번 결정부(283)에 보내진다.
순번 결정부(283)에서는, 차분 데이터의 절대치|D(N)-D(N+1)|와 임계치(Th)가 비교되고, N픽처와 N+1픽처의 순번 결정이 행하여진다. |D(N)-D(N+1)|≤Th일 때, 순번 결정부(283)는, 「N픽처가 앞, N+1픽처가 뒤」로 결정하고, VS_Info의 「picture_reorder」를 "0"으로 세트하고, 이 VS_Info에, N픽처 및 N+1픽처의 시차정보를, 상술한 도 69에 도시하는 바와 같이 배치한다. 이 경우, N+1픽처의 시차정보는, N픽처의 시차정보와의 사이의 차분 데이터가 된다.
도 73은, |D(N)-D(N+1)|≤Th가 되는 경우의 시차정보(Disparity값)의 시간 추이례를 도시하고 있다. 이 예에서는, N-1픽처와 N픽처와의 사이에서 시차정보가 크게 변화하고 있다. 그러나, N픽처와 N+1픽처와의 사이에서 시차정보의 변화는 작다. 그 때문에, |D(N)-D(N+1)|≤Th를 충족시키게 된다. 이 경우, N+1픽처의 시차정보는, N픽처의 시차정보와의 사이의 차분 데이터가 되기 때문에, 그 값은 비교적 작아진다.
한편, |D(N)-D(N+1)|>Th일 때, 순번 결정부(283)는, 「N+1픽처가 앞, N픽처가 뒤」로 결정하고, VS_Info의 「picture_reorder」를 "1"로 세트하고, 이 VS_Info에, N+1픽처 및 N픽처의 시차정보를, 상술한 도 70에 도시하는 바와 같이 배치한다. 이 경우, N픽처의 시차정보는, N-1픽처의 시차정보와의 사이의 차분 데이터가 된다.
도 74는, |D(N)-D(N+1)|>Th가 되는 경우의 시차정보(Disparity값)의 시간 추이례를 도시하고 있다. 이 예에서는, N-1픽처와 N픽처와의 사이에서 시차정보의 변화는 작지만, N픽처와 N+1픽처와의 사이에서 시차정보의 변화는 크다. 그 때문에, |D(N)-D(N+1)|>Th를 충족시키게 된다. 이 경우, N픽처의 시차정보는, N-1픽처의 시차정보와의 사이의 차분 데이터가 되기 때문에, 그 값은 비교적 작아진다.
여기서, 「Min_disparity_in_partition」에 관해서는, D(N+1), D(N)로서, 각각, 이하의 수식(2), (3)에 표시하는 바와 같이, 각 분할 영역(Partition)의 「Min_disparity_in_partition」의 최소치(Min_disparity(N+1), Min_disparity(N))가 사용된다.
D(N+1)=Min_disparity (N+1)
=Minimum(Min_disparity_partition(N+1_0, N+1_1, - -, N+1_15))
… (2)
D(N) =Min_disparity (N)
=Minimum(Min_disparity_partition(N_0, N_1, - -, N_15))
… (3)
또한, D(N)에 관해서는, 상술한 수식(3)으로 구하는 대신에, 상술한 수식(2)으로 D(N+1)로서 채용된, Min_disparity(N+1)로 된 「Min_disparity_partition」과 같은 분할 영역(Partition)의 N픽처의 「Min_disparity_partition」으로 하는 것도 가능하다.
한편, 「Max_disparity_in_picture」에 관해서는, D(N+1)로서, N+1픽처의 「Max_disparity_in_picture」가 사용되고, D(N)로서, N픽처의 「Max_disparity_in_picture」가 사용된다. 또한, |D(N)-D(N+1)|와 Th와의 비교 판정 결과에 관해, 「Min_disparity_in_partitio」에 관한 결과와, 「Max_disparity_in_picture」에 관한 결과가 일치하지 않는 경우는, 「Min_disparity_in_partition」에 관한 결과를 우선시키는 등 하는 것이 가능하다.
또한, 상술한 도 70의 VS_Info의 구조례에서는, 시간적으로 N+1픽처가 앞이고 N픽처가 뒤에 배치되어 있다. 이와 같이 함으로써, 제8+1바이트(PB8+1)부터 제8+25바이트(PB+25)까지의 구조가, 시간적으로 N픽처가 앞이고 N+1픽처가 뒤에 배치되어 있는 도 69의 VS_Info의 구조례와 같이 되기 때문에, 수신측에서의 판독의 안정화가 도모된다. 그러나, 도 70에 도시하는 VS_Info의 구조례에서, N+1픽처의 시차정보와 N픽처의 시차정보와의 배치 위치를 역으로 하는 것도 생각된다.
또한, 상술에서는, 셋톱박스(200)가 싱글 픽처 또는 더블 픽처의 모드를 선택 가능한 예를 나타내였다. 그러나, 더블 픽처의 모드 대신에 복수 픽처의 모드로 하여, 픽처수를 임의로 선택 가능하게 하는 것도 생각된다. 또한, 선택할 수 있는 모드 수가 3개 이상인 경우도 생각된다. 그 경우는, 주어진 대역으로 송신 가능하게, HDMI 소스(HDMI Source)측에서, 분할 영역(partition)의 수를 적절한 수로 변경하는 것도 가능하다.
이상 설명한 바와 같이, 도 1에 도시하는 픽처 송수신 시스템(10)에서, 방송국(100)은, 화상 데이터의 소정의 픽처마다 취득된 제1의 시차정보 및 제2의 시차정보를, 비디오 스트림에 삽입하여 송신한다. 여기서, 제1의 시차정보는 픽처 표시 화면의 소정 영역에서의 가장 면전의 오브젝트 재생 위치에 대응한 시차정보로서, 제2의 시차정보는 픽처 표시 화면의 소정 영역에서의 가장 면후의 오브젝트 재생 위치에 대응한 시차정보이다. 그 때문에, 수신측의 셋톱박스(200)에서는, 예를 들면, 이들 제1의 시차정보 및 제2의 시차정보에 의거하여, 시차각이 시청상 건강을 해치지 않는 소정의 범위 내에 있는지의 여부를 체크하고, 필요에 응하여 좌안화상 데이터 및 우안화상 데이터를 재구성할 수 있다.
또한, 도 1에 도시하는 픽처 송수신 시스템(10)에서, 방송국(100)은, 화상 데이터의 소정의 픽처마다 취득된 시차정보를 비디오 스트림에 삽입하여 송신할 때에, 시차정보에 압축부호화의 처리를 행하는 것이고, 데이터량의 저감을 도모할 수 있다.
<2. 변형례>
또한, 상술한 실시의 형태에서는, 픽처 송수신 시스템(10)이, 방송국(100), 셋톱박스(200) 및 텔레비전 수신기(300)로 구성되어 있는 것을 나타내였다. 그러나, 도 75에 도시하는 바와 같이, 방송국(100) 및 텔레비전 수신기(300A)로 구성된 픽처 송수신 시스템(10A)도 생각된다.
도 76은, 텔레비전 수신기(300A)의 구성례를 도시하고 있다. 이 도 76에서, 도 45와 대응하는 부분에는 동일 부호를 붙이고, 그 상세 설명은 생략한다. 텔레비전(TV) 그래픽스 발생부(219A)는, 도 45의 셋톱박스(200)의 셋톱박스(STB) 그래픽스 발생부(219)와 같은 것이고, OSD 또는 어플리케이션, 또는 EPG 등의 그래픽스 데이터를 발생한다.
중첩부(217)로부터는, 좌안 표시용의 서브타이틀(자막) 및 그래픽스가 중첩된 좌안화상의 데이터가 얻어짐과 함께, 우안 표시용의 서브타이틀(자막) 및 그래픽스가 중첩된 우안화상의 데이터가 얻어진다. 이들의 화상 데이터는, 입체화상 표시를 위한 처리부에 보내지고, 입체화상 표시가 행하여진다. 또한, 채널 믹싱부(244)에서는, 음성 데이터에 대해, 예를 들면 5.1ch 서라운드 등을 실현하기 위한 각 채널의 음성 데이터가 생성된다. 이 음성 데이터는 예를 들면 스피커에 공급되고, 입체화상 표시에 맞춘 음성 출력이 이루어진다.
상세 설명은 생략하지만, 도 76에 도시하는 텔레비전 수신기(300A)의 그 외는, 도 45의 셋톱박스(200)과 마찬가지로 구성되고, 마찬가지로 동작한다.
또한, 상술한 실시의 형태에서는, 셋톱박스(200)와, 텔레비전 수신기(300)가, HDMI의 디지털 인터페이스로 접속된 것을 나타내고 있다. 그러나, 이들이, HDMI의 디지털 인터페이스와 같은 디지털 인터페이스(유선 외에 무선도 포함한다)로 접속되는 경우에서도, 본 기술을 마찬가지로 적용할 수 있음은 물론이다.
또한, 상술한 실시의 형태에서는, 셋톱박스(200)로부터 텔레비전 수신기(300)에 시차정보를 송신하는 방법으로서, HDMI Vendor Specific InfoFrame을 이용하는 방법을 설명하였다. 그 밖에, 액티브 스페이스(Active Space)를 이용하는 방법, 나아가서는, HPD 라인(86)(HEAC-라인) 및 유틸리티 라인(88)(HEAC+라인)으로 구성되는 쌍방향통신로를 통하여 송신하는 것도 생각된다.
또한, 상술한 실시의 형태에서는, 셋톱박스(200)로부터 텔레비전 수신기(300)에, 시차정보를, HDMI 인터페이스에 의해 송신하는 예를 나타내였다. 그러나, 이와 같이 HDMI 인터페이스를 통하여 시차정보를 송신한 기술에 관해서는, 그 밖의 소스 기기 및 싱크 기기의 조합에도 응용할 수 있음은 물론이다. 예를 들면, 소스 기기로서는 BD나 DVD 등의 디스크 플레이어, 나아가서는 게임기 등도 생각되고, 싱크 기기로서는 모니터 장치, 프로젝터 장치 등도 생각된다.
또한, 상술한 실시의 형태에서는, 컨테이너가 트랜스포트 스트림(MPEG-2 TS)인 예를 나타내였다. 그러나, 본 기술은, 인터넷 등의 네트워크를 이용하여 수신 단말에 배신되는 구성의 시스템에도 마찬가지로 적용할 수 있다. 인터넷의 배신에서는, MP4나 그 밖의 포맷의 컨테이너로 배신되는 것이 많다.
즉, 컨테이너로서는, 디지털 방송 규격으로 채용되어 있는 트랜스포트 스트림(MPEG-2 TS), 인터넷 배신에서 사용되고 있는 MP4 등의 복수 가지의 포맷의 컨테이너가 해당한다. 또한, 하나의 서비스 내용을 공급하는 방법이 복수로 분할되어 있고, 각각이 다른 전송 형태로 행하여지는 것 같은 응용, 즉, 한쪽의 뷰(view)가 전파에 의한 전송으로, 또 한쪽의 뷰(view)가 인터넷에 의한 전송인 경우에도 해당한다.
또한, 본 기술은, 이하와 같은 구성을 취하는 것도 가능하다.
(1) 입체화상을 구성하는 좌안화상 데이터 및 우안화상 데이터를 취득하는 화상 데이터 취득부와,
상기 취득된 화상 데이터의 소정의 픽처마다, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보로서, 픽처 표시 화면의 소정 영역에서의 가장 면전의 오브젝트 재생 위치에 대응한 제1의 시차정보와, 픽처 표시 화면의 소정 영역에서의 가장 면후의 오브젝트 재생 위치에 대응한 제2의 시차정보를 취득하는 시차정보 취득부와,
상기 취득된 화상 데이터가 부호화되어 얻어진 비디오 스트림에, 상기 취득된 시차정보를 삽입하는 시차정보 삽입부와,
상기 시차정보가 삽입된 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 화상 데이터 송신부를 구비하는
송신 장치.
(2) 상기 시차정보 삽입부는,
상기 제1의 시차정보 및 상기 제2의 시차정보를, 픽처 단위, 또는 GOP 단위로 삽입하는
상기 (1)에 기재된 송신 장치.
(3) 상기 시차정보 삽입부는,
상기 취득된 시차정보를, 압축부호화 처리를 행한 후에, 상기 비디오 스트림에 삽입하는
상기 (1) 또는 (2)에 기재된 송신 장치.
(4) 상기 시차정보 삽입부는, 상기 비디오 스트림의 소정의 픽처에 상기 시차정보를 삽입할 때에, 그 시차정보가 픽처 표시 화면 전체에서의 시차정보인지, 소정수로 분할된 각 분할 영역에서의 시차정보인지를 식별하는 식별 정보를 또한 삽입하는
상기 (1)부터 (3)의 어느 하나에 기재된 송신 장치.
(5) 상기 시차정보 취득부는,
픽처 표시 화면을 분할 정보로 분할하여 얻어진 각 분할 영역에서의 상기 제1의 시차정보를 취득함과 함께, 픽처 표시 화면 전체에서의 상기 제2의 시차정보를 취득하는
상기 (1)부터 (4)의 어느 하나에 기재된 송신 장치.
(6) 상기 시차정보 취득부는,
픽처 표시 화면을 분할 정보로 분할하여 얻어진 각 분할 영역에서의 상기 제1의 시차정보 및 상기 제2의 시차정보를 취득하는
상기 (1)부터 (4)의 어느 하나에 기재된 송신 장치.
(7) 상기 시차정보 취득부는,
픽처 표시 화면을 제1의 분할 정보로 분할하여 얻어진 각 분할 영역에서의 상기 제1의 시차정보를 취득함과 함께, 픽처 표시 화면을 제2의 분할 정보로 분할하여 얻어진 각 분할 영역에서의 상기 제2의 시차정보를 취득하는
상기 (1)부터 (4)의 어느 하나에 기재된 송신 장치.
(8) 입체화상을 구성하는 좌안화상 데이터 및 우안화상 데이터를 취득하는 스텝과,
상기 취득된 화상 데이터의 소정의 픽처마다, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보로서, 픽처 표시 화면의 소정 영역에서의 가장 면전의 오브젝트 재생 위치에 대응한 제1의 시차정보와, 픽처 표시 화면의 소정 영역에서의 가장 면후의 오브젝트 재생 위치에 대응한 제2의 시차정보를 취득하는 스텝과,
상기 취득된 화상 데이터가 부호화되어 얻어진 비디오 스트림에, 상기 취득된 시차정보를 삽입하는 스텝과,
상기 시차정보가 삽입된 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 스텝을 구비하는
송신 방법.
(9) 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하는 화상 데이터 수신부를 구비하고,
상기 비디오 스트림은, 입체화상을 구성하는 좌안화상 데이터 및 우안화상 데이터가 부호화되어 얻어진 것이고,
상기 비디오 스트림에는, 상기 화상 데이터의 소정의 픽처마다, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보로서, 픽처 표시 화면의 소정 영역에서의 가장 면전의 오브젝트 재생 위치에 대응한 제1의 시차정보와, 픽처 표시 화면의 소정 영역에서의 가장 면후의 오브젝트 재생 위치에 대응한 제2의 시차정보가 삽입되어 있고,
상기 컨테이너에 포함되는 비디오 스트림으로부터 상기 좌안화상 데이터 및 우안화상 데이터를 취득함과 함께, 상기 제1의 시차정보 및 제2의 시차정보를 취득하는 정보 취득부와,
상기 취득된 제1의 시차정보 및 제2의 시차정보에 의거하여, 시차각이 소정 범위 내에 들어가도록, 상기 좌안화상 데이터 및 우안화상 데이터의 재구성을 지시하는 제어부를 또한 구비하는
수신 장치.
(10) 입체화상을 구성하는 좌안화상 데이터 및 우안화상 데이터를 취득하는 화상 데이터 취득부와,
상기 취득된 화상 데이터의 소정의 픽처마다, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보를 취득하는 시차정보 취득부와,
상기 취득된 시차정보에 대해 압축부호화 처리를 행하는 압축부호화부와,
상기 취득된 화상 데이터가 부호화되어 얻어진 비디오 스트림에, 상기 압축부호화된 시차정보를 삽입하는 시차정보 삽입부와,
상기 시차정보가 삽입된 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 화상 데이터 송신부를 구비하는
송신 장치.
(11) 상기 압축부호화부는, 상기 압축부호화 처리로서, 상기 취득된 각 픽처의 시차정보에 대해 가변길이 부호를 이용한 처리를 행하는
상기 (10)에 기재된 송신 장치.
(12) 상기 압축부호화부는, 상기 압축부호화 처리로서, 상기 취득된 각 픽처 중, 참조 픽처에서는, 피참조 픽처와의 사이의 차분 데이터를 취득하고, 그 차분 데이터에 가변길이 부호화의 처리를 행하는
상기 (11)에 기재된 송신 장치.
(13) 상기 압축부호화부는, 표시순으로 선행하는 픽처를 피참조 픽처로 하여 차분 데이터를 취득하는
상기 (12)에 기재된 송신 장치.
(14) 상기 압축부호화부는, 디코드순으로 선행하는 픽처를 피참조 픽처로 하여 차분 데이터를 취득하는
상기 (12)에 기재된 송신 장치.
(15) 상기 시차정보 삽입부는, 상기 비디오 스트림의 소정의 픽처에 상기 시차정보를 삽입할 때에, 그 삽입되는 시차정보가 인트라 데이터인지 차분 데이터인지를 식별하는 식별 정보를 또한 삽입하는
상기 (12)부터 (14)의 어느 하나에 기재된 송신 장치.
(16) 상기 시차정보 삽입부는,
상기 비디오 스트림의 I픽처, P픽처 및 피참조 B픽처에 대응하여 상기 시차정보를 삽입하고,
상기 삽입되는 시차정보가 차분 데이터일 때, 피참조 픽처까지의 픽처수의 정보를 또한 삽입하는
상기 (14)에 기재된 송신 장치.
(17) 입체화상을 구성하는 좌안화상 데이터 및 우안화상 데이터를 취득하는 스텝과,
상기 취득된 화상 데이터의 소정의 픽처마다, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보를 취득하는 스텝과,
상기 취득된 시차정보에 대해 압축부호화 처리를 행하는 스텝과,
상기 취득된 화상 데이터가 부호화되어 얻어진 비디오 스트림에, 상기 압축부호화된 시차정보를 삽입하는 스텝과,
상기 시차정보가 삽입된 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 스텝을 구비하는
송신 방법.
(18) 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하는 화상 데이터 수신부를 구비하고,
상기 비디오 스트림은, 입체화상을 구성하는 좌안화상 데이터 및 우안화상 데이터가 부호화되어 얻어진 것이고,
상기 비디오 스트림에는, 상기 화상 데이터의 소정의 픽처마다, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보가 삽입되어 있고,
상기 컨테이너에 포함되는 비디오 스트림으로부터 상기 좌안화상 데이터 및 우안화상 데이터를 취득함과 함께, 상기 시차정보를 취득하는 정보 취득부와,
상기 정보 취득부에서 취득되는 시차정보가 존재하지 않는 픽처의 시차정보를, 상기 취득된 전후의 픽처의 시차정보로부터 보간에 의해 생성하는 시차정보 보간부를 또한 구비하는
수신 장치.
(19) 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하는 화상 데이터 수신부를 구비하고,
상기 비디오 스트림은, 입체화상을 구성하는 좌안화상 데이터 및 우안화상 데이터가 부호화되어 얻어진 것이고,
상기 비디오 스트림에는, 상기 화상 데이터의 소정의 픽처마다, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보로서, 픽처 표시 화면의 소정 영역에서의 가장 면전의 오브젝트 재생 위치에 대응한 제1의 시차정보와, 픽처 표시 화면의 소정 영역에서의 가장 면후의 오브젝트 재생 위치에 대응한 제2의 시차정보가 삽입되어 있고,
상기 컨테이너에 포함되는 비디오 스트림으로부터 상기 좌안화상 데이터 및 우안화상 데이터를 취득함과 함께, 상기 제1의 시차정보 및 제2의 시차정보를 취득하는 정보 취득부와,
상기 취득된 상기 좌안화상 데이터 및 상기 우안화상 데이터와, 상기 취득된 상기 제1의 시차정보 및 제2의 시차정보를, 대응지어서, 외부 기기에 송신하는 송신부를 또한 구비하는
수신 장치.
(20) 상기 취득된 제1의 시차정보 및 제2의 시차정보에 의거하여, 시차각이 소정 범위 내에 들어가도록 화상 데이터 및 시차정보의 재구성을 행하는 정보 재구성부를 또한 구비하고,
상기 송신부는, 상기 재구성된 좌안화상 데이터 및 우안화상 데이터와, 상기 재구성된 제1의 시차정보 및 제2의 시차정보를, 대응지어서, 외부 기기에 송신하는
상기 (19)에 기재된 수신 장치.
(21) 상기 송신부는, 2픽처 단위로, 연속하는 제1의 픽처 및 제2의 픽처의 시차정보를 송신하고,
적어도, 상기 제1의 픽처 또는 상기 제2의 픽처의 시차정보는, 하나 전의 픽처의 시차정보와의 사이의 차분 데이터가 되는
상기 (1) 또는 (20)에 기재된 수신 장치.
(22) 상기 제1의 픽처의 시차정보와 상기 제2의 픽처의 시차정보와의 차분 데이터에 의거하여, 상기 제1의 픽처의 시차정보를 차분 데이터로 하는지 상기 제2의 픽처의 시차정보를 차분 데이터로 하는지를 결정하는 결정부를 또한 구비하는
상기 (21)에 기재된 수신 장치.
(23) 상기 송신부가 송신하는 상기 시차정보에는, 상기 제1의 픽처의 시차정보가 차분 데이터인지 상기 제2의 픽처의 시차정보가 차분 데이터인지를 나타내는 식별 정보가 부가되어 있는
상기 (22)에 기재된 수신 장치.
본 기술의 주된 특징은, 픽처마다 취득된 시차정보의 최대치(제2의 시차정보)와 최소치(제1의 시차정보)를 비디오 스트림에 삽입하여 송신하도록 함으로써, 수신측에서 시차각이 시청상 건강을 해치지 않는 소정의 범위 내에 있는지의 여부를 체크 가능하게 하는 것이다(도 8, 도 15 참조). 또한, 픽처마다 취득된 시차정보를 비디오 스트림에 삽입하여 송신할 때에, 시차정보에 압축부호화의 처리를 행하도록 함으로써, 데이터량의 저감을 도모한 것이다(도 24 참조). 또한, 2픽처 단위로 연속하는 2개의 픽처의 시차정보를 HDMI에 의해 외부 기기에 송신할 때에, 한쪽의 픽처의 시차정보를 하나 전의 픽처와의 사이의 차분 데이터로 함으로써, 전송 데이터량의 저감을 도모한 것이다(도 69 참조).
10, 10A : 픽처 송수신 시스템
100 : 방송국
110, 110A : 송신 데이터 생성부
111L, 111R : 화상 데이터 출력부
112L, 112 : 스케일러
113 : 비디오 인코더
114 : 멀티플렉서
115 : 시차 데이터 생성부
116 : 서브타이틀 데이터 출력부
117 : 서브타이틀 인코더
118 : 음성 데이터 출력부
119 : 오디오 인코더
120 : 압축부호화부
121 : 버퍼
122 : 감산기
123 : 가변길이 부호화부
200 : 셋톱박스
211 : 컨테이너 버퍼
212 : 디멀티플렉서
213 : 코티드 버퍼
214 : 비디오 디코더
215 : 디코티드 버퍼
216 : 스케일러
217 : 중첩부
218 : 시차정보 버퍼
219 : 셋톱박스(STB) 그래픽스 버퍼
219A : 텔레비전(TV) 그래픽스 버퍼
220 : 깊이 제어부
221 : 그래픽스 버퍼
231 : 코티드 버퍼
232 : 서브타이틀 디코더
233 : 픽셀 버퍼
234 : 서브타이틀 시차정보 버퍼
235 : 서브타이틀 표시 제어부
241 : 코티드 버퍼
242 : 오디오 디코더
243 : 오디오 버퍼
244 : 채널 믹싱부
251 : HDMI 송신부
261 : 압축 복호화부
262 : 시차정보 제어부
263 : L/R 재구성부
264 : 가변길이 복호화부
265 : 버퍼
266 : 가산기
271 : 최대치 취득부
272 : 최소치 취득부
273 : 시차각 체크부
274 : 시차정보 보정부
281 : 프레임 메모리
282 : 감산기
283 : 순번 결정부
300, 300A : 텔레비전 수신기
311 : HDMI 수신부
312 : 스케일러
313 : 중첩부
314 : 깊이 제어부
315 : 그래픽스 버퍼
316 : 텔레비전(TV) 그래픽스 발생부
317 : 오디오 처리부
400 : HDMI 케이블

Claims (23)

  1. 입체화상을 구성하는 좌안화상 데이터 및 우안화상 데이터를 취득하는 화상 데이터 취득부와,
    상기 취득된 화상 데이터의 소정의 픽처마다, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보로서, 픽처 표시 화면의 소정 영역에서의 가장 면전의 오브젝트 재생 위치에 대응한 제1의 시차정보와, 픽처 표시 화면의 소정 영역에서의 가장 면후의 오브젝트 재생 위치에 대응한 제2의 시차정보를 취득하는 시차정보 취득부와,
    상기 취득된 화상 데이터가 부호화되어 얻어진 비디오 스트림에, 상기 취득된 시차정보를 삽입하는 시차정보 삽입부와,
    상기 시차정보가 삽입된 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 화상 데이터 송신부를 구비하는 것을 특징으로 하는 송신 장치.
  2. 제1항에 있어서,
    상기 시차정보 삽입부는,
    상기 제1의 시차정보 및 상기 제2의 시차정보를, 픽처 단위, 또는 GOP 단위로 삽입하는 것을 특징으로 하는 송신 장치.
  3. 제1항에 있어서,
    상기 시차정보 삽입부는,
    상기 취득된 시차정보를, 압축부호화 처리를 행한 후에, 상기 비디오 스트림에 삽입하는 것을 특징으로 하는 송신 장치.
  4. 제1항에 있어서,
    상기 시차정보 삽입부는, 상기 비디오 스트림의 소정의 픽처에 상기 시차정보를 삽입할 때에, 그 시차정보가 픽처 표시 화면 전체에서의 시차정보인지, 소정수로 분할된각 분할 영역에서의 시차정보인지를 식별하는 식별 정보를 또한 삽입하는 것을 특징으로 하는 송신 장치.
  5. 제1항에 있어서,
    상기 시차정보 취득부는,
    픽처 표시 화면을 분할 정보로 분할하여 얻어진 각 분할 영역에서의 상기 제1의 시차정보를 취득함과 함께, 픽처 표시 화면 전체에서의 상기 제2의 시차정보를 취득하는 것을 특징으로 하는 송신 장치.
  6. 제1항에 있어서,
    상기 시차정보 취득부는,
    픽처 표시 화면을 분할 정보로 분할하여 얻어진 각 분할 영역에서의 상기 제1의 시차정보 및 상기 제2의 시차정보를 취득하는 것을 특징으로 하는 송신 장치.
  7. 제1항에 있어서,
    상기 시차정보 취득부는,
    픽처 표시 화면을 제1의 분할 정보로 분할하여 얻어진 각 분할 영역에서의 상기 제1의 시차정보를 취득함과 함께, 픽처 표시 화면을 제2의 분할 정보로 분할하여 얻어진 각 분할 영역에서의 상기 제2의 시차정보를 취득하는 것을 특징으로 하는 송신 장치.
  8. 입체화상을 구성하는 좌안화상 데이터 및 우안화상 데이터를 취득하는 스텝과,
    상기 취득된 화상 데이터의 소정의 픽처마다, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보로서, 픽처 표시 화면의 소정 영역에서의 가장 면전의 오브젝트 재생 위치에 대응한 제1의 시차정보와, 픽처 표시 화면의 소정 영역에서의 가장 면후의 오브젝트 재생 위치에 대응한 제2의 시차정보를 취득하는 스텝과,
    상기 취득된 화상 데이터가 부호화되어 얻어진 비디오 스트림에, 상기 취득된 시차정보를 삽입하는 스텝과,
    상기 시차정보가 삽입된 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 스텝을 구비하는 것을 특징으로 하는 송신 방법.
  9. 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하는 화상 데이터 수신부를 구비하고,
    상기 비디오 스트림은, 입체화상을 구성하는 좌안화상 데이터 및 우안화상 데이터가 부호화되어 얻어진 것이고,
    상기 비디오 스트림에는, 상기 화상 데이터의 소정의 픽처마다, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보로서, 픽처 표시 화면의 소정 영역에서의 가장 면전의 오브젝트 재생 위치에 대응한 제1의 시차정보와, 픽처 표시 화면의 소정 영역에서의 가장 면후의 오브젝트 재생 위치에 대응한 제2의 시차정보가 삽입되어 있고,
    상기 컨테이너에 포함되는 비디오 스트림으로부터 상기 좌안화상 데이터 및 우안화상 데이터를 취득함과 함께, 상기 제1의 시차정보 및 제2의 시차정보를 취득하는 정보 취득부와,
    상기 취득된 제1의 시차정보 및 제2의 시차정보에 의거하여, 시차각이 소정 범위 내에 들어가도록, 상기 좌안화상 데이터 및 우안화상 데이터의 재구성을 지시하는 제어부를 또한 구비하는 것을 특징으로 하는 수신 장치.
  10. 입체화상을 구성하는 좌안화상 데이터 및 우안화상 데이터를 취득하는 화상 데이터 취득부와,
    상기 취득된 화상 데이터의 소정의 픽처마다, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보를 취득하는 시차정보 취득부와,
    상기 취득된 시차정보에 대해 압축부호화 처리를 행하는 압축부호화부와,
    상기 취득된 화상 데이터가 부호화되어 얻어진 비디오 스트림에, 상기 압축부호화된 시차정보를 삽입하는 시차정보 삽입부와,
    상기 시차정보가 삽입된 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 화상 데이터 송신부를 구비하는 것을 특징으로 하는 송신 장치.
  11. 제10항에 있어서,
    상기 압축부호화부는, 상기 압축부호화 처리로서, 상기 취득된 각 픽처의 시차정보에 대해 가변길이 부호를 이용한 처리를 행하는 것을 특징으로 하는 송신 장치.
  12. 제11항에 있어서,
    상기 압축부호화부는, 상기 압축부호화 처리로서, 상기 취득된 각 픽처 중, 참조 픽처에서는, 피참조 픽처와의 사이의 차분 데이터를 취득하고, 그 차분 데이터에 가변길이 부호화의 처리를 행하는 것을 특징으로 하는 송신 장치.
  13. 제12항에 있어서,
    상기 압축부호화부는, 표시순으로 선행하는 픽처를 피참조 픽처로 하여 차분 데이터를 취득하는 것을 특징으로 하는 송신 장치.
  14. 제12항에 있어서,
    상기 압축부호화부는, 디코드순으로 선행하는 픽처를 피참조 픽처로 하여 차분 데이터를 취득하는 것을 특징으로 하는 송신 장치.
  15. 제12항에 있어서,
    상기 시차정보 삽입부는, 상기 비디오 스트림의 소정의 픽처에 상기 시차정보를 삽입할 때에, 그 삽입되는 시차정보가 인트라 데이터인지 차분 데이터인지를 식별하는 식별 정보를 또한 삽입하는 것을 특징으로 하는 송신 장치.
  16. 제14항에 있어서,
    상기 시차정보 삽입부는,
    상기 비디오 스트림의 I픽처, P픽처 및 피참조 B픽처에 대응하여 상기 시차정보를 삽입하고,
    상기 삽입되는 시차정보가 차분 데이터일 때, 피참조 픽처까지의 픽처수의 정보를 또한 삽입하는 것을 특징으로 하는 송신 장치.
  17. 입체화상을 구성하는 좌안화상 데이터 및 우안화상 데이터를 취득하는 스텝과,
    상기 취득된 화상 데이터의 소정의 픽처마다, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보를 취득하는 스텝과,
    상기 취득된 시차정보에 대해 압축부호화 처리를 행하는 스텝과,
    상기 취득된 화상 데이터가 부호화되어 얻어진 비디오 스트림에, 상기 압축부호화된 시차정보를 삽입하는 스텝과,
    상기 시차정보가 삽입된 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 스텝을 구비하는 것을 특징으로 하는 송신 방법.
  18. 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하는 화상 데이터 수신부를 구비하고,
    상기 비디오 스트림은, 입체화상을 구성하는 좌안화상 데이터 및 우안화상 데이터가 부호화되어 얻어진 것이고,
    상기 비디오 스트림에는, 상기 화상 데이터의 소정의 픽처마다, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보가 삽입되어 있고,
    상기 컨테이너에 포함되는 비디오 스트림으로부터 상기 좌안화상 데이터 및 우안화상 데이터를 취득함과 함께, 상기 시차정보를 취득하는 정보 취득부와,
    상기 정보 취득부에서 취득되는 시차정보가 존재하지 않는 픽처의 시차정보를, 상기 취득된 전후의 픽처의 시차정보로부터 보간에 의해 생성하는 시차정보 보간부를 또한 구비하는 것을 특징으로 하는 수신 장치.
  19. 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하는 화상 데이터 수신부를 구비하고,
    상기 비디오 스트림은, 입체화상을 구성하는 좌안화상 데이터 및 우안화상 데이터가 부호화되어 얻어진 것이고,
    상기 비디오 스트림에는, 상기 화상 데이터의 소정의 픽처마다, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보로서, 픽처 표시 화면의 소정 영역에서의 가장 면전의 오브젝트 재생 위치에 대응한 제1의 시차정보와, 픽처 표시 화면의 소정 영역에서의 가장 면후의 오브젝트 재생 위치에 대응한 제2의 시차정보가 삽입되어 있고,
    상기 컨테이너에 포함되는 비디오 스트림으로부터 상기 좌안화상 데이터 및 우안화상 데이터를 취득함과 함께, 상기 제1의 시차정보 및 제2의 시차정보를 취득하는 정보 취득부와,
    상기 취득된 상기 좌안화상 데이터 및 상기 우안화상 데이터와, 상기 취득된 상기 제1의 시차정보 및 제2의 시차정보를, 대응지어서, 외부 기기에 송신하는 송신부를 또한 구비하는 것을 특징으로 하는 수신 장치.
  20. 제19항에 있어서,
    상기 취득된 제1의 시차정보 및 제2의 시차정보에 의거하여, 시차각이 소정 범위 내에 들어가도록 화상 데이터 및 시차정보의 재구성을 행하는 정보 재구성부를 또한 구비하고,
    상기 송신부는, 상기 재구성된 좌안화상 데이터 및 우안화상 데이터와, 상기 재구성된 제1의 시차정보 및 제2의 시차정보를, 대응지어서, 외부 기기에 송신하는 것을 특징으로 하는 수신 장치.
  21. 제19항에 있어서,
    상기 송신부는, 2픽처 단위로, 연속하는 제1의 픽처 및 제2의 픽처의 시차정보를 송신하고,
    적어도, 상기 제1의 픽처 또는 상기 제2의 픽처의 시차정보는, 하나 전의 픽처의 시차정보와의 사이의 차분 데이터가 되는 것을 특징으로 하는 수신 장치.
  22. 제21항에 있어서,
    상기 제1의 픽처의 시차정보와 상기 제2의 픽처의 시차정보와의 차분 데이터에 의거하여, 상기 제1의 픽처의 시차정보를 차분 데이터로 하는지 상기 제2의 픽처의 시차정보를 차분 데이터로 하는지를 결정하는 결정부를 또한 구비하는 것을 특징으로 하는 수신 장치.
  23. 제22항에 있어서,
    상기 송신부가 송신하는 상기 시차정보에는, 상기 제1의 픽처의 시차정보가 차분 데이터인지 상기 제2의 픽처의 시차정보가 차분 데이터인지를 나타내는 식별 정보가 부가되어 있는 것을 특징으로 하는 수신 장치.
KR1020137026511A 2012-02-16 2013-01-17 송신 장치, 송신 방법 및 수신 장치 KR101981813B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2012032215 2012-02-16
JPJP-P-2012-032215 2012-02-16
JP2012035684 2012-02-21
JPJP-P-2012-035684 2012-02-21
PCT/JP2013/050723 WO2013121823A1 (ja) 2012-02-16 2013-01-17 送信装置、送信方法および受信装置

Publications (2)

Publication Number Publication Date
KR20140134212A true KR20140134212A (ko) 2014-11-21
KR101981813B1 KR101981813B1 (ko) 2019-08-28

Family

ID=48983949

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137026511A KR101981813B1 (ko) 2012-02-16 2013-01-17 송신 장치, 송신 방법 및 수신 장치

Country Status (7)

Country Link
US (2) US9596449B2 (ko)
EP (1) EP2683168B1 (ko)
JP (2) JP6090168B2 (ko)
KR (1) KR101981813B1 (ko)
CN (1) CN103597823B (ko)
BR (1) BR112013026086A2 (ko)
WO (1) WO2013121823A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9860515B2 (en) * 2012-12-11 2018-01-02 Electronics And Telecommunications Research Institute Apparatus and method for 3D content broadcasting with boundary information
US9762889B2 (en) * 2013-05-08 2017-09-12 Sony Corporation Subtitle detection for stereoscopic video contents
RU2671945C2 (ru) * 2014-05-01 2018-11-08 Сони Корпорейшн Устройство или способ передачи данных и компьютерная программа
HUE056171T2 (hu) 2014-12-29 2022-01-28 Sony Group Corp Adókészülék, adási eljárás, vevõkészülék és vételi eljárás
KR102337159B1 (ko) * 2015-05-21 2021-12-08 삼성전자주식회사 컨텐츠 출력 장치 및 방법과, 디스플레이 장치
KR102519209B1 (ko) * 2015-06-17 2023-04-07 한국전자통신연구원 스테레오스코픽 비디오 데이터를 처리하기 위한 mmt 장치 및 방법
CN114998557A (zh) * 2015-08-18 2022-09-02 奇跃公司 虚拟和增强现实系统和方法
EP3485646B1 (en) * 2016-07-15 2022-09-07 Koninklijke KPN N.V. Streaming virtual reality video
CN106325521B (zh) 2016-08-31 2018-06-29 北京小米移动软件有限公司 测试虚拟现实头显设备软件的方法及装置
WO2018083211A1 (en) 2016-11-04 2018-05-11 Koninklijke Kpn N.V. Streaming virtual reality video
US10212532B1 (en) 2017-12-13 2019-02-19 At&T Intellectual Property I, L.P. Immersive media with media device
US11523185B2 (en) 2019-06-19 2022-12-06 Koninklijke Kpn N.V. Rendering video stream in sub-area of visible display area

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005006114A (ja) 2003-06-12 2005-01-06 Sharp Corp 放送データ送信装置、放送データ送信方法および放送データ受信装置
JP2008109267A (ja) * 2006-10-24 2008-05-08 Sharp Corp 立体画像生成装置及び立体画像復号装置
JP2011502382A (ja) * 2007-10-19 2011-01-20 サムスン エレクトロニクス カンパニー リミテッド 立体映像データを記録する方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6365574U (ko) 1986-10-17 1988-04-30
US5625408A (en) * 1993-06-24 1997-04-29 Canon Kabushiki Kaisha Three-dimensional image recording/reconstructing method and apparatus therefor
JPH0715748A (ja) 1993-06-24 1995-01-17 Canon Inc 画像記録再生装置
JPH08133125A (ja) 1994-11-04 1996-05-28 Nissan Motor Co Ltd 自動車のサブフレーム取付構造
JPH08142908A (ja) 1994-11-18 1996-06-04 Nissan Motor Co Ltd 自動車のサブフレーム取付構造
JPH10191394A (ja) * 1996-12-24 1998-07-21 Sharp Corp 多視点画像符号化装置
JP2001088736A (ja) 1999-09-24 2001-04-03 Suzuki Motor Corp サスペンションフレーム構造
JP4405272B2 (ja) * 2003-02-19 2010-01-27 パナソニック株式会社 動画像復号化方法、動画像復号化装置及びプログラム
JP2005094168A (ja) * 2003-09-12 2005-04-07 Sharp Corp ファイル構造及びそれを用いる画像記録装置並びに画像再生装置
JP4697005B2 (ja) 2006-03-29 2011-06-08 三菱自動車工業株式会社 車体構造
JP2008018901A (ja) 2006-07-14 2008-01-31 Toyota Motor Corp 車両前部構造
JP2010505174A (ja) * 2006-09-28 2010-02-18 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ メニューディスプレイ
JP2008174179A (ja) 2007-01-22 2008-07-31 Nissan Motor Co Ltd 車体前部構造
JP4910882B2 (ja) 2007-05-23 2012-04-04 三菱自動車工業株式会社 サスクロスメンバ取付け構造
JP5228626B2 (ja) * 2007-05-29 2013-07-03 パナソニック株式会社 立体プリント配線板とその製造方法
JP2010064637A (ja) 2008-09-11 2010-03-25 Daihatsu Motor Co Ltd 車両の下部構造
JP5274359B2 (ja) * 2009-04-27 2013-08-28 三菱電機株式会社 立体映像および音声記録方法、立体映像および音声再生方法、立体映像および音声記録装置、立体映像および音声再生装置、立体映像および音声記録媒体
JP5267334B2 (ja) * 2009-05-28 2013-08-21 株式会社Ｊｖｃケンウッド 立体映像表示装置および立体映像表示方法
JP5446913B2 (ja) 2009-06-29 2014-03-19 ソニー株式会社 立体画像データ送信装置および立体画像データ送信方法
JP5407957B2 (ja) * 2009-06-29 2014-02-05 ソニー株式会社 立体画像データ送信装置および立体画像データ受信装置
JP5407968B2 (ja) * 2009-06-29 2014-02-05 ソニー株式会社 立体画像データ送信装置および立体画像データ受信装置
JP5402715B2 (ja) * 2009-06-29 2014-01-29 ソニー株式会社 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2011030179A (ja) * 2009-06-29 2011-02-10 Sony Corp 画像データ送信装置、制御方法およびプログラム
JP2011030182A (ja) * 2009-06-29 2011-02-10 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
CN102474638B (zh) 2009-07-27 2015-07-01 皇家飞利浦电子股份有限公司 组合3d视频与辅助数据
JP2011166757A (ja) * 2010-01-15 2011-08-25 Sony Corp 送信装置、送信方法および受信装置
JP2011155431A (ja) * 2010-01-27 2011-08-11 Hitachi Consumer Electronics Co Ltd フレームレート変換装置および映像表示装置
JP5577789B2 (ja) * 2010-03-25 2014-08-27 ソニー株式会社 画像データ送信装置、画像データ送信方法および画像データ受信装置
JP2011223481A (ja) * 2010-04-14 2011-11-04 Sony Corp データ構造、画像処理装置、画像処理方法、およびプログラム
JP2011239169A (ja) * 2010-05-10 2011-11-24 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2012010311A (ja) * 2010-05-26 2012-01-12 Sony Corp 送信装置、送信方法、受信装置、受信方法および送受信システム
JP5655393B2 (ja) * 2010-06-23 2015-01-21 ソニー株式会社 画像データ送信装置、画像データ送信装置の制御方法、画像データ送信方法および画像データ受信装置
JP2011211754A (ja) * 2011-07-15 2011-10-20 Fujifilm Corp 画像処理装置および方法並びにプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005006114A (ja) 2003-06-12 2005-01-06 Sharp Corp 放送データ送信装置、放送データ送信方法および放送データ受信装置
JP2008109267A (ja) * 2006-10-24 2008-05-08 Sharp Corp 立体画像生成装置及び立体画像復号装置
JP2011502382A (ja) * 2007-10-19 2011-01-20 サムスン エレクトロニクス カンパニー リミテッド 立体映像データを記録する方法

Also Published As

Publication number Publication date
CN103597823B (zh) 2017-11-03
KR101981813B1 (ko) 2019-08-28
BR112013026086A2 (pt) 2020-08-11
EP2683168A1 (en) 2014-01-08
US9860511B2 (en) 2018-01-02
EP2683168A4 (en) 2015-07-22
JP6090168B2 (ja) 2017-03-08
CN103597823A (zh) 2014-02-19
WO2013121823A1 (ja) 2013-08-22
US9596449B2 (en) 2017-03-14
JPWO2013121823A1 (ja) 2015-05-11
JP2017099000A (ja) 2017-06-01
EP2683168B1 (en) 2019-05-01
US20170134707A1 (en) 2017-05-11
JP6365697B2 (ja) 2018-08-01
US20140028798A1 (en) 2014-01-30

Similar Documents

Publication Publication Date Title
JP6406327B2 (ja) 受信装置および受信方法
JP6365697B2 (ja) 受信装置および受信方法
US9661320B2 (en) Encoding device, decoding device, playback device, encoding method, and decoding method
WO2013108531A1 (ja) 受信装置、受信方法および電子機器
CA2823288C (en) Video encoder, video encoding method, video encoding program, video reproduction device, video reproduction method, and video reproduction program
WO2013105401A1 (ja) 送信装置、送信方法、受信装置および受信方法
US20140078256A1 (en) Playback device, transmission device, playback method and transmission method
WO2013073455A1 (ja) 画像データ送信装置、画像データ送信方法、画像データ受信装置および画像データ受信方法
US9693033B2 (en) Transmitting apparatus, transmitting method, receiving apparatus and receiving method for transmission and reception of image data for stereoscopic display using multiview configuration and container with predetermined format
WO2013054775A1 (ja) 送信装置、送信方法、受信装置および受信方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right