KR20120038389A - 입체화상 데이터 송신 장치, 입체화상 데이터 송신 방법, 입체화상 데이터 수신 장치 및 입체화상 데이터 수신 방법 - Google Patents

입체화상 데이터 송신 장치, 입체화상 데이터 송신 방법, 입체화상 데이터 수신 장치 및 입체화상 데이터 수신 방법 Download PDF

Info

Publication number
KR20120038389A
KR20120038389A KR20117003744A KR20117003744A KR20120038389A KR 20120038389 A KR20120038389 A KR 20120038389A KR 20117003744 A KR20117003744 A KR 20117003744A KR 20117003744 A KR20117003744 A KR 20117003744A KR 20120038389 A KR20120038389 A KR 20120038389A
Authority
KR
South Korea
Prior art keywords
information
data
image data
parallax
eye image
Prior art date
Application number
KR20117003744A
Other languages
English (en)
Inventor
이쿠오 츠카고시
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20120038389A publication Critical patent/KR20120038389A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

과제
중첩정보의 표시에서 화상 내의 각 물체 사이의 원근감의 정합성을 유지한다.
해결 수단
시차정보 세트 작성부(134)는, 예를 들면, 최하층에 위치하는 픽셀(화소)마다의 시차벡터에 다운사이징 처리를 시행하여, 화상 영역을 계층적으로 분할하여 얻어진 각 계층의 각 영역의 시차정보를 구함과 함께, 수신측이 요구하는 시차벡터의 공간 밀도, 또는 전송 대역 등에 의거하여 선택된 계층의 각 영역의 시차벡터를 계층순으로 배치한 시차정보 세트를 작성한다. 멀티플렉서(122)는, 각 인코더로부터 공급되는 스트림의 패킷을 다중화하고, 시차정보 세트를 포함하는 전송 데이터로서의 비트 스트림 데이터(BSD)를 얻는다. 수신측에서는, 좌안화상 및 우안화상에 중첩되는 동일한 중첩정보로서, 시차정보 세트를 이용함으로써 간단하게, 화상 내의 각 물체의 원근감에 응하여 시차 조정이 시행된 것을 이용할 수 있다.

Description

입체화상 데이터 송신 장치, 입체화상 데이터 송신 방법, 입체화상 데이터 수신 장치 및 입체화상 데이터 수신 방법{THREE-DIMENSIONAL IMAGE DATA TRANSMISSION DEVICE, THREE-DIMENSIONAL IMAGE DATA TRANSMISSION METHOD, THEREE-DIMENSIONAL IMAGE DATA RECEPTION DEVICE, AND THREE-DIMENSIONAL IMAGE DATA RECEPTION METHOD}
본 발명은, 입체화상 데이터 송신 장치, 입체화상 데이터 송신 방법, 입체화상 데이터 수신 장치 및 입체화상 데이터 수신 방법에 관한 것으로, 특히, 클로즈드 캡션 정보, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보 등의 중첩정보의 표시를 양호하게 할 수 있는 입체화상 데이터 송신 장치 등에 관한 것이다.
예를 들면, 특허 문헌 1에는, 입체화상 데이터의 텔레비전방송 전파를 이용한 전송 방식에 관해 제안되어 있다. 이 경우, 좌안용 화상 데이터 및 우안용 화상 데이터를 포함하는 입체화상 데이터가 송신되고, 텔레비전 수신기에서, 양안시차를 이용한 입체화상 표시가 행하여진다.
도 66은, 양안시차를 이용한 입체화상 표시에서, 스크린상에서의 오브젝트(물체)의 좌우상의 표시 위치와, 그 입체상의 재생 위치와의 관계를 도시하고 있다. 예를 들면, 스크린상에 도시하는 바와 같이 좌상(La)이 우측으로 위상(Ra)이 좌측으로 시프트하여 표시되어 있는 오브젝트(A)에 관해서는, 좌우의 시선이 스크린면보다 앞에서 교차하기 때문에, 그 입체상의 재생 위치는 스크린면보다 앞이 된다.
또한, 예를 들면, 스크린상에 도시하는 바와 같이 좌상(Lb) 및 위상(Rb)이 동일 위치에 표시되어 있는 오브젝트(B)에 관해서는, 좌우의 시선이 스크린면에서 교차하기 때문에, 그 입체상의 재생 위치는 스크린 면상이 된다. 또한, 예를 들면, 스크린상에 도시하는 바와 같이 좌상(Lc)이 좌측으로 위상(Rc)이 우측으로 시프트하여 표시되어 있는 오브젝트(C)에 관해서는, 좌우의 시선이 스크린면보다 뒤에서 교차하기 때문에, 그 입체상의 재생 위치는 스크린면보다 뒤가 된다.
특허 문헌 1 : 일본 특개2005-6114호 공보
상술한 바와 같이 입체화상 표시에서, 시청자는, 양안시차를 이용하여, 입체화상의 원근감을 인지하는 것이 보통이다. 화상에 중첩되는 중첩정보, 예를 들면, 클로즈드 캡션 정보, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보 등에 관해서도, 2차원 공간적뿐만 아니라, 3차원의 깊이감으로서도, 입체화상 표시와 연동하여 렌더링되는 것이 기대된다.
예를 들면, 화상에 클로즈드 캡션 정보 또는 서브타이틀 정보인 자막을 중첩 표시(오버레이 표시)하는 경우, 원근감이라는 관점에서 가장 가까운 화상 내의 물체(오브젝트)보다도 앞에 표시되지 않으면, 시청자는, 원근감의 모순을 느끼는 경우가 있다. 또한, 다른 그래픽스 정보, 또는 텍스트 정보를 화상에 중첩 표시하는 경우에도, 화상 내의 각 물체의 원근감에 응하여 시차 조정을 시행하고, 원근감의 정합성을 유지하는 것이 기대된다.
본 발명의 목적은, 클로즈드 캡션 정보, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보 등의 중첩정보의 표시에서, 화상 내의 각 물체 사이의 원근감의 정합성의 유지를 도모하는 것에 있다.
본 발명의 개념은,
화상 영역을 계층적으로 분할하여 얻어진 각 계층중, 선택된 계층의 각 영역의 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보를 계층순으로 배치한 시차정보 세트를 작성하는 시차정보 작성부와,
좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터와 함께, 상기 시차정보 작성부에서 작성된 시차정보 세트를 송신하는 데이터 송신부를 구비하는 입체화상 데이터 송신 장치에 있다.
본 발명에서, 시차정보 작성부에 의해, 시차정보 세트가 작성된다. 이 시차정보 세트에는, 화상 영역을 계층적으로 분할하여 얻어진 각 계층중, 선택된 계층의 각 영역의 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보가, 계층순으로 배치되어 있다. 예를 들면, 시차정보 세트를 구성하는 각 시차정보에는, 그 시차정보가 속하는 최하층의 위치 정보(블록 ID 등)가 부가되어 있다. 데이터 송신부에 의해, 좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터와 함께, 시차정보 작성부에서 작성된 시차정보 세트가 송신된다.
이와 같이, 본 발명에서는, 입체화상을 표시하기 위한 좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터와 함께, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보가 송신된다. 그 때문에, 수신측에서는, 좌안화상 및 우안화상에 중첩되는 동일한 중첩정보(클로즈드 캡션 정보, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보 등)로서, 화상 내의 각 물체의 원근감에 응하여 시차 조정이 시행된 것을 이용할 수가 있어서, 중첩정보의 표시에서, 화상 내의 각 물체 사이의 원근감의 정합성을 유지하는 것이 가능해진다.
또한, 시차정보 세트에는, 화상 영역을 계층적으로 분할하여 얻어진 각 계층중, 선택된 계층의 각 영역의 시차정보가, 계층순으로 배치되어 있다. 그 때문에, 수신측에서는, 중첩정보의 중첩 위치에 대응하는 시차정보를 용이하게 취출하여 이용할 수 있다. 즉, 수신측에서, 중첩정보의 중첩 위치에 대응하는 시차정보를 얻기 위한 계산 등이 불필요하게 되어, 간단한 구성으로 할 수 있다.
본 발명의 다른 개념은,
좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터와 함께, 화상 영역을 계층적으로 분할하여 얻어진 각 계층중, 선택된 계층의 각 영역의 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보를 계층순으로 배치한 시차정보 세트를 수신하는 데이터 수신부와,
상기 데이터 수신부에서 수신된 상기 좌안화상 데이터 및 상기 우안화상 데이터와, 상기 데이터 수신부에서 수신되는 상기 시차정보 세트를 이용하여, 좌안화상 및 우안화상에 중첩하는 동일한 중첩정보에 시차를 부여하고, 상기 중첩정보가 중첩된 좌안화상의 데이터 및 상기 중첩정보가 중첩된 우안화상의 데이터를 얻는 화상 데이터 처리부를 구비하는 입체화상 데이터 수신 장치에 있다.
본 발명에서, 데이터 수신부에 의해, 좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터와 함께, 시차정보 세트가 수신된다. 이 시차정보 세트에는, 화상 영역을 계층적으로 분할하여 얻어진 각 계층중, 선택된 계층의 각 영역의 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보가, 계층순으로 배치되어 있다.
화상 데이터 처리부에 의해, 좌안화상 데이터 및 우안화상 데이터와, 시차정보 세트가 사용되고, 좌안화상 및 우안화상에 중첩하는 동일한 중첩정보에 시차가 부여되고, 중첩정보가 중첩된 좌안화상의 데이터 및 중첩정보가 중첩된 우안화상의 데이터가 얻어진다.
이와 같이, 시차정보 세트에 의거하여 좌안화상 및 우안화상에 중첩하는 동일한 중첩정보에 시차가 부여된다. 그 때문에, 좌안화상 및 우안화상에 중첩되는 동일한 중첩정보로서, 화상 내의 각 물체의 원근감에 응하여 시차 조정이 시행된 것을 이용할 수가 있어서, 중첩정보의 표시에서, 화상 내의 각 물체 사이의 원근감의 정합성을 유지하는 것이 가능해진다.
또한, 시차정보 세트에는, 화상 영역을 계층적으로 분할하여 얻어진 각 계층중, 선택된 계층의 각 영역의 시차정보가, 계층순으로 배치되어 있다. 그 때문에, 중첩정보의 중첩 위치에 대응하는 시차정보를 용이하게 취출하여 이용할 수 있다. 즉, 중첩정보의 중첩 위치에 대응하는 시차정보를 얻기 위한 계산 등이 불필요하게 되어, 간단한 구성으로 할 수 있다.
또한, 본 발명의 다른 개념은,
좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보를 출력한 시차정보 출력부와,
좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터와 함께, 상기 시차정보 출력부에서 출력되는 시차정보를 송신하는 데이터 송신부를 구비하고,
상기 시차정보 출력부에서 출력되는 시차정보는, 상기 화상 데이터의 소정 단위마다의 시차정보인 입체화상 데이터 송신 장치에 있다.
본 발명에서, 데이터 송신부에 의해, 좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터와 함께, 시차정보 출력부에서 출력된 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보가 송신된다. 이 경우, 시차정보 출력부에서 출력되는 시차정보는, 화상 데이터의 소정 단위마다의 시차정보가 된다. 소정 단위는, 예를 들면, 화상 단위(프레임 단위) 등이다.
이와 같이, 본 발명에서는, 입체화상을 표시하기 위한 좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터와 함께, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보가 송신된다. 그 때문에, 수신측에서는, 좌안화상 및 우안화상에 중첩되는 동일한 중첩정보로서, 화상 내의 각 물체의 원근감에 응하여 시차 조정이 시행된 것을 이용할 수가 있어서, 중첩정보의 표시에서, 화상 내의 각 물체 사이의 원근감의 정합성을 유지하는 것이 가능해진다.
또한, 본 발명에서, 시차정보 출력부에서 출력되는 시차정보는, 화상 데이터의 소정 단위마다의 시차정보가 된다. 그 때문에, 수신측에서는, 중첩정보의 중첩 기간에서, 화상 데이터의 소정 단위마다, 중첩정보에, 대응하는 시차정보에 의한 시차를 부여할 수 있다. 즉, 중첩정보에 부여하는 시차를, 화상 내용의 변화에 연동하여 동적으로 변화시키는 것이 가능해진다.
또한, 본 발명에서, 예를 들면, 데이터 송신부는, 화상 데이터를 일정기간마다 구획하고, 각 일정기간의 화상 데이터에 대응한 소정 단위마다의 시차정보를, 각 일정기간의 화상 데이터의 송신에 앞서서 송신하도록 하여도 좋다. 이 경우, 수신측에서는, 중첩정보의 중첩 기간에서, 중첩정보에, 이 중첩 기간분의 시차정보로부터 선택된 소정의 시차정보에 의한 시차를 부여할 수 있다. 즉, 화상 내용의 변화에 의하지 않고, 중첩정보에, 예를 들면, 중첩정보의 중첩 기간중의 최대 시차를 부여하는 것이 가능해진다.
또한, 본 발명의 다른 개념은,
좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터와 함께, 시차정보를 수신하는 데이터 수신부와,
상기 데이터 수신부에서 수신된, 상기 좌안화상 데이터 및 상기 우안화상 데이터와, 상기 시차정보를 이용하여, 좌안화상 및 우안화상에 중첩하는 동일한 중첩정보에 시차를 부여하고, 상기 중첩정보가 중첩된 좌안화상의 데이터 및 상기 중첩정보가 중첩된 우안화상의 데이터를 얻는 화상 데이터 처리부를 구비하고,
상기 데이터 수신부에서 수신되는 상기 시차정보는, 상기 화상 데이터의 소정 단위마다의 시차정보이고,
상기 화상 데이터 처리부는, 상기 중첩정보의 중첩 기간에서, 상기 화상 데이터의 소정 단위마다, 상기 중첩정보에, 대응하는 시차정보에 의한 시차를 부여하는 입체화상 데이터 수신 장치에 있다.
본 발명에서, 화상 데이터 처리부에 의해, 데이터 수신부에서 수신된, 좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터와 함께, 시차정보가 이용되어, 좌안화상 및 우안화상에 중첩하는 동일한 중첩정보에 시차가 부여되고, 중첩정보가 중첩된 좌안화상의 데이터 및 중첩정보가 중첩된 우안화상의 데이터가 얻어진다.
이 경우, 데이터 수신부에서 수신되는 시차정보는 화상 데이터의 소정 단위마다의 시차정보이고, 화상 데이터 처리부에서는, 중첩정보의 중첩 기간에서, 화상 데이터의 소정 단위마다, 중첩정보에, 대응하는 시차정보에 의한 시차가 부여된다.
이와 같이, 시차정보에 의거하여 좌안화상 및 우안화상에 중첩하는 동일한 중첩정보에 시차가 부여된다. 그 때문에, 좌안화상 및 우안화상에 중첩되는 동일한 중첩정보로서, 화상 내의 각 물체의 원근감에 응하여 시차 조정이 시행된 것을 이용할 수가 있어서, 중첩정보의 표시에서, 화상 내의 각 물체 사이의 원근감의 정합성을 유지하는 것이 가능해진다.
또한, 화상 데이터 처리부에서는, 중첩정보의 중첩 기간에서, 화상 데이터의 소정 단위마다, 중첩정보에, 대응하는 시차정보에 의한 시차가 부여된다. 그 때문에, 중첩정보에 부여하는 시차를, 화상 내용의 변화에 연동하여 동적으로 변화시키는 것이 가능해진다.
또한, 본 발명의 다른 개념은,
좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터와 함께, 시차정보를 수신하는 데이터 수신부와,
상기 데이터 수신부에서 수신된, 상기 좌안화상 데이터 및 상기 우안화상 데이터와, 상기 시차정보를 이용하여, 좌안화상 및 우안화상에 중첩하는 동일한 중첩정보에 시차를 부여하고, 상기 중첩정보가 중첩된 좌안화상의 데이터 및 상기 중첩정보가 중첩된 우안화상의 데이터를 얻는 화상 데이터 처리부를 구비하고,
상기 데이터 수신부에서 수신되는 상기 시차정보는, 상기 화상 데이터의 소정 단위마다의 시차정보이고,
상기 데이터 수신부는, 적어도, 상기 중첩정보의 중첩 기간분의 시차정보를, 그 중첩 기간 이전에 수신하고,
상기 화상 데이터 처리부는, 상기 중첩정보의 중첩 기간에서, 상기 중첩정보의 중첩 기간에서, 상기 중첩정보에, 그 중첩 기간분의 시차정보로부터 선택된 소정의 시차정보에 의한 시차를 부여하는 입체화상 데이터 수신 장치에 있다.
본 발명에서, 화상 데이터 처리부에 의해, 데이터 수신부에서 수신된, 좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터와 함께, 시차정보가 이용되어, 좌안화상 및 우안화상에 중첩하는 동일한 중첩정보에 시차가 부여되고, 중첩정보가 중첩된 좌안화상의 데이터 및 중첩정보가 중첩된 우안화상의 데이터가 얻어진다.
이 경우, 데이터 수신부에서 수신되는 시차정보는, 화상 데이터의 소정 단위마다의 시차정보이고, 데이터 수신부에서는, 적어도, 중첩정보의 중첩 기간분의 시차정보가, 이 중첩 기간 이전에 수신된다. 그리고, 화상 데이터 처리부에서는, 중첩정보의 중첩 기간에서, 중첩정보에, 이 중첩 기간분의 시차정보로부터 선택된 소정의 시차정보에 의한 시차가 부여된다. 예를 들면, 소정의 시차정보는, 중첩 기간분의 시차정보중 최대의 시차를 나타내는 시차정보가 된다.
이와 같이, 시차정보에 의거하여 좌안화상 및 우안화상에 중첩하는 동일한 중첩정보에 시차가 부여된다. 그 때문에, 좌안화상 및 우안화상에 중첩되는 동일한 중첩정보로서, 화상 내의 각 물체의 원근감에 응하여 시차 조정이 시행된 것을 이용할 수가 있어서, 중첩정보의 표시에서, 화상 내의 각 물체 사이의 원근감의 정합성을 유지하는 것이 가능해진다.
또한, 화상 데이터 처리부에서는, 중첩정보의 중첩 기간에서, 중첩정보에, 이 중첩 기간분의 시차정보로부터 선택된 소정의 시차정보에 의한 시차가 부여된다. 그 때문에, 화상 내용의 변화에 의하지 않고, 중첩정보에, 예를 들면, 중첩정보의 중첩 기간중의 최대 시차를 부여하는 것이 가능해진다.
또한, 본 발명의 다른 개념은,
좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터와 함께, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보를 수신하는 데이터 수신부와,
상기 데이터 수신부에서 수신된, 상기 좌안화상 데이터 및 상기 우안화상 데이터와, 상기 시차정보를, 전송로를 통하여, 외부 기기에 송신하는 데이터 송신부를 구비하는 입체화상 데이터 수신 장치에 있다.
본 발명에서, 데이터 수신부에 의해, 좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터와 함께, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보가 수신된다. 그리고, 데이터 송신부에 의해, 이 수신된 좌안화상 데이터 및 우안화상 데이터와, 시차정보가, 전송로를 통하여, 외부 기기에 송신된다. 본 발명에서, 예를 들면, 데이터 송신부는, 화상 데이터를, 복수 채널로, 차동 신호에 의해, 전송로를 통하여, 외부 기기에 송신하고, 화상 데이터의 블랭킹 기간에 시차정보를 삽입함으로써, 이 시차정보를 외부 기기에 송신하도록 된다.
또한, 본 발명에서, 예를 들면, 데이터 송신부는, 수직 동기 신호에 의해 구획되는, 수평 블랭킹 기간, 수직 블랭킹 기간 및 액티브 비디오 구간을 포함하는 비디오 필드 구간을 단위로 하는 전송 데이터를 생성하는 전송 데이터 생성부와, 전송 데이터 생성부에서 생성된 전송 데이터를, 복수 채널로, 차동 신호에 의해, 전송로를 통하여, 외부 기기에 송신하는 전송 데이터 송신부를 가지며, 액티브 비디오 구간은, 주영상 영역 및 보조영상 영역을 가지며, 전송 데이터 생성부는, 주영상 영역에 화상 데이터를 배치하고, 보조영상 영역에, 주영상 영역에 배치되는 화상 데이터에 관련된 상기 시차정보를 배치하도록 된다.
이와 같이, 본 발명에서는, 좌안화상 데이터 및 우안화상 데이터와 함께, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보가, 전송로를 통하여, 외부 기기에 송신된다. 그 때문에, 외부 기기, 예를 들면 텔레비전 수신기 등의 화상 표시장치에서는, 좌안화상 및 우안화상에 중첩되는 동일한 중첩정보(메뉴, 방송프로그램표 등)로서, 화상 내의 각 물체의 원근감에 응하여 시차 조정이 시행된 것을 이용할 수가 있어서, 중첩정보의 표시에서, 화상 내의 각 물체 사이의 원근감의 정합성을 유지하는 것이 가능해진다.
본 발명에 의하면, 입체화상 데이터(좌안화상 데이터, 우안화상 데이터)의 수신측에서, 좌안화상 및 우안화상에 중첩되는 동일한 중첩정보로서, 화상 내의 각 물체의 원근감에 응하여 시차 조정이 시행된 것을 이용할 수가 있어서, 중첩정보의 표시에서 원근감의 정합성을 유지하는 것이 가능해진다.
도 1은 본 발명의 실시의 형태로서의 입체화상 표시 시스템의 구성예를 도시하는 블록도.
도 2는 방송국에서의 송신 데이터 생성부의 구성예를 도시하는 블록도.
도 3은 1920×1080p의 픽셀 포맷의 화상 데이터를 도시하는 도면.
도 4는 입체화상 데이터(3D 화상 데이터)의 전송 방식인 「Top & Bottom」방식, 「Side By Side」방식, 「Frame Sequential」방식을 설명하기 위한 도면.
도 5는 좌안화상에 대한 우안화상의 시차벡터를 검출하는 예를 설명하기 위한 도면.
도 6은 시차벡터를 블록 매칭 방식으로 구하는 것을 설명하기 위한 도면.
도 7은 시차벡터 검출부에서 검출되는, 화상 내의 소정 위치에서의 시차벡터(VV)의 한 예를 도시하는 도면.
도 8은 시차벡터의 전송 내용을 도시하는 도면.
도 9는 시차 검출 블록례와, 그 경우의 시차벡터의 전송 내용을 도시하는 도면.
도 10은 시차벡터를 검출하여 전송하는 타이밍의 예를 설명하기 위한 도면.
도 11은 시차벡터를 검출하여 전송하는 타이밍의 예를 설명하기 위한 도면.
도 12는 송신 데이터 생성부에서 다중화되는 각 데이터의 스트림례를 도시하는 도면.
도 13은 방송국에서의 송신 데이터 생성부의 다른 구성예를 도시하는 블록도.
도 14는 방송국에서의 송신 데이터 생성부에서 다중화되는 각 스트림의 한 예를 도시하는 도면.
도 15는 방송국에서의 송신 데이터 생성부의 다른 구성예를 도시하는 블록도.
도 16은 방송국에서의 송신 데이터 생성부에서 다중화되는 각 스트림의 한 예를 도시하는 도면.
도 17은 전송 방식이 제 1의 전송 방식(「Top & Bottom」방식)인 경우에 있어서의, 좌안 그래픽스 정보 및 우안 그래픽스 정보의 중첩 위치 등을 설명하기 위한 도면.
도 18은 전송 방식이 제 1의 전송 방식(「Top & Bottom」방식)인 경우에 있어서의, 좌안 그래픽스 정보 및 우안 그래픽스 정보의 생성 방법을 설명하기 위한 도면.
도 19는 전송 방식이 제 2의 전송 방식(「Side By Side」방식)인 경우에 있어서의, 좌안 그래픽스 정보 및 우안 그래픽스 정보의 생성 방법을 설명하기 위한 도면.
도 20은 전송 방식이 제 2의 전송 방식(「Side By Side」방식)인 경우에 있어서의, 좌안 그래픽스 정보 및 우안 그래픽스 정보의 생성 방법을 설명하기 위한 도면.
도 21은 방송국에서의 송신 데이터 생성부의 다른 구성예를 도시하는 블록도.
도 22는 방송국에서의 송신 데이터 생성부의 다른 구성예를 도시하는 블록도.
도 23은 픽셀(화소)마다의 시차벡터의 값을 각 픽셀(각 화소)의 휘도치로서 이용한 경우의 화상례를 도시하는 도면.
도 24는 블록마다의 시차벡터의 한 예를 도시하는 도면.
도 25는 송신 데이터 생성부의 시차정보 세트 작성부에서 행하여지는 다운사이징 처리의 한 예를 도시하는 도면.
도 26은 시차정보 세트 작성부에서 관리되는 각 계층의 각 영역의 시차벡터를 설명하기 위한 도면.
도 27은 시차정보 세트의 내용의 한 예를 도시하는 도면.
도 28은 전송 방식이 제 2의 전송 방식(「Side By Side」방식)인 경우에 있어서의, 좌안 그래픽스 정보 및 우안 그래픽스 정보의 중첩 위치를 도시하는 도면.
도 29은 좌안화상, 우안화상에 대해, 비트 스트림 데이터로부터 추출된 종래 방법에 의해 전송되는 그래픽스 데이터에 의한 그래픽스 화상을 그대로 중첩한 상태를 도시하는 도면.
도 30은 시각(T0, T1, T2, T3)에서의 3개의 오브젝트 위치의 시차벡터를 도시하는 도면.
도 31은 화상상에서의 자막(그래픽스 정보)의 표시예와, 배경, 근경 오브젝트, 자막의 원근감을 도시하는 도면.
도 32는 화상상에서의 자막(그래픽스 정보)의 표시예와, 자막을 표시하기 위한 좌안 그래픽스 정보(LGI) 및 우안 그래픽스 정보(RGI)를 도시하는 도면.
도 33은 시차벡터로서, 화상 내의 복수 위치에서 검출된 시차벡터중, 그 중첩 위치에 대응한 것을 사용하는 것을 설명하기 위한 도면.
도 34는 화상 내에 A, B, C의 각 오브젝트가 존재하고, 이들 각 오브젝트의 부근 위치에, 각 오브젝트의 주석을 나타내는 텍스트 정보를 중첩하는 것을 도시하는 도면.
도 35는 입체화상 표시 시스템를 구성하는 셋톱 박스의 구성예를 도시하는 블록도.
도 36은 셋톱 박스를 구성하는 비트 스트림 처리부의 구성예를 도시하는 블록도.
도 37은 시차벡터(VV1)가, 텔레비전 디스플레이를 향하여 좌측의 비디오 오브젝트의 쪽이 큰 경우의 스피커 출력 제어예를 도시하는 도면.
도 38은 방송국으로부터 보내 오는 각 데이터 스트림과 시차벡터와의 대응 관계를 도시하는 도면.
도 39는 방송국으로부터 보내 오는 각 데이터 스트림과 시차벡터와의 대응 관계를 도시하는 도면.
도 40은 셋톱 박스를 구성하는 비트 스트림 처리부의 다른 구성예를 도시하는 블록도.
도 41는 방송국으로부터 보내 오는 각 데이터 스트림과 시차벡터와의 대응 관계를 도시하는 도면.
도 42는 방송국으로부터 보내 오는 각 데이터 스트림과 시차벡터와의 대응 관계를 도시하는 도면.
도 43은 방송국으로부터 보내 오는 각 데이터 스트림과 시차벡터와의 대응 관계를 도시하는 도면.
도 44는 셋톱 박스를 구성하는 비트 스트림 처리부의 다른 구성예를 도시하는 블록도.
도 45는 셋톱 박스를 구성하는 비트 스트림 처리부의 다른 구성예를 도시하는 블록도.
도 46은 입체화상 표시 시스템를 구성하는 텔레비전 수신기의 구성예를 도시하는 도면.
도 47은 HDMI 송신부(HDMI 소스)와 HDMI 수신부(HDMI 싱크)의 구성예를 도시하는 블록도.
도 48은 HDMI 송신부를 구성하는 HDMI 트랜스미터와, HDMI 수신부를 구성하는 HDMI 레시버의 구성예를 도시하는 블록도.
도 49는 TMDS 전송 데이터의 구조예(가로×세로가 1920픽셀×108 라인의 화상 데이터가 전송되는 경우)를 도시하는 도면.
도 50은 소스 기기 및 싱크 기기의 HDMI 케이블이 접속되는 HDMI 단자의 핀 배열(타입 A)을 도시하는 도면.
도 51은 E-EDID의 데이터 구조예를 도시하는 도면.
도 52는 Vender Specific 영역(HDMI Vendor Specific DataBlock)의 데이터 구조예를 도시하는 도면.
도 53은 입체화상 데이터의 TMDS 전송 데이터 구조의 하나인 프레임 패킹 방식의 3D 비디오 포맷를 도시하는 도면.
도 54는 입체화상 데이터의 TMDS 전송 데이터 구조의 하나인 라인 앨터네이티브 방식의 3D 비디오 포맷를 도시하는 도면.
도 55는 입체화상 데이터의 TMDS 전송 데이터 구조의 하나인 사이드?바이?사이드(Full) 방식의 3D 비디오 포맷를 도시하는 도면.
도 56은 입체화상 표시 시스템를 구성하는 셋톱 박스의 다른 구성예를 도시하는 블록도.
도 57은 입체화상 표시 시스템를 구성하는 텔레비전 수신기의 다른 구성예를 도시하는 도면.
도 58은 셋톱 박스로부터 텔레비전 수신기에 송신되는 시차정보 세트의 내용의 한 예를 도시하는 도면.
도 59은 화상(픽처) 영역을 9분할하여 얻어지는 각 블록(BK0 내지 BK8)과, 그 경우의 각 블록의 시차벡터의 배치를 설명하기 위한 도면.
도 60은 시차정보 세트의 송신에 HDMI Vendor Specific InfoFrame을 이용하는 경우에 있어서의, HDMIVendor Specific InfoFrame의 패킷 구조예를 도시하는 도면.
도 61은 시차정보 세트의 송신에 액티브 스페이스 영역을 이용하는 경우에 있어서의, HDMI Vendor Specific InfoFrame의 패킷 구조예를 도시하는 도면.
도 62는 액티브 스페이스 영역에 배치되는 시차정보 세트의 구조를 도시하는 도면.
도 63은 시차정보 세트 구조의 각 정보의 내용을 도시하는 도면.
도 64는 블록 사이즈에 응한 각 시차벡터의 정보 세트의 배치예를 설명하기 위한 도면.
도 65는 입체화상 표시 시스템의 다른 구성예를 도시하는 도면.
도 66은 양안시차를 이용한 입체화상 표시에서, 스크린상에서의 오브젝트의 좌우상의 표시 위치와, 그 입체상의 재생 위치와의 관계를 도시하는 도면.
이하, 발명을 실시하기 위한 형태(이하, 「실시의 형태」라고 한다)에 관해 설명한다. 또한, 설명을 이하의 순서로 행한다.
1. 실시의 형태
2. 변형예
<1. 실시의 형태>
[입체화상 송수신 시스템의 구성예]
도 1은, 실시의 형태로서의 입체화상 송수신 시스템(10)의 구성예를 도시하고 있다. 이 입체화상 송수신 시스템(10)은, 방송국(100)과, 셋톱 박스(STB:Set Top Box)(200)와, 텔레비전 수신기(300)를 갖고 있다.
셋톱 박스(200) 및 텔레비전 수신기(300)는, HDMI(High Definition Multimedia Interface) 케이블(400)을 통하여 접속되어 있다. 셋톱 박스(200)에는, HDMI 단자(202)가 마련되어 있다. 텔레비전 수신기(300)에는, HDMI 단자(302)가 마련되어 있다. HDMI 케이블(400)의 일단은 셋톱 박스(200)의 HDMI 단자(202)에 접속되고, 이 HDMI 케이블(400)의 타단은 텔레비전 수신기(300)의 HDMI 단자(302)에 접속되어 있다.
[방송국의 설명]
방송국(100)은, 비트 스트림 데이터를, 방송파에 실어서 송신한다. 이 비트 스트림 데이터에는, 좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터, 음성 데이터, 중첩정보 데이터, 나아가서는 시차정보(시차벡터) 등이 포함된다. 여기서, 중첩정보 데이터는, 클로즈드 캡션 데이터, 서브타이틀 데이터, 그래픽스 데이터, 텍스트 데이터 등이다.
「송신 데이터 생성부의 구성예」
도 2는, 방송국(100)에서, 상술한 비트 스트림 데이터를 생성하는 송신 데이터 생성부(110)의 구성예를 도시하고 있다. 이 구성예는, 시차벡터를 수치 정보로서 송신하는 예이다. 이 송신 데이터 생성부(110)는, 카메라(111L, 111R)와, 비디오 프레이밍부(112)와, 비디오 인코더(113)와, 시차벡터 검출부(114)와, 시차벡터 인코더(115)를 갖고 있다.
또한, 이 송신 데이터 생성부(110)는, 마이크로폰(116)과, 오디오 인코더(117)와, 서브타이틀?그래픽스 발생부(118)와, 서브타이틀?그래픽스 인코더(119)와, 텍스트 발생부(120)와, 텍스트 인코더(121)와, 멀티플렉서(122)를 갖고 있다. 또한, 이 실시의 형태에서, 텍스트 발생부(120)는, 클로즈드 캡션 데이터의 발생부를 겸하고 있는 것으로 한다. 이 클로즈드 캡션 데이터는, 클로즈드 캡션의 자막 표시를 하기 위한 텍스트 데이터이다.
카메라(111L)는, 좌안화상을 촬영하여 입체화상 표시를 위한 좌안화상 데이터를 얻는다. 카메라(111R)는, 우안화상을 촬영하여 입체화상 표시를 위한 우안화상 데이터를 얻는다. 비디오 프레이밍부(112)는, 카메라(111L)에서 얻어지는 좌안화상 데이터 및 카메라(111R)에서 얻어지는 우안화상 데이터를, 전송 방식에 응한 상태로 가공 처리한다.
[입체화상 데이터의 전송 방식례]
여기서는, 입체화상 데이터(3D 화상 데이터)의 전송 방식으로서, 이하의 제 1 내지 제 3의 방식을 들지만, 이들 이외의 전송 방식이라도 좋다. 여기서는, 도 3에 도시하는 바와 같이, 좌안(L) 및 우안(R)의 화상 데이터가, 각각, 결정된 해상도, 예를 들면 1920×1080p의 픽셀 포맷의 화상 데이터인 경우를 예로 들어 설명한다.
제 1의 전송 방식은, 「Top & Bottom」방식으로, 도 4(a)에 도시하는 바와 같이, 수직방향의 전반에서는 좌안화상 데이터의 각 라인의 데이터를 전송하고, 수직방향의 후반에서는 좌안화상 데이터의 각 라인의 데이터를 전송하는 방식이다. 이 경우, 좌안화상 데이터 및 우안화상 데이터의 라인가 1/2로 솎아내여짐으로써 원(原)신호에 대해 수직 해상도는 반분이 된다.
제 2의 전송 방식은, 「Side By Side」방식으로, 도 4(b)에 도시하는 바와 같이, 수평방향의 전반에서는 좌안화상 데이터의 픽셀 데이터를 전송하고, 수평방향의 후반에서는 우안화상 데이터의 픽셀 데이터를 전송하는 방식이다. 이 경우, 좌안화상 데이터 및 우안화상 데이터는, 각각, 수평방향의 픽셀 데이터가 1/2로 솎아내여진다. 현(現) 신호에 대해, 수평 해상도는 반분이 된다.
제 3의 전송 방식은, 「Frame Sequential」방식으로, 도 4(c)에 도시하는 바와 같이, 좌안화상 데이터와 우안화상 데이터를 필드마다 순차적으로 전환하여 전송하는 방식이다.
도 2로 되돌아와, 비디오 인코더(113)는, 비디오 프레이밍부(112)에서 가공 처리된 입체화상 데이터에 대해, MPEG4-AVC, MPEG2, VC-1 등의 부호화를 시행하여 부호화 비디오 데이터를 얻는다. 또한, 비디오 인코더(113)는, 후단에 스트림 포매터(113a)를 구비한다. 이 스트림 포매터(113a)에 의해, 페이로드부에 부호화 비디오 데이터를 포함하는 비디오의 엘리멘터리 스트림을 생성한다.
시차벡터 검출부(114)는, 좌안화상 데이터 및 우안화상 데이터에 의거하여, 화상 내의 소정 위치에서, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보인 시차벡터를 검출한다. 여기서, 화상 내의 소정 위치는, 모든 픽셀 위치, 복수 화소로 이루어지는 각 영역의 대표 위치, 또는, 중첩정보, 여기서는 그래픽 정보나 텍스트 정보를 중첩하는 영역의 대표 위치 등이다.
[시차벡터의 검출]
시차벡터의 검출예에 관해 설명한다. 여기서는, 좌안화상에 대한 우안화상의 시차벡터를 검출하는 예에 관해 설명한다. 도 5에 도시하는 바와 같이, 좌안화상을 검출 화상으로 하고, 우안화상을 참조 화상으로 한다. 이 예에서는, (xi, yi) 및 (xj, yj)의 위치에서의 시차벡터가 검출된다.
(xi, yi)의 위치에서의 시차벡터를 검출하는 경우를 예로 들어 설명한다. 이 경우, 좌안화상에, (xi, yi)의 위치의 화소를 좌상(左上)으로 하는, 예를 들면 8×8 또는 16×16의 화소 블록(시차 검출 블록)(Bi)이 설정된다. 그리고, 우안화상에서, 화소 블록(Bi)과 매칭하는 화소 블록이 탐색된다.
이 경우, 우안화상에, (xi, yi)의 위치를 중심으로 하는 탐색 범위가 설정되고, 그 탐색 범위 내의 각 화소를 순차적으로 주목 화소로 하여, 상술한 화소 블록(Bi)과 같은 예를 들면 8×8 또는 16×16의 비교 블록이 순차적으로 설정되어 간다.
화소 블록(Bi)과 순차적으로 설정되는 비교 블록의 사이에서, 대응하는 화소마다의 차분 절대치의 총합이 구하여진다. 여기서, 도 6에 도시하는 바와 같이, 화소 블록(Bi)의 화소치를 L(x, y)로 하고, 비교 블록의 화소치를 R(x, y)로 할 때, 화소 블록(Bi)과, 어느 비교 블록와의 사이에서 차분 절대치의 총합은, Σ|L(x, y)-R(x, y)|로 표시된다.
우안화상에 설정되는 탐색 범위에 n개의 화소가 포함되어 있을 때, 최종적으로 n개의 총합(S1 내지 Sn)이 구하여지고, 그 중에서 최소의 총합(Smin)이 선택된다. 그리고, 이 총합(Smin)이 얻어진 비교 블록으로부터 좌상의 화소의 위치가 (xi', yi')가 얻어진다. 이에 의해, (xi, yi)의 위치에서의 시차벡터는, (xi'-xi, yi'-yi)와 같이 검출된다. 상세 설명은 생략하지만, (xj, yj)의 위치에서의 시차벡터에 대해서도, 좌안화상에, (xj, yj)의 위치의 화소를 좌상으로 하는, 예를 들면 8×8 또는 16×16의 화소 블록(Bj)이 설정되고, 마찬가지의 처리 과정에서 검출된다.
도 7(a)는, 시차벡터 검출부(114)에서 검출되는, 화상 내의 소정 위치에서의 시차벡터(VV)의 한 예를 도시하고 있다. 이 경우, 도 7(b)에 도시하는 바와 같이, 이 화상 내의 소정 위치에서는, 좌안화상(검출 화상)을 시차벡터(VV)만큼 시프트하면, 우안화상(참조 화상)과 겹쳐지는 것을 의미한다.
도 2로 되돌아와, 시차벡터 인코더(115)는, 시차벡터 검출부(114)에서 검출된 시차벡터 등을 포함하는 시차벡터의 엘리멘터리 스트림을 생성한다. 여기서, 시차벡터의 엘리멘터리 스트림에는, 이하의 내용이 포함된다. 즉, ID(ID_Block), 수직위치 정보(Vertical_Position), 수평위치 정보(Horizontal_Position), 시차벡터(View_Vector)가 1세트가 된다. 그리고, 이 1세트가 시차 검출 블록의 수인 N개분만큼 반복된다.
도 8은, 시차벡터의 전송 내용을 도시하고 있다. 시차벡터에는, 수직방향 성분(View_Vector_Vertical) 및 수평방향 성분(View_Vector_Horizontal)이 포함되어 있다. 또한, 시차 검출 블록의 수직, 수평의 위치는, 화상의 좌상의 원점부터, 블록의 좌상의 화소까지의 수직방향, 수평방향의 오프셋값이 된다. 각 시차벡터의 전송에, 시차 검출 블록의 ID를 붙이는 것은, 화상에 중첩 표시시키는 클로즈드 캡션 정보, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보 등의 중첩정보의 패턴과의 링크가 취하여지도록 하기 위해서다.
예를 들면, 도 9(a)에 도시하는 바와 같이, A 내지 F까지의 시차 검출 블록이 존재할 때, 전송 내용에는, 도 9(b)에 도시하는 바와 같이, 그 시차 검출 블록(A 내지 F)의 ID와, 수직, 수평의 위치 정보와, 시차벡터가 포함된다. 예를 들면, 도 9(b)에서, 시차 검출 블록(A)에 관해서는, ID2는 시차 검출 블록(A)의 ID를 나타내고, (Ha, Va)는 시차 검출 블록(A)의 수직, 수평의 위치 정보를 나타내고, 시차벡터(A)는 시차 검출 블록(A)의 시차벡터를 나타내고 있다.
여기서, 시차벡터를 검출하여 전송하는 타이밍에 관해 설명한다. 이 타이밍에 관해서는, 예를 들면, 이하의 제 1 내지 제 4의 예가 생각된다.
제 1의 예에서는, 도 10(a)에 도시하는 바와 같이, 화상의 부호화에 동기시킨다. 이 경우, 시차벡터는, 픽처 단위로 전송된다. 이 픽처 단위는, 시차벡터를 전송할 때의 가장 미세한 단위이다. 제 2의 예에서는, 도 10(b)에 도시하는 바와 같이, 비디오의 장면에 동기시킨다. 이 경우, 시차벡터는, 장면 단위로 전송된다.
제 3의 예에서는, 도 10(c)에 도시하는 바와 같이, 부호화 비디오의 I픽처(Intra picture), 또는 GOP(Group Of Pictures)에 동기시킨다. 제 4의 예에서는, 도 11에 도시하는 바와 같이, 화상에 중첩 표시되는 서브타이틀 정보, 그래픽스 정보, 텍스트 정보 등의 표시 개시 타이밍에 동기시킨다.
도 2로 되돌아와, 마이크로폰(116)은, 카메라(111L, 111R)에서 촬영된 화상에 대응한 음성을 검출하고, 음성 데이터를 얻는다. 오디오 인코더(117)는, 마이크로폰(116)에서 얻어진 음성 데이터에 대해, MPEG-2Audio AAC 등의 부호화를 시행하여, 오디오의 엘리멘터리 스트림을 생성한다.
서브타이틀?그래픽스 발생부(118)는, 화상에 중첩하는 서브타이틀 정보나 그래픽스 정보의 데이터(서브타이틀 데이터, 그래픽스 데이터)를 발생한다. 서브타이틀 정보는, 예를 들면 자막이다. 또한, 그래픽스 정보는, 예를 들면 로고 등이다. 이 서브타이틀 데이터 및 그래픽스 데이터는, 비트맵 데이터이다. 이 서브타이틀 데이터 및 그래픽스 데이터에는, 화상상의 중첩 위치를 나타내는 아이들링 오프셋 정보가 부가되어 있다.
이 아이들링 오프셋 정보는, 예를 들면, 화상의 좌상의 원점부터, 서브타이틀 정보나 그래픽스 정보의 중첩 위치의 좌상의 화소까지의 수직방향, 수평방향의 오프셋값을 나타낸다. 또한, 자막 데이터를 비트맵 데이터로서 전송하는 규격은, 유럽의 디지털 방송 규격인 DVB에서 DVB_Subtitling으로서 규격화되어, 운용되고 있다.
서브타이틀?그래픽스 인코더(119)는, 서브타이틀?그래픽스 발생부(118)에서 발생된 서브타이틀 정보나 그래픽스 정보의 데이터(서브타이틀 데이터, 그래픽스 데이터)를 입력한다. 그리고, 이 서브타이틀?그래픽스 인코더(119)는, 이들의 데이터를 페이로드부에 포함하는 엘리멘터리 스트림을 생성한다.
텍스트 발생부(120)는, 화상에 중첩하는 텍스트 정보의 데이터(텍스트 데이터)를 발생한다. 텍스트 정보는, 예를 들면 전자 방송프로그램표, 문자 방송 내용 등이다. 이 텍스트 데이터에는, 상술한 그래픽스 데이터와 마찬가지로, 화상상의 중첩 위치를 나타내는 아이들링 오프셋 정보가 부가되어 있다. 이 아이들링 오프셋 정보는, 예를 들면, 화상의 좌상의 원점부터, 텍스트 정보의 중첩 위치의 좌상의 화소까지의 수직방향, 수평방향의 오프셋값을 나타낸다. 또한, 텍스트 데이터를 전송하는 예로서는, 방송프로그램 예약으로서 운용되고 있는 EPG, 아메리카의 디지털 지상파 규격 ATSC의 CC_data(Closed Caption)가 있다.
텍스트 인코더(121)는, 텍스트 발생부(120)에서 발생된 텍스트 데이터를 입력한다. 그리고, 텍스트 인코더(121)는, 이들의 데이터를 페이로드부에 포함하는 엘리멘터리 스트림을 생성한다.
멀티플렉서(122)는, 인코더(113, 115, 117, 119, 121)로부터 출력되는 패킷화된 엘리멘터리 스트림을 다중화한다. 그리고, 이 멀티플렉서(122)는, 전송 데이터로서의 비트 스트림 데이터(트랜스포트 스트림)(BSD)를 출력한다.
도 2에 도시하는 송신 데이터 생성부(110)의 동작을 간단히 설명한다. 카메라(111L)에서는, 좌안화상이 촬영된다. 이 카메라(111L)에서 얻어지는 입체화상 표시를 위한 좌안화상 데이터는 비디오 프레이밍부(112)에 공급된다. 또한, 카메라(111R)에서는, 우안화상이 촬영된다. 이 카메라(111R)에서 얻어지는 입체화상 표시를 위한 우안화상 데이터는 비디오 프레이밍부(112)에 공급된다. 비디오 프레이밍부(112)에서는, 좌안화상 데이터 및 우안화상 데이터가, 전송 방식에 응한 상태로 가공 처리되어, 입체화상 데이터가 얻어진다(도 4(a) 내지 (c)참조).
비디오 프레이밍부(112)에서 얻어지는 입체화상 데이터는 비디오 인코더(113)에 공급된다. 이 비디오 인코더(113)에서는, 입체화상 데이터에 대해 MPEG4-AVC, MPEG2, VC-1 등의 부호화가 시행되어, 부호화 비디오 데이터를 포함하는 비디오 엘리멘터리 스트림이 생성된다. 이 비디오 엘리멘터리 스트림은 멀티플렉서(122)에 공급된다.
또한, 카메라(111L, 111R)에서 얻어진 좌안화상 데이터, 우안화상 데이터는, 비디오 프레이밍부(112)를 통하여, 시차벡터 검출부(114)에 공급된다. 이 시차벡터 검출부(114)에서는, 좌안화상 데이터 및 우안화상 데이터에 의거하여, 화상 내의 소정 위치에서, 시차 검출 블록이 설정되고, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보인 시차벡터가 검출된다.
시차벡터 검출부(114)에서 검출된 화상 내의 소정 위치에서의 시차벡터는, 시차벡터 인코더(115)에 공급된다. 이 경우, 시차 검출 블록의 ID, 시차 검출 블록의 수직위치 정보, 시차 검출 블록의 수평위치 정보, 시차벡터가 1세트로서 건네진다. 시차벡터 인코더(115)에서는, 시차벡터의 전송 내용(도 8 참조)을 포함하는 시차벡터 엘리멘터리 스트림이 생성된다. 이 시차벡터 엘리멘터리 스트림은 멀티플렉서(122)에 공급된다.
또한, 마이크로폰(116)에서는, 카메라(111L, 111R)에서 촬영된 화상에 대응한 음성이 검출된다. 이 마이크로폰(116)에서 얻어지는 음성 데이터는 오디오 인코더(117)에 공급된다. 이 오디오 인코더(117)에서는, 음성 데이터에 대해, MPEG-2Audio AAC 등의 부호화가 시행되어, 부호화 오디오 데이터를 포함하는 오디오 엘리멘터리 스트림이 생성된다. 이 오디오 엘리멘터리 스트림은 멀티플렉서(122)에 공급된다.
또한, 서브타이틀?그래픽스 발생부(118)에서는, 화상에 중첩하는 서브타이틀 정보나 그래픽스 정보의 데이터(서브타이틀 데이터, 그래픽스 데이터)가 발생된다. 이 데이터(비트맵 데이터)는, 서브타이틀?그래픽스 인코더(119)에 공급된다. 이 서브타이틀?그래픽스 데이터에는, 화상상의 중첩 위치를 나타내는 아이들링 오프셋 정보가 부가되어 있다. 서브타이틀?그래픽스 인코더(119)에서는, 이 그래픽스 데이터에 대해 소정의 부호화가 시행되어, 부호화 데이터를 포함하는 엘리멘터리 스트림이 생성된다. 이 엘리멘터리 스트림은 멀티플렉서(122)에 공급된다.
또한, 텍스트 발생부(120)에서는, 화상에 중첩하는 텍스트 정보의 데이터(텍스트 데이터)가 발생된다. 이 텍스트 데이터는, 텍스트 인코더(121)에 공급된다. 이 텍스트 데이터에는, 상술한 그래픽스 데이터와 마찬가지로, 화상상의 중첩 위치를 나타내는 아이들링 오프셋 정보가 부가되어 있다. 텍스트 인코더(121)에서는, 이 텍스트 데이터에 대해 소정의 부호화가 시행되어, 부호화 데이터를 포함하는 엘리멘터리 스트림이 생성된다. 이 엘리멘터리 스트림은 멀티플렉서(122)에 공급된다.
멀티플렉서(122)에서는, 각 인코더로부터 공급되는 엘리멘터리 스트림의 패킷이 다중화되어, 전송 데이터로서의 비트 스트림 데이터(트랜스포트 스트림)(BSD)이 얻어진다.
도 12는, 도 2에 도시하는 송신 데이터 생성부(110)에서 다중화되는 각 데이터의 스트림례를 도시하고 있다. 또한, 이 예는, 시차벡터가, 비디오의 장면 단위로 검출되어 전송되는 경우(도 10(b)참조)를 나타내고 있다. 또한, 각 스트림의 패킷에는, 동기 표시용의 타임 스탬프가 붙여저서, 수신측에서, 화상에 대해, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보 등의 중첩 타이밍을 제어하는 것이 가능하게 되어 있다.
「송신 데이터 생성부의 다른 구성예」
또한, 상술한 도 2에 도시하는 송신 데이터 생성부(110)는, 시차벡터의 전송 내용(도 8 참조)을 독립한 엘리멘터리 스트림으로서 수신측에 전송하는 구성으로 되어 있다. 그러나, 시차벡터의 전송 내용을 다른 스트림중에 매입하여 전송하는 것도 생각된다. 예를 들면, 시차벡터의 전송 내용은, 비디오의 스트림에 유저 데이터로서 매입되어 전송된다. 또한, 예를 들면, 시차벡터의 전송 내용은, 서브타이틀, 그래픽스, 또는 텍스트의 스트림에 매입되어 전송된다.
도 13은, 송신 데이터 생성부(110A)의 구성예를 도시하고 있다. 이 예도, 시차벡터를 수치 정보로서 송신하는 예이다. 이 송신 데이터 생성부(110A)는, 시차벡터의 전송 내용을, 비디오의 스트림에 유저 데이터로서 매입하여 전송하는 구성으로 되어 있다. 이 도 13에서, 도 2와 대응하는 부분에는 동일 부호를 붙이고, 그 상세 설명은 생략한다.
이 송신 데이터 생성부(110A)에서, 시차벡터 검출(114)에서 검출된 화상 내의 소정 위치에서의 시차벡터는, 비디오 인코더(113) 내의 스트림 포매터(113a)에 공급된다. 이 경우, 시차 검출 블록의 ID, 시차 검출 블록의 수직위치 정보, 시차 검출 블록의 수평위치 정보, 시차벡터가 1세트로서 건네진다. 스트림 포매터(113a)에서는, 비디오의 스트림에, 시차벡터의 전송 내용(도 8 참조)이, 유저 데이터로서 매입된다.
상세 설명은 생략하지만, 이 도 13에 도시하는 송신 데이터 생성부(110A)의 기타는, 도 2에 도시하는 송신 데이터 생성부(110)와 마찬가지로 구성되어 있다.
도 14는, 도 13에 도시하는 송신 데이터 생성부(110A)에서 다중화되는 화상 데이터 스트림과, 서브타이틀 또는 그래픽스의 데이터 스트림과, 텍스트 데이터 스트림의 한 예를 도시하고 있다. 시차벡터(시차정보)는, 화상 데이터 스트림에 매입되어 전송된다.
「송신 데이터 생성부의 다른 구성예」
도 15는, 송신 데이터 생성부(110B)의 구성예를 도시하고 있다. 이 예도, 시차벡터를 수치 정보로서 송신하는 예이다. 이 송신 데이터 생성부(110B)는, 시차벡터의 전송 내용을, 서브타이틀 또는 그래픽스의 데이터 스트림에 매입하여 전송하는 구성으로 되어 있다. 이 도 15에서, 도 2와 대응하는 부분에는 동일 부호를 붙이고, 그 상세 설명은 생략한다.
이 송신 데이터 생성부(110B)에서, 시차벡터 검출(114)에서 검출된 화상 내의 소정 위치에서의 시차벡터는, 서브타이틀?그래픽스 인코더(119) 내의 스트림 포매터(119a)에 공급된다. 이 경우, 시차 검출 블록의 ID, 시차 검출 블록의 수직위치 정보, 시차 검출 블록의 수평위치 정보, 시차벡터가 1세트로서 건네진다. 스트림 포매터(119a)에서는, 서브타이틀 또는 그래픽스의 데이터 스트림에, 시차벡터의 전송 내용(도 8 참조)이 매입된다.
상세 설명은 생략하지만, 이 도 15에 도시하는 송신 데이터 생성부(110B)의 기타는, 도 2에 도시하는 송신 데이터 생성부(110)와 마찬가지로 구성되고, 마찬가지로 동작한다.
도 16은, 도 15에 도시하는 송신 데이터 생성부(110B)에서 다중화되는, 화상 데이터 스트림과, 서브타이틀 또는 그래픽스의 데이터 스트림과, 텍스트 데이터 스트림의 한 예를 도시하고 있다. 시차벡터(시차정보)는, 서브타이틀 또는 그래픽스의 데이터 스트림에 매입되어 전송된다.
「송신 데이터 생성부의 다른 구성예」
또한, 상술한 도 2, 도 13, 도 15에 도시하는 송신 데이터 생성부(110, 110a, 110B)는, 시차벡터를 수치 정보로서 송신한다(도 8 참조). 그러나, 시차벡터를 수치 정보로서 전송하는 대신에, 화상에 중첩하기 위한 중첩정보(예를 들면, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보 등)의 데이터에 송신측에서 시차정보를 미리 반영시켜서 송신하는 것도 생각된다.
예를 들면, 그래픽스 정보의 데이터에 반영시키는 경우, 송신측에서, 좌안화상에 중첩하여야 할 좌안 그래픽스 정보와 우안화상에 중첩하여야 할 우안 그래픽스 정보의 쌍방에 대응한 그래픽스 데이터가 생성된다. 이 경우, 좌안 그래픽스 정보 및 우안 그래픽스 정보는 동일한 그래픽스 정보이다. 그러나, 화상 내의 표시 위치가, 예를 들면, 좌안 그래픽스 정보에 대해, 우안 그래픽스 정보는, 그 표시 위치에 대응한 시차벡터의 수평방향 성분만큼, 수평방향으로 시프트되도록 된다.
예를 들면, 시차벡터로서는, 화상 내의 복수 위치에서 검출된 시차벡터중, 그 중첩 위치에 대응한 것이 사용된다. 또한, 예를 들면, 시차벡터로서는, 화상 내의 복수 위치에서 검출된 시차벡터중, 원근감이라는 관점에서 가장 가깝게 인식되는 위치의 시차벡터가 사용된다. 또한, 상세 설명은 생략하지만, 서브타이틀 정보나 그래픽스 정보의 데이터에 시차정보를 반영시키는 경우도 마찬가지이다.
도 17(a)는, 전송 방식이 상술한 제 1의 전송 방식(「Top & Bottom」방식)인 경우에 있어서의, 좌안 그래픽스 정보 및 우안 그래픽스 정보의 중첩 위치를 도시하고 있다. 이들 좌안 그래픽스 정보 및 우안 그래픽스 정보는 동일한 정보이다. 단, 좌안화상(IL)상에 중첩되는 좌안 그래픽스 정보(LGI)에 대해, 우안화상(IR)상에 중첩되는 우안 그래픽스 정보(RGI)는, 시차벡터의 수평방향 성분(VVT)만큼 수평방향으로 시프트된 위치로 되어 있다.
각 화상(IL, IR)에 대해, 도 17(a)에 도시하는 바와 같이, 각 그래픽스 정보(LGI, RGI)가 중첩되도록, 그래픽스 데이터가 생성된다. 이에 의해, 시청자는, 도 17(b)에 도시하는 바와 같이, 각 화상(IL, IR)과 함께, 각 그래픽스 정보(LGI, RGI)를, 시차로써 관찰할 수 있고, 그래픽스 정보에도, 원근감을 인지 가능하게 된다.
예를 들면, 각 그래픽스 정보(LGI, RGI)의 그래픽스 데이터는, 도 18(a)에 도시하는 바와 같이, 단일 영역의 데이터로서 생성된다. 이 경우, 각 그래픽스 정보(LGI, RGI) 이외의 부분의 데이터는, 투명 데이터로서 생성되면 좋다. 또한, 예를 들면, 각 그래픽스 정보(LGI, RGI)의 그래픽스 데이터는, 도 18(b)에 도시하는 바와 같이, 별도 영역의 데이터로서 생성된다.
도 19(a)는, 전송 방식이 상술한 제 2의 전송 방식(「Side By Side」방식)인 경우에 있어서의, 좌안 그래픽스 정보 및 우안 그래픽스 정보의 중첩 위치를 도시하고 있다. 이들 좌안 그래픽스 정보 및 우안 그래픽스 정보는 동일한 정보이다. 단, 좌안화상(IL)상에 중첩되는 좌안 그래픽스 정보(LGI)에 대해, 우안화상(IR)상에 중첩되는 우안 그래픽스 정보(RGI)는, 시차벡터의 수평방향 성분(VVT)만큼 수평방향으로 시프트된 위치로 되어 있다. 또한, IT는, 아이들링 오프셋값이다.
각 화상(IL, IR)에 대해, 도 19(a)에 도시하는 바와 같이, 각 그래픽스 정보(LGI, RGI)가 중첩되도록, 그래픽스 데이터가 생성된다. 이에 의해, 시청자는, 도 19(b)에 도시하는 바와 같이, 각 화상(IL, IR)과 함께, 각 그래픽스 정보(LGI, RGI)를, 시차로써 관찰할 수 있고, 그래픽스 정보에도, 원근감을 인지 가능하게 된다.
예를 들면, 각 그래픽스 정보(LGI, RGI)의 그래픽스 데이터는, 도 20에 도시하는 바와 같이, 단일 영역의 데이터로서 생성된다. 이 경우, 각 그래픽스 정보(LGI, RGI) 이외의 부분의 데이터는, 투명 데이터로서 생성되면 좋다.
도 21은, 송신 데이터 생성부(110C)의 구성예를 도시하고 있다. 이 송신 데이터 생성부(110C)는, 클로즈드 캡션 정보, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보 등의 중첩정보의 데이터에 시차정보를 반영시켜서 송신하는 구성으로 되어 있다. 이 도 21에서, 도 2와 대응하는 부분에는 동일 부호를 붙이고, 그 상세 설명은 생략한다.
이 송신 데이터 생성부(110C)에서는, 서브타이틀?그래픽스 발생부(118)와 서브타이틀?그래픽스 인코더(119) 사이에, 서브타이틀?그래픽스 처리부(124)가 삽입되어 있다. 또한, 이 송신 데이터 생성부(110C)에서는, 텍스트 발생부(120)와 텍스트 인코더(121) 사이에, 텍스트 처리부(125)가 삽입되어 있다. 그리고, 시차벡터 검출부(114)에서 검출된 화상 내의 소정 위치에서의 시차벡터는, 서브타이틀?그래픽스 처리부(124) 및 텍스트 처리부(125)에 공급된다.
서브타이틀?그래픽스 처리부(124)에서는, 좌안화상(IL), 우안화상(IR)에 중첩되는, 좌안, 우안의 서브타이틀이나 그래픽스의 정보(LGI, RGI)의 데이터가 생성된다. 이 경우, 서브타이틀?그래픽스 발생부(118)에서 발생되는 서브타이틀 데이터나 그래픽스 데이터에 의거하여 발생된다. 좌안 및 우안의 서브타이틀 정보나 그래픽스 정보는 동일한 정보이다. 그러나, 화상 내의 중첩 위치가, 예를 들면, 좌안의 서브타이틀 정보나 그래픽스 정보에 대해, 우안의 서브타이틀 정보나 그래픽스 정보는, 시차벡터의 수평방향 성분(VVT)만큼, 수평방향으로 시프트되도록 된다(도 17(a), 도 19(a)참조).
이와 같이 서브타이틀?그래픽스 처리부(124)에서 생성된 서브타이틀 데이터나 그래픽스 데이터는, 서브타이틀?그래픽스 인코더(119)에 공급된다. 또한, 이 서브타이틀 데이터나 그래픽스 데이터에는, 화상상의 중첩 위치를 나타내는 아이들링 오프셋 정보가 부가되어 있다. 서브타이틀?그래픽스 인코더(119)에서는, 서브타이틀?그래픽스 처리부(124)에서 생성된 서브타이틀 데이터나 그래픽스 데이터의 엘리멘터리 스트림이 생성된다.
또한, 텍스트 처리부(125)에서는, 텍스트 발생부(120)에서 발생되는 텍스트 데이터에 의거하여, 좌안화상상에 중첩되는 좌안 텍스트 정보의 데이터 및 우안화상상에 중첩되는 우안 텍스트 정보의 데이터가 생성된다. 이 경우, 좌안 텍스트 정보 및 우안 텍스트 정보는 동일한 텍스트 정보이지만, 화상 내의 중첩 위치가, 예를 들면, 좌안 텍스트 정보에 대해, 우안 텍스트 정보는, 시차벡터의 수평방향 성분(VVT)만큼, 수평방향으로 시프트되도록 된다.
이와 같이 텍스트 처리부(125)에서 생성된 텍스트 데이터는, 텍스트 인코더(121)에 공급된다. 또한, 이 텍스트 데이터에는, 화상상의 중첩 위치를 나타내는 아이들링 오프셋 정보가 부가되어 있다. 텍스트 인코더(121)에서는, 텍스트 처리부에서 생성된 테키스토스데타의 엘리멘터리 스트림이 생성된다.
상세 설명은 생략하지만, 이 도 21에 도시하는 송신 데이터 생성부(110C)의 기타는, 도 2에 도시하는 송신 데이터 생성부(110)와 마찬가지로 구성되어 있다.
「송신 데이터 생성부의 다른 구성예」
도 2, 도 13, 도 15에 도시하는 송신 데이터 생성부(110, 110a, 110B)에서, 시차벡터 검출부(114)에서는, 좌안화상 데이터 및 우안화상 데이터에 의거하여, 화상 내의 소정 위치에서의 시차벡터(시차정보)가 검출된다. 송신 데이터 생성부(110, 110a, 110B)에서는, 시차벡터 검출부(114)에서 검출된 화상 내의 소정 위치에서의 시차정보를 그대로 수신측에 송신하는 구성으로 되어 있다.
그러나, 예를 들면, 시차벡터 검출부(114)에서 화소마다(화소마다) 시차벡터를 검출하고, 그것에 다운사이징 처리를 시행하여, 화상 영역을 계층적으로 분할하여 얻어진 각 계층의 각 영역의 시차벡터를 구하는 것이 생각된다. 그리고, 수신측이 요구하는 시차벡터의 공간 밀도, 또는 전송 대역 등에 의거하여 선택된 계층의 각 영역의 시차벡터를 계층순으로 배치한 시차정보 세트를 작성하고, 이 시차정보 세트를 수신측에 송신하는 것이 생각된다.
또한, 데이터 기록 매체에, 송신하여야 할 좌안화상 데이터 및 우안화상 데이터와 함께, 픽셀(화소)마다의 시차벡터(시차정보)가 기록되어 있는 경우가 있다. 그 경우에, 그것에 다운사이징 처리를 시행하여, 화상 영역을 계층적으로 분할하여 얻어진 각 계층의 각 영역의 시차벡터를 구하는 것이 생각된다. 그리고, 수신측이 요구하는 시차벡터의 공간 밀도, 또는 전송 대역 등에 의거하여 선택된 계층의 각 영역의 시차벡터를 데이터 기록 매체로부터 판독하여 계층순으로 배치한 시차정보 세트를 작성하고, 이 시차정보 세트를 수신측에 송신하는 것이 생각된다.
도 22는, 송신 데이터 생성부(110D)의 구성예를 도시하고 있다. 이 송신 데이터 생성부(110D)는, 선택된 계층의 각 영역의 시차벡터를 계층순으로 배치한 시차정보 세트를 작성하고, 이 시차정보 세트를 수신측에 송신하는 구성으로 되어 있다. 이 도 22에서, 도 2와 대응하는 부분에는 동일 부호를 붙이고, 적절히 그 상세 설명은 생략한다.
이 송신 데이터 생성부(110D)는, 카메라(111L, 111R)와, 비디오 프레이밍부(112)와, 비디오 인코더(113)와, 시차벡터 검출부(114)와, 시차벡터 인코더(115)를 갖고 있다. 또한, 이 송신 데이터 생성부(110D)는, 마이크로폰(116)과, 오디오 인코더(117)와, 서브타이틀?그래픽스 발생부(118)와, 서브타이틀?그래픽스 인코더(119)와, 텍스트 발생부(120)와, 텍스트 인코더(121)와, 멀티플렉서(122)를 갖고 있다. 또한, 이 송신 데이터 생성부(110D)는, 데이터 취출부(130)와, 전환 스위치(131 내지 133), 시차정보 세트 작성부(134)를 갖고 있다.
데이터 취출부(130)에는, 데이터 기록 매체(130a)가, 예를 들면, 착탈 자유롭게 장착된다. 이 데이터 기록 매체(130a)에는, 좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터와 함께, 음성 데이터, 중첩정보의 데이터, 시차벡터가 대응시켜저서 기록되어 있다. 데이터 취출부(130)는, 데이터 기록 매체(130a)로부터, 입체화상 데이터, 음성 데이터, 중첩정보의 데이터, 시차벡터 등을 취출하여 출력한다.
여기서, 데이터 기록 매체(130a)에 기록되어 있는 입체화상 데이터는, 비디오 프레이밍부(112)에서 얻어지는 입체화상 데이터에 상당하는 것이다. 또한, 데이터 기록 매체(130a)에 기록되어 있는 중첩정보의 데이터는, 서브타이틀 데이터, 그래픽스 데이터, 텍스트 데이터 등이다. 또한, 데이터 기록 매체(130a)에 기록되어 있는 시차벡터는, 예를 들면, 최하층에 위치하는 픽셀(화소)마다의 시차벡터이다.
시차벡터 검출부(114)는, 좌안화상 데이터 및 우안화상 데이터에 의거하여, 예를 들면, 최하층에 위치하는 화소마다(화소마다)의 시차벡터를 검출한다. 전환 스위치(131)는, 라이브 모드에서는 비디오 프레이밍부(112)에서 얻어진 입체화상 데이터를 취출하고, 재생 모드에서는 데이터 취출부(130)로부터 출력된 입체화상 데이터를 취출하고, 비디오 인코더(113)에 공급한다.
전환 스위치(132)는, 라이브 모드에서는 시차벡터 검출부(114)에서 얻어진 시차벡터를 취출하고, 재생 모드에서는 데이터 취출부(130)로부터 출력된 시차벡터를 취출하고, 시차정보 세트 작성부(134)에 공급한다. 전환 스위치(133)는, 라이브 모드에서는 마이크로폰(116)에서 얻어진 음성 데이터를 취출하고, 재생 모드에서는 데이터 취출부(130)로부터 출력된 음성 데이터를 취출하고, 오디오 인코더(117)에 공급한다.
시차정보 세트 작성부(134)는, 전환 스위치(132)에서 취출된 시차벡터, 즉 최하층에 위치하는 픽셀(화소)마다의 시차벡터에 다운사이징 처리를 시행하여, 화상(픽처) 영역을 계층적으로 분할하여 얻어진 각 계층의 각 영역의 시차정보를 구한다.
도 23은, 각 픽셀(화소)의 휘도치와 같이 하여 주어지는 상대적인 깊이 방향의 데이터의 예를 도시하고 있다. 여기서, 상대적인 깊이 방향의 데이터는 소정의 변환에 의해 화소마다의 시차벡터로서 취급하는 것이 가능해진다. 이 예에서, 인물 부분의 휘도치는 높게 되어 있다. 이것은, 인물 부분의 시차벡터의 값이 큰 것을 의미하고, 따라서 입체화상 표시에서는, 이 인물 부분이 도드라진 상태로 지각되는 것을 의미하고 있다. 또한, 이 예에서, 배경 부분의 휘도치는 낮게 되어 있다. 이것은, 배경 부분의 시차벡터의 값이 작은 것을 의미하고, 따라서 입체화상 표시에서는, 이 배경 부분이 잠긴 상태로 지각되는 것을 의미하고 있다.
도 24는, 블록마다의 시차벡터의 한 예를 도시하고 있다. 블록은, 최하층에 위치하는 픽셀(화소)의 상위층에 해당한다. 이 블록은, 화상(픽처) 영역이, 수평방향 및 수직방향으로 소정의 크기로 분할됨으로써 구성된다. 각 블록의 시차벡터는, 예를 들면, 그 블록 내에 존재하는 전 픽셀(화소)의 시차벡터로부터, 가장 값이 큰 시차벡터가 선택됨으로써 얻어진다. 이 예에서는, 각 블록의 시차벡터를 화살표로 나타내고 있고, 화살표의 길이가 시차벡터의 크기에 대응하고 있다.
도 25는, 시차정보 세트 작성부(134)에서 행하여지는 다운사이징 처리의 한 예를 도시하고 있다. 우선, 시차정보 세트 작성부(134)는, 도 25(a)에 도시하는 바와 같이, 픽셀(화소)마다의 시차벡터를 이용하여, 블록마다의 시차벡터를 구한다. 상술한 바와 같이, 블록은, 최하층에 위치하는 픽셀(화소)의 상위층에 해당하고, 화상(픽처) 영역이 수평방향 및 수직방향으로 소정의 크기로 분할됨으로써 구성된다. 그리고, 각 블록의 시차벡터는, 예를 들면, 그 블록 내에 존재하는 전 픽셀(화소)의 시차벡터로부터, 가장 값이 큰 시차벡터가 선택됨으로써 얻어진다.
다음에, 시차정보 세트 작성부(134)는, 도 25(b)에 도시하는 바와 같이, 블록마다의 시차벡터를 이용하여, 그룹(Group Of Block)마다의 시차벡터를 구한다. 그룹은, 블록의 상위층에 해당하고, 복수개의 근접하는 블록을 종합하여 그룹화함으로써 얻어진다. 도 25(b)의 예에서는, 각 그룹은, 파선테두리로 묶여지는 4개의 블록에 의해 구성되어 있다. 그리고, 각 그룹의 시차벡터는, 예를 들면, 그 그룹 내의 전 블록의 시차벡터로부터, 가장 값이 큰 시차벡터가 선택됨으로써 얻어진다.
다음에, 시차정보 세트 작성부(134)는, 도 25(c)에 도시하는 바와 같이, 그룹마다의 시차벡터를 이용하여, 리젼(Region)마다의 시차벡터를 구한다. 리젼은, 그룹의 상위층에 해당하고, 복수개의 근접하는 그룹를 종합하여 그룹화함으로써 얻어진다. 도 25(c)의 예에서는, 각 리젼은, 파선테두리로 묶여지는 2개의 그룹에 의해 구성되어 있다. 그리고, 각 리젼의 시차벡터는, 예를 들면, 그 리젼 내의 전 그룹의 시차벡터로부터, 가장 값이 큰 시차벡터가 선택됨으로써 얻어진다.
다음에, 시차정보 세트 작성부(134)는, 도 25(d)에 도시하는 바와 같이, 리젼마다의 시차벡터를 이용하여, 최상 위층에 위치하는 픽처 전체(화상 전체)의 시차벡터를 구한다. 도 25(d)의 예에서는, 픽처 전체에는, 파선테두리로 묶여지는 4개의 리젼이 포함되어 있다. 그리고, 픽처 전체의 시차벡터는, 예를 들면, 픽처 전체에 포함되는 전 리젼의 시차벡터로부터, 가장 값이 큰 시차벡터가 선택됨으로써 얻어진다. 이 경우, 픽처 전체의 시차벡터 외에, 그 시차벡터가 얻어진 원래의 픽셀(화소)의 위치(「+」로 도시)의 정보를 구하고, 시차벡터의 부가 정보로 할 수도 있다. 이것은, 상술한 블록, 그룹, 리젼의 시차벡터를 구할 때도 마찬가지이다.
이와 같이 하여, 시차정보 세트 작성부(134)는, 최하층에 위치하는 픽셀(화소)마다의 시차벡터에 다운사이징 처리를 시행하여, 블록, 그룹, 리젼, 픽처 전체의 각 계층의 각 영역의 시차벡터를 구할 수 있다. 또한, 도 25에 도시하는 다운사이징 처리의 한 예에서는, 최종적으로, 픽셀(화소)의 계층 외에, 블록, 그룹, 리젼, 픽처 전체의 4계층의 시차벡터를 구하고 있지만, 계층수 및 각 계층의 영역의 구획 방식이나 영역의 수는 이것으로 한정되는 것이 아니다.
또한, 시차정보 세트 작성부(134)는, 수신측이 요구하는 시차벡터의 공간 밀도, 또는 전송 대역 등에 의거하여 선택된 계층의 각 영역의 시차벡터를 계층순으로 배치한 시차정보 세트를 작성한다.
시차정보 세트 작성부(134)에서는, 상술한 다운사이징 처리에 의해, 예를 들면, 픽처 전체, 리젼, 그룹, 블록, 픽셀(화소)의 각 계층의 각 영역의 시차벡터가 취득된다. 시차정보 세트 작성부(134)는, 각 계층의 각 영역의 시차벡터를 관리한다. 도 26에 도시하는 바와 같이, 각 계층의 각 영역의 시차벡터에는, 블록 ID(Block ID)이 부가되어 있다. 이 블록 ID는, 대상의 시차벡터가 속하는 최하층의 위치 정보를 나타내는 것이고, 상위층에서 본 때에도 시차와 위치를 정확하게 검지하는 것을 가능하게 하는 것이다. 도 26은, 도면의 간단함을 위해, 픽처 전체(DPall) 및 각 리젼(DP0 내지 DP3)의 시차벡터 부분만을 도시하고 있다.
도 26에서, 픽처 전체(DPall)의 시차벡터(DP_value0)는, 블록 ID(ID0)로 나타나는 최하층의 위치에 속하는 시차벡터인 것을 알 수 있다. 또한, 도 26에서, 각 리젼(DP0 내지 DP3)의 시차벡터(DP_value1 내지 DP_value4)는, 각각, 블록 ID(ID1 내지 ID4)로 나타나는 최하층의 위치에 속하는 시차벡터인 것을 알 수 있다.
또한, 블록 ID 대신에, 또는 블록 ID와 함께, 위치 그 자체를 나타내는 정보를 이용할 수 있다. 이 정보는, 예를 들면, 화면 좌상부터 각 영역의 좌상까지의 오프셋값이고, 화소 단위로 표시된다. 또한, 픽셀(화소)마다의 시차벡터에 관해서는, 스캔순(영상 픽셀 순)으로 배치하여 둠으로써 위치 정보의 부가를 생략할 수 있다.
시차정보 세트 작성부(134)는, 예를 들면, 송신 계층으로서 최상위 계층인 픽처 전체의 계층만을 선택하는 경우, 도 26에 화살표(a)로 범위를 나타내는 바와 같이, 그 시차벡터(DP_value0)를 포함하는 시차정보 세트를 작성한다. 또한, 시차정보 세트 작성부(134)는, 예를 들면, 송신 계층으로서 픽처 전체 및 리젼의 계층을 선택하는 경우, 도 26에 화살표(b)로 범위를 나타내는 바와 같이, 그 시차벡터(DP_value0, DP_value1 내지 DP_value4)를 포함하는 시차정보 세트를 작성한다.
이하, 마찬가지로, 시차정보 세트 작성부(134)는, 송신 계층으로서 선택된 각 계층의 각 영역의 시차벡터를 포함하는 시차정보 세트를 작성한다. 또한, 송신 계층으로서, 반드시, 픽처 전체의 계층이 포함될 필요는 없고, 리젼 계층 이하, 또는 있고 그룹 계층 이하 등이 선택되어도 좋다. 또한, 리젼 등의 각 계층의 각 영역의 구성 그 자체에 관해서도, 각 계층의 픽처 전체의 구획 방식이나 영역수 등에 자유도를 갖게 하는 것이 가능함은 말할 필요도 없다.
시차정보 세트 작성부(134)에서는, 시차정보 세트에, 송신 계층으로서 선택된 각 계층의 각 영역의 시차벡터를, 계층순, 예를 들면 상위 계층부터 차례로 배치한다. 도 27은, 시차정보 세트의 내용의 한 예를 도시하고 있다.
이 시차정보 세트에는, N개의 시차벡터의 정보 세트가 포함되어 있다. 각 정보 세트는, 16비트의 블록 ID(ID_Block(i))와, 16비트의 수직위치 정보(Vertical_Position)와, 16비트의 수평위치 정보(Horizontal_Position)와, 16비트의 수평방향의 시차벡터(Disparity_Vector_Horizontal)에 의해 구성되어 있다.
또한, 수신측에서, 블록 ID(ID_Block(i))만으로 시차벡터가 속하는 최하층의 위치를 아는 경우에는, 위치 정보(Vertical_Position, Horizontal_Position)를 불필요하게 할 수 있다. 또한, 픽셀(화소)마다의 시차벡터를 송신하는 경우에 스캔순(영상 픽셀 순)으로 배치하는 경우에는, 블록 ID 및 위치 정보의 모두를 불필요하게 할 수 있다.
비디오 인코더(113)는, 전환 스위치(131)로부터 공급된 입체화상 데이터에 대해, MPEG4-AVC, MPEG2, VC-1 등의 부호화를 시행하여 부호화 비디오 데이터를 얻는다. 또한, 비디오 인코더(113)는, 페이로드부에 부호화 비디오 데이터를 포함하는 비디오의 엘리멘터리 스트림을 생성한다. 시차벡터 인코더(115)는, 시차정보 세트 작성부(134)에서 작성된 시차정보 세트를 포함하는 시차벡터의 엘리멘터리 스트림을 생성한다. 또한, 오디오 인코더(117)는, 전환 스위치(133)로부터 공급된 음성 데이터에 대해, MPEG-2Audio AAC 등의 부호화를 시행하여, 오디오의 엘리멘터리 스트림을 생성한다.
상세 설명은 생략하지만, 이 도 22에 도시하는 송신 데이터 생성부(110D)의 기타는, 도 2에 도시하는 송신 데이터 생성부(110)와 마찬가지로 구성되어 있다.
도 22에 도시하는 송신 데이터 생성부(110D)의 동작을 간단히 설명한다. 최초에 라이브 모드의 동작을 설명한다. 이 라이브 모드에서는, 전환 스위치(131 내지 133)은, 모두, a측에 접속되어 있다.
비디오 프레이밍부(112)에서 얻어진 입체화상 데이터는, 전환 스위치(131)를 통하여, 비디오 인코더(113)에 공급된다. 이 비디오 인코더(113)에서는, 그 입체화상 데이터에 대해 MPEG4-AVC, MPEG2, VC-1 등의 부호화가 시행되어, 부호화 비디오 데이터를 포함하는 비디오 엘리멘터리 스트림이 생성된다. 이 비디오 엘리멘터리 스트림은 멀티플렉서(122)에 공급된다.
또한, 카메라(111L, 111R)에서 얻어진 좌안화상 데이터, 우안화상 데이터는, 비디오 프레이밍부(112)를 통하여, 시차벡터 검출부(114)에 공급된다. 이 시차벡터 검출부(114)에서는, 좌안화상 데이터 및 우안화상 데이터에 의거하여, 예를 들면, 최하층에 위치하는 픽셀마다(화소마다)의 시차벡터가 검출된다. 이 시차벡터는, 전환 스위치(132)를 통하여, 시차정보 세트 작성부(134)에 공급된다.
시차정보 세트 작성부(134)에서는, 시차벡터, 즉 최하층에 위치하는 픽셀(화소)마다의 시차벡터에 다운사이징 처리가 시행되어, 화상 영역을 계층적으로 분할하여 얻어진 각 계층의 각 영역의 시차정보가 구하여진다. 예를 들면, 시차정보 세트 작성부(134)에서는, 최하층에 위치하는 픽셀(화소)마다의 시차벡터에 다운사이징 처리가 시행되어, 블록, 그룹, 리젼, 픽처 전체의 각 계층의 각 영역의 시차벡터가 구하여진다.
또한, 시차정보 세트 작성부(134)에서는, 또한, 시차정보 세트 작성부(134)에서는, 수신측이 요구하는 시차벡터의 공간 밀도, 또는 전송 대역 등에 의거하여 선택된 계층의 각 영역의 시차벡터를 계층순으로 배치한 시차정보 세트가 작성된다(도 27 참조). 이 시차정보 세트는, 시차벡터 인코더(115)에 공급된다. 시차벡터 인코더(115)에서는, 시차정보 세트를 포함하는 시차벡터 엘리멘터리 스트림이 생성된다. 이 시차벡터 엘리멘터리 스트림은 멀티플렉서(122)에 공급된다.
또한, 마이크로폰(116)에서 얻어진 음성 데이터는, 전환 스위치(133)를 통하여, 오디오 인코더(117)에 공급된다. 이 오디오 인코더(117)에서는, 음성 데이터에 대해, MPEG-2Audio AAC 등의 부호화가 시행되어, 부호화 오디오 데이터를 포함하는 오디오 엘리멘터리 스트림이 생성된다. 이 오디오 엘리멘터리 스트림은 멀티플렉서(122)에 공급된다.
또한, 멀티플렉서(122)에는, 서브타이틀?그래픽스 인코더(119)로부터, 서브타이틀 데이터 또는 그래픽스 데이터의 부호화 데이터를 포함하는 엘리멘터리 스트림이 공급된다. 또한, 이 멀티플렉서(122)에는, 텍스트 인코더(121)로부터, 텍스트 데이터의 부호화 데이터를 포함하는 엘리멘터리 스트림이 공급된다. 그리고, 멀티플렉서(122)에서는, 각 인코더로부터 공급되는 엘리멘터리 스트림의 패킷이 다중화되어, 전송 데이터로서의 비트 스트림 데이터(트랜스포트 스트림)(BSD)이 얻어진다.
다음에, 재생 모드의 동작을 설명한다. 이 재생 모드에서는, 전환 스위치(131 내지 133)은, 모두, b측에 접속되어 있다. 데이터 취출부(130)에서 얻어진 입체화상 데이터가, 전환 스위치(131)를 통하여, 비디오 인코더(113)에 공급된다. 또한, 데이터 취출부(130)에서 얻어진 시차벡터, 즉 최하층에 위치하는 픽셀(화소)마다의 시차벡터가, 전환 스위치(132)를 통하여, 시차정보 세트 작성부(134)에 공급된다. 또한, 데이터 취출부(130)에서 얻어진 음성 데이터가, 전환 스위치(133)를 통하여, 오디오 인코더(117)에 공급된다.
상세 설명은 생략하지만, 이 재생 모드에서, 그 밖의 동작은, 상술한 라이브 모드와 마찬가지이다.
도 22에 도시하는 송신 데이터 생성부(110D)에서는, 상술한 바와 같이, 시차정보 세트 작성부(134)에서 작성된 시차정보 세트에는, 화상(픽처) 영역을 계층적으로 분할하여 얻어진 각 계층중, 선택된 계층의 각 영역의 시차벡터(시차정보)가, 계층순으로 배치되어 있다. 그 때문에, 수신측에서는, 이 시차정보 세트로부터 중첩정보의 중첩 위치에 대응한 시차벡터를 용이하게 취출하여 이용할 수 있다. 즉, 수신측에서, 중첩정보의 중첩 위치에 대응한 시차벡터를 얻기 위한 계산 등이 불필요하게 되어, 간단한 구성으로 할 수 있다.
또한, 도 22에 도시하는 송신 데이터 생성부(110D)의 상술한 설명에서는, 시차정보 세트 작성부(134)에서, 최하 위층의 픽셀(화소)마다의 시차벡터에 다운사이징 처리를 시행하여 각 계층의 각 영역의 시차벡터를 구하는 취지로 설명하였다. 그러나, 각 계층의 각 영역의 시차벡터가 시차벡터 검출부(114)에서 검출 또는 구하여지고, 시차정보 세트 작성부(134)에서는 그것을 이용하도록 하여도 좋다. 또는, 데이터 기록 매체(130a)에 각 계층의 각 영역의 시차벡터가 기록되어 있고, 시차정보 세트 작성부(134)에서는 그것을 이용하도록 하여도 좋다.
또한, 도 22에 도시하는 송신 데이터 생성부(110D)의 상술한 설명에서는, 시차정보 세트 작성부(134)에서, 최하 위층의 픽셀(화소)마다의 시차벡터에 다운사이징 처리를 시행하여 각 계층의 각 영역의 시차벡터를 구하는 취지로 설명하였다. 그러나, 시차정보 세트 작성부(134)에서는, 송신 계층으로서 선택된 각 계층의 각 영역의 시차벡터만을 구하는 것으로 족하다.
또한, 도 22에 도시하는 송신 데이터 생성부(110D)는, 시차정보 세트를 포함하는 시차벡터 엘리멘터리 스트림을, 멀티플렉서(122)에서 다른 스트림과 다중화하는 구성으로 되어 있다. 즉, 이 도 22에 도시하는 송신 데이터 생성부(110D)는, 도 2에 도시하는 송신 데이터 생성부(110)에 대응한 구성으로 되어 있다. 그러나, 도 13, 도 15에 도시하는 송신 데이터 생성부(110A, 110B)와 마찬가지로, 화상 데이터 스트림 등의 다른 스트림에 시차정보 세트를 삽입하여 수신측에 보내는 구성으로 할 수도 있다.
[셋톱 박스의 설명]
도 1로 되돌아와, 셋톱 박스(200)는, 방송국(100)으로부터 방송파에 실어서 송신되어 오는 비트 스트림 데이터(트랜스포트 스트림)를 수신한다. 이 비트 스트림 데이터에는, 좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터, 음성 데이터, 중첩정보 데이터, 나아가서는 시차정보(시차벡터)가 포함된다. 여기서, 중첩정보 데이터는, 예를 들면, 서브타이틀 데이터, 그래픽스 데이터, 텍스트 데이터(클로즈드 캡션 데이터를 포함한다) 등이다.
셋톱 박스(200)는, 비트 스트림 처리부(201)를 갖고 있다. 이 비트 스트림 처리부(201)는, 비트 스트림 데이터로부터, 입체화상 데이터, 음성 데이터, 중첩정보 데이터, 시차벡터 등을 추출한다. 이 비트 스트림 처리부(201)는, 입체화상 데이터, 중첩정보 데이터(서브타이틀 데이터, 그래픽스 데이터, 텍스트 데이터) 등을 이용하여, 중첩정보가 중첩된 좌안화상 및 우안화상의 데이터를 생성한다.
여기서, 시차벡터가 수치 정보로서 송신되어 오는 경우에는, 시차벡터와 중첩정보 데이터에 의거하여, 좌안화상, 우안화상에 각각 중첩하는 좌안 중첩정보, 우안 중첩정보를 생성한다. 이 경우, 좌안 중첩정보 및 우안 중첩정보는 동일한 중첩정보이다. 그러나, 화상 내의 중첩 위치가, 예를 들면, 좌안 중첩정보에 대해, 우안 중첩 정보는, 시차벡터의 수평방향 성분만큼, 수평방향으로 시프트되도록 된다.
도 28(a)는, 전송 방식이 상술한 제 2의 전송 방식(「Side By Side」방식)인 경우에 있어서의, 좌안 그래픽스 정보 및 우안 그래픽스 정보의 중첩 위치를 도시하고 있다. 좌안화상(IL)상에 중첩되는 좌안 그래픽스 정보(LGI)에 대해, 우안화상(IR)상에 중첩되는 우안 그래픽스 정보(RGI)는, 시차벡터의 수평방향 성분(VVT)만큼 수평방향으로 시프트된 위치로 되어 있다. 또한, IT는, 아이들링 오프셋값이다.
비트 스트림 처리부(201)에서는, 각 화상(IL, IR)에 대해 각 그래픽스 정보(LGI, RGI)가 도 28(a)에 도시하는 바와 같이 중첩되도록, 그래픽스 데이터가 생성된다. 비트 스트림 처리부(201)는, 비트 스트림 데이터로부터 추출된 입체화상 데이터(좌안화상 데이터, 우안화상 데이터)에 대해, 생성된 좌안 그래픽스 데이터, 우안 그래픽스 데이터를 합성하여, 처리 후의 입체화상 데이터를 취득한다. 이 입체화상 데이터에 의하면, 시청자는, 도 28(b)에 도시하는 바와 같이, 각 화상(IL, IR)과 함께, 각 그래픽스 정보(LGI, RGI)를, 시차로써 관찰할 수 있고, 그래픽스 정보에도, 원근감을 인지 가능하게 된다.
또한, 도 29(a)는, 각 화상(IL, IR)에 대해, 비트 스트림 데이터로부터 추출된 그래픽스 데이터에 의한 그래픽스 화상을 그대로 중첩한 상태를 도시하고 있다. 이 경우, 시청자는, 도 29(b)에 도시하는 바와 같이, 좌안화상(IL)과 함께 그래픽스 정보의 좌반분, 우안화상(IR)과 함께 그래픽스 정보의 우반분을 관찰한다. 그 때문에, 그래픽스 정보를 올바르게 인식할 수가 없게 된다.
도 28은, 그래픽스 정보의 경우를 도시하였지만, 그 밖의 중첩정보(클로즈드 캡션 정보, 서브타이틀 정보, 텍스트 정보 등)에 관해서도 마찬가지이다. 즉, 시차벡터가 수치 정보로서 송신되어 오는 경우에는, 시차벡터와 중첩정보 데이터 데이터에 의거하여, 좌안화상, 우안화상에 각각 중첩하는 좌안 중첩정보, 우안 중첩정보를 생성한다. 이 경우, 좌안 중첩정보 및 우안 중첩정보는 동일한 중첩정보이다. 그러나, 화상 내의 중첩 위치가, 예를 들면, 좌안 중첩정보에 대해, 우안 중첩정보는, 시차벡터의 수평방향 성분만큼, 수평방향으로 시프트되도록 된다.
여기서, 좌안 중첩정보와 우안 중첩정보 사이에 시차를 주는 시차벡터로서는, 이하의 시차벡터를 이용하는 것이 생각된다. 예를 들면, 시차벡터로서는, 화상 내의 복수 위치에서 검출된 시차벡터중, 원근감이라는 관점에서 가장 가깝게 인식되는 위치의 시차벡터를 사용하는 것이 생각된다. 도 30(a), (b), (c), (d)는, 각각 시각(T0, T1, T2, T3)에서의 3개의 오브젝트 위치의 시차벡터를 나타내고 있다.
시각(T0)에서는, 오브젝트(1)에 대응한 위치(H0, V0)에서의 시차벡터(VV0-1)가 최대의 시차벡터(MaxVV(T0))로 되어 있다. 시각(T1)에서는, 오브젝트(1)에 대응한 위치(H1, V1)에서의 시차벡터(VV1-1)가 최대의 시차벡터(MaxVV(T1))로 되어 있다. 시각(T2)에서는, 오브젝트(2)에 대응한 위치(H2, V2)에서의 시차벡터(VV2-2)가 최대의 시차벡터(MaxVV(T2))로 되어 있다. 시각(T3)에서는, 오브젝트(1)에 대응한 위치(H3, V3)에서의 시차벡터(VV3-0)가 최대의 시차벡터(MaxVV(T3))로 되어 있다.
이와 같이, 시차벡터로서, 화상 내의 복수 위치에서 검출된 시차벡터중, 원근감이라는 관점에서 가장 가깝게 인식되는 위치의 시차벡터를 사용함으로써, 원근감이라는 관점에서 가장 가까운 화상 내의 물체보다도 앞에, 중첩정보를 표시할 수 있다.
도 31(a)는, 화상상에서의 자막(예를 들면, 클로즈드 캡션 정보, 서브타이틀 정보)의 표시예를 도시하고 있다. 이 표시예에서는, 배경과 근경 오브젝트로 이루어지는 화상상에, 자막이 중첩된 예이다. 도 31(b)는, 배경, 근경 오브젝트, 자막의 원근감을 나타내고, 자막이 가장 가깝게 있도록 인식되는 것을 도시하고 있다.
도 32(a)는, 도 31(a)과 같은, 화상상에서의 자막(예를 들면, 클로즈드 캡션 정보, 서브타이틀 정보)의 표시예를 도시하고 있다. 도 32(b)는, 자막을 표시하기 위한 좌안 서브타이틀 정보(LGI)와, 우안 서브타이틀 정보(RGI)를 도시하고 있다. 도 32(c)는, 자막이 가장 가깝게 있도록 인식되기 위해, 각 서브타이틀 정보(LGI, RGI)에 시차가 주어지는 것을 도시하고 있다.
또한, 시차벡터로서는, 화상 내의 복수 위치에서 검출된 시차벡터(시차정보 세트에 포함되는 각 계층의 각 영역의 시차벡터를 포함한다)중, 그 중첩 위치에 대응한 것을 사용하는 것이 생각된다. 도 33(a)는, 비트 스트림 데이터로부터 추출되는 그래픽 데이터에 의한 그래픽 정보와, 비트 스트림 데이터로부터 추출되는 텍스트 데이터에 의한 텍스트 정보를 도시하고 있다.
도 33(b)는, 좌안화상에, 좌안 그래픽스 정보(LGI) 및 좌안 텍스트 정보(LTI)가 중첩된 상태를 도시하고 있다. 이 경우, 좌안 그래픽스 정보(LGI)는, 그 중첩 위치가 수평방향으로는 아이들링 오프셋값(IT-0)으로 규제되어 있다. 또한, 좌안 텍스트 정보(LTI)는, 그 중첩 위치가 수평방향으로는 아이들링 오프셋값(IT-1)으로 규제되어 있다.
도 33(c)는, 우안화상에, 우안 그래픽스 정보(RGI) 및 우안 텍스트 정보(RTI)가 중첩된 상태를 도시하고 있다. 이 경우, 우안 그래픽스 정보(RGI)는, 그 중첩 위치가 수평방향으로는 아이들링 오프셋값(IT-0)으로 규제되고, 또한 이 중첩 위치에 대응한 시차벡터의 수평방향 성분(VVT-0)만큼, 좌안 그래픽스 정보(LGI)의 중첩 위치에서 시프트되어 있다. 또한, 우안 텍스트 정보(RTI)는, 그 중첩 위치가 수평방향으로는 아이들링 오프셋값(IT-1)으로 규제되고, 또한 이 중첩 위치에 대응한 시차벡터의 수평방향 성분(VVT-1)만큼, 좌안 텍스트 정보(LTI)의 중첩 위치에서 시프트되어 있다.
상술에서는, 좌안화상 및 우안화상에, 비트 스트림 데이터로부터 추출된 그래픽스 데이터에 의한 그래픽스 정보, 또는 비트 스트림 데이터로부터 추출된 텍스트 데이터에 의한 텍스트 정보를 중첩하는 경우를 설명하였다. 이 밖에, 셋톱 박스(200) 내에서 그래픽스 데이터 또는 텍스트 데이터가 발생되고, 그것들에 의한 정보를, 좌안화상 및 우안화상에, 중첩하는 경우도 생각된다.
그 경우에도, 비트 스트림 데이터로부터 추출된 화상 내의 소정 위치의 시차벡터를 이용하여, 좌안 그래픽스 정보와 우안 그래픽스 정보 사이, 또는 좌안 텍스트 정보와 우안 텍스트 정보 사이에, 시차를 갖게 할 수 있다. 이에 의해, 그래픽스 정보, 텍스트 정보의 표시에서, 화상 내의 각 물체(오브젝트)의 원근감의 사이에서 원근감의 정합성의 유지를 도모한 적절한 원근감을 부여할 수 있다.
도 34(a)는, 화상 내에 A, B, C의 각 오브젝트가 존재하고, 예를 들면, 이들 각 오브젝트의 부근 위치에, 각 오브젝트의 주석을 나타내는 텍스트 정보를 중첩하는 것을 도시하고 있다. 도 34(b)는, A, B, C의 각 오브젝트의 위치와, 그 위치에서의 시차벡터의 대응을 나타내는 시차벡터 리스트와, 각각의 시차벡터를, A, B, C의 각 오부젝트의 주석을 나타내는 텍스트 정보에 시차를 주는 경우에 이용하는 것을 도시하고 있다. 예를 들면, A의 오브젝트의 부근에는 「Text」의 텍스트 정보가 중첩되는데, 그 좌안 텍스트 정보와 우안 텍스트 정보 사이에는, A의 오브젝트의 위치(Ha, Va)에서의 시차벡터(VV-a)에 대응한 시차가 주어진다. 또한, B, C의 오브젝트의 부근에 중첩되는 텍스트 정보에 관해서도 마찬가지이다.
또한, 도 33은, 중첩정보가 그래픽스 정보 및 텍스트 정보인 경우를 도시하고 있다. 또한, 도 34는, 중첩정보가 텍스트 정보인 경우를 도시하고 있다. 상세 설명은 생략하지만, 그 밖의 중첩정보(클로즈드 캡션 정보, 서브타이틀 정보 등)의 경우도 마찬가지이다.
다음에, 시차벡터가, 중첩정보(클로즈드 캡션 정보, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보 등)의 데이터에 미리 반영되어 송신되어 오는 경우에 관해 설명한다. 이 경우, 비트 스트림 데이터로부터 추출된 중첩정보 데이터에는, 시차벡터에 의해 시차가 주어진, 좌안 중첩정보 및 우안 중첩정보의 데이터가 포함되어 있다.
그 때문에, 비트 스트림 처리부(201)는, 비트 스트림 데이터로부터 추출된 입체화상 데이터(좌안화상 데이터, 우안화상 데이터)에 대해, 비트 스트림 데이터로부터 추출된 중첩정보 데이터를 단지 합성하여, 처리 후의 입체화상 데이터를 취득한다. 또한, 텍스트 데이터(클로즈드 캡션 데이터를 포함한다)에 관해서는, 캐릭터 코드를 비트맵 데이터로 변환하는 등의 처리는 필요하다.
[셋톱 박스의 구성예]
셋톱 박스(200)의 구성예를 설명한다. 도 35는, 셋톱 박스(200)의 구성예를 도시하고 있다. 이 셋톱 박스(200)는, 비트 스트림 처리부(201)와, HDMI 단자(202)와, 안테나 단자(203)와, 디지털 튜너(204)와, 영상 신호 처리 회로(205)와, HDMI 송신부(206)와, 음성 신호 처리 회로(207)를 갖고 있다. 또한, 이 셋톱 박스(200)는, CPU(211)와, 플래시 ROM(212)과, DRAM(213)과, 내부 버스(214)와, 리모콘 수신부(215)와, 리모콘 송신기(216)를 갖고 있다.
안테나 단자(203)는, 수신 안테나(도시 생략)에서 수신된 텔레비전 방송 신호를 입력하는 단자이다. 디지털 튜너(204)는, 안테나 단자(203)에 입력된 텔레비전 방송 신호를 처리하여, 유저의 선택 채널에 대응한 소정의 비트 스트림 데이터(트랜스포트 스트림)을 출력한다.
비트 스트림 처리부(201)는, 상술한 바와 같이, 비트 스트림 데이터로부터 입체화상 데이터(좌안화상 데이터, 우안화상 데이터), 음성 데이터, 중첩정보 데이터, 시차정보(시차벡터) 등을 추출한다. 중첩정보 데이터는, 서브타이틀 데이터, 그래픽스 데이터, 텍스트 데이터(클로즈드 캡션 데이터를 포함한다) 등이다. 이 비트 스트림 처리부(201)는, 상술한 바와 같이, 입체화상 데이터에 대해, 중첩정보(클로즈드 캡션 정보, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보 등)의 데이터를 합성하여, 표시용 입체화상 데이터를 취득한다. 또한, 비트 스트림 처리부(201)는, 음성 데이터를 출력한다. 비트 스트림 처리부(201)의 상세 구성은 후술한다.
영상 신호 처리 회로(205)는, 비트 스트림 처리부(201)로부터 출력된 입체화상 데이터에 대해 필요에 응하여 화질 조정 처리 등을 행하여, 처리 후의 입체화상 데이터를 HDMI 송신부(206)에 공급한다. 음성 신호 처리 회로(207)는, 비트 스트림 처리부(201)로부터 출력된 음성 데이터에 대해 필요에 응하여 음질 조정 처리 등을 행하여, 처리 후의 음성 데이터를 HDMI 송신부(206)에 공급한다.
HDMI 송신부(206)는, HDMI에 준거한 통신에 의해, 베이스밴드의 화상(영상)과 음성의 데이터를, HDMI 단자(202)로부터 송출한다. 이 경우, HDMI의 TMDS 채널로 송신하기 위해, 화상 및 음성의 데이터가 패킹되어, HDMI 송신부(206)로부터 HDMI 단자(202)에 출력된다. 이 HDMI 송신부(206)의 상세는 후술한다.
CPU(211)는, 셋톱 박스(200)의 각 부분의 동작을 제어한다. 플래시 ROM(212)은, 제어 소프트웨어의 격납 및 데이터의 보관을 행한다. DRAM(213)은, CPU(211)의 워크 에어리어를 구성한다. CPU(211)는, 플래시 ROM(212)으로부터 판독한 소프트웨어나 데이터를 DRAM(213)상에 전개하여 소프트웨어를 기동시켜서, 셋톱 박스(200)의 각 부분을 제어한다.
리모콘 수신부(215)는, 리모콘 송신기(216)로부터 송신된 리모트 콘트롤 신호(리모콘 코드)를 수신하고, CPU(211)에 공급한다. CPU(211)는, 이 리모콘 코드에 의거하여, 셋톱 박스(200)의 각 부분을 제어한다. CPU(211), 플래시 ROM(212) 및 DRAM(213)은 내부 버스(214)에 접속되어 있다.
셋톱 박스(200)의 동작을 간단히 설명한다. 안테나 단자(203)에 입력된 텔레비전 방송 신호는 디지털 튜너(204)에 공급된다. 이 디지털 튜너(204)에서는, 텔레비전 방송 신호가 처리되어, 유저의 선택 채널에 대응한 소정의 비트 스트림 데이터(트랜스포트 스트림)가 출력된다.
디지털 튜너(204)로부터 출력되는 비트 스트림 데이터는, 비트 스트림 처리부(201)에 공급된다. 이 비트 스트림 처리부(201)에서는, 비트 스트림 데이터로부터 입체화상 데이터(좌안화상 데이터, 우안화상 데이터), 음성 데이터, 그래픽스 데이터, 텍스트 데이터, 시차벡터 등이 추출된다. 또한, 이 비트 스트림 처리부(201)에서는, 입체화상 데이터에 대해, 중첩정보(클로즈드 캡션 정보, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보 등)의 데이터가 합성되어, 표시용 입체화상 데이터가 생성된다.
비트 스트림 처리부(201)에서 생성되는 표시용 입체화상 데이터는, 영상 신호 처리 회로(205)로 필요에 응하여 화질 조정 처리 등이 행하여진 후에, HDMI 송신부(206)에 공급된다. 또한, 비트 스트림 처리부(201)에서 얻어지는 음성 데이터는, 음성 신호 처리 회로(207)에서 필요에 응하여 음질 조정 처리 등이 행하여진 후에, HDMI 송신부(206)에 공급된다. HDMI 송신부(206)에 공급된 입체화상 데이터 및 음성 데이터는, HDMI의 TMDS 채널에 의해, HDMI 단자(202)로부터 HDMI 케이블(400)에 송출된다.
[비트 스트림 처리부의 구성예]
도 36은, 비트 스트림 처리부(201)의 구성예를 도시하고 있다. 이 비트 스트림 처리부(201)는, 상술한 도 2, 도 22에 도시하는 송신 데이터 생성부(110, 110D)에 대응시킨 구성으로 되어 있다. 이 비트 스트림 처리부(201)는, 디멀티플렉서(220)와, 비디오 디코더(221)와, 서브타이틀?그래픽스 디코더(222)와, 텍스트 디코더(223)와, 오디오 디코더(224)와, 시차벡터 디코더(225)를 갖고 있다. 또한, 이 비트 스트림 처리부(201)는, 입체화상용 서브타이틀?그래픽스 발생부(226)와, 입체화상용 텍스트 발생부(227)와, 비디오 중첩부(228)와, 멀티채널 스피커 컨트롤부(229)를 갖고 있다.
디멀티플렉서(220)는, 비트 스트림 데이터(BSD)로부터, 비디오, 오디오, 시차벡터, 서브타이틀이나 그래픽스 및 텍스트의 패킷을 추출하고, 각 디코더에 보낸다.
비디오 디코더(221)는, 상술한 송신 데이터 생성부(110)의 비디오 인코더(113)와는 반대의 처리를 행한다. 즉, 이 비디오 디코더(221)는, 디멀티플렉서(220)에서 추출된 비디오의 패킷으로부터 비디오의 엘리멘터리 스트림을 재구성하고, 복호화 처리를 행하여, 좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터를 얻는다. 이 입체화상 데이터의 전송 방식은, 예를 들면, 상술한 제 1의 전송 방식(「Top & Bottom」방식), 제 2의 전송 방식은(「Side By Side」방식), 제 3의 전송 방식(「Frame Sequential」방식) 등이다(도 4(a) 내지 (c)참조).
서브타이틀?그래픽스 디코더(222)는, 상술한 송신 데이터 생성부(110)의 서브타이틀?그래픽스 인코더(119)와는 반대의 처리를 행한다. 즉, 이 서브타이틀?그래픽스 디코더(222)는, 디멀티플렉서(220)에서 추출된 서브타이틀이나 그래픽스의 패킷으로부터 서브타이틀이나 그래픽스의 엘리멘터리 스트림을 재구성한다. 그리고, 이 서브타이틀?그래픽스 디코더(222)는, 또한 복호화 처리를 행하여, 서브타이틀 데이터나 그래픽스 데이터를 얻는다.
텍스트 디코더(223)는, 상술한 송신 데이터 생성부(110)의 텍스트 인코더(121)와는 반대의 처리를 행한다. 즉, 이 텍스트 디코더(223)는, 디멀티플렉서(220)에서 추출된 텍스트의 패킷으로부터 텍스트의 엘리멘터리 스트림을 재구성하고, 복호화 처리를 행하여, 텍스트 데이터(클로즈드 캡션 데이터를 포함한다)를 얻는다.
오디오 디코더(224)는, 상술한 송신 데이터 생성부(110)의 오디오 인코더(117)와는 반대의 처리를 행한다. 즉, 이 오디오 디코더(224)는, 디멀티플렉서(220)에서 추출된 오디오의 패킷으로부터 오디오의 엘리멘터리 스트림을 재구성하고, 복호화 처리를 행하여, 음성 데이터를 얻는다.
시차벡터 디코더(225)는, 상술한 송신 데이터 생성부(110)의 시차벡터 인코더(115)와는 반대의 처리를 행한다. 즉, 이 시차벡터 디코더(225)는, 디멀티플렉서(220)에서 추출된 시차벡터의 패킷으로부터 시차벡터의 엘리멘터리 스트림을 재구성하고, 복호화 처리를 행하여, 화상 내의 소정 위치의 시차벡터를 얻는다.
입체화상용 서브타이틀?그래픽스 발생부(226)는, 좌안화상 및 우안화상에 각각 중첩하는 좌안 및 우안의 서브타이틀 정보나 그래픽스 정보를 생성한다. 이 생성 처리는, 디코더(222)에서 얻어진 서브타이틀 데이터나 그래픽스 데이터와, 디코더(225)에서 얻어진 시차벡터에 의거하여 행하여진다. 이 경우, 좌안 및 좌안의 서브타이틀 정보나 그래픽스 정보는 동일한 정보이다. 그러나, 화상 내의 중첩 위치가, 예를 들면, 좌안의 서브타이틀 정보나 그래픽스 정보에 대해, 우안의 부타이톨 정보나 그래픽스 정보는, 시차벡터의 수평방향 성분만큼, 수평방향으로 시프트되도록 된다. 그리고, 이 입체화상용 서브타이틀?그래픽스 발생부(226)는, 생성된 좌안 및 좌안의 서브타이틀 정보나 그래픽스 정보의 데이터(비트맵 데이터)를 출력한다.
입체화상용 텍스트 발생부(227)는, 디코더(223)에서 얻어진 텍스트 데이터와, 디코더(225)에서 얻어진 시차벡터에 의거하여, 좌안화상, 우안화상에 각각 중첩하는 좌안 텍스트 정보, 우안 텍스트 정보를 생성한다. 이 경우, 좌안 텍스트 정보 및 우안 텍스트 정보는 동일한 텍스트 정보이지만, 화상 내의 중첩 위치가, 예를 들면, 좌안 텍스트 정보에 대해, 우안 텍스트 정보는, 시차벡터의 수평방향 성분만큼, 수평방향으로 시프트되도록 된다. 그리고, 이 입체화상용 텍스트 발생부(227)는, 생성된 좌안 텍스트 정보 및 우안 텍스트 정보의 데이터(비트맵 데이터)를 출력한다.
비디오 중첩부(228)는, 비디오 디코더(221)에서 얻어진 입체화상 데이터(좌안화상 데이터, 우안화상 데이터)에 대해, 발생부(226, 227)에서 발생된 데이터를 중첩하고, 표시용 입체화상 데이터(Vout)를 얻다. 또한, 입체화상 데이터(좌안화상 데이터, 우안화상 데이터)에의 중첩정보 데이터의 중첩은 시스템 레이어의 타임 스탬프에 의해 시작된다.
멀티채널 스피커 컨트롤부(229)는, 오디오 디코더(224)에서 얻어지는 음성 데이터에 대해, 예를 들면 5.1ch 서라운드 등을 실현하기 위한 멀티채널 스피커의 음성 데이터를 생성하는 처리, 소정의 음장 특성을 부여하는 처리 등을 시행한다. 또한, 이 멀티채널 스피커 컨트롤부(229)는, 디코더(225)에서 얻어진 시차벡터에 의거하여, 멀티채널 스피커의 출력을 제어한다.
시차벡터의 크기가 커질수록, 입체감이 두드러지는 효과가 있다. 입체의 정도에 맞추어서, 멀티채널의 스피커 출력을 제어함으로써, 더한층의 입체 체험의 제공을 실현할 수 있다.
도 37은, 시차벡터(VV1)가, 텔레비전 디스플레이를 향하여, 좌측의 비디오 오브젝트의 쪽이 큰 경우의 스피커 출력 제어예를 도시하고 있다. 이 제어예에서는, 멀티채널 스피커의 Rear Left의 스피커 음량은 크게 되고, Front Left의 스피커 음량은 중간 정도가 되고, 또한, Front Right, Rear Right의 스피커 음량이 작게 된다. 이와 같이, 비디오 내용(입체화상 데이터)의 시차벡터를, 음성 데이터 등의 다른 미디어 데이터에 수신측에서 적용함으로써, 시청자에게, 입체감을 종합적으로 체감시키는 것이 가능해진다.
도 36에 도시하는 비트 스트림 처리부(201)의 동작을 간단히 설명한다. 디지털 튜너(204)(도 35 참조)로부터 출력되는 비트 스트림 데이터(BSD)는, 디멀티플렉서(220)에 공급된다. 이 디멀티플렉서(220)에서는, 비트 스트림 데이터(BSD)로부터, 비디오, 오디오, 시차벡터, 서브타이틀이나 그래픽스, 및 텍스트의 TS 패킷이 추출되고, 각 디코더에 공급된다.
비디오 디코더(221)에서는, 디멀티플렉서(220)에서 추출된 비디오의 패킷으로부터 비디오의 엘리멘터리 스트림이 재구성되고, 또한 복호화 처리가 행하여저서, 좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터가 얻어진다. 이 입체화상 데이터는, 비디오 중첩부(228)에 공급된다. 또한, 시차벡터 디코더(225)에서는, 디멀티플렉서(220)에서 추출된 시차벡터의 패킷으로부터 시차벡터의 엘리멘터리 스트림이 재구성되고, 또한 복호화 처리가 행하여저서, 화상 내의 소정 위치의 시차벡터가 얻어진다(도 8, 도 27 참조).
서브타이틀?그래픽스 디코더(222)에서는, 디멀티플렉서(220)에서 추출된 서브타이틀이나 그래픽스의 패킷으로부터 서브타이틀이나 그래픽스의 엘리멘터리 스트림이 재구성된다. 서브타이틀?그래픽스 디코더(222)에서는, 또한, 서브타이틀이나 그래픽스의 엘리멘터리 스트림에 대해 복호화 처리가 행하여저서, 서브타이틀 데이터나 그래픽스 데이터가 얻어진다. 이 서브타이틀 데이터나 그래픽스 데이터는, 입체화상용 서브타이틀?그래픽스 발생부(226)에 공급된다. 이 입체화상용 서브타이틀?그래픽스 발생부(226)에는, 시차벡터 디코더(225)에서 얻어진 시차벡터도 공급된다.
이 입체화상용 서브타이틀?그래픽스 발생부(226)에서는, 좌안화상, 우안화상에 각각 중첩하는 좌안 및 우안의 서브타이틀 정보나 그래픽스 정보의 데이터가 생성된다. 이 생성 처리는, 디코더(222)에서 얻어진 서브타이틀 데이터나 그래픽스 데이터와, 디코더(225)에서 얻어진 시차벡터에 의거하여 행하여진다. 이 경우, 화상 내의 중첩 위치가, 예를 들면, 좌안의 서브타이틀 정보나 좌안 그래픽스 정보에 대해, 우안의 서브타이틀 정보나 그래픽스 정보는, 시차벡터의 수평방향 성분만큼, 수평방향으로 시프트되도록 된다. 이 입체화상용 서브타이틀?그래픽스 발생부(226)로부터는, 생성된 좌안 및 우안의 서브타이틀 정보나 그래픽스 정보의 데이터(비트맵 데이터)가 출력된다.
또한, 텍스트 디코더(223)에서는, 디멀티플렉서(220)에서 추출된 텍스트의 TS 패킷으로부터 텍스트의 엘리멘터리 스트림이 재구성되고, 또한 복호화 처리가 행하여저서, 텍스트 데이터가 얻어진다. 이 텍스트 데이터는 입체화상용 텍스트 발생부(227)에 공급된다. 이 입체화상용 텍스트 발생부(227)에는, 시차벡터 디코더(225)에서 얻어진 시차벡터도 공급된다.
이 입체화상용 텍스트 발생부(227)에서는, 디코더(223)에서 얻어진 텍스트 데이터와, 디코더(225)에서 얻어진 시차벡터에 의거하여, 좌안화상, 우안화상에 각각 중첩하는 좌안 텍스트 정보, 우안 텍스트 정보가 생성된다. 이 경우, 좌안 텍스트 정보 및 우안 텍스트 정보는 동일한 텍스트 정보이지만, 화상 내의 중첩 위치가, 예를 들면, 좌안 텍스트 정보에 대해, 우안 텍스트 정보는, 시차벡터의 수평방향 성분만큼, 수평방향으로 시프트되도록 된다. 이 입체화상용 텍스트 발생부(227)로부터는, 생성된 좌안 텍스트 정보 및 우안 텍스트 정보의 데이터(비트맵 데이터)가 출력된다.
비디오 중첩부(228)에는, 상술한 비디오 디코더(221)로부터의 입체화상 데이터(좌안화상 데이터, 우안화상 데이터) 외에, 서브타이틀?그래픽스 발생부(226) 및 텍스트 발생부(227)로부터 출력되는 데이터가 공급된다. 이 비디오 중첩부(228)에서는, 입체화상 데이터(좌안화상 데이터, 우안화상 데이터)에 대해, 서브타이틀?그래픽스 발생부(226) 및 텍스트 발생부(227)에서 발생된 데이터가 중첩되고, 표시용 입체화상 데이터(Vout)가 얻어진다. 이 표시용 입체화상 데이터(Vout)는, 영상 신호 처리 회로(205)를 통하여, HDMI 송신부(206)(도 35 참조)에, 송신 화상 데이터로서 공급된다.
또한, 오디오 디코더(224)에서는, 디멀티플렉서(220)에서 추출된 오디오의 TS 패킷으로부터 오디오의 엘리멘터리 스트림이 재구성되고, 또한 복호화 처리가 행하여저서, 음성 데이터가 얻어진다. 이 음성 데이터는, 멀티채널 스피커 컨트롤부(229)에 공급된다. 이 멀티채널 스피커 컨트롤부(229)에서는, 음성 데이터에 대해, 예를 들면 5.1ch 서라운드 등을 실현하기 위한 멀티채널 스피커의 음성 데이터를 생성하는 처리, 소정의 음장(音場) 특성을 부여하는 처리 등이 행하여진다.
이 멀티채널 스피커 컨트롤부(229)에는, 시차벡터 디코더(225)에서 얻어진 시차벡터도 공급된다. 그리고, 이 멀티채널 스피커 컨트롤부(229)에서는, 시차벡터에 의거하여, 멀티채널 스피커의 출력이 제어된다. 이 멀티채널 스피커 컨트롤부(229)에서 얻어지는 멀티채널 음성 데이터는, 음성 신호 처리 회로(207)를 통하여 HDMI 송신부(206)(도 35 참조)에, 송신 음성 데이터로서 공급된다.
[중첩정보에의 시차의 부여]
여기서, 도 36에 도시하는 비트 스트림 처리부(201)의 입체화상용 서브타이틀?그래픽스 발생부(226) 및 입체화상용 텍스트 발생부(227)에서의 중첩정보에의 시차의 부여에 관해, 다시 설명한다.
방송국(100)(도 1 참조)으로부터는, 예를 들면, 도 38, 도 39에 도시하는 바와 같이, 화상 데이터 스트림과, 서브타이틀 또는 그래픽스의 데이터 스트림과, 텍스트 데이터 스트림과 함께, 시차벡터(도 8, 도 27 참조)를 포함하는 시차벡터 스트림이 보내 온다. 이 경우, 부호화 비디오의 GOP(Group Of Pictures), 또는 I(Intra picture)픽처, 또는 장면 등의 각 일정기간의 시작 타이밍에 맞추어서, 각 일정기간에 대응한 소정 단위마다의 시차벡터가 종합하여 보내 온다. 소정 단위로서는, 예를 들면, 화상(프레임) 단위, 또는 화상의 정수배의 단위 등이 생각된다.
예를 들면, 입체화상용 서브타이틀?그래픽스 발생부(226) 및 입체화상용 텍스트 발생부(227)에서는, 중첩정보의 중첩 기간에서, 소정 단위마다, 중첩정보에, 대응하는 시차벡터(정보 정보)에 의한 시차가 부여된다. 도 38의 서브타이틀(그래픽스) 데이터 스트림 및 텍스트 데이터 스트림의 부분에 붙여져 있는 화살표는, 중첩정보에 소정 단위마다 시차가 부여되는 타이밍을 나타내고 있다. 이와 같이 중첩정보에 시차가 부여되는 구성으로 함으로써, 중첩정보에 부여하는 시차를, 화상 내용의 변화에 연동하여 동적으로 변화시키는 것이 가능해진다.
또한, 예를 들면, 입체화상용 서브타이틀?그래픽스 발생부(226) 및 입체화상용 텍스트 발생부(227)에서는, 중첩정보의 중첩 기간에서, 소정 단위마다, 중첩정보에, 중첩 기간분의 시차벡터로부터 선택된 소정의 시차벡터(시차정보)에 의한 시차가 부여된다. 소정의 시차벡터는, 예를 들면, 중첩 기간분의 시차정보중 최대의 시차를 나타내는 시차정보가 된다.
도 39의 서브타이틀(그래픽스) 데이터 스트림 및 텍스트 데이터 스트림의 부분에 붙여져 있는 화살표는, 중첩정보에 시차가 부여되는 타이밍을 나타내고 있다. 이 경우, 중첩 기간의 최초에 중첩정보에 대해 시차가 부여되고, 이후는 그 시차가 부여된 중첩정보가, 좌안화상 및 우안화상에 중첩하여야 할 중첩정보로서 사용된다. 이와 같이 중첩정보에 시차가 부여되는 구성으로 함으로써, 화상 내용의 변화에 의하지 않고, 중첩정보에, 예를 들면, 중첩정보의 중첩 기간중의 최대 시차를 부여하는 것이 가능해진다.
「비트 스트림 처리부의 다른 구성예」
도 40에 도시하는 비트 스트림 처리부(201A)는, 상술한 도 13에 도시하는 송신 데이터 생성부(110A)에 대응시킨 구성으로 되어 있다. 이 도 40에서, 도 36과 대응하는 부분에는 동일 부호를 붙이고, 그 상세 설명은 생략한다.
이 비트 스트림 처리부(201A)는, 도 36에 도시하는 비트 스트림 처리부(201)의 시차벡터 디코더(225) 대신에, 시차벡터 취출부(231)가 마련된다. 이 시차벡터 취출부(231)는, 비디오 디코더(221)를 통하여 얻어지는 비디오의 스트림으로부터, 그 유저 데이터 영역에 매입되어 있는 시차벡터를 취출한다. 그리고, 이 시차벡터 취출부(231)는, 취출한 시차벡터를, 입체화상용 서브타이틀?그래픽스 발생부(226), 입체화상용 텍스트 발생부(227) 및 멀티채널 스피커 컨트롤부(229)에 공급한다.
상세 설명은 생략하지만, 이 도 40에 도시하는 비트 스트림 처리부(201A)의 기타는, 도 36에 도시하는 비트 스트림 처리부(201)와 마찬가지로 구성되고, 마찬가지로 동작한다.
[중첩정보에의 시차의 부여]
여기서, 도 40에 도시하는 비트 스트림 처리부(201A)의 입체화상용 서브타이틀?그래픽스 발생부(226) 및 입체화상용 텍스트 발생부(227)에서의 중첩정보에의 시차의 부여에 관해, 다시 설명한다.
방송국(100)(도 1 참조)으로부터는, 예를 들면, 도 41에 도시하는 바와 같이, 화상 데이터 스트림과, 서브타이틀 또는 그래픽스의 데이터 스트림과, 텍스트 데이터 스트림이 보내 온다. 그리고, 시차벡터(도 8, 도 27 참조)는, 화상 데이터 스트림에 매입되어 보내 온다. 이 경우, 화상 데이터의 소정 단위마다, 예를 들면 부호화 비디오의 화상마다, 그 소정 단위에 대응한 시차벡터가, 화상 데이터 스트림에 매입되어 보내 온다.
입체화상용 서브타이틀?그래픽스 발생부(226) 및 입체화상용 텍스트 발생부(227)에서는, 중첩정보의 중첩 기간에서, 소정 단위마다, 중첩정보에, 대응하는 시차벡터(정보 정보)에 의한 시차가 부여된다. 도 41의 서브타이틀(그래픽스) 데이터 스트림 및 텍스트 데이터 스트림의 부분에 붙여져 있는 화살표는, 중첩정보에 소정 단위마다 시차가 부여되는 타이밍을 나타내고 있다. 이와 같이 중첩정보에 시차가 부여되는 구성으로 함으로써, 중첩정보에 부여하는 시차를, 화상 내용의 변화에 연동하여 동적으로 변화시키는 것이 가능해진다.
또한, 방송국(100)(도 1 참조)으로부터는, 예를 들면, 도 42, 도 43에 도시하는 바와 같이, 화상 데이터 스트림과, 서브타이틀 또는 그래픽스의 데이터 스트림과, 텍스트 데이터 스트림이 보내 온다. 그리고, 시차벡터(도 8, 도 27 참조)는, 화상 데이터 스트림에 매입되어 보내 온다. 이 경우, 부호화 비디오의 GOP, 또는 I픽처, 또는 장면 등의 각 일정기간의 시작 타이밍에 맞추어서, 각 일정기간에 대응한 소정 단위마다의 시차벡터가 종합하여 보내 온다. 소정 단위로서는, 예를 들면, 화상(프레임) 단위, 또는 화상의 정수배의 단위 등이 생각된다.
예를 들면, 입체화상용 서브타이틀?그래픽스 발생부(226) 및 입체화상용 텍스트 발생부(227)에서는, 중첩정보의 중첩 기간에서, 소정 단위마다, 중첩정보에, 대응하는 시차벡터(정보 정보)에 의한 시차가 부여된다. 도 42의 서브타이틀(그래픽스) 데이터 스트림 및 텍스트 데이터 스트림의 부분에 붙여져 있는 화살표는, 중첩정보에 소정 단위마다 시차가 부여되는 타이밍을 나타내고 있다. 이와 같이 중첩정보에 시차가 부여되는 구성으로 함으로써, 중첩정보에 부여하는 시차를, 화상 내용의 변화에 연동하여 동적으로 변화시키는 것이 가능해진다.
또한, 예를 들면, 입체화상용 서브타이틀?그래픽스 발생부(226) 및 입체화상용 텍스트 발생부(227)에서는, 중첩정보의 중첩 기간에서, 소정 단위마다, 중첩정보에, 중첩 기간분의 시차벡터로부터 선택된 소정의 시차벡터(시차정보)에 의한 시차가 부여된다. 소정의 시차벡터는, 예를 들면, 소정의 시차정보는, 중첩 기간분의 시차정보중 최대의 시차를 나타내는 시차정보가 된다.
도 43의 서브타이틀(그래픽스) 데이터 스트림 및 텍스트 데이터 스트림의 부분에 붙여져 있는 화살표는, 중첩정보에 시차가 부여되는 타이밍을 나타내고 있다. 이 경우, 중첩 기간의 최초에 중첩정보에 대해 시차가 부여되고, 이후는 그 시차가 부여된 중첩정보가, 좌안화상 및 우안화상에 중첩하여야 할 중첩정보로서 사용된다. 이와 같이 중첩정보에 시차가 부여되는 구성으로 함으로써, 화상 내용의 변화에 의하지 않고, 중첩정보에, 예를 들면, 중첩정보의 중첩 기간중의 최대 시차를 부여하는 것이 가능해진다.
「비트 스트림 처리부의 다른 구성예」
도 44에 도시하는 비트 스트림 처리부(201B)는, 상술한 도 15에 도시하는 송신 데이터 생성부(110B)에 대응시킨 구성으로 되어 있다. 이 도 44에서, 도 36과 대응하는 부분에는 동일 부호를 붙이고, 그 상세 설명은 생략한다.
이 비트 스트림 처리부(201B)는, 도 36에 도시하는 비트 스트림 처리부(201)의 시차벡터 디코더(225) 대신에, 시차벡터 취출부(232)가 마련된다. 이 시차벡터 취출부(232)는, 서브타이틀?그래픽스 디코더(222)를 통하여 얻어지는 서브타이틀 또는 그래픽스의 스트림으로부터, 그것에 매입되어 있는 시차벡터를 취출한다. 그리고, 이 시차벡터 취출부(232)는, 취출한 시차벡터를, 입체화상용 서브타이틀?그래픽스 발생부(226), 입체화상용 텍스트 발생부(227) 및 멀티채널 스피커 컨트롤부(229)에 공급한다.
상세 설명은 생략하지만, 이 도 44에 도시하는 비트 스트림 처리부(201B)의 기타는, 도 36에 도시하는 비트 스트림 처리부(201)와 마찬가지로 구성되고, 마찬가지로 동작하다. 또한, 이 도 44의 비트 스트림 처리부(201B)에서의 중첩정보에의 시차의 부여에 관해서는, 상술한 도 40의 비트 스트림 처리부(201A)에서의 중첩정보에의 시차의 부여와 마찬가지이다(도 41 내지 도 43 참조).
「비트 스트림 처리부의 다른 구성예」
도 45에 도시하는 비트 스트림 처리부(201C)는, 상술한 도 21에 도시하는 송신 데이터 생성부(110C)에 대응시킨 구성으로 되어 있다. 이 도 45에서, 도 36과 대응하는 부분에는 동일 부호를 붙이고, 그 상세 설명은 생략한다.
이 비트 스트림 처리부(201C)는, 도 36에 도시하는 비트 스트림 처리부(201)로부터, 시차벡터 디코더(225), 입체화상용 서브타이틀?그래픽스 발생부(226) 및 입체화상용 텍스트 발생부(227)가 제외된 것이다. 이 경우, 시차벡터는, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보의 데이터에 미리 반영되어 있다.
송신되어 오는 서브타이틀 데이터나 그래픽스 데이터에는, 상술한 바와 같이, 좌안화상에 중첩되는 좌안의 서브타이틀 정보나 그래픽스 정보의 데이터, 및 우안화상에 중첩되는 우안의 서브타이틀 정보나 그래픽스 정보의 데이터가 포함되어 있다. 마찬가지로, 송신되어 오는 텍스트 데이터에는, 상술한 바와 같이, 좌안화상에 중첩되는 좌안 텍스트 정보의 데이터 및 우안화상에 중첩되는 우안 텍스트 정보의 데이터가 포함되어 있다. 따라서 시차벡터 디코더(225), 입체화상용 서브타이틀?그래픽스 발생부(226) 및 입체화상용 텍스트 발생부(227)는 불필요하게 된다.
또한, 텍스트 디코더(223)에서 얻어지는 텍스트 데이터는 코드 데이터(캐릭터 코드)이기 때문에, 이것을 비트맵 데이터로 변환하는 처리는 필요하다. 이 처리는, 예를 들면, 텍스트 디코더(223)의 최종단에서 행하여지던가, 또는 비디오 중첩부(228)의 입력단에서 행하여진다.
[텔레비전 수신기의 설명]
도 1로 되돌아와, 텔레비전 수신기(300)는, 셋톱 박스(200)로부터 HDMI 케이블(400)을 통하여 보내 오는 입체화상 데이터를 수신한다. 이 텔레비전 수신기(300)는, 3D 신호 처리부(301)를 갖고 있다. 이 3D 신호 처리부(301)는, 입체화상 데이터에 대해, 전송 방식에 대응한 처리(디코드 처리)를 행하여, 좌안화상 데이터 및 우안화상 데이터를 생성한다. 즉, 이 3D 신호 처리부(301)는, 도 2, 도 13, 도 15, 도 21, 도 22에 도시하는 송신 데이터 생성부(110, 110a, 110B, 110C, 110D)에서의 비디오 프레이밍부(112)와는 반대의 처리를 행한다. 그리고, 이 3D 신호 처리부(301)는, 입체화상 데이터를 구성하는 좌안화상 데이터 및 우안화상 데이터를 취득한다.
[텔레비전 수신기의 구성예]
텔레비전 수신기(300)의 구성예를 설명한다. 도 46은, 텔레비전 수신기(300)의 구성예를 도시하고 있다. 이 텔레비전 수신기(300)는, 3D 신호 처리부(301)와, HDMI 단자(302)와, HDMI 수신부(303)와, 안테나 단자(304)와, 디지털 튜너(305)와, 비트 스트림 처리부(306)를 갖고 있다.
또한, 이 텔레비전 수신기(300)는, 영상?그래픽 처리 회로(307)와, 패널 구동 회로(308)와, 표시 패널(309)과, 음성 신호 처리 회로(310)와, 음성 증폭 회로(311)와, 스피커(312)를 갖고 있다. 또한, 이 텔레비전 수신기(300)는, CPU(321)와, 플래시 ROM(322)과, DRAM(323)과, 내부 버스(324)와, 리모콘 수신부(325)와, 리모콘 송신기(326)를 갖고 있다.
안테나 단자(304)는, 수신 안테나(도시 생략)에서 수신된 텔레비전 방송 신호를 입력하는 단자이다. 디지털 튜너(305)는, 안테나 단자(304)에 입력된 텔레비전 방송 신호를 처리하여, 유저의 선택 채널에 대응한 소정의 비트 스트림 데이터(트랜스포트 스트림)를 출력한다.
비트 스트림 처리부(306)는, 도 35에 도시하는 셋톱 박스(200)의 비트 스트림 처리부(201)와 같은 구성으로 되어 있다. 이 비트 스트림 처리부(306)는, 비트 스트림 데이터로부터 입체화상 데이터(좌안화상 데이터, 우안화상 데이터), 음성 데이터, 중첩정보 데이터, 시차벡터(시차정보) 등을 추출한다. 중첩정보 데이터는, 서브타이틀 데이터, 그래픽스 데이터, 텍스트 데이터(클로즈드 캡션 데이터를 포함한다) 등이다. 이 비트 스트림 처리부(306)는, 입체화상 데이터에 대해, 중첩정보 데이터를 합성하여, 표시용 입체화상 데이터를 취득한다. 또한, 비트 스트림 처리부(306)는, 음성 데이터를 출력한다.
HDMI 수신부(303)는, HDMI에 준거한 통신에 의해, HDMI 케이블(400)을 통하여 HDMI 단자(302)에 공급되는 비압축의 화상 데이터 및 음성 데이터를 수신한다. 이 HDMI 수신부(303)는, 그 버전이 예를 들면 HDMI1.4로 되어 있고, 입체화상 데이터의 취급이 가능한 상태에 있다. 이 HDMI 수신부(303)의 상세는 후술한다.
3D 신호 처리부(301)는, HDMI 수신부(303)에서 수신된, 또는 비트 스트림 처리부(306)에서 얻어진 입체화상 데이터에 대해, 디코드 처리를 행하여, 좌안화상 데이터 및 우안화상 데이터를 생성한다. 이 경우, 3D 신호 처리부(301)는, 비트 스트림 처리부(306)에서 얻어진 입체화상 데이터에 대해서는, 그 전송 방식(도 4 참조)에 대응한 디코드 처리를 행한다. 또한, 3D 신호 처리부(301)는, HDMI 수신부(303)에서 수신된 입체화상 데이터에 대해서는, 후술하는 TMDS 전송 데이터 구조에 대응한 디코드 처리를 행한다.
영상?그래픽 처리 회로(307)는, 3D 신호 처리부(301)에서 생성된 좌안화상 데이터 및 우안화상 데이터에 의거하여, 입체화상을 표시하기 위한 화상 데이터를 생성한다. 또한, 영상?그래픽 처리 회로(307)는, 화상 데이터에 대해, 필요에 응하여, 화질 조정 처리를 행한다. 또한, 영상?그래픽 처리 회로(307)는, 화상 데이터에 대해, 필요에 응하여, 메뉴, 방송프로그램표 등의 중첩정보의 데이터를 합성한다. 패널 구동 회로(308)는, 영상?그래픽 처리 회로(307)로부터 출력되는 화상 데이터에 의거하여, 표시 패널(309)을 구동한다. 표시 패널(309)은, 예를 들면, LCD(Liquid Crystal Display), PDP(Plasma DisplayPanel) 등으로 구성되어 있다.
음성 신호 처리 회로(310)는, HDMI 수신부(303)에서 수신된, 또는 비트 스트림 처리부(306)에서 얻어진 음성 데이터에 대해 D/A 변환 등의 필요한 처리를 행한다. 음성 증폭 회로(311)는, 음성 신호 처리 회로(310)로부터 출력되는 음성 신호를 증폭하여 스피커(312)에 공급한다.
CPU(321)는, 텔레비전 수신기(300)의 각 부분의 동작을 제어한다. 플래시 ROM(322)은, 제어 소프트웨어의 격납 및 데이터의 보관을 행한다. DRAM(323)은, CPU(321)의 워크 에어리어를 구성한다. CPU(321)는, 플래시 ROM(322)으로부터 판독한 소프트웨어나 데이터를 DRAM(323)상에 전개하여 소프트웨어를 기동시켜서, 텔레비전 수신기(300)의 각 부분을 제어한다.
리모콘 수신부(325)는, 리모콘 송신기(326)로부터 송신된 리모콘 신호(리모콘 코드)를 수신하고, CPU(321)에 공급한다. CPU(321)는, 이 리모콘 코드에 의거하여, 텔레비전 수신기(300)의 각 부분을 제어한다. CPU(321), 플래시 ROM(322) 및 DRAM(323)은, 내부 버스(324)에 접속되어 있다.
도 46에 도시하는 텔레비전 수신기(300)의 동작을 간단히 설명한다. HDMI 수신부(303)에서는, HDMI 단자(302)에 HDMI 케이블(400)을 통하여 접속되어 있는 셋톱 박스(200)로부터 송신되어 오는, 입체화상 데이터 및 음성 데이터가 수신된다. 이 HDMI 수신부(303)에서 수신된 입체화상 데이터는, 3D 신호 처리부(301)에 공급된다. 또한, 이 HDMI 수신부(303)에서 수신된 음성 데이터는 음성 신호 처리 회로(310)에 공급된다.
안테나 단자(304)에 입력된 텔레비전 방송 신호는 디지털 튜너(305)에 공급된다. 이 디지털 튜너(305)에서는, 텔레비전 방송 신호가 처리되어, 유저의 선택 채널에 대응한 소정의 비트 스트림 데이터(트랜스포트 스트림)가 출력된다.
디지털 튜너(305)로부터 출력되는 비트 스트림 데이터는, 비트 스트림 처리부(306)에 공급된다. 이 비트 스트림 처리부(306)에서는, 비트 스트림 데이터로부터 입체화상 데이터(좌안화상 데이터, 우안화상 데이터), 음성 데이터, 중첩정보 데이터, 시차벡터(시차정보) 등이 추출된다. 또한, 이 비트 스트림 처리부(306)에서는, 입체화상 데이터에 대해, 중첩정보(클로즈드 캡션 정보, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보)의 데이터가 합성되어, 표시용 입체화상 데이터가 생성된다.
비트 스트림 처리부(306)에서 생성되는 표시용 입체화상 데이터는, 3D 신호 처리부(301)에 공급된다. 또한, 이 비트 스트림 처리부(306)에서 얻어지는 음성 데이터는, 음성 신호 처리 회로(310)에 공급된다.
3D 신호 처리부(301)에서는, HDMI 수신부(303)에서 수신된, 또는 비트 스트림 처리부(306)에서 얻어진 입체화상 데이터에 대해 디코드 처리가 행하여저서, 좌안화상 데이터 및 우안화상 데이터가 생성된다. 이 좌안화상 데이터 및 우안화상 데이터는, 영상?그래픽 처리 회로(307)에 공급된다. 이 영상?그래픽 처리 회로(307)에서는, 좌안화상 데이터 및 우안화상 데이터에 의거하여, 입체화상을 표시하기 위한 화상 데이터가 생성되고, 필요에 응하여, 화질 조정 처리, 중첩정보 데이터의 합성 처리도 행하여진다.
이 영상?그래픽 처리 회로(307)에서 얻어지는 화상 데이터는 패널 구동 회로(308)에 공급된다. 그 때문에, 표시 패널(309)에 의해 입체화상이 표시된다. 예를 들면, 표시 패널(309)에, 좌안화상 데이터에 의한 좌안화상 및 우안화상 데이터에 의한 우안화상이 교대로 시분할적으로 표시된다. 시청자는, 표시 패널(309)의 표시에 동기하여 좌안 셔터 및 우안 셔터가 교대로 열리는 셔터 안경을 장착함으로써, 좌안으로는 좌안화상만을 볼 수가 있고, 우안으로는 우안화상만을 볼 수가 있어서, 입체화상을 지각할 수 있다.
또한, 음성 신호 처리 회로(310)에서는, HDMI 수신부(303)에서 수신된, 또는 비트 스트림 처리부(306)에서 얻어진 음성 데이터에 대해 D/A 변환 등의 필요한 처리가 시행된다. 이 음성 데이터는, 음성 증폭 회로(311)에서 증폭된 후에, 스피커(312)에 공급된다. 그 때문에, 스피커(312)로부터 표시 패널(309)의 표시 화상에 대응한 음성이 출력된다.
[HDMI 송신부, HDMI 수신부의 구성예]
도 47은, 도 1의 입체화상 표시 시스템(10)에서의, 셋톱 박스(200)의 HDMI 송신부(HDMI 소스)(206)와, 텔레비전 수신기(300)의 HDMI 수신부(HDMI 싱크)(303)의 구성예를 도시하고 있다.
HDMI 송신부(206)는, 유효 화상 구간(이하, 적절히 액티브 비디오 구간이라고도 한다)에서, 비압축의 1화면분의 화상의 화소 데이터에 대응하는 차동 신호를, 복수의 채널로, HDMI 수신부(303)에 일방향으로 송신한다. 여기서, 유효 화상 구간은, 하나의 수직 동기 신호로부터 다음의 수직 동기 신호까지의 구간에서, 수평 귀선 구간 및 수직 귀선 구간을 제외한 구간이다. 또한, HDMI 송신부(206)는, 수평 귀선 구간 또는 수직 귀선 구간에서, 적어도 화상에 부수되는 음성 데이터나 제어 데이터, 그 밖의 보조 데이터 등에 대응하는 차동 신호를, 복수의 채널로, HDMI 수신부(303)에 일방향으로 송신한다.
HDMI 송신부(206)와 HDMI 수신부(303)로 이루어지는 HDMI 시스템의 전송 채널에는, 이하의 전송 채널이 있다. 즉, HDMI 송신부(206)로부터 HDMI 수신부(303)에 대해, 화소 데이터 및 음성 데이터를, 픽셀 클록에 동기하여, 일방향으로 시리얼 전송하기 위한 전송 채널로서의, 3개의 TMDS 채널(#0 내지 #2)이 있다. 또한, 픽셀 클록를 전송하는 전송 채널로서의, TMDS 클록 채널이 있다.
HDMI 송신부(206)는, HDMI 트랜스미터(81)를 갖는다. 트랜스미터(81)는, 예를 들면, 비압축의 화상의 화소 데이터를 대응하는 차동 신호로 변환하고, 복수의 채널인 3개의 TMDS 채널(#0, #1, #2)로, HDMI 케이블(400)을 통하여 접속되어 있는 HDMI 수신부(303)에, 일방향으로 시리얼 전송한다.
또한, 트랜스미터(81)는, 비압축의 화상에 부수되는 음성 데이터, 나아가서는, 필요한 제어 데이터 그 밖의 보조 데이터 등을, 대응하는 차동 신호로 변환하여, 3개의 TMDS 채널(#0, #1, #2)로 HDMI 수신부(303)에, 일방향으로 시리얼 전송한다.
또한, 트랜스미터(81)는, 3개의 TMDS 채널(#0, #1, #2)로 송신하는 화소 데이터에 동기한 픽셀 클록를, TMDS 클록 채널로, HDMI 케이블(400)을 통하여 접속되어 있는 HDMI 수신부(303)에 송신한다. 여기서, 하나의 TMDS 채널(#i)(i=0, 1, 2)에서는, 픽셀 클록의 1클록의 동안에, 10비트의 화소 데이터가 송신된다.
HDMI 수신부(303)는, 액티브 비디오 구간에서, 복수의 채널로, HDMI 송신부(206)로부터 일방향으로 송신되어 오는, 화소 데이터에 대응하는 차동 신호를 수신한다. 또한, 이 HDMI 수신부(303)는, 수평 귀선 구간 또는 수직 귀선 구간에서, 복수의 채널로, HDMI 송신부(206)로부터 일방향으로 송신되어 오는, 음성 데이터나 제어 데이터에 대응하는 차동 신호를 수신한다.
즉, HDMI 수신부(303)는, HDMI 레시버(82)를 갖는다. 이 HDMI 레시버(82)는, TMDS 채널(#0, #1, #2)로, HDMI 송신부(206)로부터 일방향으로 송신되어 오는, 화소 데이터에 대응하는 차동 신호와, 음성 데이터나 제어 데이터에 대응하는 차동 신호를 수신한다. 이 경우, HDMI 송신부(206)로부터 TMDS 클록 채널로 송신되어 오는 픽셀 클록에 동기하여 수신한다.
HDMI 시스템의 전송 채널에는, 상술한 TMDS 채널(#0 내지 #2) 및 TMDS 클록 채널 외에, DDC(Display Data Channel)(83)나 CEC 라인(84)이라고 불리는 전송 채널이 있다. DDC(83)는, HDMI 케이블(400)에 포함되는 도시하지 않는 2개의 신호선으로 이루어진다. DDC(83)는, HDMI 송신부(206)가, HDMI 수신부(303)로부터, E-EDID(Enhanced Extended Display Identification Data)를 판독하기 위해 사용된다.
즉, HDMI 수신부(303)는, HDMI 레시버(81) 외에, 자신의 성능(Configuration/capability)에 관한 성능 정보인 E-EDID를 기억하고 있는, EDID ROM(Read Only Memory)(85)을 갖고 있다. HDMI 송신부(206)는, 예를 들면, CPU(211)(도 35 참조)로부터의 요구에 응하여, HDMI 케이블(400)을 통하여 접속되어 있는 HDMI 수신부(303)로부터, E-EDID를, DDC(83)를 통하여 판독한다.
HDMI 송신부(206)는, 판독한 E-EDID를 CPU(211)에 보낸다. CPU(211)는, 이 E-EDID를, 플래시 ROM(212) 또는 DRAM(213)에 격납한다. CPU(211)는, E-EDID에 의거하여, HDMI 수신부(303)의 성능의 설정을 인식할 수 있다. 예를 들면, CPU(211)는, HDMI 수신부(303)을 갖는 텔레비전 수신기(300)가 입체화상 데이터의 취급이 가능한지의 여부, 가능한 경우는 또한 어떠한 TMDS 전송 데이터 구조에 대응 가능한지 등을 인식한다.
CEC 라인(84)은, HDMI 케이블(400)에 포함되는 도시하지 않는 1개의 신호선으로 이루어지고, HDMI 송신부(206)와 HDMI 수신부(303)의 사이에서, 제어용의 데이터의 쌍방향 통신을 행하기 위해 사용된다. 이 CEC 라인(84)은, 제어 데이터 라인를 구성하고 있다.
또한, HDMI 케이블(400)에는, HPD(Hot Plug Detect)라고 불리는 핀에 접속되는 라인(HPD 라인)(86)이 포함되어 있다. 소스 기기는, 해당 라인(86)을 통하여, 싱크 기기의 접속을 검출할 수 있다. 또한, 이 HPD 라인(86)은 쌍방향 통신로를 구성하는 HEAC- 라인으로서도 사용된다. 또한, HDMI 케이블(400)에는, 소스 기기로부터 싱크 기기에 전원을 공급하기 위해 사용되는 라인(전원 라인)(87)이 포함되어 있다. 또한, HDMI 케이블(400)에는, 유틸리티 라인(88)이 포함되어 있다. 이 유틸리티 라인(88)은 쌍방향 통신로를 구성하는 HEAC+ 라인으로서도 사용된다.
도 48은, 도 47의 HDMI 트랜스미터(81)와 HDMI 레시버(82)의 구성예를 도시하고 있다. HDMI 트랜스미터(81)는, 3개의 TMDS 채널(#0, #1, #2)에 각각 대응하는 3개의 인코더/시리얼라이저(81a, 81B, 81C)를 갖는다. 그리고, 인코더/시리얼라이저(81a, 81B, 81C)의 각각은, 그곳에 공급되는 화상 데이터, 보조 데이터, 제어 데이터를 인코드하고, 패럴렐 데이터로부터 시리얼 데이터로 변환하여, 차동 신호에 의해 송신한다. 여기서, 화상 데이터가, 예를 들면 R, G, B의 3성분을 갖는 경우, B성분은 인코더/시리얼라이저(81A)에 공급되고, G성분은 인코더/시리얼라이저(81B)에 공급되고, R성분은 인코더/시리얼라이저(81C)에 공급된다.
또한, 보조 데이터로서는, 예를 들면, 음성 데이터나 제어 패킷이 있고, 제어 패킷은, 예를 들면, 인코더/시리얼라이저(81A)에 공급되고, 음성 데이터는, 인코더/시리얼라이저(81B, 81C)에 공급된다. 또한, 제어 데이터로서는, 1비트의 수직 동기 신호(VSYNC), 1비트의 수평 동기 신호(HSYNC), 및, 각각 1비트의 제어 비트(CTL0, CTL1, CTL2, CTL3)가 있다. 수직 동기 신호 및 수평 동기 신호는, 인코더/시리얼라이저(81A)에 공급된다. 제어 비트(CTL0, CTL1)는 인코더/시리얼라이저(81B)에 공급되고, 제어 비트(CTL2, CTL3)는 인코더/시리얼라이저(81C)에 공급된다.
인코더/시리얼라이저(81A)는, 그곳에 공급되는 화상 데이터의 B성분, 수직 동기 신호 및 수평 동기 신호, 및 보조 데이터를, 시분할로 송신한다. 즉, 인코더/시리얼라이저(81A)는, 그곳에 공급되는 화상 데이터의 B성분을, 고정의 비트 수인 8비트 단위의 패럴렐 데이터로 한다. 또한, 인코더/시리얼라이저(81A)는, 그 패럴렐 데이터를 인코드하고, 시리얼 데이터로 변환하여, TMDS채널(#0)로 송신한다.
또한, 인코더/시리얼라이저(81A)는, 그곳에 공급되는 수직 동기 신호 및 수평 동기 신호의 2비트의 패럴렐 데이터를 인코드하고, 시리얼 데이터로 변환하여, TMDS채널(#0)로 송신한다. 또한, 인코더/시리얼라이저(81A)는, 그곳에 공급되는 보조 데이터를 4비트 단위의 패럴렐 데이터로 한다. 그리고, 인코더/시리얼라이저(81A)는, 그 패럴렐 데이터를 인코드하고, 시리얼 데이터로 변환하여, TMDS채널(#0)로 송신한다.
인코더/시리얼라이저(81B)는, 그곳에 공급되는 화상 데이터의 G성분, 제어 비트(CTL0, CTL1), 및 보조 데이터를, 시분할로 송신한다. 즉, 인코더/시리얼라이저(81B)는, 그곳에 공급되는 화상 데이터의 G성분을, 고정의 비트 수인 8비트 단위의 패럴렐 데이터로 한다. 또한, 인코더/시리얼라이저(81B)는, 그 패럴렐 데이터를 인코드하고, 시리얼 데이터로 변환하여, TMDS 채널(#1)로 송신한다.
또한, 인코더/시리얼라이저(81B)는, 그곳에 공급되는 제어 비트(CTL0, CTL1)의 2비트의 패럴렐 데이터를 인코드하고, 시리얼 데이터로 변환하여, TMDS 채널(#1)로 송신한다. 또한, 인코더/시리얼라이저(81B)는, 그곳에 공급되는 보조 데이터를 4비트 단위의 패럴렐 데이터로 한다. 그리고, 인코더/시리얼라이저(81B)는, 그 패럴렐 데이터를 인코드하고, 시리얼 데이터로 변환하여, TMDS 채널(#1)로 송신한다.
인코더/시리얼라이저(81C)는, 그곳에 공급되는 화상 데이터의 R성분, 제어 비트(CTL2, CTL3), 및 보조 데이터를, 시분할로 송신한다. 즉, 인코더/시리얼라이저(81C)는, 그곳에 공급되는 화상 데이터의 R성분을, 고정의 비트 수인 8비트 단위의 패럴렐 데이터로 한다. 또한, 인코더/시리얼라이저(81C)는, 그 패럴렐 데이터를 인코드하고, 시리얼 데이터로 변환하여, TMDS 채널(#2)로 송신한다.
또한, 인코더/시리얼라이저(81C)는, 그곳에 공급되는 제어 비트(CTL2, CTL3)의 2비트의 패럴렐 데이터를 인코드하고, 시리얼 데이터로 변환하여, TMDS 채널(#2)로 송신한다. 또한, 인코더/시리얼라이저(81C)는, 그곳에 공급되는 보조 데이터를 4비트 단위의 패럴렐 데이터로 한다. 그리고, 인코더/시리얼라이저(81C)는, 그 패럴렐 데이터를 인코드하고, 시리얼 데이터로 변환하여, TMDS 채널(#2)로 송신한다.
HDMI 레시버(82)는, 3개의 TMDS 채널(#0, #1, #2)에 각각 대응하는 3개의 리커버리/디코더(82a, 82B, 82C)를 갖는다. 그리고, 리커버리/디코더(82a, 82B, 82C)의 각각은, TMDS 채널(#0, #1, #2)로 차동 신호에 의해 송신되어 오는 화상 데이터, 보조 데이터, 제어 데이터를 수신한다. 또한, 리커버리/디코더(82a, 82B, 82C)의 각각은, 화상 데이터, 보조 데이터, 제어 데이터를, 시리얼 데이터로부터 패럴렐 데이터로 변환하고, 또한 디코드하여 출력한다.
즉, 리커버리/디코더(82A)는, TMDS채널(#0)로 차동 신호에 의해 송신되어 오는 화상 데이터의 B성분, 수직 동기 신호 및 수평 동기 신호, 보조 데이터를 수신한다. 그리고, 리커버리/디코더(82A)는, 그 화상 데이터의 B성분, 수직 동기 신호 및 수평 동기 신호, 보조 데이터를, 시리얼 데이터로부터 패럴렐 데이터로 변환하고, 디코드하여 출력한다.
리커버리/디코더(82B)는, TMDS 채널(#1)로 차동 신호에 의해 송신되어 오는 화상 데이터의 G성분, 제어 비트(CTL0, CTL1), 보조 데이터를 수신한다. 그리고, 리커버리/디코더(82B)는, 그 화상 데이터의 G성분, 제어 비트(CTL0, CTL1), 보조 데이터를, 시리얼 데이터로부터 패럴렐 데이터로 변환하고, 디코드하여 출력한다.
리커버리/디코더(82C)는, TMDS 채널(#2)로 차동 신호에 의해 송신되어 오는 화상 데이터의 R성분, 제어 비트(CTL2, CTL3), 보조 데이터를 수신한다. 그리고, 리커버리/디코더(82C)는, 그 화상 데이터의 R성분, 제어 비트(CTL2, CTL3), 보조 데이터를, 시리얼 데이터로부터 패럴렐 데이터로 변환하고, 디코드하여 출력한다.
도 49는, TMDS 전송 데이터의 구조예를 도시하고 있다. 이 도 49는, TMDS 채널(#0, #1, #2)에서, 가로×세로가 1920픽셀×1080라인의 화상 데이터가 전송되는 경우의, 각종의 전송 데이터의 구간을 도시하고 있다.
HDMI의 3개의 TMDS 채널(#0, #1, #2)로 전송 데이터가 전송되는 비디오 필드에는, 전송 데이터의 종류에 응하여, 3종류의 구간이 존재한다. 이 3종류의 구간은, 비디오 데이터 구간(Video Data period), 데이터 아일랜드 구간(Data Islandperiod), 및 컨트롤 구간(Control period)이다.
여기서, 비디오 필드 구간은, 어느 수직 동기 신호의 상승 에지(active edge)로부터 다음의 수직 동기 신호의 상승 에지까지의 구간이다. 이 비디오 필드 구간은, 수평 블랭킹 기간(horizontal blanking), 수직 블랭킹 기간(vertical blanking), 및, 액티브 비디오 구간(Active Video)으로 나눠진다. 이 액티브 비디오 구간은, 비디오 필드 구간에서, 수평 블랭킹 기간 및 수직 블랭킹 기간을 제외한 구간이다
비디오 데이터 구간은, 액티브 비디오 구간에 할당된다. 이 비디오 데이터 구간에서는, 비압축의 1화면분의 화상 데이터를 구성하는 1920픽셀(화소)×1080라인분의 유효 화소(Active pixel)의 데이터가 전송된다.
데이터 아일랜드 구간 및 컨트롤 구간은, 수평 블랭킹 기간 및 수직 블랭킹 기간에 할당된다. 이 데이터 아일랜드 구간 및 컨트롤 구간에서는, 보조 데이터(Auxiliary data)가 전송된다. 즉, 데이터 아일랜드 구간은, 수평 블랭킹 기간과 수직 블랭킹 기간의 일부분에 할당되어 있다. 이 데이터 아일랜드 구간에서는, 보조 데이터중, 제어에 관계되지 않는 데이터인, 예를 들면, 음성 데이터의 패킷 등이 전송된다.
컨트롤 구간은, 수평 블랭킹 기간과 수직 블랭킹 기간의 다른 부분에 할당되어 있다. 이 컨트롤 구간에서는, 보조 데이터중의, 제어에 관계되는 데이터인, 예를 들면, 수직 동기 신호 및 수평 동기 신호, 제어 패킷 등이 전송된다.
도 50은, HDMI 단자의 핀 배열의 한 예를 도시하고 있다. 도 50에 도시하는 핀 배열은 타입 A(type-A)라고 불리고 있다. TMDS 채널(#i)의 차동 신호인 TMDS Data(#i+)와 TMDS Data(#i-)는 차동 선인 2개의 라인에 의해 전송된다. 이 2개의 라인은, TMDS Data(#i+)가 할당되어 있는 핀(핀 번호가 1, 4, 7의 핀)과, TMDS Data(#i-)가 할당되어 있는 핀(핀 번호가 3, 6, 9의 핀)에 접속된다.
또한, 제어용의 데이터인 CEC 신호가 전송되는 CEC 라인(84)은, 핀 번호가 13인 핀에 접속된다. 또한, E-EDID 등의 SDA(Serial Data) 신호가 전송되는 라인은, 핀 번호가 16인 핀에 접속된다. SDA 신호의 송수신시의 동기에 사용되는 클록 신호인 SCL(Serial Clock) 신호가 전송되는 라인은, 핀 번호가 15인 핀에 접속된다. 상술한 DDC(83)는, SDA 신호가 전송되는 라인 및 SCL 신호가 전송되는 라인에 의해 구성된다.
또한, 상술한 바와 같이 소스 기기가 싱크 기기의 접속을 검출하기 위한 HPD 라인(HEAC-라인)(86)은, 핀 번호가 19인 핀에 접속된다. 또한, 유틸리티 라인(HEAC+ 라인)(88)은, 핀 번호가 14인 핀에 접속된다. 또한, 상술한 바와 같이 전원을 공급하기 위한 라인(87)은, 핀 번호가 18인 핀에 접속된다.
[E-EDID 구조]
상술한 바와 같이, HDMI 송신부(206)는, 예를 들면, CPU(211)(도 35 참조)로부터의 요구에 응하여, HDMI 케이블(400)을 통하여 접속되어 있는 HDMI 수신부(303)로부터, E-EDID를, DDC(83)를 통하여 판독한다. 그리고, CPU(211)는, 이 E-EDID에 의거하여, HDMI 수신부(303)의 성능의 설정, 예를 들면 입체화상 데이터의 취급이 가능한지의 여부 등을 인식한다.
도 51은, E-EDID의 데이터 구조예를 도시하고 있다. 이 E-EDID는, 기본 블록과 확장 블록으로 이루어저 있다. 기본 블록에는, 선두에, "E-EDID1.3 Basic Structure"로 표시되는 E-EDID1.3의 규격으로 정해진 데이터가 배치되어 있다. 기본 블록에는, 계속해서 "Preferred timing"으로 표시되는 종래의 EDID와의 호환성을 유지하기 위한 타이밍 정보가 배치되어 있다. 또한, 기본 블록에는, 계속해서, "2nd timing"으로 표시되는 종래의 EDID와의 호환성을 유지하기 위한, "Preferred timing"과는 다른 타이밍 정보가 배치되어 있다.
또한, 기본 블록에는, "2nd timing"에 계속해서, "Monitor NAME"로 표시되는 표시장치의 이름을 나타내는 정보가 배치되어 있다. 기본 블록에는, 계속해서, "Monitor Range Limits"로 표시되는, 애스펙트비(aspect ratio)가 4:3 및 16:9인 경우에 관한 표시 가능한 화소수를 나타내는 정보가 배치되어 있다.
확장 블록의 선두에는, "Short Video Descriptor"가 배치되어 있다. 이것은, 표시 가능한 화상 사이즈(해상도), 프레임 레이트, 인터레이스인지 프로그래시브인지를 나타내는 정보이다. 계속해서, "Short Audio Descriptor"가 배치되어 있다. 이것은, 재생 가능한 음성 코덱 방식, 샘플링 주파수, 컷오프 대역, 코덱 비트수 등의 정보이다. 계속해서, "Speaker Allocation"으로 표시되는 좌우의 스피커에 관한 정보가 배치되어 있다.
또한, 확장 블록에는, "Speaker Allocation"에 계속해서, "Vender Specific"으로 표시되는 메이커마다 고유하게 정의된 데이터가 배치되어 있다. 확장 블록에는, 계속해서, "3rd timing"으로 표시되는 종래의 EDID와의 호환성을 유지하기 위한 타이밍 정보가 배치되어 있다. 확장 블록에는, 또한 계속해서, "4th timing"으로 표시되는 종래의 EDID와의 호환성을 유지하기 위한 타이밍 정보가 배치되어 있다.
도 52는, Vender Specific 영역(HDMI Vendor Specific DataBlock)의 데이터 구조예를 도시하고 있다. 이 Vender Specific 영역에는, 1바이트의 블록인 제 0 블록 내지 제 N 블록이 마련되어 있다.
제 0 블록에는, "Vendor-Specific tag code(=3)"로 표시되는 데이터 "VenderSpecific"의 데이터 영역을 나타내는 헤더가 배치된다. 또한, 이 제 0 블록에는, "Length(=N)"로 표시되는 데이터 "Vender Specific"의 길이를 나타내는 정보가 배치된다. 또한, 제 1 블록 내지 제 3 블록에는, "24bit IEEE Registration Identifier(0x000C03)LSB first"로 표시되는 HDMI(R)용으로서 등록된 번호 "0x000C03"을 나타내는 정보가 배치된다. 또한, 제 4 블록 및 제 5 블록에는, "A", "B", "C", 및 "D"의 각각에 의해 표시되는, 24bit의 싱크 기기의 물리 어드레스를 나타내는 정보가 배치된다.
제 6 블록에는, "Supports-AI"로 표시되는, 싱크 기기가 대응하고 있는 기능을 나타내는 플래그가 배치되어 있다. 또한, 이 제 6 블록에는, "DC-48bit", "DC-36bit", 및 "DC-30bit"의 각각으로 표시되는, 1픽셀당의 비트 수를 지정하는 정보의 각각이 배치되어 있다. 또한, 이 제 6 블록에는, "DC-Y444"로 표시되는, 싱크 기기가 YCbCr4:4:4의 화상의 전송에 대응하고 있는지를 나타내는 플래그가 배치되어 있다. 또한, 이 제 6 블록에는, "DVI-Dual"로 표시되는, 싱크 기기가 듀얼 DVI(Digital Visual Interface)에 대응하고 있는지를 나타내는 플래그가 배치되어 있다.
또한, 제 7 블록에는, "Max-TMDS-Clock"으로 표시되는 TMDS의 픽셀 클록의 최대의 주파수를 나타내는 정보가 배치된다. 또한, 제 8 블록의 제 6비트, 제 7비트에는, "Latency"로 표시되는 영상과 음성의 지연 정보의 유무를 나타내는 플래그가 배치되어 있다. 또한, 제 8 블록의 제 5비트에는, "HDMI_Video_present"로 표시되는 추가의 HDMI 비디오 포맷(3D, 4k×2k)의 취급이 가능한지의 여부를 나타내는 플래그가 배치되어 있다.
또한, 제 9 블록에는, "Video Latency"로 표시되는, 프로그래시브의 영상의 지연 시간 데이터가 배치되고, 제 10 블록에는, "Audio Latency"로 표시되는, 프로그래시브의 영상에 부수되는 음성의 지연 시간 데이터가 배치된다. 또한, 제 11 블록에는, "Interlaced Video Latency"로 표시되는 인터레이스의 영상의 지연 시간 데이터가 배치되어 있다. 또한, 제 12 블록에는, "Interlaced Audio Latency"로 표시되는, 인터레이스의 영상에 부수되는 음성의 지연 시간 데이터가 배치되어 있다.
또한, 제 13 블록의 제 7비트에는, "3D_present"로 표시되는 3D 화상 데이터의 취급이 가능한지의 여부를 나타내는 플래그가 배치되어 있다. 또한, 제 14 블록의 제 7비트부터 제 5비트에는, "HDMI_VIC_LEN"로 표시되는, 도시하지 않은 제 15 블록 이후에 배치되는 필수(mandatory)의 3D 데이터 구조 외에 취급 가능한 데이터 구조를 나타내는 블록의 사이즈 정보가 배치되어 있다. 또한, 제 14 블록의 제 4비트부터 제 0비트에는, "HDMI_3D_LEN"로 표시되는, 도시하지 않은 15 블록 이후에 배치되는 취급이 가능한 4k×2k의 비디오 포맷를 나타내는 블록의 사이즈 정보가 배치되어 있다.
[입체화상 데이터의 TMDS 전송 데이터 구조]
도 53은, 입체화상 데이터의 TMDS 전송 데이터 구조의 하나인 프레임 패킹(Frame packing) 방식의 3D 비디오 포맷(3D Video Format)을 도시하고 있다. 이 3D 비디오 포맷은, 입체화상 데이터로서, 프로그래시브 방식의 좌안(L) 및 우안(R)의 화상 데이터를 전송하기 위한 포맷이다.
이 3D 비디오 포맷에서는, 좌안(L) 및 우안(R)의 화상 데이터로서, 1920×1080p, 1080×720p의 픽셀 포맷의 화상 데이터의 전송이 행하여진다. 또한, 도 53에는, 좌안(L)화상 데이터 및 우안(R)화상 데이터가, 각각, 192라인×1080픽셀인 예를 도시하고 있다.
이 3D 비디오 포맷에 의해, 수직 동기 신호에 의해 구획되는, 수평 블랭킹 기간(Hblank), 수직 블랭킹 기간(Vblank) 및 액티브 비디오 구간(Hactive×Vactive)을 포함하는 비디오 필드 구간을 단위로 하는 전송 데이터가 생성된다. 이 3D 비디오 포맷에서, 액티브 비디오 구간은, 2개의 액티브 비디오 영역(Active video)과, 그들 사이에 하나의 액티브 스페이스 영역(Activespace)을 갖고 있다. 제 1의 액티브 비디오 영역에 좌안(L)화상 데이터가 배치되고, 제 2의 액티브 비디오 영역에 우안(R)화상 데이터가 배치된다.
도 54는, 입체화상 데이터의 TMDS 전송 데이터 구조의 하나인 라인 앨터네이티브(Line alternative) 방식의 3D 비디오 포맷(3D VideoFormat)을 도시하고 있다. 이 3D 비디오 포맷은, 입체화상 데이터로서, 프로그래시브 방식의 좌안(L) 및 우안(R)의 화상 데이터를 전송하기 위한 포맷이다. 이 3D 비디오 포맷에서는, 좌안(L) 및 우안(R)의 화상 데이터로서, 1920×1080p의 픽셀 포맷의 화상 데이터의 전송이 행하여진다.
이 3D 비디오 포맷에 의해, 수직 동기 신호에 의해 구획되는, 수평 블랭킹 기간(Hblank), 수직 블랭킹 기간(2×Vblank) 및 액티브 비디오 구간((Hactive×2Vactive)를 포함하는 비디오 필드 구간을 단위로 하는 전송 데이터가 생성된다. 이 3D 비디오 포맷에서, 액티브 비디오 구간에는, 좌안화상 데이터의 1라인분과 우안화상 데이터의 1라인분이 교대로 배치된다.
도 55는, 입체화상 데이터의 TMDS 전송 데이터 구조의 하나인 사이드?바이?사이드(side-bay-side)(Full) 방식의 3D 비디오 포맷(3D Video Format)을 도시하고 있다. 이 3D 비디오 포맷은, 입체화상 데이터로서, 프로그래시브 방식의 좌안(L) 및 우안(R)의 화상 데이터를 전송하기 위한 포맷이다. 이 3D 비디오 포맷에서는, 좌안(L) 및 우안(R)의 화상 데이터로서, 1920×1080p의 픽셀 포맷의 화상 데이터의 전송이 행하여진다.
이 3D 비디오 포맷에 의해, 수직 동기 신호에 의해 구획되는, 수평 블랭킹 기간(2×Hblank), 수직 블랭킹 기간(Vblank) 및 액티브 비디오 구간(2Hactive×Vactive)을 포함하는 비디오 필드 구간을 단위로 하는 전송 데이터가 생성된다. 이 3D 비디오 포맷에서, 액티브 비디오 구간에는, 수평방향의 전반에 좌안(L)화상 데이터가 배치되고, 수평방향의 후반에 우안(R)화상 데이터가 배치된다.
또한, 상세 설명은 생략하지만, HDMI1.4에서는, 상술한 도 53 내지 도 55에 도시하는 3D 비디오 포맷 외에도, 입체화상 데이터의 TMDS 전송 데이터 구조로서의 3D 비디오 포맷이 정의되어 있다. 예를 들면, 프레임 패킹(Frame packing for interlaced format) 방식, 필드 앨터네이티브(Field alternative) 방식, 사이드?바이?사이드(side-bay-side)(Half) 방식 등이다.
[셋톱 박스와 텔레비전 수신기의 다른 구성예]
도 35에 도시하는 셋톱 박스(200)에서는, HDMI 인터페이스에 의해, 베이스밴드의 입체화상 데이터 및 음성 데이터를 텔레비전 수신기(300)에 송신하는 구성으로 되어 있다. 그러나, 셋톱 박스로부터 텔레비전 수신기에, 비트 스트림 처리부(201)에서 사용되어 있는 시차벡터(도 8, 도 27 참조)의 전부 또는 일부를 시차정보 세트로서, HDMI 인터페이스에 의해 송신하고 이용하는 것도 생각된다.
도 56은, 시차정보 세트를 송신하는 셋톱 박스(200A)의 구성예를 도시하고 있다. 이 도 56에서, 도 35와 대응하는 부분에는 동일 부호를 붙여서 나타내고, 적절히 그 상세 설명을 생략한다. 이 셋톱 박스(200A)에서는, 비트 스트림 처리부(201)로부터 시차정보 세트가 HDMI 송신부(206)에 공급된다. 그리고, HDMI 송신부(206)에 의해, 입체화상 데이터 및 음성 데이터와 함께, 이 시차정보 세트가, HDMI 단자(202)로부터 HDMI 케이블(400)에 송출된다. 이 셋톱 박스(200A)의 기타에 관해서는, 도 35에 도시하는 셋톱 박스(200)와 마찬가지로 구성되고, 마찬가지로 동작한다.
또한, 도 57은, 시차정보 세트를 수신하여 이용하는 텔레비전 수신기(300A)의 구성예를 도시하고 있다. 이 도 57에서, 도 46과 대응하는 부분에는 동일 부호를 붙여서 나타내고, 적절히 그 상세 설명을 생략한다. 이 텔레비전 수신기(300A)에서는, HDMI 수신부(303)에서 수신된 시차정보 세트가 영상?그래픽 처리 회로(307)에 공급된다. 영상?그래픽 처리 회로(307)에서는, 좌안화상 및 우안화상에 부착하는 메뉴, 방송프로그램표 등의 동일한 중첩정보에, 시차정보 세트에 포함되는 시차벡터에 의거하여 시차가 부여된다.
즉, 이 텔레비전 수신기(300A)에서는, 좌안화상 및 우안화상에 중첩되는 동일한 중첩정보(메뉴, 방송프로그램표 등)로서, 화상 내의 각 물체의 원근감에 응하여 시차 조정이 시행된 것을 이용할 수가 있어서, 중첩정보의 표시에서, 화상 내의 각 물체 사이의 원근감의 정합성을 유지하는 것이 가능해진다. 이 텔레비전 수신기(300A)의 기타에 관해서는, 도 46에 도시하는 텔레비전 수신기(300)와 마찬가지로 구성되고, 마찬가지로 동작한다.
도 58은, 셋톱 박스(200A)로부터 텔레비전 수신기(300A)에 송신되는 시차정보 세트의 내용의 한 예를 도시하고 있다. 이 시차정보 세트에는, N개의 시차벡터의 정보 세트가 포함되어 있다. 각 정보 세트는, 16비트의 블록 ID(ID_Block(i))와, 16비트의 수평방향의 시차벡터(Disparity_Vector_Horizontal)에 의해 구성되어 있다.
여기서, 예를 들면, 도 59에 도시하는 바와 같이, 화상(픽처) 영역을 9분할하여 얻어지는 각 블록(BK0 내지 BK8)의 시차벡터가 포함되는 시차정보 세트의 경우, 최초에 가장 값이 큰 시차벡터, 이 예로는 블록(BK4)의 시차벡터가 배치되고, 그 후에, 나머지 블록의 시차벡터가 순차적으로 배치된다.
[HDMI로의 시차정보 세트의 송신 방법]
시차정보 세트를 HDMI 인터페이스로 송신하는 방법으로서, 예를 들면, 이하의 (1), (2)의 방법이 생각된다.
(1) HDMI Vendor Specific InfoFrame을 이용하는 방법
(2) 프레임 패킹 방식 등의 3D 비디오 포맷(3D Video Format)의 액티브 스페이스(Active Space)를 이용하는 방법
최초에, (1)의 HDMI Vendor Specific InfoFrame을 이용하는 방법에 관해 설명한다. 이 방법에서는, HDMI Vendor Specific InfoFrame paket에서, HDMI_Video_Format="010"이면서 3D_Meta_present=1이 되어, Vendor SpecificInfoFrame extension이 지정된다. 그 경우, 3D_Metadata_type은, 미사용의, 예를 들면, "010"으로 정의되고, 시차정보 세트(Disparrity Set)의 정보가 지정된다.
도 60은, HDMI Vendor Specific InfoFrame의 패킷 구조를 도시하고 있다. 이 HDMI Vendor Specific InfoFrame에 관해서는, CEA-861-D에 정의되어 있기 때문에, 상세 설명은 생략한다.
제 4 바이트(PB4)의 제 7비트부터 제 5비트에, 화상 데이터의 종류를 나타내는 3비트의 정보「HDMI_Video_Format」가 배치되어 있다. 화상 데이터가 3D 화상 데이터인 경우, 이 3비트의 정보는 010이 된다. 또한, 이와 같이 화상 데이터가 3D 화상 데이터인 경우, 제 5바이트(PB5)의 제 7비트부터 제 4비트에, TMDS 전송 데이터 구조를 나타내는 4비트의 정보「3D_Structure」가 배치된다. 예를 들면, 프레임 패킹 방식(도 53 참조)인 경우, 이 4비트의 정보는, 「0000」이 된다. 또한, 예를 들면, 라인 앨터네이티브 방식(도 54 참조)인 경우, 이 4비트의 정보는, 「0010」이 된다. 또한, 예를 들면, 사이드?바이?사이드(Full) 방식(도 55 참조)인 경우, 이 4비트의 정보는, 「0011」이 된다.
또한, 제 5바이트(PB5)의 제 3비트에, 「3D_Meta_present」가 배치되고, Vendor SpecificInfoFrame extension을 지정하는 경우, 이 1비트는 「1」이 된다. 또한, 제 7바이트(PB7)의 제 7비트부터 제 5비트에, 「3D_Metadata_type」가 배치되어 있다. 시차정보 세트(DisparritySet)의 정보를 지정하는 경우, 이 3비트의 정보는, 미사용의, 예를 들면, "010"이 된다. 또한, 제 7바이트(PB7)의 제 4 바이트부터 제 0바이트에, ㅁ3D_Metadata_length」가 배치되어 있다. 이 5비트의 정보에 의해, 이후에 배치되는 3D_Metadata 영역의 길이가 나타난다.
시차정보 세트를 구성하는 각 시차벡터의 정보 세트는, 상술한 도 58에 도시하는 바와 같이, 16비트의 블록 ID(ID_Block(i))와, 16비트의 수평방향의 시차벡터(Disparity_Vector_Horizontal)에 의해 구성되어 있다. 예를 들면, 1920×1080의 화상(픽처) 영역을 16×16화소의 블록으로 분할하면, 블록 수는 8100이 되고, 개개의 블록은 13비트로 ID 표현할 수 있다. 또한, 1920×1080의 화소 사이즈에서, 수평방향의 시차를 화소수으로 표현하는 경우, 부호 붙임으로 11비트 있으면 일반적으로는 문제가 없음을 알 수 있다.
그 때문에, 각 시차벡터의 정보 세트를 배치하기 위해, 제 1 내지 제 3의 3바이트가 사용된다. 제 1 바이트에 「ID_Block(i)」의 상위 8비트가 배치되고, 제 2의 바이트의 제 7비트부터 제 3비트에 「ID_Block(i)」의 하위 5비트가 배치된다. 또한, 제 2 바이트의 제 2비트부터 제 0 비트에 「Disparity_Vector_Horizontal」의 상위 3비트가 배치되고, 제 3바이트에 「Disparity_Vector_Horizontal」의 하위 8비트가 배치된다. 상술한 도 59에 도시하는 바와 같이 9블록의 시차벡터를 송신하기 위해서는, 3바이트×9=27바이트의 영역이 사용된다.
시차정보 세트를 상위의 계층부터 어느 계층까지를 포함하는지는, 3D_Metadata_length에 의해 지정하는 것이 가능하다. 또는, 3D_Metadata_type가 빈(空) 비트에 정의를 추가하고, 3D_Metadata_type="010"에서는 제 1 계층(화면 전체에서의 최대 시차)을, 3D_Metadata_type="110"에서는 제 2 계층(복수 리젼마다의 리젼내 최대 시차)을 삽입하도록 지정하는 것도 가능하다.
다음에, (2)의 액티브 스페이스(Active Space)를 이용하는 방법에 관해 설명한다. 이 방법에서는, 도 61에 HDMIVendor Specific InfoFrame의 패킷 구조를 도시하는 바와 같이, 현재상태에서는 Reservedbit로 되어 있는 제 5바이트(PB5)의 제 2비트에, ㅁActiveSpace Enable」가 정의되고, 이 1비트의 정보가 "1"이 된다. 그리고 나서, 현재상태에서는 Reserved로 되어 있는 액티브 스페이스 영역을 이용하여, 새롭게 정보 에어리어(area)가 정의되고, 그곳에 시차정보 세트가 배치된다.
액티브 스페이스 영역은, 좌안화상 데이터 및 우안화상 데이터가 배치되는 액티브 비디오 영역과 함께, 액티브 비디오 구간을 구성하고 있다. 여기서, 액티브 비디오 영역은 주영상 영역을 구성하고, 액티브 스페이스 영역은 보조영상 영역을 구성하고 있다. 액티브 스페이스 영역은, 비디오의 화소 사이즈에 의해 변동하지만, 1920×1080의 화소 사이즈의 경우에는, 1프레임당 45라인분(86400바이트)의 용량을 갖는다.
1920×1080의 화상(픽처) 영역을 16×16화소의 블록으로 분할하면, 블록 수는 8100이 된다. 이 경우, 상술한 바와 같이, 각 시차벡터의 정보 세트를 배치하기 위해 3바이트가 사용된다. 즉, 「ID_Block(i)」에 13비트가 사용되고, ㅁDisparity_Vector_Horizontal」에 11비트가 사용된다. 그 때문에, 모든 블록의 시차벡터를 포함하는 시차정보 세트를 배치하기 위해서는, 3바이트×8100=24300바이트의 용량이 있으면 좋다. 상술한 바와 같이 액티브 스페이스 영역은 86400바이트의 용량을 갖고 있다. 그 때문에, 이 액티브 스페이스 영역을 이용함으로써, 비디오의 프레임마다, 모든 블록의 시차벡터를 포함하는 시차정보 세트를 송신할 수 있다.
또한, 블록의 사이즈를 작게 하여 가서, 시차벡터(시차정보)의 공간 밀도를 보다 높이는 것도 가능하다. 그 경우, 1프레임의 액티브 스페이스 영역에서 전송 가능한 용량을 넘어 버리는 경우가 있다. 그 경우에는, 연결 정보를 이용하여, 다음 프레임의 액티브 스페이스 영역과 연결되는 것을 명시한다.
도 62는, 액티브 스페이스 영역에 배치되는 시차정보 세트의 구조를 도시하고 있다. 제 0바이트에, 4비트의 「Active_space_info_Type」과, 3비트의 「Block_Size」와, 2비트의 「Connect_Info」의 정보가 배치된다. 제 1 바이트 및 제 2 바이트에, 이후의 시차정보 세트가 배치되는 영역의 길이를 나타내는 16비트의 「Data_Length」의 상위 8비트 및 하위 8비트가 배치된다.
각 시차벡터의 정보 세트는 각 3바이트의 영역을 사용하여 배치된다. 제 1 바이트에 「ID_Block(i)」의 상위 8비트가 배치되고, 제 2의 바이트의 제 7비트부터 제 3비트에 「ID_Block(i)」의 하위 5비트가 배치된다. 또한, 제 2 바이트의 제 2비트부터 제 0 비트에 「Disparity_Vector_Horizontal」의 상위 3비트가 배치되고, 제 3바이트에 「Disparity_Vector_Horizontal」의 하위 8비트가 배치된다.
도 63은, 도 62에 도시하는 시차정보 세트 구조의 각 정보의 내용을 도시하고 있다. ㅁActive_space_info_Type」의 정보는, 시차정보 세트인 것을 나타내는 식별 정보이다. 「Block_Size」의 정보는, 시차벡터(시차정보)의 공간 밀도를 나타내는 블록 사이즈를 나타내고 있다. "00"은 블록 사이즈가 1×1화소, 즉 픽셀(화소)로 있는 것을 나타낸다. "01"은, 블록 사이즈가 16×16화소인 것을 나타낸다. "10"은 블록 사이즈가 32×32화소인 것을 나타낸다.
「Connect_Info」의 정보는, 액티브 스페이스 영역의 연결 정보를 나타내고 있다. "00"은, 이 액티브 스페이스 영역에 배치되어 있는 시차정보 세트로 완결되어 있는 것을 나타낸다. "01"은, 이 액티브 스페이스 영역에 배치되어 있는 시차정보 세트가, 후의 액티브 스페이스 영역에 배치되는 시차정보 세트와 연결되는 것을 나타낸다. "10"은, 이 액티브 스페이스 영역에 배치되어 있는 시차정보 세트가, 앞의 액티브 스페이스 영역에 배치되는 시차정보 세트와 연결되는 것을 나타낸다. "11"은, 이 액티브 스페이스 영역에 배치되어 있는 시차정보 세트가, 전후의 액티브 스페이스 영역에 배치되는 시차정보 세트라고 연결되는 것을 나타낸다.
또한, 연결되는 최후의 액티브 스페이스가 종료되는 비디오 프레임의 타이밍는, 대상이 되는 화상 데이터를 보내는 프레임보다도 적어도 동시거나, 그보다도 빠른 시점에서 송신 종료하도록 배치하는 것이, 싱크측에서의 대응의 점에서 중요하다.
도 64(a)는, 「Block_Size」가 "01", "10"인 경우의 각 시차벡터의 정보 세트의 배치예를 나타내고 있다. 이 경우에는, 상술한 바와 같이, 각 시차벡터의 정보 세트는 각 3바이트의 영역을 사용하여 배치된다. 도 64(b)는, 「Block_Size」가 "00"인 경우의 각 시차벡터의 정보 세트의 배치예를 도시하고 있다. 이 경우에는, 화상의 전 화소을 스캔순(영상 픽셀 순)으로 나열함으로써, 「ID_Block(i)」를 생략할 수 있다. 즉, 이 경우, 각 시차벡터의 정보 세트는 각 2바이트의 영역을 사용하여 배치된다.
또한, 이 경우, 부호가 붙은 11비트의 「Disparity_Vector_Horizontal」의 정보를, 부호가 붙은 8비트로 정규화함으로써, 도 64(c)에 도시하는 바와 같이, 각 시차벡터의 정보 세트는 각 1바이트의 영역을 사용하여 배치할 수 있고, 전송 대역을 반분으로 할 수 있다.
상술한 바와 같이, 도 1에 도시하는 입체화상 표시 시스템(10)에서는, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보에 의거하여, 좌안화상 및 우안화상에 중첩하는 동일한 중첩정보(클로즈드 캡션 정보, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보 등)에 시차가 부여된다. 그 때문에, 좌안화상 및 우안화상에 중첩되는 동일한 중첩정보로서, 화상 내의 각 물체(오브젝트)의 원근감에 응하여 시차 조정이 시행된 것을 이용할 수가 있어서, 중첩정보의 표시에서, 화상 내의 각 물체 사이의 원근감의 정합성을 유지하는 것이 가능해진다.
<2. 변형예>
또한, 상술한 실시의 형태에서는, 입체화상 표시 시스템(10)이, 방송국(100), 셋톱 박스(200) 및 텔레비전 수신기(300)로 구성되어 있는 것을 나타내였다. 그러나, 텔레비전 수신기(300)는, 도 46에 도시하는 바와 같이, 셋톱 박스(200) 내의 비트 스트림 처리부(201)와 동등하게 기능하는 비트 스트림 처리부(201)를 구비하고 있다. 따라서 도 65에 도시하는 바와 같이, 방송국(100) 및 텔레비전 수신기(300)로 구성되는 입체화상 표시 시스템(10A)도 생각된다.
또한, 상술한 실시의 형태에서는, 입체화상 데이터를 포함하는 데이터 스트림(비트 스트림 데이터)이 방송국(100)으로부터 방송되는 예를 나타내였다. 그러나, 본 발명은, 이 데이터 스트림이 인터넷 등의 네트워크를 이용하여 수신 단말에 송신되는 구성의 시스템에도 마찬가지로 적용할 수 있음은 물론이다.
또한, 상술한 실시의 형태에서는, 셋톱 박스(200A)로부터 텔레비전 수신기(300A)에 시차정보 세트를 송신하는 방법으로서, HDMI Vendor Specific InfoFrame을 이용하는 방법, 액티브 스페이스(Active Space)를 이용하는 방법을 설명하였다. 그 밖에, HPD 라인(86)(HEAC- 라인) 및 유틸리티 라인(88)(HEAC+ 라인)으로 구성되는 쌍방향 통신로를 통하여 송신하는 것도 생각된다.
또한, 상술한 실시의 형태에서는, 셋톱 박스(200, 200A)와, 텔레비전 수신기(300, 300A)가, HDMI의 디지털 인터페이스로 접속되는 것을 나타내고 있다. 그러나, 이들이, HDMI의 디지털 인터페이스와 같은 디지털 인터페이스(유선 외에 무선도 포함한다)로 접속되는 경우에도, 본 발명을 적용할 수 있음은 물론이다.
또한, 상술한 실시의 형태에서는, 셋톱 박스(200A)로부터 텔레비전 수신기(300A)에, 비트 스트림 처리부(201)에서 사용되고 있는 시차벡터(도 8, 도 27 참조)의 전부 또는 일부를 시차정보 세트로서, HDMI 인터페이스에 의해 송신하는 예를 나타내였다. 그러나, 이와 같이 HDMI 인터페이스를 통하여 시차정보 세트를 송신하는 기술에 관해서는, 그 밖의 소스 기기 및 싱크 기기의 조합에도 응용할 수 있음은 물론이다. 예를 들면, 소스 기기로서는 BD나 DVD 등의 디스크 플레이어, 나아가서는 게임기 등도 생각되고, 싱크 기기로서는 모니터 장치, 프로젝터 장치 등도 생각된다.
산업상의 이용 가능성
본 발명은, 클로즈드 캡션 정보, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보 등의 중첩정보를 화상에 중첩하여 표시하는 입체화상 표시 시스템 등에 적용할 수 있다.
10, 10A : 입체화상 표시 시스템
100 : 방송국
110, 110A 내지 110D : 송신 데이터 생성부
111L, 111R : 카메라
112 : 비디오 프레이밍부
113 : 비디오 인코더
113a : 스트림 포매터
114 : 시차벡터 검출부
115 : 시차벡터 인코더
116 : 마이크로폰
117 : 오디오 인코더
118 : 서브타이틀?그래픽스 발생부
119 : 서브타이틀?그래픽스 인코더
119a : 스트림 포매터
120 : 텍스트 발생부
121 : 텍스트 인코더
122 : 멀티플렉서
124 : 서브타이틀?그래픽스 처리부
125 : 텍스트 처리부
130 : 데이터 취출부
130a : 데이터 기록 매체
131 내지 133 : 전환 스위치, 시차정보 세트 작성부
200, 200A : 셋톱 박스
201, 201a, 201B, 201C : 비트 스트림 처리부
202 : HDMI 단자
203 : 안테나 단자
204 : 디지털 튜너
205 : 영상 신호 처리 회로
206 : HDMI 송신부
207 : 음성 신호 처리 회로
211 : CPU
212 : 플래시 ROM
213 : DRAM
214 : 내부 버스
215 : 리모콘 수신부
216 : 리모콘 송신기
220 : 디멀티플렉서
221 : 비디오 디코더
222 : 서브타이틀?그래픽스 디코더
223 : 텍스트 디코더
224 : 오디오 디코더
225 : 시차벡터 디코더
226 : 입체화상용 서브타이틀?그래픽스 발생부
227 : 입체화상용 텍스트 발생부
228 : 비디오 중첩부
229 : 멀티채널 스피커 컨트롤부
231 : 시차벡터 추출부
232 : 시차벡터 취출하여 검출부
300, 300A : 텔레비전 수신기
301 : 3D 신호 처리부
302 : HDMI 단자
303 : HDMI 수신부
304 : 안테나 단자
305 : 디지털 튜너
306 : 비트 스트림 처리부
307 : 영상?그래픽 처리 회로
308 : 패널 구동 회로
309 : 표시 패널
310 : 음성 신호 처리 회로
311 : 음성 증폭 회로
312 : 스피커
321 : CPU
322 : 플래시 ROM
323 : DRAM
324 : 내부 버스
325 : 리모콘 수신부
326 : 리모콘 송신기
400 : HDMI 케이블

Claims (15)

  1. 화상 영역을 계층적으로 분할하여 얻어진 각 계층중, 선택된 계층의 각 영역의 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보를 계층순으로 배치한 시차정보 세트를 작성하는 시차정보 작성부와,
    좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터와 함께, 상기 시차정보 작성부에서 작성된 시차정보 세트를 송신하는 데이터 송신부를 구비하는 것을 특징으로 하는 입체화상 데이터 송신 장치.
  2. 제 1항에 있어서,
    상기 시차정보 작성부에서 작성되는 시차정보 세트를 구성하는 각 시차정보에는, 그 시차정보가 속하는 최하층의 위치 정보가 부가되어 있는 것을 특징으로 하는 입체화상 데이터 송신 장치.
  3. 화상 영역을 계층적으로 분할하여 얻어진 각 계층중, 선택된 계층의 각 영역의 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보를 계층순으로 배치한 시차정보 세트를 작성하는 시차정보 작성 스탭과,
    좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터와 함께, 상기 시차정보 작성 스탭에서 작성된 시차정보 세트를 송신하는 데이터 송신 스탭을 갖는 것을 특징으로 하는 입체화상 데이터 송신 방법.
  4. 좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터와 함께, 화상 영역을 계층적으로 분할하여 얻어진 각 계층중, 선택된 계층의 각 영역의 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보를 계층순으로 배치한 시차정보 세트를 수신하는 데이터 수신부와,
    상기 데이터 수신부에서 수신된 상기 좌안화상 데이터 및 상기 우안화상 데이터와, 상기 데이터 수신부에서 수신된 상기 시차정보 세트를 이용하여, 좌안화상 및 우안화상에 중첩하는 동일한 중첩정보에 시차를 부여하고, 상기 중첩정보가 중첩된 좌안화상의 데이터 및 상기 중첩정보가 중첩된 우안화상의 데이터를 얻는 화상 데이터 처리부를 구비하는 것을 특징으로 하는 입체화상 데이터 수신 장치.
  5. 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보를 출력하는 시차정보 출력부와,
    좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터와 함께, 상기 시차정보 출력부에서 출력된 시차정보를 송신하는 데이터 송신부를 구비하고,
    상기 시차정보 출력부에서 출력되는 시차정보는, 상기 화상 데이터의 소정 단위마다의 시차정보인 것을 특징으로 하는 입체화상 데이터 송신 장치.
  6. 제 5항에 있어서,
    상기 데이터 송신부는, 상기 화상 데이터를 일정기간마다 구획하고, 각 일정기간의 화상 데이터에 대응한 상기 소정 단위마다의 시차정보를, 그 각 일정기간의 화상 데이터의 송신에 앞서서 송신하는 것을 특징으로 하는 입체화상 데이터 송신 장치.
  7. 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보를 출력하는 시차정보 출력 스탭과,
    좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터와 함께, 상기 시차정보 출력 스탭에서 출력된 시차정보를 송신하는 데이터 송신 스탭를 가지며,
    상기 시차정보 출력 스탭에서 출력되는 시차정보는, 상기 화상 데이터의 소정 단위마다의 시차정보인 것을 특징으로 하는 입체화상 데이터 송신 방법.
  8. 좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터와 함께, 시차정보를 수신하는 데이터 수신부와,
    상기 데이터 수신부에서 수신된, 상기 좌안화상 데이터 및 상기 우안화상 데이터와, 상기 시차정보를 이용하여, 좌안화상 및 우안화상에 중첩하는 동일한 중첩정보에 시차를 부여하고, 상기 중첩정보가 중첩된 좌안화상의 데이터 및 상기 중첩정보가 중첩된 우안화상의 데이터를 얻는 화상 데이터 처리부를 구비하고,
    상기 데이터 수신부에서 수신되는 상기 시차정보는, 상기 화상 데이터의 소정 단위마다의 시차정보이고,
    상기 화상 데이터 처리부는, 상기 중첩정보의 중첩 기간에서, 상기 화상 데이터의 소정 단위마다, 상기 중첩정보에, 대응하는 시차정보에 의한 시차를 부여하는 것을 특징으로 하는 입체화상 데이터 수신 장치.
  9. 좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터와 함께, 시차정보를 수신하는 데이터 수신 스탭과,
    상기 데이터 수신 스탭에서 수신된, 상기 좌안화상 데이터 및 상기 우안화상 데이터와, 상기 시차정보를 이용하여, 좌안화상 및 우안화상에 중첩하는 동일한 중첩정보에 시차를 부여하고, 상기 중첩정보가 중첩된 좌안화상의 데이터 및 상기 중첩정보가 중첩된 우안화상의 데이터를 얻는 화상 데이터 처리 스탭를 가지며,
    상기 데이터 수신 스탭에서 수신되는 상기 시차정보는, 상기 화상 데이터의 소정 단위마다의 시차정보이고,
    상기 화상 데이터 처리 스탭에서는, 상기 중첩정보의 중첩 기간에서, 상기 화상 데이터의 소정 단위마다, 상기 중첩정보에, 대응하는 시차정보에 의한 시차를 부여하는 것을 특징으로 하는 입체화상 데이터 수신 방법.
  10. 좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터와 함께, 시차정보를 수신하는 데이터 수신부와,
    상기 데이터 수신부에서 수신된, 상기 좌안화상 데이터 및 상기 우안화상 데이터와, 상기 시차정보를 이용하여, 좌안화상 및 우안화상에 중첩하는 동일한 중첩정보에 시차를 부여하고, 상기 중첩정보가 중첩된 좌안화상의 데이터 및 상기 중첩정보가 중첩된 우안화상의 데이터를 얻는 화상 데이터 처리부를 구비하고,
    상기 데이터 수신부에서 수신되는 상기 시차정보는, 상기 화상 데이터의 소정 단위마다의 시차정보이고,
    상기 데이터 수신부는, 적어도, 상기 중첩정보의 중첩 기간분의 시차정보를, 그 중첩 기간 이전에 수신하고,
    상기 화상 데이터 처리부는, 상기 중첩정보의 중첩 기간에서, 상기 중첩정보에, 그 중첩 기간분의 시차정보로부터 선택된 소정의 시차정보에 의한 시차를 부여하는 것을 특징으로 하는 입체화상 데이터 수신 장치.
  11. 좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터와 함께, 시차정보를 수신하는 데이터 수신 스탭과,
    상기 데이터 수신 스탭에서 수신된, 상기 좌안화상 데이터 및 상기 우안화상 데이터와, 상기 시차정보를 이용하여, 좌안화상 및 우안화상에 중첩하는 동일한 중첩정보에 시차를 부여하고, 상기 중첩정보가 중첩된 좌안화상의 데이터 및 상기 중첩정보가 중첩된 우안화상의 데이터를 얻는 화상 데이터 처리 스탭를 가지며,
    상기 데이터 수신 스탭에서 수신되는 상기 시차정보는, 상기 화상 데이터의 소정 단위마다의 시차정보이고,
    상기 데이터 수신 스탭에서는, 적어도, 상기 중첩정보의 중첩 기간분의 시차정보를, 그 중첩 기간 이전에 수신하고,
    상기 화상 데이터 처리 스탭에서는, 상기 중첩정보의 중첩 기간에서, 상기 중첩정보에, 그 중첩 기간분의 시차정보로부터 선택된 소정의 시차정보에 의한 시차를 부여하는 것을 특징으로 하는 입체화상 데이터 수신 방법.
  12. 좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터와 함께, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보를 수신하는 데이터 수신부와,
    상기 데이터 수신부에서 수신된, 상기 좌안화상 데이터 및 상기 우안화상 데이터와, 상기 시차정보를, 전송로를 통하여, 외부 기기에 송신하는 데이터 송신부를 구비하는 것을 특징으로 하는 입체화상 데이터 수신 장치.
  13. 제 12항에 있어서,
    상기 데이터 송신부는,
    상기 화상 데이터를, 복수 채널로, 차동 신호에 의해, 상기 전송로를 통하여, 상기 외부 기기에 송신하고,
    상기 화상 데이터의 블랭킹 기간에 상기 시차정보를 삽입함으로써, 그 시차정보를 상기 외부 기기에 송신하는 것을 특징으로 하는 입체화상 데이터 수신 장치.
  14. 제 12항에 있어서,
    상기 데이터 송신부는,
    수직 동기 신호에 의해 구획되는, 수평 블랭킹 기간, 수직 블랭킹 기간 및 액티브 비디오 구간을 포함하는 비디오 필드 구간을 단위로 하는 전송 데이터를 생성하는 전송 데이터 생성부와,
    상기 전송 데이터 생성부에서 생성된 전송 데이터를, 복수 채널로, 차동 신호에 의해, 상기 전송로를 통하여, 상기 외부 기기에 송신하는 전송 데이터 송신부를 가지며,
    상기 액티브 비디오 구간은, 주영상 영역 및 보조영상 영역을 가지며,
    상기 전송 데이터 생성부는, 상기 주영상 영역에 화상 데이터를 배치하고, 상기 보조영상 영역에, 상기 주영상 영역에 배치되는 화상 데이터에 관련된 상기 시차정보를 배치하는 것을 특징으로 하는 입체화상 데이터 수신 장치.
  15. 좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터와 함께, 시차정보를 수신하는 데이터 수신 스탭과,
    상기 데이터 수신 스탭에서 수신된, 상기 좌안화상 데이터 및 상기 우안화상 데이터와, 상기 시차정보를, 전송로를 통하여, 외부 기기에 송신하는 데이터 송신 스탭을 갖는 것을 특징으로 하는 입체화상 데이터 수신 방법.
KR20117003744A 2009-06-29 2010-06-22 입체화상 데이터 송신 장치, 입체화상 데이터 송신 방법, 입체화상 데이터 수신 장치 및 입체화상 데이터 수신 방법 KR20120038389A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JPJP-P-2009-153686 2009-06-29
JP2009153686 2009-06-29
JPJP-P-2010-007317 2010-01-15
JP2010007317A JP2011030182A (ja) 2009-06-29 2010-01-15 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法

Publications (1)

Publication Number Publication Date
KR20120038389A true KR20120038389A (ko) 2012-04-23

Family

ID=43410932

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20117003744A KR20120038389A (ko) 2009-06-29 2010-06-22 입체화상 데이터 송신 장치, 입체화상 데이터 송신 방법, 입체화상 데이터 수신 장치 및 입체화상 데이터 수신 방법

Country Status (9)

Country Link
US (1) US20110141238A1 (ko)
EP (1) EP2451169A4 (ko)
JP (1) JP2011030182A (ko)
KR (1) KR20120038389A (ko)
CN (1) CN102369735B (ko)
BR (1) BRPI1004290A2 (ko)
RU (1) RU2011105389A (ko)
TW (1) TWI437873B (ko)
WO (1) WO2011001855A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201116041A (en) * 2009-06-29 2011-05-01 Sony Corp Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data reception device, three-dimensional image data reception method, image data transmission device, and image data reception
JP5781353B2 (ja) * 2011-03-31 2015-09-24 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理方法、および位置情報のデータ構造
WO2012144039A1 (ja) * 2011-04-20 2012-10-26 株式会社東芝 画像処理装置、および方法
US8913104B2 (en) * 2011-05-24 2014-12-16 Bose Corporation Audio synchronization for two dimensional and three dimensional video signals
JP5991596B2 (ja) 2011-06-01 2016-09-14 パナソニックＩｐマネジメント株式会社 映像処理装置、送信装置、映像処理システム、映像処理方法、送信方法、コンピュータプログラム及び集積回路
WO2013046281A1 (ja) 2011-09-30 2013-04-04 パナソニック株式会社 映像処理装置及び映像処理方法
JP2013081029A (ja) * 2011-10-03 2013-05-02 Nippon Telegr & Teleph Corp <Ntt> 映像再生装置、映像再生方法及び映像再生プログラム
JPWO2013105401A1 (ja) * 2012-01-13 2015-05-11 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2013114887A1 (en) 2012-02-02 2013-08-08 Panasonic Corporation Methods and apparatuses for 3d media data generation, encoding, decoding and display using disparity information
CN103597823B (zh) 2012-02-16 2017-11-03 索尼公司 发送装置、发送方法和接收器装置
WO2013129158A1 (ja) * 2012-03-01 2013-09-06 ソニー株式会社 送信装置、送信方法および受信装置
WO2014199521A1 (ja) 2013-06-14 2014-12-18 株式会社東芝 映像送信装置、映像表示装置、及び映像送信方法
US10080019B2 (en) * 2014-09-19 2018-09-18 Intel Corporation Parallel encoding for wireless displays
CN106254846B (zh) * 2015-12-30 2018-06-29 深圳超多维科技有限公司 一种图像视差调整方法、装置及电子设备
CN107396082B (zh) * 2017-07-14 2020-04-21 歌尔股份有限公司 一种图像数据的处理方法和装置
KR102316960B1 (ko) * 2019-11-28 2021-10-22 광운대학교 산학협력단 무인 항공기 영상 내 실시간 객체 검출 방법 및 장치
CN114390271B (zh) * 2020-10-19 2023-08-18 苏州佳世达光电有限公司 判别连续影像顺序的系统及其方法
CN112767227B (zh) * 2021-03-12 2023-03-31 中山大学 一种可抗屏幕拍摄的图像水印方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3539788B2 (ja) * 1995-04-21 2004-07-07 パナソニック モバイルコミュニケーションズ株式会社 画像間対応付け方法
JPH11289555A (ja) * 1998-04-02 1999-10-19 Toshiba Corp 立体映像表示装置
JP2004274125A (ja) * 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
JP4190357B2 (ja) * 2003-06-12 2008-12-03 シャープ株式会社 放送データ送信装置、放送データ送信方法および放送データ受信装置
RU2407224C2 (ru) * 2005-04-19 2010-12-20 Конинклейке Филипс Электроникс Н.В. Восприятие глубины
KR101185870B1 (ko) * 2005-10-12 2012-09-25 삼성전자주식회사 3ｄ 입체 영상 처리 장치 및 방법
WO2007116549A1 (ja) * 2006-04-07 2007-10-18 Sharp Kabushiki Kaisha 画像処理装置
KR100781534B1 (ko) * 2006-12-08 2007-12-03 삼성전자주식회사 방송 수신 장치에 적합한 애플리케이션의 기능을 구성하고실행하는 장치 및 방법
CN105263012A (zh) * 2007-03-16 2016-01-20 汤姆森许可贸易公司 用于将文本与三维内容相结合的系统和方法
JP2009100412A (ja) * 2007-10-19 2009-05-07 Panasonic Corp 映像伝送装置、映像送信装置および映像受信装置
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
KR100955578B1 (ko) * 2007-12-18 2010-04-30 한국전자통신연구원 스테레오스코픽 콘텐츠 장면 재생 방법 및 그 장치
RU2546546C2 (ru) * 2008-12-01 2015-04-10 Аймакс Корпорейшн Способы и системы для представления трехмерных изображений движения с адаптивной к содержимому информацией
KR101659026B1 (ko) * 2008-12-02 2016-09-23 엘지전자 주식회사 3차원 캡션 디스플레이 방법 및 이를 구현하기 위한 3차원 디스플레이 장치
WO2010064853A2 (en) * 2008-12-02 2010-06-10 Lg Electronics Inc. 3d caption display method and 3d display apparatus for implementing the same

Also Published As

Publication number Publication date
RU2011105389A (ru) 2012-08-20
CN102369735A (zh) 2012-03-07
TW201108714A (en) 2011-03-01
BRPI1004290A2 (pt) 2017-08-01
JP2011030182A (ja) 2011-02-10
WO2011001855A1 (ja) 2011-01-06
EP2451169A4 (en) 2013-12-04
TWI437873B (zh) 2014-05-11
CN102369735B (zh) 2014-12-17
EP2451169A1 (en) 2012-05-09
US20110141238A1 (en) 2011-06-16

Similar Documents

Publication Publication Date Title
JP5531972B2 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP5446913B2 (ja) 立体画像データ送信装置および立体画像データ送信方法
TWI437873B (zh) Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data receiving device and three-dimensional image data receiving method
JP5407957B2 (ja) 立体画像データ送信装置および立体画像データ受信装置
JP5407968B2 (ja) 立体画像データ送信装置および立体画像データ受信装置
JP5402715B2 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
TWI452892B (zh) Image data transmission device, control method and program
TWI413403B (zh) Three-dimensional image data transmission device, three-dimensional image data transmission method and three-dimensional image data receiving device
WO2011001854A1 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP5633259B2 (ja) 立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置
JP2011166757A (ja) 送信装置、送信方法および受信装置
WO2012063675A1 (ja) 立体画像データ送信装置、立体画像データ送信方法および立体画像データ受信装置
JP2011010255A (ja) 立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2013176141A (ja) 立体画像データ受信装置および立体画像データ受信方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid