KR20120038388A - 입체화상 데이터 송신 장치, 입체화상 데이터 송신 방법 및 입체화상 데이터 수신 장치 - Google Patents

입체화상 데이터 송신 장치, 입체화상 데이터 송신 방법 및 입체화상 데이터 수신 장치 Download PDF

Info

Publication number
KR20120038388A
KR20120038388A KR1020117003580A KR20117003580A KR20120038388A KR 20120038388 A KR20120038388 A KR 20120038388A KR 1020117003580 A KR1020117003580 A KR 1020117003580A KR 20117003580 A KR20117003580 A KR 20117003580A KR 20120038388 A KR20120038388 A KR 20120038388A
Authority
KR
South Korea
Prior art keywords
information
data
image data
parallax
eye image
Prior art date
Application number
KR1020117003580A
Other languages
English (en)
Inventor
이쿠오 츠카고시
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20120038388A publication Critical patent/KR20120038388A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4884—Data services, e.g. news ticker for displaying subtitles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

[과제]
클로즈드?캡션 표시 등에 있어서 화상 내의 각 물체 사이의 원근감의 정합성을 유지한다.
[해결 수단]
비디오 프레이밍부(112)는, 좌안화상 데이터 및 우안화상 데이터를, 전송 방식에 응한 상태로 가공하여, 송신용 입체화상 데이터를 얻는다. CC 인코더(127)는, 클로즈드?캡션 데이터(CC 데이터)를 출력한다. Z데이터부(128)는, 클로즈드?캡션 정보 등의 중첩정보의 데이터마다, 대응시켜진 시차정보를 출력한다. 이 대응시킴을 Region_id를 이용하여 행한다. CC 데이터 및 시차정보를 비디오 인코더(113)의 스트림 포매터(113a)에 보내, 비디오의 스트림에, 유저 데이터로서 매입하여 송신한다. 수신측에서는, 좌안화상 및 우안화상에 중첩되는 동일한 중첩정보(클로즈드?캡션 정보 등)로서, 화상 내의 각 물체의 원근감에 응하여 시차 조정이 시행된 것을 이용할 수 있다.

Description

입체화상 데이터 송신 장치, 입체화상 데이터 송신 방법 및 입체화상 데이터 수신 장치{STEREOSCOPIC IMAGE DATA TRANSMITTER, METHOD FOR TRANSMITTING STEREOSCOPIC IMAGE DATA, AND STEREOSCOPIC IMAGE DATA RECEIVER}
본 발명은, 입체화상 데이터 송신 장치, 입체화상 데이터 송신 방법 및 입체화상 데이터 수신 장치에 관한 것으로, 특히, 클로즈드?캡션 정보, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보 등의 중첩정보의 표시를 양호하게 행할 수 있는 입체화상 데이터 송신 장치 등에 관한 것이다.
예를 들면, 특허 문헌 1에는, 입체화상 데이터의 텔레비전 방송 전파를 이용한 전송 방식에 관해 제안되어 있다. 이 경우, 좌안용 화상 데이터 및 우안용 화상 데이터를 포함하는 입체화상 데이터가 송신되고, 텔레비전 수신기에서, 양안 시차를 이용한 입체화상 표시가 행하여진다.
도 54는, 양안 시차를 이용한 입체화상 표시에서, 스크린상에서의 오브젝트(물체)의 좌우상의 표시 위치와, 그 입체상의 재생 위치와의 관계를 도시하고 있다. 예를 들면, 스크린상에 도시하는 바와 같이 좌상(La)이 우측으로 우상(Ra)이 좌측으로 시프트하여 표시되어 있는 오브젝트(A)에 관해서는, 좌우의 시선이 스크린면보다 앞에서 교차하기 때문에, 그 입체상의 재생 위치는 스크린면보다 앞이 된다.
또한, 예를 들면, 스크린상에 도시하는 바와 같이 좌상(Lb) 및 우상(Rb)이 동일 위치에 표시되어 있는 오브젝트(B)에 관해서는, 좌우의 시선이 스크린 면에서 교차하기 때문에, 그 입체상의 재생 위치는 스크린면상이 된다. 또한, 예를 들면, 스크린상에 도시하는 바와 같이 좌상(Lc)이 좌측으로 우상(Rc)이 우측으로 시프트하여 표시되어 있는 오브젝트(C)에 관해서는, 좌우의 시선이 스크린면보다 뒤에서 교차하기 때문에, 그 입체상의 재생 위치는 스크린면보다 뒤가 된다.
[선행 기술 문헌]
특허 문헌
특허 문헌 1 : 특개2005-6114호 공보
상기한 바와 같이 입체화상 표시에서, 시청자는, 양안 시차를 이용하여, 입체화상의 원근감을 인지하는 것이 보통이다. 화상에 중첩되는 중첩정보, 예를 들면 클로즈드?캡션 정보, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보 등에 관해서도, 2차원 공간적뿐만 아니라, 3차원의 깊이감으로서도, 입체화상 표시와 연동하여 렌더링되는 것이 기대된다.
예를 들면, 화상에 클로즈드?캡션 정보 또는 서브타이틀 정보인 자막을 중첩 표시(오버레이 표시)하는 경우, 원근감이라는 관점에서 가장 가까운 화상 내의 물체(오브젝트)보다도 앞에 표시되지 않으면, 시청자는, 원근감의 모순을 느끼는 경우가 있다. 또한, 다른 그래픽스 정보, 또는 텍스트 정보를 화상에 중첩 표시하는 경우에도, 화상 내의 각 물체의 원근감에 응하여 시차 조정을 시행하여, 원근감의 정합성을 유지하는 것이 기대된다.
본 발명의 목적은, 클로즈드?캡션 정보, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보 등의 중첩정보의 표시에서, 화상 내의 각 물체 사이의 원근감의 정합성의 유지를 도모하는 것에 있다.
본 발명의 개념은,
좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터에 대해 부호화를 행하여 부호화 비디오 데이터를 얻는 부호화부와,
상기 좌안화상 데이터 및 상기 우안화상 데이터에 의한 화상에 중첩하는 중첩정보의 데이터를 발생하는 중첩정보 데이터 발생부와,
상기 좌안화상 데이터 및 상기 우안화상 데이터에 의한 화상에 중첩하는 상기 중첩정보에 시차를 부여하기 위한 시차정보를 출력하는 시차정보 출력부와,
상기 부호화부에서 얻어진 부호화 비디오 데이터, 상기 중첩정보 데이터 발생부에서 발생된 중첩정보 데이터 및 상기 시차정보 출력부로부터 출력된 시차정보를 송신하는 송신부를 구비하는 입체화상 데이터 송신 장치에 있다.
본 발명에서, 부호화부에 의해, 좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터에 대해 부호화가 행하여저서 부호화 비디오 데이터가 얻어진다. 예를 들면, 부호화부에서는, MPEG2, H.264 AVC 또는 VC-1 등의 부호화 방식으로, 부호화가 행하여진다.
또한, 중첩정보 데이터 발생부에 의해, 좌안화상 데이터 및 우안화상 데이터에 의한 화상에 중첩하는 중첩정보의 데이터가 발생된다. 여기서, 중첩정보는, 자막을 표시하는 클로즈드?캡션 정보, 서브타이틀 정보, 로고 등의 그래픽스를 표시하는 그래픽스 정보, 전자 방송프로그램표(EPG : Electronic Program Guide), 문자 방송 내용 등을 표시하는 텍스트 정보 등, 화상에 중첩 표시되는 정보를 의미하고 있다.
또한, 시차정보 출력부에 의해, 좌안화상 데이터 및 우안화상 데이터에 의한 화상에 중첩하는 중첩정보에 시차를 부여하기 위한 시차정보가 출력된다. 예를 들면, 중첩정보 데이터 발생부에서 발생되는 삭 중첩정보 데이터에는 식별자가 부가되어 있고, 시차정보 출력부로부터 출력되는 각 중첩정보 데이터의 시차정보에는, 대응하는 중첩정보 데이터에 부여되어 있는 식별자에 대응한 식별자가 부가된다. 이와 같이 중첩정보 데이터 및 시차정보의 각각에 식별자가 부가됨으로써, 중첩정보 데이터와 시차정보와의 대응시킴이 가능하게 된다. 여기서, 대응한 식별자란, 같은 식별자, 또는 관련시켜저 있는 식별자를 의미한다.
예를 들면, 시차정보 출력부는, 중첩정보 데이터 발생부에서 발생되는 중첩정보 데이터마다, 좌안화상 데이터 및 우안화상 데이터에 의한 화상의 내용에 응하여, 시차정보를 결정하는 시차정보 결정부를 가지며, 이 시차정보 결정부에서 결정된 시차정보를 출력하도록 된다. 이 경우, 예를 들면, 시차정보 결정부는, 좌안화상 데이터 및 우안화상 데이터에 의거하여, 화상 내의 복수의 위치에서, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보를 검출하는 시차정보 검출부를 가지며, 중첩정보 데이터마다, 이 시차정보 검출부에서 검출된 복수의 시차정보중 중첩 위치에 대응한 검출 위치에서 검출된 시차정보에 결정하도록 된다.
또한, 예를 들면, 시차정보 출력부는, 중첩정보 데이터 발생부에서 발생되는 중첩정보 데이터마다, 시차정보를 설정하는 시차정보 설정부를 가지며, 이 시차정보 설정부에서 설정된 시차정보를 출력하도록 된다. 시차정보 설정부에서는, 예를 들면, 소정의 프로그램 처리에 의해, 또는 유저의 매뉴얼 조작에 의해, 중첩정보 데이터마다 시차정보의 설정이 행하여진다. 예를 들면, 중첩 위치에 응하여 다른 시차정보가 설정되고, 또는 중첩 위치에 의하지 않고서 공통의 시차정보가 설정되고, 또는 중첩정보의 종류별로 다른 시차정보가 설정된다. 여기서, 중첩정보의 종류란, 예를 들면, 클로즈드?캡션 정보, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보 등의 종류이다. 또한, 이 중첩정보의 종류란, 예를 들면, 중첩 위치나 중첩 계속 시간 등에 의해 구분되는 종류이다.
또한, 예를 들면, 시차정보 출력부는, 중첩정보 데이터 발생부에서 발생되는 중첩정보 데이터마다, 좌안화상 데이터 및 우안화상 데이터에 의한 화상의 내용에 응하여, 시차정보를 결정하는 시차정보 결정부와, 중첩정보 데이터 발생부에서 발생되는 중첩정보 데이터마다, 시차정보를 설정하는 시차정보 설정부를 가지며, 시차정보 결정부에서 결정된 시차정보 또는 시차정보 설정부에서 설정된 시차정보를 선택적으로 출력하도록 된다.
또한, 송신부에 의해, 부호화부에서 얻어진 부호화 비디오 데이터, 중첩정보 데이터 발생부에서 발생된 중첩정보 데이터 및 시차정보 출력부로부터 출력된 시차정보가 송신된다. 예를 들면, 시차정보 출력부로부터 출력된 시차정보는, 부호화부에서 얻어진 부호화 비디오 데이터를 페이로드부에 포함하는 비디오 엘리멘터리 스트림의 헤더부의 유저 데이터 영역에 포함하여 송신된다. 또한, 예를 들면, 중첩정보의 중첩 위치를 나타내는 정보 및 중첩정보의 표시시간을 나타내는 정보의 어느 한쪽 또는 양쪽이, 시차정보에 부가하여 송신된다. 시차정보에 중첩 위치 및 표시시간을 나타내는 정보를 부가하여 송신함으로써, 예를 들면, 중첩정보 데이터에 그들의 정보를 부가하여 송신하지 않아도 좋게 된다.
이와 같이, 본 발명에서는, 좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터를 부호화하여 얻어진 부호화 비디오 데이터와 함께, 중첩정보 데이터 및 시차정보가 송신된다. 그 때문에, 수신측에서는, 좌안화상 및 우안화상에 중첩되는 동일한 중첩정보(클로즈드?캡션 정보, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보 등)로서, 화상 내의 각 물체의 원근감에 응하여 시차 조정이 시행된 것을 이용할 수가 있어서, 중첩정보의 표시에서, 화상 내의 각 물체 사이의 원근감의 정합성을 유지하는 것이 가능하게 된다.
또한, 본 발명의 개념은,
좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터에 대해 부호화를 행하여 얻어진 부호화 비디오 데이터와, 상기 좌안화상 데이터 및 상기 우안화상 데이터에 의한 화상에 중첩하는 중첩정보의 데이터와, 상기 좌안화상 데이터 및 상기 우안화상 데이터에 의한 화상에 중첩하는 상기 중첩정보에 시차를 부여하기 위한 시차정보를 수신하는 수신부와,
상기 수신부에서 수신된 상기 부호화 비디오 데이터에 대해 복호화를 행하여 상기 입체화상 데이터를 얻는 복호화부와,
상기 수신부에서 수신된 상기 시차정보에 의거하여, 상기 복호화부에서 얻어진 입체화상 데이터에 포함되는 상기 좌안화상 데이터 및 상기 우안화상 데이터에 의한 화상에 중첩하는 상기 수신부에서 수신된 상기 중첩정보 데이터에 의한 동일한 중첩정보에 시차를 부여하고, 상기 중첩정보가 중첩된 좌안화상의 데이터 및 상기 중첩정보가 중첩된 우안화상의 데이터를 얻는 화상 데이터 처리부를 구비하는 입체화상 데이터 수신 장치에 있다.
본 발명에서는, 수신부에 의해, 좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터를 부호화하여 얻어진 부호화 비디오 데이터와 함께, 중첩정보 데이터 및 시차정보가 송신된다. 그리고, 복호화부에 의해, 수신부에서 수신된 부호화 비디오 데이터에 대해 복호화가 행하여저서, 좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터가 얻어진다.
또한, 화상 데이터 처리부에 의해, 복호화부에서 얻어진 입체화상 데이터에 포함되는 좌안화상 데이터와, 수신부에서 수신된 중첩정보 데이터에 의거하여, 중첩정보가 중첩된 좌안화상의 데이터 및 중첩정보가 중첩된 우안화상의 데이터가 얻어진다. 이 경우, 수신부에서 수신된 시차정보에 의거하여, 좌안화상 데이터 및 우안화상 데이터에 의한 화상에 중첩되는 중첩 화상에는, 시차가 부여된다. 그 때문에, 클로즈드?캡션 정보, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보 등 중첩정보의 표시에서, 화상 내의 각 물체 사이의 원근감의 정합성을 유지하는 것이 가능하게 된다.
본 발명에 의하면, 입체화상 데이터의 수신측에서, 좌안화상 및 우안화상에 중첩되는 동일한 중첩정보로서, 화상 내의 각 물체의 원근감에 응하여 시차 조정이 시행된 것을 이용할 수가 있어서, 클로즈드?캡션 정보, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보 등의 중첩정보의 표시에서 원근감의 정합성을 유지하는 것이 가능하게 된다.
도 1은 본 발명의 실시의 형태에서의 입체화상 표시 시스템의 구성례를 도시하는 블록도.
도 2는 방송국에서의 송신 데이터 생성부의 구성례를 도시하는 블록도.
도 3은 1920×1080p의 픽셀 포맷의 화상 데이터를 도시하는 도면.
도 4는 입체화상 데이터(3D 화상 데이터)의 전송 방식인 「Top & Bottom」 방식, 「Side By Side」 방식, 「Frame Sequential」 방식을 설명하기 위한 도면.
도 5는 좌안화상에 대한 우안화상의 시차벡터를 검출하는 예를 설명하기 위한 도면.
도 6은 시차벡터를 블록 매칭 방식으로 구하는 것을 설명하기 위한 도면.
도 7은 시차벡터 검출부에서 검출되는, 화상 내의 소정 위치에서의 시차벡터(VV)의 한 예를 도시하는 도면.
도 8은 시차벡터의 전송 내용을 도시하는 도면.
도 9는 시차 검출 블록례와, 그 경우의 시차벡터의 전송 내용을 도시하는 도면.
도 10은 시차벡터를 검출하여 전송하는 타이밍의 예를 설명하기 위한 도면.
도 11은 시차벡터를 검출하여 전송하는 타이밍의 예를 설명하기 위한 도면.
도 12는 송신 데이터 생성부에서 다중화되는 각 데이터의 스트림례를 도시하는 도면.
도 13은 방송국에서의 송신 데이터 생성부의 다른 구성례를 도시하는 블록도.
도 14는 전송 방식이 제 1의 전송 방식(「Top & Bottom」 방식)인 경우에 있어서의, 좌안 그래픽스 정보 및 우안 그래픽스 정보의 중첩 위치 등을 설명하기 위한 도면.
도 15는 전송 방식이 제 1의 전송 방식(「Top & Bottom」 방식)인 경우에 있어서의, 좌안 그래픽스 정보 및 우안 그래픽스 정보의 생성 방법을 설명하기 위한 도면.
도 16은 전송 방식이 제 2의 전송 방식(「Side By Side」 방식)인 경우에 있어서의, 좌안 그래픽스 정보 및 우안 그래픽스 정보의 생성 방법을 설명하기 위한 도면.
도 17은 전송 방식이 제 2의 전송 방식(「Side By Side」 방식)인 경우에 있어서의, 좌안 그래픽스 정보 및 우안 그래픽스 정보의 생성 방법을 설명하기 위한 도면.
도 18은 방송국에서의 송신 데이터 생성부의 다른 구성례를 도시하는 블록도.
도 19는 방송국에서의 송신 데이터 생성부의 다른 구성례를 도시하는 블록도.
도 20은 「Location」, 「Region 크기」의 정보를 설명하기 위한 도면.
도 21은 중첩정보마다의 시차정보를 출력하는 Z데이터부의 구성례를 도시하는 블록도.
도 22는 비디오 엘리멘터리 스트림의 구조예를 개략적으로 도시하는 도면.
도 23은 MPEG2, H.264 AVC, VC-1의 각 부호화 방식에서의 유저 데이터의 구성례를 도시하는 도면.
도 24는 시차정보(시차벡터)를 포함하는 「user_structure」의 구성례를 도시하는 도면.
도 25는 방송국에서의 송신 데이터 생성부의 다른 구성례를 도시하는 블록도.
도 26은 방송국에서의 송신 데이터 생성부의 다른 구성례를 도시하는 블록도.
도 27은 전송 방식이 제 2의 전송 방식(「Side By Side」 방식)인 경우에 있어서의, 좌안 그래픽스 정보 및 우안 그래픽스 정보의 중첩 위치를 도시하는 도면.
도 28은 좌안화상, 우안화상에 대해, 비트 스트림 데이터로부터 추출된 종래 방법에 의해 전송되는 그래픽스 데이터에 의한 그래픽스 화상을 그대로 중첩한 상태를 도시하는 도면.
도 29는 시각(T0, T1, T2, T3)에서의 3개의 오브젝트 위치의 시차벡터(View Vector)를 도시하는 도면.
도 30은 화상상에서의 자막(그래픽스 정보)의 표시예와, 배경, 근경 오브젝트, 자막의 원근감을 도시하는 도면.
도 31은 화상상에서의 자막(그래픽스 정보)의 표시예와, 자막을 표시하기 위한 좌안 그래픽스 정보(LGI) 및 우안 그래픽스 정보(RGI)를 도시하는 도면.
도 32는 시차벡터로서, 화상 내의 복수 위치에서 검출된 시차벡터중, 그 중첩 위치에 대응한 것을 사용하는 것을 설명하기 위한 도면.
도 33은 화상 내에 A, B, C의 각 오브젝트가 존재하고, 이들 각 오브젝트의 부근 위치에, 각 오브젝트의 주석을 나타내는 텍스트 정보를 중첩하는 것을 도시하는 도면.
도 34는 입체화상 표시 시스템을 구성하는 세트 톱 박스의 구성례를 도시하는 블록도.
도 35는 세트 톱 박스를 구성하는 비트 스트림 처리부의 구성례를 도시하는 블록도.
도 36은 시차벡터(VV1)가, 텔레비전 디스플레이를 향하여 좌측의 비디오 오브젝트의 쪽이 큰 경우의 스피커 출력 제어예를 도시하는 도면.
도 37은 세트 톱 박스를 구성하는 비트 스트림 처리부의 다른 구성례를 도시하는 블록도.
도 38은 세트 톱 박스를 구성하는 비트 스트림 처리부의 다른 구성례를 도시하는 블록도.
도 39는 세트 톱 박스를 구성하는 비트 스트림 처리부의 다른 구성례를 도시하는 블록도.
도 40은 세트 톱 박스를 구성하는 비트 스트림 처리부의 다른 구성례를 도시하는 블록도.
도 41은 세트 톱 박스를 구성하는 비트 스트림 처리부의 다른 구성례를 도시하는 블록도.
도 42는 입체화상 표시 시스템을 구성하는 텔레비전 수신기의 구성례를 도시하는 블록도.
도 43은 HDMI 송신부(HDMI 소스)와 HDMI 수신부(HDMI 싱크)의 구성례를 도시하는 블록도.
도 44는 HDMI 송신부를 구성하는 HDMI 트랜스미터와, HDMI 수신부를 구성하는 HDMI 레시버의 구성례를 도시하는 블록도.
도 45는 TMDS 전송 데이터의 구조예(가로×세로가 1920픽셀×1080라인의 화상 데이터가 전송되는 경우)를 도시하는 도면.
도 46은 소스 기기 및 싱크 기기의 HDMI 케이블이 접속되는 HDMI 단자의 핀 배열(타입 A)을 도시하는 도면.
도 47은 제 1의 전송 방식(「Top & Bottom」 방식)의 TMDS 전송 데이터예를 도시하는 도면.
도 48은 제 2의 전송 방식(「Side By Side」 방식)의 TMDS 전송 데이터예를 도시하는 도면.
도 49는 제 3의 전송 방식(「Frame Sequential」 방식)의 TMDS 전송 데이터예를 도시하는 도면.
도 50은 HDMI 1.4(New HDMI)에서의 「FrameSequential」 방식과, HDMI 1.3(LegacyHDMI)에서의, 「Frame Sequential」 방식을 설명하기 위한 도면.
도 51은 세트 톱 박스를 구성하는 비트 스트림 처리부의 다른 구성례를 도시하는 블록도.
도 52는 세트 톱 박스를 구성하는 비트 스트림 처리부의 다른 구성례를 도시하는 블록도.
도 53은 입체화상 표시 시스템의 다른 구성례를 도시하는 블록도.
도 54는 양안 시차를 이용한 입체화상 표시에서, 스크린상에서의 오브젝트의 좌우상의 표시 위치와, 그 입체상의 재생 위치와의 관계를 도시하는 도면.
이하, 발명을 실시하기 위한 형태(이하, 「실시의 형태」라고 한다)에 관해 설명한다. 또한, 설명을 이하의 순서로 행한다.
1. 실시의 형태
2. 변형례
<1. 실시의 형태>
[입체화상 송수신 시스템의 구성례]
도 1은, 실시의 형태에서의 입체화상 송수신 시스템(10)의 구성례를 도시하고 있다. 이 입체화상 송수신 시스템(10)은, 방송국(100)과, 세트 톱 박스(STB : Set Top Box)(200)와, 텔레비전 수신기(300)를 갖고 있다.
세트 톱 박스(200) 및 텔레비전 수신기(300)는, HDMI(High Definition Multimedia Interface) 케이블(400)을 통하여 접속되어 있다. 세트 톱 박스(200)에는, HDMI 단자(202)가 마련되어 있다. 텔레비전 수신기(300)에는, HDMI 단자(302)가 마련되어 있다. HDMI 케이블(400)의 일단은 세트 톱 박스(200)의 HDMI 단자(202)에 접속되고, 이 HDMI 케이블(400)의 타단은 텔레비전 수신기(300)의 HDMI 단자(302)에 접속되어 있다.
[방송국의 설명]
방송국(100)은, 비트 스트림 데이터를, 방송파에 실어서 송신한다. 이 비트 스트림 데이터에는, 좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터, 음성 데이터, 중첩정보 데이터, 나아가서는 시차정보(시차벡터) 등이 포함된다. 여기서, 중첩정보 데이터는, 클로즈드?캡션 데이터, 서브타이틀 데이터, 그래픽스 데이터, 텍스트 데이터 등이다.
「송신 데이터 생성부의 구성례」
도 2는, 방송국(100)에서, 상술한 비트 스트림 데이터를 생성하는 송신 데이터 생성부(110)의 구성례를 도시하고 있다. 이 구성례는, 시차벡터를 수치 정보로서 송신하는 예이다. 이 송신 데이터 생성부(110)는, 카메라(111L, 111R)와, 비디오 프레이밍부(112)와, 비디오 인코더(113)와, 비디오 인코더(113)와, 시차벡터 검출부(114)와, 시차벡터 인코더(115)를 갖고 있다. 또한, 이 송신 데이터 생성부(110)는, 마이크로폰(116)과, 오디오 인코더(117)를 갖고 있다. 또한, 이 송신 데이터 생성부(110)는, 서브타이틀?그래픽스 발생부(118)와, 서브타이틀?그래픽스 인코더(119)와, 텍스트 발생부(120)와, 텍스트 인코더(121)와, 멀티플렉서(122)를 갖고 있다.
카메라(111L)는, 좌안화상을 촬영하여 입체화상 표시를 위한 좌안화상 데이터를 얻는다. 카메라(111R)는, 우안화상을 촬영하여 입체화상 표시를 위한 우안화상 데이터를 얻는다. 비디오 프레이밍부(112)는, 카메라(111L)에서 얻어지는 좌안화상 데이터 및 카메라(111R)에서 얻어지는 우안화상 데이터를, 전송 방식에 응한 상태로 가공 처리한다.
[입체화상 데이터의 전송 방식례]
여기서는, 입체화상 데이터(3D 화상 데이터)의 전송 방식으로서, 이하의 제 1 내지 제 3의 방식을 들지만, 이들 이외의 전송 방식이라도 좋다. 여기서는, 도 3에 도시하는 바와 같이, 좌안(L) 및 우안(R)의 화상 데이터가, 각각, 결정된 해상도, 예를 들면 1920×1080p의 픽셀 포맷의 화상 데이터인 경우를 예로 들어 설명한다.
제 1의 전송 방식은, 「Top & Bottom」 방식으로, 도 4의 (a)에 도시하는 바와 같이, 수직방향의 전반에서는 좌안화상 데이터의 각 라인의 데이터를 전송하고, 수직방향의 후반에서는 좌안화상 데이터의 각 라인의 데이터를 전송하는 방식이다. 이 경우, 좌안화상 데이터 및 우안화상 데이터의 라인이 1/2로 솎아내여짐으로써 원(原)신호에 대해 수직 해상도는 반분이 된다.
제 2의 전송 방식은, 「Side By Side」 방식으로, 도 4의 (b)에 도시하는 바와 같이, 수평방향의 전반에서는 좌안화상 데이터의 픽셀 데이터를 전송하고, 수평방향의 후반에서는 우안화상 데이터의 픽셀 데이터를 전송하는 방식이다. 이 경우, 좌안화상 데이터 및 우안화상 데이터는, 각각, 수평방향의 픽셀 데이터가 1/2로 솎아내여진다. 현(現) 신호에 대해, 수평 해상도는 반분이 된다.
제 3의 전송 방식은, 「Frame Sequential」 방식으로, 도 4의 (c)에 도시하는 바와 같이, 좌안화상 데이터와 우안화상 데이터를 필드마다 순차적으로 전환하여 전송하는 방식이다.
도 2로 되돌아와, 비디오 인코더(113)는, 비디오 프레이밍부(112)에서 가공 처리된 입체화상 데이터에 대해, MPEG4-AVC, MPEG2, VC-1 등의 부호화를 시행하여 부호화 비디오 데이터를 얻는다. 또한, 비디오 인코더(113)는, 후단에 스트림 포매터(113a)를 구비한다. 이 스트림 포매터(113)에 의해, 페이로드부에 부호화 비디오 데이터를 포함하는 비디오의 엘리멘터리 스트림을 생성한다.
시차벡터 검출부(114)는, 좌안화상 데이터 및 우안화상 데이터에 의거하여, 화상 내의 소정 위치에서, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보인 시차벡터를 검출한다. 여기서, 화상 내의 소정 위치는, 모든 화소 위치, 복수 화소로 이루어지는 각 영역의 대표 위치, 또는, 중첩정보, 여기서는 그래픽 정보나 텍스트 정보를 중첩하는 영역의 대표 위치 등이다.
[시차벡터의 검출]
시차벡터의 검출례에 관해 설명한다. 여기서는, 좌안화상에 대한 우안화상의 시차벡터를 검출하는 예에 관해 설명한다. 도 5에 도시하는 바와 같이, 좌안화상을 검출 화상으로 하고, 우안화상을 참조 화상으로 한다. 이 예에서는, (xi, yi) 및 (xj, yj)의 위치에서의 시차벡터가 검출된다.
(xi, yi)의 위치에서의 시차벡터를 검출하는 경우를 예로 들어 설명한다. 이 경우, 좌안화상에, (xi, yi)의 위치의 화소를 좌상(左上)으로 하는, 예를 들면 8×8 또는 16×16의 화소 블록(시차 검출 블록)(Bi)이 설정된다. 그리고, 우안화상에서, 화소 블록(Bi)과 매칭하는 화소 블록이 탐색된다.
이 경우, 우안화상에, (xi, yi)의 위치를 중심으로 하는 탐색 범위가 설정되고, 그 탐색 범위 내의 각 화소를 순차적으로 주목 화소로 하여, 상술한 화소 블록(Bi)과 같은 예를 들면 8×8 또는 16×16의 비교 블록이 순차적으로 설정되어 간다. 화소 블록(Bi)과 순차적으로 설정되는 비교 블록 사이에서, 대응하는 화소마다의 차분 절대치의 총합이 구하여진다. 여기서, 도 6에 도시하는 바와 같이, 화소 블록(Bi)의 화소치를 L(x, y)로 하고, 비교 블록의 화소치를 R(x, y)로 할 때, 화소 블록(Bi)과, 어느 비교 블록과의 사이에서 차분 절대치의 총합은, Σ|L(x, y)-R(x, y)|로 표시된다.
우안화상에 설정되는 탐색 범위에 n개의 화소가 포함되어 있을 때, 최종적으로 n개의 총합(S1 내지 Sn)이 구하여지고, 그 중에서 최소의 총합(Smin)이 선택된다. 그리고, 이 총합(Smin)이 얻어진 비교 블록으로부터 좌상의 화상의 위치가 (xi', yi')가 얻어진다. 이에 의해, (xi, yi)의 위치에서의 시차벡터는, (xi'-xi, yi'-yi)와 같이 검출된다. 상세 설명은 생략하지만, (xj, yj)의 위치에서의 시차벡터에 대해서도, 좌안화상에, (xj, yj)의 위치의 화소를 좌상으로 하는, 예를 들면 8×8 또는 16×16의 화소 블록(Bj)이 설정되고, 마찬가지 처리 과정에서 검출된다.
도 7의 (a)는, 시차벡터 검출부(114)에서 검출되는, 화상 내의 소정 위치에서의 시차벡터(VV)의 한 예를 도시하고 있다. 이 경우, 도 7의 (b)에 도시하는 바와 같이, 이 화상 내의 소정 위치에서는, 좌안화상(검출 화상)을 시차벡터(VV)만큼 시프트하면, 우안화상(참조 화상)과 겹쳐지는 것을 의미한다.
도 2로 되돌아와, 시차벡터 인코더(115)는, 시차벡터 검출부(114)에서 검출된 시차벡터 등을 포함하는 시차벡터의 엘리멘터리 스트림을 생성한다. 여기서, 시차벡터의 엘리멘터리 스트림에는, 이하의 내용이 포함된다. 즉, ID(ID_Block), 수직위치 정보(Vertical_Position), 수평위치 정보(Horizontal_Position), 시차벡터(View_Vector)가 1세트가 된다. 그리고, 이 1세트가 시차 검출 블록의 수인 N개분만큼 반복된다. 도 8은, 시차벡터의 전송 내용을 도시하고 있다. 시차벡터에는, 수직방향 성분(View_Vector_Vertical) 및 수평방향 성분(View_Vector_Horizontal)이 포함되어 있다.
또한, 시차 검출 블록의 수직, 수평의 위치는, 화상의 좌상의 원점부터, 블록의 좌상의 화상까지의 수직방향, 수평방향의 오프셋값이 된다. 각 시차벡터의 전송에, 시차 검출 블록의 ID를 붙이는 것은, 화상에 중첩 표시시키는 서브타이틀 정보, 그래픽스 정보, 텍스트 정보 등의 중첩정보의 패턴과의 링크가 취하여지도록 하기 위해서다.
예를 들면, 도 9의 (a)에 도시하는 바와 같이, A 내지 F까지의 시차 검출 블록이 존재할 때, 전송 내용에는, 도 9의 (b)에 도시하는 바와 같이, 그 시차 검출 블록(A 내지 F)의 ID와, 수직, 수평의 위치 정보와, 시차벡터가 포함된다. 예를 들면, 도 9의 (b)에서, 시차 검출 블록(A)에 관해서는, ID2는 시차 검출 블록(A)의 ID를 나타내고, (Ha, Va)는 시차 검출 블록(A)의 수직, 수평의 위치 정보를 나타내고, 시차벡터(a)는 시차 검출 블록(A)의 시차벡터를 나타내고 있다.
여기서, 시차벡터를 검출하여 전송하는 타이밍에 관해 설명한다. 이 타이밍에 관해서는, 예를 들면, 이하의 제 1 내지 제 4의 예가 생각된다.
제 1의 예에서는, 도 10의 (a)에 도시하는 바와 같이, 픽처의 부호화에 동기시킨다. 이 경우, 시차벡터는, 픽처 단위로 전송된다. 이 픽처 단위는, 시차벡터를 전송할 때의 가장 미세한 단위이다. 제 2의 예에서는, 도 10의 (b)에 도시하는 바와 같이, 비디오의 장면에 동기시킨다. 이 경우, 시차벡터는, 장면 단위로 전송된다.
제 3의 예에서는, 도 10의 (c)에 도시하는 바와 같이, 부호화 비디오의 I픽처(Intra picture), 또는 GOP(Group Of Pictures)에 동기시킨다. 제 4의 예에서는, 도 11에 도시하는 바와 같이, 화상에 중첩 표시되는 서브타이틀 정보, 그래픽스 정보, 텍스트 정보 등의 표시 시작 타이밍에 동기시킨다.
도 2로 되돌아와, 마이크로폰(116)은, 카메라(111L, 111R)에서 촬영된 화상에 대응한 음성을 검출하여, 음성 데이터를 얻는다. 오디오 인코더(117)는, 마이크로폰(116)에서 얻어진 음성 데이터에 대해, MPEG-2Audio AAC 등의 부호화를 시행하여, 오디오의 엘리멘터리 스트림을 생성한다.
서브타이틀?그래픽스 발생부(118)는, 화상에 중첩하는 서브타이틀 정보나 그래픽스 정보의 데이터(서브타이틀 데이터, 그래픽스 데이터)를 발생한다. 서브타이틀 정보는, 예를 들면 자막이다. 또한, 그래픽스 정보는, 예를 들면 로고 등이다. 이 서브타이틀 데이터 및 그래픽스 데이터는, 비트맵 데이터이다. 이 서브타이틀 데이터 및 그래픽스 데이터에는, 화상상의 중첩 위치를 나타내는 아이들링 오프셋 정보가 부가되어 있다.
이 아이들링 오프셋 정보는, 예를 들면, 화상의 좌상의 원점부터, 서브타이틀 정보나 그래픽스 정보의 중첩 위치의 좌상의 화상까지의 수직방향, 수평방향의 오프셋값을 나타낸다. 또한, 자막 데이터를 비트맵 데이터로서 전송하는 규격은, 유럽의 디지털 방송 규격인 DVB에서 DVB_Subtitling로서 규격화되어, 운용되고 있다.
서브타이틀?그래픽스 인코더(119)는, 서브타이틀?그래픽스 발생부(118)에서 발생된 서브타이틀 정보나 그래픽스 정보의 데이터(서브타이틀 데이터, 그래픽스 데이터)를 입력한다. 그리고, 이 서브타이틀?그래픽스 인코더(119)는, 이들의 데이터를 페이로드부에 포함하는 엘리멘터리 스트림을 생성한다.
텍스트 발생부(120)는, 화상에 중첩하는 텍스트 정보의 데이터(텍스트 데이터)를 발생한다. 텍스트 정보는, 예를 들면 전자 방송프로그램표, 문자 방송 내용 등이다. 이 텍스트 데이터에는, 상술한 그래픽스 데이터와 마찬가지로, 화상상의 중첩 위치를 나타내는 아이들링 오프셋 정보가 부가되어 있다. 이 아이들링 오프셋 정보는, 예를 들면, 화상의 좌상의 원점부터, 텍스트 정보의 중첩 위치의 좌상의 화상까지의 수직방향, 수평방향의 오프셋값을 나타낸다. 또한, 텍스트 데이터를 전송하는 예로서는, 방송프로그램 예약으로서 운용되고 있는 EPG, 아메리카의 디지털 지상파 규격 ATSC의 CC_data(Closed Caption)가 있다.
텍스트 인코더(121)는, 텍스트 발생부(120)에서 발생된 텍스트 데이터를 입력한다. 그리고, 텍스트 인코더(121)는, 이들의 데이터를 페이로드부에 포함하는 엘리멘터리 스트림을 생성한다.
멀티플렉서(122)는, 인코더(113, 115, 117, 119, 121)로부터 출력되는 패킷화된 엘리멘터리 스트림을 다중화한다. 그리고, 이 멀티플렉서(122)는, 전송 데이터로서의 비트 스트림 데이터(트랜스포트 스트림)(BSD)를 출력한다.
도 2에 도시하는 송신 데이터 생성부(110)의 동작을 간단히 설명한다. 카메라(111L)에서는, 좌안화상이 촬영된다. 이 카메라(111L)에서 얻어지는 입체화상 표시를 위한 좌안화상 데이터는 비디오 프레이밍부(112)에 공급된다. 또한, 카메라(111R)에서는, 우안화상이 촬영된다. 이 카메라(111R)에서 얻어지는 입체화상 표시를 위한 우안화상 데이터는 비디오 프레이밍부(112)에 공급된다. 비디오 프레이밍부(112)에서는, 좌안화상 데이터 및 우안화상 데이터가, 전송 방식에 응한 상태로 가공 처리되어, 입체화상 데이터가 얻어진다(도 4의 (a) 내지 (c) 참조).
비디오 프레이밍부(112)에서 얻어지는 입체화상 데이터는 비디오 인코더(113)에 공급된다. 이 비디오 인코더(113)에서는, 입체화상 데이터에 대해 MPEG4-AVC, MPEG2, VC-1 등의 부호화가 시행되어, 부호화 비디오 데이터를 포함하는 비디오 엘리멘터리 스트림이 생성된다. 이 비디오 엘리멘터리 스트림은 멀티플렉서(122)에 공급된다.
또한, 카메라(111L, 111R)에서 얻어진 좌안화상 데이터, 우안화상 데이터는, 비디오 프레이밍부(112)를 통하여, 시차벡터 검출부(114)에 공급된다. 이 시차벡터 검출부(114)에서는, 좌안화상 데이터 및 우안화상 데이터에 의거하여, 화상 내의 소정 위치에서, 시차 검출 블록이 설정되고, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보인 시차벡터가 검출된다.
시차벡터 검출부(114)에서 검출된 화상 내의 소정 위치에서의 시차벡터는, 시차벡터 인코더(115)에 공급된다. 이 경우, 시차 검출 블록의 ID, 시차 검출 블록의 수직위치 정보, 시차 검출 블록의 수평위치 정보, 시차벡터가 1세트로서 건네진다. 시차벡터 인코더(115)에서는, 시차벡터의 전송 내용(도 8 참조)을 포함하는 시차벡터 엘리멘터리 스트림이 생성된다. 이 시차벡터 엘리멘터리 스트림은 멀티플렉서(122)에 공급된다.
또한, 마이크로폰(116)에서는, 카메라(111L, 111R)에서 촬영된 화상에 대응한 음성이 검출된다. 이 마이크로폰(116)에서 얻어지는 음성 데이터는 오디오 인코더(117)에 공급된다. 이 오디오 인코더(117)에서는, 음성 데이터에 대해, MPEG-2Audio AAC 등의 부호화가 시행되어, 부호화 오디오 데이터를 포함하는 오디오 엘리멘터리 스트림이 생성된다. 이 오디오 엘리멘터리 스트림은 멀티플렉서(122)에 공급된다.
또한, 서브타이틀?그래픽스 발생부(118)에서는, 화상에 중첩하는 서브타이틀 정보나 그래픽스 정보의 데이터(서브타이틀 데이터, 그래픽스 데이터)가 발생된다. 이 데이터(비트맵 데이터)는, 서브타이틀?그래픽스 인코더(119)에 공급된다. 이 서브타이틀?그래픽스 데이터에는, 화상상의 중첩 위치를 나타내는 아이들링 오프셋 정보가 부가되어 있다. 서브타이틀?그래픽스 인코더(119)에서는, 이 그래픽스 데이터에 대해 소정의 부호화가 시행되어, 부호화 데이터를 포함하는 엘리멘터리 스트림이 생성된다. 이 엘리멘터리 스트림은 멀티플렉서(122)에 공급된다.
또한, 텍스트 발생부(120)에서는, 화상에 중첩하는 텍스트 정보의 데이터(텍스트 데이터)가 발생된다. 이 텍스트 데이터는, 텍스트 인코더(121)에 공급된다. 이 텍스트 데이터에는, 상술한 그래픽스 데이터와 마찬가지로, 화상상의 중첩 위치를 나타내는 아이들링 오프셋 정보가 부가되어 있다. 텍스트 인코더(121)에서는, 이 텍스트 데이터에 대해 소정의 부호화가 시행되어, 부호화 데이터를 포함하는 엘리멘터리 스트림이 생성된다. 이 엘리멘터리 스트림은 멀티플렉서(122)에 공급된다.
멀티플렉서(122)에서는, 각 인코더로부터 공급되는 엘리멘터리 스트림의 패킷이 다중화되어, 전송 데이터로서의 비트 스트림 데이터(트랜스포트 스트림)(BSD)가 얻어진다.
도 12는, 도 2에 도시하는 송신 데이터 생성부(110)에서 다중화되는 각 데이터의 스트림례를 도시하고 있다. 또한, 이 예는, 시차벡터가, 비디오의 장면 단위로 검출되어 전송되는 경우(도 10의 (b) 참조)를 나타내고 있다. 또한, 각 스트림의 패킷에는, 동기 표시용의 타임 스탬프가 붙여지고, 수신측에서, 화상에 대해, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보 등의 중첩 타이밍을 제어하는 것이 가능하게 되어 있다.
「송신 데이터 생성부의 다른 구성례」
또한, 상술한 도 2에 도시하는 송신 데이터 생성부(110)는, 시차벡터의 전송 내용(도 8 참조)을 독립한 엘리멘터리 스트림으로서 수신측에 전송하는 구성으로 되어 있다. 그러나, 시차벡터의 전송 내용을 다른 스트림중에 매입하여 전송하는 것도 생각된다. 예를 들면, 시차벡터의 전송 내용은, 비디오의 스트림에 유저 데이터로서 매입되어 전송된다. 또한, 예를 들면, 시차벡터의 전송 내용은, 서브타이틀, 그래픽스, 또는 텍스트의 스트림에 매입되어 전송된다.
도 13은, 송신 데이터 생성부(110A)의 구성례를 도시하고 있다. 이 예도, 시차벡터를 수치 정보로서 송신하는 예이다. 이 송신 데이터 생성부(110A)는, 시차벡터의 전송 내용을, 비디오의 스트림에 유저 데이터로서 매입하여 전송하는 구성으로 되어 있다. 이 도 13에서, 도 2와 대응하는 부분에는 동일 부호를 붙이고, 그 상세 설명은 생략한다.
이 송신 데이터 생성부(110A)에서, 시차벡터 검출(114)에서 검출된 화상 내의 소정 위치에서의 시차벡터는, 비디오 인코더(113) 내의 스트림 포매터(113a)에 공급된다. 이 경우, 시차 검출 블록의 ID, 시차 검출 블록의 수직위치 정보, 시차 검출 블록의 수평위치 정보, 시차벡터가 1세트로서 건네진다. 스트림 포매터(113a)에서는, 비디오의 스트림에, 시차벡터의 전송 내용(도 8 참조)이, 유저 데이터로서 매입된다.
상세 설명은 생략하지만, 이 도 13에 도시하는 송신 데이터 생성부(110A)의 기타는, 도 2에 도시하는 송신 데이터 생성부(110)와 마찬가지로 구성되고, 마찬가지로 동작한다.
「송신 데이터 생성부의 다른 구성례」
또한, 상술한 도 2에 도시하는 송신 데이터 생성부(110) 및 상술한 도 13에 도시하는 송신 데이터 생성부(110A)는, 시차벡터를 수치 정보로서 송신한다(도 8 참조). 그러나, 시차벡터를 수치 정보로서 전송하는 대신에, 화상에 중첩하기 위한 중첩정보(예를 들면, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보 등)의 데이터에 송신측에서 시차정보를 미리 반영시켜서 송신한다.
예를 들면, 그래픽스 정보의 데이터에 반영시키는 경우, 송신측에서, 좌안화상에 중첩하여야 할 좌안 그래픽스 정보와 우안화상에 중첩하여야 할 우안 그래픽스 정보의 쌍방에 대응한 그래픽스 데이터가 생성된다. 이 경우, 좌안 그래픽스 정보 및 우안 그래픽스 정보는 동일한 그래픽스 정보이다. 그러나, 화상 내의 표시 위치가, 예를 들면, 좌안 그래픽스 정보에 대해, 우안 그래픽스 정보는, 그 표시 위치에 대응한 시차벡터의 수평방향 성분만큼, 수평방향으로 시프트하도록 된다.
예를 들면, 시차벡터로서는, 화상 내의 복수 위치에서 검출된 시차벡터중, 그 중첩 위치에 대응한 것이 사용된다. 또한, 예를 들면, 시차벡터로서는, 화상 내의 복수 위치에서 검출된 시차벡터중, 원근감이라는 관점에서 가장 가깝게 인식되는 위치의 시차벡터가 사용된다. 또한, 상세 설명은 생략하지만, 서브타이틀 정보나 그래픽스 정보의 데이터에 시차정보를 반영시키는 경우도 마찬가지이다.
도 14의 (a)는, 전송 방식이 상술한 제 1의 전송 방식(「Top & Bottom」 방식)인 경우에 있어서의, 좌안 그래픽스 정보 및 우안 그래픽스 정보의 중첩 위치를 나타내고 있다. 이들 좌안 그래픽스 정보 및 우안 그래픽스 정보는 동일한 정보이다. 단, 좌안화상(IL)상에 중첩되는 좌안 그래픽스 정보(LGI)에 대해, 우안화상(IR)상에 중첩되는 우안 그래픽스 정보(RGI)는, 시차벡터의 수평방향 성분(VVT)만큼 수평방향으로 시프트한 위치로 되어 있다.
각 화상(IL, IR)에 대해, 도 14의 (a)에 도시하는 바와 같이, 각 그래픽스 정보(LGI, RGI)가 중첩되도록, 그래픽스 데이터가 생성된다. 이에 의해, 시청자는, 도 14의 (b)에 도시하는 바와 같이, 각 화상(IL, IR)과 함께, 각 그래픽스 정보(LGI, RGI)를, 시차로써 관찰할 수 있고, 그래픽스 정보에도, 원근감을 인지 가능하게 된다.
예를 들면, 각 그래픽스 정보(LGI, RGI)의 그래픽스 데이터는, 도 15의 (a)에 도시하는 바와 같이, 단일 영역의 데이터로서 생성된다. 이 경우, 각 그래픽스 정보(LGI, RGI) 이외의 부분의 데이터는, 투명 데이터로서 생성되면 좋다. 또한, 예를 들면, 각 그래픽스 정보(LGI, RGI)의 그래픽스 데이터는, 도 15의 (b)에 도시하는 바와 같이, 별도 영역의 데이터로서 생성된다.
도 16의 (a)는, 전송 방식이 상술한 제 2의 전송 방식(「Side By Side」 방식)인 경우에 있어서의, 좌안 그래픽스 정보 및 우안 그래픽스 정보의 중첩 위치를 나타내고 있다. 이들 좌안 그래픽스 정보 및 우안 그래픽스 정보는 동일한 정보이다. 단, 좌안화상(IL)상에 중첩되는 좌안 그래픽스 정보(LGI)에 대해, 우안화상(IR)상에 중첩되는 우안 그래픽스 정보(RGI)는, 시차벡터의 수평방향 성분(VVT)만큼 수평방향으로 시프트한 위치로 되어 있다. 또한, IT는, 아이들링 오프셋값이다.
각 화상(IL, IR)에 대해, 도 16의 (a)에 도시하는 바와 같이, 각 그래픽스 정보(LGI, RGI)가 중첩되도록, 그래픽스 데이터가 생성된다. 이에 의해, 시청자는, 도 16의 (b)에 도시하는 바와 같이, 각 화상(IL, IR)과 함께, 각 그래픽스 정보(LGI, RGI)를, 시차로써 관찰할 수 있고, 그래픽스 정보에도, 원근감을 인지 가능하게 된다.
예를 들면, 각 그래픽스 정보(LGI, RGI)의 그래픽스 데이터는, 도 17에 도시하는 바와 같이, 단일 영역의 데이터로서 생성된다. 이 경우, 각 그래픽스 정보(LGI, RGI) 이외의 부분의 데이터는, 투명 데이터로서 생성되면 좋다.
도 18은, 송신 데이터 생성부(110B)의 구성례를 도시하고 있다. 이 송신 데이터 생성부(110B)는, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보의 데이터에 시차정보를 반영시켜서 송신하는 구성으로 되어 있다. 이 도 18에서, 도 2와 대응하는 부분에는 동일 부호를 붙이고, 그 상세 설명은 생략한다.
이 송신 데이터 생성부(110B)에서는, 서브타이틀?그래픽스 발생부(118)와 서브타이틀?그래픽스 인코더(119) 사이에, 서브타이틀?그래픽스 처리부(124)가 삽입되어 있다. 또한, 이 송신 데이터 생성부(110B)에서는, 텍스트 발생부(120)와 텍스트 인코더(121) 사이에, 텍스트 처리부(125)가 삽입되어 있다. 그리고, 시차벡터 검출부(114)에서 검출된 화상 내의 소정 위치에서의 시차벡터는, 서브타이틀?그래픽스 처리부(124) 및 텍스트 처리부(125)에 공급된다.
서브타이틀?그래픽스 처리부(124)에서는, 좌안화상(IL), 우안화상(IR)에 중첩되는, 좌안, 우안의 서브타이틀이나 그래픽스의 정보(LGI, RGI)의 데이터가 생성된다. 이 경우, 서브타이틀?그래픽스 발생부(118)에서 발생된 서브타이틀 데이터나 그래픽스 데이터에 의거하여 발생된다. 좌안 및 우안의 서브타이틀 정보나 그래픽스 정보는 동일한 정보이다. 그러나, 화상 내의 중첩 위치가, 예를 들면, 좌안의 서브타이틀 정보나 그래픽스 정보에 대해, 우안의 서브타이틀 정보나 그래픽스 정보는, 시차벡터의 수평방향 성분(VVT)만큼, 수평방향으로 시프트하도록 된다(도 14의 (a), 도 16의 (a) 참조).
이와 같이 서브타이틀?그래픽스 처리부(124)에서 생성된 서브타이틀 데이터나 그래픽스 데이터는, 서브타이틀?그래픽스 인코더(119)에 공급된다. 또한, 이 서브타이틀 데이터나 그래픽스 데이터에는, 화상상의 중첩 위치를 나타내는 아이들링 오프셋 정보가 부가되어 있다. 서브타이틀?그래픽스 인코더(119)에서는, 서브타이틀?그래픽스 처리부(124)에서 생성된 서브타이틀 데이터나 그래픽스 데이터의 엘리멘터리 스트림이 생성된다.
또한, 텍스트 처리부(125)에서는, 텍스트 발생부(120)에서 발생된 텍스트 데이터에 의거하여, 좌안화상상에 중첩되는 좌안 텍스트 정보의 데이터 및 우안화상상에 중첩되는 우안 텍스트 정보의 데이터가 생성된다. 이 경우, 좌안 텍스트 정보 및 우안 텍스트 정보는 동일한 텍스트 정보이지만, 화상 내의 중첩 위치가, 예를 들면, 좌안 텍스트 정보에 대해, 우안 텍스트 정보는, 시차벡터의 수평방향 성분(VVT)만큼, 수평방향으로 시프트하도록 된다.
이와 같이 텍스트 처리부(125)에서 생성된 텍스트 데이터는, 텍스트 인코더(121)에 공급된다. 또한, 이 텍스트 데이터에는, 화상상의 중첩 위치를 나타내는 아이들링 오프셋 정보가 부가되어 있다. 텍스트 인코더(121)에서는, 텍스트 처리부에서 생성된 텍스트 데이터의 엘리멘터리 스트림이 생성된다.
상세 설명은 생략하지만, 이 도 18에 도시하는 송신 데이터 생성부(110B)의 기타는, 도 2에 도시하는 송신 데이터 생성부(110)와 마찬가지로 구성되고, 마찬가지로 동작한다.
「송신 데이터 생성부의 다른 구성례」
도 2에 도시하는 송신 데이터 생성부(110)는, 시차벡터 검출부(114)에서 검출된 시차벡터에 의거한 전송 내용(도 8 참조)을, 중첩정보 데이터의 개개에 대응시키는 일 없이, 그대로 수신측에 전송하는 구성으로 되어 있다. 그러나, 중첩정보 데이터마다 대응시켜진 시차정보를 전송하는 것도 생각된다.
도 19는, 송신 데이터 생성부(110C)의 구성례를 도시하고 있다. 이 송신 데이터 생성부(110C)는, 중첩정보 데이터마다 대응시켜진 시차정보를 전송하는 구성으로 되어 있다. 이 도 19에서, 도 2와 대응하는 부분에는 동일 부호를 붙이고, 그 상세 설명은 생략한다. 이 송신 데이터 생성부(110C)는, 컨트롤러(126)와, CC(Closed Caption) 인코더(127)와, Z데이터부(128)를 갖고 있다.
CC 인코더(127)는, CEA-708 준거의 인코더로서, 클로즈드?캡션의 자막 표시를 하기 위한 CC 데이터(클로즈드?캡션 정보의 데이터)를 출력한다. 컨트롤러(126)는, 이 CC 인코더(127)를 제어한다. 예를 들면, 컨트롤러(126)로부터 CC 인코더(127)에, 「Region_ID(WindowID)」, 「Location(AnchorID)」, 「Region 크기(SetPenAttribute)」의 정보 세트가 주어진다.
여기서, 「Region_ID(WindowID)」 정보는, 도 20에 도시하는 바와 같이, 「Region_ID(WindowID)」로 식별되는 클로즈드?캡션의 자막 표시를 화상(Picture)의 어느 위치에 표시하는지를 나타낸다. 또한, 「Region 크기(SetPenAttribute)」의 정보는, 도 20에 도시하는 바와 같이, 「Region_ID(WindowID)」로 식별된 클로즈드?캡션의 자막 표시를 행한 영역의 크기를 나타낸다.
Z데이터부(128)는, 중첩정보 데이터마다 대응시켜진 시차정보(시차벡터)를 출력한다. 즉, 이 Z데이터부(128)는, 클로즈드?캡션 정보에 관해서는, CC 인코더(127)로부터 출력되는 CC 데이터에 포함되는 WindowID마다, 대응시켜진 시차정보를 출력한다. 또한, 이 Z데이터부(128)는, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보 등의 중첩정보에 관해서도, 중첩정보 데이터마다 대응시켜진 시차정보를 출력한다.
도 21은, Z데이터부(128)의 구성례를 도시하고 있다. Z데이터부(128)는, 컨트롤러(126)에 의해 지정되는 Region_id 마다 시차정보를 출력한다. 여기서, Region_id에 관해 설명한다. 이 Region_id는, 클로즈드?캡션 정보, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보 등의 각 중첩정보와 시차정보와의 대응시킴을 행하기 위한 식별자로 된다.
예를 들면, Region_id의 0 내지 7은, CEA-708 규정의 CC 데이터의 Window0 내지 7에 대응한 시차정보를 식별하기 위해 할당된다. 또한, Region_id의 8 내지 15는, 장래의 확장용으로 리저브된다. 또한, Region_id의 16 이후는, 클로즈드?캡션 정보 이외의 다른 중첩정보(서브타이틀 정보, 그래픽스 정보, 텍스트 정보 등)에 대응한 시차정보를 식별하기 위해 할당된다.
또한, 서브타이틀?그래픽스 발생부(118)에서 발생되는 서브타이틀 데이터나 그래픽스 데이터, 및 텍스트 발생부(120)에서 발생되는 텍스트 데이터에는, 상술한 Region_id에 대응한 식별자가 부여되어 있다. 여기서, Region_id에 대응한 식별자란, 이 Region_id와 같은 식별자, 또는 이 Region_id에 관련시켜저 있는 식별자를 의미한다. 이에 의해, 수신측에서, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보의 각 중첩정보와, 그 중첩정보에 대해 사용하여야 할 시차정보와의 대응시킴이 가능하게 된다.
Z데이터부(128)는, 상술한 바와 같이 Region_id마다 시차정보를 출력한다. Z데이터부(128)는, 예를 들면, 유저 조작에 의거한 컨트롤러(126)의 전환 제어에 의해, 결정 시차벡터 또는 설정 시차벡터를, 시차정보로서 선택적으로 출력한다. 결정 시차벡터는, 시차벡터 검출부(114)에서 검출된 복수개의 시차벡터에 의거하여 결정된 시차벡터이다. 설정 시차벡터는, 예를 들면, 소정의 프로그램 처리, 또는 유저의 매뉴얼 조작에 의해 설정된 시차벡터이다.
최초에, 결정 시차벡터를 시차정보로서 출력하는 경우에 관해 설명한다. 이 경우, 클로즈드?캡션 정보에 관련하여, 컨트롤러(126)로부터 Z데이터부(128)에, 상술한 「Region_ID(WindowID)」, 「Location(AnchorID)」, 「Region 크기(SetPenAttribute)」의 정보 세트가 공급된다. 또한, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보 등의 각 중첩정보에 관련하여, 컨트롤러(126)로부터 Z데이터부(128)에, 「Region_ID」, 「Location」, 「Region 크기」의 정보 세트가 공급된다.
또한, 시차벡터 검출부(114)로부터 Z데이터부(114)에, 복수개, 여기서는 N개의 시차벡터(Dv0 내지 DvN)가 입력된다. 이 N개의 시차벡터(Dv0 내지 DvN)는, 시차벡터 검출부(114)에서, 좌안화상 데이터 및 우안화상 데이터에 의거하여, 화상 내의 N개의 위치에서 검출된 시차벡터이다.
Z데이터부(128)는, Region_id마다, N개의 시차벡터(Dv0 내지 DvN)로부터, 「Location」 및 「Region 크기」의 정보로 결정되는 중첩정보의 표시 영역에 관련하는 시차벡터를 추출한다. 예를 들면, 표시 영역에 관련하는 시차벡터로서는, 검출 위치가 표시 영역 내에 있는 하나 또는 복수의 시차벡터가 존재할 때는, 그 시차벡터가 선택된다. 또한, 예를 들면, 표시 영역에 관련하는 시차벡터로서는, 검출 위치가 표시 영역 내에 있는 하나 또는 복수의 시차벡터가 존재하지 않는 때는, 표시 영역의 부근에 위치하는 하나 또는 복수의 시차벡터가 선택된다. 도시한 예에서는, 표시 영역에 관련하는 시차벡터로서, Dv2 내지 Dvn이 선택되어 있다.
그리고, Z데이터부(128)는, 표시 영역에 관련하는 시차벡터로부터, 예를 들면, 부호 붙임의 값이 최대의 것을 선택하여, 결정 시차벡터(DzD)로 한다. 상술한 바와 같이, 시차벡터는, 수직방향 성분(View_Vector_Vertical)과 수평방향 성분(View_Vector_Horizontal)으로 이루어저 있지만, 여기서의 부호 붙임의 값으로서는, 예를 들면 수평방향 성분의 값만이 이용된다. 수신측에서, 좌안화상 및 우안화상에 중첩하는 클로즈드?캡션 정보 등의 중첩정보를 시차정보에 의거하여 수평방향으로 시프트하는 처리를 행하는 것이고, 수평방향 성분이 중요하기 때문이다.
또한, 상술한 바와 같이 Region_id마다 결정된 결정 시차벡터(DzD)에는, 클로즈드?캡션 정보 이외의 다른 중첩정보에 대응하는 것에서는, 컨트롤러(126)의 제어에 의해, 중첩 위치를 나타내는 정보와 표시시간을 나타내는 정보가 부가된다. 중첩 위치를 나타내는 정보는, 예를 들면, 수직방향 위치 정보(Vertical_Position) 및 수평방향 위치 정보(Horizontal_Position)이다. 또한, 표시시간을 나타내는 정보는, 예를 들면, 표시 계속 시간에 대응한 프레임수 정보(Duration_Counter)이다. 클로즈드?캡션 정보의 경우에는, CC 데이터 내에 중첩 위치 및 표시시간의 제어 데이터가 포함되어 있기 때문에, 이러한 정보를 별도 보낼 필요는 없다.
다음에, 설정 시차벡터를 시차정보로서 출력하는 경우에 관해 설명한다. 이 경우, 컨트롤러(126)는, 소정의 프로그램 처리, 또는 유저의 매뉴얼 조작에 의해, Region_id마다 시차벡터를 설정한다. 예를 들면, 중첩정보의 중첩 위치에 응하여 다른 시차벡터를 설정하고, 또는 중첩 위치에 의하지 않고서 공통의 시차정보를 설정하고, 또는 중첩정보의 종류별로 다른 시차정보를 설정한다. Z데이터부(128)는, 이와 같이 설정된 Region_id마다의 시차벡터를, 설정 시차벡터(DzD')로 한다. 여기서, 중첩정보의 종류란, 예를 들면, 클로즈드?캡션 정보, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보 등의 종류이다. 또한, 이 중첩정보의 종류란, 예를 들면, 중첩 위치나 중첩 계속 시간 등에 의해 구분되는 종류이다.
또한, 컨트롤러(126)에 의해 Region_id마다 설정되는 시차벡터는, 실질적으로는 수평방향 성분만을 설정하면 좋다. 이것은, 상술한 바와 같이, 수신측에서, 좌안화상 및 우안화상에 중첩하는 클로즈드?캡션 정보 등의 중첩정보를 시차정보에 의거하여 수평방향으로 시프트하는 처리를 행하는 것이고, 수평방향 성분이 중요하기 때문이다. 또한, 이 설정 시차벡터(DzD')에도, 상술한 결정 시차벡터(DzD)와 마찬가지로, 클로즈드?캡션 정보 이외의 다른 중첩정보에 대응하는 것에서는, 컨트롤러(126)의 제어에 의해, 중첩 위치를 나타내는 정보와 표시시간을 나타내는 정보가 부가된다.
도 19로 되돌아와, CC 인코더(127)로부터 출력되는 CC 데이터 및 Z데이터부(128)로부터 출력되는 시차정보(DzD/DzD', 필요에 응하여 중첩 위치 정보, 표시시간 정보를 포함한다)는, 비디오 인코더(113)의 스트림 포매터(113a)에 보내진다. 스트림 포매터(113a)에서는, 비디오 엘리멘터리 스트림에, CC 데이터 및 시차정보가 유저 데이터로서 매입된다.
도 22는, 비디오 엘리멘터리 스트림(Video Elementary Stream)의 구조예를 개략적으로 도시하고 있다. 비디오 엘리멘터리 스트림에는, 선두에, 시퀀스 단위의 파라미터를 포함하는 시퀀스 헤더부가 배치되어 있다. 이 시퀀스 헤더부에 계속해서, 화상 단위의 파라미터 및 유저 데이터를 포함하는 화상 헤더가 배치되어 있다. 이 화상 헤더부에 계속해서 픽처 데이터를 포함하는 페이로드부가 배치된다. 이하, 화상 헤더부 및 페이로드부가 반복 배치되어 있다.
상기한 바와 같이 CC 데이터 및 시차정보는, 화양 헤더부의 유저 데이터 영역에 매입된다. 도 23은, 유저 데이터의 구성례를 도시하고 있다. 도 23의 (a)는, 부호화 방식이 MPEG2인 경우의 유저 데이터의 구성을 도시하고 있다. 도 23의 (b)는, 부호화 방식이 H.264 AVC(MPEG4-AVC)인 경우의 유저 데이터의 구성을 도시하고 있다. 또한, 도 23의 (c)는, 부호화 방식이 VC-1인 경우의 유저 데이터의 구성을 도시하고 있다.
상세 설명은 생략하지만, 각 방식의 유저 데이터의 구성은 거의 같은 구성으로 되어 있다. 즉, 최초에, 유저 데이터의 시작을 나타내는 코드가 배치되고, 그 후에, 데이터의 종류를 나타내는 식별자「user_identifier」가 배치되고, 또한 그 후에, 데이터 본체「user_structure」가 배치되어 있다.
도 24는, 「user_structure」의 구성례를 도시하고 있다. 「Data_Length」는, 이 「user_structure」의 데이터 사이즈를 나타낸다. 「Page_id」는, 데이터 그룹 ID로서 자막 언어 식별에 이용되는 경우도 있지만, 자막 데이터의 패턴에 대응하는 것으로, 이 「user_structure」의 페이지를 식별하는 식별자이다. 「Number_of_ViewBlocksN」은, 이 「user_structure」에, N개의 Region_id의 시차정보 등이 포함되어 있는 것을 나타낸다.
「ID_Block(i)」는, Region_id(i)를 나타낸다. 「2D_object_posion_flag」는, ID_Block(i)의 정보로서 포함되어 있는 중첩 위치 정보(2D용의 중첩정보의 표시 위치의 정보)를 참조하는지의 여부를 나타내는 플래그이다. 이 플래그가 서 있는 경우에는, 이 중첩 위치 정보를 참조하는 것을 나타낸다. 이 경우, ID_Block(i)의 정보로서, 중첩 위치 정보(「Vertical_Position」, 「Horizontal_Position」)가 포함된다. 「Vertical_Position」은, 2D용의 중첩정보의 수직방향 위치를 나타낸다. 「Horizontal_Position」은, 2D용의 중첩정보의 수평방향 위치를 나타낸다.
상술한 CC 인코더(127)로부터 출력되는 CC 데이터 내에 중첩 위치의 제어 데이터가 포함되어 있다. 그 때문에, 예를 들면, ID_Block(i)가 클로즈드?캡션 정보에 대응하고 있는 경우, 「2D_object_posion_flag」는 서 있지 않다. 그리고, ID_Block(i)의 정보로서 중첩 위치 정보(「Vertical_Position」, 「Horizontal_Position」)는, 포함되지 않는다.
「3D_disparity_flag」는, ID_Block(i)의 정보로서, 시차정보(시차벡터)가 포함되어 있는지의 여부를 나타낸다. 이 플래그가 서 있는 경우에는, 시차정보가 포함되어 있는 것을 나타낸다. 「View_Vector_Vertical」은, 시차벡터의 수직방향 성분을 나타낸다. 「View_Vector_Horizontal」은, 시차벡터의 수평방향 성분을 나타낸다. 또한, 이 예에서는, 「View_Vector_Vertical」 및 「View_Vector_Horizontal」의 쌍방이 포함되어 있다. 그러나, 수평방향 성분만을 사용할 때에는, 「View_Vector_Horizontal」만이 포함되도록 하여도 좋다.
「Status_Count_flag」는, ID_Block(i)의 정보로서, 중첩정보의 표시시간 정보를 참조하는지의 여부를 나타내는 플래그이다. 이 플래그가 서 있는 경우에는, 표시시간 정보를 참조하는 것을 나타낸다. 이 경우, ID_Block(i)의 정보로서, 예를 들면, 표시 계속 시간에 대응한 프레임 수를 나타내는 정보「Duration_Counter」가 포함된다. 수신측에서, 중첩정보의 표시는 시스템 레이어의 타임 스탬프로 시작되지만, 이 표시 계속 시간에 대응한 프레임 수의 경과 후에, 중첩정보의 표시(시차정보에 의한 효과를 포함한다)가 리셋된다. 이에 의해, 같은 정보를 화상마다 반복하여 보낼 필요는 없어진다.
상술한 CC 인코더(127)로부터 출력되는 CC 데이터 내에 표시시간의 제어 데이터가 포함되어 있다. 그 때문에, ID_Block(i)가 클로즈드?캡션 정보에 대응하고 있는 경우, 「Status_Count_flag」는 서고 있지 않고, ID_Block(i)의 정보로서 정보「Duration_Counter」는 포함되지 않는다.
상세 설명은 생략하지만, 이 도 19에 도시하는 송신 데이터 생성부(110C)의 기타는, 도 2에 도시하는 송신 데이터 생성부(110)와 마찬가지로 구성되고, 마찬가지로 동작한다.
「송신 데이터 생성부의 다른 구성례」
도 19에 도시하는 송신 데이터 생성부(110C)는, Z데이터부(128)로부터의 시차정보를 비디오 엘리멘터리 스트림에 유저 데이터로서 매입되어 전송된다. 그러나, 이 Z데이터부(128)로부터의 시차정보를 독립한 엘리멘터리 스트림으로서 수신측에 전송하는 것도 생각된다.
도 25는, 송신 데이터 생성부(110D)의 구성례를 도시하고 있다. 이 도 25에서, 도 19와 대응하는 부분에는 동일 부호를 붙이고, 그 상세 설명은 생략한다. 이 송신 데이터 생성부(110D)는, 시차정보 인코더(129)를 갖고 있다. Z데이터부(128)로부터 출력되는 Region_id마다의 시차정보(DzD/DzD', 필요에 응하여 위치 정보, 시간 정보를 포함한다)는, 시차정보 인코더(129)에 보내진다.
이 시차정보 인코더(129)에서는, 시차정보를 포함하는 시차정보 엘리멘터리 스트림이 생성된다. 이 시차정보 엘리멘터리 스트림은 멀티플렉서(122)에 공급된다. 그리고, 멀티플렉서(122)에서는, 시차정보 인코더(129)를 포함하는 각 인코더로부터 공급되는 엘리멘터리 스트림의 패킷이 다중화되고, 전송 데이터로서의 비트 스트림 데이터(트랜스포트 스트림)(BSD)가 얻어진다.
상세 설명은 생략하지만, 이 도 25에 도시하는 송신 데이터 생성부(110D)의 기타는, 도 19에 도시하는 송신 데이터 생성부(110)와 마찬가지로 구성되고, 마찬가지로 동작한다.
「송신 데이터 생성부의 다른 구성례」
도 18에 도시하는 송신 데이터 생성부(110B)는, 중첩정보로서 서브타이틀 정보, 그래픽스 정보 및 텍스트 정보를 취급하고 있다. 이 도 18에 도시하는 송신 데이터 생성부(110B)와 같은 구성으로, 또한 클로즈드?캡션 정보를 취급하는 구성도 생각된다.
도 26은, 송신 데이터 생성부(110E)의 구성례를 도시하고 있다. 이 예는, 시차벡터를 수치 정보로서 전송하는 대신에, 화상에 중첩하기 위한 중첩정보(예를 들면, 클로즈드?캡션 정보, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보 등)의 데이터에 시차정보를 반영시켜서 전송하는 구성으로 되어 있다. 이 도 26에서, 도 18 및 도 19와 대응하는 부분에는 동일 부호를 붙이고, 그 상세 설명은 생략한다.
이 도 26의 송신 데이터 생성부에서, CC 인코더(127)와 스트림 포매터(113a) 사이에, CC 데이터 처리부(130)가 삽입되어 있다. 그리고, 시차벡터 검출부(114)에서 검출된 화상 내의 소정 위치에서의 시차벡터는, CC 데이터 처리부(130)에 공급된다.
CC 데이터 처리부(130)에서는, CC 인코더(127)에서 발생되는 CC 데이터에 의거하여, 좌안화상상에 중첩되는 좌안 클로즈드?캡션 정보의 데이터 및 우안화상상에 중첩되는 우안 클로즈드?캡션 정보의 데이터가 생성된다. 이 경우, 좌안 클로즈 캡션 정보 및 우안 클로즈 캡션 정보는 동일한 정보이다. 그러나, 화상 내의 중첩 위치가, 예를 들면, 좌안 클로즈드?캡션 정보에 대해, 우안 클로즈드?캡션 정보는, 시차벡터의 수평방향 성분(VVT)만큼, 수평방향으로 시프트하도록 된다.
이와 같이 CC 데이터 처리부(130)에서 처리된 후의 CC 데이터는, 비디오 인코더(113)의 스트림 포매터(113a)에 공급된다. 스트림 포매터(113a)에서는, CC 데이터 처리부(130)로부터의 CC 데이터가 비디오 엘리멘터리 스트림에 유저 데이터로서 매입된다.
상세 설명은 생략하지만, 이 도 26에 도시하는 송신 데이터 생성부(110E)의 기타는, 도 18에 도시하는 송신 데이터 생성부(110B)와 마찬가지로 구성되고, 마찬가지로 동작한다.
[세트 톱 박스의 설명]
도 1로 되돌아와, 세트 톱 박스(200)는, 방송국(100)으로부터 방송파에 실어서 송신되어 오는 비트 스트림 데이터(트랜스포트 스트림)를 수신한다. 이 비트 스트림 데이터에는, 좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터, 음성 데이터, 중첩정보 데이터, 나아가서는 시차정보(시차벡터)가 포함된다. 여기서, 중첩정보 데이터는, 예를 들면 클로즈드?캡션 데이터, 서브타이틀 데이터, 그래픽스 데이터, 텍스트 데이터 등이다.
세트 톱 박스(200)는, 비트 스트림 처리부(201)를 갖고 있다. 이 비트 스트림 처리부(201)는, 비트 스트림 데이터로부터, 입체화상 데이터, 음성 데이터, 중첩정보 데이터, 시차벡터 등을 추출한다. 이 비트 스트림 처리부(201)는, 입체화상 데이터, 중첩정보 데이터(서브타이틀 데이터, 그래픽스 데이터, 텍스트 데이터, CC(Closed Caption) 데이터) 등을 이용하여, 중첩정보가 중첩되는 좌안화상 및 우안화상의 데이터를 생성한다.
여기서, 시차벡터가 수치 정보로서 송신되어 오는 경우에는, 시차벡터와 중첩정보 데이터에 의거하여, 좌안화상, 우안화상에 각각 중첩하는 좌안 중첩정보, 우안 중첩정보를 생성한다. 이 경우, 좌안 중첩정보 및 우안 중첩정보는 동일한 중첩정보이다. 그러나, 화상 내의 중첩 위치가, 예를 들면, 좌안 중첩정보에 대해, 우안 중첩구 정보는, 시차벡터의 수평방향 성분만큼, 수평방향으로 시프트하도록 된다.
도 27의 (a)는, 전송 방식이 상술한 제 2의 전송 방식(「Side By Side」 방식)인 경우에 있어서의, 좌안 그래픽스 정보 및 우안 그래픽스 정보의 중첩 위치를 나타내고 있다. 좌안화상(IL)상에 중첩되는 좌안 그래픽스 정보(LGI)에 대해, 우안화상(IR)상에 중첩되는 우안 그래픽스 정보(RGI)는, 시차벡터의 수평방향 성분(VVT)만큼 수평방향으로 시프트한 위치로 되어 있다. 또한, IT는, 아이들링 오프셋값이다.
비트 스트림 처리부(201)에서는, 각 화상(IL, IR)에 대해 각 그래픽스 정보(LGI, RGI)가 도 27의 (a)에 도시하는 바와 같이 중첩되도록, 그래픽스 데이터가 생성된다. 비트 스트림 처리부(201)는, 비트 스트림 데이터로부터 추출된 입체화상 데이터(좌안화상 데이터, 우안화상 데이터)에 대해, 생성된 좌안 그래픽스 데이터, 우안 그래픽스 데이터를 합성하여, 처리 후의 입체화상 데이터를 취득한다. 이 입체화상 데이터에 의하면, 시청자는, 도 27의 (b)에 도시하는 바와 같이, 각 화상(IL, IR)과 함께, 각 그래픽스 정보(LGI, RGI)를, 시차로써 관찰할 수 있고, 그래픽스 정보에도, 원근감을 인지 가능하게 된다.
또한, 도 28의 (a)는, 각 화상(IL, IR)에 대해, 비트 스트림 데이터로부터 추출된 그래픽스 데이터에 의한 그래픽스 화상을 그대로 중첩한 상태를 도시하고 있다. 이 경우, 시청자는, 도 28의 (b)에 도시하는 바와 같이, 좌안화상(IL)과 함께 그래픽스 정보의 좌반분, 우안화상(IR)과 함께 그래픽스 정보의 우반분을 관찰한다. 그 때문에, 그래픽스 정보를 올바르게 인식할 수가 없게 된다.
도 27은, 그래픽스 정보의 경우를 도시하였지만, 그 밖의 중첩정보(클로즈드?캡션 정보, 서브타이틀 정보, 텍스트 정보 등)에 관해서도 마찬가지이다. 즉, 시차벡터가 수치 정보로서 송신되어 오는 경우에는, 시차벡터와 중첩정보 데이터 데이터에 의거하여, 좌안화상, 우안화상에 각각 중첩하는 좌안 중첩정보, 우안 중첩정보를 생성한다. 이 경우, 좌안 중첩정보 및 우안 중첩정보는 동일한 중첩정보이다. 그러나, 화상 내의 중첩 위치가, 예를 들면, 좌안 중첩정보에 대해, 우안 중첩정보는, 시차벡터의 수평방향 성분만큼, 수평방향으로 시프트하도록 된다.
여기서, 좌안 중첩정보와 우안 중첩정보와의 사이에 시차를 주는 시차벡터로서는, 이하의 시차벡터를 이용하는 것이 생각된다. 예를 들면, 시차벡터로서는, 화상 내의 복수 위치에서 검출된 시차벡터중, 원근감이라는 관점에서 가장 가깝게 인식되는 위치의 시차벡터를 사용하는 것이 생각된다. 도 29의 (a), (b), (c), (d)는, 각각 시각(T0, T1, T2, T3)에서의 3개의 오브젝트 위치의 시차벡터(View Vector)를 나타내고 있다.
시각(T0)에서는, 오브젝트(1)에 대응한 위치(H0, V0)에서의 시차벡터(VV0-1)가 최대의 시차벡터(MaxVV(T0))로 되어 있다. 시각(T1)에서는, 오브젝트(1)에 대응한 위치(H1, V1)에서의 시차벡터(VV1-1)가 최대의 시차벡터(MaxVV(T1))로 되어 있다. 시각(T2)에서는, 오브젝트(2)에 대응한 위치(H2, V2)에서의 시차벡터(VV2-2)가 최대의 시차벡터(MaxVV(T2))로 되어 있다. 시각(T3)에서는, 오브젝트(1)에 대응한 위치(H3, V3)에서의 시차벡터(VV3-0)가 최대의 시차벡터(MaxVV(T3))로 되어 있다.
이와 같이, 시차벡터로서, 화상 내의 복수 위치에서 검출된 시차벡터중, 원근감이라는 관점에서 가장 가깝게 인식되는 위치의 시차벡터를 사용함으로써, 원근감이라는 관점에서 가장 가까운 화상 내의 물체보다도 앞에, 중첩정보를 표시할 수 있다.
도 30의 (a)는, 화상상에서의 자막(예를 들면, 클로즈드?캡션 정보, 서브타이틀 정보)의 표시예를 도시하고 있다. 이 표시예에서는, 배경과 근경 오브젝트로 이루어지는 화상상에, 자막이 중첩된 예이다. 도 30의 (b)는, 배경, 근경 오브젝트, 자막의 원근감을 나타내고, 자막이 가장 가깝게 있도록 인식되는 것을 나타내고 있다.
도 31의 (a)는, 도 30의 (a)와 같은, 화상상에서의 자막(예를 들면, 클로즈드?캡션 정보, 서브타이틀 정보)의 표시예를 도시하고 있다. 도 31의 (b)는, 자막을 표시하기 위한 좌안 서브타이틀 정보(LGI)와, 우안 서브타이틀 정보(RGI)를 나타내고 있다. 도 31의 (c)는, 자막이 가장 가깝게 있도록 인식되기 위해, 각 서브타이틀 정보(LGI, RGI)에 시차가 주어지는 것을 나타내고 있다.
또한, 시차벡터로서는, 화상 내의 복수 위치에서 검출된 시차벡터중, 그 중첩 위치에 대응한 것을 사용하는 것이 생각된다. 도 32의 (a)는, 비트 스트림 데이터로부터 추출된 그래픽 데이터에 의한 그래픽 정보와, 비트 스트림 데이터로부터 추출되는 텍스트 데이터에 의한 텍스트 정보를 나타내고 있다.
도 32의 (b)는, 좌안화상에, 좌안 그래픽스 정보(LGI) 및 좌안 텍스트 정보(LTI)가 중첩된 상태를 도시하고 있다. 이 경우, 좌안 그래픽스 정보(LGI)는, 그 중첩 위치가 수평방향으로는 아이들링 오프셋값(IT-0)으로 규제되어 있다. 또한, 좌안 텍스트 정보(LTI)는, 그 중첩 위치가 수평방향으로는 아이들링 오프셋값(IT-1)으로 규제되어 있다.
도 32의 (c)는, 우안화상에, 우안 그래픽스 정보(RGI) 및 우안 텍스트 정보(RTI)가 중첩된 상태를 도시하고 있다. 이 경우, 우안 그래픽스 정보(RGI)는, 그 중첩 위치가 수평방향으로는 아이들링 오프셋값(IT-0)으로 규제되고, 또한 이 중첩 위치에 대응한 시차벡터의 수평방향 성분(VVT-0)만큼, 좌안 그래픽스 정보(LGI)의 중첩 위치에서 시프트되어 있다. 또한, 우안 텍스트 정보(RTI)는, 그 중첩 위치가 수평방향으로는 아이들링 오프셋값(IT-1)으로 규제되고, 또한 이 중첩 위치에 대응한 시차벡터의 수평방향 성분(VVT-1)만큼, 좌안 텍스트 정보(LTI)의 중첩 위치에서 시프트되어 있다.
상술에서는, 좌안화상 및 우안화상에, 비트 스트림 데이터로부터 추출된 그래픽스 데이터에 의한 그래픽스 정보, 또는 비트 스트림 데이터로부터 추출된 텍스트 데이터에 의한 텍스트 정보를 중첩하는 경우를 설명하였다. 이 밖에, 세트 톱 박스(200) 내에서 그래픽스 데이터 또는 텍스트 데이터가 발생되고, 그것들에 의한 정보를, 좌안화상 및 우안화상에, 중첩하는 경우도 생각된다.
그 경우에도, 비트 스트림 데이터로부터 추출된 화상 내의 소정 위치의 시차벡터를 이용하여, 좌안 그래픽스 정보와 우안 그래픽스 정보 사이, 또는 좌안 텍스트 정보와 우안 텍스트 정보 사이에, 시차를 갖게 할 수 있다. 이에 의해, 그래픽스 정보, 텍스트 정보의 표시에서, 화상 내의 각 물체(오브젝트)의 원근감의 사이에서 원근감의 정합성의 유지를 도모한 적절한 원근감을 부여할 수 있다.
도 33의 (a)는, 화상 내에 A, B, C의 각 오브젝트가 존재하고, 예를 들면, 이들 각 오브젝트의 부근 위치에, 각 오브젝트의 주석을 나타내는 텍스트 정보를 중첩하는 것을 나타내고 있다. 도 33의 (b)는, A, B, C의 각 오브젝트의 위치와, 그 위치에서의 시차벡터의 대응을 나타내는 시차벡터 리스트와, 각각의 시차벡터를, A, B, C의 각 오브젝트의 주석을 나타내는 텍스트 정보에 시차를 주는 경우에 이용하는 것을 나타내고 있다. 예를 들면, A의 오브젝트의 부근에는 「Text」의 텍스트 정보가 중첩되는데, 그 좌안 텍스트 정보와 우안 텍스트 정보 사이에는, A의 오브젝트의 위치(Ha, Va)에서의 시차벡터(VV-a)에 대응한 시차가 주어진다. 또한, B, C의 오브젝트의 부근에 중첩되는 텍스트 정보에 관해서도 마찬가지이다.
또한, 도 32는, 중첩정보가 그래픽스 정보 및 텍스트 정보인 경우를 나타내고 있다. 또한, 도 33은, 중첩정보가 텍스트 정보인 경우를 나타내고 있다. 상세 설명은 생략하지만, 그 밖의 중첩정보(클로즈드?캡션 정보, 서브타이틀 정보 등)의 경우도 마찬가지이다.
다음에, 시차벡터가, 중첩정보(클로즈드?캡션 정보, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보 등)의 데이터에 미리 반영되어 송신되어 오는 경우에 관해 설명한다. 이 경우, 비트 스트림 데이터로부터 추출된 중첩정보 데이터에는, 시차벡터에 의해 시차가 주어진, 좌안 중첩정보 및 우안 중첩정보의 데이터가 포함되어 있다.
그 때문에, 비트 스트림 처리부(201)는, 비트 스트림 데이터로부터 추출된 입체화상 데이터(좌안화상 데이터, 우안화상 데이터)에 대해, 비트 스트림 데이터로부터 추출된 중첩정보 데이터를 단지 합성하여, 처리 후의 입체화상 데이터를 취득한다. 또한, 클로즈드?캡션 데이터나 텍스트 데이터에 관해서는, 캐릭터 코드를 비트맵 데이터로 변환하는 등의 처리는 필요하다.
[세트 톱 박스의 구성례]
세트 톱 박스(200)의 구성례를 설명한다. 도 34는, 세트 톱 박스(200)의 구성례를 도시하고 있다. 이 세트 톱 박스(200)는, 비트 스트림 처리부(201)와, HDMI 단자(202)와, 안테나 단자(203)와, 디지털 튜너(204)와, 영상 신호 처리 회로(205)와, HDMI 송신부(206)와, 음성 신호 처리 회로(207)를 갖고 있다. 또한, 이 세트 톱 박스(200)는, CPU(211)와, 플래시 ROM(212)과, DRAM(213)과, 내부 버스(214)와, 리모트 콘트롤 수신부(215)와, 리모트 콘트롤 송신기(216)를 갖고 있다.
안테나 단자(203)는, 수신 안테나(도시 생략)에서 수신된 텔레비전 방송 신호를 입력하는 단자이다. 디지털 튜너(204)는, 안테나 단자(203)에 입력된 텔레비전 방송 신호를 처리하여, 유저의 선택 채널에 대응한 소정의 비트 스트림 데이터(트랜스포트 스트림)를 출력한다.
비트 스트림 처리부(201)는, 상술한 바와 같이, 비트 스트림 데이터로부터 입체화상 데이터(좌안화상 데이터, 우안화상 데이터), 음성 데이터, 중첩정보 데이터, 시차정보(시차벡터) 등을 추출한다. 중첩정보 데이터는, 클로즈드?캡션 데이터, 서브타이틀 데이터, 그래픽스 데이터, 텍스트 데이터 등이다. 이 비트 스트림 처리부(201)는, 상술한 바와 같이, 입체화상 데이터에 대해, 중첩정보(클로즈드?캡션 정보, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보 등)의 데이터를 합성하여, 표시용 입체화상 데이터를 취득한다. 또한, 비트 스트림 처리부(201)는, 음성 데이터를 출력한다. 비트 스트림 처리부(201)의 상세 구성은 후술한다.
영상 신호 처리 회로(205)는, 비트 스트림 처리부(201)로부터 출력되는 입체화상 데이터에 대해 필요에 응하여 화질 조정 처리 등을 행하여, 처리 후의 입체화상 데이터를 HDMI 송신부(206)에 공급한다. 음성 신호 처리 회로(207)는, 비트 스트림 처리부(201)로부터 출력되는 음성 데이터에 대해 필요에 응하여 음질 조정 처리 등을 행하여, 처리 후의 음성 데이터를 HDMI 송신부(206)에 공급한다.
HDMI 송신부(206)는, HDMI에 준거한 통신에 의해, 베이스밴드의 화상(영상)과 음성의 데이터를, HDMI 단자(202)로부터 송출한다. 이 경우, HDMI의 TMDS 채널로 송신하기 위해, 화상 및 음성의 데이터가 패킹되어, HDMI 송신부(206)로부터 HDMI 단자(202)에 출력된다. 이 HDMI 송신부(206)의 상세는 후술한다.
CPU(211)는, 세트 톱 박스(200)의 각 부분의 동작을 제어한다. 플래시 ROM(212)은, 제어 소프트웨어의 격납 및 데이터의 보관을 행한다. DRAM(213)은, CPU(211)의 워크 에어리어를 구성한다. CPU(211)는, 플래시 ROM(212)으로부터 판독한 소프트웨어나 데이터를 DRAM(213)상에 전개하여 소프트웨어를 기동시켜, 세트 톱 박스(200)의 각 부분을 제어한다.
리모트 콘트롤 수신부(215)는, 리모트 콘트롤 송신기(216)로부터 송신된 리모트 콘트롤 신호(리모트 콘트롤 코드)를 수신하고, CPU(211)에 공급한다. CPU(211)는, 이 리모트 콘트롤 코드에 의거하여, 세트 톱 박스(200)의 각 부분을 제어한다. CPU(211), 플래시 ROM(212) 및 DRAM(213)은 내부 버스(214)에 접속되어 있다.
세트 톱 박스(200)의 동작을 간단히 설명한다. 안테나 단자(203)에 입력된 텔레비전 방송 신호는 디지털 튜너(204)에 공급된다. 이 디지털 튜너(204)에서는, 텔레비전 방송 신호가 처리되어, 유저의 선택 채널에 대응한 소정의 비트 스트림 데이터(트랜스포트 스트림)가 출력된다.
디지털 튜너(204)로부터 출력되는 비트 스트림 데이터는, 비트 스트림 처리부(201)에 공급된다. 이 비트 스트림 처리부(201)에서는, 비트 스트림 데이터로부터 입체화상 데이터(좌안화상 데이터, 우안화상 데이터), 음성 데이터, 그래픽스 데이터, 텍스트 데이터, 시차벡터 등이 추출된다. 또한, 이 비트 스트림 처리부(201)에서는, 입체화상 데이터에 대해, 중첩정보(클로즈드?캡션 정보, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보 등)의 데이터가 합성되어, 표시용 입체화상 데이터가 생성된다.
비트 스트림 처리부(201)에서 생성되는 표시용 입체화상 데이터는, 영상 신호 처리 회로(205)에서 필요에 응하여 화질 조정 처리 등이 행하여진 후에, HDMI 송신부(206)에 공급된다. 또한, 비트 스트림 처리부(201)에서 얻어지는 음성 데이터는, 음성 신호 처리 회로(207)에서 필요에 응하여 음질 조정 처리 등이 행하여진 후에, HDMI 송신부(206)에 공급된다. HDMI 송신부(206)에 공급된 입체화상 데이터 및 음성 데이터는, HDMI의 TMDS 채널에 의해, HDMI 단자(202)로부터 HDMI 케이블(400)에 송출된다.
「비트 스트림 처리부의 구성례」
도 35는, 비트 스트림 처리부(201)의 구성례를 도시하고 있다. 이 비트 스트림 처리부(201)는, 상술한 도 2에 도시하는 송신 데이터 생성부(110)에 대응시킨 구성으로 되어 있다. 이 비트 스트림 처리부(201)는, 디멀티플렉서(220)와, 비디오 디코더(221)와, 서브타이틀?그래픽스 디코더(222)와, 텍스트 디코더(223)와, 오디오 디코더(224)와, 시차벡터 디코더(225)를 갖고 있다. 또한, 이 비트 스트림 처리부(201)는, 입체화상용 서브타이틀?그래픽스 발생부(226)와, 입체화상용 텍스트 발생부(227)와, 비디오 중첩부(228)와, 멀티채널 스피커 컨트롤부(229)를 갖고 있다.
디멀티플렉서(220)는, 비트 스트림 데이터(BSD)로부터, 비디오, 오디오, 시차벡터, 서브타이틀이나 그래픽스 및 텍스트의 패킷을 추출하고, 각 디코더에 보낸다.
비디오 디코더(221)는, 상술한 송신 데이터 생성부(110)의 비디오 인코더(113)와는 반대의 처리를 행한다. 즉, 이 비디오 디코더(221)는, 디멀티플렉서(220)에서 추출된 비디오의 패킷으로부터 비디오의 엘리멘터리 스트림을 재구성하고, 복호화 처리를 행하여, 좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터를 얻는다. 입체화상 데이터의 전송 방식은, 예를 들면, 상술한 제 1의 전송 방식(「Top & Bottom」 방식), 제 2의 전송 방식(「Side By Side」 방식), 제 3의 전송 방식, (「Frame Sequential」 방식) 등이다(도 4의 (a) 내지 (c) 참조).
서브타이틀?그래픽스 디코더(222)는, 상술한 송신 데이터 생성부(110)의 서브타이틀?그래픽스 인코더(119)와는 반대의 처리를 행한다. 즉, 이 서브타이틀?그래픽스 디코더(222)는, 디멀티플렉서(220)에서 추출된 서브타이틀이나 그래픽스의 패킷으로부터 서브타이틀이나 그래픽스의 엘리멘터리 스트림을 재구성한다. 그리고, 이 서브타이틀?그래픽스 디코더(222)는, 또한 복호화 처리를 행하여, 서브타이틀 데이터나 그래픽스 데이터를 얻는다.
텍스트 디코더(223)는, 상술한 송신 데이터 생성부(110)의 텍스트 인코더(121)와는 반대의 처리를 행한다. 즉, 이 텍스트 디코더(223)는, 디멀티플렉서(220)에서 추출된 텍스트의 패킷으로부터 텍스트의 엘리멘터리 스트림을 재구성하고, 복호화 처리를 행하여, 텍스트 데이터를 얻는다.
오디오 디코더(224)는, 상술한 송신 데이터 생성부(110)의 오디오 인코더(117)와는 반대의 처리를 행한다. 즉, 이 오디오 디코더(224)는, 디멀티플렉서(220)에서 추출된 오디오의 패킷으로부터 오디오의 엘리멘터리 스트림을 재구성하고, 복호화 처리를 행하여, 음성 데이터를 얻는다.
시차벡터 디코더(225)는, 상술한 송신 데이터 생성부(110)의 시차벡터 인코더(115)와는 반대의 처리를 행한다. 즉, 이 시차벡터 디코더(225)는, 디멀티플렉서(220)에서 추출된 시차벡터의 패킷으로부터 시차벡터의 엘리멘터리 스트림을 재구성하고, 복호화 처리를 행하여, 화상 내의 소정 위치의 시차벡터를 얻는다.
입체화상용 서브타이틀?그래픽스 발생부(226)는, 좌안화상 및 우안화상에 각각 중첩하는 좌안 및 좌안의 서브타이틀 정보나 그래픽스 정보를 생성한다. 이 생성 처리는, 디코더(222)에서 얻어진 서브타이틀 데이터나 그래픽스 데이터와, 디코더(225)에서 얻어진 시차벡터에 의거하여 행하여진다. 이 경우, 좌안 및 좌안의 서브타이틀 정보나 그래픽스 정보는 동일한 정보이다. 그러나, 화상 내의 중첩 위치가, 예를 들면, 좌안의 서브타이틀 정보나 그래픽스 정보에 대해, 우안의 서브타이틀 정보나 그래픽스 정보는, 시차벡터의 수평방향 성분만큼, 수평방향으로 시프트하도록 된다. 그리고, 이 입체화상용 서브타이틀?그래픽스 발생부(226)는, 생성된 좌안 및 좌안의 서브타이틀 정보나 그래픽스 정보의 데이터(비트맵 데이터)를 출력한다.
입체화상용 텍스트 발생부(227)는, 디코더(223)에서 얻어진 텍스트 데이터와, 디코더(225)에서 얻어진 시차벡터에 의거하여, 좌안화상, 우안화상에 각각 중첩하는 좌안 텍스트 정보, 우안 텍스트 정보를 생성한다. 이 경우, 좌안 텍스트 정보 및 우안 텍스트 정보는 동일한 텍스트 정보이지만, 화상 내의 중첩 위치가, 예를 들면, 좌안 텍스트 정보에 대해, 우안 텍스트 정보는, 시차벡터의 수평방향 성분만큼, 수평방향으로 시프트하도록 된다. 그리고, 이 입체화상용 텍스트 발생부(227)는, 생성된 좌안 텍스트 정보 및 우안 텍스트 정보의 데이터(비트맵 데이터)를 출력한다.
비디오 중첩부(228)는, 비디오 디코더(221)에서 얻어진 입체화상 데이터(좌안화상 데이터, 우안화상 데이터)에 대해, 발생부(226, 227)에서 발생된 데이터를 중첩하고, 표시용 입체화상 데이터(Vout)를 얻다. 또한, 입체화상 데이터(좌안화상 데이터, 우안화상 데이터)에의 중첩정보 데이터의 중첩은 시스템 레이어의 타임 스탬프에 의해 시작된다.
멀티채널 스피커 컨트롤부(229)는, 오디오 디코더(224)에서 얻어지는 음성 데이터에 대해, 예를 들면 5.1ch 서라운드 등을 실현하기 위한 멀티채널 스피커의 음성 데이터를 생성하는 처리, 소정의 음장(音場) 특성을 부여하는 처리 등을 시행한다. 또한, 이 멀티채널 스피커 컨트롤부(229)는, 디코더(225)에서 얻어진 시차벡터에 의거하여, 멀티채널 스피커의 출력을 제어한다.
시차벡터의 크기가 커질수록, 입체감이 두드러지는 효과가 있다. 입체의 정도에 맞추어서, 멀티채널의 스피커 출력을 제어함으로써, 더한층의 입체 체험의 제공을 실현할 수 있다.
도 36은, 시차벡터(VV1)가, 텔레비전 디스플레이를 향하여, 좌측의 비디오 오브젝트의 쪽이 큰 경우의 스피커 출력 제어예를 도시하고 있다. 이 제어예에서는, 멀티채널 스피커의 Rear Left의 스피커 음량은 크게 되고, Front Left의 스피커 음량은 중간정도가 되고, 또한, Front Right, Rear Right의 스피커 음량이 작게 된다. 이와 같이, 비디오 컨텐츠(입체화상 데이터)의 시차벡터를, 음성 데이터 등의 다른 미디어 데이터에 수신측에서 적용함으로써, 시청자에게, 입체감을 종합적으로 체감시키는 것이 가능하게 된다.
도 35에 도시하는 비트 스트림 처리부(201)의 동작을 간단히 설명한다. 디지털 튜너(204)(도 34 참조)로부터 출력되는 비트 스트림 데이터(BSD)는, 디멀티플렉서(220)에 공급된다. 이 디멀티플렉서(220)에서는, 비트 스트림 데이터(BSD)로부터, 비디오, 오디오, 시차벡터, 서브타이틀이나 그래픽스, 및 텍스트의 패킷이 추출되어, 각 디코더에 공급된다.
비디오 디코더(221)에서는, 디멀티플렉서(220)에서 추출된 비디오의 패킷으로부터 비디오의 엘리멘터리 스트림이 재구성되고, 또한 복호화 처리가 행하여저서, 좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터가 얻어진다. 이 입체화상 데이터는, 비디오 중첩부(228)에 공급된다. 또한, 시차벡터 디코더(225)에서는, 디멀티플렉서(220)에서 추출된 시차벡터의 패킷으로부터 시차벡터의 엘리멘터리 스트림이 재구성되고, 또한 복호화 처리가 행하여저서, 화상 내의 소정 위치의 시차벡터가 얻어진다(도 8 참조).
서브타이틀?그래픽스 디코더(222)에서는, 디멀티플렉서(220)에서 추출된 서브타이틀이나 그래픽스의 패킷으로부터 서브타이틀이나 그래픽스의 엘리멘터리 스트림이 재구성된다. 서브타이틀?그래픽스 디코더(222)에서는, 또한, 서브타이틀이나 그래픽스의 엘리멘터리 스트림에 대해 복호화 처리가 행하여저서, 서브타이틀 데이터나 그래픽스 데이터가 얻어진다. 이 서브타이틀 데이터나 그래픽스 데이터는, 입체화상용 서브타이틀?그래픽스 발생부(226)에 공급된다. 이 입체화상용 서브타이틀?그래픽스 발생부(226)에는, 시차벡터 디코더(225)에서 얻어진 시차벡터도 공급된다.
이 입체화상용 서브타이틀?그래픽스 발생부(226)에서는, 좌안화상, 우안화상에 각각 중첩하는 좌안 및 우안의 서브타이틀 정보나 그래픽스 정보의 데이터가 생성된다. 이 생성 처리는, 디코더(222)에서 얻어진 서브타이틀 데이터나 그래픽스 데이터와, 디코더(225)에서 얻어진 시차벡터에 의거하여 행하여진다. 이 경우, 화상 내의 중첩 위치가, 예를 들면, 좌안의 서브타이틀 정보나 좌안 그래픽스 정보에 대해, 우안의 서브타이틀 정보나 그래픽스 정보는, 시차벡터의 수평방향 성분만큼, 수평방향으로 시프트하도록 된다. 이 입체화상용 서브타이틀?그래픽스 발생부(226)로부터는, 생성된 좌안 및 우안의 서브타이틀 정보나 그래픽스 정보의 데이터(비트맵 데이터)가 출력된다.
또한, 텍스트 디코더(223)에서는, 디멀티플렉서(220)에서 추출된 텍스트의 패킷으로부터 텍스트의 엘리멘터리 스트림이 재구성되고, 또한 복호화 처리가 행하여저서, 텍스트 데이터가 얻어진다. 이 텍스트 데이터는 입체화상용 텍스트 발생부(227)에 공급된다. 이 입체화상용 텍스트 발생부(227)에는, 시차벡터 디코더(225)에서 얻어진 시차벡터도 공급된다.
이 입체화상용 텍스트 발생부(227)에서는, 디코더(223)에서 얻어진 텍스트 데이터와, 디코더(225)에서 얻어진 시차벡터에 의거하여, 좌안화상, 우안화상에 각각 중첩하는 좌안 텍스트 정보, 우안 텍스트 정보가 생성된다. 이 경우, 좌안 텍스트 정보 및 우안 텍스트 정보는 동일한 텍스트 정보이지만, 화상 내의 중첩 위치가, 예를 들면, 좌안 텍스트 정보에 대해, 우안 텍스트 정보는, 시차벡터의 수평방향 성분만큼, 수평방향으로 시프트하도록 된다. 이 입체화상용 텍스트 발생부(227)로부터는, 생성된 좌안 텍스트 정보 및 우안 텍스트 정보의 데이터(비트맵 데이터)가 출력된다.
비디오 중첩부(228)에는, 상술한 비디오 디코더(221)로부터의 입체화상 데이터외(좌안화상 데이터, 우안화상 데이터)에, 서브타이틀?그래픽스 발생부(226) 및 텍스트 발생부(227)로부터 출력되는 데이터가 공급된다. 이 비디오 중첩부(228)에서는, 입체화상 데이터(좌안화상 데이터, 우안화상 데이터)에 대해, 서브타이틀?그래픽스 발생부(226) 및 텍스트 발생부(227)에서 발생된 데이터가 중첩되고, 표시용 입체화상 데이터(Vout)가 얻어진다. 이 표시용 입체화상 데이터(Vout)는, 영상 신호 처리 회로(205)를 통하여, HDMI 송신부(206)(도 34 참조)에, 송신 화상 데이터로서 공급된다.
또한, 오디오 디코더(224)에서는, 디멀티플렉서(220)에서 추출된 오디오의 패킷으로부터 오디오의 엘리멘터리 스트림이 재구성되고, 또한 복호화 처리가 행하여저서, 음성 데이터가 얻어진다. 이 음성 데이터는, 멀티채널 스피커 컨트롤부(229)에 공급된다. 이 멀티채널 스피커 컨트롤부(229)에서는, 음성 데이터에 대해, 예를 들면 5.1ch 서라운드 등을 실현하기 위한 멀티채널 스피커의 음성 데이터를 생성하는 처리, 소정의 음장 특성을 부여하는 처리 등이 시행된다.
이 멀티채널 스피커 컨트롤부(229)에는, 시차벡터 디코더(225)에서 얻어진 시차벡터도 공급된다. 그리고, 이 멀티채널 스피커 컨트롤부(229)에서는, 시차벡터에 의거하여, 멀티채널 스피커의 출력이 제어된다. 이 멀티채널 스피커 컨트롤부(229)에서 얻어지는 멀티채널 음성 데이터는, 음성 신호 처리 회로(207)를 통하여 HDMI 송신부(206)(도 34 참조)에, 송신 음성 데이터로서 공급된다.
「비트 스트림 처리부의 다른 구성례」
도 37에 도시하는 비트 스트림 처리부(201A)는, 상술한 도 13에 도시하는 송신 데이터 생성부(110A)에 대응시킨 구성으로 되어 있다. 이 도 37에서, 도 35와 대응하는 부분에는 동일 부호를 붙이고, 그 상세 설명은 생략한다.
이 비트 스트림 처리부(201A)는, 도 35에 도시하는 비트 스트림 처리부(201)의 시차벡터 디코더(225) 대신에, 시차벡터 취출부(231)가 마련된다. 이 시차벡터 취출부(231)는, 비디오 디코더(221)를 통하여 얻어지는 비디오의 스트림으로부터, 그 유저 데이터 영역에 매입되어 있는 시차벡터를 취출한다. 그리고, 이 시차벡터 취출부(231)는, 취출한 시차벡터를, 입체화상용 서브타이틀?그래픽스 발생부(226), 입체화상용 텍스트 발생부(227) 및 멀티채널 스피커 컨트롤부(229)에 공급한다.
상세 설명은 생략하지만, 이 도 37에 도시하는 비트 스트림 처리부(201A)의 기타는, 도 35에 도시하는 비트 스트림 처리부(201)와 마찬가지로 구성되고, 마찬가지로 동작한다.
「비트 스트림 처리부의 다른 구성례」
또한, 도 38에 도시하는 비트 스트림 처리부(201B)는, 상술한 도 18에 도시하는 송신 데이터 생성부(110B)에 대응시킨 구성으로 되어 있다. 이 도 38에서, 도 35와 대응하는 부분에는 동일 부호를 붙이고, 그 상세 설명은 생략한다.
이 비트 스트림 처리부(201B)는, 도 35에 도시하는 비트 스트림 처리부(201)로부터, 시차벡터 디코더(225), 입체화상용 서브타이틀?그래픽스 발생부(226) 및 입체화상용 텍스트 발생부(227)가 제외된 것이다. 이 경우, 시차벡터는, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보의 데이터에 미리 반영되어 있다.
송신되어 오는 서브타이틀 데이터나 그래픽스 데이터에는, 상술한 바와 같이, 좌안화상에 중첩되는 좌안의 서브타이틀 정보나 그래픽스 정보의 데이터, 및 우안화상에 중첩되는 우안의 서브타이틀 정보나 그래픽스 정보의 데이터가 포함되어 있다. 마찬가지로, 송신되어 오는 텍스트 데이터에는, 상술한 바와 같이, 좌안화상에 중첩되는 좌안 텍스트 정보의 데이터 및 우안화상에 중첩되는 우안 텍스트 정보의 데이터가 포함되어 있다. 따라서 시차벡터 디코더(225), 입체화상용 서브타이틀?그래픽스 발생부(226) 및 입체화상용 텍스트 발생부(227)는 불필요하게 된다.
또한, 텍스트 디코더(223)에서 얻어지는 텍스트 데이터는 코드 데이터(캐릭터 코드)이기 때문에, 이것을 비트맵 데이터로 변환하는 처리는 필요하다. 이 처리는, 예를 들면, 텍스트 디코더(223)의 최종단에서 행하여지던지, 또는 비디오 중첩부(228)의 입력단에서 행하여진다.
「비트 스트림 처리부의 다른 구성례」
또한, 도 39에 도시하는 비트 스트림 처리부(201C)는, 상술한 도 19에 도시하는 송신 데이터 생성부(110C)에 대응시킨 구성으로 되어 있다. 이 도 39에서, 도 35와 대응하는 부분에는 동일 부호를 붙이고, 그 상세 설명은 생략한다.
이 비트 스트림 처리부(201C)는, 시차정보 취출부(232), CC 디코더(233) 및 입체화상용 클로즈드?캡션 발생부(234)를 갖고 있다. 상술한 바와 같이, 도 19에 도시하는 송신 데이터 생성부(110C)의 비디오 인코더(113)로부터 출력되는 비디오 엘리멘터리 스트림에는, CC(클로즈드?캡션) 데이터 및 Region_id마다의 시차정보가, 유저 데이터로서 매입되어 있다.
시차정보 취출부(232)에서는, 비디오 디코더(221)를 통하여 얻어지는 비디오 엘리멘터리 스트림으로부터 Region_id마다의 시차정보가 취출된다. 시차정보 취출부(232)로부터 입체화상용 클로즈드?캡션 발생부(234)에는, 취출된 Region_id마다의 시차정보중, 클로즈드?캡션 정보에 대응한 시차정보(중첩 위치 정보, 표시시간 정보를 포함하지 않다)가 공급된다.
또한, 시차정보 취출부(232)로부터 입체화상용 서브타이틀?그래픽스 발생부(226)에는, 취출된 Region_id마다의 시차정보중, 서브타이틀 정보나 그래픽스 정보에 대응한 시차정보(중첩 위치 정보, 표시시간 정보를 포함한다)가 공급된다. 또한, 시차정보 취출부(232)로부터 입체화상용 텍스트 발생부(227)에는, 취출된 Region_id마다의 시차정보중, 텍스트 정보에 대응한 시차정보(중첩 위치 정보, 표시시간 정보를 포함한다)가 공급된다.
CC 디코더(233)에서는, 비디오 디코더(233)를 통하여 얻어지는 비디오 엘리멘터리 스트림으로부터 CC 데이터(클로즈드?캡션 데이터)가 취출된다. 또한, CC 디코더(233)에서는, 이 CC 데이터로부터 Window마다 클로즈드?캡션 데이터(자막의 캐릭터 코드), 나아가서는 중첩 위치 및 표시시간의 제어 데이터가 취득된다. 그리고, 이 CC 디코더(233)로부터 입체화상용 클로즈드?캡션 발생부(234)에, 클로즈드?캡션 데이터와, 중첩 위치 및 표시시간의 제어 데이터가 공급된다.
입체화상용 클로즈드?캡션 발생부(234)에서는, Window마다, 좌안화상, 우안화상에 각각 중첩하는 좌안 클로즈드?캡션 정보(자막), 우안 클로즈드?캡션 정보(자막)의 데이터가 생성된다. 이 생성 처리는, CC 디코더(233)에서 얻어진 클로즈드?캡션 데이터 및 중첩 위치 제어 데이터와, 시차정보 취출부(232)로부터 공급된 시차정보(시차벡터)에 의거하여 행하여진다. 이 경우, 좌안 및 우안의 클로즈드?캡션 정보는 동일한 정보이다. 그러나, 화상 내의 중첩 위치가, 예를 들면, 좌안 클로즈드?캡션 정보에 대해, 우안 클로즈드?캡션 정보는, 시차벡터의 수평방향 성분만큼, 수평방향으로 시프트하도록 된다.
이와 같이, 입체화상용 클로즈드?캡션 발생부(234)에서 Window마다 생성된 좌안 및 우안의 클로즈드?캡션 정보의 데이터(비트맵 데이터)는, 표시시간의 제어 데이터와 함께, 비디오 중첩부(228)에 공급된다.
또한, 입체화상용 서브타이틀?그래픽스 발생부(226)에서는, 좌안화상 및 우안화상에 각각 중첩하는 좌안 및 좌안의 서브타이틀 정보나 그래픽스 정보가 생성된다. 이 생성 처리는, 서브타이틀?그래픽스 디코더(222)에서 얻어진 서브타이틀 데이터나 그래픽스 데이터와, 시차정보 취출부(232)로부터 공급된 시차정보(시차벡터)에 의거하여 행하여진다. 이 경우, 좌안 및 좌안의 서브타이틀 정보나 그래픽스 정보는 동일한 정보이다. 그러나, 화상 내의 중첩 위치가, 예를 들면, 좌안의 서브타이틀 정보나 그래픽스 정보에 대해, 우안의 서브타이틀 정보나 그래픽스 정보는, 시차벡터의 수평방향 성분만큼, 수평방향으로 시프트하도록 된다.
이와 같이, 입체화상용 서브타이틀?그래픽스 발생부(234)에서 생성된 좌안 및 우안의 서브타이틀 정보나 그래픽스 정보의 데이터(비트맵 데이터)는, 표시시간 정보(프레임수 정보)와 함께, 비디오 중첩부(228)에 공급된다.
또한, 입체화상용 텍스트 발생부(227)에서는, 좌안화상 및 우안화상에 각각 중첩하는 좌안 및 좌안의 텍스트 정보가 생성된다. 이 생성 처리는, 텍스트 디코더(223)에서 얻어진 텍스트 데이터와, 시차정보 취출부(232)로부터 공급되는 시차정보(시차벡터)에 의거하여 행하여진다. 이 경우, 좌안 및 좌안의 텍스트 정보는 동일한 정보이다. 그러나, 화상 내의 중첩 위치가, 예를 들면, 좌안의 텍스트 정보에 대해, 우안의 텍스트 정보는, 시차벡터의 수평방향 성분만큼, 수평방향으로 시프트하도록 된다.
이와 같이, 입체화상용 텍스트 발생부(227)에서 생성된 좌안 및 우안의 텍스트 정보의 데이터(비트맵 데이터)는, 표시시간 정보(프레임수 정보)와 함께, 비디오 중첩부(228)에 공급된다.
비디오 중첩부(228)에서는, 비디오 디코더(221)에서 얻어진 입체화상 데이터(좌안화상 데이터, 우안화상 데이터)에 대해, 각 디코더로부터 공급되는 중첩정보 데이터가 중첩되고, 표시용 입체화상 데이터(Vout)가 얻어진다. 또한, 입체화상 데이터(좌안화상 데이터, 우안화상 데이터)에의 중첩정보 데이터의 중첩은 시스템 레이어의 타임 스탬프에 의해 시작된다. 또한, 그 중첩 계속 시간은, 클로즈드?캡션 정보에 관해서는 표시시간의 제어 데이터에 의거하여, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보 등에 관해서는 표시시간 정보에 의거하여 제어된다.
상세 설명은 생략하지만, 이 도 39에 도시하는 비트 스트림 처리부(201C)의 기타는, 도 35에 도시하는 비트 스트림 처리부(201)와 마찬가지로 구성되고, 마찬가지로 동작한다.
「비트 스트림 처리부의 다른 구성례」
또한, 도 40에 도시하는 비트 스트림 처리부(201D)는, 상술한 도 25에 도시하는 송신 데이터 생성부(110D)에 대응시킨 구성으로 되어 있다. 이 도 40에서, 도 35 및 도 9와 대응하는 부분에는 동일 부호를 붙이고, 그 상세 설명은 생략한다.
비트 스트림 처리부(201D)는, 시차정보 디코더(235)를 갖고 있다. 도 25에 도시하는 송신 데이터 생성부(110D)에서는, 시차정보 인코더(129)에 의해 Z데이터부(128)로부터 시차정보를 포함하는 시차정보 엘리멘터리 스트림이 생성된다. 그리고, 멀티플렉서(122)에서는, 시차정보 인코더(129)를 포함하는 각 인코더로부터 공급되는 엘리멘터리 스트림의 패킷이 다중화되어, 전송 데이터로서의 비트 스트림 데이터(트랜스포트 스트림)(BSD)가 얻어진다.
시차정보 디코더(235)에는, 디멀티플렉서(220)에서 추출된 시차정보의 패킷으로부터 시차정보의 엘리멘터리 스트림이 재구성되고, 또한 복호화 처리가 행하여저서, Region_id마다의 시차정보가 얻어진다. 이 시차정보는, 도 39의 비트 스트림 처리부(201C)의 시차정보 취출부(232)에서 취출되는 시차정보와 같은 것이다.
이 시차정보 디코더(235)에서는, 비디오 디코더(221)를 통하여 얻어지는 비디오 엘리멘터리 스트림으로부터 Region_id마다의 시차정보가 취출된다. 시차정보 디코더(235)로부터 입체화상용 클로즈드?캡션 발생부(234)에는, 취출된 Region_id마다의 시차정보중, 클로즈드?캡션 정보에 대응한 시차정보(중첩 위치 정보, 표시시간 정보를 포함하지 않다)가 공급된다.
또한, 시차정보 디코더(235)로부터 입체화상용 서브타이틀?그래픽스 발생부(226)에는, 취출된 Region_id마다의 시차정보중, 서브타이틀 정보나 그래픽스 정보에 대응한 시차정보(중첩 위치 정보, 표시시간 정보를 포함한다)가 공급된다. 또한, 시차정보 디코더(235)로부터 입체화상용 텍스트 발생부(227)에는, 취출된 Region_id마다의 시차정보중, 텍스트 정보에 대응한 시차정보(중첩 위치 정보, 표시시간 정보를 포함한다)가 공급된다.
상세 설명은 생략하지만, 이 도 40에 도시하는 비트 스트림 처리부(201D)의 기타는, 도 39에 도시하는 비트 스트림 처리부(201C)와 마찬가지로 구성되고, 같은 동작을 한다.
「비트 스트림 처리부의 다른 구성례」
또한, 도 41에 도시하는 비트 스트림 처리부(201E)는, 상술한 도 26에 도시하는 송신 데이터 생성부(110E)에 대응시킨 구성으로 되어 있다. 이 도 41에서, 도 35 및 도 38과 대응하는 부분에는 동일 부호를 붙이고, 그 상세 설명은 생략한다.
이 비트 스트림 처리부(201E)는, CC 디코더(236)를 갖고 있다. 도 26에 도시하는 송신 데이터 생성부(110E)의 CC 데이터 처리부(130)에서는, CC 데이터에 의거하여, 좌안화상상에 중첩되는 좌안 클로즈드?캡션 정보의 데이터 및 우안화상상에 중첩되는 우안 클로즈드?캡션 정보의 데이터가 생성되어 있다. 그리고, CC 데이터 처리부(130)에서 처리된 후의 CC 데이터가 비디오 인코더(113)의 스트림 포매터(113a)에 공급되고, 비디오의 스트림에 유저 데이터로서 매입되어 있다.
CC 디코더(236)에서는, 비디오 디코더(221)를 통하여 얻어지는 비디오 엘리멘터리 스트림으로부터 CC 데이터가 취출되고, 또한, 이 CC 데이터로부터 Window마다 좌안 및 우안의 클로즈드?캡션 정보의 데이터가 취득된다. 그리고, 이 CC 디코더(236)에서 취득되는 좌안 및 우안의 클로즈드?캡션 정보의 데이터는, 비디오 중첩부(228)에 공급된다.
비디오 중첩부(228)에서는, 입체화상 데이터(좌안화상 데이터, 우안화상 데이터)에 대해, CC 디코더(236), 서브타이틀?그래픽스 디코더(222) 및 텍스트 디코더(223)에서 발생된 데이터가 중첩되고, 표시용 입체화상 데이터(Vout)가 얻어진다.
상세 설명은 생략하지만, 이 도 41에 도시하는 비트 스트림 처리부(201E)의 기타는, 도 38에 도시하는 비트 스트림 처리부(201B)와 마찬가지로 구성되고, 마찬가지로 동작한다.
[텔레비전 수신기의 설명]
도 1로 되돌아와, 텔레비전 수신기(300)는, 세트 톱 박스(200)로부터 HDMI 케이블(400)을 통하여 보내 오는 입체화상 데이터를 수신한다. 이 텔레비전 수신기(300)는, 3D 신호 처리부(301)를 갖고 있다. 이 3D 신호 처리부(301)는, 입체화상 데이터에 대해, 전송 방식에 대응한 처리(디코드 처리)를 행하여, 좌안화상 데이터 및 우안화상 데이터를 생성한다. 즉, 이 3D 신호 처리부(301)는, 도 2, 도 13, 도 18, 도 19, 도 25, 도 26에 도시하는 송신 데이터 생성부(110, 110A, 110B, 110C, 110D, 110E)에서의 비디오 프레이밍부(112)와는 반대의 처리를 행한다. 그리고, 이 3D 신호 처리부(301)는, 입체화상 데이터를 구성하는 좌안화상 데이터 및 우안화상 데이터를 취득한다.
[텔레비전 수신기의 구성례]
텔레비전 수신기(300)의 구성례를 설명한다. 도 42는, 텔레비전 수신기(300)의 구성례를 도시하고 있다. 이 텔레비전 수신기(300)는, 3D 신호 처리부(301)와, HDMI 단자(302)와, HDMI 수신부(303)와, 안테나 단자(304)와, 디지털 튜너(305)와, 비트 스트림 처리부(306)를 갖고 있다. 또한, 이 텔레비전 수신기(300)는, 영상 신호 처리 회로(307)와, 패널 구동 회로(308)와, 표시 패널(309)과, 음성 신호 처리 회로(310)와, 음성 증폭 회로(311)와, 스피커(312)를 갖고 있다. 또한, 이 텔레비전 수신기(300)는, CPU(321)와, 플래시 ROM(322)과, DRAM(323)과, 내부 버스(324)와, 리모트 콘트롤 수신부(325)와, 리모트 콘트롤 송신기(326)를 갖고 있다.
안테나 단자(304)는, 수신 안테나(도시 생략)에서 수신된 텔레비전 방송 신호를 입력하는 단자이다. 디지털 튜너(305)는, 안테나 단자(304)에 입력된 텔레비전 방송 신호를 처리하여, 유저의 선택 채널에 대응한 소정의 비트 스트림 데이터(트랜스포트 스트림)를 출력한다.
비트 스트림 처리부(306)는, 도 34에 도시하는 세트 톱 박스(200)의 비트 스트림 처리부(201)와 같은 구성으로 되어 있다. 이 비트 스트림 처리부(306)는, 비트 스트림 데이터로부터 입체화상 데이터(좌안화상 데이터, 우안화상 데이터), 음성 데이터, 중첩정보 데이터, 시차벡터(시차정보) 등을 추출한다. 중첩정보 데이터는, 클로즈드?캡션 데이터, 서브타이틀 데이터, 그래픽스 데이터, 텍스트 데이터 등이다. 그리고, 이 비트 스트림 처리부(306)는, 입체화상 데이터에 대해, 중첩정보 데이터를 합성하여, 표시용 입체화상 데이터를 취득한다. 또한, 비트 스트림 처리부(306)는, 음성 데이터를 출력한다.
HDMI 수신부(303)는, HDMI에 준거한 통신에 의해, HDMI 케이블(400)을 통하여 HDMI 단자(302)에 공급되는 비압축의 화상 데이터(입체화상 데이터) 및 음성 데이터를 수신한다. 이 HDMI 수신부(303)의 상세는 후술한다. 3D 신호 처리부(301)는, HDMI 수신부(303)에서 수신된, 또는 비트 스트림 처리부(306)에서 얻어진 입체화상 데이터에 대해, 전송 방식에 대응한 처리(디코드 처리)를 행하여, 좌안화상 데이터 및 우안화상 데이터를 생성한다.
영상 신호 처리 회로(307)는, 3D 신호 처리부(301)에서 생성된 좌안화상 데이터 및 우안화상 데이터에 의거하여, 입체화상을 표시하기 위한 화상 데이터를 생성한다. 또한, 영상 신호 처리 회로는, 화상 데이터에 대해, 필요에 응하여, 화질 조정 처리를 행한다. 패널 구동 회로(308)는, 영상 신호 처리 회로(307)로부터 출력되는 화상 데이터에 의거하여, 표시 패널(309)을 구동한다. 표시 패널(309)는, 예를 들면, LCD(Liquid Crystal Display), PDP(Plasma DisplayPanel) 등으로 구성되어 있다.
음성 신호 처리 회로(310)는, HDMI 수신부(303)에서 수신된, 또는 비트 스트림 처리부(306)에서 얻어진 음성 데이터에 대해 D/A 변환 등의 필요한 처리를 행한다. 음성 증폭 회로(311)는, 음성 신호 처리 회로(310)로부터 출력되는 음성 신호를 증폭하여 스피커(312)에 공급한다.
CPU(321)는, 텔레비전 수신기(300)의 각 부분의 동작을 제어한다. 플래시 ROM(322)은, 제어 소프트웨어의 격납 및 데이터의 보관을 행한다. DRAM(323)은, CPU(321)의 워크 에어리어를 구성한다. CPU(321)는, 플래시 ROM(322)으로부터 판독한 소프트웨어나 데이터를 DRAM(323)상에 전개하여 소프트웨어를 기동시켜, 텔레비전 수신기(300)의 각 부분을 제어한다.
리모트 콘트롤 수신부(325)는, 리모트 콘트롤 송신기(326)로부터 송신된 리모트 컨트롤 신호(리모트 콘트롤 코드)를 수신하고, CPU(321)에 공급한다. CPU(321)는, 이 리모트 콘트롤 코드에 의거하여, 텔레비전 수신기(300)의 각 부분을 제어한다. CPU(321), 플래시 ROM(322) 및 DRAM(323)은, 내부 버스(324)에 접속되어 있다.
도 42에 도시하는 텔레비전 수신기(300)의 동작을 간단히 설명한다. HDMI 수신부(303)에서는, HDMI 단자(302)에 HDMI 케이블(400)을 통하여 접속되어 있는 세트 톱 박스(200)로부터 송신되어 오는, 입체화상 데이터 및 음성 데이터가 수신된다. 이 HDMI 수신부(303)에서 수신된 입체화상 데이터는, 3D 신호 처리부(301)에 공급된다. 또한, 이 HDMI 수신부(303)에서 수신된 음성 데이터는 음성 신호 처리 회로(310)에 공급된다.
안테나 단자(304)에 입력된 텔레비전 방송 신호는 디지털 튜너(305)에 공급된다. 이 디지털 튜너(305)에서는, 텔레비전 방송 신호가 처리되어, 유저의 선택 채널에 대응한 소정의 비트 스트림 데이터(트랜스포트 스트림)가 출력된다.
디지털 튜너(305)로부터 출력되는 비트 스트림 데이터는, 비트 스트림 처리부(306)에 공급된다. 이 비트 스트림 처리부(306)에서는, 비트 스트림 데이터로부터 입체화상 데이터(좌안화상 데이터, 우안화상 데이터), 음성 데이터, 중첩정보 데이터, 시차벡터(시차정보) 등이 추출된다. 또한, 이 비트 스트림 처리부(306)에서는, 입체화상 데이터에 대해, 중첩정보(클로즈드?캡션 정보, 서브타이틀 정보, 그래픽스 정보, 텍스트 정보)의 데이터가 합성되어, 표시용 입체화상 데이터가 생성된다.
비트 스트림 처리부(306)에서 생성되는 표시용 입체화상 데이터는, 3D 신호 처리부(301)에 공급된다. 또한, 이 비트 스트림 처리부(306)에서 얻어지는 음성 데이터는, 음성 신호 처리 회로(310)에 공급된다.
3D 신호 처리부(301)에서는, HDMI 수신부(303)에서 수신된, 또는 비트 스트림 처리부(306)에서 얻어진 입체화상 데이터에 대해, 전송 방식에 대응한 처리(디코드 처리)가 행하여저서, 좌안화상 데이터 및 우안화상 데이터가 생성된다. 이 좌안화상 데이터 및 우안화상 데이터는, 영상 신호 처리부 회로(307)에 공급된다. 이 영상 신호 처리 회로(307)에서는, 좌안화상 데이터 및 우안화상 데이터에 의거하여, 입체화상을 표시하기 위한 화상 데이터가 생성된다. 그 때문에, 표시 패널(309)에 의해 입체화상이 표시된다.
또한, 음성 신호 처리 회로(310)에서는, HDMI 수신부(303)에서 수신된, 또는 비트 스트림 처리부(306)에서 얻어진 음성 데이터에 대해 D/A 변환 등의 필요한 처리가 시행된다. 이 음성 데이터는, 음성 증폭 회로(311)에서 증폭된 후에, 스피커(312)에 공급된다. 그 때문에, 스피커(312)로부터 음성이 출력된다.
[HDMI 송신부, HDMI 수신부의 구성례]
도 43은, 도 하나의 입체화상 표시 시스템(10)에서의, 세트 톱 박스(200)의 HDMI 송신부(HDMI 소스)(206)와, 텔레비전 수신기(300)의 HDMI 수신부(HDMI 싱크)(303)의 구성례를 도시하고 있다.
HDMI 송신부(206)는, 유효 화상 구간(이하, 적절히, 액티브 비디오 구간이라고도 한다)에서, 비압축의 1화면분의 화상의 화소 데이터에 대응하는 차동 신호를, 복수의 채널로, HDMI 수신부(303)에 일방향으로 송신한다. 여기서, 유효 화상 구간은, 하나의 수직 동기 신호로부터 다음의 수직 동기 신호까지의 구간에서, 수평 귀선 구간 및 수직 귀선 구간을 제외한 구간이다. 또한, HDMI 송신부(206)는, 수평 귀선 구간 또는 수직 귀선 구간에서, 적어도 화상에 부수되는 음성 데이터나 제어 데이터, 그 밖의 보조 데이터 등에 대응하는 차동 신호를, 복수의 채널로, HDMI 수신부(303)에 일방향으로 송신한다.
HDMI 송신부(206)와 HDMI 수신부(303)로 이루어지는 HDMI 시스템의 전송 채널에는, 이하의 전송 채널이 있다. 즉, HDMI 송신부(206)로부터 HDMI 수신부(303)에 대해, 화소 데이터 및 음성 데이터를, 픽셀 클록에 동기하여, 일방향으로 시리얼 전송하기 위한 전송 채널로서의, 3개의 TMDS 채널(#0 내지 #2)이 있다. 또한, 픽셀 클록을 전송하는 전송 채널로서의, TMDS 클록 채널이 있다.
HDMI 송신부(206)는, HDMI 트랜스미터(81)를 갖는다. 트랜스미터(81)는, 예를 들면, 비압축의 화상의 화소 데이터를 대응하는 차동 신호로 변환하고, 복수의 채널인 3개의 TMDS 채널(#0, #1, #2)로, HDMI 케이블(400)을 통하여 접속되어 있는 HDMI 수신부(303)에, 일방향으로 시리얼 전송한다.
또한, 트랜스미터(81)는, 비압축의 화상에 부수되는 음성 데이터, 나아가서는, 필요한 제어 데이터 그 밖의 보조 데이터 등을, 대응하는 차동 신호로 변환하고, 3개의 TMDS 채널(#0, #1, #2)로 HDMI 수신부(303)에, 일방향으로 시리얼 전송한다.
또한, 트랜스미터(81)는, 3개의 TMDS 채널(#0, #1, #2)로 송신하는 화소 데이터에 동기한 픽셀 클록을, TMDS 클록 채널로, HDMI 케이블(400)을 통하여 접속되어 있는 HDMI 수신부(303)에 송신한다. 여기서, 하나의 TMDS 채널(#i)(i=0, 1, 2)에서는, 픽셀 클록의 1클록의 동안에, 10비트의 화소 데이터가 송신된다.
HDMI 수신부(303)는, 액티브 비디오 구간에서, 복수의 채널로, HDMI 송신부(206)로부터 일방향으로 송신되어 오는, 화소 데이터에 대응하는 차동 신호를 수신한다. 또한, 이 HDMI 수신부(303)는, 수평 귀선 구간 또는 수직 귀선 구간에서, 복수의 채널로, HDMI 송신부(206)로부터 일방향으로 송신되어 오는, 음성 데이터나 제어 데이터에 대응하는 차동 신호를 수신한다.
즉, HDMI 수신부(303)는, HDMI 레시버(82)를 갖는다. 이 HDMI 레시버(82)는, TMDS 채널(#0, #1, #2)로, HDMI 송신부(206)로부터 일방향으로 송신되어 오는, 화소 데이터에 대응하는 차동 신호와, 음성 데이터나 제어 데이터에 대응하는 차동 신호를 수신한다. 이 경우, HDMI 송신부(206)로부터 TMDS 클록 채널로 송신되어 오는 픽셀 클록에 동기하여 수신한다.
HDMI 송신부(206)와 HDMI 수신부(303)로 이루어지는 HDMI 시스템의 전송 채널에는, 상술한 TMDS 채널(#0 내지 #2) 외에, DDC(Display Data Channel)(83)나 CEC 라인(84)이라고 불리는 전송 채널이 있다. DDC(83)는, HDMI 케이블(400)에 포함되는 도시하지 않은 2개의 신호선으로 이루어진다. 이 DDC(83)는, HDMI 송신부(206)가 HDMI 수신부(303)로부터, E-EDID(Enhanced Extended Display Identification Data)를 판독하기 위해 사용된다.
즉, HDMI 수신부(303)는, HDMI 레시버(81) 외에, 자신의 성능(Configuration/capability)에 관한 성능 정보인 E-EDID를 기억하고 있는, EDID ROM(Read Only Memory)(85)을 갖고 있다. HDMI 송신부(206)는, 예를 들면, CPU(211)(도 34 참조)로부터의 요구에 응하여, HDMI 케이블(400)을 통하여 접속되어 있는 HDMI 수신부(303)로부터, 당해 HDMI 수신부(303)의 E-EDID를, DDC(83)를 통하여 판독한다. HDMI 송신부(206)는, 판독한 E-EDID를 CPU(211)에 보낸다. CPU(211)는, 이 E-EDID를, 플래시 ROM(212) 또는 DRAM(213)에 격납한다.
CPU(211)는, E-EDID에 의거하여, HDMI 수신부(303)의 성능의 설정을 인식할 수 있다. 예를 들면, CPU(211)는, HDMI 수신부(303)를 갖는 텔레비전 수신기(300)가 대응 가능한 화상 데이터의 포맷(해상도, 프레임 레이트, 어스펙트 등)을 인식한다.
CEC 라인(84)은, HDMI 케이블(400)에 포함되는 도시하지 않은 1개의 신호선으로 이루어지고, HDMI 송신부(206)와 HDMI 수신부(303)의 사이에서, 제어용의 데이터의 쌍방향 통신을 행하기 위해 사용된다. 이 CEC 라인(84)은, 제어 데이터 라인을 구성하고 있다.
또한, HDMI 케이블(400)에는, HPD(Hot Plug Detect)라고 불리는 핀에 접속되는 라인(HPD 라인)(86)이 포함되어 있다. 소스 기기는, 당해 라인(86)을 이용하여, 싱크 기기의 접속을 검출할 수 있다. 또한, HDMI 케이블(400)에는, 소스 기기로부터 싱크 기기에 전원을 공급하기 위해 사용되는 라인(87)이 포함되어 있다. 또한, HDMI 케이블(400)에는, 리저브 라인(88)이 포함되어 있다.
도 44는, 도 43의 HDMI 트랜스미터(81)와 HDMI 레시버(82)의 구성례를 도시하고 있다. HDMI 트랜스미터(81)는, 3개의 TMDS 채널(#0, #1, #2)에 각각 대응하는 3개의 인코더/시리얼라이저(81A, 81B, 81C)를 갖는다. 그리고, 인코더/시리얼라이저(81A, 81B, 81C)의 각각은, 그곳에 공급되는 화상 데이터, 보조 데이터, 제어 데이터를 인코드하고, 패럴렐 데이터로부터 시리얼 데이터로 변환하여, 차동 신호에 의해 송신한다. 여기서, 화상 데이터가, 예를 들면 R, G, B의 3성분을 갖는 경우, B성분은 인코더/시리얼라이저(81A)에 공급되고, G성분은 인코더/시리얼라이저(81B)에 공급되고, R성분은 인코더/시리얼라이저(81C)에 공급된다.
또한, 보조 데이터로서는, 예를 들면, 음성 데이터나 제어 패킷이 있고, 제어 패킷은, 예를 들면, 인코더/시리얼라이저(81A)에 공급되고, 음성 데이터는, 인코더/시리얼라이저(81B, 81C)에 공급된다. 또한, 제어 데이터로서는, 1비트의 수직 동기 신호(VSYNC), 1비트의 수평 동기 신호(HSYNC), 및, 각각 1비트의 제어 비트(CTL0, CTL1, CTL2, CTL3)가 있다. 수직 동기 신호 및 수평 동기 신호는, 인코더/시리얼라이저(81A)에 공급된다. 제어 비트(CTL0, CTL1)는 인코더/시리얼라이저(81B)에 공급되고, 제어 비트(CTL2, CTL3)는 인코더/시리얼라이저(81C)에 공급된다.
인코더/시리얼라이저(81A)는, 그곳에 공급되는 화상 데이터의 B성분, 수직 동기 신호 및 수평 동기 신호, 및 보조 데이터를, 시분할로 송신한다. 즉, 인코더/시리얼라이저(81A)는, 그곳에 공급되는 화상 데이터의 B성분을, 고정의 비트 수인 8비트 단위의 패럴렐 데이터로 한다. 또한, 인코더/시리얼라이저(81A)는, 그 패럴렐 데이터를 인코드하고, 시리얼 데이터로 변환하여, TMDS 채널(#0)로 송신한다.
또한, 인코더/시리얼라이저(81A)는, 그곳에 공급되는 수직 동기 신호 및 수평 동기 신호의 2비트의 패럴렐 데이터를 인코드하고, 시리얼 데이터로 변환하여, TMDS 채널(#0)로 송신한다. 또한, 인코더/시리얼라이저(81A)는, 그곳에 공급되는 보조 데이터를 4비트 단위의 패럴렐 데이터로 한다. 그리고, 인코더/시리얼라이저(81A)는, 그 패럴렐 데이터를 인코드하고, 시리얼 데이터로 변환하여, TMDS 채널(#0)로 송신한다.
인코더/시리얼라이저(81B)는, 그곳에 공급되는 화상 데이터의 G성분, 제어 비트(CTL0, CTL1), 및 보조 데이터를, 시분할로 송신한다. 즉, 인코더/시리얼라이저(81B)는, 그곳에 공급되는 화상 데이터의 G성분을, 고정의 비트 수인 8비트 단위의 패럴렐 데이터로 한다. 또한, 인코더/시리얼라이저(81B)는, 그 패럴렐 데이터를 인코드하고, 시리얼 데이터로 변환하여, TMDS 채널(#1)로 송신한다.
또한, 인코더/시리얼라이저(81B)는, 그곳에 공급되는 제어 비트(CTL0, CTL1)의 2비트의 패럴렐 데이터를 인코드하고, 시리얼 데이터로 변환하여, TMDS 채널(#1)로 송신한다. 또한, 인코더/시리얼라이저(81B)는, 그곳에 공급되는 보조 데이터를 4비트 단위의 패럴렐 데이터로 한다. 그리고, 인코더/시리얼라이저(81B)는, 그 패럴렐 데이터를 인코드하고, 시리얼 데이터로 변환하여, TMDS 채널(#1)로 송신한다.
인코더/시리얼라이저(81C)는, 그곳에 공급되는 화상 데이터의 R성분, 제어 비트(CTL2, CTL3), 및 보조 데이터를, 시분할로 송신한다. 즉, 인코더/시리얼라이저(81C)는, 그곳에 공급되는 화상 데이터의 R성분을, 고정의 비트 수인 8비트 단위의 패럴렐 데이터로 한다. 또한, 인코더/시리얼라이저(81C)는, 그 패럴렐 데이터를 인코드하고, 시리얼 데이터로 변환하여, TMDS 채널(#2)로 송신한다.
또한, 인코더/시리얼라이저(81C)는, 그곳에 공급되는 제어 비트(CTL2, CTL3)의 2비트의 패럴렐 데이터를 인코드하고, 시리얼 데이터로 변환하여, TMDS 채널(#2)로 송신한다. 또한, 인코더/시리얼라이저(81C)는, 그곳에 공급되는 보조 데이터를 4비트 단위의 패럴렐 데이터로 한다. 그리고, 인코더/시리얼라이저(81C)는, 그 패럴렐 데이터를 인코드하고, 시리얼 데이터로 변환하여, TMDS 채널(#2)로 송신한다.
HDMI 레시버(82)는, 3개의 TMDS 채널(#0, #1, #2)에 각각 대응하는 3개의 리커버리/디코더(82A, 82B, 82C)를 갖는다. 그리고, 리커버리/디코더(82A, 82B, 82C)의 각각은, TMDS 채널(#0, #1, #2)로 차동 신호에 의해 송신되어 오는 화상 데이터, 보조 데이터, 제어 데이터를 수신한다. 또한, 리커버리/디코더(82A, 82B, 82C)의 각각은, 화상 데이터, 보조 데이터, 제어 데이터를, 시리얼 데이터로부터 패럴렐 데이터로 변환하고, 또한 디코드하여 출력한다.
즉, 리커버리/디코더(82A)는, TMDS 채널(#0)로 차동 신호에 의해 송신되어 오는 화상 데이터의 B성분, 수직 동기 신호 및 수평 동기 신호, 보조 데이터를 수신한다. 그리고, 리커버리/디코더(82A)는, 그 화상 데이터의 B성분, 수직 동기 신호 및 수평 동기 신호, 보조 데이터를, 시리얼 데이터로부터 패럴렐 데이터로 변환하고, 디코드하여 출력한다.
리커버리/디코더(82B)는, TMDS 채널(#1)로 차동 신호에 의해 송신되어 오는 화상 데이터의 G성분, 제어 비트(CTL0, CTL1), 보조 데이터를 수신한다. 그리고, 리커버리/디코더(82B)는, 그 화상 데이터의 G성분, 제어 비트(CTL0, CTL1), 보조 데이터를, 시리얼 데이터로부터 패럴렐 데이터로 변환하고, 디코드하여 출력한다.
리커버리/디코더(82C)는, TMDS 채널(#2)로 차동 신호에 의해 송신되어 오는 화상 데이터의 R성분, 제어 비트(CTL2, CTL3), 보조 데이터를 수신한다. 그리고, 리커버리/디코더(82C)는, 그 화상 데이터의 R성분, 제어 비트(CTL2, CTL3), 보조 데이터를, 시리얼 데이터로부터 패럴렐 데이터로 변환하고, 디코드하여 출력한다.
도 45는, TMDS 전송 데이터의 구조예를 도시하고 있다. 이 도 45는, TMDS 채널(#0, #1, #2)에서, 가로×세로가 1920픽셀×1080라인의 화상 데이터가 전송되는 경우의, 각종의 전송 데이터의 구간을 나타내고 있다.
HDMI의 3개의 TMDS 채널(#0, #1, #2)로 전송 데이터가 전송되는 비디오 필드(Video Field)에는, 전송 데이터의 종류에 응하여, 3종류의 구간이 존재한다. 이 3종류의 구간은, 비디오 데이터 구간(Video Data period), 데이터 아일랜드 구간(Data Islandperiod), 및 컨트롤 구간(Control period)이다.
여기서, 비디오 필드 구간은, 어느 수직 동기 신호의 상승 에지(active edge)로부터 다음의 수직 동기 신호의 상승 에지까지의 구간이다. 이 비디오 필드 구간은, 수평 블랭킹 기간(horizontal blanking), 수직 블랭킹 기간(verticalblanking), 및, 액티브 비디오 구간(Active Video)으로 나뉘어진다. 이 액티브 비디오 구간은, 비디오 필드 구간에서, 수평 블랭킹 기간 및 수직 블랭킹 기간을 제외한 구간이다
비디오 데이터 구간은, 액티브 비디오 구간에 할당된다. 이 비디오 데이터 구간에서는, 비압축의 1화면분의 화상 데이터를 구성하는 1920픽셀(화소)×1080라인분의 유효 화소(Active pixel)의 데이터가 전송된다.
데이터 아일랜드 구간 및 컨트롤 구간은, 수평 블랭킹 기간 및 수직 블랭킹 기간에 할당된다. 이 데이터 아일랜드 구간 및 컨트롤 구간에서는, 보조 데이터(Auxiliary data)가 전송된다. 즉, 데이터 아일랜드 구간은, 수평 블랭킹 기간과 수직 블랭킹 기간의 일부분에 할당되어 있다. 이 데이터 아일랜드 구간에서는, 보조 데이터중, 제어에 관계되지 않는 데이터인, 예를 들면, 음성 데이터의 패킷 등이 전송된다.
컨트롤 구간은, 수평 블랭킹 기간과 수직 블랭킹 기간의 다른 부분에 할당되어 있다. 이 컨트롤 구간에서는, 보조 데이터중의, 제어에 관계되는 데이터인, 예를 들면, 수직 동기 신호 및 수평 동기 신호, 제어 패킷 등이 전송된다.
도 46은, HDMI 단자(211, 251)의 핀 배열의 한 예를 도시하고 있다. 도 46에 도시하는 핀 배열은 타입 A(type-A)라고 불리고 있다.
TMDS 채널(#i)의 차동 신호를 전송하는 차동선인 2개의 라인은, TMDS Data(#i+)가 할당되어 있는 핀(핀 번호가 1, 4, 7의 핀)과, TMDS Data(#i-)가 할당되어 있는 핀(핀 번호가 3, 6, 9의 핀)에 접속된다.
또한, 제어용의 데이터인 CEC 신호가 전송되는 CEC 라인(84)은, 핀 번호가 13인 핀에 접속되고, 핀 번호가 14의 핀은 빈(空)(Reserved) 핀으로 되어 있다. 또한, E-EDID 등의 SDA(SerialData) 신호가 전송되는 라인은, 핀 번호가 16인 핀에 접속된다. 또한, SDA 신호의 송수신시의 동기에 사용되는 클록 신호인 SCL(Serial Clock) 신호가 전송되는 라인은, 핀 번호가 15인 핀에 접속된다. 상술한 DDC(83)는, SDA 신호가 전송되는 라인 및 SCL 신호가 전송되는 라인에 의해 구성된다.
또한, 상술한 바와 같이 소스 기기가 싱크 기기의 접속을 검출하기 위한 HPD 라인(86)은, 핀 번호가 19인 핀에 접속된다. 또한, 상술한 바와 같이 전원을 공급하기 위한 라인(87)은, 핀 번호가 18인 핀에 접속된다.
[입체화상 데이터의 각 방식에서의 TMDS 전송 데이터예]
여기서, 입체화상 데이터의 각 방식에서의 TMDS 전송 데이터예를 설명한다. 도 47은, 제 1의 전송 방식(「Top & Bottom」 방식)의 TMDS 전송 데이터예를 도시하고 있다. 이 경우, 1920픽셀×1080라인의 액티브 비디오 구간에, 1920픽셀(화소)×1080라인분의 유효 화소(Active pixel)의 데이터(좌안(L)화상 데이터 및 우안(R)화상 데이터의 합성 데이터)가 배치된다. 이 제 1의 방식의 경우, 상술한 바와 같이, 좌안화상 데이터 및 우안화상 데이터는, 각각, 수직방향의 라인이 1/2로 솎아내여진다. 여기서, 전송하여야 할 좌안화상 데이터는 홀수 라인 또는 짝수 라인의 어느 한쪽이고, 마찬가지로, 전송하여야 할 우안화상 데이터는 홀수 라인 또는 짝수 라인의 어느 한쪽이다.
도 48은, 제 2의 전송 방식(「Side By Side」 방식)의 TMDS 전송 데이터예를 도시하고 있다. 이 경우, 1920픽셀×1080라인의 액티브 비디오 구간에, 1920픽셀(화소)×1080라인분의 유효 화소(Active pixel)의 데이터(좌안(L)화상 데이터 및 우안(R)화상 데이터의 합성 데이터)가 배치된다. 이 제 2의 전송 방식의 경우, 상술한 바와 같이, 좌안화상 데이터 및 우안화상 데이터는, 각각, 수평방향의 픽셀 데이터가 1/2로 솎아내여진다.
도 49는, 제 3의 전송 방식(「Frame Sequential」 방식)에서의 TMDS 전송 데이터예를 도시하고 있다. 이 경우, 홀수 필드의 1920픽셀×1080라인의 액티브 비디오 구간에, 1920픽셀(화소)×1080라인분의 유효 화소(Active pixel)의 좌안(L)화상 데이터가 배치된다. 또한, 짝수 필드의 1920픽셀×1080라인의 액티브 비디오 구간에, 1920픽셀(화소)×1080라인분의 유효 화소(Active pixel)의 우안(R)화상 데이터가 배치된다.
또한, 도 49에 도시하는, 「Frame Sequential」 방식에서의 TMDS 전송 데이터예는, HDMI 1.4(New HDMI)에서의 「Frame Sequential」 방식을 나타내고 있다. 이 경우, 도 50의 (a)에 도시하는 바와 같이, 각 프레임 기간(Vfreq)에서, 홀수 필드에 좌안화상 데이터가 배치되고, 짝수 필드에 우안화상 데이터가 배치되어 있다.
그러나, HDMI 1.3(Legacy HDMI)으로의 「FrameSequential」 방식의 경우에는, 도 50의 (b)에 도시하는 바와 같이, 프레임 기간(Vfreq)마다, 좌안화상 데이터와 우안화상 데이터란 교대로 전송된다. 이 경우, 프레임마다 전송되는 화상 데이터가 좌안화상 데이터, 우안화상 데이터의 어느쪽인가를 나타내는 정보(L, R의 signaling 정보)를, 소스 기기는 싱크 기기에 보낼 것이 필요해진다.
Top& Bottom방식, 「Side By Side」 방식, 「Frame Sequential」 방식의 입체화상 데이터를 싱크 기기에 송신하는 경우, 소스 기기측에서 방식을 지정한다. 또한, 「Frame Sequential」 방식의 경우에는, L, R을 프레임마다 signaling한다.
예를 들면, 이하의 신택스를 Legacy HDMI 사양의 블랭킹에 정의되어 있는 Vendor Specific, 또는 AVI InfoFrame, 또는 Reserved의 하나를 신규 정의하여, 전송한다.
HDMI 1.3의 경우, 블랭킹 기간에 보내는 정보로서는, 다음의 것이 정의되어 있다.
InfoFrameType # (8bits)
--------------------------
0x01 : Vendor Specific
0x02 : AVI InfoFrame
0x03 : Source Product Description
0x04 : Audio InfoFrame
0x05 : MPEGSource
0x06 -0xFF Reserved
이 중의, Vendor Specific, 또는 AVI InfoFrame, 또는 미사용 영역의 하나를 신규 정의하여, 이하와 같이 한다.
Figure pct00001
상술한 정보에는, 3차원 화상 데이터(입체화상 데이터) 및 2차원 화상 데이터의 전환 정보(1비트의 3DVideoFlag 정보)가 포함되어 있다. 또한, 상술한 정보에는, 3차원 화상 데이터의 포맷의 지정 또는 좌안화상 데이터 및 우안화상 데이터의 전환의 정보(3비트의 3DVideoFormat 정보)가 포함되어 있다.
또한, 이 정보는, 같은 내용이 방송되는 비트 스트림중에서, 화상 헤더 또는 그것에 상당한 타이밍에서 보내지는 보조 정보에 정의되어야 할 것이다. 이 경우, 이 비트 스트림에는, 3차원 화상 데이터(좌안화상 데이터 및 우안화상 데이터로 이루어지는 입체화상 데이터) 또는 2차원 화상 데이터가 택일적으로 포함된다.
수신기(세트 톱 박스(200))에서는, 그 스트림을 수신한 때에, 이 시그널링 정보를 후단의 디지털 인터페이스에 보냄으로써, 표시 디스플레이(텔레비전 수신기(300))에서 정확한 3D 변환을 행할 수 있도록 조처한다.
수신기는, 전환 정보(1비트의 3DVideoFlag 정보)가 3차원 화상 데이터를 나타낼 때, 데이터 스트림에 포함되는 3차원 화상 데이터를 처리하기 위한 소프트웨어를 방송 서버 등 외부 기기로부터 다운로드하여 인스톨하도록 하여도 좋다.
예를 들면, 상술한 3D 정보를 전송하기 위해, HDMI1.3 대응의 시스템상에 추가로 대응하는 것, 또는 HDMI1.4 대응의 시스템의 소프트웨어를 갱신하는 것이 필요해진다. 그 때문에, 소프트웨어의 업데이트할 때에는, 예를 들면, 상술한 3D 정보를 전송하기 위해 필요한 팜 웨어, 미들 웨어 관계의 소프트웨어가 업데이트의 대상이 된다.
상기한 바와 같이, 도 1에 도시하는 입체화상 표시 시스템(10)에서는, 시차정보에 의거하여, 좌안화상 및 우안화상에 중첩하는 동일한 중첩정보(클로즈드?캡션 정보, 서브타이틀 정보 등)에 시차가 부여된다. 그 때문에, 좌안화상 및 우안화상에 중첩되는 동일한 중첩정보로서, 화상 내의 각 물체(오브젝트)의 원근감에 응하여 시차 조정이 시행된 것을 이용할 수가 있어서, 중첩정보의 표시에서, 화상 내의 각 물체 사이의 원근감의 정합성을 유지하는 것이 가능하게 된다.
<2. 변형례>
또한, 상술한 실시의 형태에서는, 방송국(100)측부터 세트 톱 박스(200)에 화상 내의 소정 위치의 시차벡터가 송신되어 온다. 이 경우, 세트 톱 박스(200)는, 수신된 입체화상 데이터에 포함되는 좌안화상 데이터 및 우안화상 데이터에 의거하여 시차벡터를 얻는 것을 필요로 하지 않아, 세트 톱 박스(200)의 처리가 간단하게 된다.
그러나, 입체화상 데이터의 수신측, 상술한 실시의 형태에서는 세트 톱 박스(200)에, 도 2의 송신 데이터 생성부(110)에서의 시차벡터 검출부(114)와 동등한 시차벡터 검출부를 배치하는 것도 생각된다. 이 경우, 시차벡터가 보내져 오지 않아도, 시차벡터를 이용한 처리가 가능하게 된다.
도 51은, 예를 들면, 세트 톱 박스(200)에 마련되는 비트 스트림 처리부(201F)의 구성례를 도시하고 있다. 이 도 51에서, 도 35와 대응하는 부분에는 동일 부호를 붙이고, 그 상세 설명은 생략한다. 이 비트 스트림 처리부(201F)에서는, 도 35에 도시하는 비트 스트림 처리부(201)에서의 시차벡터 디코더(225) 대신에, 시차벡터 검출부(237)가 배치되어 있다.
이 시차벡터 검출부(237)는, 비디오 디코더(221)에서 얻어지는 입체화상 데이터를 구성하는 좌안화상 데이터 및 우안화상 데이터에 의거하여, 화상 내의 소정 위치에서의 시차벡터를 검출한다. 그리고, 이 시차벡터 검출부(237)는, 검출한 시차벡터를, 입체화상용 서브타이틀?그래픽스 발생부(226), 입체화상용 텍스트 발생부(227) 및 멀티채널 스피커 출력 제어부(229)에 공급한다.
상세 설명은 생략하지만, 이 도 51에 도시하는 비트 스트림 처리부(201F)의 기타는, 도 35에 도시하는 비트 스트림 처리부(201)와 마찬가지로 구성되고, 마찬가지로 동작한다.
또한, 도 52는, 예를 들면, 세트 톱 박스(200)에 마련되는 비트 스트림 처리부(201G)의 다른 구성례를 도시하고 있다. 이 도 52에서, 도 35, 도 39와 대응하는 부분에는 동일 부호를 붙이고, 그 상세 설명은 생략한다. 이 비트 스트림 처리부(201G)에서는, 도 39에 도시하는 비트 스트림 처리부(201C)에서의 시차정보 취출부(232) 시차벡터 디코더(225) 대신에, 시차벡터 검출부(237)가 배치되어 있다.
이 시차벡터 검출부(237)는, 비디오 디코더(221)에서 얻어지는 입체화상 데이터를 구성하는 좌안화상 데이터 및 우안화상 데이터에 의거하여, 화상 내의 소정 위치에서의 시차벡터를 검출한다. 시차벡터 검출부(237)는, 검출한 시차벡터를, 입체화상용 클로즈드?캡션 발생부(234), 입체화상용 서브타이틀?그래픽스 발생부(226), 입체화상용 텍스트 발생부(227) 및 멀티채널 스피커 컨트롤부(229)에 공급한다.
상세 설명은 생략하지만, 이 도 52에 도시하는 비트 스트림 처리부(201G)의 기타는, 도 39에 도시하는 비트 스트림 처리부(201C)와 마찬가지로 구성되고, 마찬가지로 동작한다.
또한, 상술한 실시의 형태에서는, 입체화상 표시 시스템(10)이, 방송국(100), 세트 톱 박스(200) 및 텔레비전 수신기(300)로 구성되어 있는 것을 나타냈다. 그러나, 텔레비전 수신기(300)는, 도 42에 도시하는 바와 같이, 세트 톱 박스(200) 내의 비트 스트림 처리부(201)와 동등하게 기능하는 비트 스트림 처리부(306)를 구비하고 있다. 따라서 도 53에 도시하는 바와 같이, 방송국(100) 및 텔레비전 수신기(300)로 구성되는 입체화상 표시 시스템(10A)도 생각된다.
또한, 상술 실시례에서는, 입체화상 데이터를 포함하는 데이터 스트림(비트 스트림 데이터)이 방송국(100)으로부터 방송되는 예를 나타냈다. 그러나, 본 발명은, 이 데이터 스트림이 인터넷 등의 네트워크를 이용하여 수신 단말에 배신되는 구성의 시스템에도 마찬가지로 적용할 수 있음은 물론이다.
또한, 이 출원은, 일본 특원2009-153686호를 참조하고 있다.
본 발명은, 그래픽스 정보, 텍스트 정보 등의 중첩정보를 화상에 중첩하여 표시하는 입체화상 표시 시스템 등에 적용할 수 있다.
10, 10A : 입체화상 표시 시스템
100 : 방송국
110, 110A 내지 100E : 송신 데이터 생성부
111L, 111R : 카메라
112 : 비디오 프레이밍부
113 : 비디오 인코더
113a : 스트림 포매터
114 : 시차벡터 검출부
115 : 시차벡터 인코더
116 : 마이크로폰
117 : 오디오 인코더
118 : 서브타이틀?그래픽스 발생부
119 : 서브타이틀?그래픽스 인코더
120 : 텍스트 발생부
121 : 텍스트 인코더
122 : 멀티플렉서
124 : 서브타이틀?그래픽스 처리부
125 : 텍스트 처리부
126 : 컨트롤러
127 : CC 인코더
128 : Z데이터부
129 : 시차정보 인코더
130 : CC 데이터 처리부
200 : 세트 톱 박스
201, 201A 내지 201G : 비트 스트림 처리부
202 : HDMI 단자
203 : 안테나 단자
204 : 디지털 튜너
205 : 영상 신호 처리 회로
206 : HDMI 송신부
207 : 음성 신호 처리 회로
211 : CPU
212 : 플래시 ROM
213 : DRAM
214 : 내부 버스
215 : 리모트 콘트롤 수신부
216 : 리모트 콘트롤 송신기
220 : 디멀티플렉서
221 : 비디오 디코더
222 : 서브타이틀?그래픽스 디코더
223 : 텍스트 디코더
224 : 오디오 디코더
225 : 시차벡터 디코더
226 : 입체화상용 서브타이틀?그래픽스 발생부
227 : 입체화상용 텍스트 발생부
228 : 비디오 중첩부
229 : 멀티채널 스피커 컨트롤부
231 : 시차벡터 취출부
232 : 시차정보 취출부
233 : CC 디코더
234 : 입체화상용 클로즈드?캡션 발생부
235 : 시차정보 취출부
236 : CC 디코더
237 : 시차벡터 검출부
300 : 텔레비전 수신기
301 : 3D 신호 처리부
302 : HDMI 단자
303 : HDMI 수신부
304 : 안테나 단자
305 : 디지털 튜너
306 : 비트 스트림 처리부
307 : 영상 신호 처리 회로
308 : 패널 구동 회로
309 : 표시 패널
310 : 음성 신호 처리 회로
311 : 음성 증폭 회로
312 : 스피커
321 : CPU
322 : 플래시 ROM
323 : DRAM
324 : 내부 버스
325 : 리모트 콘트롤 수신부
326 : 리모트 콘트롤 송신기
400 : HDMI 케이블

Claims (12)

  1. 좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터에 대해 부호화를 행하여 부호화 비디오 데이터를 얻는 부호화부와,
    상기 좌안화상 데이터 및 상기 우안화상 데이터에 의한 화상에 중첩하는 중첩정보의 데이터를 발생하는 중첩정보 데이터 발생부와,
    상기 좌안화상 데이터 및 상기 우안화상 데이터에 의한 화상에 중첩하는 상기 중첩정보에 시차를 부여하기 위한 시차정보를 출력하는 시차정보 출력부와,
    상기 부호화부에서 얻어진 부호화 비디오 데이터, 상기 중첩정보 데이터 발생부에서 발생된 중첩정보 데이터 및 상기 시차정보 출력부로부터 출력된 시차정보를 송신하는 송신부를 구비하는 것을 특징으로 하는 입체화상 데이터 송신 장치.
  2. 제 1항에 있어서,
    상기 중첩정보 데이터 발생부에서 발생되는 삭 중첩정보 데이터에는 식별자가 부가되어 있고,
    상기 시차정보 출력부로부터 출력되는 각 중첩정보 데이터의 시차정보에는, 대응하는 중첩정보 데이터에 부여되어 있는 식별자에 대응한 식별자가 부가되는 것을 특징으로 하는 입체화상 테이터의 송신 장치.
  3. 제 1항 또는 제 2항에 있어서,
    상기 시차정보 출력부는,
    상기 중첩정보 데이터 발생부에서 발생되는 중첩정보 데이터마다, 상기 좌안화상 데이터 및 상기 우안화상 데이터에 의한 화상의 내용에 응하여, 상기 시차정보를 결정하는 시차정보 결정부를 가지며,
    상기 시차정보 결정부에서 결정된 시차정보를 출력하는 것을 특징으로 하는 입체화상 데이터 송신 장치.
  4. 제 3항에 있어서,
    상기 시차정보 결정부는,
    상기 좌안화상 데이터 및 상기 우안화상 데이터에 의거하여, 화상 내의 복수의 위치에서, 좌안화상 및 우안화상의 한쪽에 대한 다른쪽의 시차정보를 검출하는 시차정보 검출부를 가지며,
    상기 중첩정보 데이터마다, 상기 시차정보 검출부에서 검출된 복수의 시차정보중 중첩 위치에 대응한 검출 위치에서 검출된 시차정보에 결정하는 것을 특징으로 하는 입체화상 데이터 송신 장치.
  5. 제 1항 또는 제 2항에 있어서,
    상기 시차정보 출력부는,
    상기 중첩정보 데이터 발생부에서 발생되는 중첩정보 데이터마다, 상기 시차정보를 설정하는 시차정보 설정부를 가지며,
    상기 시차정보 설정부에서 설정된 시차정보를 출력하는 것을 특징으로 하는 입체화상 데이터 송신 장치.
  6. 제 1항 또는 제 2항에 있어서,
    상기 시차정보 출력부는,
    상기 중첩정보 데이터 발생부에서 발생되는 중첩정보 데이터마다, 상기 좌안화상 데이터 및 상기 우안화상 데이터에 의한 화상의 내용에 응하여, 상기 시차정보를 결정하는 시차정보 결정부와, 상기 중첩정보 데이터 발생부에서 발생되는 중첩정보 데이터마다, 상기 시차정보를 설정하는 시차정보 설정부를 가지며,
    상기 시차정보 결정부에서 결정된 시차정보 또는 상기 시차정보 설정부에서 설정된 시차정보를 선택적으로 출력하는 것을 특징으로 하는 입체화상 데이터 송신 장치.
  7. 제 1항에 있어서,
    상기 송신부는,
    상기 시차정보 출력부로부터 출력된 시차정보를, 상기 부호화부에서 얻어진 부호화 비디오 데이터를 페이로드부에 포함하는 비디오 엘리멘터리 스트림의 헤더부의 유저 데이터 영역에 포함하여 송신하는 것을 특징으로 하는 입체화상 데이터 송신 장치.
  8. 제 1항에 있어서,
    상기 송신부는,
    상기 시차정보 출력부로부터 출력된 시차정보를 송신할 때에, 상기 중첩정보의 중첩 위치를 나타내는 정보 및 상기 중첩정보의 표시시간을 나타내는 정보의 어느 한쪽 또는 양쪽을, 상기 시차정보에 부가하여 송신하는 것을 특징으로 하는 입체화상 데이터 송신 장치.
  9. 제 1항에 있어서,
    상기 중첩정보의 데이터는 자막 또는 프로그램 정보를 표시하기 위한 캐릭터 코드인 것을 특징으로 하는 입체화상 데이터 송신 장치.
  10. 제 1항에 있어서,
    상기 중첩정보의 데이터는, 서브타이틀 또는 그래픽스를 표시하기 위한 비트맵 데이터인 것을 특징으로 하는 입체화상 데이터 송신 장치.
  11. 좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터에 대해 부호화를 행하여 부호화 비디오 데이터를 얻는 부호화 스텝과,
    상기 좌안화상 데이터 및 상기 우안화상 데이터에 의한 화상에 중첩하는 중첩정보의 데이터를 발생하는 중첩정보 데이터 발생 스텝과,
    상기 좌안화상 데이터 및 상기 우안화상 데이터에 의한 화상에 중첩하는 상기 중첩정보에 시차를 부여하기 위한 시차정보를 출력하는 시차정보 출력 스텝과,
    상기 부호화 스텝으에서 얻어진 부호화 비디오 데이터, 상기 중첩정보 데이터 발생 스텝으에서 발생된 중첩정보 데이터 및 상기 시차정보 출력 스텝에서 출력된 시차정보를 송신하는 송신 스텝을 구비하는 것을 특징으로 하는 입체화상 데이터 송신 방법.
  12. 좌안화상 데이터 및 우안화상 데이터를 포함하는 입체화상 데이터에 대해 부호화를 시행하여 얻어진 부호화 비디오 데이터와, 상기 좌안화상 데이터 및 상기 우안화상 데이터에 의한 화상에 중첩하는 중첩정보의 데이터와, 상기 좌안화상 데이터 및 상기 우안화상 데이터에 의한 화상에 중첩하는 상기 중첩정보에 시차를 부여하기 위한 시차정보를 수신하는 수신부와,
    상기 수신부에서 수신된 상기 부호화 비디오 데이터에 대해 복호화를 행하여 상기 입체화상 데이터를 얻는 복호화부와,
    상기 수신부에서 수신된 상기 시차정보에 의거하여, 상기 복호화부에서 얻어진 입체화상 데이터에 포함되는 상기 좌안화상 데이터 및 상기 우안화상 데이터에 의한 화상에 중첩하는 상기 수신부에서 수신된 상기 중첩정보 데이터에 의한 동일한 중첩정보에 시차를 부여하고, 상기 중첩정보가 중첩된 좌안화상의 데이터 및 상기 중첩정보가 중첩된 우안화상의 데이터를 얻는 화상 데이터 처리부를 구비하는 것을 특징으로 하는 입체화상 데이터 수신 장치.
KR1020117003580A 2009-06-29 2010-06-22 입체화상 데이터 송신 장치, 입체화상 데이터 송신 방법 및 입체화상 데이터 수신 장치 KR20120038388A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JPJP-P-2009-153686 2009-06-29
JP2009153686 2009-06-29
JPJP-P-2009-246179 2009-10-27
JP2009246179A JP5521486B2 (ja) 2009-06-29 2009-10-27 立体画像データ送信装置および立体画像データ送信方法

Publications (1)

Publication Number Publication Date
KR20120038388A true KR20120038388A (ko) 2012-04-23

Family

ID=43410930

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117003580A KR20120038388A (ko) 2009-06-29 2010-06-22 입체화상 데이터 송신 장치, 입체화상 데이터 송신 방법 및 입체화상 데이터 수신 장치

Country Status (9)

Country Link
US (1) US20110141234A1 (ko)
EP (1) EP2451167A4 (ko)
JP (1) JP5521486B2 (ko)
KR (1) KR20120038388A (ko)
CN (1) CN102177723A (ko)
BR (1) BRPI1004288A2 (ko)
RU (1) RU2530346C2 (ko)
TW (1) TWI413403B (ko)
WO (1) WO2011001853A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5620651B2 (ja) * 2009-06-26 2014-11-05 キヤノン株式会社 再生装置、撮像装置、及びその制御方法
WO2011118215A1 (ja) * 2010-03-24 2011-09-29 パナソニック株式会社 映像処理装置
WO2011129631A2 (ko) 2010-04-14 2011-10-20 삼성전자 주식회사 디지털 자막 방송을 위한 방송 비트스트림을 생성하는 방법 및 그 장치, 디지털 자막 방송을 위한 방송 비트스트림을 수신하는 방법 및 그 장치
WO2012023789A2 (ko) * 2010-08-17 2012-02-23 엘지전자 주식회사 디지털 방송 신호 수신 장치 및 방법
EP2625853A1 (en) * 2010-10-05 2013-08-14 Telefonaktiebolaget L M Ericsson (PUBL) Multi-view encoding and decoding technique based on single-view video codecs
KR101817939B1 (ko) * 2011-03-28 2018-01-15 삼성디스플레이 주식회사 3차원 영상 데이터 처리 방법 및 이를 수행하는 표시 장치
JP5143291B2 (ja) * 2011-04-20 2013-02-13 株式会社東芝 画像処理装置、方法、および立体画像表示装置
JP2012227842A (ja) * 2011-04-21 2012-11-15 Sharp Corp 映像供給装置、および、映像供給方法
CN103765902B (zh) * 2011-08-30 2017-09-29 英特尔公司 多视角视频编码方案
US9407897B2 (en) 2011-09-30 2016-08-02 Panasonic Intellectual Property Management Co., Ltd. Video processing apparatus and video processing method
WO2013074160A1 (en) * 2011-11-14 2013-05-23 General Instrument Corporation Association of mvc stereoscopic views to left or right eye display for 3dtv
US9769488B2 (en) 2012-02-02 2017-09-19 Sun Patent Trust Methods and apparatuses for 3D media data generation, encoding, decoding and display using disparity information
WO2013157812A1 (ko) * 2012-04-16 2013-10-24 삼성전자주식회사 3d 비디오 부호화/복호화 장치 및 부호화/복호화 방법
KR102133936B1 (ko) * 2012-04-16 2020-07-14 삼성전자주식회사 ３ｄ 비디오 부호화／복호화 장치 및 부호화／복호화 방법
US9392214B2 (en) * 2013-02-06 2016-07-12 Gyrus Acmi, Inc. High definition video recorder/player
WO2016108268A1 (ja) * 2014-12-29 2016-07-07 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2018089040A1 (en) * 2016-11-14 2018-05-17 Lightcraft Technology Llc Spectator virtual reality system
CN112075083B (zh) * 2018-06-25 2023-04-04 华为技术有限公司 一种包含字幕的高动态范围视频处理的方法及装置
WO2020025114A1 (en) * 2018-07-31 2020-02-06 Vestel Elektronik Sanayi Ve Ticaret A.S. Method, apparatus, system and computer program for data distribution

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11113028A (ja) * 1997-09-30 1999-04-23 Toshiba Corp ３次元映像表示装置
JPH11289555A (ja) * 1998-04-02 1999-10-19 Toshiba Corp 立体映像表示装置
EP1501316A4 (en) * 2002-04-25 2009-01-21 Sharp Kk METHOD FOR GENERATING MULTIMEDIA INFORMATION, AND DEVICE FOR REPRODUCING MULTIMEDIA INFORMATION
JP2004040445A (ja) * 2002-07-03 2004-02-05 Sharp Corp ３ｄ表示機能を備える携帯機器、及び３ｄ変換プログラム
JP4190263B2 (ja) * 2002-11-25 2008-12-03 三洋電機株式会社 立体視用映像提供方法及び立体映像表示装置
CN1726726A (zh) * 2002-12-16 2006-01-25 三洋电机株式会社 立体图像产生设备和立体图像传递方法
JP2004274125A (ja) * 2003-03-05 2004-09-30 Sony Corp 画像処理装置および方法
JP4190357B2 (ja) 2003-06-12 2008-12-03 シャープ株式会社 放送データ送信装置、放送データ送信方法および放送データ受信装置
JP3746506B2 (ja) * 2004-03-08 2006-02-15 一成 江良 立体視化パラメータ埋込装置及び立体視画像再生装置
US7929728B2 (en) * 2004-12-03 2011-04-19 Sri International Method and apparatus for tracking a movable object
US7563228B2 (en) * 2005-01-24 2009-07-21 Siemens Medical Solutions Usa, Inc. Stereoscopic three or four dimensional ultrasound imaging
WO2006111893A1 (en) * 2005-04-19 2006-10-26 Koninklijke Philips Electronics N.V. Depth perception
WO2007116549A1 (ja) * 2006-04-07 2007-10-18 Sharp Kabushiki Kaisha 画像処理装置
KR101842622B1 (ko) * 2007-03-16 2018-03-27 톰슨 라이센싱 3차원 콘텐츠와 텍스트를 조합하기 위한 시스템 및 방법
US8274551B2 (en) * 2007-06-11 2012-09-25 Samsung Electronics Co., Ltd. Method and apparatus for generating header information of stereoscopic image data
JP2009017198A (ja) * 2007-07-04 2009-01-22 Panasonic Corp データ処理装置およびデータ処理方法
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
KR100955578B1 (ko) * 2007-12-18 2010-04-30 한국전자통신연구원 스테레오스코픽 콘텐츠 장면 재생 방법 및 그 장치
JP2009153686A (ja) 2007-12-26 2009-07-16 Lion Corp 床用清掃シート
RU2518189C2 (ru) * 2008-06-26 2014-06-10 Панасоник Корпорэйшн Носитель записи, устройство воспроизведения, устройство записи, способ воспроизведения, способ записи и программа
CN102232294B (zh) * 2008-12-01 2014-12-10 图象公司 用于呈现具有内容自适应信息的三维动态影像的方法和系统
US8358331B2 (en) * 2008-12-02 2013-01-22 Lg Electronics Inc. 3D caption display method and 3D display apparatus for implementing the same
US8803948B2 (en) * 2009-02-12 2014-08-12 Lg Electronics Inc. Broadcast receiver and 3D subtitle data processing method thereof
BRPI1005691B1 (pt) * 2009-02-17 2021-03-09 Koninklijke Philips N.V. método de combinação de dados de imagem tridimensional [3d] e dados gráficos auxiliares, portador de informações compreendendo dados de imagem tridimensional [3d] e dados gráficos auxiliares, dispositivo de geração de 3d para combinar dados de imagem tridimensional [3d] e dados gráficos auxiliares, dispositivo de exibição em 3d para combinar dados de imagem tridimensional [3d] e dados gráficos auxiliares

Also Published As

Publication number Publication date
TWI413403B (zh) 2013-10-21
BRPI1004288A2 (pt) 2016-02-23
RU2530346C2 (ru) 2014-10-10
JP5521486B2 (ja) 2014-06-11
TW201116043A (en) 2011-05-01
CN102177723A (zh) 2011-09-07
US20110141234A1 (en) 2011-06-16
WO2011001853A1 (ja) 2011-01-06
RU2011105392A (ru) 2012-08-20
JP2011030176A (ja) 2011-02-10
EP2451167A4 (en) 2013-12-04
EP2451167A1 (en) 2012-05-09

Similar Documents

Publication Publication Date Title
TWI413403B (zh) Three-dimensional image data transmission device, three-dimensional image data transmission method and three-dimensional image data receiving device
EP2451168A1 (en) Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data reception device, and three-dimensional image data reception method
RU2463731C1 (ru) Устройство и способ передачи данных стереоизображения, устройство и способ приема данных стереоизображения, устройство передачи данных изображения и устройство приема данных изображения
JP5446913B2 (ja) 立体画像データ送信装置および立体画像データ送信方法
TWI452892B (zh) Image data transmission device, control method and program
JP5402715B2 (ja) 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
WO2011001859A1 (ja) 立体画像データ送信装置および立体画像データ受信装置
WO2011001858A1 (ja) 立体画像データ送信装置および立体画像データ受信装置
EP2451169A1 (en) Three-dimensional image data transmission device, three-dimensional image data transmission method, three-dimensional image data reception device, and three-dimensional image data reception method
JP2011166757A (ja) 送信装置、送信方法および受信装置
KR20130132240A (ko) 입체 화상 데이터 송신 장치, 입체 화상 데이터 송신 방법 및 입체 화상 데이터 수신 장치
JP2011010255A (ja) 立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
JP2013176141A (ja) 立体画像データ受信装置および立体画像データ受信方法

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid