KR20120092495A - 화상 송신 방법, 화상 수신 방법, 화상 송신 장치, 화상 수신 장치, 및 화상 전송 시스템 - Google Patents

화상 송신 방법, 화상 수신 방법, 화상 송신 장치, 화상 수신 장치, 및 화상 전송 시스템 Download PDF

Info

Publication number
KR20120092495A
KR20120092495A KR1020117014903A KR20117014903A KR20120092495A KR 20120092495 A KR20120092495 A KR 20120092495A KR 1020117014903 A KR1020117014903 A KR 1020117014903A KR 20117014903 A KR20117014903 A KR 20117014903A KR 20120092495 A KR20120092495 A KR 20120092495A
Authority
KR
South Korea
Prior art keywords
moving picture
additional information
information
image
normal viewing
Prior art date
Application number
KR1020117014903A
Other languages
English (en)
Inventor
히데토시 나가노
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20120092495A publication Critical patent/KR20120092495A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/356—Image reproducers having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명에 관한 화상 송신 장치는, 통상시청용 동화상과 부가정보 동화상이 1프레임 상에 배치된 통합화상을 부호화하는 동화상 압축부(102)와, 통상시청용 화상의 영역을 나타내는 영역정보를 부호화하는 통상시청용 동화상 영역 부호부(104)와, 부가정보 동화상이 존재하는 것을 나타내는 존재정보를 부호화하는 부가정보 동화상 존재정보 부호화부(106)와, 부호화된 통합화상, 영역정보 및 존재정보를 송신하는 송신부를 구비한다.

Description

화상 송신 방법, 화상 수신 방법, 화상 송신 장치, 화상 수신 장치, 및 화상 전송 시스템{IMAGE TRANSMISSION METHOD, IMAGE RECEPTION METHOD, IMAGE TRANSMISSION DEVICE, IMAGE RECEPTION DEVICE, AND IMAGE TRANSMISSION SYSTEM}
본 발명은, 화상 송신 방법, 화상 수신 방법, 화상 송신 장치, 화상 수신 장치, 및 화상 전송 시스템에 관한 것이다.
종래, 예를 들면 하기한 특허 문헌에 기재되어 있는 바와 같이, 시차(視差)를 갖는 좌안용 화상 및 우안용 화상을 소정 주기로 교대로 디스플레이에 공급하고, 이 화상을 소정 주기에 동기하여 구동되는 액정 셔터를 구비하는 안경으로 관찰하는 방법이 알려져 있다.
또한, 현행의 디지털 방송에서는, 전자 방송프로그램 표나 데이터 방송 등의 서비스가 운용되고 있고, 유저 희망에 따라 통상의 영상과 음성의 방송프로그램 이외의 서비스를 받을 수 있도록 되어 있다.
[특허 문헌]
특허 문헌 1: 일본 특개평9-138384호 공보
특허 문헌 2: 일본 특개2000-36969호 공보
특허 문헌 3: 일본 특개2003-45343호 공보
이와 같은 상황에 있어서, 통상 방송프로그램에서도, 영상과 음성에 새로운 부가가치를 붙임으로써 한층 더 서비스의 충실을 도모할 것이 요망되고 있다. 영상으로서 부가가치를 붙이기 위해서는, 통상의 영상(이후, 통상시청용 동화상이라고 부른다)과는 별개로 부가가치를 갖는 영상(이후, 부가정보 동화상이라고 부른다)을 송신하고, 수신측에서는, 통상시청용 동화상과 부가정보 동화상을 이용한, 고부가가치를 갖는 동화상 제시를 행하는 것이 생각된다.
통상 시청을 목적으로 하여 제작된 통상시청용 동화상과 함께, 컨텐츠의 부가가치 향상을 위해 부가정보 동화상을 송신하기 위해서는, 통상시청용 동화상과 부가정보 동화상을 제각기 부호화하여 전송하고, 각각을 제각기 복호화하여, 동화상 제시를 행하는 방법도 있지만, 이 경우에는, 수신 장치측에서 2개의 디코드를 행하여야 하므로, 2개의 디코더를 탑재하게 되면 수신 장치 자체의 가격이 올라가 버린다.
한편, 통상시청용 동화상과 부가정보 동화상을 단일 화면 내에 넣으면, 통상시청용 동화상과 부가정보 동화상은 함께 부호화되기 때문에, 단일한 인코더로 부호화가 가능함과 함께, 단일한 디코더에서 통상시청용 동화상과 부가정보 동화상을 복호화하는 것이 가능해진다. 그러나, 수신 장치의 출력으로서는, 통상시청용 동화상과 부가정보 동화상이 항상 표시되기 때문에, 송신측이 본래 의도하는 통상시청용 동화상과는 다른 표시가 되어 버린다.
예를 들면, 통상의 영상에 대해 고부가가치를 갖는 영상으로서, 2안(眼) 입체시(立體視) 동화상을 전송하는 경우를 생각한다. 이 경우, 편안(片眼) 화상을 통상시청용 동화상으로서 생각하고, 부가정보 동화상으로서 또 한쪽의 편안 동화상을 송신한다고 생각하면 좋다.
이 결과, 2안 입체시가 불가능한 종래형의 수신 장치에서는, 도 28, 도 29와 같이 통상시청용 동화상과 부가정보 동화상이 동일 화면상에 종방향 또는 횡방향으로 줄여지고 나서 동시에 나열하여 표시된다. 2안 입체시에 있어서의 좌우의 동화상으로는 내용적인 차분은 적기 때문에, 2안 입체시가 불가능한 수신 장치에서는, 도 28, 도 29보다도 도 30과 같이 편안 동화상(통상시청용 동화상)만을 올바른 종횡비로 시청할 수 있는 쪽이 바람직하다.
그래서, 본 발명은, 상기 문제를 감안하여 이루어진 것으로, 본 발명의 목적으로 하는 점은, 동화상 전송에 있어서, 현행의 송신?수신 장치의 변경을 최소한으로 억제하여 통상시청용의 동화상과 함께 부가정보 동화상을 전송하는 것이 가능한, 신규이면서 개량된 화상 송신 방법, 화상 수신 방법, 화상 송신 장치, 화상 수신 장치, 및 화상 전송 시스템을 제공하는 것에 있다.
상기 과제를 해결하기 위해, 본 발명의 어느 관점에 의하면, 통상시청용 동화상과 부가정보 동화상이 1프레임 상에 배치된 통합화상을 압축하는 스텝과, 통상시청용 화상의 영역을 나타내는 영역정보를 부호화하는 스텝과, 부가정보 동화상이 존재하는 것을 나타내는 존재정보를 부호화하는 스텝과, 상기 통합화상, 상기 영역정보 및 상기 존재정보를 송신하는 스텝을 구비하는, 화상 송신 방법이 제공된다.
또한, 상기 존재정보는, 부가정보 동화상의 종류를 지정하는 정보를 포함하는 것이라도 좋다.
또한, 상기 부가정보 동화상의 종류로서, 복수안(複數眼) 입체시용으로 사용하는 동화상인지의 여부를 지정하는 정보를 포함하는 것이라도 좋다.
또한, 상기 존재정보는, 상기 부가정보 동화상의 영역을 나타내는 영역정보, 또는 상기 부가정보 동화상의 어스펙트?레이쇼(aspect ratio)를 포함하는 것이라도 좋다.
또한, 상기 존재정보는, 상기 부가정보 동화상 사용시에 있어서의 상기 통상시청용 동화상의 화상 영역을 지정하는 정보를 포함하는 것이라도 좋다.
또한, 상기 과제를 해결하기 위해, 본 발명의 다른 관점에 의하면, 송신측으로부터 보내진, 통상시청용 동화상과 부가정보 동화상이 1프레임 상에 배치된 통합화상을 신장하는 스텝과, 상기 통합화상과 함께 송신측으로부터 보내진 상기 통상시청용 동화상의 영역을 나타내는 영역정보를 복호화하는 스텝과, 상기 통합화상과 함께 송신측으로부터 보내진 상기 부가정보 동화상이 존재하는 것을 나타내는 존재정보를 복호화하는 스텝과, 상기 영역정보에 의거하여 상기 통상시청용 동화상의 영역을 지정하여 표시하는 스텝과, 상기 존재정보에 의거하여 상기 부가정보 동화상의 존재를 인식하여 상기 부가정보 동화상을 표시하는 스텝을 구비하는, 화상 수신 방법이 제공된다.
또한, 상기 과제를 해결하기 위해, 본 발명의 다른 관점에 의하면, 통상시청용 동화상과 부가정보 동화상이 1프레임 상에 배치된 통합화상을 압축하는 압축부와, 통상시청용 화상의 영역을 나타내는 영역정보를 부호화하는 영역정보 부호화부와, 부가정보 동화상이 존재하는 것을 나타내는 존재정보를 부호화하는 존재정보 부호화부와, 부호화된 통합화상, 영역정보 및 존재정보를 송신하는 송신부를 구비하는, 화상 송신 장치가 제공된다.
또한, 상기 과제를 해결하기 위해, 본 발명의 다른 관점에 의하면, 송신측으로부터 보내진, 통상시청용 동화상과 부가정보 동화상이 1프레임 상에 배치된 통합화상을 신장하는 신장부와, 상기 통합화상과 함께 송신측으로부터 보내진 상기 통상시청용 동화상의 영역을 나타내는 영역정보를 복호화하는 영역정보 복호화부와, 상기 통합화상과 함께 송신측으로부터 보내진 상기 부가정보 동화상이 존재하는 것을 나타내는 존재정보를 복호화하는 존재정보 복호화부와, 상기 영역정보에 의거하여 상기 통상시청용 동화상의 영역을 지정하여 출력함과 함께, 상기 존재정보에 의거하여 상기 부가정보 동화상의 존재를 인식하여 상기 부가정보 동화상을 출력하는 화상 출력부를 구비하는, 화상 수신 장치가 제공된다.
또한, 상기 과제를 해결하기 위해, 본 발명의 다른 관점에 의하면, 통상시청용 동화상과 부가정보 동화상이 1프레임 상에 배치된 통합화상을 압축하는 압축부와, 통상시청용 화상의 영역을 나타내는 영역정보를 부호화하는 영역정보 부호화부와, 부가정보 동화상이 존재하는 것을 나타내는 존재정보를 부호화하는 존재정보 부호화부와, 부호화된 통합화상, 영역정보 및 존재정보를 송신하는 송신부를 갖는 화상 송신 장치와, 송신측으로부터 보내진, 통상시청용 동화상과 부가정보 동화상이 1프레임 상에 배치된 통합화상을 신장하는 신장부와, 상기 통합화상과 함께 송신측으로부터 보내진 상기 통상시청용 동화상의 영역을 나타내는 영역정보를 복호화하는 영역정보 복호화부와, 상기 통합화상과 함께 송신측으로부터 보내진 상기 부가정보 동화상이 존재하는 것을 나타내는 존재정보를 복호화하는 존재정보 복호화부와, 상기 영역정보에 의거하여 상기 통상시청용 동화상의 영역을 지정하여 출력함과 함께, 상기 존재정보에 의거하여 상기 부가정보 동화상의 존재를 인식하여 상기 부가정보 동화상을 출력하는 화상 출력부를 갖는, 화상 수신 장치를 구비하는 화상 전송 시스템이 제공된다.
본 발명에 의하면, 동화상 전송에 있어서, 현행의 송신?수신 장치의 변경을 최소한으로 억제하여 통상시청용의 동화상과 함께 부가정보 동화상을 전송하는 것이 가능해진다.
도 1은 통상시청용 동화상과 부가정보 동화상이 1화면에 표시된 상태를 도시하는 모식도.
도 2는 도 1의 배치정보를 표(表)로 한 상태를 도시하는 모식도.
도 3은 crop 파라미터와 절출되는 영역의 사각형 영역에 관한 파라미터를 도시하는 모식도.
도 4는 Dolby사(社)의 AC-3 오디오의 스트림 정보를 도시하는 모식도.
도 5는 PMT의 스트림 정보에 부가정보 동화상 descriptor를 추가하는 경우를 도시하는 모식도.
도 6은 부가정보 동화상 descriptor의 내용 예를 도시하는 도면.
도 7은 부가정보 동화상 SEI의 계층을 도시하는 도면.
도 8은 부가정보 동화상 존재정보를, 신규의 private section으로서 전송하는 경우를 도시하는 도면.
도 9는 부가정보 동화상의 절출 위치를 통상시청용 동화상의 직후에 배치한 경우를 도시하는 모식도.
도 10은 부가정보 동화상의 절출 위치를 통상시청용 동화상의 직후에 배치한 경우의 결정 내용을 도시하는 모식도.
도 11은 좌안 동화상에 대해 간격을 두고 우안 동화상을 배치한 경우를 도시하는 모식도.
도 12는 도 11의 경우의 결정 내용을 도시하는 모식도.
도 13은 횡방향으로 복수안 입체시의 동화상을 나열할 것을 정한 경우의 통합화상의 배치 상황을 도시하는 모식도.
도 14는 횡방향으로 들어오는 만큼 나열한 후, 또한 동화상이 있는 경우에는 종방향으로 나열하여 배치하는 결정으로 나열한 경우의 통합화상의 배치 상황을 도시하는 모식도.
도 15는 상단에 메인의 입체시 동화상을 배치하고, 하단에는 보충용의 입체시 동화상을 배치한 통합 동화상 예를 도시하는 모식도.
도 16은 H.264에 부가정보 동화상 SEI를 신규 추가하는 경우의 내용을 도시하는 모식도.
도 17은 부가정보 동화상의 종류마다 SEI를 신설한 경우에, sei_message 내의 정보에서의 필수항목이 없어진 상태를 도시하는 모식도.
도 18은 PMT에 부가정보 동화상 descriptor를 신규 추가하는 경우의 내용을 도시하는 모식도.
도 19는 부가정보 동화상의 종류마다 descriptor를 준비한 경우에, descriptor 내의 정보를 도시하는 모식도.
도 20은 MPEG2-TS의 private section에 부가정보 동화상 존재정보를 전송하는 것을 추가한 경우의 private_data_byte의 내용을 도시하는 모식도.
도 21은 H.264에 부가정보 동화상 SEI를 신규 추가하는 경우의 내용을 도시하는 모식도.
도 22는 본 실시 형태에 관한 송신 장치를 도시하는 블록도.
도 23은 기존의 송신 장치를 도시하는 모식도.
도 24는 본 실시 형태에 관한 수신 장치를 도시하는 모식도.
도 25는 기존의 수신 장치를 도시하는 모식도.
도 26은 PMT의 descriptor에 부가정보 동화상 descriptor를 신규 추가하는 경우의 내용을 도시하는 도면.
도 27은 MPEG2-TS의 private section에 부가정보 동화상 존재정보를 전송하는 것을 추가한 경우의 private_data_byte의 내용을 도시하는 도면.
도 28은 통상시청용 동화상과 부가정보 동화상이 동일 화면상에 종방향 또는 횡방향으로 줄여지고 나서 동시에 나열하여 표시된 상태를 도시하는 모식도.
도 29는 통상시청용 동화상과 부가정보 동화상이 동일 화면상에 종방향 또는 횡방향으로 줄여지고 나서 동시에 나열하여 표시된 상태를 도시하는 모식도.
도 30은 편안 동화상(통상시청용 동화상)만을 올바른 종횡비로 표시한 상태를 도시하는 모식도.
도 31은 통상시청용 동화상을 좌안 동화상 1440x1080, 부가정보 동화상을 우안 동화상 480x1080으로서 통합화상 내에 배치한 경우를 도시하는 모식도.
도 32는 통상시청용 동화상을 중앙 동화상 1920x810, 부가정보 동화상을 960x270의 2화상(좌동화상, 우동화상)으로서 배치한 경우를 도시하는 모식도.
도 33은 H.264를 인코더로서 이용하여, 부가정보 동화상 SEI를 이용하는 경우의 송신 장치의 처리 플로우 차트를 도시하는 모식도.
도 34는 H.264를 인코더로서 이용하여, 부가정보 동화상 descriptor를 이용하는 경우의 송신 장치의 처리 플로우 차트를 도시하는 모식도.
도 35는 H.264를 인코더로서 이용하여, 부가정보 동화상 section을 이용하는 경우의 송신 장치의 플로우 차트를 도시하는 모식도.
도 36은 H.264에 추가하는 부가정보 동화상 SEI를 이용한 경우의 수신 장치의 플로우 차트.
도 37은 PMT의 descriptor에 추가하는 부가정보 동화상 descriptor를 이용한 경우의 수신 장치의 플로우 차트.
도 38은 MPEG2-TS에 추가하는 부가정보 동화상 section을 이용한 경우의 수신 장치의 플로우 차트.
도 39는 H.264에 추가하는 부가정보 동화상 SEI를 이용한 경우의 수신 장치의 플로우 차트.
도 40은 PMT의 descriptor에 추가하는 부가정보 동화상 descriptor를 이용한 경우의 수신 장치의 플로우 차트.
도 41은 MPEG2-TS에 추가하는 부가정보 동화상 section을 이용한 경우의 수신 장치의 플로우 차트.
도 42는 H.264에 추가하는 부가정보 동화상 SEI를 이용한 경우의 수신 장치의 플로우 차트.
도 43은 PMT의 descriptor에 추가하는 부가정보 동화상 descriptor를 이용한 경우의 수신 장치의 플로우 차트.
도 44는 MPEG2-TS에 추가하는 부가정보 동화상 section을 이용한 경우의 수신 장치의 플로우 차트.
이하에 첨부 도면을 참조하면서, 본 발명의 알맞은 실시의 형태에 관하여 상세히 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 관해서는, 동일한 부호를 붙임으로써 중복 설명을 생략한다.
또한, 설명은 이하의 순서로 행하는 것으로 한다.
1. 제 1의 실시 형태(복수의 임의의 화상을 전송하는 예)
2. 제 2의 실시 형태(입체시 화상에의 적용)
[1. 제 1의 실시 형태]
우선, 본 실시 형태에 관한 시스템의 개념에 관해, 도면에 의거하여 설명한다. 여기서는 골프 중계의 컨텐츠를 예로, 부가정보 동화상으로서 2안 입체시에는 사용하지 않는 동화상을 전송하는 경우에 관해 설명한다. 또한, 골프 중계의 컨텐츠는 단순한 예시이고, 본 발명의 적용 범위는 골프 중계로 한정되는 것은 아니다.
도 1은, 통상시청용 동화상과 부가정보 동화상이 1화면에 표시된 상태를 도시하고 있고, 도면 중의 숫자는 화소수(畵素數)를 나타내고 있다. 여기서는, 한 예로서, 그린 주위에서의 상황에 대해, 본 실시 형태의 수법을 이용한 경우에 관해 설명한다. 통상시청용 동화상은, 통상의 골프 중계에서 행하여지는 동화상이고, 현행의 방송프로그램 내용(본편)에 대응하는 동화상이다. 한편, 부가정보 동화상은 통상시청용 동화상과는 별개의 동화상이고, 통상시청용 동화상과는 다른 관점에서 작성된 동화상을 제공함으로써, 방송프로그램 내용의 충실을 도모하는 것이다.
예를 들면, 도 1에 도시하는 바와 같이, 통상시청용 동화상으로 그린 상의 영상이 비치고 있다고 하면, 부가정보 동화상에는 그 그린의 경사나 지목(芝目, green grain) 등을 알 수 있는 동화상이나 이미 홀아웃한 다른 플레이어가 모니터에 주시하는 표정의 동화상 등을 이용하여, 유저가 영상의 장면을 다각적으로 파악할 수 있도록 한다. 또한, 통상시청용 동화상이, 플레이어가 페어 웨이를 걷는 영상이라면, 부가정보 동화상으로서는 직전의 드라이버 쇼트의 재현 화상이나, 갤러리를 비추었던 동화상을 이용하는 구성이 생각된다.
<통합 동화상>
본 실시 형태에서는, 현행의 동화상 압축 신장 수단으로부터의 변경을 적게 하기 위해, 통상시청용 동화상과 부가정보 동화상을 1프레임(또는 필드) 상에 배치하고, 하나의 동화상(이후, 통합 동화상이라고 기술한다)으로서 압축 신장 처리를 행한다.
도 1에는, 그린 상에 있는 볼을 비추는 통상시청용의 동화상과, 홀 전체를 상방에서 비춘 동화상, 및 그린 경사를 해설하기 위한 동화상이 1프레임 상에 배치된 경우의 통합 동화상의 1프레임을 도시한다. 또한, 프레임을 필드로 하여도 본 실시 형태의 유효성은 변하지 않는다.
도 2에는, 도 1의 배치정보를 표(表)로 한 것을 도시한다. 도 2는, 통합 동화상의 크기를 1920x1080픽셀로 하여, 통합화상의 좌상의 좌표를 (0, 0)으로 한 경우의, 각각의 동화상의 배치정보이다. 통상시청용 동화상은, 좌상(左上)부터 부착되어 있기 때문에, 좌상 단점(端点)은 (0, 0)이다. 또한, 통상시청용 동화상 자체는 폭방향(수평 방향)으로 반분(半分)으로 축소한 화상이고, 폭×높이는 960x1080픽셀이다. 축소함으로써, 샘플?어스펙트?레이쇼는 2:1이 된다. 한편, 부가정보 동화상은 720x480픽셀의 화상 사이즈이고, 16:9의 화면을 상정하여 작성된 동화상을 함께 상정하고 있기 때문에, 샘플?어스펙트?레이쇼는 40:33이 된다. 여기서, 2개의 부가정보 동화상의 영역?애스펙트 레이쇼는 특별히 일치할 필요는 없고, 부가정보 동화상은 2개로 한정되는 것도 아니다.
<현행 방송>
현행의 디지털 방송 시스템에서 상기한 통합 동화상을 전송하는 경우를 설명한다. 현행의 디지털 방송 시스템에서는, MPEG2-TS(transport stream)라고 불리는 패킷 다중화 방식에 의해, 동화상도 음성도 부호화되어 전송된다. 동화상의 코덱으로서는 MPEG2 VIDEO, H.264(AVC)가 주류를 차지하고 있고, 동화상은 이들의 코덱에 의해 압축되어 전송된다.
<송신 장치의 구성>
도 22는, 본 실시 형태에 관한 송신 장치(100)를 도시하는 블록도다. 도 22에 도시하는 바와 같이, 송신 장치(100)는, 동화상 압축부(102), 통상시청용 동화상 영역 부호화부(104), 부가정보 동화상 존재정보 부호화부(106)를 구비한다. 도 22의 송신 장치(100)에의 입력은, 통상시청용 동화상과 부가정보 동화상을 통합한 통합 동화상, 통상시청용 동화상의 통합 동화상 내에서의 영역과 어스펙트?레이쇼, 부가정보 동화상의 종류와 (송신 수신 사이에서 미리 결정이 없는 경우의) 영역, 부가정보 동화상 사용시의 통상시청용 동화상의 통합 동화상 내에서의 영역(송신 수신 사이에서 미리 결정이 없는 경우)이고, 출력은 이들이 부호화된 스트림이다. 또한, 도 23은, 기존의 송신 장치를 도시하고 있고, 기존의 송신 장치는, 부호화 정보 동화상 존재정보 부호화부(106)를 구비하지 않은 점에서, 도 22의 송신 장치(100)와 상위하다. 도 22 및 도 23에 도시하는 구성은, 회로 등의 하드웨어, 또는 중앙 연산 처리 장치(CPU)와 이것을 기능시키기 위한 프로그램(소프트웨어)에 의해 구성할 수 있다. 후술하는 수신 장치에 관해서도 마찬가지이다.
<통합 동화상의 압축과 통상시청용 동화상의 영역 부호화>
본 실시 형태에서는, 도 1과 같이 배치된 통합 동화상을 동화상 압축부(102)에서 기존의 코덱으로 동화 압축한다. 또한, 도 2의 배치정보 중, 통상시청용 동화상의 샘플?어스펙트?레이쇼 및 영역을 나타내는 정보(좌상 단점, 폭 높이)는, 통상시청용 동화상 영역 부호화부(104)에서 기존의 코덱의 부호화 방법을 이용하여 부호화한다.
우선, 통상시청용 동화상의 샘플?어스펙트?레이쇼에 관해서는, 예를 들면, 동화상의 코덱이 H.264라면, SPS 내의 VUI(Video usability information) 내에 있는, aspect_ratio_idc, sar_width, sar_height를 이용하여 지정한다.
도 2에서는, 복수의 샘플?어스펙트?레이쇼가 존재하는데, 통상시청용 동화상이 올바른 종횡비로 표시되도록, 통상시청용 동화상의 샘플?어스펙트?레이쇼를 사용한다. 도 2의 경우, 통상시청용 동화상의 샘플?어스펙트?레이쇼는 2:1이기 때문에, 상술한 sar_width, sar_height의 설정은 불필요하고, aspect_ratio_idc=16을 지정하면 좋다.
또한, 통상시청용 동화상의 영역의 정보는, 통합 동화상에서의 통상시청용 동화상의 절출(切出) 영역으로서 부호화한다. 예를 들면, 동화상의 코덱이 H.264라면, SPS(시퀀스?파라미터?세트) 내에 있는, frame_crop_left_offset, frame_crop_right_offset, frame_crop_top_offset, frame_crop_bottom_offset를 이용하여, 통합 동화상 내로부터 통상시청용 동화상을 절출하는 crop 파라미터로서 설정한다.
crop 파라미터와 절출되는 영역의 사각형 영역은 다음의 관계를 갖고 있다. 도 3에 도시하는 SubWidthC, SubHeightC를 이용하여,
좌상 단점의 좌표(xs, ys)는,
xs=SubWidthC * frame_crop_left_offset
ys=SubHeightC * (2-frame_mbs_only_flag) * frame_crop_top_offset
로 표시된다.
우하 단점의 좌표(xe, ye)는,
xe=PicWidthInSamles
- (SubWidthC * frame_crop_right_offset + 1)
ye=16 * FrameHeightInMbs
- (SubHeightC * (2-frame_mbs_only_flag) * frame_crop_bottom_offset + 1)
로 표시된다.
chroma_format_idc, frame_mbs_only_flag는, 모두 H.264의 SPS 내에 있는 파라미터이다.
현행 방송에서는, chroma_format_idc는 1이기 때문에, SubWidthC=2, SubHeightC=2이다. frame_mbs_only_flag는, 동화상 압축을 프레임 단위로 행하는지, 필드 단위로 행하는지를 나타내는 플래그이다.
도 1은, 프레임 내에서의 배치를 도시한 것이기 때문에, 프레임 단위로 압축하는 것으로 하여, frame_mbs_only_flag=1로 하여 설명을 계속한다. 필드 단위로 압축하는 경우는, frame_mbs_only_flag=0로 하여 계산하면 좋고, 본 실시 형태는 필드 단위로 압축하는 경우에도 유효하다.
이상으로부터, xs, xe, ys, ye는,
xs=2 * frame_crop_left_offset
ys=2 * frame_crop_top_offset
xe=PicWidthInSamles
- (2 * frame_crop_right_offset + 1)
ye=16 * FrameHeightInMbs
- (2 * frame_crop_bottom_offset + 1)
이 된다. 이에 의해, 절출되는 화상의 폭(w), 높이(h)는,
w=PicWidthInSamles - 2 * frame_crop_left_offset - 2 * frame_crop_right_offset
h=16 * FrameHeightInMbs - 2 * frame_crop_top_offset - 2 * frame_crop_bottom_offset
가 된다.
도 1의 통상시청용 동화상을 절출하는 파라미터는, 통합 동화상의 폭으로부터, PicWidthInSamples=1920, 통합 동화상의 높이는 1080이고, 16의 배수가 아니기 때문에, 16 * FrameHeightInMbs=1088이 된다.
또한, 통상시청용 동화상의 xs=0, ys=0, w=960, h=1080으로부터,
frame_crop_left_offset=0
frame_crop_top_offset=0
frame_crop_right_offset=480
frame_crop_bottom_offset=8
로서 설정하면 좋다.
이상과 같이 하여, 통상시청용 동화상의 샘플?어스펙트?레이쇼 및 배치정보를 지정하여, H.264에서의 부호화 처리를 행하면, 부호화된 스트림을 그대로 복호하면, 통상시청용 동화상이 통합 동화상으로부터 절출되어, 올바른 종횡비로 표시된다.
상기는 H.264에서의, 통상시청용 동화상의 샘플?어스펙트?레이쇼 및 배치정보의 부호화이지만, MPEG2 VIDEO에서도 마찬가지로 부호화 가능하다. 샘플?어스펙트?레이쇼에 관해서는, 시퀀스 헤더 내에, aspect_ratio_information이 있고, 샘플?어스펙트?레이쇼 또는 디스플레이?어스펙트?레이쇼에 의해, 파라미터 설정이 가능하게 되어 있다.
샘플?어스펙트?레이쇼는, 신장 직후의 화소의 종횡비를 나타내고 있고, 디스플레이?어스펙트?레이쇼는, 표시에서의 종횡비를 나타낸다.
도 2의 통상시청용 동화상의 샘플?어스펙트?레이쇼는 2:1이고, 화소의 폭이 높이의 2배인 것을 나타낸다. 따라서 올바르게 표시하기 위해서는, 960x1080의 화상을 횡방향으로 2배로 늘려서 1920x1080으로 표시한다. 디스플레이?어스펙트?레이쇼는 표시의 1920x1080의 종횡비이기 때문에, 1920:1080=16:9가 된다. 이 16:9는, aspect_ratio_information=3으로 함으로써 지정할 수 있다.
한쪽의 영역 절출에 관해서는, 시퀀스?디스플레이?익스텐션 헤더 내의, display_vertical_size, display_horizontal_size로 절출하는 폭 높이를 지정 가능하다. 픽쳐?디스플레이?익스텐션 헤더 내의, frame_centre_horizontal_offset, frame_centre_vertical_offset에 의해 절출 부분의 중심과 원래의 화상의 중심의 오프셋을 지정 가능하다. 이들의 파라미터에, 통상시청용 동화상의 샘플?어스펙트?레이쇼 및 배치정보를 부호화 가능하다. 단, ITU-T. Rec. H. 262의 기술(記述)로, 이들의 파라미터가 팬 스캔과 나열하여 기술되어 있고, 방송 규격에 의해서는 자유롭게 파라미터 설정할 수가 없는 경우도 있다. H.264에 관해서는, crop의 파라미터는 팬 스캔과는 별개로 설정 가능하고, 팬 스캔에 관련된 파라미터 제한은 없다.
다른 코덱이라도, 동화상의 신장 후에 절출을 행하는 파라미터를 갖고 있으면, 그것을 본 발명의 통상시청용 동화상의 샘플?어스펙트?레이쇼 및 배치정보의 지정으로서 이용할 수 있다.
다음에, 도 22에 도시하는 송신 장치(100)의 부가정보 동화상 존재정보 부호화부(106)에서 부호화하는, 부가정보 동화상 존재정보에 관해 설명한다.
<부가정보 동화상 존재정보>
도 1의 예에서는, 통상시청용 동화상 외에, 부가정보 동화상(1, 2)의 2개의 부가정보 동화상을 전송하고 있다. 이들의 부가정보 동화상은, 방송프로그램상의 보충 동화상으로서 유효한 동화상이지만, 항상 표시된다기보다는, 유저의 기호에 따라 표시되는 동화상이라고 생각하여도 좋다.
도 1의 예에서는, 메인 화면의 그린에 대해, 같은 시점(視點)에서 그 기복(起伏)을 나타낸 동화상과, 홀 전체를 상공에서 멀리 바라본 동화상을 보충 동화상으로서 통합 동화상에 배치하여 전송하고 있다.
부가정보 동화상 존재정보는, 「이들의 보충 동화상이 존재하는지의 여부」, 「존재한다면, 폭 높이?위치, 샘플?어스펙트?레이쇼는 무엇인지」, 「또한, 이들의 보충 동화상을 사용할 때에는, 통상시청용 동화상의 절출 영역을 어떻게 하는지」를 나타내는 정보이다.
도 1 및 도 2의 예에서는, 부가정보 동화상의 폭, 높이, 샘플?어스펙트?레이쇼는, 통상시청용 동화상의 것과는 다르다.
여기서는, 부가정보 동화상의 폭 높이, 샘플?어스펙트?레이쇼, 부가정보 동화상 사용시의 통상시청용 동화상의 절출 영역이, 미리 송신자와 수신자와의 사이에서 결정되지 않은 경우를 상정한다.
<H.264 규격의 SEI로서 부가정보 동화상 존재정보를 전송하는 경우>
H.264 규격에는, Supplemental enhancement information(SEI)이라 하는, 보조 정보의 기술(記述) 방법이 있다. SEI에서는 디코드할 때의 입출력 버퍼 내의 데이터의 보존 시간이나 랜덤 액세스시에 디코드를 행하는 포인트의 제시 등의 정보를 기술한다.
본 실시 형태에서는, 신규로 부가정보 동화상 SEI를 추가함으로써, 본 실시 형태의 부가정보 동화상 존재정보를 전송 가능하게 하는 예를 설명한다.
도 7은, 부가정보 동화상 SEI의 계층을 도시하고 있고, SEI의 sei_message로서, 부가정보 동화상 사용시의 통상시청용 동화상의 절출 시작 위치, 폭, 높이와, 부가정보 동화상의 종류, 부가정보 동화상 수, 각각의 부가정보 동화상의 절출 시작 위치, 폭 높이, 샘플?어스펙트?레이쇼를 지정하고 있다.
본 실시 형태에서 신규로 추가된 SEI는, 문법적으로는 H.264의 문법 규칙에 따라 작성된다. 이 때문에, 기존의 수신 장치에서는 해독할 수가 없는 것이지만, 건너뛰어 읽음으로써 다음의 처리를 실행할 수 있다. 도 33은, H.264를 인코더로서 이용하고, 부가정보 동화상 SEI를 이용하는 경우의 송신 장치(100)의 처리 플로우 차트를 도시한다. 우선, 통합 동화상상의 통상시청용 동화상의 위치와 폭, 높이로부터, 산출한 H.264의 crop parameter와, aspect_ratio_idc(필요하면 sar_width, sar_height도 이용한다)를 인코더에 설정한다(스텝 S100).
다음에, 부가정보 동화상 사용시의 통상시청용 동화상의 절출 시작 위치, 폭, 높이, 부가정보 동화상의 종류, 샘플?어스펙트?레이쇼, 좌상 단점, 폭 높이로부터 구한 부가정보 동화상의 절출 시작 위치, 폭 높이를 부가정보 동화상 SEI로서 인코더에 설정한다(스텝 S102). 또한 통합 동화상을 통합 동화상의 화상 사이즈 등의 인코더 설정을 행한 다음의 통합 동화상을 인코드한다(스텝 S104). 디지털 방송 시스템에서 전송하는 경우에는, MPEG2-TS에서 다중화를 행함으로써, 전송용의 스트림을 얻을 수 있다(스텝 S106).
또한, 도 7의 지정에서는, 통상시청용 동화상 및 부가정보 동화상의 배치를, 절출 시작 위치 및 폭, 높이에 의해 지정하고 있지만, 배치를 H.264의 crop 영역의 지정 방법 등, 다른 방법을 이용하여 배치를 지정하여도 상관없다.
SEI는 H.264 규격에서의 전송 기술(記述)이고, 예를 들면, MPEG2 video라면 USER_DATA를 이용하는 등, 동화상 압축 신장 처리에 대한 보조 정보를 보내는 수단을 갖는 코덱이라면, 새롭게 보조 정보를 전송하는 기술을 추가함으로써 대응할 수 있다.
기존의 수신 장치(이미 시장에서 판매 중 또는 판매 완료의 장치)에서는, 이 신규로 추가된 부가정보 동화상 SEI는 해독할 수가 없는 것이지만, 건너뛰어 읽음으로써 처리를 속행 가능하다. 여기서는, 기존의 수신 장치로 부가정보 동화상 SEI가 건너뛰어 읽혀져서 수신 처리가 행하여진 경우를 상정한다.
도 25는 기존의 수신 장치(400)를 도시하는 모식도이다. 본 실시 형태에서의, 통상시청용 동화상과 부가정보 동화상을 합친 통합 동화상의 부호화, 및 통상시청용 동화상의 영역의 부호화는 기존의 송신 장치와 같은 처리를 행하고 있다. 이 때문에, 도 25에 도시하는 바와 같이, 기존의 수신 장치(400)로도 통합 동화상은 복호화되고, 이미 설명한 crop 정보에 의해 통상시청용 동화상이 기대(期待)하는 대로 절출되어 동화상 출력부(206)에 표시되게 된다.
한편, 도 24는, 본 실시 형태에 관한 수신 장치(200)를 도시하는 모식도이다. 본 실시 형태에 관한 수신 장치(200)는, 동화상 압축부(202), 통상시청용 동화상 영역 부호화부(204), 부가정보 동화상 존재정보 부호화부(208), 동화상 출력부(표시 패널)(206)를 구비한다. 본 실시 형태에 관한 수신 장치(200)에서는, 부가정보 동화상 존재정보 부호화부(206)에 의해, 부가정보 동화상 SEI를 해독하는 것이 가능하다. 이 때문에, 수신 장치(200)는, 통상시청용 동화상의 영역 외에 부가정보 동화상이 존재하는 것을 인식함과 함께, 부가정보 동화상 사용시의 통상시청용 동화상의 절출 시작 위치, 폭 높이, 부가정보 동화상수나 각각의 부가정보 동화상의 절출 시작 위치, 폭 높이, sample aspect ratio를 얻을 수 있다.
<PMT의 descriptor로서 부가정보 동화상 존재정보를 전송하는 경우>
MPEG2-TS에서는, 전송하는 방송프로그램의, 스트림 정보를 기술하는 PSI(Program System Information)로서, PMT(Program map table)가 있다.
PMT의 스트림 정보에는, 오디오나 비디오 등의 패킷을 선택하기 위한 PID(Packet ID), stream_type나 descriptor 등이 포함되고, 비디오의 코덱이나 오디오의 코덱이 무엇을 이용하여 부호화되어 있는지를 알 수 있다.
도 4는, Dolby사(社)의 AC-3 오디오의 스트림 정보에 관해 도시한다. AC-3에 대한 stream_type는 ITU-T REC. H. 222. 0에는 규정되어 있지 않고, 유럽에서는 PES private data의 stream_type이 이용되고 있고, 미주에서는 User private의 stream_type가 이용되고 있다.
따라서, 도 4의 stream_type만으로는, elementary_PID로 지정된 PID의 패킷이 오디오 스트림인지의 여부도 특정할 수가 없다. 이 때문에, AC-3에서는 PMT의 descriptor로서, AC-3 descriptor를 준비하고 있고, 이 descriptor의 검출에 의해 AC-3의 스트림인 것을 판별할 수 있도록 되어 있다. 이와 같이, PMT에서는 방송프로그램의 코덱에 관한 정보를 descriptor를 통하여 설정하는 사용 방법이 있다.
이 사용 방법에 의거하여, 본 실시 형태에서도 PMT에 descriptor를 추가하여 부가정보 동화상 존재정보를 전송하는 예를 설명한다. 도 5는, PMT의 스트림 정보에 부가정보 동화상 descriptor를 추가한 경우를 도시한다. 이 부가정보 동화상 descriptor는, elementary_PID로 지정된 PID를 갖는 패킷에서는, 통합 동화상이 동화상 압축되어 있고, 부가정보 동화상이 존재하는 것을 통지함과 함께, 부가정보 동화상을 사용하기 위한 파라미터를 통지한다.
통합 동화상의 압축이 H.264에서 행하여지고 있으면, stream_type을 0x1B로서 설정하고, MPEG2에서 행하여지고 있으면, stream_type은 0x2로 설정한다. 부가정보 동화상 descriptor 자체는 코덱에는 비(非)의존이기 때문에, MPEG2에서도 H.264에서도 같은 것을 사용 가능하다. 물론, 기존의 수신 장치(400)에서는 부가정보 동화상 descriptor를 해석할 수가 없고, 통상은 무시하고 동작하게 된다.
그러나, 기존의 수신 장치(400)에서도, 통합 동화상 및 통상시청용 동화상의 영역 설정이나 샘플?어스펙트?레이쇼가 본 실시 형태에 입각해서 설정되어 있으면, 통합 동화상의 복호는 가능하고, 그곳부터 통상시청용 동화상이 절출되기 때문에, 통상시청용 동화상을 올바르게 표시할 수 있다.
한편, 본 실시 형태에 입각한 수신 장치(200)에서는, 부가정보 동화상 존재정보 복호화부(208)에 의해 부가정보 동화상 descriptor를 복호하여 해석하는 것이 가능하다. 이 때문에, 통상시청용 동화상의 영역 외에 부가정보 동화상이 존재하는 것을 인식할 수 있다.
본 실시 형태에서는, 부가정보 동화상 사용시의 통상시청용 동화상의 절출 영역 및, 부가정보 동화상의 폭 높이, 샘플?어스펙트?레이쇼에 관해서는, 미리, 송신자와 수신자와의 사이에서 결정되지 않은 경우를 상정하고 있기 때문에, 이 부가정보 동화상 descriptor에 이들의 파라미터를 격납하여 전송한다.
도 6에 부가정보 동화상 descriptor의 내용 예를 도시한다. 또한, 도 34는, H.264를 인코더로서 이용하고, 부가정보 동화상 descriptor를 이용하는 경우의 송신 장치의 처리 플로우 차트를 도시한다. 우선, 통합 동화상 상의 통상시청용 동화상의 위치와 폭 높이로부터, 산출한 H.264의 crop parameter와, aspect_ratio_idc(필요하면 sar_width, sar_height도 이용한다)를 인코더에 설정한다(스텝 S200). 다음에, 부가정보 동화상 사용시의 통상시청용 동화상의 절출 시작 위치, 폭 높이, 부가정보 동화상의 종류, 샘플?어스펙트?레이쇼, 좌상 단점, 폭 높이로부터 구한 부가정보 동화상의 절출 시작 위치, 폭, 높이를 도 6의 부가정보 동화상 descriptor로서 준비한다(스텝 S202). 또한 통합 동화상을 통합 동화상의 화상 사이즈 등의 인코더 설정을 행한 다음의 통합 동화상을 인코드한다(스텝 S204). 디지털 방송 시스템에서의 전송에 필요한 MPEG2-TS 다중화할 때에, 준비한 부가정보 동화상 descriptor를 PMT에 설정함으로써, 전송용의 스트림을 얻을 수 있다(스텝 S206).
도 2의 예에서는, 통상시청용 동화상 외에 존재하는 2개의 부가정보 동화상은 모두 비입체시용(非立體視用) 부가정보 동화상이기 때문에, 부가정보 동화상 종류는 비입체시용으로 하고, 부가정보 동화상 사용시의 통상시청용 동화상의 절출 시작 위치, 폭, 높이의 뒤에, 부가정보 동화상의 종류, 부가정보 동화상 수, 각각의 부가정보 동화상의 절출 시작 위치, 폭 높이, 샘플?어스펙트?레이쇼를 차례로 지정한다.
여기서, 통상시청용 동화상, 부가정보 동화상의 영역 지정에, 시작 위치와 폭 높이를 이용하고 있지만, 목적은 통합 동화상 내에서의 배치의 지정이기 때문에, H.264의 crop 지정 방법과 같은 지정으로 하여도 좋고, 다른 방법에 의한 규정이라도 상관없다.
도 6의 부가정보 동화상 descriptor의 형식 이외에도, 비입체시용 부가정보 동화상 descriptor로서 부가정보 동화상의 종류마다 descriptor를 준비하여, descriptor 내의 부가정보 동화상 종류의 필드를 생략하는 것도 가능하다. 또한, 부가정보 동화상(1), 부가정보 동화상(2) 각각에 descriptor를 준비하고, PMT의 스트림 정보에 복수의 부가정보 동화상 descriptor를 기술하는 형식으로서, 부가정보 동화상수의 필드를 생략하는 것도 가능하다.
MPEG2-PS에 관해서도 본 발명은 유효하고, Program stream map(PSM) 내에, 부가정보 동화상 존재정보를 격납하는 descriptor를 신규로 추가함에 의해, MPEG2-TS의 PMT에 부가정보 동화상 descriptor를 신규 추가하는 경우와 마찬가지로 유효하게 작용한다.
또한, MPEG21 이외의 컨테이너라도, 각각 비디오 데이터에 대한 보조 정보를 기술하는 것이 가능하고, 보조 정보를 추가 가능한 형식이라면 상기한 descriptor 추가와 마찬가지로 적용하는 것이 가능하다.
<private section으로서 부가정보 동화상 존재정보를 전송하는 경우>
MPEG2-TS에서는, PMT의 계층과 같은 계층에, section 데이터를 전송할 수 있다. 이 section에 신규 추가하는 경우를 상정하여, private section이 생각되고 있고, 본 실시 형태의 부가정보 동화상 존재정보를, 신규의 private section으로서 전송하는 것도 생각된다. 도 8은, 부가정보 동화상 존재정보를, 신규의 private section으로서 전송하는 경우를 도시하고 있다.
이 신규 section은, 기존의 수신 장치(400)로는 해독할 수가 없기 때문에, PMT의 descriptor와 마찬가지로, 기존의 수신 장치(400)에서는 건너뛰어 읽혀진다.
도 8에서는, 도 2의 통합 동화상의 패킷을 판별하기 위한 PID, 부가정보 동화상 사용시의 통상시청용 동화상의 절출 시작 위치, 폭 높이의 후에, 부가정보 동화상의 종류, 부가정보 동화상의 절출 시작 위치, 폭 높이, 샘플?어스펙트?레이쇼를 차례로 지정한 경우를 나타내고 있다.
도 35에 H.264를 인코더로서 이용하고, 부가정보 동화상 section을 이용하는 경우의 송신 장치의 플로우 차트를 도시한다. 우선, 통합 동화상상의 통상시청용 동화상의 위치와 폭 높이로부터, 산출한 H.264의 crop parameter와, aspect_ratio_idc(필요하면 sar_width, sar_height도 이용한다)를 인코더에 설정한다(스텝 S300). 다음에, 패킷 판별을 위한 PID, 부가정보 동화상 사용시의 통상시청용 동화상의 절출 시작 위치, 폭 높이, 부가정보 동화상의 종류, 샘플?어스펙트?레이쇼, 좌상 단점, 폭 높이로부터 구한 부가정보 동화상의 절출 시작 위치, 폭 높이를 도 6의 부가정보 동화상 section으로서 준비한다(스텝 S302). 또한 통합 동화상을 통합 동화상의 화상 사이즈 등의 인코더 설정을 행한 다음의 통합 동화상을 인코드한다(스텝 S304). 디지털 방송 시스템에서의 전송에 필요한 MPEG2-TS 다중화할 때에, 준비한 부가정보 동화상 section도 아울러서 다중화함으로써, 전송용의 스트림을 얻을 수 있다(스텝 S306).
또한, 통상시청용 동화상, 부가정보 동화상의 영역 지정은, 통합 동화상 내에서의 배치를 특정하기 위한 것이기 때문에, H.264의 crop 영역의 지정 방법 등, 다른 방법을 이용하여 배치를 지정하여도 상관없다.
또한, 부가정보 동화상의 종류마다 private section을 신규 추가하면, 부가정보 동화상의 종류를 생략하는 것도 가능하다.
상기 3 종류의 부가정보 동화상 존재정보의 격납 방법의 어느 하나를 이용함으로써, 본 실시 형태의 송신 장치(100)의 부가정보 동화상 존재정보 부호화부(106)에, 부가정보 동화상 존재정보는 부호화된다.
이상으로부터, 통합 동화상, 통상시청용 동화상 영역과 부가정보 동화상 사용시의 통상시청용 동화상의 절출 영역, 샘플?어스펙트?레이쇼, 및 부가정보 동화상 존재정보를 부호화하는 스트림을 얻을 수 있다.
비디오 코덱을 H.264로 하여, 이 스트림을 얻은 경우에는, 그 스트림을, H.264(ITU-T Rec. H.264) 규격을 충족시키는 기존의 수신 장치(400)로써 복호화한 경우, 부가정보 동화상 존재정보는 무시되어, 통상시청용 동화상이 표시된다. 또한, 비디오 코덱이 MPEG2 VIDEO(ITU-T Rec. H. 262)라도 마찬가지이다.
그 한편으로, 본 실시 형태를 적용한 수신 장치(200)라면, 부가정보 동화상 존재정보도 올바르게 복호화되어, 유저는 기존의 수신 장치(400) 이상의 서비스를 얻을 수 있다.
이와 같이 본 실시 형태에서는, 기존의 TV 세트와의 호환성을 유지하면서, 새로운 기능을 추가하여 가는 것이 가능하고, 새로 사서 바꾸지 않으면 시청할 수가 없게 되거나, 위화감이 있는 동화상이 되거나 하는 경우에 비하면, 유저 메리트는 크다.
<수신 장치에서의 유저의 인터액션>
본 실시 형태의 수신 장치(200)에서는, 부가정보 동화상 있음의 방송프로그램을 수신한 경우에는, 유저로부터 수신 장치(200)에의 설정?지시에 의해, 적어도 이하의 3가지의 표시를 선택할 수 있다.
1) 통상시청용 동화상을 통상과 같이 표시할 것
2) 통상시청용 동화상과 부가정보 동화상을 동시에 화면 표시할 것,
3) 부가정보 동화상만을 화면 표시할 것
통상시청용 동화상과 부가정보 동화상을 동시에 화면 표시하는 경우에는, 부가정보 동화상의 표시 수(數)나, 그러한 화면상에서의 배치나 사이즈 등도 유저의 요구에 응하여 변경하도록 하여도 좋다.
여기서, 수신 장치(200)에의 설정은, 리모트 콘트롤 등의 조작에 의해, 미리 부가정보 동화상 있음의 방송프로그램을 어떻게 표시하는지를 설정하여 두는 것이다. 수신 장치(200)에의 지시는, 유저의 지시에 의해 즉석에서 부가정보 동화상 있음의 방송프로그램의 표시 방법을 변경하는 것이다.
도 36, 도 37, 도 38은, 각각, H.264에 추가하는 부가정보 동화상 SEI, PMT의 descriptor에 추가하는 부가정보 동화상 descriptor, MPEG2-TS에 추가하는 부가정보 동화상 section을 이용한 경우의 수신 장치(200)의 플로우 차트이다. 이들의 플로우 차트에서는, SEI, descriptor, section의 정보를 해독하여, 부가정보 동화상이 있는지의 여부, 있는 경우에는 부가정보 동화상을 사용하는 경우의 통상시청용 동화상이나 부가정보 동화상의 파라미터를 취득한다. 도 36, 도 37, 도 38에서 다른 것은 MPEG2-TS의 demux시에, PSI/SI를 해독하여 파라미터를 얻는지(도 37, 도 38), H.264의 디코드의 결과, 파라미터를 얻는지(도 36)이다. 파라미터 취득 후는, 유저의 수신 장치에서의 설정을 읽고서, 통상 표시를 행하는지, 부가정보 동화상을 이용한 표시를 행하는지, 양쪽을 표시하는지에 의해, 동화상 출력을 변경한다. 여기서, 유저 설정이 통상 표시라면, 통상시청용 동화상을 출력한다(스텝 S410, S510, S610). 또한, 유저 설정이 통상시청용 동화상 및 부가정보 동화상을 출력하는 것이면, 통상시청용 동화상 및 부가정보 동화상을 출력한다(스텝 S414, S514, S614). 또한, 유저 설정이 통상시청용 동화상 및 부가정보 동화상을 출력하는 것이 아니면, 부가정보 동화상을 출력한다(스텝 S416, S516, S616).
또한, 본 실시 형태에서는, 부가정보 동화상이 통상시청용 동화상의 내용과 비교적 관련된 동화상을 예시하였지만, 특별히 관련되지 않더라도 본 실시 형태는 유효하게 작용한다.
[2. 제 2의 실시 형태]
여기서는 산(山)의 풍경의 복수안 입체시 내용을 예로, 부가정보 동화상으로서 복수안 입체시에 사용하는 동화상을 전송하는 경우에 관해, 송신?수신 사이에서, 이하의 정보에 관한 결정을 행한 경우에 관해 설명한다. 또한, 결정을 행하지 않은 경우에 관해서는 「제 1의 실시의 형태」와 마찬가지로 이들의 정보를 전송하면 좋다.
?부가정보 동화상 사용시의 통상시청용 동화상의 절출 영역,
?부가정보 동화상의 위치
?부가정보 동화상의 폭 높이
?부가정보 동화상의 샘플?어스펙트?레이쇼
1. 2안 입체시 동화상
여기서는 복수안 입체시 중의 2안 입체시 동화상에 대해, 좌안 동화상을 통상시청용 동화상, 우안 동화상을 부가정보 동화상으로서 전송하는 경우를 생각한다.
우선, 통합 동화상의 동화상 압축, 통상시청용 동화상 영역과 샘플?어스펙트?레이쇼의 부호화에 관해서는, 제 1의 실시 형태에서 기술한 방법과 완전히 같은 방법으로 부호화가 가능하다.
부가정보 동화상 존재정보에 관해, 우선, 송신측과 수신측에서 행하는 결정에 관해 생각한다. 통상시청용 동화상과 부가정보 동화상은 2안 입체시 동화상의 쌍(pair)이기 때문에 동화상으로서는 같은 성질을 갖는다고 생각하여, 통상시청용 동화상의 파라미터를 부가정보 동화상의 파라미터에 유용(流用)하는 것은 자연스러운 결정이다.
즉, 여기서는 이하의 결정을 하는 것으로 한다.
(1) 통상시청용 동화상과 부가정보 동화상의 화상 사이즈는 같은 폭 높이이다.
(2) 통상시청용 동화상과 부가정보 동화상의 샘플?어스펙트?레이쇼는 같다.
또한, 이 실시 형태에서는 2안 입체시를 행하지 않는 경우에는 좌안 동화상이 표시된다. 이 표시되는 영역과 2안 입체시의 좌안 동화상으로서 사용되는 영역은 같다고 결정하였다고 한다. 즉,
(3) 부가정보 동화상 사용시의 통상시청용 동화상의 절출 영역은 부가정보 동화상 비사용시의 통상시청용 동화상의 절출 영역과 같은 것을 결정하는 것이라고 한다.
다음에 통상시청용 동화상과 부가정보 동화상은 1프레임 중에 배치되지만, 송신?수신 사이에서, 부가정보 동화상은 통상시청용 동화상의 하방에 배치된다고 하고, 2안 입체시 동화상의 화상 사이즈로부터, 부가정보 동화상의 절출 시작 위치를 특정하는 것을 생각한다.
부가정보 동화상의 절출 위치를 통상시청용 동화상의 직후에 배치한 경우, 도 9에 도시하는 바와 같은 배치가 되고, 도 10에 도시하는 바와 같은 결정 내용으로 된다.
또한, 좌안 동화상의 하단과 우안 동화상의 상단이 동일 매크로 블록으로 부호화되는 것을 피하면, 도 11과 같이 좌안 동화상에 대해 간격을 두고 우안 동화상을 배치하게 되는 경우가 있고, 도 12에 도시하는 바와 같은 결정 내용으로 된다.
도 10, 도 12에는 일부의 화상 사이즈만 기술하였지만, 전송될 가능성이 있는 모든 화상 사이즈에 관해 도 10, 도 12와 같이 결정을 행하던지, 통상시청용 동화상의 crop 파라미터로부터, 다음에 나타내는 산출식과 같이 결정을 행하는 것이 된다.
도 9의 부가정보 동화상의 절출 시작 위치(xa, ya)는, 통상시청용 동화상의 최하단 라인의 바로 아래부터 시작되기 때문에
xa=frame_crop_left_offset
ya=16 * FrameHeightInMbs
- 2 * frame_crop_bottom_offset
가 되고, 부가정보 동화상의 화상 사이즈(w, h)는, 통상시청용 동화상과 같이
w=PicWidthInSamles
- 2 * frame_crop_left_offset
- 2 * frame_crop_right_offset
h=16 * FrameHeightInMbs
- 2 * frame_crop_top_offset
- 2 * frame_crop_bottom_offset
가 된다.
한편, 도 10의 부가정보 동화상의 절출 시작 위치(xb, yb)는, 상기 도 9의 절출 시작 위치(xa, ya)를 이용하면,
xb=xa
yb=ya+(16 - ya%16)
가 된다. (ya%16은 ya를 16으로 제산(除算)한 나머지를 나타낸다.)
이들의 조건을 기초로,
(4) 부가정보 동화상의 통합 동화상에서의 절출 시작 위치의 특정 방법을, 예를 들면, 도 12의 테이블에 의거하여, 테이블에 없는 화상 사이즈의 경우는 그 높이 이상으로 가장 가까운 높이를 갖는 것을 사용한다고 한다.
를 결정하는 것으로 한다.
이상의 (1)부터 (4)의 결정에 의해, 이하의 정보가 송신?수신 사이에서 결정되는 것으로 한다.
?부가정보 동화상 사용시의 통상시청용 동화상의 절출 영역,
?부가정보 동화상의 위치
?부가정보 동화상의 폭 높이
?부가정보 동화상의 샘플?어스펙트?레이쇼
이들의 결정에 관해서는, 통상시청용 동화상의 crop 파라미터로부터, 부가정보 동화상의 절출 시작 위치나 화상 사이즈를 특정하는 기능 및, 통상시청용 동화상의 샘플?어스펙트?레이쇼를 부가정보 동화상의 샘플?어스펙트?레이쇼로서 출력하는 기능을 수신 장치(200) 내의 부가정보 동화상 존재정보의 복호화부(208)에 갖게 함으로써 대응할 수 있다.
금회의 결정에서는, 파라미터로서 건네주는 전부에 관하여 결정이 행하여지고 있기 때문에, 부가정보 동화상 존재정보로서 송신 장치측으로부터 수신 장치측으로 전송하는 내용으로서 필수가 되는 것은, 부가정보 동화상이 존재하는지의 여부와, 통상시청용 동화상과 부가정보 동화상은 2안 입체시 동화상의 쌍이라는 것이다.
이 때문에, 부가정보 동화상의 종류를 규정할 수 있는 부호를 송신하고, 수신측에서 이 부호를 검지한 경우에 (1)부터 (4)에 의해, 부가정보 동화상을 얻어서 사용하면 좋다. 따라서, 종래로부터 있는 전송 정보였다고 하여도, 부가정보 동화상 존재정보로서 사용할 수 있는 경우가 있다.
이하에서는, 이미 제 1의 실시 형태에서 기술한,
?H.264의 SEI
(MPEG2 video라면 USER_DATA)
?MPEG2-TS의 PMT의 descriptor
(MPEG2-PS라면 PSM의 descriptor)
?MPEG2-TS의 private section
이라는 정보에 관해, 본 실시 형태를 적용한 경우를 설명한다.
도 16은, H.264에 부가정보 동화상 SEI를 신규 추가하는 경우의 내용을 도시한 것이다. 부가정보 동화상 사용시의 통상시청용 동화상의 절출 영역, 통합 동화상 내에서의 부가정보 동화상의 영역이나 샘플?어스펙트?레이쇼는 미리 송신?수신 사이에서 결정을 행하고 있기 때문에, sei_meesage로서 최저한 필요한 정보는, 부가정보 동화상의 종류가 결정 완료 종배열 2안 입체시용(立體視用)이라는 것뿐이다. 이것을 기정(旣定) 종배열 2안 입체시용으로서 도 16에는 도시하고 있다. 또한, 기정 2안 입체시용이라도 좋지만, 여기서는 상하로 나열하는 것 외에, 좌우로 나열하는 것도 있기 때문에, 상하로 나열한다는 의미에서 종배열을 이름에 포함하고 있다.
본 실시 형태에 관한 SEI를 H.264에 1개 신설하는 경우에는 도 16과 같이 되지만, 부가정보 동화상의 종류마다 SEI를 신설한 경우에는, 예를 들면 기정 종배열 2안 입체시용 부가정보 동화상 SEI 자체가 존재함으로써, 통합화상이 종배열 2안 입체시용의 부가정보 동화상을 갖고 있는 것을 판정할 수 있기 때문에, 도 17에 도시하는 바와 같이 sei_message 내의 정보에서의 필수항목은 없어진다. (물론, 그 밖의 정보를 포함하는 것도 가능하다.)
다음에, 도 18은, PMT에 부가정보 동화상 descriptor를 신규 추가하는 경우의 내용을 도시한 것이다.
부가정보 동화상 사용시의 통상시청용 동화상의 절출 영역, 통합 동화상 내에서의 부가정보 동화상의 영역이나 샘플?어스펙트?레이쇼는 미리 송신?수신 사이에서 결정을 행하고 있기 때문에, descriptor로서 최저한 필요한 정보는, 부가정보 동화상의 종류가 기정 종배열 2안 입체시용이라는 것뿐이다.
이 descriptor에 관해서도, 부가정보 동화상의 종류마다 descriptor를 준비하는 것으로 하면, 도 19와 같이descriptor 내에 본 실시 형태의 적용상 필요한 정보는 없어진다.
도 20은, MPEG2-TS의 private section에 부가정보 동화상 존재정보를 전송하는 것을 추가한 경우의 private_data_byte의 내용이다. PMT의 descriptor와 마찬가지로, 부가정보 동화상의 종류를 지정할 필요가 있는 동시에, 부가정보 동화상 있음의 스트림의 PID를 지정할 필요가 있다.
private section에 관해서도, 부가정보 동화상의 종류마다 private section을 신규 추가하는 방법을 취하면, 부가정보 동화상의 종류를 생략하는 것도 가능하다.
이상으로부터, 제 1의 실시 형태와 마찬가지로, 통합 동화상, 통상시청용 동화상 영역과 부가정보 동화상 사용시의 통상시청용 동화상의 절출 영역, 샘플?어스펙트?레이쇼, 및 부가정보 동화상 존재정보를 부호화하는 스트림을 얻을 수 있다.
비디오 코덱을 H.264로 하여, 이 스트림을 얻은 경우에는, 그 스트림을, H.264(ITU-T Rec. H.264) 규격을 충족시키는 기존의 수신 장치(400)로써 복호화한 경우, 부가정보 동화상 존재정보는 무시되고, 통상시청용 동화상이 표시된다. 비디오 코덱이 MPEG2 VIDEO(ITU-T Rec. H. 262)라도 마찬가지이다.
그 한편으로 본 실시 형태를 적용한 수신 장치(200)이라면, 부가정보 동화상 존재정보 부호화부(208)에 의해 부가정보 동화상 존재정보도 올바르게 복호화되고, 다음에 나타내는 바와 같이 유저는 기존의 수신 장치(400) 이상의 서비스를 얻을 수 있다.
이와 같이 본 실시 형태에서는, 기존의 TV 세트와의 호환성을 유지하면서, 새로운 기능을 추가하여 가는 것이 가능하고, 새로 사지 않으면 시청할 수가 없게 되거나, 위화감이 있는 동화상이 되거나 하는 경우에 비하면, 유저 메리트는 크다.
다음에, 도 9, 도 11에 도시하는 화상을 본 실시 형태에 입각한 수신 장치(200)로 표시하는 경우에 관해 설명한다. 수신 장치가 2안 입체시를 제시할 수가 없는 경우, 통합 동화상으로부터의 통상시청용 동화상의 절출은 H.264 규격 내의 crop 파라미터를 이용하고 있기 때문에, 기본적으로는 통상시청용 동화상이 유저에게 제시된다.
본 실시 형태를 이용한 수신 장치(200)이라면, 부가정보 동화상의 존재나 배치?샘플?어스펙트?레이쇼를 특정할 수 있기 때문에, 유저로부터 통상시청용 동화상의 좌안 동화상 대신에 부가정보 동화상의 우안 동화상의 표시를 지시하는 기능을 마련함으로써, 좌안과 우안 또는 양쪽을 전환하여 표시하는 것이 가능하다.
도 42, 도 43, 도 44는, 각각, H.264에 추가하는 부가정보 동화상 SEI, PMT의 descriptor에 추가하는 부가정보 동화상 descriptor, MPEG2-TS에 추가하는 부가정보 동화상 section을 이용한 경우의 수신 장치(200)의 플로우 차트이다. 이들의 플로우 차트에서는, 부가정보 동화상 존재정보 부호화부(208)에서, SEI, descriptor, section의 정보를 해독하고, 부가정보 동화상이 있는지의 여부, 있는 경우에는 부가정보 동화상을 사용하는 경우의 통상시청용 동화상이나 부가정보 동화상의 파라미터를 취득한다. 도 42, 도 43, 도 44에서 다른 것은 MPEG2-TS의 demux시에, PSI/SI를 해독하여 파라미터를 얻는지(도 43, 도 44), H.264의 디코드의 결과, 파라미터를 얻는지(도 42) 이다. 파라미터 취득 후는, 유저의 수신 장치에의 설정을 읽고서, 통상 표시를 행하는지, 부가정보 동화상을 이용한 표시를 행하는지가 판단된다.
이 실시 형태에서는, 부가정보 동화상의 종류는 입체시이기 때문에, 입체시를 할 수가 없는 수신 장치에서는, 통상시청용 동화상?부가정보 동화상을 이용한 입체시는 불가능하다. 그러나, 유저가 통상 시청을 선택하지 않는 경우에는 통상시청용 동화상?부가정보 동화상 중에서 유저가 표시하고 싶은 동화상을 선택하는 것이 가능하고, 그 선택 상황에 응하여, 디코드된 통합 동화상으로부터, 통상시청용 동화상이나 부가정보 동화상을 절출하여 와서, 유저 지시?설정에 응하여 동화상 출력을 행한다. 상술한 바와 같이 좌안과 우안 또는 양쪽을 전환하여 표시하는 것이 가능하다.
또한, 수신 장치가 2안 입체시를 제시할 수 있는 경우에는, 통상시청용 동화상과 부가정보 동화상을 이용하여 2안 입체시를 제시 가능하다. 유저가 항상 2안 입체시를 바라는 것으로 한정하지 않기 때문에, 유저의 지시나 설정에 따라, 2안 입체시가 아니라, 통상시청용 동화상만, 또는 부가정보 동화상만을 표시하는 것도 가능하다.
도 39, 도 40, 도 41은, 각각, H.264에 추가하는 부가정보 동화상 SEI, PMT의 descriptor에 추가하는 부가정보 동화상 descriptor, MPEG2-TS에 추가하는 부가정보 동화상 section을 이용한 경우의 수신 장치의 플로우 차트이다. 이들의 플로우 차트에서는, SEI, descriptor, section의 정보를 해독하고, 부가정보 동화상이 있는지의 여부, 있는 경우에는 부가정보 동화상을 사용하는 경우의 통상시청용 동화상이나 부가정보 동화상의 파라미터를 취득한다. 도 39, 도 40, 도 41에서 다른 것은 MPEG2-TS의 demux시에, PSI/SI를 해독하여 파라미터를 얻는지(도 40, 도 41), H.264의 디코드의 결과, 파라미터를 얻는지(도 39)이다. 파라미터 취득 후는, 유저의 수신 장치에서의 설정을 읽고서, 통상 표시를 행하는지, 부가정보 동화상을 이용한 표시를 행하는지가 판단된다.
부가정보 동화상을 사용하는 경우에는, 부가정보에 입체시 동화상이 포함되어 있는 경우에는, 입체시를 행하는지의 여부를 유저의 지시?설정으로부터 판정하고(스텝 S920), 입체시를 행하지 않는 경우에는, 통상시청용 동화상?부가정보 동화상 중에서 선택한 동화상을 출력한다(스텝 S722, S724). 입체시를 행하는 경우에는 각 시점에 따른 동화상 출력을 행하여 입체시 제시를 행한다(스텝 S730, S830, S930). 부가정보 동화상의 종류가 입체시가 아닌 경우에는(스텝 S712, S812, S912에서 NO인 경우), 도 36, 도 37, 도 38의 플로우 차트에서 도시한 처리와 마찬가지로, 통상시청용 동화상?부가정보 동화상으로부터 선택된 동화상 출력(1동화상뿐만 아니라 복수를 조합시킨 것이라도 좋다)을 행한다. 물론, 입체시가 가능한 수신 장치이기 때문에, 선택된 동화상 출력에 대해 좌우에의 시프트를 행하여 우안 동화상과 좌안 동화상을 작성하면, 출력 동화상의 제시면(提示面)을 전후로 이동 가능하다.
이 예에서는, 통상시청용 동화상을 좌안 동화상으로 하여 설명하였지만, 우안 동화상이라도 상관없다. 또한, 통상시청용 동화상과 부가정보 동화상의 상하 관계를 바꾸어도, 각각의 동화상에 대한 파라미터를 변경함으로써 대응할 수 있다.
이 예와 마찬가지로, 통상시청용 동화상의 옆에 부가정보 동화상을 배치한 경우에서도 본 발명은 유효하다.
2. 복수안 입체시 동화상
렌티큘러 방식이나 패럴랙스 배리어 방식에서는, 복수안 입체시의 동화상을 취급하는 것이 가능하다. 이 경우, 예를 들면 제 1 및 제 2의 화상을 좌안용 및 우안용의 화상으로서 제 1의 방향부터 입체시가 가능하게 되고, 제 3 및 제 4의 화상을 좌안용 및 우안용의 화상으로서 제 1의 방향과 다른 제 2의 방향에서 입체시가 가능하게 된다. 본 실시 형태는, 동화상 출력 수단에 이들의 방식의 화상 제시 방법을 갖고 있는 경우에도 유효하고, 통상시청용 동화상으로서, 복수안 입체시 중의 1화상을 이용하고, 나머지 화상에 관해서는, 부가정보 동화상으로서 취급하면 좋다.
부가정보 동화상의 배치에 관해, 송신?수신 사이에서의 결정을 행하는 방법으로서는, 예를 들면, 횡방향으로 복수안 입체시의 동화상을 나열하는 것을 결정하고, 횡(橫)으로 나열하는 개수로서는, 통합 동화상의 폭과 통상시청용 동화상의 폭으로부터 산출하는 것으로 한다.
이 결정으로 나열한 경우의 통합화상의 배치 상황을 도 13에 도시한다. 또한, 다른 결정으로서는, 복수안 입체시의 동화상 수와 나열하는 방향(예를 들면 횡방향)을 결정하여 두고, 횡방향으로 들어온 만큼 나열한 후, 또 동화상이 있는 경우에는 종방향으로 나열하여 배치한다.
이 결정으로 나열한 경우의 통합화상의 배치 상황을 도 14에 도시한다. 도 13, 도 14에 대해서도 화상 사이에 간격을 두는지의 여부도 포함하여 결정을 행할 필요가 있다. 물론, 부가정보 동화상의 종류로서, 화상 간격 있음 횡방향 방향 배치 3안 입체시, 화상 간격 없음 횡방향 3안 입체시의 2종류를 준비하여 두고, 부가정보 동화상 존재정보로서 전송하면 컨텐츠마다, 어느 통합 동화상의 형식인지를 선택할 수 있다.
3. 복수안 입체시와 다른 관점 입체시 동화상
또한, 방송프로그램으로서는, 제 1의 실시 형태로 기술한 바와 같이, 다른 관점으로부터의 영상을 전송하는 것도 생각된다. 메인 영상이 입체시 동화상이기 때문에, 다른 관점으로부터의 영상도 입체시 동화상으로 하는 쪽이 시청상 바람직하기 때문에, 입체시 동화상인 것으로 하여 설명한다. 또한, 특히 다른 관점 영상이 입체시 동화상이 아니더라도, 본 실시 형태는 유효하다.
도 15는, 상단에 메인의 입체시 동화상을 배치하고, 하단에는 보충용의 입체시 동화상을 배치한 통합 동화상 예이다. 방송프로그램상, 통상시청용 동화상은 메인의 입체시 동화상 중의 1개의 동화상이 되는 것이 예상된다. 그 통상시청용 동화상을 제외한 동화상은 전부 부가정보 동화상이다. 또한, 통상시청용 동화상은 특별히 좌상의 배치로 한정되는 것이 아니다.
메인의 입체시 동화상에 관해서는, 도 13과 마찬가지로 송신?수신 사이에서의 결정을 행하였다고 하고, 보충용의 입체시 동화상에 관해서는, 결정 없는 경우를 생각한다. 도 21은, H.264에 부가정보 동화상 SEI를 신규 추가하는 경우의 내용을 나타낸 것이다. SEI의 내용으로서는, 메인의 입체시 동화상인, 기정 횡배열 3안시용의 부가정보 동화상과, 보충용의 입체시 동화상인, 보충 횡배열 3안시용의 부가정보 동화상으로 된다. 보충 횡배열 3안시용은, 횡배열 3안시용으로, 또한, 통상시청용 동화상을 포함하지 않는 것을 의미하고 있고, 단순한 횡배열 3안시용과는 다른 것을 의미하는 것으로 한다.
실장(實裝)이라는 관점에서는, 이하의 정보를 비트 필드에 갖는 ID를 이용하여, 부가정보 동화상의 종류를 지정하는 것도 생각된다.
?통상시청용 동화상을 이용하는지의 여부의 비트
?송신측과 수신측에서 부가정보 동화상 사용시의 통상시청용 동화상의 절출 영역을 결정하였는지의 여부의 비트,
?송신측과 수신측에서 부가정보 동화상의 위치를 결정하였는지의 여부의 비트,
?송신측과 수신측에서 부가정보 동화상의 폭 높이를 결정하였는지의 여부의 비트,
?송신측과 수신측에서 부가정보 동화상의 샘플?어스펙트?레이쇼를 결정하였는지의 여부의 비트,
?입체시인지의 여부의 비트
?입체시인 경우에 횡나열인가의 여부를 나타내는 비트
?입체시의 경우의 시점(視點) 수
도 21의 sei_meesage에서는, 기정 횡배열 3안시용의 부가정보 동화상을 지정함으로써, 이하의 정보를 특정할 수 있다.
?메인의 부가정보 동화상 사용시의 통상시청용 동화상의 절출 영역,
?메인의 부가정보 동화상의 위치
?메인의 부가정보 동화상의 폭 높이
?메인의 부가정보 동화상의 샘플?어스펙트?레이쇼
다음에, 보충 횡배열 3안시용의 부가정보 동화상을 지정하고, 3안분의 부가정보 동화상의, 위치?폭 높이?샘플?어스펙트?레이쇼를 지정한다. 3안시의 경우, 각각의 시점용의 동화상은, 폭 높이, 샘플?어스펙트?레이쇼가 같다고 생각되기 때문에, 도 21에서는, 폭 높이, 샘플?어스펙트?레이쇼는 공통으로 하여 1번의 설정으로 하고, 절출 시작 위치만을 3안분 지정하는 형태로 했다.
도 26은, PMT의 descriptor에 부가정보 동화상 descriptor를 신규 추가하는 경우의 내용을 도시한 것이다. 도 21의 SEI와 마찬가지로, 기정 횡배열 3안시용의 부가정보 동화상을 지정함으로써,
?메인의 부가정보 동화상 사용시의 통상시청용 동화상의 절출 영역,
?메인의 부가정보 동화상의 위치
?메인의 부가정보 동화상의 폭 높이
?메인의 부가정보 동화상의 샘플?어스펙트?레이쇼를
특정하고, 다음에, 보충 횡배열 3안시용의 부가정보 동화상을 지정함으로써, 3안분의 부가정보 동화상의, 위치?폭 높이?샘플?어스펙트?레이쇼를 특정할 수 있다.
도 27은, MPEG2-TS의 private section에 부가정보 동화상 존재정보를 전송하는 것을 추가한 경우의 private_data_byte의 내용이다. 부가정보 동화상이 존재하는 스트림의 PID를 지정하는 이외는, 부가정보 동화상 SEI의 지정 내용과 같다.
도 21의 SEI와 마찬가지로,
기정 횡배열 3안시용의 부가정보 동화상을 지정함으로써, 이하의 정보를 특정한다.
?메인의 부가정보 동화상 사용시의 통상시청용 동화상의 절출 영역,
?메인의 부가정보 동화상의 위치
?메인의 부가정보 동화상의 폭 높이
?메인의 부가정보 동화상의 샘플?어스펙트?레이쇼
다음에, 보충 횡배열 3안시용의 부가정보 동화상을 지정함으로써, 3안분의 부가정보 동화상의, 위치?폭 높이?샘플?어스펙트?레이쇼를 특정할 수 있다.
이상으로부터, 메인 영상이 입체시 동화상임과 함께, 그 보충으로서 추가된, 다른 관점으로부터의 입체시 동화상을, 본 실시 형태에 입각해서 전송하는 것이 가능한 것을 나타냈다. 이 메인?보충의 입체시 동화상의 스트림으로도, 본 실시 형태에 입각한 스트림으로 되어 있으면, 기존의 수신 장치(400)에서 메인의 1안(眼)을 통상시청용 동화상으로서 시청할 수 있다. 또한, 본 실시 형태를 적용한 수신 장치(200)이라면, 메인?보충의 입체시 동화상 중에서, 좋아하는 1안 동화상을 시청하는 것이나, 메인 또는 보충의 입체시 동화를 시청하는 것이 가능하다.
4. 통상시청용 동화상과 화상 사이즈가 다른 부가정보 동화상을 사용하는 2안 입체시
도 31은, 통상시청용 동화상을 좌안 동화상 1440x1080, 부가정보 동화상을 우안 동화상 480x1080으로 하여 통합화상 내에 배치한 경우이고, 도 32는, 통상시청용 동화상을 중앙 동화상 1920x810, 부가정보 동화상을 960x270의 2화상(좌동화상, 우동화상)으로서 배치한 경우이다.
본 실시 형태에서는, 다안(多眼) 입체시 동화상을 취급한 경우에 있어서, 모든 시점(視點)을 같은 화상 사이즈로 취급할 필요는 없고, 도 31, 도 32와 같이 통상시청용 동화상의 정보량을 많게 하고, 부가정보 동화상의 정보량을 적게 하여 전송(축적)하는 것도 가능하다. 이렇게 함으로써, 통상시청용 동화상의 열화를 억제하면서, 다안 입체시 동화상을 전송할 수 있다.
실제로 다안시(多眼視)를 행하는 경우에는, 예를 들면 도 39의 통상+부가정보에 의한 입체시 출력에서는, 통상시청용 동화상의 확대율과 부가정보 동화상의 확대율은 다르고, 좌우안에의 제시 사이즈가 같아지도록 조정된다. 물론, 부가정보 동화상은 정보량을 줄인 분만큼, 재생 화상의 열화가 일어나는 것이 걱정된다.
그러나, 인간의 양안 입체시에 있어서의 보정 기능은 우수하고, 정보량이 많은 편안(片眼) 화상 정보에 의해, 다른쪽의 화상 정보가 보충되는 현상이 일어난다. 예를 들면 좌우의 시력(視力)이 다른 사람이라도 입체시는 가능하다. 실제로 편안 화상을 다소 바림한 상태에서도 입체시를 행하는 것이 가능한 것은 확인되어 있고, 도 39의 언밸런스한 좌우동화상이라도 입체시는 가능하다.
도 32는, 3안 입체시용의 동화상이지만, 정보량이 많은 통상시청용 동화상을 중앙의 동화상으로 한 통합 동화상으로 하고 있기 때문에, 정보량이 많은 동화상을 우안 동화상으로 하는 것에도, 좌안 동화상으로 하는 것에도 대응 가능하다.
우안 동화상에 정보량이 많은 동화상을 이용하는 경우에는, 통상시청용 동화상인 중앙 동화상을 우안용으로 하고, 부가정보 동화상의 좌동화상을 좌안용으로서 이용한다. 또한, 좌안 동화상에 정보량이 많은 동화상을 이용하는 경우에는, 통상시청용 동화상인 중앙 동화상을 좌안용으로 하여, 부가정보 동화상의 우(右)동화상을 우안용으로서 이용한다. 이것은, 유저에 의해서는, 좌우의 시력이나 좌우의 눈의 피곤 등, 유저의 기호에 의해 어느 쪽의 눈으로 정보량이 많은 통상시청용 동화상을 보는지를 선택 가능하게 하는 것에 배려한 것이다.
또한, 도 31, 도 32의 통합 동화상 내에서의 통상시청용 동화상과 부가정보 동화상의 배치?화상 사이즈는 예이고, 본 발명에 제한을 주는 것이 아니다.
이상 설명한 바와 같이 상술한 실시 형태에 의하면, 기존의 수신 장치로도 통상시청용 동화상을 시청할 수 있다. 또한, 본 실시 형태를 이용하여 작성된 스트림에서는, 코덱의 절출 파라미터를 올바르게 처리할 수 있다면, 기존의 수신 장치로도, 통합 동화상 내로부터 통상시청용 동화상을 절출하여 제시할 수 있다.
또한, 본 실시 형태에 의하면, 기존 수신 장치와의 호환성을 유지하면서, 새로운 기능을 추가하는 것이 가능하고, 새로 사지 않으면 시청할 수가 없게 되거나, 위화감이 있는 동화상이 되거나 하는 일이 없고, 유저는 소망하는 전환 시기에 새로운 서비스를 받는 것이 가능해진다. 이에 의해, 기존의 수신 장치와 부가정보 동화상을 받을 수 있는 수신 장치와의 혼재 상황에 있어서, 기존 수신 장치측에서의 지장 없이, 부가정보 동화상 붙임 동화상의 송신 장치에 변경이 가능해진다. 또한, 기존의 송신 장치?수신 장치로부터의 변경량이 적어도 되기 때문에, 개발 비용을 억제하는 것이 가능하고, 본 실시 형태를 이용한 송신 장치?수신 장치의 가격을 억제할 수 있다.
이상, 첨부 도면을 참조하면서 본 발명의 알맞은 실시 형태에 관해 상세히 설명하였지만, 본 발명은 이러한 예로 한정되지 않는다. 본 발명이 속하는 기술의 분야에서 통상의 지식을 갖는 자라면, 특허청구의 범위에 기재된 기술적 사상의 범주 내에서, 각종의 변경예 또는 수정예에 상도 할 수 있음은 분명하고, 이들에 대해서도, 당연히 본 발명의 기술적 범위에 속하는 것이라고 이해된다.
100 : 송신 장치
102 : 동화상 압축부
104 : 통상시청용 동화상 영역 부호화부
106 : 부가정보 동화상 존재정보 부호화부
200 : 수신 장치
202 : 동화상 신장부
204 : 통상시청용 동화상 영역 복호화부
206 : 동화상 출력부
208 : 부가정보 동화상 존재정보 복호화부

Claims (9)

  1. 통상시청용 동화상과 부가정보 동화상이 1프레임 상에 배치된 통합화상을 압축하는 스텝과,
    통상시청용 화상의 영역을 나타내는 영역정보를 부호화하는 스텝과,
    부가정보 동화상이 존재하는 것을 나타내는 존재정보를 부호화하는 스텝과,
    상기 통합화상, 상기 영역정보 및 상기 존재정보를 송신하는 스텝을 구비하는 것을 특징으로 하는 화상 송신 방법.
  2. 제 1항에 있어서,
    상기 존재정보는, 부가정보 동화상의 종류를 지정하는 정보를 포함하는 것을 특징으로 하는 화상 송신 방법.
  3. 제 2항에 있어서,
    상기 부가정보 동화상의 종류로서, 복수안 입체시용으로 사용하는 동화상인지의 여부를 지정하는 정보를 포함하는 것을 특징으로 하는 화상 송신 방법.
  4. 제 1항에 있어서,
    상기 존재정보는, 상기 부가정보 동화상의 영역을 나타내는 영역정보, 또는 상기 부가정보 동화상의 어스펙트?레이쇼를 포함하는 것을 특징으로 하는 화상 송신 방법.
  5. 제 1항에 있어서,
    상기 존재정보는, 상기 부가정보 동화상 사용시에 있어서의 상기 통상시청용 동화상의 화상 영역을 지정하는 정보를 포함하는 것을 특징으로 하는 화상 송신 방법.
  6. 송신측으로부터 보내진, 통상시청용 동화상과 부가정보 동화상이 1프레임 상에 배치된 통합화상을 신장하는 스텝과,
    상기 통합화상과 함께 송신측으로부터 보내진 상기 통상시청용 동화상의 영역을 나타내는 영역정보를 복호화하는 스텝과,
    상기 통합화상과 함께 송신측으로부터 보내진 상기 부가정보 동화상이 존재하는 것을 나타내는 존재정보를 복호화하는 스텝과,
    상기 영역정보에 의거하여 상기 통상시청용 동화상의 영역을 지정하여 표시하는 스텝과,
    상기 존재정보에 의거하여 상기 부가정보 동화상의 존재를 인식하여 상기 부가정보 동화상을 표시하는 스텝을 구비하는 것을 특징으로 하는 화상 수신 방법.
  7. 통상시청용 동화상과 부가정보 동화상이 1프레임 상에 배치된 통합화상을 압축하는 압축부와,
    통상시청용 화상의 영역을 나타내는 영역정보를 부호화하는 영역정보 부호화부와,
    부가정보 동화상이 존재하는 것을 나타내는 존재정보를 부호화하는 존재정보 부호화부와,
    부호화된 통합화상, 영역정보 및 존재정보를 송신하는 송신부를 구비하는 것을 특징으로 하는 화상 송신 장치.
  8. 송신측으로부터 보내진, 통상시청용 동화상과 부가정보 동화상이 1프레임 상에 배치된 통합화상을 신장하는 신장부와,
    상기 통합화상과 함께 송신측으로부터 보내진 상기 통상시청용 동화상의 영역을 나타내는 영역정보를 복호화하는 영역정보 복호화부와,
    상기 통합화상과 함께 송신측으로부터 보내진 상기 부가정보 동화상이 존재하는 것을 나타내는 존재정보를 복호화하는 존재정보 복호화부와,
    상기 영역정보에 의거하여 상기 통상시청용 동화상의 영역을 지정하여 출력함과 함께, 상기 존재정보에 의거하여 상기 부가정보 동화상의 존재를 인식하여 상기 부가정보 동화상을 출력하는 화상 출력부를 구비하는 것을 특징으로 하는 화상 수신 장치.
  9. 통상시청용 동화상과 부가정보 동화상이 1프레임 상에 배치된 통합화상을 압축하는 압축부와, 통상시청용 화상의 영역을 나타내는 영역정보를 부호화하는 영역정보 부호화부와, 부가정보 동화상이 존재하는 것을 나타내는 존재정보를 부호화하는 존재정보 부호화부와, 부호화된 통합화상, 영역정보 및 존재정보를 송신하는 송신부를 갖는 화상 송신 장치와,
    송신측으로부터 보내진, 통상시청용 동화상과 부가정보 동화상이 1프레임 상에 배치된 통합화상을 신장하는 신장부와, 상기 통합화상과 함께 송신측으로부터 보내진 상기 통상시청용 동화상의 영역을 나타내는 영역정보를 복호화하는 영역정보 복호화부와, 상기 통합화상과 함께 송신측으로부터 보내진 상기 부가정보 동화상이 존재하는 것을 나타내는 존재정보를 복호화하는 존재정보 복호화부와, 상기 영역정보에 의거하여 상기 통상시청용 동화상의 영역을 지정하여 출력함과 함께, 상기 존재정보에 의거하여 상기 부가정보 동화상의 존재를 인식하여 상기 부가정보 동화상을 출력하는 화상 출력부를 갖는, 화상 수신 장치를 구비하는 것을 특징으로 하는 화상 전송 시스템.
KR1020117014903A 2009-11-17 2010-10-18 화상 송신 방법, 화상 수신 방법, 화상 송신 장치, 화상 수신 장치, 및 화상 전송 시스템 KR20120092495A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009262185A JP2011109397A (ja) 2009-11-17 2009-11-17 画像送信方法、画像受信方法、画像送信装置、画像受信装置、及び画像伝送システム
JPJP-P-2009-262185 2009-11-17

Publications (1)

Publication Number Publication Date
KR20120092495A true KR20120092495A (ko) 2012-08-21

Family

ID=44059499

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020117014903A KR20120092495A (ko) 2009-11-17 2010-10-18 화상 송신 방법, 화상 수신 방법, 화상 송신 장치, 화상 수신 장치, 및 화상 전송 시스템
KR20117015655A KR20120092497A (ko) 2009-11-17 2010-11-17 화상 수신 장치

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR20117015655A KR20120092497A (ko) 2009-11-17 2010-11-17 화상 수신 장치

Country Status (13)

Country Link
US (2) US20110268194A1 (ko)
EP (2) EP2381690A1 (ko)
JP (1) JP2011109397A (ko)
KR (2) KR20120092495A (ko)
CN (2) CN102273211A (ko)
AU (1) AU2010320118A1 (ko)
BR (2) BRPI1006063A2 (ko)
NZ (1) NZ593699A (ko)
PE (1) PE20120606A1 (ko)
RU (1) RU2011128307A (ko)
TW (1) TW201143444A (ko)
WO (2) WO2011062015A1 (ko)
ZA (1) ZA201105049B (ko)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013030907A (ja) 2011-07-27 2013-02-07 Sony Corp 符号化装置および符号化方法、並びに、復号装置および復号方法
WO2013136373A1 (ja) * 2012-03-16 2013-09-19 パナソニック株式会社 立体映像処理装置及び立体映像処理方法
CN104247433B (zh) * 2012-04-06 2018-02-06 索尼公司 解码装置和解码方法以及编码装置和编码方法
CN111031302A (zh) * 2012-04-25 2020-04-17 浙江大学 三维视频序列辅助信息的解码方法、编码方法及装置
CN103391472A (zh) * 2012-05-09 2013-11-13 腾讯科技（深圳）有限公司 视频分辨率获取方法及系统
ITTO20120901A1 (it) * 2012-10-15 2014-04-16 Rai Radiotelevisione Italiana Procedimento di codifica e decodifica di un video digitale e relativi dispositivi di codifica e decodifica
CN104219558A (zh) * 2013-06-03 2014-12-17 北京中传数广技术有限公司 一种3d电子节目指南的显示方法及装置
US9805546B2 (en) * 2013-06-19 2017-10-31 Glasson Investments Pty Ltd Methods and systems for monitoring golfers on a golf course
JP5935779B2 (ja) * 2013-09-30 2016-06-15 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
JP6719104B2 (ja) * 2015-08-28 2020-07-08 パナソニックＩｐマネジメント株式会社 画像出力装置、画像送信装置、画像受信装置、画像出力方法および記録媒体
JP6711711B2 (ja) * 2016-07-08 2020-06-17 Kddi株式会社 復号装置及びプログラム
JP2020502955A (ja) * 2016-10-04 2020-01-23 リブライク インコーポレーテッド モバイルデバイスのためのピクチャ・イン・ピクチャに基づくビデオストリーミング
CN106604108B (zh) * 2016-12-30 2020-10-02 深圳Tcl数字技术有限公司 数字电视灾难预警的方法及装置
US10516710B2 (en) 2017-02-12 2019-12-24 Mellanox Technologies, Ltd. Direct packet placement
US11979340B2 (en) 2017-02-12 2024-05-07 Mellanox Technologies, Ltd. Direct data placement
US10210125B2 (en) 2017-03-16 2019-02-19 Mellanox Technologies, Ltd. Receive queue with stride-based data scattering
CN107040787B (zh) * 2017-03-30 2019-08-02 宁波大学 一种基于视觉感知的3d-hevc帧间信息隐藏方法
US11252464B2 (en) * 2017-06-14 2022-02-15 Mellanox Technologies, Ltd. Regrouping of video data in host memory
US20180367589A1 (en) * 2017-06-14 2018-12-20 Mellanox Technologies, Ltd. Regrouping of video data by a network interface controller
US10367750B2 (en) 2017-06-15 2019-07-30 Mellanox Technologies, Ltd. Transmission and reception of raw video using scalable frame rate
WO2019004073A1 (ja) 2017-06-28 2019-01-03 株式会社ソニー・インタラクティブエンタテインメント 画像配置決定装置、表示制御装置、画像配置決定方法、表示制御方法及びプログラム
US10701421B1 (en) * 2017-07-19 2020-06-30 Vivint, Inc. Embedding multiple videos into a video stream
US11453513B2 (en) 2018-04-26 2022-09-27 Skydio, Inc. Autonomous aerial vehicle hardware configuration
US11647284B2 (en) 2018-08-20 2023-05-09 Sony Semiconductor Solutions Corporation Image processing apparatus and image processing system with image combination that implements signal level matching
JP6997123B2 (ja) * 2019-02-28 2022-02-03 ファナック株式会社 情報処理装置および情報処理方法
AU2020232135B2 (en) 2019-03-05 2023-11-23 Huawei Technologies Co., Ltd. The method and apparatus for intra sub-partitions coding mode
US20230132193A1 (en) * 2020-03-30 2023-04-27 Sony Semiconductor Solutions Corporation Image capturing device, image capturing system, and image capturing method
CN111479162B (zh) * 2020-04-07 2022-05-13 成都酷狗创业孵化器管理有限公司 直播数据传输方法、装置以及计算机可读存储介质
TWI778749B (zh) * 2021-08-17 2022-09-21 睿至股份有限公司 適用虛擬實境的影像傳輸方法、影像處理裝置及影像生成系統
US20230347766A1 (en) * 2022-04-27 2023-11-02 Skydio, Inc. Base Stations For Unmanned Aerial Vehicles (UAVs)
US20240114238A1 (en) * 2022-09-30 2024-04-04 Zebra Technologies Corporation Systems and Methods for Operating Illumination Assemblies in a Multi-Imager Environment

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2849183B2 (ja) * 1990-08-13 1999-01-20 富士電気化学株式会社 非水電解液二次電池
JP3066298B2 (ja) 1995-11-15 2000-07-17 三洋電機株式会社 立体画像観察用眼鏡の制御方法
JPH09298761A (ja) * 1996-03-04 1997-11-18 Sanyo Electric Co Ltd 立体画像表示装置
EP0944269B1 (en) * 1996-12-04 2002-11-13 Matsushita Electric Industrial Co., Ltd. Optical disc for high resolution and three-dimensional image recording, optical disc reproducing device, and optical disc recording device
JP3784967B2 (ja) 1998-07-21 2006-06-14 日本放送協会 立体画像表示方法および装置
JP2000308089A (ja) * 1999-04-16 2000-11-02 Nippon Hoso Kyokai <Nhk> 立体画像符号化装置および復号化装置
JP2003045343A (ja) 2001-08-03 2003-02-14 Nippon Hoso Kyokai <Nhk> 立体画像表示装置
AU2003231508A1 (en) * 2002-04-25 2003-11-10 Sharp Kabushiki Kaisha Multimedia information generation method and multimedia information reproduction device
KR100475060B1 (ko) * 2002-08-07 2005-03-10 한국전자통신연구원 다시점 3차원 동영상에 대한 사용자 요구가 반영된 다중화장치 및 방법
US20050041736A1 (en) * 2003-05-07 2005-02-24 Bernie Butler-Smith Stereoscopic television signal processing method, transmission system and viewer enhancements
JP2004356772A (ja) * 2003-05-27 2004-12-16 Sanyo Electric Co Ltd 三次元立体画像表示装置およびコンピュータに三次元立体画像表示機能を付与するプログラム
JP2005159977A (ja) * 2003-11-28 2005-06-16 Sanyo Electric Co Ltd 立体映像表示通信装置
JP4179178B2 (ja) * 2004-02-03 2008-11-12 ソニー株式会社 送受信システム、送信装置、受信装置、情報処理方法
JP4665430B2 (ja) * 2004-04-26 2011-04-06 富士ゼロックス株式会社 画像出力制御装置、画像出力制御方法及び画像出力制御プログラム並びにプリンタ装置
US8587638B2 (en) * 2006-09-25 2013-11-19 Nokia Corporation Supporting a 3D presentation
ES2941888T3 (es) * 2007-04-12 2023-05-26 Dolby Int Ab Organización en mosaico en codificación y decodificación de vídeo
JP4426603B2 (ja) * 2007-05-22 2010-03-03 シャープ株式会社 画像出力システムおよび画像処理装置
US20080303832A1 (en) * 2007-06-11 2008-12-11 Samsung Electronics Co., Ltd. Method of generating two-dimensional/three-dimensional convertible stereoscopic image bitstream and method and apparatus for displaying the same
WO2010032058A1 (en) * 2008-09-19 2010-03-25 Mbda Uk Limited Method and apparatus for displaying stereographic images of a region
BRPI0914459A2 (pt) * 2008-10-21 2015-10-27 Koninkl Philips Electronics Nv "método para processar um sinal de vídeo de entrada tridimensional compreendendo múltiplas visualizações, produto de programa de computador e sistema para processar um sinal de vídeo de entrada tridimensional compreendendo múltiplas visualizações"
US8502857B2 (en) * 2008-11-21 2013-08-06 Polycom, Inc. System and method for combining a plurality of video stream generated in a videoconference
US8314832B2 (en) * 2009-04-01 2012-11-20 Microsoft Corporation Systems and methods for generating stereoscopic images
US9124874B2 (en) * 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence

Also Published As

Publication number Publication date
KR20120092497A (ko) 2012-08-21
CN102273212A (zh) 2011-12-07
US20120019629A1 (en) 2012-01-26
AU2010320118A1 (en) 2011-07-21
NZ593699A (en) 2014-02-28
WO2011062015A1 (ja) 2011-05-26
JP2011109397A (ja) 2011-06-02
RU2011128307A (ru) 2013-01-20
BRPI1006169A2 (pt) 2016-02-23
WO2011062195A1 (ja) 2011-05-26
EP2381690A1 (en) 2011-10-26
TW201143444A (en) 2011-12-01
PE20120606A1 (es) 2012-05-25
ZA201105049B (en) 2012-09-26
BRPI1006063A2 (pt) 2016-04-19
US20110268194A1 (en) 2011-11-03
EP2362664A1 (en) 2011-08-31
CN102273211A (zh) 2011-12-07

Similar Documents

Publication Publication Date Title
KR20120092495A (ko) 화상 송신 방법, 화상 수신 방법, 화상 송신 장치, 화상 수신 장치, 및 화상 전송 시스템
US10341636B2 (en) Broadcast receiver and video data processing method thereof
US9756380B2 (en) Broadcast receiver and 3D video data processing method thereof
US8730303B2 (en) Broadcast transmitter, broadcast receiver and 3D video data processing method thereof
KR101353115B1 (ko) 비디오 컨텐트를 인코딩하는 방법
US9756309B2 (en) Broadcast receiver and 3D video data processing method
KR101915130B1 (ko) 디지털 방송 신호 수신 장치 및 방법
KR101797495B1 (ko) 디지털 수신기 및 디지털 수신기에서의 캡션 데이터 처리 방법
RU2633385C2 (ru) Передающее устройство, способ передачи, приемное устройство, способ приема и способ отображения приема
US20140078248A1 (en) Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
US20130250051A1 (en) Signaling method for a stereoscopic video service and apparatus using the method
JP2013526145A (ja) 立体視に対応したビデオストリームを生成、再構築する方法、および関連する符号化および復号化デバイス
JP5390016B2 (ja) 映像処理装置
KR20140057242A (ko) 부호화 장치 및 부호화 방법과 복호 장치 및 복호 방법
US20120281075A1 (en) Broadcast signal receiver and method for processing video data
KR20100043419A (ko) 다시점 화상 처리 장치

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid