KR20150052029A - 송신 장치, 송신 방법, 수신 장치 및 수신 방법 - Google Patents

송신 장치, 송신 방법, 수신 장치 및 수신 방법 Download PDF

Info

Publication number
KR20150052029A
KR20150052029A KR1020157004909A KR20157004909A KR20150052029A KR 20150052029 A KR20150052029 A KR 20150052029A KR 1020157004909 A KR1020157004909 A KR 1020157004909A KR 20157004909 A KR20157004909 A KR 20157004909A KR 20150052029 A KR20150052029 A KR 20150052029A
Authority
KR
South Korea
Prior art keywords
image data
information
downscaling
video stream
spatial
Prior art date
Application number
KR1020157004909A
Other languages
English (en)
Other versions
KR102142735B1 (ko
Inventor
이쿠오 츠카고시
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20150052029A publication Critical patent/KR20150052029A/ko
Application granted granted Critical
Publication of KR102142735B1 publication Critical patent/KR102142735B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)

Abstract

초고화질 서비스의 화상 데이터가 스케일러블 부호화되지 않고 송신되는 경우에, 이 초고화질 서비스에 대응하지 않는 수신기에 있어서 자신의 표시 능력에 맞는 해상도의 화상 데이터의 취득을 용이하게 한다. 부호화 화상 데이터를 포함하는 비디오 스트림을 갖는 소정 포맷의 컨테이너를 송신한다. 비디오 스트림에, 화상 데이터의 공간적 및/또는 시간적인 해상도의 다운스케일링을 위한 보조 정보를 삽입한다. 예를 들어, 보조 정보는, 부호화 화상 데이터에 포함되는 움직임 벡터의 정밀도 제한을 나타내는 정보로 된다. 또한, 예를 들어, 보조 정보는, 시간 해상도를 소정의 비율로 다운스케일링할 때 선택할 픽처를 식별하는 정보로 된다.

Description

송신 장치, 송신 방법, 수신 장치 및 수신 방법{TRANSMITTING DEVICE, TRANSMITTING METHOD, RECEIVING DEVICE AND RECEIVING METHOD}
본 발명은, 송신 장치, 송신 방법, 수신 장치 및 수신 방법에 관한 것으로, 특히, 공간적 혹은 시간적인 초고해상도 화상의 화상 데이터를 송신하는 송신 장치 등에 관한 것이다.
예를 들어, 유효 화소수가 1920×1080인 HD 화상 외에, 유효 화소수가 수평, 수직으로 각각 2배, 4배인 4K, 8K 등의 공간적인 초고해상도 화상의 서비스가 고려되어 있다(예를 들어, 특허문헌 1 참조). 또한, 예를 들어, 프레임 주파수가 30㎐인 화상 외에, 프레임 주파수가 60㎐, 120㎐ 등의 시간적인 초고해상도 화상의 서비스가 고려되어 있다. 또한, 이들 초고해상도 화상의 서비스를, 적절히 초고화질 서비스라 한다.
일본 특허공개 제2011-057069호 공보
전술한 초고화질 서비스의 화상 데이터가 스케일러블 부호화되어 있는 경우, 이 초고화질 서비스에 대응하지 않는 수신기에 있어서도, 자신의 표시 능력에 맞는 해상도의 화상 데이터를 용이하게 취득할 수 있다. 그러나, 초고화질 서비스의 화상 데이터가 스케일러블 부호화되어 있지 않은 경우, 이 초고화질 서비스에 대응하지 않는 수신기에 있어서는, 자신의 표시 능력에 맞는 해상도의 화상 데이터를 취득하는 것이 곤란해진다.
본 발명의 목적은, 초고화질 서비스의 화상 데이터가 스케일러블 부호화되지 않고 송신되는 경우에, 이 초고화질 서비스에 대응하지 않는 수신기에 있어서 자신의 표시 능력에 맞는 해상도의 화상 데이터의 취득을 용이하게 하는 데 있다.
본 발명의 개념은,
부호화 화상 데이터를 포함하는 비디오 스트림을 갖는 소정 포맷의 컨테이너를 송신하는 송신부와,
상기 비디오 스트림에, 상기 화상 데이터의 공간적 및/또는 시간적인 해상도의 다운스케일링을 위한 보조 정보를 삽입하는 보조 정보 삽입부
를 구비하는 송신 장치에 있다.
본 발명에 있어서, 송신부에 의해, 부호화 화상 데이터를 포함하는 비디오 스트림을 갖는 소정 포맷의 컨테이너가 송신된다. 부호화 화상 데이터는, 예를 들어, MPEG4-AVC(MVC), MPEG2video, 혹은 HEVC 등의 부호화가 실시된 것이다. 컨테이너는, 예를 들어, 디지털 방송 규격으로 채용되고 있는 트랜스포트 스트림(MPEG-2 TS)이어도 된다. 또한, 컨테이너는, 예를 들어, 인터넷의 배신(配信) 등에서 사용되는 MP4, 혹은 그 이외의 포맷의 컨테이너이어도 된다.
보조 정보 삽입부에 의해, 비디오 스트림에, 화상 데이터의 공간적 및/또는 시간적인 해상도의 다운스케일링을 위한 보조 정보가 삽입된다. 예를 들어, 보조 정보는, 부호화 화상 데이터에 포함되는 움직임 벡터의 정밀도 제한을 나타내는 정보로 되어도 된다. 또한, 예를 들어, 보조 정보는, 시간 해상도를 소정의 비율로 다운스케일링할 때 선택할 픽처를 식별하는 정보로 되어도 된다.
이와 같이 본 발명에 있어서는, 비디오 스트림에, 화상 데이터의 공간적 및/또는 시간적인 해상도의 다운스케일링을 위한 보조 정보가 삽입되는 것이다. 그로 인해, 초고화질 서비스의 화상 데이터가 스케일러블 부호화되지 않고 송신되는 경우, 이 초고화질 서비스에 대응하지 않는 수신기에 있어서 자신의 표시 능력에 맞는 해상도의 화상 데이터의 취득을 용이하게 행할 수 있다.
또한, 본 발명에 있어서, 예를 들어, 컨테이너의 레이어에, 보조 정보가 비디오 스트림에 삽입되어 있음을 나타내는 식별 정보를 삽입하는 식별 정보 삽입부를 더 구비하도록 되어도 된다. 이 경우, 수신기는, 비디오 스트림을 디코드하지 않아도, 이 비디오 스트림에 보조 정보가 삽입되어 있음을 알 수 있어, 보조 정보의 추출을 적절하게 행할 수 있다.
예를 들어, 이 식별 정보에는, 공간적 및/또는 시간적인 해상도의 다운스케일링에 있어서 가능한 비율을 나타내는 다운스케일링 정보가 부가되도록 되어도 된다. 또한, 이 식별 정보에는, 비디오 스트림에 포함되는 화상 데이터의 공간적 및/또는 시간적인 해상도 정보가 부가되도록 되어도 된다. 또한, 예를 들어, 컨테이너는 트랜스포트 스트림이며, 식별 정보 삽입부는, 식별 정보를, 트랜스포트 스트림에 포함되는 프로그램 맵 테이블의 비디오 엘리멘터리 루프의 관리하의 기술자(記述子)에 삽입하도록 되어도 된다.
또한, 본 발명에 있어서, 예를 들어, 컨테이너의 레이어에, 비디오 스트림에 포함되는 화상 데이터의 공간적 및/또는 시간적인 해상도 정보를 삽입하는 해상도 정보 삽입부를 더 구비하도록 되어도 된다. 이 경우, 초고화질 서비스의 화상 데이터가 스케일러블 부호화되지 않고 송신되는 경우에 있어서, 이 초고화질 서비스에 대응하지 않는 수신기에 있어서는, 이 해상도 정보에 기초하여, 다운스케일링 처리의 내용을 결정하는 것이 가능해진다.
예를 들어, 해상도 정보에는, 비디오 스트림에, 화상 데이터의 공간적 및/또는 시간적인 해상도에 대응하지 않는 저능력 디코더를 위한 서포트가 되어 있는지 여부를 식별하는 식별 정보가 부가되도록 되어도 된다. 또한, 예를 들어, 컨테이너는 트랜스포트 스트림이며, 해상도 정보 삽입부는, 해상도 정보를, 트랜스포트 스트림에 포함되는 이벤트 인포메이션 테이블의 관리하의 기술자에 삽입하도록 되어도 된다.
또한, 본 발명의 다른 개념은,
부호화 화상 데이터를 포함하는 비디오 스트림을 갖는 소정 포맷의 컨테이너를 송신하는 송신부와,
상기 컨테이너의 레이어에, 상기 비디오 스트림에 의한 초고화질 서비스를 적어도 프로그램 단위로 식별할 수 있도록 식별 정보를 삽입하는 식별 정보 삽입부
를 구비하는 송신 장치에 있다.
본 발명에 있어서, 송신부에 의해, 화상 데이터를 포함하는 비디오 스트림을 갖는 소정 포맷의 컨테이너가 송신된다. 컨테이너는, 예를 들어, 디지털 방송 규격으로 채용되어 있는 트랜스포트 스트림(MPEG-2 TS)이어도 된다. 또한, 컨테이너는, 예를 들어, 인터넷의 배신 등에서 사용되는 MP4, 혹은 그 이외의 포맷의 컨테이너이어도 된다.
식별 정보 삽입부에 의해, 컨테이너의 레이어에, 비디오 스트림에 의한 초고화질 서비스를 적어도 프로그램 단위로 식별할 수 있도록 식별 정보가 삽입된다. 예를 들어, 식별 정보에는, 화상 데이터의 공간적 및/또는 시간적인 해상도 정보가 포함되도록 되어도 된다. 예를 들어, 컨테이너는 트랜스포트 스트림이며, 식별 정보 삽입부는, 식별 정보를, 트랜스포트 스트림에 포함되는 이벤트 인포메이션 테이블의 관리하의 기술자에 삽입하도록 되어도 된다.
이와 같이 본 발명에 있어서는, 컨테이너의 레이어에, 비디오 스트림에 의한 초고화질 서비스를 적어도 프로그램 단위로 식별할 수 있도록 식별 정보가 삽입되는 것이다. 그로 인해, 수신기에 있어서는, 초고화질 서비스를 용이하게 식별할 수 있고, 자신의 표시 능력과 비교하여, 공간적 및/또는 시간적인 해상도의 다운스케일링 처리가 필요한지 여부, 또한 그 비율을 적절하면서도 즉시 결정할 수 있다.
또한, 본 발명에 있어서, 예를 들어, 식별 정보에는, 비디오 스트림에, 화상 데이터의 공간적 및/또는 시간적인 해상도에 대응하지 않는 저능력 디코더를 위한 서포트가 되어 있는지 여부를 나타내는 서포트 정보가 부가되도록 되어도 된다. 이 경우, 수신기에 있어서는, 비디오 스트림에 저능력 디코더를 위한 서포트, 예를 들어 공간적 및/또는 시간적인 해상도의 다운스케일링을 위한 보조 정보의 삽입 등이 되어 있는지 여부를 용이하게 판단할 수 있다.
또한, 본 발명의 다른 개념은,
부호화 화상 데이터를 포함하는 비디오 스트림을 수신하는 수신부와,
상기 비디오 스트림에는, 상기 화상 데이터의 공간적 및/또는 시간적인 해상도의 다운스케일링을 위한 보조 정보가 삽입되어 있으며,
상기 부호화 화상 데이터에 대하여, 상기 보조 정보에 기초하여 공간적 및/또는 시간적인 해상도의 다운스케일링 처리를 실시하여 원하는 해상도의 표시 화상 데이터를 얻는 처리부
를 더 구비하는 수신 장치에 있다.
본 발명에 있어서, 수신부에 의해, 부호화 화상 데이터를 포함하는 비디오 스트림이 수신된다. 이 비디오 스트림에는, 화상 데이터의 공간적 및/또는 시간적인 해상도의 다운스케일링을 위한 보조 정보가 삽입되어 있다. 그리고, 처리부에 의해, 부호화 화상 데이터에 대하여 보조 정보에 기초하여 공간적 및/또는 시간적인 해상도의 다운스케일링 처리가 실시되어 원하는 해상도의 표시 화상 데이터가 얻어진다.
이와 같이 본 발명에 있어서는, 비디오 스트림에 삽입되어 있는 보조 정보에 기초하여, 부호화 화상 데이터에 대하여 공간적 및/또는 시간적인 해상도의 다운스케일링 처리가 실시되어 원하는 해상도의 표시 화상 데이터가 얻어지는 것이다. 그로 인해, 다운스케일링 처리의 부하를 경감할 수 있다.
또한, 본 발명에 있어서, 예를 들어, 수신부는, 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하고, 이 컨테이너의 레이어에, 공간적 및/또는 시간적인 해상도의 다운스케일링에 있어서 가능한 비율을 나타내는 다운스케일링 정보가 삽입되어 있으며, 처리부는, 이 다운스케일링 정보에 기초하여, 표시 화상 데이터를 얻기 위한 다운스케일링 처리를 제어하도록 되어도 된다.
또한, 본 발명에 있어서, 예를 들어, 수신부는, 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하고, 이 컨테이너의 레이어에, 비디오 스트림에 포함되는 화상 데이터의 공간적 및/또는 시간적인 해상도 정보가 삽입되어 있으며, 처리부는, 이 해상도 정보에 기초하여, 표시 화상 데이터를 얻기 위한 상기 다운스케일링 처리를 제어하도록 되어도 된다.
본 발명에 의하면, 초고화질 서비스의 화상 데이터가 스케일러블 부호화되지 않고 송신되는 경우에, 이 초고화질 서비스에 대응하지 않는 수신기에 있어서 자신의 표시 능력에 맞는 해상도의 화상 데이터의 취득을 용이하게 행할 수 있다.
도 1은, 실시 형태로서의 화상 송수신 시스템의 구성예를 나타내는 블록도이다.
도 2는, 공간적인 해상도의 다운스케일링 처리를 설명하기 위한 도면이다.
도 3은, 수신기의 디코더의 구성예를 나타내는 블록도이다.
도 4는, 공간적인 해상도의 다운스케일링 처리를 설명하기 위한 도면이다.
도 5는, 움직임 벡터 MV의 정밀도에 제한을 두지 않는 경우, 예를 들어, 움직임 벡터 MV1의 정밀도가 1/4 픽셀(quarter pixel) 정밀도인 경우에 대하여 설명하기 위한 도면이다.
도 6은, 움직임 벡터 MV의 정밀도에 제한을 두는 경우, 예를 들어, 움직임 벡터 MV2의 정밀도가 1/2 픽셀(half pixel) 정밀도인 경우에 대하여 설명하기 위한 도면이다.
도 7은, 시간적인 해상도의 다운스케일링 처리를 설명하기 위한 도면이다.
도 8은, 트랜스포트 스트림 TS를 생성하는 송신 데이터 생성부의 구성예를 나타내는 블록도이다.
도 9는, 보조 정보로서 SEI 메시지가 삽입되는 GOP의 선두의 액세스 유닛 및 선두 이외의 액세스 유닛을 나타내는 도면이다.
도 10은, 보조 정보로서의 움직임 벡터 MV의 정밀도 제한을 나타내는 정보를 포함하는 SEI 메시지(downscaling_spatial SEI message)의 구조예(Syntax)를 나타내는 도면이다.
도 11은, SEI 메시지(downscaling_spatial SEI message)의 구조예에 있어서의 주요한 정보의 내용을 나타내는 도면이다.
도 12는, 보조 정보로서의 시간 해상도를 소정의 비율로 다운스케일링할 때 선택할 픽처를 나타내는 정보를 포함하는 SEI 메시지(picture_temporal_pickup SEI message)의 구조예(Syntax)를 나타내는 도면이다.
도 13은, SEI 메시지(picture_temporal_pickup SEI message)의 구조예에 있어서의 주요한 정보의 내용을 나타내는 도면이다.
도 14는, 다운스케일링 디스크립터(downscaling_descriptor)의 구조예(Syntax)를 나타내는 도면이다.
도 15는, 다운스케일링 디스크립터(downscaling_descriptor)의 변형 구조예(Syntax)를 나타내는 도면이다.
도 16은, 다운스케일링 디스크립터(downscaling_descriptor)의 구조예에 있어서의 주요한 정보의 내용을 나타내는 도면이다.
도 17은, 수퍼 하이 레졸루션 디스크립터(Super High resolution descriptor)의 구조예(Syntax)를 나타내는 도면이다.
도 18은, 수퍼 하이 레졸루션 디스크립터(Super High resolution descriptor)의 구조예에 있어서의 주요한 정보의 내용을 나타내는 도면이다.
도 19는, 트랜스포트 스트림 TS의 구성예를 나타내는 도면이다.
도 20은, 수신기의 구성예를 나타내는 블록도이다.
이하, 발명을 실시하기 위한 구체적인 내용(이하, 「실시 형태」라 함)에 대하여 설명한다. 또한, 설명은 이하의 순서로 행한다.
1. 실시 형태
2. 변형예
<1. 실시 형태>
[화상 송수신 시스템]
도 1은, 실시 형태로서의 화상 송수신 시스템(10)의 구성예를 나타내고 있다. 이 화상 송수신 시스템(10)은, 방송국(100) 및 수신기(200)에 의해 구성되어 있다. 방송국(100)은, 컨테이너로서의 트랜스포트 스트림 TS를 방송파에 실어 송신한다.
트랜스포트 스트림 TS는, 부호화 화상 데이터를 포함하는 비디오 스트림을 갖고 있다. 송신 화상 데이터에는, 다양한 화상 서비스에 대응한 것이 포함된다. 화상 서비스로서는, 예를 들어, 유효 화소수가 1920×1080인 HD 화상 서비스 외에, 유효 화소수가 수평, 수직으로 각각 2배, 4배인 4K, 8K 등의 공간적인 초고해상도 화상의 서비스(초고화질 서비스)가 고려된다. 또한, 화상 서비스로서는, 예를 들어, 프레임 주파수가 30㎐인 화상 서비스 외에, 프레임 주파수가 60㎐, 120㎐ 등의 시간적인 초고해상도 화상의 서비스(초고화질 서비스)가 고려된다.
초고화질 서비스의 화상 데이터에 관해서는, 스케일러블 부호화하여 송신되는 경우와, 스케일러블 부호화되지 않고 송신되는 경우가 있다. 스케일러블 부호화됨으로써, 후방 호환성(backward compatible)이 보증되고, 초고화질 서비스에 대응하지 않는 수신기에 있어서도, 자신의 표시 능력에 맞는 해상도의 화상 데이터를 용이하게 취득 가능해진다.
초고화질 서비스의 화상 데이터를 송신하는 경우, 비디오 스트림에, 화상 데이터의 공간적 및/또는 시간적인 해상도의 다운스케일링을 위한 보조 정보가 삽입된다. 이 보조 정보는, 예를 들어, 비디오 스트림의 픽처 헤더 또는 시퀀스 헤더의 유저 데이터 영역 등에 삽입된다.
예를 들어, 공간적인 해상도의 다운스케일링을 위한 보조 정보로서는, 부호화 화상 데이터에 포함되는 움직임 벡터의 정밀도 제한을 나타내는 정보로 된다. 예를 들어, 통상의 움직임 벡터의 정밀도 제한이 1/4 픽셀 정밀도일 때, 수신기측에 있어서의 공간적인 해상도의 다운스케일링의 처리 부하를 경감하기 위해 움직임 벡터의 정밀도 제한이 1/2 픽셀 정밀도 혹은 1 픽셀 정밀도 등으로 된다.
또한, 시간적인 해상도의 다운스케일링을 위한 보조 정보로서는, 시간 해상도를 소정의 비율로 다운스케일링할 때 선택할 픽처를 식별하는 정보로 된다. 예를 들어, 이 정보에 의해, 1개 건너뛴 픽처(프레임)에 대응하여 1/2로 다운스케일링할 때 선택할 픽처임을 나타낸다. 또한, 예를 들어, 이 정보에 의해, 3개 건너뛴 픽처(프레임)에 대응하여 1/4로 다운스케일링할 때 선택할 픽처임을 나타낸다.
전술한 바와 같이 보조 정보가 삽입됨으로써, 초고화질 서비스의 화상 데이터가 스케일러블 부호화되지 않고 송신되는 경우에, 이 초고화질 서비스에 대응하지 않는 수신기에 있어서 자신의 표시 능력에 맞는 해상도의 화상 데이터의 취득을 용이하게 행할 수 있게 된다. 이 보조 정보의 상세에 대해서는, 후술한다.
또한, 트랜스포트 스트림 TS의 레이어에, 보조 정보가 비디오 스트림에 삽입되어 있음을 나타내는 식별 정보가 삽입된다. 예를 들어, 이 식별 정보는, 트랜스포트 스트림 TS에 포함되는 프로그램 맵 테이블(PMT: Program Map Table)의 비디오 엘리멘터리 루프(Video ES loop)의 관리하에 삽입된다. 이 식별 정보에 의해, 수신측에서는, 비디오 스트림을 디코드하지 않아도, 이 비디오 스트림에 보조 정보가 삽입되어 있음을 알 수 있어, 보조 정보의 추출을 적절하게 행하는 것이 가능해진다.
이 다운스케일링 정보에는, 비디오 스트림에 포함되는 화상 데이터의 공간적 및/또는 시간적인 해상도 정보가 부가되는 경우가 있다. 이 경우, 수신측에서는, 비디오 스트림을 디코드하지 않고, 화상 데이터의 공간적 및/또는 시간적인 해상도를 파악하는 것이 가능해진다. 이 다운스케일링 정보의 상세에 대해서는, 후술한다.
또한, 트랜스포트 스트림 TS의 레이어에, 비디오 스트림에 의한 초고화질 서비스를 적어도 프로그램 단위로 식별할 수 있도록 식별 정보가 삽입된다. 예를 들어, 본 실시 형태에 있어서, 트랜스포트 스트림 TS의 레이어에, 비디오 스트림에 포함되는 화상 데이터의 공간적 및/또는 시간적인 해상도 정보가 삽입된다. 예를 들어, 이 해상도 정보는, 트랜스포트 스트림 TS에 포함되는 이벤트 인포메이션 테이블(EIT: Event Information Table)의 관리하에 삽입된다. 이 해상도 정보(식별 정보)에 의해, 비디오 스트림을 디코드하지 않고, 화상 데이터의 공간적 및/또는 시간적인 해상도를 파악하는 것이 가능해진다.
이 해상도 정보에는, 비디오 스트림에, 화상 데이터의 공간적 및/또는 시간적인 해상도에 대응하지 않는 저능력 디코더를 위한 서포트가 되어 있는지 여부를 식별하는 식별 정보가 부가되어 있다. 이 경우, 수신측에서는, 비디오 스트림에 저능력 디코더를 위한 서포트, 예를 들어, 공간적 및/또는 시간적인 해상도의 다운스케일링을 위한 보조 정보의 삽입 등이 되어 있는지 여부를 용이하게 판단할 수 있다. 이 해상도 정보의 상세에 대해서는, 후술한다.
수신기(200)는, 방송국(100)으로부터 방송파에 실어 보내져 오는 트랜스포트 스트림 TS를 수신한다. 이 트랜스포트 스트림 TS는, 부호화 화상 데이터를 포함하는 비디오 스트림을 갖고 있다. 수신기(200)는, 비디오 스트림의 디코드 처리를 행하여, 표시 화상 데이터를 취득한다.
수신기(200)는, 초고화질 서비스의 화상 데이터가 스케일러블 부호화되지 않고 보내져 오는 경우로서, 자신이 그 초고화질 서비스에 대응하지 않는 경우에는, 부호화 화상 데이터에 대하여, 보조 정보에 기초하여 공간적 및/또는 시간적인 해상도의 다운스케일링 처리를 실시하고, 원하는 해상도의 표시 화상 데이터를 얻는다. 이 경우, 수신 화상 데이터의 해상도와 다운스케일링의 가능 비율에 의해, 다운스케일링 처리가 제어된다.
예를 들어, 수신 화상 데이터의 해상도와 다운스케일링의 가능 비율에 따라서는, 원하는 해상도의 표시 화상 데이터를 얻을 수 없는 경우도 상정되지만, 그 경우에는, 다운스케일링 처리는 행해지지 않는다. 또한, 다운스케일링의 가능 비율이 복수 있는 경우, 수신 화상 데이터의 해상도에 따라서, 다운스케일링의 비율이 선택되어 원하는 해상도의 표시 화상 데이터를 얻는 일이 행해진다.
[해상도의 다운스케일링 처리]
수신기(200)에서 행해지는 다운스케일링 처리에 대하여 설명한다. 처음에, 공간적인 해상도의 다운스케일링 처리를 설명한다. 예를 들어, 수신 화상 데이터가, 도 2의 (a)에 도시한 바와 같은, 8K의 화상 데이터인 경우를 고려한다. 예를 들어, 표시 능력이 4K인 수신기(200)에 있어서는, 공간적인 해상도를 수평, 수직 모두 1/2로 하는 다운스케일링 처리가 실시되고, 도 2의 (b)에 도시한 바와 같은, 4K의 화상 데이터를 얻는 일이 행해진다. 또한, 예를 들어, 표시 능력이 HD인 수신기(200)에 있어서는, 공간적인 해상도를 수평, 수직 모두 1/4로 하는 다운스케일링 처리가 실시되고, 도 2의 (c)에 도시한 바와 같은, HD의 화상 데이터를 얻는 일이 행해진다.
도 3은, 수신기(200)의 디코더의 구성예를 나타내고 있다. 수신된 부호화 화상 데이터 Ve는 엔트로피 복호화부(353a)에서 엔트로피 복호화 처리가 행해지고, 역양자화부(353b)에서 역양자화 처리가 행해진다. 또한, 역양자화 처리 후의 데이터는, 공간 주파수 역변환부(353c)에서 공간 주파수의 역변환 처리가 실시되어 데이터 D(n)이 얻어진다.
이 경우, 공간 주파수의 역변환 처리는, N*N의 부호화 블록마다, 다운스케일링의 비율에 따른 영역의 주파수 성분에만 적용되고(도 4의 (a)의 해칭 영역 참조), 데이터 D(n)으로서, 다운스케일링된 화상 데이터가 얻어진다. 또한, 이 도 4의 예는, 다운스케일링의 비율이 1/2인 경우를 나타내고 있다.
프레임 버퍼(353d)에 기록되어 있는 1 프레임 전의 화상 데이터(도 4의 (b) 참조)로부터, 부호화 블록마다 움직임 벡터 MV에 따른 영역의 화소 데이터가 판독되고, 보간 필터(353e)에 공급되어 보간 연산되고, 보간 후의 예측 블록이 생성된다(도 4의 (c) 참조). 그리고, 가산기(353f)에 있어서, 데이터 D(n)에, 보간 필터(353e)에서 생성된 보간 후의 예측 블록이 가산되고(도 4의 (d) 참조), 다운스케일링된 현재 프레임의 화상 데이터 Vd(n)이 얻어진다.
여기서, 부호화 화상 데이터 Ve에 부가되어 있는 움직임 벡터 MV의 화소 정밀도를 P로 한다. 공간 주파수 역변환부(353c)에서, 예를 들어 1/2로 축소 디코드하면, 화소 정밀도는 오리지널 정밀도 P에 비하여, 1/2이 되어 정밀도는 거칠어진다. 오리지널 움직임 벡터 MV의 화소 정밀도 P로 움직임 보상을 시키기 위해서는, 프레임 버퍼(353d)의 화상 데이터를, P의 정밀도에 적합하게 보간할 필요가 있다.
예를 들어, 오리지널 움직임 벡터 MV가 1/4 픽셀 정밀도로 인코드되는 경우, 축소 디코드되어 프레임 버퍼(353d)에 기억된 화상 데이터를 움직임 보상할 때의 정밀도는, 그 화상 데이터의 화소 정밀도가 1/2로 축소되어 있으므로, 오리지널 움직임 벡터 MV의 정밀도로 움직임 보상을 시키기 위해서는, 프레임 버퍼(353d)의 화상 데이터를, 1/(1/4*1/2)로 보간할 필요가 있다.
그로 인해, 움직임 벡터 MV의 정밀도에 제한을 두지 않는 경우에는, 보간 필터 연산의 대상이 되는 예측 화소 범위가 크고, 보간 필터의 탭 수가 많아져서 연산 부하가 커진다. 이에 반하여, 움직임 벡터 MV의 정밀도에 제한을 두는 경우에는, 보간 필터 연산의 대상이 되는 예측 화소 범위가 작고, 보간 필터의 탭 수가 적어져서 연산 부하가 작아진다.
도 5는, 움직임 벡터 MV의 정밀도에 제한을 두지 않는 경우, 예를 들어, 움직임 벡터 MV1의 정밀도가 1/4 픽셀(quarter pixel) 정밀도인 경우를 나타내고 있다. 이 경우, 서로 인접하는 예측 화소끼리로부터 보간 화소를 구하는 데 있어서, MV1의 정밀도를 커버할 정도의 페이즈 수에 대응하는 필터 연산이 필요해진다. 저역 통과 필터에 의한 보간 연산을 행할 때, 일정 이상의 통과 영역을 확보하고, 차단 주파수 부근을 급준하게 하기 위해서는, 보간 필터의 필터 탭 수는 많아지고, 그에 수반되어 대상이 되는 예측 화소수가 많아진다.
도 6은, 움직임 벡터 MV의 정밀도에 제한을 두는 경우, 예를 들어, 움직임 벡터 MV2의 정밀도가 1/2 픽셀(half pixel) 정밀도인 경우를 나타내고 있다. 이 경우, 서로 인접하는 예측 화소끼리로부터 보간 화소를 구하는 데 있어서, MV2의 정밀도를 커버할 정도의 페이즈 수에 대응하는 필터 연산이 필요해진다. MV2의 정밀도는 MV1의 정밀도보다도 거칠기 때문에, 페이즈 수는 적어진다. 이 경우, 전술한 제한을 두지 않는 경우에 비하여, 동등한 통과를 확보하는 데 있어서, 보간 필터의 탭 수는 적어도 되며, 대상이 되는 예측 화소수도 적어도 된다.
이러한 점에서, 본 실시 형태에서는, 송신측에 있어서, 움직임 벡터 MV는, 적절히, 전술한 움직임 벡터 MV2와 같이 정밀도 제한을 두고 인코드하는 일이 행해진다. 그 경우, 본 실시 형태에 있어서는, 움직임 벡터 MV의 정밀도 제한의 정보가, 비디오 스트림에 보조 정보로서 삽입된다. 수신기(200)는, 공간적인 해상도의 다운스케일링 처리를 행할 때, 이 보조 정보로부터 움직임 벡터 MV의 정밀도 제한을 인식하여 그 정밀도 제한에 맞는 보간 처리를 행할 수 있어, 처리 부하의 경감을 도모할 수 있다.
다음으로, 시간적인 해상도의 다운스케일링 처리를 설명한다. 예를 들어, 수신 화상 데이터가, 도 7의 (a)에 도시한 바와 같은, 120fps의 화상 데이터인 경우를 고려한다. 비디오 스트림에 보조 정보로서, 하프 픽처 레이트 플래그(Half picture rate flag)와, 쿼터 픽처 레이트 플래그(Quarter picture rate flag)가 삽입되어 있다.
하프 픽처 레이트 플래그는, 1 픽처(프레임) 건너뛰어 "1"로 된다. 즉, 이 하프 픽처 레이트 플래그에 의해, 시간 해상도를 1/2로 다운스케일링할 때 선택할 픽처를 식별할 수 있다. 또한, 쿼터 픽처 레이트 플래그는, 2 픽처(프레임) 건너뛰어 "1"로 된다. 즉, 쿼터 픽처 레이트 플래그에 의해, 시간 해상도를 1/4로 다운스케일링할 때 선택할 픽처를 식별할 수 있다.
예를 들어, 표시 능력이 60fps인 수신기(200)에 있어서는, 하프 픽처 레이트 플래그에 기초하여, 도 7의 (b)에 도시한 바와 같이, 1개 건너뛴 픽처만이 취출되어 디코드되고, 60fps의 화상 데이터를 얻는 일이 행해진다. 또한, 예를 들어, 표시 능력이 30fps인 수신기(200)에 있어서는, 쿼터 픽처 레이트 플래그에 기초하여, 도 7의 (c)에 도시한 바와 같이, 3개 건너뛴 픽처만이 취출되어 디코드되고, 30fps의 화상 데이터를 얻는 일이 행해진다.
「송신 데이터 생성부의 구성예」
도 8은, 방송국(100)에 있어서, 전술한 트랜스포트 스트림 TS를 생성하는 송신 데이터 생성부(110)의 구성예를 나타내고 있다. 이 송신 데이터 생성부(110)는 화상 데이터 출력부(111)와, 비디오 인코더(112)와, 음성 데이터 출력부(115)와, 오디오 인코더(116)와, 멀티플렉서(117)를 갖고 있다.
화상 데이터 출력부(111)는, 다양한 화상 서비스에 대응한 화상 데이터를 출력한다. 화상 서비스로서는, 유효 화소수가 1920×1080인 HD 화상 서비스, 유효 화소수가 수평, 수직으로 각각 2배, 4배인 4K, 8K 등의 공간적인 초고해상도 화상의 서비스(초고화질 서비스) 등이 있다. 또한, 화상 서비스로서는, 예를 들어, 프레임 주파수가 30㎐인 화상 서비스, 프레임 주파수가 60㎐, 120㎐ 등의 시간적인 초고해상도 화상의 서비스(초고화질 서비스) 등이 있다. 이 화상 데이터 출력부(111)는 예를 들어, 피사체를 촬상하여 화상 데이터를 출력하는 카메라, 혹은 기억 매체로부터 화상 데이터를 판독하여 출력하는 화상 데이터 판독부 등에 의해 구성된다.
비디오 인코더(112)는, 화상 데이터 출력부(111)로부터 출력되는 화상 데이터에 대하여 예를 들어, MPEG4-AVC(MVC), MPEG2video, 혹은 HEVC 등의 부호화를 실시하여 부호화 화상 데이터를 얻는다. 또한, 이 비디오 인코더(112)는, 다음 단계에 구비하는 스트림 포매터(도시생략)에 의해, 이 부호화 화상 데이터를 포함하는 비디오 스트림(비디오 엘리멘터리 스트림)을 생성한다.
이 경우, 예를 들어, 초고화질 서비스의 화상 데이터에 관해서는, 후방 호환성(backward compatible)을 보증하기 위해 스케일러블 부호화되는 경우도 있지만, 스케일러블 부호화되지 않는 경우도 있다. 스케일러블 부호화되지 않는 경우, 비디오 인코더(112)는, 이 초고화질 서비스에 대응하지 않는 수신기의 편의를 위해, 공간적 및/또는 시간적인 해상도의 다운스케일링을 위한 보조 정보를, 비디오 스트림에 삽입한다.
음성 데이터 출력부(115)는, 화상 데이터에 대응한 음성 데이터를 출력한다. 이 음성 데이터 출력부(115)는 예를 들어, 마이크로폰, 혹은 기억 매체로부터 음성 데이터를 판독하여 출력하는 음성 데이터 판독부 등에 의해 구성된다. 오디오 인코더(116)는, 음성 데이터 출력부(115)로부터 출력되는 음성 데이터에 대하여 MPEG-2 Audio, AAC 등의 부호화를 실시하고, 오디오 스트림(오디오 엘리멘터리 스트림)을 생성한다.
멀티플렉서(117)는, 비디오 인코더(112), 그래픽스 인코더(114) 및 오디오 인코더(116)에서 생성된 각 엘리멘터리 스트림을 패킷화하여 다중하고, 트랜스포트 스트림 TS를 생성한다. 이 경우, 각각의 PES(Packetized Elementary Stream)의 헤더에는, 수신측에 있어서의 동기 재생을 위해서, PTS(Presentation Time Stamp)가 삽입된다.
멀티플렉서(117)는, 초고화질 서비스의 화상 데이터를 스케일러블 부호화하지 않고 송신하는 경우, 트랜스포트 스트림 TS의 레이어에, 공간적 및/또는 시간적으로 가능한 비율의 해상도의 다운스케일링을 나타내는 다운스케일링 정보를 삽입한다. 예를 들어, 이 다운스케일링 정보는, 트랜스포트 스트림 TS에 포함되는 프로그램 맵 테이블(PMT: Program Map Table)의 비디오 엘리멘터리 루프(Video ES loop)의 관리하에 삽입된다.
또한, 멀티플렉서(117)는, 트랜스포트 스트림 TS의 레이어에, 비디오 스트림에 의한 초고화질 서비스를 적어도 프로그램 단위로 식별할 수 있도록 식별 정보를 삽입한다. 예를 들어, 본 실시 형태에 있어서, 멀티플렉서(117)는 트랜스포트 스트림 TS의 레이어에, 비디오 스트림에 포함되는 화상 데이터의 공간적 및/또는 시간적인 해상도 정보를 삽입한다. 예를 들어, 이 해상도 정보는, 트랜스포트 스트림 TS에 포함되는 이벤트 인포메이션 테이블(EIT: Event Information Table)의 관리하에 삽입된다.
도 8에 도시한 송신 데이터 생성부(110)의 동작을 간단히 설명한다. 화상 데이터 출력부(111)로부터 출력되는 다양한 화상 서비스에 대응한 화상 데이터는, 비디오 인코더(112)에 공급된다. 이 비디오 인코더(112)에서는, 그 화상 데이터에 대하여 예를 들어, MPEG4-AVC(MVC), MPEG2video, 혹은 HEVC 등의 부호화가 실시되고, 부호화 화상 데이터를 포함하는 비디오 스트림(비디오 엘리멘터리 스트림)이 생성된다. 이 비디오 스트림은, 멀티플렉서(117)에 공급된다.
이 경우, 예를 들어, 초고화질 서비스의 화상 데이터에 관해서는, 후방 호환성(backward compatible)을 보증하기 위해 스케일러블 부호화되는 경우도 있지만, 스케일러블 부호화되지 않는 경우도 있다. 스케일러블 부호화되지 않는 경우, 비디오 인코더(112)에서는, 이 초고화질 서비스에 대응하지 않는 수신기의 편의를 위해, 공간적 및/또는 시간적인 해상도의 다운스케일링을 위한 보조 정보를, 비디오 스트림에 삽입하는 일이 행해진다.
음성 데이터 출력부(115)로부터 출력되는 화상 데이터에 대응한 음성 데이터는, 오디오 인코더(116)에 공급된다. 이 오디오 인코더(116)에서는, 그 음성 데이터에 대하여 MPEG-2 Audio, AAC 등의 부호화가 실시되고, 오디오 스트림(오디오 엘리멘터리 스트림)이 생성된다. 이 오디오 스트림은, 멀티플렉서(117)에 공급된다.
멀티플렉서(117)에서는, 각 인코더로부터 공급되는 엘리멘터리 스트림이 패킷화되어 다중되고, 트랜스포트 스트림 TS가 생성된다. 이 경우, 각각의 PES 헤더에는, 수신측에 있어서의 동기 재생을 위해서, PTS가 삽입된다. 또한, 멀티플렉서(117)에서는, PMT의 비디오 엘리멘터리 루프(Video ES loop)의 관리하에, 공간적 및/또는 시간적으로 가능한 비율의 해상도 다운스케일링을 나타내는 다운스케일링 정보가 삽입된다. 또한, 멀티플렉서(117)에서는, EIT의 관리하에, 비디오 스트림에 포함되는 화상 데이터의 공간적 및/또는 시간적인 해상도 정보가 삽입된다.
[보조 정보, 식별 정보, 해상도 정보의 구조와 TS 구성]
전술한 바와 같이, 비디오 스트림에, 화상 데이터의 공간적 및/또는 시간적인 해상도의 다운스케일링을 위한 보조 정보가 삽입된다. 예를 들어, 부호화 방식이 MPEG4-AVC인 경우, 또는, HEVC와 같은, NAL 패킷 등의 부호화 구조가 서로 비슷한 부호화 방식인 경우, 이 보조 정보는, 액세스 유닛(AU)의 "SEIs"의 부분에, SEI 메시지로서 삽입된다.
이 경우, 보조 정보로서의 움직임 벡터 MV의 정밀도 제한을 나타내는 정보는, SEI 메시지(downscaling_spatial SEI message)로서 삽입된다. 또한, 보조 정보로서의 시간 해상도를 소정의 비율로 다운스케일링할 때 선택할 픽처를 나타내는 정보는, SEI 메시지(picture_temporal_pickup SEI message)로서 삽입된다. 도 9의 (a)는, GOP(Group Of Pictures)의 선두의 액세스 유닛을 나타내고 있으며, 도 9의 (b)는, GOP의 선두 이외의 액세스 유닛을 나타내고 있다. SEI 메시지는, 화소 데이터가 부호화되어 있는 슬라이스(slices)보다도 비트 스트림 상, 빠른 위치에 부호화되므로, 수신기는 SEI의 내용을 식별함으로써, 그 이하의 디코드 처리를 결정하는 것이 가능해진다.
도 10의 (a)는, 「downscaling_spatial SEI message」의 구조예(Syntax)를 나타내고 있다. 「uuid_iso_iec_11578」은, "ISO/IEC 11578: 1996 AnnexA."로 나타내는 UUID값을 갖는다. 「user_data_payload_byte」의 필드에, 「userdata_for_downscaling_spatial()」이 삽입된다. 도 10의 (b)는 「userdata_for_downscaling_spatial()」의 구조예(Syntax)를 나타내고 있다. 이 중에, 「constrained_to_half_pixel_MV_flag」의 플래그와, 「constrained_to_integer_pixel_MV_flag」의 플래그가 포함되어 있다. 「userdata_id」는, 부호없음 16비트로 나타나는 식별자이다.
「constrained_to_half_pixel_MV_flag」의 플래그는, 도 11에 도시한 바와 같이, "1"일 때, 움직임 벡터 MV의 정밀도가 1/2 픽셀 정밀도로 제한되어 있음을 나타낸다. 또한, 「constrained_to_integer_pixel_MV_flag」의 플래그는, 도 11에 도시한 바와 같이, "1"일 때, 움직임 벡터 MV의 정밀도가 정수 픽셀 정밀도로 제한되어 있음을 나타낸다.
도 12의 (a)는, 「picture_temporal_pickup SEI message」의 구조예(Syntax)를 나타내고 있다. 「uuid_iso_iec_11578」은, "ISO/IEC 11578: 1996 AnnexA."로 나타내는 UUID값을 갖는다. 「user_data_payload_byte」의 필드에, 「userdata_for_picture_temporal()」이 삽입된다. 도 12의 (b)는 「userdata_for_picture_temporal()」의 구조예(Syntax)를 나타내고 있다. 이 중에, 「half picture rate flag」의 플래그와, 「quarter picture rate flag」의 플래그가 포함되어 있다. 「userdata_id」는, 부호없음 16비트로 나타내는 식별자이다.
「half picture rate flag」의 플래그는, 도 13에 도시한 바와 같이, "1"일 때, 시간 해상도가 1/2인 표시 능력을 갖는 디코더로 취출하여 디코드할 픽처임을 나타낸다. 또한, 「quarter picture rate flag」의 플래그는, 도 13에 도시한 바와 같이, "1"일 때, 시간 해상도가 1/4인 표시 능력을 갖는 디코더로 취출하여 디코딩할 픽처임을 나타낸다.
또한, 전술한 바와 같이, 예를 들어, 트랜스포트 스트림 TS의 프로그램 맵 테이블(PMT)의 비디오 엘리멘터리 루프(Video ES loop)의 관리하에, 비디오 스트림에, 전술한 화상 데이터의 공간적 및/또는 시간적인 해상도의 다운스케일링을 위한 보조 정보가 삽입되어 있음을 나타내는 식별 정보가 삽입된다.
도 14는, 이 식별 정보로서의 다운스케일링 디스크립터(downscaling_descriptor)의 구조예(Syntax)를 나타내고 있다. 또한, 도 15는, 이 다운스케일링 디스크립터(downscaling_descriptor)의 변형 구조예(Syntax)를 나타내고 있다. 도 16은, 그들 구조예에 있어서의 주요한 정보의 내용(Semantics)을 나타내고 있다.
「downscaling_descriptor_tag」의 8비트 필드는, 디스크립터 타입을 나타내며, 여기에서는, 다운스케일링 디스크립터임을 나타낸다. 「downscaling_descriptor_length」의 8비트 필드는, 디스크립터의 길이(사이즈)를 나타내며, 디스크립터의 길이로서 이후의 바이트 수를 나타낸다.
「downscaling_type」의 2비트 필드는, 다운스케일링 타입을 나타낸다. 예를 들어, "01"은, 시간적인 해상도의 다운스케일링을 나타내고, "10"은 공간적인 해상도의 다운스케일링을 나타내며, "11"은 시간적 및 공간적인 해상도의 다운스케일링을 나타낸다.
「downscaling_type」이 "01", "11"일 때, 「temporal_downscaling_factor」의 2비트 필드가 유효한 것으로 된다. 이 2비트 필드는, 시간적인 해상도의 다운스케일링에서 가능한 비율(다운스케일)을 나타낸다. 예를 들어, "00"은 다운스케일링이 불가능함을 나타낸다. 또한, "01"은 1/2 비율의 다운스케일링이 가능함을 나타낸다. "10"은 1/4 비율의 다운스케일링이 가능함을 나타내지만, 아울러 1/2 비율의 다운스케일링도 가능함을 나타낸다. 또한, 「temporal_downscaling_factor」가 "01", "10"인 것은, 비디오 스트림에 시간적인 해상도의 다운스케일링을 위한 보조 정보가 삽입되어 있음도 나타낸다.
또한, 「downscaling_type」이 "10", "11"일 때, 「spatial_downscaling_factor」의 2비트 필드가 유효한 것으로 된다. 이 2비트 필드는, 공간적인 해상도의 다운스케일링에서 가능한 비율(다운스케일)을 나타낸다. 예를 들어, "00"은 다운스케일링이 불가능함을 나타낸다. 또한, "01"은 수평, 수직으로 1/2 비율의 다운스케일링이 가능함을 나타낸다. "10"은 수평, 수직으로 1/4 비율의 다운스케일링이 가능함을 나타내지만, 아울러 1/2의 비율 다운스케일링도 가능함을 나타낸다. 또한, 「spatial_downscaling_factor」가 "01", "10"인 것은, 비디오 스트림에 공간적인 해상도의 다운스케일링을 위한 보조 정보가 삽입되어 있음도 나타낸다.
「spatial resolution class type」의 3비트 필드는, 송신 화상 데이터의 공간적인 해상도의 클래스 타입을 나타낸다. 예를 들어, "001"은, 1920×1080, 즉 HD 해상도임을 나타낸다. 또한, 예를 들어, "010"은, 3840×2160, 즉 4K 해상도임을 나타낸다. 또한, 예를 들어, "011"은, 7680×4320, 즉 8K 해상도임을 나타낸다.
「temporal resolution class type」의 3비트 필드는, 송신 화상 데이터의 시간적인 해상도의 클래스 타입을 나타낸다. 예를 들어, "001"은, 24㎐, 25㎐, 29.97㎐, 30㎐ 등을 나타내고, "010"은 50㎐, 59.94㎐, 60㎐ 등을 나타내고, "011"은 100㎐, 120㎐ 등을 나타내고, "100"은 200㎐, 240㎐ 등을 나타낸다.
또한, 전술한 바와 같이, 예를 들어, 트랜스포트 스트림 TS의 이벤트 인포메이션 테이블(EIT)의 관리하에, 비디오 스트림에 포함되는 화상 데이터의 공간적 및/또는 시간적인 해상도 정보가 삽입된다. 도 17은, 이 해상도 정보로서의 수퍼 하이 레졸루션 디스크립터(Super High resolution descriptor)의 구조예(Syntax)를 나타내고 있다. 또한, 도 18은, 그 구조예에 있어서의 주요한 정보의 내용(Semantics)을 나타내고 있다.
「Spatial resolution class type」의 3비트 필드는, 송신 화상 데이터의 공간적인 해상도의 클래스 타입을 나타낸다. 예를 들어, "001"은, 1920×1080, 즉 HD 해상도임을 나타낸다. 또한, 예를 들어, "010"은, 3840×2160, 즉 4K 해상도임을 나타낸다. 또한, 예를 들어, "011"은, 7680×4320, 즉 8K 해상도임을 나타낸다.
「Temporal resolution class type」의 3비트 필드는, 송신 화상 데이터의 시간적인 해상도의 클래스 타입을 나타낸다. 예를 들어, "001"은, 24㎐, 25㎐, 29.97㎐, 30㎐ 등을 나타내고, "010"은 50㎐, 59.94㎐, 60㎐ 등을 나타내고, "011"은 100㎐, 120㎐ 등을 나타내며, "100"은 200㎐, 240㎐ 등을 나타낸다.
「Backward_compatible_type」의 2비트 필드는, 송신 화상 데이터에 관하여, 후방 호환성(Backward compatible)이 보증되어 있는지 여부를 나타낸다. 예를 들어, "00"은 후방 호환성이 보증되어 있지 않음을 나타낸다. "01"은 공간적인 해상도에 대한 후방 호환성이 보증되어 있음을 나타낸다. 이 경우, 송신 화상 데이터는, 예를 들어, 공간적인 해상도에 관하여 스케일러블 부호화가 되어 있다. "10"은 시간적인 해상도에 대한 후방 호환성이 보증되어 있음을 나타낸다. 이 경우, 송신 화상 데이터는, 예를 들어, 시간적인 해상도에 관하여 스케일러블 부호화가 되어 있다.
「lower_capable_decoder_support_flag」의 플래그 정보는, 송신 화상 데이터의 공간적 및/또는 시간적인 해상도에 대응하지 않는 저능력 디코더를 위한 서포트가 되어 있는지 여부를 나타낸다. 예를 들어, "0"은 서포트되어 있지 않음을 나타낸다. "1"은 서포트되어 있음을 나타낸다. 예를 들어, 전술한 바와 같이, 비디오 스트림에 화상 데이터의 공간적 및/또는 시간적인 해상도의 다운스케일링을 위한 보조 정보가 삽입되는 경우에는, 이 플래그 정보는 "1"로 된다.
도 19는, 트랜스포트 스트림 TS의 구성예를 나타내고 있다. 트랜스포트 스트림 TS에는, 비디오 엘리멘터리 스트림의 PES 패킷 「PID1: video PES1」과, 오디오 엘리멘터리 스트림의 PES 패킷 「PID2: Audio PES1」이 포함되어 있다. 이 비디오 엘리멘터리 스트림에, 화상 데이터의 공간적 및/또는 시간적인 해상도의 다운스케일링을 위한 보조 정보가 SEI 메시지로서 삽입되어 있다.
이 경우, 보조 정보로서의 움직임 벡터 MV의 정밀도 제한을 나타내는 정보는, SEI 메시지(downscaling_spatial SEI message)(도 10 참조)로서 삽입된다. 또한, 보조 정보로서의 시간 해상도를 소정의 비율로 다운스케일링할 때 선택할 픽처를 나타내는 정보는, SEI 메시지(picture_temporal_pickup SEI message)(도 12 참조)로서 삽입된다.
또한, 트랜스포트 스트림 TS에는, PSI(Program Specific Information)로서, PMT(Program Map Table)가 포함되어 있다. 이 PSI는, 트랜스포트 스트림에 포함되는 각 엘리멘터리 스트림이 어느 프로그램에 속해 있는지를 기재한 정보이다. 또한, 트랜스포트 스트림 TS에는, 이벤트(프로그램) 단위의 관리를 행하는 SI(Serviced Information)로서의 EIT(Event Information Table)가 포함되어 있다.
PMT에는, 각 엘리멘터리 스트림에 관련된 정보를 갖는 엘리멘터리 루프가 존재한다. 이 구성예에서는, 비디오 엘리멘터리 루프(Video ES loop)가 존재한다. 이 비디오 엘리멘터리 루프에는, 전술한 1개의 비디오 엘리멘터리 스트림에 대응하여 스트림 타입, 패킷 식별자(PID) 등의 정보가 배치됨과 함께, 그 비디오 엘리멘터리 스트림에 관련된 정보를 기술하는 디스크립터도 배치된다.
이 PMT의 비디오 엘리멘터리 루프(Video ES loop)의 관리하에, 다운스케일링 디스크립터(downscaling_descriptor)(도 14 참조)가 삽입되어 있다. 이 디스크립터는, 전술한 바와 같이, 비디오 스트림에 화상 데이터의 공간적 및/또는 시간적인 해상도의 다운스케일링을 위한 보조 정보가 삽입되어 있음을 나타내는 것이다.
또한, EIT의 관리하에, 수퍼 하이 레졸루션 디스크립터(Super High resolution descriptor)(도 17 참조). 이 디스크립터는, 전술한 바와 같이, 비디오 스트림에 의한 초고화질 서비스를 적어도 프로그램 단위로 식별하기 위한 식별 정보를 구성하고 있다. 구체적으로는, 이 디스크립터는, 송신 화상 데이터의 공간적 및/또는 시간적인 해상도 정보가 포함되어 있다.
「수신기의 구성예」
도 20은, 수신기(200)의 구성예를 나타내고 있다. 이 수신기(200)는 CPU(201)와, 플래시 ROM(202)과, DRAM(203)과, 내부 버스(204)와, 리모트 컨트롤 수신부(205: RC 수신부)와, 리모트 컨트롤 송신기(206: RC 송신기)를 갖고 있다.
또한, 이 수신기(200)는 안테나 단자(211)와, 디지털 튜너(212)와, 트랜스포트 스트림 버퍼(213: TS 버퍼)와, 디멀티플렉서(214)를 갖고 있다. 또한, 이 수신기(200)는 코디드 버퍼(215)와, 비디오 디코더(216)와, 디코디드 버퍼(217)와, 비디오 RAM(218)과, 코디드 버퍼(241)와, 오디오 디코더(242)와, 채널 믹싱부(243)를 갖고 있다.
CPU(201)는, 수신기(200)의 각부 동작을 제어한다. 플래시 ROM(202)은, 제어 소프트웨어의 저장 및 데이터의 보관을 행한다. DRAM(203)은, CPU(201)의 워크에리어를 구성한다. CPU(201)는, 플래시 ROM(202)으로부터 판독한 소프트웨어나 데이터를 DRAM(203) 위에 전개하여 소프트웨어를 기동시켜 수신기(200)의 각부를 제어한다. RC 수신부(205)는 RC 송신기(206)로부터 송신된 리모트 컨트롤 신호(리모콘 코드)를 수신하고, CPU(201)에 공급한다. CPU(201)는, 이 리모콘 코드에 기초하여, 수신기(200)의 각부를 제어한다. CPU(201), 플래시 ROM(202) 및 DRAM(203)은, 내부 버스(204)에 의해 서로 접속되어 있다.
안테나 단자(211)는 수신 안테나(도시생략)에 의해 수신된 텔레비전 방송 신호를 입력하는 단자이다. 디지털 튜너(212)는 안테나 단자(211)에 입력된 텔레비전 방송 신호를 처리하여, 유저의 선택 채널에 대응한 소정의 트랜스포트 스트림 TS를 출력한다. 트랜스포트 스트림 버퍼(213: TS 버퍼)는, 디지털 튜너(212)로부터 출력된 트랜스포트 스트림 TS를 일시적으로 축적한다. 이 트랜스포트 스트림 TS에는, 비디오 엘리멘터리 스트림과, 오디오 엘리멘터리 스트림이 포함되어 있다.
디멀티플렉서(214)는, TS 버퍼(213)에 일시적으로 축적된 트랜스포트 스트림 TS로부터, 비디오 및 오디오의 각 스트림(엘리멘터리 스트림)을 추출한다. 또한, 디멀티플렉서(214)는, 이 트랜스포트 스트림 TS로부터, 전술한 다운스케일링 디스크립터(downscaling_descriptor)와, 수퍼 하이 레졸루션 디스크립터(Super High resolution descriptor)를 추출하고, CPU(201)로 보낸다.
CPU(201)는, 수퍼 하이 레졸루션 디스크립터로부터, 수신 화상 데이터의 공간적 및 시간적인 해상도 정보, 또한 수신 화상 데이터에 후방 호환성(Backward Compatible)이 있는지 여부의 정보, 수신 화상 데이터에 저능력 디코더를 위한 서포트가 되어 있는지 여부의 정보 등을 파악할 수 있다. 또한, CPU(201)는, 다운스케일링 디스크립터로부터, 비디오 스트림에 공간적 및/또는 시간적인 해상도의 다운스케일링 처리를 위한 보조 정보가 삽입되어 있는지 여부의 정보, 또한, 공간적 및/또는 시간적인 해상도의 다운스케일링에 있어서 가능한 비율의 정보 등을 파악할 수 있다.
CPU(201)는, 이들 파악 정보에 기초하여, 수신기(200)에 있어서의 디코드 등의 처리를 제어한다. 예를 들어, 자신의 표시 능력을 대응할 수 없는 초고화질 서비스의 화상 데이터가 수신되어 있는 경우에, 그것이 스케일러블 부호화되어 있지 않을 때, CPU(201)는, 비디오 스트림에 삽입되어 있는 보조 정보에 기초하여, 공간적 및/또는 시간적인 해상도의 다운스케일링 처리를 행하게 하고, 원하는 해상도의 표시 화상 데이터가 얻어지도록 제어한다.
코디드 버퍼(215)는, 디멀티플렉서(214)에서 추출되는 비디오 엘리멘터리 스트림을 일시적으로 축적한다. 비디오 디코더(216)는 CPU(201)의 제어하에 코디드 버퍼(215)에 기억되어 있는 비디오 스트림에 대하여 디코드 처리를 행하여 표시 화상 데이터를 얻는다. 또한, 수신 화상 데이터의 내용에 따라서는, 공간적 및/또는 시간적인 해상도의 다운스케일링 처리도 불가능하며, 자신의 표시 능력에 있던 해상도의 표시 화상 데이터를 얻을 수 없는 경우도 있다.
또한, 비디오 디코더(216)는, 비디오 스트림에 삽입되어 있는 SEI 메시지를 추출하고, CPU(201)로 보낸다. 이 SEI 메시지에는, 「downscaling_spatial SEI message」, 「picture_temporal_pickup SEI message」도 포함된다. CPU(201)는, 비디오 디코더(216)에서 공간적 및/또는 시간적인 해상도의 다운스케일링 처리가 행해지는 경우에는, 이 SEI 메시지에 포함되는 보조 정보에 기초하여 처리를 행하게 한다.
즉, 공간적인 해상도의 다운스케일링 처리를 행하게 하는 경우에는, 「downscaling_spatial SEI message」의 SEI 메시지에 포함되는 움직임 벡터 MV의 정밀도 제한 정보에 기초하여 다운스케일링 처리를 행하게 하여, 처리 부하를 경감시킨다. 한편, 시간적인 해상도의 다운스케일링 처리를 행하게 하는 경우에는, 「picture_temporal_pickup SEI message」의 SEI 메시지에 포함되는 비율에 따른 선택 픽처 정보에 기초하여 다운스케일링 처리를 행하게 하여, 처리 부하를 경감시킨다.
디코디드 버퍼(217)는, 비디오 디코더(216)에서 얻어진 표시 화상 데이터를 일시적으로 축적한다. 비디오 RAM(218)은, 디코디드 버퍼(217)에 기억되어 있는 표시 화상 데이터를 불러와 적절한 타이밍에 디스플레이로 출력한다.
코디드 버퍼(241)는, 디멀티플렉서(214)에서 추출되는 오디오 스트림을 일시적으로 축적한다. 오디오 디코더(242)는, 코디드 버퍼(241)에 기억되어 있는 오디오 스트림의 복호화 처리를 행하여 복호화된 음성 데이터를 얻는다. 채널 믹싱부(243)는, 오디오 디코더(242)에서 얻어지는 음성 데이터에 대하여, 예를 들어 5.1ch 서라운드 등을 실현하기 위한 각 채널의 음성 데이터를 얻어 스피커에 공급한다.
수신기(200)의 동작을 설명한다. 안테나 단자(211)에 입력된 텔레비전 방송 신호는 디지털 튜너(212)에 공급된다. 이 디지털 튜너(212)에서는, 텔레비전 방송 신호가 처리되어 유저의 선택 채널에 대응한 소정의 트랜스포트 스트림 TS가 출력된다. 이 트랜스포트 스트림 TS는, TS 버퍼(213)에 일시적으로 축적된다. 이 트랜스포트 스트림 TS에는, 비디오 엘리멘터리 스트림과, 오디오 엘리멘터리 스트림이 포함되어 있다.
디멀티플렉서(214)에서는, TS 버퍼(213)에 일시적으로 축적된 트랜스포트 스트림 TS로부터, 비디오 및 오디오의 각 스트림(엘리멘터리 스트림)이 추출된다. 또한, 디멀티플렉서(214)에서는, 이 트랜스포트 스트림 TS로부터, 다운스케일링 디스크립터(downscaling_descriptor)와, 수퍼 하이 레졸루션 디스크립터(Super High resolution descriptor)가 추출되고, CPU(201)로 보내진다. CPU(201)에서는, 이들 디스크립터에 포함되는 정보에 기초하여, 수신기(200)에 있어서의 디코드 등의 처리를 제어하는 일이 행해진다.
디멀티플렉서(214)에서 추출되는 비디오 스트림은, 코디드 버퍼(215)에 공급되어 일시적으로 축적된다. 비디오 디코더(216)에서는, CPU(201)의 제어하에 코디드 버퍼(215)에 기억되어 있는 비디오 스트림에 대하여 디코드 처리가 행해지고, 자신의 표시 능력에 맞는 표시 화상 데이터가 얻어진다.
이 경우, 비디오 디코더(216)에서는, 기본 비디오 스트림에 삽입되어 있는 「downscaling_spatial SEI message」, 「picture_temporal_pickup SEI message」 등도 포함하는 SEI 메시지가 추출되고, CPU(201)로 보내진다. CPU(201)에서는, 비디오 디코더(216)에서 공간적 및/또는 시간적인 해상도의 다운스케일링 처리가 행해지는 경우에는, 이 SEI 메시지에 포함되는 보조 정보에 기초하여 처리를 행하게 한다.
비디오 디코더(216)에서 얻어진 표시 화상 데이터는 디코디드 버퍼(217)에 일시적으로 축적된다. 그 후, 비디오 RAM(218)에서는, 적절한 타이밍에 디코디드 버퍼(217)에 기억되어 있는 표시 화상 데이터가 불러와져서 디스플레이로 출력된다. 이에 의해, 디스플레이에 화상 표시가 행해진다.
또한, 디멀티플렉서(214)에서 추출되는 오디오 스트림은, 코디드 버퍼(241)에 공급되어 일시적으로 축적된다. 오디오 디코더(242)에서는, 코디드 버퍼(241)에 기억되어 있는 오디오 스트림의 복호화 처리가 행해져서 복호화된 음성 데이터가 얻어진다. 이 음성 데이터는 채널 믹싱부(243)에 공급된다. 채널 믹싱부(243)에서는, 음성 데이터에 대하여 예를 들어 5.1ch 서라운드 등을 실현하기 위한 각 채널의 음성 데이터가 생성된다. 이 음성 데이터는 예를 들어 스피커에 공급되고, 화상 표시에 맞춘 음성 출력이 이루어진다.
전술한 바와 같이, 도 1에 도시한 화상 송수신 시스템(10)에 있어서는, 비디오 스트림에, 화상 데이터의 공간적 및/또는 시간적인 해상도의 다운스케일링을 위한 보조 정보가 삽입되어 송신되는 것이다. 그로 인해, 초고화질 서비스의 화상 데이터가 스케일러블 부호화되지 않고 송신되는 경우, 이 초고화질 서비스에 대응하지 않는 수신기(200)에 있어서, 자신의 표시 능력에 맞는 해상도의 화상 데이터의 취득을 용이하게 행할 수 있다.
<2. 변형예>
또한, 전술한 실시 형태에 있어서는, 컨테이너가 트랜스포트 스트림(MPEG-2 TS)인 예를 나타내었다. 그러나, 본 발명은, 인터넷 등의 네트워크를 이용하여 수신 단말기에 배신되는 구성의 시스템에도 마찬가지로 적용할 수 있다. 인터넷의 배신에서는, MP4나 그 이외의 포맷의 컨테이너에 의해 배신되는 경우가 많다. 즉, 컨테이너로서는, 디지털 방송 규격으로 채용되어 있는 트랜스포트 스트림(MPEG-2 TS), 인터넷 배신에서 사용되고 있는 MP4 등의 다양한 포맷의 컨테이너가 해당된다.
또한, 본 발명은, 이하와 같은 구성을 취할 수도 있다.
[1] 부호화 화상 데이터를 포함하는 비디오 스트림을 갖는 소정 포맷의 컨테이너를 송신하는 송신부와,
상기 비디오 스트림에, 상기 화상 데이터의 공간적 및/또는 시간적인 해상도의 다운스케일링을 위한 보조 정보를 삽입하는 보조 정보 삽입부
를 구비하는 송신 장치.
[2] 상기 보조 정보는, 상기 부호화 화상 데이터에 포함되는 움직임 벡터의 정밀도 제한을 나타내는 정보인, 상기 [1]에 기재된 송신 장치.
[3] 상기 보조 정보는, 시간 해상도를 소정의 비율로 다운스케일링할 때 선택할 픽처를 식별하는 정보인, 상기 [1] 또는 [2]에 기재된 송신 장치.
[4] 상기 컨테이너의 레이어에, 상기 보조 정보가 상기 비디오 스트림에 삽입되어 있음을 나타내는 식별 정보를 삽입하는 식별 정보 삽입부를 더 구비하는, 상기 [1] 내지 [3] 중 어느 하나에 기재된 송신 장치.
[5] 상기 식별 정보에는, 공간적 및/또는 시간적인 해상도의 다운스케일링에 있어서 가능한 비율을 나타내는 다운스케일링 정보가 부가되어 있는, 상기 [4]에 기재된 송신 장치.
[6] 상기 식별 정보에는, 상기 비디오 스트림에 포함되는 화상 데이터의 공간적 및/또는 시간적인 해상도 정보가 부가되어 있는, 상기 [4] 또는 [5]에 기재된 송신 장치.
[7] 상기 컨테이너는 트랜스포트 스트림이며,
상기 식별 정보 삽입부는, 상기 식별 정보를, 상기 트랜스포트 스트림에 포함되는 프로그램 맵 테이블의 비디오 엘리멘터리 루프의 관리하의 기술자에 삽입하는, 상기 [4] 내지 [6] 중 어느 하나에 기재된 송신 장치.
[8] 상기 컨테이너의 레이어에, 상기 비디오 스트림에 포함되는 화상 데이터의 공간적 및/또는 시간적인 해상도 정보를 삽입하는 해상도 정보 삽입부를 더 구비하는, 상기 [1] 내지 [7] 중 어느 하나에 기재된 송신 장치.
[9] 상기 해상도 정보에는,
상기 비디오 스트림에, 상기 화상 데이터의 공간적 및/또는 시간적인 해상도에 대응하지 않는 저능력 디코더를 위한 서포트가 되어 있는지 여부를 식별하는 식별 정보가 부가되어 있는, 상기 [8]에 기재된 송신 장치.
[10] 상기 컨테이너는 트랜스포트 스트림이며,
상기 해상도 정보 삽입부는, 상기 해상도 정보를, 상기 트랜스포트 스트림에 포함되는 이벤트 인포메이션 테이블의 관리하의 기술자에 삽입하는, 상기 [8] 또는 [9]에 기재된 송신 장치.
[11] 부호화 화상 데이터를 포함하는 비디오 스트림을 갖는 소정 포맷의 컨테이너를 송신하는 스텝과,
상기 비디오 스트림에, 상기 화상 데이터의 공간적 및/또는 시간적인 해상도의 다운스케일링을 위한 보조 정보를 삽입하는 스텝
을 구비하는 송신 방법.
[12] 부호화 화상 데이터를 포함하는 비디오 스트림을 갖는 소정 포맷의 컨테이너를 송신하는 송신부와,
상기 컨테이너의 레이어에, 상기 비디오 스트림에 의한 초고화질 서비스를 적어도 프로그램 단위로 식별할 수 있도록 식별 정보를 삽입하는 식별 정보 삽입부
를 구비하는 송신 장치.
[13] 상기 식별 정보에는, 상기 화상 데이터의 공간적 및/또는 시간적인 해상도 정보가 포함되는, 상기 [12]에 기재된 송신 장치.
[14] 상기 식별 정보에는,
상기 비디오 스트림에, 상기 화상 데이터의 공간적 및/또는 시간적인 해상도에 대응하지 않는 저능력 디코더를 위한 서포트가 되어 있는지 여부를 나타내는 서포트 정보가 부가되어 있는, 상기 [12] 또는 [13]에 기재된 송신 장치.
[15] 상기 컨테이너는 트랜스포트 스트림이며,
상기 식별 정보 삽입부는, 상기 식별 정보를, 상기 트랜스포트 스트림에 포함되는 이벤트 인포메이션 테이블의 관리하의 기술자에 삽입하는, 상기 [12] 내지 [14] 중 어느 하나에 기재된 송신 장치.
[16] 화상 데이터를 포함하는 비디오 스트림을 갖는 소정 포맷의 컨테이너를 송신하는 스텝과,
상기 컨테이너의 레이어에, 상기 비디오 스트림에 의한 초고화질 서비스를 적어도 프로그램 단위로 식별할 수 있도록 식별 정보를 삽입하는 스텝
을 구비하는 송신 방법.
[17] 부호화 화상 데이터를 포함하는 비디오 스트림을 수신하는 수신부와,
상기 비디오 스트림에는, 상기 화상 데이터의 공간적 및/또는 시간적인 해상도의 다운스케일링을 위한 보조 정보가 삽입되어 있으며,
상기 부호화 화상 데이터에 대하여, 상기 보조 정보에 기초하여 공간적 및/또는 시간적인 해상도의 다운스케일링 처리를 실시하여 원하는 해상도의 표시 화상 데이터를 얻는 처리부
를 더 구비하는 수신 장치.
[18] 상기 수신부는, 상기 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하고,
상기 컨테이너의 레이어에, 공간적 및/또는 시간적인 해상도의 다운스케일링에 있어서 가능한 비율을 나타내는 다운스케일링 정보가 삽입되어 있으며,
상기 처리부는, 상기 다운스케일링 정보에 기초하여, 상기 표시 화상 데이터를 얻기 위한 상기 다운스케일링 처리를 제어하는, 상기 [17]에 기재된 수신 장치.
[19] 상기 수신부는, 상기 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하고,
상기 컨테이너의 레이어에, 상기 비디오 스트림에 포함되는 화상 데이터의 공간적 및/또는 시간적인 해상도 정보가 삽입되어 있으며,
상기 처리부는, 상기 해상도 정보에 기초하여, 상기 표시 화상 데이터를 얻기 위한 상기 다운스케일링 처리를 제어하는, 상기 [17] 또는 [18]에 기재된 수신 장치.
[20] 부호화 화상 데이터를 포함하고, 그 화상 데이터의 공간적 및/또는 시간적인 해상도의 다운스케일링을 위한 보조 정보가 삽입되어 있는 비디오 스트림을 수신하는 스텝과,
상기 부호화 화상 데이터에 대하여 상기 보조 정보에 기초하여 공간적 및/또는 시간적인 해상도의 다운스케일링 처리를 실시하여 원하는 해상도의 표시 화상 데이터를 얻는 스텝
을 구비하는 수신 방법.
본 발명의 주된 특징은, 비디오 스트림에 화상 데이터의 공간적 및/또는 시간적인 해상도의 다운스케일링을 위한 보조 정보(SEI 메시지)를 삽입하여 송신함으로써, 수신측에 있어서의 다운스케일링 처리의 부하 경감을 가능하게 한 것이다(도 19 참조). 또한, 본 발명의 주된 특징은, 컨테이너(트랜스포트 스트림)의 레이어에, 비디오 스트림에 의한 초고화질 서비스를 적어도 프로그램 단위로 식별할 수 있도록 식별 정보를 삽입함으로써, 수신측에 있어서, 비디오 스트림을 디코드하지 않고, 초고화질 서비스의 식별을 가능하게 한 것이다(도 19 참조).
10: 화상 송수신 시스템
100: 방송국
110: 송신 데이터 생성부
111: 화상 데이터 출력부
112: 비디오 인코더
115: 음성 데이터 출력부
116: 오디오 인코더
117: 멀티플렉서
200: 수신기
201: CPU
212: 디지털 튜너
213: 트랜스포트 스트림 버퍼(TS 버퍼)
214: 디멀티플렉서
215: 코디드 버퍼
216: 비디오 디코더
217: 디코디드 버퍼
218: 비디오 RAM
241: 코디드 버퍼
242: 오디오 디코더
243: 채널 믹싱부

Claims (20)

  1. 송신 장치로서,
    부호화 화상 데이터를 포함하는 비디오 스트림을 갖는 소정 포맷의 컨테이너를 송신하는 송신부와,
    상기 비디오 스트림에, 상기 화상 데이터의 공간적 및/또는 시간적인 해상도의 다운스케일링을 위한 보조 정보를 삽입하는 보조 정보 삽입부
    를 구비하는, 송신 장치.
  2. 제1항에 있어서,
    상기 보조 정보는, 상기 부호화 화상 데이터에 포함되는 움직임 벡터의 정밀도 제한을 나타내는 정보인, 송신 장치.
  3. 제1항에 있어서,
    상기 보조 정보는, 시간 해상도를 소정의 비율로 다운스케일링할 때 선택할 픽처를 식별하는 정보인, 송신 장치.
  4. 제1항에 있어서,
    상기 컨테이너의 레이어에, 상기 보조 정보가 상기 비디오 스트림에 삽입되어 있음을 나타내는 식별 정보를 삽입하는 식별 정보 삽입부를 더 구비하는, 송신 장치.
  5. 제4항에 있어서,
    상기 식별 정보에는, 공간적 및/또는 시간적인 해상도의 다운스케일링에 있어서 가능한 비율을 나타내는 다운스케일링 정보가 부가되어 있는, 송신 장치.
  6. 제4항에 있어서,
    상기 식별 정보에는, 상기 비디오 스트림에 포함되는 화상 데이터의 공간적 및/또는 시간적인 해상도 정보가 부가되어 있는, 송신 장치.
  7. 제4항에 있어서,
    상기 컨테이너는 트랜스포트 스트림이며,
    상기 식별 정보 삽입부는, 상기 식별 정보를, 상기 트랜스포트 스트림에 포함되는 프로그램 맵 테이블의 비디오 엘리멘터리 루프의 관리하의 기술자(記述子)에 삽입하는, 송신 장치.
  8. 제1항에 있어서,
    상기 컨테이너의 레이어에, 상기 비디오 스트림에 포함되는 화상 데이터의 공간적 및/또는 시간적인 해상도 정보를 삽입하는 해상도 정보 삽입부를 더 구비하는, 송신 장치.
  9. 제8항에 있어서,
    상기 해상도 정보에는,
    상기 비디오 스트림에, 상기 화상 데이터의 공간적 및/또는 시간적인 해상도에 대응하지 않는 저능력 디코더를 위한 서포트가 되어 있는지 여부를 식별하는 식별 정보가 부가되어 있는, 송신 장치.
  10. 제8항에 있어서,
    상기 컨테이너는 트랜스포트 스트림이며,
    상기 해상도 정보 삽입부는, 상기 해상도 정보를, 상기 트랜스포트 스트림에 포함되는 이벤트 인포메이션 테이블의 관리하의 기술자에 삽입하는, 송신 장치.
  11. 송신 방법으로서,
    부호화 화상 데이터를 포함하는 비디오 스트림을 갖는 소정 포맷의 컨테이너를 송신하는 스텝과,
    상기 비디오 스트림에, 상기 화상 데이터의 공간적 및/또는 시간적인 해상도의 다운스케일링을 위한 보조 정보를 삽입하는 스텝
    을 구비하는, 송신 방법.
  12. 송신 장치로서,
    부호화 화상 데이터를 포함하는 비디오 스트림을 갖는 소정 포맷의 컨테이너를 송신하는 송신부와,
    상기 컨테이너의 레이어에, 상기 비디오 스트림에 의한 초고화질 서비스를 적어도 프로그램 단위로 식별할 수 있도록 식별 정보를 삽입하는 식별 정보 삽입부
    를 구비하는, 송신 장치.
  13. 제12항에 있어서,
    상기 식별 정보에는, 상기 화상 데이터의 공간적 및/또는 시간적인 해상도 정보가 포함되는, 송신 장치.
  14. 제12항에 있어서,
    상기 식별 정보에는,
    상기 비디오 스트림에, 상기 화상 데이터의 공간적 및/또는 시간적인 해상도에 대응하지 않는 저능력 디코더를 위한 서포트가 되어 있는지 여부를 나타내는 서포트 정보가 부가되어 있는, 송신 장치.
  15. 제12항에 있어서,
    상기 컨테이너는 트랜스포트 스트림이며,
    상기 식별 정보 삽입부는, 상기 식별 정보를, 상기 트랜스포트 스트림에 포함되는 이벤트 인포메이션 테이블의 관리하의 기술자에 삽입하는, 송신 장치.
  16. 송신 방법으로서,
    화상 데이터를 포함하는 비디오 스트림을 갖는 소정 포맷의 컨테이너를 송신하는 스텝과,
    상기 컨테이너의 레이어에, 상기 비디오 스트림에 의한 초고화질 서비스를 적어도 프로그램 단위로 식별할 수 있도록 식별 정보를 삽입하는 스텝
    을 구비하는, 송신 방법.
  17. 수신 장치로서,
    부호화 화상 데이터를 포함하는 비디오 스트림을 수신하는 수신부와,
    상기 비디오 스트림에는, 상기 화상 데이터의 공간적 및/또는 시간적인 해상도의 다운스케일링을 위한 보조 정보가 삽입되어 있으며,
    상기 부호화 화상 데이터에 대하여 상기 보조 정보에 기초하여 공간적 및/또는 시간적인 해상도의 다운스케일링 처리를 실시하여 원하는 해상도의 표시 화상 데이터를 얻는 처리부
    를 더 구비하는, 수신 장치.
  18. 제17항에 있어서,
    상기 수신부는, 상기 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하고,
    상기 컨테이너의 레이어에, 공간적 및/또는 시간적인 해상도의 다운스케일링에 있어서 가능한 비율을 나타내는 다운스케일링 정보가 삽입되어 있으며,
    상기 처리부는, 상기 다운스케일링 정보에 기초하여, 상기 표시 화상 데이터를 얻기 위한 상기 다운스케일링 처리를 제어하는, 수신 장치.
  19. 제17항에 있어서,
    상기 수신부는, 상기 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하고,
    상기 컨테이너의 레이어에, 상기 비디오 스트림에 포함되는 화상 데이터의 공간적 및/또는 시간적인 해상도 정보가 삽입되어 있으며,
    상기 처리부는, 상기 해상도 정보에 기초하여, 상기 표시 화상 데이터를 얻기 위한 상기 다운스케일링 처리를 제어하는, 수신 장치.
  20. 수신 방법으로서,
    부호화 화상 데이터를 포함하고, 그 화상 데이터의 공간적 및/또는 시간적인 해상도의 다운스케일링을 위한 보조 정보가 삽입되어 있는 비디오 스트림을 수신하는 스텝과,
    상기 부호화 화상 데이터에 대하여 상기 보조 정보에 기초하여 공간적 및/또는 시간적인 해상도의 다운스케일링 처리를 실시하여 원하는 해상도의 표시 화상 데이터를 얻는 스텝
    을 구비하는, 수신 방법.
KR1020157004909A 2012-09-07 2013-09-02 송신 장치, 송신 방법, 수신 장치 및 수신 방법 KR102142735B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012197922 2012-09-07
JPJP-P-2012-197922 2012-09-07
PCT/JP2013/073576 WO2014038522A1 (ja) 2012-09-07 2013-09-02 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
KR20150052029A true KR20150052029A (ko) 2015-05-13
KR102142735B1 KR102142735B1 (ko) 2020-08-07

Family

ID=50237131

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157004909A KR102142735B1 (ko) 2012-09-07 2013-09-02 송신 장치, 송신 방법, 수신 장치 및 수신 방법

Country Status (10)

Country Link
US (3) US10432957B2 (ko)
EP (1) EP2894861B1 (ko)
JP (4) JP6258206B2 (ko)
KR (1) KR102142735B1 (ko)
CN (1) CN104604242B (ko)
BR (1) BR112015004393B1 (ko)
DK (1) DK2894861T3 (ko)
HU (1) HUE047946T2 (ko)
RU (1) RU2645717C2 (ko)
WO (1) WO2014038522A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180067527A (ko) * 2015-10-13 2018-06-20 소니 주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6288923B2 (ja) * 2013-02-25 2018-03-07 日本放送協会 符号化方法、タイムコード信号発生装置、動画記録再生装置及び動画編集装置
JP6288922B2 (ja) * 2013-02-25 2018-03-07 日本放送協会 符号化方法、タイムコード信号発生装置、動画記録再生装置及び動画編集装置
JP6288921B2 (ja) * 2013-02-25 2018-03-07 日本放送協会 タイムコード、タイムコード信号発生装置、動画記録再生装置及び動画編集装置
JP5641090B2 (ja) 2013-03-14 2014-12-17 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP6280212B2 (ja) * 2013-10-29 2018-02-14 エルジー エレクトロニクス インコーポレイティド Ｈｅｖｃベースのｉｐ放送サービスの提供のための放送信号送受信方法及び装置
US10205949B2 (en) * 2014-05-21 2019-02-12 Arris Enterprises Llc Signaling for addition or removal of layers in scalable video
EP3177025A4 (en) * 2014-07-31 2018-01-10 Sony Corporation Transmission apparatus, transmission method, reception apparatus and reception method
KR102366503B1 (ko) * 2014-08-07 2022-02-23 소니그룹주식회사 송신 장치, 송신 방법 및 수신 장치
JP6373179B2 (ja) * 2014-11-28 2018-08-15 シャープ株式会社 デジタル放送受信装置、デジタル放送受信方法、およびプログラム
JP6555798B2 (ja) * 2014-11-28 2019-08-07 シャープ株式会社 デジタル放送受信装置、デジタル放送受信方法、およびプログラム
JP6735643B2 (ja) * 2015-09-29 2020-08-05 日本放送協会 受信装置およびプログラム
EP3358849B1 (en) * 2015-09-30 2021-03-10 Sony Corporation Transmission device, transmission method, reception device, and reception method
CA3004793A1 (en) 2015-11-09 2017-05-18 Thomson Licensing Method and device for adapting the video content decoded from elementary streams to the characteristics of a display
CN115209158A (zh) * 2016-02-01 2022-10-18 Oppo广东移动通信有限公司 预测图像生成装置、运动图像解码装置、以及运动图像编码装置
US10440366B2 (en) 2016-07-01 2019-10-08 Intel Corporation Method and system of video coding using content based metadata
CN109417643A (zh) * 2016-07-13 2019-03-01 索尼公司 服务器装置、服务器装置的发送处理方法、客户端装置、客户端装置的接收处理方法以及服务器系统
US10841610B2 (en) * 2017-10-23 2020-11-17 Avago Technologies International Sales Pte. Limited Block size dependent interpolation filter selection and mapping
CN109151489B (zh) * 2018-08-14 2019-05-31 广州虎牙信息科技有限公司 直播视频图像处理方法、装置、存储介质和计算机设备
KR20210093605A (ko) * 2020-01-20 2021-07-28 삼성전자주식회사 디스플레이 장치 및 그 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090037920A (ko) * 2006-07-11 2009-04-16 노키아 코포레이션 스케일러블 비디오 코딩 및 디코딩
KR20100018474A (ko) * 2008-08-06 2010-02-17 톰슨 라이센싱 인핸스드 공간 계층 프레임의 손실된 또는 손상된 블록을 예측하기 위한 방법 및 그에 적응된 ｓｖｃ-디코더
JP2011057069A (ja) 2009-09-09 2011-03-24 Honda Motor Co Ltd 自動二輪車用シート高調整装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7486952B1 (en) * 2000-02-09 2009-02-03 Alcatel-Lucent Usa Inc. Facilitated security for handoff in wireless communications
US7136417B2 (en) * 2002-07-15 2006-11-14 Scientific-Atlanta, Inc. Chroma conversion optimization
US7317839B2 (en) * 2003-09-07 2008-01-08 Microsoft Corporation Chroma motion vector derivation for interlaced forward-predicted fields
US7577200B2 (en) * 2003-09-07 2009-08-18 Microsoft Corporation Extended range variable length coding/decoding of differential motion vector information
JP4483261B2 (ja) * 2003-10-24 2010-06-16 ソニー株式会社 立体視画像処理装置
KR101079066B1 (ko) * 2004-03-01 2011-11-02 돌비 레버러토리즈 라이쎈싱 코오포레이션 멀티채널 오디오 코딩
US20060140224A1 (en) * 2004-12-27 2006-06-29 William Yoshida Generating a half rate/quarter rate flag stream for enhanced VSB decoder
JP4561482B2 (ja) * 2005-06-01 2010-10-13 株式会社日立製作所 映像表示装置
CA2647723A1 (en) * 2006-03-29 2007-10-11 Vidyo, Inc. System and method for transcoding between scalable and non-scalable video codecs
JP2008283561A (ja) 2007-05-11 2008-11-20 Sony Corp 通信システム、映像信号伝送方法、送信装置、送信方法、受信装置および受信方法
AU2007202789B9 (en) * 2007-06-15 2011-08-18 Canon Kabushiki Kaisha High-fidelity motion summarisation method
US8804845B2 (en) * 2007-07-31 2014-08-12 Cisco Technology, Inc. Non-enhancing media redundancy coding for mitigating transmission impairments
WO2009104850A1 (en) 2008-02-20 2009-08-27 Lg Electronics Inc. Method for encoding and decoding image, and apparatus for encoding and decoding image
WO2010021153A1 (ja) * 2008-08-21 2010-02-25 パナソニック株式会社 動き検出装置
US20100218232A1 (en) * 2009-02-25 2010-08-26 Cisco Technology, Inc. Signalling of auxiliary information that assists processing of video according to various formats
EP2422522A1 (en) 2009-04-20 2012-02-29 Dolby Laboratories Licensing Corporation Directed interpolation and data post-processing
JP5594002B2 (ja) * 2010-04-06 2014-09-24 ソニー株式会社 画像データ送信装置、画像データ送信方法および画像データ受信装置
JP2011239169A (ja) * 2010-05-10 2011-11-24 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
WO2012017643A1 (ja) 2010-08-06 2012-02-09 パナソニック株式会社 符号化方法、表示装置、及び復号方法
JP5693109B2 (ja) * 2010-09-13 2015-04-01 キヤノン株式会社 映像処理装置およびその制御方法
JP5906462B2 (ja) * 2011-02-16 2016-04-20 パナソニックＩｐマネジメント株式会社 映像符号化装置、映像符号化方法、映像符号化プログラム、映像再生装置、映像再生方法及び映像再生プログラム
JP2014531807A (ja) * 2011-09-09 2014-11-27 パナモーフ, インコーポレイテッドPanamorph, Inc. 画像処理システム及び方法
JP5363685B2 (ja) * 2011-10-28 2013-12-11 パナソニック株式会社 旧来のフォーマットとの互換を維持しつつも、記録内容を編集することができる記録媒体、再生装置、記録装置
KR20150059722A (ko) 2012-08-10 2015-06-02 엘지전자 주식회사 신호 송수신 장치 및 신호 송수신 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090037920A (ko) * 2006-07-11 2009-04-16 노키아 코포레이션 스케일러블 비디오 코딩 및 디코딩
KR20100018474A (ko) * 2008-08-06 2010-02-17 톰슨 라이센싱 인핸스드 공간 계층 프레임의 손실된 또는 손상된 블록을 예측하기 위한 방법 및 그에 적응된 ｓｖｃ-디코더
JP2011057069A (ja) 2009-09-09 2011-03-24 Honda Motor Co Ltd 自動二輪車用シート高調整装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180067527A (ko) * 2015-10-13 2018-06-20 소니 주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
US11606586B2 (en) 2015-10-13 2023-03-14 Sony Group Corporation Transmission apparatus, transmission method, reception apparatus, and reception method

Also Published As

Publication number Publication date
DK2894861T3 (da) 2020-02-10
RU2645717C2 (ru) 2018-03-01
US20150172690A1 (en) 2015-06-18
EP2894861A1 (en) 2015-07-15
RU2015107001A (ru) 2016-09-20
US11700388B2 (en) 2023-07-11
US10432957B2 (en) 2019-10-01
JP6038379B1 (ja) 2016-12-07
JPWO2014038522A1 (ja) 2016-08-08
JP2016213887A (ja) 2016-12-15
WO2014038522A1 (ja) 2014-03-13
EP2894861A4 (en) 2016-03-30
EP2894861B1 (en) 2020-01-01
KR102142735B1 (ko) 2020-08-07
CN104604242A (zh) 2015-05-06
US20190373277A1 (en) 2019-12-05
JP6038380B1 (ja) 2016-12-07
HUE047946T2 (hu) 2020-05-28
US10951910B2 (en) 2021-03-16
JP6038381B1 (ja) 2016-12-07
US20210243463A1 (en) 2021-08-05
JP2016220233A (ja) 2016-12-22
BR112015004393A2 (pt) 2017-07-04
JP2016213888A (ja) 2016-12-15
CN104604242B (zh) 2018-06-05
JP6258206B2 (ja) 2018-01-10
BR112015004393B1 (pt) 2023-01-17

Similar Documents

Publication Publication Date Title
US11700388B2 (en) Transmission device, transmitting method, reception device, and receiving method
JP6567747B2 (ja) 受信装置および受信方法
US20120081516A1 (en) Transmitting apparatus, transmitting method, receiving apparatus, and receiving method
EP2426922A1 (en) Image data transmission device, image data transmission method, and image data receiving device
EP2907308B1 (en) Providing a common set of parameters for sub-layers of coded video
US20140071232A1 (en) Image data transmission device, image data transmission method, and image data reception device
EP3038365B1 (en) Encoding device, encoding method, transmission device, decoding device, decoding method, and reception device
CN110915221B (zh) 发送装置、发送方法、接收装置、以及接收方法
US11533522B2 (en) Transmission apparatus, transmission method, reception apparatus, and reception method
KR20180063063A (ko) 송신 장치, 송신 방법, 수신 장치 및 수신 방법
US11363300B2 (en) Coding apparatus, coding method, decoding apparatus, decoding method, transmitting apparatus, and receiving apparatus
CN113545060A (zh) 视频编码中的空瓦片编码
JP2016528808A (ja) ビデオ信号処理方法およびビデオ信号処理装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant