KR20190112723A - 송신 장치, 송신 방법, 수신 장치 및 수신 방법 - Google Patents

송신 장치, 송신 방법, 수신 장치 및 수신 방법 Download PDF

Info

Publication number
KR20190112723A
KR20190112723A KR1020197021553A KR20197021553A KR20190112723A KR 20190112723 A KR20190112723 A KR 20190112723A KR 1020197021553 A KR1020197021553 A KR 1020197021553A KR 20197021553 A KR20197021553 A KR 20197021553A KR 20190112723 A KR20190112723 A KR 20190112723A
Authority
KR
South Korea
Prior art keywords
image data
picture
encoding
base layer
block
Prior art date
Application number
KR1020197021553A
Other languages
English (en)
Inventor
이쿠오 츠카고시
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20190112723A publication Critical patent/KR20190112723A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/533—Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities

Abstract

기본 레이어 및 확장 레이어의 화상 데이터를 부호화하여 송신할 때의 부호화 효율의 향상을 도모한다. 기본 레이어의 각 픽처의 화상 데이터를 부호화하여 제1 부호화 스트림을 생성한다. 확장 레이어의 각 픽처의 화상 데이터를 부호화하여 제2 부호화 스트림을 생성한다. 그들의 스트림을 포함하는 컨테이너를 송신한다. 확장 레이어의 각 픽처의 화상 데이터를 부호화할 때에 기본 레이어의 픽처를 참조 픽처로 하는 것이 가능하게 되고, 기본 레이어의 픽처를 참조 픽처로 할 때, 참조 픽처의 블록에, 기본 레이어의 화상 데이터를 확장 레이어의 화상 데이터에 대응시키기 위한 변환 처리를 실시하여 움직임 보상 예측 부호화 처리를 행한다.

Description

송신 장치, 송신 방법, 수신 장치 및 수신 방법
본 기술은, 송신 장치, 송신 방법, 수신 장치 및 수신 방법에 관한 것으로, 기본 레이어 및 확장 레이어의 화상 데이터를 부호화하여 송신하는 송신 장치 등에 관한 것이다.
종래, 기본 포맷 화상 데이터와 함께 고품질 포맷 화상 데이터를 송신하고, 수신측에 있어서, 기본 포맷 화상 데이터 또는 고품질 포맷 화상 데이터를 선택적으로 사용하는 것이 알려져 있다. 예를 들어, 특허문헌 1에는, 미디어 부호화를 스케일러블로 행하여, 저해상도의 비디오 서비스를 위한 기본 레이어의 부호화 스트림과, 고해상도의 비디오 서비스를 위한 확장 레이어의 부호화 스트림을 생성하고, 이들을 포함하는 컨테이너를 송신하는 것이 기재되어 있다. 또한, 고품질 포맷에는, 고해상도 외에 고 다이내믹 레인지, 고색 재현, 고 비트 길이 등이 있다.
일본 특허공표 제2008-543142호 공보
SHVC(Scalability Extension of HEVC) 등의 종래의 스케일러블 부호화에서는, 레이어 간에 걸친 예측은, 동일한 표시순(POC: picture order of composition)의 픽처 간에만 한정되어 있었다. 게다가, 그 안의 예측에는 움직임 보상은 적용되지 않고, 화상의 동일한 공간 상대 위치의 블록끼리의 레이어 간 예측에만 대응하는 것이었다. 그 때문에, 부호화 효율이 저하된다는 과제가 있었다.
본 기술의 목적은, 기본 레이어 및 확장 레이어의 화상 데이터를 부호화하여 송신할 때의 부호화 효율의 향상을 도모하는 데 있다.
본 기술의 개념은,
기본 레이어의 각 픽처의 화상 데이터를 부호화하여 제1 부호화 스트림을 생성함과 함께, 확장 레이어의 각 픽처의 화상 데이터를 부호화하여 제2 부호화 스트림을 생성하는 화상 부호화부와,
상기 제1 부호화 스트림 및 상기 제2 부호화 스트림을 포함하는 컨테이너를 송신하는 송신부를 구비하고,
상기 화상 부호화부는,
상기 확장 레이어의 각 픽처의 화상 데이터를 부호화할 때에 상기 기본 레이어의 픽처를 참조 픽처로 하는 것이 가능하게 되고,
상기 기본 레이어의 픽처를 참조 픽처로 할 때, 해당 참조 픽처의 블록에 기본 레이어의 화상 데이터를 확장 레이어의 화상 데이터에 대응시키기 위한 변환 처리를 실시하여 움직임 보상 예측 부호화 처리를 행하는
송신 장치에 있다.
본 기술에 있어서, 화상 부호화부에 의해, 기본 레이어의 각 픽처의 화상 데이터가 부호화되어 제1 부호화 스트림이 생성되고, 확장 레이어의 각 픽처의 화상 데이터가 부호화되어 제2 부호화 스트림이 생성된다. 예를 들어, 확장 레이어의 각 픽처의 화상 데이터에는, 기본 레이어의 각 픽처와는 상이한 표시 타이밍을 갖는 픽처의 화상 데이터가 포함되도록 되어도 된다. 송신부에 의해, 제1 부호화 스트림 및 상기 제2 부호화 스트림을 포함하는 컨테이너가 송신된다.
화상 부호화부에서는, 확장 레이어의 각 픽처의 화상 데이터를 부호화할 때에 기본 레이어의 픽처를 참조 픽처로 하는 것이 가능해진다. 그리고, 화상 부호화부에서는, 기본 레이어의 픽처를 참조 픽처로 할 때, 이 참조 픽처의 블록에, 기본 레이어의 화상 데이터를 확장 레이어의 화상 데이터에 대응시키기 위한 변환 처리가 실시되어, 움직임 보상 예측 부호화 처리가 행해진다.
예를 들어, 기본 레이어의 화상 데이터는 제1 해상도의 화상 데이터이며, 확장 레이어의 화상 데이터는 제1 해상도보다 큰 제2 해상도의 화상 데이터이며, 화상 부호화부는, 변환 처리로서, 참조 픽처에 있어서의 참조 블록의 해상도를 제1 해상도로부터 제2 해상도로 하는 스케일링 처리를 행하도록 되어도 된다.
이 경우, 예를 들어 화상 부호화부는, 변환 처리로서, 스케일링 처리가 실시된 화상 데이터의 무딘 에지를 보정하는 쉐이핑 처리를 추가로 행하도록 되어도 된다. 이 쉐이핑 처리에 의해, 스케일링 처리가 됨에 따른 화상의 에지의 흐려짐을 경감시킬 수 있어, 움직임 벡터를 구하기 위한 블록 매칭 처리의 효과를 높이는 것이 가능해진다.
또한, 예를 들어 제1 해상도는 HD 해상도이며, 제2 해상도는 UHD 해상도이도록 되어도 된다. 이 경우, 예를 들어 UHD 해상도는 4K 해상도이며, 화상 부호화부는, 확장 레이어의 픽처의 2차원적으로 인접하는 2×2의 4개의 예측 블록으로 구성되는 벡터 블록마다 스케일링 처리된 참조 블록을 사용한 블록 매칭 처리를 행하여 제1 움직임 벡터를 결정하고, 스케일링 처리된 참조 블록 내에 있어서 4개의 예측 블록의 각각과의 블록 매칭 처리를 행하여 각 예측 블록에 대응한 제2 움직임 벡터를 결정하여, 상기 움직임 보상 예측 부호화 처리를 행하도록 되어도 된다. 이에 의해, 각 예측 블록에 대응한 움직임 벡터를 고정밀도로 구하는 것이 가능하게 되어, 부호화 효율의 향상을 도모하는 것이 가능해진다.
또한, 예를 들어 기본 레이어의 화상 데이터는 제1 다이내믹 레인지의 화상 데이터이며, 확장 레이어의 화상 데이터는 제1 다이내믹 레인지보다 넓은 제2 다이내믹 레인지의 화상 데이터이며, 화상 부호화부는, 변환 처리로서, 참조 픽처의 블록 화소값을 제2 다이내믹 레인지의 화소값에 대응하도록 변환하는 처리를 행하도록 되어도 된다.
이와 같이 본 기술에 있어서는, 확장 레이어의 각 픽처의 화상 데이터를 부호화할 때에, 기본 레이어의 픽처를 참조 픽처로 할 때, 참조 픽처의 블록에, 기본 레이어의 화상 데이터를 확장 레이어의 화상 데이터에 대응시키기 위한 변환 처리를 실시하여, 움직임 보상 예측 부호화 처리를 행하는 것이다. 그 때문에, 참조 블록을 고정밀도로 결정할 수 있어, 부호화 효율의 향상을 도모하는 것이 가능해진다.
또한, 본 기술의 다른 개념은,
기본 레이어의 각 픽처의 화상 데이터가 부호화되어 얻어진 제1 부호화 스트림과 확장 레이어의 각 픽처의 화상 데이터가 부호화되어 얻어진 제2 부호화 스트림을 포함하는 컨테이너를 수신하는 수신부를 구비하고,
상기 확장 레이어의 각 픽처의 화상 데이터의 부호화에서는 상기 기본 레이어의 픽처를 참조 픽처로 하는 것이 가능하게 되고, 해당 기본 레이어의 픽처가 참조 픽처로 될 때, 해당 참조 픽처의 블록에 기본 레이어의 화상 데이터를 확장 레이어의 화상 데이터에 대응시키기 위한 변환 처리가 실시되어 움직임 보상 예측 부호화 처리가 행해지고 있으며,
표시 능력에 따라서, 상기 제1 부호화 스트림, 또는 상기 제1 부호화 스트림 및 상기 제2 부호화 스트림을 처리하여 표시용 화상 데이터를 얻는 처리부를 더 구비하는
수신 장치에 있다.
본 기술에 있어서, 수신부에 의해, 제1 부호화 스트림과 제2 부호화 스트림이 포함된 컨테이너가 수신된다. 제1 부호화 스트림은, 기본 레이어의 각 픽처의 화상 데이터가 부호화되어 얻어진 것이다. 제2 부호화 스트림은, 확장 레이어의 각 픽처의 화상 데이터가 부호화되어 얻어진 것이다.
확장 레이어의 각 픽처의 화상 데이터의 부호화에서는 기본 레이어의 픽처를 참조 픽처로 하는 것이 가능하게 되고, 기본 레이어의 픽처가 참조 픽처로 될 때, 이 참조 픽처의 블록에, 기본 레이어의 화상 데이터를 확장 레이어의 화상 데이터에 대응시키기 위한 변환 처리가 실시되어 움직임 보상 예측 부호화 처리가 행해지고 있다.
처리부에 의해, 표시 능력에 따라서, 제1 부호화 스트림, 또는 제1 부호화 스트림 및 제2 부호화 스트림이 처리되어 표시용 화상 데이터가 얻어진다. 이 경우, 제1 부호화 스트림에 복호화 처리가 실시되어 기본 레이어의 화상 데이터가 얻어지고, 제2 부호화 스트림에 복호화 처리가 실시되어 확장 레이어의 화상 데이터가 얻어진다.
본 기술에 의하면, 기본 레이어 및 확장 레이어의 화상 데이터를 부호화하여 송신할 때의 부호화 효율의 향상을 도모할 수 있다. 또한, 여기에 기재된 효과는 반드시 한정되는 것이 아니라, 본 개시 중에 기재된 어느 효과여도 된다.
도 1은, 실시 형태로서의 송수신 시스템의 구성예를 나타내는 블록도이다.
도 2는, 기본 레이어 및 확장 레이어의 화상 데이터의 구성예를 나타내는 도면이다.
도 3은, 기본 레이어 및 확장 레이어의 화상 데이터의 다른 구성예를 나타내는 도면이다.
도 4는, 송신 장치의 구성예를 나타내는 블록도이다.
도 5는, 인코드부의 주요부의 구성예를 나타내는 블록도이다.
도 6은, 레이어 간 예측부에 있어서의 레이어 간의 움직임 예측(제1 움직임 예측)을 설명하기 위한 도면이다.
도 7은, 스케일링 처리 및 쉐이핑 처리를 개략적으로 나타내는 도면이다.
도 8은, 라지 블록 내에서의 움직임 예측(제2 움직임 예측)을 설명하기 위한 도면이다.
도 9는, 비디오 인코더의 보다 구체적인 구성예를 나타내는 도면이다.
도 10은, 부호화 데이터를 컨테이너하는 슬라이스(Slice)의 NAL 유닛의 구조예와, 슬라이스·세그먼트·헤더의 구조예를 나타내는 도면이다.
도 11은, 슬라이스·세그먼트·데이터의 구조예를 나타내는 도면이다.
도 12는, 「vector_prediction_unit()」와 「micro_prediction_unit()」의 필드의 구조예를 나타내는 도면이다.
도 13은, 「prediction_unit2()」의 필드의 구조예를 나타내는 도면이다.
도 14는, 각 구조예에 있어서의 주요한 정보의 내용을 나타내는 도면이다.
도 15는, 수신 장치의 구성예를 나타내는 블록도이다.
도 16은, 디코드부의 주요부의 구성예를 나타내는 블록도이다.
도 17은, 비디오 디코더의 보다 구체적인 구성예를 나타내는 도면이다.
도 18은, HDR 특성, SDR 특성을 나타내는 도면이다.
이하, 발명을 실시하기 위한 형태(이하, 「실시 형태」로 함)에 대하여 설명한다. 또한, 설명은 이하의 순서로 행한다.
1. 실시 형태
2. 변형예
<1. 실시 형태>
[송수신 시스템]
도 1은, 실시 형태로서의 송수신 시스템(10)의 구성예를 나타내고 있다. 이 송수신 시스템(10)은, 송신 장치(100)와, 수신 장치(200)를 갖는 구성으로 되어 있다.
송신 장치(100)는, 컨테이너로서의 트랜스포트 스트림 TS를 방송파에 실어 송신한다. 이 트랜스포트 스트림 TS에는, 제1 부호화 스트림과 제2 부호화 스트림이 포함된다. 제1 부호화 스트림은, 기본 레이어의 각 픽처의 화상 데이터가 부호화되어 얻어진 것이다. 제2 부호화 스트림은, 확장 레이어의 각 픽처의 화상 데이터가 부호화되어 얻어진 것이다.
이 실시 형태에 있어서, 기본 레이어의 화상 데이터는 120fps이고 HD 해상도의 화상 데이터 또는 60fps이고 HD 해상도의 화상 데이터이며, 확장 레이어의 화상 데이터는 120fps이고 UHD 해상도(4K 해상도, 8K 해상도 등), 여기에서는 4K 해상도의 화상 데이터이다.
여기서, 4K 해상도는 가로: 약 4000×세로: 약 2000 픽셀급의 해상도이며, 예를 들어 4096×2160이나 3840×2160이며, 8K 해상도는 세로, 가로의 픽셀이 각각 4K 해상도의 2배로 되는 해상도이다. 또한, HD 해상도는, 예를 들어 세로, 가로의 픽셀이 4K 해상도의 1/2배로 되는 해상도이다.
확장 레이어의 각 픽처의 화상 데이터를 부호화할 때에, 기본 레이어의 픽처를 참조 픽처로 하는 것이 가능해진다. 그리고, 기본 레이어의 픽처를 참조 픽처로 할 때, 이 참조 픽처의 블록에, 기본 레이어의 화상 데이터를 확장 레이어의 화상 데이터에 대응시키기 위한 변환 처리가 실시되어, 움직임 보상 예측 부호화가 행해진다.
이 실시 형태에 있어서, 변환 처리로서, 참조 픽처의 블록의 해상도를 HD 해상도로부터 4K 해상도로 하는 스케일링 처리가 행해진다. 또한, 이 실시 형태에 있어서, 변환 처리로서, 스케일링 처리가 된 화상 데이터에 화상의 둔한(예리하지 못한: blunt) 에지를 보정하는 쉐이핑 처리가 추가로 행해진다. 이 쉐이핑 처리에 의해, 스케일링 처리가 됨에 따른 화상의 에지 흐려짐이 경감되어, 움직임 벡터를 구하기 위한 블록 매칭 처리의 정밀도가 높아진다.
움직임 보상 예측 부호화 처리에 있어서, 확장 레이어의 픽처의 2차원적으로 인접하는 2×2의 4개의 예측 블록으로 구성되는 벡터 블록마다 스케일링 처리된 참조 블록을 사용한 블록 매칭 처리가 행해져서 제1 움직임 벡터가 결정된다. 또한, 스케일링 처리된 참조 블록 내에 있어서 4개의 예측 블록의 각각과의 블록 매칭 처리가 행해져서 각 예측 블록에 대응한 제2 움직임 벡터(마이크로 벡터)가 결정된다. 이에 의해, 각 예측 블록에 대응한 움직임 벡터가 고정밀도로 구해져서, 부호화 효율의 향상이 도모된다.
수신 장치(200)는, 송신 장치(100)로부터 방송파에 실어 보내져 오는 상술한 트랜스포트 스트림 TS를 수신한다. 이 트랜스포트 스트림 TS에는, 상술한 바와 같이, 60fps이고 HD 해상도의 화상 데이터에 관한 제1 부호화 스트림과 120fps이고 4K 해상도의 화상 데이터에 관한 제2 부호화 스트림이 포함되어 있다.
수신 장치(200)는, 60fps이고 HD 해상도의 표시 능력이 있는 경우, 제1 부호화 스트림을 처리하여 60fps이고 HD 해상도의 표시용 화상 데이터를 얻어, 화상 표시를 한다. 한편, 수신 장치(200)는, 120fps이고 4K 해상도의 표시 능력이 있는 경우, 제1 부호화 스트림 및 제2 부호화 스트림을 처리하여 120fps이고 4K 해상도의 표시용 화상 데이터를 얻어, 화상 표시를 한다.
도 2는, 기본 레이어 및 확장 레이어의 화상 데이터의 구성예를 나타내고 있다. 도시한 예에 있어서, 횡축은 표시순(POC: picture order of composition)을 나타내며, 좌측은 표시 시각이 이전이고, 우측은 표시 시각이 이후가 된다. 직사각형 프레임의 각각이 픽처를 나타내고, 숫자는 인코드순(수신측에서는 디코드순)을 나타내고 있다. 또한, 화살표는 예측 부호화 처리에 있어서의 픽처의 참조 관계의 일례를 나타내고, 실선은 레이어 내의 참조 관계를 나타내며, 파선은 레이어 간의 참조 관계를 나타내고 있다. 레이어 간, 레이어 내의 양쪽 모두 예측은 블록마다 대상 픽처가 바뀌며, 또한, 예측의 방향, 참조수는 도시한 예로 한정되는 것은 아니다. 또한, 서브레이어 내의 참조 관계의 표시는 생략하였다.
기본 레이어의 화상 데이터로서, 제1 화상 데이터 「HD 60㎐ Base」가 존재한다. 이 제1 화상 데이터는, 서브레이어 1(sublayer 1)을 구성하는 화상 데이터이며, 기본이 되는 60㎐를 구성하는 화상 데이터이다. 또한, 기본 레이어의 화상 데이터로서, 제2 화상 데이터 「HD+60㎐ HFR」이 존재한다. 이 제2 화상 데이터는, 서브레이어 2(sublayer 2)를 구성하는 화상 데이터이며, 제1 화상 데이터 「HD 60㎐ Base」에 대해서 시간 방향의 스케일러빌리티이다.
또한, 확장 레이어의 화상 데이터로서, 제3 화상 데이터 「UHD(4K) 60㎐」가 존재한다. 이 제3 화상 데이터는, 서브레이어 3(sublayer 3)을 구성하는 화상 데이터이며, 기본이 되는 60㎐를 구성하는 화상 데이터이다. 이 제3 화상 데이터는, 제1 화상 데이터 「HD 60㎐ Base」에 대해서 공간 방향의 스케일러빌리티이다. 또한, 확장 레이어의 화상 데이터로서, 제4 화상 데이터 「UHD(4K)+60㎐ HFR」이 존재한다. 이 제4 화상 데이터는, 서브레이어 4(sublayer 4)를 구성하는 화상 데이터이며, 제3 화상 데이터 「UHD(4K) 60㎐」에 대해서 시간 방향의 스케일러빌리티임과 함께, 제2 화상 데이터 「HD +60㎐ HFR」에 대해서 공간 방향의 스케일러빌리티이다.
이 구성예의 경우, 제1 화상 데이터 「HD 60㎐ Base」에 기초하여, 기본 프레임 레이트로 고해상도(HD)의 화상(60㎐ HD 화상)의 재생이 가능하다. 또한, 제1 화상 데이터 「HD 60㎐ Base」 및 제2 화상 데이터 「HD +60㎐ HFR」에 기초하여, 하이 프레임 레이트로 고해상도(HD)의 화상(120㎐ HD 화상)의 재생이 가능하다.
또한, 제1 화상 데이터 「HD 60㎐ Base」 및 제3 화상 데이터 「UHD(4K) 60㎐」에 기초하여, 기본 프레임 레이트로 초고해상도(UHD(4K))의 화상(60㎐ UHD 화상)의 재생이 가능하다. 또한, 제1 화상 데이터 「HD 60㎐ Base」, 제2 화상 데이터 「HD +60㎐ HFR」, 제3 화상 데이터 「UHD(4K) 60」 및 제4 화상 데이터 「UHD(4K)+60㎐ HFR」에 기초하여, 하이 프레임 레이트로 초고해상도(UHD(4K))의 화상(120㎐ UHD 화상)의 재생이 가능하다.
도 3은, 기본 레이어 및 확장 레이어의 화상 데이터의 다른 구성예를 나타내고 있다. 도시한 예에 있어서, 횡축은 표시순(POC: picture order of composition)을 나타내며, 좌측은 표시 시각이 이전이고, 우측은 표시 시각이 이후가 된다. 직사각형 프레임의 각각이 픽처를 나타내고, 숫자는 인코드순(수신측에서는 디코드순)을 나타내고 있다. 또한, 화살표는 예측 부호화 처리에 있어서의 픽처의 참조 관계의 일례를 나타내고, 실선은 레이어 내의 참조 관계를 나타내며, 파선은 레이어 간의 참조 관계를 나타내고 있다. 레이어 간, 레이어 내의 양쪽 모두 예측은 블록마다 대상 픽처가 바뀌며, 또한, 예측의 방향, 참조수는 도시한 예로 한정되는 것은 아니다. 또한, 서브레이어 내의 참조 관계의 표시는 생략하였다.
이 구성예에 있어서는, 기본 레이어의 화상 데이터로서, 제2 화상 데이터 「HD +60㎐ HFR」이 존재하지 않는 것을 제외하고, 상술한 도 2의 구성예와 마찬가지이다. 이 구성예의 경우, 제1 화상 데이터 「HD 60㎐ Base」에 기초하여, 기본 프레임 레이트로 고해상도(HD)의 화상(60㎐ HD 화상)의 재생이 가능하다. 이 구성예에서는, 확장 레이어의 각 픽처의 화상 데이터에는, 기본 레이어의 각 픽처와는 상이한 표시 타이밍을 갖는 픽처의 화상 데이터가 포함되는 것으로 된다.
또한, 제1 화상 데이터 「HD 60㎐ Base」 및 제3 화상 데이터 「UHD(4K) 60㎐」에 기초하여, 기본 프레임 레이트로 초고해상도(UHD(4K))의 화상(60㎐ UHD 화상)의 재생이 가능하다. 또한, 제1 화상 데이터 「HD 60㎐ Base」, 제3 화상 데이터 「UHD(4K) 60」 및 제4 화상 데이터 「UHD(4K)+60㎐ HFR」에 기초하여, 하이 프레임 레이트로 초고해상도(UHD(4K))의 화상(120㎐ UHD 화상)의 재생이 가능하다.
「송신 장치의 구성」
도 4는, 송신 장치(100)의 구성예를 나타내고 있다. 이 송신 장치(100)는, 제어부(101)와, 비디오 인코더(102)와, 시스템 인코더(103)와, 송신부(104)를 갖고 있다. 제어부(101)는, CPU(Central Processing Unit)를 구비하여 구성되며, 제어 프로그램에 기초하여, 송신 장치(100)의 각부의 동작을 제어한다.
비디오 인코더(102)는, 120fps이고 4K 해상도의 화상 데이터를 입력하고, 기본 레이어의 각 픽처의 화상 데이터를 부호화하여 얻은 제1 부호화 스트림 BS를 출력함과 함께, 확장 레이어의 각 픽처의 화상 데이터를 부호화하여 얻은 제2 부호화 스트림 ES를 출력한다. 여기서, 120fps이고 4K 해상도의 화상 데이터는, 상술한, 제3 화상 데이터 「UHD 60㎐」 및 제4 화상 데이터 「UHD +60㎐ HFR」을 포함하는 것으로, 확장 레이어의 화상 데이터를 구성한다.
비디오 인코더(102)는, 스케일링부(102a), 인코드부(102b) 및 인코드부(102e)를 갖는다. 스케일링부(102a)는, 4K 해상도의 화상 데이터에 스케일링 처리를 실시하고, 기본 레이어의 화상 데이터를 얻는다.
여기서, 기본 레이어의 구성을 도 2의 구성예에 나타내는 경우에는, 스케일링부(102a)는, UHD 해상도의 화상 데이터에 공간 방향의 스케일링 처리를 실시하여, 120fps이고 HD 해상도의 화상 데이터를 얻는다. 이 120fps이고 HD 해상도의 화상 데이터는, 상술한 제1 화상 데이터 「HD 60㎐ Base」 및 제2 화상 데이터 「HD +60㎐ HFR」을 포함하는 것으로 된다.
한편, 기본 레이어의 구성을 도 3의 구성예에 나타내는 경우에는, 스케일링부(102a)는, UHD 해상도의 화상 데이터에 공간 방향 및 시간 방향의 스케일링 처리를 실시하여, 60fps이고 HD 해상도의 화상 데이터를 얻는다. 이 60fps이고 HD 해상도의 화상 데이터는, 상술한 제1 화상 데이터 「HD 60㎐ Base」를 포함하는 것으로 된다.
인코드부(102b)는, 스케일링부(102a)에서 얻어지는 기본 레이어의 화상 데이터에 대해서, H. 264/AVC, H. 265/HEVC 등의 움직임 보상 예측 부호화 처리를 실시하여 부호화 화상 데이터를 얻고, 이 부호화 화상 데이터를 갖는 제1 부호화 스트림 BS를 생성한다.
인코드부(102e)는, 120fps이고 UHD 해상도의 화상 데이터, 즉 확장 레이어의 화상 데이터에 대해서, H. 264/AVC, H. 265/HEVC 등의 레이어 내, 그리고 레이어 간의 움직임 보상 예측 부호화 처리를 실시하여 부호화 화상 데이터를 얻고, 이 부호화 화상 데이터를 갖는 제2 부호화 스트림 ES를 생성한다.
이 경우, 인코드부(102e)는, 확장 레이어의 각 픽처의 화상 데이터를 부호화할 때에, 기본 레이어의 픽처를 참조 픽처로 하는 것이 가능해진다. 이 경우, 인코드부(102e)는, 예측 잔차를 작게 하기 위해서, 예측 블록(부호화 블록)마다, 확장 레이어 내의 예측 또는 기본 레이어 간의 예측을, 선택적으로 행한다.
인코드부(102e)는, 기본 레이어의 픽처를 참조 픽처로 할 때, 이 참조 픽처에 있어서의 참조 블록에, 기본 레이어의 화상 데이터를 확장 레이어의 화상 데이터에 대응시키기 위한 변환 처리를 하여 움직임 보상 예측 부호화 처리를 행한다.
변환 처리는, 구체적으로는, 참조 픽처의 블록의 해상도를 HD 해상도로부터 UHD 해상도로 하는 스케일링 처리이다. 또한, 이 실시 형태에 있어서는, 이 변환 처리에, 스케일링 처리가 된 화상 데이터에 화상의 둔한 에지를 보정하는 쉐이핑 처리도 더 포함한다. 이 쉐이핑 처리에 의해, 스케일링 처리가 됨에 따른 화상의 에지 흐려짐을 경감시킬 수 있어, 움직임 벡터를 구하기 위한 블록 매칭 처리의 효과를 높이는 것이 가능해진다.
도 5는, 인코드부(102e)의 주요부의 구성예를 나타내고 있다. 인코드부(102e)는, 레이어 내 예측부(151)와, 레이어 간 예측부(152)와, 변환 처리부(153)와, 선택부(154)와, 인코드 기능부(155)를 갖고 있다.
레이어 내 예측부(151)는, 확장 레이어의 화상 데이터 V1에 대해서, 이 화상 데이터 V1 내에서의 예측(레이어 내 예측)을 행하여 예측 잔차 데이터를 얻는다. 레이어 간 예측부(152)는, 확장 레이어의 화상 데이터 V1에 대해서, 기본 레이어의 화상 데이터 V2와의 사이에서의 예측(레이어 간 예측)을 행하여 예측 잔차 데이터를 얻는다.
변환 처리부(153)는, 레이어 간 예측부(152)에 있어서의 레이어 간 움직임 예측을 효율적으로 행하기 위해서, 상술한 변환 처리(스케일링 처리 및 쉐이핑 처리)를 행한다.
도 6은, 레이어 간 예측부(152)에 있어서의 레이어 간의 움직임 예측(제1 움직임 예측)의 개념을 나타내고 있다. 부호화 픽처(확장 레이어의 픽처)의 예측 블록(prediction block) 중, 2차원적으로 인접하는 2×2의 4개의 예측 블록을 1개의 벡터 블록(vector block)으로 한다.
레이어 간 예측부(152)는, 벡터 블록마다 참조 픽처(기본 레이어의 픽처) 내의 참조 블록(reference block)에 스케일링 처리 및 쉐이핑 처리를 실시하여 얻어진 라지 블록(large block)을 사용하여 블록 매칭 처리를 한다. 레이어 간 예측부(152)는, 참조 픽처의 탐색 범위 내에서 잔차 성분 파워(4개의 예측 블록의 잔차 파워 성분의 총합)가 최소로 되도록 탐색을 행하여, 레이어 간 움직임 벡터(제1 움직임 벡터)를 결정한다.
이 경우, 벡터 블록의 톱 레프트(top-left)의 기점 좌표를 (x0, y0)이라 한다. 그리고, 이 (x0, y0)을 참조 픽처의 해상도 좌표로 환산한 위치를 (x1, y1)이라 하고, 이 (x1, y1)로부터 참조 블록까지의 거리를 참조 픽처의 해상도를 베이스로 하여, 서브 픽셀 정밀도도 포함한 값으로 나타내는 2차원의 벡터(mvx, mvy)가 레이어 간 움직임 벡터로 된다.
도 7은, 스케일링 처리 및 쉐이핑 처리를 개략적으로 나타내고 있다. 참조 픽처로부터 판독된 M×N의 블록(참조 블록)에, 원하는 필터에 의해 스케일링 처리를 한다. 이어서, 스케일링 처리된 블록(라지 블록)에, 텍스처가 흐려지는 것을 방지하기 위한 에지 강조 등의 쉐이핑 처리를 한다.
또한, 레이어 간 예측부(152)는, 또한, 도 8에 도시한 바와 같이, 확장 레이어의 벡터 블록을 구성하는 각 예측 블록에 대해서 마이크로 벡터에 의한 라지 블록 내에서의 움직임 예측(제2 움직임 예측)을 한다. 이 경우, 레이어 간 움직임 벡터(제1 움직임 벡터)로 특정되는 참조 블록에 스케일링 처리 및 쉐이핑 처리를 실시하여 얻어진 라지 블록 내에 있어서 벡터 블록을 구성하는 상술한 4개의 예측 블록의 각각과의 블록 매칭 처리를 행하여, 각 예측 블록에 대응한, 라지 블록 내에서 예측 잔차 파워가 최소로 되는 위치를 나타내는 마이크로 벡터(제2 움직임 벡터)를 결정한다. 이 마이크로 벡터(제2 움직임 벡터)는, 부호화 픽처의 해상도를 베이스로 하고, 서브 픽셀 정밀도도 포함한 값으로 나타내는 2차원의 레이어 간 움직임 벡터로 된다.
레이어 간 예측부(152)는, 상술한 레이어 간의 움직임 예측(제1 움직임 예측)과 라지 블록 내에서의 움직임 예측(제2 움직임 예측)의 결과에 기초하여, 예측 블록마다 움직임 보상 예측 부호화 처리를 한다. 이 경우, 움직임 벡터 정보로서는, 레이어 간 움직임 벡터(제1 움직임 벡터)와 마이크로 벡터(제2 움직임 벡터)의 2개가 존재한다.
도 4로 되돌아가서, 시스템 인코더(103)는, 비디오 인코더(102)로 생성된 제1 부호화 스트림 BS 및 제2 부호화 스트림 ES에 대해서 PES 패킷화 및 TS 패킷화를 행하여, 트랜스포트 스트림 TS를 생성한다. 그리고, 송신부(104)는, 이 트랜스포트 스트림 TS를, 방송파 혹은 네트의 패킷에 실어, 수신 장치(200)에 송신한다.
도 9는, 비디오 인코더(102)의 보다 구체적인 구성예를 나타내고 있다. 비디오 인코더(102)는, 스케일링부(102a)와, 블록화 회로(121)와, 감산 회로(122)와, 움직임 예측/움직임 보상 회로(123)와, 정수 변환/양자화 회로(124)와, 역양자화/역정수 변환 회로(125)와, 가산 회로(126)와, 루프 필터(127)와, 메모리(128)와, 엔트로피 부호화 회로(129)를 갖고 있다. 여기서, 블록화 회로(121)로부터 엔트로피 부호화 회로(129)는, 인코드부(102b)(도 4 참조)를 구성하고 있다.
또한, 비디오 인코더(102)는, 블록화 회로(131)와, 감산 회로(132)와, 움직임 예측/움직임 보상 회로(133)와, 전환 회로(134)와, 정수 변환/양자화 회로(136)와, 역양자화/역정수 변환 회로(137)와, 가산 회로(138)와, 루프 필터(139)와, 메모리(140)와, 엔트로피 부호화 회로(141)와, 변환 처리부(153)를 갖고 있다. 여기서, 블록화 회로(131)로부터 엔트로피 부호화 회로(141) 및 변환 처리부(153)는, 인코드부(102e)(도 4 참조)를 구성하고 있다.
비디오 인코더(102)에 입력되는 120fps이고 UHD 해상도의 화상 데이터는, 스케일링부(102a)에 공급된다. 이 스케일링부(102a)에서는, 120fps이고 UHD 해상도의 화상 데이터에 스케일링 처리가 실시되고, 기본 레이어의 화상 데이터가 얻어진다. 이 기본 레이어의 화상 데이터는, 120fps이고 HD 해상도의 화상 데이터(도 2 참조), 혹은 60fps이고 HD 해상도의 화상 데이터(도 3 참조)이다.
스케일링부(102a)로 얻어지는 기본 레이어의 화상 데이터는, 블록화 회로(121)에 공급된다. 이 블록화 회로(121)에서는, 기본 레이어의 각 픽처의 화상 데이터가 부호화 처리 단위의 블록(MB: 매크로 블록)으로 분할된다. 각 블록은 감산 회로(122)에 순차 공급된다. 움직임 예측/움직임 보상 회로(123)에서는, 메모리(128)에 기억되어 있는 참조 픽처의 화상 데이터에 기초하여, 블록마다 움직임 보상된 예측 참조 블록이 얻어진다.
움직임 예측/움직임 보상 회로(123)로 얻어진 각 예측 참조 블록은, 감산 회로(122)에 순차 공급된다. 감산 회로(122)에서는, 블록화 회로(121)로 얻어진 블록마다 예측 참조 블록과의 사이에서 감산 처리가 행해지고, 예측 오차가 얻어진다. 이 블록마다의 예측 오차는, 정수 변환/양자화 회로(124)로 정수 변환(예를 들어 DCT 변환)된 후에 양자화된다.
정수 변환/양자화 회로(124)로 얻어진 블록마다의 양자화 데이터는, 역양자화/역정수 변환 회로(125)에 공급된다. 이 역양자화/역정수 변환 회로(125)에서는, 양자화 데이터에 대해서 역양자화가 실시되고, 추가로 역정수 변환이 실시되어, 예측 잔차가 얻어진다. 이 예측 오차는, 가산 회로(126)에 공급된다.
이 가산 회로(126)에서는, 예측 잔차에 움직임 보상된 예측 참조 블록이 가산되어, 블록이 얻어진다. 이 블록은, 루프 필터(127)로 양자화 노이즈가 제거된 후에, 메모리(128)에 축적된다.
또한, 정수 변환/양자화 회로(124)로 얻어진 블록마다의 양자화 데이터는, 엔트로피 부호화 회로(129)에 공급되어, 엔트로피 부호화가 행해지고, 제1 부호화 스트림 BS가 얻어진다. 또한, 이 제1 부호화 스트림 BS에는, 각 블록에 있어서의 움직임 벡터 등의 정보가, 수신측에 있어서의 복호화를 위해서 MB 헤더 정보로서 부가된다.
또한, 비디오 인코더(102)에 입력되는 120fps이고 UHD 해상도의 화상 데이터는, 확장 레이어의 화상 데이터로서, 블록화 회로(131)에 공급된다. 이 블록화 회로(131)에서는, 확장 레이어의 각 픽처의 화상 데이터가 부호화 처리 단위의 블록(MB: 매크로 블록)으로 분할된다. 각 블록은 감산 회로(132)에 순차 공급된다.
움직임 예측/움직임 보상 회로(133)에서는, 레이어 내 예측을 행하는 경우에는, 메모리(140)에 기억되어 있는 확장 레이어의 참조 픽처의 화상 데이터가 전환 회로(134)를 통해 공급되고, 블록 매칭 처리에 의해, 움직임 보상된 레이어 내 예측을 위한 예측 참조 블록이 얻어진다. 「움직임 벡터 1」은, 이때 결정된 움직임 벡터를 나타내고 있다.
또한, 움직임 예측/움직임 보상 회로(133)에서는, 레이어 간 예측을 행하는 경우에는, 메모리(128)에 기억되어 있는 기본 레이어의 참조 픽처의 화상 데이터가, 변환 처리부(153) 및 전환 회로(134)를 통해 공급되고, 블록 매칭 처리에 의해, 움직임 보상된 레이어 간 예측을 위한 예측 참조 블록이 얻어진다. 변환 처리부(153)에서는, 상술한 바와 같이 스케일링 처리 및 쉐이핑 처리가 행해진다(도 6, 도 7 참조). 「움직임 벡터 2」는, 이때 결정된 움직임 벡터를 나타내고 있으며, 레이어 간 움직임 벡터(제1 움직임 벡터)와 마이크로 벡터(제2 움직임 벡터)의 2개가 포함된다.
움직임 예측/움직임 보상 회로(133)로 얻어진 각 예측 참조 블록은, 감산 회로(132)에 순차 공급된다. 감산 회로(132)에서는, 블록화 회로(131)로 얻어진 블록마다, 예측 참조 블록과의 사이에서 감산 처리가 행해지고, 예측 오차가 얻어진다. 이 블록마다의 예측 오차는, 정수 변환/양자화 회로(136)로 정수 변환(예를 들어 DCT 변환)된 후에 양자화된다.
정수 변환/양자화 회로(136)로 얻어진 블록마다의 양자화 데이터는, 역양자화/역정수 변환 회로(137)에 공급된다. 이 역양자화/역정수 변환 회로(137)에서는, 양자화 데이터에 대해서 역양자화가 실시되고, 추가로 역정수 변환이 실시되어, 예측 잔차가 얻어진다. 이 블록마다의 예측 오차는, 가산 회로(138)에 공급된다.
이 가산 회로(138)에서는, 예측 잔차에 움직임 보상된 예측 참조 블록이 가산되어, 블록이 얻어진다. 이 블록은, 루프 필터(139)로 양자화 노이즈가 제거된 후에, 메모리(140)에 축적된다.
또한, 정수 변환/양자화 회로(136)로 얻어진 블록마다의 양자화 데이터는, 엔트로피 부호화 회로(141)에 공급되어, 엔트로피 부호화가 행해지고, 제2 부호화 스트림 ES가 얻어진다. 또한, 이 제2 부호화 스트림 ES에는, 각 블록에 있어서의 움직임 벡터 등의 정보가, 수신측에 있어서의 복호화를 위해서 MB 헤더 정보로서 부가된다.
도 10의 (a)는, 부호화 데이터를 컨테이너하는 슬라이스(Slice)의 NAL 유닛의 구조예를 나타내고 있다. 이 NAL 유닛은, 슬라이스·세그먼트·헤더(slice_segment_header())와, 슬라이스·세그먼트·데이터(slice_segment_data())를 포함한다. 이하, 슬라이스·세그먼트·헤더와 슬라이스·세그먼트·데이터의 구조예에 대하여 설명한다. 또한, 도 14는, 각 구조예에 있어서의 주요한 정보의 내용(시맨틱스)을 나타낸다.
도 10의 (b)는, 슬라이스·세그먼트·헤더의 구조예를 나타내고 있다. 「self_layer」의 필드는, 부호화 슬라이스가 속하는 레이어를 나타낸다. 예를 들어, 기본 레이어를 "0", 확장 레이어를 "1"이라 한다.
도 11은, 슬라이스·세그먼트·데이터의 구조예를 나타내고 있다. 「number_of_referencing」의 필드는, 예측 참조하는 수를 나타낸다. 이 수의 양만큼 움직임 벡터 등의 정보가 존재한다. 「ref_pic_layer_id」의 필드는, 참조 픽처의 레이어에 부여되는 식별 번호를 나타낸다. 예를 들어, 기본 레이어를 "0", 확장 레이어를 "1"이라 한다. 「ref_idx_li」의 필드는, 참조 픽처의 인덱스를 나타낸다.
「self_layer」와 「ref_pic_layer_id」가 상이한 경우, 「ref_pic_resolution」, 「ref_pic_scaling_ratio」, 「vector_prediction_unit(cod_blc_x, cod_blc_y, interlayer_mvx, interlayer_mvy)」,「micro_prediction_unit(cod_blc_x, cod_blc_y , microvec_x, microvec_y)」의 각필드가 존재한다. 「ref_pic_resolution」의 필드는, 참조 픽처의 해상도를 나타낸다. 「ref_pic_scaling_ratio」의 필드는, 참조 픽처를 스케일링하는 비율을 나타낸다.
도 12는, 「vector_prediction_unit(cod_blc_x, cod_blc_y, interlayer_mvx, interlayer_mvy)」와 「micro_prediction_unit(cod_blc_x, cod_blc_y, microvec_x, microvec_y)」의 필드의 구조예를 나타내고 있다. 여기서, 「cod_blc_x」는, 부호화 블록(예측 블록)의 "x" 포지션을 나타낸다. 또한, 「cod_blc_y」는, 부호화 블록(예측 블록)의 "y" 포지션을 나타낸다.
「vector_prediction_unit(cod_blc_x, cod_blc_y, interlayer_mvx, interlayer_mvy)」의 필드에는, 「scale_fil_horiz_type」, 「scale_fil_vert_type」, 「shape_horiz_type」, 「shape_vert_type」, 「vector_prediction_unit_size」, 「prediction_unit_size」, 「interlayer_mvx」, 「interlayer_mvy」의 각 필드가 존재한다.
「scale_fil_horiz_type」의 필드는, 수평 방향 스케일링·필터의 타입을 나타낸다. 「scale_fil_vert_type」의 필드는, 수직 방향 스케일링·필터의 타입을 나타낸다. 「shape_horiz_type」의 필드는, 흐려짐 제거의 수평 방향 필터 함수, 테이블을 나타낸다. 「shape_vert_type」의 필드는, 흐려짐 제거의 수직 방향 필터 함수, 테이블을 나타낸다.
「vector_prediction_unit_size」의 필드는, 벡터 블록(도 6 참조)의 사이즈를 나타낸다. 「prediction_unit_size」의 필드는, 예측 블록(도 6 참조)의 사이즈를 나타낸다. 「interlayer_mvx」의 필드는, 수평 방향 참조 픽처 해상도를 베이스로 한 서브 픽셀 정밀도를 포함하는 움직임 벡터를 나타낸다. 「interlayer_mvy」의 필드는, 수직 방향 참조 픽처 해상도를 베이스로 한 서브 픽셀 정밀도를 포함하는 움직임 벡터를 나타낸다.
「micro_prediction_unit(cod_blc_x, cod_blc_y, microvec_x, microvec_y)」의 필드에는, 「microvec_x」, 「microvec_y」의 각 필드가 존재한다. 「microvec_x」의 필드는, 라지 블록 내의 부호화 픽처 해상도를 베이스로 한 서브 픽셀 정밀도를 포함하는 수평 방향의 위치 오프셋 벡터를 나타낸다. 「microvec_y」의 필드는, 라지 블록 내의 부호화 픽처 해상도를 베이스로 한 서브 픽셀 정밀도를 포함하는 수직 방향의 위치 오프셋 벡터를 나타낸다.
도 11로 되돌아가서, 「self_layer」와 「ref_pic_layer_id」가 동일한 경우, 「prediction_unit(cod_blc_x, cod_blc_y, intralayer_mvx, intralayer_mvy)」의 필드가 존재한다. 도 13은, 「prediction_unit(cod_blc_x, cod_blc_y, intralayer_mvx, intralayer_mvy)」의 필드의 구조예를 나타내고 있다. 「prediction_unit_size」의 필드는, 예측 블록의 사이즈를 나타낸다. 「intralayer_mvx」의 필드는, 수평 방향 부호화 픽처 해상도를 베이스로 한 서브 픽셀 정밀도를 포함하는 움직임 벡터를 나타낸다. 「intralayer_mvy」의 필드는, 수직 방향 부호화 픽처 해상도를 베이스로 한 서브 픽셀 정밀도를 포함하는 움직임 벡터를 나타낸다.
도 11로 되돌아가서, 「residual_coding(cod_blc_x, cod_blc_y, transform_size)」의 필드에는, 부호화 픽처의 예측 블록마다 움직임 예측·움직임 보상에 의해 구해진 잔차 성분의 정수 변환에 의한 부호화 데이터가 배치된다. 「transform_size」는, 변환 처리의 블록 사이즈를 나타낸다.
또한, 전술한 바와 같이, 벡터 정밀도는, 서브 픽셀을 전제로 함으로써, 하나의 벡터 요소로서 표기하고 있지만, 이 벡터로 직접, 서브 픽셀의 벡터를 표현하도록 해도 되거나, 혹은 정수 정밀도의 벡터와 소수 정밀도의 벡터의 페어로 표현하도록 해도 된다. 대상의 요소는, 「interlayer_mvx」, 「interlayer_mvy」, 「intralayer_mvx」, 「intralayer_mvy」, 「microvec_x」, 「microvec_y」이다.
도 4에 도시한 송신 장치(100)의 동작을 간단히 설명한다. 비디오 인코더(102)에 입력되는 120fps이고 UHD 해상도의 화상 데이터는 스케일링부(102a)에 공급된다. 이 스케일링부(102a)에서는, 120fps이고 UHD 해상도의 화상 데이터에 스케일링 처리가 실시되고, 기본 레이어의 화상 데이터가 얻어진다. 이 기본 레이어의 화상 데이터는, 120fps이고 HD 해상도의 화상 데이터, 혹은 60fps이고 HD 해상도의 화상 데이터이다.
스케일링부(102a)로 얻어진 기본 레이어의 화상 데이터는, 인코드부(102b)에 공급된다. 인코드부(102b)에서는, 이 기본 레이어의 화상 데이터에 대해서, H. 264/AVC, H. 265/HEVC 등의 움직임 보상 예측 부호화 처리가 실시되어 부호화 화상 데이터가 얻어지고, 이 부호화 화상 데이터를 갖는 제1 부호화 스트림 BS가 생성된다.
또한, 비디오 인코더(102)에 입력되는 120fps이고 UHD 해상도의 화상 데이터, 즉 확장 레이어의 화상 데이터는, 인코드부(102e)에 공급된다. 인코드부(102e)에서는, 이 확장 레이어의 화상 데이터에 대해서, H. 264/AVC, H. 265/HEVC 등의 레이어 내, 레이어 간의 움직임 보상 예측 부호화가 실시되어 부호화 화상 데이터가 얻어지고, 이 부호화 화상 데이터를 갖는 제2 부호화 스트림 ES가 생성된다.
이 경우, 인코드부(102e)에서는, 확장 레이어의 각 픽처의 화상 데이터를 부호화할 때에, 기본 레이어의 픽처를 참조 픽처로 하는 것이 가능해진다. 이 경우, 기본 레이어의 픽처를 참조 픽처로 할 때, 이 참조 픽처에 있어서의 참조 블록에, 기본 레이어의 화상 데이터를 확장 레이어의 화상 데이터에 대응시키기 위한 변환 처리(스케일링 처리, 쉐이핑 처리)가 실시되어, 움직임 보상 예측 부호화 처리가 행해진다.
인코드부(102b)로 얻어진 제1 부호화 스트림 BS 및 인코드부(102e)로 얻어진 제2 부호화 스트림 ES는, 시스템 인코더(103)에 공급된다. 시스템 인코더(103)에서는, 비디오 인코더(102)로 생성된 제1 부호화 스트림 BS 및 제2 부호화 스트림 ES에 대해서 PES 패킷화 및 TS 패킷화가 행해지고, 트랜스포트 스트림 TS가 생성된다. 그리고, 송신부(104)에서는, 이 트랜스포트 스트림 TS가, 방송파 혹은 네트의 패킷에 실려, 수신 장치(200)에 송신된다.
「수신 장치의 구성」
도 15는, 수신 장치(200)의 구성예를 나타내고 있다. 이 수신 장치(200)는, 도 4의 송신 장치(100)의 구성예에 대응한 것이다. 이 수신 장치(200)는, 제어부(201)와, 수신부(202)와, 시스템 디코더(203)와, 비디오 디코더(204)와, 표시부(205)를 갖고 있다.
제어부(201)는, CPU(Central Processing Unit)를 구비하여 구성되고, 제어 프로그램에 기초하여, 수신 장치(200)의 각부의 동작을 제어한다. 수신부(202)는, 송신 장치(100)로부터 방송파 혹은 네트의 패킷에 실어 보내져 오는 트랜스포트 스트림 TS를 수신한다. 시스템 디코더(203)는, 이 트랜스포트 스트림 TS로부터, 제1 부호화 스트림 BS와 제2 부호화 스트림 ES를 추출한다.
비디오 디코더(204)는, 디코드부(204b) 및 디코드부(204e)를 갖는다. 디코드부(204b)는, 제1 부호화 스트림 BS에 복호화 처리를 실시하고, 기본 레이어의 화상 데이터를 얻는다. 디코드부(204b)는, 기본 레이어의 각 픽처의 화상 데이터를 복호화할 때에, 기본 레이어 내에서의 예측 보상을 행한다.
여기서, 기본 레이어의 구성을 도 2의 구성예에 나타내는 경우에는, 기본 레이어의 화상 데이터로서, 120fps이고 HD 해상도의 화상 데이터가 얻어진다. 한편, 기본 레이어의 구성을 도 3의 구성예에 나타내는 경우에는, 기본 레이어의 화상 데이터로서, 60fps이고 HD 해상도의 화상 데이터가 얻어진다.
디코드부(204e)는, 제2 부호화 스트림 BS에 복호화 처리를 실시하고, 확장 레이어의 화상 데이터로서, 120fps이고 4K 해상도의 화상 데이터를 얻는다. 디코드부(204e)는, 확장 레이어의 각 픽처의 화상 데이터를 복호화할 때에, 확장 레이어 내에서의 예측 보상 또는 기본 레이어 간에서의 예측 보상을, 선택적으로 행한다.
도 16은, 디코드부(204e)의 주요부의 구성예를 나타내고 있다. 이 디코드부(204e)는, 도 4의 인코드부(102e)의 처리와는 반대의 처리를 행한다. 이 디코드부(204e)는, 디코드 기능부(251)와, 레이어 내 예측 보상부(252)와, 레이어 간 예측 보상부(253)와, 변환 처리부(254)와, 선택부(255)를 갖고 있다.
디코드 기능부(251)는, 부호화 화상 데이터 CV에 대해서, 예측 보상 이외의 디코드 처리를 행하여 예측 잔차 데이터를 얻는다. 레이어 내 예측 보상부(252)는, 예측 잔차 데이터에 대해서, 확장 레이어의 화상 데이터 V1 내에서의 예측 보상(레이어 내 예측 보상)을 행하여, 화상 데이터 V1을 얻는다. 레이어 간 예측 보상부(253)는, 예측 잔차 데이터에 대해서, 참조 대상의 기본 레이어의 화상 데이터 V2와의 사이에서의 예측 보상(레이어 간 예측 보상)을 행하여, 화상 데이터 V1을 얻는다.
변환 처리부(254)는, 상세 설명은 생략하지만, 도 5의 인코드부(102e)의 변환 처리부(153)와 마찬가지로, 스케일링 처리 및 쉐이핑 처리를 한다. 이들 특성은, 부호화 화상 데이터 CV에 부가되어 보내져 오는 특성 정보(도 12 참조)에 의해, 송신측과 마찬가지로 설정된다. 선택부(255)는, 부호화 시에 있어서의 예측에 대응시켜, 부호화 블록(예측 블록)마다 레이어 내 예측 보상부(252)로 얻어지는 화상 데이터 V1 또는 레이어 간 예측 보상부(253)로 얻어지는 화상 데이터 V1을 선택적으로 취출하여, 출력으로 한다.
도 15로 되돌아가서, 표시부(205)는, 예를 들어 LCD(Liquid Crystal Display), 유기 EL(Organic Electro-Luminescence) 패널 등으로 구성되어 있다. 표시부(205)는, 표시 능력에 따라서, 디코드부(204b)로 얻어진 기본 레이어의 화상 데이터에 의한 화상, 혹은 디코드부(204e)로 얻어지는 확장 레이어의 화상 데이터에 의한 화상을 표시한다.
또한, 기본 레이어의 화상 데이터에 대응한 표시 능력을 갖는 수신 장치(200)에 있어서는, 시스템 디코더(203)에서는 제1 부호화 스트림 BS만을 추출하고, 비디오 디코더(204)에서는 당해 제1 부호화 스트림 BS의 복호화 처리만을 행하는 구성도 생각된다.
도 17은, 비디오 디코더(204)의 보다 구체적인 구성예를 나타내고 있다. 비디오 디코더(204)는, 엔트로피 복호화 회로(221)와, 역양자화/역정수 변환 회로(222)와, 움직임 보상 회로(223)와, 가산 회로(224)와, 루프 필터(225)와, 메모리(226)를 갖고 있다. 여기서, 엔트로피 복호화 회로(221)로부터 메모리(226)는, 디코드부(204b)(도 15 참조)를 구성하고 있다.
또한, 비디오 디코더(204)는, 엔트로피 복호화 회로(231)와, 역양자화/역정수 변환 회로(232)와, 움직임 보상 회로(233)와, 전환 회로(234, 235)와, 가산 회로(236)와, 루프 필터(237)와, 메모리(238)와, 변환 처리부(254)를 갖고 있다. 여기서, 엔트로피 복호화 회로(231)로부터 메모리(238) 및 변환 처리부(254)는, 디코드부(204e)(도 15 참조)를 구성하고 있다.
엔트로피 복호화 회로(221)에서는, 제1 부호화 스트림 BS에 엔트로피 복호화가 실시되어, 기본 레이어의 블록마다의 양자화 데이터가 얻어진다. 이 양자화 데이터는 역양자화/역정수 변환 회로(222)에 공급된다. 이 역양자화/역정수 변환 회로(222)에서는, 양자화 데이터에 대하여 역양자화가 실시되고, 추가로 역정수 변환이 실시되어, 예측 잔차가 얻어진다. 이 블록마다의 예측 오차는, 가산 회로(224)에 공급된다.
움직임 보상 회로(223)에서는, 메모리(226)에 기억되어 있는 참조 픽처의 화상 데이터에 기초하여, 움직임 보상된 보상 참조 블록이 얻어진다. 여기서, 움직임 보상은, MB 헤더 정보로서 포함되어 있는 움직임 벡터를 사용하여 행해진다. 가산 회로(224)에서는, 예측 잔차에 보상 참조 블록이 가산되어, 기본 레이어의 각 픽처의 화상 데이터를 구성하는 블록이 얻어진다.
이와 같이 가산 회로(224)로 얻어지는 블록은, 루프 필터(225)로 양자화 노이즈가 제거된 후에, 메모리(226)에 축적된다. 그리고, 이 메모리(226)로부터의 축적 데이터의 판독에 의해, 기본 레이어의 화상 데이터로서, 120fps이고 HD 해상도의 화상 데이터 혹은 60fps이고 HD 해상도의 화상 데이터가 얻어진다.
또한, 엔트로피 복호화 회로(231)에서는, 제2 부호화 스트림 ES에 엔트로피 복호화가 실시되어, 확장 레이어의 블록마다의 양자화 데이터가 얻어진다. 이 양자화 데이터는 역양자화/역정수 변환 회로(232)에 공급된다. 이 역양자화/역정수 변환 회로(232)에서는, 양자화 데이터에 대하여 역양자화가 실시되고, 추가로 역정수 변환이 실시되어, 예측 잔차가 얻어진다. 이 블록마다의 예측 오차는, 가산 회로(236)에 공급된다.
움직임 보상 회로(233)에서는, 확장 레이어 내에서의 예측 보상 혹은 기본 레이어 간에서의 예측 보상이, 선택적으로 행해진다. 확장 레이어 내에서의 예측 보상이 행해질 때, 움직임 보상 회로(233)에서는, 엔트로피 복호화 회로(231)로 MB 헤더 정보로부터 추출된 「움직임 벡터 1」과 메모리(238)에 기억되어 있는 참조 픽처의 화상 데이터에 기초하여, 움직임 보상된, 레이어 내 보상을 위한 보상 참조 블록이 얻어진다. 이 경우, 「움직임 벡터 1」은 엔트로피 복호화 회로(231)로부터 전환 회로(234)를 통해 움직임 보상 회로(233)에 공급되고, 참조 픽처의 화상 데이터는 메모리(238)로부터 전환 회로(235)를 통해 움직임 보상 회로(233)에 공급된다.
한편, 기본 레이어와의 사이에서의 예측 보상이 행해질 때, 움직임 보상 회로(233)에서는, 엔트로피 복호화 회로(231)로 MB 헤더 정보로부터 추출된 「움직임 벡터 2」와 메모리(226)에 기억되어 있는 참조 픽처의 화상 데이터에 기초하여, 움직임 보상된, 레이어 간 보상을 위한 보상 참조 블록이 얻어진다. 상술한 바와 같이, 「움직임 벡터 2」에는, 레이어간 움직임 벡터(제1 움직임 벡터)와 마이크로 벡터(제2 움직임 벡터)의 2개가 포함되어 있다.
이 경우, 「움직임 벡터 2」는 엔트로피 복호화 회로(231)로부터 전환 회로(234)를 통해 움직임 보상 회로(233)에 공급되고, 참조 픽처의 화상 데이터는 메모리(226)로부터 변환 처리부(254) 및 전환 회로(235)를 통해 움직임 보상 회로(233)에 공급된다. 변환 처리부(254)에서는, 상술한 바와 같이 인코더(102)에 있어서의 변환 처리부(153)(도 9 참조)에 있어서의와 마찬가지로, 스케일링 처리 및 쉐이핑 처리가 행해진다.
가산 회로(236)에서는, 예측 잔차에 움직임 보상 회로(233)로 얻어진 보상 참조 블록이 가산되어, 확장 레이어의 각 픽처의 화상 데이터를 구성하는 블록이 얻어진다. 이 블록은, 루프 필터(237)로 양자화 노이즈가 제거된 후에, 메모리(238)에 축적된다. 그리고, 이 메모리(238)로부터의 축적 데이터의 판독에 의해, 확장 레이어의 화상 데이터로서, 120fps이고 UHD 해상도의 화상 데이터가 얻어진다.
도 15에 도시한 수신 장치(200)의 동작을 간단히 설명한다. 수신부(202)에서는, 송신 장치(100)로부터 방송파 혹은 네트의 패킷에 실어 보내져 오는 트랜스포트 스트림 TS가 수신된다. 이 트랜스포트 스트림 TS는, 시스템 디코더(203)에 공급된다.
시스템 디코더(203)에서는, 이 트랜스포트 스트림 TS로부터, 제1 부호화 스트림 BS와 제2 부호화 스트림 ES가 추출된다. 제1 부호화 스트림 BS는, 비디오 디코더(204)의 디코드부(204b)에 공급된다. 또한, 제2 부호화 스트림 ES는, 비디오 디코더(204)의 디코드부(204e)에 공급된다.
디코드부(204b)에서는, 제1 부호화 스트림 BS에 복호화 처리가 실시되고, 기본 레이어의 화상 데이터로서, 120fps이고 HD 해상도의 화상 데이터 혹은 60fps이고 HD 해상도의 화상 데이터가 얻어진다. 이 디코드부(204b)에서는, 기본 레이어의 각 픽처의 화상 데이터가 복호화될 때에, 기본 레이어 내에서의 예측 보상이 행해진다.
디코드부(204e)에서는, 제2 부호화 스트림 ES에 복호화 처리가 실시되고, 확장 레이어의 화상 데이터로서, 120fps이고 4K 해상도의 화상 데이터가 얻어진다. 이 디코드부(204e)에서는, 확장 레이어의 각 픽처의 화상 데이터를 복호화할 때에, 확장 레이어 내에서의 예측 보상 또는 기본 레이어와의 사이에서의 예측 보상이, 선택적으로 행해진다.
표시부(205)가 기본 레이어의 화상 데이터에 의한 화상 표시만 가능한 경우, 표시부(205)에는 디코드부(204b)로 얻어지는 기본 레이어의 화상 데이터가 공급되고, 그것에 의한 화상의 표시가 이루어진다. 한편, 표시부(205)가 확장 레이어의 화상 데이터에 의한 화상 표시가 가능한 경우, 표시부(205)에는 디코드부(204e)로 얻어지는 확장 레이어의 화상 데이터가 공급되고, 그것에 의한 고품질(이 예에서는 고해상도)의 화상의 표시가 이루어진다.
이상 설명한 바와 같이, 도 1에 도시한 송수신 시스템(10)에 있어서, 송신 장치(100)는, 확장 레이어의 각 픽처의 화상 데이터를 부호화할 때에 기본 레이어의 픽처를 참조 픽처로 할 때, 참조 픽처의 블록에, 기본 레이어의 화상 데이터를 확장 레이어의 화상 데이터에 대응시키기 위한 스케일링 처리를 실시하여, 움직임 보상 예측 부호화 처리를 행하는 것이다. 그 때문에, 참조 블록을 고정밀도로 결정할 수 있어, 부호화 효율의 향상을 도모할 수 있다.
또한, 도 1에 도시한 송수신 시스템(10)에 있어서, 송신 장치(100)는, 스케일링 처리가 된 화상 데이터의 둔한 에지를 보정하는 쉐이핑 처리를 추가로 행하는 것이다. 그 때문에, 스케일링 처리가 됨에 따른 화상의 에지 흐려짐을 경감시킬 수 있어, 움직임 벡터를 구하기 위한 블록 매칭 처리의 효과를 높이는 것이 가능해진다.
또한, 도 1에 도시한 송수신 시스템(10)에 있어서, 송신 장치(100)는, 벡터 블록마다 스케일링 처리된 참조 블록을 사용한 블록 매칭 처리를 행하여 제1 움직임 벡터를 결정하고, 스케일링 처리된 참조 블록 내에 있어서 예측 블록의 각각과의 블록 매칭 처리를 행하여 각 예측 블록에 대응한 제2 움직임 벡터를 결정하고, 움직임 보상 예측 부호화 처리를 행하는 것이다. 그 때문에, 각 예측 블록에 대응한 움직임 벡터를 고정밀도로 구하는 것이 가능하게 되어, 부호화 효율의 향상을 도모하는 것이 가능해진다.
<2. 변형예>
또한, 상술한 실시 형태에 있어서는, 기본 레이어의 화상 데이터가 60㎐이고 HD 해상도의 화상 데이터이며, 확장 레이어의 화상 데이터가 120㎐이고 UHD(4K) 해상도의 화상인 스케일러블 부호화의 예를 나타내었다. 그러나, 본 기술은, 그 밖의 스케일러블 부호화에도 마찬가지로 적용할 수 있다.
예를 들어, 기본 레이어의 화상 데이터가 60㎐이고 SDR(통상 다이내믹 레인지)의 화상 데이터이며, 확장 레이어의 화상 데이터가 120㎐이고 HDR(하이 다이내믹 레인지)의 화상 데이터인 스케일러블 부호화여도 된다.
그 경우, 예를 들어 도 9의 인코더(102)에 있어서, 스케일링부(102a)에 있어서는, 해상도의 스케일링 대신에 다이내믹 레인지의 스케일링, 즉 하이 다이내믹 레인지로부터 통상 다이내믹 레인지로 변환이, 혹은 해상도의 스케일링에 더하여 다이내믹 레인지의 스케일링에 대한 변환이 행해진다. 이에 의해, 인코더(102)에 입력되는 120㎐이고 UHD의 HDR의 화상 데이터로부터, 120㎐이고 UHD의 SDR의 화상 데이터, 혹은 60㎐이고 UHD의 SDR의 화상 데이터가, 혹은 120㎐이고 HD의 SDR의 화상 데이터, 혹은 60㎐이고 HD의 SDR의 화상 데이터가 얻어진다.
또한, 변환 처리부(153)에서는, 상술한 실시 형태에 있어서의 해상도의 스케일링 처리와 쉐이핑 처리 대신에 통상 다이내믹 레인지의 참조 픽처의 블록 화소값을 하이 다이내믹 레인지의 화소값에 대응하도록 변환하는 처리가 행해진다.
이 변환 처리에 대하여, 도 18의 HDR 특성, SDR 특성을 나타내는 도면을 이용하여, 다시 설명한다. 곡선 a는, SDR 변환 커브를 나타내고 있다. 곡선 b는, HDR 변환 커브를 나타내고 있다. 변환 처리에서는, SDR의 부호화값의 곡선 a에 대해서, 휘도 레벨이 동등하게 되도록, HDR의 부호화 값의 곡선 b를 트레이스하는 곡선 c가 되도록, 화소값 변환이 행해진다. 이 변환 특성은, 함수 f(x)로 정의할 수 있지만, 테이블 정보로서 정의하는 것도 가능하다.
또한, 상술한 실시 형태에 있어서는, 송신 장치(100)와 수신 장치(200)를 포함하는 송수신 시스템(10)을 나타내었지만, 본 기술을 적용할 수 있는 송수신 시스템의 구성은, 이것으로 한정되는 것은 아니다. 예를 들어, 수신 장치(200)의 부분이, 예를 들어(HDMI(High-Definition Multimedia Interface) 등의 디지털 인터페이스로 접속된 셋톱 박스 및 모니터의 구성 등이어도 된다. 또한, 「HDMI」는 등록상표이다.
또한, 상술한 실시 형태에 있어서는, 컨테이너가 트랜스포트 스트림(MPEG-2 TS)인 예를 나타내었다. 그러나, 본 기술은, 인터넷 등의 네트워크를 이용하여 수신 단말기에 배신되는 구성의 시스템에도 마찬가지로 적용할 수 있다. 인터넷의 배신에서는, MP4나 그 이외의 포맷의 컨테이너에서 배신되는 경우가 많다. 즉, 컨테이너로서는, 디지털 방송 규격으로 채용되어 있는 트랜스포트 스트림(MPEG-2 TS) 혹은 MMT(MPEG Media Transport), 인터넷 배신에서 사용되고 있는 ISOBMFF(MP4) 등의 다양한 포맷의 컨테이너가 해당된다.
또한, 본 기술은, 이하와 같은 구성을 취할 수도 있다.
(1) 기본 레이어의 각 픽처의 화상 데이터를 부호화하여 제1 부호화 스트림을 생성함과 함께, 확장 레이어의 각 픽처의 화상 데이터를 부호화하여 제2 부호화 스트림을 생성하는 화상 부호화부와,
상기 제1 부호화 스트림 및 상기 제2 부호화 스트림을 포함하는 컨테이너를 송신하는 송신부를 구비하고,
상기 화상 부호화부는,
상기 확장 레이어의 각 픽처의 화상 데이터를 부호화할 때에 상기 기본 레이어의 픽처를 참조 픽처로 하는 것이 가능하게 되고,
상기 기본 레이어의 픽처를 참조 픽처로 할 때, 해당 참조 픽처의 블록에 기본 레이어의 화상 데이터를 확장 레이어의 화상 데이터에 대응시키기 위한 변환 처리를 실시하여, 움직임 보상 예측 부호화 처리를 행하는
송신 장치.
(2) 상기 확장 레이어의 각 픽처의 화상 데이터에는, 상기 기본 레이어의 각 픽처와는 상이한 표시 타이밍을 갖는 픽처의 화상 데이터가 포함되는
상기 (1)에 기재된 송신 장치.
(3) 상기 기본 레이어의 화상 데이터는 제1 해상도의 화상 데이터이며, 상기 확장 레이어의 화상 데이터는 상기 제1 해상도보다 큰 제2 해상도의 화상 데이터이며,
상기 화상 부호화부는, 상기 변환 처리로서, 상기 참조 픽처에 있어서의 참조 블록의 해상도를 상기 제1 해상도로부터 상기 제2 해상도로 하는 스케일링 처리를 행하는
상기 (1) 또는 (2)에 기재된 송신 장치.
(4) 상기 화상 부호화부는, 상기 변환 처리로서, 상기 스케일링 처리가 된 화상 데이터에 화상의 둔한 에지를 보정하는 쉐이핑 처리를 추가로 행하는
상기 (3)에 기재된 송신 장치.
(5) 상기 제1 해상도는 HD 해상도이며, 상기 제2 해상도는 UHD 해상도인
상기 (3) 또는 (4)에 기재된 송신 장치.
(6) 상기 UHD 해상도는 4K 해상도이며,
상기 화상 부호화부는,
상기 확장 레이어의 픽처의 2차원적으로 인접하는 2×2의 4개의 예측 블록으로 구성되는 벡터 블록마다 상기 스케일링 처리된 참조 블록을 사용한 블록 매칭 처리를 행하여 제1 움직임 벡터를 결정하고, 상기 스케일링 처리된 참조 블록 내에 있어서 상기 4개의 예측 블록의 각각과의 블록 매칭 처리를 행하여 각 예측 블록에 대응한 제2 움직임 벡터를 결정하여, 상기 움직임 보상 예측 부호화 처리를 행하는
상기 (5)에 기재된 송신 장치.
(7) 상기 기본 레이어의 화상 데이터는 제1 다이내믹 레인지의 화상 데이터이며, 상기 확장 레이어의 화상 데이터는 상기 제1 다이내믹 레인지보다 넓은 제2 다이내믹 레인지의 화상 데이터이며,
상기 화상 부호화부는, 상기 변환 처리로서, 상기 참조 픽처의 블록 화소값을 상기 제2 다이내믹 레인지의 화소값에 대응하도록 변환하는 처리를 행하는
상기 (1) 내지 (6) 중 어느 것에 기재된 송신 장치.
(8) 화상 부호화부가, 기본 레이어의 각 픽처의 화상 데이터를 부호화하여 제1 부호화 스트림을 생성함과 함께, 확장 레이어의 각 픽처의 화상 데이터를 부호화하여 제2 부호화 스트림을 생성하는 화상 부호화 스텝과,
송신부가, 상기 제1 부호화 스트림 및 상기 제2 부호화 스트림을 포함하는 컨테이너를 송신하는 송신 스텝을 갖고,
상기 화상 부호화 스텝에서는,
상기 확장 레이어의 각 픽처의 화상 데이터를 부호화할 때에 상기 기본 레이어의 픽처를 참조 픽처로 하는 것이 가능하게 되고,
상기 기본 레이어의 픽처를 참조 픽처로 할 때, 해당 참조 픽처의 블록에, 기본 레이어의 화상 데이터를 확장 레이어의 화상 데이터에 대응시키기 위한 변환 처리를 실시하여 움직임 보상 예측 부호화 처리를 행하는
송신 방법.
(9) 기본 레이어의 각 픽처의 화상 데이터가 부호화되어 얻어진 제1 부호화 스트림과 확장 레이어의 각 픽처의 화상 데이터가 부호화되어 얻어진 제2 부호화 스트림을 포함하는 컨테이너를 수신하는 수신부를 구비하고,
상기 확장 레이어의 각 픽처의 화상 데이터의 부호화에서는 상기 기본 레이어의 픽처를 참조 픽처로 하는 것이 가능하게 되고, 해당 기본 레이어의 픽처가 참조 픽처로 될 때, 해당 참조 픽처의 블록에 기본 레이어의 화상 데이터를 확장 레이어의 화상 데이터에 대응시키기 위한 변환 처리가 실시되어 움직임 보상 예측 부호화 처리가 행해지고 있으며,
표시 능력에 따라서, 상기 제1 부호화 스트림 또는 상기 제1 부호화 스트림 및 상기 제2 부호화 스트림을 처리하여 표시용 화상 데이터를 얻는 처리부를 더 구비하는
수신 장치.
(10) 수신부가, 기본 레이어의 각 픽처의 화상 데이터가 부호화되어 얻어진 제1 부호화 스트림과 확장 레이어의 각 픽처의 화상 데이터가 부호화되어 얻어진 제2 부호화 스트림을 포함하는 컨테이너를 수신하는 수신 스텝을 갖고,
상기 확장 레이어의 각 픽처의 화상 데이터의 부호화에서는 상기 기본 레이어의 픽처를 참조 픽처로 하는 것이 가능하게 되고, 해당 기본 레이어의 픽처가 참조 픽처로 될 때, 해당 참조 픽처의 블록에 기본 레이어의 화상 데이터를 확장 레이어의 화상 데이터에 대응시키기 위한 변환 처리가 실시되어 움직임 보상 예측 부호화 처리가 행해지고 있으며,
처리부가, 표시 능력에 따라서, 상기 제1 부호화 스트림 또는 상기 제1 부호화 스트림 및 상기 제2 부호화 스트림을 처리하여 표시용 화상 데이터를 얻는 처리 스텝을 더 갖는
수신 방법.
본 기술의 주된 특징은, 확장 레이어의 각 픽처의 화상 데이터를 부호화할 때에 기본 레이어의 픽처를 참조 픽처로 할 때, 참조 픽처의 블록에, 기본 레이어의 화상 데이터를 확장 레이어의 화상 데이터에 대응시키기 위한 변환 처리를 실시하고, 움직임 보상 예측 부호화 처리를 행함으로써, 참조 블록을 고정밀도로 결정할 수 있어, 부호화 효율의 향상을 도모하도록 한 것이다(도 3, 도 6 참조).
10: 송수신 시스템
100: 송신 장치
101: 제어부
102: 비디오 인코더
102a: 스케일링부
102b, 102e: 인코드부
103: 시스템 인코더
104: 송신부
121: 블록화 회로
122: 감산 회로
123: 움직임 예측/움직임 보상 회로
124: 정수 변환/양자화 회로
125: 역양자화/역정수 변환 회로
126: 가산 회로
127: 루프 필터
128: 메모리
129: 엔트로피 부호화 회로
131: 블록화 회로
132: 감산 회로
133: 움직임 예측/움직임 보상 회로
134: 전환 회로
135: 변환 처리부
136: 정수 변환/양자화 회로
137: 역양자화/역정수 변환 회로
138: 가산 회로
139: 루프 필터
140: 메모리
141: 엔트로피 부호화 회로
151: 레이어 내 예측부
152: 레이어 간 예측부
153: 변환 처리부
154: 선택부
155: 인코드 기능부
200: 수신 장치
201: 제어부
202: 수신부
203: 시스템 디코더
204: 비디오 디코더
204b: 디코드부
204e: 디코드부
205: 표시부
221: 엔트로피 복호화 회로
222: 역양자화/역정수 변환 회로
223: 움직임 보상 회로
224: 가산 회로
225: 루프 필터
226: 메모리
231: 엔트로피 복호화 회로
232: 역양자화/역정수 변환 회로
233: 움직임 보상 회로
234, 235: 전환 회로
236: 가산 회로
237: 루프 필터
238: 메모리
251: 디코드 기능부
252: 레이어 내 예측 보상부
253: 레이어 간 예측 보상부
254: 변환 처리부
255: 선택부

Claims (10)

  1. 기본 레이어의 각 픽처의 화상 데이터를 부호화하여 제1 부호화 스트림을 생성함과 함께, 확장 레이어의 각 픽처의 화상 데이터를 부호화하여 제2 부호화 스트림을 생성하는 화상 부호화부와,
    상기 제1 부호화 스트림 및 상기 제2 부호화 스트림을 포함하는 컨테이너를 송신하는 송신부를 구비하고,
    상기 화상 부호화부는,
    상기 확장 레이어의 각 픽처의 화상 데이터를 부호화할 때에 상기 기본 레이어의 픽처를 참조 픽처로 하는 것이 가능하게 되고,
    상기 기본 레이어의 픽처를 참조 픽처로 할 때, 해당 참조 픽처의 블록에 기본 레이어의 화상 데이터를 확장 레이어의 화상 데이터에 대응시키기 위한 변환 처리를 실시하여, 움직임 보상 예측 부호화 처리를 행하는
    송신 장치.
  2. 제1항에 있어서,
    상기 확장 레이어의 각 픽처의 화상 데이터에는, 상기 기본 레이어의 각 픽처와는 다른 표시 타이밍을 갖는 픽처의 화상 데이터가 포함되는
    송신 장치.
  3. 제1항에 있어서,
    상기 기본 레이어의 화상 데이터는 제1 해상도의 화상 데이터이며, 상기 확장 레이어의 화상 데이터는 상기 제1 해상도보다 큰 제2 해상도의 화상 데이터이며,
    상기 화상 부호화부는, 상기 변환 처리로서, 상기 참조 픽처에 있어서의 참조 블록의 해상도를 상기 제1 해상도로부터 상기 제2 해상도로 하는 스케일링 처리를 행하는
    송신 장치.
  4. 제3항에 있어서,
    상기 화상 부호화부는, 상기 변환 처리로서, 상기 스케일링 처리가 된 화상 데이터에 화상의 둔한 에지를 보정하는 쉐이핑 처리를 추가로 행하는
    송신 장치.
  5. 제3항에 있어서,
    상기 제1 해상도는 HD 해상도이며, 상기 제2 해상도는 UHD 해상도인
    송신 장치.
  6. 제5항에 있어서,
    상기 UHD 해상도는 4K 해상도이며,
    상기 화상 부호화부는,
    상기 확장 레이어의 픽처의 2차원적으로 인접하는 2×2의 4개의 예측 블록으로 구성되는 벡터 블록마다 상기 스케일링 처리된 참조 블록을 사용한 블록 매칭 처리를 행해서 제1 움직임 벡터를 결정하고, 상기 스케일링 처리된 참조 블록 내에 있어서 상기 4개의 예측 블록의 각각과의 블록 매칭 처리를 행하여 각 예측 블록에 대응한 제2 움직임 벡터를 결정하고, 상기 움직임 보상 예측 부호화 처리를 행하는
    송신 장치.
  7. 제1항에 있어서,
    상기 기본 레이어의 화상 데이터는 제1 다이내믹 레인지의 화상 데이터이며, 상기 확장 레이어의 화상 데이터는 상기 제1 다이내믹 레인지보다 넓은 제2 다이내믹 레인지의 화상 데이터이며,
    상기 화상 부호화부는, 상기 변환 처리로서, 상기 참조 픽처의 블록 화소값을 상기 제2 다이내믹 레인지의 화소값에 대응하도록 변환하는 처리를 행하는
    송신 장치.
  8. 화상 부호화부가, 기본 레이어의 각 픽처의 화상 데이터를 부호화하여 제1 부호화 스트림을 생성함과 함께, 확장 레이어의 각 픽처의 화상 데이터를 부호화하여 제2 부호화 스트림을 생성하는 화상 부호화 스텝과,
    송신부가, 상기 제1 부호화 스트림 및 상기 제2 부호화 스트림을 포함하는 컨테이너를 송신하는 송신 스텝을 갖고,
    상기 화상 부호화 스텝에서는,
    상기 확장 레이어의 각 픽처의 화상 데이터를 부호화할 때에 상기 기본 레이어의 픽처를 참조 픽처로 하는 것이 가능하게 되고,
    상기 기본 레이어의 픽처를 참조 픽처로 할 때, 해당 참조 픽처의 블록에 기본 레이어의 화상 데이터를 확장 레이어의 화상 데이터에 대응시키기 위한 변환 처리를 실시하여 움직임 보상 예측 부호화 처리를 행하는
    송신 방법.
  9. 기본 레이어의 각 픽처의 화상 데이터가 부호화되어 얻어진 제1 부호화 스트림과 확장 레이어의 각 픽처의 화상 데이터가 부호화되어 얻어진 제2 부호화 스트림을 포함하는 컨테이너를 수신하는 수신부를 구비하고,
    상기 확장 레이어의 각 픽처의 화상 데이터의 부호화에서는 상기 기본 레이어의 픽처를 참조 픽처로 하는 것이 가능하게 되고, 해당 기본 레이어의 픽처가 참조 픽처로 될 때, 해당 참조 픽처의 블록에 기본 레이어의 화상 데이터를 확장 레이어의 화상 데이터에 대응시키기 위한 변환 처리가 실시되어 움직임 보상 예측 부호화 처리가 행해지고 있으며,
    표시 능력에 따라서, 상기 제1 부호화 스트림 또는 상기 제1 부호화 스트림 및 상기 제2 부호화 스트림을 처리하여 표시용 화상 데이터를 얻는 처리부를 더 구비하는
    수신 장치.
  10. 수신부가, 기본 레이어의 각 픽처의 화상 데이터가 부호화되어 얻어진 제1 부호화 스트림과 확장 레이어의 각 픽처의 화상 데이터가 부호화되어 얻어진 제2 부호화 스트림을 포함하는 컨테이너를 수신하는 수신 스텝을 갖고,
    상기 확장 레이어의 각 픽처의 화상 데이터의 부호화에서는 상기 기본 레이어의 픽처를 참조 픽처로 하는 것이 가능하게 되고, 해당 기본 레이어의 픽처가 참조 픽처로 될 때, 해당 참조 픽처의 블록에 기본 레이어의 화상 데이터를 확장 레이어의 화상 데이터에 대응시키기 위한 변환 처리가 실시되어 움직임 보상 예측 부호화 처리가 행해지고 있으며,
    처리부가, 표시 능력에 따라서, 상기 제1 부호화 스트림 또는 상기 제1 부호화 스트림 및 상기 제2 부호화 스트림을 처리하여 표시용 화상 데이터를 얻는 처리 스텝을 더 갖는
    수신 방법.
KR1020197021553A 2017-02-03 2018-01-31 송신 장치, 송신 방법, 수신 장치 및 수신 방법 KR20190112723A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017018916 2017-02-03
JPJP-P-2017-018916 2017-02-03
PCT/JP2018/003197 WO2018143268A1 (ja) 2017-02-03 2018-01-31 送信装置、送信方法、受信装置および受信方法

Publications (1)

Publication Number Publication Date
KR20190112723A true KR20190112723A (ko) 2019-10-07

Family

ID=63039770

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197021553A KR20190112723A (ko) 2017-02-03 2018-01-31 송신 장치, 송신 방법, 수신 장치 및 수신 방법

Country Status (8)

Country Link
US (1) US20190356926A1 (ko)
EP (1) EP3579559A4 (ko)
JP (1) JP7178907B2 (ko)
KR (1) KR20190112723A (ko)
CN (1) CN110226328A (ko)
CA (1) CA3051660A1 (ko)
MX (1) MX2019008890A (ko)
WO (1) WO2018143268A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220279204A1 (en) * 2021-02-26 2022-09-01 Qualcomm Incorporated Efficient video encoder architecture
CN115801196B (zh) * 2023-01-31 2023-07-04 北京云成金融信息服务有限公司 一种低延迟的数据传输方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008543142A (ja) 2005-05-24 2008-11-27 ノキア コーポレイション デジタル放送における階層的な送受信のための方法および装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002209213A (ja) * 2000-12-28 2002-07-26 Sony Corp 動きベクトル検出方法及び装置、並びに画像符号化装置
KR20040054746A (ko) * 2001-10-26 2004-06-25 코닌클리케 필립스 일렉트로닉스 엔.브이. 공간 스케일가능 압축 방법 및 장치
US7940844B2 (en) 2002-06-18 2011-05-10 Qualcomm Incorporated Video encoding and decoding techniques
JP4844456B2 (ja) * 2006-06-15 2011-12-28 日本ビクター株式会社 映像信号階層符号化装置、映像信号階層符号化方法、及び映像信号階層符号化プログラム
US8369415B2 (en) * 2008-03-06 2013-02-05 General Instrument Corporation Method and apparatus for decoding an enhanced video stream
KR101346008B1 (ko) * 2009-03-13 2013-12-31 돌비 레버러토리즈 라이쎈싱 코오포레이션 고 동적 범위, 가시 동적 범위, 및 광색역 비디오의 층상 압축
CN108337522B (zh) * 2011-06-15 2022-04-19 韩国电子通信研究院 可伸缩解码方法/设备、可伸缩编码方法/设备和介质
EP2870757A1 (en) * 2012-07-09 2015-05-13 VID SCALE, Inc. Codec architecture for multiple layer video coding
BR112014029917A2 (pt) * 2013-04-05 2017-07-25 Sony Corp aparelho e método de processamento de imagem.
JP6605789B2 (ja) * 2013-06-18 2019-11-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置、および、受信装置
CN105659601A (zh) * 2013-10-11 2016-06-08 索尼公司 图像处理装置和图像处理方法
US9819947B2 (en) * 2014-01-02 2017-11-14 Vid Scale, Inc. Methods, apparatus and systems for scalable video coding with mixed interlace and progressive content

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008543142A (ja) 2005-05-24 2008-11-27 ノキア コーポレイション デジタル放送における階層的な送受信のための方法および装置

Also Published As

Publication number Publication date
JP7178907B2 (ja) 2022-11-28
US20190356926A1 (en) 2019-11-21
MX2019008890A (es) 2019-09-10
CN110226328A (zh) 2019-09-10
WO2018143268A1 (ja) 2018-08-09
EP3579559A4 (en) 2020-02-19
JPWO2018143268A1 (ja) 2019-11-21
CA3051660A1 (en) 2018-08-09
EP3579559A1 (en) 2019-12-11

Similar Documents

Publication Publication Date Title
US10715779B2 (en) Sharing of motion vector in 3D video coding
CN110024403B (zh) 一种编解码视频数据的方法、装置和计算机可读存储媒体
CN107409209B (zh) 用于线性模型预测模式的降取样处理
US9426498B2 (en) Real-time encoding system of multiple spatially scaled video based on shared video coding information
US20060013308A1 (en) Method and apparatus for scalably encoding and decoding color video
TW201342883A (zh) 在使用深度之３ｄ視訊寫碼中的多重假設差異向量建立
TW201440504A (zh) 視差向量推導
TW201515440A (zh) 多層內容脈絡中之影像塊及波前處理
KR20120028843A (ko) 계층적 영상 부호화/복호화 방법 및 장치
JP7164710B2 (ja) ビデオ復号化方法及びビデオ・デコーダ
CN106341622B (zh) 一种多路视频流的编码方法及装置
JP5560009B2 (ja) 動画像符号化装置
TW201429263A (zh) 基於高效率視訊寫碼之視訊資訊之可縮放寫碼之裝置及方法
JP2022527701A (ja) アフィンコーディングされたブロックに対するオプティカルフローを用いた予測洗練化のための方法および装置
CN114902661A (zh) 用于跨分量线性模型预测的滤波方法和装置
JP7231759B2 (ja) オプティカルフローベースのビデオフレーム間予測
TWI543590B (zh) 用於可縮放視訊寫碼之空間運動向量縮放
JP7178907B2 (ja) 送信装置、送信方法、受信装置および受信方法
EP2005760B1 (en) Method of predicting motion and texture data
KR20240050412A (ko) 비디오 처리를 위한 방법, 기기 및 매체
US11363300B2 (en) Coding apparatus, coding method, decoding apparatus, decoding method, transmitting apparatus, and receiving apparatus
JP2011015262A (ja) 画像復号化装置
CN113545060A (zh) 视频编码中的空瓦片编码
KR20230017238A (ko) 인터 레이어 예측 여부에 기반하여 움직임 정보를 결정하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
KR101336104B1 (ko) 모션과 텍스처 데이터를 예측하는 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X601 Decision of rejection after re-examination