KR20200077517A

KR20200077517A - 송신 장치, 송신 방법, 수신 장치 및 수신 방법

Info

Publication number: KR20200077517A
Application number: KR1020207010768A
Authority: KR
Inventors: 이쿠오 츠카고시
Original assignee: 소니 주식회사
Priority date: 2017-11-02
Filing date: 2018-10-17
Publication date: 2020-06-30
Also published as: US20200336770A1; EP3706422A1; CA3080307A1; CN111164981A; WO2019087789A1; MX2020004273A; EP3706422A4

Abstract

혼합 처리된 동화상 데이터를 송신하는 경우에, 수신측에 있어서, 역혼합 처리를 적절하고도 용이하게 행한다. 혼합 처리된 동화상 데이터를 송신하는 경우에, 혼합 화상의 픽처의 부호화 화상 데이터에 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보를 삽입한다. 또한, 혼합 처리된 동화상 데이터를 디지털 인터페이스로 송신하는 경우, 혼합 화상의 픽처의 화상 데이터에 대응하여 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보도 송신한다. 수신측에 있어서, 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보에 기초하여 역혼합 처리를 적절하고도 용이하게 행할 수 있다.

Description

송신 장치, 송신 방법, 수신 장치 및 수신 방법

본 기술은 송신 장치, 송신 방법, 수신 장치 및 수신 방법에 관한 것이며, 상세하게는 혼합 처리된 동화상 데이터를 송신하는 송신 장치 등에 관한 것이다.

근년, 고속 프레임 셔터로 하이 프레임 레이트 촬영을 행하는 카메라가 알려져 있다. 예를 들어, 노멀 프레임 레이트가 60Hz, 50Hz 등인 것에 비해, 하이 프레임 레이트는 그 수배 혹은 수십배, 나아가 수백배의 프레임 레이트로 된다.

하이 프레임 레이트의 서비스를 행하는 경우, 고속 프레임 셔터로 카메라 촬영된 동화상 데이터를, 그보다 저주파수의 동화상 시퀀스로 변환하여 송신하는 것이 고려된다. 그러나, 고속 프레임 셔터의 화상은, 움직임 흐려짐을 개선하고, 첨예도가 높은 화질을 실현하는 효과가 있는 한편, 배신되는 하이 프레임 레이트에 비하여 보다 낮은 프레임 레이트의 동화상 시퀀스를 표시하는 수신 재생측에 있어서, 종래의 프레임 보간 기술에 화질적인 문제를 야기하는 요소를 갖는다.

고속 프레임 셔터로 촬영된 첨예도가 높은 화상을 사용한 프레임 보간은, 움직임 벡터 탐색이 적합한 경우와 적합하지 않은 경우의 차가 커진다. 그 때문에, 양자의 차가 현저한 화질 열화로 되어 표시되기 때문이다. 프레임 보간 시에, 움직임 벡터 탐색의 정밀도를 향상시키기 위해서는 고부하 연산이 요구되는데, 수신기 비용에 영향을 미친다.

본 출원인은, 우선, 고속 프레임 셔터로 촬영된 화상에 의한 소재를 변환하여, 노멀 프레임 레이트의 디코드를 행하는 종래의 수신기에서 일정 이상의 화상 품질로 표시시키는 기술을 제안하였다(특허문헌 1 참조).

국제 공개 제2015/076277호

본 기술의 목적은, 혼합 처리된 동화상 데이터를 송신하는 경우에, 수신측에 있어서, 역혼합 처리를 적절하고도 용이하게 행할 수 있도록 하는 데 있다.

본 기술의 개념은,

제1 프레임 레이트의 제1 동화상 데이터의 각 픽처의 화상 데이터에 픽처별로 독립된 혼합 비율로 주변의 픽처의 화상 데이터를 혼합하는 처리를 실시하여 상기 제1 프레임 레이트의 제2 동화상 데이터를 얻는 처리부를 구비하고,

상기 제2 동화상 데이터를 구성하는 각 픽처의 화상 데이터 중 적어도 상기 제1 프레임 레이트보다 낮은 제2 프레임 레이트에 대응한 픽처의 화상 데이터는 주변 픽처의 화상 데이터와 혼합된 상태로 되고,

상기 제2 프레임 레이트에 대응한 픽처의 화상 데이터를 부호화하여 기본 스트림을 얻음과 함께, 나머지 픽처의 화상 데이터를 부호화하여 소정수의 확장 스트림을 얻는 부호화부와,

상기 기본 스트림 및 상기 소정수의 확장 스트림의 부호화 화상 데이터에 혼합 비율의 정보와 혼합 대상 픽처를 나타내는 정보를 삽입하는 삽입부와,

상기 정보가 삽입된 상기 기본 스트림 및 상기 소정수의 확장 스트림을 포함하는 컨테이너를 송신하는 송신부를 추가로 구비하는

송신 장치에 있다.

본 기술에 있어서, 제1 프레임 레이트의 제1 동화상 데이터의 각 픽처의 화상 데이터에 픽처별로 독립된 혼합 비율로 주변의 픽처의 화상 데이터를 혼합하는 처리가 실시되어 제1 프레임 레이트의 제2 동화상 데이터가 얻어진다. 여기서, 제2 동화상 데이터를 구성하는 각 픽처의 화상 데이터 중 적어도 제1 프레임 레이트보다 낮은 제2 프레임 레이트에 대응한 픽처의 화상 데이터는 주변 픽처의 화상 데이터와 혼합된 상태로 된다. 예를 들어, 제1 프레임 레이트는, 소위 하이 프레임 레이트로서 120Hz, 240Hz 등이며, 제2 프레임 레이트는, 소위 노멀 프레임 레이트로서 60Hz이다.

부호화부에 의해, 제2 프레임 레이트에 대응한 픽처의 화상 데이터가 부호화되어 기본 스트림이 얻어짐과 함께, 나머지 픽처의 화상 데이터가 부호화되어 소정수의 확장 스트림이 얻어진다. 예를 들어, 부호화부는, 기본 스트림을 최하위의 계층으로서 부호화하고, 소정수의 확장 스트림을 최하위의 계층보다 상위의 계층으로서 부호화하도록 되어도 된다.

삽입부에 의해, 기본 스트림 및 소정수의 확장 스트림의 부호화 화상 데이터에 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보가 삽입된다. 예를 들어, 혼합 대상 픽처를 나타내는 정보는, 픽처 각각에 부여되는 픽처 식별 정보이도록 되어도 된다. 또한, 예를 들어 혼합 대상 픽처를 나타내는 정보는, 픽처의 시간 위치 관계를 나타내는 정보이도록 되어도 된다. 그리고, 송신부에 의해, 정보가 삽입된 기본 스트림 및 소정수의 확장 스트림을 포함하는 컨테이너가 송신된다.

이와 같이 본 기술에 있어서는, 기본 스트림 및 확장 스트림의 부호화 화상 데이터에 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보가 삽입된다. 그 때문에, 수신측에 있어서, 역혼합 처리를 적절하고도 용이하게 행할 수 있어, 하이 프레임 레이트의 동화상 데이터를 양호하게 얻는 것이 가능해진다.

또한, 본 기술에 있어서, 예를 들어 삽입부는, 기본 스트림 및 소정수의 확장 스트림을 포함하는 컨테이너의 레이어에, 계층 부호화의 계층수와 혼합의 방향을 나타내는 타입 정보를 추가로 삽입하도록 되어도 된다. 이에 의해, 수신측에 있어서, 기본 스트림이나 확장 스트림을 복호화하지 않고, 계층 부호화의 계층수와 혼합의 방향을 아는 것이 가능해진다.

또한, 본 기술의 다른 개념은,

기본 스트림 및 소정수의 확장 스트림을 포함하는 컨테이너를 수신하는 수신부를 구비하고,

상기 기본 스트림은, 제1 프레임 레이트의 제1 동화상 데이터의 각 픽처의 화상 데이터에 픽처별로 독립된 혼합 비율로 주변의 픽처의 화상 데이터를 혼합하는 처리를 실시하여 얻어진 상기 제1 프레임 레이트의 제2 동화상 데이터 중, 적어도 주변 픽처의 화상 데이터와 혼합된 상태로 되어 있는, 상기 제1 프레임 레이트보다 낮은 제2 프레임 레이트에 대응한 픽처의 화상 데이터를 부호화하여 얻어진 것이고, 상기 소정수의 확장 스트림은, 나머지 픽처의 화상 데이터를 부호화하여 얻어진 것이고,

상기 기본 스트림 및 상기 소정수의 확장 스트림의 부호화 화상 데이터에 혼합 비율의 정보와 혼합 대상 픽처를 나타내는 정보가 삽입되어 있고,

표시 능력에 따라, 상기 기본 스트림을 복호화하여 상기 제2 프레임 레이트의 동화상 데이터를 얻거나, 혹은 상기 기본 스트림과 상기 소정수의 확장 스트림의 일부 또는 전부를 복호화함과 함께 상기 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보에 기초하여 역혼합 처리를 실시하여 상기 제1 프레임 레이트 이하이며 상기 제2 프레임 레이트보다 높은 프레임 레이트의 동화상 데이터를 얻는 처리부를 추가로 구비하는

수신 장치에 있다.

본 기술에 있어서, 수신부에 의해, 기본 스트림 및 소정수의 확장 스트림을 포함하는 컨테이너가 수신된다. 기본 스트림은, 제1 프레임 레이트의 제1 동화상 데이터의 각 픽처의 화상 데이터에 픽처별로 독립된 혼합 비율로 주변의 픽처의 화상 데이터를 혼합하는 처리를 실시하여 얻어진 제1 프레임 레이트의 제2 동화상 데이터 중, 적어도 주변 픽처의 화상 데이터와 혼합된 상태로 되어 있는, 제1 프레임 레이트보다 낮은 제2 프레임 레이트에 대응한 픽처의 화상 데이터를 부호화하여 얻어진 것이다. 소정수의 확장 스트림은, 확장 스트림은, 나머지 픽처의 화상 데이터를 부호화하여 얻어진 것이다.

기본 스트림 및 소정수의 확장 스트림의 부호화 화상 데이터에 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보가 삽입되어 있다. 처리부에 의해, 기본 스트림만이 처리되어 제2 프레임 레이트(노멀 프레임 레이트)의 동화상 데이터가 얻어지거나, 혹은 기본 스트림 및 소정수의 확장 스트림의 일부 또는 전부가 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보에 기초하여 처리되어, 혼합 해제된 제1 프레임 레이트 이하이며 제2 프레임 레이트보다 높은 프레임 레이트(하이 프레임 레이트)의 동화상 데이터가 얻어진다.

이와 같이 본 기술에 있어서는, 기본 스트림 및 소정수의 확장 스트림의 일부 또는 전부가 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보에 기초하여 처리되어, 혼합 해제된 하이 프레임 레이트의 동화상 데이터가 얻어진다. 그 때문에, 역혼합 처리를 적절하고도 용이하게 행할 수 있어, 하이 프레임 레이트의 동화상 데이터를 양호하게 얻는 것이 가능해진다.

또한, 본 기술의 다른 개념은,

제1 동화상 데이터의 각 픽처의 화상 데이터에 픽처별로 독립된 혼합 비율로 주변의 픽처의 화상 데이터를 혼합하는 처리를 실시하여 얻어진 제2 동화상 데이터를 취득하는 취득부와,

상기 제2 동화상 데이터와, 각 픽처의 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보를, 전송로를 통하여, 외부 기기에 송신하는 송신부를 구비하는

송신 장치에 있다.

본 기술에 있어서, 취득부에 의해, 제1 동화상 데이터의 각 픽처의 화상 데이터에 픽처별로 독립된 혼합 비율로 주변의 픽처의 화상 데이터를 혼합하는 처리를 실시하여 얻어진 제2 동화상 데이터가 취득된다. 송신부에 의해, 제2 동화상 데이터와, 각 픽처의 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보가, 전송로를 통하여, 외부 기기에 송신된다. 예를 들어, 송신부는, 각 픽처의 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보를 제2 동화상 데이터의 각 픽처의 화상 데이터의 블랭킹 기간에 삽입하여 송신하도록 되어도 된다.

이와 같이 본 기술에 있어서는, 제1 동화상 데이터의 각 픽처의 화상 데이터에 픽처별로 독립된 혼합 비율로 주변의 픽처의 화상 데이터를 혼합하는 처리를 실시하여 얻어진 제2 동화상 데이터가, 각 픽처의 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보와 함께, 전송로를 통하여, 외부 기기에 송신된다. 그 때문에, 외부 기기에서는, 제2 동화상 데이터에 각 픽처의 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보에 기초하여 역혼합 처리를 실시하여, 혼합 해제된 하이 프레임 레이트의 동화상 데이터를 적절하고도 용이하게 얻을 수 있어, 양호한 동화상 표시를 행할 수 있다.

또한, 본 기술에 있어서, 예를 들어 제2 동화상 데이터의 각 픽처의 화상 데이터에 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보에 기초하여 역혼합 처리를 실시하여 제3 동화상 데이터를 얻는 처리부를 추가로 구비하고, 송신부는, 외부 기기가 역혼합 처리의 기능을 갖고 있지 않을 때, 제2 동화상 데이터 대신에 제3 동화상 데이터를 송신하도록 되어도 된다.

또한, 본 기술의 다른 개념은,

외부 기기로부터, 전송로를 통하여, 제1 동화상 데이터의 각 픽처의 화상 데이터에 픽처별로 독립된 혼합 비율로 주변의 픽처의 화상 데이터를 혼합하는 처리를 실시하여 얻어진 제2 동화상 데이터와, 각 픽처의 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보를 수신하는 수신부와,

상기 제2 동화상 데이터의 각 픽처의 화상 데이터에 상기 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보에 기초하여 역혼합 처리를 실시하여 혼합 해제된 제3 동화상 데이터를 얻는 처리부를 구비하는

수신 장치에 있다.

본 기술에 있어서, 수신부에 의해, 외부 기기로부터, 전송로를 통하여, 제1 동화상 데이터의 각 픽처의 화상 데이터에 픽처별로 독립된 혼합 비율로 주변의 픽처의 화상 데이터를 혼합하는 처리를 실시하여 얻어진 제2 동화상 데이터와, 각 픽처의 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보가 수신된다. 처리부에 의해, 제2 동화상 데이터의 각 픽처의 화상 데이터에 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보에 기초하여 역혼합 처리가 실시되어 혼합 해제된 제3 동화상 데이터가 얻어진다.

이와 같이 본 기술에 있어서는, 외부 기기로부터 혼합 처리 후의 제2 화상 데이터와 함께 각 픽처의 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보가 수신되고, 제2 동화상 데이터의 각 픽처의 화상 데이터에 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보에 기초하여 역혼합 처리가 실시되어 혼합 해제된 동화상 데이터가 얻어진다. 그 때문에, 혼합 처리 전과 마찬가지의 하이 프레임 레이트의 동화상 데이터를 적절하고도 용이하게 얻을 수 있어, 양호한 동화상 표시를 행할 수 있다.

본 기술에 따르면, 혼합 처리된 동화상 데이터를 송신하는 경우에, 수신측에 있어서, 역혼합 처리를 적절하고도 용이하게 행할 수 있다. 또한, 여기에 기재된 효과는 반드시 한정되는 것은 아니며, 본 개시 중에 기재된 어느 효과여도 된다.

도 1은, 제1 실시 형태로서의 송수신 시스템의 구성예를 도시하는 블록도이다.
도 2는, 120Hz의 동화상 데이터에 혼합 처리가 실시되어 얻어진 기본 스트림 및 확장 스트림의 일례(2레이어에서 후방 화상과의 혼합 타입, 2레이어에서 전방 화상과의 혼합 타입)를 도시하는 도면이다.
도 3은, 240Hz의 동화상 데이터에 혼합 처리가 실시되어 얻어진 기본 스트림 및 확장 스트림의 일례(3레이어에서 후방 화상과의 혼합 타입)를 도시하는 도면이다.
도 4는, 240Hz의 동화상 데이터에 혼합 처리가 실시되어 얻어진 기본 스트림 및 확장 스트림의 일례(3레이어에서 전방ㆍ후방 화상과의 혼합 타입)를 도시하는 도면이다.
도 5는, 도 4의 예에 대응한 각 픽처의 연산 대상 지정 테이블을 도시하는 도면이다.
도 6은, 240Hz의 동화상 데이터에 혼합 처리가 실시되어 얻어진 기본 스트림 및 확장 스트림의 일례(3레이어에서 후방 화상과의 혼합 타입)를 도시하는 도면이다.
도 7은, 240Hz의 동화상 데이터에 혼합 처리가 실시되어 얻어진 기본 스트림 및 확장 스트림의 일례(3레이어에서 전방 화상과의 혼합 타입)를 도시하는 도면이다.
도 8은, 혼합 대상 픽처를 나타내는 정보가 픽처 ID인 경우에 있어서의 블렌드ㆍ타깃ㆍ인포메이션ㆍSEI 메시지의 구조예를 도시하는 도면이다.
도 9는, 도 8의 구조예에 있어서의 주요한 정보의 내용을 도시하는 도면이다.
도 10은, 240Hz의 동화상 데이터에 혼합 처리가 실시되어 얻어진 기본 스트림 및 확장 스트림의 일례(3레이어에서 전방ㆍ후방 화상과의 혼합 타입)를 도시하는 도면이다.
도 11은, 도 10의 예에 대응한 각 픽처의 연산 대상 지정 테이블을 도시하는 도면이다.
도 12는, 혼합 대상 픽처를 나타내는 정보가 픽처의 시간 위치 관계를 나타내는 정보인 경우에 있어서의 블렌드ㆍ타깃ㆍ인포메이션ㆍSEI 메시지의 구조예를 도시하는 도면이다.
도 13은, 도 12의 구조예에 있어서의 주요한 정보의 내용을 도시하는 도면이다.
도 14는, 블렌드ㆍ타입ㆍ디스크립터의 구조예와, 그 구조예에 있어서의 주요한 정보의 내용을 도시하는 도면이다.
도 15는, 송신 장치 및 텔레비전 수신기의 처리 개요의 일례를 도시하는 도면이다.
도 16은, 송신 장치의 구성예를 도시하는 블록도이다.
도 17은, 트랜스포트 스트림 TS의 구성예를 도시하는 도면이다.
도 18은, 하이 프레임 레이트인 240Hz(120Hz)의 동화상 데이터를 처리 가능한 디코드 능력이 있는 텔레비전 수신기의 구성예를 도시하는 블록도이다.
도 19는, 노멀 프레임 레이트인 60Hz의 동화상 데이터를 처리 가능한 디코드 능력이 있는 텔레비전 수신기의 구성예를 도시하는 블록도이다.
도 20은, 제2 실시 형태로서의 송수신 시스템의 구성예를 도시하는 블록도이다.
도 21은, 셋톱 박스의 제어부(CPU)에 있어서의 제어 처리 수순의 일례를 도시하는 흐름도이다.
도 22는, 송신 장치, 셋톱 박스 및 디스플레이의 처리 개요의 일례를 도시하는 도면이다.
도 23은, 디스플레이가 역혼합 처리(혼합 해제 처리)의 기능을 갖는 경우와 갖지 않는 경우를 비교하여 도시하는 도면이다.
도 24는, 혼합 대상 픽처를 나타내는 정보가 픽처 ID인 경우에 있어서의 블렌딩ㆍ타입ㆍ인포프레임의 구조예를 도시하는 도면이다.
도 25는, 혼합 대상 픽처를 나타내는 정보가 픽처의 시간 위치 관계를 나타내는 정보인 경우에 있어서의 블렌딩ㆍ타입ㆍ인포프레임의 구조예를 도시하는 도면이다.
도 26은, 셋톱 박스의 구성예를 도시하는 블록도이다.
도 27은, 하이 프레임 레이트인 240Hz(120Hz)의 동화상 데이터를 취급하는 디스플레이의 구성예를 도시하는 블록도이다.
도 28은, 노멀 프레임 레이트인 60Hz의 동화상 데이터를 취급하는 디스플레이의 구성예를 도시하는 블록도이다.

이하, 발명을 실시하기 위한 형태(이하, 「실시 형태」라고 함)에 대하여 설명한다. 또한, 설명은 이하의 순서로 행한다.

1. 제1 실시 형태

2. 제2 실시 형태

3. 변형예

<1. 제1 실시 형태>

[송수신 시스템]

도 1은, 제1 실시 형태로서의 송수신 시스템(10)의 구성예를 도시하고 있다. 이 송수신 시스템(10)은, 송신 장치(100)와, 텔레비전 수신기(200)를 갖는 구성으로 되어 있다.

송신 장치(100)는, 컨테이너로서의 트랜스포트 스트림 TS를 방송파에 실어서 송신한다. 이 트랜스포트 스트림 TS에는, 하이 프레임 레이트, 이 실시 형태에 있어서는 120Hz 혹은 240Hz의 동화상 데이터가 처리되어 얻어진 기본 스트림(기본 비디오 스트림) 및 소정수의 확장 스트림(확장 비디오 스트림)이 포함된다. 이 실시 형태에 있어서, 기본 스트림 및 확장 스트림은 NAL 유닛 구조를 갖는 것으로 된다.

여기서, 기본 스트림은, 이하와 같이 하여 얻어진 것이다. 즉, 혼합 전의 하이 프레임 레이트의 동화상 데이터의 각 픽처의 화상 데이터에 픽처별로 독립된 혼합 비율로 주변의 픽처의 화상 데이터를 혼합하는 처리를 실시하여 혼합 처리 후의 하이 프레임 레이트의 동화상 데이터가 얻어진다.

이 혼합 처리 후의 하이 프레임 레이트의 동화상 데이터를 구성하는 각 픽처의 화상 데이터 중, 적어도 노멀 프레임 레이트, 이 실시 형태에서는 60Hz에 대응한 픽처의 화상 데이터는 주변 픽처의 화상 데이터와 혼합된 상태로 된다. 기본 스트림은, 이 노멀 프레임 레이트에 대응한 픽처의 화상 데이터가 부호화되어 얻어진 것이다. 또한, 소정수의 확장 스트림은, 나머지 픽처의 화상 데이터가 부호화되어 얻어진 것이다.

기본 스트림에는, 노멀 프레임 레이트의 각 픽처의 부호화 화상 데이터가 액세스 유닛으로서 포함된다. 또한, 소정수의 확장 스트림에는, 하이 프레임 레이트의 각 픽처의 부호화 화상 데이터가 액세스 유닛으로서 포함된다. 혼합 화상에 관한 부호화 화상 데이터에는, 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보가 삽입된다. 이에 의해, 수신측에서는, 역혼합 처리를 적절하고도 용이하게 행할 수 있게 된다.

도 2의 (a)는, 2레이어에서 후방 화상과 혼합하는 타입의 일례를 도시하고 있다. 동그라미 표시는, 각 픽처의 화상 데이터를 나타내고 있다. 이 예에서는, 120Hz의 동화상 데이터가 처리되어 얻어진, 60Hz의 기본 스트림과, +60Hz의 확장 스트림이 존재한다. 이 경우, 60Hz의 기본 스트림의 각 픽처의 화상 데이터는, 직후의 +60Hz의 확장 스트림의 픽처의 화상 데이터와 혼합 처리되어 있다. 이 경우, 60Hz의 기본 스트림의 계층은 최하위의 계층 1 「Dlayer1」로 되고, +60Hz의 확장 스트림의 계층은 그 위의 계층 0 「Dlayer0」으로 되어 있다.

도 2의 (b)는, 2레이어에서 전방 화상과 혼합하는 타입의 일례를 도시하고 있다. 동그라미 표시는, 각 픽처의 화상 데이터를 나타내고 있다. 이 예에서는, 120Hz의 동화상 데이터가 처리되어 얻어진, 60Hz의 기본 스트림과, +60Hz의 확장 스트림이 존재한다. 이 경우, 60Hz의 기본 스트림의 각 픽처의 화상 데이터는, 직전의 +60Hz의 확장 스트림의 픽처의 화상 데이터와 혼합 처리되어 있다. 이 경우, 60Hz의 기본 스트림의 계층은 최하위의 계층 1 「Dlayer1」로 되고, +60Hz의 확장 스트림의 계층은 그 위의 계층 0 「Dlayer0」으로 되어 있다.

도 2의 (c)는, 프로그램의 전환점 전은 후방 화상과의 혼합 타입이며, 그 전환점 후는 전방 화상과의 혼합 타입으로 변화하는 예를 도시하고 있다. 여기서, 전환점으로부터 2개 전의 부분까지는 후방 화상과의 혼합 타입으로 추이하지만, 전환점 직전의 부분에서는, 다른 프로그램과의 혼합을 피하기 위해 후방 화상과의 혼합이 아니라 전방 화상과의 혼합으로 된다. 이와 같이 프로그램의 전환이 있는 경우라도, 기본 스트림의 각 픽처의 화상 데이터는 항상 혼합 처리된 것으로 되고, 수신측에서의 재생 시에 있어서, 스트로빙 효과를 감소시키는 것이 가능해진다.

도 3의 (a)는, 3레이어에서 후방 화상과 혼합하는 타입의 일례를 도시하고 있다. 동그라미 표시는, 각 픽처의 화상 데이터를 나타내고 있다. 이 예에서는, 240Hz의 동화상 데이터가 처리되어 얻어진, 60Hz의 기본 스트림과, +60Hz의 제1 확장 스트림과, +120Hz의 제2 확장 스트림이 존재한다. 이 경우, +60Hz의 제1 확장 스트림의 각 픽처의 화상 데이터는, 직후의 +120Hz의 제2 확장 스트림의 픽처의 화상 데이터와 혼합 처리되어 있다. 또한, 60Hz의 기본 스트림의 각 픽처의 화상 데이터는, 직후의 +120Hz의 제2 확장 스트림의 픽처의 화상 데이터와 혼합 처리되어 있다.

이 예는 240Hz의 수신기와 60Hz의 수신기의 사이의 후방 호환성을 고려한 것이 아니라, 240Hz의 수신기와 120Hz의 수신기의 사이의 후방 호환성을 고려한 것이다. 그 때문에, 기본 스트림의 각 픽처의 화상 데이터는, +60Hz의 제1 확장 스트림의 픽처의 화상 데이터와는 혼합 처리되어 있지 않다. 또한, 이 경우, 60Hz의 기본 스트림의 계층은 최하위의 계층 2 「Dlayer2」로 되고, +60Hz의 제1 확장 스트림의 계층은 그 위의 계층 1 「Dlayer1」로 되고, +120Hz의 제2 확장 스트림의 계층은 그 위의 계층 0 「Dlayer0」으로 되어 있다.

도 3의 (b)는, 3레이어에서 후방 화상과 혼합하는 타입의 일례를 도시하고 있다. 동그라미 표시는, 각 픽처의 화상 데이터를 나타내고 있다. 이 예에서는, 240Hz의 동화상 데이터가 처리되어 얻어진, 60Hz의 기본 스트림과, +60Hz의 제1 확장 스트림과, +120Hz의 제2 확장 스트림이 존재한다. 이 경우, +60Hz의 제1 확장 스트림의 각 픽처의 화상 데이터는, 직후의 +120Hz의 제2 확장 스트림의 픽처의 화상 데이터와 혼합 처리되어 있다. 또한, 60Hz의 기본 스트림의 각 픽처의 화상 데이터는, 직후의 +120Hz의 제2 확장 스트림의 픽처의 화상 데이터 및 +60Hz의 제1 확장 스트림의 픽처의 화상 데이터와 혼합 처리되어 있다.

이 예는 240Hz의 수신기와 120Hz의 수신기, 나아가 60Hz의 수신기의 사이의 후방 호환성을 고려한 것이다. 그 때문에, 60Hz의 기본 스트림의 각 픽처의 화상 데이터는, +60Hz의 제1 확장 스트림의 픽처의 화상 데이터와도 혼합 처리되어 있다. 또한, 이 경우, 60Hz의 기본 스트림의 계층은 최하위의 계층 2 「Dlayer2」로 되고, +60Hz의 제1 확장 스트림의 계층은 그 위의 계층 1 「Dlayer1」로 되고, +120Hz의 제2 확장 스트림의 계층은 그 위의 계층 0 「Dlayer0」으로 되어 있다.

도 4는, 보다 일반적인 예로서, 3레이어에서 전방ㆍ후방 화상과 혼합하는 타입의 일례를 도시하고 있다. 이 예에서는, 240Hz의 동화상 데이터가 처리되어 얻어진, 60Hz의 기본 스트림과, +60Hz의 제1 확장 스트림과, +120Hz의 제2 확장 스트림이 존재한다. 이 경우, 60Hz의 기본 스트림의 계층은 최하위의 계층 2 「Dlayer2」로 되고, +60Hz의 제1 확장 스트림의 계층은 그 위의 계층 1 「Dlayer1」로 되고, +120Hz의 제2 확장 스트림의 계층은 그 위의 계층 0 「Dlayer0」으로 되어 있다. 동그라미 표시는, 각 픽처의 화상 데이터를 나타내고 있는데, 파선으로 나타내는 부분은 실제로는 송신되지 않는 픽처의 화상 데이터를 나타내고 있다. 또한, 도시된 예에 있어서, 동그라미 표시의 각각에 대응하여 그 위치의 픽처를 나타내는 픽처 ID(픽처 식별 정보)가 부가되어 있다.

+60Hz의 제1 확장 스트림의 각 픽처의 화상 데이터는, 직전 및 직후의 +120Hz의 제2 확장 스트림의 픽처의 화상 데이터와 혼합 처리되어 있다. 예를 들어, 픽처 ID 「P1_02」의 화상 데이터는, 픽처 ID [P0_01], [P0_02], [P0_03]의 각 화상 데이터가 a, b, c의 비율로 혼합되어 생성된다. 이 경우, 픽처 ID [P0_02]의 화상 데이터는, 픽처 ID 「P1_02」의 화상 데이터와 동일한 타이밍에 해당되므로, 전송되지 않는다.

또한, 예를 들어 픽처 ID 「P1_06」의 화상 데이터는, 픽처 ID [P0_05], [P0_06], [P0_07]의 각 화상 데이터가 g, h, i의 비율로 혼합되어 생성된다. 이 경우, 픽처 ID [P0_06]의 화상 데이터는, 픽처 ID 「P1_06」의 화상 데이터와 동일한 타이밍에 해당되므로, 전송되지 않는다.

또한, 60Hz의 기본 스트림의 각 픽처의 화상 데이터는, 직전 및 직후의 +60Hz의 제1 확장 스트림의 픽처의 화상 데이터와 혼합 처리되어 있다. 예를 들어, 픽처 ID 「P2_04」의 화상 데이터는, 픽처 ID [P1_02], [P1_04], [P1_06]의 각 화상 데이터가 j, k, l의 비율로 혼합되어 생성된다. 여기서, 픽처 ID 「P1_04」의 화상 데이터는, 픽처 ID [P0_03], [P0_04], [P0_05]의 각 화상 데이터가 d, e, f의 비율로 혼합되어 생성된 것이다. 이 경우, 픽처 ID [P0_04], [P1_04]의 각 화상 데이터는 픽처 ID 「P2_04」의 화상 데이터와 동일한 타이밍에 해당되므로, 전송되지 않는다.

이 경우, 픽처 ID 「P2_04」의 화상 데이터는, 이하의 수식 (1)로 혼합 처리된 것으로 된다. 또한, 이 수식 (1)에 있어서는, 각 화상 데이터를 각각 픽처 ID로 나타내고 있다.

여기서, 픽처 ID 「P2_04」의 화상 데이터는, 원래의 240Hz의 동화상 데이터 중, 픽처 ID [P0_01] 내지 [P0_07]의 화상 데이터가 혼합되어 생성된다. 또한, 60Hz의 기본 스트림의 다음 픽처의 화상 데이터는, 원래의 240Hz의 동화상 데이터 중, 픽처 ID [P0_05] 내지 [P0_11]의 화상 데이터가 혼합되어 생성된다. 이 경우, 픽처 ID [P0_05] 내지 [P0_07]의 화상 데이터는, 60Hz의 기본 스트림의 각 픽처를 등간격으로 하기 때문에, 「Tree_phase0」에도 속하고, 「Tree_phase1」에도 속한다. 혼합 비율을 나타내는 g, h, i의 값은, 「Tree_phase0」과 「Tree_phase1」에서 동일한 값이어도 되고, 혹은 다른 값이어도 된다. 도시한 바와 같이, 「Tree_phase0」과 「Tree_phase1」은 토글적으로 교대로 반복해 간다.

도시된 예는, 240Hz의 수신기와 120Hz의 수신기, 나아가 60Hz의 수신기의 사이의 후방 호환성을 고려한 것이다. 혼합 처리되어 생성된 화상 데이터에 관하여, 혼합 비율의 정보와 혼합 대상 픽처를 나타내는 정보가 부가되어 송신된다. 60Hz의 수신기는, 60Hz의 기본 스트림의 화상 데이터를 그대로 사용하여 60Hz의 표시가 가능해진다.

또한, 120Hz의 수신기는, 도시된 트리를 거꾸로 거슬러서, 적절하게 역혼합 처리를 실시하여, 픽처 ID [P1_02]의 화상 데이터, 픽처 ID [P1_04]의 화상 데이터, 픽처 ID [P1_06]의 화상 데이터, …를 포함하는 120Hz의 스트림을 생성할 수 있어, 120Hz의 표시가 가능해진다. 또한, 나아가 240Hz의 수신기는, 도시된 트리를 거꾸로 거슬러서, 적절하게 역혼합 처리를 실시하여, 픽처 ID [P0_01]의 화상 데이터, 픽처 ID [P0_02]의 화상 데이터, 픽처 ID [P0_03]의 화상 데이터, …를 포함하는 240Hz의 스트림을 생성할 수 있어, 240Hz의 표시가 가능해진다.

도 5의 테이블은, 도 4의 예에 대응한 각 픽처의 연산 대상 지정 테이블을 나타내고 있다. [P1_02]의 픽처는, 「Tree_phase0」에 속해 있다. 그리고, 이 픽처의 혼합 대상 픽처는, [P1_02]의 픽처에 대하여 인접해 있는, 즉 "near"인, [P0_01]의 픽처와, 이스케이프 코드 ESC2(0xF0)으로 표현되는 픽처와, [P0_03]의 픽처이며, 각각에 혼합 비율을 결정하는 계수 a, b, c를 곱하여 가산함으로써 [P1_02]의 픽처가 생성되고 있음이 나타나 있다.

또한, 이스케이프 코드 ESC2(0xF0)으로 표현되는 픽처는, 실제로는 [P0_02]의 픽처이다. 그러나, 이 [P0_02]의 픽처는 보내지지 않으므로, 특수한 이스케이프 코드 ESC2(0xF0)으로 표현된다. 여기서, 상위 4비트의 "F"는, 실제로는 보내지지 않는 픽처임을 나타내고 있다. 또한, 하위 4비트의 "0"은, 앞쪽에는 가지(branch)가 없고, 잎(leaf)의 형태로 됨을 나타내고 있다.

상술한 바와 같은 "near"의 테이블 정보(혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보가, [P1_02]의 픽처의 부호화 화상 데이터에 삽입되어 수신측에 송신되고, 수신측에 있어서, [P0_02]의 픽처의 화상 데이터를 얻기 위한 역혼합 처리 정보로서 이용된다.

또한, [P2_04]의 픽처는, 「Tree_phase0」에 속해 있다. 그리고, 이 픽처의 혼합 대상 픽처는, [P2_04]의 픽처에 대하여 인접해 있는, 즉 "near"인, [P1_02]의 픽처와, 이스케이프 코드 ESC1(0xF3)으로 표현되는 픽처와, [P1_06]의 픽처이며, 각각에 혼합 비율을 결정하는 계수 j, k, l을 곱하여 가산함으로써 [P2_04]의 픽처가 생성되고 있음이 나타나 있다.

또한, 이스케이프 코드 ESC1(0xF3)으로 표현되는 픽처는, 실제로는 [P1_04]의 픽처이다. 그러나, 이 [P1_04]의 픽처는 보내지지 않으므로, 특수한 이스케이프 코드 ESC1(0xF3)으로 표현된다. 여기서, 상위 4비트의 "F"는, 실제로는 보내지지 않는 픽처임을 나타내고 있다. 또한, 하위 4비트의 "3"은, 앞쪽에는 3개의 가지가 존재함을 나타내고 있다.

그리고, 이 이스케이프 코드 ESC1(0xF3)으로 표현되는 픽처의 처리 대상 픽처의 세 픽처는, [P2_04]의 픽처에 대하여 인접하고 있지 않은, 즉 "far"인, [P0_03]의 픽처와, 이스케이프 코드 ESC2(0xF0)으로 표현되는 픽처와, [P0_05]의 픽처이며, 각각에 혼합 비율을 결정하는 계수 d, e, f를 곱하여 가산함으로써, 이스케이프 코드 ESC1(0xF3)으로 표현되는 픽처 [P1_04]가 생성되고 있음이 나타나 있다.

또한, 이스케이프 코드 ESC2(0xF0)으로 표현되는 픽처는, 실제로는 [P0_04]의 픽처이다. 그러나, 이 [P0_04]의 픽처는 보내지지 않으므로, 특수한 이스케이프 코드 ESC2(0xF0)으로 표현된다. 여기서, 상위 4비트의 "F"는, 실제로는 보내지지 않는 픽처임을 나타내고 있다. 또한, 하위 4비트의 "0"은, 앞쪽에는 가지가 없고, 잎의 형태로 됨을 나타내고 있다.

상술한 바와 같은 "near" 및 "far"의 테이블 정보(혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보)가, [P2_04]의 픽처의 부호화 화상 데이터에 삽입되어 수신측에 송신되고, 수신측에 있어서, [P1_04]나 [P0_04]의 픽처의 화상 데이터를 얻기 위한 역혼합 처리 정보로서 이용된다.

또한, [P1_06]의 픽처는, 「Tree_phase0」과 「Tree_phase1」의 양쪽에 속해 있다. 그리고, 이 픽처의 혼합 대상 픽처는, [P1_06]의 픽처에 대하여 인접해 있는, 즉 "near"인, [P0_05]의 픽처와, 이스케이프 코드 ESC2(0xF0)으로 표현되는 픽처와, [P0_07]의 픽처이다.

그리고, 「Tree_phase0」에 속하는 [P1_06]의 픽처에 대해서는, 각각에 혼합 비율을 결정하는 계수 g0, h0, i0을 곱하여 가산함으로써 생성되고 있음이 나타나 있다. 한편, 「Tree_phase1」에 속하는 [P1_06]의 픽처에 대해서는, 각각에 혼합 비율을 결정하는 계수 g1, h1, i1을 곱하여 가산함으로써 생성되고 있음이 나타나 있다.

또한, 이스케이프 코드 ESC2(0xF0)으로 표현되는 픽처는, 실제로는 [P0_06]의 픽처이다. 그러나, 이 [P0_06]의 픽처는 보내지지 않으므로, 특수한 이스케이프 코드 ESC2(0xF0)으로 표현된다. 여기서, 상위 4비트의 "F"는, 실제로는 보내지지 않는 픽처임을 나타내고 있다. 또한, 하위 4비트의 "0"은, 앞쪽에는 가지가 없고, 잎의 형태로 됨을 나타내고 있다.

상술한 바와 같은 "near"의 테이블 정보(혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보)가, [P1_06]의 픽처의 부호화 화상 데이터에 삽입되어 수신측에 송신되고, 수신측에 있어서, [P0_06]의 픽처의 화상 데이터를 얻기 위한 역혼합 처리 정보로서 이용된다.

또한, [P2_08]의 픽처는, 「Tree_phase1」에 속해 있다. 그리고, 이 픽처의 혼합 대상 픽처는, [P2_08]의 픽처에 대하여 인접해 있는, 즉 "near"인, [P1_06]의 픽처와, 이스케이프 코드 ESC1(0xF3)으로 표현되는 픽처와, [P1_10]의 픽처이며, 각각에 혼합 비율을 결정하는 계수 t, u, v를 곱하여 가산함으로써 [P2_08]의 픽처가 생성되고 있음이 나타나 있다.

또한, 이스케이프 코드 ESC1(0xF3)으로 표현되는 픽처는, 실제로는 [P1_08]의 픽처이다. 그러나, 이 [P1_08]의 픽처는 보내지지 않으므로, 특수한 이스케이프 코드 ESC1(0xF3)으로 표현된다. 여기서, 상위 4비트의 "F"는, 실제로는 보내지지 않는 픽처임을 나타내고 있다. 또한, 하위 4비트의 "3"은, 앞쪽에는 3개의 가지가 존재함을 나타내고 있다.

그리고, 이 이스케이프 코드 ESC1(0xF3)으로 표현되는 픽처의 혼합 대상 픽처는, [P2_08]의 픽처에 대하여 인접하고 있지 않은, 즉 "far"인, [P0_07]의 픽처와, 이스케이프 코드 ESC2(0xF0)으로 표현되는 픽처와, [P0_09]의 픽처이며, 각각에 혼합 비율을 결정하는 계수 m, x, w를 곱하여 가산함으로써, 이스케이프 코드 ESC1(0xF3)으로 표현되는 픽처가 생성되고 있음이 나타나 있다.

또한, 이스케이프 코드 ESC2(0xF0)으로 표현되는 픽처는, 실제로는 [P0_08]의 픽처이다. 그러나, 이 [P0_08]의 픽처는 보내지지 않으므로, 특수한 이스케이프 코드 ESC2(0xF0)으로 표현된다. 여기서, 상위 4비트의 "F"는, 실제로는 보내지지 않는 픽처임을 나타내고 있다. 또한, 하위 4비트의 "0"은, 앞쪽에는 가지가 없고, 잎의 형태로 됨을 나타내고 있다.

상술한 바와 같은 "near" 및 "far"의 테이블 정보(혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보)가, [P02_08]의 픽처의 부호화 화상 데이터에 삽입되어 수신측에 송신되고, 수신측에 있어서, [P1_08]이나 [P0_08]의 픽처의 화상 데이터를 얻기 위한 역혼합 처리 정보로서 이용된다.

혼합 화상에 관한 부호화 화상 데이터에 상술한 바와 같은 테이블 정보(혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보)를 삽입하여 송신함으로써, 수신측에 있어서는, 필요한 역혼합 처리를 적절하고도 용이하게 행할 수 있게 된다.

도 6은, 3레이어에서 후방 화상과 혼합하는 타입의 일례를 도시하고 있다. 이 예에서는, 240Hz의 동화상 데이터가 처리되어 얻어진, 60Hz의 기본 스트림과, +60Hz의 제1 확장 스트림과, +120Hz의 제2 확장 스트림이 존재한다. 동그라미 표시는, 각 픽처의 화상 데이터를 나타내고 있는데, 파선으로 나타내는 부분은 실제로는 송신되지 않는 픽처의 화상 데이터를 나타내고 있다. 또한, 도시된 예에 있어서, 동그라미 표시의 각각에 대응하여 그 위치의 픽처를 나타내는 픽처 ID가 부가되어 있다.

+60Hz의 제1 확장 스트림의 각 픽처의 화상 데이터는, 직후의 +120Hz의 제2 확장 스트림의 픽처의 화상 데이터와 혼합 처리되어 있다. 예를 들어, 픽처 ID 「P1_02」의 화상 데이터는, 픽처 ID [P0_02], [P0_03]의 각 화상 데이터가 e, f의 비율로 혼합되어 생성된다. 이 경우, 픽처 ID [P0_02]의 화상 데이터는, 픽처 ID 「P1_02」의 화상 데이터와 동일한 타이밍에 해당되므로, 전송되지 않는다.

또한, 60Hz의 기본 스트림의 각 픽처의 화상 데이터는, 직후의 +60Hz의 제1 확장 스트림의 픽처의 화상 데이터와 혼합 처리되어 있다. 예를 들어, 픽처 ID 「P2_00」의 화상 데이터는, 픽처 ID [P1_00], [P1_02]의 각 화상 데이터가 a, b의 비율로 혼합되어 생성된다. 여기서, 픽처 ID 「P1_00」의 화상 데이터는, 픽처 ID [P0_00], [P0_01]의 각 화상 데이터가 c, d의 비율로 혼합되어 생성된 것이다. 이 경우, 픽처 ID [P0_00], [P1_00]의 각 화상 데이터는 픽처 ID 「P2_00」의 화상 데이터와 동일한 타이밍에 해당되므로, 전송되지 않는다.

여기서, 픽처 ID 「P2_00」의 화상 데이터는, 원래의 240Hz의 동화상 데이터 중, 픽처 ID [P0_00] 내지 [P0_03]의 화상 데이터가 혼합되어 생성된다. 또한, 60Hz의 기본 스트림의 다음 픽처의 화상 데이터는, 원래의 240Hz의 동화상 데이터 중, 픽처 ID [P0_04] 내지 [P0_07]의 화상 데이터가 혼합되어 생성된다. 이 경우, 도시한 바와 같이, 「Tree_phase0」이 연속된 것으로 된다.

또한, 120Hz의 수신기는, 도시된 트리를 거꾸로 거슬러서, 적절하게 역혼합 처리를 실시하여, 픽처 ID [P1_00]의 화상 데이터, 픽처 ID [P1_02]의 화상 데이터, …를 포함하는 120Hz의 스트림을 생성할 수 있어, 120Hz의 표시가 가능해진다. 또한, 나아가 240Hz의 수신기는, 도시된 트리를 거꾸로 거슬러서, 적절하게 역혼합 처리를 실시하여, 픽처 ID [P0_00]의 화상 데이터, 픽처 ID [P0_01]의 화상 데이터, 픽처 ID [P0_02]의 화상 데이터, …를 포함하는 240Hz의 스트림을 생성할 수 있어, 240Hz의 표시가 가능해진다.

도 7은, 3레이어에서 전방 화상과 혼합하는 타입의 일례를 도시하고 있다. 이 예에서는, 240Hz의 동화상 데이터가 처리되어 얻어진 60Hz의 기본 스트림과, +60Hz의 제1 확장 스트림과, +120Hz의 제2 확장 스트림이 존재한다. 동그라미 표시는, 각 픽처의 화상 데이터를 나타내고 있는데, 파선으로 나타내는 부분은 실제로는 송신되지 않는 픽처의 화상 데이터를 나타내고 있다. 또한, 도시된 예에 있어서, 동그라미 표시의 각각에 대응하여 그 위치의 픽처를 나타내는 픽처 ID가 부가되어 있다.

+60Hz의 제1 확장 스트림의 각 픽처의 화상 데이터는, 직전의 +120Hz의 제2 확장 스트림의 픽처의 화상 데이터와 혼합 처리되어 있다. 예를 들어, 픽처 ID 「P1_00」의 화상 데이터는, 픽처 ID [P0_00], [P0_01]의 각 화상 데이터가 c, d의 비율로 혼합되어 생성된다. 이 경우, 픽처 ID [P0_01]의 화상 데이터는, 픽처 ID 「P1_00」의 화상 데이터와 동일한 타이밍에 해당되므로, 전송되지 않는다.

또한, 60Hz의 기본 스트림의 각 픽처의 화상 데이터는, 직전의 +60Hz의 제1 확장 스트림의 픽처의 화상 데이터와 혼합 처리되어 있다. 예를 들어, 픽처 ID 「P2_00」의 화상 데이터는, 픽처 ID [P1_00], [P1_02]의 각 화상 데이터가 a, b의 비율로 혼합되어 생성된다. 여기서, 픽처 ID 「P1_02」의 화상 데이터는, 픽처 ID [P0_02], [P0_03]의 각 화상 데이터가 e, f의 비율로 혼합되어 생성된 것이다. 이 경우, 픽처 ID [P0_03], [P1_02]의 각 화상 데이터는 픽처 ID 「P2_00」의 화상 데이터와 동일한 타이밍에 해당되므로, 전송되지 않는다.

도 6, 도 7의 예에 있어서도, 도 4의 예와 마찬가지로, 각 픽처의 연산 대상 지정 테이블(도 5 참조)을 생각할 수 있지만, 여기서는 생략한다. 이 도 6, 도 7의 예에 있어서도, 혼합 화상에 관한 부호화 화상 데이터에 테이블 정보(혼합 비율의 정보 및 혼합 대상 픽처의 정보)를 삽입하여 송신함으로써, 수신측에 있어서는, 필요한 역혼합 처리를 적절하고도 용이하게 행할 수 있게 된다.

이 실시 형태에 있어서, 부호화 화상 데이터에 테이블 정보(혼합 비율의 정보 및 혼합 대상 픽처의 정보)를 삽입하기 위해, 액세스 유닛(AU)의 "SEIs"의 부분에, 신규 정의하는, 블렌드ㆍ타깃ㆍ인포메이션ㆍSEI 메시지(Blending_information SEI message)를 삽입한다.

도 8은, 혼합 대상 픽처를 나타내는 정보가 픽처 ID인 경우에 있어서의 블렌드ㆍ타깃ㆍ인포메이션ㆍSEI 메시지의 구조예(Syntax)를 도시하고, 도 9는, 그 구조예에 있어서의 주요한 정보의 내용(Semantics)을 도시하고 있다. 「blend_target_information_id」라는 필드는, 블렌드ㆍ타깃ㆍ인포메이션ㆍSEI 메시지임을 나타내는 식별 정보이다. 「blend_target_information_length」의 8비트 필드는, 블렌드ㆍ타깃ㆍ인포메이션ㆍSEI 메시지의 바이트 사이즈를 나타낸다.

「picture_id」의 8비트 필드는, 현 픽처를 식별하기 위한 픽처 ID를 나타내고 있다. 여기서, "0xF*"는, 전송되지 않는 픽처를 나타내는 이스케이프 코드로서 사용될 가능성이 있으므로, 픽처 ID로서의 사용은 금지된다. 「blending_flag」의 1비트 필드는, 혼합되어 있는지 여부를 나타내는 플래그이다. 예를 들어, "1"은 혼합되어 있음을 나타내고, "0"은 혼합되어 있지 않음을 나타낸다.

블렌드ㆍ타깃ㆍ인포메이션ㆍSEI 메시지의 바이트 사이즈로 될 때까지, while문이 계속 돈다. 「blend_tree_phase」의 1비트 필드는, 혼합 트리의 덩어리를 나타내는 토글 정보이다. 예를 들어, "0"은 「Tree_phase0」을 나타내고, "1"은 「Tree_phase1」을 나타낸다. 「number_of_nodes」의 4비트 필드는, 노드 수(트리에 포함되는 픽처의 수)를 나타낸다. 이 노드 수만큼, 이하의 for 루프가 돈다.

「blending_coefficient」의 8비트 필드는, 혼합 비율(혼합비)을 나타내는 계수값을 나타낸다. 「target_picture_id」의 8비트 필드는, 혼합 대상 픽처의 픽처 ID를 나타낸다. 여기서, 「target_picture_id」의 상위 4비트의 값이 "F"일 때, 그 하위 4비트로 나타내는 값 "*"의 수만큼, 「blending_coefficient」 및 「target_picture_id」의 각 8비트 필드가 반복된다.

또한, 「target_picture_id」가 "0xF*"인 경우, 그 픽처는 전송되지 않는 픽처임을 나타내고, 또한 참조원의 픽처에 그 값이 반영되어 있음을 나타낸다.

상술에서는, 혼합 대상 픽처를 나타내는 정보가 픽처 각각에 부여되는 픽처 ID(픽처 식별 정보)인 예를 설명하였지만, 혼합 대상 픽처를 나타내는 정보가 픽처의 시간 위치 관계를 나타내는 정보인 예도 고려된다.

도 10은, 3레이어에서 전방ㆍ후방 화상과 혼합하는 타입의 일례를 도시하고 있다. 이 예는, 상술한 도 4의 예에 대응하고 있는데, 도 4의 예에서는 혼합 대상 픽처가 픽처 ID로 나타나 있지만, 이 도 10의 예에서는 혼합 대상 픽처가 픽처의 시간 위치 관계를 나타내는 정보로 나타나 있다.

이 예에서는, 240Hz의 동화상 데이터가 처리되어 얻어진 60Hz의 기본 스트림과, +60Hz의 제1 확장 스트림과, +120Hz의 제2 확장 스트림이 존재한다. 이 경우, 60Hz의 기본 스트림의 계층은 최하위의 계층 2 「Dlayer2」로 되고, +60Hz의 제1 확장 스트림의 계층은 그 위의 계층 1 「Dlayer1」로 되고, +120Hz의 제2 확장 스트림의 계층은 그 위의 계층 0 「Dlayer0」으로 되어 있다. 동그라미 표시는, 각 픽처의 화상 데이터를 나타내고 있는데, 파선으로 나타내는 부분은 실제로는 송신되지 않는 픽처의 화상 데이터를 나타내고 있다. 또한, 도시된 예에 있어서, 동그라미 표시의 각각에 대응하여 픽처 위치 관계를 나타내는 정보(전(P), 현재(C), 후(N))가 부가되어 있다.

+60Hz의 제1 확장 스트림의 각 픽처의 화상 데이터는, 직전 및 직후의 +120Hz의 제2 확장 스트림의 픽처의 화상 데이터와 혼합 처리되어 있다. 예를 들어, 각 픽처의 화상 데이터는, 원래의 240Hz의 동화상 데이터 중 시간적으로 전(P), 현재(C), 후(N)의 각 픽처의 화상 데이터가 소정의 비율로 혼합되어 생성된다. 이 경우, +60Hz의 제1 확장 스트림의 픽처와 시간적으로 동일한 타이밍에 해당되는 원래의 240Hz의 동화상 데이터의 픽처의 화상 데이터는 전송되지 않는다.

또한, 60Hz의 기본 스트림의 각 픽처의 화상 데이터는, 직전 및 직후의 +60Hz의 제1 확장 스트림의 픽처의 화상 데이터와 혼합 처리되어 있다. 예를 들어, 각 픽처의 화상 데이터는, 120Hz의 동화상 데이터 중 시간적으로 전(P), 현재(C), 후(N)의 각 픽처의 화상 데이터가 소정의 비율로 혼합되어 생성된다. 이 경우, 60Hz의 제1 확장 스트림의 픽처와 시간적으로 동일한 타이밍에 해당되는 120Hz의 동화상 데이터의 픽처의 화상 데이터는 전송되지 않는다.

이 도 10의 예에서도, 상술한 도 4의 예와 마찬가지로, 60Hz의 기본 스트림의 각 픽처를 등간격으로 하기 위해, 「Tree_phase0」과 「Tree_phase1」이 토글적으로 교대로 반복해 간다.

도 11의 테이블은, 도 10의 예에 대응한 각 픽처의 연산 대상 지정 테이블을 나타내고 있다. Dlayer1의 최초의 픽처는, 「Tree_phase0」에 속해 있다. 그리고, 이 픽처의 혼합 대상 픽처는, Dlayer1의 최초의 픽처에 대하여 인접해 있는, 즉 "near"인, Dlayer0의 원래의 240Hz의 동화상 데이터 중 시간적으로 전(P), 현재(C), 후(N)의 위치(Derection_type)의 픽처이며, 각각에 혼합 비율을 결정하는 계수 a, b, c를 곱하여 가산함으로써, 당해 Dlayer1의 최초의 픽처가 생성되고 있음이 나타나 있다.

또한, 현재(C)의 위치는 이스케이프 코드 ESC2(0xF0)으로 표현되어 있다. 상위 4비트의 "F"는, 실제로는 보내지지 않는 픽처임을 나타내고 있다. 또한, 하위 4비트의 "0"은, 앞쪽에는 가지가 없고, 잎의 형태로 됨을 나타내고 있다.

상술한 바와 같은 "near"의 테이블 정보(혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보가, Dlayer1의 최초의 픽처의 부호화 화상 데이터에 삽입되어 수신측에 송신되고, 수신측에 있어서, 이스케이프 코드 ESC2(0xF0)으로 표현되는 Dlayer0의 픽처의 화상 데이터를 얻기 위한 역혼합 처리 정보로서 이용된다.

또한, Dlayer2의 최초의 픽처는, 「Tree_phase0」에 속해 있다. 그리고, 이 픽처의 혼합 대상 픽처는, Dlayer2의 최초의 픽처에 대하여 인접해 있는, 즉 "near"인, Dlayer1의 120Hz의 동화상 데이터 중 시간적으로 전(P), 현재(C), 후(N)의 위치의 픽처이며, 각각에 혼합 비율을 결정하는 계수 j, k, l을 곱하여 가산함으로써, 당해 Dlayer2의 최초의 픽처가 생성되고 있음이 나타나 있다.

또한, 현재(C)의 위치는 이스케이프 코드 ESC2(0xF3)으로 표현되어 있다. 여기서, 상위 4비트의 "F"는, 실제로는 보내지지 않는 픽처임을 나타내고 있다. 또한, 하위 4비트의 "3"은, 앞쪽에는 3개의 가지가 존재함을 나타내고 있다.

그리고, 이 이스케이프 코드 ESC1(0xF3)으로 표현되는 위치의 픽처의 혼합 대상 픽처는, Dlayer2의 최초의 픽처에 대하여 인접하고 있지 않은, 즉 "far"인, Dlayer0의 원래의 240Hz의 동화상 데이터 중 시간적으로 전(P), 현재(C), 후(N)의 위치의 픽처이며, 각각에 혼합 비율을 결정하는 계수 d, e, f를 곱하여 가산함으로써, 당해 이스케이프 코드 ESC1(0xF3)으로 표현되는 위치의 픽처가 생성되고 있음이 나타나 있다.

상술한 바와 같은 "near" 및 "far"의 테이블 정보(혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보)가, Dlayer2의 최초의 픽처의 부호화 화상 데이터에 삽입되어 수신측에 송신되고, 수신측에 있어서, 이스케이프 코드 ESC1(0xF3)이나 이스케이프 코드 ESC2(0xF0)으로 표현되는 위치의 픽처의 화상 데이터를 얻기 위한 역혼합 처리 정보로서 이용된다.

또한, Dlayer1의 2번째 픽처는, 「Tree_phase0」과 「Tree_phase1」의 양쪽에 속해 있다. 그리고, 이 픽처의 혼합 대상 픽처는, Dlayer1의 2번째 픽처에 대하여 인접해 있는, 즉 "near"인, Dlayer0의 원래의 240Hz의 동화상 데이터 중 시간적으로 전(P), 현재(C), 후(N)의 위치의 픽처이다.

그리고, 「Tree_phase0」에 속하는 픽처에 대해서는, 각각에 혼합 비율을 결정하는 계수 g0, h0, i0을 곱하여 가산함으로써 생성되고 있음이 나타나 있다. 한편, 「Tree_phase1」에 속하는 픽처에 대해서는, 각각에 혼합 비율을 결정하는 계수 g1, h1, i1을 곱하여 가산함으로써 생성되고 있음이 나타나 있다.

상술한 바와 같은 "near"의 테이블 정보(혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보가, Dlayer1의 2번째 픽처의 부호화 화상 데이터에 삽입되어 수신측에 송신되고, 수신측에 있어서, 이스케이프 코드 ESC2(0xF0)으로 표현되는 Dlayer0의 픽처의 화상 데이터를 얻기 위한 역혼합 처리 정보로서 이용된다.

또한, Dlayer2의 2번째 픽처는, 「Tree_phase1」에 속해 있다. 그리고, 이 픽처의 혼합 대상 픽처는, Dlayer2의 2번째 픽처에 대하여 인접해 있는, 즉 "near"인, Dlayer1의 120Hz의 픽처의 동화상 데이터 중 시간적으로 전(P), 현재(C), 후(N)의 위치의 픽처이며, 각각에 혼합 비율을 결정하는 계수 t, u, v를 곱하여 가산함으로써, 당해 Dlayer2의 2번째 픽처가 생성되고 있음이 나타나 있다.

그리고, 이 이스케이프 코드 ESC1(0xF3)으로 표현되는 위치의 픽처의 혼합 대상 픽처는, Dlayer2의 2번째 픽처에 대하여 인접하고 있지 않은, 즉 "far"인, Dlayer0의 원래의 240Hz의 동화상 데이터 중 시간적으로 전(P), 현재(C), 후(N)의 위치의 픽처이며, 각각에 혼합 비율을 결정하는 계수 m, x, w를 곱하여 가산함으로써, 당해 이스케이프 코드 ESC1(0xF3)으로 표현되는 위치의 픽처가 생성되고 있음이 나타나 있다.

상술한 바와 같은 "near" 및 "far"의 테이블 정보(혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보)가, Dlayer2의 2번째 픽처의 부호화 화상 데이터에 삽입되어 수신측에 송신되고, 수신측에 있어서, 이스케이프 코드 ESC1(0xF3)이나 이스케이프 코드 ESC2(0xF0)으로 표현되는 위치의 픽처의 화상 데이터를 얻기 위한 역혼합 처리 정보로서 이용된다.

도 12는, 혼합 대상 픽처를 나타내는 정보가 픽처의 시간 위치 관계를 나타내는 정보인 경우에 있어서의 블렌드ㆍ타깃ㆍ인포메이션ㆍSEI 메시지의 구조예(Syntax)를 도시하고, 도 13은, 그 구조예에 있어서의 주요한 정보의 내용(Semantics)을 도시하고 있다. 「blend_target_information_id」라는 필드는, 블렌드ㆍ타깃ㆍ인포메이션ㆍSEI 메시지임을 나타내는 식별 정보이다. 「blend_target_information_length」의 8비트 필드는, 블렌드ㆍ타깃ㆍ인포메이션ㆍSEI 메시지의 바이트 사이즈를 나타낸다.

「Dlayer_id」의 8비트 필드는, 현 픽처가 속하는 Dlayer값을 나타내고 있다. 「blending_flag」의 1비트 필드는, 혼합되어 있는지 여부를 나타내는 플래그이다. 예를 들어, "1"은 혼합되어 있음을 나타내고, "0"은 혼합되어 있지 않음을 나타낸다.

「blending_coefficient」의 8비트 필드는, 혼합 비율(혼합비)을 나타내는 계수값을 나타낸다. 「target_Dlayer_id」의 8비트 필드는, 혼합 대상 픽처의 Dlayer값을 나타낸다. 「direction_type」의 8비트 필드는, 시간적인 상대 위치 관계를 나타낸다. 예를 들어, "0x01"은 전(Past)을 나타내고, "0x02"는 현재(Current)를 나타내고, "0x03"은 후(Next)를 나타낸다. 여기서, 「direction_type」의 상위 4비트의 값이 "F"일 때, 그 위치의 픽처는 전송되지 않는 픽처임을 나타내고, 또한 참조원의 픽처에 그 값이 반영되어 있음을 나타낸다.

도 1로 되돌아가서, 송신 장치(200)는, 컨테이너의 레이어에, 계층 부호화의 계층수와 혼합의 방향을 나타내는 타입 정보를 삽입한다. 이 실시 형태에 있어서는, 프로그램 맵 테이블(PMT: Program Map Table)의 각 비디오 스트림(기본 스트림, 확장 스트림)에 각각 대응하여 배치된 비디오 엘리멘터리 스트림 루프 중에, 신규 정의할 블렌드ㆍ타입ㆍ디스크립터(blend_type_descriptor)를 삽입한다. 이에 의해, 수신측에 있어서, 기본 스트림 및 소정수의 확장 스트림을 복호화하지 않고, 계층 부호화의 계층수와 혼합의 방향을 아는 것이 가능해진다.

도 14의 (a)는, 블렌드ㆍ타입ㆍ디스크립터의 구조예(Syntax)를 도시하고 있다. 도 14의 (b)는, 그 구조예에 있어서의 주요한 정보의 내용(Semantics)을 도시하고 있다. 「blend_type_descriptor_tag」의 8비트 필드는 디스크립터 타입을 나타내며, 여기서는 블렌드ㆍ타입ㆍ디스크립터임을 나타낸다. 「blend_type_descriptor_length」의 8비트 필드는, 디스크립터의 길이(사이즈)를 나타내고, 디스크립터의 길이로서, 이후의 바이트수를 나타낸다.

「blend_type」의 8비트 필드는, 블렌드 트리의 타입을 나타낸다. 예를 들어, "0x00"은 2레이어에서 후방 화상과의 혼합(도 2의 (a) 참조)을 나타내고, "0x01"은 2레이어에서 전방 화상과의 혼합(도 2의 (b) 참조)을 나타내고, "0x02"는 2레이어에서 전방ㆍ후방 화상과의 혼합을 나타내고, "0x03"은 3레이어에서 후방 화상과의 혼합(도 3의 (a), (b), 도 6 참조)을 나타내고, "0x04"는 3레이어에서 전방 화상과의 혼합(도 7 참조)을 나타내고, "0x05"는 3레이어에서 전방ㆍ후방 화상과의 혼합(도 4, 도 10 참조)을 나타낸다.

「Dlayer」의 8비트 필드는, 서브 스트림이 속하는 Dlayer값을 나타낸다. 예를 들어, "0x0"은 「0(최상위 레이어: Dlayer0)」을 나타내고, "0x1"은 「1(제2 상위 레이어: Dlayer1)」을 나타내고, "0x2"는 「2(제3 상위 레이어: Dlayer2)」를 나타낸다.

도 1로 되돌아가서, 텔레비전 수신기(200)는, 송신 장치(100)로부터 방송파에 실어서 보내져 오는 상술한 트랜스포트 스트림 TS를 수신한다. 텔레비전 수신기(200)는, 노멀 프레임 레이트(60Hz)의 동화상 데이터를 처리 가능한 디코드 능력이 있는 경우, 트랜스포트 스트림 TS에 포함되는 기본 스트림만을 처리하여, 노멀 프레임 레이트의 동화상 데이터를 얻어, 화상 재생을 한다. 이 경우, 텔레비전 수신기(200)는, 기본 스트림에 복호화 처리를 실시하여 노멀 프레임 레이트의 각 프레임의 화상 데이터를 얻는다.

한편, 텔레비전 수신기(200)는, 하이 프레임 레이트(120Hz 혹은 240Hz)의 동화상 데이터를 처리 가능한 디코드 능력이 있는 경우, 트랜스포트 스트림 TS에 포함되는 기본 스트림 및 확장 스트림의 양쪽을 처리하여, 하이 프레임 레이트의 동화상 데이터를 얻어, 화상 재생을 한다.

이 경우, 텔레비전 수신기(200)는, 기본 스트림에 복호화 처리를 실시하여 노멀 프레임 레이트의 각 픽처의 화상 데이터를 얻음과 함께, 확장 스트림에 복호화 처리를 실시하여 하이 프레임 레이트의 각 확장 픽처의 화상 데이터를 얻은 후, 노멀 프레임 레이트의 각 픽처의 화상 데이터와 하이 프레임 레이트의 각 확장 픽처의 화상 데이터를 사용하여, 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보에 기초하여, 적절하게 역혼합 처리를 행하여, 혼합 해제된 하이 프레임 레이트의 동화상 데이터를 얻는다.

도 15는, 송신 장치(100) 및 텔레비전 수신기(200)의 처리 개요의 일례를 도시하고 있다. 또한, 송신 장치(100)의 프리프로세서(102)의 출력의 화상 시퀀스 Q와 텔레비전 수신기(200A)의 디코더(204)의 출력의 화상 시퀀스 Q는, 시계열적으로는 동일한 것이지만, 코덱을 통과하고 있으므로 양자의 화질이 다른 경우도 포함한다.

송신 장치(100)에서는, 프리프로세서(102)에 있어서, 240Hz의 하이 프레임 레이트의 동화상 데이터 P를 구성하는 각 픽처의 화상 데이터에 혼합 처리가 실시되어, 60Hz의 기본 스트림의 각 픽처의 화상 데이터 Qb와, +60Hz의 제1 확장 스트림의 각 픽처의 화상 데이터 Qe1과, +120Hz의 제2 확장 스트림의 각 픽처의 화상 데이터 Qe2를 포함하는 혼합 처리 후의 240Hz의 동화상 데이터 Q(도 4, 도 10 참조)가 얻어진다.

송신 장치(100)에서는, 인코더(103)에 있어서, 동화상 데이터 Q(Qb, Qe1, Qe2)에 계층 부호화 처리가 실시되어, 기본 스트림 STb와, 제1 확장 스트림 STe1, 제2 확장 스트림 STe2가 얻어진다. 송신 장치(100)로부터 텔레비전 수신기(200)로는, 이들 스트림 STb, STe1, STe2가 송신된다. 또한, 스트림 STb, STe1에 있어서는, 혼합 화상의 픽처의 부호화 화상 데이터에, 혼합 비율의 정보 및 혼합 대상 픽처의 정보가 삽입된다.

240Hz의 동화상 데이터를 처리 가능한 디코드 능력이 있는 텔레비전 수신기(200A)에서는, 디코더(204)에 있어서, 세 스트림 STb, STe1, STe2에 복호화 처리가 실시되어, 화상 데이터 Qb, Qe1, Qe2를 포함하는 혼합 처리되어 있는 240Hz의 동화상 데이터가 얻어진다. 그리고, 수신 장치(200A)에서는, 포스트프로세서(205)에 있어서, 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보에 기초하여, 적절하게 역혼합 처리(혼합 해제 처리)가 실시되어, 송신측에 있어서의 240Hz의 동화상 데이터 P와 마찬가지의 혼합 해제된 240Hz의 동화상 데이터가 얻어진다. 이 240Hz의 동화상 데이터가, 그대로, 혹은 MCFI(Motion Compensated Frame Insertion)부(206)에서 프레임 보간이 되어 프레임 레이트가 높아져, 표시용 동화상 데이터로 된다.

또한, 120Hz의 동화상 데이터를 처리 가능한 디코드 능력이 있는 텔레비전 수신기(200B)에서는, 디코더(204)에 있어서, 두 스트림 STb, STe1에 복호화 처리가 실시되어, 화상 데이터 Qb, Qe1을 포함하는 혼합 처리되어 있는 120Hz의 동화상 데이터가 얻어진다. 그리고, 수신 장치(200B)에서는, 포스트프로세서(205)에 있어서, 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보에 기초하여, 적절하게 역혼합 처리(혼합 해제 처리)가 실시되어, 120Hz의 동화상 데이터가 얻어진다. 이 120Hz의 동화상 데이터가, 그대로, 혹은 MCFI부(206)에서 프레임 보간이 되어 프레임 레이트가 높아져, 표시용 동화상 데이터로 된다.

또한, 60Hz의 동화상 데이터를 처리 가능한 디코드 능력이 있는 텔레비전 수신기(200C)에서는, 디코더(204)에 있어서, 스트림 STb에 복호화 처리가 실시되어, 화상 데이터 Qb가 얻어진다. 그리고, 수신 장치(200C)에서는, 이 화상 데이터 Qb를 포함하는 60Hz의 동화상 데이터가, 그대로, 혹은 MCFI부(206C)에서 프레임 보간이 되어 프레임 레이트가 높아져, 표시용 동화상 데이터로 된다.

「송신 장치의 구성」

도 16은, 송신 장치(100)의 구성예를 도시하고 있다. 이 송신 장치(100)는, 제어부(101)와, 프리프로세서(102)와, 인코더(103)와, 멀티플렉서(104)와, 송신부(105)를 갖고 있다. 제어부(101)는, 송신 장치(100)의 각 부의 동작을 제어한다.

프리프로세서(102)는, 240Hz의 하이 프레임 레이트의 동화상 데이터 P를 입력하여, 60Hz의 기본 스트림의 각 픽처의 화상 데이터 Qb와, +60Hz의 제1 확장 스트림의 각 픽처의 화상 데이터 Qe1과, +120Hz의 제2 확장 스트림의 각 픽처의 화상 데이터 Qe2를 포함하는 혼합 처리 후의 240Hz의 동화상 데이터 Q(도 4, 도 10 참조)를 출력한다. 프리프로세서(102)는, 예를 들어 복수 탭을 갖는 필터로 구성되고, 픽처별로 각 탭의 계수를 변경하고, 픽처별로 독립된 혼합 비율로 주변의 픽처의 화상 데이터를 혼합함으로써 혼합이 가능해진다.

이 경우, 프리프로세서(102)는, 동화상 데이터 P의 각 픽처의 화상 데이터에 픽처별로 독립된 혼합 비율로 주변의 픽처의 화상 데이터를 혼합하는 처리를 실시하여, 혼합 해제된 240Hz의 동화상 데이터 Q를 얻는다. 여기서, 60Hz의 기본 스트림의 각 픽처의 화상 데이터 Qb와 +60Hz의 제1 확장 스트림의 각 픽처의 화상 데이터 Qe1은 혼합된 것으로 되지만, +120Hz의 제2 확장 스트림의 각 픽처의 화상 데이터 Qe2는 혼합되지 않은 것으로 된다(도 4, 도 10 참조).

인코더(103)는, 동화상 데이터 Q(Qb, Qe1, Qe2)에 계층 부호화 처리를 실시하여, 기본 스트림 STb와, 제1 확장 스트림 STe1과, 제2 확장 스트림 STe2를 얻는다. 이 경우, 인코더(103)는, 동화상 데이터 Q에 대하여, 예를 들어 H.264/AVC, H.265/HEVC 등의 예측 부호화 처리를 한다.

이때, 인코더(102)는, 각 픽처의 부호화 화상 데이터에 대하여, 상술한 블렌드ㆍ타깃ㆍ인포메이션ㆍSEI 메시지(도 8, 도 12 참조)를 삽입한다. 이에 의해, 혼합 화상의 픽처의 부호화 화상 데이터에는, 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보가 부가되게 된다. 이에 의해, 수신측에서는, 이 정보에 기초하여, 혼합 화상의 픽처의 화상 데이터가 어떠한 비율로 주변의 어느 픽처의 화상 데이터와 혼합되어 얻어진 것인지를 파악할 수 있어, 역혼합 처리(혼합 해제 처리)를 적절하고도 용이하게 행하는 것이 가능해진다.

멀티플렉서(104)는, 인코더(103)에서 생성된 기본 스트림 STb, 제1 확장 스트림 STe1 및 제2 확장 스트림 STe2를, PES(Packetized Elementary Stream) 패킷화하고, 또한 트랜스포트 패킷화하여 다중시켜, 다중화 스트림으로서의 트랜스포트 스트림 TS를 얻는다.

이때, 멀티플렉서(104)는, 프로그램 맵 테이블(PMT)의 각 스트림에 각각 대응하여 배치된 비디오 엘리멘터리 스트림 루프 중에, 상술한 블렌드ㆍ타입ㆍ디스크립터(도 14의 (a) 참조)를 삽입한다. 이에 의해, 수신측에서는, 각 스트림을 복호화하지 않고, 계층 부호화의 계층수와 혼합의 방향, 즉 블렌드 타입을 아는 것이 가능해진다.

송신부(105)는, 트랜스포트 스트림 TS를, 예를 들어 QPSK/OFDM 등의 방송에 적합한 변조 방식으로 변조하고, RF 변조 신호를 송신 안테나로부터 송신한다.

도 17은, 트랜스포트 스트림 TS의 구성예를 도시하고 있다. 이 트랜스포트 스트림 TS에는, 기본 스트림(베이스 스트림) STb와, 제1 확장 스트림(제1 인핸스 스트림) STe1과, 제2 확장 스트림(제2 인핸스 스트림) STe2의 세 스트림(서브 스트림)이 포함되어 있다.

즉, 이 구성예에서는, 패킷 식별자 「PID1」로 식별되는 기본 스트림 STb의 PES 패킷 「video PES1」이 존재하고, 패킷 식별자 「PID2」로 식별되는 제1 확장 스트림 STe1의 PES 패킷 「video PES2」가 존재하고, 또한 패킷 식별자 「PID3」으로 식별되는 제2 확장 스트림 STe2의 PES 패킷 「video PES3」이 존재한다.

PES 패킷 「video PES1」, 「video PES2」, 「video PES3」으로 컨테이너되는 각 픽처의 부호화 화상 데이터에는, 타깃ㆍ인포메이션ㆍSEI 메시지(도 8, 도 12 참조)가 삽입되어 있다.

또한, 트랜스포트 스트림 TS에는, PSI(Program Specific Information)의 하나로서, PMT(Program Map Table)가 포함되어 있다. 이 PSI는, 트랜스포트 스트림에 포함되는 각 엘리멘터리 스트림이 어느 프로그램에 속해 있는지를 기재한 정보이다.

PMT에는, 프로그램 전체에 관련된 정보를 기술하는 프로그램 루프(Program loop)가 존재한다. 또한, PMT에는, 각 비디오 스트림에 관련된 정보를 갖는 비디오 엘리멘터리 스트림 루프가 존재한다. 이 구성예에서는, 기본 스트림 STb에 대응한 비디오 엘리멘터리 스트림 루프 「video ES1 loop」가 존재하고, 제1 확장 스트림 STe1에 대응한 비디오 엘리멘터리 스트림 루프 「video ES2 loop」가 존재하고, 또한 제2 확장 스트림 STe2에 대응한 비디오 엘리멘터리 스트림 루프 「video ES3 loop」가 존재한다.

「video ES1 loop」에는, 기본 스트림 STb(video PES1)에 대응하여, 스트림 타입, 패킷 식별자(PID) 등의 정보가 배치됨과 함께, 그 비디오 스트림에 관련된 정보를 기술하는 디스크립터도 배치된다. 스트림 타입은, HEVC 부호화의 경우, 기본 스트림을 나타내는 "0x24"로 된다. 또한, 디스크립터의 하나로서, 블렌드ㆍ타입ㆍ디스크립터(도 14의 (a) 참조)가 배치된다. 이 디스크립터의 「Dlayer」라는 필드에서 나타나는 서브 스트림이 속하는 Dlayer값은 기본 스트림의 계층을 나타내는 "0x2"로 되어 있다.

또한, 「video ES2 loop」에는, 제1 확장 스트림 STe1(video PES2)에 대응하여, 스트림 타입, 패킷 식별자(PID) 등의 정보가 배치됨과 함께, 그 비디오 스트림에 관련된 정보를 기술하는 디스크립터도 배치된다. 스트림 타입은, HEVC 부호화의 경우, 확장 스트림을 나타내는 "0x25"로 된다. 또한, 디스크립터의 하나로서, 블렌드ㆍ타입ㆍ디스크립터(도 14의 (a) 참조)가 배치된다. 이 디스크립터의 「Dlayer」라는 필드에서 나타나는 서브 스트림이 속하는 Dlayer값은 제1 확장 스트림의 계층을 나타내는 "0x1"로 되어 있다.

또한, 「video ES3 loop」에는, 제2 확장 스트림 STe2(video PES3)에 대응하여, 스트림 타입, 패킷 식별자(PID) 등의 정보가 배치됨과 함께, 그 비디오 스트림에 관련된 정보를 기술하는 디스크립터도 배치된다. 스트림 타입은, HEVC 부호화의 경우, 확장 스트림을 나타내는 "0x25"로 된다. 또한, 디스크립터의 하나로서, 블렌드ㆍ타입ㆍ디스크립터(도 14의 (a) 참조)가 배치된다. 이 디스크립터의 「Dlayer」라는 필드에서 나타나는 서브 스트림이 속하는 Dlayer값은 제2 확장 스트림의 계층을 나타내는 "0x0"으로 되어 있다.

도 16에 도시하는 송신 장치(100)의 동작을 간단하게 설명한다. 240Hz의 동화상 데이터 P가 프리프로세서(102)에 입력된다. 이 프리프로세서(102)에서는, 이 동화상 데이터 P에 혼합 처리가 실시되어, 60Hz의 기본 스트림의 각 픽처의 화상 데이터 Qb와, +60Hz의 제1 확장 스트림의 각 픽처의 화상 데이터 Qe1과, +120Hz의 제2 확장 스트림의 각 픽처의 화상 데이터 Qe2를 포함하는 혼합 처리 후의 240Hz의 동화상 데이터 Q(도 4, 도 10 참조)가 얻어진다.

프리프로세서(102)에서 얻어진 240Hz의 동화상 데이터 Q(Qb, Qe1, Qe2)는, 인코더(103)에 공급된다. 인코더(103)에서는, 동화상 데이터 Q에 대하여 계층 부호화 처리가 실시되어, 기본 스트림 STb, 제1 확장 스트림 STe2 및 제2 확장 스트림 STe2가 생성된다. 이때, 인코더(103)에서는, 각 픽처의 부호화 화상 데이터에 대하여, 블렌드ㆍ타깃ㆍ인포메이션ㆍSEI 메시지(도 8, 도 12 참조)가 삽입된다.

인코더(103)에서 생성된 기본 스트림 STb, 제1 확장 스트림 STe2 및 제2 확장 스트림 STe2는, 멀티플렉서(104)에 공급된다. 멀티플렉서(104)에서는, 각 스트림이, PES 패킷화되고, 또한 트랜스포트 패킷화되어 다중되어, 다중화 스트림으로서의 트랜스포트 스트림 TS가 얻어진다. 이때, 멀티플렉서(104)에서는, 프로그램 맵 테이블(PMT)의 각 스트림에 각각 대응하여 배치된 비디오 엘리멘터리 스트림 루프 중에, 블렌드ㆍ타입ㆍ디스크립터(도 14의 (a) 참조)가 삽입된다.

멀티플렉서(104)에서 생성된 트랜스포트 스트림 TS는, 송신부(105)로 보내진다. 송신부(105)에서는, 이 트랜스포트 스트림 TS가, 예를 들어 QPSK/OFDM 등의 방송에 적합한 변조 방식으로 변조되고, 이 RF 변조 신호가 송신 안테나로부터 송신된다.

「텔레비전 수신기의 구성」

도 18은, 240Hz의 동화상 데이터를 처리 가능한 디코드 능력이 있는 텔레비전 수신기(200A)의 구성예를 도시하고 있다. 이 텔레비전 수신기(200A)는, 제어부(201)와, 수신부(202)와, 디멀티플렉서(203)와, 디코더(204)와, 포스트프로세서(205)와, MCFI부(206)와, 패널 표시부(207)를 갖고 있다.

제어부(201)는, 텔레비전 수신기(200A)의 각 부의 동작을 제어한다. 수신부(202)는, 수신 안테나로 수신된 RF 변조 신호를 복조하여, 트랜스포트 스트림 TS를 취득한다. 디멀티플렉서(203)는, 트랜스포트 스트림 TS로부터, PID의 필터링에 의해, 기본 스트림 STb, 제1 확장 스트림 STe1 및 제2 확장 스트림 STe2를 취출하여, 디코더(204)에 공급한다.

또한, 디멀티플렉서(203)는, 트랜스포트 스트림 TS에 포함되는 섹션 정보를 추출하여, 제어부(201)에 보낸다. 이 경우, 블렌드ㆍ타입ㆍ디스크립터(도 14의 (a) 참조)도 추출된다. 이에 의해, 제어부(201)는, 계층 부호화의 계층수와 혼합의 방향, 즉 블렌드 타입을 파악할 수 있어, 포스트프로세서(205)에 있어서의 역혼합 처리(혼합 해제 처리)를 적절하고도 용이하게 제어할 수 있다.

디코더(204)는, 스트림 STb, STe1, STe2에 복호화 처리를 실시하여, 60Hz의 기본 스트림의 각 픽처의 화상 데이터 Qb와, +60Hz의 제1 확장 스트림의 각 픽처의 화상 데이터 Qe1과, +120Hz의 제2 확장 스트림의 각 픽처의 화상 데이터 Qe2를 얻는다.

또한, 디코더(204)는, 스트림 STb, STe1, STe2를 구성하는 각 액세스 유닛에 삽입되어 있는 파라미터 세트나 SEI를 추출하여, 제어부(201)에 보낸다. 이 경우, 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보를 갖는 타깃ㆍ인포메이션ㆍSEI 메시지(도 8, 도 12 참조)도 추출된다. 이에 의해, 제어부(201)는, 혼합 화상의 픽처의 화상 데이터가 어떠한 비율로 주변의 어느 픽처의 화상 데이터와 혼합되어 얻어진 것인지를 파악할 수 있어, 포스트프로세서(205)에 있어서의 역혼합 처리(혼합 해제 처리)를 적절하고도 용이하게 제어할 수 있다.

포스트프로세서(205)는, 제어부(201)의 제어 하, 디코더(204)에서 얻어진 화상 데이터 Qb, Qe1, Qe2에, 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보에 기초하여 역혼합 처리(혼합 해제 처리)를 적절하게 실시하여, 혼합 해제된 240Hz의 동화상 데이터를 얻는다. 포스트프로세서(205)는, 예를 들어 복수 탭을 갖는 필터로 구성되며, 픽처별로 각 탭의 계수를 변경하고, 픽처별로 독립된 혼합 비율로 주변의 픽처의 화상 데이터를 혼합함으로써 혼합 해제가 가능해진다.

MCFI부(206)는, 포스트프로세서(205)에서 얻어진 240Hz의 동화상 데이터에, 움직임 보상의 프레임 보간 처리를 실시하여, 프레임 레이트를 더 높인 동화상 데이터를 얻는다. 또한, 이 MCFI부(206)를 갖고 있지 않은 경우도 있다. 패널 표시부(207)는, 포스트프로세서(205)에서 얻어진 240Hz의 동화상 데이터 또는 MCFI부(206)에서 프레임 레이트가 높아진 동화상 데이터에 의한 화상 표시를 한다.

도 18에 도시하는 텔레비전 수신기(200A)의 동작을 간단하게 설명한다. 수신부(202)에서는, 수신 안테나로 수신된 RF 변조 신호가 복조되고, 트랜스포트 스트림 TS가 취득된다. 이 트랜스포트 스트림 TS는, 디멀티플렉서(203)로 보내진다. 디멀티플렉서(203)에서는, 트랜스포트 스트림 TS로부터, PID의 필터링에 의해, 기본 스트림 STb, 제1 확장 스트림 STe1 및 제2 확장 스트림 STe2가 취출되어, 디코더(204)에 공급된다.

또한, 디멀티플렉서(203)에서는, 트랜스포트 스트림 TS에 포함되는 섹션 정보가 추출되어, 제어부(201)로 보내진다. 이 경우, 블렌드ㆍ타입ㆍ디스크립터(도 14의 (a) 참조)도 추출된다. 이에 의해, 제어부(201)에서는, 계층 부호화의 계층수와 혼합의 방향, 즉 블렌드 타입이 파악된다.

디코더(204)에서는, 스트림 STb, STe1, STe2에 복호화 처리가 실시되어, 60Hz의 기본 스트림의 각 픽처의 화상 데이터 Qb와, +60Hz의 제1 확장 스트림의 각 픽처의 화상 데이터 Qe1과, +120Hz의 제2 확장 스트림의 각 픽처의 화상 데이터 Qe2가 얻어진다.

또한, 디코더(204)에서는, 스트림 STb, STe1, STe2를 구성하는 각 액세스 유닛에 삽입되어 있는 파라미터 세트나 SEI가 추출되어, 제어부(201)로 보내진다. 이 경우, 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보를 갖는 타깃ㆍ인포메이션ㆍSEI 메시지(도 8, 도 12 참조)도 추출된다. 이에 의해, 제어부(201)에서는, 혼합 화상의 픽처의 화상 데이터가 어떠한 비율로 주변의 어느 픽처의 화상 데이터와 혼합되어 얻어진 것인지가 파악된다.

디코더(204)에서 얻어진 화상 데이터 Qb, Qe1, Qe2는 포스트프로세서(205)에 공급된다. 포스트프로세서(205)에서는, 제어부(201)의 제어 하, 화상 데이터 Qb, Qe1, Qe2에, 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보에 기초하여 역혼합 처리(혼합 해제 처리)가 적절하게 실시되어, 혼합 해제된 240Hz의 동화상 데이터가 얻어진다.

포스트프로세서(205)에서 얻어진 혼합 해제된 240Hz의 동화상 데이터, 혹은 추가로 MCFI부(206)에서 프레임 레이트가 높아진 동화상 데이터는 패널 표시부(207)에 공급되고, 패널 표시부(207)에는 당해 동화상 데이터에 의한 화상 표시가 이루어진다.

120Hz의 동화상 데이터를 처리 가능한 디코드 능력이 있는 텔레비전 수신기(200B)에 관해서도, 도 18의 텔레비전 수신기(200A)와 마찬가지로 구성된다. 텔레비전 수신기(200B)의 경우, 디멀티플렉서(203)에서는, 트랜스포트 스트림 TS로부터, PID의 필터링에 의해, 기본 스트림 STb 및 제1 확장 스트림 STe1이 취출되어, 디코더(204)에 공급된다.

또한, 텔레비전 수신기(200B)의 경우, 디코더(204)에서는, 스트림 STb, STe1에 복호화 처리가 실시되어, 60Hz의 기본 스트림의 각 픽처의 화상 데이터 Qb와, +60Hz의 제1 확장 스트림의 각 픽처의 화상 데이터 Qe1이 얻어진다. 또한, 텔레비전 수신기(200B)의 경우, 포스트프로세서(205)에서는, 제어부(201)의 제어 하, 화상 데이터 Qb, Qe1에, 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보에 기초하여 역혼합 처리(혼합 해제 처리)가 적절하게 실시되어, 혼합 해제된 120Hz의 동화상 데이터가 얻어진다.

그리고, 텔레비전 수신기(200B)의 경우, 포스트프로세서(205)에서 얻어진 혼합 해제된 120Hz의 동화상 데이터, 혹은 추가로 MCFI부(206)에서 프레임 레이트가 높아진 동화상 데이터는 패널 표시부(207)에 공급되고, 이 패널 표시부(207)에는 당해 동화상 데이터에 의한 화상 표시가 이루어진다.

도 19는, 60Hz의 동화상 데이터를 처리 가능한 디코드 능력이 있는 텔레비전 수신기(200C)의 구성예를 도시하고 있다. 이 텔레비전 수신기(200C)는, 제어부(201)와, 수신부(202)와, 디멀티플렉서(203)와, 디코더(204)와, MCFI부(206)와, 패널 표시부(207)를 갖고 있다.

제어부(201)는, 텔레비전 수신기(200C)의 각 부의 동작을 제어한다. 수신부(202)는, 수신 안테나로 수신된 RF 변조 신호를 복조하여, 트랜스포트 스트림 TS를 취득한다. 디멀티플렉서(203)는, 트랜스포트 스트림 TS로부터, PID의 필터링에 의해, 기본 스트림 STb를 취출하여, 디코더(204)에 공급한다. 디코더(204)는, 기본 스트림 STb에 복호화 처리를 실시하여, 60Hz의 기본 스트림의 각 픽처의 화상 데이터 Qb를, 60Hz의 동화상 데이터로서 얻는다.

MCFI부(206)는, 이 60Hz의 동화상 데이터에, 움직임 보상의 프레임 보간 처리를 실시하여, 프레임 레이트를 더 높인 동화상 데이터를 얻는다. 또한, 이 MCFI부(206)를 갖고 있지 않은 경우도 있다. 패널 표시부(207)는, 디코더(204)에서 얻어진 60Hz의 동화상 데이터 또는 MCFI부(206)에서 프레임 레이트가 높아진 동화상 데이터에 의한 화상 표시를 한다.

도 19에 도시하는 텔레비전 수신기(200C)의 동작을 간단하게 설명한다. 수신부(202)에서는, 수신 안테나로 수신된 RF 변조 신호가 복조되어, 트랜스포트 스트림 TS가 취득된다. 이 트랜스포트 스트림 TS는, 디멀티플렉서(203)로 보내진다. 디멀티플렉서(203)에서는, 트랜스포트 스트림 TS로부터, PID의 필터링에 의해, 기본 스트림 STb가 취출되어, 디코더(204)에 공급된다.

디코더(204)에서는, 기본 스트림 STb에 복호화 처리가 실시되어, 60Hz의 동화상 데이터가 얻어진다. 이 60Hz의 동화상 데이터, 혹은 추가로 MCFI부(206)에서 프레임 레이트가 높아진 동화상 데이터는 패널 표시부(207)에 공급되고, 이 패널 표시부(207)에는 당해 동화상 데이터에 의한 화상 표시가 이루어진다.

이상 설명한 바와 같이, 도 1에 도시하는 송수신 시스템(10)에 있어서는, 기본 스트림 및 확장 스트림의 혼합 화상의 픽처의 부호화 화상 데이터에 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보가 삽입되어 송신된다. 그 때문에, 수신측에 있어서, 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보에 기초하여, 역혼합 처리를 적절하고도 용이하게 행할 수 있어, 하이 프레임 레이트의 동화상 데이터를 양호하게 얻을 수 있다.

<2. 제2 실시 형태>

[송수신 시스템]

상술한 실시 형태에 있어서는, 송신 장치(100)가 텔레비전 수신기(200)를 포함하는 송수신 시스템(10)의 예를 나타내었지만, 본 기술을 적용할 수 있는 송수신 시스템의 구성은, 이것에 한정되지 않는다. 텔레비전 수신기(200)의 부분이 디지털 인터페이스, 예를 들어 HDMI(High-Definition Multimedia Interface) 등의 디지털 인터페이스로 접속된 셋톱 박스 및 디스플레이로 되는 경우도 고려된다. 또한, 「HDMI」는 등록 상표이다.

도 20은, 제2 실시 형태로서의 송수신 시스템(10A)의 구성예를 도시하고 있다. 이 송수신 시스템(10A)은, 송신 장치(100)와, 셋톱 박스((STB)200-1)와, 디스플레이(200-2)를 갖는 구성으로 되어 있다. 셋톱 박스((STB)200-1)와 디스플레이(200-2)는 HDMI로 접속되어 있다. 또한, 여기서는 디지털 인터페이스가 HDMI인 예를 나타내고 있지만, 다른 포맷의 디지털 인터페이스여도 된다.

송신 장치(100)는, 도 1에 도시하는 송수신 시스템(10)에 있어서의 송신 장치(100)와 동일하므로, 그 설명은 생략한다. 셋톱 박스(200-1)는, 송신 장치(100)로부터 방송파에 실어서 보내져 오는 트랜스포트 스트림 TS를 수신한다.

셋톱 박스(200-1)는, 디스플레이(200-2)가 하이 프레임 레이트(240Hz 혹은 120Hz)의 동화상 데이터의 취급이 가능한 경우, 트랜스포트 스트림 TS에 포함되는 기본 스트림 및 확장 스트림의 양쪽을 처리하여, 혼합 처리되어 있는 240Hz 혹은 120Hz 하이 프레임 레이트의 동화상 데이터를 얻는다.

셋톱 박스(200-1)는, 디스플레이(200-2)가 역혼합 처리(혼합 해제 처리)의 기능을 갖는 경우에는, 혼합 처리되어 있는 하이 프레임 레이트의 동화상 데이터와, 각 픽처의 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보를, HDMI 전송로를 통하여, 디스플레이(200-2)에 보낸다. 이 경우, 각 픽처의 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보를, 각 픽처의 화상 데이터의 블랭킹 기간에 삽입하여 송신한다.

또한, 셋톱 박스(200-1)는, 디스플레이(200-2)가 역혼합 처리(혼합 해제 처리)의 기능을 갖지 않는 경우에는, 혼합 처리되어 있는 하이 프레임 레이트의 동화상 데이터에 대하여 각 픽처의 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보에 기초하여 역혼합 처리(혼합 해제 처리)를 행하여, 혼합 해제된 하이 프레임 레이트의 동화상 데이터를 얻고, HDMI 전송로를 통하여, 디스플레이(200-2)에 보낸다.

한편, 셋톱 박스(200-1)는, 디스플레이(200-2)가 60Hz의 동화상 데이터의 취급만이 가능한 경우, 트랜스포트 스트림 TS에 포함되는 기본 스트림 STb만을 처리하여, 60Hz의 동화상 데이터를 얻는다. 그리고, 셋톱 박스(200-1)는, 이 60Hz의 동화상 데이터를, HDMI 전송로를 통하여, 디스플레이(200-2)에 보낸다.

소스 기기인 셋톱 박스(200-1)는, 싱크 기기인 디스플레이(200-2)로부터 EDID를 취득하고, 디스플레이(200-2)가 하이 프레임 레이트(240Hz 혹은 120Hz)의 동화상 데이터의 취급이 가능한지 여부의 판단, 나아가 디스플레이(200-2)가 역혼합 처리(혼합 해제 처리)의 기능을 갖는지 여부를 판단한다.

도 21의 흐름도는, 셋톱 박스(200-1)의 제어부(CPU)에 있어서의 제어 처리 수순의 일례를 도시하고 있다. 우선, 제어부는, 스텝 ST1에 있어서, 제어 처리를 개시한다. 이어서, 제어부는, 스텝 ST2에 있어서, 디스플레이(200-2)로부터 EDID를 판독하여 체크한다. 그리고, 제어부는, 스텝 ST3에 있어서, 디스플레이(200-2)가 하이 프레임 레이트(240Hz 혹은 120Hz)의 동화상 데이터의 취급이 가능한지 여부를 판단한다.

취급이 가능하지 않을 때, 제어부는, 스텝 ST4에 있어서, 기본 스트림 STb만을 디코드하고, 기본 스트림의 60Hz의 동화상 데이터 Qb를 포함하는 60Hz의 동화상 데이터를 셋톱 박스(200-1)에 송신한다. 제어부는, 이 스텝 ST4의 처리 후, 스텝 ST5에 있어서, 제어 처리를 종료한다.

또한, 스텝 ST3에서 디스플레이(200-2)가 하이 프레임 레이트의 동화상 데이터의 취급이 가능할 때, 제어부는, 스텝 ST6에 있어서, 기본 스트림 STb 및 확장 스트림을 디코드한다. 이 경우, 240Hz의 동화상 데이터의 취급이 가능할 때에는, 확장 스트림으로서, 제1 확장 스트림 STe1 및 제2 확장 스트림 STe2의 양쪽을 디코드하고, 120Hz의 동화상 데이터의 취급이 가능할 때에는, 확장 스트림으로서, 제1 확장 스트림 STe1만을 디코드한다.

이어서, 제어부는, 스텝 ST7에 있어서, 디스플레이(200-2)가 역혼합 처리(혼합 해제 처리)의 기능을 갖는지 여부를 판단한다. 역혼합 처리의 기능을 갖지 않을 때, 제어부는, 스텝 ST8에 있어서, 셋톱 박스(200-1)측에서 역혼합 처리를 하는 것으로 결정하고, 혼합 해제된 240Hz 혹은 120Hz의 동화상 데이터를 셋톱 박스(200-1)에 송신한다. 제어부는, 이 스텝 ST8의 처리 후, 스텝 ST5에 있어서, 제어 처리를 종료한다.

또한, 스텝 ST7에서 디스플레이(200-2)가 역혼합 처리의 기능을 가질 때, 제어부는, 스텝 ST9에 있어서, 디스플레이(200-2)측에서 역혼합 처리를 하는 것으로 결정하고, 혼합 처리되어 있는 240Hz 혹은 120Hz의 동화상 데이터와, 각 픽처의 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보를, HDMI 전송로를 통하여, 디스플레이(200-2)에 보낸다. 제어부는, 이 스텝 ST9의 처리 후, 스텝 ST5에 있어서, 제어 처리를 종료한다.

도 22는, 송신 장치(100), 셋톱 박스(200-1) 및 디스플레이(200-2)의 처리 개요의 일례를 도시하고 있다. 또한, 송신 장치(100)의 프리프로세서(102)의 출력의 화상 시퀀스 Q와 셋톱 박스(200-1)의 디코더(204)의 출력의 화상 시퀀스 Q는, 시계열적으로는 같은 것이지만, 코덱을 통과하였으므로 양자의 화질이 다른 경우도 포함한다. 송신 장치(100)에 대해서는, 도 15에서 설명한 것과 마찬가지이므로, 여기서는 그 설명을 생략한다.

셋톱 박스(200-1)는, 240Hz의 동화상 데이터의 취급이 가능한 디스플레이(200-2A)가 접속되어 있는 경우, 디코더(204)에 있어서, 세 스트림 STb, STe1, STe2에 복호화 처리를 실시하여, 화상 데이터 Qb, Qe1, Qe2를 포함하는 혼합 처리가 되어 있는 240Hz의 동화상 데이터 Q를 얻는다.

또한, 셋톱 박스(200-1)는, 디스플레이(200-2A)가 역혼합 처리(혼합 해제 처리)의 기능을 갖는 경우, 동화상 데이터 Q와, 각 픽처의 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보를, HDMI 전송로를 통하여, 디스플레이(200-2A)에 송신한다. 도시된 예는, 디스플레이(200-2A)가 포스트프로세서(205)를 구비하고 있고, 디스플레이(200-2A)가 역혼합 처리(혼합 해제 처리)의 기능을 갖는 경우를 나타내고 있다. 또한, 도 23의 (a)는, 이 경우의 상태를 도시하고 있다.

또한, 셋톱 박스(200-1)는, 디스플레이(200-2A)가 역혼합 처리(혼합 해제 처리)의 기능을 갖지 않는 경우, 자신이 갖는 포스트프로세서(205)에 의해, 동화상 데이터 Q에 역혼합 처리(혼합 해제 처리)를 실시하여, 혼합 해제된 240Hz의 동화상 데이터를 얻는다. 그리고, 셋톱 박스(200-1)는, 이 혼합 해제된 240Hz의 동화상 데이터를, HDMI 전송로를 통하여, 디스플레이(200-2A)에 송신한다. 도 23의 (b)는, 이 경우의 상태를 도시하고 있다.

또한, 셋톱 박스(200-1)는, 120Hz의 동화상 데이터의 취급이 가능한 디스플레이(200-2B)가 접속되어 있는 경우, 디코더(204)에 있어서, 두 스트림 STb, STe1에 복호화 처리를 실시하여, 화상 데이터 Qb, Qe1을 포함하는 혼합 처리가 되어 있는 120Hz의 동화상 데이터를 얻는다.

또한, 셋톱 박스(200-1)는, 디스플레이(200-2B)가 역혼합 처리(혼합 해제 처리)의 기능을 갖는 경우, 혼합 처리가 되어 있는 120Hz의 동화상 데이터와, 각 픽처의 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보를, HDMI 전송로를 통하여, 디스플레이(200-2B)에 송신한다. 도시된 예는, 디스플레이(200-2B)가 포스트프로세서(205)를 구비하고 있고, 디스플레이(200-2B)가 역혼합 처리(혼합 해제 처리)의 기능을 갖는 경우를 도시하고 있다(도 23의 (a) 참조).

또한, 셋톱 박스(200-1)는, 디스플레이(200-2B)가 역혼합 처리(혼합 해제 처리)의 기능을 갖지 않는 경우, 자신이 갖는 포스트프로세서(205)에 의해, 혼합 처리가 되어 있는 120Hz의 동화상 데이터에 역혼합 처리(혼합 해제 처리)를 실시하여, 혼합 해제된 120Hz의 동화상 데이터를 얻는다. 그리고, 셋톱 박스(200-1)는, 이 혼합 해제된 120Hz의 동화상 데이터를, HDMI 전송로를 통하여, 디스플레이(200-2B)에 송신한다(도 23의 (b) 참조).

또한, 셋톱 박스(200-1)는, 60Hz의 동화상 데이터의 취급이 가능한 디스플레이(200-2C)가 접속되어 있는 경우, 디코더(204)에 있어서, 스트림 STb에 복호화 처리를 실시하여, 화상 데이터 Qb를 포함하는 60Hz의 동화상 데이터를 얻는다. 그리고, 셋톱 박스(200-1)는, 이 60Hz의 동화상 데이터를, HDMI 전송로를 통하여, 디스플레이(200-2C)에 송신한다.

셋톱 박스(200-1)는, 상술한 바와 같이, 하이 프레임 레이트(240Hz 혹은 120Hz)의 동화상 데이터의 취급이 가능하며 역혼합 처리(혼합 해제 처리)의 기능을 갖는 디스플레이(200-2A, 200-2B)에, 혼합 처리가 되어 있는 동화상 데이터와, 각 픽처의 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보를, HDMI 전송로를 통하여, 송신한다.

이 경우, 셋톱 박스(200-1)는, 각 픽처의 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보를, 예를 들어 각각의 픽처의 화상 데이터에 있어서의 블랭킹 기간에 삽입하여 송신한다. 여기서는, 신규 정의하는 블렌딩ㆍ타입ㆍ인포프레임(blending_type InfoFrame)을 사용한다.

도 24는, 혼합 대상 픽처를 나타내는 정보가 픽처 ID인 경우에 있어서의 블렌딩ㆍ타입ㆍ인포프레임의 구조예(Syntax)를 도시하며, 상술한 도 8의 블렌드ㆍ타깃ㆍ인포메이션ㆍSEI 메시지의 구조예(Syntax)에 대응한 것으로서, 각각의 정보의 상세에 대해서는, 그 설명을 생략한다. 이 인포프레임의 최초의 3바이트는 헤더 부분이며, 인포프레임 타입, 버전 넘버, 데이터 바이트의 바이트 길이의 정보가 배치되어 있다.

데이터 바이트 1(Data Byte 1)에 「picture_id」의 8비트 정보가 배치되어 있다. 데이터 바이트 2(Data Byte 2)의 제7 비트에 「blending_flag」의 1비트 정보가 배치되어 있다. 데이터 바이트 3(Data Byte 3)의 제7 비트에 「blend_tree_phase」의 1비트 정보가 배치되어 있다. 데이터 바이트 3(Data Byte 3)의 제3 비트부터 제0 비트에 「number_of_nodes」의 4비트 정보가 배치되어 있다.

데이터 바이트 4(Data Byte 4)에 「blending_coefficient」의 8비트 정보가 배치되어 있다. 데이터 바이트 5(Data Byte 5)에 「target_picture_id」의 8비트 정보가 배치되어 있다. 「number_of_nodes」가 나타내는 노드 수만큼 데이터 바이트 4 내지 5가 반복된다. 또한, Blend_tree가 오버랩하는 경우, 데이터 바이트 3 내지 5가 반복된다. 또한, 「target_picture_id」의 값이 이스케이프 코드 "0xF*"인 경우, 하위 4비트로 나타나는 값만큼 데이터 바이트 4 내지 5가 계속해서 공급된다.

도 25는, 혼합 대상 픽처를 나타내는 정보가 픽처의 시간 위치 관계를 나타내는 정보인 경우에 있어서의 블렌딩ㆍ타입ㆍ인포프레임의 구조예(Syntax)를 도시하며, 상술한 도 12의 블렌드ㆍ타깃ㆍ인포메이션ㆍSEI 메시지의 구조예(Syntax)에 대응한 것으로서, 각각의 정보의 상세에 대해서는, 그 설명을 생략한다. 이 인포프레임의 최초의 3바이트는 헤더 부분이며, 인포프레임 타입, 버전 넘버, 데이터 바이트의 바이트 길이의 정보가 배치되어 있다.

데이터 바이트 1(Data Byte 1)에 「Dlayer_id」의 8비트 정보가 배치되어 있다. 데이터 바이트 2(Data Byte 2)의 제7 비트에 「blending_flag」의 1비트 정보가 배치되어 있다. 데이터 바이트 3(Data Byte 3)의 제7 비트에 「blend_tree_phase」의 1비트 정보가 배치되어 있다. 데이터 바이트 3(Data Byte 3)의 제3 비트부터 제0 비트에 「number_of_nodes」의 4비트 정보가 배치되어 있다.

데이터 바이트 4(Data Byte 4)에 「blending_coefficient」의 8비트 정보가 배치되어 있다. 데이터 바이트 5(Data Byte 5)에 「target_Dlayer_id」의 8비트 정보가 배치되어 있다. 데이터 바이트 6(Data Byte 6)에 「direction_type」의 8비트 정보가 배치되어 있다. 「number_of_nodes」가 나타내는 노드 수만큼 데이터 바이트 4 내지 6이 반복된다. 또한, Blend_tree가 오버랩하는 경우, 데이터 바이트 3 내지 6이 반복된다. 또한, 「direction_type」의 값이 이스케이프 코드 "0xF*"인 경우, 하위 4비트로 나타나는 값만큼 데이터 바이트 4 내지 6이 계속해서 공급된다.

도 26은, 셋톱 박스(200-1)의 구성예를 도시하고 있다. 이 도 26에 있어서, 도 18과 대응하는 부분에는 동일 부호를 붙여, 적절하게 그 상세 설명은 생략한다. 이 셋톱 박스(200-1)는, 제어부(201-1)와, 수신부(202)와, 디멀티플렉서(203)와, 디코더(204)와, 포스트프로세서(205)와, HDMI 송신부(208)를 갖고 있다.

제어부(201-1)는, 셋톱 박스(200-1)의 각 부의 동작을 제어한다. 수신부(202)는, 수신 안테나로 수신된 RF 변조 신호를 복조하여, 트랜스포트 스트림 TS를 취득한다. 디멀티플렉서(203)는, 트랜스포트 스트림 TS로부터, PID의 필터링에 의해, 기본 스트림 STb, 나아가 확장 스트림을 취출하여, 디코더(204)에 공급한다.

이 경우, 디스플레이(200-2)가 240Hz의 동화상 데이터의 취급이 가능한 경우에는 기본 스트림 STb, 제1 확장 스트림 STe1 및 제2 확장 스트림 STe2를 취출한다. 또한, 디스플레이(200-2)가 120Hz의 동화상 데이터의 취급이 가능한 경우에는 기본 스트림 STb 및 제1 확장 스트림 STe1을 취출한다. 또한, 디스플레이(200-2)가 60Hz의 동화상 데이터의 취급이 가능한 경우에는 기본 스트림 STb만을 취출한다.

디코더(204)는, 디멀티플렉서(203)에서 취출된 각 스트림에 복합과 처리를 실시하여 동화상 데이터를 얻는다. 디스플레이(200-2)가 240Hz의 동화상 데이터의 취급이 가능한 경우에는, 60Hz의 기본 스트림의 각 픽처의 화상 데이터 Qb와, +60Hz의 제1 확장 스트림의 각 픽처의 화상 데이터 Qe1과, +120Hz의 제2 확장 스트림의 각 픽처의 화상 데이터 Qe2를 포함하는 240Hz의 동화상 데이터를 얻는다. 또한, 디스플레이(200-2)가 120Hz의 동화상 데이터의 취급이 가능한 경우, 60Hz의 기본 스트림의 각 픽처의 화상 데이터 Qb와, +60Hz의 제1 확장 스트림의 각 픽처의 화상 데이터 Qe1을 포함하는 120Hz의 동화상 데이터를 얻는다. 또한, 디스플레이(200-2)가 60Hz의 동화상 데이터의 취급이 가능한 경우에는, 60Hz의 기본 스트림의 각 픽처의 화상 데이터 Qb를 포함하는 60Hz의 동화상 데이터를 얻는다.

포스트프로세서(205)는, 디스플레이(200-2)가 240Hz의 동화상 데이터의 취급이 가능하며, 역혼합 처리의 기능을 갖고 있지 않은 경우에, 디코더(204)에서 얻어진 240Hz의 동화상 데이터에, 역혼합 처리(혼합 해제 처리)를 실시하여, 혼합 해제된 240Hz의 동화상 데이터를 얻는다. 또한, 포스트프로세서(205)는, 디스플레이(200-2)가 120Hz의 동화상 데이터의 취급이 가능하며, 역혼합 처리의 기능을 갖고 있지 않은 경우에, 디코더(204)에서 얻어진 120Hz의 동화상 데이터에, 역혼합 처리(혼합 해제 처리)를 실시하여, 혼합 해제된 120Hz의 동화상 데이터를 얻는다.

HDMI 송신부(208)는, HDMI에 준거한 통신에 의해, HDMI 전송로를 통하여, 디스플레이(200-2)에 비압축의 동화상 데이터를 송신한다. 여기서, 디스플레이(200-2)가 240Hz의 동화상 데이터의 취급이 가능하며, 역혼합 처리의 기능을 갖고 있지 않은 경우에는, 포스트프로세서(205)에서 얻어진 혼합 해제된 240Hz의 동화상 데이터를, HDMI 전송로를 통하여, 디스플레이(200-2)에 송신한다.

또한, 디스플레이(200-2)가 240Hz의 동화상 데이터의 취급이 가능하며, 역혼합 처리의 기능을 갖고 있는 경우에는, 디코더(204)에서 얻어진 240Hz의 동화상 데이터를, HDMI 전송로를 통하여, 디스플레이(200-2)에 송신한다. 이 경우, 디스플레이(200-2)측에서 역혼합 처리를 하게 되므로, 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보를 포함하는 블렌딩ㆍ타입ㆍ인포프레임(도 24, 도 25 참조)을, 동화상 데이터를 구성하는 각 픽처의 화상 데이터의 블랭킹 기간에 삽입하여 송신한다.

또한, 디스플레이(200-2)가 120Hz의 동화상 데이터의 취급이 가능하며, 역혼합 처리의 기능을 갖고 있지 않은 경우에는, 포스트프로세서(205)에서 얻어진 혼합 해제된 120Hz의 동화상 데이터를, HDMI 전송로를 통하여, 디스플레이(200-2)에 송신한다.

또한, 디스플레이(200-2)가 120Hz의 동화상 데이터의 취급이 가능하며, 역혼합 처리의 기능을 갖고 있는 경우에는, 디코더(204)에서 얻어진 120Hz의 동화상 데이터를, HDMI 전송로를 통하여, 디스플레이(200-2)에 송신한다. 이 경우, 디스플레이(200-2)측에서 역혼합 처리를 하게 되므로, 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보를 포함하는 블렌딩ㆍ타입ㆍ인포프레임(도 24, 도 25 참조)을, 동화상 데이터를 구성하는 각 픽처의 화상 데이터의 블랭킹 기간에 삽입하여 송신한다.

또한, 디스플레이(200-2)가 60Hz의 동화상 데이터의 취급이 가능한 경우에는, 디코더(204)에서 얻어진 기본 스트림의 각 픽처의 화상 데이터 Qb를 포함하는 60Hz의 동화상 데이터를, HDMI 전송로를 통하여, 디스플레이(200-2)에 송신한다.

도 27은, 240Hz의 동화상 데이터를 취급하는 디스플레이(200-2A)의 구성예를 도시하고 있다. 이 도 27에 있어서, 도 18과 대응하는 부분에는 동일 부호를 붙여, 적절하게 그 상세 설명은 생략한다. 이 디스플레이(200-2A)는, 제어부(201-2)와, HDMI 수신부(209)와, 포스트프로세서(205)와, MCFI부(206)와, 패널 표시부(207)를 갖고 있다. 또한, 포스트프로세서(205)를 갖지 않는 경우도 있다

제어부(201-2)는, 디스플레이(200-2A)의 각 부의 동작을 제어한다. HDMI 수신부(209)는, HDMI에 준거한 통신에 의해, 셋톱 박스(200-1)로부터, HDMI 전송로를 통하여, 비압축의 240Hz의 동화상 데이터를 수신한다. 여기서, 포스트프로세서(205)가 존재하지 않는 경우에는, 혼합 해제된 240Hz의 동화상 데이터를 수신한다.

한편, HDMI 수신부(209)는, 포스트프로세서(205)가 존재하는 경우에는, 혼합 처리가 되어 있는 240Hz의 동화상 데이터를 수신한다. 이 경우, 동화상 데이터의 블랭킹 기간에 삽입되어 있는 블렌딩ㆍ타입ㆍ인포프레임(도 24, 도 25 참조)이 추출되어, 제어부(201-2)에 보내진다. 이에 의해, 제어부(201-2)는, 혼합 화상의 픽처의 화상 데이터가 어떠한 비율로 주변의 어느 픽처의 화상 데이터와 혼합되어 얻어진 것인지를 파악할 수 있어, 포스트프로세서(205)에 있어서의 역혼합 처리(혼합 해제 처리)를 적절하고도 용이하게 제어할 수 있다.

포스트프로세서(205)는, 제어부(201-2)의 제어 하, HDMI 수신부(209)에서 수신된 혼합 처리가 되어 있는 240Hz의 동화상 데이터에, 역혼합 처리(혼합 해제 처리)를 실시하여, 혼합 해제된 240Hz의 동화상 데이터를 얻는다.

MCFI부(206)는, HDMI 수신부(209)에서 수신된, 혹은 포스트프로세서(205)에서 얻어진 혼합 해제된 240Hz의 동화상 데이터에, 움직임 보상의 프레임 보간 처리를 실시하여, 프레임 레이트를 더 높인 동화상 데이터를 얻는다. 또한, 이 MCFI부(206)를 갖고 있지 않은 경우도 있다. 패널 표시부(207)는, 240Hz의 동화상 데이터 또는 MCFI부(206)에서 프레임 레이트가 높아진 동화상 데이터에 의한 화상 표시를 한다.

120Hz의 동화상 데이터를 처리 가능한 디코드 능력이 있는 디스플레이(200-2B)에 관해서도, 도 27의 디스플레이(200-2A)와 마찬가지로 구성된다. 디스플레이(200-2B)의 경우, HDMI 수신부(209)는, HDMI에 준거한 통신에 의해, 셋톱 박스(200-1)로부터, HDMI 전송로를 통하여, 비압축의 120Hz의 동화상 데이터를 수신한다. 여기서, 포스트프로세서(205)가 존재하지 않는 경우에는, 혼합 해제된 120Hz의 동화상 데이터를 수신한다.

한편, HDMI 수신부(209)는, 포스트프로세서(205)가 존재하는 경우에는, 혼합 처리가 되어 있는 120Hz의 동화상 데이터를 수신한다. 이 경우, 동화상 데이터의 블랭킹 기간에 삽입되어 있는 블렌딩ㆍ타입ㆍ인포프레임(도 24, 도 25 참조)이 추출되어, 제어부(201-2)에 보내진다. 이에 의해, 제어부(201-2)는, 혼합 화상의 픽처의 화상 데이터가 어떠한 비율로 주변의 어느 픽처의 화상 데이터와 혼합되어 얻어진 것인지를 파악할 수 있어, 포스트프로세서(205)에 있어서의 역혼합 처리(혼합 해제 처리)를 적절하고도 용이하게 제어할 수 있다.

또한, 디스플레이(200-2B)의 경우, 포스트프로세서(205)는, 제어부(201-2)의 제어 하, HDMI 수신부(209)에서 수신된 혼합 처리가 되어 있는 120Hz의 동화상 데이터에, 역혼합 처리(혼합 해제 처리)를 실시하여, 혼합 해제된 120Hz의 동화상 데이터를 얻는다.

또한, 디스플레이(200-2B)의 경우, MCFI부(206)는, HDMI 수신부(209)에서 수신된, 혹은 포스트프로세서(205)에서 얻어진 혼합 해제된 120Hz의 동화상 데이터에, 움직임 보상의 프레임 보간 처리를 실시하여, 프레임 레이트를 더 높인 동화상 데이터를 얻는다. 또한, 이 MCFI부(206)를 갖고 있지 않은 경우도 있다. 패널 표시부(207)는, 120Hz의 동화상 데이터 또는 MCFI부(206)에서 프레임 레이트가 높아진 동화상 데이터에 의한 화상 표시를 한다.

도 28은, 60Hz의 동화상 데이터를 취급하는 디스플레이(200-2C)의 구성예를 도시하고 있다. 이 도 28에 있어서, 도 18과 대응하는 부분에는 동일 부호를 붙여, 적절하게 그 상세 설명을 생략한다. 이 디스플레이(200-2C)는, 제어부(201-2)와, HDMI 수신부(209)와, MCFI부(206)와, 패널 표시부(207)를 갖고 있다.

제어부(201-2)는, 디스플레이(200-2C)의 각 부의 동작을 제어한다. HDMI 수신부(209)는, HDMI에 준거한 통신에 의해, 셋톱 박스(200-1)로부터, HDMI 전송로를 통하여, 비압축의 60Hz의 동화상 데이터를 수신한다.

MCFI부(206)는, HDMI 수신부(209)에서 수신된 노멀 프레임 레이트의 동화상 데이터에, 움직임 보상의 프레임 보간 처리를 실시하여, 프레임 레이트를 높인 동화상 데이터를 얻는다. 또한, 이 MCFI부(206)를 갖고 있지 않은 경우도 있다. 패널 표시부(207)는, HDMI 수신부(209)에서 수신된 60Hz의 동화상 데이터 또는 MCFI부(206)에서 프레임 레이트가 높아진 동화상 데이터에 의한 화상 표시를 한다.

이와 같이 도 20에 도시하는 송수신 시스템(10A)에 있어서는, 셋톱 박스(200-1)로부터, 혼합 처리되어 있는 하이 프레임 레이트의 동화상 데이터를 HDMI로 디스플레이(200-2) 송신하는 경우, 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보가 동시에 송신된다. 그 때문에, 디스플레이(200-2)에서는, 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보에 기초하여 역혼합 처리를 적절하고도 용이하게 행할 수 있어, 하이 프레임 레이트의 동화상 데이터를 양호하게 얻을 수 있다.

<3. 변형예>

또한, 상술한 실시 형태에 있어서는, 하이 프레임 레이트가 120Hz 혹은 240Hz이고, 노멀 프레임 레이트가 60Hz인 예를 나타내었지만, 프레임 레이트의 조합은, 이것에 한정되는 것은 아니다. 예를 들어, 100Hz 혹은 200Hz와 50Hz의 조합이어도 마찬가지이다.

또한, 상술한 실시 형태에 있어서는, 송신 장치(100) 및 텔레비전 수신기(200)를 포함하는 송수신 시스템(10), 나아가 송신 장치(100), 셋톱 박스(200-1) 및 디스플레이(200-2)를 포함하는 송수신 시스템(10A)을 나타내었지만, 본 기술을 적용할 수 있는 송수신 시스템의 구성은, 이것에 한정되는 것은 아니다.

또한, 상술한 실시 형태에 있어서는, 컨테이너가 트랜스포트 스트림(MPEG-2 TS)인 예를 나타내었다. 그러나, 본 기술은 인터넷 등의 네트워크를 이용하여 수신 단말기에 배신되는 구성의 시스템에도 마찬가지로 적용할 수 있다. 인터넷의 배신에서는, MP4나 그 이외의 포맷의 컨테이너로 배신되는 경우가 많다. 즉, 컨테이너로서는, 디지털 방송 규격에서 채용되고 있는 트랜스포트 스트림(MPEG-2 TS) 혹은 MMT(MPEG Media Transport), 인터넷 배신에서 사용되고 있는 ISOBMFF(MP4) 등의 다양한 포맷의 컨테이너가 해당된다.

또한, 본 기술은, 이하와 같은 구성을 취할 수도 있다.

(1) 제1 프레임 레이트의 제1 동화상 데이터의 각 픽처의 화상 데이터에 픽처별로 독립된 혼합 비율로 주변의 픽처의 화상 데이터를 혼합하는 처리를 실시하여 상기 제1 프레임 레이트의 제2 동화상 데이터를 얻는 처리부를 구비하고,

송신 장치.

(2) 상기 혼합 대상 픽처를 나타내는 정보는, 픽처 각각에 부여되는 픽처 식별 정보인

상기 (1)에 기재된 송신 장치.

(3) 상기 혼합 대상 픽처를 나타내는 정보는, 픽처의 시간 위치 관계를 나타내는 정보인

상기 (1)에 기재된 송신 장치.

(4) 상기 부호화부는, 상기 기본 스트림을 최하위의 계층으로서 부호화하고, 상기 소정수의 확장 스트림을 상기 최하위의 계층보다 상위의 계층으로서 부호화하는

상기 (1) 내지 (3) 중 어느 것에 기재된 송신 장치.

(5) 상기 삽입부는,

상기 기본 스트림 및 상기 소정수의 확장 스트림을 포함하는 컨테이너의 레이어에, 상기 계층 부호화의 계층수와 혼합의 방향을 나타내는 타입 정보를 추가로 삽입하는

상기 (4)에 기재된 송신 장치.

(6) 처리부가, 제1 프레임 레이트의 제1 동화상 데이터의 각 픽처의 화상 데이터에 픽처별로 독립된 혼합 비율로 주변의 픽처의 화상 데이터를 혼합하는 처리를 실시하여 상기 제1 프레임 레이트의 제2 동화상 데이터를 얻는 처리 스텝을 구비하고,

부호화부가, 상기 제2 프레임 레이트에 대응한 픽처의 화상 데이터를 부호화하여 기본 스트림을 얻음과 함께, 나머지 픽처의 화상 데이터를 부호화하여 소정수의 확장 스트림을 얻는 부호화 스텝과,

삽입부가, 상기 기본 스트림 및 상기 소정수의 확장 스트림의 부호화 화상 데이터에 혼합 비율의 정보와 혼합 대상 픽처를 나타내는 정보를 삽입하는 삽입 스텝과,

송신부가, 상기 정보가 삽입된 상기 기본 스트림 및 상기 소정수의 확장 스트림을 포함하는 컨테이너를 송신하는 송신 스텝을 더 갖는

송신 방법.

(7) 기본 스트림 및 소정수의 확장 스트림을 포함하는 컨테이너를 수신하는 수신부를 구비하고,

수신 장치.

(8) 수신부가, 기본 스트림 및 소정수의 확장 스트림을 포함하는 컨테이너를 수신하는 수신 스텝을 갖고,

처리부가, 표시 능력에 따라, 상기 기본 스트림을 복호화하여 상기 제2 프레임 레이트의 동화상 데이터를 얻거나, 혹은 상기 기본 스트림과 상기 소정수의 확장 스트림의 일부 또는 전부를 복호화함과 함께 상기 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보에 기초하여 역혼합 처리를 실시하여 상기 제1 프레임 레이트 이하이며 상기 제2 프레임 레이트보다 높은 프레임 레이트의 동화상 데이터를 얻는 처리 스텝을 더 갖는

수신 방법.

(9) 제1 동화상 데이터의 각 픽처의 화상 데이터에 픽처별로 독립된 혼합 비율로 주변의 픽처의 화상 데이터를 혼합하는 처리를 실시하여 얻어진 제2 동화상 데이터를 취득하는 취득부와,

송신 장치.

(10) 상기 송신부는, 상기 각 픽처의 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보를 각각 상기 제2 동화상 데이터의 각 픽처의 화상 데이터의 블랭킹 기간에 삽입하여 송신하는

상기 (9)에 기재된 송신 장치.

(11) 상기 제2 동화상 데이터의 각 픽처의 화상 데이터에 상기 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보에 기초하여 역혼합 처리를 실시하여 제3 동화상 데이터를 얻는 처리부를 추가로 구비하고,

상기 송신부는, 상기 외부 기기가 상기 역혼합 처리의 기능을 갖고 있지 않을 때, 상기 제2 동화상 데이터 대신에 상기 제3 동화상 데이터를 송신하는

상기 (9) 또는 (10)에 기재된 송신 장치.

(12) 취득부가, 제1 동화상 데이터의 각 픽처의 화상 데이터에 픽처별로 독립된 혼합 비율로 주변의 픽처의 화상 데이터를 혼합하는 처리를 실시하여 얻어진 제2 동화상 데이터를 취득하는 취득 스텝과,

송신부가, 상기 제2 동화상 데이터와, 각 픽처의 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보를, 전송로를 통하여, 외부 기기에 송신하는 송신부를 구비하는

송신 방법.

(13) 외부 기기로부터, 전송로를 통하여, 제1 동화상 데이터의 각 픽처의 화상 데이터에 픽처별로 독립된 혼합 비율로 주변의 픽처의 화상 데이터를 혼합하는 처리를 실시하여 얻어진 제2 동화상 데이터와, 각 픽처의 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보를 수신하는 수신부와,

수신 장치.

(14) 수신부가, 외부 기기로부터, 전송로를 통하여, 제1 동화상 데이터의 각 픽처의 화상 데이터에 픽처별로 독립된 혼합 비율로 주변의 픽처의 화상 데이터를 혼합하는 처리를 실시하여 얻어진 제2 동화상 데이터와, 각 픽처의 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보를 수신하는 수신 스텝과,

처리부가, 상기 제2 동화상 데이터의 각 픽처의 화상 데이터에 상기 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보에 기초하여 역혼합 처리를 실시하여 혼합 해제된 제3 동화상 데이터를 얻는 처리부를 갖는

수신 방법.

본 기술의 주된 특징은, 기본 스트림 및 확장 스트림의 혼합 화상의 픽처의 부호화 화상 데이터에 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보를 삽입함으로써, 수신측에 있어서, 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보에 기초하여 역혼합 처리를 적절하고도 용이하게 행하여, 하이 프레임 레이트의 동화상 표시를 양호하게 행할 수 있도록 한 것이다(도 8, 도 12, 도 17 참조). 또한, 본 기술의 주된 특징은, 혼합 처리되어 있는 하이 프레임 레이트의 동화상 데이터를 디지털 인터페이스로 송신하는 경우, 혼합 화상의 픽처의 화상 데이터에 대응하여 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보를 송신함으로써, 수신측에 있어서, 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보에 기초하여 역혼합 처리를 적절하고도 용이하게 행하여 하이 프레임 레이트의 동화상 표시를 양호하게 행할 수 있도록 한 것이다(도 20, 도 23 참조).

10, 10A: 송수신 시스템
100: 송신 장치
101: 제어부
102: 프리프로세서
103: 인코더
104: 멀티플렉서
105: 송신부
200, 200A, 200B, 200C: 텔레비전 수신기
200-1: 셋톱 박스
200-2, 200-2A, 200-2B, 200-2C: 디스플레이
201, 201-1, 201-2: 제어부
202: 수신부
203: 디멀티플렉서
204: 디코더
205: 포스트프로세서
206: MCFI부
207: 패널 표시부
208: HDMI 송신부
209: HDMI 수신부

Claims

제1 프레임 레이트의 제1 동화상 데이터의 각 픽처의 화상 데이터에 픽처별로 독립된 혼합 비율로 주변의 픽처의 화상 데이터를 혼합하는 처리를 실시하여 상기 제1 프레임 레이트의 제2 동화상 데이터를 얻는 처리부를 구비하고,
상기 제2 동화상 데이터를 구성하는 각 픽처의 화상 데이터 중 적어도 상기 제1 프레임 레이트보다 낮은 제2 프레임 레이트에 대응한 픽처의 화상 데이터는 주변 픽처의 화상 데이터와 혼합된 상태로 되고,
상기 제2 프레임 레이트에 대응한 픽처의 화상 데이터를 부호화하여 기본 스트림을 얻음과 함께, 나머지 픽처의 화상 데이터를 부호화하여 소정수의 확장 스트림을 얻는 부호화부와,
상기 기본 스트림 및 상기 소정수의 확장 스트림의 부호화 화상 데이터에 혼합 비율의 정보와 혼합 대상 픽처를 나타내는 정보를 삽입하는 삽입부와,
상기 정보가 삽입된 상기 기본 스트림 및 상기 소정수의 확장 스트림을 포함하는 컨테이너를 송신하는 송신부를 추가로 구비하는,
송신 장치.
제1항에 있어서,
상기 혼합 대상 픽처를 나타내는 정보는, 픽처 각각에 부여되는 픽처 식별 정보인,
송신 장치.
제1항에 있어서,
상기 혼합 대상 픽처를 나타내는 정보는, 픽처의 시간 위치 관계를 나타내는 정보인,
송신 장치.
제1항에 있어서,
상기 부호화부는, 상기 기본 스트림을 최하위의 계층으로서 부호화하고, 상기 소정수의 확장 스트림을 상기 최하위의 계층보다 상위의 계층으로서 부호화하는,
송신 장치.
제4항에 있어서,
상기 삽입부는,
상기 기본 스트림 및 상기 소정수의 확장 스트림을 포함하는 컨테이너의 레이어에, 상기 계층 부호화의 계층수와 혼합의 방향을 나타내는 타입 정보를 추가로 삽입하는,
송신 장치.
처리부가, 제1 프레임 레이트의 제1 동화상 데이터의 각 픽처의 화상 데이터에 픽처별로 독립된 혼합 비율로 주변의 픽처의 화상 데이터를 혼합하는 처리를 실시하여 상기 제1 프레임 레이트의 제2 동화상 데이터를 얻는 처리 스텝을 구비하고,
상기 제2 동화상 데이터를 구성하는 각 픽처의 화상 데이터 중 적어도 상기 제1 프레임 레이트보다 낮은 제2 프레임 레이트에 대응한 픽처의 화상 데이터는 주변 픽처의 화상 데이터와 혼합된 상태로 되고,
부호화부가, 상기 제2 프레임 레이트에 대응한 픽처의 화상 데이터를 부호화하여 기본 스트림을 얻음과 함께, 나머지 픽처의 화상 데이터를 부호화하여 소정수의 확장 스트림을 얻는 부호화 스텝과,
삽입부가, 상기 기본 스트림 및 상기 소정수의 확장 스트림의 부호화 화상 데이터에 혼합 비율의 정보와 혼합 대상 픽처를 나타내는 정보를 삽입하는 삽입 스텝과,
송신부가, 상기 정보가 삽입된 상기 기본 스트림 및 상기 소정수의 확장 스트림을 포함하는 컨테이너를 송신하는 송신 스텝을 더 갖는,
송신 방법.
기본 스트림 및 소정수의 확장 스트림을 포함하는 컨테이너를 수신하는 수신부를 구비하고,
상기 기본 스트림은, 제1 프레임 레이트의 제1 동화상 데이터의 각 픽처의 화상 데이터에 픽처별로 독립된 혼합 비율로 주변의 픽처의 화상 데이터를 혼합하는 처리를 실시하여 얻어진 상기 제1 프레임 레이트의 제2 동화상 데이터 중, 적어도 주변 픽처의 화상 데이터와 혼합된 상태로 되어 있는, 상기 제1 프레임 레이트보다 낮은 제2 프레임 레이트에 대응한 픽처의 화상 데이터를 부호화하여 얻어진 것이고, 상기 소정수의 확장 스트림은, 나머지 픽처의 화상 데이터를 부호화하여 얻어진 것이고,
상기 기본 스트림 및 상기 소정수의 확장 스트림의 부호화 화상 데이터에 혼합 비율의 정보와 혼합 대상 픽처를 나타내는 정보가 삽입되어 있고,
표시 능력에 따라, 상기 기본 스트림을 복호화하여 상기 제2 프레임 레이트의 동화상 데이터를 얻거나, 혹은 상기 기본 스트림과 상기 소정수의 확장 스트림의 일부 또는 전부를 복호화함과 함께 상기 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보에 기초하여 역혼합 처리를 실시하여 상기 제1 프레임 레이트 이하이며 상기 제2 프레임 레이트보다 높은 프레임 레이트의 동화상 데이터를 얻는 처리부를 추가로 구비하는,
수신 장치.
수신부가, 기본 스트림 및 소정수의 확장 스트림을 포함하는 컨테이너를 수신하는 수신 스텝을 갖고,
상기 기본 스트림은, 제1 프레임 레이트의 제1 동화상 데이터의 각 픽처의 화상 데이터에 픽처별로 독립된 혼합 비율로 주변의 픽처의 화상 데이터를 혼합하는 처리를 실시하여 얻어진 상기 제1 프레임 레이트의 제2 동화상 데이터 중, 적어도 주변 픽처의 화상 데이터와 혼합된 상태로 되어 있는, 상기 제1 프레임 레이트보다 낮은 제2 프레임 레이트에 대응한 픽처의 화상 데이터를 부호화하여 얻어진 것이고, 상기 소정수의 확장 스트림은, 나머지 픽처의 화상 데이터를 부호화하여 얻어진 것이고,
상기 기본 스트림 및 상기 소정수의 확장 스트림의 부호화 화상 데이터에 혼합 비율의 정보와 혼합 대상 픽처를 나타내는 정보가 삽입되어 있고,
처리부가, 표시 능력에 따라, 상기 기본 스트림을 복호화하여 상기 제2 프레임 레이트의 동화상 데이터를 얻거나, 혹은 상기 기본 스트림과 상기 소정수의 확장 스트림의 일부 또는 전부를 복호화함과 함께 상기 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보에 기초하여 역혼합 처리를 실시하여 상기 제1 프레임 레이트 이하이며 상기 제2 프레임 레이트보다 높은 프레임 레이트의 동화상 데이터를 얻는 처리 스텝을 더 갖는,
수신 방법.
제1 동화상 데이터의 각 픽처의 화상 데이터에 픽처별로 독립된 혼합 비율로 주변의 픽처의 화상 데이터를 혼합하는 처리를 실시하여 얻어진 제2 동화상 데이터를 취득하는 취득부와,
상기 제2 동화상 데이터와, 각 픽처의 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보를, 전송로를 통하여, 외부 기기에 송신하는 송신부를 구비하는,
송신 장치.
제9항에 있어서,
상기 송신부는, 상기 각 픽처의 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보를 각각 상기 제2 동화상 데이터의 각 픽처의 화상 데이터의 블랭킹 기간에 삽입하여 송신하는,
송신 장치.
제9항에 있어서,
상기 제2 동화상 데이터의 각 픽처의 화상 데이터에 상기 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보에 기초하여 역혼합 처리를 실시하여 제3 동화상 데이터를 얻는 처리부를 추가로 구비하고,
상기 송신부는, 상기 외부 기기가 상기 역혼합 처리의 기능을 갖고 있지 않을 때, 상기 제2 동화상 데이터 대신에 상기 제3 동화상 데이터를 송신하는,
송신 장치.
취득부가, 제1 동화상 데이터의 각 픽처의 화상 데이터에 픽처별로 독립된 혼합 비율로 주변의 픽처의 화상 데이터를 혼합하는 처리를 실시하여 얻어진 제2 동화상 데이터를 취득하는 취득 스텝과,
송신부가, 상기 제2 동화상 데이터와, 각 픽처의 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보를, 전송로를 통하여, 외부 기기에 송신하는 송신부를 구비하는,
송신 방법.
외부 기기로부터, 전송로를 통하여, 제1 동화상 데이터의 각 픽처의 화상 데이터에 픽처별로 독립된 혼합 비율로 주변의 픽처의 화상 데이터를 혼합하는 처리를 실시하여 얻어진 제2 동화상 데이터와, 각 픽처의 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보를 수신하는 수신부와,
상기 제2 동화상 데이터의 각 픽처의 화상 데이터에 상기 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보에 기초하여 역혼합 처리를 실시하여 혼합 해제된 제3 동화상 데이터를 얻는 처리부를 구비하는,
수신 장치.
수신부가, 외부 기기로부터, 전송로를 통하여, 제1 동화상 데이터의 각 픽처의 화상 데이터에 픽처별로 독립된 혼합 비율로 주변의 픽처의 화상 데이터를 혼합하는 처리를 실시하여 얻어진 제2 동화상 데이터와, 각 픽처의 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보를 수신하는 수신 스텝과,
처리부가, 상기 제2 동화상 데이터의 각 픽처의 화상 데이터에 상기 혼합 비율의 정보 및 혼합 대상 픽처를 나타내는 정보에 기초하여 역혼합 처리를 실시하여 혼합 해제된 제3 동화상 데이터를 얻는 처리부를 갖는,
수신 방법.