KR102561506B1

KR102561506B1 - 송신 장치, 송신 방법, 수신 장치 및 수신 방법

Info

Publication number: KR102561506B1
Application number: KR1020197029520A
Authority: KR
Inventors: 이쿠오 츠카고시
Original assignee: 소니그룹주식회사
Priority date: 2017-04-24
Filing date: 2018-04-19
Publication date: 2023-08-01
Also published as: MX2019012406A; US11533522B2; EP3616408A1; CN110546959A; CA3056751A1; KR20190142326A; WO2018198914A1; US20200021869A1; JP2018186357A; JP7026450B2

Abstract

송신 장치가 제공되며, 이 송신 장치는, 각각의 프레임에 독립적인 혼합 레이트로, 주변 프레임들 내의 화상 데이터를 제1 프레임 레이트의 제1 동화상 데이터의 각각의 프레임 내의 화상 데이터와 혼합하는 처리를 수행하고 제1 프레임 레이트의 제2 동화상 데이터를 획득하는 처리 유닛을 포함한다. 제2 동화상 데이터를 형성하는 각각의 프레임 내의 화상 데이터에서 제1 프레임 레이트보다 낮은 제2 프레임 레이트에 대응하는 프레임 내의 적어도 화상 데이터는 화상 데이터가 주변 프레임들에서의 화상 데이터와 혼합되는 상태로 된다.

Description

송신 장치, 송신 방법, 수신 장치 및 수신 방법

관련 출원들에 대한 상호 참조

본 출원은 2017년 4월 24일에 출원되었고, 그 전체 내용이 본 명세서에 참조로 포함되는 일본 우선권 특허 출원 제2017-085730호의 이익을 주장한다.

본 기술은 송신 장치, 송신 방법, 수신 장치 및 수신 방법에 관한 것이며, 더 구체적으로는 높은 프레임 레이트 등으로 동화상 데이터를 송신하는 송신 장치에 관한 것이다.

최근, 고속 프레임 셔터로 높은 프레임 레이트 촬영을 수행하는 카메라가 알려져 있다. 예를 들어, 정상 프레임 레이트는 60Hz, 50Hz 등인 반면, 높은 프레임 레이트는 정상 프레임 레이트보다 수 배, 수십 배 또는 수백 배 더 높은 프레임 레이트이다.

높은 프레임 레이트 서비스가 수행되는 경우에, 고속 프레임 셔터로 카메라에 의해 캡처된 동화상 데이터가 동화상 데이터의 주파수보다 더 낮은 주파수의 동화상 시퀀스로 변환되고 송신되는 것이 고려된다. 그러나, 고속 프레임 셔터로 캡처된 화상은 이동하는 블러가 개선되고, 높은 선명도를 갖는 화상 품질이 실현되는 효과를 갖는 반면, 이러한 화상은 분산된 높은 프레임 레이트보다 낮은 프레임 레이트에서 동화상 시퀀스를 표시하는 수신 및 재생 측에 있어서의 화상 품질의 면에서 종래의 프레임 보간 기술의 문제에 이르게 하는 요소를 갖는다.

고속 프레임 셔터로 캡처된 높은 선명도를 갖는 화상을 이용하는 프레임 보간에서, 움직임 벡터 검색이 적응되는 경우와 움직임 벡터 검색이 적응되지 않는 경우 사이에 큰 차이가 있다. 따라서, 양 경우들 간의 차이는 화상 품질에서의 상당한 열화로서 표시된다. 프레임 보간 시에 움직임 벡터 검색의 정확도를 향상시키는데 높은 부하의 계산이 필요하며, 이는 수신기 비용에 영향을 미친다.

본 출원인은 고속 프레임 셔터로 캡처된 화상 재료를 변환하고, 정상 프레임 레이트로 디코딩을 수행하는 종래의 수신기로 하여금 미리 결정된 또는 더 높은 화상 품질로 화상을 표시하게 하는 기술을 이전에 제안하였다(특허문헌 1 참조).

특허문헌 1: 국제 공개 제2015/076277호

정상 프레임 레이트 및 높은 프레임 레이트의 동화상 데이터를 만족스럽게 전송하는 것이 바람직하다.

본 기술의 일 실시예에 따르면, 각각의 프레임에 대한 혼합 레이트로, 제1 비디오 데이터의 프레임을 제1 비디오 데이터의 하나 이상의 주변 프레임과 혼합하는 처리를 수행하고 제1 프레임 레이트의 제2 비디오 데이터를 획득하는 송신 장치가 제공된다. 제2 비디오 데이터는 제1 프레임 레이트보다 낮은 제2 프레임 레이트에 대응하는 프레임들을 포함하고, 제2 프레임 레이트에 대응하는 프레임들은 주변 프레임들과 혼합된다. 송신 장치는 제2 프레임 레이트에 대응하는 프레임들을 인코딩하여 기본 스트림을 획득하고 제2 비디오 데이터의 나머지 프레임들을 인코딩하여 확장 스트림을 획득한다. 이어서, 송신 장치는 각각의 프레임들과 관련하여 기본 스트림 및 확장 스트림에, 대응하는 프레임들의 혼합 레이트에 관한 정보를 삽입하며, 혼합 레이트에 관한 정보가 삽입된 기본 스트림 및 확장 스트림을 송신한다.

본 기술의 일 실시예에 따르면, 기본 스트림 및 확장 스트림은 NAL(Network Abstraction Layer) 유닛 구조를 가지며, 송신 장치는 혼합 레이트에 관한 정보를 갖는 SEI(Supplemental Enhancement Information) NAL 유닛을 기본 스트림 및 확장 스트림에 삽입한다. 일 실시예에서, 제1 프레임 레이트는 120Hz 또는 240Hz이고, 제2 프레임 레이트는 60Hz이다.

기본 스트림 및 확장 스트림에 삽입되는, 혼합 레이트에 관한 정보는 혼합하는 처리를 수행하는데 이용되는 필터의 구성 정보를 포함할 수 있다.

혼합 레이트에 관한 정보는 또한 시간적으로 이전 프레임을 이용하지 않는 혼합 리프레시가 수행될 때까지의 프레임들의 수를 나타내는 혼합 리프레시 정보를 포함할 수 있다.

혼합 레이트에 관한 정보는 또한 각각의 프레임이 혼합 리프레시의 타겟인지 여부를 나타내는 리프레시 플래그 정보를 포함할 수 있다. 혼합 레이트에 관한 정보는 또한 각각의 프레임이 제2 프레임 레이트에 대응하는지 여부를 나타내는 헤드 플래그 정보를 포함할 수 있다.

본 기술의 일 실시예에 따르면, 제1 프레임 레이트(높은 프레임 레이트)에서의 제2 비디오 데이터를 형성하는 각각의 프레임에서의 제2 프레임 레이트(정상 프레임 레이트)에 대응하는 적어도 프레임은 주변 프레임들과 혼합되고 개구율이 높아지는 상태에 있고, 제2 프레임 레이트(정상 프레임 레이트)에 대응하는 프레임을 인코딩함으로써 획득되는 기본 스트림은 전술한 바와 같이 송신된다.

따라서, 제2 프레임 레이트(정상 프레임 레이트)에서의 비디오 데이터가 처리될 수 있는 디코딩 능력을 갖는 수신기의 경우에, 기본 스트림을 처리하고 제2 프레임 레이트를 획득하는 것에 의해 동화상으로서 매끄러운 화상을 표시하고, 표시 처리에서의 낮은 부하 계산에 기반하여 프레임 보간 처리에서의 화상 품질의 문제의 발생을 피하는 것이 가능하다.

또한, 본 기술의 일 실시예에 따르면, 나머지 프레임들을 인코딩하는 것에 의해 획득되는 확장 스트림이 기본 스트림과 함께 획득되고, 대응하는 프레임들의 혼합 레이트에 관한 정보가 각각의 프레임들과 관련하여 기본 스트림 및 확장 스트림에 삽입되고, 확장 스트림이 이후 송신된다. 따라서, 제1 프레임 레이트(높은 프레임 레이트)에서의 비디오 데이터가 처리될 수 있는 디코딩 능력을 갖는 수신기의 경우에, 각각의 프레임에서의 혼합 레이트에 관한 정보에 기반하여 제1 프레임 레이트의 혼합 해제된 비디오 데이터를 용이하게 획득하고, 제1 프레임 레이트의 동화상을 만족스럽게 표시하는 것이 가능하다.

또한, 본 기술의 다른 실시예에 따르면, 기본 스트림 및 확장 스트림을 수신하는 수신 장치가 제공되며, 기본 스트림 및 확장 스트림은 각각의 프레임에 대한 혼합 레이트로, 제1 비디오 데이터의 프레임을 제1 비디오 데이터의 하나 이상의 주변 프레임과 혼합하는 처리를 수행하는 것에 의해 획득된다. 수신 장치는 제1 프레임 레이트의 제2 비디오 데이터를 획득하고, 제2 비디오 데이터는 제1 프레임 레이트보다 낮은 제2 프레임 레이트에 대응하는 프레임들을 포함한다.

수신 장치는 제2 프레임 레이트에 대응하는 프레임들을 주변 프레임들과 혼합하고, 제2 프레임 레이트에 대응하는 프레임들을 인코딩하여 기본 스트림을 획득한다. 수신 장치는 제2 비디오 데이터의 나머지 프레임들을 인코딩하여 확장 스트림을 획득한다. 대응하는 프레임들의 혼합 레이트에 관한 정보는 각각의 프레임들과 관련하여 기본 스트림 및 확장 스트림에 포함된다.

수신 장치는 또한, 수신 장치에 접속된 디스플레이의 프레임 레이트 능력에 기반하여, 기본 스트림을 디코딩하여 제2 프레임 레이트의 프레임들을 획득하거나 또는 기본 스트림 및 확장 스트림을 디코딩하여 제2 비디오 데이터를 획득하고, 후자의 경우에, 혼합 레이트에 관한 정보에 기반하여 제2 비디오 데이터에 대해 역 혼합 처리를 수행함으로써 제1 프레임 레이트의 혼합 해제된 비디오 데이터를 획득한다.

본 기술의 일 실시예에 따르면, 제2 프레임 레이트(정상 프레임 레이트)에서의 비디오 데이터는 전술한 바와 같이 제2 프레임 레이트(정상 프레임 레이트)에서의 비디오 데이터가 처리될 수 있는 디코딩 능력이 있는 경우에 기본 스트림만을 처리함으로써 획득된다. 제2 프레임 레이트(정상 프레임 레이트)에서의 비디오 데이터를 형성하는 각각의 프레임에서의 화상 데이터가 주변 프레임들과 혼합되고, 셔터 개구율이 높아지기 때문에, 매끄러운 화상을 동화상으로서 표시하고 표시 처리에서의 낮은 부하 계산에 기반하여 프레임 보간 처리에서의 화상 품질의 문제의 발생을 피하는 것이 가능하다.

또한, 본 기술의 일 실시예에 따르면, 기본 스트림 및 확장 스트림 모두는 혼합 처리 후에 제1 프레임 레이트(높은 프레임 레이트)에서의 비디오 데이터를 획득하도록 처리되고, 추가로, 제1 프레임 레이트(높은 프레임 레이트)에서의 비디오 데이터가 처리될 수 있는 디코딩 능력이 있는 경우에 제1 프레임 레이트(정상 프레임 레이트)에서의 혼합 해제된 비디오 데이터를 획득하기 위해, 각각의 프레임에서의 혼합 레이트에 관한 정보에 기반하여 역 혼합 처리가 수행된다. 따라서, 제1 프레임 레이트(높은 프레임 레이트)에서의 동화상을 만족스럽게 표시하는 것이 가능하다.

또한, 본 기술의 다른 실시예에 따르면, 각각의 프레임에 대한 혼합 레이트로, 제1 비디오 데이터의 프레임을 제1 비디오 데이터의 하나 이상의 주변 프레임과 혼합하는 처리를 수행하는 것에 의해 획득된 제2 비디오 데이터를 취득하는 수신 장치가 제공된다. 이어서, 수신 장치는 제2 비디오 데이터 및 각각의 프레임에서의 혼합 레이트에 관한 정보를 전송 경로를 통해 외부 디바이스에게 송신한다.

본 기술의 일 실시예에 따르면, 혼합 레이트에 관한 정보에는 다음 비디오 프레임과 동기화시키는 것이 필요한지 여부를 나타내는 동기화 프레임 정보가 포함된다. 수신 장치는 각각의 프레임에서의 혼합 레이트에 관한 정보를 제2 비디오 데이터의 각각의 프레임의 블랭킹 기간에 각각 삽입하고 제2 비디오 데이터를 송신한다.

본 기술의 일 실시예에 따르면, 수신 장치는 혼합 레이트에 관한 정보에 기반하여 제2 비디오 데이터의 각각의 프레임에 대해 역 혼합 처리를 수행하여 제3 비디오 데이터를 획득한다. 이어서, 수신 장치는 외부 디바이스가 역 혼합 처리의 기능을 갖지 않을 때 제2 비디오 데이터 대신에 제3 비디오 데이터를 송신한다.

일 실시예에 따르면, 제2 비디오 데이터는 제1 프레임 레이트를 갖고, 제2 비디오 데이터는 제1 프레임 레이트보다 낮은 제2 프레임 레이트에 대응하는 프레임들을 포함하고, 제2 프레임 레이트에 대응하는 프레임들은 주변 프레임들과 혼합된다.

또한, 본 기술의 일 실시예에서, 예를 들어 수신 장치는 이후 디스플레이가 외부 디바이스에 의해 수행될 수 있는 프레임 레이트가 제2 프레임 레이트일 때, 제2 비디오 데이터 대신에 제2 프레임 레이트에 대응하는 프레임들을 포함하는 제4 비디오 데이터를 송신한다.

또한, 본 기술의 다른 실시예에 따르면, 각각의 프레임에 대한 혼합 레이트로, 제1 비디오 데이터의 프레임을 제1 비디오 데이터의 하나 이상의 주변 프레임과 혼합하는 처리를 수행하는 것에 의해 획득된 제2 비디오 데이터를 수신하는 수신 장치가 제공된다. 수신 장치는 또한 각각의 프레임에서의 혼합 레이트에 관한 정보를 전송 경로를 통해 외부 디바이스로부터 수신한다. 이어서, 수신 장치는 혼합 레이트에 관한 정보에 기반하여 제2 비디오 데이터의 각각의 프레임에 대해 역 혼합 처리를 수행하는 것에 의해 혼합 해제된 비디오 데이터를 획득한다.

본 기술의 일 실시예에 따르면, 수신 장치는 또한 각각의 프레임에서의 혼합 레이트에 관한 정보를 전송 경로를 통해 외부 디바이스로부터 수신한다. 이어서, 수신 장치는 혼합 레이트에 관한 정보에 기반하여 제2 비디오 데이터의 각각의 프레임에 대해 역 혼합 처리를 수행하는 것에 의해 혼합 해제된 비디오 데이터를 획득한다.

본 기술의 일 실시예에 따르면, 각각의 프레임에서의 혼합 레이트에 관한 정보는 외부 디바이스로부터 혼합 처리 후에 제2 비디오 데이터와 함께 수신되고, 혼합 해제된 비디오 데이터는 혼합 레이트에 관한 정보에 기반하여 제2 비디오 데이터의 각각의 프레임에 대해 역 혼합 처리를 수행함으로써 획득된다. 따라서, 혼합 처리 전의 것과 유사한 정확도로 비디오 데이터를 적절하게 획득하고, 동화상을 만족스럽게 표시하는 것이 가능하다.

본 기술의 일 실시예에 따르면, 정상 프레임 레이트 및 높은 프레임 레이트의 동화상 데이터를 만족스럽게 전송하는 것이 가능하다. 또한, 본 명세서에서 설명된 이점들은 반드시 제한되는 것이 아니며, 본 개시내용에서 설명된 이점들 중 어떤 이점도 달성될 수 있다.

도 1은 일 실시예에 따른 송신 및 수신 시스템의 구성 예를 도시하는 블록도이다.
도 2는 120Hz에서의 동화상 데이터에 대해 혼합 처리를 수행함으로써 획득되는 60Hz에서의 기본 스트림, 및 +60Hz에서의 확장 스트림의 예를 도시하는 도면이다.
도 3은 240Hz에서의 동화상 데이터에 대해 혼합 처리를 수행함으로써 획득되는 60Hz에서의 기본 스트림, 및 이에 추가된 확장 스트림의 예를 도시하는 도면이다.
도 4는 송신 장치 및 텔레비전 수신기에 의해 수행되는 처리의 개요를 도시하는 도면이다.
도 5는 송신 측 상에서의 혼합 및 수신 측 상에서의 역 혼합의 예를 개략적으로 도시하는 도면이다.
도 6은 송신 측 상에서의 혼합 및 수신 측 상에서의 역 혼합의 다른 예를 개략적으로 도시하는 도면이다.
도 7은 송신 장치의 구성 예를 도시하는 블록도이다.
도 8은 송신 측 상에서 혼합 처리를 수행하는 전처리기의 구성 예를 도시하는 블록도이다.
도 9는 송신 측 상에서 혼합 처리를 수행하는 전처리기의 다른 구성 예를 도시하는 블록도이다.
도 10은 수신 측 상에서 역 혼합 처리를 수행하는 후처리기의 구성 예를 도시하는 블록도이다.
도 11은 수신 측 상에서 역 혼합 처리를 수행하는 후처리기의 다른 구성 예를 도시하는 블록도이다.
도 12는 {Blending_information SEI message}의 구성 예를 도시하는 도면이다.
도 13은 {Blending_information()}의 구성 예를 도시하는 도면이다.
도 14는 {Blending_information()}의 구성 예에서의 주요 내용을 도시하는 도면이다.
도 15는 혼합 처리가 수행된 높은 프레임 레이트의 동화상 데이터 Q 내의 각각의 프레임(픽처 프레임)에 삽입되는 정보 {Blending_information()}에서의 변화의 예를 도시하는 도면이다.
도 16은 전처리기에 의한 혼합 처리와 후처리기에 의한 역 혼합 처리 간의 관계의 예를 도시하는 도면이다.
도 17은 송신 측 상에서의 혼합 및 수신 측 상에서의 역 혼합의 예를 개략적으로 도시하는 도면이다.
도 18은 전송 스트림 TS의 구성 예를 도시하는 도면이다.
도 19는 높은 프레임 레이트의 동화상 데이터가 처리될 수 있는 디코딩 능력을 갖는 텔레비전 수신기의 구성 예를 도시하는 블록도이다.
도 20은 정상 프레임 레이트의 동화상 데이터가 처리될 수 있는 디코딩 능력을 갖는 텔레비전 수신기의 구성 예를 도시하는 블록도이다.
도 21은 송신 및 수신 시스템의 다른 구성 예를 도시하는 도면이다.
도 22는 셋톱 박스의 제어 유닛(CPU)에서의 제어 처리 절차의 예를 도시하는 흐름도이다.
도 23은 송신 장치, 셋톱 박스 및 디스플레이에 의해 수행되는 처리의 개요를 도시하는 도면이다.
도 24는 디스플레이가 역 혼합 처리(혼합 해제 처리)의 기능을 갖는 경우와 디스플레이가 비교된 방식으로의 기능을 갖지 않는 경우를 도시하는 도면이다.
도 25는 HFR 블렌딩 인포프레임의 구성 예를 도시하는 도면이다.
도 26은 HFR 블렌딩 인포프레임의 구성 예에서의 주요 정보의 내용을 도시하는 도면이다.
도 27은 HFR 블렌딩 인포프레임의 구성 예에서의 주요 정보의 내용을 도시하는 도면이다.
도 28은 셋톱 박스의 구성 예를 도시하는 블록도이다.
도 29는 높은 프레임 레이트의 동화상 데이터를 처리하는 디스플레이의 구성 예를 도시하는 블록도이다.
도 30은 정상 프레임 레이트의 동화상 데이터를 처리하는 디스플레이의 구성 예를 도시하는 블록도이다.

이하, 본 개시내용을 구현하기 위한 실시예(이하, "실시예"라고 지칭됨)가 설명될 것이다. 또한, 이러한 설명은 이하의 순서로 행한다.

1. 실시예

2. 변형예

<1. 실시예>

<<송신 및 수신 시스템>>

도 1은 일 실시예에 따른 송신 및 수신 시스템(10)의 구성 예를 도시한다. 이 송신 및 수신 시스템(10)은 송신 장치(100) 및 텔레비전 수신기(200)를 갖는다.

송신 장치(100)는 컨테이너로서의 전송 스트림 TS를 방송파에 실어서 송신한다. 이러한 전송 스트림 TS은 높은 프레임 레이트, 즉 이 실시예에서는 120Hz 또는 240Hz에서의 동화상 데이터를 처리함으로써 획득된 기본 스트림(기본 비디오 스트림) 및 확장 스트림(확장 비디오 스트림)을 포함한다. 이 실시예에서, 기본 스트림과 확장 스트림은 NAL 유닛 구조를 갖는다.

여기서, 기본 스트림은 다음과 같이 획득된다. 즉, 혼합 처리 후의 높은 프레임 레이트의 동화상 데이터는 각각의 프레임에 독립적인 혼합 레이트로, 주변 프레임들에서의 화상 데이터를 혼합 전의 높은 프레임 레이트의 동화상 데이터의 각각의 프레임에서의 화상 데이터와 혼합하는 처리를 수행하는 것에 의해 획득된다.

혼합 처리 후에 높은 프레임 레이트의 동화상 데이터를 형성하는 각각의 프레임 내의 화상 데이터에서의 정상 프레임 레이트, 즉 이 실시예에서는 60Hz에 대응하는 프레임 내의 적어도 화상 데이터는, 화상 데이터가 주변 프레임들 내의 화상 데이터와 혼합된 상태로 된다. 기본 스트림은 정상 프레임 레이트에 대응하는 프레임(기본 프레임)에서의 화상 데이터를 인코딩함으로써 획득된다. 또한, 확장 스트림은 잔여 프레임들(확장 프레임들)에서의 화상 데이터를 인코딩함으로써 획득된다.

기본 스트림은 정상 프레임 레이트의 각각의 프레임 내의 코딩된 화상 데이터를 액세스 유닛으로서 포함한다. 또한, 확장 스트림은 높은 프레임 레이트의 각각의 확장 프레임 내의 코딩된 화상 데이터를 액세스 유닛으로서 포함한다.

도 2의 (a) 및 (b)는 120Hz에서의 동화상 데이터에 대해 혼합 처리를 수행함으로써 획득되는 60Hz에서의 기본 스트림 및 +60Hz에서의 확장 스트림의 예를 도시한다. 기본 스트림을 형성하는 하나의 프레임 및 다음의 확장 프레임에 대응하는 하나의 프레임에 의해 프레임 쌍이 형성된다.

도 2의 (a)에서는, 각각의 프레임 쌍에서, 제1 프레임인 기본 스트림의 프레임 내의 화상 데이터는 그 화상 데이터가 주변 프레임들에서의 화상 데이터와 혼합되는 상태(혼합 상태)에 있는 반면, 확장 스트림의 다음 프레임 내의 화상 데이터는 그 화상 데이터가 주변 프레임들에서의 화상 데이터와 혼합되지 않은 상태(비혼합 상태)에 있다. 도 2의 (b)에서는, 각각의 프레임 쌍에서, 제1 프레임인 기본 스트림의 프레임 내의 화상 데이터는 그 화상 데이터가 주변 프레임들에서의 화상 데이터와 혼합되는 상태(혼합 상태)에 있고, 확장 스트림의 다음 프레임 내의 화상 데이터도 또한 그 화상 데이터가 주변 프레임들에서의 화상 데이터와 혼합되는 상태(혼합 상태)에 있다.

도 3의 (a), (b), (c) 및 (d)는 240Hz에서의 동화상 데이터에 대해 혼합 처리를 수행함으로써 획득되는 60Hz에서의 기본 스트림들 및 이에 추가된 확장 스트림의 예를 도시한다. 프레임 쌍은 기본 스트림을 형성하는 하나의 프레임 및 그 확장 프레임들에 대응하는 후속하는 3개의 프레임을 포함하는 4개의 프레임에 의해 형성된다.

도 3의 (a)에서는, 각각의 프레임 쌍에서, 제1 프레임인 기본 스트림의 프레임 내의 화상 데이터는 그 화상 데이터가 주변 프레임들에서의 화상 데이터와 혼합되는 상태(혼합 상태)에 있는 반면, 확장 스트림의 모든 3개의 후속 프레임의 화상 데이터는 그 화상 데이터가 주변 프레임들에서의 화상 데이터와 혼합되지 않은 상태(비혼합 상태)에 있다.

도 3의 (b)에서는, 각각의 프레임 쌍에서, 제1 프레임인 기본 스트림의 프레임 내의 화상 데이터는 그 화상 데이터가 주변 프레임들 내의 화상 데이터와 혼합되는 상태(혼합 상태)에 있다. 또한, 확장 스트림의 후속하는 제1 프레임 내의 화상 데이터는 그 화상 데이터가 주변 프레임 내의 화상 데이터와 혼합되지 않은 상태(비혼합 상태)에 있고, 제2 프레임 내의 화상 데이터는 그 화상 데이터가 주변 프레임들 내의 화상 데이터와 혼합되는 상태(혼합 상태)에 있고, 제3 프레임 내의 화상 데이터는 그 화상 데이터가 주변 프레임들 내의 화상 데이터와 혼합되지 않은 상태(비혼합 상태)에 있다.

도 3의 (c)에서는, 각각의 프레임 쌍에서, 제1 프레임인 기본 스트림의 프레임 내의 화상 데이터는 그 화상 데이터가 주변 프레임들 내의 화상 데이터와 혼합되는 상태(혼합 상태)에 있다. 또한, 확장 스트림의 후속하는 제1 프레임 내의 화상 데이터는 그 화상 데이터가 주변 프레임 내의 화상 데이터와 혼합되는 상태(혼합 상태)에 있고, 제2 프레임 내의 화상 데이터는 그 화상 데이터가 주변 프레임들 내의 화상 데이터와 혼합되지 않은 상태(비혼합 상태)에 있고, 제3 프레임 내의 화상 데이터는 그 화상 데이터가 주변 프레임들 내의 화상 데이터와 혼합되는 상태(혼합 상태)에 있다.

도 3의 (d)에서는, 각각의 프레임 쌍에서, 제1 프레임인 기본 스트림의 프레임 내의 화상 데이터는 그 화상 데이터가 주변 프레임들 내의 화상 데이터와 혼합되는 상태(혼합 상태)에 있고, 확장 스트림의 모든 3개의 후속 프레임의 화상 데이터도 또한 그 화상 데이터가 주변 프레임들 내의 화상 데이터와 혼합되는 상태(혼합 상태)에 있다.

대응하는 프레임들에서의 혼합 레이트에 관한 정보는 각각의 프레임들 내의 화상 데이터와 관련하여 기본 스트림 및 확장 스트림에 삽입된다. 여기서, 각각의 프레임에서의 혼합 레이트에 관한 정보는 각각 혼합 처리에 이용되는 필터의 탭 수에 대응하는 계수들의 세트이다. m개의 프레임을 혼합할 수 있는 m-탭 필터가 이용되는 경우, 예를 들어 각각의 프레임의 계수 세트는 m개의 계수를 포함한다. 이 실시예에서, 기본 스트림 및 확장 스트림에는 혼합 레이트(계수 세트)의 정보를 갖는 SEI NAL 유닛이 삽입된다. 수신 측은 혼합 레이트에 관한 정보에 기반하여, 기본 스트림 및 확장 스트림의 각각의 프레임 내의 화상 데이터가 어떠한 레이트로 주변 화상 데이터와 혼합되었는지를 인식할 수 있다.

도 1로 돌아가면, 텔레비전 수신기는 송신 장치(100)로부터 방송파 상으로 전송된 전술한 전송 스트림 TS를 수신한다. 정상 프레임 레이트(60Hz)에서의 동화상 데이터가 처리될 수 있는 디코딩 능력이 있는 경우, 수신 장치(200)는 전송 스트림 TS에 포함되는 기본 스트림만을 처리하고, 정상 프레임 레이트의 동화상 데이터를 획득하고, 화상을 재생한다. 이 경우, 텔레비전 수신기(200)는 기본 스트림에 대해 디코딩 처리를 수행하고, 정상 프레임 레이트의 각각의 프레임에서 화상 데이터를 획득한다.

한편, 높은 프레임 레이트(120Hz 또는 240Hz)에서의 동화상 데이터가 처리될 수 있는 디코딩 능력이 있는 경우, 텔레비전 수신기(200)는 전송 스트림 TS에 포함된 기본 스트림 및 확장 스트림 둘 다를 처리하고, 높은 프레임 레이트의 동화상 데이터를 획득하고, 화상을 재생한다.

이 경우에, 텔레비전 수신기(200)는 기본 스트림에 대해 디코딩 처리를 수행함으로써 정상 프레임 레이트의 각각의 프레임에서 화상 데이터를 획득하고, 확장 스트림에 대해 디코딩 처리를 수행함으로써 높은 프레임 레이트의 각각의 확장 프레임에서 화상 데이터를 획득하고, 이어서 각각의 프레임에서의 혼합 레이트에 관한 정보(계수 세트)에 기반하여 정상 프레임 레이트의 각각의 프레임 내의 화상 데이터 및 높은 프레임 레이트의 각각의 확장 프레임 내의 화상 데이터를 이용함으로써 역 혼합 처리를 수행하여, 혼합 처리 전의 것과 유사한 높은 프레임 레이트의 동화상 데이터를 획득한다.

도 4는 송신 장치(100) 및 텔레비전 수신기(200)에 의해 수행되는 처리의 개요를 도시한다. 또한, 송신 장치(100)의 전처리기(102)로부터 출력된 화상 시퀀스 Q 및 텔레비전 수신기(200A)의 디코더(204)로부터 출력된 화상 시퀀스 Q가 시계열 방식으로 동일하지만, 양 화상 시퀀스들 Q에서의 화상 품질이 상이한 경우가 화상 시퀀스들 Q가 코덱을 통과하게 되기 때문에 또한 포함된다. 카메라(촬영 장치)(81)로부터 출력되는 더 높은 프레임 레이트의 동화상 데이터 Va가 HFR 처리기(82)에 전송되고, 높은 프레임 레이트(120Hz 또는 240Hz)에서의 동화상 데이터 Vb가 획득된다. 이 동화상 데이터 Vb는 동화상 데이터 P로서 송신 장치(100)에 입력된다.

송신 장치(100)에서, 전처리기(102)에 의해 동화상 데이터 P를 형성하는 각각의 프레임에서의 화상 데이터에 대해 혼합 처리가 수행되고, 정상 프레임 레이트의 각각의 프레임 내의 화상 데이터 Qb 및 높은 프레임 레이트의 각각의 확장 프레임 내의 화상 데이터 Qe를 포함하는 혼합 처리 후의 동화상 데이터 Q가 획득된다. 송신 장치(100)에서, 인코더(103)는 화상 데이터 Qb 및 Qe에 대해 인코딩 처리를 수행하고, 기본 스트림 STb 및 확장 스트림 STe가 획득된다. 송신 장치(100)는 이들 스트림들 STb 및 STe를 텔레비전 수신기(200)에게 송신한다. 또한, 대응하는 프레임들에서의 혼합 레이트에 관한 정보는 각각의 프레임들 내의 화상 데이터와 관련하여 이들 스트림들 STb 및 STe에 삽입된다.

높은 프레임 레이트의 동화상 데이터를 처리할 수 있는 디코딩 능력을 갖는 텔레비전 수신기(200A)에서, 디코더(204)는 2개의 스트림 STb 및 STe에 대해 디코딩 처리를 수행하고, 정상 프레임 레이트의 각각의 프레임 내의 화상 데이터 Qb 및 높은 프레임 레이트의 각각의 확장 프레임 내의 화상 데이터 Qe를 포함하고 혼합 처리가 수행된 동화상 데이터 Q가 획득된다. 그 후, 수신 장치(200A)에서, 후처리기(205)는 각각의 프레임에서의 혼합 레이트에 관한 정보에 기반하여 동화상 데이터 Q의 각각의 프레임에서의 화상 데이터에 대해 역 혼합 처리(혼합 해제 처리)를 수행하고, 송신 측의 동화상 데이터 P와 유사한 높은 프레임 레이트(120Hz 또는 240Hz)에서의 동화상 데이터 R이 획득된다. 동화상 데이터 R은 이에 대해 수행되는 어떠한 처리도 없이 또는 움직임 보상 프레임 삽입(MCFI) 유닛(206)에 의해 프레임 보간을 수행하여 프레임 레이트를 증가시킨 표시용 동화상 데이터로서 이용된다.

한편, 정상 프레임 레이트의 화상 데이터를 처리할 수 있는 디코딩 능력을 갖는 텔레비전 수신기(200B)에서는, 디코더(204B)가 스트림 STb에 대해 디코딩 처리를 수행하고, 정상 프레임 레이트의 각각의 프레임 내의 화상 데이터 Qb가 획득된다. 그 다음, 수신 장치(200B)에서, 정상 프레임 레이트의 각각의 프레임 내의 화상 데이터 Qb를 포함하는 동화상 데이터는 수행되는 어떠한 처리도 없이 또는 움직임 보상 프레임 삽입(MCFI) 유닛(206B)에 의해 프레임 보간을 수행하여 프레임 레이트를 증가시킨 표시용 동화상 데이터로서 이용된다.

도 5는 송신 측 상의 혼합(블렌딩) 및 수신 측 상의 역 혼합(언블렌딩)의 예를 개략적으로 도시한다. 이 예는 도 2의 (a)의 예에 대응하고, 프레임 {n} 및 프레임 {n+1}이 프레임 쌍을 형성하고, 프레임 {n+2} 및 프레임 {n+3}이 프레임 쌍을 형성한다. 또한, 오브젝트들 Oa 및 Ob는 움직임이 없는 오브젝트들인 반면, 오브젝트 Oc는 도면에 도시된 예에서 움직임이 있는 오브젝트이다.

제1 프레임인 기본 스트림의 프레임 내의 화상 데이터는 그 화상 데이터가 주변 프레임들 내의 화상 데이터와 혼합되는 상태(혼합 상태)로 되고, 확장 스트림에서의 후속하는 프레임 내의 화상 데이터는 그 화상 데이터가 송신 측의 혼합 처리에 의해 각각의 프레임 쌍에서의 주변 프레임들 내의 화상 데이터와 혼합되지 않은 상태(비혼합 상태)로 된다. 또한, 혼합 상태는 수신 측의 역 혼합 처리에 의해 해제된다.

도 6은 송신 측 상의 혼합(블렌딩) 및 수신 측 상의 역 혼합(언블렌딩)의 다른 예를 개략적으로 도시한다. 이 예는 도 3의 (a)의 예에 대응하고, 프레임 {n} 및 프레임들 {n+1} 내지 {n+3}이 프레임 쌍들을 형성한다. 또한, 오브젝트들 Oa 및 Ob는 움직임이 없는 오브젝트들인 반면, 오브젝트 Oc는 도면에 도시된 예에서 움직임이 있는 오브젝트이다.

제1 프레임인 기본 스트림의 프레임 내의 화상 데이터는 그 화상 데이터가 주변 프레임들 내의 화상 데이터와 혼합되는 상태(혼합 상태)로 되고, 확장 스트림에서의 후속하는 3개의 프레임 내의 화상 데이터는 그 화상 데이터가 송신 측의 혼합 처리에 의해 각각의 프레임 쌍에서의 주변 프레임들 내의 화상 데이터와 혼합되지 않은 상태(비혼합 상태)로 된다. 또한, 혼합 상태는 수신 측의 역 혼합 처리에 의해 해제된다.

<<송신 장치의 구성>>

도 7은 송신 장치(100)의 구성 예를 도시한다. 이 송신 장치(100)는 제어 유닛(101), 전처리기(102), 인코더(103), 멀티플렉서(104) 및 송신 유닛(105)을 갖는다. 제어 유닛(101)은 송신 장치(100)에서의 각각의 부분들의 동작들을 제어한다.

전처리기(102)는 높은 프레임 레이트(120Hz 또는 240Hz)에서의 동화상 데이터 P를 입력하고, 정상 프레임 레이트(60Hz)에서의 각각의 프레임 내의 화상 데이터 Qb 및 높은 프레임 레이트의 각각의 확장 프레임 내의 화상 데이터 Qe를 출력한다.

여기서, 전처리기는 각각의 프레임에 독립적인 혼합 레이트로, 주변 프레임들 내의 화상 데이터를 혼합 처리 전의 높은 프레임 레이트의 동화상 데이터 P의 각각의 프레임 내의 화상 데이터와 혼합하는 처리를 수행하고 혼합 처리 후의 높은 프레임 레이트의 동화상 데이터 Q를 획득한다. 동화상 데이터 Q에서의 정상 프레임 레이트(60Hz)에 대응하는 각각의 프레임 내의 화상 데이터가 화상 데이터 Qb이고, 각각의 잔여 프레임 내의 화상 데이터가 화상 데이터 Qe이다. 이 경우, 적어도 화상 데이터 Qb는 그 화상 데이터 Qb가 주변 프레임들 내의 화상 데이터와 혼합되는 상태에 있다.

전처리기(102)는 예를 들어, 2개 이상의 탭을 갖는 시간 방향으로의 필터를 포함하고, 각각의 프레임에 대한 각각의 탭의 계수를 변경함으로써 각각의 프레임에 독립적인 혼합 레이트로 주변 프레임들 내의 화상 데이터를 혼합하는 처리를 수행할 수 있다.

도 8은 전처리기(102)의 구성 예를 도시한다. 이 전처리기(102)는 3개의 탭을 갖는 시간 방향으로의 필터를 포함한다. 이 전처리기(102)는 하나의 프레임 기간의 지연 시간을 갖는 지연 요소들(102a 및 102b), 계수 디바이스들(102c, 102d, 및 102e), 및 가산기(102f)를 갖는다.

혼합 처리 전의 동화상 데이터 P가 지연 요소들(102a 및 102b)의 직렬 회로에 입력된다. 이 경우, 동화상 데이터 P는 지연 요소(102b) 및 지연 요소(102a)의 순서로 송신된다. 3개의 프레임 내의 화상 데이터 P1, P2 및 P3은 지연 요소(102a)의 출력 측, 지연 요소(102a)의 입력 측(지연 요소(102b)의 출력 측), 및 지연 요소(102b)의 입력 측 상에서 3개의 탭 출력으로서 획득된다. 화상 데이터 P1, P2 및 P3은 각각 계수 디바이스들(102c, 102d, 및 102e)에 의해 계수들(a, b, 및 c)로 곱해진다. 계수 세트(a, b, 및 c)는 각각의 프레임에 대해 스위칭된다. 가산기(102f)에 의해 각각의 계수 디바이스들(102c, 102d, 및 102e)의 출력들이 가산되고, 가산기(102f)로부터 혼합 처리 후의 동화상 데이터 Q의 각각의 프레임들에서의 화상 데이터 Q1, Q2, 및 Q3이 순차적으로 획득된다.

도 9는 전처리기(102)의 다른 구성 예를 도시한다. 이 전처리기(102)는 3개의 탭을 갖는 시간 방향으로의 필터를 포함한다. 이 전처리기(102)는 제1 시스템, 제2 시스템, 및 제3 시스템의 계수 세트가 각각의 프레임에 대해 순차적으로 반복되는 예이다.

이 전처리기(102)는 하나의 프레임 기간의 지연 시간을 갖는 지연 요소들(102a, 102b), 제1 시스템에서의 계수 디바이스들(102c1, 102d1, 및 102e1), 제2 시스템에서의 계수 디바이스들(102c2, 102d2, 및 102e2), 제2 시스템에서의 계수 디바이스들(102c3, 102d3, 및 102e3), 제1 시스템에서의 가산기(102f1), 제2 시스템에서의 가산기(102f2), 제3 시스템에서의 가산기(102f3), 및 프레임 출력 스위칭 디바이스(SW)(102g)를 갖는다.

혼합 처리 전의 동화상 데이터 P는 지연 요소들(102a 및 102b)의 직렬 회로에 입력된다. 이 경우, 동화상 데이터 P는 지연 요소(102b) 및 지연 요소(102a)의 순서로 송신된다. 3개의 프레임 내의 화상 데이터 P1, P2, 및 P3은 지연 요소(102a)의 출력 측, 지연 요소(102a)의 입력 측(지연 요소(102b)의 출력 측), 및 지연 요소(102b)의 입력 측 상에서 3개의 탭 출력으로서 획득된다.

제1 시스템의 출력은 계수 디바이스들(102c1, 102d1, 및 102e1)에 의해 화상 데이터 P1, P2, 및 P3을 계수들(a1, b1, 및 c1)로 각각 곱하고, 그 후 가산기(102f1)에 의해 그 결과들을 가산함으로써 획득된다. 또한, 제2 시스템의 출력은 계수 디바이스들(102c2, 102d2, 및 102e2)에 의해 화상 데이터 P1, P2, 및 P3을 계수들(a2, b2, 및 c2)로 각각 곱하고, 그 후 가산기(102f2)에 의해 그 결과들을 가산함으로써 획득된다. 제3 시스템의 출력은 계수 디바이스들(102c3, 102d3, 및 102e3)에 의해 화상 데이터 P1, P2, 및 P3을 계수들(a3, b3, 및 c3)로 각각 곱하고, 그 후 가산기(102f3)에 의해 그 결과들을 가산함으로써 획득된다.

가산기들(102f1, 102f2, 및 102f3)에 의해 획득된 각각의 시스템들의 출력들은 프레임 출력 스위칭 디바이스(102g)에 의해 각각의 프레임에 대해 선택적으로 추출되고, 혼합 처리 후의 동화상 데이터 Q의 각각의 프레임들에서의 화상 데이터 Q1, Q2, 및 Q3이 프레임 출력 스위칭 디바이스(102g)로부터 순차적으로 획득된다.

여기서, 프레임 {n}이 P2의 위치에 있을 때, 프레임 출력 스위칭 디바이스(102g)는 {P1*a1 + P2*b1 + P3*c1}의 계산 결과를 선택한다. 또한, 프레임 {n+1}이 P2의 위치에 있을 때, 프레임 출력 스위칭 디바이스(102g)는 {P1*a2 + P2*b2 + P3*c2}의 계산 결과를 선택한다. 또한, 프레임 {n+2}가 P2의 위치에 있을 때, 프레임 출력 스위칭 디바이스(102g)는 {P1*a3 + P2*b3 + P3*c3}의 계산 결과를 선택한다.

전처리기(102)는 이러한 처리를 순차적으로 반복한다. 또한, 전처리기(102)는 계수 세트와 대응하는 프레임들 사이의 동기화 관계가 무너지지 않도록 지연 관리 기능을 포함한다.

도 10은 수신 측에서 역 혼합 처리를 수행하는 후처리기(205)의 구성 예를 도시한다. 이 예는 도 8에 도시된 전처리기(102)의 구성 예에 대응한다. 이러한 후처리기(205)는 3개의 탭을 갖는 필터를 포함한다. 이러한 후처리기(205)는 하나의 프레임 기간의 지연 시간을 갖는 지연 요소들(205a 및 205b), 계수 디바이스들(205c, 205d, 및 205e), 및 가산기(205f)를 갖는다.

역 혼합 처리 전의 동화상 데이터 Q는 지연 요소들(205a 및 205b)의 직렬 회로에 입력된다. 이 경우, 동화상 데이터 Q는 지연 요소(205b) 및 지연 요소(205a)의 순서로 송신된다. 3개의 프레임에서의 화상 데이터 Q1, Q2, 및 Q3은 지연 요소(205a)의 출력 측, 지연 요소(205a)의 입력 측(지연 요소(205b)의 출력 측), 및 지연 요소(205b)의 입력 측 상에서 3개의 탭 출력으로서 획득된다.

화상 데이터 Q1, Q2, 및 Q3은 계수 디바이스들(205c, 205d, 및 205e)에 의해 계수들(a', b' 및 c')로 각각 곱해진다. 계수 세트(a', b' 및 c')는 송신 측으로부터 제공되고 각각의 프레임에 대하여 스위칭되는 혼합 처리 시에 계수 세트(a, b, 및 c)(도 8 참조)로부터 역 혼합 처리(혼합 해제 처리)를 수행하도록 획득된다. 가산기(205f)에 의해 각각의 계수 디바이스들(205c, 205d, 및 205e)의 출력들이 가산되고, 가산기(205f)로부터 역 혼합 처리 후의 동화상 데이터 R의 각각의 프레임들에서의 화상 데이터 R1, R2, 및 R3이 순차적으로 획득된다.

도 11은 수신 측에서 역 혼합 처리를 수행하는 후처리기(205)의 다른 구성 예를 도시한다. 이 예는 도 9에 도시된 전처리기(102)의 구성 예에 대응한다. 이러한 후처리기(205)는 3개의 탭을 갖는 필터를 포함한다. 이러한 후처리기(205)는 제1 시스템, 제2 시스템, 및 제3 시스템의 계수 세트가 각각의 프레임에 대해 순차적으로 반복되는 예이다.

이 후처리기(205)는 하나의 프레임 기간의 지연 시간을 갖는 지연 요소들(205a, 205b), 제1 시스템에서의 계수 디바이스들(205c1, 205d1, 및 205e1), 제2 시스템에서의 계수 디바이스들(205c2, 205d2, 및 205e2), 제2 시스템에서의 계수 디바이스들(205c3, 205d3, 및 205e3), 제1 시스템에서의 가산기(205f1), 제2 시스템에서의 가산기(205f2), 제3 시스템에서의 가산기(205f3), 및 프레임 출력 스위칭 디바이스(SW)(205g)를 갖는다.

역 혼합 처리 전의 동화상 데이터 P는 지연 요소들(205a 및 205b)의 직렬 회로에 입력된다. 이 경우, 동화상 데이터 Q는 지연 요소(205b) 및 지연 요소(205a)의 순서로 송신된다. 3개의 프레임에서의 화상 데이터 Q1, Q2, 및 Q3은 지연 요소(205a)의 출력 측, 지연 요소(205a)의 입력 측(지연 요소(205b)의 출력 측), 및 지연 요소(205b)의 입력 측 상에서 3개의 탭 출력으로서 획득된다.

또한, 제1 시스템의 출력은 계수 디바이스들(205c1, 205d1, 및 205e1)에 의해 화상 데이터 Q1, Q2, 및 Q3을 계수들(a1, b1, 및 c1)로 각각 곱하고, 그 후에 가산기(205f1)에 의해 그 결과들을 가산함으로써 획득된다. 또한, 제2 시스템의 출력은 계수 디바이스들(205c2, 205d2, 및 205e2)에 의해 화상 데이터 Q1, Q2, 및 Q3을 계수들(a2, b2, 및 c2)로 각각 가산하고, 이어서 가산기(205f2)에 의해 그 결과들을 가산함으로써 획득된다. 제3 시스템의 출력은 계수 디바이스들(205c3, 205d3, 및 205e3)에 의해 화상 데이터 Q1, Q2, 및 Q3을 계수들(a3, b3, 및 c3)로 각각 곱하고, 그 후 가산기(205f3)에 의해 그 결과들을 가산함으로써 획득된다.

계수 세트들 (a1', b1', 및 c1'), (a2', b2', 및 c2'), 및 (a3', b3', c3')는, 송신 측으로부터 제공되는 혼합 처리 시에 계수 세트들 (a1, b1, 및 c1), (a2, b2, 및 c2), 및 (a3, b3, 및 c3)(도 9 참조)으로부터 역 혼합 처리(혼합 해제 처리)를 수행하도록 획득된다.

가산기들(205f1, 205f2, 및 205f3)에 의해 획득된 각각의 시스템들의 출력들은 프레임 출력 스위칭 디바이스(205g)에 의해 각각의 프레임에 대해 선택적으로 추출되고, 혼합 처리 후의 동화상 데이터 R의 각각의 프레임들에서의 화상 데이터 R1, R2, 및 R3은 프레임 출력 스위칭 디바이스(205g)로부터 순차적으로 획득된다.

여기서, 프레임 {n}이 Q2의 위치에 있을 때, 프레임 출력 스위칭 디바이스(205g)는 {Q1*a1' + Q2*b1' + Q3*c1'}의 계산 결과를 선택한다. 또한, 프레임 {n+1}이 Q2의 위치에 있을 때, 프레임 출력 스위칭 디바이스(205g)는 {Q1*a2' + Q2*b2' + Q3*c2'}의 계산 결과를 선택한다. 또한, 프레임 {n+2}가 Q2의 위치에 있을 때, 프레임 출력 스위칭 디바이스(205g)는 {Q1*a3' + Q2*b3' + Q3*c3'}의 계산 결과를 선택한다.

후처리기(205)는 각각의 프레임에 대해 이러한 처리를 순차적으로 반복한다. 또한, 후처리기(205)는 계수 세트들과 대응하는 프레임들 간의 동기화 관계가 무너지지 않도록 지연 관리 기능을 포함한다.

도 7로 돌아가서, 인코더(103)는 전처리기(102)에 의해 획득되는 화상 데이터 Qb 및 Qe에 대해 인코딩 처리를 수행하고 기본 스트림 STb 및 확장 스트림 STe를 생성한다. 이 경우, 예를 들어 H.264/AVC 또는 H.265/HEVC와 같은 예측 인코딩 처리가 화상 데이터 Qb 및 Qe에 대해 수행된다.

인코더(102)는 각각의 프레임들에서의 화상 데이터와 관련하여 대응하는 프레임들에서의 혼합 레이트에 관한 정보를 기본 스트림 STb 및 확장 스트림 STe에 삽입한다. 수신 측은, 혼합 레이트에 관한 정보에 기반하여, 기본 스트림 및 확장 스트림의 각각의 프레임에서의 화상 데이터가 어떠한 레이트로 주변 화상 데이터와 혼합되었는지를 인식할 수 있고, 역 혼합 처리(혼합 해제 처리)를 적절히 수행할 수 있다.

이 실시예에서, 혼합 레이트에 관한 정보를 갖는 SEI NAL 유닛이 기본 스트림 STb 및 확장 스트림 STe의 각각의 액세스 유닛들에 삽입된다. 이 경우, 인코더(103)는 새로운 정의를 위한 블렌딩 정보 SEI 메시지를 액세스 유닛(AU) 내의 "SEI들"의 일부에 삽입한다.

도 12의 (a)는 {Blending_information SEI message}의 구조 예(신택스)를 도시한다. {uuid_iso_iec_11578}은 "ISO/IEC 11578:1996 AnnexA"에 의해 표시된 UUID 값을 갖는다. {}이 {user_data_payload_byte}의 필드에 삽입된다. 도 12의 (b)는 삽입되는 혼합 레이트에 관한 정보를 포함하는 {Blending_information_SEI()}, 및 {Blending_information()}의 구성 예(신택스)를 도시한다. {userdata_id}는 코드들이 없는 16 비트로 표시된 식별자이다. {Blending_information_SEI_length}의 8-비트 필드가 그 필드에서 그리고 그 필드 이후의 {Blending_information_SEI_length}의 바이트 크기를 표시한다.

도 13은 {Blending_information()}의 구조 예(신택스)를 도시하고, 도 14는 이 구조 예에서의 주요 정보의 내용(시멘틱)을 도시한다. 3-비트 필드 {frame_rate}는 프레임 레이트를 나타낸다. 예를 들어, "3"은 120Hz를 나타내고, "5"는 240Hz를 나타낸다.

{blending_flag}의 1-비트 필드는 주변 화상 데이터와의 혼합 처리가 적용되는지 여부를 나타낸다. 예를 들어, "0"은 어떠한 애플리케이션도 행해지지 않는다는 것을 나타내고, "1"은 애플리케이션이 행해질 것임을 나타낸다. {temporal_filter_taps}의 2-비트 필드는 혼합 처리를 수행하는데 이용되는 필터의 구성 정보이고, 이용되는 프레임들의 수(탭들의 수)를 나타낸다. 예를 들어, "0"은 2개의 프레임(2개의 탭)을 나타내고, "1"은 3개의 프레임(3개의 탭)을 나타낸다.

{first_frame_in_frame-pair_flag}의 1-비트 필드는 프레임이 프레임 쌍의 제1 프레임인지, 즉 프레임이 정상 프레임 레이트의 시간적 표시 위치에 대응하는 프레임인지 여부를 표시한다. 예를 들어, "0"은 이 프레임이 제1 프레임 이외의 프레임임을 나타내고, "1"은 이 프레임이 제1 프레임임을 나타낸다. 또한, 프레임 쌍은 전술된 바와 같이 기본 스트림을 형성하는 하나의 프레임 및 후속하는 미리 결정된 수의 확장 프레임들을 포함한다(도 2 및 도 3 참조).

{blending_refresh_distance (BR distance)}의 3-비트 필드는 시간적으로 이전 프레임에서의 화상 데이터를 이용하지 않고 혼합 처리의 시간적 연쇄가 리프레시될 때까지의 프레임들의 수(시간적 거리)를 나타낸다. 예를 들어, "0"은 하나의 프레임을 나타내고, "1"은 2개의 프레임을 나타내고, "2"는 3개의 프레임을 나타낸다. {refresh_flag}의 1-비트 필드는 프레임이 혼합 처리의 전술한 시간적 연쇄를 리프레시하는지 여부를 표시한다. 예를 들어, "0"은 혼합 리프레시가 프레임에 대해 수행되지 않는다는 것을 나타내고, "1"은 혼합 리프레시가 프레임에 대해 수행된다는 것을 나타낸다.

{blend_coefficient}의 8-비트 필드는 {temporal_filter_taps}의 전술한 필드에 의해 표현되는 프레임들의 수(탭들의 수)에 대응하도록 반복적으로 존재한다. 이 필드는 각각의 프레임 내의 화상 데이터가 곱해지는 계수(블렌드 비)를 나타낸다. 예를 들어, "0×0"은 {0}을 나타내고, "0×1"은 {1/5}을 나타내고, "0×2"는 {1/4}을 나타내고, "0×3"은 {1/3}을 나타내고, "0×4"는 {1/2}을 나타내고, "0×5"는 {2/3}를 나타내고, "0×6"은 {3/4}을 나타내고, "0×7"은 {4/5}를 나타내고, "0×8"은 {1}을 나타낸다.

도 15는 혼합 처리가 수행된, 높은 프레임 레이트의 동화상 데이터 Q에서의 각각의 프레임(픽처 프레임)에 삽입될 {Blending_information()}의 정보의 변화의 예를 도시한다. 도면에 도시된 예는 {temporal_filter_taps}가 "1"이고, 프레임들의 수(탭들의 수)가 {3}인 경우를 도시한다.

예를 들어, 기본 스트림에 포함된 프레임 {n}은, {refresh_flag}가 "1"이고, 혼합 리프레시가 프레임에 대해 수행될 것이고, 또한 {bleding_refresh_distance (BR distance)}가 "3"이고, 다음 혼합 리프레시가 수행될 프레임까지의 프레임들의 수가 4개의 프레임임을 나타낸다. 또한, 3개의 프레임(3개의 탭)에서의 중심 계수의 프레임이 현재 프레임이고, 프레임들이 이전의 것으로부터 {0(= 1), 6(= 3/4), 2(= 1/4)}인 사실이 표현된다.

또한, 확장 프레임에 포함된 프레임 {n+1}은, {refresh_flag}가 "0"이고, 혼합 리프레시가 프레임에 대해 수행되지 않고, 또한 {blending_refresh_distance (BR distance)}가 "2"이고, 다음 혼합 리프레시가 수행되는 프레임까지의 프레임들의 수가 3개의 프레임임을 나타낸다. 또한, 3개의 프레임(3개의 탭)에서의 중심 계수의 프레임이 현재 프레임이고, 프레임들이 이전의 것으로부터 {0(= 0), 8(= 1), 및 0(= 0)}인 사실이 표현된다.

또한, 기본 프레임에 포함된 프레임 {n+2}는, 예를 들어 {refresh_flag}가 "0"이고, 혼합 리프레시가 프레임에 대해 수행되지 않고, 또한 {blending_refresh_distance (BR distance)}가 "1"이고, 다음 혼합 리프레시가 수행되는 프레임까지의 프레임들의 수가 2개의 프레임임을 나타낸다. 또한, 3개의 프레임(3개의 탭)에서의 중심 계수의 프레임이 현재 프레임이고, 프레임들이 이전의 것으로부터 {2(= 1/4), 4(= 1/2), 및 2(= 1/4)}인 사실이 표현된다.

또한, 확장 프레임에 포함된 프레임 {n+3}은, {refresh_flag}가 "0"이고, 혼합 리프레시가 프레임에 대해 수행되지 않을 것이고, 또한 {blending_refresh_distance (BR distance)}가 "0"이고, 다음 혼합 리프레시가 수행되는 프레임까지의 프레임들의 수가 하나의 프레임임을 나타낸다. 또한, 3개의 프레임(3개의 탭)에서의 중심 계수의 프레임이 현재 프레임이고, 프레임들이 이전의 것으로부터 {0(= 0), 8(= 1), 및 0(= 0)}인 사실이 표현된다.

예를 들어, 기본 스트림에 포함된 프레임 {n+4}는, {refresh_flag}가 "1"이고, 혼합 리프레시가 프레임에 대해 수행될 것이고, 또한 {bleding_refresh_distance (BR distance)}가 "3"이고, 다음 혼합 리프레시가 수행될 프레임까지의 프레임들의 수가 4개의 프레임임을 나타낸다. 또한, 3개의 프레임(3개의 탭)에서의 중심 계수의 프레임이 현재 프레임이고, 프레임들이 이전의 것으로부터 {0(= 1), 6(= 3/4), 2(= 1/4)}인 사실이 표현된다.

도 16은 도 15의 예에 대응하고, 전처리기(102)에 의해 수행되는 혼합 처리와 후처리기(205)에 의해 수행되는 역 혼합 처리 간의 관계의 예를 도시한다. 후처리기(205)에 의해 수행되는 역 혼합 처리에서 이용되는 계수(혼합 비)는 최근 처리에 이용되는 계수(혼합 비)에 기반하여 획득된다.

또한, 도 5에 도시된 예의 전술한 경우는 {temporal_filter_taps}를 "1(3개의 프레임)"로 설정하고, 프레임 {n} 내의 3개의 프레임(3개의 탭)의 계수들을 {0(= 0), 4(= 1/2), 및 4(= 1/2)}로 설정하고, 프레임 {n+1} 내의 3개의 프레임(3개의 탭)의 계수들을 {0(= 0), 8(= 1), 및 0(= 0)}으로 설정하고, 프레임 {n+2} 내의 3개의 프레임(3개의 탭)의 계수들을 {0(= 0), 4(= 1/2), 4(= 1/2)}로 설정하고, 프레임 {n+3} 내의 3개의 프레임(3개의 탭)의 계수들을 {0(= 0), 8(= 1), 및 0(= 0)}으로 설정하며, 그 후 이를 반복함으로써 실현될 수 있다.

또한, 점진적 방식으로 다음 프레임과의 혼합이 수행되는 경우에, 즉 혼합 처리의 프레임들 간의 계수 연쇄가 2개 이상의 프레임에 걸쳐 계속되는 경우에, "1"의 {refresh_flag}를 갖는 프레임만이 "1"의 {first_frame_in_frame-pair_flag}를 갖도록 설정이 이루어진다. 후처리기(205)는 "1"의 {refresh_flag}를 갖는 프레임으로부터 역 혼합 처리를 수행한다. 역 혼합 처리는 "1"의 {refresh_flag}를 갖는 프레임의 이전 프레임으로부터, 즉 도 16에서 프레임 {n+3}으로부터 역으로 추적하면서 프레임 {n+2}, 프레임 {n+1}, 및 프레임 {n}의 순서로 수행된다. 이때, 타겟인 최대 프레임 수가 {blending_refresh_distance (BR distance)}로 표현되고, 프레임 번호 {n}의 값이 도 16의 예에서의 4개의 프레임이다. 도 17은 송신 측 상에서의 혼합(블렌딩) 및 수신 측 상에서의 역 혼합(언블렌딩)의 예를 개략적으로 도시한다.

도 7로 돌아가서, 멀티플렉서(104)는 인코더(103)에 의해 생성되는 기본 스트림 STb 및 확장 스트림 STe를 PES(packetized-elementary-stream) 패킷화하고, 또한 이러한 스트림들을 전송 패킷화하고 멀티플렉싱하며, 이에 의해 전송 스트림 TS를 멀티플렉싱된 스트림으로서 획득한다.

도 18은 전송 스트림 TS의 구성 예를 도시한다. 이 전송 스트림 TS는 2개의 비디오 스트림, 즉 기본 스트림(베이스 스트림) STb 및 확장 스트림(향상된 스트림) STe를 포함한다. 즉, 기본 스트림 STb의 PES 패킷 {video PES1}이 존재하고, 또한 확장 스트림 STe의 PES 패킷 {video PES2}가 이 구성 예에 존재한다.

블렌딩 정보 SEI 메시지(도 13 참조)는 PES 패킷 {video PES1} 및 PES 패킷 {video PES2}의 컨테이너를 형성하는 각각의 픽처의 인코딩된 화상 데이터에 삽입된다.

또한, 전송 스트림 TS는 프로그램 특정 정보(PSI)의 한 부분으로서 프로그램 맵 테이블(PMT)을 포함한다. PSI는 전송 스트림에 포함되는 각각의 기본 스트림들이 어떤 프로그램들에 속한지를 설명하는 정보이다.

전체 프로그램들과 관련된 정보를 설명하는 프로그램 루프(Programloop)가 PMT에 존재한다. 또한, 각각의 비디오 스트림들에 관련된 정보를 갖는 기본 스트림 루프가 PMT에 존재한다. 이 구성 예에서는, 기본 스트림에 대응하는 비디오 기본 스트림 루프 {video ES1 loop}가 존재하고, 확장 스트림에 대응하는 비디오 기본 스트림 루프 {video ES2 loop}가 존재한다.

스트림 타입 및 패킷 식별자(PID)와 같은 정보는 기본 스트림(video PES1)에 대응하도록 배열되고, 또한 비디오 스트림과 관련된 정보를 설명하는 기술자가 또한 {video ES1 loop}에 배열된다. 이 스트림 타입은 HEVC 코딩의 경우에 기본 스트림을 나타내는 "0×24"이다.

또한, 스트림 타입 및 패킷 식별자(PID)와 같은 정보는 확장 스트림(video PES2)에 대응하도록 배열되고, 또한 비디오 스트림에 관련된 정보를 설명하는 기술자가 또한 {video ES2 loop}에 배열된다. 이 스트림 타입은 확장 스트림을 나타내는 "0×25"이다.

또한, 도면에 도시된 예는 HEVC 코딩이 수행되는 경우를 도시하지만, 블렌딩 정보 SEI 메시지에 의한 시그널링 정보의 송신은 다른 코덱에 유사하게 적용될 수 있다. 다른 코덱의 경우에, 상이한 설명이 PMT에 삽입된다.

도 7로 돌아가서, 송신 유닛(105)은 QPSK/OFDM과 같이 방송에 적합한 변조 방식에 의해 전송 스트림 TS를 변조하고, RF 변조 신호를 송신 안테나에 송신한다.

도 7에 도시된 송신 장치(100)의 동작들이 간략하게 설명될 것이다. 높은 프레임 레이트(120Hz 또는 240Hz)에서의 동화상 데이터 P가 전처리기(102)에 입력된다. 이 전처리기(102)에서, 동화상 데이터 P에 대해 혼합 처리가 수행되고, 정상 프레임 레이트(60Hz)에서의 각각의 프레임 내의 화상 데이터 Qb 및 높은 프레임 레이트의 각각의 확장 프레임 내의 화상 데이터 Qe가 획득된다.

이 경우, 각각의 프레임에 독립적인 혼합 레이트로, 주변 프레임들에서의 화상 데이터를 혼합 처리 전의 높은 프레임 레이트의 동화상 데이터 P의 각각의 프레임 내의 화상 데이터와 혼합하는 처리가 수행되고, 혼합 처리 후의 높은 프레임 레이트의 동화상 데이터 Q가 전처리기(102)에서 획득된다. 이 동화상 데이터 Q에서, 정상 프레임 레이트(60Hz)에 대응하는 각각의 프레임 내의 화상 데이터는 화상 데이터 Qb로서 간주되고, 잔여의 각각의 프레임들 내의 화상 데이터는 화상 데이터 Qe로서 간주된다. 이 경우, 적어도 화상 데이터 Qb는 그 화상 데이터 Qb가 주변 프레임들 내의 화상 데이터와 혼합되는 상태로 된다.

전처리기(102)에 의해 획득된 화상 데이터 Qb 및 Qe는 인코더(103)에 공급된다. 인코더(103)에서, 화상 데이터 Qb 및 Qe에 대해 인코딩 처리가 수행되고, 기본 스트림 STb 및 확장 스트림 STe가 생성된다. 이 인코더(103)에서, 혼합 처리에서의 혼합 비에 관한 정보가 기본 스트림 STb 및 확장 스트림 STe 상에 삽입된다.

인코더(103)는 대응하는 프레임들 내의 혼합 레이트에 관한 정보를 각각의 프레임들 내의 화상 데이터와 관련하여 기본 스트림 STb 및 확장 스트림 STe에 삽입한다. 수신 측은, 혼합 레이트에 관한 정보에 기반하여, 기본 스트림 및 확장 스트림의 각각의 프레임에서의 화상 데이터가 어떠한 레이트로 주변 화상 데이터와 혼합되었는지를 인식할 수 있고, 적절하게 역 혼합 처리(혼합 해제 처리)를 수행할 수 있다.

인코더(103)에 의해 생성된 기본 스트림 STb 및 확장 스트림 STe는 멀티플렉서(104)에 공급된다. 멀티플렉서(104)는 기본 스트림 STb 및 확장 스트림 STe를 PES 패킷화하고, 또한 이러한 스트림들을 전송 패킷화하고 멀티플렉싱함으로써, 전송 스트림 TS를 멀티플렉싱된 스트림으로서 획득한다.

멀티플렉서(104)에 의해 생성되는 전송 스트림 TS는 송신 유닛(105)에 전송된다. 송신 유닛(105)은 예를 들어 QPSK/OFDM과 같이 방송에 적합한 변조 방식에 의해 이 전송 스트림 TS를 변조하고, 송신 안테나로부터 RF 변조 신호를 송신한다.

<<텔레비전 수신기의 구성>>

도 19는 높은 프레임 레이트(120Hz 또는 240Hz)에서의 동화상 데이터를 처리할 수 있는 디코딩 능력을 갖는 텔레비전 수신기(200A)의 구성 예를 도시한다. 이 텔레비전 수신기(200A)는 제어 유닛(201), 수신 유닛(202), 디멀티플렉서(203), 디코더(204), 후처리기(205), 움직임 보상 프레임 삽입(MCFI) 유닛(206), 및 패널 디스플레이 유닛(207)을 갖는다.

제어 유닛(201)은 텔레비전 수신기(200A) 내의 각각의 부분들의 동작들을 제어한다. 수신 유닛(202)은 수신 안테나에 의해 수신된 RF 변조 신호를 복조하고, 전송 스트림 TS를 취득한다. 디멀티플렉서(203)는 전송 스트림 TS로부터 PID 필터링에 의해 기본 스트림 STb 및 확장 스트림 STe를 추출하고 기본 스트림 STb 및 확장 스트림 STe를 디코더(204)에 공급한다.

디코더(204)는 기본 스트림 STb에 대해 디코딩 처리를 수행하여 정상 프레임 레이트의 각각의 프레임 내의 화상 데이터 Qb를 획득하고, 확장 스트림 STe에 대해 디코딩 처리를 수행하여 높은 프레임 레이트의 각각의 확장 프레임 내의 화상 데이터 Qe를 획득한다. 이러한 방식으로, 화상 데이터 Qb와 화상 데이터 Qe의 혼합 처리가 수행된 높은 프레임 레이트의 동화상 데이터 Q가 획득된다.

또한, 디코더(204)는 기본 스트림 STb 및 확장 스트림 STe를 형성하는 각각의 액세스 유닛들에 삽입된 파라미터 세트 및 SEI를 추출하고 이러한 파라미터 세트 및 SEI를 제어 유닛(201)에 전송한다. 이 경우, 혼합 레이트에 관한 정보를 갖는 블렌딩 정보 SEI(도 13 참조)가 추출된다. 이러한 방식으로, 제어 유닛(201)은 혼합 처리 후의 높은 프레임 레이트의 동화상 데이터 Q의 각각의 프레임 내의 화상 데이터가 어떠한 레이트로 주변 화상 데이터와 혼합되었는지를 인식할 수 있고, 역 혼합 처리를 위한 계수들을 획득하고, 후술하는 바와 같이 후처리기(205)를 만족스럽게 제어할 수 있다.

후처리기(205)는, 제어 유닛(201)에 의한 제어 하에, 디코더(204)에 의해 획득된 높은 프레임 레이트의 동화상 데이터 Q에 대해 역 혼합 처리(혼합 해제 처리)를 수행하고, 높은 프레임 레이트의 혼합 해제된 동화상 데이터 R을 획득한다. 후처리기(205)는 예를 들어 2개 이상의 탭을 갖는 필터를 포함하고, 각각의 프레임에 대한 각각의 탭의 계수를 변경하고 각각의 프레임에 독립적인 혼합 레이트로 주변 프레임들에서의 화상 데이터를 혼합함으로써 혼합을 해제할 수 있다(도 10, 도 11, 및 도 16 참조). 이 경우, 제어 유닛(201)은 동화상 데이터 Q의 각각의 프레임에 삽입된, 혼합 처리 시의 계수 세트에 기반하여 각각의 프레임에 대하여 계수 세트를 계산하고, 전술한 바와 같이 그 계수 세트를 이용한다.

MCFI 유닛(206)은 후처리기(205)에 의해 획득된, 높은 프레임 레이트의 동화상 데이터 R에 대해 움직임 보상의 프레임 보간 처리를 수행하고, 추가로 증가된 프레임 레이트의 동화상 데이터를 획득한다. 또한, 이 MCFI 유닛(206)이 제공되지 않는 경우도 있다. 패널 디스플레이 유닛(207)은 후처리기(205)에 의해 획득된 높은 프레임 레이트의 동화상 데이터 R 또는 MCFI 유닛(206)에 의해 증가된 프레임 레이트의 동화상 데이터에 기반하여 화상 표시를 수행한다.

도 19에 도시된 텔레비전 수신기(200A)의 동작들에 대해 간략하게 설명할 것이다. 수신 유닛(202)은 수신 안테나에 의해 수신된 RF 변조 신호를 복조하고, 전송 스트림 TS를 취득한다. 이 전송 스트림 TS는 디멀티플렉서(203)에 전송된다. 디멀티플렉서(203)는 PID 필터링에 의해 전송 스트림 TS로부터 기본 스트림 STb 및 확장 스트림 STe를 추출하고, 기본 스트림 STb 및 확장 스트림 STe를 디코더(204)에 공급한다.

디코더(204)는 기본 스트림 STb 및 확장 스트림 STe에 대해 디코딩 처리를 수행하고, 정상 프레임 레이트의 각각의 프레임 내의 화상 데이터 Qb 및 높은 프레임 레이트의 각각의 확장 프레임 내의 화상 데이터 Qe를 포함하는 혼합 처리 후의 높은 프레임 레이트의 동화상 데이터 Q를 획득한다. 동화상 데이터 Q가 후처리기(205)에 공급된다.

또한, 디코더(204)는 기본 스트림 STb 및 확장 스트림 STe를 형성하는 각각의 액세스 유닛에 삽입된 파라미터 세트 및 SEI를 추출하고 이러한 파라미터 세트 및 SEI를 제어 유닛(201)에 전송한다. 이 경우, 혼합 레이트에 관한 정보를 갖는 블렌딩 정보 SEI(도 13 참조)가 또한 추출된다. 제어 유닛(201)은 각각의 프레임에서의 혼합 레이트(계수 세트)에 관한 정보에 기반하여 역 혼합 처리를 위한 계수들을 계산한다.

후처리기(205)는 제어 유닛(201)에 의한 제어 하에 높은 프레임 레이트의 동화상 데이터 Q에 대하여 역 혼합 처리(혼합 해제 처리)를 수행하고, 높은 프레임 레이트의 혼합 해제된 동화상 데이터 R을 획득한다. 이 경우, 역 혼합 처리를 위한 계수들은 제어 유닛(201)으로부터 후처리기(205)에 제공된다.

호스트 처리기(205)에 의해 획득된 높은 프레임 레이트의 혼합 해제된 동화상 데이터 R 또는 MCFI 유닛(206)에 의해 추가로 증가된 프레임 레이트의 동화상 데이터는 패널 디스플레이 유닛(207)에 공급되고, 패널 디스플레이 유닛(207)은 이러한 동화상 데이터에 기반하여 화상 표시를 수행한다.

도 20은 정상 프레임 레이트(60Hz)에서의 동화상 데이터를 처리할 수 있는 디코딩 능력을 갖는 텔레비전 수신기(208B)의 구성 예를 도시한다. 이 텔레비전 수신기(200B)는 제어 유닛(201B), 수신 유닛(202B), 디멀티플렉서(203B), 디코더(204B), MCFI 유닛(206B), 및 패널 디스플레이 유닛(207B)을 갖는다.

제어 유닛(201B)은 텔레비전 수신기(200B) 내의 각각의 부분들의 동작들을 제어한다. 수신기 유닛(202B)은 수신 안테나에 의해 수신된 RF 변조 신호를 복조하고 전송 스트림 TS를 취득한다. 디멀티플렉서(203B)는 PID 필터링에 의해 전송 스트림 TS로부터 기본 스트림 STb를 추출하고 기본 스트림 STb를 디코더(204B)에 공급한다. 디코더(204B)는 기본 스트림 STb에 대해 디코딩 처리를 수행하고, 정상 프레임 레이트의 각각의 프레임 내의 화상 데이터 Qb를 포함하는 정상 프레임 레이트의 동화상 데이터를 획득한다.

MCFI 유닛(206B)은 이 정상 프레임 레이트의 동화상 데이터에 대해 움직임 보상의 프레임 보간 처리를 수행하고, 추가로 증가된 프레임 레이트의 동화상 데이터를 획득한다. 또한, 이 MCFI 유닛(206)이 제공되지 않는 경우도 있다. 패널 디스플레이 유닛(207B)은 후처리기(205)에 의해 획득된 정상 프레임 레이트의 동화상 데이터 R 또는 MCFI 유닛(206)에 의해 증가된 프레임 레이트의 동화상 데이터에 기반하여 화상 표시를 수행한다.

도 20에 도시된 텔레비전 수신기(200B)의 동작들에 대해서 간략하게 설명할 것이다. 수신 유닛(202B)은 수신 안테나에 의해 수신된 RF 변조 신호를 복조하고 전송 스트림 TS를 취득한다. 이 전송 스트림 TS는 디멀티플렉서(203B)로 전송된다. 디멀티플렉서(203B)는 PID 필터링에 의해 전송 스트림 TS로부터 기본 스트림 STb를 추출하고 기본 스트림 STb를 디코더(204)에 공급한다.

디코더(204B)는 기본 스트림 STb에 대해 디코딩 처리를 수행하고, 정상 프레임 레이트의 각각의 프레임 내의 화상 데이터 Qb를 포함하는 정상 프레임 레이트의 동화상 데이터를 획득한다. 디코더(204B)에 의해 획득된 정상 프레임 레이트의 동화상 데이터 또는 MCFI 유닛(206B)에 의해 추가로 증가된 프레임 레이트의 동화상 데이터는 패널 디스플레이 유닛(207B)에 공급되고, 패널 디스플레이 유닛(207B)은 이러한 동화상 데이터에 기반하여 화상 표시를 수행한다.

전술한 바와 같이, 높은 프레임 레이트의 동화상 데이터를 형성하는 각각의 프레임 내의 화상 데이터에서 정상 프레임 레이트에 대응하는 프레임 내의 적어도 화상 데이터는 주변 프레임들 내의 화상 데이터와 혼합되고 셔터 개구율이 증가되는 상태로 되며, 정상 프레임 레이트에 대응하는 프레임 내의 화상 데이터를 인코딩함으로써 획득되는 기본 스트림 STb는 도 1에 도시된 송신 및 수신 시스템(10)에서 송신된다.

따라서, 정상 프레임 레이트의 동화상 데이터를 처리할 수 있는 디코딩 능력을 갖는 텔레비전 수신기(200B)의 경우에, 기본 스트림을 처리하고 정상 프레임 레이트의 동화상 데이터를 획득함으로써 동화상으로서 매끄러운 화상을 표시하고, 표시 처리에서의 낮은 부하 계산으로 인한 프레임 보간 처리에서의 화상 품질의 문제의 발생을 피하는 것이 가능하다.

또한, 도 1에 도시된 송신 및 수신 시스템(10)에서, 잔여 프레임들에서의 화상 데이터를 인코딩함으로써 획득된 확장 스트림 STe가 기본 스트림 STb와 함께 획득되고, 대응하는 프레임들에서의 혼합 레이트에 관한 정보(계수 세트)가 각각의 프레임들에서의 화상 데이터와 관련하여 기본 스트림 STb 및 확장 스트림 STe에 삽입된 후 송신된다. 따라서, 높은 프레임 레이트의 동화상 데이터를 처리할 수 있는 디코딩 능력을 갖는 수신기의 경우, 각각의 프레임에서의 혼합 레이트에 관한 정보에 기반하여 높은 프레임 레이트의 혼합 해제된 동화상 데이터를 용이하게 획득하고, 높은 프레임 레이트의 동화상을 만족스럽게 표시하는 것이 가능하다.

<2. 변형예>

또한, 송신 장치(100) 및 텔레비전 수신기(200)를 포함하는 송신 및 수신 시스템(10)의 예가 전술한 실시예에서 설명되었지만, 본 기술이 적용될 수 있는 송신 및 수신 시스템의 구성은 이에 제한되지 않는다. 텔레비전 수신기(200)의 일부가 예를 들어 고화질 멀티미디어 인터페이스(HDMI)와 같은 디지털 인터페이스에 의해 접속되는 셋톱 박스 및 디스플레이를 포함하는 경우도 고려된다. {HDMI}가 등록 상표라는 점에 유의한다.

도 21은 송신 및 수신 시스템(10A)의 구성 예를 도시한다. 이러한 송신 및 수신 시스템(10A)은 송신 장치(100), 셋톱 박스(STB)(200-1), 및 디스플레이(200-2)를 갖는 구성을 갖는다. 셋톱 박스(STB)(200-1) 및 디스플레이(200-2)는 HDMI에 의해 접속된다.

송신 장치(100)가 도 1에 도시된 송신 및 수신 시스템(10)에서의 송신 장치(100)와 동일하기 때문에, 그 설명은 생략될 것이다. 셋톱 박스(200-1)는 송신 장치(100)로부터 방송파 상으로 전송되는 전송 스트림 TS를 수신한다.

디스플레이(200-2)가 높은 프레임 레이트(120Hz 또는 240Hz)에서의 동화상 데이터를 처리할 수 있는 경우, 셋톱 박스(200-1)는 전송 스트림 TS에 포함된 기본 스트림 STb 및 확장 스트림 STe 둘 다를 처리하고, 혼합 처리가 수행된 높은 프레임 레이트의 동화상 데이터 Q를 획득한다.

디스플레이(200-2)가 역 혼합 처리(혼합 해제 처리)의 기능을 갖는 경우, 셋톱 박스(200-1)는 혼합 처리가 수행된 높은 프레임 레이트의 동화상 데이터 Q 및 각각의 프레임에서의 혼합 레이트에 관한 정보(계수 세트)를 HDMI 전송 경로를 통해 디스플레이(200-2)에게 전송한다.

또한, 디스플레이(200-2)가 역 혼합 처리(혼합 해제 처리)의 기능을 갖지 않는 경우, 셋톱 박스(200-1)는 각각의 프레임에서의 혼합 레이트에 관한 정보(계수 세트)에 기반하여, 혼합 처리가 수행된 높은 프레임 레이트의 동화상 데이터 Q에 대하여 역 혼합 처리(혼합 해제 처리)를 수행하고, 높은 프레임 레이트의 혼합 해제된 동화상 데이터 R을 획득한다. 그 후, 셋톱 박스(200-1)는 높은 프레임 레이트의 동화상 데이터 R을 HDMI 전송 경로를 통해 디스플레이(200-2)에게 전송한다.

한편, 디스플레이(200-2)가 정상 프레임 레이트(60Hz)에서의 동화상 데이터를 처리할 수 있는 경우에, 셋톱 박스(200-1)는 전송 스트림 TS에 포함된 기본 스트림 STb만을 처리하고, 정상 프레임 레이트의 각각의 프레임 내의 화상 데이터 Qb를 포함하는 정상 프레임 레이트의 동화상 데이터를 획득한다. 그 후, 셋톱 박스(200-1)는 정상 프레임 레이트의 동화상 데이터를 HDMI 전송 경로를 통해 디스플레이(200-2)에게 전송한다.

소스 디바이스로서의 역할을 하는 셋톱 박스(200-1)는 싱크 디바이스로서의 역할을 하는 디스플레이(200-2)로부터 EDID를 취득하고, 디스플레이(200-2)가 높은 프레임 레이트(120Hz 또는 240Hz)에서의 동화상 데이터를 처리할 수 있는지 여부를 결정하고, 디스플레이(200-2)가 역 혼합 처리(혼합 해제 처리)의 기능을 갖는지 여부를 추가로 결정한다.

도 22의 흐름도는 셋톱 박스(200-1)의 제어 유닛(CPU)에서의 제어 처리 절차의 예를 도시한다. 먼저, 제어 유닛은 단계 ST1에서의 제어 처리를 시작한다. 다음으로, 제어 유닛은 단계 ST2에서 디스플레이(200-2)로부터의 EDID를 판독하고 이를 체크한다. 그 후, 제어 유닛은 단계 ST3에서 디스플레이(200-2)가 높은 프레임 레이트(120Hz 또는 240Hz)에서의 동화상 데이터를 처리할 수 있는지 여부를 결정한다.

디스플레이(200-2)가 동화상 데이터를 처리할 수 없는 경우, 제어 유닛은 단계 ST4에서 기본 스트림 STb만을 디코딩하고, 정상 프레임 레이트의 각각의 프레임 내의 화상 데이터 Qb를 포함하는 정상 프레임 레이트의 동화상 데이터를 셋톱 박스(200-1)에게 송신한다. 제어 유닛은 단계 ST4에서의 이 처리 후에 단계 ST5에서 제어 처리를 완료한다.

또한, 단계 ST3에서, 디스플레이(200-2)가 높은 프레임 레이트의 동화상 데이터를 처리할 수 있는 경우, 단계 ST6에서, 제어 유닛은 기본 스트림 STb 및 확장 스트림 STe를 디코딩한다.

다음으로, 제어 유닛은, 단계 ST7에서, 디스플레이(200-2)가 역 혼합 처리(혼합 해제 처리)의 기능을 갖는지 여부를 결정한다. 디스플레이(200-2)가 역 혼합 처리의 기능을 갖지 않는 경우, 제어 유닛은 단계 ST8에서 셋톱 박스(200-1) 측에서 역 혼합 처리가 수행된다고 결정하고, 높은 프레임 레이트의 혼합 해제된 동화상 데이터 R을 셋톱 박스(200-1)에게 송신한다. 제어 유닛은 단계 ST8에서의 이 처리 후에 단계 ST5에서 제어 처리를 완료한다.

또한, 단계 ST7에서, 디스플레이(200-2)가 역 혼합 처리의 기능을 갖는 경우, 제어 유닛은 단계 ST9에서 디스플레이(200-2) 측에서 역 혼합 처리가 수행된다고 결정하고, 혼합 처리가 수행된 높은 프레임 레이트의 동화상 데이터 Q 및 각각의 프레임에서의 혼합 레이트에 관한 정보(계수 세트)를 HDMI 전송 경로를 통해 디스플레이(200-2)에게 전송한다. 제어 유닛은 단계 ST9에서의 이 처리 후에 단계 ST5에서 제어 처리를 완료한다.

도 23은 송신 장치(100), 셋톱 박스(200-1), 및 디스플레이(200-2)에 의해 수행되는 처리의 개요를 도시한다. 또한, 송신 장치(100)의 전처리기(102)로부터 출력되는 화상 시퀀스 Q 및 셋톱 박스(200-1)의 디코더(204)로부터 출력되는 화상 시퀀스 Q가 시계열 방식으로 동일하지만, 화상 시퀀스들 Q가 코덱을 통과하게 되기 때문에 양 화상 시퀀스들 Q에서 화상 품질이 상이한 경우도 포함된다. 송신 장치는 도 4에서 전술한 것과 유사하므로, 그 설명은 여기서 생략될 것이다. 높은 프레임 레이트(120Hz 또는 240Hz)에서의 동화상 데이터를 처리할 수 있는 디스플레이(200-2A)가 셋톱 박스(200-1)에 접속되는 경우에, 디코더(204)는 2개의 스트림 STb 및 STe에 대해 디코딩 처리를 수행하고, 정상 프레임 레이트의 각각의 프레임 내의 화상 데이터 Qb 및 높은 프레임 레이트의 각각의 확장 프레임 내의 화상 데이터 Qe를 포함하고 혼합 처리가 수행된 동화상 데이터 Q를 획득한다.

또한, 디스플레이(200-2A)가 역 혼합 처리(혼합 해제 처리)의 기능을 갖는 경우, 셋톱 박스(200-1)는 동화상 데이터 Q와, 각각의 프레임에서의 혼합 레이트에 관한 정보(계수 세트)를 HDMI 전송 경로를 통해 디스플레이(200-2A)에게 송신한다. 도면에 도시된 예는 디스플레이(200-2A)가 후처리기(205)를 포함하고, 디스플레이(200-2A)가 역 혼합 처리(혼합 해제 처리)의 기능을 갖는 경우를 도시한다. 또한, 도 24의 (a)는 이 경우에서의 상태를 도시한다.

또한, 디스플레이(200-2A)가 역 혼합 처리(혼합 해제 처리)의 기능을 갖지 않는 경우, 셋톱 박스(200-1)는 셋톱 박스(200-1) 자체가 갖는 후처리기(200-5)에 의해 동화상 데이터 Q에 대해 역 혼합 처리(혼합 해제 처리)를 수행하고, 높은 프레임 레이트의 혼합 해제된 동화상 데이터 R을 획득한다. 그 후, 셋톱 박스(200-1)는 이 동화상 데이터 R을 HDMI 전송 경로를 통해 디스플레이(200-2A)에게 송신한다. 도 24의 (b)는 이 경우에서의 상태를 도시한다.

또한, 정상 프레임 레이트(60Hz)에서의 동화상 데이터를 처리할 수 있는 디스플레이(200-2B)가 셋톱 박스(200-1)에 접속되는 경우, 디코더(204)는 스트림 ST에 대해 디코딩 처리를 수행하고, 정상 프레임 레이트의 각각의 프레임 내의 화상 데이터 Qb를 포함하는 정상 프레임 레이트의 동화상 데이터를 획득한다. 그 후, 셋톱 박스(200-1)는 HDMI 전송 경로를 통해 동화상 데이터를 디스플레이(200-2B)에게 송신한다.

셋톱 박스(200-1)는 전술한 바와 같이 혼합 처리가 수행된 동화상 데이터 Q, 및 각각의 프레임에서의 혼합 레이트에 관한 정보(계수 세트)를, 높은 프레임 레이트(120Hz 또는 240Hz)에서의 동화상 데이터를 처리할 수 있고 역 혼합 처리(혼합 해제 처리)의 기능을 갖는 디스플레이(200-2A)에게 HDMI 전송 경로를 통해 송신한다.

이 경우, 혼합 레이트에 관한 정보(계수 세트)는 예를 들어 동화상 데이터 Q의 블랭킹 기간에 삽입되고 송신된다. 여기에서는, 새롭게 정의된 HFR 블렌딩 인포프레임이 이용된다.

도 25는 HFR 블렌딩 인포프레임의 구조 예(신택스)를 도시하고, 도 26 및 도 27은 이러한 구조 예에서의 주요 정보의 내용(시멘틱)을 도시한다. 이러한 인포프레임의 처음 3 바이트는 헤더 부분에 대응하고, 인포프레임 타입, 버전 번호, 데이터 바이트의 바이트 길이에 관한 정보가 그 안에 배열된다.

{frame_rate}의 3-비트 정보는 데이터 바이트 1(Date Byte 1)의 제7 비트로부터 제5 비트까지 배열된다. 3-비트 정보는 프레임 레이트를 나타낸다. 예를 들어, "3"은 120Hz를 나타내고, "5"는 240Hz를 나타낸다. 또한, {blending_flag}의 1-비트 정보는 데이터 바이트 1(Date Byte 1)의 제4 비트에 배열된다. 1-비트 정보는 주변 화상 데이터와의 혼합 처리가 적용될 것인지 여부를 나타낸다. 예를 들어, "0"은 혼합 처리가 적용되지 않을 것임을 나타내고, "1"은 혼합 처리가 적용될 것임을 나타낸다.

또한, {temporal_filter_taps}의 2-비트 정보는 데이터 바이트 1(Date Byte 1)의 제3 비트로부터 제2 비트까지 배열된다. 이 2-비트 정보는 혼합 처리를 수행하는데 이용되는 필터의 구성 정보이고 이용되는 프레임들의 수(탭들의 수)를 나타낸다. 예를 들어, "0"은 2개의 프레임(2개의 탭)을 나타내고, "1"은 3개의 프레임(3개의 탭)을 나타낸다.

또한, {first_frame_in_frame-pair_flag (FF)}의 1-비트 정보는 데이터 바이트 1(Date Byte 1)의 제1 비트에 배열된다. 이 1-비트 정보는 프레임이 프레임 쌍(프레임-쌍)의 제1 프레임인지 여부, 즉 프레임이 정상 프레임 레이트에 대응하는지 여부를 나타낸다. 예를 들어, "0"은 프레임이 제1 프레임 이외의 프레임임을 나타내고, "1"은 프레임이 제1 프레임임을 나타낸다.

또한, {Synchronized Frame (SF)}의 1-비트 정보는 데이터 바이트 1(Date Byte 1)의 0번째 비트에 배열된다. 이 1-비트 정보는 다음 비디오 프레임과 동기화 처리를 수행할 필요가 있는지 여부를 나타낸다. 예를 들어, "0"은 다음 비디오 프레임과 동기화 처리를 수행할 필요가 없다는 것을 나타내고, "1"은 다음 비디오 프레임과 동기화 처리를 수행할 필요가 있다는 것을 나타낸다.

또한, {blending_refresh_distance (BR distance)}의 3-비트 정보는 데이터 바이트 2(Date Byte 2)의 제7 비트로부터 제5 비트까지 배열된다. 이 3-비트 정보는 시간적으로 이전 프레임에서 화상 데이터를 이용하지 않고 혼합 처리의 시간적 연쇄가 리프레시될 때까지의 프레임들의 수(시간적 거리)를 나타낸다. 예를 들어, "0"은 하나의 프레임을 나타내고, "1"은 2개의 프레임을 나타내고, "2"는 3개의 프레임을 나타낸다.

또한, {refresh_flag}의 1-비트 정보는 데이터 바이트 2(Date Byte 2)의 제4 비트에 배열된다. 이 1-비트 정보는 그 프레임이 혼합 처리의 전술한 시간적 연쇄가 리프레시되는 프레임인지 여부를 나타낸다. 예를 들어, "0"은 그 프레임이 혼합 리프레시가 수행되지 않는 프레임임을 나타내고, "1"은 그 프레임이 혼합 리프레시가 수행되는 프레임임을 나타낸다.

또한, 제1 내지 제5 픽처 프레임들에 대한 블렌딩 비(계수)들은 데이터 바이트 3(Date Byte 3)으로부터 데이터 바이트 7(Date Byte 7)까지 배열된다. 여기서, 블렌딩 비들이 배열되는 데이터 바이트의 순서는 {temporal_filter_taps}의 필드에 의해 표현되는 프레임들의 수(탭들의 수)에 대응한다. 예를 들어, "0×0"은 {0}을 나타내고, "0×1"은 {1/5}을 나타내고, "0×2"는 {1/4}을 나타내고, "0×3"은 {1/3}을 나타내고, "0×4"는 {1/2}을 나타내고, "0×5"는 {2/3}를 나타내고, "0×6"은 {3/4}을 나타내고, "0×7"은 {4/5}를 나타내고, "0×8"은 {1}을 나타낸다.

셋톱 박스(200-1)에서, 블렌딩 정보 SEI 메시지에 포함된 정보(도 13 참조)는 동기화된 프레임 이외의 정보, 즉 HFR 블렌딩 인포프레임에 포함될 {frame_rate}, {blending_flag}, {temporal_filter_taps}, {first_frame_in_frame-pair_flag}, {blending_refresh_distance (BR distance)}, 및 {refresh_flag}의 정보로서 이에 대해 어떠한 처리도 수행되지 않고 이용된다.

도 28은 셋톱 박스(200-1)의 구성 예를 도시한다. 도 28에서는, 도 19에서의 것들에 대응하는 부분들에 동일한 참조 번호들이 주어진다. 이 셋톱 박스(200-1)는 제어 유닛(201-1), 수신 유닛(202), 디멀티플렉서(203), 디코더(204), 후처리기(205), 및 HDMI 송신 유닛(208)을 갖는다.

제어 유닛(201-1)은 셋톱 박스(200-1) 내의 각각의 부분들의 동작들을 제어한다. 수신 유닛(202)은 수신 안테나에 의해 수신된 RF 변조 신호를 복조하고, 전송 스트림 TS를 취득하고, 전송 스트림 TS를 디멀티플렉서(203)에게 전송한다.

디멀티플렉서(203)는, 디스플레이(200-2)가 높은 프레임 레이트(120Hz 또는 240Hz)에서의 동화상 데이터를 처리할 수 있는지 여부에 따라, PID 필터링에 의해 기본 스트림 STb 및 확장 스트림 STe 둘 다를 추출하거나 기본 스트림 STb를 추출한다.

디멀티플렉서(203)가 기본 스트림 STb 및 확장 스트림 STe를 추출할 때, 디코더(204)는 기본 스트림 STb에 대해 디코딩 처리를 수행하여 정상 프레임 레이트의 각각의 프레임 내의 화상 데이터 Qb를 획득하고, 확장 스트림 STe에 대해 디코딩 처리를 수행하여 높은 프레임 레이트의 각각의 확장 프레임 내의 화상 데이터 Qe를 획득한다. 즉, 화상 데이터 Qb와 화상 데이터 Qe의 혼합 처리가 수행된 높은 프레임 레이트의 동화상 데이터 Q가 획득된다.

또한, 디코더(204)는 기본 스트림 STb 및 확장 스트림 STe를 형성하는 각각의 액세스 유닛에 삽입된 파라미터 세트 및 SEI를 추출하고, 이러한 파라미터 세트 및 SEI를 제어 유닛(201-1)에게 전송한다. 이 경우에, 혼합 레이트에 관한 정보를 갖는 블렌딩 정보 SEI(도 13 참조)도 추출된다.

이러한 방식으로, 제어 유닛(201-1)은 혼합 처리 후의 높은 프레임 레이트의 동화상 데이터 Q의 각각의 프레임 내의 화상 데이터가 어떠한 레이트로 주변 화상 데이터와 혼합되었는지를 인식할 수 있고, 역 혼합 처리를 위한 계수들을 획득하고, 후술하는 바와 같이 후처리기(205)를 만족스럽게 제어할 수 있다. 또한, 제어 유닛(201-1)은 HFR 블렌딩 인포프레임이 디스플레이(200-2)에 송신될 때 블렌딩 정보 SEIL로부터 HFR 블렌딩 인포프레임에 배열된 다양한 종류들의 정보를 획득할 수 있다.

또한, 디멀티플렉서(203)가 기본 스트림 STb만을 추출할 때, 기본 스트림 STb에 대해 디코딩 처리가 수행되고, 정상 프레임 레이트의 각각의 프레임 내의 화상 데이터 Qb를 포함하는 정상 프레임 레이트의 동화상 데이터가 획득된다.

디스플레이(200-2)가 높은 프레임 레이트의 동화상 데이터를 처리할 수 있고 역 혼합 처리의 기능을 갖지 않는 경우, 후처리기(205)는 디코더(204)에 의해 획득된 높은 프레임 레이트의 동화상 데이터 Q에 대해 역 혼합 처리(혼합 해제 처리)를 수행하고, 높은 프레임 레이트의 혼합 해제된 동화상 데이터 R을 획득한다.

HDMI 송신 유닛(208)은 HDMI에 따른 통신에 의해 HDMI 전송 경로를 통해 비압축 동화상 데이터를 디스플레이(200-2)에 송신한다. 여기서, 디스플레이(200-2)가 높은 프레임 레이트의 동화상 데이터를 처리할 수 있고 역 혼합 처리의 기능을 갖지 않는 경우에, 후처리기(205)에 의해 획득된 높은 프레임 레이트의 혼합 해제된 동화상 데이터 R은 HDMI 전송 경로를 통해 디스플레이(200-2)에 송신된다.

디스플레이(200-2)가 높은 프레임 레이트의 동화상 데이터를 처리할 수 있고 역 혼합 처리의 기능을 갖는 경우에, 혼합 처리가 수행되었고 디코더(204)에 의해 획득되는 높은 프레임 레이트의 동화상 데이터 Q는 HDMI 전송 경로를 통해 디스플레이(200-2)에 송신된다. 이 경우에, 역 혼합 처리가 디스플레이(200-2) 측에서 수행되기 때문에, 혼합 레이트에 관한 정보를 포함하는 HFR 블렌딩 인포프레임(도 25 참조)은 동화상 데이터 Q를 형성하는 각각의 프레임 내의 화상 데이터의 블랭킹 기간에 삽입되고 송신된다.

또한, 디스플레이(200-2)가 정상 프레임 레이트의 동화상 데이터를 처리할 수 있는 경우에, 디코더(204)에 의해 획득된 정상 프레임 레이트의 각각의 프레임 내의 화상 데이터 Qb를 포함하는 정상 프레임 레이트의 동화상 데이터는 HDMI 전송 경로를 통해 디스플레이(200-2)에 송신된다.

도 29는 높은 프레임 레이트의 동화상 데이터를 처리하는 디스플레이(200-2A)의 구성 예를 도시한다. 도 29에서는, 도 19에서의 것들에 대응하는 부분들에 동일한 참조 번호들이 주어진다. 디스플레이(200-2A)는 제어 유닛(201-2A), HDMI 수신 유닛(209), 후처리기(205), MCFI 유닛(206) 및 패널 디스플레이 유닛(207)을 갖는다. 또한, 후처리기(205)가 제공되지 않는 경우도 있다.

제어 유닛(201-2A)은 디스플레이(200-2A)에서의 각각의 부분들의 동작들을 제어한다. HDMI 수신 유닛(209)은 HDMI에 따른 통신에 의해 HDMI 전송 경로를 통해 셋톱 박스(200-1)로부터 높은 프레임 레이트의 비압축 동화상 데이터를 수신한다. 여기서, 후처리기(205)가 존재하지 않는 경우에, 높은 프레임 레이트의 혼합 해제된 동화상 데이터 R이 수신된다.

한편, 후처리기(205)가 존재하는 경우에, 혼합 처리가 수행된 높은 프레임 레이트의 동화상 데이터 Q가 수신된다. 이 경우, 동화상 데이터 Q의 블랭킹 기간에 삽입된 HFR 블렌딩 인포프레임(도 25 참조)이 추출되어 제어 유닛(201-2A)에 전송된다. 이러한 방식으로, 제어 유닛(201-2A)은 혼합 처리 후의 높은 프레임 레이트의 동화상 데이터 Q의 각각의 프레임 내의 화상 데이터가 어떠한 레이트로 주변 화상 데이터와 혼합되었는지를 인식할 수 있고, 역 혼합 처리를 위한 계수들을 획득하고, 후술하는 바와 같이 후처리기(205)를 만족스럽게 제어할 수 있다.

후처리기(205)는 제어 유닛(201-2A)에 의한 제어 하에, HDMI 수신 유닛(208)에 의해 수신된 높은 프레임 레이트의 동화상 데이터 Q에 대하여 역 혼합 처리(혼합 해제 처리)를 수행하고, 높은 프레임 레이트의 혼합 해제된 동화상 데이터 R을 획득한다.

MCFI 유닛(206)은 HDMI 수신 유닛(209)에 의해 수신되었거나 후처리기(205)에 의해 획득된, 높은 프레임 레이트의 동화상 데이터 R에 대해 움직임 보상의 프레임 보간 처리를 수행하고, 추가로 증가된 프레임 레이트의 동화상 데이터를 획득한다. 또한, 이 MCFI 유닛(206)이 제공되지 않는 경우도 있다. 패널 디스플레이 유닛(207)은 후처리기(205)에 의해 획득된 높은 프레임 레이트의 동화상 데이터 R 또는 MCFI 유닛(206)에 의해 증가된 프레임 레이트의 동화상 데이터에 기반하여 화상 표시를 수행한다.

도 30은 정상 프레임 레이트의 동화상 데이터를 처리하는 디스플레이(200-2B)의 구성 예를 도시한다. 도 30에서는, 도 19에서의 것들에 대응하는 부분들에 동일한 참조 번호들이 주어진다. 이 디스플레이(200-2B)는 제어 유닛(201-2B), HDMI 수신 유닛(209B), MCFI 유닛(206B), 및 패널 디스플레이 유닛(207B)을 갖는다.

제어 유닛(201-2B)은 디스플레이(200-2B) 내의 각각의 부분들의 동작들을 제어한다. HDMI 수신 유닛(209B)은 HDMI에 따른 통신에 의해 HDMI 전송 경로를 통해 셋톱 박스(200-1)로부터 정상 프레임 레이트의 비압축 동화상 데이터를 수신한다.

MICFI 유닛(206B)은 HDMI 수신 유닛(209B)에 의해 수신된, 정상 프레임 레이트의 동화상 데이터에 대하여 움직임 보상의 프레임 보간 처리를 수행하고, 증가된 프레임 레이트의 동화상 데이터를 획득한다. 또한, MCFI 유닛(206B)이 제공되지 않는 경우도 있다. 패널 디스플레이 유닛(207B)은 HDMI 수신 유닛(209B)에 의해 수신된 정상 프레임 레이트의 동화상 데이터, 또는 MCFI 유닛(206B)에 의해 증가된 프레임 레이트의 동화상 데이터에 기반하여 화상 표시를 수행한다.

전술한 바와 같이, 혼합 처리가 수행된 높은 프레임 레이트의 동화상 데이터 Q가 디스플레이(200-2)에 송신되는 경우에, 각각의 프레임에서의 혼합 레이트에 관한 정보를 포함하는 HFR 블렌딩 인포프레임은 도 21에 도시된 송신 및 수신 시스템(10A)에서 동시에 송신된다. 따라서, 디스플레이(200-2)는, 각각의 프레임에서의 혼합 레이트에 관한 정보에 기반하여, 높은 프레임 레이트의 동화상 데이터 Q에 대하여 역 혼합 처리를 수행함으로써 획득된 혼합 해제된 동화상 데이터를 용이하게 획득할 수 있고, 동화상을 만족스럽게 표시할 수 있다.

또한, 높은 프레임 레이트가 120Hz 또는 240Hz이고, 정상 프레임 레이트가 60Hz인 예가 전술한 실시예에서 예시되었지만, 프레임 레이트들의 조합은 이에 제한되지 않는다. 예를 들어, 100Hz 또는 200Hz 및 50fps의 조합에 대해서도 마찬가지이다.

또한, 송신 장치(100) 및 텔레비전 수신기(200)를 포함하는 송신 및 수신 시스템(100), 및 송신 장치(100), 셋톱 박스(200-1) 및 디스플레이(200-2)를 포함하는 추가의 송신 및 수신 시스템(10A)이 전술한 실시예에서 예시되었지만, 본 기술이 적용될 수 있는 송신 및 수신 시스템의 구성은 이에 제한되지 않는다.

또한, 컨테이너가 전송 스트림(MPEG-2 TS)인 예가 전술한 실시예에서 예시되었다. 그러나, 본 기술은 또한, 인터넷과 같은 네트워크를 이용하여 수신 단말기로의 배포를 수행하는 구성을 갖는 시스템에도 유사하게 적용될 수 있다. 인터넷 배포에서는, 많은 경우들에서 MP4 또는 다른 포맷의 컨테이너를 이용하여 배포가 수행된다. 즉, 인터넷 배포에 이용되는 디지털 방송 표준들 및 ISOBMFF (MP4)에 의해 채용된 전송 스트림(MPEG-2 TS) 또는 MMT(mpeg media transport)와 같은 다양한 포맷들의 컨테이너들이 이러한 컨테이너로서 적용될 수 있다.

관련 기술분야의 통상의 기술자라면, 다양한 수정들, 조합들, 하위 조합들 및 변경들은 이들이 첨부된 청구항들 또는 그 등가물들의 범위 내에 있는 한 설계 요건들 및 다른 요인들에 따라 발생할 수 있음을 이해해야 한다.

추가적으로, 본 기술은 또한 아래와 같이 구성될 수 있다.

(1)

송신 장치로서,

회로부를 포함하며,

상기 회로부는, 각각의 프레임에 대한 혼합 레이트로, 제1 비디오 데이터의 프레임을 상기 제1 비디오 데이터의 하나 이상의 주변 프레임과 혼합하는 처리를 수행하고 제1 프레임 레이트의 제2 비디오 데이터를 획득하도록 구성되고,

상기 제2 비디오 데이터는 상기 제1 프레임 레이트보다 낮은 제2 프레임 레이트에 대응하는 프레임들을 포함하고, 상기 제2 프레임 레이트에 대응하는 프레임들은 주변 프레임들과 혼합되고,

상기 회로부는,

상기 제2 프레임 레이트에 대응하는 프레임들을 인코딩하여 기본 스트림을 획득하고 상기 제2 비디오 데이터의 나머지 프레임들을 인코딩하여 확장 스트림을 획득하고,

각각의 프레임들과 관련하여 상기 기본 스트림 및 상기 확장 스트림에, 대응하는 프레임들의 상기 혼합 레이트에 관한 정보를 삽입하며,

상기 혼합 레이트에 관한 정보가 삽입된 상기 기본 스트림 및 상기 확장 스트림을 송신하도록 추가로 구성되는, 송신 장치.

(2)

(1)에 있어서,

상기 기본 스트림 및 상기 확장 스트림은 NAL 유닛 구조를 갖고,

상기 회로부는 상기 혼합 레이트에 관한 정보를 갖는 SEI NAL 유닛을 상기 기본 스트림 및 상기 확장 스트림에 삽입하도록 구성되는, 송신 장치.

(3)

(1)에 있어서,

상기 제1 프레임 레이트는 120Hz 또는 240Hz이고,

상기 제2 프레임 레이트는 60Hz인, 송신 장치.

(4)

(1)에 있어서,

상기 혼합하는 처리를 수행하는데 이용되는 필터의 구성 정보가 상기 혼합 레이트에 관한 정보에 포함되는, 송신 장치.

(5)

(1)에 있어서,

시간적으로 이전 프레임을 이용하지 않는 혼합 리프레시가 수행될 때까지의 프레임들의 수를 나타내는 혼합 리프레시 정보가 상기 혼합 레이트에 관한 정보에 포함되는, 송신 장치.

(6)

(5)에 있어서,

각각의 프레임이 상기 혼합 리프레시의 타겟인지 여부를 나타내는 리프레시 플래그 정보가 상기 혼합 레이트를 나타내는 정보에 포함되는, 송신 장치.

(7)

(1)에 있어서,

각각의 프레임이 상기 제2 프레임 레이트에 대응하는지 여부를 나타내는 헤드 플래그 정보가 상기 혼합 레이트에 관한 정보에 포함되는, 송신 장치.

(8)

송신 방법으로서,

회로부에 의해, 각각의 프레임에 대한 혼합 레이트로, 제1 비디오 데이터의 프레임을 상기 제1 비디오 데이터의 하나 이상의 주변 프레임과 혼합하는 처리를 수행하고 제1 프레임 레이트의 제2 비디오 데이터를 획득하는 단계를 포함하며,

상기 송신 방법은,

상기 회로부에 의해, 상기 제2 프레임 레이트에 대응하는 프레임들을 인코딩하여 기본 스트림을 획득하고 상기 제2 비디오 데이터의 나머지 프레임들을 인코딩하여 확장 스트림을 획득하는 단계,

상기 회로부에 의해, 각각의 프레임들과 관련하여 상기 기본 스트림 및 상기 확장 스트림에, 대응하는 프레임들의 상기 혼합 레이트에 관한 정보를 삽입하는 단계, 및

상기 회로부에 의해, 상기 혼합 레이트에 관한 정보가 삽입된 상기 기본 스트림 및 상기 확장 스트림을 송신하는 단계

를 더 포함하는, 송신 방법.

(9)

수신 장치로서,

기본 스트림 및 확장 스트림을 수신하도록 구성된 회로부를 포함하며,

상기 기본 스트림 및 상기 확장 스트림은,

각각의 프레임에 대한 혼합 레이트로, 제1 비디오 데이터의 프레임을 상기 제1 비디오 데이터의 하나 이상의 주변 프레임과 혼합하는 처리를 수행하고 제1 프레임 레이트의 제2 비디오 데이터를 획득하는 것 - 상기 제2 비디오 데이터는 상기 제1 프레임 레이트보다 낮은 제2 프레임 레이트에 대응하는 프레임들을 포함하고, 상기 제2 프레임 레이트에 대응하는 프레임들은 주변 프레임들과 혼합됨 -,

상기 제2 프레임 레이트에 대응하는 프레임들을 인코딩하여 상기 기본 스트림을 획득하는 것, 및

상기 제2 비디오 데이터의 나머지 프레임들을 인코딩하여 상기 확장 스트림을 획득하는 것에 의해 획득되고,

대응하는 프레임들의 상기 혼합 레이트에 관한 정보가 각각의 프레임들과 관련하여 상기 기본 스트림 및 상기 확장 스트림에 포함되며,

상기 수신 장치는,

상기 수신 장치에 접속된 디스플레이의 프레임 레이트 능력에 기반하여,

상기 기본 스트림을 디코딩하여 상기 제2 프레임 레이트의 프레임들을 획득하거나, 또는

상기 기본 스트림 및 상기 확장 스트림을 디코딩하여 상기 제2 비디오 데이터를 획득하고, 상기 혼합 레이트에 관한 정보에 기반하여 상기 제2 비디오 데이터에 대해 역 혼합 처리를 수행하는 것에 의해 상기 제1 프레임 레이트의 혼합 해제된 비디오 데이터를 획득하도록 구성된 회로부를 더 포함하는, 수신 장치.

(10)

수신 방법으로서,

회로부에 의해, 기본 스트림 및 확장 스트림을 수신하는 단계를 포함하며,

상기 기본 스트림 및 상기 확장 스트림은,

상기 수신 방법은,

수신 장치에 접속된 디스플레이의 프레임 레이트 능력에 기반하여,

상기 회로부에 의해, 상기 기본 스트림을 디코딩하여 상기 제2 프레임 레이트의 프레임들을 획득하는 단계, 또는

상기 기본 스트림 및 상기 확장 스트림을 디코딩하여 상기 제2 비디오 데이터를 획득하고, 상기 혼합 레이트에 관한 정보에 기반하여 상기 제2 비디오 데이터에 대해 역 혼합 처리를 수행하는 것에 의해 상기 제1 프레임 레이트의 혼합 해제된 비디오 데이터를 획득하는 단계를 더 포함하는, 수신 방법.

(11)

수신 장치로서,

회로부를 포함하며,

상기 회로부는,

각각의 프레임에 대한 혼합 레이트로, 제1 비디오 데이터의 프레임을 상기 제1 비디오 데이터의 하나 이상의 주변 프레임과 혼합하는 처리를 수행하는 것에 의해 획득된 제2 비디오 데이터를 취득하고,

상기 제2 비디오 데이터 및 각각의 프레임에서의 상기 혼합 레이트에 관한 정보를 전송 경로를 통해 외부 디바이스에게 송신하도록 구성되는, 수신 장치.

(12)

(11)에 있어서,

상기 혼합 레이트에 관한 정보에는 다음 비디오 프레임과 동기화시키는 것이 필요한지 여부를 나타내는 동기화 프레임 정보가 포함되는, 수신 장치.

(13)

(11)에 있어서,

상기 회로부는 각각의 프레임에서의 상기 혼합 레이트에 관한 정보를 상기 제2 비디오 데이터의 각각의 프레임의 블랭킹 기간에 각각 삽입하고 상기 제2 비디오 데이터를 송신하도록 구성되는, 수신 장치.

(14)

(11)에 있어서,

상기 회로부는 상기 혼합 레이트에 관한 정보에 기반하여 상기 제2 비디오 데이터의 각각의 프레임에 대해 역 혼합 처리를 수행하여 제3 비디오 데이터를 획득하도록 추가로 구성되고,

상기 회로부는 상기 외부 디바이스가 상기 역 혼합 처리의 기능을 갖지 않을 때 상기 제2 비디오 데이터 대신에 상기 제3 비디오 데이터를 송신하도록 구성되는, 수신 장치.

(15)

(11)에 있어서,

상기 제2 비디오 데이터는 제1 프레임 레이트를 갖고,

상기 회로부는, 디스플레이가 상기 외부 디바이스에 의해 수행될 수 있는 프레임 레이트가 상기 제2 프레임 레이트일 때, 상기 제2 비디오 데이터 대신에 상기 제2 프레임 레이트에 대응하는 프레임들을 포함하는 제4 비디오 데이터를 송신하도록 추가로 구성되는, 수신 장치.

(16)

수신 방법으로서,

회로부에 의해, 각각의 프레임에 대한 혼합 레이트로, 제1 비디오 데이터의 프레임을 상기 제1 비디오 데이터의 하나 이상의 주변 프레임과 혼합하는 처리를 수행하는 것에 의해 획득된 제2 비디오 데이터를 취득하는 단계, 및

상기 회로부에 의해, 상기 제2 비디오 데이터 및 각각의 프레임에서의 상기 혼합 레이트에 관한 정보를 전송 경로를 통해 외부 디바이스에게 송신하는 단계

를 포함하는, 수신 방법.

(17)

수신 장치로서,

회로부를 포함하며,

상기 회로부는,

각각의 프레임에 대한 혼합 레이트로, 제1 비디오 데이터의 프레임을 상기 제1 비디오 데이터의 하나 이상의 주변 프레임과 혼합하는 처리를 수행하는 것에 의해 획득된 제2 비디오 데이터, 및 각각의 프레임에서의 혼합 레이트에 관한 정보를 전송 경로를 통해 외부 디바이스로부터 수신하고,

상기 혼합 레이트에 관한 정보에 기반하여 상기 제2 비디오 데이터의 각각의 프레임에 대해 역 혼합 처리를 수행하는 것에 의해 혼합 해제된 비디오 데이터를 획득하도록 구성되는, 수신 장치.

(18)

수신 방법으로서,

회로부에 의해, 각각의 프레임에 대한 혼합 레이트로, 제1 비디오 데이터의 프레임을 상기 제1 비디오 데이터의 하나 이상의 주변 프레임과 혼합하는 처리를 수행하는 것에 의해 획득된 제2 비디오 데이터, 및 각각의 프레임에서의 혼합 레이트에 관한 정보를 전송 경로를 통해 외부 디바이스로부터 수신하는 단계, 및

상기 회로부에 의해, 상기 혼합 레이트에 관한 정보에 기반하여 상기 제2 비디오 데이터의 각각의 프레임에 대해 역 혼합 처리를 수행하는 것에 의해 혼합 해제된 비디오 데이터를 획득하는 단계

를 포함하는, 수신 방법.

본 기술의 주요 특징들은, 높은 프레임 레이트의 동화상 데이터를 형성하는 각각의 프레임 내의 화상 데이터에서 정상 프레임 레이트에 대응하는 프레임 내의 적어도 화상 데이터를 주변 프레임들 내의 화상 데이터와 혼합하여 개구율이 증가되는 상태를 획득하는 것, 정상 프레임 레이트에 대응하는 프레임 내의 화상 데이터를 인코딩함으로써 획득되는 기본 스트림 STb를 송신하는 것, 수신 측 상에서, 기본 스트림을 처리하는 것 및 정상 프레임 레이트의 동화상 데이터를 획득하는 것에 의해 매끄러운 화상 표시를 용이하게 실현하는 것이 가능하다는 것이다(도 4 참조). 더욱이, 기본 스트림 STb와 함께 잔여 프레임들에서의 화상 데이터를 인코딩함으로써 획득된 확장 스트림 STe를 획득하는 것, 기본 스트림 STb 및 확장 스트림 STe에 프레임들에서의 혼합 레이트에 관한 정보(계수 세트)를 삽입하는 것, 및 그 정보를 송신하는 것에 의해, 수신 측 상에서 높은 프레임 레이트의 혼합 해제된 동화상 데이터를 용이하게 획득하고 높은 프레임 레이트의 동화상을 만족스럽게 표시하는 것이 또한 가능하다(도 4 참조).

10, 10A: 송신 및 수신 시스템
81: 카메라
82: HFR 처리기
100: 송신 장치
101: 제어 유닛
102: 전처리기
102a, 102b: 지연 요소
102c, 102d, 102e: 계수 디바이스
102f: 가산기
102g: 프레임 출력 스위칭 디바이스
103: 인코더
104: 멀티플렉서
105: 송신 유닛
200, 200A, 200B: 텔레비전 수신기
200-1: 셋톱 박스
200-2, 200-2A, 200-2B: 디스플레이
201, 201-1, 201-2A, 201-2B: 제어 유닛
202, 202B: 수신 유닛
203, 203B: 디멀티플렉서
204, 204B: 디코더
205: 후처리기
205a, 205b: 지연 요소
205c, 205d, 205e: 계수 디바이스
205f: 가산기
205g: 프레임 출력 스위칭 디바이스
206, 206B: MCFI 유닛
207, 207B: 패널 디스플레이 유닛
208, 208B: HDMI 송신 유닛
209: HDMI 수신 유닛

Claims

수신 장치로서,
회로부를 포함하고,
상기 회로부는,
기본 스트림 및 확장 스트림을 포함하는 컨테이너를 수신하고 - 상기 확장 스트림은 제1 프레임 레이트의 제1 동화상 데이터의 인코딩된 프레임들의 서브세트를 포함하고, 상기 기본 스트림은 상기 제1 프레임 레이트보다 낮은 제2 프레임 레이트의 제2 동화상 데이터의 인코딩된 프레임들을 포함하고, 상기 제2 동화상 데이터의 각각의 프레임은 상기 제1 동화상 데이터의 2개 이상의 인접 프레임들의 혼합을 나타내고, 상기 혼합의 혼합 구성에 대한 정보가 상기 컨테이너에 포함됨 -;
상기 기본 스트림을 디코딩하여, 상기 제2 프레임 레이트의 상기 제2 동화상 데이터를 획득하고;
상기 확장 스트림을 디코딩하여, 상기 제1 동화상 데이터의 프레임들의 서브세트를 획득하고;
상기 혼합 구성에 대한 정보에 기초하여 상기 제2 동화상 데이터에 대해 역혼합 처리(unmixing processing)를 수행하여, 상기 제1 동화상 데이터의 프레임들의 서브세트를 포함하는, 상기 제1 프레임 레이트의 상기 제1 동화상 데이터를 획득하도록
구성되는, 수신 장치.
제1항에 있어서,
상기 기본 스트림 및 상기 확장 스트림은 NAL 유닛 구조를 갖고,
상기 혼합 구성에 대한 정보를 갖는 SEI NAL 유닛이 상기 기본 스트림 및 상기 확장 스트림에 삽입되는, 수신 장치.
제1항에 있어서,
상기 제1 프레임 레이트는 120Hz 또는 240Hz이고,
상기 제2 프레임 레이트는 60Hz인, 수신 장치.
제1항에 있어서,
상기 혼합 구성에 대한 정보는 상기 혼합에 이용되는 필터의 탭들에 대응하는 계수들의 세트를 포함하는, 수신 장치.
제1항에 있어서,
상기 혼합 구성에 대한 정보는, 시간적으로 이전 프레임에서의 화상 데이터를 이용하지 않는 혼합 리프레시가 수행될 때까지의 프레임들의 수를 나타내는 혼합 리프레시 정보를 포함하는, 수신 장치.
제1항에 있어서,
상기 혼합 구성에 대한 정보는 리프레시 플래그 정보를 포함하고, 상기 리프레시 플래그 정보는, 상기 리프레시 플래그 정보와 연관된 프레임이 혼합 리프레시의 타겟인지 여부를 나타내는, 수신 장치.
제1항에 있어서,
상기 혼합 구성에 대한 정보는 헤드 플래그 정보를 포함하고, 상기 헤드 플래그 정보는, 상기 헤드 플래그 정보와 연관된 프레임이 상기 제2 프레임 레이트에 대응하는지를 나타내는, 수신 장치.
제1항에 있어서,
디스플레이 패널을 더 포함하고,
상기 회로부는,
상기 제1 동화상 데이터로부터의 제1 동화상들 또는 상기 제2 동화상 데이터로부터의 제2 동화상들 중 적어도 하나를 획득하고;
상기 제1 동화상들 또는 상기 제2 동화상들 중 적어도 하나로 하여금 상기 디스플레이 패널에 의해 디스플레이되게 하도록
구성되는, 수신 장치.
수신 방법으로서,
기본 스트림 및 확장 스트림을 포함하는 컨테이너를 수신하는 단계 - 상기 확장 스트림은 제1 프레임 레이트의 제1 동화상 데이터의 인코딩된 프레임들의 서브세트를 포함하고, 상기 기본 스트림은 상기 제1 프레임 레이트보다 낮은 제2 프레임 레이트의 제2 동화상 데이터의 인코딩된 프레임들을 포함하고, 상기 제2 동화상 데이터의 각각의 프레임은 상기 제1 동화상 데이터의 2개 이상의 인접 프레임들의 혼합을 나타내고, 상기 혼합의 혼합 구성에 대한 정보가 상기 컨테이너에 포함됨 -;
상기 기본 스트림을 디코딩하여, 상기 제2 프레임 레이트의 상기 제2 동화상 데이터를 획득하는 단계;
상기 확장 스트림을 디코딩하여, 상기 제1 동화상 데이터의 프레임들의 서브세트를 획득하는 단계; 및
상기 혼합 구성에 대한 정보에 기초하여 상기 제2 동화상 데이터에 대해 역혼합 처리를 수행하여, 상기 제1 동화상 데이터의 프레임들의 서브세트를 포함하는, 상기 제1 프레임 레이트의 상기 제1 동화상 데이터를 획득하는 단계
를 포함하는, 수신 방법.
제9항에 있어서,
상기 기본 스트림 및 상기 확장 스트림은 NAL 유닛 구조를 갖고,
상기 혼합 구성에 대한 정보를 갖는 SEI NAL 유닛이 상기 기본 스트림 및 상기 확장 스트림에 삽입되는, 수신 방법.
제9항에 있어서,
상기 제1 프레임 레이트는 120Hz 또는 240Hz이고,
상기 제2 프레임 레이트는 60Hz인, 수신 방법.
제9항에 있어서,
상기 혼합 구성에 대한 정보는 상기 혼합에 이용되는 필터의 탭들에 대응하는 계수들의 세트를 포함하는, 수신 방법.
제9항에 있어서,
상기 혼합 구성에 대한 정보는, 시간적으로 이전 프레임에서의 화상 데이터를 이용하지 않는 혼합 리프레시가 수행될 때까지의 프레임들의 수를 나타내는 혼합 리프레시 정보를 포함하는, 수신 방법.
제9항에 있어서,
상기 혼합 구성에 대한 정보는 리프레시 플래그 정보를 포함하고, 상기 리프레시 플래그 정보는, 상기 리프레시 플래그 정보와 연관된 프레임이 혼합 리프레시의 타겟인지 여부를 나타내는, 수신 방법.
제9항에 있어서,
상기 혼합 구성에 대한 정보는 헤드 플래그 정보를 포함하고, 상기 헤드 플래그 정보는, 상기 헤드 플래그 정보와 연관된 프레임이 상기 제2 프레임 레이트에 대응하는지를 나타내는, 수신 방법.
삭제
삭제
삭제