KR20140116871A

KR20140116871A - 시간 움직임 벡터 예측을 사용하여 비디오를 부호화 및 복호하는 방법 및 장치

Info

Publication number: KR20140116871A
Application number: KR1020147019695A
Authority: KR
Inventors: 슈 몬 텟 나잉; 빅토르 와하다니아; 총순 림; 하이 웨이 선; 키아우 키아우 윈; 다카히로 니시; 히사오 사사이; 요우지 시바하라; 도시야스 스기오; 교코 다니카와; 도루 마츠노부; 겐고 데라다
Original assignee: 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카
Priority date: 2012-01-20
Filing date: 2013-01-16
Publication date: 2014-10-06
Also published as: US20140369415A1; US20190028734A1; US10616601B2; ES2728146T3; US9591328B2; EP2805511A1; CN104094604B; PL2805511T3; JP6394966B2; CN104094604A; US10129563B2; US20170094307A1; EP2805511B1; JP2015504254A; KR102030205B1; EP2805511A4; WO2013108616A1

Abstract

본 발명은, 시간 움직임 벡터 예측을 통해 비디오를 부호화된 비디오 비트스트림으로 부호화하는 방법에 관한 것이며, 이 방법은: 시간 움직임 벡터 예측이 픽처의 서브-픽처 유닛의 인터-픽처 예측에 사용되는지의 여부를 나타내기 위해 플래그의 값을 결정하는 단계; 및 상기 값을 갖는 플래그를 상기 서브-픽처 유닛의 헤더나 상기 픽처의 헤더에 기록하는 단계를 포함하고; 상기 플래그가 시간 움직임 벡터 예측이 사용됨을 나타낸다면, 이 방법은: 병치된(collocated) 참조 픽처로부터의 적어도 하나의 움직임 벡터로부터 유도한 적어도 하나의 시간 움직임 벡터 예측자를 포함하는 복수의 움직임 벡터 예측자를 포함하는 움직임 벡터 예측자의 제1 목록을 만드는 단계; 상기 제1 목록으로부터 상기 서브-픽처 유닛의 예측 유닛에 대한 움직임 벡터 예측자를 선택하는 단계; 및 상기 제1 목록으로부터 선택된 움직임 벡터 예측자를 나타내기 위해 제1 파라미터를 부호화된 비디오 비트스트림에 기록하는 단계를 더 포함하며, 플래그가 시간 움직임 벡터 예측이 사용되지 않음을 나타내면, 이 방법은 임의의 시간 움직임 벡터 예측자가 없는 복수의 움직임 벡터 예측자를 포함하는 움직임 벡터 예측자의 제2 목록을 만드는 단계; 제1 목록으로부터 서브-픽처 유닛의 예측 유닛에 대한 움직임 벡터 예측자를 선택하는 단계; 및 제2 목록으로부터 선택된 움직임 벡터 예측자를 나타내기 위해 제2 파라미터를 부호화된 비디오 비트스트림에 기록하는 단계를 더 포함한다. 게다가, 부호화된 비디오를 복호하는 방법, 및 비디오를 부호화 및 복호하기 위한 대응 장치가 제공된다.

Description

시간 움직임 벡터 예측을 사용하여 비디오를 부호화 및 복호하는 방법 및 장치{METHODS AND APPARATUSES FOR ENCODING AND DECODING VIDEO USING TEMPORAL MOTION VECTOR PREDICTION}

본 발명은 시간 움직임 벡터 예측을 사용하여 비디오를 부호화하는 방법과 비디오를 복호하는 방법 그리고 이들을 위한 장치에 관한 것이다. 본 발명은 임의의 멀티미디어 데이터 부호화에 적용할 수 있으며, 더 상세하게는 인터-픽처 예측을 위해 시간 움직임 벡터 예측을 활용한 이미지 및 비디오 콘텐츠 부호화에 적용할 수 있다.

H.264/MPEG-4 AVC와 같은 비디오 부호화 방식과, 장래의 HEVC(High-Efficiency Video Coding)는 시간적으로 연속 픽처에 걸쳐 정보 중복을 활용하기 위해 이전에 부호화/복호된 참조 픽처로부터의 인터-픽처(또는 단지 "인터") 예측을 사용하여 이미지/비디오 콘텐츠의 부호화/복호를 실행한다.

부호화된 비디오 비트스트림에서, (M×N개의 샘플 블록과 같은) 예측 유닛의 인터 예측 공정에 사용하기 위한 참조 픽처는 참조 인덱스를 사용하거나 이를 참조하여 식별된다. 참조 인덱스는 하나 이상의 참조 픽처를 포함하는 순서 목록(참조 픽처 목록으로 알려짐)에의 인덱스이다. 각각의 참조 인덱스는 참조 픽처 목록의 참조 픽처와 고유하게 관련된다. 즉, 참조 인덱스는, 복수의 참조 픽처를 서로 구별하는데 사용되는 값이다.

상술한 부호화 방식은 움직임 벡터의 시간 예측(즉, 움직임 벡터 예측: MVP(Motion Vector Prediction))을 지원하여, 샘플의 타겟 블록의 움직임 벡터를 병치된(collocated) 참조 픽처의 하나 이상의 이전에 부호화된 샘플 블록 중 움직임 벡터로부터 예측한다. 시간 움직임 벡터 예측은, 시간적으로 이웃한 움직임 벡터 사이의 정보 중복을 활용함으로써 움직임 벡터와 관련한 비트율을 더 감소시킨다. 병치된 참조 픽처는 미리 결정된 방식을 사용하여, 예컨대 (참조 픽처 목록 0과 같은) 미리 결정된 참조 픽처 목록에서 제1 참조 픽처를 병치된 참조 픽처로서 선택하여 이용 가능한 참조 픽처 사이에서 선택한다.

손실 환경에 걸친 비디오 송신을 필요로 하는 응용에서, 시간 움직임 벡터 예측은, 병치된 참조 픽처가 손실되거나 이 픽처가 에러를 포함할 때 움직임 벡터의 에러 예측에 취약하다. 개발 중인 HEVC 표준에서, 특정한 서브-픽처 유닛(예컨대, 슬라이스)의 시간 움직임 벡터 예측을 디스에이블하는 기술이 개시되었다. JCTVC-G398, "하이-레벨 신택스: 비-TMVP 픽처에 대한 표시 공정", ITU-T SG 16 WP3 및 ISO/IEC JTC1/SC29/WG11 7차 회의(2011년 11월, 스위스, 제네바)의 비디오 부호화에 관한 공동 협력 팀(JCT-VC). 이 기술에서, 복호기 픽처 버퍼(DPB)에서 픽처를 "시간 움직임 벡터 예측에 사용되지 않은 것"으로서 표시하는데 사용된 픽처 파라미터 세트(PPS)에 표시 플래그를 삽입해야 한다. 이러한 표시 공정은, 서브-픽처 유닛이 "TRUE"와 같은 표시 플래그를 갖는 PPS를 참조할 때, 복호기에 의해 실행된다.

ISO/IEC 14496-10, "MPEG-4 10부 개선된 비디오 부호화" JCTVC-G398, "하이-레벨 신택스: 비-TMVP 픽처에 대한 표시 공정", ITU-T SG 16 WP3 및 ISO/IEC JTC1/SC29/WG11 7차 회의(2011년 11월, 스위스, 제네바)의 비디오 부호화에 관한 공동 협력 팀(JCT-VC)

배경기술에서 언급한 바와 같이, 특정 슬라이스의 시간 움직임 벡터 예측을 디스에이블하기 위한 개시된 기술에서는, 복호기 픽처 버퍼(DPB)에서 픽처를 "시간 움직임 벡터 예측에 사용되지 않은 것"으로서 표시하는데 사용된 픽처 파라미터 세트(PPS)에 표시 플래그를 삽입해야 한다. 이러한 기술과 관련된 주된 문제는, 표시 공정을 야기한 슬라이스가 손실되거나 에러를 포함할 때, 복호기가 의도한 표시 공정을 실행할 수 없다는 점이다. 결국, 부호화기와 복호기 사이의 후속한 동기화가 손실된다. 그러므로 시간 움직임 벡터 예측을 디스에이블하기 위한 앞서 언급한 기술은 강력하지 않다.

본 발명은, 개선된 에러 로버스트니스를 갖는 시간 움직임 벡터 예측을 사용하여 비디오를 부호화 및 복호하는 방법 및 장치를 제공하고자 한다. 특히, 서브-픽처 유닛(예컨대, 슬라이스)에 대한 시간 움직임 벡터 예측은 에러에 덜 취약한 방식으로 인에이블/디스에이블된다. 예컨대, 본 발명의 실시예에 따라, 복호기에 의해 실행되는 앞서 언급한 표시 공정(즉, 참조 픽처를 "시간 움직임 벡터 예측에 사용되지 않은 것"으로 표시하기 위한)은 제거된다.

본 발명의 제1 양상에 따르면, 시간 움직임 벡터 예측을 통해 비디오를 부호화된 비디오 비트스트림으로 부호화하는 방법으로서,

시간 움직임 벡터 예측이 픽처의 서브-픽처 유닛의 인터-픽처 예측에 사용되는지의 여부를 나타내기 위해 플래그의 값을 결정하는 단계;

그러한 값을 갖는 플래그를 서브-픽처 유닛의 헤더나 픽처의 헤더에 기록하는 단계를 포함하고;

플래그가 시간 움직임 벡터 예측이 사용됨을 나타낸다면,

병치된(collocated) 참조 픽처로부터의 적어도 하나의 움직임 벡터로부터 유도한 적어도 하나의 시간 움직임 벡터 예측자를 포함한 복수의 움직임 벡터 예측자를 포함한 움직임 벡터 예측자의 제1 목록을 만드는 단계;

제1 목록으로부터 서브-픽처 유닛의 예측 유닛에 대한 움직임 벡터 예측자를 선택하는 단계; 및

제1 목록으로부터 선택된 움직임 벡터 예측자를 나타내기 위해 제1 파라미터를 부호화된 비디오 비트스트림에 기록하는 단계를 더 포함하는 방법이 제공된다.

바람직하게도, 플래그가, 시간 움직임 벡터 예측이 사용되지 않음을 나타낸다면, 방법은:

임의의 시간 움직임 벡터 예측자가 없는 복수의 움직임 벡터 예측자를 포함하는 움직임 벡터 예측자의 제2 목록을 만드는 단계;

제2 목록으로부터 서브-픽처 유닛의 예측 유닛에 대한 움직임 벡터 예측자를 선택하는 단계; 및

제2 목록으로부터 선택된 움직임 벡터 예측자를 나타내기 위해 제2 파라미터를 부호화된 비디오 비트스트림에 기록하는 단계를 더 포함한다.

실시예에서, 플래그의 값은 픽처의 시간 계층을 기반으로 하여 결정된다.

바람직하게도, 픽처의 시간 계층이 최저 또는 기본 계층인 것으로 결정된다면, 플래그의 값은, 시간 움직임 벡터 예측이 사용되지 않음을 나타내도록 설정되며; 그렇지 않다면, 플래그의 값은 시간 움직임 벡터 예측이 사용됨을 나타내도록 설정된다.

다른 실시예에서, 플래그의 값은 픽처의 픽처 순서 카운트(POC: Picture Order Count)를 기반으로 하여 결정된다.

바람직하게도, 픽처의 POC 값이 복호기 픽처 버퍼(DPB)에서 참조 픽처의 임의의 POC 값보다 더 크다고 결정된다면, 플래그의 값은, 시간 움직임 벡터 예측이 사용되지 않음을 나타내도록 설정되며; 그렇지 않다면, 플래그의 값은 시간 움직임 벡터 예측이 사용됨을 나타내도록 설정된다.

다른 실시예에서, 플래그의 값은 픽처에서의 인터-픽처 서브-픽처 유닛의 서브-픽처 유닛 타입을 기반으로 하여 결정된다.

바람직하게도, 서브-픽처 유닛 타입이 예측(P) 타입이라면, 플래그의 값은, 시간 움직임 벡터 예측이 사용되지 않음을 나타내도록 설정되며; 그렇지 않다면, 플래그의 값은 시간 움직임 벡터 예측이 사용됨을 나타내도록 설정된다.

다른 실시예에서, 플래그의 값은, 서브-픽처 유닛을 포함하는 픽처가 랜덤 액세스 포인트(RAP: Random Access Point) 픽처인지를 기반으로 하여 결정된다.

바람직하게도, 픽처가 RAP 픽처이고, 서브-픽처 유닛이 픽처의 비-기본 계층에 속한다면, 플래그의 값은 시간 움직임 벡터 예측이 사용되지 않음을 나타내도록 설정되고; 그렇지 않다면, 플래그의 값은 시간 움직임 벡터 예측이 사용됨을 나타내도록 설정된다.

바람직하게도, 플래그는 서브-픽처 유닛의 헤더에 기록된다.

바람직하게도, 방법은 하나 이상의 파라미터를 서브-픽처 유닛의 헤더에 기록하여 서브-픽처 유닛의 인터 예측에 사용된 하나 이상의 참조 픽처 목록에서의 참조 픽처 순서를 명시하는 단계를 더 포함한다.

바람직하게도, 방법은:

선택된 움직임 벡터 예측자를 사용하여 움직임 보상된 인터-픽처 예측을 실행하여 예측 유닛을 발생시키는 단계;

원래의 샘플 블록으로부터 예측 유닛을 감산하여 잔류 샘플 블록을 발생시키는 단계; 및

예측 블록에 대응하는 잔류 샘플 블록을 부호화된 비디오 비트스트림으로 부호화하는 단계를 더 포함한다.

실시예에서, 제2 목록은 제1 목록보다 하나 더 적은 움직임 벡터 예측자를 포함하며, 제1 및 제2 목록의 움직임 벡터 예측자는 시간 움직임 벡터 예측자와는 달리 동일하다.

바람직하게도, 제1 및 제2 파라미터는 상이한 미리 결정된 비트 표현을 사용하여 부호화된 비디오 비트스트림에 표현된다.

다른 실시예에서, 제1 및 제2 목록은 동일한 미리 결정된 수의 움직임 벡터 예측자를 포함하며, 제2 목록은, 제1 목록에 존재하지 않으며 임의의 참조 픽처로부터의 움직임 벡터를 사용하지 않고 유도한 움직임 벡터 예측자를 포함한다.

바람직하게도, 플래그는, 픽처에서 다른 서브-픽처 유닛과는 독립적으로 시간 움직임 벡터 예측이 서브-픽처 유닛의 인터-픽처 예측에 사용되는지의 여부를 나타내는데 사용된다.

바람직하게도, 서브-픽처 유닛은 픽처의 슬라이스이다.

본 발명의 제2 양상에 따라, 시간 움직임 벡터 예측을 통해 부호화된 비디오 비트스트림을 복호하는 방법으로서,

부호화된 비디오의 픽처의 헤더나 서브-픽처 유닛의 헤더로부터 플래그를 파싱하는 단계; 및

플래그가 시간 움직임 벡터 예측이 사용되는지의 여부를 나타내는지를 결정하는 단계를 포함하며;

플래그가 시간 움직임 벡터 예측이 사용됨을 나타낸다면,

병치된 참조 픽처로부터의 적어도 하나의 움직임 벡터로부터 유도한 적어도 하나의 시간 움직임 벡터 예측자를 포함하는 복수의 움직임 벡터 예측자를 포함하는 움직임 벡터 예측자의 제1 목록을 만드는 단계;

제1 목록으로부터 서브-픽처 유닛의 예측 유닛에 대해 선택된 움직임 벡터 예측자를 나타내는 제1 파라미터를 부호화된 비디오 비트스트림으로부터 파싱하는 단계를 더 포함하는 방법이 제공된다.

임의의 시간 움직임 벡터 예측자가 없는 복수의 움직임 벡터 예측자를 포함하는 움직임 벡터 예측자의 제2 목록을 만드는 단계; 및

제2 목록으로부터 서브-픽처 유닛에서의 예측 유닛에 대해 선택된 움직임 벡터 예측자를 나타내는 제2 파라미터를 부호화된 비디오 비트스트림으로부터 파싱하는 단계를 더 포함한다.

본 발명의 제3 양상에 따르면, 시간 움직임 벡터 예측을 통해 비디오를 부호화된 비디오 비트스트림으로 부호화하는 장치로서,

시간 움직임 벡터 예측이 픽처의 서브-픽처 유닛의 인터-픽처 예측에 사용되는지의 여부를 나타내기 위해 플래그의 값을 결정하도록 동작할 수 있는 제어 유닛;

그러한 값을 갖는 플래그를 서브-픽처 유닛의 헤더나 픽처의 헤더에 기록하도록 동작할 수 있는 기록 유닛;

움직임 벡터 예측 유닛; 및

움직임 벡터 예측 유닛으로부터 선택된 움직임 벡터 예측자를 기반으로 하여 인터-픽처 예측을 실행하기 위한 인터-픽처 예측 유닛을 포함하며,

움직임 벡터 예측 유닛은 플래그를 수신하도록 동작하며, 제1 값인 플래그를 기반으로 하여, 움직임 벡터 예측 유닛은 병치된 참조 픽처로부터의 적어도 하나의 움직임 벡터로부터 유도한 적어도 하나의 시간 움직임 벡터 예측자를 포함한 복수의 움직임 벡터 예측자를 포함한 움직임 벡터 예측자의 제1 목록을 만들고, 제1 목록으로부터 서브-픽처 유닛의 예측 유닛에 대한 움직임 벡터 예측자를 선택하도록 동작할 수 있으며;

기록 유닛은 제1 목록으로부터 선택된 움직임 벡터 예측자를 나타내기 위해 제1 파라미터를 부호화된 비디오 비트스트림에 기록하도록 더 동작할 수 있는, 부호화 장치가 제공된다.

바람직하게도, 플래그가 제2 값일 때, 움직임 벡터 예측 유닛은, 임의의 시간 움직임 벡터 예측자가 없는 복수의 움직임 벡터 예측자를 포함한 움직임 벡터 예측자의 제2 목록을 만들고, 제1 목록으로부터 서브-픽처 유닛의 예측 유닛에 대한 움직임 벡터 예측자를 선택하도록 동작할 수 있으며;

기록 유닛은 제2 목록으로부터 선택된 움직임 벡터 예측자를 나타내기 위해 제2 파라미터를 부호화된 비디오 비트스트림에 기록하도록 더 동작할 수 있다.

본 발명의 제4 양상에 따르면, 시간 움직임 벡터 예측을 통해 부호화된 비디오 비트스트림을 복호하는 장치로서,

부호화된 비디오의 픽처의 헤더나 서브-픽처 유닛의 헤더로부터 플래그를 파싱하여, 플래그가 시간 움직임 벡터 예측이 사용되는지의 여부를 나타내는지를 결정하도록 동작할 수 있는 파싱 유닛;

움직임 벡터 예측 유닛; 및

움직임 벡터 예측 유닛으로부터 선택된 움직임 벡터 예측자를 기반으로 하여 인터-픽처 예측을 실행하기 위한 인터-픽처 예측 유닛을 포함하며;

움직임 벡터 예측 유닛은 플래그를 수신하도록 구성되고, 제1 값인 플래그를 기반으로 하여, 움직임 벡터 예측 유닛은, 병치된 참조 픽처로부터의 적어도 하나의 움직임 벡터로부터 유도한 적어도 하나의 시간 움직임 벡터 예측자를 포함하는 복수의 움직임 벡터 예측자를 포함하는 움직임 벡터 예측자의 제1 목록을 만들도록 동작할 수 있으며;

파싱 유닛은, 제1 목록으로부터 서브-픽처 유닛의 예측 유닛에 대한 선택된 움직임 벡터 예측자를 나타내는 제1 파라미터를 부호화된 비디오 비트스트림으로부터 파싱하도록 더 동작할 수 있는, 복호 장치가 제공된다.

바람직하게도, 플래그가 제2 값일 때, 움직임 벡터 예측 유닛은, 임의의 시간 움직임 벡터 예측자가 없는 복수의 움직임 벡터 예측자를 포함하는 움직임 벡터 예측자의 제2 목록을 만들도록 동작할 수 있으며;

파싱 유닛은, 제2 목록으로부터 서브-픽처 유닛의 예측 유닛에 대한 선택된 움직임 벡터 예측자를 나타내는 제2 파라미터를 부호화된 비디오 비트스트림으로부터 파싱하도록 더 동작할 수 있다.

본 발명의 실시예는, 인터-픽처 예측의 개선된 에러 로버스트니스를 갖는 시간 움직임 벡터 예측을 사용하여 비디오를 부호화 및 보호하기 위한 방법 및 장치를 제공한다. 예컨대, 실시예는 또한 인터-픽처 예측의 개선된 융통성과 부호화 효율을 초래할 수 있으며, 이는 시간 움직임 벡터 예측이 동일 픽처 내의 복수의 서브-픽처 유닛에 독립적으로 인에이블 및 디스에이블될 수 있기 때문이다.

도 1은, 본 발명의 실시예에 따른 예시적인 부호화된 비디오 비트스트림의 분해도를 도시한다.
도 2는 본 발명의 실시예에 따라 비디오를 부호화하는 방법을 예시하는 흐름도이다.
도 3은 입력 비디오/이미지 비트스트림을 부호화하기 위한 예시적인 장치의 개략 블록도이다.
도 4는 본 발명의 실시예에 따라 부호화된 비디오를 복호하는 방법을 예시하는 흐름도이다.
도 5는 입력 부호화된 비트스트림을 복호하기 위한 예시적인 장치의 개략 블록도이다.
도 6은 예시적인 픽처 그룹에 대한 상이한 시간 계층을 도시하는 도면이다.
도 7은 제1 실시예에 따라 시간 움직임 벡터 예측 사용 플래그의 값을 결정하는 방법을 예시하는 흐름도이다.
도 8은 제2 실시예에 따라 시간 움직임 벡터 예측 사용 플래그의 값을 결정하는 방법을 예시하는 흐름도이다.
도 9는 제3 실시예에 따라 시간 움직임 벡터 예측 사용 플래그의 값을 결정하는 방법을 예시하는 흐름도이다.
도 10은 NAL 유닛 스트림, 즉 부호화된 비디오 비트스트림에 대한 일련의 NAL 유닛을 도시한 도면이다.
도 11은 복수의 슬라이스를 갖는 복수의 뷰/계층을 포함하는 예시적인 RAP 픽처를 도시한 도면이다.
도 12는 제4 실시예에 따라 시간 움직임 벡터 예측 사용 플래그의 값을 결정하는 방법을 예시하는 흐름도이다.
도 13은 컨텐츠 전송 서비스를 구현하는 컨텐츠 제공 시스템의 전체 구성도이다.
도 14는 디지털 방송용 시스템의 전체 구성도이다.
도 15는 텔레비전의 구성예를 예시하는 블록도이다.
도 16은, 광 디스크인 기록 매체에 정보의 판독 및 기록을 행하는 정보 재생/기록 유닛의 구성예를 예시하는 블록도이다.
도 17은 광 디스크인 기록 매체의 구성예를 도시하는 도면이다.
도 18a는 휴대폰의 일예를 나타내는 도면이다.
도 18b는 휴대폰의 구성예를 도시하는 블록도이다.
도 19는 다중화된 데이터의 구조를 나타내는 도면이다.
도 20은 각 스트림이 다중화된 데이터에서 어떻게 다중화되는지를 개략적으로 도시하는 도면이다.
도 21은 PES 패킷 스트림에 비디오 스트림이 어떻게 저장되는지를 더욱 상세하게 도시하는 도면이다.
도 22는, 다중화된 데이터에서의 TS 패킷과 소스 패킷의 구조를 도시하는 도면이다.
도 23은 PMT의 데이터 구조를 도시하는 도면이다.
도 24는 다중화된 데이터 정보의 내부 구조를 도시하는 도면이다.
도 25는 스트림 속성 정보의 내부 구조를 도시하는 도면이다.
도 26은 비디오 데이터를 식별하는 단계를 도시하는 도면이다.
도 27은 각 실시예에 따른 동화상 부호화 방법 및 동화상 복호 방법을 구현하는 집적 회로의 구성예를 도시하는 블록도이다.
도 28은 구동 주파수 사이를 스위칭하는 구성을 도시하는 도면이다.
도 29는 비디오 데이터를 식별하여, 구동 주파수 사이를 스위칭하는 단계를 도시하는 도면이다.
도 30은 비디오 데이터의 표준과 구동 주파수를 대응시킨 룩업 테이블의 일예를 도시하는 도면이다.
도 31a는 신호 처리 유닛의 모듈을 공유하는 구성의 일예를 나타내는 도면이다.
도 31b는 신호 처리 유닛의 모듈을 공유하는 구성의 다른 일예를 나타내는 도면이다.

본 발명의 예시적인 실시예에 따르면, 시간 움직임 벡터 예측(TMVP)을 사용하여 비디오를 부호화하는 방법과 비디오를 복호하는 방법, 그리고 이에 대한 장치가 제공된다. 특히, 서브-픽처 유닛(예컨대, 슬라이스)에 대한 시간 움직임 벡터 예측은 에러에 덜 취약할 수 있는 방식으로 인에이블/디스에이블된다. 이를 달성하기 위해, 본 발명의 바람직한 실시예에 따르면, 플래그가 픽처의 헤더나 더 바람직하게는 서브-픽처 유닛의 헤더에 삽입되어 시간 움직임 벡터 예측이 서브-픽처 유닛의 인터-픽처(또는 간단히 "인터") 예측에 사용되는지의 여부를 나타낸다. 이 플래그는 또한 시간 움직임 벡터 예측 사용 플래그라고도 칭할 수 있다. 본 발명의 다른 양상에서, 플래그의 값을 결정하는 바람직한 기술은 여러 실시예에서 개시한다.

명료성과 간단성을 위해, 본 발명의 예시적인 실시예를 이제 더 상세하게 기재할 것이며, 여기서 서브-픽처 유닛은 픽처의 슬라이스이다. 슬라이스 분할은 픽처를 복수의 서브-픽처 부분으로 나누는 단지 하나의 가능한 방법임을 당업자는 이해할 것이다. 그러므로 이후 기재한 본 발명의 실시예는 슬라이스인 서브-픽처 유닛으로 제한되지 않는다. 예컨대, 타일, 엔트로피 슬라이스 및 파면(wavefront) 분할 유닛과 같은 다른 서브-픽처 분할 방법이 모두 본 발명의 적용범위 내에 있다.

도 1은 본 발명의 실시예에 따른 예시적인 부호화된 비디오 비트스트림(100)의 분해도이다. 부호화된 비디오 비트스트림(100)은 헤더(110)와 이 헤더(110)와 관련된 복수의 픽처(112)를 포함한다. 픽처(112)는 통상 복수의 서브-픽처 유닛(예컨대, 슬라이스)(114)으로 분할된다. 각 슬라이스(114)는 슬라이스 헤더(116)와 이 슬라이스 헤더(116)와 관련된 슬라이스 데이터(118)를 포함한다. 슬라이스 데이터(118)는 인터 예측 타입의 복수의 예측 유닛(120)을 포함한다.

도 1에 예시한 예시적인 실시예에서, 시간 움직임 벡터 예측이 슬라이스(114)의 인터 예측에 사용되는지의 여부를 나타내기 위한 플래그(122)가 바람직하게는 슬라이스 헤더(116)에 위치한다. 그 결과로, 각 슬라이스(114)에 대한 시간 움직임 벡터 예측은 동일한 픽처(112)의 다른 슬라이스(114)와 독립적으로 인에이블 및 디스에이블될 수 있다. 슬라이스 헤더(116)는 하나 이상의 참조 픽처 목록에서 참조 픽처의 순서를 명시하기 위한 참조 픽처 목록 순서화 파라미터(124)를 더 포함한다. 이들 파라미터(124)는, 슬라이스 헤더(116)와 관련되거나 이에 대응하는 슬라이스(114)의 인터 예측에 사용된 참조 픽처 목록에서 참조 픽처의 유효 또는 최종 순서를 결정한다. 이들 파라미터(124)는 하나 이상이 초기 참조 픽처 목록 상에서 실행될 재순서화 공정을 명시할 수 있거나, 초기 참조 픽처 목록이 재순서화 없이도 사용됨을 명시할 수 있다. 도 1에 도시한 바와 같이, 플래그(122)는 바람직하게는 참조 픽처 목록 순서화 파라미터(124)와 동일한 슬라이스 헤더(116)에 위치한다. 움직임 벡터 예측자 선택 파라미터(126)는 각 예측 유닛(120)에 위치하여 예측 유닛(120)의 인터 예측에 이용 가능한 복수의 움직임 벡터 예측자로부터 움직임 벡터 예측자를 선택한다.

다른 실시예에서, 참조 픽처 목록 순서화 파라미터(124)와 시간 움직임 벡터 예측자 사용 플래그(122)는 동일한 픽처(112) 내의 복수의 슬라이스(114) 사이에서 공유되는 헤더(미도시)에 위치한다. 예컨대, 픽처 레벨 헤더(110)는 HEVC 부호화 방식에서 적응 파라미터 세트(APS: Adaptation Parameter Set)나 공통 슬라이스 세그먼트 헤더일 수 있다.

이후 설명될 바와 같이, 슬라이스 분할은 픽처를 복수의 서브-픽처 부분으로 나누는 단지 하나의 가능한 방법이다. 다른 가능한 서브-픽처 분할 방법, 예컨대, 타일, 엔트로피 슬라이스 및 파면 분할 유닛이 사용될 수 있다. 그러한 다른 서브-픽처 분할 방법에서, 앞서 기재한 바와 같이 슬라이스 헤더(116)에 위치한 파라미터(124)와 플래그(122)는 대신에 서브-픽처 유닛의 헤더에 위치할 수 있다.

도 2는 본 발명의 실시예에 따라 비디오를 부호화하는 방법(200)을 예시하는 흐름도를 도시한다. 단계(S202)에서, 하나 이상의 파라미터(즉, 참조 픽처 목록 순서화 파라미터)(124)가 슬라이스(114)의 헤더(116)에 기록되어 슬라이스(124)의 인터 예측에 사용된 하나 이상의 참조 픽처 목록에서 참조 픽처의 순서를 명시한다. (참조 픽처 목록 0과 같은) 참조 픽처 목록 중 하나에서 (제1 픽처와 같이) 미리 결정된 위치는 병치된 참조 픽처를 나타낸다. 단계(S204)에서, 시간 움직임 벡터가 슬라이스(124)의 인터 예측에 사용되는지의 여부를 나타내는 플래그(122)의 값을 결정한다. 플래그(122)의 값을 결정하는 많은 기술을 본 발명의 여러 실시예에 따라 이후 기재할 것이다. 후속하여 단계(206)에서, 플래그(122)는 슬라이스(114)의 헤더(116)에 기록된다. 단계(S208)에서, 플래그(122)의 값이 분석되거나 판정되어 플래그(122)가 시간 움직임 벡터 예측이 사용되는지의 여부를 나타내는지를 결정한다. 예컨대, 값 "0"을 갖는 플래그(122)는 시간 움직임 벡터 예측이 사용되지 않음을 나타낼 수 있고, 값 "1"을 갖는 플래그(122)는 시간 움직임 벡터 예측이 사용됨을 나타낼 수 있거나, 그 반대의 경우도 가능하다.

플래그(122)가 시간 움직임 벡터 예측이 사용됨을 나타낸다면, 단계(S210)에서, 움직임 벡터 예측자 목록(예컨대, 제1 목록)이 만들어지며, 이것은, 병치된 참조 픽처로부터의 적어도 하나의 움직임 벡터로부터 유도한 적어도 하나의 시간 움직임 벡터 예측자를 포함한 복수의 움직임 벡터 예측자를 포함한다. 단지 예를 들어, 복수의 움직임 벡터는 적어도 하나의 시간 움직임 벡터 예측자, 공간 인접 예측 유닛/블록으로부터 유도한 하나 이상의 움직임 벡터(즉, 공간 움직임 벡터 예측자) 및 제로 움직임 벡터를 포함할 수 있다. 단계(S212)에서, 움직임 벡터 예측자는 슬라이스(124)에서 타겟 샘플 블록(즉, 예측 유닛)(120)에 대한 움직임 벡터 예측자 목록으로부터 선택한다. 단계(214)에서, 파라미터(즉, 움직임 벡터 예측자 선택 파라미터)(예컨대, 제1 파라미터)(126)가 부호화된 비디오 비트스트림(100)에 (즉, 슬라이스(114)의 예측 유닛(120)에) 기록되어 움직임 벡터 예측자 목록으로부터 선택된 움직임 벡터 예측자를 나타낸다.

다른 한편으로, 플래그(122)가 시간 움직임 벡터 예측이 사용되지 않음을 나타낸다면, 단계(S216)에서, 움직임 벡터 예측자 목록(예컨대, 제2 목록)이 만들어지며, 이것은 임의의 시간 움직임 벡터 예측자가 없는 복수의 움직임 벡터 예측자를 포함한다. 단계(S218)에서, 움직임 벡터 예측자는 슬라이스(124)에서의 타겟 샘플 블록(즉, 예측 유닛)에 대한 움직임 벡터 예측자 목록으로부터 선택된다. 단계(S220)에서, 파라미터(즉, 움직임 벡터 예측자 선택 파라미터)(예컨대, 제2 파라미터)가 부호화된 비디오 비트스트림(100)에 (즉, 슬라이스 헤더(116)와 관련된 슬라이스 데이터(118)의 각 예측 유닛(120)에) 기록되어 움직임 벡터 예측자로부터 선택된 움직임 벡터 예측자를 나타낸다.

단계(S214)나 단계(S220) 이후, 움직임 보상된 인터 예측이 선택된 움직임 벡터 예측자를 사용하여 슬라이스(214)에 대해 실행되어, 예측 샘플 블록을 발생시킨다. 후속하여, 단계(S226)에서, 예측 샘플 블록이 원래의 샘플 블록으로부터 감산되어 잔류 샘플 블록을 발생시킨다. 그 후, 단계(S226)에서, 타겟 블록에 대응하는 잔류 샘플 블록이 부호화된 비디오 비트스트림(100)으로 부호화된다.

따라서, 본 발명의 전술한 실시예에서, 시간 움직임 벡터 예측이 사용되는지의 여부를 나타내기 위한 플래그(122)가 동일한 픽처(112)에서 다른 슬라이스(114)와는 독립적으로 하나의 슬라이스(114)를 제어할 수 있다. 그러므로 제1 슬라이스(114)에 대응하는 플래그(122)는 시간 움직임 벡터 예측이 동일한 픽처(112)에서 제2 또는 다른 슬라이스에 사용되는지의 여부를 결정하지 않는다. 더 나아가, 전술한 실시예에서, 배경기술에서 기재한 바와 같이 복호기 픽처 버퍼(DPS)에서의 참조 픽처에 관한 표시 공정은 제거되었다. 이러한 구성은 결국 인터 예측의 개선된 융통성과 부호화 효율을 초래한다.

본 발명의 실시예에서, 움직임 벡터 예측자의 제1 및 제2 목록은 상이한 수의 움직임 벡터 예측자를 포함한다. 바람직하게도, 제2 목록은 제1 목록보다 하나 더 적은 움직임 벡터 예측자를 포함한다. 제1 및 제2 목록 모두에서, 시간 움직임 벡터 예측자가 아닌 움직임 벡터 예측자는 동일하거나 같을 수 있다. 이점은 부호화 효율을 증가시킬 수 있으며, 이는 부호화기가 시간 움직임 벡터 예측자를 포함한 목록(즉, 제1 목록)에서 최상의 후보를 선택할 더 많은 선택을 갖기 때문이다. 제2 목록은 더 양호한 에러 회복력(error resilience)을 제공할 수 있으며, 이는 시간 움직임 벡터 예측이 사용되지 않기 때문이다. 부호화된 비디오 비트스트림(100)에서, 선택된 움직임 벡터 예측자를 표현하는 제1 및 제2 파라미터는 예컨대 산술 부호 이진화 또는 가변 길이 부호에서 상이한 최대값을 갖는 생략된 1진 표현과 같이 상이한 비트 표현을 사용할 수 있다.

본 발명의 다른 실시예에서, 제1 및 제2 목록은 동일한 미리 결정된 수의 움직임 벡터 예측자를 포함한다. 시간 움직임 벡터 예측자 대신에, 제2 목록은, 제1 목록에 존재하지 않는 다른 고유한 미리 결정된 움직임 벡터 예측자를 포함한다. 이점은 부호화 효율을 증가시킬 수 있으며, 이는 부호화기가, 고유한 미리 결정된 움직임 벡터 예측자를 포함하는 목록(즉, 제2 목록)으로부터 최상의 후보를 선택할 더 많은 선택을 갖기 때문이다. 최대 수의 후보 시간 움직임 벡터 예측자가 제1 및 제2 목록 모두에 대해 동일하므로, 이점은 선택된 움직임 벡터 예측자를 나타내는데 사용된 인덱스 파라미터의 파싱 공정의 복잡도를 감소시킨다. 고유한 움직임 벡터 예측자는 시간 의존도 없이, 즉 임의의 참조 픽처로부터의 움직임 벡터를 사용하지 않고 유도된다. 단지 예를 들면, 고유한 움직임 벡터 예측자는 미리 결정된 인접 위치로부터의 공간 움직임 벡터 예측자일 수 있다. 다른 예로서, 고유한 움직임 벡터 예측자는 제로 움직임 벡터 예측자일 수 있다.

본 발명의 실시예에 따라 비디오를 부호화하기 위한 예시적인 장치(300)는 이제 후술될 것이다.

도 3은, 부호화된 비디오 비트스트림(304)을 생성하기 위해 블록 단위로 입력 비디오/이미지 비트스트림(302)을 부호화하기 위한 예시적인 장치(300)의 개략 블록도를 도시한다. 장치(300)는 입력 데이터를 주파수 계수로 변환하도록 동작할 수 있는 변환 유닛(306), 입력 데이터에 관한 양자화를 실행하도록 동작할 수 있는 양자화 유닛(308), 입력 데이터에 관한 역양자화를 실행하도록 동작할 수 있는 역양자화 유닛(310), 입력 데이터에 관한 역주파수 변환을 실행하도록 동작할 수 있는 역변환 유닛(312), 비디오 및 이미지와 같은 데이터를 저장하도록 동작할 수 있는 블록 메모리(314) 및 픽처 메모리(316), 인트라 예측을 실행하도록 동작할 수 있는 인트라 예측 유닛(318), 인터 예측을 실행하도록 동작할 수 있는 인터 예측 유닛(320), 입력 데이터를 부호화된 비디오 비트스트림(304)으로 부호화하도록 동작할 수 있는 엔트로피 부호화 유닛(322), 시간 움직임 벡터 예측이 타겟 슬라이스의 인터 예측에 사용되는지의 여부를 결정하도록 동작할 수 있는 제어 유닛(324), 움직임 벡터 예측 유닛(330) 및 데이터를 부호화된 비디오 비트스트림(304)에 기록하도록 동작할 수 있는 기록 유닛(328)을 포함한다.

명료성을 위해, 도 3에 도시한 바와 같이 장치(300)를 통한 예시적인 데이터 흐름을 이제 기재할 것이다. 입력 비디오(302)는 가산기에 입력되며, 가산된 값(305)은 변환 유닛(306)에 출력된다. 변환 유닛(306)은 더해진 값(305)을 주파수 계수로 변환하여, 결과적인 주파수 계수(307)를 양자화 유닛(308)에 출력한다. 양자화 유닛(308)은 입력된 주파수 계수(307)를 양자화하여, 결과적인 양자화된 값(309)을 역양자화 유닛(310) 및 엔트로피 부호화 유닛(322)에 출력한다. 엔트로피 부호화 유닛(322)은 양자화 유닛(308)으로부터 출력된 양자화된 값(309)을 부호화하여, 부호화된 비디오 비트스트림(304)을 출력한다.

역양자화 유닛(310)은 양자화 유닛(308)으로부터 출력된 양자화된 값(309)을 역양자화하여, 주파수 계수(311)를 역변환 유닛(312)에 출력한다. 역변환 유닛(312)은, 주파수 계수를 비트스트림의 샘플 값으로 변환하기 위해 주파수 계수(311)에 관한 역주파수 변환을 실행하여, 결과적인 샘플 값(313)을 가산기에 출력한다. 가산기는 역변환 유닛(314)으로부터 출력된 비트스트림의 샘플 값(313)을 인트라 또는 인터 예측 유닛(318 또는 320)으로부터 출력된 예측된 비디오/이미지 값(319)에 더하여, 결과적인 더한 값(315)을 블록 메모리(105) 또는 픽처 메모리(106)에 출력하여 추가 예측한다. 인트라 또는 인터 예측 유닛(318 또는 320)은 블록 메모리(314)나 픽처 메모리(316)에 저장된 재구성된 비디오/이미지 내에서 찾아서, 예컨대 예측을 위해 입력 비디오/이미지에 가장 유사한 비디오/이미지 영역을 추정한다.

제어 유닛(324)은, 시간 움직임 벡터 예측이 타겟 슬라이스의 인터 예측에 사용되는지의 여부에 대하여 결정하여, 결정을 나타내는 신호(325)를 움직임 벡터 예측 유닛(330) 및 기록 유닛(322)에 출력한다. 시간 움직임 벡터 예측이 사용되는지의 여부를 결정하기 위한(즉, 플래그(122)의 값을 결정하기 위한) 많은 기술을 본 발명의 여러 실시예에 따라 이후에 기재할 것이다. 이러한 결정을 기반으로 하여, 인터 예측 유닛(320)은 시간 움직임 벡터 예측자를 사용하여 또는 사용하지 않고 인터 예측을 실행한다. 특히, 움직임 벡터 예측 유닛(330)은 플래그(122)를 수신하도록 구성되며, 제1 값(예컨대 "1")의 플래그이라면, 움직임 벡터 예측 유닛(330)은, 병치된 참조 픽처로부터의 적어도 하나의 움직임 벡터로부터 유도된 적어도 하나의 시간 움직임 벡터 예측자를 포함하는 복수의 움직임 벡터 예측자를 포함하는 움직임 벡터 예측자의 제1 목록을 만들고, 제1 목록으로부터 서브-픽처 유닛의 예측 유닛에 대한 움직임 벡터를 선택하도록 동작할 수 있다. 기록 유닛(328)은 제1 목록으로부터 선택된 움직임 벡터 예측자(331)를 나타내기 위해 제1 파라미터를 부호화된 비디오 비트스트림에 기록하도록 더 동작할 수 있다. 다른 한편, 플래그(122)가 제2 값(예컨대, "0")이라면, 움직임 벡터 예측 유닛(330)은 임의의 시간 움직임 벡터 예측자가 없는 복수의 움직임 벡터 예측자를 포함하는 움직임 벡터 예측자의 제2 목록을 만들고, 제2 목록으로부터 서브-픽처 유닛의 예측 유닛에 대한 움직임 벡터 예측자를 선택하도록 동작할 수 있다. 이 경우에, 기록 유닛(328)은 제2 목록으로부터 선택된 움직임 벡터 예측자(331)를 나타내기 위해 제2 파라미터를 부호화된 비디오 비트스트림(304)에 기록하도록 더 동작할 수 있다. 기록 유닛(328)은, 시간 움직임 벡터 예측이 사용되는지의 여부를 나타내는 제1 또는 제2 값(예컨대, "0" 또는 "1")을 갖는 플래그(122)를 나타내는 데이터(326)를 부호화된 비디오 비트스트림(304)(예컨대, 서브-픽처 유닛의 헤더나 픽처의 헤더)에 기록하도록 또한 동작할 수 있다.

도 4는 본 발명의 실시예에 따른 부호화된 비디오를 복호하는 방법(400)을 예시하는 흐름도를 도시한다. 특히, 방법(400)은 도 2에 도시한 바와 같이 비디오를 부호화하는 전술한 방법에 따라 부호화된 부호화 비디오 비트스트림(100)을 복호하도록 동작할 수 있다. 단계(S402)에서, 하나 이상의 파라미터(즉, 참조 픽처 목록 순서화 파라미터)가 슬라이스(114)의 헤더(116)로부터 파싱되어, 슬라이스(114)의 인터 예측에 사용된 하나 이상의 참조 픽처 목록에 참조 픽처 순서를 명시한다. 이전에 언급한 바와 같이, (참조 픽처 목록 0과 같은) 참조 픽처 목록 중 하나에서의 (제1 픽처와 같은) 미리 결정된 위치는 병치된 참조 픽처를 나타낸다. 단계(S404)에서, 시간 움직임 벡터 예측이 슬라이스(118)의 인터 예측에 사용되는지의 여부를 나타내는 플래그(즉, 시간 움직임 벡터 예측 플래그)(122)는 헤더(116)로부터 파싱한다. 단계(S406)에서, 플래그(122)의 값은 분석되거나 판정되어 플래그(122)가 시간 움직임 벡터 예측이 사용되는지의 여부를 나타내는지를 결정한다.

단계(S408)에서 플래그(122)가 시간 움직임 벡터 예측이 사용됨을 나타낸다면, 움직임 벡터 예측자 목록(예컨대, 제1 목록)이 만들어지며, 이것은 병치된 참조 픽처로부터의 적어도 하나의 움직임 벡터로부터 유도한 적어도 하나의 시간 움직임 벡터 예측자를 포함한 복수의 움직임 벡터 예측자를 포함한다. 단지 예를 들어서, 복수의 움직임 벡터는 적어도 하나의 시간 움직임 벡터 예측자, 공간 인접 예측 유닛/블록으로부터 유도한 하나 이상의 움직임 벡터(즉, 공간 움직임 벡터 예측자) 및 제로 움직임 벡터를 포함할 수 있다. 단계(S410)에서, 파라미터(즉, 움직임 벡터 예측자 선택 파라미터)(예컨대, 제1 파라미터)(126)는, 슬라이스(114)에서 타겟 샘플 블록(즉, 예측 유닛(120))에 대해 움직임 벡터 예측자 목록으로부터 선택된 움직임 벡터 예측자를 나타내는 부호화된 비디오 비트스트림(100)으로부터 (즉, 슬라이스(114)의 예측 유닛(120)으로부터) 파싱된다.

다른 한편, 플래그(122)가 시간 움직임 벡터 예측이 사용되지 않음을 나타낸다면, 단계(S412)에서, 움직임 벡터 예측자 목록(예컨대, 제2 목록)이 만들어지며, 이것은 임의의 시간 움직임 벡터 예측자가 없는 복수의 움직임 벡터 예측자를 포함한다. 단계(S414)에서, 파라미터(즉, 움직임 벡터 예측자 선택 파라미터)(예컨대, 제2 파라미터)는, 슬라이스(114)의 타겟 샘플 블록(즉, 예측 유닛(120))에 대해 움직임 벡터 예측자 목록으로부터 선택된 움직임 벡터 예측자를 나타내는 부호화된 비디오 비트스트림(100)으로부터 (즉, 슬라이스(114)의 예측 유닛(120)으로부터) 파싱된다.

단계(S410) 또는 단계(S414) 이후, 움직임 보상된 인터 예측이 선택된 움직임 벡터 예측자를 사용하여 실행되어 단계(S416)에서 예측 샘플의 블록을 발생시킨다. 후속하여, 단계(S418)에서, 잔류 샘플 블록을 부호화된 비디오 비트스트림(100)으로부터 복호한다. 그 후, 단계(S420)에서, 예측 샘플 블록과 잔류 샘플 블록을 함께 더하여 타겟 블록에 대응하는 재구성된 샘플 블록을 발생시킨다.

본 발명의 실시예에 따른 부호화된 비디오를 복호하기 위한 예시적인 장치(500)를 이제 후술할 것이다.

도 5는 블록 단위로 입력 부호화된 비트스트림(502)을 복호하고 비디오/이미지(504)를 예컨대 디스플레이에 출력하기 위한 예시적인 장치(500)의 개략 블록도를 도시한다. 장치(500)는 입력 부호화된 비트스트림(502)을 복호하도록 동작할 수 있는 엔트로피 복호 유닛(506), 입력 데이터에 관한 역양자화를 실행하도록 동작할 수 있는 역양자화 유닛(508), 입력 데이터에 관한 역주파수 변환을 실행하도록 동작할 수 있는 역변환 유닛(510), 비디오 및 이미지와 같이 데이터를 저장하도록 동작할 수 있는 블록 메모리(512) 및 픽처 메모리(514), 인트라 예측을 실행하기 위한 인트라 예측 유닛(516), 인터 예측을 실행하기 위한 인터 예측 유닛(518), 움직임 벡터 예측 유닛(522), 및 입력 부호화된 비트스트림(502)을 파싱하고 여러 파라미터(520 및 521)를 출력하도록 동작할 수 있는 파싱 유닛(503)을 포함한다.

명료성을 위해, 도 5에 도시한 장치(500)를 통한 예시적인 데이터 흐름을 이제 기재할 것이다. 입력 부호화된 비트스트림(502)은 엔트로피 복호 유닛(506)에 입력된다. 부호화된 비트스트림(502)이 엔트로피 복호 유닛(506)에 입력된 후, 엔트로피 복호 유닛(506)은 입력 부호화된 비트스트림(502)을 복호하여, 복호된 값(507)을 역양자화 유닛(508)에 출력한다. 역양자화 유닛(508)은 복호된 값(507)을 역양자화하여, 주파수 계수(509)를 역변환 유닛(510)에 출력한다. 역변환 유닛(510)은 주파수 계수(509)에 관한 역주파수 변환을 실행하여, 주파수 계수(509)를 샘플 값(511)으로 변환하며, 결과적인 샘플 값(511)을 가산기에 출력한다. 가산기는 결과적인 샘플 값(511)을 인트라 또는 인터 예측 유닛(516 또는 518)으로부터 출력된 예측된 비디오/이미지 값(519)에 더하여, 결과적인 값(504)을 예컨대 디스플레이에 그리고 블록 메모리(512)나 픽처 메모리(514)에 출력하여 더 예측한다. 게다가, 인트라 또는 인터 예측 유닛(516 또는 518)은 블록 메모리(512)나 픽처 메모리(514)에 저장된 비디오/이미지 내에서 찾아서, 예컨대 예측을 위해 복호된 비디오/이미지에 가장 유사한 비디오/이미지 영역을 추정한다.

더 나아가, 파싱 유닛(506)은 슬라이스나 픽처의 헤더로부터 시간 움직임 벡터 예측이 타겟 슬라이스의 인터 예측에 사용되는지의 여부를 나타내는 플래그(122)를 파싱하여, 파싱된 데이터(520)를 움직임 벡터 예측 유닛(522)에 출력한다. 인터 예측 유닛(518)은, 움직임 벡터 예측 유닛(522)으로부터의 선택된 움직임 벡터 예측자와 플래그(122)의 값을 기반으로 하여 시간 움직임 벡터 예측자를 갖거나 갖지 않고도 인터 예측을 실행하도록 동작할 수 있다. 특히, 움직임 벡터 예측 유닛(522)은 플래그(122)를 포함하는 데이터(520)를 수신하도록 구성되며, 플래그가 제1 값(예컨대, "1")이라면, 움직임 벡터 예측 유닛(522)은, 병치된 참조 픽처로부터의 적어도 하나의 움직임 벡터로부터 유도한 적어도 하나의 시간 움직임 벡터 예측자를 포함하는 복수의 움직임 벡터 예측자를 포함하는 움직임 벡터 예측자의 제1 목록을 만들도록 동작할 수 있다. 플래그가 제2 값(예컨대, "0")이라면, 움직임 벡터 유닛(522)은 임의의 시간 움직임 벡터 예측자가 없는 복수의 움직임 벡터 예측자를 포함하는 움직임 벡터 예측자의 제2 목록을 만들도록 동작할 수 있다. 파싱 유닛(503)은, 제2 목록으로부터 서브-픽처 유닛의 예측 유닛에 대한 선택된 움직임 벡터 예측자를 나타내는 부호화된 비디오 비트스트림(502)으로부터 제1 또는 제2 파라미터를 파싱하여, 파싱된 데이터(521)를 움직임 벡터 예측 유닛(522)에 출력하도록 더 동작할 수 있다.

전술한 바와 같이, 시간 움직임 벡터 예측이 사용되는지의 여부를 결정/판정하기 위한(즉, 플래그(122)의 값을 결정하기 위한) 많은 기술을 이제 본 발명의 여러 실시예에 따라 기재할 것이다.

제1 실시예에 따라, 플래그(122)의 값이 현재의 픽처의 시간 계층을 기반으로 하여 결정된다. 도 6은, 그룹 크기/구조가 예컨대 4개로 구성될 때 픽처 그룹에 대한 상이한 시간 계층을 도시하는 도면을 도시한다. 예에서, 세 개의 시간 계층, 즉 시간 계층 "0"(602), 시간 계층 "1"(604) 및 시간 계층 "2"(606)가 있다. 0, 4 및 8의 픽처 순서 카운트(POC) 값을 갖는 픽처가 시간 계층 "0"(602)에 위치하며, 2 및 6의 POC 값을 갖는 픽처가 시간 계층 "1"(604)에 위치하며, 1, 3, 5 및 7의 POC 값을 갖는 픽처가 시간 계층 "2"(606)에 위치한다. 시간 계층 "0" 및 "1" 및 "2"는 각각 시간 ID(0, 1 및 2)와 관련되거나, 이들에 의해 표현된다. 따라서, 시간 계층 "0"(602)의 픽처는 시간 계층 ID "0"과 관련되며, 시간 계층 "1"(604)의 픽처는 시간 ID(1)과 관련되며, 시간 계층 "2"(606)의 픽처는 시간 ID(2)와 관련된다.

도 7은 제1 실시예에 따라 플래그(122)의 값을 결정하는 방법(700)을 예시하는 흐름도를 도시한다. 단계(S702)에서, 현재의 픽처의 시간 계층은 현재의 픽처와 관련된 시간 ID를 기반으로 하여 결정된다. 후속하여, 단계(S704)에서, 결정된 시간 계층은 이것이 최저 계층 또는 기본 계층인지(즉, 시간 ID=0인지) 분석되거나 판정된다. 시간 계층이 최저 계층이라면, 단계(S706)에서, 플래그(122)는 시간 움직임 벡터 예측이 사용되지 않음을 나타내는 값(예컨대, "0")으로 설정된다. 다른 한편, 시간 계층이 최저 계층이 아니라면, 단계(S708)에서, 플래그(122)는 시간 움직임 벡터 예측이 사용됨을 나타내는 값(예컨대, "1")으로 설정된다. 이는, 통상의 부호화 구조에서, 시간 ID=0을 갖는 픽처는 종종 더 높은 시간 ID 픽처에 의해 참조되기 때문이다. 시간 ID=0을 갖는 픽처가 손실되거나 에러를 포함하는 경우에, 에러는 시간 ID=0을 갖는 그러한 픽처를 참조하는 임의의 픽처에 전파될 것이다. 이러한 에러 전파는 지속될 수 있어서 시간 ID=0을 갖는 시간 움직임 벡터 픽처를 사용하는 모든 후속한 픽처의 재구성에 영향을 미칠 수 있다. 그러므로, 이 실시예는, 시간 ID=0을 갖는 시간 움직임 벡터 픽처를 사용하지 않음으로써 에러 회복력을 개선한다.

제2 실시예에 따르면, 플래그(122)의 값은 현재의 픽처의 POC 값을 기반으로 하여 결정된다. 도 8은 제2 실시예에 따라 플래그(122)의 값을 결정하는 방법(800)을 예시하는 흐름도를 도시한다. 단계(S802)에서, 현재의 픽처의 POC 값과 DPB의 모든 참조 픽처의 POC 값을 얻거나 결정한다. 단계(S804)에서, 현재의 픽처의 POC 값은 DPB의 참조 픽처의 POC 값 중 임의의 값보다 큰지에 대해 분석되어 판정된다. 그렇다면, 단계(S806)에서, 플래그(122)는 시간 움직임 벡터 예측이 사용되지 않음을 나타내는 값(예컨대, "0")으로 설정된다. 그렇지 않다면, 단계(S808)에서, 플래그(122)는 시간 움직임 벡터 예측이 사용됨을 나타내는 값(예컨대, "1")으로 설정된다. 이는, 더 높은 품질의 픽처(예컨대, 시간 계층 0 픽처)만이 동일하거나 더 높은 품질의 픽처를 참조하기 때문이다. 이 실시예에서, 더 높은 품질의 픽처는 복수의 참조 픽처를 저장하는 복호된 픽처 버퍼에 포함된 참조 픽처의 POC 값 면에서 식별된다. 전술한 제1 실시예와 유사한 이유로, 더 높은 품질의 픽처가 종종 후속한 픽처에 의해 참조된다. 따라서, 에러 전파를 방지하거나 최소화하고 에러 회복력을 개선하기 위해, 플래그(122)는 더 높은 품질 픽처에 대해 디스에이블된다.

제3 실시예에 따르면, 플래그(122)의 값은 현재의 픽처의 인터 슬라이스의 슬라이스 타입을 기반으로 하여 결정된다. 인터 슬라이스는 인터 예측을 사용하여 부호화 또는 복호되는 슬라이스이다. 도 9는 제3 실시예에 따라 플래그(122)의 값을 결정하는 방법(900)을 예시하는 흐름도를 도시한다. 단계(902)에서, 현재 픽처의 인터 슬라이스의 슬라이스 타입이 결정된다. 후속하여, 슬라이스 타입은 P 슬라이스(즉, 예측 슬라이스)인지에 대해 분석되거나 판정된다. 그렇다면, 단계(S906)에서, 플래그(122)는 시간 움직임 벡터 예측이 사용되지 않음을 나타내는 값(예컨대, "0")으로 설정된다. 다른 한편, 결정된 슬라이스 타입이 P 슬라이스가 아니라면(예컨대, 양방향 예측 또는 B 슬라이스이라면), 단계(S908)에서, 플래그(122)는 시간 움직임 벡터 예측이 사용됨을 나타내는 값(예컨대, "1")으로 설정된다. 그 이유는 P-슬라이스가 단방향 전방 예측을 사용하기 때문이다. 그러므로 에러 전파를 방지하거나 최소화하고 에러 회복력을 개선하기 위해, 플래그(122)가 P 슬라이스에 대해 디스에이블된다.

제4 실시예에 따르면, 플래그(122)의 값은, 픽처가 랜덤 액세스 포인트(RAP) 픽처인지를 기반으로 하여 결정된다. RAP 픽처는, 자신 및 복호 순서에서 모든 후속한 픽처가 복호 순서에서 RAP 픽처에 선행하는 임의의 픽처의 복호 프로세스를 수행해야할 필요 없이 정확히 복호될 수 있는 픽처이다. 예컨대, HEVC 규격은 RAP 픽처를 각 슬라이스 세그먼트가 7 내지 12의 범위(경계값 포함)의 NAL 유닛 타입(nal_unit_type)을 갖는 부호화된 픽처로서 RAP 픽처를 명시한다. 도 10은 NAL 유닛 스트림, 즉 부호화된 비디오 비트스트림에 대한 일련의 NAL 유닛(102)의 도면을 도시한다. 당업자에게 알려진 바와 같이, NAL(Network Abstraction Layer)은 부호화된 비디오의 비디오 부호화 계층(VCL) 표현을 포맷하여 다양한 전송 계층이나 저장 매체에 의한 운반에 적절한 방식으로 헤더 정보를 제공한다. 각 NAL 유닛(102)은 데이터 섹션(106)이 뒤이어 오는 헤더(104)를 포함한다. 헤더(104)는 NAL 유닛(102)에서 데이터 타입을 나타내는 파라미터를 포함하며, 데이터 섹션(106)은 헤더(104)에 의해 나타내어진 데이터를 포함한다. 예컨대, 도 10은 세 개의 NAL 유닛, 즉, (NAL 유닛 타입(108)에 의해 나타낸 바와 같이) 파라미터 세트를 포함하는 제1 NAL 유닛, (NAL 유닛 타입(110)에 의해 나타낸 바와 같이) 기본 뷰/계층을 포함하는 제2 NAL 유닛, 및 (NAL 유닛 타입(112)에 의해 나타낸 바와 같이) 비-기본 뷰/계층을 포함하는 제3 NAL 유닛을 도시한다. 각 NAL 유닛의 헤더(104)는 도 7에 도시한 제1 실시예에서 기재된 바와 같이 시간 ID를 더 포함할 수 있다.

도 11은 복수의 슬라이스를 갖는 복수의 뷰/계층을 포함하는 예시적인 RAP 픽처(1100)의 도면을 도시한다. 도시한 바와 같이, RAP 픽처(1100)는 기본 계층(인트라 뷰)(1104)의 복수의 슬라이스(1102)와 비-기본 계층(인터 뷰)(1110)의 복수의 슬라이스(1106)를 포함한다.

도 12는 제4 실시예에 따라 플래그(122)의 값을 결정하는 방법(1200)을 예시하는 흐름도를 도시한다. 단계(S1202)에서, 픽처는 분석되어 슬라이스의 NAL 유닛 타입을 명시하는 픽처의 각 슬라이스의 파라미터를 결정하거나 얻는다. 후속하여, 단계(S1204)에서, 현재의 슬라이스를 포함한 픽처가 얻어진 파라미터(들)를 기반으로 하여 RAP 픽처인지와, 현재의 슬라이스가 픽처의 비-기본 계층/뷰에 속하는지를 결정하거나 판정한다. 픽처가 RAP 픽처(1100)인지는 픽처의 슬라이스(1002)나 각 NAL 유닛의 헤더(1004)에서 NAL 유닛 타입(1008, 1010, 1012)의 값을 분석함으로써 결정할 수 있다. 전술한 바와 같이, RAP 픽처(1100)는 그 자체와 복호 순서에서 모든 후속 픽처가 복호 순서에서 RAP 픽처(1100)에 선행하는 임의의 픽처의 복호 공정을 실행하지 않고도 정확히 복호할 수 있는 픽처이다. 예컨대, HEVC 규격은, 각 슬라이스 세그먼트가 7 내지 12(경계값 포함)의 범위에서 NAL 유닛 타입을 갖는 부호화된 픽처로서 RAP 픽처를 규정한다. 따라서, 이 예에서, 픽처의 각 NAL 유닛(1002)의 NAL 유닛 타입(1008, 1010 및 1012)이 7 내지 12(경계값 포함)의 범위에 있다면, 픽처는 RAP 픽처(1100)인 것으로 결정된다. 현재의 슬라이스가 픽처의 비-기본 계층인지는 현재의 슬라이스의 NAL 유닛 타입(1008, 1010 및 1012)을 점검함으로써 결정될 수 있다. 예컨대, NAL 유닛 타입(1012)은 관련 슬라이스(1006)가 비-기본 계층에 속함을 나타내며, NAL 유닛 타입(1010)은 관련 슬라이스(1006)가 기본 층에 속함을 나타낸다. 그러나 비-기본 계층은 비디오 부호화 방식에 따라 다른 파라미터(들)를 기반으로 하여 식별될 수 있음을 당업자는 이해할 것이다. 예컨대, 현재의 HEVC 멀티-뷰 HEVC 작업 초안에서, 현재의 슬라이스가 픽처의 비-기본 계층인지는 계층 ID에 의해 결정된다. 픽처가 RAP 픽처(1100)이고 현재의 슬라이스가 픽처의 비-기본 계층에 속한다면, 단계(S1206)에서, 플래그(122)는 시간 움직임 벡터 예측이 사용되지 않음을 나타내는 값(예컨대, "0")으로 설정된다. 그렇지 않다면, 단계(S1208)에서, 플래그(122)는 시간 움직임 벡터 예측이 사용됨을 나타내는 값(예컨대, "1")으로 설정된다. 이는, 시간 움직임 벡터 예측을 사용하는 이점이 시간적으로 움직임 벡터 예측을 개선하는 것, 즉 시간적으로 상이한 다른 픽처로부터 예측을 개선하는 것이기 때문이다. 그러나 인트라 및 인터 픽처가 현재의 픽처에서 동일한 시간 내에 있다면, 시간 움직임 벡터 예측을 사용할 이점은 없다. 그러므로 부호화/복호 효율을 개선하기 위해, 플래그(122)는 RAP 픽처(1100)의 비-기본(또는 인터 뷰) 계층에 속한 슬라이스(1106)에 대해 디스에이블된다.

(실시예 A)

실시예 각각에 기재된 처리는, 실시예 각각에서 기재된 동화상 부호화 방법(이미지 부호화 방법)과 동화상 복호 방법(이미지 복호 방법)의 구성을 구현하기 위한 프로그램을 기록 매체에 기록함으로써, 독립적인 컴퓨터 시스템에서 간단히 구현될 수 있다. 기록 매체는, 프로그램이 기록될 수 있는 한, 자기 디스크, 광 디스크, 자기 광 디스크, IC 카드 및 반도체 메모리와 같은 임의의 기록 매체일 수 있다.

이 후, 실시예 각각에서 기재된 동화상 부호화 방법(이미지 부호화 방법)과 동화상 복호 방법(이미지 복호 방법) 및 이를 이용한 시스템에 대한 응용을 기재할 것이다. 시스템은, 이미지 부호화 방법을 사용하는 이미지 부호화 장치와 이미지 복호 방법을 사용하는 이미지 복호 장치를 포함하는 이미지 부호화 및 복호 장치를 갖는 특성을 갖는다. 시스템의 다른 구성은 경우에 따라 적절히 변경될 수 있다.

도 13은, 컨텐츠 전송 서비스를 구현하는 컨텐츠 제공 시스템(ex100)의 전체 구성을 나타내는 도면이다. 통신 서비스의 제공 영역을 원하는 크기의 셀로 나누고, 각 셀 내에 고정 무선국인 기지국(ex106, ex107, ex108, ex109, 및 ex110)이 설치되어 있다.

이 컨텐츠 제공 시스템(ex100)은, 인터넷(ex101), 인터넷 서비스 프로바이더(ISP: Internet Service Provider)(ex102), 전화망(ex104), 그리고 기지국(ex106 내지 ex110) 각각을 통하여, 컴퓨터(ex111), PDA(Personal Digital Assistant)(ex112), 카메라(ex113), 휴대폰(ex114), 게임기(ex115) 등의 기기가 연결된다.

그러나 컨텐츠 제공 시스템(ex100)은 도 13과 같은 구성에 한정되지 않고, 어느 하나의 요소를 조합하여 연결하도록 해도 된다. 또한, 고정 무선국인 기지국(ex106 내지 ex110)을 거치지 않고, 각 기기가 전화망(ex104)에 직접 연결되어도 된다. 또한, 각 기기가 근거리 무선 통신 등을 통하여 서로 연결되어도 된다.

카메라(ex113)는 디지털 비디오 카메라 등의 비디오 촬영이 가능한 기기이다. 카메라(ex116)는 디지털 카메라 등의 정지 이미지 촬영, 비디오 촬영이 가능한 기기이다. 또한, 휴대폰(ex114)은, GSM(등록 상표)(Global System for Mobile Communications), CDMA(Code Division Multiple Access), W-CDMA(Wideband-Code Division Multiple Access), LTE(Long Term Evolution) 및 HSPA(High Speed Packet Access) 등의 표준 중 어느 것을 충족하는 것일 수 있다. 택일적으로, 휴대폰(ex114)은 PHS(Personal Handyphone System)일 수 있다.

컨텐츠 제공 시스템(ex100)에서는, 카메라(ex113) 등이 기지국(ex109) 및 전화망(ex104)을 통하여 스트리밍 서버(ex103)에 접속됨으로써, 라이브 쇼 등의 이미지 전송 등이 가능해진다. 라이브 전송에서는, 사용자가 카메라(ex113)를 이용하여 촬영하는 컨텐츠(예를 들면, 음악 라이브 쇼의 비디오)에 대하여 각 실시예에서 설명한 것과 같이 부호화 처리를 행하고(즉, 카메라가 본 발명의 일 양상에 관련된 이미지 부호화 장치로서 기능한다), 부호화된 컨텐츠를 스트리밍 서버(ex103)에 송신한다. 한편, 스트리밍 서버(ex103)는 요구가 있는 클라이언트에 대하여 송신된 컨텐츠 데이터를 스트림 전송한다. 클라이언트로는, 상기 부호화 처리된 데이터를 복호하는 것이 가능한, 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대폰(ex114) 및 게임기(ex115)가 있다. 전송된 데이터를 수신한 각 기기에서는, 부호화된 데이터를 복호하여 재생한다(즉, 본 발명의 일 양상에 관련된 이미지 복호 장치로서 기능한다).

또한, 촬영한 데이터는 카메라(ex113)로 또는 데이터를 송신하는 스트리밍 서버(ex103)로 부호화되거나, 부호화 처리는 카메라(ex113)와 스트리밍 서버(ex103) 사이에서 공유될 수 있다. 마찬가지로 전송된 데이터는 클라이언트나 스트리밍 서버(ex103)로 복호되거나, 복호 처리는 클라이언트와 스트리밍 서버(ex103) 사이에서 공유될 수 있다. 또한, 카메라(ex113)에 한정되지 않고, 카메라(ex116)로 촬영한 정지 이미지 및 비디오 데이터를, 컴퓨터(ex111)를 통하여 스트리밍 서버(ex103)에 송신해도 된다. 이 경우의 부호화 처리는 카메라(ex116), 컴퓨터(ex111), 스트리밍 서버(ex103) 중 어느 하나로 행해도 되고, 서로 공유하여 행해도 된다.

또한, 이들 부호화 및 복호 처리는, 일반적으로 컴퓨터(ex111)와 기기들 각각에 포함된 LSI(ex500)에 의해 실행할 수 있다. LSI(ex500)는, 1 칩이거나 복수 칩으로 이루어지는 구성이어도 된다. 또한, 비디오 부호화 및 복호용의 소프트웨어를 컴퓨터(ex111) 등으로 판독 가능한 어떠한 기록 매체(CD-ROM, 플렉서블 디스크, 하드 디스크 등)에 집어넣고, 그 소프트웨어를 이용하여 부호화 및 복호 처리를 행해도 된다. 또한, 휴대폰(ex114)에 카메라가 부착된 경우에는, 그 카메라로 취득한 비디오 데이터를 송신해도 된다. 비디오 데이터는 휴대폰(ex114)이 가지는 LSI(ex500)에서 부호화된 데이터이다.

또한, 스트리밍 서버(ex103)는 서버와 컴퓨터로 구성될 수 있으며, 데이터를 분산하여 분산된 데이터를 처리하고, 기록하거나 전송하는 것이어도 된다.

이상과 같이 하여, 컨텐츠 제공 시스템(ex100)에서는, 부호화된 데이터를 클라이언트가 수신하여 재생할 수 있다. 다시 말해, 컨텐츠 제공 시스템(ex100)에서는, 사용자가 송신한 정보를 클라이언트가 수신하고 복호하여, 복호된 데이터를 실시간으로 재생할 수 있어서, 특별한 권리나 설비를 가지지 않는 사용자라도 개인 방송을 구현할 수 있다.

또한, 컨텐츠 제공 시스템(ex100)의 예 외에, 도 14에 도시하는 바와 같이, 디지털 방송용 시스템(ex200)에서, 각 실시예에 기재된 동화상 부호화 장치(이미지 부호화 장치) 및 동화상 복호 장치(이미지 복호 장치) 중 적어도 하나가 실행될 수 있다. 구체적으로는, 방송국(ex201)에서는 비디오 데이터에 오디오 데이터 등이 다중화되어 얻어진 다중화된 데이터가 전파를 통하여 방송 위성(ex202)에 통신 또는 송신된다. 이 비디오 데이터는 각 실시예에서 설명한 동화상 부호화 방법에 의해 부호화된 데이터이다(즉, 본 발명의 일 양상에 관련된 이미지 부호화 장치에 의해 부호화된 데이터이다). 다중화된 데이터를 받으면, 방송 위성(ex202)은, 방송용의 전파를 송신한다. 그 후, 위성 방송의 수신 기능이 있는 가정의 안테나(ex204)가 전파를 수신한다. 다음으로, 수신한 다중화된 데이터를, 텔레비전(수신기)(ex300) 및 셋탑 박스(STB)(ex217) 등의 장치가 복호하여 복호된 데이터를 재생한다(즉, 본 발명의 일 양상에 관련된 이미지 복호 장치로서 기능한다).

또한, 리더/레코더(ex218)는 (i) DVD, BD 등의 기록 매체(ex215)에 기록한 다중화된 데이터를 판독하여 복호하거나, (i) 기록 매체(ex215)에서의 비디오 신호를 부호화하고, 또한 경우에 따라서는 부호화된 데이터 상에서 오디오 신호를 다중화하여 얻은 데이터를 기록한다. 리더/레코더(ex218)는 각 실시예에서 나타낸 동화상 복호 장치 또는 동화상 부호화 장치를 포함할 수 있다. 이 경우, 재생된 비디오 신호는 모니터(ex219)에 디스플레이되고, 다중화된 데이터가 기록된 기록 매체(ex215)를 이용하여 다른 장치나 시스템에 의해 비디오 신호를 재생할 수 있다. 또한, 케이블 텔레비전용의 케이블(ex203) 또는 위성 및/또는 지상파 방송용 안테나(ex204)에 접속된 셋탑 박스(ex217) 내에 동화상 복호 장치를 구현하고, 비디오 신호를 텔레비전(ex300)의 모니터(ex219)로 디스플레이해도 된다. 이때 셋탑 박스가 아니라, 텔레비전(ex300) 내에 동화상 복호 장치를 구현해도 된다.

도 15는, 각 실시예에서 설명한 동화상 복호 방법 및 동화상 부호화 방법을 이용한 텔레비전(수신기)(ex300)을 나타내는 도면이다. 텔레비전(ex300)은, 방송을 수신하는 안테나(ex204) 또는 케이블(ex203) 등을 통하여 비디오 데이터에 오디오 데이터가 다중화되어 얻어진 다중화된 데이터를 취득 또는 제공하는 튜너(ex301); 수신한 다중화된 데이터를 복조하거나, 외부에 공급하는 다중화된 데이터로 변조하는 변조/복조 유닛(ex302); 및 변조한 다중화된 데이터를 비디오 데이터와 오디오 데이터로 역다중화하거나, 또는 신호 처리 유닛(ex306)에서 부호화된 비디오 데이터 및 오디오 데이터를 데이터로 다중화하는 다중화/역다중화 유닛(ex303)을 구비한다.

또한, 텔레비전(ex300)은, 오디오 데이터 및 비디오 데이터를 복호하고, 오디오 데이터 및 비디오 데이터를 각각 부호화하는 오디오 신호 처리 유닛(ex304) 및 비디오 신호 처리 유닛(ex305)(본 발명의 일 양상에 관련된 이미지 부호화 장치 및 이미지 복호 장치로서 기능한다)를 가지는 신호 처리 유닛(ex306); 및 복호한 오디오 신호를 제공하는 스피커(ex307) 및 복호한 비디오 신호를 디스플레이하는 디스플레이 등의 디스플레이 유닛(ex308)을 가지는 출력 유닛(ex309)을 더 갖는다. 또한, 텔레비전(ex300)은, 사용자 조작의 입력을 수신하는 조작 입력 유닛(ex312)을 가지는 인터페이스 유닛(ex317)을 가진다. 또한, 텔레비전(ex300)은, 텔레비전(ex300)의 각 구성 요소를 통괄적으로 제어하는 제어 유닛(ex310)과, 각 요소에 전력을 공급하는 전원 회로 유닛(ex311)을 가진다. 인터페이스 유닛(ex317)은, 조작 입력 유닛(ex312) 이외에, 리더/레코더(ex218) 등의 외부 기기와 접속되는 브릿지(ex313); SD 카드 등의 기록 매체(ex216)를 장착 가능하게 하기 위한 슬롯 유닛(ex314); 하드 디스크 등의 외부 기록 매체와 접속하기 위한 드라이버(ex315); 및 전화망과 접속하는 모뎀(ex316) 등을 가지고 있어도 된다. 또한, 기록 매체(ex216)는, 저장하는 불휘발성/휘발성의 반도체 메모리 소자에 의해 전기적으로 정보의 기록을 가능하게 한 것이다. 텔레비전(ex300)의 각 구성 요소는 동기 버스를 통하여 서로 접속되어 있다.

먼저, 텔레비전(ex300)이 안테나(ex204) 등에 의해 외부로부터 취득한 다중화된 데이터를 복호하여, 복호된 데이터를 재생하는 구성에 대하여 설명한다. 텔레비전(ex300)은, 리모트 컨트롤러(ex220) 등으로부터의 사용자 조작을 받아, CPU를 가지는 제어 유닛(ex310)의 제어에 의거하여, 변조/복조 유닛(ex302)에서 복조한 다중화된 데이터를 다중화/역다중화 유닛(ex303)에서 역다중화한다. 또한, 텔레비전(ex300)에서는, 상기 각 실시예에서 설명한 복호 방법을 이용하여 역다중화한 오디오 데이터를 오디오 신호 처리 유닛(ex304)에서 복호하고, 역다중화한 비디오 데이터를 비디오 신호 처리 유닛(ex305)에서 복호한다. 복호한 오디오 신호 및 비디오 신호는, 각각 출력 유닛(ex309)으로부터 외부를 향해서 출력된다. 출력 유닛(ex309)이 비디오 신호 및 오디오 신호를 제공할 때, 이들 신호는 서로와 동기화하여 재생하도록, 버퍼(ex318 및 ex319) 등에 일시적으로 저장될 수 있다. 또한, 텔레비전(ex300)은, 방송 등으로부터가 아니라, 자기 디스크, 광 디스크, 및 SD 카드 등의 기록 매체(ex215 및 ex216)로부터 다중화된 데이터를 판독해도 된다. 다음에, 텔레비전(ex300)이 오디오 신호 및 비디오 신호를 부호화하여 외부에 송신하거나 이러한 데이터를 기록 매체 상에 기록하는 구성에 대하여 설명한다. 텔레비전(ex300)은, 리모트 컨트롤러(ex220) 등으로부터의 사용자 조작을 받아, 제어 유닛(ex310)의 제어에 의거하여, 각 실시예에서 설명한 부호화 방법을 이용하여 오디오 신호 처리 유닛(ex304)에서 오디오 신호를 부호화하고, 비디오 신호 처리 유닛(ex305)에서 비디오 신호를 부호화한다. 부호화한 오디오 신호 및 비디오 신호는 다중화/역다중화 유닛(ex303)에서 다중화되어 결과 신호가 외부로 제공된다. 다중화/역다중화 유닛(ex303)이 비디오 신호 및 오디오 신호를 다중화할 때, 신호들은 서로 동기화되어 재생되도록 버퍼(ex320 및 ex321) 등에 일시적으로 저장될 수 있다. 또한, 버퍼(ex318, ex319, ex320 및 ex321)는 도시하고 있는 바와 같이 복수 구비하고 있어도 되고, 적어도 하나의 버퍼를 텔레비전(ex300)에서 공유하는 구성이어도 된다. 또한, 예를 들면 변조/복조 유닛(ex302)과 다중화/역다중화 유닛(ex303) 사이에서 시스템 오버플로우 및 언더플로우를 피할 수 있도록 데이터가 버퍼에 저장될 수 있다.

또한, 텔레비전(ex300)은, 방송이나 기록 매체로부터 오디오 데이터 및 비디오 데이터를 취득하는 구성 이외에, 마이크나 카메라로부터 AV 입력을 수신하는 구성을 구비하고, 이들로부터 취득한 데이터를 부호화할 수 있다. 또한, 텔레비전(ex300)은 상세한 설명에서 부호화, 다중화 및 데이터를 외부로 제공할 수 있더라도, 오로지 수신, 복호, 및 데이터를 외부로 제공할 수만 있고, 부호화, 다중화, 및 데이터를 외부로 제공하는 것은 할 수 없을 수 있다.

또한, 리더/레코더(ex218)에서 기록 매체로부터 다중화된 데이터를 판독하거나, 또는 이에 기록하는 경우에는, 텔레비전(ex300) 및 리더/레코더(ex218) 중 하나가 다중화된 데이터를 복호 또는 부호화할 수 있으며, 텔레비전(ex300) 및 리더/레코더(ex218)가 복호 또는 부호화를 공유할 수 있다.

일예로서, 광 디스크로부터 데이터를 판독 또는 기록할 경우의 정보 재생/기록 유닛(ex400)의 구성을 도 16에 도시한다. 정보 재생/기록 유닛(ex400)은, 이하에 설명하는 구성요소(ex401, ex402, ex403, ex404, ex405, ex406 및 ex407)를 구비한다. 광 헤드(ex401)는, 광 디스크인 기록 매체(ex215)의 기록면에 레이저 스폿을 조사하여 정보를 기록하고, 기록 매체(ex215)의 기록면으로부터의 반사광을 검출하여 정보를 판독한다. 변조 기록 유닛(ex402)은, 광 헤드(ex401)에 내장된 반도체 레이저를 전기적으로 구동하여 기록 데이터에 따라 레이저 광의 변조를 행한다. 재생 복조 유닛(ex403)은, 광 헤드(ex401)에 내장된 포토디텍터에 의해 기록면으로부터의 반사광을 전기적으로 검출하여 얻은 재생 신호를 증폭하고, 기록 매체(ex215)에 기록된 신호 성분을 분리하여 이 재생 신호를 복조하여, 필요한 정보를 재생한다. 버퍼(ex404)는, 기록 매체(ex215)에 기록하기 위한 정보 및 기록 매체(ex215)로부터 재생한 정보를 일시적으로 유지한다. 디스크 모터(ex405)는 기록 매체(ex215)를 회전시킨다. 서보 제어 유닛(ex406)은, 디스크 모터(ex405)의 회전 구동을 제어하면서 광 헤드(ex401)를 미리 결정된 정보 트랙으로 이동시켜, 레이저 스폿을 뒤따른다. 시스템 제어 유닛(ex407)은, 정보 재생/기록 유닛(ex400) 전체의 제어를 행한다. 이러한 판독 및 기록 처리는 시스템 제어 유닛(ex407)이, 버퍼(ex404)에 저장된 각종 정보를 이용하거나, 또한 필요에 따라서 새로운 정보를 생성하고 추가함과 더불어, 변조 기록 유닛(ex402), 재생 복조 유닛(ex403), 서보 제어 유닛(ex406)을 협조 동작시키면서, 광 헤드(ex401)를 통하여, 정보의 기록 재생을 행함으로써 구현된다. 시스템 제어 유닛(ex407)은 예를 들면 마이크로 프로세서로 구성되고, 컴퓨터가 판독 및 기록용 프로그램을 실행하게 함으로써 처리를 실행한다.

이상에서는, 광 헤드(ex401)는 레이저 스폿을 조사하는 것으로서 설명했는데, 근접장광을 이용하여 고밀도의 기록을 행하는 구성이어도 된다.

도 17에 광 디스크인 기록 매체(ex215)를 예시한다. 기록 매체(ex215)의 기록면에는 안내 홈(groove)이 스파이럴 상으로 형성되고, 정보 트랙(ex230)에는, 미리, 안내 홈의 형상 변화에 의해 디스크 상의 절대 위치를 나타내는 어드레스 정보가 기록되어 있다. 이 어드레스 정보는 데이터를 기록하는 단위인 기록 블록(ex231)의 위치를 결정하기 위한 정보를 포함한다. 데이터의 기록이나 재생을 행하는 장치에 있어서 정보 트랙(ex230)을 재생하여 어드레스 정보를 판독함으로써 기록 블록의 위치를 결정할 수 있다. 또한, 기록 매체(ex215)는, 데이터 기록 영역(ex233), 내주 영역(ex232), 및 외주 영역(ex234)을 포함하고 있다. 사용자 데이터를 기록하기 위해서 이용하는 영역이 데이터 기록 영역(ex233)이다. 데이터 기록 영역(ex233)의 내부 및 외부에 배치되어 있는 내주 영역(ex232)과 외주 영역(ex234) 각각은, 사용자 데이터의 기록 이외의 특정 용도에 이용된다. 정보 재생/기록 유닛(ex400)은, 이러한 기록 매체(ex215)의 데이터 기록 영역(ex233)에 대하여, 부호화된 오디오, 부호화된 비디오 데이터 또는 부호화된 오디오 및 비디오 데이터의 다중화에 의해 얻은 다중화된 데이터의 판독 및 기록을 행한다.

DVD, BD 등의 하나의 층의 광 디스크를 예로 들어 설명했는데, 광 디스크는 이들로 한정되는 것은 아니고, 다층 구조이며 표면 이외의 부분에도 기록가능한 광 디스크여도 된다. 또한, 광 디스크의 동일한 장소에 다양한 파장의 색의 광을 이용하여 정보를 기록하고 다양한 각도로부터 상이한 층의 정보를 기록하는 등, 다차원적인 기록/재생을 행하는 구조의 광 디스크여도 된다.

또한, 디지털 방송용 시스템(ex200)에 있어서, 안테나(ex205)를 가지는 차(ex210)에서 위성(ex202) 등으로부터 데이터를 수신하고, 차(ex210)가 가지는 카 네비게이션 시스템(ex211) 등의 디스플레이 장치에 비디오를 재생하는 것도 가능하다. 또한, 카 네비게이션 시스템(ex211)의 구성은 예를 들면 도 15에 도시하는 구성 중, GPS 수신 유닛을 포함하는 구성일 것이다. 동일한 것을 컴퓨터(ex111), 휴대폰(ex114) 등의 구성에서도 생각할 수 있다.

도 18a는, 실시예에서 설명한 동화상 복호 방법 및 동화상 부호화 방법을 이용한 휴대폰(ex114)을 도시하는 도면이다. 휴대폰(ex114)은, 기지국(ex110)을 통하여 전파를 송수신하기 위한 안테나(ex350); 화상 및 정지 이미지를 촬영하는 것이 가능한 카메라 유닛(ex365); 및 카메라 유닛(ex365)으로 촬상하거나 안테나(ex350)로 수신한 복호된 비디오 등의 데이터를 디스플레이하는 액정 디스플레이 등의 디스플레이 유닛(ex358)을 구비한다. 휴대폰(ex114)은, 또한, 조작 키 유닛(ex366)을 가지는 본체 유닛; 오디오를 출력하기 위한 스피커 등인 오디오 출력 유닛(ex357); 오디오를 입력하기 위한 마이크 등인 오디오 입력 유닛(ex356); 촬영한 비디오 또는 정지 화상, 녹음한 오디오, 또는 수신한 비디오, 정지 화상, 전자 메일 등이 부호화된 데이터 또는 복호된 데이터를 저장하기 위한 메모리 유닛(ex367); 및 메모리 유닛(ex367)과 동일한 방식으로 데이터를 저장하는 기록 매체에 대한 인터페이스 유닛인 슬롯 유닛(ex364)를 구비한다.

또한, 휴대폰(ex114)의 구성예에 대하여, 도 18b를 이용하여 설명한다. 휴대폰(ex114)은, 디스플레이 유닛(ex358) 및 조작 키 유닛(ex366)을 구비한 본체 유닛의 각 부를 통괄적으로 제어하도록 설계된 메인 제어 유닛(ex360)에 대하여, 전원 공급 회로 유닛(ex361), 조작 입력 제어 유닛(ex362), 비디오 신호 처리 유닛(ex355), 카메라 인터페이스 유닛(ex363), LCD(Liquid Crystal Display) 제어 유닛(ex359), 변조/복조 유닛(ex352), 다중화/역다중화 유닛(ex353), 오디오 신호 처리 유닛(ex354), 슬롯 유닛(ex364) 및 메모리 유닛(ex367)이 동기 버스(ex370)를 통하여 서로 접속되어 있다.

전원 공급 회로 유닛(ex361)은, 사용자의 조작에 의해 통화종료 키 및 전원 키가 온 상태로 되면, 배터리 팩으로부터 각 부에 대하여 전력을 공급함으로써 휴대폰(ex114)을 동작가능한 상태로 기동한다.

휴대폰(ex114)은, CPU, ROM, RAM 등을 가지는 주 제어 유닛(ex360)의 제어에 의거하여, 음성 통화 모드 시에 오디오 입력 유닛(ex356)에서 수음한 오디오 신호를 오디오 신호 처리 유닛(ex354)에서 디지털 오디오 신호로 변환한다. 그 후, 변조/복조 유닛(ex352)에서 디지털 오디오 신호에 관해 스펙트럼 확산 처리하여, 송수신 유닛(ex351)에서 데이터에 관해 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 결과 데이터를 안테나(ex350)를 통하여 송신한다. 또한, 휴대폰(ex114)은, 송수신 유닛(ex351)에서 음성 통화 모드 시에 안테나(ex350)를 통하여 수신한 데이터를 증폭하여 데이터에 관한 주파수 변환 처리 및 아날로그 디지털 변환 처리를 실시한다. 그 후, 변조/복조 유닛(ex352)에서 데이터에 관해 스펙트럼 역확산 처리하고, 오디오 신호 처리 유닛(ex354)에서 아날로그 오디오 신호로 변환한 후, 이를 오디오 출력 유닛(ex357)을 통해 출력한다.

또한, 데이터 통신 모드 시에 전자 메일을 송신할 경우, 본체의 조작 키 유닛(ex366) 등의 조작에 의해 입력된 전자 메일의 텍스트 데이터는 조작 입력 제어 유닛(ex362)을 통하여 메인 제어 유닛(ex360)에 송출된다. 메인 제어 유닛(ex360)은, 텍스트 데이터를 변조/복조 유닛(ex352)에서 스펙트럼 확산 처리를 하고, 송수신 유닛(ex351)에서 결과 데이터에 대해 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 데이터를 안테나(ex350)를 통하여 기지국(ex110)에 송신한다. 전자 메일을 수신하는 경우는, 수신한 데이터에 대하여 전자 메일을 송신하기 위한 처리에 대략 반대인 처리가 행해져, 결과 데이터가 디스플레이 유닛(ex358)에 출력된다.

데이터 통신 모드 시에 비디오, 정지 이미지, 또는 비디오와 오디오를 송신할 경우, 비디오 신호 처리 유닛(ex355)은, 카메라 유닛(ex365)으로부터 공급된 비디오 신호를 각 실시예에서 나타낸 동화상 부호화 방법에 의해 압축 및 부호화하고(즉, 본 발명의 일 양상에 관련된 이미지 부호화 장치로서 기능한다), 부호화된 비디오 데이터를 다중화/역다중화 유닛(ex353)에 송신한다. 대조적으로, 오디오 신호 처리 유닛(ex354)은, 비디오, 정지 이미지 등을 카메라 유닛(ex365)에서 촬상 중에, 오디오 입력 유닛(ex356)에서 수음한 오디오 신호를 부호화하고, 부호화된 오디오 데이터를 다중화/역다중화 유닛(ex353)에 송신한다.

다중화/역다중화 유닛(ex353)은, 비디오 신호 처리 유닛(ex355)으로부터 공급된 부호화된 비디오 데이터와 오디오 신호 처리 유닛(ex354)으로부터 공급된 부호화된 오디오 데이터를 미리 결정된 방식으로 다중화한다. 그 후, 변조/복조 유닛(변조/복조 회로 유닛)(ex352)에서 다중화된 데이터에 대해 스펙트럼 확산 처리를 하고, 송수신 유닛(ex351)에서 데이터에 대해 디지털 아날로그 변환 처리 및 주파수 변환 처리를 실시한 후에 안테나(ex350)를 통하여 결과 데이터를 송신한다.

데이터 통신 모드 시에 웹 페이지 등에 링크된 비디오 파일 데이터를 수신할 경우, 또는 비디오 및/또는 오디오가 첨부된 전자 메일을 수신할 경우, 안테나(ex350)를 통하여 수신된 다중화된 데이터를 복호하기 위해서, 다중화/역다중화 유닛(ex353)은, 다중화된 데이터를 비디오 데이터의 비트스트림과 오디오 데이터의 비트스트림으로 역다중화하고, 동기 버스(ex370)를 통하여 부호화된 비디오 데이터를 비디오 신호 처리 유닛(ex355)에 공급함과 더불어, 부호화된 오디오 데이터를 오디오 신호 처리 유닛(ex354)에 공급한다. 비디오 신호 처리 유닛(ex355)은, 각 실시예에서 나타낸 동화상 부호화 방법에 대응한 동화상 복호 방법에 의해 비디오 신호를 복호하고(즉, 본 발명의 일 양상에 관련된 이미지 복호 장치로서 기능한다), LCD 제어 유닛(ex359)을 통하여 디스플레이 유닛(ex358)으로부터, 예를 들면 웹 페이지에 링크된 비디오 파일에 포함되는 비디오 및 정지 이미지가 디스플레이된다. 또한, 오디오 신호 처리 유닛(ex354)은, 오디오 신호를 복호하여, 오디오 출력 유닛(ex357)으로부터 오디오가 제공된다.

또한, 상기 휴대폰(ex114) 등의 단말은, (i) 텔레비전(ex300)과 마찬가지로, 부호화기 및 복호기를 모두 가지는 송수신형 단말 외에, (ii) 부호화기만의 송신 단말, (iii) 복호기만의 수신 단말이라고 하는 3가지의 실시 구성을 아마도 가질 것이다. 또한, 디지털 방송용 시스템(ex200)에 있어서, 비디오 데이터에 오디오 데이터가 다중화되어 얻어진 다중화된 데이터를 수신 및 송신하는 것으로서 설명했는데, 오디오 데이터 이외에 비디오에 관련된 문자 데이터 등이 비디오 데이터에 다중화된 데이터여도 되고, 다중화된 데이터가 아니라 비디오 데이터 자체여도 된다.

이와 같이, 각 실시예에서 나타낸 동화상 부호화 방법 및 동화상 복호 방법을 상술한 어느 하나의 기기 및 시스템에 이용하는 것은 가능하다. 그와 같이 함으로써, 상기 각 실시예에서 설명한 효과를 얻을 수 있다.

또한, 본 발명은 이러한 상기 실시예에 한정되는 것은 아니고, 본 발명의 범위를 일탈하지 않고 다양한 변형 또는 수정이 가능하다.

(실시예 B)

(i) 각 실시예에서 나타낸 동화상 부호화 방법 또는 동화상 부호화 장치와, (ii) MPEG-2, MPEG-4 AVC, VC-1 등 상이한 표준에 따른 동화상 부호화 방법 또는 동화상 부호화 장치 사이에서 필요에 따라 스위칭함으로써, 비디오 데이터를 생성하는 것도 가능하다.

여기에서, 상이한 표준을 따르는 복수의 비디오 데이터를 생성하여 복호할 때, 상이한 표준을 따르는 복호 방법을 선택할 필요가 있다. 그러나 복호될 복수의 비디오 데이터 각각이 어느 표준을 따르는지 식별할 수 없으므로, 적절한 복호 방법을 선택할 수 없다는 과제가 발생한다.

이 과제를 해결하기 위해서, 비디오 데이터에 오디오 데이터 등을 다중화하여 얻은 다중화된 데이터는, 비디오 데이터가 어느 표준을 따르는지를 나타내는 식별 정보를 포함하는 구조로 한다. 각 실시예에서 나타내는 동화상 부호화 방법 및 동화상 부호화 장치에 의해 생성된 비디오 데이터를 포함하는 다중화된 데이터의 구체적인 구조를 이하에 설명한다. 다중화된 데이터는, MPEG-2 트랜스포트 스트림 형식의 디지털 스트림이다.

도 19는, 다중화된 데이터의 구조를 나타내는 도면이다. 도 19에 도시하는 바와 같이, 다중화된 데이터는, 비디오 스트림, 오디오 스트림, 프리젠테이션 그래픽스 스트림(PG) 및 인터랙티브 그래픽스 스트림 중 적어도 하나를 다중화함으로써 얻어진다. 비디오 스트림은 영화의 주 비디오 및 부 비디오를 나타내고, 오디오 스트림(IG)은 주 오디오 부분과 그 주 오디오 부분과 혼합하는 부 오디오 부분을 나타내며, 프리젠테이션 그래픽스 스트림은 영화의 자막을 나타내고 있다. 여기서, 주 비디오란 화면에 디스플레이되는 통상의 비디오를 나타내고, 부 비디오란 주 비디오 중에 작은 화면으로 디스플레이하는 비디오이다. 또한, 인터랙티브 그래픽스 스트림은, 화면 상에 GUI 부분을 배치함으로써 생성되는 대화 화면을 나타낸다. 비디오 스트림은, 각 실시예에서 나타낸 동화상 부호화 방법 또는 동화상 부호화 장치에 의해 부호화되거나, MPEG-2, MPEG-4 AVC, VC-1 등의 종래의 표준에 따른 동화상 부호화 방법 및 동화상 부호화 장치에 의해 부호화되어 있다. 오디오 스트림은, 돌비-AC-3, 돌비 디지털 플러스(Dolby Digital Plus), MLP, DTS, DTS-HD, 및 리니어 PCM 등의 표준으로 부호화되어 있다.

다중화된 데이터에 포함되는 각 스트림은 PID에 의해 식별된다. 예를 들면, 영화의 비디오에 이용하는 비디오 스트림에는 0x1011이 할당되고, 오디오 스트림에는 0x1100부터 0x111F까지가 할당되며, 프리젠테이션 그래픽스 스트림에는 0x1200부터 0x121F까지가 할당되고, 인터랙티브 그래픽스 스트림에는 0x1400부터 0x141F까지가 할당되며, 영화의 부 비디오에 이용하는 비디오 스트림에는 0x1B00부터 0x1B1F까지가 할당되며, 주 오디오와 혼합하는 부 오디오에 이용하는 오디오 스트림에는 0x1A00부터 0x1A1F까지가 할당된다.

도 20은 데이터가 어떻게 다중화되는지를 개략적으로 도시하는 도면이다. 먼저, 비디오 프레임으로 이루어지는 비디오 스트림(ex235), 오디오 프레임으로 이루어지는 오디오 스트림(ex238)을, 각각 PES 패킷 스트림(ex236 및 ex239)으로 변환하고, TS 패킷(ex237 및 ex240)으로 변환한다. 마찬가지로, 프리젠테이션 그래픽스 스트림(ex241)의 데이터 및 인터랙티브 그래픽스 스트림(ex244)의 데이터를 각각 PES 패킷 스트림(ex242 및 ex245)으로 변환하고, 다시 TS 패킷(ex243 및 ex246)으로 변환한다. 다중화된 데이터(ex247)는 이들 TS 패킷을 1개의 스트림으로 다중화함으로써 얻어진다.

도 21은, PES 패킷 스트림에, 비디오 스트림이 어떻게 저장되는지를 더욱 상세하게 나타내고 있다. 도 21에 있어서의 제1 단째는 비디오 스트림의 비디오 프레임 스트림을 나타낸다. 제2 단째는, PES 패킷 스트림을 나타낸다. 도 21의 화살표 yy1, yy2, yy3, yy4로 표시하는 바와 같이, 비디오 스트림은 각각 비디오 프리젠테이션 유닛인 I 픽처, B 픽처, P 픽처로서 픽처로 분할되며, PES 패킷 각각의 페이로드에 픽처들이 저장된다. 각 PES 패킷은 PES 헤더를 가지고, PES 헤더에는, 픽처의 디스플레이 시간인 PTS(Presentation Time-Stamp)와, 픽처의 복호 시간인 DTS(Decoding Time-Stamp)가 저장된다.

도 22는, 다중화된 데이터에 최종적으로 기록되는 TS 패킷의 형식을 나타내고 있다. TS 패킷 각각은, 스트림을 식별하는 PID 등의 정보를 가지는 4-byte TS 헤더와 데이터를 저장하는 184-byte의 TS 페이로드로 구성되는 188-byte 고정 길이의 패킷이다. 상기 PES 패킷은 분할되어 각각 TS 페이로드에 저장된다. BD ROM이 사용된 경우, TS 패킷 각각에는, 4-byte의 TP_Extra_Header가 부여되어, 192-byte의 소스 패킷을 만든다. 소스 패킷은 다중화된 데이터에 기록된다. TP_Extra_Header에는 ATS(Arrival_Time_Stamp) 등의 정보가 저장된다. ATS는 TS 패킷 각각의 PID 필터로의 전송 개시 시간을 나타낸다. 다중화된 데이터에는 도 22의 하단에 도시하는 바와 같이 소스 패킷이 배열된다. 다중화된 데이터의 선두부터 증가하는 번호는 SPN(소스 패킷 넘버)으로 불린다.

또한, 다중화된 데이터에 포함되는 TS 패킷 각각에는, 비디오, 오디오 및 자막 등의 스트림 이외에도 PAT(Program Association Table), PMT(Program Map Table), PCR(Program Clock Reference) 등이 있다. PAT는 다중화된 데이터에 이용되는 PMT의 PID가 무엇인지를 나타내고, PAT 자신의 PID는 0으로 등록된다. PMT는, 다중화된 데이터에 포함되는 비디오, 오디오 및 자막 등의 스트림의 PID와, PID에 대응하는 스트림의 속성 정보를 저장한다. 또한, PMT는 다중화된 데이터에 관한 각종 디스크립터를 가진다. 디스크립터에는 다중화된 데이터의 복제의 허가·불허가를 지시하는 복제 제어 정보 등의 정보가 있다. PCR은, ATS의 시간 축인 ATC(Arrival Time Clock)와 PTS 및 DTS의 시간 축인 STC(System Time Clock) 사이의 동기화를 달성하기 위해, 그 PCR 패킷이 복호기에 전송되는 때를 나타내는 ATS에 대응하는 STC 시간 정보를 저장한다.

도 23은 PMT의 데이터 구조를 상세하게 설명하는 도면이다. PMT의 선두에는, 그 PMT에 포함되는 데이터의 길이 등을 기재한 PMT 헤더가 배치된다. PMT 헤더의 뒤에는, 다중화된 데이터에 관한 디스크립터가 복수 배치된다. 상기 복제 제어 정보 등의 정보가 디스크립터에 기재된다. 디스크립터의 뒤에는, 다중화된 데이터에 포함되는 스트림에 관한 스트림 정보가 복수 배치된다. 스트림 정보 각각은, 스트림의 압축 코덱을 식별하기 위해서 스트림 타입, 스트림의 PID, 스트림의 속성 정보(프레임 속도, 애스펙트 비 등) 등의 정보를 각각 기재하는 스트림 디스크립터로 구성된다. 스트림 디스크립터는 다중화된 데이터에 존재하는 스트림의 수만큼 존재한다.

기록 매체 등에 기록할 경우에는, 상기 다중화된 데이터는, 다중화된 데이터 정보 파일과 함께 기록된다.

다중화된 데이터 정보 파일 각각은, 도 24에 도시하는 바와 같이 다중화된 데이터의 관리 정보이다. 다중화된 데이터 정보 파일은 다중화된 데이터와 1대1로 대응하고, 파일 각각은 다중화된 데이터 정보, 스트림 속성 정보 및 엔트리 맵으로 구성된다.

다중화된 데이터 정보는, 도 24에 도시하는 바와 같이, 시스템 속도, 재생 개시 시간 및 재생 종료 시간으로 구성되어 있다. 시스템 속도는, 후술될 시스템 타겟 복호기가 다중화된 데이터를 PID 필터에 전송할 최대 전송 속도를 나타낸다. 다중화된 데이터 중에 포함되는 ATS의 간격은 시스템 속도 이하가 되도록 설정되어 있다. 재생 개시 시간은 다중화된 데이터의 선두 비디오 프레임의 PTS를 나타낸다. 한 프레임의 간격이 다중화된 데이터의 종단에서의 비디오 프레임에서 PTS에 추가되고, 이 PTS가 재생 종료 시간으로 설정된다.

속성 정보는, 도 25에 도시하는 바와 같이, 다중화된 데이터에 포함되는 각 스트림에 대한 스트림 속성 정보가, PID마다 등록된다. 각 속성 정보는, 해당 스트림이 비디오 스트림, 오디오 스트림, 프리젠테이션 그래픽스 스트림 또는 인터랙티브 그래픽스 스트림인지에 따라 상이한 정보를 가진다. 비디오 스트림 속성 정보 각각은, 그 비디오 스트림이 어떤 압축 코덱으로 압축되었는지, 비디오 스트림을 구성하는 각각의 픽처 데이터의 해상도가 얼마인지, 애스펙트 비는 얼마인지, 프레임 속도는 얼마인지 등의 정보를 가진다. 오디오 스트림 속성 정보 각각은, 그 오디오 스트림이 어떤 압축 코덱으로 압축되었는지, 그 오디오 스트림에 포함되는 채널 수는 무엇인지, 오디오 스트림이 어떤 언어를 지원하는지, 샘플링 주파수가 얼마인지 등의 정보를 가진다. 비디오 스트림 속성 정보와 오디오 스트림 속성 정보는, 플레이어가 정보를 재생하기 전의 복호기의 초기화에 이용된다.

본 실시예에 있어서는, 사용될 다중화된 데이터로는 PMT에 포함되는 스트림 타입이 있다. 또한, 기록 매체에 다중화된 데이터가 기록되어 있는 경우에는, 다중화된 데이터 정보에 포함되는 비디오 스트림 속성 정보를 이용한다. 구체적으로는, 각 실시예에서 나타낸 동화상 부호화 방법 또는 동화상 부호화 장치에 있어서, PMT에 포함되는 스트림 타입 또는 비디오 스트림 속성 정보에 대하여, 각 실시예에서 나타낸 동화상 부호화 방법 또는 동화상 부호화 장치에 의해 생성된 비디오 데이터를 나타내는 고유 정보를 할당하는 단계 또는 유닛을 포함한다. 이 구성에 의해, 각 실시예에서 나타낸 동화상 부호화 방법 또는 동화상 부호화 장치에 의해 생성된 비디오 데이터가 다른 표준을 따르는 비디오 데이터와 구별될 수 있다.

또한, 본 실시예에 있어서의 동화상 복호 방법의 단계를 도 26에 도시한다. 단계(exS100)에 있어서, 다중화된 데이터로부터 PMT에 포함되는 스트림 타입 또는 다중화된 데이터 정보에 포함되는 비디오 스트림 속성 정보를 취득한다. 다음에, 단계(exS101)에 있어서, 스트림 타입 또는 비디오 스트림 속성 정보가 다중화된 데이터가 각 실시예에서 나타낸 동화상 부호화 방법 또는 동화상 부호화 장치에 의해 생성되는지를 나타내는지 여부를 판단한다. 그리고 스트림 타입 또는 비디오 스트림 속성 정보가 다중화된 데이터가 각 실시예에서 나타낸 동화상 부호화 방법 또는 동화상 부호화 장치에 의해 생성된 것임을 나타낸다고 판단된 경우에는, 단계(exS102)에 있어서, 각 실시예에서의 동화상 복호 방법에 의해 복호를 행한다. 또한, 스트림 타입 또는 비디오 스트림 속성 정보가 MPEG-2, MPEG-4 AVC 및 VC-1 등의 종래의 표준을 따름을 나타내는 경우에는, 단계(exS103)에 있어서, 종래의 규격에 따른 동화상 복호 방법에 의해 복호를 행한다.

이와 같이, 스트림 타입 또는 비디오 스트림 속성 정보에 새로운 고유치를 할당함으로써, 각 실시예에서 나타낸 동화상 복호 방법 또는 동화상 복호 장치가 복호를 실행할 수 있는지에 관한 판단을 가능케 한다. 따라서, 상이한 표준을 따르는 다중화된 데이터가 입력된 경우라도, 적절한 복호 방법 또는 적절한 복호 장치를 선택할 수 있다. 따라서, 에러를 발생시키지 않고 정보를 복호하는 것이 가능해진다. 또한, 본 실시예에서 나타낸 동화상 부호화 방법 또는 장치, 또는, 동화상 복호 방법 또는 장치를, 상술한 기기 및 시스템에 이용하는 것도 가능하다.

(실시예 C)

각 실시예에서 나타낸 동화상 부호화 방법, 동화상 부호화 장치, 동화상 복호 방법, 및 동화상 복호 장치는 각각 전형적으로는 집적 회로인 LSI 회로로 구현된다. LSI의 예로서, 도 27은 1 칩화된 LSI(ex500)의 구성을 나타낸다. LSI(ex500)는, 이하에 설명하는 요소(ex501, ex502, ex503, ex504, ex505, ex506, ex507, ex508, 및 ex509)를 구비하고, 요소들은 버스(ex510)를 통하여 서로 접속하고 있다. 전원 공급 회로 유닛(ex505)은 전원 공급 회로 유닛(ex505)이 온 상태인 경우에 요소의 각각에 대하여 전력을 공급함으로써 동작 가능한 상태로 기동한다.

예를 들면 부호화 처리를 행하는 경우에는, LSI(ex500)는, CPU(ex502), 메모리 컨트롤러(ex503), 스트림 컨트롤러(ex504) 및 구동 주파수 제어 유닛(ex512)을 포함하는 제어 유닛(ex501)의 제어에 의거하여, AV I/O(ex509)에 의해 마이크(ex117), 카메라(ex113) 등으로부터 AV 신호를 수신한다. 수신된 AV 신호는, SDRAM 등의 외부 메모리(ex511)에 일시적으로 저장된다. 제어 유닛(ex501)의 제어에 의거하여, 저장된 데이터는 처리량과 속도에 따라서 데이터 부분으로 분할되어 신호 처리 유닛(ex507)에 송신된다. 그 후, 신호 처리 유닛(ex507)에 있어서 오디오 신호의 부호화 및/또는 비디오 신호의 부호화가 행해진다. 여기서 비디오 신호의 부호화 처리는 각 실시예에서 설명한 부호화 처리이다. 신호 처리 유닛(ex507)에서는 또한, 경우에 따라 부호화된 오디오 데이터와 부호화된 비디오 데이터를 다중화하는 등의 처리를 행하여, 스트림 I/O(ex506)가 다중화된 데이터를 외부에 제공한다. 이 제공된 다중화된 데이터는, 기지국(ex107)에 송신되거나, 기록 매체(ex215)에 기록되기도 한다. 또한, 데이터 세트는 다중화할 때는, 데이터 세트가 서로 동기화하도록, 버퍼(ex508)에 일시적으로 데이터를 저장해야 한다.

메모리(ex511)가 LSI(ex500) 외부의 요소일지라도, LSI(ex500)에 포함될 수 도 있다. 버퍼(ex508)도 1개로 한정되는 것이 아니라, 복수의 버퍼를 구비하고 있어도 된다. 또한, LSI(ex500)는 1칩화되어도 되고, 복수 칩화되어도 된다.

또한, 제어 유닛(ex501)이, CPU(ex502), 메모리 컨트롤러(ex503), 스트림 컨트롤러(ex504), 구동 주파수 제어 유닛(ex512) 등을 가지는 것으로 하고 있는데, 제어 유닛(ex501)의 구성은, 이 구성에 한정되지 않는다. 예를 들면, 신호 처리 유닛(ex507)이 CPU를 더 구비하는 구성이어도 된다. 신호 처리 유닛(ex507)의 내부에도 다른 CPU를 설치함으로써, 처리 속도를 보다 향상시키는 것이 가능해진다. 또한, 다른 예로서, CPU(ex502)가 신호 처리 유닛(ex507), 또는 신호 처리 유닛(ex507)의 일부로 역할을 하며, 예를 들면 오디오 신호 처리 유닛을 구비하는 구성이어도 된다. 이러한 경우에는, 제어 유닛(ex501)은, 신호 처리 유닛(ex507) 또는 신호 처리 유닛(ex507)의 일부를 가지는 CPU(ex502)를 구비하는 구성이 된다.

또한, 여기에서는, LSI로 했지만, 집적도의 차이에 따라, IC, 시스템 LSI, 슈퍼 LSI, 울트라 LSI로 불리기도 한다.

또한, 집적화의 수법은 LSI에 한정되는 것은 아니고, 전용 회로 또는 범용 프로세서로 집적화를 구현해도 된다. LSI 제조 후에 프로그램하는 것이 가능한 FPGA(Field Programmable Gate Array)나, LSI의 접속이나 구성의 재구성을 허용하는 재구성 가능한 프로세서를 동일한 목적으로 이용해도 된다.

장래에, 반도체 기술의 진보로, 전혀 새로운 기술이 LSI를 대체할 수 있다. 기능 블록은 그러한 기술을 이용하여 집적할 수 있다. 본 발명은 바이오 기술에 적용될 가능성이 있다.

(실시예 D)

각 실시예에서 나타낸 동화상 부호화 방법 또는 동화상 부호화 장치에 의해 생성된 비디오 데이터를 복호할 경우, MPEG-2, MPEG-4 AVC, VC-1 등의 종래의 표준을 따르는 비디오 데이터를 복호하는 경우에 비해, 처리량이 증가하는 것을 생각할 수 있다. 이 때문에, LSI(ex500)에 있어서, 종래의 표준을 따르는 비디오 데이터를 복호할 때 사용될 CPU(ex502)의 구동 주파수보다도 높은 구동 주파수로 설정할 필요가 있다. 그러나 구동 주파수를 높게 하면, 소비 전력이 높아진다는 과제가 발생한다.

이 과제를 해결하기 위해서, 텔레비전(ex300), LSI(ex500) 등의 동화상 복호 장치는, 비디오 데이터가 어느 표준을 따르는 것인지를 결정하고, 결정된 표준에 따라서 구동 주파수 사이에서 스위칭하는 구성으로 한다. 도 28은, 본 실시예에 있어서의 구성(ex800)을 나타내고 있다. 구동 주파수 스위칭 유닛(ex803)은, 비디오 데이터가, 각 실시예에서 나타낸 동화상 부호화 방법 또는 동화상 부호화 장치에 의해 생성된 것인 경우에는, 구동 주파수를 더 높은 구동 주파수로 설정한다. 그리고 구동 주파수 스위칭 유닛(ex803)은, 각 실시예에서 나타낸 동화상 복호 방법을 실행하는 복호 처리 유닛(ex801)에 대하여, 비디오 데이터를 복호하도록 지시한다. 한편, 비디오 데이터가, 종래의 표준을 따르는 경우, 구동 주파수 스위칭 유닛(ex803)은, 각 실시예에서 나타낸 동화상 부호화 방법 또는 동화상 부호화 장치에 의해 생성된 비디오 데이터인 경우에 비해, 구동 주파수를 더 낮은 구동 주파수로 설정한다. 그리고 구동 주파수 스위칭 유닛(ex803)은, 종래의 표준을 따르는 복호 처리 유닛(ex802)에 대하여, 비디오 데이터를 복호하도록 지시한다.

더욱 구체적으로는, 구동 주파수 스위칭 유닛(ex803)은, 도 27의 CPU(ex502)와 구동 주파수 제어 유닛(ex512)으로 구성된다. 또한, 각 실시예에서 나타낸 동화상 복호 방법을 실행하는 복호 처리 유닛(ex801) 및 종래의 표준을 따르는 복호 처리 유닛(ex802) 각각은 도 27의 신호 처리 유닛(ex507)에 해당한다. CPU(ex502)는, 비디오 데이터가 어느 표준을 따르는 것인지를 결정한다. 그리고 CPU(ex502)로부터의 신호에 의거하여, 구동 주파수 제어 유닛(ex512)은 구동 주파수를 결정한다. 또한, CPU(ex502)로부터의 신호에 의거하여, 신호 처리 유닛(ex507)은, 비디오 데이터의 복호를 행한다. 비디오 데이터의 식별에는, 예컨대 실시예 B에서 기재한 식별 정보를 이용하는 것을 생각할 수 있다. 식별 정보에 관해서는 실시예 B에서 기재한 것에 한정되지 않고, 비디오 데이터가 어느 표준을 따르는지 식별할 수 있는 정보이면 된다. 예를 들면, 비디오 데이터가 텔레비전에 이용되는 것인지, 디스크에 이용되는 것인지 등을 결정하기 위한 외부 신호에 의거하여, 비디오 데이터가 어느 표준을 따르는 것인지 결정 가능한 경우에는, 이러한 외부 신호에 의거하여 결정해도 된다. 또한, CPU(ex502)에 있어서의 구동 주파수의 선택은, 예를 들면, 도 30과 같이 비디오 데이터의 표준과 구동 주파수를 대응시킨 룩업 테이블에 의거하여 행하는 것을 생각할 수 있다. 룩업 테이블을 버퍼(ex508)와, LSI의 내부 메모리에 저장해 두고, CPU(ex502)가 이 룩업 테이블을 참조함으로써, 구동 주파수를 선택하는 것이 가능하다.

도 29는, 본 실시예의 방법을 실시하는 단계를 나타내고 있다. 먼저, 단계(exS200)에서는, 신호 처리 유닛(ex507)에 있어서, 다중화된 데이터로부터 식별 정보를 취득한다. 다음에, 단계(exS201)에서는, CPU(ex502)에 있어서, 식별 정보에 의거하여 비디오 데이터가 각 실시예에서 나타낸 부호화 방법 및 부호화 장치에 의해 생성된 것인지 여부를 결정한다. 비디오 데이터가 각 실시예에서 나타낸 동화상 부호화 방법 및 동화상 부호화 장치에 의해 생성된 것인 경우에는, 단계(exS202)에 있어서, 구동 주파수를 더 높은 구동 주파수로 설정하는 신호를, CPU(ex502)가 구동 주파수 제어 유닛(ex512)에 보낸다. 그리고 구동 주파수 제어 유닛(ex512)이 구동 주파수를 더 높은 구동 주파수로 설정한다. 한편, 식별 정보가, 비디오 데이터가 MPEG-2, MPEG-4 AVC, VC-1 등의 종래의 표준을 따름을 나타내는 경우에는, 단계(exS203)에 있어서, 구동 주파수를 더 낮은 구동 주파수로 설정하는 신호를, CPU(ex502)가 구동 주파수 제어 유닛(ex512)에 보낸다. 그리고 구동 주파수 제어 유닛(ex512)은, 비디오 데이터가 각 실시예에서 나타낸 동화상 부호화 방법 및 동화상 부호화 장치에 의해 생성된 것인 경우에 비해, 더 낮은 구동 주파수로 구동 주파수를 설정한다.

또한, 구동 주파수의 스위칭에 연동하여, LSI(ex500) 또는 LSI(ex500)를 포함하는 장치에 부여하는 전압을 변경함으로써, 전력 절감 효과를 더욱 높이는 것이 가능하다. 예를 들면, 구동 주파수를 낮게 설정할 경우에는, 구동 주파수를 높게 설정하고 있는 경우에 비해, LSI(ex500) 또는 LSI(ex500)을 포함하는 장치에 부여하는 전압은 더 낮은 전압으로 아마도 설정하게 된다.

또한, 복호하기 위한 처리량이 더 클 경우에, 구동 주파수를 높게 설정하고, 복호하기 위한 처리량이 적은 경우에, 구동 주파수를 설정하는 방법으로서 구동 주파수는 더 낮게 설정될 수 있다. 따라서, 설정 방법은 상술된 것들로 한정되지 않는다. 예를 들면, MPEG-4 AVC에 따라 비디오 데이터를 복호하기 위한 처리량이 각 실시예에서 나타낸 동화상 부호화 방법 및 동화상 부호화 장치에 의해 생성된 비디오 데이터를 복호하기 위한 처리량보다도 클 경우에는, 구동 주파수는 상술한 설정과 역순으로 아마도 설정된다.

또한, 구동 주파수의 설정 방법은, 구동 주파수를 더 낮게 설정하는 방법에 한정되지 않는다. 예를 들면, 식별 정보가, 비디오 데이터가 각 실시예에서 나타낸 동화상 부호화 방법 및 동화상 부호화 장치에 의해 생성됨을 나타내는 경우에는, LSI(ex500) 또는 LSI(ex500)를 포함하는 장치에 부여하는 전압을 아마도 더 높게 설정하게 된다. 식별 정보가 비디오 데이터가 MPEG-2, MPEG-4 AVC, VC-1 등의 종래의 표준을 따름을 나타내는 경우에는, LSI(ex500) 또는 LSI(ex500)를 포함하는 장치에 부여하는 전압을 아마도 더 낮게 설정하게 된다. 다른 예로는, 식별 정보가, 비디오 데이터가 각 실시예에서 나타낸 동화상 부호화 방법 및 동화상 부호화 장치에 의해 생성된 것을 나타내는 경우에는, CPU(ex502)의 구동을 아마도 정지시킬 필요는 없다. 식별 정보가 비디오 데이터가 MPEG-2, MPEG-4 AVC, VC-1 등의 종래의 표준을 따름을 나타내는 경우에는, CPU(ex502)가 추가 처리 용량을 갖기 때문에, CPU(ex502)의 구동을 아마도 정지시키게 된다. 식별 정보가, 비디오 데이터가 각 실시예에서 나타낸 동화상 부호화 방법 및 동화상 부호화 장치에 의해 생성됨을 나타내는 경우에도, CPU(ex502)가 추가 처리 용량을 갖는 경우에, CPU(ex502)의 구동을 아마도 주어진 시간에 정지시키게 된다. 이 경우는, 비디오 데이터가 MPEG-2, MPEG-4 AVC, VC-1 등의 종래의 표준을 따름을 나타내는 경우에서보다, 정지 시간을 아마도 더 짧게 설정시키게 된다.

이와 같이, 비디오 데이터가 따르는 표준에 따라, 구동 주파수 사이에서 스위칭함으로써, 전력 절감화를 도모하는 것이 가능해진다. 또한, 배터리를 이용하여 LSI(ex500) 또는 LSI(ex500)을 포함하는 장치를 구동하고 있는 경우에는, 전력 절감화에 따라, 배터리의 수명을 길게 하는 것이 가능하다.

(실시예 E)

텔레비전 및 휴대폰 등의 상술한 기기 및 시스템에는, 상이한 표준을 따르는 복수의 비디오 데이터가 제공되는 경우가 있다. 상이한 표준을 따르는 복수의 비디오 데이터를 복호할 수 있기 위해서, LSI(ex500)의 신호 처리 유닛(ex507)이 상이한 표준을 따를 필요가 있다. 그러나 각각의 표준을 따르는 신호 처리 유닛(ex507)을 개별로 이용하면, LSI(ex500)의 회로 규모가 커지고, 또한, 비용이 증가한다는 과제가 발생한다.

이 과제를 해결하기 위해서, 각 실시예에서 나타낸 동화상 복호 방법을 실행하기 위한 복호 처리 유닛과, MPEG-2, MPEG-4 AVC, VC-1 등의 종래의 표준을 따르는 복호 처리 유닛을 일부 공유하는 구성을 생각하게 된다. 이 구성의 예를 도 31a의 ex900에 도시한다. 예를 들면, 각 실시예에서 나타낸 동화상 복호 방법과, MPEG-4 AVC을 따르는 동화상 복호 방법은, 엔트로피 부호화, 역양자화, 디블로킹 필터링 및 움직임 보상 예측 등의 처리에 있어서 처리 내용이 일부 공통된다. 공유되는 처리 내용에 대해서는, MPEG-4 AVC 표준을 따르는 복호 처리 유닛(ex902)의 사용을 포함한다. 이와 대조적인 경우, 전용 복호 처리 유닛(ex901)이 본 발명의 양상에 고유한 다른 처리에 아마도 사용된다. 특히, 본 발명의 일 양상은 역양자화에 특징이 있으므로, 예를 들면, 역양자화에 대해서는 전용 복호 처리 유닛(ex901)을 이용한다. 그 외의 경우에, 복호 처리 유닛은 엔트로피 복호, 디블로킹 필터링 및 움직임 보상 중 하나 또는 모든 처리에 대해서 공유하게 된다. 각 실시예에 나타낸 동화상 복호 방법을 실행하기 위한 복호 처리 유닛은 공유될 처리에 대해 공유될 수 있으며, 전용 복호 처리 유닛은 MPEG-4 AVC의 처리 유닛에 고유한 처리에 사용될 수 있다.

또한, 처리를 일부 공유화하는 다른 예를 도 31b의 ex1000에 나타낸다. 이 예에서는, 본 발명의 일 양상에 특유한 처리를 지원하는 전용 복호 처리 유닛(ex1001)과, 다른 종래 표준에 특유한 처리를 지원하는 전용 복호 처리 유닛(ex1002)과, 본 발명의 일 양상에 관련된 동화상 복호 방법과 종래의 동화상 복호 방법 사이에서 공유되는 처리를 지원하는 복호 처리 유닛(ex1003)을 포함하는 구성을 이용한다. 여기에서, 전용 복호 처리 유닛(ex1001, ex1002)은, 반드시 본 발명의 일 양상에 따른 처리 및 종래 표준의 처리로 특화될 필요는 없으며, 범용 처리를 실행할 수 있는 것이어도 된다. 또한, 본 실시예의 구성을, LSI(ex500)로 실행하는 것도 가능하다.

이처럼, 본 발명의 일 양상에 따른 동화상 복호 방법과 종래 표준에 따른 동화상 복호 방법 사이에 공유되는 처리용 복호 처리 유닛을 공유함으로써 LSI의 회로 규모를 감소시키고 비용을 감소시키는 것이 가능하다.

광범위하게 기재된 본 발명의 사상이나 적용범위로부터 벗어나지 않고 특정 실시예에 도시한 바와 같이 수많은 변형 및/또는 변경을 본 발명에 관해 행할 수 있음을 당업자는 이해할 것이다. 본 실시예는 그러므로 모든 면에서 예시되며 제한적이지 않은 것으로 고려될 것이다.

본 발명은, 오디오, 정지 이미지, 및 비디오를 부호화하는 부호화 장치, 및 부호화 장치가 부호화한 데이터를 복호하는 복호 장치에 적용될 수 있다. 예컨대, 본 발명은 오디오 장치, 휴대폰, 디지털 카메라, BD 레코더, 및 디지털 텔레비전과 같은 여러 오디오-비디오 장치에 적용될 수 있다.

Claims

시간 움직임 벡터 예측을 통해 비디오를 부호화된 비디오 비트스트림으로 부호화하는 방법으로서, 상기 방법은:
시간 움직임 벡터 예측이 픽처의 서브-픽처 유닛의 인터-픽처 예측에 사용되는지의 여부를 나타내기 위해 플래그의 값을 결정하는 단계;
상기 값을 갖는 플래그를 상기 서브-픽처 유닛의 헤더나 상기 픽처의 헤더에 기록하는 단계를 포함하고;
상기 플래그가 시간 움직임 벡터 예측이 사용됨을 나타낸다면, 상기 방법은:
병치된(collocated) 참조 픽처로부터의 적어도 하나의 움직임 벡터로부터 유도한 적어도 하나의 시간 움직임 벡터 예측자를 포함하는 복수의 움직임 벡터 예측자를 포함하는 움직임 벡터 예측자의 제1 목록을 만드는 단계;
상기 제1 목록으로부터 상기 서브-픽처 유닛의 예측 유닛에 대한 움직임 벡터 예측자를 선택하는 단계; 및
상기 제1 목록으로부터 선택된 상기 움직임 벡터 예측자를 나타내기 위해 제1 파라미터를 부호화된 상기 비디오 비트스트림에 기록하는 단계를 더 포함하는, 부호화 방법.
청구항 1에 있어서, 상기 플래그가 시간 움직임 벡터 예측이 사용되지 않음을 나타낸다면, 상기 방법은:
임의의 시간 움직임 벡터 예측자가 없는 복수의 움직임 벡터 예측자를 포함하는 움직임 벡터 예측자의 제2 목록을 만드는 단계;
상기 제2 목록으로부터 상기 서브-픽처 유닛의 예측 유닛에 대한 움직임 벡터 예측자를 선택하는 단계; 및
상기 제2 목록으로부터 선택된 상기 움직임 벡터 예측자를 나타내기 위해 제2 파라미터를 부호화된 상기 비디오 비트스트림에 기록하는 단계를 더 포함하는, 부호화 방법.
청구항 1 또는 청구항 2에 있어서, 상기 플래그의 값은 상기 픽처의 시간 계층을 기반으로 하여 결정되는, 부호화 방법.
청구항 3에 있어서, 상기 픽처의 시간 계층이 최저 또는 기본 계층인 것으로 결정된다면, 상기 플래그의 값은 시간 움직임 벡터 예측이 사용되지 않음을 나타내도록 설정되고; 그렇지 않다면, 상기 플래그의 값은 시간 움직임 벡터 예측이 사용됨을 나타내도록 설정되는, 부호화 방법.
청구항 1 또는 청구항 2에 있어서, 상기 플래그의 값은 상기 픽처의 픽처 순서 카운트(POC: Picture Order Count) 값을 기반으로 하여 결정되는, 부호화 방법.
청구항 5에 있어서, 상기 픽처의 POC 값이 복호기 픽처 버퍼(DPB: Decoder Picture Buffer)에서의 참조 픽처의 임의의 POC 값보다 더 크다고 결정된다면, 상기 플래그의 값은 시간 움직임 벡터 예측이 사용되지 않음을 나타내도록 설정되고; 그렇지 않다면, 상기 플래그의 값은 시간 움직임 벡터 예측이 사용됨을 나타내도록 설정되는, 부호화 방법.
청구항 1 또는 청구항 2에 있어서, 상기 플래그의 값은 상기 픽처에서의 인터-픽처 서브-픽처 유닛의 서브-픽처 유닛 타입을 기반으로 하여 결정되는, 부호화 방법.
청구항 7에 있어서, 상기 서브-픽처 유닛 타입이 예측(P) 타입이라면, 상기 플래그의 값은 시간 움직임 벡터 예측이 사용되지 않음을 나타내도록 설정되고; 그렇지 않다면, 상기 플래그의 값은 시간 움직임 벡터 예측이 사용됨을 나타내도록 설정되는, 부호화 방법.
청구항 1 또는 청구항 2에 있어서, 상기 플래그의 값은, 상기 서브-픽처 유닛을 포함하는 픽처가 랜덤 액세스 포인트(RAP: Random Access Point) 픽처인지를 기반으로 하여 결정되는, 부호화 방법.
청구항 9에 있어서, 상기 픽처가 상기 RAP 픽처이고 상기 서브-픽처 유닛이 상기 픽처의 비-기본 계층에 속한다면, 상기 플래그의 값은 시간 움직임 벡터 예측이 사용되지 않음을 나타내도록 설정되고; 그렇지 않다면, 상기 플래그의 값은 시간 움직임 벡터 예측이 사용됨을 나타내도록 설정되는, 부호화 방법.
청구항 1 내지 청구항 10 중 어느 한 항에 있어서, 상기 플래그는 상기 서브-픽처 유닛의 헤더에 기록되는, 부호화 방법.
청구항 1 내지 청구항 11 중 어느 한 항에 있어서, 상기 방법은, 하나 이상의 파라미터를 상기 서브-픽처 유닛의 헤더에 기록하여 상기 서브-픽처 유닛의 인터 예측에 사용된 하나 이상의 참조 픽처 목록에서 참조 픽처의 순서를 명시하는 단계를 더 포함하는, 부호화 방법.
청구항 1 내지 청구항 12 중 어느 한 항에 있어서, 상기 방법은:
선택된 상기 움직임 벡터 예측자를 사용하여 움직임 보상된 인터-픽처 예측을 실행하여 상기 예측 유닛을 발생시키는 단계;
원래의 샘플 블록으로부터 상기 예측 유닛을 감산하여 잔류 샘플 블록을 발생시키는 단계; 및
상기 예측 유닛에 대응하는 상기 잔류 샘플 블록을 부호화된 상기 비디오 비트스트림으로 부호화하는 단계를 더 포함하는, 부호화 방법.
청구항 1 내지 청구항 13 중 어느 한 항에 있어서, 제2 목록은 상기 제1 목록보다 하나 더 적은 움직임 벡터 예측자를 포함하며, 상기 제1 및 제2 목록의 움직임 벡터 예측자는 상기 시간 움직임 벡터 예측자를 제외하고 동일한, 부호화 방법.
청구항 1 내지 청구항 14 중 어느 한 항에 있어서, 제1 및 제2 파라미터는 상이한 미리 결정된 비트 표현을 사용하여 부호화된 상기 비디오 비트스트림에 표현되는, 부호화 방법.
청구항 1 내지 청구항 13 중 어느 한 항에 있어서, 상기 제1 및 제2 목록은 동일한 미리 결정된 수의 움직임 벡터 예측자를 포함하며, 상기 제2 목록은, 상기 제1 목록에 존재하지 않으며 임의의 참조 픽처로부터의 움직임 벡터를 사용하지 않고 유도되는 움직임 벡터 예측자를 포함하는, 부호화 방법.
청구항 1 내지 청구항 16 중 어느 한 항에 있어서, 상기 플래그는, 시간 움직임 벡터 예측이 상기 픽처의 다른 서브-픽처 유닛과 독립적으로 서브-픽처 유닛의 인터-픽처 예측에 사용되는지의 여부를 나타내는데 사용되는, 부호화 방법.
청구항 1 내지 청구항 17 중 어느 한 항에 있어서, 상기 서브-픽처 유닛은 상기 픽처의 슬라이스인, 부호화 방법.
시간 움직임 벡터 예측을 통해 부호화된 비디오 비트스트림을 복호하는 방법으로서, 상기 방법은:
부호화된 비디오의 픽처의 헤더나 서브-픽처 유닛의 헤더로부터 플래그를 파싱(parsing)하는 단계; 및
상기 플래그가 시간 움직임 벡터 예측이 사용되는지의 여부를 나타내는지를 결정하는 단계를 포함하며;
상기 플래그가 시간 움직임 벡터 예측이 사용됨을 나타낸다면, 상기 방법은:
병치된 참조 픽처로부터의 적어도 하나의 움직임 벡터로부터 유도한 적어도 하나의 시간 움직임 벡터 예측자를 포함하는 복수의 움직임 벡터 예측자를 포함하는 움직임 벡터 예측자의 제1 목록을 만드는 단계;
상기 제1 목록으로부터 상기 서브-픽처 유닛의 예측 유닛에 대해 선택된 움직임 벡터 예측자를 나타내는 제1 파라미터를 부호화된 상기 비디오 비트스트림으로부터 파싱하는 단계를 더 포함하는, 복호 방법.
청구항 19에 있어서, 상기 플래그가 시간 움직임 벡터 예측이 사용되지 않음을 나타낸다면, 상기 방법은:
임의의 시간 움직임 벡터 예측자가 없는 복수의 움직임 벡터 예측자를 포함하는 움직임 벡터 예측자의 제2 목록을 만드는 단계; 및
상기 제2 목록으로부터 상기 서브-픽처 유닛의 픽처 유닛에 대해 선택된 움직임 벡터 예측자를 나타내는 제2 파라미터를 부호화된 상기 비디오 비트스트림으로부터 파싱하는 단계를 더 포함하는, 복호 방법.
시간 움직임 벡터 예측을 통해 비디오를 부호화된 비디오 비트스트림으로 부호화하는 장치로서, 상기 장치는:
시간 움직임 벡터 예측이 픽처의 서브-픽처 유닛의 인터-픽처 예측에 사용되는지의 여부를 나타내기 위해 플래그의 값을 결정하도록 동작할 수 있는 제어 유닛;
상기 값을 갖는 상기 플래그를 상기 서브-픽처 유닛의 헤더나 상기 픽처의 헤더에 기록하도록 동작할 수 있는 기록 유닛;
움직임 벡터 예측 유닛; 및
상기 움직임 벡터 예측 유닛으로부터 선택된 움직임 벡터 예측자를 기반으로 하여 인터-픽처 예측을 실행하기 위한 인터-픽처 예측 유닛을 포함하며,
상기 움직임 벡터 예측 유닛은 상기 플래그를 수신하도록 구성되며, 제1 값인 상기 플래그를 기반으로 하여, 상기 움직임 벡터 예측 유닛은, 병치된 참조 픽처로부터의 적어도 하나의 움직임 벡터로부터 유도한 적어도 하나의 시간 움직임 벡터 예측자를 포함하는 복수의 움직임 벡터 예측자를 포함하는 움직임 벡터 예측자의 제1 목록을 만들고, 상기 제1 목록으로부터 상기 서브-픽처 유닛의 예측 유닛에 대한 움직임 벡터 예측자를 선택하도록 동작할 수 있으며;
상기 기록 유닛은 또한 상기 제1 목록으로부터 선택된 상기 움직임 벡터 예측자를 나타내기 위해 제1 파라미터를 부호화된 상기 비디오 비트스트림에 기록하도록 동작할 수 있는, 부호화 장치.
청구항 21에 있어서, 상기 플래그가 제2 값일 때, 상기 움직임 벡터 예측 유닛은, 임의의 시간 움직임 벡터 예측자가 없는 복수의 움직임 벡터 예측자를 포함하는 움직임 벡터 예측자의 제2 목록을 만들며, 상기 제1 목록으로부터 상기 서브-픽처 유닛의 예측 유닛에 대한 움직임 벡터 예측자를 선택하도록 동작할 수 있으며;
상기 기록 유닛은 또한 상기 제2 목록으로부터 선택된 상기 움직임 벡터 예측자를 나타내기 위해 제2 파라미터를 부호화된 상기 비디오 비트스트림에 기록하도록 동작할 수 있는, 부호화 장치.
시간 움직임 벡터 예측을 통해 부호화된 비디오 비트스트림을 복호하는 장치로서, 상기 장치는:
부호화된 비디오의 픽처의 헤더나 서브-픽처 유닛의 헤더로부터 플래그를 파싱하여, 상기 플래그가 시간 움직임 벡터 예측이 사용되는지의 여부를 나타내는지를 결정하도록 동작할 수 있는 파싱 유닛;
움직임 벡터 예측 유닛; 및
상기 움직임 벡터 예측 유닛으로부터 선택된 움직임 벡터 예측자를 기반으로 하여 인터-픽처 예측을 실행하기 위한 인터-픽처 예측 유닛을 포함하며;
상기 움직임 벡터 예측 유닛은 상기 플래그를 수신하도록 구성되고, 제1 값인 상기 플래그를 기반으로 하여, 상기 움직임 벡터 예측 유닛은, 병치된 참조 픽처로부터의 적어도 하나의 움직임 벡터로부터 유도한 적어도 하나의 시간 움직임 벡터 예측자를 포함하는 복수의 움직임 벡터 예측자를 포함하는 움직임 벡터 예측자의 제1 목록을 만들도록 동작할 수 있으며;
상기 파싱 유닛은 또한 상기 제1 목록으로부터 상기 서브-픽처 유닛의 예측 유닛에 대한 선택된 움직임 벡터 예측자를 나타내는 제1 파라미터를 부호화된 상기 비디오 비트스트림으로부터 파싱하도록 동작할 수 있는, 복호 장치.
청구항 23에 있어서, 상기 플래그가 제2 값일 때, 상기 움직임 벡터 예측 유닛은, 임의의 시간 움직임 벡터 예측자가 없는 복수의 움직임 벡터 예측자를 포함하는 움직임 벡터 예측자의 제2 목록을 만들도록 동작할 수 있으며; 상기 파싱 유닛은 또한 상기 제2 목록으로부터 상기 서브-픽처 유닛의 예측 유닛에 대한 선택된 움직임 벡터 예측자를 나타내는 제2 파라미터를 부호화된 상기 비디오 비트스트림으로부터 파싱하도록 동작할 수 있는, 복호 장치.