KR20100083853A

KR20100083853A - 픽처 코딩 방법 및 디코딩 방법

Info

Publication number: KR20100083853A
Application number: KR1020107014138A
Authority: KR
Inventors: 지우후아이 루; 요시이치로 가시와기; 마사유키 고즈카; 신야 가도노
Original assignee: 파나소닉 주식회사
Priority date: 2003-02-21
Filing date: 2004-02-18
Publication date: 2010-07-22
Also published as: EP1597909A4; US9071817B2; CN1751511A; US20060159165A1; US8081678B2; BRPI0406507A8; US8630342B2; MXPA05006718A; JP2004254327A; CN101247524A; CN100387059C; JP4348209B2; KR101004208B1; EP1597909A2; AU2004214795B2; CA2513537A1; CA2513537C; KR20050099964A; US20140126632A1; AU2004214795A2

Abstract

본 발명의 픽처 코딩 방법은 블록별로 픽처를 코딩하는 픽처 코딩 방법으로서, 직교변환이 실행되는 블록의 사이즈로서 적어도 두 개의 사이즈 중에서 하나를 선택하는 선택 단계, 선택된 사이즈를 갖는 블록에 대하여 직교변환을 실행하는 변환 단계, 변환 단계에서 취득한 블록의 데이터를 코딩하는 코딩 단계 및 선택 단계에서 선택된 사이즈에 관한 사이즈 정보와 블록의 코딩된 데이터를 포함하는 코딩된 스트림을 생성하는 생성 단계를 포함하며, 사이즈 정보는 사이즈가 코딩된 스트림에서 소정의 섹션 내에 고정된 블록 사이즈인지를 나타내고 소정의 섹션은 시퀀스, 픽처의 그룹, 픽처, 슬라이스 및 매크로블록 중의 하나이다.

Description

픽처 코딩 방법 및 디코딩 방법{PICTURE CODING METHOD AND PICTURE DECODING METHOD}

본 발명은 픽처(picture) 코딩 장치 및 그것에 관한 픽처 디코딩 장치뿐 아니라, 동화상을 효과적으로 압축하는 픽처 코딩 방법 및 그렇게 압축된 동화상을 디코딩하는 픽처 디코딩 방법에 관한 것으로서, 보다 구체적으로는 고압축률을 획득하기 위한 향상된 기술에 관한 것이다.

오디오, 비디오 및 특히 픽셀값을 총체적으로 다루는 멀디미디어의 시대에서, 기존의 정보 매체, 즉 신문, 잡지, 텔레비젼, 라디오, 전화 및 정보가 사람들에게 전달되는 기타 수단들은 최근 멀티미디어의 범위 안에 포함되고 있다. 일반적으로, 멀티미디어란 문자뿐 아니라, 그래픽, 음성 특히 화상 등이 서로 어울려 나타내어지는 것을 일컫는다. 하지만, 멀티미디어의 범위에 전술한 기존의 정보 매체들을 포함하기 위해서는, 그런 정보들을 디지털 형태로 표현하는 것이 절대적으로 필요하게 되었다.

그러나, 전술한 정보 매체의 각각에 포함된 정보의 양을 디지털 정보의 양으로 계산하면, 문자의 경우 문자당 정보의 양은 1~2 byte인데 반해, 음성(전화 음질)의 경우에 요구되는 정보의 양은 초당 64 Kbit이며, 동화상(최신 텔레비젼 수신 화질)의 경우에는 초당 100Mbit 이상이 된다. 따라서, 전술한 정보 매체에 대하여, 디지털 형태로 되었을 때 그런 방대한 정보의 양을 다룬다는 것은 비현실적이다. 예를 들면, 64 Kbit/s ~ 1.5 Mbit/s의 전송 속도를 제공하는 ISDN(Integrated Service Digital Network)을 이용함으로써 비디오폰이 이미 실용화되어 있다고 하더라도, 텔레비젼 및 카메라의 픽처를 ISDN을 통해 직접 전송하는 것은 불가능하다.

이런 배경에 대하여, 정보 압축 기술이 요구되어 왔으며, 예컨대, 비디오폰에 대해서는, ITU-T(International Telecommunication Union - Telecommunication Standardization Sector)가 추천하는 H.261 및 H.263 표준에 부합하는 동화상 압축 기술들이 채용된다. 또한, MPEG-1 표준에 부합하는 정보 압축 기술에 따라서, 오디오 정보와 함께 동영상 정보를 일반적인 음악 CD(Compact Disc)에 저장할 수 있다.

여기서, MPEG(Moving Picture Experts Group)는 ISO/IEC(International Organization for Standardization/International Electrotechnical Commission)에 의해 표준화된 동영상 신호의 압축에 관한 국제 표준이며, MPEG-1은 동영상 신호가1.5Mbit/s의 속도로 전송될 수 있도록 텔레비젼 신호 정보를 대략 백분의 일로 압축하기 위한 표준이다. 또한, MPEG-1 표준에 의해 획득되는 전송 속도는 대략 1.5Mbit/s의 중간 정도 속도이므로, 더 향상된 화질에 대한 요구를 충족시킬 목적으로 표준화된 MPEG-2는 동영상 신호가 2~15Mbit/s의 속도로 전송되는 텔레비젼 방송과 품질에 있어서 동등한 데이터 전송을 가능케 한다. 또한, MPEG-4는 MPEG-1과 MPEG-2의 표준화를 추진했던 작업그룹(ISO/IEC JTC1/SC29/WG11)에 의해 표준화되었다. MPEG-1 및 MPEG-2 보다 높은 압축률을 제공하며, 객체 기반 코딩/디코딩/동작을 가능하게 하는 MPEG-4는 멀티미디어 시대가 요구하는 새로운 기능성을 제공할 수 있다. 표준화의 개시 단계에서, MPEG-4는 비트수 저감 코딩 방법을 제공하는 것을 목적으로 하였으나, 고비트율 코딩뿐 아니라 비월 영상(interlaced image)을 다루는, 보다 일반적인 코딩을 지원하는 표준으로 확장되었다. 최근에는, 더 높은 압축률을 제공하는 차세대 픽처 코딩 방법으로서 MPEG-4 AVC 및 ITU-T H.263를 표준화하기 위해 ISO/ITE 및 ITU-T가 공동으로 노력하고 있다.

일반적으로, 동영상의 코딩에 있어서, 시간적인 그리고 공간적인 방면으로 용장성(冗長性)을 줄임으로써 정보의 양이 압축된다. 따라서, 시간적인 용장성을 줄이는 것을 목적으로 하는 인터 픽처 예측 코딩(inter picture prediction coding)에서는, 순방향 또는 역방향 픽처(들)을 참조하여 블록별로 움직임 추정 및 예측 영상 생성이 실행되며, 그 뒤에, 획득된 예측 영상과 코딩 대상인 현재 픽처 내의 영상 사이의 차분치(差分値)에 대하여 코딩이 실행된다. 여기서, "픽처(picture)"란 하나의 영상(image)을 일컫는 용어이다. 순차 영상(progressive image)의 경우에, "픽처"는 프레임을 뜻하는 반면, 비월 영상의 경우에 "픽처"는 프레임 또는 필드를 뜻한다. 여기서, "비월 영상(interlaced image)"은 입력 시간(capture time)이 나뉘는 두 개의 필드로 구성된 프레임의 영상이다. 비월 영상의 코딩 및 디코딩에서는, 하나의 프레임을 (1) 그대로 프레임으로 다루든지, (2) 두 개의 필드로 다루던지, 또는 (3) 프레임 내의 블록별로 프레임 구조 또는 필드 구조로 다루는 것이 가능하다.

어떤 픽처들도 참조하지 않고 인트라 픽처 예측(intra picture prediction)을 이용하여 코딩되는 픽처를 'I 픽처'라 한다. 오직 하나의 픽처만을 참조해서, 인터 픽처 예측을 이용하여 코딩되는 픽처를 'P 픽처'라 한다. 또한, 동시에 두 픽처를 참조해서, 인터 픽처 예측을 이용하여 코딩되는 픽처를 'B 픽처'라 한다. B 픽처에 대해서는, 표시 순서에 있어서의 순방향/역방향 픽처들로부터 임의로 결합가능한 두 개의 픽처를 참조하는 것이 가능하다. 참조 영상들(참조 픽처들)은 기본 코딩/디코딩 단위로서 역할을 하는 각 블록마다 결정될 수 있다. 제1 참조 픽처로서 코딩된 비트 스트림에서 앞서 묘사된 참조 픽처를 호출함으로써, 그리고 제2 참조 픽처로서 비트 스트림에서 뒤에 표시될 참조 픽처를 호출함으로써, 참조 픽처들 사이의 구별이 이루어진다. 이런 종류의 픽처들을 코딩 및 디코딩하기 위한 조건으로서, 참조용으로 쓰이는 픽처들은 이미 코딩 및 디코딩되어 있을 것이 요구된다.

P 픽처 및 B 픽처는 움직임 보상 인터 픽처 예측을 이용하여 코딩된다. 움직임 보상 인터 픽처 예측을 이용한 코딩은 인터 픽처 예측 코딩에 있어서 움직임 보상을 채용한 코딩 방법이다. 단순히 참조 픽처의 픽셀값에 기초하여 예측을 실행하는 방법과 달리, 움직임 추정은 픽처 내 각 부분의 움직임의 양(이하, "움직임 벡터"라 함)을 추정함으로써, 또한 이런 움직임의 양을 고려하여 예측을 실행함으로써, 데이터의 양을 줄일 뿐 아니라 예측의 정확성을 향상시킬 수 있는 기술이다. 예를 들면, 코딩될 현재 픽처의 움직임 벡터를 추정함으로써, 그 다음으로, 각 움직임 벡터의 양만을 이동시켜서 얻은 예측치와 코딩될 현재 픽처 사이의 에측 오차를 코딩함으로써, 움직임 보상을 통해 데이터의 양을 줄일 수 있다. 이 기술에서, 움직임 벡터 정보는 디코딩될 때에 요구되는 것이므로, 움직임 벡터는 코딩된 형태로 전송되거나 기록되기도 한다.

움직임 벡터는 매크로블록별로 추정된다. 더 구체적으로, 매크로블록은 코딩된 현재 픽처 내에 미리 정해져 있어서, 참조 화면의 검색 영역 내에서 이런 매크로블록으로부터 가장 유사한 참조 블록의 위치를 찾아냄으로써 움직임 벡터를 추정한다.

도 1은 비트 스트림의 예시적인 데이터 구조를 도시한 도면이다. 도 1에 도시된 바와 같이, 비트 스트림은 계층적 구조를 가지고 있다. 비트 스트림(스트림)은 하나 이상의 픽처 그룹(GOP)로 형성된다. 기본 코딩 단위로 GOP를 이용함으로써, 랜덤 액세스할 수 있을 뿐만 아니라 동영상의 편집도 가능해진다. 각 GOP는 그 각각이 I 픽처, P 픽처 및 B 픽처 중의 하나인, 복수의 픽처로 이루어진다. 각 픽처들은 복수의 슬라이스로 구성된다. 각 픽처 내의 스트립형 영역인 각각의 슬라이스는 복수의 매크로블록으로 구성된다. 또한, 각각의 스트림, GOP, 픽처 및 슬라이스는 각 단위의 종점을 나타내는 동기화 신호(sync) 및 상기 각 단위에 공통인 헤더(header)를 포함한다.

스트림의 연속인 비트 스트림으로 전송되는 것이 아니라 단편적인 단위인 패킷 등으로 데이터가 전송되는 경우에는, 헤더 및 헤더 이외 부분인 데이터 부분은 분리되어 전송될 수 있다. 이 경우에, 헤더 및 데이터 부분은, 도 1에 도시된 바와 같이, 동일한 비트 스트림에 포함되지 않는다. 하지만, 패킷의 경우에는, 헤더와 데이터 부분이 연속적으로 전송되지 않는다 해도, 이는 단순히 데이터 부분에 대응하는 헤더가 다른 패킷으로 전송된다는 것이다. 따라서, 헤더와 데이터 부분이 동일한 비트 스트림에 포함되지 않는 경우에도, 도 1을 참조해서 설명한 코딩된 비트 스트림의 개념은 패킷에도 적용가능하다.

도 2는 기존의 픽처 코딩 장치의 구성을 도시한 블록도이다. 이 도면에서, 픽처 코딩 장치(1)는 입력 픽처 신호(Vin)에 대하여 압축 코딩을 실행하는 장치로서, 가변길이 코딩(variable length coding) 등을 실행함으로써 비트 스트림 속으로 코딩되어진, 코딩된 픽처 신호(Str)를 출력한다. 이런 픽처 코딩 장치(1)는 움직임 추정부(ME), 움직임 보상부(MC), 감산부(Sub), 직교변환부(T), 양자화부(Q), 역양자화부(IQ), 역직교변환부(IT), 가산부(Add), 픽처메모리(PicMem), 스위치(SW) 및 가변길이 코딩부(VLC)를 포함한다.

픽처 신호(Vin)는 감산부(Sub) 및 움직임 추정부(ME)에 입력된다. 감산부(Sub)는, 예측 오차로서, 입력 픽처 신호(Vin) 내의 영상과 블록별 각각의 예측 영상 사이의 차이를 계산해서, 산출된 예측 오차를 직교변환부(T)에 출력한다. 직교변환부(T)는 예측 오차에 대해 직교변환을 실행해서 이를 주파수 계수로 변환하고, 이런 주파수 계수를 양자화부(Q)에 출력한다. 양자화부(Q)는 입력된 주파수 계수를 양자화하고, 양자화된 값(Qcoef)을 가변길이 코딩부(VLC)에 출력한다.

역양자화부(IQ)는 양자화된 값(Qcoef)들을 역양자화하여 이들을 주파수 계수로 바꾸고, 이런 주파수 계수들을 역직교변환부(IT)에 출력한다. 역직교변환부(IT)는 주파수 계수들에 대하여 역주파수변환을 실행하여 이들을 예측 오차로 변환하고, 이런 예측 오차를 가산부(Add)에 출력한다. 가산부(Add)는 각각의 예측 오차와 움직임 추정부(MC)에서 출력된 각각의 예측 영상을 더해서, 디코딩된 영상을 만든다. 스위치(SW)는 이런 디코딩된 영상이 저장되어야 한다고 지시되는 때에 온(ON) 되며, 이렇게 디코딩된 영상은 픽처 메모리(PicMem)에 저장된다.

그 동안, 매크로블록별로 픽처 신호(Vin)를 수신하는 움직임 추정부(ME)는 픽처 메모리(PicMem)에 저장된 디코딩된 픽처들 중에서 이런 입력 영상 신호(Vin)에 가장 근접한 영상 영역을 검출하고, 이런 영역의 위치를 나타내는 움직임 벡터(MV)를 결정한다. 움직임 벡터들은 매크로블록을 더 나눔으로써 얻어지는 각각의 블록마다 예측된다. 이것이 행해지면, 하나 이상의 픽처를 참조 픽처로 이용할 수 있다. 움직임 벡터를 예측하기 위해 이용되는 참조 픽처는 식별 번호(참조 인덱스(Index))에 의해서 식별된다. 픽처 메모리(PicMem)에 저장된 각 픽처들의 픽처 번호는 참조 인덱스(Index)와 관련되어 있다.

*움직임 보상부(MC)는, 상기 처리에서 검출된 움직임 벡터 및 참조 인덱스(Index)에 기초하여, 픽처 메모리(PicMem)에 저장된 디코딩된 픽처들 중에서 예측 픽처로서 최적의 픽처를 독출한다.

가변길이 코딩부(VLC)는 양자화된 값(Qcoef), 참조 인덱스(Index) 및 움직임 벡터(MV) 각각에 대하여 가변길이 코딩을 실행하여 이들을 코딩된 스트림(Str)으로서 출력한다.

도 3은 기존의 픽처 디코딩 장치의 구성을 도시한 도면이다. 이 도면에서, 도 2에 도시된 픽처 코딩 장치에서의 구성 부분들과 동일한 방식으로 동작하는 구성 부분에는 같은 번호가 지정되었고, 따라서 설명은 생략한다.

가변길이 디코딩부(VLD)는 코딩된 스트림(Str)을 양자화된 값(Qcoef), 참조 인덱스(Index) 및 움직임 벡터(MV)로 디코딩한다. 이런 양자화된 값(Qcoef), 참조 인덱스(Index) 및 움직임 벡터(MV)는 디코딩 처리가 실행되는 역양자화부(IQ), 움직임 보상부(MC) 및 픽처 메모리(PicMem)에 입력된다. 이런 디코딩 처리 중에 실행되는 처리는 도 2에 도시된 기존의 픽처 코딩 장치에서 실행되는 것과 동등하다.

(비특허문헌) ITU-T Rec. H.264 | ISO/IEC 14496-10 AVC Joint Final Committee Draft of Joint Video Specification(2002-8-10).

하지만, 기존의 픽처 코딩 장치에 따르면, 많은 픽셀을 보유한 모든 영상 들에 대하여, 그리고 다양한 콘텐츠의 모든 영상에 대하여 고압축률을 이용하기는 힘들다. 따라서, 이러한 기존의 픽처 코딩 장치에 대해서 고압축률의 제공뿐 아니라 화질을 향상시킬 수 있을 것이 요구된다.

더 구체적으로, 기존의 픽처 코딩 장치는 직교변환의 실행 단위(직교변환 사이즈)로서 일정한 사이즈의 블록을 이용한다. 이것이, 밝기와 색상에 있어서의 크고 작은 변화뿐만 아니라 높고 낮은 해상도의 픽처들과 같은 다양한 콘텐츠의 픽처를 포함하는 동영상 신호에 대하여 고압축률을 달성하는 것을 어렵게 한다. 그 이유는, 예컨대, MPEG-4 AVC 즉 ITU-T H.264의 경우에 직교변화 사이즈는 4 ×4 픽셀인 반면에, MPEG-1, MPEG-2 및 MPEG-4의 경우에는 직교변환 사이즈가 8 ×8 픽셀이라는 것이다. 그 점에 관해서, 저해상도 영상과 비교하면 디스플레이 장치(예컨대, CRT)의 픽셀들 사이 밀도가 더 높고 픽셀들이 더 강하게 상호연관되어 있기 때문에, 고해상도 영상(예컨대, HDTV)에 대해서는 큰 직교변환 사이즈를 이용하는 것이 바람직하다고 생각된다. 또한, 많은 경우에, 더 많은 고주파 성분을 가지는 콘텐츠에 대하여 더 작은 직교변환 사이즈가 이용되는 반면에, 더 적은 고주파 성분을 가지는 콘텐츠에 대해 더 큰 직교변환 사이즈가 이용되는 것 역시 바람직하다.

본 발명은 상기한 문제들을 고려하여 창작되었으며, 비트율뿐 아니라 픽처들의 해상도가 높은지 또는 낮은지에 상관없이, 그리고 밝기와 색상에 있어서 많은 변화가 있는지에 상관없이, 높은 압축률로 코딩을 수행하는 픽처 코딩 방법, 픽처 디코딩 방법, 픽처 코딩 장치, 픽처 디코딩 장치 및 그 프로그램을 제공하는 것이 본 발명의 목적이다.

상기한 목적을 달성하기 위해, 본 발명에 따른 픽처 코딩 방법은 블록별로 픽처를 코딩하는 방법으로서, 직교변환이 실행되어야하는 블록의 사이즈로서 적어도 두 개의 사이즈 중에서 하나를 선택하는 선택 단계, 선택된 사이즈를 갖는 블록에 대하여 직교변환을 실행하는 변환 단계, 변환 단계에서 취득한 상기 블록의 데이터를 코딩하는 코딩 단계 및 코딩된 블록의 데이터 및 선택부에서 선택된 사이즈에 관한 사이즈 정보를 포함하는 코딩된 스트림을 생성하는 생성 단계를 포함한다.

이런 구성으로, 직교변환 사이즈가 선택이 되기 때문에, 해상도가 높은지 낮은지, 비트율이 높은지 낮은지, 그리고 밝기와 색상에 있어서 많은 변화가 있는지에 따라서 적절한 방식으로 직교변환을 할 수 있다. 따라서, 모든 종류의 픽처들을 고압축률로 압축할 수 있게 된다.

여기서, 사이즈 정보는 그 사이즈가, 코딩된 스트림의 소정의 섹션 내에서 일정한 블록 사이즈인지를 표시할 수 있고, 그 소정의 구획은 시퀀스, 픽처의 집합, 픽처, 슬라이스 및 매크로블록 중의 하나일 수 있다.

상기 구성으로, 직교변환용 블록 사이즈가, 코딩된 스트림 내에서 상기 소정의 구획마다 일정한지를 표시할 수 있게 된다.

여기서, 사이즈 정보는 선택 단계에서 선택된 사이즈가 제1 사이즈 및 제1 사이즈와는 다른 제2 사이즈 중의 하나인지를 나타낼 수 있으며, 제1 사이즈는 4 ×4 픽셀로 구성된 블록의 사이즈일 수 있고, 제2 사이즈는 8 ×8 픽셀로 구성된 블록의 사이즈일 수 있다.

상기 구성으로, 4 ×4 픽셀 블록용 제1 사이즈와 8 ×8 픽셀용 제2 사이즈 사이에서 선택적으로 스위칭함으로써 압축률을 향상시킬 수 있게 된다.

이때, 변환 단계에서는, 직교변환된 블록의 데이터가 상기 블록의 사이즈에 대응하는 가중치 행렬을 이용함으로써 양자화될 수 있다.

상기 구성으로, 가중치 행렬을 이용해서, 가중치에 의해 직교변환된 주파수 성분들을 가중치에 의해 양자화하는 때에 주파수 성분별로 양자화 단계의 사이즈를 변화시킨다. 제1 사이즈 및 제2 사이즈의 각각에 대응하는 가중치 행렬을 이용함으로써, 코딩 효율을 더 향상시킬 수 있게 된다.

이때, 코딩 단계에서, 제2 사이즈에 대응하는 가중치 행렬을 코딩 할 수 있으며, 생성 단계에서, 상기 코딩된 가중치 행렬을 코딩된 스트림에 포함시킬 수 있다.

상기 구성에 의해, 픽처 코딩 및 디코딩 방법 양쪽 모두에 있어서, 디폴트 가중치 행렬로서 제1 사이즈에 대응하는 가중치 행렬을 설정하여, 제2 사이즈에 대응하는 가중치 행렬을 픽처 코딩 방법에서 선택적으로 이용할 수 있게 된다.

이때, 선택 단계에서는, 코딩된 스트림의 비트율, 픽처의 해상도 및 외부로부터의 지시 중 적어도 하나에 따라서 제1 사이즈 및 제2 사이즈 중에서 하나를 선택할 수 있다.

상기 구성으로, 코딩된 스트림의 비트율, 픽처의 해상도 및 외부로부터의 지시 중 어느 하나에 따라서 제1 사이즈 또는 제2 사이즈를 유연하게 선택할 수 있게 된다.

상기한 바와 같이, 본 발명의 픽처 코딩 방법 및 픽처 디코딩 방법에 따라, 픽처 해상도가 높던지 낮던지, 비트율이 높던지 낮던지 그리고 밝기와 색상에 있어서 많은 변화가 있는지에 상관없이 어떤 종류의 픽처들이라도 효율적으로 압축할 수 있게 된다.

또한, 본 발명에 따른 픽처 코딩 장치, 픽처 디코딩 장치 및 그것에 대한 프로그램을 통해서 상기한 효과를 거둘 수 있다.

본 출원에 대한 기술적 배경에 관한 추가적인 정보로서, 2003년 2월 21일에 출원된 미합중국 가특허출원 제60/449135호가 참조문헌으로서 포함된다.

발명의 다양한 목적들, 이점들 및 특징들은 발명의 구체적인 실시형태를 도시한 첨부 도면들과 함께 그것에 관한 설명으로부터 명확해질 것이다.
도 1은 비트 스트림의 예시적인 데이터 구조를 도시한 도면이며,
도 2는 기존의 픽처 코딩 장치의 구성을 도시한 블록도이고,
도 3은 기존의 픽처 디코딩 장치의 구성을 도시한 블록도이며,
도 4는 본 발명의 실시형태에 따라서 픽처 코딩 장치의 구성을 도시한 블록도이고,
도 5(a)~5(g)는 인터 픽처 코딩 시에 움직임 보상용 블록 사이즈를 도시한 도면이며,
도 6(a)는 16 ×16 픽셀 루마(luma) 매크로블록 및 그것에 관한 직교변화 블록을 도시한 블록도이고,
도 6(b)는 8 ×8 픽셀 채도(chroma) 매크로블록 및 그것에 관한 직교변환 블록을 도시한 블록도이며,
도 7(a)는 8 ×8 픽셀 블록에 대한 가중치 행렬을 도시한 도면이고,
도 7(b)는 4 ×4 픽셀 블록에 대한 가중치 행렬을 도시한 도면이며,
도 8은 본 실시형태에 따라서 픽처 코딩 장치 내에서 실행되는 코딩 처리를 도시한 플로우차트이고,
도 9(a)~9(c)는 각각의 코딩된 스트림 내에서 사이즈 정보가 입력되는 곳을 도시한 도면이며,
도 10(a)~10(c)는 GOP별로 각각 코딩된 스트림 내에서 사이즈 정보 및 가중치 행렬이 입력되는 곳을 도시한 도면이고,
도 11(a)~11(c)는 슬라이스별로 각각 코딩된 스트림 내에서 사이즈 정보 및 가중치 행렬이 입력되는 곳을 도시한 도면이며,
도 12는 픽처 코딩 처리에 대한 변형예를 도시한 플로우차트이고,
도 13은 4 ×4 가중치 행렬이 8 ×8 가중치 행렬로부터 도출되는 경우에 실행되는 픽처 코딩 처리를 도시한 플로우차트이며,
도 14는 본 발명의 실시형태에 따라서 픽처 디코딩 장치의 구성을 도시한 블록도이고,
도 15는 본 실시형태의 픽처 디코딩 장치에 의해 실행되는 가변길이 디코딩 처리를 도시한 플로우차트이며,
도 16은 가중치 행렬(W4mat)이 가중치 행렬(W8mat)로부터 도출되는 경우에 실행되는 픽처 디코딩 처리를 도시한 플로우차트이고,
도 17(a)~17(c)는 컴퓨터 시스템에 의해서, 상기 실시형태에 따른 픽처 코딩 방법 및 픽처 디코딩 방법을 구현하는 프로그램을 저장하는 기록 매체를 도시한 도면이며,
도 18은 콘텐츠 공급 시스템의 전체적인 구성을 도시한 블록도이고,
도 19는 픽처 코딩 방법 및 픽처 디코딩 방법을 채용한 이동전화의 외형을 도시한 도면이며,
도 20은 이동전화의 구성을 도시한 블록도이고,
도 21은 디지털 방송 시스템의 전체적인 구성을 도시한 도면이다.

이하 도 4~21을 참조하여 본 발명의 실시형태를 설명한다.

〈픽처 코딩 장치〉

도 4는 본 발명의 실시형태에 따라서 픽처 코딩 장치의 구성을 도시한 블록도이다. 이 도면에서, 픽처 코딩 장치(1)는 결정부(DE), 움직임 추정부(ME), 움직임 보상부(MC), 감산부(Sub), 직교변환부(T1), 양자화부(Q1), 역양자화부(IQ1), 역직교변환부(IT1), 가산부(Add). 픽처 메모리(PicMem), 스위치(SW) 및 가변길이 코딩부(VLC1)를 포함한다.

결정부(DE)는 (1) 직교변환부(T1)에 의해 직교변환이 실행되어야 하는 블록의 블록 사이즈(Tsize, 이하 '직교변환 사이즈'라 함) 및 (2) 양자화부(Q1)에서 이용되는 양자화 행렬을 변경시키는 가중치 행렬(Wmatrix)을 결정한다. 두 가지 직교변환 사이즈(Tsize)가 있는데, 매크로블록마다 선택적으로 결정되는 제1 사이즈 및 제2 사이즈이다. 여기서, 제1 사이즈는 4 ×4 픽셀을 나타내고 제2 사이즈는 8 ×8 픽셀을 나타낸다. 가중치 행렬(Wmatrix)에 관해서는, 제1 사이즈에 대한 가중치 행렬(W4) 및 제2 사이즈에 대한 가중치 행렬(W8)이 있다.

직교변환 사이즈는 코딩될 현재 화상의 해상도, 밝기와 색상에 있어서 많은 변화가 있는지(고주파 성분), 코딩된 스트림(Str)의 비트율 등에 기초해서 결정된다. 예를 들면, 결정부(DE)는 다음과 같은 방식으로 직교변환 사이즈를 선택한다.

예 1: 결정부(DE)는 코딩될 현재 화상의 해상도 레벨이 제1 임계값 이상이면 제2 사이즈를 선택하며, 반면에 현재 화상의 해상도 레벨이 제1 임계값보다 작으면 제1 사이즈를 선택한다. HDTV 등의 해상도 레벨이 제1 임계값으로 이용될 수 있다.

예 2: 결정부(DE)는 코딩 이후의 비트율이 제2 임계값 이상이면 제2 사이즈를 선택하며, 반면에 비트율이 제2 임계값보다 작으면 제1 사이즈를 선택한다. 제2 임계값은, 가령, 10Mbps로 할 수 있다.

예 3: 결정부(DE)는, 이전의 직교변환 결과로부터, 고주파 성분의 수를 판단해서, 고주파 성분의 수가 제3 임계값보다 크면 제2 사이즈를 선택하고, 반면에 그 수가 제3 임계값보다 작으면 상기 결정부(DE)는 제1 사이즈를 선택한다. 즉, "n"차보다 높은 주파수 계수의 값 또는 수를 카운팅함으로써, 많은 고주파 성분이 존재하는지에 대하여 판단한다. 여기서는, 화질 등에 따라서 미리 정해진 값을 제3 임계값으로 할 수 있다.

상기한 예 1~3에서, 결정부(DE)는 또한 움직임 보상용 블록 사이즈에 따라서도 직교변환 사이즈를 결정할 수 있다.

도 5(a)~5(g)는 인터 픽처 코딩 시에 움직임 보상용 블록 사이즈(이하 움직임 보상 사이즈(s)라 함)를 도시한 도면이다. 이들 중에, 도 5(a)는 16 ×16 픽셀의 움직임 보상 사이즈를 도시한 것이고, 도 5(b)는 16 ×8 픽셀을 도시한 것이며, 도 5(c)는 8 ×16 픽셀을 도시한 것이고, 도 5(d)는 8 ×8 픽셀을 도시한 것이다. 또한, 도 5(d)에 도시된 8 ×8 픽셀의 움직임 보상 사이즈는 도 5(e)에 도시된 8 ×4 픽셀, 도 5(f)에 도시된 4 ×8 픽셀 및 도 5(g)에 도시된 4 ×4 픽셀로 더 나뉘어 움직임 보상 사이즈로서 이용될 수도 있다. 처리를 간소화할 수 있도록, 그리고 블록 경계의 아티팩트들이 흩어지지 않도록 움직임 보상 사이즈와 직교변화 사이즈로 이용되는 블록 사이즈들 사이에는 일관성(consistency)이 있는 것이 바람직하다. 이를 고려해서, 결정부(DE)는 직교변환 사이즈를 움직임 보상 사이즈보다 작게 하는 방식으로 직교변환 사이즈를 결정한다.

더 구체적으로, 인터 픽처 코딩의 경우에 있어서, 움직임 보상 사이즈들이 도 5(a)~5(d)에 도시된 바와 같은 경우(16 ×16 픽셀, 16 ×8 픽셀, 8 ×16 픽셀 및 8 ×8 픽셀)에는, 도 5(d)에 도시된 8 ×8 픽셀이 정확히 하나 이상 포함되어 있다. 이런 경우에는, 8 ×8 픽셀 블록별로 직교변환을 실행함으로써 고효율을 얻을 수 있기 때문에, 결정부(DE)는 직교변환 사이즈로서 제2 사이즈(8 ×8 픽셀)를 선택한다. 한편, 도 5(e)~5(g)에 도시된 바와 같이 움직임 보상 사이즈가 8 ×8 픽셀보다 작으면, 결정부는 제1 사이즈(4 ×4 픽셀)를 선택한다

결정부(DE)가 제1 사이즈와 제2 사이즈 사이에서의 변경을 더 자주 할수록, 픽처 코딩 장치 및 픽처 디코딩 장치의 구성은 더 복잡해진다. 하지만, 이렇게 함으로써, 더 좋은 코딩 효율을 얻을 수 있다.

결정부(DE)는, 매크로블록 대신에, 슬라이스/픽처/GOP/시퀀스별로 직교변환 사이즈를 결정할 수 있다. 또한, 직교변환 사이즈가 픽처 코딩 장치의 외부로부터 지시되는 경우에, 결정부(DE)는 직교변환 사이즈(Tsize)로서 그 지시된 사이즈를 이용할 수 있다.

움직임 보상부(MC)는 움직임 추정부(ME)에 의해 추정된 움직임벡터(들)에 따라서 참조 블록을 판독하여 그 참조 블록으로부터 예측 영상을 생성하고, 생성된 예측 영상을 감산부(Sub)에 출력한다. 예측 영상은, 도 5(a)~5(g)에 도시된 움직임 보상 사이즈 중에서 선택된 움직임 보상 사이즈를 갖는 각 블록마다 출력된다.

감산부(Sub)는, 도 5(a)~도(g)에 도시된 움직임 보상 사이즈들 중에서 선택된 움직임 보상 사이즈를 갖는 각각의 블록마다 픽처 신호(Vin) 내의 영상과 예측 영상 사이의 차이를 예측 오차로서 계산하고, 이렇게 산출된 예측 오차를 직교변환부(T1)에 출력한다.

직교변환부(T1)는 결정부(DE)에 의해 출력된 직교변환 사이즈(Tsize)를 갖는 각각의 블록마다 예측 오차에 대하여 직교변환을 실행해서 이를 주파수 계수로 변환하고, 그 결과를 양자화부(Q)에 출력한다. 이제, 도 6(a) 및 도 6(b)를 참조하여, 직교변환 사이즈(Tsize)가 제2 사이즈(8 ×8 픽셀)인 경우에 실행되는 직교변환에 관해 설명한다. 도 6(a)의 좌측에 도시된 것은 16 ×16 픽셀 루마(luma) 매크로블록이다. 인트라 픽처 코딩의 경우에, 제2 사이즈가 직교변환 사이즈로서 지시되기 때문에, 직교변환부(T1)는 8 ×8 픽셀 블록별로 직교변환을 실행한다. 또한, 도 6(a)의 우측에 도시된 바와 같이, 직교변환부(T1)는 네 개의 직교변환된 8 ×8 픽셀 블록들 중에서 네 개의 DC 성분들을 통합해서 하나의 2 ×2 픽셀 루마 DC 블록을 생성하며, 그리고 나서, 이런 루마 DC 블록에 대하여 2 ×2 픽셀 블록 직교변환을 실행한다. 루마 DC 블록의 생성 및 2 ×2 픽셀 블록 직교변환은 생략 가능하다. 한편, 인터 픽처 코딩의 경우에, 제2 사이즈가 직교변환 사이즈(Tsize)로서 지시되기 때문에, 직교변환부(T1)는 8 ×8 픽셀 블록별로 직교변환을 실행한다. 이 경우에는, 루마 DC 블록의 생성 및 직교변환의 실행은 수행되지 않는다.

도 6(b)의 좌측에 도시된 것은 8 ×8 픽셀 채도(chroma) 매크로블록이다. 픽처 신호를 고려하여, 일반적으로, 채도 신호(chrominance signal)는 휘도 신호(luminance signal)와 비교하면 수평 및 수직 방향 모두 절반의 픽셀 수를 갖는다. 따라서, 채도 매크로블록 내의 픽셀 수는 8 ×8 픽셀이다. 인트라 픽처 코딩의 경우에, 직교변환부(T1)는 직교변환 사이즈(Tsize)로서 표시된 제2 사이즈의 절반 사이즈인 4 ×4 픽셀 블럭별로 직교변환을 실행한다. 그리고 나서, 직교변환부(T1)는 네 개의 직교변환된 4 ×4 채도 블록 중에서 네 개의 DC 성분을 통합하여 하나의 2 ×2 채도 DC 블록을 생성하고, 그 다음에 이런 채도 DC 블록에 대하여 2 ×2 픽셀 블록 직교변환을 실행한다. 채도 DC 블록의 생성 및 2 ×2 픽셀 블록 직교변환의 실행는 생략 가능하다. 한편, 인터 픽처 코딩의 경우에, 직교변환부(T1)는 직교변환 사이즈(Tsize)로서 표시된 제2 사이즈의 절반 사이즈인 4 ×4 픽셀 블록별로 직교변환을 실행한다. 이 경우에, 채도 DC 블록의 생성 및 직교변환의 실행은 수행되지 않는다.

상기한 바와 같이, 직교변환 사이즈(Tsize)가 제2 사이즈를 나타내면, 직교변환부(T1)는, 인트라 픽처 코딩의 경우에, 루마 블록 및 채도 블록에 대하여 두 단계의 직교변환을 실행하며, 반면에 인터 픽처 코딩의 경우에는, 단일 단계의 직교변환을 실행한다. 한편, 직교변환 사이즈(Tsize)가 제1 사이즈를 나타내면, 제1 및 제2 사이즈 사이의 차이는 블록 사이즈에 있어서의 차이이기 때문에, 직교변환부(T1)는 제2 사이즈의 경우에서와 같이 직교변환을 실행하지만, 인트라 픽처 코딩 및 인터 픽처 코딩의 두 경우 모두 단일 단계의 코딩이 실행된다.

양자화부(Q1)는 직교변환부(T1)로부터 입력된 4 ×4 또는 8 ×8 픽셀 주파수 계수 블록을 양자화하고, 양자화된 값(Qcoef)을 가변길이 코딩부(VLC)에 출력한다. 이 때, 양자화부(Q1)는 결정부(DE)에 의해 결정된 가중치 행렬(Wmatrix)에 따라서 양자화 행렬에 가중치를 가하고, 이렇게 가중치가 적용된 양자화 행렬을 이용하여 주파수 계수 블록을 양자화 한다. 도 7(a) 및 7(b)는 가중치 행렬을 도시한 도면이다. 직교변환 사이즈가 제1 사이즈인 경우, 결정부(DE)로부터 입력되는 가중치 행렬(Wmatrix)은 도 7(b)에 도시된 4 ×4 픽셀 가중치 행렬(W4mat)이고, 반면에 직교변환 사이즈가 제2 사이즈인 경우, 가중치 행렬(Wmatrix)은 도 7(a)에 도시된 8 ×8 픽셀 가중치 행렬(W8mat)이다. 가중치 행렬을 이용함으로써, 직교변환된 주파수 성분들을 양자화할 때에 양자화 단계의 사이즈가 주파수 성분별로 달라진다. MPEG-2에서 가중치 행렬의 이용은 코딩 효율을 향상시킨다는 것이 알려져 있다. 본 발명에서는 복수의 직교변환 사이즈가 그들 사이에서 변경되기 때문에, 각각의 직교변환 사이즈마다 다른 가중치 행렬을 채용함으로써 코딩 효율을 더 향상시킬 수 있다. 도 7(a)에서, W8i,j("i" 및 "j"는 각각 0~7 중 어느 것)는 8열 중에서 "i" 번째 열 및 8행 중에서 "j" 번째 행에 있는 성분에 적용되는 가중치를 나타낸다. 도 7(b)에서, W4i,j("i" 및 "j"는 각각 0~3 중 어느 것)는 4열 중에서 "i" 번째 열 및 4행 중에서 "j" 번째 행에 있는 성분에 적용되는 가중치를 나타낸다.

역양자화부(IQ1)는 양자화된 값(Qcoef)들에 대하여 역양자화를 실행해서 이들을 주파수 계수로 바꾸고, 이런 주파수 계수들을 역직교변환부(IT1)에 출력한다. 바꿔 말하면, 역양자화부(IQ1)는, 결정부(DE)로부터 입력된 가중치 행렬(Wmatrix)에 따라서, 양자화부(Q1)에 의해 실행되는 처리의 역순이 되는 처리를 실행한다.

역직교변환부(IT1)는 역양자화부(IQ1)로부터 수신한 주파수 계수 블록에 대하여 역주파수변환을 실행하여 이것을 예측 오차로 변환하고, 이런 예측 오차를 가산부(Add)에 출력한다. 바꿔 말하면, 역직교변환부(IT1)는, 결정부(DE)로부터 입력된 직교변환 사이즈를 갖는 각각의 블록에 대하여 직교변환부(T1)에 의해 실행되는 처리의 역순이 되는 처리를 실행한다.

가산부(Add)는 감산부(Sub)가 처리를 실행한 것과 동일한 움직임 보상 사이즈를 갖는 각각의 블록마다 움직임 보상부(MC)로부터 출력된 예측 영상과 예측 오차를 더해서, 디코딩된 영상을 생성한다.

스위치(SW)는 이렇게 디코딩된 영상을 저장해야 한다고 지시될 때 온(ON) 되며, 디코딩된 영상은 픽처 메모리(PicMem)에 저장된다.

또한, 매크로블록별로 픽처 신호(Vin)를 수신한 움직임 추정부(ME)는 픽처 메모리(PicMem)에 저장되어 있는 디코딩된 픽처들 중에서, 입력된 영상 신호(Vin)에 가장 근접한 영상 영역을 추정하고, 이 영역의 위치를 나타내는 움직임벡터(MV)를 결정한다. 움직임 벡터(MV)들은, 매크로블록을 더 나누어서 얻어진 각 블록마다 추정된다. 이렇게 하면, 참조 픽처로서 하나 이상의 픽처를 이용할 수 있다. 움직임 벡터를 추정하는 데에 이용되는 참조 픽처는 식별번호(참조 인덱스(Index))에 의해 표시된다. 픽처 메모리(PicMem)에 저장된 각 픽처들의 픽처 번호는 참조 인덱스와 연관된다.

움직임 보상부(MC)는, 상기 처리에서 검출된 움직임 벡터들 및 참조 인덱스(Index)에 기초하여, 픽처 메모리(PicMem)에 저장된 디코딩된 픽처들 중에서 예측 영상으로서 최적의 픽처를 독출한다.

가변길이 코딩부(VLC1)는 양자화된 값(Qcoef), 참조 인덱스(Index) 및 움직임 벡터(MV)의 각각에 대하여 가변길이 코딩을 실행해서 이들을 코딩된 스트림(Str)으로서 출력한다. 이 때, 가변길이 코딩부(VLC1)는 각각의 직교변환 사이즈(Tsize)에 따라서 사이즈 정보(TsizeFlag)를 생성하고, 이 사이즈 정보(TsizeFlag) 및 가중치 행렬(Wmatrix)을 코딩한다. 두 가지 유형의 가중치 행렬이 있는데, 8 ×8 직교변환에 대한 가중치 행렬(W8mat)과 4 ×4 직교변환에 대한 가중치 행렬(W4mat)이다.

도 8은 본 발명에 따라서 픽처 코딩 장치 내에서 실행되는 코딩 처리를 도시한 플로우차트이다. 결정부(DE)는 매크로블록별로 직교변환 사이즈(Tsize) 및 가중치 행렬(Wmatrix)을 결정한다(S10). 직교변환 및 양자화는 이렇게 결정된 직교변환 사이즈(Tsize) 및 가중치 행렬(Wmatrix)에 기초해서 실행된다. 또한, 가변길이 코딩부(VLC1)는, Tsize를 나타내는 사이즈 정보(TsizeFlag)가 시퀀스, GOP, 픽처, 슬라이스 및 매크로블록 중 하나인 소정의 섹션마다 코딩된 스트림(Str)에 포함되도록 하는 방식으로 코딩을 실행한다. 여기서, 사이즈 정보(TsizeFlag)는 (A) '소정의 섹션 내에 있는 모든 직교변환 사이즈가 8 ×8 픽셀이다' (B) '소정의 섹션 내에 있는 모든 직교변환 사이즈가 4 ×4 픽셀이다' 그리고(C) 소정의 섹션 내에 있는 모든 직교변환 사이즈가 8 ×8 픽셀인지 4 ×4 픽셀인지가 알려져 있지 않다(즉, 4 ×4 픽셀 블록과 8 ×8 픽셀 블록이 섞여 있다)' 중의 하나를 의미한다. 모든 사이즈 정보(TsizeFlag) (A)~(C)를 서로 구별할 필요는 없고, 따라서, 예를 들면, (A)와 (C) 및 (B)와 (C) 사이에서만 구별해도 된다. 또한, 8 ×8 및 4 ×4 직교변환 사이즈의 혼합이 있어서는 안되는 경우에는, (A) 및 (B) 사이에서만 구별하면 된다.

도 9(a)에 도시된 바와 같이, 소정의 섹션으로서의 GOP별로 사이즈 정보(TsizFlag)를 코딩하는 경우에, 가변길이 코딩부(VCL1)는 그 섹션 내에 있는 모든 직교변환 사이즈(Tsize)가 제2 사이즈(8 ×8 픽셀) 또는 제1 사이즈(4 ×4 픽셀) 중 어느 것인지를 판정한다(S11 및 S12).

판정의 결과가 8 ×8 픽셀 블록만 있다는 것을 나타내는 경우에, 가변길이 코딩부(VLC1)는 GOP 내의 모든 직교변환 블록들이 8 ×8 픽셀의 사이즈라는 것을 나타내는 사이즈 정보(TsizeFlag)를 코딩하고(S13), 8 ×8 픽셀 블록에 대한 가중치 행렬(W8mat)을 코딩한다(S14). 도 10(b)는 이 경우에 생성되는 코딩된 스트림(Str)을 도시하고 있다.

판정의 결과가 4 ×4 픽셀 블록만 있다는 것을 나타내는 경우에, 가변길이 코딩부(VLC1)는 GOP 내의 모든 직교변환 블록들이 4 ×4 픽셀 사이즈라는 것을 나타내는 사이즈 정보(TsizeFlag)를 코딩하고(S15), 4 ×4 픽셀 블록에 대한 가중치 행렬(W4mat)을 코딩한다(S16). 도 10(c)는 이 경우에 생성되는 코딩된 스트림(Str)을 도시하고 있다.

판정의 결과가 모든 직교변환 블록들을 8 ×8 픽셀 블록 또는 4 ×4 픽셀 블록 중의 하나로 분류할 수 없다(즉, 둘이 섞여있다)는 것을 나타내는 경우에, 가변길이 코딩부(VLC1)는 GOP 내의 모든 직교변환 블록들이 4 ×4 픽셀 또는 8 ×8 픽셀 중 하나의 사이즈만은 아니라는 것을 나타내는 사이즈 정보(TsizeFlag)를 코딩하고(S17), 4 ×4 픽셀 블록에 대한 가중치 행렬(W4mat) 및 8 ×8 픽셀 블록에 대한 가중치 행렬(W8mat)을 코딩한다(S18). 도 10(a)는 이 경우에 생성되는 코딩된 스트림(Str)을 도시하고 있다. 매크로블록마다의 직교변환 사이즈(Tsize)가 제1 사이즈인지 또는 제2 사이즈인지를 디코딩 장치에 알리기 위해서, 직교변환 사이즈(Tsize)가 매크로블록별로 포함되는 방식으로 가변길이 코딩부(VLC1)가 코딩을 실행하는 것이 바람직하다.

상기한 설명에서는, 가변길이 코딩부(VLC1)가 GOP별로 사이즈 정보(TsizeFlag)를 코딩하는 경우에 대하여 예시하였지만, 도 9(b)에 도시된 바와 같이, 가변길이 코딩부(VLC1)가 슬라이스별로 사이즈 정보(TsizeFlag)를 코딩해도 된다. 이런 경우에는, 도 11(a)~11(c)에 도시된 바와 같이 가중치 행렬이 코딩된다.

도 11(a)는 소정의 섹션 내에 제1 사이즈 및 제2 사이즈가 섞여있는 경우에 코딩된 스트림의 구조를 도시하고 있다. 코딩된 스트림의 헤더에는, (코딩될 현재 픽처에 앞서) 상기 섞여있는 두 개의 직교변환 사이즈를 나타내는 사이즈 정보(TsizeFlag)가 코딩되어 있고, 8 ×8 직교변환 가중치 행렬(W8mat) 및 4 ×4 직교변환 가중치 행렬(W4mat)이 사이즈 정보(TsizeFlag)에 이어서 코딩되어 있다. 8 ×8 직교변환 가중치 행렬과 4 ×4 직교변환 가중치 행렬은 이런 순서로 있을 필요는 없으며, 따라서 이들 두 종류의 행렬은 반대 순서로 정렬하도록 결정될 수도 있다. 도 11(b)는 제2 사이즈만이 소정의 섹션 내 직교 변환에 이용되는 경우에 코딩된 스트림의 구조를 도시한 것이다. 이렇게 코딩된 스트림의 헤더에는, (코딩될 현재 픽처에 앞서) 8 ×8 직교변환 사이즈를 나타내는 사이즈 정보(TsizeFlag)가 코딩되어 있고, 8 ×8 직교변환 가중치 행렬(W8mat)이 사이즈 정보(TsizeFlag)에 이어서 코딩되어 있다. 도 11(c)는 제1 사이즈만이 소정의 섹션 내 직교변환에 이용되는 경우에 코딩된 스트림의 구조를 도시한 것이다. 이렇게 코딩된 스트림의 헤더에는, (코딩될 현재의 픽처에 앞서) 4 ×4 직교변환 사이즈를 나타내는 사이즈 정보(TsizeFlag)가 코딩되어 있고, 4 ×4 직교변환 가중치 행렬(W4mat)이 사이즈 정보(TsizeFlag)에 이어서 코딩되어 있다.

또한, 도 9(c)에 도시된 바와 같이, 가변길이 코딩부(VLC1)는 매크로블록별로 사이즈 정보(TsizeFlag)를 코딩할 수 있다. 하지만, 도 9(c)의 경우에는, 사이즈 정보(TsizeFlag) 대신에, 직교변환 사이즈(Tsize) 자체가 코딩될 수도 있다. 상기 기술한 도 9(a)~9(c)는 각각 사이즈 정보(TsizeFlag)가 삽입될 부분을 나타낸다. 복수의 픽처로 구성된 스트림마다 또는 시퀀스마다 직교변환 사이즈가 다른 것으로 스위치되는 경우에는, 도 9(a)에 도시된 바와 같이 사이즈 정보(TsizeFlag)를 각각의 스트림 또는 시퀀스의 상단(top)에 삽입하는 것이 바람직하다. 이것은, 스트림 또는 시퀀스 전체에 걸쳐서 픽처의 사이즈 및 품질에 있어서 변화가 거의 없는 경우에 효과적이다. 한편, 영상 콘텐츠가 픽쳐별로 변해서 그에 따라 직교변환 사이즈를 각각의 픽처마다 다른 것으로 스위치할 필요가 있는 경우에는, 도 9(b)에 도시된 바와 같이, 각 픽처의 상단에 사이즈 정보(TsizeFlag)를 배치하는 것이 바람직하다. 또한, 직교변환 사이즈가 매크로블록별로 다른 것으로 스위치될 필요가 있는 경우에는, 도 9(c)에 도시된 바와 같이, 사이즈 정보(TsizeFlag)를 각 매크로블록의 상단에 배치하는 것이 바람직하다.

〈변형예〉

(1) 도 12는, 도 8에 도시된 픽처 코딩 처리의 변형예를 도시한 플로우차트이다. 이 도면은, 상기한 사이즈 정보(TsizeFlag) (B)와 (C) 사이에 구별이 있는 경우에 실행되는 코딩 처리를 도시하고 있다. 도 8에 도시된 것들과 동일한 단계들에는 동일한 번호를 지정한다. 이 구성에 의해, 사이즈 정보(TsizeFlag)는 상술한 소정의 섹션 내 모든 직교변환 사이즈들이 4 ×4 픽셀인지를 나타내며, 이런 표시는 1 비트로 나타낼 수 있다.

(2) 최적값은 각각의 가중치 행렬(W8mat) 및 가중치 행렬(W4mat)에 설정되는 것이 바람직하다. 하지만, 결정부(DE)가 스트림 혹은 픽처별로 가중치 행렬(Wmatrix)을 결정하는 경우에는, 가중치 행렬(W8mat)을 가중치 행렬(W4mat)로부터 도출하는 것 및 그 역이 가능하다.

도 13은 가중치 행렬(W4mat)이 가중치 행렬(W8mat)로부터 도출되는 경우에 실행되는 픽처 코딩 처리를 도시한 플로루차트이다. 상기 플로우차트는, 도 8의 플로우차트와 비교하면, S19 단계가 추가되어 있다. 도 8에서의 것들과 동일한 단계에는 동일한 번호를 지정하며, 그에 따라서 설명은 생략한다. 이제, 도 8과 도 9 사이의 차이점만을 설명한다. S19 단계에서, 가변길이 코딩부(VLC1)는 아래와 같은 방식으로 8 ×8 가중치 행렬(W8mat)로부터 4 ×4 가중치 행렬(W4mat)을 도출하며, 도출된 가중치 행렬(W4mat)을 코딩한다.

W4 i,j=K*W8 2i,2j ("i" 및 "j"는 각각 0~3의 어느 것이며, "K"는 상수이다)

직교변환부(T1)는 유사한 방식으로 가중치 행렬(W4mat)을 도출해서, 직교변환에 이용한다.

가변길이 코딩부(VLC1)는 도출된 4 ×4 가중치 행렬(W4mat)을 코딩하지 않을 수도 있다.

또한, 양자화부(Q1) 및 역양자화부(IQ1)는, 인트라 픽처 코딩 및 인터 픽처 코딩에서 동일한 직교변환 사이즈에 대하여 처리를 실시하는 경우에도, 인트라 픽처 코딩 및 인터 픽처 코딩에 대하여 상이한 가중치 행렬을 이용할 수 있다. 더 나아가, 양자화부(Q1) 및 역양자화부(IQ1)는 휘도 신호와 채도 신호에 대하여 상이한 가중치 행렬을 이용할 수 있다.

또한, 양자화부(Q1) 및 역양자화부(IQ1)는 복수의 가중치 행렬들로부터 양자화에 이용되는 가중치 행렬을 선택할 수 있다.

또한, 양자화부(Q1) 및 역양자화부(IQ1)는 가중치 행렬의 이용이 특히 효과적인 더 큰 직교변환 사이즈(예컨대, 제2 사이즈)에 대해서만 가중치 행렬을 이용해서 양자화 행렬에 가중치를 둘 수 있고, 다른 사이즈(제1 사이즈)에 대해서는 양자화 행렬에 가중치 행렬을 이용한 가중치를 두지 않을 수 있다.

〈픽처 디코딩 장치〉

도 14는 본 발명의 실시형태에 따라서 픽처 디코딩 장치의 구성을 도시하는 블록도이다.

이 도면에서는, 도 4에 도시된 픽처 코딩 장치에 도시된 것들과 동일한 구성요소에 동일한 번호를 지정하였고, 따라서 그에 대한 설명은 생략한다.

코딩된 스트림(Str)은 가변길이 디코딩부(VLD1)에 의해 디코딩된다. 이러한 코딩의 결과는 가중치 행렬(Wmatrix) 및 직교변환 사이즈(Tsize)를 포함한다. 역양자화부(IQ1)는 가중치 행렬(Wmatrix)을 이용해서 양자화 행렬에 가중치를 두며, 가중치가 적용된 양자화 행렬을 이용하여 역양자화를 실행한다. 역직교변환부(IT1)는 결정된 직교변환 사이즈(Tsize)에 따라서 역직교변환을 실행산다. 다른 조작은 기존의 픽처 디코딩 방법을 실현하는 픽처 디코딩 장치를 도시하는 도 3의 블록도에 기술된 것과 동일하다.

도 15는 본 실시형태의 픽처 디코딩 장치에 의해 실행되는 가변길이 디코딩 처리를 도시한 플로우차트이다. 이 도면에 도시된 바와 같이, 가변길이 디코딩부(VLD1)는 코딩된 스트림(Str) 내에 포함된 사이즈 정보(TsizeFlag)를 디코딩하고(S30), 이 사이즈 정보가 제2 사이즈(8 ×8 픽셀)를 갖는 블록들만 존재한다고 지시하는지를 판단한다. 제2 사이즈를 갖는 블록들만 있다고 판단한 경우에, 가변길이 디코딩부(VLD1)는 가중치 행렬(W8mat)을 디코딩한다(S33). 한편, 사이즈 정보(TsizeFlag)가 8 ×8 직교변환만이 적용되었다고 지시하지 않는 경우이자, 이 사이즈 정보(TsizeFlag)가 제1 사이즈(4 ×4 픽셀)를 갖는 블록만이 존재한다고 지시하는 경우(S32)에는, 가변길이 디코딩부(VLD1)는 4 ×4 가중치 행렬(W4mat)를 디코딩한다(S34). 또한, 사이즈 정보(TsizeFlag)가 4 ×4 직교변환만이 적용되었다고 지시하지 않는 경우에, 가변길이 디코딩부(VLD1)는 8 ×8 가중치 행렬(W8mat) 및 4 ×4 가중치 행렬(W4mat)을 디코딩한다(S35). 그리고 나서, 역양자화 및 역직교변환이 이 디코딩 결과에 따라서 실행된다.

코딩된 스트림(Str) 내에 코딩된 가중치 행렬(W4mat)이 없는 경우에, 픽처 디코딩 장치는 가중치 행렬(W8mat)로부터 가중치 행렬(W4mat)을 도출할 수 있다. 도 16은 가중치 행렬(W4mat)이 가중치 행렬(W8mat)로부터 도출되는 경우에 실행되는 픽처 디코딩 처리를 도시한 플로우차트이다. 도 15와 비교해서, 이 플로우 차트는 S36 단계가 새롭게 추가되어 있다. S36 단계에서는, 도 13에 도시된 S19 단계의 방식과 동등한 방식으로, 가중치 행렬(W4mat)이 가중치 행렬(W8mat)로부터 도출된다.

상술한 바와 같이, 본 실시형태에 따른 픽처 디코딩 장치는 도 4에 도시된 코딩 장치에 의해 코딩되었던 코딩된 스트림(Str)을 정확히 디코딩할 수 있다. 직교변환 사이즈(Tsize)는 가변길이 디코딩부(VLD1)로부터 얻어지는 것으로서 상술하였음을 주의해야 한다. 하지만, 직교변환 사이즈(Tsize)가 상술한 바와 같이 움직임 보상 블록의 사이즈에 따라서 다른 것으로 스위치되는 경우에, 직교변환 사이즈(Tsize)는 움직임 보상 블록의 사이즈에 기초해서 도출될 수 있다.

또한, 전술한 실시형태에 도시된 바와 같은 픽처 코딩 방법 및 픽처 디코딩 방법을 실현하는 프로그램이 플렉시블(flexible) 디스크와 같은 기록매체에 기록되어 있다면, 상술한 실시형태에서 제시한 처리를 독립한 컴퓨터 시스템에서 쉽게 실시할 수 있게 된다.

도 17(a), 17(b) 및 17(c)들은 상술한 실시형태에 따라서 픽처 코딩 방법 및 픽처 디코딩 방법을 실현하는 프로그램을 저장하는 기록매체를 도시한 도면이다.

도 17(a)는 기록매체 그 자체로서의 플렉시블 디스크의 물리적 형태의 예를 도시하고 있으며, 도 17(b)는 정면에서 본 플렉시블 디스크의 외형도, 개략적인 단면도 및 플렉시블 디스크 자체를 도시하고 있다. 플렉시블 디스크(FD)는 케이스(F) 속에 포함되어 있으며, 복수의 트랙(Tr)은, 각각의 트랙이 각(angular) 방향으로 16 섹터(sector, Se)로 나뉜 채로, 주변으로부터 반지름 방향으로 플렉시블 디스크(FD)의 표면에 동심형으로(concentrically) 형성된다. 따라서, 상술한 프로그램을 저장하는 플렉시블 디스크에서는, 이 프로그램으로서의 픽처 코딩 방법 및 픽처 디코딩 방법이 플렉시블 디스크(FD) 상의 그것에 대해 할당된 영역에 기록된다.

한편, 도 17(c)는 플렉시블 디스크(FD)에 프로그램을 기록하고 독출하기 위한 구조를 도시하고 있다. 상기 픽처 코딩 방법 및 픽처 디코딩 방법을 실현하는 프로그램을 플렉시블 디스크(FD)에 기록하는 경우에, 이런 프로그램은 플렉시블 디스크 드라이브(FDD)를 통해서 컴퓨터 시스템(Cs)을 이용함으로써 기입된다. 한편, 픽처 코딩 방법 및 픽처 디코딩 방법이 플렉시블 디스크(FD) 상의 프로그램을 통해 컴퓨터 시스템(Cs) 내에서 구성되는 경우에, 프로그램은 플렉시블 디스크 드라이브(FDD)를 통해서 플렉시블 디스크(FD)로부터 독출되며 그리고 나서 컴퓨터 시스템(Cs)에 전송된다.

상기 설명은 기록매체가 플렉시블 디스크라는 가정하에서 주어진 것이지만, 광 디스크을 이용할 수도 있다. 또한, 기록매체는 이에 한정되지 않고, IC 카드 및 ROM 카셋트처럼 프로그램을 기록할 수 있는 어떠한 다른 매체도 이용할 수 있다.

이하 픽처 코딩 방법 및 픽처 디코딩 방법뿐 아니라 상기한 실시형태에서 보인 바와 같이 이들의 적용예들을 설명한다.

도 18은 콘텐츠 분배 서비스를 실현하는 콘텐츠 공급 시스템(ex100)의 전체 구성을 도시한 블록도이다. 통신 서비스를 제공하는 영역은 원하는 사이즈의 셀들로 나뉘고, 고정 무선국들인 기지국(ex107 ~ ex110)들은 각각의 셀에 배치된다.

이 콘텐츠 공급 시스템(ex100)에서, 컴퓨터(ex111), PDA(Personal Digital Assistant, ex112), 카메라(ex113), 이동전화(ex114) 및 카메라폰(ex115)과 같은 장치들은 인터넷 서비스 제공자(ex102), 전화 네트워크(ex104) 및 기지국(ex107 ~ ex110)을 통해서 인터넷(ex101)에 각각 접속된다.

하지만, 콘텐츠 공급 시스템(ex100)은 도 18에 도시된 바와 같은 조합에 한정되지 않으며, 그들 중 어떤 것의 조합과도 접속할 수 있다. 또한, 장치들의 각각은, 고정 무선국들인 기지국(ex107 ~ ex110)을 통하지 않고, 전화 네트워크(ex104)에 직접 접속될 수 있다.

카메라(ex113)는 동영상을 촬영할 수 있는 디지털 비디오 카메라같은 것이다. 이동전화는 PDC(Personal Digital Communication) 시스템, CDMA(Code Division Multiple Access) 시스템, W-CDMA(Wideband-Code Division Multiple Access) 시스템, PHS(Personal Handyphone System) 등과 같은 시스템의 이동전화이면 되고, 이들 중 어느 하나일 수 있다.

또한, 스트리밍 서버(ex103)는 카메라(ex113)를 이용하는 유저에 의해 전송된 코딩된 데이터에 기초해서 실황(live) 분배 등이 가능한 전화 네트워크(ex104) 및 기지국(ex109)을 통해 카메라(ex113)에 접속된다. 데이터 전송 처리를 할 수 있는 서버 같은 것이나 카메라 중에서 어느 하나가 촬영된 데이터를 코딩할 수 있다. 또한, 카메라(ex116)가 촬영한 동영상 데이터는 컴퓨터(ex111)를 통해서 스트리밍 서버(ex103)에 전송될 수 있다. 카메라(ex116)는 정지화상 및 동영상을 촬영할 수 있는 디지털 카메라와 같은 장치이다. 이 경우에, 카메라(ex116) 또는 컴퓨터(ex111)는 동영상 데이터를 코딩할 수 있다. 이 경우에, 컴퓨터(ex111) 또는 카메라(ex116)에 포함된 LSI(ex117)가 코딩 처리를 실행한다. 코딩 및 디코딩용 소프트웨어는 컴퓨터(ex111) 등에 의해 판독 가능한 기록 매체인 특정 종류의 기억매체(CD-ROM, 플렉시블 디스크 및 하드디스크)에 통합되어 있어도 된다. 또한, 카메라가 장착된 이동전화(ex115)는 동영상 데이터를 전송할 수 있다. 동영상 데이터는 이동전화(ex115) 내에 포함된 LSI에 의해 코딩된 데이터이다.

이 콘텐츠 공급 시스템(ex100)에서, 카메라(ex113), 카메라(ex116) 등을 사용하는 유저가 촬영했던 콘텐츠(예컨대, 뮤직 실황 라이브)는 상술한 실시형태에서와 동일한 방식으로 코딩되어서 스트리밍 서버(ex103)에 전송되고, 스트리밍 서버(ex103)는 클라이언트에게 그들의 요구에 의해서 콘텐츠 데이터를 스트림 분배한다. 여기서 클라이언트는 상기 코딩된 데이터를 디코딩할 수 있는 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 이동전화(ex114) 등이다. 상기한 구성을 갖는 콘텐츠 공급 시스템(ex100)은 클라이언트들로 하여금 코딩된 데이터를 수신 및 재생할 수 있도록 하며, 그들이 실시간으로 데이터를 수신, 디코딩 및 재생하게 함으로써 개인 방송을 실현할 수 있도록 하는 시스템이다.

본 실시형태에서 제시한 픽처 코딩 장치 및 픽처 디코딩 장치는 상기 시스템을 구성하는 각 장치 등에서 실행되는 코딩 및 디코딩에 이용될 수 있다.

이동전화를 예로 들어서 설명한다.

도 19는 상기 실시형태에서 설명한 픽처 코딩 방법 및 픽처 디코딩 방법을 채용한 이동전화를 도시한 도면이다. 이동전화(ex115)는 기지국(ex110)과 전파를 전송/수신하는 안테나(ex201), 비디오 및 정지화상을 촬영할 수 있는 CCD 카메라 같은 카메라부(ex203), 카메라부(ex203)에 의해 촬영된 비디오 등과 안테나(ex201)에 의해 수신된 비디오 등을 디코딩함으로써 얻어진 데이터를 표시하는 액정 디스플레이와 같은 표시부(ex202), 조작키(ex204)의 그룹이 구비된 본체, 음성을 출력하는 스피커와 같은 음성 출력부(ex208), 음성을 입력하는 마이크로폰과 같은 음성 입력부(ex 205), 카메라가 촬영한 동영상 및 정지화상의 데이터, 수신한 이메일의 데이터 및 동영상 데이터 또는 정지화상 데이터와 같은 코딩된 데이터 또는 디코딩된 데이터를 저장하는 기록매체(ex207) 및 기록매체(ex207)가 이동전화(ex115)에 부착될 수 있게 하는 슬롯부(ex206)를 갖는다. 기록매체(ex207)는 SD 카드 같은 플라스틱 카드에 저장된, 전기적으로 삭제 및 재기입이 가능한 비휘발성 메모리인 EEPROM(Elactrically Erasable and Programmable Read Only Memory)와 같은, 플레시 메모리 소자에 의해 구현된다.

다음으로, 도 20을 참조하여, 이동전화(ex115)를 설명한다. 이동전화(ex115)에서는, 전원회로부(ex310), 조작 입력 제어부(ex304), 픽처 코딩부(ex312), 카메라 인터페이스부(ex303), LCD(Liquid Crystal Display) 제어부(ex302), 픽처 디코딩부(ex309), 다중화/역다중화부(ex308), 기록/재생부(ex307), 모뎀 회로부(ex306) 및 음성 처리부(ex305)가 동기식 버스(ex313)을 통해 상호접속되는 방식으로, 표시부(ex202) 및 조작키(ex204)를 구비한 본체의 각 부를 중심적으로 제어하는 주 제어부(ex311)가 구성된다.

통화-종료키 또는 전원키가 유저 조작에 의해 켜지면, 전원 회로부(ex310)는 배터리 팩으로부터 각 부에 전력을 공급해서, 카메라 장착 디지털 이동전화(ex115)를 활성화하여 대기 상태에 있게 한다.

이동전화(ex115)에서, 음성처리부(ex305)는 음성 입력부(ex205)가 수신한 음성 신호를, 통화 모드에서, CPU, ROM, RAM 등으로 구성된 주 제어부(ex311)의 제어하에 디지털 음성 신호로 전환하고, 모뎀 회로부(ex306)는 그것에 대해서 대역 확장 처리를 실행하며, 전송/수신 회로부(ex301)는 그 데이터에 대한 디지털로부터 아날로그로의 전환 처리 및 주파수 변환 처리를 실행해서, 그 결과를 안테나(ex201)를 통해 전송한다. 또한, 이동전화(ex115)에서는, 통화 모드에서 안테나(ex201)가 수신한 데이터가 증폭 및 주파수 변환 처리 그리고 아날로그에서 디지털로의 전환 처리되며, 모뎀 회로부(ex306)는 그 결과에 대해 역대역확장 처리를 실행하고, 음성 처리부(ex305)는 이를 아날로그 음성 데이터로 전환해서, 음성 출력부(ex208)를 통해 이를 출력한다.

또한, 데이터 통신 모드에서 이메일을 송신하는 경우에, 본체의 조작키(204)를 조작해서 입력한 이메일의 텍스트 데이터는 조작 입력 제어부(ex304)를 통해서 주 제어부(ex311)에 보내진다. 주 제어부(ex311)에서는, 모뎀 회로부(ex306)가 텍스트 데이터에 대해서 대역 확장 처리를 하고 전송/수신 회로부(ex301)가 그것에 대해 디지털에서 아날로그로의 전환 처리 및 주파수 변환 처리를 행한 후에, 그 결과를 안테나(ex201)를 통해 기지국(ex110)에 전송한다.

픽처 데이터가 데이터 통신 모드에서 전송되면, 카메라부(ex203)가 촬영한 픽처 데이터가 카메라 인터페이스부(ex303)를 통해서 픽처 코딩부(ex312)에 공급된다. 픽처 데이터가 전송되지 않는다면, 카메라부(ex203)가 촬영한 픽처 데이터를 카메라 인터페이스부(ex303) 및 LCD 제어부(ex302)를 통해서 표시부(ex202)에 직접 표시할 수도 있다.

본 발명에 따른 픽처 코딩 장치를 포함하는 픽처 코딩부(ex312)는 상기 실시형태에서 제시된 픽처 코딩 장치에 의해 채용된 코딩 방법을 이용해서 카메라부(ex203)로부터 공급된 픽처 데이터에 대하여 압축 코딩을 실행해서 이를 코딩된 픽처 데이터로 전환하고 다중화/역다중화부(ex308)에 이를 보낸다. 이때, 이동전화(ex115)는 음성 입력부(ex205)가 수신한 음성을, 카메라부(ex203)가 촬영하는 동안에, 음성 처리부(ex305)를 통해서 디지털 음성 데이터로서 다중화/역다중화부(ex308)부에 보낸다.

다중화/역다중화부(ex308)는 소정의 방법을 이용하여 픽처 코딩부(ex312)로부터 공급된 코딩된 픽처 데이터 및 음성 처리부(ex305)로부터 공급된 음성 데이터를 다중화하고, 모뎀 회로부(ex306)는 그 다중화된 데이터에 대해 대역 확장 처리를 실행하고, 전송/수신 회로부(ex301)는 그 결과에 대해 디지털로부터 아날로그로의 처리 및 주파수 변환 처리를 실행해서 처리된 데이터를 안테나(ex201)를 통해 전송한다.

데이터 통신 모드에서, 웹 페이지에 링크된 동영상 파일 데이터를 수신하면, 모뎀 회로부(ex306)는 안테나(ex201)를 통해서 기지국(ex110)으로부터 수신한, 수신된 신호에 대하여 역대역확장 처리를 실행하고, 그 다중화된 데이터를 다중화/역다중화부(ex308)에 내보낸다.

안테나(ex201)를 통해서 수신한 다중화된 데이터를 디코딩하기 위해, 다중화/역다중화부(ex308)는 다중화된 데이터를 픽처 데이터의 코딩된 비트 스트림과 음성 데이터의 코딩된 비트 스트림으로 나누고, 동기식 버스(ex308)를 통해서, 이렇게 코딩된 픽처 데이터를 픽처 디코딩부(ex309)에, 음성 데이터는 음성 처리부(ex305)에 공급한다.

다음으로, 본 발명에 따른 픽처 디코딩 장치를 포함하는 픽처 디코딩부(ex309)는 상술한 실시형태에서 나타낸 코딩 방법과 쌍을 이루는 디코딩 방법을 이용해서 픽처 데이터의 코딩된 비트 스트림을 디코딩하여 재생용 동영상 데이터를 생성하고, 이런 데이터를 LCD 제어부(ex302)를 통해서 표시부에 공급한다. 따라서, 예컨대, 웹 페이지에 링트된 동영상 파일에 포함된 픽처 데이터가 표시된다. 동시에, 음성처리부(ex305)는 음성 데이터를 아날로그 음성 신호로 전환하며, 그리고 나서 이를 음성 출력부(ex208)에 공급한다. 따라서, 예컨대, 웹 페이지에 링크된 동영상 파일에 링크된 음성 데이터가 재생된다.

*상술한 시스템은 유일한 예가 아니며, 따라서 위성/지상 디지털 방송이 대화의 최근 주제였던 배경에 대하여, 상기한 실시형태의 픽처 코딩 장치 또는 픽처 보호화 장치 중 적어도 하나는 도 21에 도시된 바와 같이 디지털 방송 시스템에 포함될 수 있다. 더 구체적으로, 방송국(ex409)에서, 비디오 정보의 코딩된 비트 스트림이 통신 또는 방송용 위성(ex410)에 전송된다. 그것을 수신하자마자, 방송 위성(ex410)은 방송용 전파를 전송하고, 위성 방송 수신기를 구비한 집의 안테나(ex406)는 이런 전파를 수신하며, 텔레비젼(수신기)(ex401) 및 셋톱박스(STP, ex407)와 같은 장치들은 코딩된 비트스트림을 디코딩하고 디코딩된 데이터를 재생한다. 상술한 실시형태에 나타난 바와 같은 픽처 디코딩 장치는 CD 및 DCD와 같은 기록 매체인 기억매체(ex402)에 기록된 코딩된 데이터를 독출하고 디코딩하는 재생 장치(ex403)에서 구현될 수 있다. 이 경우에, 재생된 비디오 신호는 모니터(ex404)에 표시된다. 픽처 디코딩 장치가 케이블 텔레비젼용 케이블(ex405)이나 위성/지상 방송용 안테나에 접속된 셋톱박스(ex407)에서 구현되어, 이를 텔레비젼 모니터(ex408)에 표시하는 것도 고려할 수 있다. 이 경우에, 픽처 디코딩 장치는 셋톱박스가 아닌 텔레비젼에 포함되어도 된다. 또는 안테나(ex411)가 설치된 자동차(ex412)가 위성(ex410), 기지국(ex107) 등으로부터 신호를 수신해서, 자동차(ex412)에 장착된 카 네비게이션 시스템(ex413)과 같은 표시 장치 상에 동영상을 재생할 수도 있다.

또한, 상기 실시형태에서 제시된 픽처 코딩 장치에 의해 픽처 신호를 코딩하고 그 결과를 기록매체에 기록할 수도 있다. 예들은 DVD 디스크(ex421)에 픽처신호를 기록하기 위한 DVD 리코더 및 하드 디스크에 픽처 신호를 기록하기 위한 디스크 리코더와 같은 리코더(ex420)를 포함한다. 또한, 픽처 신호는 SD 카드(ex422)에 기록될 수도 있다. 만약 리코더(ex420)에 상기 실시형태에서 제시된 픽처 디코딩 장치가 설치되어 있다면, DVD 디스크(ex421)나 SD 카드(ex422)에 기록된 픽처 신호를 재생해서 모니터(ex408)에 이를 표시할 수 있다.

카 네비게이션 시스템(ex413)의 구성으로서, 도 20에 도시된 구성에서 카메라부(ex203) 및 카메라 인터페이스부(ex303)가 없는 구성을 고려할 수 있다. 동일한 것이 컴퓨터(ex111), 텔레비젼(수신기)(ex401) 등에 적용될 수 있다.

이동전화(ex114)와 같은 단말에 관해서, 인코더(encoder)만을 갖는 전송 단말뿐 아니라, 인코더 및 디코더(decoder)를 모두 갖는 전송/수신 단말과 디코더만을 갖는 수신 단말도 구현 형태로 가능하다.

상술한 것처럼, 상기 실시형태에서 제시된 픽처 코딩 방법 및 픽처 디코딩 방법을 상기 장치 및 시스템 둥 어느 하나에 채용할 수 있다. 따라서, 상술한 실시형태에서 설명한 효과를 거둘 수 있게 된다.

지금까지 설명한 발명으로부터, 발명의 실시형태가 다양한 방법으로 변할 수 있다는 것은 명백하다. 이런 변형예들은 발명의 기술적 사상 및 범위에서 벗어난 것이 아니며, 본 기술 분야의 숙련된 자에게 자명한 이런 모든 수정 사항들은 이하의 청구항들의 범위 내에 속한다.

본 발명은, 동영상을 분배하는 웹서버, 이런 동영상을 수신하는 네트워크 단말, 동영상을 기록하고 재생할 수 있는 디지털 카메라, 카메라가 설치된 이동전화, DVD 리코더/플레이어, 퍼스널 컴퓨터 등뿐만 아니라 블록별로 픽처를 코딩하는 픽처 코딩 장치와 픽처 디코딩 장치로서 이용되는 데에 적합하다.

Claims

블록별로 코딩된 스트림을 디코딩하는 디코딩 방법으로서,
역직교변환이 실행되는 블록의 역직교변환 사이즈가 제1 사이즈인지, 또는 제2 사이즈인지를, 상기 코딩된 스트림으로부터 추출하는 단계;
상기 코딩된 스트림에 포함되어 있는 코딩된 데이터를 가변길이 디코딩하여 각 블록의 변환 계수를 얻어내는 단계;
상기 추출된 역직교변환 사이즈에 대응하는 양자화 행렬을 이용하여 상기 변환 계수를 역양자화하는 단계; 및
상기 추출된 역직교변환 사이즈에 기초해서, 각 블록의 상기 역양자화된 변환 계수를 역직교변환하는 단계를 포함하고,
상기 추출 단계는, 상기 코딩된 스트림에 포함되어 있는 사이즈 정보에 기초해서 상기 역직교변환 사이즈를 추출하는 것을 포함하는, 디코딩 방법.
제1항에 있어서,
상기 사이즈 정보는, 역직교변환이 실행되는 블록의 역직교변환 사이즈가 상기 제1 사이즈인지, 또는 상기 제1 사이즈와 상기 제2 사이즈의 혼합인지를 나타내는 정보이며, 상기 블록은 소정의 이미지 데이터 유닛에 포함되어 있는, 디코딩 방법.
제2항에 있어서,
상기 사이즈 정보가 역직교변환이 실행되는 상기 블록의 역직교변환 사이즈가 상기 제1 사이즈와 상기 제2 사이즈의 혼합임을 나타내는 경우에, 상기 추출 단계는, 역직교변환이 실행되는 상기 블록에 움직임 보상을 실행하는 데 이용되는 움직임 보상 블록 사이즈에 기초해서 상기 역직교변환 사이즈를 추출하는 것을 포함하는, 디코딩 방법.
제3항에 있어서,
상기 제1 사이즈는 상기 제2 사이즈보다 작으며,
상기 추출 단계에서, 상기 움직임 보상 블록 사이즈가 상기 제2 사이즈보다 작은 경우에, 상기 제1 사이즈가 상기 역직교변환 사이즈로서 이용되는, 디코딩 방법.
블록별로 픽처를 디코딩하는 픽처 디코딩 방법으로서,
코딩된 픽처를 포함하는 코딩된 스트림을 디코딩함으로써, 직교변환된 블록의 데이터 및 상기 블록의 사이즈에 관한 사이즈 정보를 추출하는 추출 단계; 및
상기 사이즈 정보가 지시하는 사이즈를 갖는 블록의 상기 데이터에 대하여 역직교변환을 실행하는 역변환 단계를 포함하고,
상기 사이즈 정보는 상기 사이즈가 상기 코딩된 스트림의 소정의 섹션 내에서 일정한 블록 사이즈인지를 나타내는, 픽처 디코딩 방법.
제5항에 있어서,
상기 소정의 섹션은 시퀀스, 픽처의 그룹, 픽처, 슬라이스 및 매크로블록 중의 하나인, 픽처 디코딩 방법.
블록별로 픽처를 디코딩하는 픽처 디코딩 방법으로서,
코딩된 픽처를 포함하는 코딩된 스트림을 디코딩함으로써, 직교변환된 블록의 데이터 및 상기 블록의 사이즈에 관한 사이즈 정보를 추출하는 추출 단계; 및
상기 사이즈 정보가 지시하는 사이즈를 갖는 블록의 상기 데이터에 대하여 역직교변환을 실행하는 역변환 단계를 포함하고,
상기 사이즈 정보는 상기 사이즈가 제1 사이즈 및 상기 제1 사이즈와는 다른 제2 사이즈 중의 하나인지를 나타내는, 픽처 디코딩 방법.
제7항에 있어서,
상기 제1 사이즈는 4 ×4 픽셀로 구성된 블록의 사이즈이며, 상기 제2 사이즈는 8 ×8 픽셀로 구성된 블록의 사이즈인, 픽처 디코딩 방법.
제7항에 있어서,
상기 역변환 단계에서, 상기 직교변환된 블록의 데이터는 상기 블록의 사이즈에 대응하는 가중치 행렬을 이용함으로써 양자화되는, 픽처 디코딩 방법.
제9항에 있어서,
상기 역변환 단계에서, 상기 직교변환된 블록의 사이즈가 상기 제2 사이즈인 경우에는, 상기 양자화에 이용되는 상기 가중치 행렬이 복수의 가중치 행렬로부터 선택되는, 픽처 디코딩 방법.
제10항에 있어서,
상기 추출 단계에서는, 상기 제2 사이즈에 대응하는 상기 가중치 행렬이 추출되는, 픽처 디코딩 방법.
제7항에 있어서,
상기 사이즈 정보는 시퀀스별로 상기 코딩된 스트림에 포함되는, 픽처 디코딩 방법.
제7항에 있어서,
상기 사이즈 정보는 상기 코딩된 스트림의 비트율 및 상기 픽처의 해상도 중 적어도 하나에 따라서 선택되는, 픽처 디코딩 방법.
제7항에 있어서,
상기 픽처는 휘도 신호 및 채도 신호를 포함하며,
직교변환이 실행되는 채도 블록의 사이즈는 수평 및 수직 방향으로 휘도 블록 사이즈의 절반 사이즈로 정해지는, 픽처 디코딩 방법
블록별로 픽처를 디코딩하는 픽처 디코딩 장치로서,
코딩된 픽처를 포함하는 코딩된 스트림을 디코딩함으로써, 직교변환된 블록의 데이터 및 상기 블록의 사이즈에 관한 사이즈 정보를 추출하는 추출부; 및
상기 사이즈 정보가 지시하는 사이즈를 갖는 블록의 상기 데이터에 대하여 역직교변환을 실행하는 역변환부를 포함하고,
상기 사이즈 정보는 상기 사이즈가 상기 코딩된 스트림의 소정의 섹션 내에서 일정한 블록 사이즈인지를 나타내는, 픽처 디코딩 장치
블록별로 픽처를 디코딩하는 프로그램을 기록한 기록 매체로서, 상기 프로그램은 컴퓨터로 하여금,
코딩된 픽처를 포함하는 코딩된 스트림을 디코딩함으로써, 직교변환된 블록의 데이터 및 상기 블록의 사이즈에 관한 사이즈 정보를 추출하는 추출 단계; 및
상기 사이즈 정보가 지시하는 사이즈를 갖는 상기 블록의 상기 데이터에 대하여 역직교변환을 실행하는 역변환 단계를 실행시키고,
상기 사이즈 정보는 상기 사이즈가 상기 코딩된 스트림의 소정의 섹션 내에서 일정한 블록 사이즈인지를 나타내는, 프로그램을 기록한 컴퓨터로 판독가능한 기록매체.