KR101065998B1 - 동화상 부호화 방법 및 동화상 복호화 방법 - Google Patents

Abstract

동화상 부호화 장치(1)는: 파라미터 세트로 이미 전송된 양자화 매트릭스(WM) 및 양자화 매트릭스(WM)를 식별하기 위한 매트릭스 ID를 보유하되, 이들은 서로 연관되어 있는 양자화 매트릭스 보유 유닛(112); 및 상기 양자화 매트릭스 보유 유닛(112)으로부터 양자화를 위해 사용된 양자화 매트릭스(WM)에 대응하는 매트릭스 ID를 구하여 상기 매트릭스 ID를 부호화된 스트림(Str)에 배치하는 가변 길이 부호화 유닛(111)을 포함한다.

Description

동화상 부호화 방법 및 동화상 복호화 방법{MOVING PICTURE CODING METHOD AND MOVING PICTURE DECODING METHOD}

본원은 다음의 미국 가출원(Provisional Application): 2004년 1월 30일에 출원된 60/540,499호, 2004년 3월 12일 출원된 60/552,907호, 및 2004년 4월 12일에 출원된 60/561,351호를 우선권으로 청구하고, 그 내용이 전체적으로 참조로 여기에 포함된다.

본 발명은 동화상을 부호화하여 스트림을 생성하는 동화상 부호화 방법 및 이러한 부호화된 스트림을 복호화하는 동화상 복호화 방법, 그리고 스트림에 관한 것이다.

오디오, 비디오 및 그 밖의 픽셀값을 통합적으로 취급하는 멀티미디어 시대에서는, 현존하는 정보매체, 즉 사람에게 정보를 전달하는 신문, 잡지, 텔레비전, 라디오, 전화 및 그 밖의 수단들이 최근에 멀티미디어 범위에 포함되기에 이르렀다. 일반적으로, 멀티미디어는 문자뿐만 아니라 그래픽, 오디오 및 특히 화상 등을 함께 결합시켜서 나타내는 것을 말한다. 그러나, 상기한 현존하는 정보매체를 멀티미디어의 범위에 포함시키기 위해서는, 이러한 정보를 디지털 형태로 나타내는 것이 필요 조건이라고 여겨진다.

그러나, 상기한 정보매체 각각에 포함되는 정보량을 디지털 정보량으로 계산하면, 문자당 정보량은 문자의 경우에는 1 내지 2 바이트인 반면에, 오디오(전화 품질)의 경우에 요구되는 정보량은 초당 64Kbits이고, 동화상(현재의 텔레비전 수신 품질)의 경우에 요구되는 정보량은 초당 100Mbits이다. 따라서, 상기한 정보매체가 디지털 형태로 존재하는 이러한 막대한 양의 정보를 취급하는 것은 현실적이지 못하다. 예를 들어, 비록 화상 전화가 64Kbits/s 내지 1.5Mbits/s의 전송 속도를 제공하는 ISDN(Integrated Services Digital Network)을 사용하여 이미 실제로 사용되고 있지만, IDSN을 통해 텔레비전 및 카메라의 비디오를 전송하는 것은 실용적이지 못하다.

이러한 배경에 따라, 정보 압축 기술이 필요해졌고, 예를 들어, ITU-T(International Telecommunication Union - Telecommunication Standardization Sector)에 의해 제시된 H.261 및 H.263 표준을 따르는 동화상 압축 기술이 화상 전화에 채용된다. 또한, MPEG-1 표준을 따르는 정보 압축 기술에 따라, 통상의 음악 CD(Compact disc)에 화상 정보를 사운드 정보와 함께 저장할 수 있다.

여기서, MPEG(Moving Picture Experts Group)은 ISO/IEC(International Organization for Standardization, International Electrotechnical Commission)에 의해 표준화된 동화상 신호의 압축에 대한 국제 표준이고, MPEG-1은 동화상 신호가 1.5Mbit/s의 속도로 전송될 수 있도록 대략 100분의 1로 텔레비전 신호 정보를 압축하는 표준이다. 또한, MPEG-1 표준에 의해 달성되는 전송 속도는 대략 1.5Mbit/s의 중간 품질의 속도이므로, 더 향상된 화질에 대한 욕구를 만족시킬 목 적으로 표준화된, MPEG-2는 동화상 신호가 2 내지 15Mbit/s의 속도로 전송되는 텔레비전 방송과 동등한 품질의 데이터 전송을 허락한다. 또한, MPEG-4는 MPEG-1 및 MPEG2의 표준화를 진행시킨 작업 그룹(ISO/IECJTC1/SC29/WG11)에 의해 표준화되었다. MPEG-1 및 MPEG-2 보다 높은 압축률을 제공하고 물체 기반의 부호화/복호화/오퍼레이션을 가능하게 하는 MPEG-4는 멀티미디어 시대에서 요구되는 새로운 기능을 제공할 수 있다. 표준화의 시작 단계에서, MPEG-4는 낮은 비트 전송율의 부호화 방법을 제공하는 것을 목표로 하였지만, 비월 주사된 이미지를 처리하는 좀더 보편적인 부호화뿐만 아니라 높은 비트 전송율의 부호화를 지지하는 표준으로 확장되었다. 현재, ISO/IEC 및 ITU-T가 연합하여 더 높은 압축률을 제공하는 차세대 화상 부호화 방법으로서 MPEG-4 AVC 및 ITU-T H.264를 표준화하기 위해 노력하고 있다. 2002년 8월 현재, 차세대 화상 부호화 방법을 위한 CD(Committee Draft)가 발행되었다.

일반적으로, 동화상의 부호화에서는, 시간 및 공간방향으로 중복성을 감소시켜서 정보량을 압축한다. 따라서, 시간 중복성을 감소시킬 목적의 화상간 예측 부호화에서는, 앞쪽 및 뒤쪽의 화상(들)을 참조하여 블록 단위로 움직임 추정 및 예측 이미지의 생성이 수행된 다음, 얻어진 예측 이미지와 부호화될 현재 화상 사이의 차이값에 대해 부호화가 수행된다. 여기서, "화상(picture)"은 하나의 이미지(image)를 나타내는 용어이다. 순차 이미지의 경우에는, "화상"은 프레임을 의미하는 반면에, 비월주사된 이미지의 경우에는 프레임 또는 필드를 의미한다. 여기서, "비월주사된 이미지"는 캡처시(capture time)에 분리되는 2개의 필드로 구성되는 프레임의 이미지이다. 비월주사된 이미지의 부호화 및 복호화에 있어서는, 하나의 프레임을 프레임 그대로, 2개의 필드로, 또는 프레임내의 블록 단위의 프레임 구조 또는 필드 구조로 취급할 수 있다.

임의의 화상을 참조하지 않고 화상내 예측을 사용하여 부호화되는 화상을 I 화상이라 한다. 단지 하나의 화상을 참조하는 화상간 예측을 사용하여 부호화되는 화상을 P 화상이라 한다. 그리고, 2개의 화상을 참조하는 화상간 예측을 사용하여 부호화되는 화상을 B 화상이라 한다. B 화상은 디스플레이 순서의 앞쪽/뒤쪽 화상으로부터 임의로 결합될 수 있는 2개의 화상을 참조하는 것이 가능하다. 참조 이미지(참조 화상)는 기본 부호화/복호화 단위인 각 블록에 대해 결정될 수 있다. 부호화된 비트 스트림에 먼저 기술될 참조 화상을 제 1 참조 화상으로서 호출하고, 비트 스트림에 나중에 기술될 참조 화상을 제 2 참조 화상으로서 호출함으로써 이러한 참조 화상들 사이에 구분이 이루어진다. 이러한 타입의 화상들을 부호화 및 복호화하기 위한 조건으로서, 참조용으로 사용되는 화상이 미리 부호화 및 복호화될 필요가 있다.

P 화상과 B 화상은 움직임 보상된 화상간 예측을 사용하여 부호화된다. 움직임 보상된 화상간 예측의 사용에 의한 부호화는 화상간 예측 부호화에서 움직임 보상을 채용한 부호화 방법이다. 단순히 참조 화상의 픽셀값에 의거하여 예측을 수행하는 방법과는 달리, 움직임 추정은 화상내의 각 부분의 움직임의 양(이하에서, "움직임 벡터"라 한다)을 추정하고 또한 이러한 움직임의 양을 고려하여 예측을 행함으로써, 예측 정확도를 향상시킬 수 있을 뿐만 아니라 데이터량을 감소시킬 수 있는 기술이다. 예를 들어, 부호화될 현재 화상의 움직임 벡터를 추정한 다음 각 움직임 벡터와 부호화될 현재 화상만을 이동시켜서 얻어진 예측값들 사이의 예측오차(prediction residual)를 부호화함으로써 움직임 보상을 통해 데이터량을 줄일 수 있다. 이러한 기술에서는, 복호화시에 움직임 벡터 정보가 필요하므로, 움직임 벡터도 부호화된 형태로 기록 또는 전송된다.

움직임 벡터는 매크로블록 단위로 추정된다. 특히, 매크로블록이 부호화될 현재 화상내에 미리 고정되고, 이러한 고정된 매크로블록과 가장 유사한 참조 블록의 위치를 참조 화상의 서치 영역내에서 찾아 움직임 벡터를 추정한다.

도 1은 비트 스트림의 데이터 구조의 실시예를 도시한 도면이다. 도 1이 도시한 바와 같이, 비트 스트림은 하기의 계층 구조를 갖는다. 비트 스트림(스트림)은 둘 이상의 GOP(Group of Pictures)로 형성된다. 기본 부호화 단위로서 GOP를 사용하여, 동화상을 편집할 뿐만 아니라 임의 접근할 수 있게 한다. 각 GOP는 복수의 화상으로 구성되고, 그 각각은 I 화상, P 화상, 및 B 화상 중 하나이다. 각 화상은 또한 복수의 슬라이스(slice)로 구성된다. 각 화상내의 스트립 형상의 영역(strip-shaped area)인, 각 슬라이스는 복수의 매크로블록으로 구성된다. 또한, 각 스트림, GOP, 화상, 및 슬라이스는 각 단위의 종료점을 나타내는 동기신호(sync)와 상기 각 단위에 공통하는 데이터인 헤더(header)를 포함한다.

데이터가 스트림 시퀀스인 비트 스트림이 아니라 단편적인 단위인 패킷 등으로 운반될 때, 헤더 및 헤더와는 다른 부분인 데이터 부분은 개별적으로 운반될 수 있다. 이러한 경우에, 헤더 및 데이터 부분은 도 1에 도시된 바와 같이 동일한 비 트 스트림으로 병합되지 않는다. 그러나, 패킷의 경우에는, 헤더 및 데이터 부분이 연속적으로 전송되지 않는 경우라도, 데이터 부분에 대응하는 헤더가 다른 패킷으로 운반되는 것은 간단하다. 따라서, 헤더 및 데이터 부분이 동일한 비트 스트림내에 병합되지 않은 경우라도, 도 1을 참조로 설명한 부호화된 비트 스트림의 개념은 패킷에도 적용 가능하다.

일반적으로, 인간의 시각 감도는 고주파수 성분보다 저주파수 성분에 더욱 민감하다. 또한, 화상 신호의 저주파수 성분의 에너지는 고주파수 성분보다 크므로, 화상 부호화는 저주파수 성분에서 고주파수 성분으로의 순서로 수행된다. 결과적으로, 저주파수 성분을 부호화하기 위해 필요한 비트수는 고주파수 성분을 위해 필요한 비트수보다 크다.

상기의 관점에서, 현존하는 부호화 방법은, 직교 변환에 의해 얻어진 각 주파수의 변환 계수를 양자화할 때 저주파수 성분보다 고주파수 성분에 대해 큰 양자화 스텝을 사용한다. 이러한 기술은 종래의 부호화 방법이 보는 사람의 입장에서 화질의 손실 없이 압축률을 크게 증가시키는 것을 가능하게 만든다.

한편, 저주파수 성분에 대한 고주파수 성분의 양자화 스텝 크기는 화상 신호에 좌우되므로, 화상 단위로 각 주파수 성분에 대해 양자화 스텝의 크기를 변화시키는 기술이 종래에 채용되었다. 각 주파수 성분의 양자화 스텝을 도출하기 위해 양자화 매트릭스가 사용된다. 도 2는 양자화 매트릭스의 실시예를 도시한다. 이 도면에서, 상부 좌측 성분은 직류 성분인 반면에, 우측으로의 성분들은 수평 고주파 성분이고 하측으로의 성분들은 수직 고주파 성분이다. 또한, 도 2에서의 양자화 매 트릭스는 양자화 스텝이 클수록 큰 값이 적용됨을 가리킨다. 통상, 각 화상에 대해 상이한 양자화 매트릭스를 사용하는 것이 가능하고, 사용될 매트릭스는 각 화상 헤더에 기술된다. 따라서, 모든 화상에 대해 동일한 양자화 매트릭스가 사용되더라도, 각 화상 헤더에 기술되어 하나씩 운반된다.

한편, 현재의 MPEG-4 AVC는 MPEG-2 및 MPEG-4에서처럼 양자화 매트릭스를 포함하지 않는다. 이것은 현재의 MPEG-4 AVC 부호화 스킴(scheme) 및 모든 DCT 또는 DCT와 같은 계수에서 단일 양자화를 사용하는 그 밖의 스킴에서 최적의 주관적 품질(subjective quality)을 달성하는 것을 어렵게 한다. 이러한 양자화 매트릭스 스킴이 도입되면, 현존하는 표준과의 호환을 고려하여, MPEG-4 AVC의 현재의 규정 또는 그 밖의 표준들이 양자화 매트릭스를 운반할 수 있게 해야 한다.

또한, 부호화 효율 향상 때문에, MPEG-4 AVC는 다양한 적용 영역에서 사용될 가능성을 제공할 수 있었다. 이러한 범용성은, 상이한 적용을 위해 상이한 세트의 양자화 매트릭스의 사용, 상이한 컬러 채널을 위해 상이한 세트의 양자화 매트릭스의 사용 등을 보증한다. 부호화기는 적용 또는 부호화될 이미지에 따라 상이한 양자화 매트릭스를 선택할 수 있다. 이 때문에, 양자화 매트릭스 정보의 유연하면서도 효율적인 전송을 촉진하기 위해 효율적인 양자화 매트릭스 정의 및 로딩 프로토콜을 개발해야만 한다.

본 발명은 상기의 상황을 고려하여 고안된 것으로, 본 발명의 목적은 부호화될 데이터량을 감소시켜 부호화 효율을 향상시킬 수 있는 동화상 부호화 방법 및 동화상 복호화 방법을 제공하는 것이다.

상기 목적을 달성하기 위해서, 본 발명에 따른 동화상 부호화 방법은, 동화상을 구성하는 각 화상을 블록 단위로 부호화하여 부호화된 스트림을 생성하는 동화상 부호화 방법으로서, 각 화상을 블록 단위로 공간 주파수 성분을 나타내는 계수로 변환하는 단계; 상기 계수를 양자화 매트릭스를 사용하여 양자화하는 단계; 양자화에 사용된 양자화 매트릭스를 식별하는 식별 정보를 생성하는 단계; 및 상기 부호화된 스트림에 소정 단위로 식별 정보를 배치하는 단계를 포함한다.

상기 방법에 따르면, 양자화를 위해 사용될 양자화 매트릭스를 소정 단위, 예를 들어, 화상, 슬라이스, 매크로블록 등으로 기술할 필요가 없으므로, 부호화될 데이터량을 줄여서 데이터의 부호화를 효율적으로 수행하는 것이 가능하게 한다.

상기 방법에서, 양자화 매트릭스는 양자화 매트릭스를 사용하여 계수를 양자화함으로써 얻어진 데이터가 검색(retrieve)되기 전에 접근될 수 있는 위치에서 부호화된 스트림내에 저장될 수 있다.

여기서, 상기 저장하는 단계에서, 양자화 매트릭스는 복호화를 위해 필요한 정보를 보유하는 제 1 파라미터 세트 또는 제 2 파라미터 세트에 저장될 수 있고, 상기 제 1 파라미터 세트 또는 제 2 파라미터 세트는 양자화 매트릭스를 사용하여 계수를 양자화하여 얻어진 데이터가 검색되기 전에 접근될 수 있는 위치에서 상기 부호화된 스트림내에 배치된다.

상기 방법에 따르면, 복호화를 위해, 식별 정보에 의해 식별되는 양자화 매트릭스를 사용하는 것이 가능하게 된다.

상기의 동화상 부호화 방법에서는, 소정 단위로 부호화된 스트림내에 플래그가 배치될 수 있고, 상기 플래그는 식별 정보에 의해 식별 가능한 양자화 매트릭스와 디폴트 양자화 매트릭스 사이의 스위칭을 나타낸다.

상기 방법에 따르면, 식별 정보를 사용하여, 식별 정보에 의해 식별 가능한 양자화 매트릭스와 디폴트 양자화 매트릭스 사이의 스위칭을 나타내는 것이 가능해진다.

본 발명에 따른 동화상 복호화 방법은, 동화상을 구성하는 각 화상을 블록 단위로 직교 변환 및 양자화를 통해 부호화하여 얻어진 부호화된 스트림을 복호화하는 동화상 복호화 방법으로서, 적어도 하나의 양자화 매트릭스를 보유하는 단계; 상기 부호화된 스트림으로부터 양자화를 위해 사용된 양자화 매트릭스를 식별하는 식별 정보를 소정 단위로 추출하는 단계; 상기 적어도 하나의 보유 양자화 매트릭스로부터 상기 식별 정보에 의거하여 양자화 매트릭스를 식별하는 단계; 상기 식별된 양자화 매트릭스를 사용하여 블록 단위로 각 부호화된 화상의 역 양자화를 수행하는 단계; 및 공간 주파수 성분을 나타내는 역 양자화된 계수에 대해 역 직교 변환을 수행하여 상기 부호화된 화상을 복호화하는 단계를 포함한다.

상기 방법에 따르면, 양자화 매트릭스는 미리 개별적으로 운반되었고, 양자화를 위해 사용된 양자화 매트릭스를 식별하기 위한 매트릭스 ID만이, 화상, 슬라이스, 매크로블록 등과 같은 소정 단위로 배치된 부호화된 스트림을 복호화하는 것이 가능하게 된다.

상기한 동화상 복호화 방법에서는, 적어도 하나의 양자화 매트릭스가 부호화된 스트림으로부터 추출될 수 있고, 상기 보유하는 단계에서, 부호화된 스트림으로부터 추출된 양자화 매트릭스가 보유될 수 있다.

여기서, 상기 추출하는 단계에서, 양자화 매트릭스가 복호화에 필요한 정보가 저장되는 제 1 파라미터 세트 또는 제 2 파라미터 세트로부터 추출될 수 있다.

상기 방법에 따르면, 식별 정보에 의해 식별된 양자화 매트릭스를 사용하는 것이 가능해진다.

상기한 동화상 복호화 방법에서는, 소정 단위로 부호화된 화상으로부터 플래그가 추출될 수 있고, 상기 플래그는 식별 정보에 의해 식별된 양자화 매트릭스와 디폴트 양자화 매트릭스 사이의 스위칭을 나타내며, 상기 식별하는 단계에서, 식별 정보에 의해 식별된 양자화 매트릭스와 디폴트 양자화 매트릭스가 스위칭될 수 있다.

상기 방법에 따르면, 플래그에 의거하여, 식별 정보에 의해 식별된 양자화 매트릭스와 디폴트 양자화 매트릭스 사이에 스위칭이 가능해진다.

상기의 방법에서, 각 화상은 루마 성분(luma components)과 2가지 타입의 크로마 성분(chroma components)으로 구성되고, 상기 식별하는 단계에서, 식별 정보에 의거하여 식별된 양자화 매트릭스에 크로마 성분용 매트릭스가 없는 경우에는, 루마 성분용 양자화 매트릭스가 사용될 양자화 매트릭스로서 식별될 수 있다.

또한, 각 화상은 루마 성분과 2가지 타입의 크로마 성분으로 구성되고, 상기 식별하는 단계에서, 식별 정보에 의거하여 식별된 양자화 매트릭스에 현재의 복호화에 대응하는 타입의 크로마 성분용 양자화 매트릭스가 없는 경우에는, 또 다른 타입의 크로마 성분용 양자화 매트릭스가 사용될 양자화 매트릭스로서 식별될 수 있다.

상기 방법에 따르면, 크로마용 양자화 매트릭스가 없더라도 부호화된 스트림을 복호화할 수 있게 된다.

또한, 본 발명을 동화상 부호화 방법 및 동화상 복호화 방법뿐만 아니라, 이러한 동화상 부호화 방법 및 동화상 복호화 방법에 포함된 스텝으로서 특징적인 유닛(characteristic units)을 포함하는 동화상 부호화 장치 및 동화상 복호화 장치로서 구체화하는 것이 가능하다. 또한 이러한 스텝들을 컴퓨터가 수행하게 하는 프로그램, 또는 동화상 부호화 방법에 의해 부호화된 스트림으로서 구체화하는 것도 가능하다. 이러한 프로그램 및 부호화된 스트림은 CD-ROM과 같은 기록매체로 또는 인터넷과 같은 전송매체를 통해 분배될 수 있다.

상기의 설명으로부터 자명한 바와 같이, 본 발명의 동화상 부호화 방법 및 동화상 복호화 방법에 따르면, 부호화될 데이터량을 줄여서 효율적인 부호화 및 복호화를 달성하는 것이 가능해진다.

본 발명의 이러한 그리고 그 밖의 목적, 효과, 구성이 본 발명의 구체적인 실시형태를 도시한 첨부 도면을 참조한 다음의 설명으로부터 명확해질 것이다.

도 1은 비트 스트림의 데이터 구조의 실시예를 도시한 도면이다;

도 2는 양자화 매트릭스의 실시예를 도시한 도면이다;

도 3은 본 발명에 따른 동화상 부호화 방법을 구현하는 동화상 부호화 장치 의 구조를 도시한 블록도이다;

도 4는 시퀀스 파라미터 세트와 화상 파라미터 세트 및 화상 사이의 대응을 도시한 도면이다;

도 5는 시퀀스 파라미터 세트의 일부 구조를 도시한 도면이다;

도 6은 화상 파라미터 세트의 일부 구조를 도시한 도면이다;

도 7은 파라미터 세트내의 양자화 매트릭스의 기술(description)의 실시예를 도시한 도면이다;

도 8은 매트릭스 ID를 배치하기 위한 동작을 도시한 플로우챠트이다;

도 9는 본 발명에 따른 동화상 복호화 방법을 구현하는 동화상 복호화 장치의 구조를 도시하는 블록도이다;

도 10은 양자화 매트릭스를 식별하기 위한 동작을 도시한 플로우챠트이다;

도 11은 크로마 성분에 사용되는 양자화 매트릭스를 식별하기 위한 동작을 도시한 플로우챠트이다;

도 12는 개별적인 데이터로서 운반된 양자화 매트릭스와 시퀀스에 사용되는 양자화 매트릭스 사이의 대응을 도시한 도면이다;

도 13A 내지 13C는 상기 실시형태에 따라 동화상 부호화 방법 및 동화상 복호화 방법을 컴퓨터 시스템에 의해 실현하는 프로그램을 저장하는 기록매체를 도시한 도면으로서, 특히 도 13A는 기록매체의 본체로서 플렉시블 디스크의 물리적 포맷의 실시예를 도시한 도면이고, 도 13B는 정면에서 본 플렉시블 디스크의 전체 외관, 그 단면 및 플렉시블 디스크 그 자체이며, 도 13C는 플렉시블 디스크에 상기 프로그램을 기록 또는 재생하기 위한 구조를 도시한 도면이다.

도 14는 컨텐츠 분배 서비스를 실현하는 컨텐츠 공급 시스템의 전체 구성을 도시한 블록도이다;

도 15는 휴대폰의 실시예를 도시한 도면이다;

도 16은 휴대폰의 내부 구조를 도시한 블록도이다;

도 17은 디지털 방송 시스템의 전체 구성을 도시한 도면이다.

본 발명의 실시형태를 도면을 참조로 설명한다.

(제 1 실시형태)

도 3은 본 발명의 동화상 부호화 방법을 구현하는 동화상 부호화 장치의 구조를 도시한 블록도이다.

화상 부호화 장치(1)는 입력 화상 신호(Vin)에 대해 압축 부호화를 수행하고 가변 길이 부호화 등을 수행하여 비트 스트림으로 부호화가 이루어진 부호화된 스트림(Str)을 출력하는 장치이다. 도 3에 도시된 바와 같이, 이러한 화상 부호화 장치(3)는 움직임 추정 유닛(101), 움직임 보상 유닛(102), 감산 유닛(103), 직교 변환 유닛(104), 양자화 유닛(105), 역 양자화 유닛(106), 역 직교 변환 유닛(107), 가산 유닛(108), 화상 메모리(109), 스위치(110), 가변 길이 부호화 유닛(11) 및 양자화 매트릭스 보유 유닛(112)으로 구성된다.

화상 신호(Vin)는 감산 유닛(103)과 움직임 추정 유닛(101)으로 입력된다. 감산 유닛(103)은 입력 화상 신호(Vin)의 각 이미지와 각 예측 이미지 사이의 오차 픽셀값(residual pixel value)을 계산하여, 계산된 오차 픽셀값을 직교 변환 유닛(104)으로 출력한다. 직교 변환 유닛(104)은 오차 픽셀값을 주파수 계수로 변환하여 양자화 유닛(105)으로 출력한다. 양자화 유닛(105)은 입력된 양자화 매트릭스(WM)를 사용하여 입력된 주파수 계수를 양자화하여 양자화된 값(Qcoef)을 가변 길이 부호화 유닛(111)으로 출력한다.

역 양자화 유닛(106)은 입력된 양자화 매트릭스(WM)를 사용하여 양자화된 값(Qcoef)에 대해 역 양자화를 수행하여, 주파수 계수로 바꾸어 역 직교 변환 유닛(107)으로 출력한다. 역 직교 변환 유닛(107)은 주파수 계수에 대해 역 주파수 변환을 수행하여 오차 픽셀값으로 변환시켜서 가산 유닛(108)으로 출력한다. 가산 유닛(108)은 오차 픽셀값과 움직임 추정 유닛(102)으로부터 출력된 각 예측 이미지를 더하여, 복호화된 이미지를 형성한다. 이러한 복호화된 이미지가 저장되어야만 하는 경우에는 스위치(110)가 턴온하여, 이러한 복호화된 이미지를 화상 메모리(109)에 저장시킨다.

한편, 매크로블록 단위로 화상 신호(Vin)를 수신하는 움직임 추정 유닛(101)은 화상 메모리(109)에 저장된 복호화된 화상내에서 이러한 입력된 화상 신호(Vin)의 이미지 신호에 가장 가까운 이미지 영역을 검출하여, 이러한 영역의 위치를 나타내는 움직임 벡터(MV)를 결정한다. 움직임 벡터는 매크로블록을 더 분할하여 얻어진 각 블록에 대해 추정된다. 이것이 행해지면, 참조 화상으로서 하나 이상의 화상을 사용할 수 있다. 여기서, 복수의 화상이 참조 화상으로서 사용될 수 있으므로, 각 참조 화상을 식별하기 위한 식별 번호(참조 인덱스(Index))가 블록 단위로 요구된다. 참조 인덱스(Index)를 사용하여, 화상 메모리(109)에 저장된 각 화상을 이러한 각 화상을 지시하는 화상 번호와 결합하여 각 참조 화상을 식별하는 것이 가능하다.

움직임 보상 유닛(102)은 상기 처리에서 검출된 움직임 벡터와 참조 인덱스(Index)를 사용하여, 화상 메모리(109)에 저장된 복호화된 화상 중에서 가장 적당한 이미지 영역을, 예측 이미지로서, 선택한다.

양자화 매트릭스 보유 유닛(112)은 파라미터 세트의 일부로서 이미 운반된 양자화 매트릭스(WM)와 이러한 양자화 매트릭스(WM)를 식별하는 매트릭스 ID를 서로 결합되는 방식으로 보유한다.

가변 길이 부호화 유닛(111)은 양자화 매트릭스 보유 유닛(112)으로부터 양자화에 사용된 양자화 매트릭스(WM)에 대응하는 매트릭스 ID를 구한다. 또한, 가변 길이 부호화 유닛(111)은 양자화 값(Qcoef), 매트릭스 ID, 참조 인덱스(Index), 화상 타입(Ptype) 및 움직임 벡터(MV)를 가변 길이 부호화하여, 부호화된 스트림(Str)을 얻는다.

도 4는 시퀀스 파라미터 세트와 화상 파라미터 세트 및 화상 사이의 대응을 도시한 도면이다. 도 5는 시퀀스 파라미터 세트의 일부 구조를 도시한 도면이고, 도 6은 화상 파라미터 세트의 일부 구조를 도시한 도면이다. 화상은 슬라이스로 구성되고, 동일한 화상에 포함되는 모든 슬라이스는 동일한 화상 파라미터 세트를 나타내는 식별자를 갖는다.

MPEG-4 AVC에서는, 헤더의 개념이 없고, 파라미터 세트의 지정하에 시퀀스의 앞부분(top)에 일반 데이터가 배치된다. 2가지 타입의 파라미터 세트, 각 화상의 헤더에 대응하는 데이터인 화상 파라미터 세트(PPS) 및 MPEG-2에서의 시퀀스 또는 GOP의 헤더에 대응하는 시퀀스 파라미터 세트(SPS)가 있다. 시퀀스 파라미터 세트(SPS)는 참조 화상으로서 사용 가능한 화상수, 이미지 크기 등을 포함하는 반면에, 화상 파라미터 세트(PPS)는 (허프만 부호화 및 산술 부호화 사이에서 스위칭하는) 가변 길이 부호화 타입, 양자화 매트릭스의 디폴트 값, 참조 화상수 등을 포함한다.

시퀀스 파라미터 세트(SPS)에 식별자가 할당되고, 이러한 식별자를 화상 파라미터 세트(PPS)에 명기함으로써 화상이 속하는 시퀀스가 식별된다. 식별자는 또한 화상 파라미터 세트(PPS)에 할당되고, 이러한 식별자를 슬라이스에 명기함으로써 화상 파라미터 세트(PPS)가 사용됨이 식별된다.

예를 들어, 도 4에 도시된 실시예에서, 화상 #1은 화상 #1에 포함되는 슬라이스에 의해 참조되는 화상 파라미터 세트(PPS)의 식별자(PPS=1)를 포함한다. 화상 파라미터 세트(PPS #1)는 참조되는 시퀀스 파라미터 세트의 식별자(SPS=1)를 포함한다.

또한, 시퀀스 파라미터 세트(SPS)와 화상 파라미터 세트(PPS)는 각각 도 5 및 도 6에 도시된 바와 같이 양자화 매트릭스가 운반되는지 여부를 나타내는 플래그(501, 601)를 포함하고, 양자화 매트릭스가 운반되는 경우에, 양자화 매트릭스(502, 602)가 각각 그 안에 기술된다.

양자화 매트릭스는 양자화 단위(예를 들어, 수평 4 ×수직 4 픽셀 및 수평 8 ×수직 8 픽셀)로 적절히 변화될 수 있다.

도 7은 파라미터 세트내의 양자화 매트릭스의 기술의 실시예를 도시한 도면이다.

화상 신호(Vin)는 루마 성분과 2가지 타입의 크로마 성분으로 구성되므로, 양자화를 행할 때 루마 성분과 2가지 타입의 크로마 성분에 대해 상이한 양자화 매트릭스를 개별적으로 사용하는 것이 가능하다. 화상내 부호화 및 화상간 부호화를 위해 상이한 양자화 매트릭스를 개별적으로 사용하는 것도 가능하다.

따라서, 예를 들어, 도 7에 도시된 바와 같이, 화상내 부호화 및 화상간 부호화, 루마 성분 및 2가지 타입의 크로마 성분, 양자화 단위(unit)에 대한 양자화 매트릭스를 각각 기술하는 것도 가능하다.

상기 구조의 동화상 부호화 장치에 매트릭스 ID를 배치하는 동작을 설명한다. 도 8은 매트릭스 ID를 배치하기 위한 동작을 도시한 플로우챠트이다.

가변 길이 부호화 유닛(111)은 양자화를 위해 사용되는 양자화 매트릭스(WM)를 구한다. 다음에, 가변 길이 부호화 유닛(111)은 구해진 양자화 매트릭스(WM)가 양자화 매트릭스 보유 유닛(112)에 보유됐는지 여부를 판정한다 (단계 S102). 여기서, 상기 구해진 양자화 매트릭스(WM)가 양자화 매트릭스 보유 유닛(112)에 보유됐을 경우에는 (단계 S102에서 YES), 가변 길이 부호화 유닛(111)은 양자화 매트릭스 보유 유닛(112)로부터 상기 구해진 양자화 매트릭스(WM)에 대응하는 매트릭스 ID를 구한다 (단계 S103). 다음에, 가변 길이 부호화 유닛(111)은 상기 구해진 매트릭스 ID를 소정 단위(예를 들어, 화상, 슬라이스 또는 매크로블록 마다)로 배치한다 (단 계 S104).

한편, 구해진 양자화 매트릭스(WM)가 양자화 매트릭스 보유 유닛(112)에 보유되지 않는 경우에 (단계 S102에서 NO), 양자화 매트릭스 보유 유닛(112)은 이러한 양자화 매트릭스(WM)에 대해 매트릭스 ID를 생성한다 (단계 S105). 다음에, 양자화 매트릭스 보유 유닛(112)은 이러한 양자화 매트릭스(WM)와 매트릭스 ID를 서로 결합시켜서 보유한다 (단계 S106). 가변 길이 부호화 유닛(111)은 생성된 매트릭스 ID를 소정 단위로 배치시킨다 (예를 들어, 화상, 슬라이스 또는 매크로블록 마다) (단계 S107). 가변 길이 부호화 유닛(111)은 파라미터 세트에 상기 생성된 매트릭스 ID와 양자화 매트릭스(WM)를 기술한다 (단계 S108). 이러한 매트릭스 ID 및 양자화 매트릭스(WM)가 기술된 파라미터 세트는 이러한 매트릭스 ID가 배치되는 소정의 단위(즉, 이러한 양자화 매트릭스(WM)를 사용하여 양자화된 부호화된 데이터)보다 조기에 부호화된 스트림(Str)으로 운반된다.

상술한 바와 같이, 양자화 매트릭스(WM)가 파라미터 세트로 기술되어 운반되고 소정 단위(예를 들어, 화상, 슬라이스 또는 매크로블록 마다)로 사용되는 양자화 매트릭스(WN)을 식별하는 매트릭스 ID만이 그 안에 배치되어, 매 소정 단위마다 사용되는 양자화 매트릭스(WM)를 기술할 필요가 없다. 따라서, 부호화될 데이터량을 줄여서 효율적인 부호화를 달성할 수 있게 된다.

시퀀스 파라미터 세트(SPS)로 운반되는 양자화 매트릭스(WM)를 업데이트하고 업데이트된 것(동일한 매트릭스 ID)을 화상 파라미터 세트(PPS)로 운반할 수 있다. 이 경우에, 업데이트된 양자화 매트릭스(WM)는 화상 파라미터 세트(PPS)가 참조될 때만 사용된다.

디폴트 양자화 매트릭스(WM)와 매트릭스 ID에 의해 식별된 양자화 매트릭스(WM) 사이의 스위칭을 나타내는 플래그를 부호화된 스트림에 포함하는 것도 가능하다. 이 경우에, 디폴트 양자화 매트릭스(WM)는 플래그에 따라 매트릭스 ID에 의해 식별된 양자화 매트릭스(WM)로 대체된다.

도 9는 본 발명에 따른 동화상 복호화 방법을 구현하는 동화상 복호화 장치의 구조를 도시한 블록도이다.

동화상 복호화 장치(2)는 상술한 바와 같이 동화상 부호화 장치에 의한 부호화에 의해 얻어진 부호화된 스트림을 복호화하는 장치로서, 가변 길이 복호화 유닛(201), 양자화 매트릭스 보유 유닛(202), 화상 메모리(203), 움직임 보상 유닛(204), 역 양자화 유닛(205), 역 직교 변환 유닛(206) 및 가산 유닛(207)을 포함한다.

가변 길이 복호화 유닛(201)은 부호화된 스트림(Str)을 복호화하여, 양자화된 값(Qcoef), 참조 인덱스(Index), 화상 타입(Ptype) 및 움직임 벡터(MV)를 출력한다. 가변 길이 복호화 유닛(201)은 또한 부호화된 스트림을 복호화하고, 추출된 매트릭스 ID에 의거하여 양자화 매트릭스(WM)를 식별하여, 식별된 양자화 매트릭스(WM)를 출력한다.

양자화 매트릭스 보유 유닛(202)은 파라미터 세트로 이미 운반된 양자화 매트릭스(WM)를 이러한 양자화 매트릭스(WM)를 식별하는 매트릭스 ID와 결합시켜서, 보유한다.

양자화된 값(Qcoef), 참조 인덱스(Index) 및 움직임 벡터(MV)는 화상 메모리(203), 움직임 보상 유닛(204) 및 역 양자화 유닛(205)으로 입력되어 복호화 처리가 수행된다. 복호화를 위한 동작은 도 3에 도시된 동화상 부호화 장치(1)의 동작과 동일하다.

다음에, 상기 구조의 동화상 복호화 장치에서 양자화 매트릭스를 식별하는 동작이 설명된다. 도 10은 양자화 매트릭스를 식별하기 위한 동작을 도시한 플로우챠트이다.

가변 길이 복호화 유닛(201)은 부호화된 스트림(Str)을 복호화하고 소정 단위로 배치된 매트릭스 ID를 추출한다(단계 S201). 다음에, 가변 길이 복호화 유닛(201)은 추출된 매트리스 ID에 의거하여 양자화 매트릭스 보유 유닛(202)에 보유된 양자화 매트릭스중에서 양자화 매트릭스(WM)를 식별한다. 다음에, 가변 길이 복호화 유닛(201)은 식별된 양자화 매트릭스(WM)를 역 양자화 유닛(205)으로 출력한다(단계 S203).

상술한 바와 같이, 양자화 매트릭스(WM)가 파라미터 세트에 기술되어 운반되지만, 소정 단위(예를 들어, 화상, 슬라이스 또는 매크로블록마다)로, 사용된 양자화 매트릭스(WM)를 식별하는 매트릭스 ID만이 배치되는 부호화된 스트림을 복호화하는 것이 가능하다.

본 실시형태에서 양자화 매트릭스(WM)는 파라미터 세트에 기술되어 운반되지만 본 발명은 이러한 경우에 한정되지 않는다. 예를 들어, 양자화 매트릭스는 부호화된 스트림으로부터 개별적으로 미리 전송될 수 있다.

그런데, 화상 신호(Vin)는 상술한 바와 같이 루마 성분과 2가지 타입의 크로마 성분으로 구성되므로, 양자화를 위해 루마 성분과 2가지 타입의 크로마 성분에 대해 상이한 양자화 매트릭스를 개별적으로 사용하는 것이 가능하다. 상기 모든 성분에 대해 단일 양자화 매트릭스를 사용하는 것도 가능하다.

다음에, 크로마 성분에 사용될 양자화 매트릭스를 식별하기 위한 동작을 설명한다. 도 11은 크로마 성분에 사용될 양자화 매트릭스를 식별하기 위한 동작을 도시한 플로우챠트이다.

가변 길이 부호화 유닛(201)은 상술한 바와 같이 식별된 양자화 매트릭스(WM) 중에서 현재의 복호화에 대응하는 타입의 크로마 성분을 위한 양자화 매트릭스가 존재하는지 여부를 판정한다(단계 S301). 예를 들어, 복호화될 양자화된 값(Qcoef)이 제 1 크로마 성분인 경우에, 제 1 크로마 성분을 위한 양자화 매트릭스가 존재하는지 여부를 판정한다. 복호화될 양자화된 값(Qcoef)이 제 2 크로마 성분인 경우에, 제 2 크로마 성분을 위한 양자화 매트릭스가 존재하는지 여부를 판정한다. 여기서, 대응하는 타입의 크로마 성분을 위한 양자화 매트릭스가 존재하면(단계 S301에서 YES), 대응하는 크로마 양자화 매트릭스를, 사용될 매트릭스로서 역 양자화 유닛(205)으로 출력한다(단계 S302).

한편, 이러한 대응하는 크로마 양자화 매트릭스가 없다면(단계 S301에서 NO), 가변 길이 복호화 유닛(201)은 또 다른 타입의 크로마 성분을 위한 양자화 매트릭스가 존재하는지 여부를 판정한다(단계 S303). 예를 들어, 복호화될 양자화된 값(Qcoef)이 제 1 크로마 성분인 경우에, 제 2 크로마 성분을 위한 양자화 매트릭 스가 존재하는지 여부를 판정한다. 복호화될 양자화된 값(Qcoef)이 제 2 크로마 성분인 경우에는, 제 1 크로마 성분을 위한 양자화 매트릭스가 존재하는지 여부를 판정한다. 여기서, 또 다른 타입의 크로마 성분을 위한 대응하는 양자화 매트릭스가 존재하면 (단계 S303에서 YES), 또 다른 타입의 크로마 성분을 위한 양자화 매트릭스를, 사용될 매트릭스로서 역 양자화 유닛(205)으로 출력한다 (단계 S304). 한편, 또 다른 타입의 크로마 성분을 위한 양자화 매트릭스가 없으면(단계 S303에서 NO), 루마 성분을 위한 양자화 매트릭스를, 사용될 매트릭스로서 역 양자화 유닛(205)으로 출력한다(단계 S305).

결과적으로, 크로마 양자화 매트릭스가 없더라도 부호화된 스트림을 복호화하는 것이 가능해진다.

(제 2 실시형태)

본 실시형태의 주안점은 다음과 같다.

1. 비디오 스트림의 상이한 부분에 의해 선택가능한 다수의 시퀀스-레벨 스트림 기술(description) 데이터 구조가 있다면, 양자화 매트릭스가 임의의 시퀀스 헤더 데이터 구조와는 별개의 데이터 구조로 운반되어야 한다.

2. 사용자에 의해 설정된(customized) 다수의 양자화 매트릭스가 시퀀스 비디오 스트림의 시작부분에 정의된다. 양자화 매트릭스는 비트 스트림의 상이한 위치에서 상이한 화상에서 선택 가능하게 되어야 한다. MPEG-2는 양자화 매트릭스 스킴(scheme)을 사용하지만 하나의 매트릭스가 선택될 수 있는 매트릭스 세트를 사용하지 않는다. 양자화 매트릭스가 업데이트되면 새로운 매트릭스를 재로딩하여야 한 다.

3. 업데이트가 어떤 빈도로 수행되는지는 양자화 업데이트를 적용하기 위한 신택스 구성요소(syntax element)로서 특정되어, 양자화 매트릭스 업데이트 스킴이 상기 기술과 모순되지 않는다. 본 실시형태의 스킴에서, MPEG-2 하나의 유효 양자화 매트릭스와 추후의 업데이트는 단지 이러한 업데이트 스킴의 특별한 경우이다.

다음에, 본 실시형태의 개요를 설명한다.

일부 비디오 부호화 표준에서는, 상이한 부호화 구성을 사용하여 부호화되는 시퀀스에 몇 개의 세그먼트가 있을 수 있고, 이 때문에, 상이한 시퀀스 또는 시퀀스내의 각 세그먼트에 대한 세그먼트 헤더 기술자(descriptor)를 필요로 한다. 전송 양자화 매트릭스는 상당한 수의 비트를 취하므로, 임의의 시퀀스 또는 세그먼트 헤더와는 별개인 어딘가에 시퀀스에 사용되는 모든 양자화 매트릭스가 배치된다. 상이한 세트의 양자화 매트릭스를 사용하는 시퀀스의 세그먼트에 대해, 매트릭스가 사용될때마다 부호화기에서 복호화기로 매트릭스를 전송하기보다, 식별 번호와 같이, 양자화 매트릭스를 참조하는 것만이 필요하고, 이것은 MPEG-2가 사용한 메커니즘이다.

비디오 코덱의 사양서에서 특정되지 않은 모든 양자화 매트릭스는 함께 그룹화 및 정의되어야 한다. 이들 양자화 매트릭스를 운반하는 비트 스트림의 블록 또는 세그먼트는 임의의 부호화된 비디오 데이터가 전송되기 전에 시퀀스의 비트 스트림의 시작부분에 배치되어야 한다. 상이한 비디오 코덱 표준에 의해 이루어질 수 있는 선택으로서, 그들의 양자화 매트릭스는 비디오 기본 스트림(video elementary stream)의 일부로서 포함될 수 있거나, 비디오 스트림의 본체와는 별개의 파일, 패킷 또는 전송 스트림과 같은, 밴드외부(out-of-band)로 운반될 수 있다.

MPEG-2, MPEG-4와 같은 많은 코덱 사양서에서는, 시퀀스 세그먼트내에 포함된 하위레벨 데이터 구조가 있어, 비디오 데이터를 "group of pictures", 화상, 슬라이스, 계층(layer), 매크로블록 등으로 편성한다. 시퀀스 세그먼트 헤더 또는 기술자(descriptor)가 양자화 매트릭스를 한 세트보다 많이 참조한다면, 사용할 한 세트의 선택이 특정하는 하위 레벨 데이터 구조에 대해 남겨질 것이다. 이는 본 개시에서 후에 논의한다.

한 세트의 양자화 매트릭스보다 많은 양자화 매트릭스를 참조하는 시퀀스 세그먼트에 대해, 모든 양자화 매트릭스는 시퀀스의 시작부분에서 운반된다. 복호화기가 특정한 양자화 매트릭스를 참조할 때, 존재한다면, 양자화 매트릭스와 연관된 모든 룩업 테이블을 사용하기 위해 준비하는 방식으로, 모든 양자화 매트릭스를 수신한 복호화기가 그 메모리에 양자화를 유지한다. 신택스의 사양서를 구현함에 있어서, 복호화기의 용량은 복호화기가 맞추어야 하는 어플리케이션 요구(application requirement)에 용량 제한을 맞추는 것이 고려되어야만 한다. 따라서, 임의의 주어진 시간내에 활용가능한 양자화 매트릭스의 수는 특정 범위를 초과하지 않을 것이다.

복호화기 용량이 한 세트보다 많은 양자화 매트릭스의 저장을 허락하지 않은 경우에는, 새로운 세트의 양자화 매트릭스가 필요할 때마다, 새로운 매트릭스 세트가 저장되어 유효화될 수 있기 전에 미리 저장된 양자화 매트릭스 세트가 복호화기 메모리로부터 제거되어야 한다. 이러한 시나리오는 MPEG-2가 그 사양서(specification)에 사용한 것과 같게 된다.

도 12는 개별적인 데이터로서 운반된 양자화 매트릭스와 시퀀스에 사용될 양자화 매트릭스 사이의 대응을 보여주는 도면이다.

도 12에 도시된 예에서는, 양자화 매트릭스(Q-matrix 1, Q-matrix 3)가 시퀀스(SEQ1)에 사용되는 것이 기술된다. 양자화 매트릭스(Q-matrix 2, Q-matrix 4, Q-matrix 5)는 시퀀스(SEQ2)에 사용되고, 양자화 매트릭스(Q-matrix 4)가 시퀀스(SEQ3)에 사용되는 것도 기술된다.

다음에, 양자화 매트릭스의 사용을 서포트하기 위한 신택스에서의 특징을 설명한다.

양자화 매트릭스는 전체 시퀀스 또는 프로그램에 대해 고정될 수 있다.

그러나 보다 좋은 품질을 얻기 위한 좀더 유연한 방법은 양자화 스킴 및 양자화 매트릭스가 동적으로 변화될 수 있게 하는 것이다. 이러한 경우에, 쟁점은 그러한 종류의 변화가 어떤 데이터 레벨에서 허락되어야만 하느냐는 것이다. 어플리케이션 도메인에 의해 허락된 복잡성에 따라, 어떤 데이터 레벨에서 허락될 양자화 매트릭스 세트의 수에 대해 제한됨을 알 수 있다.

모든 스트림 데이터 구조 레벨, 즉, 시퀀스, 세그먼트, 화상, 슬라이스 내지 매크로블록(매크로블록은 대부분 16×16 픽셀 블록을 의미하여 모든 코덱 표준에 사용되었지만, 이러한 치수는 사유 또는 미래의 코덱에서 변화될 수 있다)에 대해, 어떤 양자화 타입이 하나의 직접 하위 레벨 데이터(immediate lower level data)에 서 또 다른 것으로 변화하는 것이 허락되는지를 나타내기 위해 (테이블 1에 도시된 바와 같은) 다음의 비트를 포함하는 6비트 플래그를 비트 스트림내에 가진다. 예를 들어, MPEG-4 AVC에서는, "시퀀스"의 직접 하위 레벨은 "화상"이고 "화상"의 직접 하위 레벨은 "슬라이스"이다.

테이블 1 : 양자화 스킴 및 업데이트 규칙을 나타내는 비트

비트 A	4×4 단일(uniform) 양자화만을 사용하기 위한 1비트
비트 B	4×4 비단일(non-uniform) 양자화 스킴만을 사용하기 위한 1비트
비트 C	4×4 양자화 스킴 변환을 허락하기 위한 1비트 - 하나의 양자화 매트릭스 세트로부터 또 다른 양자화 매트릭스 세트로의 변환 또는 단일 양자화 스킴으로부터 비단일 양자화 스킴으로의 변환
비트 D	8×8 단일 양자화만을 사용하기 위한 1비트
비트 E	8×8 비단일 양자화 스킴만을 사용하기 위한 1비트
비트 F	8×8 양자화 스킴의 변환을 허락하기 위한 1비트 - 하나의 양자화 매트릭스 세트로부터 또 다른 양자화 매트릭스 세트로의 변환 또는 단일 양자화 스킴으로부터 비단일 양자화 스킴으로의 변환

비트 A만 설정되고 비트 B가 설정되지 않으면, 비트 C는 설정될 수 없다. 동일하게, 비트 D만 설정이고 비트 E가 설정되지 않으면, 비트 F는 설정될 수 없다.

비트 B와 비트 C가 모두 설정되면, 양자화 매트릭스 세트가 또 다른 양자화 매트릭스 세트로 변환될 수 있음을 의미한다. 하나의 양자화 매트릭스 세트는 블록 부호화 모드마다 하나의 매트릭스를 포함한다. 블록 부호화 모드는 특정 방향의 내부 예측(intra-prediction of certain diection), 상호 예측된 블록(inter-predicted block), 쌍 예측된 블록(bi-predicted block) 등이 될 수 있다.

비트 C 및 비트 F는 양자화 스킴 또는 양자화 매트릭스 또는 양자 모두의 변환을 나타낸다. 양자화 매트릭스를 구비한 8×8 비균일 양자화를 위한 비트는 MPEG-4 AVC에서 시퀀스 레벨에 설정되고, 하나의 "화상" 데이터에 사용된 양자화 매트릭스는 또 다른 "화상" 데이터와 상이할 수 있다.

시퀀스 헤더와 같이, 데이터 신택스의 최고 레벨에서, 양자화 매트릭스 스킴이 사용되면, 디폴트 양자화 세트가 특정될 것이다.

비트 C 또는 비트 F가 데이터 레벨을 위해 설정되면, 디폴트 양자화 매트릭스 세트가 이들 레벨에서 사용될지를 나타내기 위해 하위 레벨 데이터 헤더 각각에 대해 플래그가 존재할 것이다.

플래그가 하위 데이터 헤더에서 포지티브이면, 이러한 데이터 레벨을 위한 새로운 디폴트 양자화 세트가 정의되고 6비트 플래그는 디폴트가 추가 하위 데이터 레벨에서 변환될지를 나타내기 위해 이 데이터 레벨에 사용될 것이다. 이는 최저 레벨 또는 어플리케이션 요구에 의해 의해 허가된 최저 레벨까지 모든 데이터 레벨에서 행해진다.

비트 C 또는 비트 F가 설정되지 않으면, 이러한 플래그가 하위 데이터 헤더에 있지 않고, 자동적으로 디폴트가 간주될 것이다.

양자화 스킴에 대한 정보를 전송하기 위한 이러한 반복적인 신호 전송 방법에서 적용 가능한 제한, 예를 들어, 특정 비율로 완성되어야만 하는 양자화 매트릭스 변환의 빈도에 의한 제한이 있을 수 있다.

다음에, 디폴트 및 설정 가능한(customizable) 양자화 매트릭스를 설명한다.

비단일 양자화 매트릭스 스킴을 사용한 비디오 부호화 사양서에서는, 비디오 코덱 사양서에 몇 개의 미리 정의된 매트릭스가 있을 수 있다. 이들 디폴트 또는 규정된 매트릭스는 컴플라이언트 복호화기(compliant decoder)에 의해 알려져 있고 따라서 매트릭스를 복호화기로 전송할 필요가 없다. 동일한 방법으로, 이들 양자화 매트릭스는 상술한 바와 같은 방법으로 참조될 수 있다. 규정된 매트릭스가 사용가능하면, 복호화기는 수신된 설정된 매트릭스를 양자화 매트릭스의 풀(pool)에 추가한다. 상술한 바와 같이, 특유의 양자화 매트릭스가 식별 번호에 의해 인덱스되고, 이것이 부호화기에 의해 할당되어 복호화기로 전송된다.

비트 스트림 신택스에 양자화 매트릭스를 편성시에, 동일한 크기의 양자화가 함께 그룹화될 수 있다. 상호 부호화된 블록(inter-coded block) 또는 내부 부호화된 블록(intra-coded block)을 위해 매트릭스가 사용되야 하는지 또는 루마 또는 크로마를 위해 매트릭스가 사용되야 하는지에 관한 정보가 그들의 속성에 기입될 수도 있다.

다음에, 양자화 매트릭스의 업데이트를 설명한다.

비디오 코덱 비트 스트림 신택스는 복호화기에 이미 알려진 양자화 매트릭스가 추가 또는 업데이트되게 할 수 있다.

양자화 매트릭스가 새로운 식별 번호와 연관되면, 이 매트릭스는 새로운 양자화 매트릭스로서 취급되어 새로운 식별 번호에 의해 참조될 수 있다. 식별 번호가 이미 양자화 매트릭스와 연관되었으면, 현존하는 양자화 매트릭스는 복호화기에서 새로운 매트릭스로 변형될 것이다. 기존의 매트릭스와 동일한 크기의 양자화 매트릭스만 기존 매트릭스를 대체할 수 있다. 부호화기는 액티브 양자화 매트릭스의 추적에 책임이 있다. 업데이트된 양자화 매트릭스를 전송하는 동안에, 업데이트될 필요가 있는 양자화 매트릭스만이 네트워크 패킷에서 정의된다.

다음에, MPEG-4 AVC에서의 양자화 매트릭스의 운반을 설명한다.

MPEG-4 AVC에서, 모든 비디오 데이터 및 헤더는 네크워크 추상 계층(Network Abstract Layer : NAL)이라고 하는 비트 스트림 계층으로 패킷화된다. NAL은 많은 NAL 단위(unit)의 시퀀스이다. 각 NAL 단위는 특정 타입의 비디오 데이터 또는 데이터 헤더를 운반한다.

MPEG-4 AVC는 또한 하나의 데이터 계층하에 몇 개의 화상 데이터 그룹을 정의한다. 계층은 시퀀스에서 시작하고, 시퀀스 파라미터 세트에 의해 기술된다. "시퀀스"는 상이한 화상 파라미터 세트를 사용하여 화상을 가질 수 있다. "화상"하에, 슬라이스들이 존재하고, 슬라이스들은 슬라이스 헤더를 갖는다. 슬라이스는 전형적으로 매크로블록이라 하는, 많은 16×16 픽셀 블록을 갖는다.

양자화 매트릭스 스킴을 MPEG-4 AVC에 도입하면, 사용자 정의된 양자화 매트릭스 또는 NAL 단위상으로 운반되는 부호화기에 제공된 매트릭스를 가질 수 있다. NAL 단위의 사용은 3가지 상이한 방법으로 구현될 수 있다.

(1) 하나의 NAL 단위가 각 매트릭스와 연관된 (양자화 테이블을 포함하는) 모든 매트릭스 정보를 운반한다.

(2) 몇 개의 NAL 단위가 각각 특정 타입의 양자화 매트릭스 및 그들의 정보를 운반한다.

(3) 각 NAL 단위는 하나의 양자화 매트릭스의 정의(definition)를 운반한다.

경우 (1) 및 (2)에서, NAL 단위는 양자화 매트릭스의 전체 수를 제공할 수도 있다. 경우 (3)에서, 사용자 정의된 양자화 매트릭스의 전체 수는 비디오 기본 스트림에 의해 명확하게 주어지지 않는다. 부호화기 및 복호화기는 모두 그들이 작동 함에 따라 합계를 계수하여야 한다. 경우 (2)의 실시예는 4×4 양자화 매트릭스 및 8×8 양자화 매트릭스가 그룹화되어 각각 NAL으로 운반될 때이다.

시퀀스 파라미터 세트에서, MPEG-4는 어떤 양자화 매트릭스가 사용될지를 특정한다. 어떤 양자화 스킴이 사용될지 그리고 화상 레벨인 다음 레벨에서 변환하는 것이 허락될지 여부를 나타내기 위해 6비트 플래그를 정의할 것이고, 그 헤더는 화상 파리미터 세트이다.

정의된 양자화 매트릭스의 서브세트(subset)를 참조하는 시퀀스 파라미터는 비디오 코덱 사양서에 그것들의 디폴트를 포함하는 모든 양자화 매트릭스 ID 및 코덱 오퍼레이터에 의해 컨텐츠에 대해 구체적으로 정의된 것들을 기입한다. 시퀀스 파라미터 세트는 일부 공통 양자화 파라미터를 운반할 수 있다. 시퀀스 파라미터 세트는 루마 및 크로마에 대해 8×8 및 4×4 블록 각각에 대한 상호 및 내부 예측(inter and intra prediction)을 위한 디폴트 양자화 매트릭스 세트를 각각 공표할 수 있다. 그러나, 화상 파라미터 세트, 슬라이스 헤더, 및 매크로블록 레벨은, 상위 레벨 사양서를 무효로 하도록 그들 자신의 양자화 매트릭스 세트를 공표할 수 있다. 그러나 이들 양자화 매트릭스는 현재 사용 가능한 시퀀스 파라미터 세트에서 사용 가능하여야 한다.

양자화 매트릭스가 NAL 단위상으로 운반되면, 이들은 시퀀스의 비트 스트림의 시작부분에서 전송될 수 있다. 그 위치는 시퀀스 파라미터 세트를 운반하는 NAL 단위의 전후에 위치될 수 있는 것이 될 수 있다. 초기 정의 이후에, 추가적인 설정된 양자화 매트릭스가 비트 스트림에 삽입되어 새로운 매트릭스를 업데이트 및 추 가할 수 있다. 추가 또는 업데이트될지 여부의 동작은 양자화 매트릭스 ID에 의해 결정된다. ID가 존재하면, 업데이트이다. ID가 존재하지 않으면 매트릭스는 매트릭스 풀에 추가될 것이다.

(제 3 실시형태)

또한, 상기한 각 실시형태에서 도시된 바와 같이 동화상 부호화 방법 및 동화상 복호화 방법을 실현하는 프로그램이 플렉시블 디스크와 같은 기록 매체에 기록되면, 독립적인 컴퓨터 시스템에서 상기 각 실시형태에 제공된 처리를 쉽게 수행할 수 있게 된다.

도 13A, 13B 및 13C는 상기 각 실시형태에서 설명된 동화상 부호화 방법 및 동화상 복호과 방법을 컴퓨터 시스템에서 플렉시블 디스크와 같은 저장 매체에 저장된 프로그램을 사용하여 실현하는 실례이다.

도 13B는 정면에서 본 플렉시블 디스크의 외관도, 그 개략적인 단면도, 및 플렉시블 디스크 그 자체를 도시하고, 도 13A는 기록 매체 그 자체로서 플렉시블 디스크의 물리적 포맷의 실시예를 도시한다. 플렉시블 디스크(FD)는 케이스(F)내에 담겨지고, 복수의 트랙(Tr)이 외주로부터 반경 방향으로 플렉시블 디스크(FD)의 표면에 동심원적으로 형성되며, 각 트랙은 각도 방향으로 16 섹터(Se)로 분할된다. 따라서, 상기한 프로그램을 저장하는 플렉시블 디스크에서는, 프로그램이 플렉시블 디스크(FD)상의 할당된 영역에 기록된다.

한편, 도 13C는 프로그램을 플렉시블 디스크(FD)상에 기록 및 독출하는데 필요한 구성을 도시한다. 상기 동화상 부호화 방법 및 동화상 복호화 방법을 실현하 는 프로그램이 플렉시블 디스크(FD)에 기록될 때, 이러한 프로그램은 플렉시블 디스크 드라이버(FDD)를 통한 컴퓨터 시스템(Cs)의 사용에 의해 기록된다. 한편, 동화상 부호화 방법 및 동화상 복호화 방법이 플렉시블 디스크(FD)상에 이들 방법을 실현하기 위한 프로그램을 통해 컴퓨터 시스템(Cs)에 구성되는 경우, 상기 프로그램은 플렉시블 디스크 드라이버(FDD)를 통해 플렉시블 디스크(FD)로부터 독출된 다음 컴퓨터 시스템(Cs)으로 전송된다.

상기 설명은 기록매체가 플렉시블 디스크라는 가정하에 이루어졌지만, 광학 디스크도 사용될 수 있다. 또한, 기록매체는 이에 제한되지 않고, 프로그램을 기록할 수 있는 IC 카드 및 ROM 카세트와 같은 임의의 다른 매체도 사용될 수 있다.

(제 4 실시형태)

상기 실시형태에 도시된 바와 같은 동화상 부호화 방법 및 동화상 복호화 방법의 적용 실시예 및 이들을 사용하는 시스템을 다음에 설명한다.

도 14는 컨텐츠 분배 서비스를 실현하는 컨텐츠 공급 시스템(ex100)의 전체 구성을 도시한 블록도이다. 통신 서비스를 제공하기 위한 영역은 원하는 크기의 셀로 분할되고, 각 셀에 고정 무선국인 기지국(ex107 ∼ ex110)이 배치된다.

이러한 컨텐츠 공급 시스템(ex100)에서는, 컴퓨터(ex111), PDA(Personal Digital Assistant)(ex112), 카메라(ex113), 휴대폰(ex114), 그리고 카메라 장착 휴대폰(ex115)와 같은 장치들이 인터넷 서비스 프로바이더(internet service provider)(ex102), 전화망(ex104) 및 기지국(ex107 ∼ ex110)을 통해 인터넷(ex101)에 각각 접속된다.

그러나, 컨텐츠 공급 시스템(ex100)은 도 14에 도시된 바와 같은 조합에 제한되지 않고, 그들의 임의의 조합에 접속될 수 있다. 또한, 각 장치는 고정 무선국인 기지국(ex107 ∼ ex110)을 통하지 않고, 전화망(ex104)에 직접 접속될 수 있다.

카메라(ex113)는 동화상을 촬영할 수 있는 디지털 비디오 카메라와 같은 장치이다. 휴대폰은 PDC(Personal Digital Communications) 시스템, CDMA(Code Division Multiple Access) 시스템, W-CDMA(Wideband-Code Division Multiple Access) 시스템 또는 GSM(Global System for Mobile Communications) 시스템, PHS(Personal Handyphone system) 등의 휴대폰일 수 있고, 이들 중 임의의 하나일 수 있다.

또한, 스트리밍 서버(ex103)는 기지국(ex109) 및 전화망(ex104)를 통해 카메라(ex113)에 접속되어, 카메라(ex113)를 사용하는 사용자에 의해 전송된 부호화된 데이터에 의거하여 실황 분배(live distribution) 등을 가능하게 한다. 카메라(ex113) 또는 데이터 전송 처리를 수행할 수 있는 서버와 같은 것 중에서 어느 하나가 촬영 데이터를 부호화할 수 있다. 또한, 카메라(ex116)에 의해 촬영된 동화상 데이터는 컴퓨터(ex111)를 통해 스트리밍 서버(ex103)로 전송될 수 있다. 카메라(ex116)는 정지 화상 및 동화상을 촬영할 수 있는 디지털 카메라와 같은 장치이다. 이 경우에, 카메라(ex116) 또는 컴퓨터(3x111) 중 어느 하나가 동화상 데이터를 부호화할 수 있다. 이 경우에, 컴퓨터(ex111) 또는 카메라(ex116)에 포함된 LSI(ex117)가 부호화 처리를 수행한다. 화상 부호화 및 복호화를 위한 소프트웨어가 컴퓨터(ex111) 등에 의해 판독 가능한 기록매체인 (CD-ROM, 플렉시블 디스크 및 하드 디스크와 같은) 임의의 타입의 저장매체에 통합될 수 있다. 또한, 카메라 장착 휴대폰(ex115)이 동화상 데이터를 전송할 수 있다. 이 동화상 데이터는 휴대폰(ex115)에 포함된 LSI에 의해 부호화된 데이터이다.

이러한 컨텐츠 공급 시스템(ex100)에서는, 카메라(ex113), 카메라(ex116) 등을 사용하여 사용자에 의해 촬영된 컨텐츠(예를 들어, 뮤직 라이브 비디오)가 상술한 실시형태와 같은 방법으로 부호화되어 스트리밍 서버(ex103)로 전송되고, 스트리밍 서버(ex103)는 클라이언트의 요청에 따라 클라이언트로 컨텐츠 데이터의 스트림 분배를 한다. 여기서 클라이언트는 상기 부호화된 데이터를 복호화할 수 있는 컴퓨터(ex111), PDA(ex112), 카메라(ex113), 휴대폰(ex114) 등을 포함한다. 상기 구성의 컨텐츠 공급 시스템(ex100)는 클라이언트가 부호화된 데이터를 수신 및 재생할 수 있게 하고 데이터를 실시간으로 수신, 복호화 및 재생할 수 있게 함으로써 개인 방송국을 실현하는 시스템이다.

상기 실시형태에서 제공된 동화상 부호화 장치 및 동화상 복호화 장치는 상기 시스템을 구성하는 각 장치에서 수행될 부호화 및 복호화를 위해 사용될 수 있다.

실시예로서 휴대폰에 대해 설명한다.

도 15는 상기 실시형태에서 설명된 동화상 부호화 방법 및 동화상 복호화 방법을 채용한 휴대폰(ex115)을 도시한 도면이다. 휴대폰(ex115)은 기지국(ex110)과 전파를 송수신하기 위한 안테나(ex201), 비디오 및 정지 화상을 촬용할 수 있는 CCD 카메라와 같은 카메라 유닛(ex203), 카메라 유닛(ex203)에 의해 촬영된 비디오 등 및 안테나(ex201)에 의해 수신된 비디오 등을 복호화하여 얻어진 데이터를 디스플레이하기 위한 액정 디스플레이와 같은 디스플레이 유닛(ex202), 조작키 세트(ex204)가 구비된 본체, 음성을 출력하는 스피커와 같은 음성출력유닛(ex208), 음성을 입력하기 위한 마이크로폰과 같은 음성입력유닛(ex205), 카메라에 의해 촬영된 동화상 또는 정지화상 데이터, 수신된 전자메일 데이터 및 동화상 데이터 또는 정지화상 데이터와 같은 부호화된 데이터 또는 복호화된 데이터를 저장하기 위한 기록매체(ex207), 및 기록매체(ex207)가 휴대폰(ex115)에 부착되게 하는 슬롯유닛(ex206)을 구비한다. 기록매체(ex207)는, SD 카드와 같이 플라스틱 케이스에 저장된, 전기적으로 소거 및 재기록 가능한 불휘발성 메모리인 일종의 EEPROM(Electrically Erasable and Programmable Read Only Memory)를, 플래시 메모리 소자로서 내장된다.

다음에, 도 16을 참조하여, 휴대폰(ex115)에 대해 설명한다. 휴대폰(ex115)에서, 디스플레이유닛(202) 및 조작키(ex204)를 갖는 본체의 각 유닛을 중앙 제어하는 주 제어 유닛(ex311)은 전원 회로 유닛(310), 조작 입력 제어 유닛(ex304), 화상 부호화 유닛(ex312), 카메라 인터페이스 유닛(ex303), LCD(Liquid Crystal Display) 제어 유닛(ex302), 화상 복호화 유닛(ex309), 멀티플렉싱/디멀티플렉싱 유닛(ex308), 기록/재생 유닛( ex307), 모뎀 회로 유닛(ex306), 및 음성 처리 유닛(ex305)이 동기 버스(ex313)를 통해 상호 접속되는 방식으로 구성된다.

호출/종료 키 또는 전원키가 사용자의 조작에 의해 턴온되면, 전원 회로 유닛(ex310)는 배터리 팩으로부터의 전력을 각 유닛으로 공급하여, 카메라 장착 디지 털 휴대폰(ex115)을 기동시켜서 준비 상태(ready state)로 만든다.

휴대폰(ex115)에서, 음성 처리 유닛(ex305)은 CPU, ROM, RAM 등으로 구성된 주 제어 유닛(ex311)의 제어하에 통화 모드에서 음성 입력 유닛(ex205)에 의해 수신된 음성 신호를 디지털 음성 데이터로 변환하고, 이에 대해 모뎀 회로 유닛(ex306)이 확산 스펙트럼 처리를 행하며, 송수신 회로 유닛(ex301)이 데이터에 대해 디지털/아날로그 변환 처리 및 주파수 변환 처리를 수행하여, 안테나(ex201)를 통해 전송한다. 또한, 휴대폰(ex115)에서는, 통화 모드에서 안테나(ex201)에 의해 수신된 데이터가 증폭되어 주파수 변환 처리 및 아날로그/디지털 변환 처리가 수행되고, 그 결과물에 대해 모뎀 회로 유닛(ex306)이 역 확산 스펙트럼 처리를 수행하고, 이것을 음성 처리 유닛(ex305)이 아날로그 음성 데이터로 변환하여, 음성 출력 유닛(ex208)을 통해 출력한다.

또한, 데이터 통신 모드에서 전자메일을 전송할 때, 본체의 조작키(ex204)를 조작하여 입력된 전자메일의 텍스트 데이터는 조작 입력 제어 유닛(ex304)를 통해 주 제어 유닛(ex311)으로 전송된다. 주 제어 유닛(ex311)에서는, 모뎀 회로 유닛(ex306)이 텍스트 데이터에 대해 확산 스펙트럼 처리를 수행하고 이에 대해 송수신 회로 유닛(ex301)이 디지털/아날로그 변환 처리 및 주파수 변환 처리를 수행한 후, 그 결과물이 안테나(ex210)를 통해 기지국(ex110)으로 전송된다.

데이터 통신 모드에서 화상 데이터가 전송될 때, 카메라 유닛(ex203)에 의해 촬영된 화상 데이터가 카메라 인터페이스 유닛(ex303)을 통해 화상 부호화 유닛(ex312)으로 공급된다. 화상 데이터가 전송되지 않을 때, 카메라 인터페이스 유닛 (x303) 및 LCD 제어 유닛(ex302)을 통해 디스플레이 유닛(ex202)에 카메라 유닛(ex203)에 의해 촬영된 이러한 화상 데이터를 직접 디스플레이하는 것도 가능하다.

본 발명에 따른 동화상 부호화 장치를 포함하는, 화상 부호화 유닛(ex312)은 상기 실시형태에서 제공된 동화상 부호화 장치에 의해 채용된 부호화 방법을 사용하여 카메라 유닛(ex203)으로부터 공급된 화상 데이터에 대해 압축 부호화를 수행함으로써, 부호화된 데이터로 변환하여 멀티플렉싱/디멀티플렉싱 유닛(ex308)으로 전송한다. 이때, 휴대폰(ex115)은 카메라 유닛(ex303)에 의한 촬영이 이루어지는 동안 음성 입력 유닛(ex205)에 의해 수신된 음성을 음성 처리 유닛(ex305)을 통해 디지털 음성 데이터로서 멀티플렉싱/디멀티플렉싱 유닛(ex308)으로 전송한다.

멀티플렉싱/디멀티플렉싱 유닛(ex308)은 소정의 방법을 사용하여 화상 부호화 유닛(ex312)로부터 공급된 부호화된 화상 데이터와 음성 처리 유닛(ex305)으로공급된 음성 데이터를 멀티플렉싱하고, 모뎀 회로 유닛(ex306)은 멀티플렉싱된 데이터에 대해 확산 스펙트럼 처리를 수행하며, 그 결과물에 대해 송수신 회로 유닛(ex301)이 디지털/아날로그 변환 처리 및 주파수 변환 처리를 하여, 안테나(ex201)를 통해 처리된 데이터를 전송한다.

데이터 통신 모드에서, 웹페이지 등에 링크된 동화상 파일 데이터를 수신할 때, 모뎀 회로 유닛(ex306)은 안테나(ex201)를 통해 기지국(ex110)으로부터 수신된 수신 신호에 대해 역 확산 스펙트럼 처리를 수행하여, 멀티플렉싱된 데이터를 멀티플렉싱/디멀티플렉싱 유닛(ex308)으로 전송한다.

안테나(ex201)를 통해 수신된 멀티플렉싱된 데이터를 복호화하기 위해서는, 멀티플렉싱/디멀티플렉싱 유닛(ex308)이 멀티플렉싱된 데이터를 화상 데이터의 비트 스트림과 음성 데이터의 비트 스트림으로 분리하여, 동기 버스(ex313)를 통해 부호화된 화상 데이터를 화상 복호화 유닛(ex309)으로 공급하고 음성 데이터를 음성 처리 유닛(ex305)으로 공급한다.

다음에, 본 발명에 따른 동화상 복호화 장치를 포함하는, 화상 복호화 유닛(ex309)은 상술한 실시형태에 개시된 부호화 방법과 쌍을 이루는 복호화 방법을 사용하여 화상 데이터의 비트 스트림을 복호화함으로써 재생용 동화상 데이터를 생성하고, 이러한 데이터를 LCD 제어 유닛(ex302)을 통해 디스플레이 유닛(ex202)으로 공급한다. 따라서, 예컨데, 웹페이지에 링크된 동화상 파일에 포함되는 동화상 데이터가 디스플레이된다. 동시에, 음성 처리 유닛(ex305)은 음성 데이터를 아날로그 음성 신호로 변환한 다음, 음성 출력 유닛(ex208)으로 공급한다. 따라서, 예컨데, 웹페이지에 링크된 동화상 파일에 포함된 음성 데이터가 재생된다.

상술한 시스템은 배타적인 예가 아니며 따라서 상기 실시형태의 동화상 부호화 장치 또는 동화상 복호화 장치의 적어도 어느 하나가, 위성/지상 디지털 방송이 최근의 화제라는 배경에서, 도 17에 도시된 바와 같이 디지털 방송 시스템에 병합될 수 있다. 좀더 구체적으로는, 방송국(ex409)에서, 통신 또는 방송을 위해 비디오 정보의 비트 스트림이 전파에 의해 위성(ex410)으로 전송된다. 그것을 수신함에 따라, 방송위성(ex410)이 방송용 전파를 송신하고, 위성 방송 수신 장비를 갖춘 가정의 안테나(ex406)가 이러한 전파를 수신하며, 텔레비전(수신기)(ex401) 및 셋탑박스(STP)(ex407)와 같은 장치가 비트 스트림을 복호화하여 복호화된 데이터를 재 생한다. 상술한 실시형태에서 개시된 바와 같은 동화상 복호화 장치는 CD 및 DVD와 같은 기록매체인 저장매체(ex402)상에 기록된 비트 스트림을 판독 및 복호화하는 재생 장치(ex403)에 구현될 수 있다. 이 경우에, 재생된 비디오 신호는 모니터(ex404)에 디스플레이된다. 케이블 텔레비전용 케이블(ex405) 또는 위성/지상 방송용 안테나(ex406)에 접속된 셋탑박스(ex407)에 동화상 복호화 장치를 구현하여 텔레비전 모니터(ex408)에 재생하는 것도 생각할 수 있다. 이 경우에는, 동화상 복호화 장치는 셋탑박스가 아니라 텔레비전에 병합될 수 있다. 또는, 안테나(ex411)를 구비한 자동차(ex412)가 위성(ex410), 기지국(ex107) 등으로부터 신호를 수신하여, 자동차(ex412)에 장착된 자동차 네비게이션 시스템(ex413)와 같은 디스플레이 장치에 동화상을 재생할 수 있다.

또한, 상기 실시형태에서 제공된 동화상 부호화 장치에 의해 화상 신호를 부호화하여 기록매체에 기록할 수도 있다. 실시예는 DVD 디스크(ex421)에 화상 신호를 기록하기 위한 DVD 레코더 및 하드 디스크에 화상 신호를 기록하기 위한 디스크 레코더와 같은 레코더(ex420)를 포함한다. 또한, 화상 신호는 SD 카드(ex422)에 기록될 수도 있다. 레코더(ex420)에 상기 실시형태에서 제공된 동화상 복호화 장치가 구비되면, DVD 디스크(ex421) 또는 SD 카드(ex422)에 기록된 화상 신호를 재생하여 모니터(ex408)에 디스플레이할 수 있다.

자동차 네비게이션 시스템( ex413)의 구성처럼, 도 16에 도시된 구성 중에서 카메라 유닛(ex203), 카메라 인터페이스 유닛(ex303) 및 화상 부호화 유닛(ex312)이 없는 구성을 생각할 수 있다. 컴퓨터(ex111), 텔레비전(수신기)(ex401) 등에 동 일하게 적용할 수 있다.

휴대폰(ex114)과 같은 단말기와 관련하여, 부호화기 및 복호화기를 모두 갖는 송수신 단말기뿐만 아니라 부호화기만 갖는 송신 단말기 및 복호화기만 갖는 수신 단말기도 구현될 수 있다.

상술한 바와 같이, 상기 실시형태에서 제공된 동화상 부호화 방법 및 동화상 복호화 방법을 상기한 장치 및 시스템의 임의의 하나에 채용할 수 있다. 따라서, 상술한 실시형태에서 설명된 효과를 달성할 수 있게 된다.

본 발명은 상기 실시형태에 제한되지 않으며, 본 발명의 범위를 벗어나지 않고 많은 변화 및 변형이 가능하다.

도 3 및 9에 도시된 블록도에서 각 기능 블록은 전형적인 집적 회로 장치인 LSI로 실현될 수 있다. 이러한 LSI는 하나 또는 복수의 칩 형태로 병합될 수 있다(예컨데, 메모리 이외의 기능 블록이 단일 칩으로 병합될 수 있다). 여기서, LSI는 실시예로서 취해졌지만, 집적도에 따라 "IC", "시스템 IC", "슈퍼 LSI" 및 "울트라 LSI"라 할 수 있다.

집적회로로의 병합을 위한 방법은 LSI에 제한되지 않으며, 전용 회선 또는 범용 프로세서를 가지고 실현될 수 있다. LSI의 제조 후, 프로그램 가능한 FPGA(Field Programmable Gate Array) 또는 LSI에서 회로 셀에 대한 접속 및 세팅(setting)을 재구성할 수 있는 재구성 가능한 프로세서가 사용될 수 있다.

또한, 반도체 기술 또는 이로부터 비롯된 다른 기술의 진보에 의해 LSI를 대체하는 집적회로로의 병합을 위해 기술의 등장에 따라, 기능 블록의 통합이 새롭게 등장한 기술을 사용하여 수행될 수 있다. 바이오 테크놀로지가 실시예의 하나로서 인용될 수 있다.

기능 블록 중에서, 부호화 또는 복호화될 데이터를 저장하는 유닛만이 칩 형태로 병합되지 않고 개별적으로 구성될 수 있다.

상술한 바와 같이, 본 발명에 따른 동화상 부호화 방법 및 동화상 복호화 방법은 휴대폰, DVD 장치 및 퍼스널 컴퓨터와 같은 장치에서, 동화상을 구성하는 화상을 부호화하여 부호화된 스트림을 생성하고 생성된 부호화된 스트림을 복호화하는 방법으로서 유용하다.

Claims (25)

1. 양자화 매트릭스를 이용하여, 복수의 픽처로 구성되는 동화상을 블록 단위로 부호화하는 화상 부호화 방법으로서,

   상기 복수의 픽처를 부호화할 때 디폴트 양자화 매트릭스와는 다른 제 2 양자화 매트릭스를 사용하는 경우에는, 상기 제 2 양자화 매트릭스를 부호화함과 더불어, 상기 제 2 양자화 매트릭스를 특정하는 특정 정보를, 부호화된 상기 제 2 양자화 매트릭스에 부수시켜서 부호열로서 출력하는 양자화 매트릭스 부호화 단계와,

   상기 복수의 픽처에 포함되는 커런트 픽처를 상기 디폴트 양자화 매트릭스와 상기 제 2 양자화 매트릭스의 적어도 일방의 양자화 매트릭스를 이용하여 부호화하여, 상기 부호화된 커런트 픽처의 데이터를 상기 부호열로서 출력하는 픽처 부호화 단계와,

   상기 커런트 픽처를 부호화할 때 사용한 양자화 매트릭스를 특정하는 매트릭스 ID를, 상기 부호화된 커런트 픽처의 상기 데이터에 부수시킨 매트릭스 ID 부여 단계를 포함하며,

   상기 양자화 매트릭스 부호화 단계, 상기 픽처 부호화 단계, 및 상기 매트릭스 ID 부여 단계는 프로세서에 의해 실행되는, 화상 부호화 방법.
2. 제 1 항에 있어서,

   상기 매트릭스 ID는, 픽처 단위, 슬라이스 단위, 혹은 매크로 블록 단위로 상기 부호화된 커런트 픽처의 상기 데이터에 부수하는 화상 부호화 방법.
3. 제 1 항에 있어서,

   부호화된 상기 제 2 양자화 매트릭스, 및 상기 특정 정보는, 복수의 픽처 단위 혹은 단일의 픽처 단위로 상기 부호열에 배치되는 화상 부호화 방법.
4. 양자화 매트릭스를 이용하여, 복수의 부호화 픽처를 블록 단위로 복호화하는 화상 복호화 방법으로서,

   디폴트 양자화 매트릭스와는 다른 제 2 양자화 매트릭스, 및 상기 제 2 양자화 매트릭스를 특정하는 특정 정보를 부호열로부터 취득하여, 유지하는 유지 단계와,

   커런트 픽처를 부호화하여 생성된 데이터에 부수하여, 상기 커런트 픽처를 부호화할 때 사용한 양자화 매트릭스를 특정하는 매트리스 ID를 상기 부호열로부터 추출하는 추출 단계와,

   상기 유지단계에서 유지된 양자화 매트릭스 중에서 상기 매트릭스 ID에 대응하는 양자화 매트릭스를 특정하는 양자화 매트릭스 특정 단계와,

   특정된 상기 양자화 매트릭스를 이용하여, 상기 부호화된 커런트 픽처의 상기 데이터를 복호화하는 픽처 복호화 단계를 포함하고,

   각 화상은 루마 성분과 2개의 크로마 성분으로 구성되고, 상기 특정 단계에서, 상기 특정 정보에 의거하여 특정된 양자화 매트릭스에 크로마 성분용 양자화 매트릭스가 없는 경우에는, 상기 루마 성분용 양자화 매트릭스가 2개의 크로마 성분에 사용될 양자화 매트릭스로서 특정되고,

   상기 유지 단계, 상기 추출 단계, 상기 양자화 매트릭스 특정 단계, 및 상기 픽처 복호화 단계는 프로세서에 의해 실행되는, 화상 복호화 방법.
5. 제 4 항에 있어서,

   상기 매트릭스 ID는, 픽처 단위, 슬라이스 단위, 혹은 매크로블록 단위로 상기 부호화된 커런트 픽처의 상기 데이터에 부수하는 화상 복호화 방법.
6. 제 4 항에 있어서,

   상기 제 2 양자화 매트릭스, 및 상기 특정 정보는, 복수의 픽처 단위 혹은 단일의 픽처 단위로 상기 부호열에 배치되는 화상 복호화 방법.
7. 양자화 매트릭스를 이용하여, 복수의 부호화 픽처를 블록 단위로 복호화하는 화상 복호화 방법으로서,

   디폴트 양자화 매트릭스와는 다른 제 2 양자화 매트릭스, 및 상기 제 2 양자화 매트릭스를 특정하는 특정 정보를 부호열로부터 취득하여, 유지하는 유지단계와,

   커런트 픽처를 부호화하여 생성된 데이터에 부수하여, 상기 커런트 픽처를 부호화할 때 사용한 양자화 매트릭스를 특정하는 매트리스 ID를 상기 부호열로부터 추출하는 단계와,

   상기 유지단계에서 유지된 양자화 매트릭스 중에서 상기 매트릭스 ID에 대응하는 양자화 매트릭스를 특정하는 양자화 매트릭스 특정 단계와,

   특정된 상기 양자화 매트릭스를 이용하여, 상기 커런트 픽처의 상기 데이터를 복호화하는 픽처 복호화 단계를 포함하고,

   각 화상은 루마 성분과 2개의 크로마 성분으로 구성되고, 상기 특정 단계에서, 상기 특정 정보에 의거하여 특정된 양자화 매트릭스에 상기 2개의 크로마 성분 중 어느 하나에 대한 양자화 매트릭스가 없는 경우에는, 상기 2개의 크로마 성분 중 다른 하나에 대한 양자화 매트릭스가 상기 2개의 크로마 성분 중 상기 어느 하나에 사용될 양자화 매트릭스로서 특정되는, 화상 복호화 방법.
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제
20. 삭제
21. 삭제
22. 삭제
23. 삭제
24. 삭제
25. 삭제

Images