KR20100099723A - 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법 - Google Patents

화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법 Download PDF

Info

Publication number
KR20100099723A
KR20100099723A KR20107015100A KR20107015100A KR20100099723A KR 20100099723 A KR20100099723 A KR 20100099723A KR 20107015100 A KR20107015100 A KR 20107015100A KR 20107015100 A KR20107015100 A KR 20107015100A KR 20100099723 A KR20100099723 A KR 20100099723A
Authority
KR
South Korea
Prior art keywords
motion vector
prediction
bit stream
image
motion
Prior art date
Application number
KR20107015100A
Other languages
English (en)
Inventor
šœ이치 세키구치
겐지 오토이
유이치 이데하라
요시히사 야마다
고타로 아사이
도쿠미치 무라카미
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20100099723A publication Critical patent/KR20100099723A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

부호화 대상으로 되는 4:4:4 포맷의 영상 신호의 통계적ㆍ국소적 성질에 따라서 신호 상관을 보다 양호하게 제거하여 효율적인 정보 압축을 행하는 방법 등을 제공한다. 디지털 영상 신호의 각 픽쳐를 소정의 단위 영역으로 분할하고, 그 단위로 움직임 보상 예측을 이용하여 압축 부호화를 행하는 화상 부호화 장치로서, 움직임 벡터가 지시하는 화소 위치의 정밀도의 상한을 지정하는 가상 화소 정밀도 지정 정보에 근거하여 움직임 벡터 탐색을 행하고, 상기 탐색된 움직임 벡터에 근거하여 움직임 보상 예측 화상을 생성하는 예측부와, 상기 가상 화소 정밀도 지정 정보를 비트 스트림에 다중화함과 아울러, 상기 탐색된 움직임 벡터의 크기와, 상기 탐색된 움직임 벡터의 예측에 이용하는 움직임 벡터의 크기에 근거하여, 부호화하는 움직임 벡터 데이터를 비트 스트림에 다중화하는 부호화부를 구비한다.

Description

화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법{IMAGE ENCODING DEVICE, IMAGE DECODING DEVICE, IMAGE ENCODING METHOD, AND IMAGE DECODING METHOD}
본 발명은 화상 압축 부호화 기술이나 압축 화상 데이터 전송 기술 등에 이용되는 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법 에 관한 것이다.
종래, MPEG나 ITU-T H.26x 등의 국제 표준 영상 부호화 방식에서는, 주로 4:2:0 포맷이라고 불리는, 표준화된 입력 신호 포맷을 압축 처리 대상 신호로서 이용해 왔다. 4:2:0란, RGB 등의 컬러 동화상 신호를 휘도 성분(Y)과 2개의 색차 성분(Cb, Cr)으로 변환하여, 수평ㆍ수직 모두 색차 성분의 샘플수를 휘도 성분의 반으로 삭감한 포맷이다. 색차 성분은 휘도 성분에 비해서 시인성이 떨어지기 때문에, MPEG-4 AVC/H.264(이하, AVC)와 같은 국제 표준 영상 부호화 방식(비특허 문헌 1)에서는, 이와 같이 부호화를 행하기 전에 색차 성분의 다운 샘플을 행함으로써 부호화 대상의 원정보량을 삭감해 두는 것을 전제로 하고 있었다. 한편, 디지털 영화 등의 콘텐츠에 있어서는, 콘텐츠 제작시의 색표현을 상영시에 정확히 재현하는 것을 목적으로 하여, 색차 성분을 다운 샘플하지 않고 휘도 성분과 동일 샘플로 부호화하는 4:4:4 포맷에서의 직접 부호화 방식을 추천하고 있다. 이 목적에 적합한 방식으로서, 비특허 문헌 2와 같은 표준 방식이 있다. 4:2:0 포맷과 4:4:4 포맷의 차이를 도 9에 나타낸다. 이 도면에 있어서, 4:2:0 포맷은 휘도(Y)ㆍ색차(Cb, Cr) 신호로 구성되고, 색차 신호의 샘플은 휘도 신호의 2x2 샘플분 상당에 대해 하나인 데 반하여, 4:4:4 포맷은 특히 색을 표현하는 색공간을 Y, Cb, Cr로 한정하지 않고, 각 색성분의 신호의 샘플비가 1:1로 되어 있는 것을 나타내고 있다.
비특허 문헌 1: MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264 규격
비특허 문헌 2: MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264 Amendment2
예컨대, 비특허 문헌 2에 의한 4:4:4 포맷의 부호화에서는, 도 10에 나타내는 바와 같이, 먼저, 미리 부호화 대상으로 되는 입력 영상 신호(1001)(4:4:4 포맷)를 직접 또는 적당한 색공간(Y, Cb, Cr 등)으로 변환한 후, 블록 분할부(1002)에 있어서 매크로 블록(16화소×16라인의 직사각형 블록)의 단위로 분할되어서 부호화 영상 신호(1003)로서 예측부(1004)에 입력한다. 비특허 문헌 2에서는, 매크로 블록은 3개의 색성분을 모은 단위로 구성해도 좋고, 각 색성분을 독립된 픽쳐로 간주하여, 단일 색성분의 직사각형 블록으로서 구성해도 좋고, 어느 쪽의 구성의 매크로 블록을 이용하는지는 시퀀스 레벨에서 선택 가능하게 되어 있다. 예측부(1004)에서는, 매크로 블록 내의 각 색성분의 화상 신호를 프레임내ㆍ프레임간에서 예측하여, 예측 오차 신호(1005)를 얻는다. 특히, 프레임간에서 예측을 행하는 경우, 매크로 블록 자체, 또는 매크로 블록을 더욱 세밀하게 분할한 서브 블록의 단위로 움직임 벡터를 탐색하고, 움직임 벡터에 근거해 움직임 보상 예측 화상을 생성하여, 부호화 영상 신호(1003)와의 차분을 취함으로써 예측 오차 신호(1005)를 얻는다. 압축부(1006)는, 예측 오차 신호(1005)에 대해 DCT(이산 코사인 변환) 등의 변환 처리를 실시하여 신호 상관을 제거한 후, 양자화해서 압축 데이터(1007)를 얻는다. 압축 데이터(1007)는 가변 길이 부호화부(1008)에서 엔트로피 부호화되어 비트스트림(1009)으로서 출력됨과 아울러, 국소 복호부(1010)로 보내어져서 복호 예측 오차 신호(1011)를 얻는다. 이것을 예측 오차 신호(1005)의 생성에 이용한 예측 신호(1012)와 가산하여 복호 신호(1013)를 얻는다. 복호 신호(1013)는, 이후의 부호화 영상 신호(1003)를 위한 예측 신호(1012)를 생성할 목적으로 메모리(1014)에 저장된다. 도시하고 있지 않지만, 메모리(1014)로 기입하기 전에, 복호 신호에 디블록킹 필터를 실시하여 블록 왜곡을 제거하는 처리를 행하도록 구성된다. 또한, 예측 신호(1012)를 얻기 위해서 예측부(1004)에 있어서 결정된 예측 신호 생성용 파라미터(1015)는 가변 길이 부호화부(1008)로 보내어져서, 비트스트림(1009)으로서 출력된다. 여기서, 예측 신호 생성용 파라미터(1015)에는, 예컨대, 프레임 내에서의 공간 예측을 어떻게 행할지를 나타내는 인트라 예측 모드나, 프레임간의 움직임량을 나타내는 움직임 벡터 등이 포함된다. 매크로 블록을 3개의 색성분을 결합한 단위로 구성하고 있는 경우는, 예측 신호 생성용 파라미터(1015)는 3개의 색성분에 공통적으로 적용되는 파라미터로서 검출되고, 각 색성분을 독립된 픽쳐로 간주하여, 매크로 블록을 단일 색성분의 직사각형 블록으로서 구성하고 있는 경우는, 예측 신호 생성용 파라미터(1015)는 각 색성분에 개별적으로 적용되는 파라미터로서 검출된다.
4:4:4 포맷의 영상 신호는, 각 색성분의 동일 수의 샘플이 포함되어 있어, 종래의 4:2:0 포맷의 영상 신호에 비해서 엄밀한 색재현성을 갖는 반면, 압축 부호화의 의미에서는 장황한 정보량을 포함하고 있다. 4:4:4 포맷의 영상 신호의 압축 효율을 높이기 위해서는, 종래의 4:2:0 포맷의 고정적인 색공간 정의(Y, Cb, Cr)에 대하여, 신호에 포함되는 장황도를 더욱 저감할 필요가 있다. 비특허 문헌 2에 따른 4:4:4 포맷의 부호화에서는, 부호화 영상 신호(1003)는 신호의 통계적ㆍ국소적인 성질에 따르지 않고, 각 색성분을 휘도 신호로 간주하여 부호화를 행하며, 예측부(1004), 압축부(1006), 가변 길이 부호화부(1008) 중 어느 하나에 있어서도 부호화 대상 신호의 성질을 최대한으로 고려한 신호 처리는 행해지지 않는다.
그래서, 본 발명은 부호화 대상으로 되는 4:4:4 포맷의 영상 신호의 통계적ㆍ국소적 성질에 따라서 신호 상관을 보다 양호하게 제거하여 효율적인 정보 압축을 행하는 방법을 제공하고, 상기 종래기술에서 설명한 바와 같이, 4:4:4 포맷과 같은 색성분간에 샘플비의 구별이 없는 동화상 신호를 부호화함에 있어서, 최적성을 높인 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법을 제공하는 것을 목적으로 한다.
본 발명에 따른 화상 부호화 장치는, 디지털 영상 신호의 각 픽쳐를 소정의 단위 영역으로 분할하고, 그 단위로 움직임 보상 예측을 이용하여 압축 부호화를 행하는 화상 부호화 장치로서, 움직임 벡터가 지시하는 화소 위치의 정밀도의 상한을 지정하는 가상 화소 정밀도 지정 정보에 근거하여 움직임 벡터 탐색을 행하고, 상기 탐색된 움직임 벡터에 근거하여 움직임 보상 예측 화상을 생성하는 예측부와, 상기 가상 화소 정밀도 지정 정보를 비트스트림에 다중화함과 아울러, 상기 탐색된 움직임 벡터의 크기와, 상기 탐색된 움직임 벡터의 예측에 이용하는 움직임 벡터의 크기에 근거하여, 부호화하는 움직임 벡터 데이터를 비트스트림에 다중화하는 부호화부를 구비하는 것이다.
본 발명의 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법에 의하면, Y, Cb, Cr 등의 고정된 색공간에 한정하지 않고 다양한 색공간을 이용하는 부호화를 행하는 경우에 있어서, 각 색성분간에 존재하는 국소적인 신호 상관을 적응적으로 제거할 수 있도록 구성할 수 있고, 색공간의 정의가 다양하게 존재하는 경우에도 최적의 부호화 처리를 행할 수 있다.
또한, 본 발명의 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법에 의하면, Y, Cb, Cr 등의 고정된 색공간에 한정하지 않고 다양한 색공간을 이용하는 부호화를 행하는 경우에 있어서, 각 색성분에서 이용하는 인트라 예측 모드 정보나 인터 예측 모드 정보를 유연하게 선택할 수 있도록 구성할 수 있고, 색공간의 정의가 다양하게 존재하는 경우에도 최적의 부호화 처리를 행할 수 있다.
도 1은 1/2화소 정밀도의 가상 화소를 생성하는 처리의 상태를 나타내는 설명도.(실시예 1)
도 2는 1/4화소 정밀도의 가상 화소를 생성하는 처리의 상태 나타내는 설명도.(실시예 1)
도 3은 실시예 1에 있어서의 화상 부호화 장치의 구성을 나타내는 설명도.(실시예1)
도 4는 도 3의 화상 부호화 장치에 있어서의 적응 움직임 벡터 탐색ㆍ부호화의 흐름도.(실시예 1)
도 5는 도 3의 예측부(4)에서 평가되는 움직임 보상 예측 모드의, 매크로 블록내 분할 패턴(움직임 벡터 할당 패턴)을 나타내는 설명도.(실시예 1)
도 6은 실시예 1에 있어서의 화상 부호화 장치로부터 출력되는 비트스트림의 데이터 배열을 나타내는 설명도.(실시예 1)
도 7은 실시예 1에 있어서의 화상 복호 장치의 구성을 나타내는 설명도.(실시예 1)
도 8은 도 7의 화상 복호 장치에 있어서의 적응 움직임 벡터 복호의 흐름도.(실시예 1)
도 9는 4:2:0, 4:4:4 포맷의 설명도.
도 10은 종래의 화상 부호화 장치(비특허 문헌 2)의 구성을 나타내는 설명도.
(실시예 1)
본 실시예에서는, 4:4:4 포맷으로 입력되는 디지털 영상 신호의 압축 신장을 행하는 화상 부호화 장치, 화상 복호 장치에 대하여, 움직임 보상 예측 처리를 행할 때의 움직임 벡터 검출 정밀도를 동적으로 전환하는 화상 부호화 장치, 화상 복호 장치에 대해서 설명한다.
디지털 영상 신호는, 원래의 아날로그 영상 신호를 샘플링함으로써 생성된 이산적인 화소 정보(이후, 정수 화소라고 부름)로 구성되는 것이지만, 인접하는 정수 화소간에 보간 연산(interpolation operation)에 의해서 가상적인 샘플(가상 화소)을 만들어내어, 가상 화소를 움직임 보상 예측값으로서 이용하는 기술이 널리 이용되고 있다. 이 기술에는, 예측의 후보점이 증가하는 것에 의한 예측 정밀도의 향상과, 보간 연산에 따른 평활화 필터 효과에 의해서 예측 화상의 특이점이 삭감되어 예측 효율이 향상한다고 하는 2개의 효과가 있는 것이 알려져 있다. 한편, 가상 화소의 정밀도가 향상하면, 움직임량을 표현하는 움직임 벡터의 다이내믹 레인지도 넓어지기 때문에, 일반적으로 그 부호량도 증가한다. 예컨대, 가상 화소를 사용하지 않고 정수 화소만을 이용하는 경우, 움직임 벡터의 값의 단위는 정수 화소 단위일 수도 있다. 그러나, 정수 화소와 정수 화소 사이의 1/2화소 정밀도의 위치까지를 움직임 벡터로 지정하는 경우에는, 움직임 벡터의 값의 단위는 1/2화소 단위로 되기 때문에, 정수 화소를 나타내기 위해서는 다이내믹 레인지가 필요하게 된다.
MPEG-1, MPEG-2 등의 표준 영상 부호화 방식에서는, 가상 화소의 정밀도를 1/2화소 정밀도까지 허용하는 반화소(half-pixel) 예측이 채용되고 있다. 도 1에 1/2화소 정밀도의 가상 화소의 생성의 상태를 나타낸다. 이 도면에 있어서, A, B, C, D는 정수 화소, e, f, g, h, i는 A~D로부터 생성되는 1/2화소 정밀도의 가상 화소를 나타낸다.
Figure pct00001
(단, //은 라운딩(rounding)을 이용한 제산을 나타냄)
이후, 편의상, 1/2화소 정밀도의 가상 화소를 단순히 「반화소」라고 기재한다.
또한, MPEG-4(ISO/IEC 14496-2)이나 MPEG-4 AVC/H.264(ISO/IEC 14496-10)에서는, 1/4화소 정밀도까지의 가상 화소를 이용하는 1/4화소 정밀도 예측이 채용되고 있다. 1/4화소 정밀도 예측에서는, 반화소를 생성한 후, 그것들을 이용하여 1/4화소 정밀도의 가상 화소를 생성한다. 이후, 편의상, 1/4화소 정밀도의 가상 화소를 「1/4화소」라고 기재한다. 1/4화소의 생성에 있어서는, 먼저, 그 기초로 되는 반화소를 생성하지만, 그때, 과도한 평활화를 억제할 목적으로, 탭(taps) 수가 많은 필터를 이용하여 원래의 정수 화소 신호의 주파수 성분을 극력 유지하도록 설계된다. 예컨대 MPEG-4의 1/4화소 생성에서는, 반화소 a는 그 주변 8근방분의 정수 화소를 사용하여, 이하와 같이 생성된다. 또한, 아래 식은 수평 처리의 경우만을 나타내고 있고, 1/4화소 생성을 위해서 만들어지는 반화소 a와, 아래 식의 정수 화소의 X성분 X-4~X4의 관계는, 도 2에 나타내는 위치 관계에 있다.
Figure pct00002
(단, COEk: 필터 계수(계수 총합이 256). //는 라운딩을 이용한 제산을 나타냄)
AVC(ISO/IEC 14496-10)에서는, 반화소를 생성할 때에 [1,-5,20,20,-5,1]로 되는 6탭의 필터를 채용하고 있고, 또한 1/4화소를 상기 MPEG-1, MPEG-2의 반화소 생성과 마찬가지의 선형 보간 처리에 의해서 생성하고 있다. 또한, 1/4화소와 1/4화소 사이에 위치하는 1/8화소 정밀도의 가상 샘플을 동일한 순서로 구해서 사용하는 사례도 있다.
1.화상 부호화 장치의 동작
본 실시예 1에 있어서, 움직임 보상 예측 처리시에 이용하는 가상 화소는 반화소, 1/4화소의 정밀도를 사용할 수 있다. 그러면, 본 실시예 1의 화상 부호화 장치, 화상 복호 장치는 4:4:4 영상 신호의 각 색성분마다 이용가능한 가상 화소의 정밀도의 상한을 부호화ㆍ복호의 상황에 따라서 유연하게 지정할 수 있도록 구성한다.
이와 같이 구성하는 것에 의한 효과로서, 이하의 점을 들 수 있다.
(i) 가상 화소를 이용한 움직임 보상 예측에 있어서는, 화상 부호화 장치측ㆍ화상 복호 장치측에서 동일한 참조 화상을 이용해서 가상 화소를 생성해야 한다. 일반적으로 압축된 영상 신호에서는, 압축율이 높을수록, 움직임 보상 예측에 이용하는 참조 화상의 품질은 내려간다. 정밀도가 높은 가상 화소를 사용하는 효과는, 참조 화상이 부호화 전의 원신호에 가까워서, 품질이 높은 신호(즉 압축율이 낮거나 또는 높은 비트 레이트 부호화)일수록 현저해지지만, 이것은 움직임 벡터를 부호화하여 전송하는 정보량이 증가하더라도, 그것을 예측 효율의 개선분으로 보충할 수 있는 케이스에 상당한다. 그러나, 압축율이 높고(낮은 비트 레이트 부호화시), 참조 화상의 품질이 부호화 전의 원신호로부터 상당히 열화한 경우에는, 그로부터 생성한 가상 화소는 원신호의 예측값으로서의 유효성이 충분히 확보되지 않는 케이스가 발생하고, 그 경우, 정밀도가 높은 가상 화소를 사용함으로써 얻을 수 있는 예측 효율과, 증가하는 움직임 벡터의 부호량과의 밸런스가 나빠진다. 따라서, 부호화의 상황에 따라서 움직임 벡터가 지정할 수 있는 가상 화소의 정밀도를 유연하게 변경할 수 있도록 화상 부호화 장치ㆍ화상 복호 장치를 설계해 두면 좋다.
(ii) 4:4:4 영상 신호의 부호화ㆍ복호에서는, 종래의 휘도ㆍ색차 성분으로 이루어지는 색공간 뿐만 아니라, RGB 등을 포함해서 다양한 색공간의 영상 신호를 취급하기 때문에, 색성분마다 신호의 통계적 성질이 여러 가지로 변동한다. 종래의 MPEG 표준 부호화 방식에 있어서의 가상 화소 이용의 움직임 보상 예측은, 주로 휘도 신호에 대해 최적화 설계되어 있고, 휘도 신호와는 상이한 통계적 성질을 갖는 색성분에 대해서는, 반드시 종래의 방법이 최적의 움직임 보상 예측 효율을 부여하는 것은 아니다. 따라서, 부호화ㆍ복호에서 취급하는 신호의 성질에 따라서 움직임 벡터가 지정할 수 있는 가상 화소의 정밀도를 유연하게 변경할 수 있도록 화상 부호화 장치ㆍ화상 복호 장치를 설계해 두면 좋다.
본 실시예 1에서는, 특히, 부호화 대상 프레임과 참조 화상 사이의 움직임의 크기를 나타내는 움직임 벡터의 크기에 착안하여, 가상 화소의 정밀도를 적응화시키는 예를 나타낸다. 도 3에 본 실시예 1에 있어서의 화상 부호화 장치의 구성을 나타낸다. 또한, 예측부(4), 가변 길이 부호화부(8) 이외의 동작은 거의 종래 기술로 설명한 비특허 문헌 2의 부호화 동작에 따르는 것으로 한다.
본 실시예 1에 있어서의 예측부(4)는, 가상 화소 정밀도 지시 정보(16)를 수신하고, 그것에 근거하여 프레임간의 움직임 벡터 검출에 이용하는 가상 화소의 정밀도를 정해서 처리를 실행하는 것을 특징으로 한다. 가상 화소 정밀도 지시 정보(16)는, 움직임 벡터의 크기와 가상 화소 정밀도의 관계를 정하는 값으로서 정의된다. 즉, 1/4화소 정밀도까지 가상 화소를 이용하는 움직임 벡터의 크기의 상한과, 반화소 정밀도까지 가상 화소를 이용하는 움직임 벡터의 크기의 상한을 지정한다. 반화소 정밀도까지 가상 화소를 이용하는 움직임 벡터의 크기의 상한을 초과하는 크기를 갖는 움직임 벡터는, 정수 화소만을 사용하도록 구성한다. 이러한 구성으로 하는 것에 의해, 이하의 효과가 있다.
움직임 벡터는 블록마다의 인접 프레임간에서의 움직임의 정도를 나타내는 양이며, 크기가 작은 경우는, 예측 대상 블록이 참조 화상 위의 대응 블록으로부터 그다지 움직이고 있지 않다는 것을 나타낸다. 즉, 상기 블록 영역은 정지에 가까운 상태에 있다고 생각해도 좋다. 한편, 움직임 벡터의 크기가 큰 경우는, 예측 대상 블록이 참조 화상 위의 대응 블록으로부터 크게 움직이고 있는 것을 나타낸다. 즉, 상기 블록 영역은 인접 프레임간에서 시간적으로 큰 움직임이 있는 영역(심한 움직임이 있는 피사체 등)으로 생각해도 좋다. 일반적으로, 정지 영역에서는 영상의 해상도는 높고, 움직임이 심한 영역은 해상도가 떨어지는 경향이 있다. 해상도가 높은 영역에서는, 가상 화소를 정밀하게 생성할 수 있지만, 해상도가 낮은 영역에서는 인접 화소간의 상관도 저하되어, 정밀도가 높은 가상 화소를 생성하는 것의 의미가 작아진다. 따라서, 본 실시예 1의 가상 화소 정밀도 지시 정보(16)를 이용하는 것에 의해, 움직임 벡터의 크기가 작아서 정지에 가까운 영역에서는, 가상 화소를 높은 정밀도까지 생성하여 예측에 이용함으로써 예측 정밀도를 높이고, 반대로 움직임 벡터의 크기가 커서 움직임이 심한 영역에서는 가상 화소의 정밀도의 상한을 떨어뜨려서, 그만큼 움직임 벡터의 부호량을 삭감한다고 하는 효과를 기대할 수 있다.
이하, 3개의 색성분을 모은 단위로 매크로 블록을 구성해서 공통의 움직임 벡터를 적용하는 경우와, 각 색성분을 독립된 픽쳐로 간주해서 단일 색성분의 직사각형 블록으로 매크로 블록을 구성하여 색성분마다 개별의 움직임 벡터를 적용하는 경우의 각각에 대해서 움직임 벡터의 적응 부호화 처리에 대해 상술한다.
(A) 3개의 색성분에 공통의 움직임 벡터를 이용하는 경우
블록 분할부(2)가 3개의 색성분으로 이루어지는 매크로 블록을 출력하여, 3개의 색성분에 공통의 움직임 벡터를 이용하는 모드로 부호화ㆍ복호를 행하는 경우는, 가상 화소 정밀도 지시 정보(16)는, 3개의 색성분에 공통의 움직임 벡터 mv에 대하여, 값 Lq보다 작은 경우에는 1/4화소 정밀도까지 가상 화소를 이용하는 것으로 하고, 값 Lq 이상이고 값 Lh보다 작은 경우에는 반화소 정밀도까지 가상 화소를 이용하는 것으로 하고, 값 Lh보다 큰 경우는 정수 화소만을 움직임 보상 예측에 이용하는 것으로 규정한다. 이와 같이 정함으로써, 부호화해야 할 움직임 벡터 mv'는, 이하와 같이 다이내믹 레인지를 적응적으로 저감하여 부호화하는 것이 가능해진다.(아래 식은 mv>0의 경우, mv<0의 경우는 부호 반전)
Figure pct00003
예측부(4) 및 가변 길이 부호화부(8)에 의한 처리 흐름을 도 4에 나타낸다. 예측부(4)는, 먼저, 정수 화소만을 이용한 움직임 벡터 탐색을 행하여(단계 S1), 상기 (1a)~(3a)식 중 어느 하나에 합치하는지를 판단한다. 식(3a)에 합치하는 경우(단계 S2에서 예), 이후의 반화소, 1/4화소 정밀도의 가상 화소를 이용한 움직임 벡터 탐색을 실행하지 않고서 예측 처리를 종료하고, 예측 신호 생성용 파라미터(15)의 일부로서 mv를 출력한다. 식(3a)에 합치하지 않는 경우(단계 S2에서 아니오), 또한 Lh의 범위 내에서 반화소 정밀도로의 움직임 벡터 탐색을 실행하여(단계 S3), 식(2a)에 합치하는지를 판단한다(단계 S4). 식(2a)에 합치하는 경우(단계 S4에서 예), 예측 신호 생성용 파라미터(15)의 일부로서 mv를 출력한다. 식(2a)에도 합치하지 않는 경우는 식(1a)을 만족하고(단계 S4에서 아니오), 또한 1/4화소도 이용한 움직임 벡터 탐색을 Lq의 범위 내에서 실행하여(단계 S5), 예측 신호 생성용 파라미터(15)의 일부로서 mv를 출력한다. 가변 길이 부호화부(8)는, 예측 신호 생성용 파라미터(15)의 일부로서 입력되는 mv와, 가상 화소 정밀도 지시 정보(16)로 지시되는 Lq, Lh를 이용함으로써, 상기 (1a)~(3a)식에 따른 움직임 벡터의 부호화 표현에 근거하여, 움직임 벡터를 효율적으로 부호화한다(단계 S6). 또한, 움직임 벡터는 mv를 직접 부호화하는 것이 아니라, 근방 블록의 움직임 벡터를 예측값으로 하여 예측 차분을 부호화하는 것이 일반적이지만, 그 경우는, 예측값으로 되는 근방 블록은 항상 최대 가상 화소 정밀도의 값으로서 유지해 놓고, 예측 차분을 취하는 경우만 mv와 동일하게 상기 (1a)~(3a)식에 따른 값의 변환을 행하여 차분을 취하도록 구성하면 좋다. 가상 화소 정밀도 지시 정보(16)는, 화상 복호 장치측에서 상기 (1a)~(3a)식에 따른 방법으로 움직임 벡터를 복호할 필요가 있기 때문에, 비트 스트림(9)으로 다중 출력한다(단계 S6).
(B) 각 색성분마다 개별의 움직임 벡터를 이용하는 경우
블록 분할부(2)가 단일 색성분으로 이루어지는 매크로 블록을 출력하여, 3개의 색성분마다 개별의 움직임 벡터를 이용하는 모드로 부호화ㆍ복호를 행하는 경우는, 가상 화소 정밀도 지시 정보(16)는, 3개의 색성분의 각 움직임 벡터 mvk(k=0, 1, 2)에 대하여, 값 Lqk보다 작은 경우에는 1/4화소 정밀도까지 가상 화소를 이용하는 것으로 하고, 값 Lqk 이상이고 값 Lhk 보다 작은 경우에는 반화소 정밀도까지 가상 화소를 이용하는 것으로 하고, 값 Lhk 보다 큰 경우는 정수 화소만을 움직임 보상 예측에 이용하는 것으로 규정한다. 이와 같이 정함으로써, 부호화해야 할 움직임 벡터 mvk'는, 이하와 같이 다이내믹 레인지를 적응적으로 저감하여 부호화하는 것이 가능해진다.(아래 식은 mvk>0의 경우, mvk<0의 경우는 부호 반전)
Figure pct00004
예측부(4) 및 가변 길이 부호화부(8)에 의한 처리 흐름을 도 5에 나타낸다. 예측부(4)는, 먼저, 정수 화소만을 이용한 움직임 벡터 탐색을 하여, 상기 (1b)~(3b)식 중 어느 하나에 합치하는지를 판단한다. 식(3b)에 합치하는 경우, 이후의 반화소, 1/4화소 정밀도의 가상 화소를 이용한 움직임 벡터 탐색을 실행하지않고서 예측 처리를 종료하고, 예측 신호 생성용 파라미터(15)의 일부로서 mvk를 출력한다. 식(3b)에 합치하지 않는 경우, 또한 Lhk의 범위 내에서 반화소 정밀도에서의 움직임 벡터 탐색을 실행하여, 식(2b)에 합치하는지를 판단한다. 식(2b)에 합치하는 경우, 예측 신호 생성용 파라미터(15)의 일부로서 mvk를 출력한다. 식(2b)에도 합치하지 않는 경우는 식(1b)을 만족하고, 또한 1/4화소도 이용한 움직임 벡터 탐색을 Lqk의 범위 내에서 실행하여, 예측 신호 생성용 파라미터(15)의 일부로서 mvk를 출력한다. 가변 길이 부호화부(8)는, 예측 신호 생성용 파라미터(15)의 일부로서 입력되는 mvk와, 가상 화소 정밀도 지시 정보(16)에 의해 지시되는 Lqk, Lhk를 이용함으로써, 상기 (1b)~(3b)식에 따른 움직임 벡터의 부호화 표현이 가능해져서, 움직임 벡터를 효율적으로 부호화한다. 또한, 움직임 벡터는 mvk을 직접 부호화하는 것이 아니라, 근방 블록의 움직임 벡터를 예측값으로 하여 예측 차분을 부호화하는 것이 일반적이지만, 그 경우는, 예측값으로 되는 근방 블록은 항상 최대 가상 화소 정밀도의 값으로서 유지해 놓고서, 예측 차분을 취하는 경우만 mvk과 동일하게 상기 (1b)~(3b)식에 따른 값의 변환을 행하여 차분을 취하도록 구성하면 좋다. 가상 화소 정밀도 지시 정보(16)는, 화상 복호 장치측에서 상기 (1b)~(3b)식에 따른 방법으로 움직임 벡터를 복호할 필요가 있기 때문에, 3개의 색성분에 대응하는 값을 비트 스트림(9)으로 다중출력한다.
또한, 처리 흐름은 도 4의 mv를 mvk, Lq, Lh를 Lqk, Lhk로 바꿔서 읽으면 도 4와 등가이다.
가상 화소의 효과는, 영상 신호의 상태(정지 영상인지, 움직임이 심한 영상인지, 수평 방향으로 큰 움직임인지, 수직 방향으로 큰 움직임인지 등), 부호화 비트 레이트(양자화 스텝 사이즈), 영상 해상도(프레임의 수평 화소수, 수직 라인수) 등의 다양한 요인에 의해 변화된다고 생각된다. 따라서, 가상 화소 정밀도 지시 정보(16)로 지시되는 Lq, Lh는, 시퀀스 중에서 이것들의 팩터(factors)에 대하여 적응적으로 변화되는 파라미터로서 정의되거나, 또는 픽쳐마다 상이한 값을 개별적으로 다중하도록 구성되는 것이 바람직하다. 예컨대, 영상 전체를 통해서 움직임이 심한 영상으로서, 양자화 스텝 사이즈가 큰 경우는, 낮은 비트 레이트에 의해 참조 화상의 품질이 좋지 않고 또한 움직임 벡터의 부호량의 비율이 많아지기 때문에, Lq, Lh를 큰 값으로 설정함으로써, 예측 효율을 희생으로 하지 않고서 움직임 벡터의 부호량을 억제하는 것이 가능하다. 반대로, 비교적 정지한 영상을 높은 비트 레이트로 부호화하는 경우는, 가상 화소를 이용한 움직임 보상 예측의 효과가 커지고 또한, 움직임 벡터의 부호량도 상대적으로 작아지기 때문에, Lq, Lh를 작게 설정, 또는 무효화해서 가상 화소를 사용하기 쉽게 되도록 구성하면 좋다. 영상의 성질과 비트 레이트(양자화 스텝 사이즈)는 조합해도 좋고, 개별적으로 Lq, Lh의 제어 팩터로서 이용해도 좋다.
또한, 화상의 해상도가 높아지면, 일반적으로 움직임 벡터 탐색 단위의 블록이 포착하는 실세계 영역은 작아지기 때문에, 움직임 벡터의 탐색 범위를 크게 할 필요가 생기지만, 이에 따라서 Lq, Lh를 제어하도록 하면 효율적인 부호화가 가능해진다. 비특허 문헌 1, 2에 있는 바와 같이, 시간적으로 거리가 상이한 복수의 참조 화상 중에서 선택적으로 예측 화상을 구하는 경우에는, 사용하는 참조 화상의 인덱스에 따라서 Lq, Lh를 제어하도록 구성해도 좋다.
또한, 가상 화소 정밀도 지시 정보(16)는, 사용하는 움직임 벡터 탐색 단위의 블록의 크기와 연동하도록 구성해도 좋다. 비특허 문헌 1, 2에 있어서는, 움직임 벡터 탐색 단위의 블록으로서, 도 5와 같이 복수의 크기의 블록을 이용가능하다. 움직임 벡터가 할당되는 블록의 크기가 크면, 움직임 벡터 그 자체의 크기가 크더라도, 화상의 패턴을 효율적으로 포착할 수 있지만, 블록이 작은 경우는 화상의 패턴보다 노이즈의 영향을 받기 쉽게 된다. 따라서, 움직임 벡터를 할당하는 블록의 블록 사이즈가 큰 경우에는, Lq, Lh를 작게, 또는 무효화하여 1/4화소 정밀도의 움직임 보상 예측을 행하는 빈도를 높게 하고, 블록 사이즈가 작은 경우에 Lq, Lh를 크게, 내지는 유효화하도록 구성해도 좋다.
또한, 가상 화소 정밀도 지시 정보(16)는, 각 색성분마다 개별의 움직임 벡터를 이용하는 경우에는, Lqk, Lhk을 각 색성분(k)마다 독립적으로 제어하도록 구성해도 좋다. 예컨대, Y, Cb, Cr와 같은 색공간에서 부호화를 행할 때, 각 색성분마다 신호의 성질이 상이하기 때문에, Lqk, Lhk의 효과는 색성분마다 상이한 것이 생각된다.
또한, 가상 화소 정밀도 지시 정보(16)는, 상술한 예에서는 반화소, 1/4화소만을 대상으로 삼았지만, 1/8화소, 1/16화소 등의 더욱 세밀한 가상 화소를 사용하는 경우에도, Lq, Lh와 마찬가지의 새로운 상한값 설정을 마련하여 용이하게 확장할 수 있다.
2. 부호화 비트 스트림의 구성
입력 영상 신호(1)는, 상기 처리에 근거하여 도 3의 화상 부호화 장치에서 부호화되어, 복수의 매크로 블록을 묶은 슬라이스의 단위로 비트 스트림(9)으로서 화상 부호화 장치로부터 출력된다. 도 6에, 비트 스트림(9)의 데이터 배열을 나타낸다. 비트 스트림(9)은, 픽쳐 중에 포함되는 매크로 블록수분의 부호화 데이터가 모여진 것으로서 구성되고, 매크로 블록은 복수개 모여진 슬라이스라는 데이터 단위로 유닛화된다. 동일 픽쳐에 속하는 매크로 블록이 공통 파라미터로서 참조하는 픽쳐 레벨 헤더가 준비되고, 픽쳐 레벨 헤더에는, 가상 화소 정밀도 지시 정보(16)가 저장된다. 시퀀스 레벨 헤더에 다중화되는 공통ㆍ독립 부호화 식별 플래그(17)가, 3개의 색성분에 공통의 움직임 벡터를 이용하는 것을 나타내는 경우는 Lq, Lh가 1세트, 공통ㆍ독립 부호화 식별 플래그(17)가, 각 색성분마다 개별의 움직임 벡터를 이용하는 것을 나타내는 경우는 Lqk, Lhk이 3세트(색성분의 수만큼) 다중된다.
각 슬라이스는 각각 슬라이스 헤더로부터 시작되고, 계속해서 슬라이스 내의 각 매크로 블록의 부호화 데이터가 배열된다(이 예에서는, 제 2 슬라이스에 M개의 매크로 블록이 포함되는 것을 나타낸다). 공통ㆍ독립 부호화 식별 플래그(17)가, 각 색성분마다 개별의 움직임 벡터를 이용하는 것을 나타내는 경우는, 슬라이스 헤더에 동일한 슬라이스에 어떤 색성분의 부호화 데이터를 포함하는지를 나타내는 색성분 식별 정보(18)를 포함한다. 이때, 가상 화소 정밀도 지시 정보(16)는, 색성분 식별 정보(18)에 의해 특정되는 Lqk, Lhk를 슬라이스 헤더에 다중하도록 구성해도 좋다. 슬라이스 헤더에 계속해서, 각 매크로 블록의 데이터는, 부호화 모드, 움직임 벡터, 양자화 스텝 사이즈 파라미터, 예측 오차 압축 데이터 등이 배열된다. 움직임 벡터는, 상술한 (1a)~(3a)식(또는 (1b)~(3b)식)에 의해 정해지는 mv'와, 마찬가지로 동일한 방법으로 변환되는 예측값 pmv'와의 차분으로 얻어지는 mvd를 부호화한다.
또한, 가상 화소 정밀도 지시 정보(16)는, 복수매의 영상 프레임을 묶은 시퀀스의 단위로 부여하는 시퀀스 레벨 헤더에 저장하도록 구성하고, 픽쳐, 슬라이스, 매크로 블록 등의 각 부호화 데이터에 근거하여 적응적으로 시퀀스 레벨 헤더의 다중화 정보를 변화시켜서 Lq, Lh를 정하도록 구성해도 좋다. 이와 같이 함으로써, 개별적인 픽쳐 레벨 헤더에서 가상 화소 정밀도 지시 정보(16)를 부호화ㆍ전송할 필요가 없어져서, 헤더의 정보량을 삭감할 수 있다.
3. 화상 복호 장치의 동작
도 7에 본 실시예 1에 있어서의 화상 복호 장치의 구성을 나타낸다. 가변 길이 복호부(20)는, 도 6에 나타내는 비트 스트림(9)을 복호하고, 공통ㆍ독립 부호화 식별 플래그(17)를 추출ㆍ해석함으로써 매크로 블록이 3개의 색성분으로 구성되는지, 단일 색성분으로 구성되는지를 판단하여, 이후의 슬라이스, 매크로 블록의 비트 스트림 해석을 진행시킨다. 공통ㆍ독립 부호화 식별 플래그(17)의 복호값에 근거하여 가상 화소 정밀도 지시 정보(16)를 비트 스트림(9)으로부터 추출한다. 이어서, 소정의 규칙(신택스(syntax))에 따라서 슬라이스 헤더, 각 매크로 블록의 예측 오차 압축 데이터(22), 부호화 모드, 움직임 벡터를 포함하는 예측 신호 생성용 파라미터(15), 양자화 스텝 사이즈 파라미터(23) 등을 추출한다.
예측 오차 압축 데이터(22), 양자화 스텝 사이즈 파라미터(23)는 예측 오차 복호부(24)에 입력되어, 복호 예측 오차 신호(25)로 복원된다. 예측부(21)는, 가변 길이 복호부(20)에 의해서 복호되는 예측 신호 생성용 파라미터(15)와 메모리(28) 내의 참조 화상으로부터 예측 화상(26)을 생성한다(화상 부호화 장치에서의 예측부(4)의 움직임 벡터 검출 동작은 포함하지 않음). 복호 예측 오차 신호(25)와 예측 화상(26)은 가산기에 의해 가산되어, 복호 신호(27)를 얻는다. 복호 신호(27)는 이후의 매크로 블록의 움직임 보상 예측에 이용하기 위해서, 메모리(28)에 저장된다. 도시하고 있지 않지만, 메모리(28)로 기입하기 전에, 복호 신호에 디블록킹 필터를 실시하여 블록 왜곡을 제거하는 처리를 실행하도록 구성해도 좋다. 복호 신호(27)는, 공통ㆍ독립 부호화 식별 플래그(17)에 따라서, 3개의 색성분이 포함되는 매크로 블록, 또는 단일 색성분만을 포함하는 매크로 블록 중 어느 하나의 화상 신호로서 복원된다.
본 실시예 1에 있어서의 화상 복호 장치에서는, 움직임 벡터가 지시하는 가상 화소의 최대 정밀도를 1/4화소로 하고, 예측 신호 생성용 파라미터(15)의 일부로서 가변 길이 복호부(20)로부터 출력되는 움직임 벡터는 항상 1/4화소를 1로 하는 값으로서 예측부(21)로 출력되는 것으로 한다. 즉, 화상 부호화 장치에 있어서 상술한 (1a)~(3a)식(또는 (1b)~(3b)식)에 의해서 다이내믹 레인지를 압축하여 부호화된 움직임 벡터는, 비트 스트림으로부터 추출한 가상 화소 정밀도 지시 정보(16)와, 움직임 벡터 할당 블록마다 비트 스트림으로부터 추출한 mvd와, 움직임 벡터 예측값 pmv'를 이용하여 부호화시의 처리의 역변환을 행하고, 다이내믹 레인지를 복원하여 예측부(21)로 출력되는 것으로 한다.
이 역변환의 처리 흐름을 도 8에 나타낸다. 가변 길이 복호부(20)에서는, 먼저 비트 스트림으로부터 움직임 벡터 부호화 데이터인 mvd를 추출한다(단계 S10). 이는, 부호화시에 상술한 (1)~(3)식에 의해서 다이내믹 레인지를 압축하여 부호화된 데이터에 상당한다. 이어서, 상기 움직임 벡터의 예측값으로 되는 pmv를 구하고, 이것을 상술한 (1a)~(3a)식(또는 (1b)~(3b)식)에 의해서, 가상 화소 정밀도 지시 정보(16)를 이용한 부호화시와 마찬가지의 변환 처리를 행하여, 다이내믹 레인지를 압축한다(단계 S11). 얻어진 pmv'에 의해, mv'=mvd+pmv'를 얻고, 가상 화소 정밀도 지시 정보(16)를 이용한 하기 (4)~(6)식에 의해 이것을 역변환하여 다이내믹 레인지를 복원한다(단계 S12).
Figure pct00005
이 mv''를 예측부(21)로 출력함과 아울러, 이후의 움직임 벡터 복호를 위한 예측값으로서 내부적으로 유지한다(단계 S13). 이상의 처리를 행함으로써, 예측부(21)에서는 부호화된 움직임 벡터의 다이내믹 레인지를 의식하지 않고, 항상 1/4화소를 1로 하는 단위로 움직임 벡터를 취급하는 것이 가능하다.
또한, 화상 부호화 장치의 동작에서 효과와 함께 설명한 바와 같이, 가상 화소 정밀도 지시 정보(16)는, 3개의 색성분에 공통의 움직임 벡터를 이용하는 경우(=3개의 색성분의 신호가 포함되는 매크로 블록의 경우)에는, 3개의 색성분에 공통의 값으로서 Lq, Lh를 이용한다. 각 색성분마다 개별의 움직임 벡터를 이용하는 경우(=매크로 블록에 단일 색성분밖에 포함하지 않는 경우)에는, 각 색성분(k)마다 복호한 Lqk, Lhk를 이용하여 (4)~(6)식을 색성분마다 독립적으로 적용할 수도 있고, Lqk, Lhk를 모든 색성분에 대하여 동일한 값으로 하여, 공통의 Lq, Lh를 사용하도록 구성해도 좋다. 이에 의해서, 색공간에 의해서 여러 가지로 변화되는 신호의 통계적 성질에 적응한 효율적인 움직임 예측에 대응할 수 있다.
또한, 화상 부호화 장치의 동작에서 효과와 함께 설명한 바와 같이, Lq, Lh는 복호되는 영상의 프레임 해상도나, 양자화 스텝 사이즈 파라미터(23), 움직임 벡터 할당 단위의 블록의 크기(이것은 부호화 모드로 지정됨), 참조 화상의 인덱스 등, 비트 스트림(9)에 포함되는 부호화 정보에 연동해서 변화되도록 구성해도 좋다. 화상 복호 장치가 이러한 구성을 취함으로써, 효율적으로 부호화된 비트 스트림의 복호에 대응할 수 있다.
이상 설명한 본 실시예 1에 있어서의 화상 부호화 장치, 화상 복호 장치에 의하면, 4:4:4 포맷의 컬러 영상 신호를 효율적으로 부호화하기 위해서, 각 색성분의 신호의 성질에 따라서, 움직임 벡터 검출ㆍ예측 화상 생성시에 이용하는 가상 샘플의 정밀도를 동적으로 전환하는 것이 가능해지기 때문에, 높은 압축율로 되는 낮은 비트 레이트 부호화에 있어서 움직임 벡터의 부호량을 효과적으로 억제하여 부호화하는 화상 부호화 장치, 화상 복호 장치를 제공할 수 있다.
또한, 본 실시예 1에 있어서의 화상 부호화 장치, 화상 복호 장치에 의하면, 이하의 이유에 의해, 화상 부호화 처리ㆍ복호 처리의 복잡함을 저감하는 효과도 갖는다. 일반적으로, 영상의 해상도가 높아져서, 화면 내의 화소수가 많아질수록, 피사체의 이동량을 화소수로 환산하면 해상도가 낮은 경우에 비해서 이동 화소수가 많아지기 때문에, 움직임 벡터의 탐색 범위를 넓게 취할 필요가 있다. 움직임 벡터의 탐색 범위가 넓어지는 것에 의해, 평가 점수가 증가하여, 화상 부호화 장치측에서의 평가 연산량이 많아지지만, 본 실시예 1의 화상 부호화 장치에 의하면, 정수 화소 탐색 시점에서 움직임 벡터의 크기가 Lh 이상으로 되는 경우에는, 가상 화소의 탐색을 중단하도록 구성했기 때문에, 연산량을 억제할 수 있다. 또한, 가상 화소를 생성하기 위해서는, 참조 화상 위에 있어서 가상 화소 생성 대상 위치의 주변의 정수 화소를 복수 이용하여 보간 필터링의 처리를 행할 필요가 있다. 일반적으로 참조 화상은 데이터 크기가 큰 프레임 메모리이기 때문에 외부의 DRAM 등의 대용량 메모리(메모리(14), 메모리(28) 등)에 저장되어 있고, 보간 필터링의 처리를 고속으로 행하기 위해서, 외부 메모리 상의 참조 화상의 일부를 그때마다 내부 캐시로 받아들여서 연산을 하도록 실장ㆍ구성되는 것이 일반적이다. 그 때문에, 가상 화소 생성의 처리에는, 일반적으로 외부 메모리 액세스가 불가피하고, 가상 화소 생성 점수가 늘어날수록, 메모리 밴드폭이 증가하여, 소비 전력의 증가로 이어진다. 움직임 벡터가 지시하는 범위가 좁으면, 내부 캐시의 허용량의 범위에서 한번에 참조 화상으로부터 소요 데이터를 내부 캐시로 받아들임으로써, 외부 메모리 액세스수를 저감할 수 있지만, 움직임 벡터의 크기가 큰 경우, 그것을 포함하는 영역의 화상 데이터는 일반적으로 내부 캐시로 받아들이는 것은 곤란하여, 메모리 밴드폭은 증가하지 않을 수 없다. 본 실시예 1의 화상 부호화 장치, 화상 복호 장치에서는, 움직임 벡터의 크기가 일정한 임계값보다 작은 경우에만 가상 화소 생성 처리를 행하기 때문에, 보간 필터링 처리를 위해서 필요로 되는 메모리 밴드폭을 제한하고, 소비 전력을 억제하는 효과도 갖는다.
또한, 본 실시예 1에서는, 4:4:4 영상 신호에 대한 부호화ㆍ복호의 실시예를 설명했지만, 본 발명에 있어서의 움직임 벡터의 적응 부호화는, 비특허 문헌 1 등, 종래의 휘도ㆍ색차 성분 포맷에서 컬러 서브 샘플링(subsampling in color)을 행한 4:2:0, 4:2:2 포맷을 대상으로 하는 영상 부호화에 있어서, 그 움직임 벡터 부호화의 효율화에도 적용가능한 것은 말할 필요도 없다.

Claims (4)

  1. 디지털 영상 신호의 각 픽쳐를 소정의 단위 영역으로 분할하고, 그 단위로 움직임 보상 예측을 이용하여 압축 부호화를 행하는 화상 부호화 장치로서,
    움직임 벡터가 지시하는 화소 위치의 정밀도의 상한을 지정하는 가상 화소 정밀도 지정 정보에 근거하여 움직임 벡터 탐색을 행하고, 상기 탐색된 움직임 벡터에 근거하여 움직임 보상 예측 화상을 생성하는 예측부와,
    상기 가상 화소 정밀도 지정 정보를 비트 스트림에 다중화함과 아울러, 상기 탐색된 움직임 벡터의 크기와, 상기 탐색된 움직임 벡터의 예측에 이용하는 움직임 벡터의 크기에 근거하여, 부호화하는 움직임 벡터 데이터를 비트 스트림에 다중화하는 부호화부
    를 구비하는 것을 특징으로 하는 화상 부호화 장치.
  2. 디지털 영상 신호의 각 픽쳐를 소정의 단위 영역으로 분할하고, 그 단위로 움직임 보상 예측을 이용하여 압축 부호화된 화상 부호화 비트 스트림을 수신하여 영상 신호를 복원하는 화상 복호 장치로서,
    움직임 벡터가 지시하는 화소 위치의 정밀도의 상한을 지정하는 가상 화소 정밀도 지정 정보를 비트 스트림으로부터 추출함과 아울러, 움직임 벡터가 할당되는 영역의 단위로 움직임 벡터의 부호화 데이터를 비트 스트림으로부터 추출하여 움직임 벡터를 복원하는 복호부와,
    상기 복호부에 의해서 복호되는 움직임 벡터에 근거하여 움직임 보상 예측 화상을 생성하는 예측부
    를 구비하고,
    상기 복호부는, 비트 스트림으로부터 추출된 움직임 벡터 부호화 데이터와, 상기 복호 대상의 움직임 벡터의 예측에 이용하는 움직임 벡터로부터 복원되는 데이터의 크기와, 상기 비트 스트림으로부터 추출한 가상 화소 정밀도 지정 정보에 근거하여 움직임 벡터를 복호하는 것
    을 특징으로 하는 화상 복호 장치.
  3. 디지털 영상 신호의 각 픽쳐를 소정의 단위 영역으로 분할하고, 그 단위로 움직임 보상 예측을 이용하여 압축 부호화를 행하는 화상 부호화 방법으로서,
    움직임 벡터가 지시하는 화소 위치의 정밀도의 상한을 지정하는 가상 화소 정밀도 지정 정보에 근거하여 움직임 벡터 탐색을 행하고, 상기 탐색된 움직임 벡터에 근거하여 움직임 보상 예측 화상을 생성하는 예측 단계와,
    상기 가상 화소 정밀도 지정 정보를 비트 스트림에 다중화함과 아울러, 상기 탐색된 움직임 벡터의 크기와, 상기 탐색된 움직임 벡터의 예측에 이용하는 움직임 벡터의 크기에 근거하여, 부호화하는 움직임 벡터 데이터를 비트 스트림에 다중화하는 부호화 단계
    를 구비하는 것을 특징으로 하는 화상 부호화 방법.
  4. 디지털 영상 신호의 각 픽쳐를 소정의 단위 영역으로 분할하고, 그 단위로 움직임 보상 예측을 이용하여 압축 부호화된 화상 부호화 비트 스트림을 수신하여 영상 신호를 복원하는 화상 복호 방법으로서,
    움직임 벡터가 지시하는 화소 위치의 정밀도의 상한을 지정하는 가상 화소 정밀도 지정 정보를 비트 스트림으로부터 추출함과 아울러, 움직임 벡터가 할당되는 영역의 단위로 움직임 벡터의 부호화 데이터를 비트 스트림으로부터 추출하여 움직임 벡터를 복원하는 복호 단계와,
    상기 복호되는 움직임 벡터에 근거하여 움직임 보상 예측 화상을 생성하는 예측 단계
    를 구비하고,
    상기 복호 단계는, 비트 스트림으로부터 추출된 움직임 벡터 부호화 데이터와, 상기 복호 대상의 움직임 벡터의 예측에 이용하는 움직임 벡터로부터 복원되는 데이터의 크기와, 상기 비트 스트림으로부터 추출한 가상 화소 정밀도 지정 정보에 근거하여 움직임 벡터를 복호하는 것
    을 특징으로 하는 화상 복호 방법.
KR20107015100A 2008-01-09 2009-01-08 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법 KR20100099723A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2008002223 2008-01-09
JPJP-P-2008-002223 2008-01-09

Publications (1)

Publication Number Publication Date
KR20100099723A true KR20100099723A (ko) 2010-09-13

Family

ID=40853150

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20107015100A KR20100099723A (ko) 2008-01-09 2009-01-08 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법

Country Status (9)

Country Link
US (1) US20110032991A1 (ko)
EP (1) EP2234404A4 (ko)
JP (1) JP5197630B2 (ko)
KR (1) KR20100099723A (ko)
CN (1) CN101911706A (ko)
BR (1) BRPI0906824A2 (ko)
CA (1) CA2711742A1 (ko)
RU (1) RU2010133237A (ko)
WO (1) WO2009088038A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8139875B2 (en) * 2007-06-28 2012-03-20 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method and image decoding method
WO2011046587A1 (en) * 2009-10-14 2011-04-21 Thomson Licensing Methods and apparatus for adaptive coding of motion information
EP2532163B1 (en) * 2010-02-05 2013-12-11 Telefonaktiebolaget LM Ericsson (publ) Improved method and apparatus for sub-pixel interpolation
US9237355B2 (en) * 2010-02-19 2016-01-12 Qualcomm Incorporated Adaptive motion resolution for video coding
US10327008B2 (en) 2010-10-13 2019-06-18 Qualcomm Incorporated Adaptive motion vector resolution signaling for video coding
JP2012104945A (ja) * 2010-11-08 2012-05-31 Sony Corp 画像処理装置と画像処理方法およびプログラム
EP4099700A1 (en) 2011-01-07 2022-12-07 Nokia Technologies Oy Motion prediction in video coding
JP6056122B2 (ja) * 2011-01-24 2017-01-11 ソニー株式会社 画像符号化装置と画像復号装置およびその方法とプログラム
PL2749027T3 (pl) 2011-08-25 2020-10-19 Sun Patent Trust Sposoby i urządzenia do kodowania i dekodowania wideo z użyciem zaktualizowanego opisu bufora
EP3176729A1 (en) * 2011-09-06 2017-06-07 Intel Corporation Analytics assisted encoding
ES2685431T3 (es) 2011-09-07 2018-10-09 Sun Patent Trust Procedimiento de decodificación de imágenes y aparato de decodificación de imágenes
ES2844148T3 (es) 2011-09-19 2021-07-21 Sun Patent Trust Procedimiento de descodificación de imágenes, dispositivo de descodificación de imágenes
CN104025598B (zh) 2011-10-19 2017-11-14 太阳专利托管公司 图像编码方法、图像编码装置
US9774881B2 (en) 2014-01-08 2017-09-26 Microsoft Technology Licensing, Llc Representing motion vectors in an encoded bitstream
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
WO2017135151A1 (ja) * 2016-02-01 2017-08-10 シャープ株式会社 予測画像生成装置、動画像復号装置、および動画像符号化装置
CA3059740A1 (en) 2017-04-21 2018-10-25 Zenimax Media Inc. Systems and methods for game-generated motion vectors
CN111083491B (zh) 2018-10-22 2024-09-20 北京字节跳动网络技术有限公司 细化运动矢量的利用
WO2020098644A1 (en) * 2018-11-12 2020-05-22 Beijing Bytedance Network Technology Co., Ltd. Bandwidth control methods for inter prediction
CN117319644A (zh) 2018-11-20 2023-12-29 北京字节跳动网络技术有限公司 基于部分位置的差计算
CN111010581B (zh) * 2018-12-07 2022-08-12 北京达佳互联信息技术有限公司 运动矢量信息的处理方法、装置、电子设备及存储介质
WO2020177755A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Usage of converted uni-prediction candidate
US11627278B2 (en) * 2019-04-05 2023-04-11 Project Giants, Llc High dynamic range video format detection
JP6835337B2 (ja) * 2019-06-20 2021-02-24 Kddi株式会社 画像復号装置、画像復号方法及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3415319B2 (ja) * 1995-03-10 2003-06-09 株式会社東芝 動画像符号化装置及び動画像符号化方法
US5731840A (en) * 1995-03-10 1998-03-24 Kabushiki Kaisha Toshiba Video coding/decoding apparatus which transmits different accuracy prediction levels
JP3856262B2 (ja) * 1998-03-09 2006-12-13 日本ビクター株式会社 動き補償符号化装置、動き補償符号化方法、及び動き補償符号記録媒体
GB2339101B (en) * 1998-06-25 2002-09-18 Sony Uk Ltd Processing of compressed video signals using picture motion vectors
JP2003169338A (ja) * 2001-09-18 2003-06-13 Matsushita Electric Ind Co Ltd 動きベクトル検出方法及び装置並びに方法プログラムを記録した媒体
JP4724351B2 (ja) * 2002-07-15 2011-07-13 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
JP2004236049A (ja) * 2003-01-31 2004-08-19 Hitachi Ltd 符号化方法及び復号化方法
JP2004274212A (ja) * 2003-03-06 2004-09-30 Renesas Technology Corp 画像符号化装置
US7310451B2 (en) * 2005-01-03 2007-12-18 Intel Corporation Sub-pixel image shifting in display device

Also Published As

Publication number Publication date
CA2711742A1 (en) 2009-07-16
EP2234404A4 (en) 2011-06-22
JP5197630B2 (ja) 2013-05-15
EP2234404A1 (en) 2010-09-29
RU2010133237A (ru) 2012-02-20
WO2009088038A1 (ja) 2009-07-16
JPWO2009088038A1 (ja) 2011-05-26
CN101911706A (zh) 2010-12-08
BRPI0906824A2 (pt) 2015-07-14
US20110032991A1 (en) 2011-02-10

Similar Documents

Publication Publication Date Title
JP5197630B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
US11889107B2 (en) Image encoding method and image decoding method
JP7126308B2 (ja) 動画像復号装置、動画像復号方法、動画像符号化装置、および、動画像符号化方法
US10911772B2 (en) Image processing device and method
JP6667609B2 (ja) 画像符号化装置、画像符号化方法、画像復号装置および画像復号方法
KR100966427B1 (ko) 화상 복호 장치 및 화상 복호 방법
KR101420957B1 (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법
US10075725B2 (en) Device and method for image encoding and decoding
KR20160106023A (ko) 동영상 부호화 장치
KR20110040893A (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법
KR20170114598A (ko) 적응적 색상 순서에 따른 색상 성분 간 예측을 이용한 동영상 부호화 및 복호화 방법 및 장치
JPWO2013001720A1 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application