KR100941495B1 - 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치 및 화상 복호 장치 - Google Patents

화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치 및 화상 복호 장치 Download PDF

Info

Publication number
KR100941495B1
KR100941495B1 KR20067016476A KR20067016476A KR100941495B1 KR 100941495 B1 KR100941495 B1 KR 100941495B1 KR 20067016476 A KR20067016476 A KR 20067016476A KR 20067016476 A KR20067016476 A KR 20067016476A KR 100941495 B1 KR100941495 B1 KR 100941495B1
Authority
KR
South Korea
Prior art keywords
motion vector
image
information
motion
encoding
Prior art date
Application number
KR20067016476A
Other languages
English (en)
Other versions
KR20060123561A (ko
Inventor
히데아키 기마타
마사키 기타하라
Original Assignee
니폰덴신뎅와 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 니폰덴신뎅와 가부시키가이샤 filed Critical 니폰덴신뎅와 가부시키가이샤
Publication of KR20060123561A publication Critical patent/KR20060123561A/ko
Application granted granted Critical
Publication of KR100941495B1 publication Critical patent/KR100941495B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Abstract

과거에 부호화한 프레임의 화상 정보로부터 예측 화상을 작성하여 영역마다 화상 정보를 부호화하는 화상 부호화에 있어서 부호화 효율을 향상시킨다. 움직임 벡터 축적 메모리(107)에 미리 복수의 움직임 벡터의 후보를 축적해놓는다. 움직임 벡터 선택부(109)는, 움직임 벡터 축적 메모리(107)에 미리 축적해놓은 복수의 움직임 벡터로부터 이용할 움직임 벡터를 선택한다. 예측 화상 작성부(104)는 선택한 움직임 벡터를 이용하여 참조 화상으로부터 예측 화상을 작성한다. 차이분 부호화부(103)는 현재 영역의 화상 정보와 예측 화상의 차이분을 부호화한다. 움직임 벡터 지정 부호화부(110)는 움직임 벡터 선택부(109)에서 선택한 움직임 벡터를 지정하는 정보를 부호화한다.

Description

화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치 및 화상 복호 장치{Image encoding method, image decoding method, image encoding device, and image decoding device}
본 발명은 프레임간 예측 부호화 방식을 이용한 복수의 프레임의 화상 부호화 기술에 관한 것이다.
본원은 2004년 8월 16일에 출원된 특허 출원 2004-236520호에 대해서 우선권을 주장하는 것으로서, 그 내용을 여기에 원용하기로 한다.
MPEG-1, MPEG-2나, H.261, H.263과 같은 국제 표준 동화상 부호화에서는 각 프레임의 출력 시각을 부호화한다. 이들 시각 정보는 TR(Temporal Reference)라고 칭하며, 프레임마다 고정 길이 부호화가 이루어진다. 시스템에서 기준이 되는 시간 간격을 미리 설정해 두고, 그 시간 간격과 TR의 곱으로 시퀀스 선두부터 시각을 나타낸다. 인코더에서는 입력 화상의 시각 정보를 TR로 설정하여 각 프레임을 부호화하고, 디코더에서는 각 프레임의 복호 화상을 TR로 지정된 시각으로 출력한다.
한편, 일반적으로 동화상 부호화에서는 시간 방향의 상관을 이용하여 높은 부호화 효율을 실현하므로, 프레임간 예측 부호화를 이용하고 있다. 프레임 부호화 모드에는, 프레임간의 상관을 이용하지 않고 부호화하는 I프레임과, 과거에 부호화한 하나의 프레임으로부터 예측하는 P프레임과, 과거에 부호화한 두 개의 프레임으로부터 예측할 수 있는 B프레임이 있다.
B프레임에서는, 참조 화상 메모리에 두 개의 프레임분의 복호 화상을 축적해둘 필요가 있다. 특히, 영상 부호화 방식 H.263과 H.264에서는, 참조 화상 메모리에 두 개의 프레임 이상의 복수의 프레임분의 복호 화상을 축적해 놓고, 그 메모리로부터 참조 화상을 선택하여 예측할 수 있다. 참조 화상은 블록마다 선택할 수 있으며, 참조 화상을 지정하는 참조 화상 지정 정보를 부호화한다. 참조 화상 메모리에는 단시간용(STRM)과 장시간용(LTRM)이 있으며, STRM에는 현재 프레임의 복호 화상을 축적하고, LTRM에는 STRM에 축적되어 있는 화상을 선택하여 축적한다. LTRM과 STRM의 제어 방법에 대해서 기재되어 있는 문헌으로는, 예를 들면 하기 비특허문헌 1을 들 수 있다.
MPEG-1, MPEG-2의 B프레임에서는, 더 과거의 프레임으로부터 예측하는 방법을 전방향 프레임간 예측이라고 부르며, 더 미래의 프레임으로부터 예측하는 방법을 후방향 프레임간 예측이라고 부른다. 후방향 프레임간 예측에서의 참조 프레임의 표시 시각은 현재 프레임보다 미래이다. 이 경우에는, 현재 프레임을 표시한 후에 후방향 프레임간 예측 참조 프레임을 출력하게 된다. B프레임에서 두 개의 프레임으로부터 예측하는 경우(양방향 프레임간 예측)에는, 두 개의 프레임으로부터의 화상 정보를 보간하여 하나의 프레임분의 화상 정보를 작성하고, 이것을 예측 화상으로 한다.
도 1에, 후방향 프레임간 예측에서의 참조 프레임의 표시 시각이 미래인 경우의 동화상의 예측 관계의 예를 나타낸다. 제1 프레임 내지 제7 프레임의 부호화 모드를 IBBPBBP의 순서로 부호화하는 경우에는, 도 1의 상측에 나타내는 예측 관계(IBBPBBP)가 있으므로, 실제로 부호화하는 경우에는 도 1의 하측에 나타낸 바와 같이, 1423756의 순서로 프레임을 부호화한다. 이 경우의 부호화되는 TR의 순서는, 부호화 프레임과 마찬가지로 1423756에 대응한 값이 된다.
H.264의 B프레임에서는, 후방향 프레임간 예측 개념을 MPEG-1, MPEG-2보다 확장하고 있으며, 후방향 프레임간 예측에서의 참조 프레임의 표시 시각은, 현재 프레임보다 과거일 수도 있다. 이 경우에는, 후방향 프레임간 예측 참조 프레임을 먼저 출력하게 된다. 위에서 설명했으나, H.264에서는 참조 화상 메모리에 복수의 복호 화상을 축적할 수 있다. 그래서 전방향 프레임간 예측용 참조 화상 지정 정보(L0)와, 후방향 프레임간 예측용 참조 화상 지정 정보(L1)를 정의해 놓고, 각각 독립적으로 전방향 프레임간 예측용 참조 화상과 후방향 프레임간 예측용 참조 화상을 지정한다.
블록마다 참조 화상을 지정하기 위해서, 먼저 블록의 예측 모드(전방향 프레임간 예측 또는 후방향 프레임간 예측 또는 양방향 프레임간 예측)를 부호화하고, 예측 모드가 전방향 프레임간 예측인 경우에는 참조 화상 지정 정보(L0)를 부호화하고, 후방향 프레임간 예측인 경우에는 참조 화상 지정 정보(L1)를 부호화하며, 양방향 프레임간 예측인 경우에는 참조 화상 지정 정보(L0)와 참조 화상 지정 정보(L1)를 부호화한다.
이와 같이 정의한다면, 후방향 프레임간 예측에서의 참조 프레임의 표시 시각은 현재 프레임보다 미래가 되지 않아도 된다. H.264의 B프레임에서는, 이와 같이 후방향 프레임간 예측도 과거의 프레임을 참조 화상으로 지정할 수 있고, 또한 지정은 블록 단위로 변경할 수 있으므로, 양방향 프레임간 예측 경우를 제외하고 P프레임과 동일한 예측 화상을 작성할 수 있다.
도 2에, 후방향 프레임간 예측에서의 참조 프레임의 표시 시각이 과거인 경우의, 동화상의 예측 관계의 예를 나타낸다. 도 1의 경우와 달리, 제1 프레임 내지 제7 프레임의 부호화 모드를 IBBPBBP의 순서로 부호화하는 경우라도, 도 2의 상측에 나타내는 예측 관계(IBBPBBP)가 있으므로, 도 2의 하측에 나타낸 바와 같이 1423567의 순서로 프레임을 부호화한다.
B프레임의 움직임 벡터 부호화 방법으로, 시간 다이렉트 모드 기법이 제안되고 있다. 이 기술은, 예를 들면 국제 표준 방식 H.264에 채용되고 있다. 이것은 부호화 순서로 바로 가까이의 P프레임의 움직임 벡터를 축적해 놓고, 그 움직임 벡터 정보를 시간 간격으로 스케일하여 움직임 벡터를 산출하는 방법이다.
예를 들면, 도 3에 나타내는 프레임(a, b, c)에 대해서 프레임(a), 프레임(c), 프레임(b)의 순서로 부호화하고, 프레임(a)와 프레임(c)가 P프레임에서 부호화되고, 프레임(b)가 B프레임에서 부호화되어 있다고 하자. P프레임의 동일한 위치 블록의 움직임 벡터를 mv라고 하면, B프레임의 현재 블록의 전방향 예측 움직임 벡터(fmv)와 후방향 예측 움직임 벡터(bmv)는 수학식 1에 의해 계산된다.
fmv=(mv×TRab)/TRac
bmv=(mv×TRbc)/TRac
TRab, TRbc, TRac는 각각 프레임(a)과 프레임(b)의 시간 간격, 프레임(b)과 프레임(c)의 시간 간격, 프레임(a)과 프레임(c)의 시간 간격을 나타낸다. 이것을 응용한 기술로서, 하기 비특허문헌 2에서는, 부호화 순서로 바로 가까이의 P프레임의 움직임 벡터를 축적하고, 현재 P프레임의 움직임 벡터로서 이용하는 방법이 제안되고 있다. 이들 기법에 의하면, 연속적으로 부호화하는 복수의 프레임간에 움직임의 연속성이 있는 경우에 움직임 벡터를 효율적으로 부호화할 수 있다.
이러한 B프레임의 복호 화상을 참조 화상 메모리에 축적하지 않는 구성으로 한다면, B프레임을 복호하지 않더라도 다음 프레임을 복호할 수 있다. 이로써, B프레임을 복호하지 않음으로써 프레임 레이트를 낮출 수 있어, 시간 스케일러블 기능을 실현할 수 있다.
또 H.264에서는, 도 4에 나타낸 바와 같이, 매크로 블록을 2분할 또는 4분할하고, 4분할한 경우에는 종횡 8화소의 영역을 또 2분할 또는 4분할할 수 있는 나무 구조를 구성할 수 있다. 이 분할한 영역마다 다른 움직임 벡터를 가질 수 있다. 참조 화상은 매크로 블록을 2분할 또는 4분할한 단위로 선택할 수 있다. 이러한 매크로 블록의 분할 패턴은 부호화 모드 정보로서 부호화된다.
또한, 시간 스케일러블 부호화를 실현하는 기법으로서, MCTF(Motion Compensated Temporal Filtering)부호화가 있다. 이 MCTF 부호화 방법은, 영상 데이터에 대해서 시간 방향으로 필터링(서브 밴드 분할)하고, 영상 데이터의 시간 방 향의 상관을 이용하여 영상 데이터의 에너지를 콤팩트화하는 기법이다.
도 5에 시간 방향에서 저역을 옥타브 분할하는 개념도를 나타낸다. GOP(Group Of Picture)를 설정하여 GOP 내에서 시간 방향으로 필터링한다. 시간 방향의 필터를 적용함에 있어서, 움직임 보상을 행할 수도 있다. 시간 방향의 필터에는 Haar 기저(基底)가 일반적으로 제안되고 있다(비특허문헌 3 참조).
또한, Haar 기저에는 일반적으로, 도6a, 도 6b에 도시하는 리프팅·스킴(Lifting Scheme)을 적용할 수 있다. 이 기법에 의해 연산량을 소량 필터링할 수 있다. 이 리프팅·스킴에 있어서, 「predict」는 통상적인 예측 부호화와 같은 처리이며, 예측 화상과 원화상과의 잔차를 구하는 처리이다.
비특허문헌 1:Thomas Wiegand, Xiaozheng Zhang, and Bernd Girod, "Long-Term Memory Motion-Compensated Prediction", IEEE Transactions on Circuits and Systems for Video Technology, vol.9, no.1, pp.70-84, Feb.1999
비특허문헌 2:Alexis Michael Tourapis, "Direct Prediction for Predictive(P) and Bidirectionally Predictive(B) frames in Video Coding," JVT-C128, Joint Video Team(JVT) of ISO/IEC MPEG&ITU-T VCEG Meeting, May, 2002
비특허문헌 3:Jens-Rainer Ohm, "Three-Dimensional Subband Coding with Motion Compensation," IEEE Trans. Image Proc., vol.3, no.5, pp.559-571, 1994
종래의 다이렉트 모드에서는, 직전에 부호화한 프레임의 움직임 벡터를 축적해 놓고, 그 움직임 벡터를 시간 간격으로 스케일하여 움직임 벡터를 산출한다. 이 때문에 프레임간에 움직임의 연속성이 없는 경우에는 효율적인 움직임 벡터를 산출 할 수 없다.
본 발명은 상기 문제점의 해결을 도모하고, 화상 부호화에 있어서 미리 축적해놓은 움직임 벡터 후보로부터 움직임 벡터를 선택하고, 부호화 효율을 향상시키는 것을 목적으로 한다.
이상의 과제를 해결하기 위해서, 제1 발명은 과거에 부호화한 프레임의 화상 정보로부터 예측 화상을 작성하여 영역마다 화상 정보를 부호화하는 화상 부호화 방법으로서, 부호화 대상의 프레임이 속하는 레이어 정보를 이용하여, 미리 축적한 복수의 움직임 벡터로부터 움직임 벡터를 선택하는 움직임 벡터 선택 단계와, 상기 움직임 벡터 선택 단계에서 선택한 움직임 벡터를 이용하여 참조 화상으로부터 예측 화상을 작성하는 예측 화상 작성 단계와, 현재 영역의 화상 정보와 예측 화상과의 차이분을 부호화하는 차이분 부호화 단계를 실행하는 것을 특징으로 하는 화상 부호화 방법이다.
제2 발명은 상기 제1 발명에서의 화상 부호화 방법에 있어서, 상기 움직임 벡터 선택 단계는, 화면 내의 영역의 위치 정보에 따라서 상기 복수의 움직임 벡터로부터 움직임 벡터를 선택하는 것을 특징으로 한다.
제3 발명은 상기 제1 또는 제2 발명에서의 화상 부호화 방법에 있어서, 상기 움직임 벡터 선택 단계에서 선택하는 움직임 벡터를 지정하는 정보를 부호화하는 움직임 벡터 지정 부호화 단계를 실행하는 것을 특징으로 한다.
제4 발명은 과거에 부호화한 복수의 프레임의 화상 정보로부터 참조 화상을 선택하고, 예측 화상을 작성하여 영역마다 화상 정보를 부호화하는 화상 부호화 방법으로서, 미리 축적한 복수의 움직임 벡터와 참조 화상을 지정하는 참조 화상 지정 정보와의 대응 관계를 설정하는 참조 움직임 벡터 설정 단계와, 참조 화상을 선택하는 참조 화상 선택 단계와, 참조 화상을 지정하는 참조 화상 지정 정보를 부호화하는 참조 화상 지정 부호화 단계와, 부호화 대상의 프레임이 속하는 레이어 정보를 이용하여, 미리 축적한 복수의 움직임 벡터로부터 참조 화상 지정 정보에 대응된 움직임 벡터를 선택하는 움직임 벡터 선택 단계와, 상기 움직임 벡터 선택 단계에서 선택한 움직임 벡터를 이용하여 참조 화상으로부터 예측 화상을 작성하는 예측 화상 작성 단계와, 현재 영역의 화상 정보와 예측 화상과의 차이분을 부호화하는 차이분 부호화 단계를 실행하는 것을 특징으로 하는 화상 부호화 방법이다.
제5 발명은 상기 제1 발명, 제3 발명 및 제4 발명 중 어느 한 발명의 화상 부호화 방법에 있어서, 현재 영역의 화상 정보와 참조 화상을 이용하여 움직임 벡터를 탐색하는 움직임 탐색 단계와, 상기 움직임 벡터 선택 단계에서 선택한 움직임 벡터와 상기 움직임 탐색 단계에서 얻어지는 움직임 벡터 중 어느 하나를 선택하는 탐색 움직임 벡터 선택 단계와, 상기 탐색 움직임 벡터 선택 단계에서, 상기 움직임 탐색 단계에서 얻어지는 움직임 벡터를 선택한 경우에, 상기 선택된 움직임 벡터를 부호화하는 탐색 움직임 벡터 부호화 단계와, 상기 탐색 움직임 벡터 선택 단계에서 선택한 움직임 벡터를 지정하는 정보를 부호화하는 탐색 움직임 벡터 지정 부호화 단계를 실행하는 것을 특징으로 한다.
제6 발명은 상기 제1 발명, 제3 발명 및 제4 발명 중 어느 한 발명의 화상 부호화 방법에 있어서, 현재 영역의 화상 정보와 참조 화상을 이용하여 움직임 벡터를 탐색하는 움직임 탐색 단계와, 상기 움직임 벡터 선택 단계에서 선택한 움직임 벡터와 상기 움직임 탐색 단계에서 얻어지는 움직임 벡터의 차이분을 부호화하는 차이분 움직임 벡터 부호화 단계를 실행하는 것을 특징으로 한다.
제7 발명은 상기 제5 발명 또는 제6 발명에서의 화상 부호화 방법에 있어서, 움직임 벡터를 축적하는 움직임 벡터 축적 단계와, 움직임 벡터를 축적할지의 여부를 결정하는 움직임 벡터 축적 결정 단계와, 움직임 벡터를 축적할지의 여부를 지정하는 정보를 부호화하는 움직임 벡터 축적 지정 부호화 단계를 실행하는 것을 특징으로 한다.
제8 발명은 상기 제5 발명 또는 제6 발명에서의 화상 부호화 방법에 있어서, 움직임 벡터를 축적하는 움직임 벡터 축적 단계와, 움직임 벡터 스케일 정보를 이용하여 움직임 벡터의 값을 변경하는 움직임 벡터 스케일 단계를 실행하는 것을 특징으로 한다.
제9 발명은 상기 제8 발명에서의 화상 부호화 방법에 있어서, 움직임 벡터 스케일 정보를 부호화하는 스케일 부호화 단계를 실행하는 것을 특징으로 한다.
제10 발명은 과거에 복호한 프레임의 화상 정보로부터 예측 화상을 작성하여 영역마다 화상 정보를 복호하는 화상 복호 방법으로서, 복호 대상의 프레임이 속하는 레이어 정보를 이용하여, 미리 축적한 복수의 움직임 벡터로부터 움직임 벡터를 선택하는 움직임 벡터 선택 단계와, 상기 움직임 벡터 선택 단계에서 선택한 움직임 벡터를 이용하여 참조 화상으로부터 예측 화상을 작성하는 예측 화상 작성 단계와, 현재 영역의 화상 정보와 예측 화상과의 차이분을 복호하여 복호 화상을 작성하는 복호 화상 작성 단계를 실행하는 것을 특징으로 하는 화상 복호 방법이다.
제11 발명은 상기 제10 발명에서의 화상 복호 방법에 있어서, 상기 움직임 벡터 선택 단계는, 화면 내의 영역의 위치 정보에 따라서 상기 복수의 움직임 벡터로부터 움직임 벡터를 선택하는 것을 특징으로 한다.
제12 발명은 상기 제10 발명 또는 제11 발명에서의 화상 복호 방법에 있어서, 상기 움직임 벡터 선택 단계에서 선택하는 움직임 벡터를 지정하는 정보를 복호하는 움직임 벡터 지정 복호 단계를 실행하는 것을 특징으로 한다.
제13 발명은 과거에 복호한 복수의 프레임의 화상 정보로부터 참조 화상을 선택하고, 예측 화상을 작성하여 영역마다 화상 정보를 복호하는 화상 복호 방법으로서, 미리 축적한 복수의 움직임 벡터와 참조 화상을 지정하는 참조 화상 지정 정보와의 대응 관계를 설정하는 참조 움직임 벡터 설정 단계와, 참조 화상을 지정하는 참조 화상 지정 정보를 복호하는 참조 화상 지정 복호 단계와, 참조 화상을 선택하는 참조 화상 선택 단계와, 복호 대상의 프레임이 속하는 레이어 정보를 이용하여, 미리 축적한 복수의 움직임 벡터로부터 참조 화상 지정 정보에 대응된 움직임 벡터를 선택하는 움직임 벡터 선택 단계와, 상기 움직임 벡터 선택 단계에서 선택한 움직임 벡터를 이용하여 참조 화상에서 예측 화상을 작성하는 예측 화상 작성 단계와, 현재 영역의 화상 정보와 예측 화상과의 차이분을 복호하여 복호 화상을 작성하는 복호 화상 작성 단계를 실행하는 것을 특징으로 하는 화상 복호 방법이다.
제14 발명은 상기 제10 발명, 제12 발명 및 제13 발명 중 어느 한 발명의 화상 복호 방법에 있어서, 움직임 벡터가 부호화되어 있는지의 여부를 지정하는 정보를 복호하는 탐색 움직임 벡터 지정 복호 단계와, 움직임 벡터가 부호화되어 있는 경우에 움직임 벡터를 복호하는 탐색 움직임 벡터 복호 단계를 실행하는 것을 특징으로 한다.
제15 발명은 상기 제10 발명, 제12 발명 및 제13 발명 중 어느 한 발명의 화상 복호 방법에 있어서, 2개의 움직임 벡터의 차이분인 차이분 움직임 벡터를 복호하는 차이분 움직임 벡터 복호 단계와, 상기 차이분 움직임 벡터 복호 단계에서 복호된 상기 차이분 움직임 벡터와 상기 움직임 벡터 선택 단계에서 선택한 움직임 벡터로부터 상기 예측 화상 작성 단계에서 사용되는 상기 움직임 벡터를 산출하는 움직임 벡터 산출 단계를 실행하는 것을 특징으로 한다.
제16 발명은 상기 제14 발명 또는 제15 발명에서의 화상 복호 방법에 있어서, 움직임 벡터를 축적하는 움직임 벡터 축적 단계와, 움직임 벡터를 축적할지의 여부를 지정하는 정보를 복호하는 움직임 벡터 축적 지정 복호 단계를 실행하는 것을 특징으로 한다.
제17 발명은 상기 제14 발명 또는 제15 발명에서의 화상 복호 방법에 있어서, 움직임 벡터를 축적하는 움직임 벡터 축적 단계와, 움직임 벡터 스케일 정보를 이용하여 움직임 벡터의 값을 변경하는 움직임 벡터 스케일 단계를 실행하는 것을 특징으로 한다.
제18 발명은 상기 제17 발명에서의 화상 복호 방법에 있어서, 움직임 벡터 스케일 정보를 복호하는 스케일 복호 단계를 실행하는 것을 특징으로 한다.
제1 발명에 의한 화상 부호화 방법 또는 제10 발명에 의한 화상 복호 방법에 의하면, 미리 축적해놓은 복수의 움직임 벡터로부터 이용할 움직임 벡터를 선택하여 예측 화상을 작성할 수 있다. 종래의 다이렉트 모드에서는, 과거에 부호화한 프레임의 움직임 벡터를 하나의 프레임만큼 축적해 놓고, 화면 내의 같은 위치의 영역의 움직임 벡터를 이용하여 예측 화상을 작성하기 때문에, 움직임 벡터를 선택할 수 없었다. 본 발명에 의하면 움직임 벡터 후보로부터 움직임 벡터를 선택할 수 있으므로, 부호화 효율을 향상시킬 수 있다. 또한, 이 방법에 의하면, 연속되는 프레임간에 움직임의 연속성이 없는 경우라도, 복수의 움직임 벡터 후보로부터 움직임 벡터를 선택하기 때문에, 효율적인 움직임 벡터를 선택할 수 있다.
움직임 벡터는 부호화 대상 프레임을 부호화하기 전에 미리 축적할 수도 있고, 부호화 대상 영역을 부호화하기 전에 미리 축적할 수도 있다. 예를 들면, 일정 속도로 이동하는 카메라로 촬영한 동화상을 부호화하는 경우에는, 미리 프레임 사이의 화상 내용의 이동 거리를 계측해 놓고, 그것을 움직임 벡터로서 축적해놓을 수도 있다. 또한, 여러대의 카메라로 촬영한 경우에는 카메라 사이의 공간적인 거리를 계측해 놓고, 그것을 움직임 벡터로서 축적해놓을 수도 있다. 이와 같이 미리 측정할 수 있는 움직임량이 얻어지는 경우에는, 그 움직임량을 움직임 벡터로서 축적할 수도 있다. 그리고, 이러한 움직임 벡터 후보를 여러개 구비해 놓고, 이것을 영역마다 선택한다.
복수의 미리 축적된 움직임 벡터로부터 하나의 움직임 벡터를 선택하는 기준으로서, 예를 들면 영역의 화면 내에서의 위치를 이용할 수도 있다. 이것은, 제2 발명에 의한 화상 부호화 방법 또는 제11 발명에 의한 화상 복호 방법에 의해 실현할 수 있다. 예를 들면, 카메라의 움직임 정보로부터 움직임 벡터를 산출하는 경우에는, 화면의 상측과 하측에서는 움직임 벡터가 다른 경우가 있다. 이러한 경우에, 미리 화면의 상측과 하측에 모두 움직임 벡터를 산출해 놓고 메모리에 축적해두면, 각 영역을 부호화할 때, 영역의 위치 정보를 이용하여 복수의 움직임 벡터로부터 하나의 움직임 벡터를 선택하면 효율적으로 부호화할 수 있다. 또한, 움직임 벡터를 선택하는 기준으로서, 스케일러블 부호화의 경우에는 부호화 대상의 프레임이 속하는 레이어 정보를 이용할 수도 있다.
예를 들면, 도 7에 도시한 바와 같은, 기본 레이어와 확장 레이어를 이용하여 시간 스케일러블 부호화를 행하는 경우에는, 각 레이어에 대응된 움직임 벡터를 축적하는 메모리를 준비해 놓고, 각 프레임을 부호화할 때, 그 프레임이 속하는 레이어용 메모리에 축적되어 있는 움직임 벡터를 선택할 수도 있다. 이 방법은, 도 5에 도시하는 MCTF 부호화도 마찬가지이며, 각 레이어에 대응된 움직임 벡터 메모리를 준비하여, 레이어 정보를 이용해서 움직임 벡터를 선택하면 된다.
또한, 이러한 움직임 벡터 정보를 프레임 또는 복수 영역마다 부호화할 수도 있다. 이 움직임 벡터 정보는 화상 복호측에서 복호하여 축적해놓는다.
제3 발명에 의한 화상 부호화 방법 또는 제12 발명에 의한 화상 복호 방법에 의하면, 복수의 움직임 벡터로부터 선택한 움직임 벡터를 지정하는 정보를 부호화함으로써, 화상 부호화측에서 부호화 효율이 좋은 움직임 벡터를 선택할 수 있다.
또한, 통상적인 움직임 벡터 부호화에서는, 세로 성분과 가로 성분을 독립적으로 부호화하기 때문에 두 개의 2심볼을 부호화하지만, 이와 같이 복수의 움직임 벡터로부터 하나를 선택하는 경우에는 움직임 벡터를 지정하는 정보를 부호화하기 때문에, 하나의 심볼만을 부호화하게 되어 부호화 효율이 향상된다.
제4 발명에 의한 화상 부호화 방법 또는 제13 발명에 의한 화상 복호 방법에 의하면, 복수의 프레임으로부터 참조 화상을 선택하여 부호화하는 경우에, 그 참조 화상을 지정하는 정보를 이용하여 움직임 벡터도 동시에 지정할 수 있으며, 움직임 벡터를 지정하는 정보의 부호량을 삭감할 수 있다. 미리 축적하는 움직임 벡터는 복수의 카테고리로 분류되어 있으며, 각 카테고리는 각 참조 화상에 대응된다. 따라서, 참조 화상을 지정하는 정보에 대해서, 하나의 움직임 벡터의 카테고리를 대응된다. 이 카테고리에 속하는 움직임 벡터 중, 종래의 다이렉트 모드와 마찬가지로, 프레임 내의 같은 위치의 움직임 벡터를 선택한다. 또한, 참조 움직임 벡터 설정 단계는 각 영역에서 행할 필요는 없으며, 프레임 또는 복수의 영역마다 한 번만 실행하면 된다.
참조 화상을 지정하는 참조 화상 지정 정보와 참조 화상과의 대응 관계는 여러개 설정할 수 있으며, 예를 들면 B프레임에서는, 전방향 예측용 대응 관계와 후방향 예측용 대응 관계를 각각 별도로 설정할 수 있다. 이 경우, 참조 움직임 벡터 설정 단계는, 전방향 예측용과 후방향 예측용으로 2회 실행한다.
제5 발명에 의한 화상 부호화 방법 또는 제14 발명에 의한 화상 복호 방법에 의하면, 움직임 탐색을 행하여 움직임 벡터를 구하고, 이 움직임 벡터와 미리 축적하는 움직임 벡터 중에서 하나의 움직임 벡터를 선택하여 부호화한다. 이로써, 미리 축적한 움직임 벡터에서는 부호화 효율이 나쁜 영역에서도 부호화 효율을 향상시킬 수 있다. 탐색 움직임 벡터 지정 부호화 단계에서는, 탐색한 움직임 벡터를 이용할 것인지, 미리 축적한 움직임 벡터를 이용할 것인지를 지정하는 정보를 부호화하지만, 이것을 단독으로 부호화할 수도 있고, 부호화 모드와 조합하여 부호화할 수도 있다. 부호화 모드에서는, 영역을 인트라 부호화하는 것인지의 여부, 또는 영역을 재분할할지의 여부, B프레임의 경우에는 예측 방향은 어느 쪽인지 등의 정보가 포함되어 있다. 이 부호화 모드의 하나로서, 예를 들면 미리 축적한 움직임 벡터를 이용할지의 여부를 나타낼 수도 있다. 또 움직임 벡터 지정 부호화 단계에서, 미리 축적한 움직임 벡터 중에서 선택하는 움직임 벡터를 지정하는 정보를 부호화하는 경우에는, 이 정보에, 움직임 탐색에서 얻어지는 움직임 벡터를 선택할지의 여부를 지정하는 정보를 조합할 수도 있다. 예를 들면, 미리 축적한 움직임 벡터가 두 개 있으며, 이들 중에서 선택하는 움직임 벡터를 지정하는 정보로 각각 수치 0과 1을 적용한다고 하면, 움직임 탐색에서 얻어지는 움직임 벡터를 수치 2로 하여 지정하도록 할 수도 있다.
제6 발명에 의한 화상 부호화 방법 또는 제15 발명에 의한 화상 복호 방법에 의하면, 움직임 탐색을 행하여 움직임 벡터를 구하고, 이 움직임 벡터와 미리 축적하는 움직임 벡터와의 차이분을 부호화함으로써, 미리 축적한 움직임 벡터에서는 부호화 효율이 나쁜 경우에, 효율이 좋은 움직임 벡터를 설정할 수 있다.
제7 발명에 의한 화상 부호화 방법 또는 제16 발명에 의한 화상 복호 방법에 의하면, 움직임 탐색을 행하여 구한 움직임 벡터를 축적할 수 있다. 이로써, 미리 축적한 움직임 벡터를 갱신할 수 있다. 움직임 벡터를 갱신하는 방법으로서, 예를 들면 오래 전에 축적되어 있는 움직임 벡터를 폐기하고, 신규로 움직임 벡터를 축적할 수도 있다. 또한, 제4 발명에 의한 화상 부호화 방법 또는 제13 발명에 의한 화상 복호 방법과 같이, 참조 화상을 지정하는 정보를 이용하여 움직임 벡터도 동시에 지정하는 경우에는, 선택되는 참조 화상 내에서 같은 위치의 움직임 벡터를 폐기하고 신규로 움직임 벡터를 축적할 수도 있다. 또한, 움직임 탐색을 행하여 구한 움직임 벡터를 축적할지의 여부를 판정할 수 있다. 축적한 움직임 벡터는 다음 프레임 이후에 이용되기 때문에, 다음 프레임 이후의 부호화 효율을 향상시킬 수 있는 움직임 벡터만을 축적한다면, 움직임 벡터를 축적하는 메모리량을 삭감시킬 수 있다.
제8 발명에 의한 화상 부호화 방법 또는 제17 발명에 의한 화상 복호 방법에 의하면, 움직임 탐색을 행하여 구한 움직임 벡터를 축적하는 경우에, 움직임 벡터 스케일 정보를 이용하여 값을 변경하고 나서 축적할 수 있다. 예를 들면 움직임 탐색에서는 1/4화소 정밀도의 움직임 벡터를 구해 놓고, 축적할 때에는 정수 화소 정밀도의 움직임 벡터로 변경할 수도 있다. 이때, 정수 화소 이하의 정밀도의 움직임 벡터 정보를 잃게 되지만, 움직임 벡터를 표현하는 수치를 작게 할 수 있다. 이로써, 움직임 벡터를 축적하는 메모리량을 삭감시킬 수 있다.
제9 발명에 의한 화상 부호화 방법 또는 제18 발명에 의한 화상 복호 방법에 의하면, 움직임 벡터 스케일 정보를 부호화함으로써 축적하는 움직임 벡터의 정밀도를 프레임 또는 영역마다 변경할 수 있다. 이로써, 보다 적절하게 움직임 벡터를 축적하는 메모리량을 삭감시킬 수 있다. 예를 들면, 텍스쳐가 조밀한 영역에서는 1/4화소와 같은 조밀한 정밀도의 움직임 벡터를 축적하고, 텍스쳐가 없는 영역에서는 정수 화소와 같은 거친 정밀도의 움직임 벡터를 축적할 수도 있다.
본 발명에서의 차이분 부호화 단계에서는, 차이분 정보를 무손실 부호화할 수도 있고, 손실 부호화할 수도 있다.
본 발명에 의하면, 미리 축적해놓은 복수의 움직임 벡터로부터 이용할 움직임 벡터를 선택하여 예측 화상을 작성할 수 있다. 종래의 다이렉트 모드에서는, 과거에 부호화한 프레임의 움직임 벡터를 하나의 프레임만큼 축적해 놓고, 화면 내의 같은 위치의 영역의 움직임 벡터를 이용하여 예측 화상을 작성하기 때문에, 움직임 벡터를 선택할 수 없었다. 본 발명에 의하면, 움직임 벡터 후보로부터 움직임 벡터를 선택할 수 있으므로, 부호화 효율을 향상시킬 수 있다. 또한, 이 방법에 의하면, 연속되는 프레임간에 움직임의 연속성이 없는 경우라도, 복수의 움직임 벡터 후보로부터 움직임 벡터를 선택하기 때문에, 효율적인 움직임 벡터를 선택할 수 있다.
도 1은 예측 관계의 예 1을 나타내는 도면으로서, 상측은 IBBPBBP의 예측 관계를 나타내고, 하측은 부호화 순서를 나타내는 도면이고,
도 2는 예측 관계의 예 2를 나타내는 도면으로서, 상측은 IBBPBBP의 예측 관계를 나타내고, 하측은 부호화 순서를 나타내는 도면이고,
도 3은 다이렉트 모드에서의 움직임 벡터를 설명하는 도면이고,
도 4는 H.264의 블록 분할 모식도이고,
도 5는 MCTF 부호화에서의 시간 방향의 필터를 설명하는 도면이고,
도 6a는 Haar 기저에서의 리프팅·스킴을 설명하는 도면으로서, 분석(부호 화)측 처리를 나타낸 것이고, 도6b는 Haar 기저에서의 리프팅·스킴을 설명하는 도면으로서, 합성(복호)측 처리를 나타낸 것이고,
도 7은 스케일러블 부호화의 프레임 구성예를 나타내는 도면이고,
도 8은 본 발명의 제1 실시형태에 의한 화상 부호화 장치의 구성을 나타내는 블록도이고,
도 9는 본 발명의 제1 실시형태에 의한 화상 복호 장치의 구성을 나타내는 블록도이고,
도 10은 본 발명의 제2 실시형태에 의한 화상 부호화 장치의 구성을 나타내는 블록도이고,
도 11은 본 발명의 제2 실시형태에 의한 화상 복호 장치의 구성을 나타내는 블록도이고,
도 12는 본 발명의 제3 실시형태에 의한 화상 부호화 장치의 구성을 나타내는 블록도이고,
도 13은 본 발명의 제3 실시형태에 의한 화상 복호 장치의 구성을 나타내는 블록도이고,
도 14는 본 발명의 제4 실시형태에 의한 제3 실시형태를 바탕으로 한 화상 부호화 장치의 구성을 나타내는 블록도로서, 스케일 정보의 부호화를 행하는 경우의 구성을 나타낸 것이고,
도 15는 본 발명의 제4 실시형태에 의한 제3 실시형태를 바탕으로 한 화상 복호 장치의 구성을 나타내는 블록도로서, 스케일 정보의 복호를 행하는 경우의 구 성을 나타낸 것이고,
도 16은 본 발명의 제4 실시형태에 의한 제1 실시형태를 바탕으로 한 화상 부호화 장치의 구성을 나타내는 블록도로서, 스케일 정보의 부호화를 행하는 경우의 구성을 나타낸 것이고,
도 17은 본 발명의 제4 실시형태에 의한 제1 실시형태를 바탕으로 한 화상 복호 장치의 구성을 나타내는 블록도로서, 스케일 정보의 복호를 행하는 경우의 구성을 나타낸 것이고,
도 18은 본 발명의 제4 실시형태에 의한 제2 실시형태를 바탕으로 한 화상 부호화 장치의 구성을 나타내는 블록도로서, 스케일 정보의 부호화를 행하는 경우의 구성을 나타낸 것이고,
도 19는 본 발명의 제4 실시형태에 의한 제2 실시형태를 바탕으로 한 화상 복호 장치의 구성을 나타내는 블록도로서, 스케일 정보의 복호를 행하는 경우의 구성을 나타낸 것이고,
도 20은 본 발명의 제4 실시형태에 의한 제3 실시형태를 바탕으로 한 화상 부호화 장치의 구성을 나타내는 블록도로서, 스케일 정보의 부호화를 행하지 않는 경우의 구성을 나타낸 것이고,
도 21은 본 발명의 제4 실시형태에 의한 제3 실시형태를 바탕으로 한 화상 복호 장치의 구성을 나타내는 블록도로서, 스케일 정보의 복호를 행하지 않는 경우의 구성을 나타낸 것이고,
도 22는 본 발명의 제4 실시형태에 의한 제1 실시형태를 바탕으로 한 화상 부호화 장치의 구성을 나타내는 블록도로서, 스케일 정보의 부호화를 행하지 않는 경우의 구성을 나타낸 것이고,
도 23은 본 발명의 제4 실시형태에 의한 제1 실시형태를 바탕으로 한 화상 복호 장치의 구성을 나타내는 블록도로서, 스케일 정보의 복호를 행하지 않는 경우의 구성을 나타낸 것이고,
도 24는 본 발명의 제4 실시형태에 의한 제2 실시형태를 바탕으로 한 화상 부호화 장치의 구성을 나타내는 블록도로서, 스케일 정보의 부호화를 행하지 않는 경우의 구성을 나타낸 것이고,
도 25는 본 발명의 제4 실시형태에 의한 제2 실시형태를 바탕으로 한 화상 복호 장치의 구성을 나타내는 블록도로서, 스케일 정보의 복호를 행하지 않는 경우의 구성을 나타낸 것이고,
도 26은 본 발명의 제5 실시형태에 의한 화상 부호화 장치의 구성을 나타내는 블록도이고,
도 27은 본 발명의 제5 실시형태에 의한 화상 복호 장치의 구성을 나타내는 블록도이고,
도 28은 본 발명의 제6 실시형태에 의한 화상 부호화 장치의 구성을 나타내는 블록도이고,
도 29는 본 발명의 제6 실시형태에 의한 화상 복호 장치의 구성을 나타내는 블록도이고,
도 30은 본 발명의 제9 실시형태에 의한 화상 부호화 장치의 구성을 나타내 는 블록도이고,
도 31은 본 발명의 제9 실시형태에 의한 화상 복호 장치의 구성을 나타내는 블록도이고,
도 32는 본 발명의 제9 실시형태에 있어서, 복수의 움직임 벡터로부터 부호량이 최소가 되도록 움직임 벡터를 선택하도록 한 경우의 화상 부호화 장치의 구성을 나타내는 블록도이고,
도 33은 본 발명의 제9 실시형태에 있어서, 복수의 움직임 벡터로부터 부호량이 최소가 되도록 움직임 벡터를 선택하도록 한 경우의 화상 복호 장치의 구성을 나타내는 블록도이고,
도 34는 본 발명의 제1O 실시형태에 의한 화상 부호화 장치의 구성을 나타내는 블록도이고,
도 35는 본 발명의 제1O 실시형태에 의한 화상 복호 장치의 구성을 나타내는 블록도이다.
[부호의 설명]
101 화상 입력부
102 움직임 탐색부
103 차이분 부호화부
104 예측 화상 작성부
105 복호부
106 참조 화상 메모리
107 움직임 벡터 축적 메모리
108 탐색 움직임 벡터 선택부
109 움직임 벡터 선택부
110 움직임 벡터 지정 부호화부
111 탐색 움직임 벡터 지정 부호화부
112 탐색 움직임 벡터 부호화부
113 부호량 계측부
114 참조 화상 선택부
115 참조 화상 지정 부호화부
116 참조 움직임 벡터 설정부
117 차이분 움직임 벡터 부호화부
118 움직임 벡터 축적부
119 움직임 벡터 축적 결정부
120 움직임 벡터 축적 지정 부호화부
121 움직임 벡터 스케일부
122 스케일 부호화부
123 참조 움직임 벡터 대응 부호화부
124 움직임 벡터 생성부
125 생성 움직임 벡터 부호화부
201 복호 화상 작성부
202 탐색 움직임 벡터 복호부
203 탐색 움직임 벡터 지정 복호부
204 움직임 벡터 지정 복호부
205 예측 화상 작성부
206 참조 화상 메모리
207 움직임 벡터 축적 메모리
208 탐색 움직임 벡터 선택부
209 움직임 벡터 선택부
210 참조 화상 선택부
211 참조 화상 지정 복호부
216 참조 움직임 벡터 설정부
217 차이분 움직임 벡터 복호부
218 차이분 움직임 벡터 산출부
219 움직임 벡터 축적부
220 움직임 벡터 축적 지정 복호부
221 움직임 벡터 스케일부
222 스케일 복호부
223 참조 움직임 벡터 대응 복호부
224 생성 움직임 벡터 복호부
도면을 이용하여 본 발명의 화상 부호화 장치와 화상 복호 장치의 실시형태를 설명하기로 한다. 화상을 복수의 블록으로 분할하여 부호화하는 경우의 순서를 나타낸다. 3개의 움직임 벡터를 축적해 놓고, 그들 중 하나를 선택하여 부호화하는 것으로 한다.
〔제1 실시형태〕
제1 실시형태에 따른 화상 부호화 장치를 설명하기로 한다. 도 8에 장치 개요를 나타낸다. 화상 정보를 받아들이는 화상 입력부(101)와, 예측 화상을 작성하는 예측 화상 작성부(104)와, 입력 화상 정보와 예측 화상의 차이분을 부호화하는 차이분 부호화부(103)와, 움직임 탐색을 하는 움직임 탐색부(102)와, 움직임 벡터를 축적하는 움직임 벡터 축적 메모리(107)와, 움직임 벡터 축적 메모리(107)로부터 하나의 움직임 벡터를 선택하는 움직임 벡터 선택부(109)와, 움직임 벡터 선택부(109)에서 선택한 움직임 벡터를 지정하는 움직임 벡터 지정 정보를 부호화하는 움직임 벡터 지정 부호화부(110)와, 움직임 탐색부(102)에서 탐색된 움직임 벡터 또는 움직임 벡터 선택부(109)에서 선택한 움직임 벡터 중 어느 하나를 선택하는 탐색 움직임 벡터 선택부(108)와, 탐색 움직임 벡터 선택부(108)에서 선택한 움직임 벡터를 지정하는 탐색 움직임 벡터 지정 정보를 부호화하는 탐색 움직임 벡터 지정 부호화부(111)와, 움직임 탐색부(102)에서 탐색된 움직임 벡터를 부호화하는 탐색 움직임 벡터 부호화부(112)와, 복호 화상을 축적하는 참조 화상 메모리(106)와, 차이분 부호화부(103)에서 작성된 차이분 부호화 데이터를 복호하여 복호 화상을 작성하는 복호부(105)와, 차이분 부호화부(103)에서 작성된 차이분 부호화 데이 터의 부호량과 움직임 벡터의 부호량의 합계를 계측하는 부호량 계측부(113)을 구비한다.
움직임 벡터 축적 메모리(107)에는, 미리 3개의 움직임 벡터가 축적되어 있는 것으로 한다. 또 움직임 벡터 지정 부호화부(110)에서는, 움직임 벡터 축적 메모리(107)에 축적된 3개의 움직임 벡터를 지정하는 움직임 벡터 지정 정보에 대해서 각각 0, 10, 11의 부호를 출력하는 것으로 한다. 또한, 탐색 움직임 벡터 지정 부호화부(111)에서는, 움직임 탐색부(102)에서 탐색된 움직임 벡터의 경우에 0을, 움직임 벡터 선택부(109)에서 선택한 움직임 벡터의 경우에 1을 출력하는 것으로 한다. 탐색 움직임 벡터 부호화부(112)에서는, 움직임 벡터의 각 성분을 MPEG-4에서 채용되고 있는 움직임 벡터 부호화 방법을 이용하여 부호화하는 것으로 한다. 또한, 이전 프레임이 이미 부호화되어 있고, 참조 화상 메모리(106)에 복호 화상이 축적되어 있는 것으로 한다.
이러한 전제로 입력 화상을 다음과 같이 부호화한다. 먼저, 화상 입력부(101)는 프레임을 받아들여 매크로 블록으로 분할한다. 다음에 매크로 블록마다 다음과 같이 부호화한다.
움직임 탐색부(102)는 현재 매크로 블록에 대해서 움직임 탐색을 행한다. 탐색 움직임 벡터 선택부(108)는 움직임 탐색에서 얻어진 움직임 벡터를 선택한다. 예측 화상 작성부(104)는 움직임 벡터를 이용하여 예측 화상을 작성한다. 차이분 부호화부(103)는 현재 화상과 예측 화상의 차이분을 부호화한다. 부호량 계측부(113)는 발생 부호량을 계측한다.
다음에, 움직임 벡터 선택부(109)는 움직임 벡터 축적 메모리(107)로부터 제1 움직임 벡터를 선택한다. 탐색 움직임 벡터 선택부(108)는 움직임 벡터 선택부(109)에서 선택된 움직임 벡터를 선택한다. 예측 화상 작성부(104)는 움직임 벡터를 이용하여 예측 화상을 작성한다. 차이분 부호화부(103)는 현재 화상과 예측 화상의 차이분을 부호화한다. 부호량 계측부(113)는 발생 부호량을 계측한다.
다음에, 움직임 벡터 선택부(109)는 움직임 벡터 축적 메모리(107)로부터 제2 움직임 벡터를 선택한다. 탐색 움직임 벡터 선택부(108)는 움직임 벡터 선택부(109)에서 선택된 움직임 벡터를 선택한다. 예측 화상 작성부(104)는 움직임 벡터를 이용하여 예측 화상을 작성한다. 차이분 부호화부(103)는 현재 화상과 예측 화상의 차이분을 부호화한다. 부호량 계측부(113)는 발생 부호량을 계측한다.
다음에, 움직임 벡터 선택부(109)는 움직임 벡터 축적 메모리(107)로부터 제3 움직임 벡터를 선택한다. 탐색 움직임 벡터 선택부(108)는 움직임 벡터 선택부(109)에서 선택된 움직임 벡터를 선택한다. 예측 화상 작성부(104)는 움직임 벡터를 이용하여 예측 화상을 작성한다. 차이분 부호화부(103)는 현재 화상과 예측 화상의 차이분을 부호화한다. 부호량 계측부(113)는 발생 부호량을 계측한다.
탐색 움직임 벡터 선택부(108)는 부호량 계측부(113)에서 얻어진 발생 부호량이 가장 적은 경우의 움직임 벡터를 선택한다. 움직임 벡터 선택부(109)에서 선택된 움직임 벡터가 선택되는 경우에는, 또한 움직임 벡터 선택부(109)는 부호량 계측부(113)에서 얻어진 발생 부호량이 가장 적은 경우의 움직임 벡터를 선택한다.
이상에 의해 얻어진 움직임 벡터를 이용하여, 예측 화상 작성부(104)는 예측 화상을 작성하고, 차이분 부호화부(103)는 차이분을 부호화한다. 탐색 움직임 벡터 지정 부호화부(111)는 탐색 움직임 벡터 지정 정보를 부호화한다. 탐색 움직임 벡터 지정 정보가 움직임 벡터 선택부(109)에서 선택되는 움직임 벡터를 지정하는 경우에는, 움직임 벡터 지정 부호화부(110)는 움직임 벡터 지정 정보를 부호화한다. 탐색 움직임 벡터 지정 정보가 움직임 탐색부(102)에서 얻어지는 움직임 벡터를 지정하는 경우에는, 탐색 움직임 벡터 부호화부(112)는 움직임 벡터를 부호화한다.
이상의 처리를 모든 매크로 블록에서 실행한다. 복호부(105)는 부호화된 차이분을 복호하고, 예측 화상을 이용하여 복호 화상을 작성하며, 복호 화상을 참조 화상 메모리(106)에 축적한다. 이상에 의해 현재 프레임을 부호화할 수 있다.
다음에, 복호 장치를 설명하기로 한다. 도 9에 장치 개요를 나타낸다. 예측 화상을 작성하는 예측 화상 작성부(205)와, 차이분 정보를 복호하여 예측 화상을 이용하여 복호 화상을 작성하는 복호 화상 작성부(201)와, 움직임 벡터를 축적하는 움직임 벡터 축적 메모리(207)와, 움직임 벡터 지정 정보를 복호하는 움직임 벡터 지정 복호부(204)와, 움직임 벡터 지정 정보를 이용하여 움직임 벡터 축적 메모리(207)로부터 하나의 움직임 벡터를 선택하는 움직임 벡터 선택부(209)와, 탐색 움직임 벡터 지정 정보를 복호하는 탐색 움직임 벡터 지정 복호부(203)와, 탐색 움직임 벡터 지정 정보를 이용하여 움직임 벡터를 선택하는 탐색 움직임 벡터 선택부(208)와, 움직임 벡터를 복호하는 탐색 움직임 벡터 복호부(202)와, 복호 화상을 축적하는 참조 화상 메모리(206)을 구비한다.
움직임 벡터 축적 메모리(207)에는, 미리 3개의 움직임 벡터가 축적되어 있 는 것으로 한다. 또한, 이전 프레임은 이미 복호되어 있고, 참조 화상 메모리(206)에 복호 화상이 축적되어 있는 것으로 한다.
이러한 전제로 상기 화상 부호화 장치에서 부호화된 부호화 데이터를 다음과 같이 복호한다. 먼저, 매크로 블록마다 다음과 같이 복호 화상을 작성한다. 탐색 움직임 벡터 지정 복호부(203)는, 탐색 움직임 벡터 지정 정보를 복호한다. 탐색 움직임 벡터 선택부(208)는 탐색 움직임 벡터 지정 정보를 이용하여 움직임 벡터를 복호할지, 움직임 벡터 지정 정보를 복호할지를 선택한다. 움직임 벡터를 복호하는 경우에는, 탐색 움직임 벡터 복호부(202)는 움직임 벡터를 복호한다. 움직임 벡터 지정 정보를 복호하는 경우에는, 움직임 벡터 지정 복호부(204)는 움직임 벡터 지정 정보를 복호하고, 움직임 벡터 선택부(209)는, 움직임 벡터 지정 정보를 이용하여 움직임 벡터 축적 메모리(207)로부터 하나의 움직임 벡터를 선택한다. 그리고, 예측 화상 작성부(205)는 움직임 벡터를 이용하여 예측 화상을 작성하고, 복호 화상 작성부(201)는 차이분 정보를 복호하여, 예측 화상을 이용하여 복호 화상을 작성한다.
이상의 처리를 모든 매크로 블록에서 실행한다. 복호 화상 작성부(201)는, 복호 화상을 참조 화상 메모리(206)에 축적한다. 이상에 의해 현재 프레임을 복호할 수 있다.
본 실시형태에 의하면, 움직임 벡터 축적 메모리(107)에 영상의 움직임 정보를 잘 반영한 움직임 벡터가 축적되어 있는 경우로서, 움직임 탐색부(102)에서 탐색되는 움직임 벡터의 부호량이 많은 경우에, 움직임 벡터를 부호화하는 대신에 움 직임 벡터 지정 정보를 부호화함으로써 움직임 벡터의 부호량을 삭감시킬 수 있다.
〔제2 실시형태〕
상기 제1 실시형태에서는, 움직임 탐색부(102)에서 탐색된 움직임 벡터 또는 움직임 벡터 축적 메모리(107)에 축적된 움직임 벡터 중 어느 하나를 선택했으나, 탐색된 움직임 벡터와, 움직임 벡터 축적 메모리(107)에 축적된 움직임 벡터와의 차이분을 부호화하도록 할 수도 있다. 도 10 및 도 11에 장치 개요를 나타낸다. 이 경우에는, 도 10에 나타낸 바와 같이, 화상 부호화 장치에 탐색 움직임 벡터 부호화부(112)와 탐색 움직임 벡터 지정 부호화부(111)와 탐색 움직임 벡터 선택부(108)를 구비하지 않고, 대신에 움직임 벡터의 차이분을 부호화하는 차이분 움직임 벡터 부호화부(117)을 구비한다.
또한, 도 11에 나타낸 바와 같이, 화상 복호 장치에 탐색 움직임 벡터 복호부(202)와 탐색 움직임 벡터 지정 복호부(203)와 탐색 움직임 벡터 선택부(208)를 구비하지 않고, 차이분 움직임 벡터를 복호하는 차이분 움직임 벡터 복호부(217)와, 차이분 움직임 벡터와 움직임 벡터 선택부(209)에서 선택한 움직임 벡터로부터 움직임 벡터를 산출하는 차이분 움직임 벡터 산출부(218)를 구비한다.
화상 부호화 장치에서는, 매크로 블록마다 다음과 같이 하여 움직임 벡터를 구한다. 움직임 탐색부(102)는 현재 매크로 블록에 대해서 움직임 탐색을 한다. 예측 화상 작성부(104)는 탐색된 움직임 벡터를 이용하여 예측 화상을 작성한다. 차이분 부호화부(103)는 현재 화상과 예측 화상의 차이분을 부호화한다. 그리고, 움직임 벡터 선택부(109)는 움직임 벡터 축적 메모리(107)로부터 제1 움직임 벡터를 선택한다. 차이분 움직임 벡터 부호화부(117)는 움직임 탐색에서 얻어진 움직임 벡터와 제1 움직임 벡터와의 차이분을 부호화한다. 부호량 계측부(113)는 발생 부호량을 계측한다.
움직임 벡터 선택부(109)는 움직임 벡터 축적 메모리(107)로부터 제2 움직임 벡터를 선택한다. 차이분 움직임 벡터 부호화부(117)는 움직임 탐색에서 얻어진 움직임 벡터와 제2 움직임 벡터와의 차이분을 부호화한다. 부호량 계측부(113)는 발생 부호량을 계측한다.
움직임 벡터 선택부(109)는 움직임 벡터 축적 메모리(107)로부터 제3 움직임 벡터를 선택한다. 차이분 움직임 벡터 부호화부(117)는, 움직임 탐색에서 얻어진 움직임 벡터와 제3 움직임 벡터와의 차이분을 부호화한다. 부호량 계측부(113)는 발생 부호량을 계측한다. 움직임 벡터 선택부(109)는 부호량 계측부(113)에서 얻어진 발생 부호량이 가장 적은 경우의 움직임 벡터를 선택한다.
화상 복호 장치에서는, 매크로 블록마다 다음과 같이 하여 움직임 벡터를 구한다. 움직임 벡터 지정 복호부(204)는 움직임 벡터 지정 정보를 복호하고, 움직임 벡터 선택부(209)는 움직임 벡터 지정 정보를 이용하여 움직임 벡터 축적 메모리(207)로부터 하나의 움직임 벡터를 선택한다. 차이분 움직임 벡터 복호부(217)는 차이분 움직임 벡터를 복호하고, 차이분 움직임 벡터 산출부(218)는 차이분 움직임 벡터와 움직임 벡터 선택부(209)에서 선택한 움직임 벡터로부터 움직임 벡터를 작성한다.
제1 및 제2 실시형태에 있어서, 화상 부호화 장치는 움직임 탐색부(102)에서 얻어지는 움직임 벡터를 움직임 벡터 축적 메모리(107)에 덮어쓰기로 축적할 수도 있다.
〔제3 실시형태〕
이상의 실시형태에 있어서, 움직임 벡터 축적 메모리(107)에 축적할지의 여부를 지정하는 정보를 부호화할 수도 있다. 제1 실시형태를 바탕으로 본 실시형태를 실현한 경우의 장치 개요를 도 12 및 도 13에 나타낸다. 이 경우에는, 도 12에 도시한 바와 같이, 움직임 벡터를 축적하는 움직임 벡터 축적부(118)와, 움직임 벡터를 축적할지의 여부를 결정하는 움직임 벡터 축적 결정부(119)와, 움직임 벡터를 축적할지의 여부를 지정하는 정보를 부호화하는 움직임 벡터 축적 지정 부호화부(120)를 도 8의 구성에 부가하여 새롭게 구비한다.
움직임 벡터 축적 결정부(119)에서는, 예를 들면 탐색 움직임 벡터 선택부(108)에서, 움직임 탐색에서 얻어지는 움직임 벡터가 선택되는 경우에, 그 움직임 벡터를 축적하도록 결정한다. 이 움직임 벡터 축적 결정부(119)에서 움직임 벡터를 축적한다고 결정한 경우에는, 움직임 벡터 축적부(118)는 움직임 벡터 축적 메모리(107)에 움직임 벡터를 축적한다. 움직임 벡터 축적 지정 부호화부(120)는 움직임 벡터를 축적할지의 여부를 지정하는 정보를 부호화한다. 움직임 벡터 축적 지정 부호화부(120)는 매크로 블록마다 움직임 벡터 축적 지정 정보를 부호화할 수도 있고, 슬라이스나 프레임 등의 복수의 매크로 블록을 단위로 움직임 벡터 축적 지정 정보를 부호화할 수도 있다.
이와 같이 하여 작성되는 부호화 데이터를 복호하기 위해서는, 도 13에 도시 한 바와 같이, 화상 복호 장치는 움직임 벡터를 축적하는 움직임 벡터 축적부(219)와, 움직임 벡터를 축적할지의 여부를 지정하는 정보를 복호하는 움직임 벡터 축적 지정 복호부(220)를 도 9의 구성에 부가하여 구비한다. 움직임 벡터 축적 지정 복호부(220)는 움직임 벡터를 축적할지의 여부를 지정하는 정보를 복호하고, 축적한다고 지정된 경우에, 움직임 벡터 축적부(219)는 움직임 벡터 축적 메모리(207)에 움직임 벡터를 축적한다.
〔제4 실시형태〕
이상의 실시형태에 있어서, 또한 움직임 벡터 축적 메모리(107)에 축적하기 전에, 움직임 벡터를 스케일함으로써 움직임 벡터의 성분의 값을 작게 하여, 축적에 요구되는 메모리량을 줄일 수도 있다. 제3 실시형태를 바탕으로 본 실시형태를 실현한 경우의 장치 개요를 도 14 및 도 15에 나타낸다.
본 실시형태를 실현하기 위해서는, 도 14에 나타낸 바와 같이, 화상 부호화 장치에, 움직임 벡터 스케일 정보를 이용하여 움직임 벡터의 값을 변경하는 움직임 벡터 스케일부(121)를 구비할 수도 있다. 미리 정밀도가 낮은, 예를 들면 정수 화소 정밀도로 스케일한 움직임 벡터를 움직임 벡터 축적 메모리(107)에 축적해 놓고, 움직임 벡터 선택부(109)에서 움직임 벡터를 선택한 후에, 움직임 벡터 스케일부(121)이 움직임 벡터를 보다 정밀도가 높은, 예를 들면 반화소 정밀도나 1/4화소 정밀도의 움직임 벡터로 스케일할 수도 있다. 또 움직임 벡터를 축적하는 경우에는, 움직임 벡터 축적부(118)에서 움직임 벡터 축적 메모리(107)에 움직임 벡터를 축적하기 전에, 움직임 벡터 스케일부(121)가 움직임 벡터를 정밀도가 높은 반화소 정밀도나 1/4화소 정밀도의 움직임 벡터에서 정밀도가 낮은 정수 화소 정밀도의 움직임 벡터로 스케일할 수도 있다.
또한, 이 움직임 벡터의 스케일 계산에 필요한 정보인 움직임 벡터 스케일 정보를 부호화할 수도 있다. 움직임 벡터 스케일 정보는, 예를 들면 움직임 벡터 스케일부(121)가 움직임 벡터를 정수 화소 정밀도에서 반화소 정밀도로 스케일하는 경우에는, 그 스케일한 값을 얻기 위한 계산식을 지정하는 정보일 수도 있다. 이로써, 예를 들면 매크로 블록이나 복수의 매크로 블록의 단위로 스케일의 계산식을 변경할 수 있다. 이 경우에는, 화상 부호화 장치는 움직임 벡터 스케일 정보를 부호화하는 스케일 부호화부(122)를 구비한다.
한편, 도 15에 도시한 바와 같이, 화상 복호 장치에서는 움직임 벡터 스케일 정보를 이용하여 움직임 벡터의 값을 변경하는 움직임 벡터 스케일부(221)와, 움직임 벡터 스케일 정보를 복호하는 스케일 복호부(222)를 구비한다. 움직임 벡터 스케일부(221)의 동작은, 화상 부호화 장치의 움직임 벡터 스케일부(121)와 동일하다. 또 스케일 복호부(222)는 움직임 벡터의 스케일 계산에 필요한 움직임 벡터 스케일 정보를 복호하여 스케일의 계산식을 변경한다.
또한, 상술한 설명에서는 제3 실시형태를 바탕으로 본 실시형태를 실현하는 것으로 했으나, 예를 들면 제1 실시형태 또는 제2 실시형태를 바탕으로 실현할 수도 있다. 제1 실시형태를 바탕으로 한 경우의 장치 개요를 도 16 및 도 17에 나타낸다. 또 제2 실시형태를 바탕으로 한 경우의 장치 개요를 도 18 및 도 19에 나타낸다. 이러한 도면에서는, 제1 실시형태 또는 제2 실시형태에 대해서 움직임 벡터 스케일부(121) 및 스케일 부호화부(122)(화상 부호화 장치측), 및 움직임 벡터 스케일부(221) 및 스케일 복호부(222)(화상 복호 장치측)를 추가하고 있다.
또한, 상술한 설명으로부터 알 수 있듯이, 스케일 정보의 부호화(화상 부호화 장치의 경우) 또는 복호(화상 복호 장치의 경우)는 행하지 않을 수도 있고, 이 경우의 장치 개요를 도 20 내지 도 25에 도시한다. 이들 도 20 내지 도 25는 각각 도 14 내지 도 19에 대응하고 있으며, 도 14 내지 도 19로부터 스케일 부호화부(122)(화상 부호화 장치의 경우) 또는 스케일 복호부(222)(화상 복호 장치의 경우)를 삭제하고 있다.
〔제5 실시형태〕
다음에 제5 실시형태로서, 두 개의 프레임분의 복호 화상을 축적하는 참조 화상 메모리와, 두 개의 프레임분의 움직임 벡터를 축적하는 움직임 벡터 축적 메모리를 구비해 놓고, 참조 화상 지정 정보에서 참조 화상과 동시에 움직임 벡터도 지정하는 방법의 예를 나타낸다. 화상을 복수의 블록으로 분할하여 부호화하는 경우의 순서를 나타낸다.
제5 실시형태의 화상 부호화 장치를 설명하기로 한다. 도 26에 장치 개요를 나타낸다. 화상 정보를 받아들이는 화상 입력부(101)와, 예측 화상을 작성하는 예측 화상 작성부(104)와, 입력 화상 정보와 예측 화상과의 차이분을 부호화하는 차이분 부호화부(103)와, 움직임 탐색을 행하는 움직임 탐색부(102)와, 움직임 벡터를 축적하는 움직임 벡터 축적 메모리(107)와, 움직임 벡터 축적 메모리(107)로부터 하나의 움직임 벡터를 선택하는 움직임 벡터 선택부(109)와, 복호 화상을 축적 하는 참조 화상 메모리(106)와, 참조 화상을 선택하는 참조 화상 선택부(114)와, 참조 화상 지정 정보를 부호화하는 참조 화상 지정 부호화부(115)와, 움직임 벡터 축적 메모리(107)에 축적한 움직임 벡터와 참조 화상을 지정하는 참조 화상 지정 정보와의 대응 관계를 설정하는 참조 움직임 벡터 설정부(116)와, 움직임 탐색부(102)에서 탐색된 움직임 벡터 또는 움직임 벡터 선택부(109)에서 선택한 움직임 벡터 중 어느 하나를 선택하는 탐색 움직임 벡터 선택부(108)와, 탐색 움직임 벡터 선택부(108)에서 선택한 움직임 벡터를 지정하는 탐색 움직임 벡터 지정 정보를 부호화하는 탐색 움직임 벡터 지정 부호화부(111)와, 움직임 탐색부(102)에서 탐색된 움직임 벡터를 부호화하는 탐색 움직임 벡터 부호화부(112)와, 차이분 부호화부(103)에서 작성된 차이분 부호화 데이터를 복호하는 복호 화상을 작성하는 복호부(105)와, 차이분 부호화부(103)에서 작성된 차이분 부호화 데이터의 부호량과 움직임 벡터의 부호량의 합계를 계측하는 부호량 계측부(113)를 구비한다.
움직임 벡터 축적 메모리(107)에는, 미리 두 개의 프레임분의 움직임 벡터가 축적되어 있는 것으로 한다. 여기서 하나의 프레임은 복수의 매크로 블록으로 구성되기 때문에, 두 개의 프레임 중 총매크로 블록수만큼 움직임 벡터를 축적한다. 참조 화상 메모리(106)에는, 미리 두 개의 프레임분의 복호 화상이 축적되어 있는 것으로 한다. 또 참조 화상 지정 부호화부(115)는, 참조 화상 지정 정보에 대해서 1비트 고정 길이 부호화하는 것으로 한다. 또 탐색 움직임 벡터 지정 부호화부(111)에서는, 움직임 탐색부(102)에서 탐색된 움직임 벡터의 경우에 0을, 움직임 벡터 선택부(109)에서 선택한 움직임 벡터의 경우에 1을 출력하는 것으로 한다. 탐색 움 직임 벡터 부호화부(112)에서는, 움직임 벡터의 각 성분을 MPEG-4에서 채용되고 있는 움직임 벡터 부호화 방법을 이용하여 부호화하는 것으로 한다. 또 움직임 벡터 선택부(109)는, 참조 화상 지정 정보에서 지정되는 프레임의 움직임 벡터 중 현재 매크로 블록과 같은 위치의 움직임 벡터를 선택하는 것으로 한다.
참조 움직임 벡터 설정부(116)는, 제1 참조 화상을 지정하는 참조 화상 지정 정보를 제1 움직임 벡터에 대응시켜, 제2 참조 화상을 지정하는 참조 화상 지정 정보를 제2 움직임 벡터에 대응시키는 것으로 한다.
이러한 전제로 입력 화상을 다음과 같이 부호화한다. 먼저, 참조 움직임 벡터 설정부(116)는, 참조 화상 지정 정보와 움직임 벡터를 대응시킨다. 그리고, 화상 입력부(101)는 프레임을 받아들여 매크로 블록으로 분할한다. 다음에 매크로 블록마다 다음과 같이 부호화한다.
참조 화상 선택부(114)는 제1 참조 화상을 참조 화상 메모리(106)로부터 선택한다. 움직임 탐색부(102)는 현재 매크로 블록에 대해서 움직임 탐색을 행한다. 탐색 움직임 벡터 선택부(108)는 움직임 탐색에서 얻어진 움직임 벡터를 선택한다. 예측 화상 작성부(104)는 움직임 벡터를 이용하여 예측 화상을 작성한다. 차이분 부호화부(103)는 현재 화상과 예측 화상의 차이분을 부호화한다. 탐색 움직임 벡터 부호화부(112)는 움직임 벡터를 부호화한다. 부호량 계측부(113)는 발생 부호량을 계측한다.
다음에, 움직임 벡터 선택부(109)는 움직임 벡터 축적 메모리(107)로부터, 참조 화상 지정 정보에서 대응시킨 제1 움직임 벡터를 선택한다. 탐색 움직임 벡터 선택부(108)는 움직임 벡터 선택부(109)에서 선택된 움직임 벡터를 선택한다. 예측 화상 작성부(104)는 움직임 벡터를 이용하여 예측 화상을 작성한다. 차이분 부호화부(103)는 현재 화상과 예측 화상의 차이분을 부호화한다. 부호량 계측부(113)는 발생 부호량을 계측한다.
다음에, 참조 화상 선택부(114)는 제2 참조 화상을 참조 화상 메모리(106)로부터 선택한다. 움직임 탐색부(102)는 현재 매크로 블록에 대해서 움직임 탐색을 행한다. 탐색 움직임 벡터 선택부(108)는 움직임 탐색에서 얻어진 움직임 벡터를 선택한다. 예측 화상 작성부(104)는 움직임 벡터를 이용하여 예측 화상을 작성한다. 차이분 부호화부(103)는 현재 화상과 예측 화상의 차이분을 부호화한다. 탐색 움직임 벡터 부호화부(112)는 움직임 벡터를 부호화한다. 부호량 계측부(113)는 발생 부호량을 계측한다.
다음에, 움직임 벡터 선택부(109)는 움직임 벡터 축적 메모리(107)로부터, 참조 화상 지정 정보에서 대응시킨 제2 움직임 벡터를 선택한다. 탐색 움직임 벡터 선택부(108)는 움직임 벡터 선택부(109)에서 선택된 움직임 벡터를 선택한다. 예측 화상 작성부(104)는 움직임 벡터를 이용하여 예측 화상을 작성한다. 차이분 부호화부(103)는 현재 화상과 예측 화상의 차이분을 부호화한다. 부호량 계측부(113)는 발생 부호량을 계측한다.
참조 화상 선택부(114)는 부호량 계측부(113)에서 얻어진 발생 부호량이 가장 적은 경우의 참조 화상을 선택하고, 탐색 움직임 벡터 선택부(108)는 부호량 계측부(113)에서 얻어진 발생 부호량이 가장 적은 경우의 움직임 벡터를 선택한다. 얻어졌 움직임 벡터와 참조 화상을 이용하고, 예측 화상 작성부(104)는 예측 화상을 작성하고, 차이분 부호화부(103)는 차이분을 부호화한다. 참조 화상 지정 부호화부(115)는 참조 화상 지정 정보를 부호화한다. 탐색 움직임 벡터 지정 부호화부(111)는 탐색 움직임 벡터 지정 정보를 부호화한다. 탐색 움직임 벡터 선택부(108)에서, 움직임 탐색부(102)에서 얻어진 움직임 벡터를 부호화하는 것으로 선택된 경우에는, 탐색 움직임 벡터 부호화부(112)는 움직임 벡터를 부호화한다.
이상의 처리를 모든 매크로 블록에서 실행한다. 복호부(105)는 부호화된 차이분을 복호하고, 예측 화상을 이용하여 복호 화상을 작성하며, 복호 화상을 참조 화상 메모리(106)에 축적한다. 이상에 의해 현재 프레임을 부호화할 수 있다.
다음에 복호 장치를 설명하기로 한다. 도 27에 장치 개요를 나타낸다. 예측 화상을 작성하는 예측 화상 작성부(205)와, 차이분 정보를 복호하고 예측 화상을 이용하여 복호 화상을 작성하는 복호 화상 작성부(201)와, 움직임 벡터를 축적하는 움직임 벡터 축적 메모리(207)와, 복호 화상을 축적하는 참조 화상 메모리(206)와, 참조 화상 지정 정보를 복호하는 참조 화상 지정 복호부(211)와, 움직임 벡터 축적 메모리(207)에 축적한 움직임 벡터와 참조 화상을 지정하는 참조 화상 지정 정보와의 대응 관계를 설정하는 참조 움직임 벡터 설정부(216)와, 참조 화상 지정 정보를 이용하여 참조 화상 메모리(206)에서 참조 화상을 선택하는 참조 화상 선택부(210)와, 참조 화상 지정 정보를 이용하여 움직임 벡터 축적 메모리(207)로부터 하나의 움직임 벡터를 선택하는 움직임 벡터 선택부(209)와, 탐색 움직임 벡터 지정 정보를 복호하는 탐색 움직임 벡터 지정 복호부(203)와, 탐색 움직임 벡터 지정 정보를 이용하여 움직임 벡터를 선택하는 탐색 움직임 벡터 선택부(208)와, 움직임 벡터를 복호하는 탐색 움직임 벡터 복호부(202)를 구비한다.
움직임 벡터 축적 메모리(207)에는 미리 두 개의 프레임분의 움직임 벡터가 축적되어 있는 것으로 한다. 참조 화상 메모리(206)에는 미리 두 개의 프레임분의 복호 화상이 축적되어 있는 것으로 한다.
이러한 전제로 상기 화상 부호화 장치에 부호화된 부호화 데이터를 다음과 같이 복호한다. 먼저 참조 움직임 벡터 설정부(216)는 참조 화상 지정 정보와 움직임 벡터의 대응 부여를 행한다. 다음에 매크로 블록마다 다음과 같이 복호 화상을 작성한다.
참조 화상 지정 복호부(211)는 참조 화상 지정 정보를 복호한다. 참조 화상 선택부(210)는 참조 화상을 선택한다. 탐색 움직임 벡터 지정 복호부(203)는 탐색 움직임 벡터 지정 정보를 복호한다. 탐색 움직임 벡터 선택부(208)는 탐색 움직임 벡터 지정 정보를 이용하여 움직임 벡터를 복호할지의 여부를 선택한다. 움직임 벡터를 복호하는 경우에는, 탐색 움직임 벡터 복호부(202)는 움직임 벡터를 복호한다. 움직임 벡터를 복호하지 않는 경우에는, 움직임 벡터 선택부(209)는 움직임 벡터 축적 메모리(207)로부터, 참조 화상 지정 정보에 대응된 움직임 벡터를 선택한다. 그리고 예측 화상 작성부(205)는 움직임 벡터를 이용하여 예측 화상을 작성하고, 복호 화상 작성부(201)는 차이분 정보를 복호하고 예측 화상을 이용하여 복호 화상을 작성한다.
이상의 처리를 모든 매크로 블록에서 실행한다. 복호 화상 작성부(201)는 복 호 화상을 참조 화상 메모리(206)에 축적한다. 이상에 의해 현재 프레임을 복호할 수 있다.
〔제6 실시형태〕
상기 제5 실시형태에서는, 참조 움직임 벡터 설정부(116, 216)에서 참조 화상 지정 정보와 움직임 벡터의 대응 부여는 미리 설정되어 있었으나, 이 대응 부여 정보를 부호화할 수도 있다. 제5 실시형태를 바탕으로 본 실시형태를 실현한 경우의 장치 개요를 도 28 및 도 29에 나타낸다. 이 경우에는, 도 28에 도시한 바와 같이, 화상 부호화 장치에 참조 움직임 벡터 대응 부호화부(123)를 구비하고, 도 29에 도시한 바와 같이, 화상 복호 장치에 참조 움직임 벡터 대응 복호부(223)를 구비한다. 이러한 대응 부여 정보의 갱신은, 매크로 블록이나 복수의 매크로 블록, 또는 복수의 프레임 단위로 행할 수도 있다.
또한, 움직임 벡터 축적 메모리(107)에는 두 개의 프레임분의 움직임 벡터를 축적했다. 즉, 참조 화상 지정 정보와, 매크로 블록의 화면 내에서의 위치 정보의 조합에 대해서 움직임 벡터를 대응시켰다. 이와 같이 매크로 블록마다 다른 움직임 벡터를 대응시키는 것은 아니며, 예를 들면 슬라이스 단위로 움직임 벡터를 대응시킬 수도 있다. 예를 들면, 화면이 2개의 슬라이스로 분할되는 경우에는, 슬라이스 번호와 참조 화상 지정 정보의 조합에 대해서 움직임 벡터를 대응시킬 수도 있다.
또한, 움직임 벡터와 참조 화상 지정 정보를 대응시키는 것은 하나만 설정했으나, 복수의 대응 부여를 설정할 수도 있다. 이 경우에는, 적용하는 대응 부여를 선택하는 정보를 부호화 또는 복호할 수도 있다. 예를 들면, MPEG-2의 B프레임과 같이, 매크로 블록에 대해서 전방향 예측 모드와 후방향 예측 모드를 정의해 놓고, 전방향 예측 모드인 경우의 대응 부여와 후방향 예측 모드인 경우의 대응 부여를 설정한다. 전방향 예측 모드에서는, 참조 화상 지정 정보(1)에 대해서 제1 움직임 벡터를 대응시키고, 참조 화상 지정 정보(2)에 대해서 제2 움직임 벡터를 대응시킨다. 그리고, 후방향 예측 모드에서는, 참조 화상 지정 정보(1)에 대해서 제2 움직임 벡터를 대응시키고, 참조 화상 지정 정보(2)에 대해서 제1 움직임 벡터를 대응시킨다. 이 경우에는, 매크로 블록마다 전방향 예측 모드인지 후방향 예측 모드인지를 지정하는 부호화 모드 정보를 부호화 또는 복호한다.
〔제7의 실시형태〕
도 26과 도 27에 도시한 실시형태의 구성에서, 본 발명을 시간 스케일러블 부호화에 적용할 수도 있다. 기본 레이어의 복호 화상을 제1 참조 화상 메모리에 축적하고, 확장 레이어의 복호 화상을 제2 참조 화상 메모리에 축적한다. 그리고, 기본 레이어의 프레임은 제1 참조 화상 메모리를 참조 화상으로 하고, 확장 레이어의 프레임은 제2 참조 화상 메모리와 제1 참조 화상 메모리부터 참조 화상을 선택한다.
움직임 벡터 축적 메모리(107)에 축적된 움직임 벡터에 대해서, 상기 제5 실시형태와 마찬가지로, 제1 참조 화상 지정 정보는 제1 움직임 벡터에 대응되고, 제2 참조 화상 지정 정보는 제2 움직임 벡터에 대응된다. 이와 같이 하면, 기본 레이어의 프레임을 부호화 또는 복호하는 경우에는, 제1 참조 화상 메모리만 이용하기 때문에 제1 움직임 벡터를 선택하게 된다. 또 확장 레이어의 프레임을 부호화 또는 복호하는 경우에, 제2 참조 화상 메모리부터 참조 화상을 선택하는 경우에는 제2 움직임 벡터를 선택하게 된다.
또한, 움직임 벡터 축적 메모리(107, 207)에 하나의 프레임분 추가하여, 확장 레이어의 프레임을 부호화 또는 복호하는 경우에, 제1 참조 화상 메모리로부터 참조 화상을 선택하는 경우에, 이 움직임 벡터를 선택하도록 할 수도 있다. 이와 같이 시간 스케일러블 부호화에 적용하면, 레이어마다 별도의 움직임 벡터를 선택할 수 있다. 기본 레이어에서는 프레임 시간 간격이 크고, 확장 레이어에서는 프레임 시간 간격이 작은 경향이 있으므로, 이와 같이 별도의 움직임 벡터를 선택할 수 있다면 효과적이다.
〔제8의 실시형태〕
또한, 도 26과 도 27에 나타낸 실시형태의 구성에서, 본 발명을 다시점(多視点) 부호화나 스테레오 부호화에 적용할 수도 있다. MPEG-2 멀티뷰 프로파일에 채용되고 있는 스테레오 부호화에서는, 한 시점(시점(A))의 영상을 기본 레이어로 하고, 다른 시점(시점(B))의 영상을 확장 레이어로 하여, 상기한 시간 스케일러블 부호화와 동일한 방법을 적용한다. 즉, 시점(A)의 복호 화상을 제1 참조 화상 메모리에 축적하고, 시점(B)의 복호 화상을 제2 참조 화상 메모리에 축적한다. 그리고, 시점(A)의 프레임은 제1 참조 화상 메모리를 참조 화상으로 하고, 시점(B)의 프레임은 제2 참조 화상 메모리와 제1 참조 화상 메모리로부터 참조 화상을 선택한다.
움직임 벡터 축적 메모리(107)에 축적된 움직임 벡터에 대해서, 제5 실시형태와 마찬가지로, 제1 참조 화상 지정 정보는 제1 움직임 벡터에 대응되고, 제2 참 조 화상 지정 정보는 제2 움직임 벡터에 대응된다. 이렇게 하면, 시점(A)의 프레임을 부호화 또는 복호하는 경우에는 제1 참조 화상 메모리만 이용하기 때문에, 제1 움직임 벡터를 선택하게 된다. 또 시점(B)의 프레임을 부호화 또는 복호하는 경우에, 제2 참조 화상 메모리로부터 참조 화상을 선택하는 경우에는 제2 움직임 벡터를 선택하게 된다.
또한, 움직임 벡터 축적 메모리(107)에 하나의 프레임만큼 추가하고, 시점(B)의 프레임을 부호화 또는 복호하는 경우에서, 제1 참조 화상 메모리로부터 참조 화상을 선택하는 경우에 이 움직임 벡터를 선택하도록 할 수도 있다. 이와 같이 시점마다 별도의 움직임 벡터를 선택할 수 있다. 시점마다 움직임 정보가 다른 경우에 효과적이다. 또 시점간의 움직임 정보(시차 정보)도 움직임 벡터 축적 메모리(107)에 축적할 수 있으므로, 시간에 따라서 시차(視差)가 변하지 않는 경우에 움직임 벡터(시차 벡터)의 부호량을 삭감시킬 수 있다.
또한, 상술한 실시형태와 마찬가지로, 움직임 탐색부(102)에서 탐색된 움직임 벡터를 축적하거나, 또 축적할 때 스케일함으로써 움직임 벡터 축적 메모리(107)의 메모리량을 경감시키는 것도 바람직하다. 또 움직임 탐색부(102)에서 얻어지는 움직임 벡터와, 움직임 벡터 축적 메모리(107)에 축적된 움직임 벡터와의 차이분을 부호화하도록 할 수도 있다.
〔제9 실시형태〕
제9 실시형태로서, 하나의 프레임분의 복호 화상을 축적하는 참조 화상 메모리와, 세 개의 프레임분의 움직임 벡터를 축적하는 움직임 벡터 축적 메모리를 구 비해 놓고, 영역의 화면 내의 위치 정보에 따라서 움직임 벡터를 선택하는 방법의 예를 나타낸다. 본 실시형태는 카메라로 촬영한 화상을 부호화하는 예이며, 움직임 벡터 축적 메모리에는 GPS(Global Positioning System) 등을 이용하여 얻어지는 카메라의 위치 정보 변화로부터 움직임량을 측정하여 얻어지는 움직임 벡터를 축적하는 예를 나타낸다. GPS 등을 이용하여 얻어지는 카메라의 움직임 정보는, 화면 전체의 글로벌인 움직임량에 대응된다. 본 실시형태에서는 매크로 블록마다 부호화하는 것으로 한다.
먼저, 화상 부호화 장치를 설명하기로 한다. 도 30에 장치 개요를 나타낸다. 화상 부호화 장치는, 화상 정보를 받아들이는 화상 입력부(101)와, 예측 화상을 작성하는 예측 화상 작성부(104)와, 입력 화상 정보와 예측 화상과의 차이분을 부호화하는 차이분 부호화부(103)와, 움직임 벡터를 축적하는 움직임 벡터 축적 메모리(107)와, 움직임 벡터 축적 메모리(107)로부터 하나의 움직임 벡터를 선택하는 움직임 벡터 선택부(109)와, 차이분 부호화부(103)에서 작성된 차이분 부호화 데이터를 복호하는 복호 화상을 작성하는 복호부(105)와, 복호 화상을 축적하는 참조 화상 메모리(106)와, 움직임 벡터를 생성하는 움직임 벡터 생성부(124)와, 생성한 움직임 벡터를 부호화하는 생성 움직임 벡터 부호화부(125)를 구비한다.
움직임 벡터 생성부(124)에서는, 카메라의 위치 정보 변화로부터 화면 상부 영역과 화면 중앙부 영역과 화면 하부 영역에 대응된 움직임량을 추정하고, 3개의 움직임 벡터를 생성하며, 움직임 벡터 축적 메모리(107)에 축적하는 것으로 한다. 여기서, 화면 상부의 영역에 대한 움직임 벡터는 제1 움직임 벡터로서 움직임 벡터 메모리(107)에 축적하고, 화면 중앙부의 영역에 대한 움직임 벡터는 제2 움직임 벡터로서 움직임 벡터 메모리(107)에 축적하고, 화면 하부의 영역에 대한 움직임 벡터는 제3 움직임 벡터로서 움직임 벡터 메모리(107)에 축적하는 것으로 한다. 움직임 벡터 선택부(109)는 부호화 대상 매크로 블록의 화면 내 위치에 따라서 움직임 벡터 축적 메모리(107)로부터 움직임 벡터를 선택한다. 화면 상부이면 제1 움직임 벡터를 선택하고, 화면 중부이면 제2 움직임 벡터를 선택하고, 화면 하부이면 제3 움직임 벡터를 선택한다.
이러한 전제로 입력 화상을 다음과 같이 부호화한다.
먼저 움직임 벡터 생성부(124)는 3개의 움직임 벡터를 생성하여 움직임 벡터 축적 메모리(107)에 축적한다. 생성 움직임 벡터 부호화부(125)는 움직임 벡터 생성부(124)가 생성한 3개의 움직임 벡터를 부호화한다. 화상 입력부(101)는 프레임을 받아들여 매크로 블록으로 분할한다. 다음에 매크로 블록마다 다음과 같이 부호화한다.
움직임 벡터 선택부(109)는 각 매크로 블록의 화면 내 위치에 따라서 움직임 벡터 축적 메모리(107)로부터 움직임 벡터를 선택한다. 예측 화상 작성부(104)는 움직임 벡터를 이용하여 예측 화상을 작성한다. 차이분 부호화부(103)는 현재 화상과 예측 화상의 차이분을 부호화한다. 이상의 처리를 모든 매크로 블록에서 실행한다. 복호부(105)는 부호화된 차이분을 복호하고, 예측 화상을 이용하여 복호 화상을 작성하고, 복호 화상을 참조 화상 메모리(106)에 축적한다.
이상에 의해, 현재 프레임을 부호화할 수 있다.
다음에 복호 장치를 설명하기로 한다. 도 31에 장치 개요를 나타낸다. 화상 복호 장치는 예측 화상을 작성하는 예측 화상 작성부(205)와, 차이분 정보를 복호하는 예측 화상을 이용하여 복호 화상을 작성하는 복호 화상 작성부(201)와, 움직임 벡터를 축적하는 움직임 벡터 축적 메모리(207)와, 복호 화상을 축적하는 참조 화상 메모리(206)와, 움직임 벡터 축적 메모리(207)로부터 하나의 움직임 벡터를 선택하는 움직임 벡터 선택부(209)와, 생성 움직임 벡터를 복호하는 생성 움직임 벡터 복호부(224)를 구비한다.
생성 움직임 벡터 복호부(224)는 3개의 움직임 벡터를 복호하고, 얻어진 움직임 벡터를 움직임 벡터 축적 메모리(207)에 축적한다.
이러한 전제로 상기 화상 부호화 장치에서 부호화된 부호화 데이터를 다음과 같이 복호한다. 먼저 생성 움직임 벡터 복호부(224)는 움직임 벡터를 복호하는 움직임 벡터 축적 메모리(207)에 축적한다.
다음에 매크로 블록마다 다음과 같이 복호 화상을 작성한다. 움직임 벡터 선택부(209)는 움직임 벡터 축적 메모리(207)로부터, 매크로 블록의 화면 내 위치 정보에 따라서 움직임 벡터를 선택한다. 그리고 예측 화상 작성부(205)는, 선택된 움직임 벡터를 이용하여 예측 화상을 작성하고, 복호 화상 작성부(201)는 차이분 정보를 복호하는 예측 화상을 이용하여 복호 화상을 작성한다.
이상의 처리를 모든 매크로 블록에서 실행한다. 복호 화상 작성부(201)는 복호 화상을 참조 화상 메모리(206)에 축적한다.
이상에 의해 현재 프레임을 복호할 수 있다.
본 실시형태에서는 매크로 블록의 위치 정보에 따라서 일의적으로 움직임 벡터를 선택했으나, 복수의 움직임 벡터로부터 부호량이 최소가 되도록 움직임 벡터를 선택하도록 할 수도 있다. 이 경우의 화상 부호화 장치의 구성을 도 32에 나타낸다. 도 30의 구성에 부가하여 부호량을 계측하는 부호량 계측부(113)와, 움직임 벡터를 지정하는 정보를 부호화하는 움직임 벡터 지정 부호화부(110)를 구비한다. 이 구성에서는, 매크로 블록마다 움직임 벡터 축적 메모리(107)에 축적되어 있는 3개의 움직임 벡터에 대한 부호량을 측정하고, 부호량이 가장 적은 경우의 움직임 벡터를 지정하는 정보를 움직임 벡터 지정 부호화부(110)에 부호화한다. 또 화상 복호 장치의 구성을 도 33에 나타낸다. 도 31의 구성에 부가하여, 움직임 벡터를 지정하는 정보를 복호하는 움직임 벡터 지정 복호부(204)를 구비한다. 움직임 벡터 지정 복호부(204)에서 움직임 벡터를 지정하는 정보를 복호하여 얻음으로써, 매크로 블록마다 움직임 벡터를 선택할 수 있다.
〔제10의 실시형태〕
다음에 제10 실시형태로서, 두 개의 프레임분의 복호 화상을 축적하는 참조 화상 메모리와, 두 개의 프레임분의 움직임 벡터를 축적하는 움직임 벡터 축적 메모리를 구비해 놓고, 참조 화상 지정 정보에서 참조 화상과 동시에 움직임 벡터도 지정하는 방법의 예를 나타낸다. 본 실시형태는 카메라로 촬영한 화상을 부호화하는 예이고, 움직임 벡터 축적 메모리에는 GPS 등을 이용하여 얻어지는 카메라의 위치 정보 변화로부터, 참조 화상 메모리에 축적한 각 프레임과 현재 프레임과의 움직임량을 측정하여 얻어지는 움직임 벡터를 축적하는 예를 나타낸다. GPS 등을 이 용하여 얻어지는 카메라의 움직임 정보는 화면 전체의 글로벌인 움직임량에 대응ㄷ된다. 본 실시형태에서는 매크로 블록마다 부호화하는 것으로 한다.
먼저, 화상 부호화 장치를 설명하기로 한다. 도 34에 장치 개요를 나타낸다. 화상 부호화 장치는, 화상 정보를 받아들이는 화상 입력부(101)와, 예측 화상을 작성하는 예측 화상 작성부(104)와, 입력 화상 정보와 예측 화상과의 차이분을 부호화하는 차이분 부호화부(103)와, 움직임 벡터를 축적하는 움직임 벡터 축적 메모리(107)와, 움직임 벡터 축적 메모리(107)로부터 하나의 움직임 벡터를 선택하는 움직임 벡터 선택부(109)와, 복호 화상을 축적하는 참조 화상 메모리(106)와, 참조 화상을 선택하는 참조 화상 선택부(114)와, 참조 화상 지정 정보를 부호화하는 참조 화상 지정 부호화부(115)와, 움직임 벡터 축적 메모리(107)에 축적한 움직임 벡터와 참조 화상을 지정하는 참조 화상 지정 정보와의 대응 관계를 설정하는 참조 움직임 벡터 설정부(116)와, 차이분 부호화부(103)에서 작성된 차이분 부호화 데이터를 복호하는 복호 화상을 작성하는 복호부(105)와, 움직임 벡터를 생성하는 움직임 벡터 생성부(124)와, 생성한 움직임 벡터를 부호화하는 생성 움직임 벡터 부호화부(125)와, 부호량을 계측하는 부호량 계측부(113)를 구비한다.
움직임 벡터 생성부(124)에서는, 카메라의 위치 정보 변화로부터, 참조 화상 메모리(106)에 축적한 각 프레임과 현재 프레임과의 사이의 움직임 벡터를 생성하고, 움직임 벡터 축적 메모리(107)에 축적하는 것으로 한다. 참조 움직임 벡터 설정부(116)에서는, 제1 참조 화상에는 제1 움직임 벡터를 대응시키고, 제2 참조 화상에는 제2 움직임 벡터를 대응시키는 것으로 한다. 하나의 프레임 부호화 후에, 제1 참조 화상의 화상은 제2 참조 화상으로서 참조 화상 메모리(106)에 축적되고, 복호 화상은 제1 참조 화상으로서 참조 화상 메모리(106)에 축적되는 것으로 한다.
이러한 전제로 입력 화상을 다음과 같이 부호화한다.
먼저 참조 움직임 벡터 설정부(116)는, 참조 화상 지정 정보와 움직임 벡터의 대응 부여를 행한다. 화상 입력부(101)는 입력 화상을 매크로 블록으로 분할한다. 움직임 벡터 생성부(124)는 입력 화상에 대해서 2개의 움직임 벡터를 생성하여 움직임 벡터 축적 메모리(107)에 축적한다. 생성 움직임 벡터 부호화부(125)는 움직임 벡터 생성부(124)가 생성한 2개의 움직임 벡터를 부호화한다. 다음에 매크로 블록마다 다음과 같이 부호화한다.
참조 화상 선택부(114)는 제1 참조 화상을 선택한다. 움직임 벡터 선택부(109)는 참조 움직임 벡터 설정부(116)에서 대응된 참조 화상 지정 정보에 따라서, 움직임 벡터 축적 메모리(107)로부터 움직임 벡터를 선택한다. 예측 화상 작성부(104)는 움직임 벡터를 이용하여 예측 화상을 작성한다. 차이분 부호화부(103)는 현재 화상과 예측 화상의 차이분을 부호화한다. 부호량 계측부(113)는 부호량을 계측한다.
다음에, 참조 화상 선택부(114)는 제2 참조 화상을 선택한다. 움직임 벡터 선택부(109)는 참조 움직임 벡터 설정부(116)에서 대응된 참조 화상 지정 정보에 따라서, 움직임 벡터 축적 메모리(107)로부터 움직임 벡터를 선택한다. 예측 화상 작성부(104)는 선택된 움직임 벡터를 이용하여 예측 화상을 작성한다. 차이분 부호화부(103)는 현재 화상과 예측 화상의 차이분을 부호화한다. 부호량 계측부(113)는 부호량을 계측한다.
그리고 참조 화상 선택부(114)는 부호량 계측부(113)에서 얻어지는 부호량이 적은 쪽을 현재 프레임의 부호화에 이용하는 참조 화상으로 하여 선택한다. 움직임 벡터 선택부(109)는 참조 움직임 벡터 설정부(116)에서 대응된 참조 화상 지정 정보에 따라서, 현재 프레임의 부호화에 이용하는 참조 화상에 대응된 움직임 벡터를 움직임 벡터 축적 메모리(107)로부터 선택한다. 예측 화상 작성부(104)는 움직임 벡터를 이용하여 예측 화상을 작성한다. 차이분 부호화부(103)는 현재 화상과 예측 화상의 차이분을 부호화한다.
이상의 처리를 모든 매크로 블록에서 실행한다. 복호부(105)는 부호화된 차이분을 복호하고, 예측 화상을 이용하여 복호 화상을 작성하며, 복호 화상을 제1 참조 화상으로 하여 참조 화상 메모리(106)에 축적한다.
이상에 의해 현재 프레임을 부호화 할 수 있다.
다음에 복호 장치를 설명하기로 한다. 도 35에 장치 개요를 나타낸다. 화상 복호 장치는 예측 화상을 작성하는 예측 화상 작성부(205)와, 차이분 정보를 복호하고 예측 화상을 이용하여 복호 화상을 작성하는 복호 화상 작성부(201)와, 움직임 벡터를 축적하는 움직임 벡터 축적 메모리(207)와, 복호 화상을 축적하는 참조 화상 메모리(206)와, 참조 화상 지정 정보를 복호하는 참조 화상 지정 복호부(211)와, 움직임 벡터 축적 메모리(207)에 축적한 움직임 벡터와 참조 화상을 지정하는 참조 화상 지정 정보와의 대응 관계를 설정하는 참조 움직임 벡터 설정부(216)와, 참조 화상 지정 정보를 이용하여 참조 화상 메모리(206)에서 참조 화상을 선택하는 참조 화상 선택부(210)와, 참조 화상 지정 정보를 이용하여 움직임 벡터 축적 메모리(207)로부터 하나의 움직임 벡터를 선택하는 움직임 벡터 선택부(209)와, 생성 움직임 벡터를 복호하는 생성 움직임 벡터 복호부(224)를 구비한다.
참조 화상 메모리(206)에는 미리 두 개의 프레임분의 복호 화상이 축적되어 있는 것으로 한다.
이러한 전제로 상기 화상 부호화 장치에서 부호화된 부호화 데이터를 다음과 같이 복호한다. 먼저 참조 움직임 벡터 설정부(216)는 참조 화상 지정 정보와 움직임 벡터의 대응 부여를 행한다. 생성 움직임 벡터 복호부(224)는 움직임 벡터를 복호하는 움직임 벡터 축적 메모리(207)에 축적한다.
다음에, 매크로 블록마다 다음과 같이 복호 화상을 작성한다. 참조 화상 지정 복호부(211)는 참조 화상 지정 정보를 복호한다. 참조 화상 선택부(210)는 복호된 참조 화상 지정 정보에 따라서 참조 화상을 선택한다. 움직임 벡터 선택부(209)는 움직임 벡터 축적 메모리(207)로부터, 참조 화상 지정 정보에서 대응된 움직임 벡터를 선택한다. 그리고 예측 화상 작성부(205)는 선택된 움직임 벡터를 이용하여 예측 화상을 작성하고, 복호 화상 작성부(201)는 차이분 정보를 복호하는 예측 화상을 이용하여 복호 화상을 작성한다.
이상의 처리를 모든 매크로 블록에서 실행한다. 복호 화상 작성부(201)는 복호 화상을 제1 참조 화상으로 하여 참조 화상 메모리(206)에 축적한다.
이상에 의해 현재 프레임을 복호할 수 있다.
이상의 실시형태에서는 차이분 데이터를 불가역 부호화했으나, 가역 부호화 할 수도 있다. 이 경우에는, 화상 부호화 장치를 복호부(105)를 구비하지 않고, 참조 화상 메모리(106)에 복호 화상을 축적하는 것은 아니라, 원화상을 축적할 수도 있다.
이상 설명한 화상 부호화 및 복호의 처리는 컴퓨터와 소프트웨어 프로그램에 의해서도 실현할 수 있으며, 그 프로그램을 컴퓨터로 읽을 수 있는 기록 매체에 기록하여 제공할 수도 있고, 네트워크를 통해서 제공할 수도 있다.
또한, 이상의 실시형태에서는 화상 부호화 장치 및 화상 복호 장치를 중심으로 설명했으나, 이들 화상 부호화 장치 및 화상 복호 장치의 각부의 동작에 대응된 단계에 의해 본 발명의 화상 부호화 방법 및 화상 복호 방법을 실현할 수 있다.
이상, 도면을 참조하여 본 발명의 실시형태를 설명해왔으나, 상기 실시형태는 본 발명의 예시에 지나지 않으며, 본 발명이 상기 실시형태에 한정되는 것이 아님은 명백하다. 따라서, 본 발명의 정신 및 범위를 일탈하지 않는 범위에서 구성 요소의 추가, 생략, 치환, 기타 변경을 할 수도 있다. 예를 들면, 상술한 실시형태의 구성 요소끼리 적당히 조합할 수도 있다.
본 발명은 프레임간 예측 부호화 방식을 이용한 복수의 프레임의 화상 부호화에 이용할 수 있다. 본 발명에서는 미리 축적해놓은 복수의 움직임 벡터로부터 이용할 움직임 벡터를 선택하여 예측 화상을 작성하므로, 움직임 벡터 후보로부터 움직임 벡터를 선택할 수 있어 부호화 효율을 향상시킬 수 있다. 또 연속되는 프레임간에 움직임의 연속성이 없는 경우라도, 복수의 움직임 벡터 후보로부터 움직임 벡터를 선택하므로, 효율적인 움직임 벡터를 선택할 수 있다.

Claims (22)

  1. 과거에 부호화한 프레임의 화상 정보로부터 예측 화상을 작성하여 영역마다 화상 정보를 부호화하는 화상 부호화 방법으로서,
    부호화 대상의 프레임이 속하는 레이어 정보를 이용하여, 미리 축적한 복수의 움직임 벡터로부터 움직임 벡터를 선택하는 움직임 벡터 선택 단계와,
    상기 움직임 벡터 선택 단계에서 선택한 움직임 벡터를 이용하여 참조 화상으로부터 예측 화상을 작성하는 예측 화상 작성 단계와,
    현재 영역의 화상 정보와 예측 화상과의 차이분을 부호화하는 차이분 부호화 단계를 실행하는 것을 특징으로 하는 화상 부호화 방법.
  2. 제1항에 있어서,
    상기 움직임 벡터 선택 단계는 화면 내의 영역의 위치 정보에 따라서 상기 복수의 움직임 벡터로부터 움직임 벡터를 선택하는 것을 특징으로 하는 화상 부호화 방법.
  3. 제1항에 있어서,
    상기 움직임 벡터 선택 단계에서 선택하는 움직임 벡터를 지정하는 정보를 부호화하는 움직임 벡터 지정 부호화 단계를 실행하는 것을 특징으로 하는 화상 부호화 방법.
  4. 과거에 부호화한 복수의 프레임의 화상 정보로부터 참조 화상을 선택하고, 예측 화상을 작성하여 영역마다 화상 정보를 부호화하는 화상 부호화 방법으로서,
    미리 축적한 복수의 움직임 벡터와 참조 화상을 지정하는 참조 화상 지정 정보와의 대응 관계를 설정하는 참조 움직임 벡터 설정 단계와,
    참조 화상을 선택하는 참조 화상 선택 단계와,
    참조 화상을 지정하는 참조 화상 지정 정보를 부호화하는 참조 화상 지정 부호화 단계와,
    부호화 대상의 프레임이 속하는 레이어 정보를 이용하여, 미리 축적한 복수의 움직임 벡터로부터 참조 화상 지정 정보에 대응된 움직임 벡터를 선택하는 움직임 벡터 선택 단계와,
    상기 움직임 벡터 선택 단계에서 선택한 움직임 벡터를 이용하여 참조 화상으로부터 예측 화상을 작성하는 예측 화상 작성 단계와,
    현재 영역의 화상 정보와 예측 화상과의 차이분을 부호화하는 차이분 부호화 단계를 실행하는 것을 특징으로 하는 화상 부호화 방법.
  5. 제1항, 제3항 및 제4항 중 어느 한 항에 있어서,
    현재 영역의 화상 정보와 참조 화상을 이용하여 움직임 벡터를 탐색하는 움직임 탐색 단계와,
    상기 움직임 벡터 선택 단계에서 선택한 움직임 벡터와 상기 움직임 탐색 단계에서 얻어지는 움직임 벡터 중 어느 하나를 선택하는 탐색 움직임 벡터 선택 단계와,
    상기 탐색 움직임 벡터 선택 단계에서, 상기 움직임 탐색 단계에서 얻어지는 움직임 벡터를 선택한 경우에, 상기 선택된 움직임 벡터를 부호화하는 탐색 움직임 벡터 부호화 단계와,
    상기 탐색 움직임 벡터 선택 단계에서 선택한 움직임 벡터를 지정하는 정보를 부호화하는 탐색 움직임 벡터 지정 부호화 단계를 실행하는 것을 특징으로 하는 화상 부호화 방법.
  6. 제1항, 제3항 및 제4항 중 어느 한 항에 있어서,
    현재 영역의 화상 정보와 참조 화상을 이용하여 움직임 벡터를 탐색하는 움직임 탐색 단계와,
    상기 움직임 벡터 선택 단계에서 선택한 움직임 벡터와 상기 움직임 탐색 단계에서 얻어지는 움직임 벡터의 차이분을 부호화하는 차이분 움직임 벡터 부호화 단계를 실행하는 것을 특징으로 하는 화상 부호화 방법.
  7. 제6항에 있어서,
    움직임 벡터를 축적하는 움직임 벡터 축적 단계와,
    움직임 벡터를 축적할지의 여부를 결정하는 움직임 벡터 축적 결정 단계와,
    움직임 벡터를 축적할지의 여부를 지정하는 정보를 부호화하는 움직임 벡터 축적 지정 부호화 단계를 실행하는 것을 특징으로 하는 화상 부호화 방법.
  8. 제6항에 있어서,
    움직임 벡터를 축적하는 움직임 벡터 축적 단계와,
    움직임 벡터 스케일 정보를 이용하여 움직임 벡터의 값을 변경하는 움직임 벡터 스케일 단계를 실행하는 것을 특징으로 하는 화상 부호화 방법.
  9. 제8항에 있어서,
    움직임 벡터 스케일 정보를 부호화하는 스케일 부호화 단계를 실행하는 것을 특징으로 하는 화상 부호화 방법.
  10. 과거에 복호한 프레임의 화상 정보로부터 예측 화상을 작성하여 영역마다 화상 정보를 복호하는 화상 복호 방법으로서,
    복호 대상의 프레임이 속하는 레이어 정보를 이용하여, 미리 축적한 복수의 움직임 벡터로부터 움직임 벡터를 선택하는 움직임 벡터 선택 단계와,
    상기 움직임 벡터 선택 단계에서 선택한 움직임 벡터를 이용하여 참조 화상으로부터 예측 화상을 작성하는 예측 화상 작성 단계와,
    현재 영역의 화상 정보와 예측 화상과의 차이분을 복호하여 복호 화상을 작성하는 복호 화상 작성 단계를 실행하는 것을 특징으로 하는 화상 복호 방법.
  11. 제10항에 있어서,
    상기 움직임 벡터 선택 단계는, 화면 내의 영역의 위치 정보에 따라서 상기 복수의 움직임 벡터로부터 움직임 벡터를 선택하는 것을 특징으로 하는 화상 복호 방법.
  12. 제10항에 있어서,
    상기 움직임 벡터 선택 단계에서 선택하는 움직임 벡터를 지정하는 정보를 복호하는 움직임 벡터 지정 복호 단계를 실행하는 것을 특징으로 하는 화상 복호 방법.
  13. 과거에 복호한 복수의 프레임의 화상 정보로부터 참조 화상을 선택하고, 예측 화상을 작성하여 영역마다 화상 정보를 복호하는 화상 복호 방법으로서,
    미리 축적한 복수의 움직임 벡터와 참조 화상을 지정하는 참조 화상 지정 정보와의 대응 관계를 설정하는 참조 움직임 벡터 설정 단계와,
    참조 화상을 지정하는 참조 화상 지정 정보를 복호하는 참조 화상 지정 복호 단계와,
    참조 화상을 선택하는 참조 화상 선택 단계와,
    복호 대상의 프레임이 속하는 레이어 정보를 이용하여, 미리 축적한 복수의 움직임 벡터로부터 참조 화상 지정 정보에 대응된 움직임 벡터를 선택하는 움직임 벡터 선택 단계와,
    상기 움직임 벡터 선택 단계에서 선택한 움직임 벡터를 이용하여 참조 화상에서 예측 화상을 작성하는 예측 화상 작성 단계와,
    현재 영역의 화상 정보와 예측 화상과의 차이분을 복호하여 복호 화상을 작성하는 복호 화상 작성 단계를 실행하는 것을 특징으로 하는 화상 복호 방법.
  14. 제10항, 제12항 및 제13항 중 어느 한 항에 있어서,
    움직임 벡터가 부호화되어 있는지의 여부를 지정하는 정보를 복호하는 탐색 움직임 벡터 지정 복호 단계와,
    움직임 벡터가 부호화되어 있는 경우에 움직임 벡터를 복호하는 탐색 움직임 벡터 복호 단계를 실행하는 것을 특징으로 하는 화상 복호 방법.
  15. 제10항, 제12항 및 제13항 중 어느 한 항에 있어서,
    2개의 움직임 벡터의 차이분인 차이분 움직임 벡터를 복호하는 차이분 움직임 벡터 복호 단계와,
    상기 차이분 움직임 벡터 복호 단계에서 복호된 상기 차이분 움직임 벡터와 상기 움직임 벡터 선택 단계에서 선택한 움직임 벡터로부터 상기 예측 화상 작성 단계에서 사용되는 상기 움직임 벡터를 산출하는 움직임 벡터 산출 단계를 실행하는 것을 특징으로 하는 화상 복호 방법.
  16. 제15항에 있어서,
    움직임 벡터를 축적하는 움직임 벡터 축적 단계와,
    움직임 벡터를 축적할지의 여부를 지정하는 정보를 복호하는 움직임 벡터 축적 지정 복호 단계를 실행하는 것을 특징으로 하는 화상 복호 방법.
  17. 제15항에 있어서,
    움직임 벡터를 축적하는 움직임 벡터 축적 단계와,
    움직임 벡터 스케일 정보를 이용하여 움직임 벡터의 값을 변경하는 움직임 벡터 스케일 단계를 실행하는 것을 특징으로 하는 화상 복호 방법.
  18. 제17항에 있어서,
    움직임 벡터 스케일 정보를 복호하는 스케일 복호 단계를 실행하는 것을 특징으로 하는 화상 복호 방법.
  19. 과거에 부호화한 프레임의 화상 정보로부터 예측 화상을 작성하고, 영역마다 화상 정보를 부호화하는 화상 부호화 장치로서,
    부호화 대상의 프레임이 속하는 레이어 정보를 이용하여, 미리 축적한 복수의 움직임 벡터로부터 움직임 벡터를 선택하는 움직임 벡터 선택부와,
    상기 움직임 벡터 선택부에서 선택한 움직임 벡터를 이용하여 참조 화상으로부터 예측 화상을 작성하는 예측 화상 작성부와,
    현재 영역의 화상 정보와 예측 화상과의 차이분을 부호화하는 차이분 부호화부를 구비하는 것을 특징으로 하는 화상 부호화 장치.
  20. 과거에 복호한 프레임의 화상 정보로부터 예측 화상을 작성하여 영역마다 화상 정보를 복호하는 화상 복호 장치로서,
    복호 대상의 프레임이 속하는 레이어 정보를 이용하여, 미리 축적한 복수의 움직임 벡터로부터 움직임 벡터를 선택하는 움직임 벡터 선택부와,
    상기 움직임 벡터 선택부에서 선택한 움직임 벡터를 이용하여 참조 화상으로부터 예측 화상을 작성하는 예측 화상 작성부와,
    현재 영역의 화상 정보와 예측 화상과의 차이분을 복호하고 복호 화상을 작성하는 복호 화상 작성부를 구비하는 것을 특징으로 하는 화상 복호 장치.
  21. 삭제
  22. 삭제
KR20067016476A 2004-08-16 2005-08-16 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치 및 화상 복호 장치 KR100941495B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2004-00236520 2004-08-16
JP2004236520 2004-08-16

Publications (2)

Publication Number Publication Date
KR20060123561A KR20060123561A (ko) 2006-12-01
KR100941495B1 true KR100941495B1 (ko) 2010-02-10

Family

ID=35907480

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20067016476A KR100941495B1 (ko) 2004-08-16 2005-08-16 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치 및 화상 복호 장치

Country Status (7)

Country Link
US (2) US9402087B2 (ko)
EP (1) EP1781042B1 (ko)
JP (1) JP5052134B2 (ko)
KR (1) KR100941495B1 (ko)
CN (1) CN1922888B (ko)
TW (1) TWI268715B (ko)
WO (1) WO2006019093A1 (ko)

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI268715B (en) * 2004-08-16 2006-12-11 Nippon Telegraph & Telephone Picture encoding method, picture decoding method, picture encoding apparatus, and picture decoding apparatus
KR100714689B1 (ko) * 2005-01-21 2007-05-04 삼성전자주식회사 다 계층 구조 기반의 스케일러블 비디오 코딩 및 디코딩방법, 이를 위한 장치
EP1946563A2 (en) * 2005-10-19 2008-07-23 Thomson Licensing Multi-view video coding using scalable video coding
KR101245251B1 (ko) * 2006-03-09 2013-03-19 삼성전자주식회사 균일한 화질을 제공하는 다시점 영상 부호화 및 복호화방법 및 장치
US8270492B2 (en) * 2006-05-12 2012-09-18 Panasonic Corporation Moving picture decoding device
JP4999860B2 (ja) * 2006-10-30 2012-08-15 日本電信電話株式会社 動画像符号化方法及び復号方法、それらの装置、及びそれらのプログラム並びにプログラムを記録した記憶媒体
EP1944978A1 (en) * 2007-01-12 2008-07-16 Koninklijke Philips Electronics N.V. Method and system for encoding a video signal. encoded video signal, method and system for decoding a video signal
TW200910975A (en) * 2007-06-25 2009-03-01 Nippon Telegraph & Telephone Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
KR101946376B1 (ko) 2007-10-16 2019-02-11 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
US20090279614A1 (en) * 2008-05-10 2009-11-12 Samsung Electronics Co., Ltd. Apparatus and method for managing reference frame buffer in layered video coding
US20100008419A1 (en) * 2008-07-10 2010-01-14 Apple Inc. Hierarchical Bi-Directional P Frames
KR101377527B1 (ko) 2008-10-14 2014-03-25 에스케이 텔레콤주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
GB2469679B (en) * 2009-04-23 2012-05-02 Imagination Tech Ltd Object tracking using momentum and acceleration vectors in a motion estimation system
WO2011017469A1 (en) * 2009-08-06 2011-02-10 Telegent Systems, Inc. Circuitry and techniques to asynchronously process, output and/or display digital video data of a broadcast
KR101459714B1 (ko) * 2009-10-28 2014-11-13 에스케이텔레콤 주식회사 공간 분할을 이용한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
CN103609119A (zh) * 2010-02-23 2014-02-26 日本电信电话株式会社 运动向量推断方法、多视点视频编码方法、多视点视频解码方法、运动向量推断装置、多视点视频编码装置、多视点视频解码装置、运动向量推断程序、多视点视频编码程序及多视点视频解码程序
JP2011259204A (ja) * 2010-06-09 2011-12-22 Sony Corp 画像復号化装置と画像符号装置およびその方法とプログラム
EP3637777A1 (en) * 2010-10-06 2020-04-15 NTT DoCoMo, Inc. Bi-predictive image decoding device and method
JP5281632B2 (ja) * 2010-12-06 2013-09-04 日本電信電話株式会社 多視点画像符号化方法，多視点画像復号方法，多視点画像符号化装置，多視点画像復号装置およびそれらのプログラム
JP5092011B2 (ja) 2010-12-17 2012-12-05 株式会社東芝 動画像復号装置及び動画像復号方法
KR101820997B1 (ko) 2011-01-12 2018-01-22 선 페이턴트 트러스트 동화상 부호화 방법 및 동화상 복호화 방법
JP6108309B2 (ja) 2011-02-22 2017-04-05 サン パテント トラスト 動画像符号化方法、動画像符号化装置、動画像復号方法、および、動画像復号装置
JP5358746B2 (ja) 2011-03-03 2013-12-04 パナソニック株式会社 動画像符号化方法、動画像符号化装置及びプログラム
WO2012140821A1 (ja) 2011-04-12 2012-10-18 パナソニック株式会社 動画像符号化方法、動画像符号化装置、動画像復号化方法、動画像復号化装置、および動画像符号化復号化装置
KR102015674B1 (ko) 2011-05-24 2019-08-28 벨로스 미디어 인터내셔널 리미티드 화상 부호화 방법, 화상 부호화 장치, 화상 복호 방법, 화상 복호 장치, 및, 화상 부호화 복호 장치
EP3614665B1 (en) 2011-05-27 2022-03-23 Sun Patent Trust Apparatus, method and program for decoding moving pictures
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
SG194746A1 (en) 2011-05-31 2013-12-30 Kaba Gmbh Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device
TW201304552A (zh) 2011-05-31 2013-01-16 Panasonic Corp 動態圖像編碼方法、動態圖像編碼裝置、動態圖像解碼方法、動態圖像解碼裝置、及動態圖像編碼解碼裝置
TWI530161B (zh) * 2011-06-07 2016-04-11 Sony Corp Image processing apparatus and method
CN106851269B (zh) 2011-06-30 2019-11-15 太阳专利托管公司 图像解码方法及装置、图像编码方法及装置、编解码装置
IN2014CN00729A (ko) 2011-08-03 2015-04-03 Panasonic Corp
EP2754131B1 (en) 2011-09-08 2022-10-26 Nautilus, Inc. System and method for visualizing synthetic objects withinreal-world video clip
US9131245B2 (en) 2011-09-23 2015-09-08 Qualcomm Incorporated Reference picture list construction for video coding
CN108881903B (zh) 2011-10-19 2022-01-04 太阳专利托管公司 图像编码方法及装置、图像解码方法及装置、编解码装置
US9264717B2 (en) 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
JP5950541B2 (ja) * 2011-11-07 2016-07-13 キヤノン株式会社 動きベクトル符号化装置、動きベクトル符号化方法及びプログラム、動きベクトル復号装置、動きベクトル復号方法及びプログラム
US20130343459A1 (en) * 2012-06-22 2013-12-26 Nokia Corporation Method and apparatus for video coding
KR102122620B1 (ko) * 2012-09-03 2020-06-12 소니 주식회사 화상 처리 장치 및 방법
JP2014082541A (ja) * 2012-10-12 2014-05-08 National Institute Of Information & Communication Technology 互いに類似した情報を含む複数画像のデータサイズを低減する方法、プログラムおよび装置
WO2014175658A1 (ko) * 2013-04-24 2014-10-30 인텔렉추얼 디스커버리 주식회사 비디오 부호화 및 복호화 방법, 그를 이용한 장치
CA2949478A1 (en) 2014-05-30 2015-12-03 Paofit Technology Pte Ltd Systems and methods for motion-vector-aided video interpolation using real-time smooth video playback speed variation
US9704298B2 (en) 2015-06-23 2017-07-11 Paofit Holdings Pte Ltd. Systems and methods for generating 360 degree mixed reality environments
US11385069B2 (en) * 2019-12-05 2022-07-12 Pixart Imaging Inc. Optical navigation device and optical navigation method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004088737A (ja) * 2002-07-02 2004-03-18 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
JP2004194274A (ja) * 2002-07-26 2004-07-08 Matsushita Electric Ind Co Ltd 動画像符号化方法、動画像復号化方法および記録媒体
JP2004208258A (ja) * 2002-04-19 2004-07-22 Matsushita Electric Ind Co Ltd 動きベクトル計算方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994022269A1 (en) * 1993-03-24 1994-09-29 Sony Corporation Method and apparatus for coding/decoding motion vector, and method and apparatus for coding/decoding image signal
US5594504A (en) 1994-07-06 1997-01-14 Lucent Technologies Inc. Predictive video coding using a motion vector updating routine
US7206346B2 (en) 1997-06-25 2007-04-17 Nippon Telegraph And Telephone Corporation Motion vector predictive encoding method, motion vector decoding method, predictive encoding apparatus and decoding apparatus, and storage media storing motion vector predictive encoding and decoding programs
US6233356B1 (en) * 1997-07-08 2001-05-15 At&T Corp. Generalized scalability for video coder based on video objects
US6043838A (en) * 1997-11-07 2000-03-28 General Instrument Corporation View offset estimation for stereoscopic video coding
US6650783B2 (en) * 1998-01-14 2003-11-18 Canon Kabushiki Kaisha Image processing apparatus and method for processing images with different scalabilites
US6519287B1 (en) * 1998-07-13 2003-02-11 Motorola, Inc. Method and apparatus for encoding and decoding video signals by using storage and retrieval of motion vectors
KR100680452B1 (ko) 2000-02-22 2007-02-08 주식회사 팬택앤큐리텔 움직임 벡터 메모리의 갱신방법 및 장치
US7463683B2 (en) * 2000-10-11 2008-12-09 Koninklijke Philips Electronics N.V. Method and apparatus for decoding spatially scaled fine granular encoded video signals
JP2005506815A (ja) 2001-10-26 2005-03-03 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 空間拡張可能圧縮のための方法及び装置
EP2271110B1 (en) * 2001-11-06 2016-09-21 Panasonic Intellectual Property Corporation of America Moving picture coding method and moving picture decoding method
PT3525465T (pt) 2002-04-19 2021-05-10 Panasonic Ip Corp America Método e aparelho de descodificação de imagens
CN1666532A (zh) 2002-07-02 2005-09-07 松下电器产业株式会社 图像编码方法和图像解码方法
EP1422946A4 (en) * 2002-07-26 2008-04-02 Matsushita Electric Ind Co Ltd MOVING IMAGE PROCEDURE, MOVABLE IMAGE DECODING METHOD AND RECORD MEDIUM
TWI268715B (en) * 2004-08-16 2006-12-11 Nippon Telegraph & Telephone Picture encoding method, picture decoding method, picture encoding apparatus, and picture decoding apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004208258A (ja) * 2002-04-19 2004-07-22 Matsushita Electric Ind Co Ltd 動きベクトル計算方法
JP2004088737A (ja) * 2002-07-02 2004-03-18 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
JP2004194274A (ja) * 2002-07-26 2004-07-08 Matsushita Electric Ind Co Ltd 動画像符号化方法、動画像復号化方法および記録媒体

Also Published As

Publication number Publication date
KR20060123561A (ko) 2006-12-01
CN1922888B (zh) 2010-07-21
JP5052134B2 (ja) 2012-10-17
JPWO2006019093A1 (ja) 2008-05-08
TWI268715B (en) 2006-12-11
EP1781042A4 (en) 2011-02-02
WO2006019093A1 (ja) 2006-02-23
CN1922888A (zh) 2007-02-28
US9402087B2 (en) 2016-07-26
EP1781042B1 (en) 2015-02-25
US20160330473A1 (en) 2016-11-10
US20070183499A1 (en) 2007-08-09
EP1781042A1 (en) 2007-05-02
TW200611579A (en) 2006-04-01

Similar Documents

Publication Publication Date Title
KR100941495B1 (ko) 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치 및 화상 복호 장치
US11800143B2 (en) Motion compensation method and device using bidirectional optical flow
KR101370919B1 (ko) 신호처리방법 및 장치
EP3780614A1 (en) Method and apparatus for image motion compensation
KR101447717B1 (ko) 동영상 부호화 방법 및 복호방법, 그들의 장치 및 그들의 프로그램과 프로그램을 기록한 기억매체
KR102571159B1 (ko) 양방향 옵티컬 플로우를 이용한 움직임 보상 방법 및 장치
CN103238319B (zh) 推导运动向量预测项或运动向量预测项候选项的方法及装置
EP1927249B1 (en) Apparatus and method for encoding and decoding multi-view video
US20070064799A1 (en) Apparatus and method for encoding and decoding multi-view video
KR20060023989A (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법,화상 복호 방법, 화상 부호화 프로그램, 화상 복호프로그램, 화상 부호화 프로그램을 기록한 기록 매체, 화상복호 프로그램을 기록한 기록 매체
KR20150109282A (ko) 다시점 비디오 신호 처리 방법 및 장치
US20140348242A1 (en) Image coding apparatus, image decoding apparatus, and method and program therefor
KR20150135457A (ko) 복수의 입력 화상을 인코딩하는 방법, 프로그램을 격납하는 기억 매체 및 장치
KR20150122706A (ko) 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 화상 부호화 프로그램, 및 화상 복호 프로그램
JP2012513141A (ja) ビデオピクチャ系列の動きパラメータを予測及び符号化する方法及び装置
JP4759537B2 (ja) 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラム，画像復号プログラムおよびコンピュータ読み取り可能な記録媒体
KR100893930B1 (ko) 다시점 비디오 부호화를 위한 시간 직접예측 방법
JP2013009164A (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
KR20080007177A (ko) 비디오 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130117

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140121

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20150116

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20160119

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20170120

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20180126

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20200120

Year of fee payment: 11