KR20060023989A - 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법,화상 복호 방법, 화상 부호화 프로그램, 화상 복호프로그램, 화상 부호화 프로그램을 기록한 기록 매체, 화상복호 프로그램을 기록한 기록 매체 - Google Patents

화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법,화상 복호 방법, 화상 부호화 프로그램, 화상 복호프로그램, 화상 부호화 프로그램을 기록한 기록 매체, 화상복호 프로그램을 기록한 기록 매체 Download PDF

Info

Publication number
KR20060023989A
KR20060023989A KR1020057024062A KR20057024062A KR20060023989A KR 20060023989 A KR20060023989 A KR 20060023989A KR 1020057024062 A KR1020057024062 A KR 1020057024062A KR 20057024062 A KR20057024062 A KR 20057024062A KR 20060023989 A KR20060023989 A KR 20060023989A
Authority
KR
South Korea
Prior art keywords
image
frame
category
information
decoding
Prior art date
Application number
KR1020057024062A
Other languages
English (en)
Other versions
KR100908422B1 (ko
Inventor
히데아키 기마타
마사키 기타하라
가즈토 가미쿠라
Original Assignee
니뽄 덴신 덴와 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 니뽄 덴신 덴와 가부시키가이샤 filed Critical 니뽄 덴신 덴와 가부시키가이샤
Publication of KR20060023989A publication Critical patent/KR20060023989A/ko
Application granted granted Critical
Publication of KR100908422B1 publication Critical patent/KR100908422B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

부호화 데이터의 특정 프레임을 복호하지 않는 경우에도 정확하게 복호 화상을 얻을 수 있도록 하고, 또한 부호화 효율을 향상시키기 위하여, 예측 화상 작성부(103)는, 화상 분류부(102)에 의하여 제j 카테고리로 분류된 현재 프레임에 대하여, 제i(1 ≤ i ≤ j) 카테고리의, 과거에 부호화한 참조 화상 메모리(107) 중에서 복수개의 프레임의 화상 정보로부터 화상 정보를 선택하여, 예측 화상을 작성한다. 차분 부화화부(104)는, 현재 프레임의 화상 정보와 예측 화상의 차분을 부호화한다. 또한, 현재 카테고리 부호화부(106)는, 현재 프레임의 카테고리 번호를 부호화하고, 참조 화상 지정 정보 부호화부(105)는, 참조 화상 메모리(107)로부터 선택한 화상 정보를 지정하는 참조 화상 지정 정보를 부호화한다.
화상, 부호화, 복호, 프레임, 프로그램, 프레임간 예측, 카테고리

Description

화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법, 화상 부호화 프로그램, 화상 복호 프로그램, 화상 부호화 프로그램을 기록한 기록 매체, 화상 복호 프로그램을 기록한 기록 매체{IMAGE ENCODING DEVICE, IMAGE DECODING DEVICE, IMAGE ENCODING METHOD, IMAGE DECODING METHOD, IMAGE ENCODING PROGRAM, IMAGE DECODING PROGRAM, RECORDING MEDIUM CONTAINING THE IMAGE ENCODING PROGRAM, AND RECORDING MEDIUM CONTAINING THE IMAGE DECODING PROGRAM}
본 발명은, 프레임간 예측 부호화 방식을 사용한, 복수개의 프레임의 화상 부호화/복호 기술에 관한 것이다.
MPEG-1, MPEG-2나 H.261, H.263 등의 국제 표준 동화상 부호화에서는, 각 프레임의 출력 시각을 부호화한다. 이들 시각 정보는 TR(Temporal Reference)로 불리며, 프레임마다 고정적 길이로 부호화된다. 시스템에서 기준이 되는 시간 간격을 미리 설정해 두고, 그 시간 간격과 TR의 곱하여 시켄스(sequence) 선두로부터의 시각을 나타낸다. 인코더에서는, 입력 화상의 시각 정보를 TR에 설정하여 각 프레임을 부호화하고, 디코더에서는, 각 프레임의 복호 화상을 TR로 지정된 시각에 출력한다.
한편, 일반적으로 동화상 부호화에서는 시간 방향의 상관 관계를 사용하여 높은 부호화 효율을 실현하기 때문에, 프레임간 예측 부호화를 사용하고 있다.
프레임의 부호화 모드에는, 프레임간의 상관 관계를 사용하지 않고 부호화하는 1 프레임과, 과거에 부호화한 1 프레임으로부터 예측하는 P 프레임과, 과거에 부호화한 2 프레임으로부터 예측할 수 있는 B 프레임이 있다.
B 프레임에서는, 참조 화상 메모리에 2프레임 분의 복호 화상을 축적해 둘 필요가 있다. 특히 영상 부호화 방식 H.263과 H.264에서는, 참조 화상 메모리에 2 프레임 이상의 복수개의 프레임 분의 복호 화상을 축적해 두고, 그 메모리로부터 참조 화상을 선택하여 예측할 수 있다.
참조 화상은 블록마다 선택할 수 있고, 참조 화상을 지정하는 참조 화상 지정 정보를 부호화한다. 참조 화상 메모리에는, 단시간용 STRM과 장시간용 LTRM이 있고, STRN에는 현재 프레임의 복호 화상을 계속적으로 축적하고, LTRM에는 STRM에 축적되어 있는 화상을 선택하여 축적한다. 그리고 LTRM과 STRM의 제어 방법에 대한 내용은, 예를 들면 비특허 문헌 1에 기재되어 있다.
[비특허 문헌 1]: Thomas Wiegand, Xiaozheng Zhang, and Berned Girod, “Long-Term Memory Motion-Compensated Prediction”, lEEE Transactions on Circuits and Systems for Video Technology, vol.9, no.1, pp.70-84, Feb., 1999. MPEG-1, MPEG-2의 B 프레임에서는, 보다 과거의 프레임으로부터 예측하는 방법을 전방향 프레임간 예측이라 하고, 보다 미래의 프레임으로부터 예측하는 방법을 후방향 프레임간 예측이라고 한다. 후방향 프레임간 예측에서의 참조 프레임의 표시 시각은, 현재 프레임보다 미래이다. 이 경우에는, 현재 프레임을 표시한 후에, 후 방향 프레임간 예측의 참조 프레임을 출력하게 된다. B 프레임에서 2 프레임으로부터 예측하는 경우(양방향 프레임간 예측)에는, 2 프레임으로부터의 화상 정보를 보간하여 1 프레임 분의 화상 정보를 작성하고, 이것을 예측 화상으로 한다.
도 16(a)에, 후방향 프레임간 예측에서의 참조 프레임의 표시 시각이 미래의 경우의, 동화상의 예측 관계의 예를 나타낸다. 도 16에 나타낸 (1) ∼ (7)은, 프레임 번호를 나타내고 있다. 제1 프레임으로부터 제7 프레임의 부호화 모드를 IBBPBBP의 순서로 부호화하는 경우에는, 도 16(a)에 나타낸 예측 관계가 있기 때문에, 실제로 부호화하는 경우에는, 도 16(b)에 나타낸 바와 같이 1423756의 순서로 프레임을 부호화한다. 이 경우의 부호화되는 TR의 순서는, 부호화 프레임과 마찬가지로 1423756에 대응한 값이 된다.
H.264의 B 프레임에서는, 후방향 프레임간 예측의 개념을 MPEG-1, MPEG-2보다 더 확장하고 있고, 후방향 프레임간 예측에서의 참조 프레임의 표시 시각은, 현재 프레임보다 과거일 수도 있다. 이 경우에는, 후방향 프레임간 예측의 참조 프레임을 먼저 출력하게 된다.
상기한 바와 같이, H.264에서는 참조 화상 메모리에 복수개의 복호 화상을 축적할 수 있다. 그래서 전방향 프레임간 예측용의 참조 화상 지정 정보 L0와, 후방향 프레임간 예측용의 참조 화상 지정 정보 L1을 정의해 두고, 각각 독립적으로 전방향 프레임간 예측용의 참조 화상과 후방향 프레임간 예측용의 참조 화상을 지정한다.
블록마다 참조 화상을 지정하기 위해, 먼저 블록의 예측 모드(전방향 프레임 간 예측 또는 후방향 프레임간 예측 또는 양방향 프레임간 예측)를 부호화하고, 예측 모드가 전방향 프레임간 예측의 경우에는 참조 화상 지정 정보 L0를 부호화하고, 후방향 프레임간 예측의 경우에는 참조 화상 지정 정보 L1을 부호화하고, 양방향 프레임간 예측의 경우에는 참조 화상 지정 정보 L0와 참조 화상 지정 정보 L1을 부호화한다.
이와 같이 정의하면, 후방향 프레임간 예측에서의 참조 프레임의 표시 시각은, 현재 프레임보다 미래일 필요는 없다. H.264의 B 프레임에서는, 이와 같이 후방향 프레임간 예측도 과거의 프레임을 참조 화상으로 지정할 수 있고, 또한 지정은 블록 단위로 변경할 수 있기 때문에, 양방향 프레임간 예측의 경우를 제외하고, P 프레임과 같은 예측 화상을 작성할 수 있다.
도 17(a)에, 후방향 프레임간 예측에서의 참조 프레임의 표시 시각이 과거의 경우의, 동화상의 예측 관계의 예를 나타낸다. 도 16의 경우와는 달리, 제1 프레임으로부터 제7 프레임의 부호화 모드를 IBBPBBP의 순서로 부호화하는 경우라하더라도, 도 17(a)에 나타내는 예측 관계가 있기 때문에, 도 17(b)에 나타내는 바와 같이 1423567의 순서로 프레임을 부호화한다.
참조 화상 메모리에 복수개의 복호 화상을 축적하여 두고, 참조 화상을 선택하여 프레임간 예측 부호화하는 방법에서는, 모든 프레임의 복호 화상을 축적해 둘 필요는 없다. 이것을 응용하여 시간 스케일러블(scalable) 기능을 실현할 수 있다.
예를 들면 MPEG-1, MPEG-2에 의하여, 도 16(a)과 같은 예측 관계에 있는 경 우, B 프레임(프레임 번호(2), (3), (5), (6))은 이후의 프레임에서 참조 화상으로서 사용되지 않는다. 그래서 복호측은, B 프레임을 복호하지 않고 I 프레임과 P 프레임만 복호하는 것이 가능하다. 원래 매초 30프레임으로 부호화되어 있다고 가정하면, B 프레임을 복호/출력하지 않으면 매초 10프레임의 영상을 출력할 수 있다.
이와 같은 기술을 다계층에 응용할 수도 있다. 도 1은, 3 레이어 구성의 예측 관계의 예를 나타낸 도면이다. 도 1에 있어서, (1) ∼ (9)는 프레임 번호를, 프레임 중에 기재된 1 ∼ 9까지의 숫자는 각 프레임의 부호화 순서를 나타낸다.
예를 들면 도 1(c)에 나타낸 바와 같이, 제5 프레임(제1 레이어)은 제1 프레임을 참조 프레임으로하고, 제3 프레임(제2 레이어)은 제1 프레임 또는 제5 프레임을 참조 프레임으로하고, 제2 프레임(제3 레이어)은 제1 프레임 또는 제3 프레임을 참조 프레임으로하고, 제4 프레임(제3 레이어)은 제3 프레임과 제5 프레임을 참조 프레임으로하는 경우에는, 5 프레임 모두가 매초 30프레임의 영상인 경우에는, 제2 프레임과 제4 프레임(제3 레이어)을 복호하지 않음으로써, 매초 15 프레임의 영상을 출력할 수 있다.
또, 제2 프레임과 제3 프레임과 제4 프레임(제2 레이어와 제3 레이어)을 복호하지 않음으로써, 매초 7.5프레임의 영상을 출력할 수 있다. 그리고 도 1(c)이외에도 프레임의 부호화 순서는 복수개의 패턴을 설정할 수 있고, 예를 들면 도 1(a)와 같이 입력 순서와 동일하게 할 수도 있고, 도 1(b)와 같이, 제1 레이어 부호화 후에 곧바로 제2 레이어를 부호화하고, 이어서 제3 레이어를 부호화할 수도 있다.
이와 같은 참조 프레임이 되지않는 프레임이 있는 경우에, 시간 해상도를 변경하는 구조는, 복호측이 실행할 수도 있고, 부호화 측과 복호측 사이의 중계 지점에서 실행할 수도 있다. 방송과 같이 부호화 데이터를 일방향으로 분배하는 경우에는, 복호측이 실행하는 것이 적절하다.
또, 이와 같은 시간 스케일러블 기능은, 도 1의 레이어를 시점으로 간주하는 것으로, 다시점 영상의 부호화에 적용할 수도 있다.
또, 일반적인 프레임 사이에 시간 관계가 없는 복수개의 프레임이라 하더라도, 복수개의 프레임을 미리 설정한 차원으로 배열하여, 그 차원을 시간으로 간주함으로써 동화상으로 취급할 수 있다. 이와 같은 복수개의 프레임을 더 소수의 집합으로 분류하고, 그것을 도 1에서의 레이어로 간주하고, 시간 스케일러블 기능을 적용할 수도 있다.
또, 시간 스케일러블 부호화를 실현하는 방법으로서 MCTF 부호화를 예를 들 수 있다. 이 MCTF 부호화 방법은, 영상 데이터에 대해서 시간 방향으로 필터링(서브 밴드 분할)하고, 영상 데이터의 시간 방향의 상관 관계을 이용하여, 영상 데이터의 에너지를 컴팩트하게 하는 방법이다. 도 18에서 시간 방향으로 저역을 옥타브 분할하는 개념도를 나타낸다. GOP를 설정하여 GOP 내에서 시간 방향으로 필터링한다. 시간 방향의 필터에는 Haar 기저가 일반적으로 제안되고 있다(비특허 문헌 2참조).
[비특허 문헌 2]: Jens-Rainer Ohm, “Three-Dimensiona; Subband Coding with Motion Compensation”, lEEE Trans. Image Proc., vol.3, no.5, pp.559-571, 1994. 또, Haar 기저에는 일반적으로 도 19에 나타낸 바와 같은 Lifting Scheme를 적용할 수 있다. 이 방법에 의해, 연산량을 적게하여 필터링할 수 있다. 이 Lifting Scheme에 있어서, predict는 통상의 예측 부호화와 같은 처리이며, 예측 화상과 원래 화상과의 잔차를 구하는 처리이다.
그리고, 비특허 문헌 3 또는 비특허 문헌 4에, 복수개의 화상으로부터 높은 해상도의 화상을 얻는 방법이 기재되어 있다.
비특허 문헌 3: Sung Cheol Park, Min Kyu Park, and Moon Gi Kang, “Super-Resolution Image Reconstruction: A Technical Overview”, IEEE Signal Processing Magazine, pp. 21-36, May, 2003.
비특허 문헌 4: C. Andrew Segall, Rafael Molina, and Aggelos K. Katsaggelos, “High-Resolution Image from Low-Resolution Compress Video”, IEEE Signal Processing Magazine, pp. 37-48, May, 2003. 복수개의 프레임의 참조 화상 메모리를 구비하는 경우에는, 축적하는 최대 프레임 수를 크게하는 만큼 부호화 효율이 향상된다. 여기서 시간 스케일러블 기능을 실현하는 경우에는, 복호하는 레이어 수가 적게 된 경우에도 부호화 데이터 내의 참조 화상 지정 정보에 의해 동일한 복호 화상이 지정될 필요가 있다.
그러나 종래의 H.264에서는 STRM과 LTRM을 구비하고 있지만. LTRM는 STRM에 축적되어 있는 화상을 축적하는 메모리이며, 복호 화상은 STRM에 축적되기 때문에, 시간 스케일러블에서의 레이어와는 관계없이 복호 화상에 대해서 참조 화상 지정 정보를 부호화한다.
따라서, 복호 측에서 부호화 데이터의 특정한 프레임을 복호하지 않는 경우에는, 참조 화상 지정 정보가 상이한 프레임을 참조한다. 이와 같이 상이한 참조 화상으로부터 예측 화상을 작성하면 복호 측에서 정확한 복호 화상을 얻을 수 없다.
참조 화상 지정 정보를 사용하여 복수개의 프레임으로부터 참조 화상을 선택하는 것이 아니라, MPEG-1, MPEG-2의 B 프레임과 같이, 복호 화상을 참조 화상 메모리에 축적하지 않고 , 또 참조 화상을 전후하는 1 프레임 또는 P 프레임으로 한정하는 경우에는, B 프레임을 복호하지 않는 경우에 참조 화상이 상이하지는 않게 된다. 이로써 시간 스케일러블 부호화를 실현할 수 있다. 그러나, B 프레임의 복호 화상을 참조 화상 메모리에 축적하지 않는다고 하면, B 프레임은 전후하는 1 프레임 또는 P 프레임에 참조 화상이 한정되고, 복수개의 프레임의 참조 화상 메모리를 구비하지 않기 때문에, 부호화의 효율을 향상시킬 수 없다.
이상과 같이, 종래의 시간 스케일러블 부호화를 실현하는 방법에 있어서, 부호화 효율을 향상시키기 위해, 참조 화상 메모리에 복수개의 프레임을 구비하지 못하고, 반대로 종래의 참조 화상 메모리에 복수개의 프레임을 축적하는 방법에서는 시간 스케일러블 부호화를 실현할 수 없었다.
본 발명은, 복호 측에서 부호화 데이터의 특정한 프레임을 복호하지 않는 경우에도 그 프레임을 복호하는 경우와 동일한 참조 화상이 지정되어, 정확한 복호 화상을 얻을 수 있고, 또한 부호화 효율을 향상시킬 수 있는 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법, 화상 부호화 프로그램, 화상 복호 프로그램 및 이들의 기록 매체의 제공을 목적으로 한다.
본 발명의 제1 측면은, 과거에 부호화한 복수개의 프레임의 화상 정보로부터 화상 정보를 선택하고, 예측 화상을 작성하는, 복수개의 화상 정보를 부호화하는 화상 부호화 방법으로서, 각각의 프레임을 N개의 카테고리로 분류하는 화상 분류 스텝과, 제j 카테고리로 분류되는 현재 프레임에 대하여, 제i(i는 1부터 j까지) 카테고리의, 과거에 부호화한 복수개의 프레임의 화상 정보로부터 화상 정보를 선택하고, 예측 화상을 작성하는 예측 화상 작성 스텝과, 현재 프레임의 화상 정보와 예측 화상의 차분(差分; difference)을 부호화하는 차분 부호화 스텝과, 예측 화상 작성 스텝에서 선택한 화상 정보를 지정하는, 제j 카테고리용의 참조 화상 지정 정보를 부호화하는 참조 화상 지정 정보 부호화 스텝과, 현재 프레임의 카테고리 번호를 부호화하는 현재 카테고리 부호화 스텝을 실행하는 것을 특징으로 한다.
본 발명의 제2 측면은, 본 발명의 제1 측면에 의한 화상 부호화 방법에서, 카테고리마다, 카테고리에 소속되는 프레임을 지정하는 프레임 번호를 할당해 두고, 예측 화상 작성 스텝에서 선택한 화상 정보가 소속되는 카테고리의 번호와, 그 번호로 지정되는 카테고리의 프레임 번호로부터, 참조 화상 지정 정보를 구성하는 것을 특징으로 한다.
본 발명의 제3 측면은, 과거에 복호한 복수개의 프레임의 화상 정보로부터 화상 정보를 선택하고, 예측 화상을 작성하는, 복수개의 화상 정보를 복호하는 화상 복호 방법으로서, 현재 프레임의 카테고리 번호를 복호하는 현재 카테고리 복호 스텝과, 현재 카테고리 복호 스텝에서 얻어지는 카테고리 번호용의, 화상 정보를 지정하는 참조 화상 지정 정보를 복호하는 참조 화상 지정 정보 복호 스텝과, 참조 화상 지정 정보로 지정되는 화상 정보로부터 예측 화상을 작성하는 예측 화상 작성 스텝과, 현재 프레임의 복호 화상과 예측 화상의 차분을 복호하는 차분 복호 스텝과, 차분 정보와 예측 화상으로부터 복호 화상을 작성하는 복호 화상 작성 스텝과, 현재 프레임의 복호 화상을, 현재 카테고리 복호 스텝에서 얻어지는 카테고리 번호용의 메모리에 축적하는 복호 화상 축적 스텝을 실행하는 것을 특징으로 한다.
본 발명의 제4 측면은, 본 발명의 제3 측면에 의한 화상 복호 방법에서, 카테고리마다, 카테고리에 소속하는 프레임을 지정하는 프레임 번호를 할당해 두고, 예측 화상 작성 스텝에서 선택한 화상 정보가 소속되는 카테고리의 번호와, 그 번호로 지정되는 카테고리의 프레임 번호로부터, 참조 화상 지정 정보를 구성하는 것을 특징으로 한다.
본 발명의 제1 측면에 의한 화상 부호화 방법 또는 본 발명의 제3 측면에 의한 화상 복호 방법에 따르면, 참조 화상 메모리를 복수개의 카테고리로 분류해 두고, 카테고리마다 참조 화상을 관리할 수 있다. 이로써, 카테고리마다 복호할지의 여부를 결정하여, 복호하지 않는 카테고리가 있는 경우에는, 그 외의 카테고리에 포함되는 참조 화상으로부터 예측 화상을 작성할 수 있다. 참조 화상 지정 정보는 카테고리마다 별도로 설정하고 있으므로, 카테고리를 복호하는 경우와 그렇지 않을 경우에 참조 화상 지정 정보에 의해 동일한 화상이 지정되어, 정확한 복호 화상을 얻을 수 있다. 또, 카테고리마다 참조 화상 수를 많게 할 수 있어서, 부호화 효율을 향상시킬 수 있다.
카테고리는, 예를 들면 도 1에서 나타낸 레이어로 설정할 수 있다. 제1 카테고리(제1 레이어)의 화상은 제1 카테고리(제1 레이어)의 화상만 참조하고, 제2 카테고리(제2 레이어)의 화상은 제1 카테고리(제1 레이어)와 제2 카테고리(제2 레이어)의 화상을 참조하고, 제3 카테고리(제3 레이어)의 화상은 제1카테고리(제1 레이어)와 제2 카테고리(제2 레이어)와 제3 카테고리(제3 레이어)의 화상을 참조한다. 이 때, 카테고리마다 복수개의 프레임 분의 참조 화상을 축적할 수 있는 참조 화상 메모리를 구비하면, 각 카테고리의 부호화 효율을 향상시킬 수 있다.
참조 화상 지정 정보로서는,
(방법 1) 참조 화상으로 하는 카테고리에 포함되는 프레임에 대해서, 부호화 또는 복호 순서가 현재 프레임에 가까운 프레임으로부터 일련 번호를 붙인 것,
(방법 2) 참조 화상으로 하는 카테고리에 포함되는 프레임에 대해서, 입력 또는 출력 순서가 현재 프레임에 가까운 프레임으로부터 일련 번호를 붙인 것, 등을 예를 들 수 있다.
이들에 한정되지 않고, 부호화 측과 복호측이 일의적으로 참조 화상을 지정할 수 있고, 참조 화상으로 하지 않는 카테고리의 프레임을 복호하지 않는 경우에, 참조하는 화상이 일치하도록 하는 지정 방법이면 된다.
도 1(c)에서의 부호화 순서의 프레임의 구성에 대하여, 방법 1로 지정하는 경우의 참조 화상 지정 정보의 예를 도 2에, 방법 2로 지정하는 경우의 참조 화상 지정 정보의 예를 도 3에 나타낸다. 단, 도 3에서 현재 프레임에 대한 입력 또는 출력 순서의 차분이 동일할 경우에는, 더 최근에 부호화한 프레임에 작은 번호를 부여한다. 또, 참조 화상 지정 정보로서는, 예를 들면, 0, 1, 2, ··와 같은 일련 번호로 한다.
도 2에 있어서는, 예를 들면, 현재 프레임이 제2 프레임의 경우, 참조 화상 지정 정보를 부여하는 순서는, 제3 프레임, 제5 프레임, 제1 프레임 순이며, 현재 프레임이 제3 프레임의 경우, 참조 화상 지정 정보를 부여하는 순서는, 제5 프레임, 제1 프레임의 순이다.
도 3에 있어서는, 예를 들면, 현재 프레임이 제2 프레임의 경우, 참조 화상 지정 정보를 부여하는 순서는, 제3 프레임, 제1 프레임, 제5 프레임의 순이며, 현재 프레임이 제3 프레임의 경우, 참조 화상 지정 정보를 부어하는 순서는, 제5 프레임, 제1 프레임의 순이다.
또, 본 발명은 가역 부호화와 불가역 부호화의 모두에 사용될 수 있다. 화상 부호화 장치의 참조 화상 메모리에는, 가역 부호화의 경우에는 원래 화상과 복호 화상을 둘다 축적해도 된다. 불가역 부호화의 경우에는 복호 화상을 축적한다.
본 발명의 제2 측면에 의한 화상 부호화 방법 또는 본 발명의 제4 측면에 의한 화상 복호 방법에 의하면, 참조 화상 지정 정보에 대하여, 상기의 예(방법 1과 방법 2)외에,
(방법 3) 카테고리 번호와 카테고리 내에서 설정하는 카테고리 내의 프레임 번호로 구성할 수 있다.
여기서 카테고리 번호는, 제1 카테고리로부터 순서대로 설정한 절대 번호로 할 수도 있고, 현재 프레임의 카테고리 번호로부터의 차분일 수도 있다. 프레임 번호는, 동일 카테고리의 제1 프레임으로부터 순서대로 설정한 절대 번호일 수도 있고 현재 프레임으로부터의 차분일 수도 있다.
방법 3에 의하면, 카테고리마다 개별 프레임 번호를 할당하므로, 프레임 번호의 관리가 간단하면서도 용이하고, 또 전송 에러에 의해 특정 카테고리의 프레임이 복호되지 않는 경우에서의, 참조 화상의 불일치를 경감시킬 수 있다.
예를 들면, 도 1(c)에서, 제2 프레임(제3 카테고리 내의 첫번째 프레임)이 전송 에러에 의하여 복호될 수 없는 경우에는, 제2 프레임의 복호 화상을 얻지 않고, 제2 프레임을 참조하는 프레임에는 에러가 전송된다.
카테고리 내의 프레임 번호를 제1 프레임으로부터의 절대 번호로하는 경우에, 도 1(c)에 나타낸 제3 카테고리 내의 2번째의 프레임이 제3 카테고리 내의 첫번째의 프레임을 참조하지 않는 경우에는, 제3 카테고리 내의 2번째 프레임으로부터 정확하게 복호할 수 있다. 따라서, 제3 카테고리 내의 2번째 프레임 이후에 제3 카테고리 내의 첫번째 프레임 이외를 참조한다면, 그 프레임은 정확하게 복호할 수 있다.
또, 카테고리 내의 프레임 번호를 현재 프레임으로부터의 상대 번호로 하는 경우에는, 제2 카테고리의 프레임은 모두 프레임 번호가 틀리게 된다. 그러나 제2 프레임 이후의 프레임에서 제2 카테고리의 프레임을 참조하지 않는다면, 다른 카테고리의 프레임은 정확하게 복호하는 것이 가능하다.
또, 현재 카테고리 번호 이하에 속하는 프레임에 잠정 프레임 번호를 할당함으로써, 예측 화상 스텝에서 선택 가능한 프레임에만, 고유의 번호를 할당할 수 있다. 또 예측 화상 스텝에서 선택 불가능한 프레임에 대해서는 번호를 할당하지 않는다. 따라서, 화상 복호 측에서 현재 프레임보다 카테고리 번호가 큰 프레임을 복호하지 않는 경우에도, 정확하게 참조 화상을 지정할 수 있으므로, 정확한 복호 화상을 얻는 것이 가능하게 된다.
또,과거에 부호화된 프레임의 부호화 순서를 사용함으로써, 보다 최근에 부호화한 프레임일수록, 참조 화상 지정 정보의 부호량이 적어지도록 잠정 프레임 번호를 설정할 수 있다. 이로써, 참조 화상 지정 정보의 부호량을 저감하는 것이 가능하며, 부호화 효율을 향상킬 수 있다.
본 발명의 제5 측면에 의한 화상 부호화 방법 또는 본 발명의 제6 측면에 의한 화상 복호 방법에 의하면, 참조 화상과 참조 화상 지정 정보와의 대응부를 프레임 또는 슬라이스 단위로 변경 가능하다. 참조 화상 지정 정보를 부호량이 삭감 되도록 변경함으로써, 전체의 부호화 효율을 향상시킬 수 있다.
본 발명의 제7 측면에 의한 화상 부호화 방법 또는 본 발명의 제8 측면에 의한 화상 복호 방법에 의하면, MCTF 부호화 방식에 있어서, 현재 프레임을 부호화 할 때에, 참조하는 화상 정보의 후보를 증가시킬 수 있기 때문에, 부호화 효율을 향상시킬 수 있다.
그리고, 본 발명에서는 각 카테고리의 참조 화상 메모리를, 물리적으로 상이한 메모리로 구성할 수도 있고, 논리적으로 구별하여 구성할 수도 있다. 또, 프레임이나 복수개의 프레임마다, 각 카테고리의 참조 화상 메모리 양의 할당을 변경할 수도 있다.
또, 프레임 내 화소수를 카테고리마다 상이하게 설정할 수도 있다. 예를 들면, 도 1에서의 제2 레이어나 제3 레이어의 화소수를 제1 레이어의 가로세로 절반, 또는 2배로 할 수도 있다. 이 경우에는, 예측 화상 작성부에서 예측 화상을 작성할 때에, 아핀 변환(affine transformation) 등에 의한 확대·축소나, 고해상도로 변환할 필요가 있다.
고해상도 변환에 대하여, 복수개의 화상으로부터 높은 해상도의 화상을 얻는 방법이 보고되어 있고, 이들 방법을 적절하게 이용할 수 있다(예를 들면, 비특허 문헌 3 또는 비특허 문헌 4 참조). 또, 화소의 계조(비트수)를 카테고리마다 상이하게 설정할 수도 있다. 예를 들면 도 1에서의 제1 레이어의 계조를 8비트로 하고, 제2 레이어나 제3 레이어의 계조를 4비트로 할 수도 있다. 이 경우에는, 예측 화상 작성부에서 예측 화상을 작성할 때에 계조의 증가나 감소가 필요하다.
본 발명은, 복수개의 프레임으로 구성되는 화상을 대상으로 하고 있다. 복수개의 프레임은, 예를 들면, 동화상으로 구성될 수도 있고, 시점을 바꾸어서 촬영해 얻어지는 다시점 화상으로 구성될 수도 있다.
본 발명에 의하면, 복수개의 프레임의 화상을 부호화 또는 복호할 때, 참조 화상 메모리를 복수개의 카테고리로 분류해 두고, 카테고리마다 참조 화상을 관리함으로써, 카테고리를 복호하는 경우와 그렇지 않을 경우에 동일한 참조 화상이 지정되어 정확한 복호 화상을 얻을 수 있다.
또, 카테고리마다 참조 화상 수를 많게 할 수 있어서, 부호화 효율을 향상시킬 수 있다.
도면의 간단한 설명
도 1은 레이어 구성의 예측 관계의 예를 나타낸 도면이다.
도 2는 참조 화상 지정 정보의 예를 나타낸 도면이다.
도 3은 참조 화상 지정 정보의 예를 나타낸 도면이다.
도 4는 화상 부호화 장치의 제1 구성예를 나타낸 도면이다.
도 5는 화상 부호화 처리의 일례를 나타낸 흐름도이다.
도 6은 화상 복호 장치의 제1 구성예를 나타낸 도면이다.
도 7은 화상 복호 처리의 일례를 나타낸 흐름도이다.
도 8은 화상 부호화 장치의 제2 구성예를 나타낸 도면이다.
도 9는 화상 복호 장치의 제2 구성예를 나타낸 도면이다.
도 10은 종래 기술과의 비교에 의한 본 발명의 효과를 설명하는 도면이다.
도 11은 레이어 구성의 예측 관계의 예를 나타낸 도면이다.
도 12는 화상 부호화 장치의 제3 구성예를 나타낸 도면이다.
도 13은 화상 복호 장치의 제3 구성예를 나타낸 도면이다.
도 14는 MCTF 화상 부호화의 예를 나타낸 도면이다.
도 15는 MCTF 화상 복호의 예를 나타낸 도면이다.
도 16은 동화상의 예측 관계의 예를 나타낸 도면이다.
도 17은 동화상의 예측 관계의 예를 나타낸 도면이다.
도 18은 MCTF 부호화에서의 시간 방향의 필터의 예를 나타낸 도면이다.
도 19는 Haar 기저에서의 Lifting Scheme의 예를 나타낸 도면이다.
도 20은 참조 화상 지정 정보 부호화부의 일구성예를 나타낸 도면이다.
도 21은 잠정 프레임 번호 설정부의 일구성예를 나타낸 도면이다.
도 22는 잠정 프레임 번호 설정부의 다른 구성예를 나타낸 도면이다.
도 23은 잠정 프레임 번호 결정부의 일구성예를 나타낸 도면이다.
도 24는 참조 화상 지정 정보 복호부의 일구성예를 나타낸 도면이다.
도면을 사용하여 본 발명의 실시예를 설명한다. 본 실시예에 있어서는, 화상을 3개의 카테고리로 분류하여, 화상을 불가역 부호화화하는 것으로 가정한다. 제1 카테고리의 입력 화상은, 제1 카테고리의 복호 화상을 참조 화상의 후보로하고, 제2 카테고리의 입력 화상은, 제1 카테고리와 제2 카테고리의 복호 화상을 참조 화상의 후보로하고, 제3 카테고리의 입력 화상은, 제1 카테고리와 제2 카테고리와 제3 카테고리의 복호 화상을 참조 화상의 후보로 한다.
본 발명의 실시예로서, 도 1에 나타낸 화상을 부호화하는 경우의 예를 나타낸다. 또, 1 프레임을 가로 세로 16화소 매크로 블록으로 분할하고, 매크로 블록마다 차분 부호화 데이터의 부호량이 최소가 되도록 참조 화상을 선택하여 부호화하는 예를 나타낸다.
도 4는, 본 발명의 실시예에 관한 화상 부호화 장치의 구성을 나타낸 도면이 다. 화상 부호화 장치(1)는, 화상 정보를 입력하는 화상 입력부(101)와, 입력 화상을 3개의 카테고리로 분류하는 화상 분류부(102)와, 예측 화상을 작성하는 예측 화상 작성부(103)와, 입력 화상 정보와 예측 화상과의 차분을 부호화하는 차분 부호화부(104)와, 참조 화상 지정 정보를 부호화하는 참조 화상 지정 정보 부호화부(105)와, 현재 프레임의 카테고리 번호를 부호화하는 현재 카테고리 부호화부(106)와, 복호 화상을 축적하는 참조 화상 메모리(107)와, 차분 부호화부(104)에 의하여 작성된 차분 부호화 데이터를 복호하여 복호 화상을 작성하는 복호부(108)와, 차분 부호화부(104)에 의하여 작성된 차분 부호화 데이터의 부호량을 계측하는 부호량 계측부(109)와, 예측 화상 작성부(103)에서 사용하는 참조 화상의 전환을 제어하는 참조 화상 전환부(110)와, 참조 화상 전환부(110)의 제어에 의해 참조 화상을 전환하는 스위치부(111)와, 차분 부호화 데이터의 출력과 부호량의 계측을 전환하는 스위치부(112)를 구비한다.
참조 화상 지정 정보 부호화부(105)에서는, 예를 들면 도 2에 나타내는, 전술한 방법 1에 따라서 부여한 참조 화상 지정 정보를 부호화한다.
참조 화상 메모리(107)에는, 7프레임 분의 화상을 축적할 수 있는 메모리가 구비되어 있고, 제1 카테고리에는 2프레임 분의 메모리 C1, 제2 카테고리에는 2프레임 분의 메모리 C2, 제3 카테고리에는 3프레임 분의 메모리 C3가 할당되어 있는 것으로 가정한다.
각 카테고리에서, 새로 복호 화상을 축적할 때에 모든 메모리에 화상이 축적되어 있는 경우에는, 가장 과거에 축적된 화상을 폐기하고 복호 화상을 축적한다. 화상 입력부(101)는, 입력 화상을 도 1(c)의 각 프레임 내에 기재된 숫자로 나타내는 순서로 취입하고, 입력 화상을 매크로 블록으로 분할하는 것으로 가정한다.
화상 분류부(102)는, 각 프레임을 도 1에 나타낸 카테고리(제1 레이어, 제2 레이어, 제3 레이어)로 분류하는 것으로 가정한다. 현재 카테고리 부호화부(106)는, 현재 프레임의 카테고리 번호를 고정된 길이로 부호화하는 것으로 가정한다. 예측 화상 작성부(103)에서는, 입력 화상과 참조 화상 사이에서 움직임을 탐색하고, 가장 차분이 작은 위치의 화상을 예측 화상으로 한다.
모션 벡터 정보는, 차분 부호화부(104)가 차분 부호화 데이터의 일부로서 부호화하는 것으로 가정한다. 또, 제1 프레임은 이미 부호화되어 있고, 참조 화상 메모리(107)에 복호 화상이 축적되어 있는 것으로 가정한다.
이와 같은 전제 하에 입력 화상을 다음과 같이 부호화한다. 먼저 화상 입력부(101)는, 도 1(c)에서의 제5 프레임을 취입, 매크로 블록으로 분할한다. 화상 분류부(102)는, 입력 화상을 제1 카테고리로 분류한다. 현재 카테고리 부호화부(106)는, 제1 카테고리인 것을 부호화한다.
참조 화상 전환부(110)는, 참조 화상을 제1 카테고리의 제1 프레임으로 설정한다. 예측 화상 작성부(103)는, 참조 화상으로부터 예측 화상을 작성한다. 차분 부호화부(104)는, 매크로 블록마다 차분 부호화 데이터를 작성한다. 이 프레임에서는 참조 화상의 후보가 1 프레임이므로, 부호량 계측부(109)는 부호량을 계측하지 않고, 스위치부(112)로부터 차분 부호화 데이터를 출력한다. 또, 복호부(108)는, 차분 부호화 데이터를 복호한다.
참조 화상 지정 정보 부호화부(105)는, 참조 화상 지정 정보를 부호화한다. 모든 매크로 블록을 부호화한 다음에 복호 화상을 참조 화상 메모리(107)의 제1 카테고리용의 메모리 C1에 축적한다. 제5 프레임을 부호화 후의 참조 화상 메모리(107)에는, 제1 카테고리용의 메모리 C1에 제1 프레임과 제5 프레임의 복호 화상이 축적되어 있다.
다음에 화상 입력부(101)는, 도 1(c)에서의 제3 프레임을 취입하고, 매크로 블록으로 분할한다. 화상 분류부(102)는, 입력 화상을 제2 카테고리로 분류한다. 현재 카테고리 부호화부(106)는, 제2 카테고리인 것을 부호화한다.
이어서 매크로 블록마다, 다음과 같이 부호화한다. 먼저 참조 화상 전환부(110)는, 참조 화상을 제1 카테고리의 제1 프레임으로 설정한다. 예측 화상 작성부(103)는, 참조 화상으로부터 예측 화상을 작성한다. 차분 부호화부(104)는, 차분 부호화 데이터를 작성한다. 부호량 계측부(109)는, 차분 부호화 데이터의 부호량을 계측한다.
다음에 참조 화상 전환부(110)는, 참조 화상을 제1 카테고리의 제2 프레임으로 설정한다. 차분 부호화부(104)는, 차분 부호화 데이터를 작성한다. 부호량 계측부(109)는, 차분 부호화 데이터의 부호량을 계측한다.
그리고 참조 화상 전환부(110)는, 부호량 계측부(109)에 의하여 얻어진 부호량 중 가장 값이 작은 경우의 프레임을 참조 화상으로 설정한다. 예측 화상 작성부(103)는, 참조 화상으로부터 예측 화상을 작성한다. 차분 부호화 데이터는, 차분 부호화 데이터를 작성하여 출력한다. 복호부(108)는, 차분 부호화 데이터를 복 호한다. 참조 화상 지정 정보 부호화부(105)는, 참조 화상 지정 정보를 부호화한다.
이와 같은 처리를 모든 매크로 블록에 대해서 실행한다. 모든 매크로 블록을 부호화한 다음에 복호 화상을 참조 화상 메모리(107)의 제2 카테고리용의 메모리 C2에 축적한다. 제3 프레임을 부호화 후의 참조 화상 메모리(107)에는, 제1 카테고리용의 메모리 C1에 제1 프레임과 제5 프레임의 복호 화상이, 제2 카테고리용의 메모리 C2에 제3 프레임의 복호 화상이 축적되어 있다.
다음에 화상 입력부(101)는, 도 1(c)에서의 제2 프레임을 취입하고, 매크로 블록으로 분할한다. 화상 분류부(102)는, 입력 화상을 제3 카테고리로 분류한다. 현재 카테고리 부호화부(106)는, 제3 카테고리인 것을 부호화한다.
이어서 매크로 블록마다, 다음과 같이 부호화한다. 먼저 참조 화상 전환부(110)는, 참조 화상을 제1 카테고리의 제1 프레임으로 설정한다. 예측 화상 작성부(103F)야, 참조 화상으로부터 예측 화상을 작성한다. 차분 부호화부(104)는, 차분 부호화 데이터를 작성한다. 부호량 계측부(109)는, 차분 부호화 데이터의 부호량을 계측한다.
이와 같은 처리를 모든 참조 화상의 후보에 대해서 실행한다. 참조 화상의 후보는, 참조 화상 메모리(107)의 제1 카테고리용의 메모리 C1 또는 제2 카테고리용의 메모리 C2에 축적된 화상(제1 프레임, 제5 프레임, 제3 프레임)이다.
그리고 참조 화상 전환부(110)는, 부호량 계측부(109)에 의하여 얻어진 부호량 중 가장 값이 작은 경우의 프레임을 참조 화상으로 설정한다. 예측 화상 작성 부(103)는, 참조 화상으로부터 예측 화상을 작성한다. 차분 부호화부(104)는, 차분 부호화 데이터를 작성하여 출력한다. 복호부(108)는, 차분 부호화 데이터를 복호한다. 참조 화상 지정 정보 부호화부(105)는, 참조 화상 지정 정보를 부호화한다.
이와 같은 처리를 모든 매크로 블록에 대해서 실행한다. 모든 매크로 블록을 부호화한 다음에 복호 화상을 참조 화상 메모리(107)의 제3 카테고리용의 메모리 C3에 축적한다. 제2 프레임을 부호화 후의 참조 화상 메모리(107)에는, 제1 카테고리용의 메모리 C1에 제1 프레임과 제5 프레임의 복호 화상이, 제2 카테고리용의 메모리 C2에 제3 프레임의 복호 화상이, 제3 카테고리용의 메모리 C3에 제2 프레임의 복호 화상이 축적되어 있다.
다음에 제4 프레임에 대하여 제2 프레임과 마찬가지로 하여, 제3 카테고리로 분류하고, 매크로 블록마다, 참조 화상을 전환하면서 차분 부호화 데이터를 구하고, 부호량이 가장 작아지도록 참조 화상을 결정하여, 복호 화상을 작성한다.
참조 화상의 후보는, 참조 화상 메모리(107)의 제1 카테고리 또는 제2 카테고리 또는 제3 카테고리용의 메모리(C1 또는 C2 또는 C3)에 축적된 화상(제1 프레임, 제5 프레임, 제3 프레임, 제2 프레임)이다.
모든 매크로 블록을 부호화한 다음에 복호 화상을 참조 화상 메모리(107)의 제3 카테고리용의 메모리 C3에 축적한다. 제4 프레임을 부호화 후의 참조 화상 메모리(107)에는, 제1 카테고리용의 메모리 C1에 제1 프레임과 제5 프레임의 복호 화상이, 제2 카테고리용의 메모리 C2에 제3 프레임의 복호 화상이, 제3 카테고리용의 메모리 C3에 제2 프레임과 제4 프레임의 복호 화상이 축적되어 있다.
다음에 제9 프레임에 대하여 제5 프레임과 마찬가지로 하여, 제1 카테고리로 분류하고, 매크로 블록마다, 참조 화상을 전환하면서 차분 부호화 데이터를 구하고, 부호량이 가장 작아지도록 참조 화상을 결정하여, 복호 화상을 작성한다. 참조 화상의 후보는, 참조 화상 메모리(107)의 제1 카테고리용의 메모리에 축적된 화상(제1 프레임, 제5 프레임)이다.
모든 매크로 블록을 부호화한 다음에 복호 화상을 참조 화상 메모리(107)의 제1 카테고리용의 메모리 C1에 축적한다. 이 때, 제1 카테고리용의 메모리 C1은, 2프레임 분만 축적할 수 있으므로, 가장 과거에 축적한 제1 프레임의 화상을 폐기한 후에, 제9 프레임의 복호 화상을 축적한다.
제9 프레임을 부호화 후의 참조 화상 메모리(107)에는, 제1 카테고리용의 메모리 C1에 제5 프레임과 제9 프레임의 복호 화상이, 제2 카테고리용의 메모리 C2에 제3 프레임의 복호 화상이, 제3 카테고리용의 메모리 C3에 제2 프레임과 제4 프레임의 복호 화상이 축적되어 있다.
다음에 제7 프레임에 대하여 제3 프레임과 마찬가지로 하여, 제2 카테고리로 분류하고, 매크로 블록마다, 참조 화상을 전환하면서 차분 부호화 데이터를 구하고, 부호량이 가장 작아지도록 참조 화상을 결정하여, 복호 화상을 작성한다. 참조 화상의 후보는, 참조 화상 메모리(107)의 제1 카테고리 또는 제2 카테고리용의 메모리(C1 또는 C2)에 축적된 화상(제5 프레임, 제9 프레임, 제3 프레임)이다.
모든 매크로 블록을 부호화한 다음에 복호 화상을 참조 화상 메모리(107)의 제2 카테고리용의 메모리 C2에 축적한다. 제7 프레임을 부호화 후의 참조 화상 메모리(107)에는, 제1 카테고리용의 메모리 C1에 제5 프레임과 제9 프레임의 복호 화상이, 제2 카테고리용의 메모리 C2에 제3 프레임과 제7 프레임의 복호 화상이, 제3 카테고리용의 메모리 C3에 제2 프레임과 제4 프레임의 복호 화상이 축적되어 있다.
다음에 제6 프레임에 대하여 제2 프레임과 마찬가지로 하여, 제3 카테고리로 분류하고, 매크로 블록마다, 참조 화상을 전환하면서 차분 부호화 데이터를 구하고, 부호량이 가장 작아지도록 참조 화상을 결정하여, 복호 화상을 작성한다.
참조 화상의 후보는, 참조 화상 메모리(107)의 제1 카테고리 또는 제2 카테고리용의 메모리(C1 또는 C2) 또는 제3 카테고리용의 메모리 C3에 축적된 화상(제5 프레임, 제9 프레임, 제3 프레임, 제7 프레임, 제2 프레임, 제4 프레임)이다.
모든 매크로 블록을 부호화한 다음에 복호 화상을 참조 화상 메모리(107)의 제3 카테고리용의 메모리 C3에 축적한다. 제6 프레임을 부호화 후의 참조 화상 메모리(107)에는, 제1 카테고리용의 메모리 C1에 제5 프레임과 제9 프레임의 복호 화상이, 제2 카테고리용의 메모리 C2에 제3 프레임과 제7 프레임의 복호 화상이, 제3 카테고리용의 메모리 C3에 제2 프레임과 제4 프레임과 제6 프레임의 복호 화상이 축적되어 있다.
다음에 제8 프레임에 대하여 제2 프레임과 마찬가지로 하여, 제3 카테고리로 분류하고, 매크로 블록마다, 참조 화상을 전환하면서 차분 부호화 데이터를 구하고, 부호량이 가장 작아지도록 참조 화상을 결정하여, 복호 화상을 작성한다.
참조 화상의 후보는, 참조 화상 메모리(107)의 제1 카테고리 또는 제2 카테 고리 또는 제3 카테고리용의 메모리(C1 또는 C2 또는 C3)에 축적된 화상(제5 프레임, 제9 프레임, 제3 프레임, 제7 프레임, 제2 프레임, 제4 프레임, 제6 프레임)이다.
모든 매크로 블록을 부호화한 다음에 복호 화상을 참조 화상 메모리(107)의 제3 카테고리용의 메모리 C3에 축적한다. 이 때, 제3 카테고리용의 메모리 C3는 3 프레임 분만 축적할 수 있으므로, 가장 과거에 축적한 제2 프레임의 화상을 폐기한 후에, 제8 프레임의 복호 화상을 축적한다.
제8 프레임을 부호화 후의 참조 화상 메모리(107)에는, 제1 카테고리용의 메모리 C1에 제5 프레임과 제9 프레임의 복호 화상이, 제2 카테고리용의 메모리 C2에 제3 프레임과 제7 프레임의 복호 화상이, 제3 카테고리용의 메모리 C3에 제4 프레임과 제6 프레임과 제8 프레임의 복호 화상이 축적되어 있다. 이상에 의하여 제1 프레임으로부터 제9 프레임까지의 부호화를 행한다.
도 5는, 본 발명의 실시예에서의 화상 부호화 처리의 일례를 나타낸 흐름도이다. 먼저, 화상 정보(프레임)를 인력하고, 매크로 블록에 분할한다(스텝 S1). 분할된 매크로 블록에는, 예를 들면 블록 번호 k(k = 1, 2, 3…)가 부여되어 있는 것으로 가정한다.
다음에, 입력 화상을 카테고리로 분류한다(스텝 S2). 현재 프레임의 카테고리 번호를 부호화 한다(스텝 S3). 최초의 매크로 블록(블록 번호 k = 1)을 인출하고(스텝 S4), 현재 프레임에 대한 참조 화상 후보를 선택하고(스텝 S5), 선택된 참조 화상 후보로부터 예측 화상을 작성한다(스텝 S6).
현재 프레임의 화상 정보와 선택된 참조 화상 후보로부터 작성된 예측 화상과의 차분을 부호화 한다(스텝 S7). 그리고, 차분 부호화 데이터의 부호량을 계측한다(스텝 S8).
선택되지 않은 참조 화상 후보가 있는지를 판단하고(스텝 S9), 선택되지 않은고 참조 화상 후보가 있으면 스텝 S5로 복귀하고, 선택되지 않은 참조 화상 후보가 없으면 차분 부호화 데이터의 부호량이 가장 작은 참조 화상 후보를 현재 프레임에 대한 참조 화상으로 설정한다(스텝 S10).
설정된 참조 화상으로부터 예측 화상을 작성하고(스텝 S11), 현재 프레임의 화상 정보와 설정된 참조 화상으로부터 작성된 예측 화상과의 차분을 부호화하고, 차분 부호화 데이터를 출력한다(스텝 S12). 차분 부호화 데이터를 복호하고 기억해 둔다(스텝 S13). 또, 참조 화상 지정 정보를 부호화 한다(스텝 S14).
다음에, 블록 번호 k를 인크리먼트하고(스텝 S15), 모든 매크로 블록에 대하여 차분 부호화 데이터를 작성했는지의 여부(k > kMAX)를 판단한다(스텝 S16). 차분 부호화 데이터가 작성되어 있지 않은 매크로 블록이 있는 경우에는, 스텝 S5로 되돌아온다. 모든 매크로 블록에 대하여 차분 부호화 데이터가 작성되었을 경우에는, 복호 화상을 참조 화상 메모리(107)에 축적하고(스텝 S17), 처리를 종료한다.
도 6은, 본 발명의 실시예에 관한 화상 복호 장치의 구성을 나타낸 도면이다. 화상 복호 장치(2)는, 차분 부호화 데이터를 복호하는 차분 복호부(201)과, 예측 화상을 작성하는 예측 화상 작성부(202)와, 참조 화상 지정 정보를 복호하는 참조 화상 지정 정보 복호부(203)와,, 현재 프레임의 카테고리 번호를 복호하는 현 재 카테고리 복호부(204)와, 참조 화상을 축적하는 참조 화상 메모리(205)와, 차분 화상과 예측 화상으로부터 복호 화상을 작성하는 복호 화상 작성부(206)와, 복호 화상을 참조 화상 메모리(205)에 축적하는 복호 화상 축적부(207)와, 예측 화상 작성부(202)에서 사용하는 참조 화상의 전환을 제어하는 참조 화상 전환부(208)와, 참조 화상 전환부(208)의 제어에 의해 참조 화상을 전환하는 스위치부(209)를 구비한다.
참조 화상 지정 정보 복호부(203)에서는, 예를 들면 도 2에 나타낸 바와 같이, 방법 1에 따라서 참조 화상 지정 정보를 복호하는 것으로 가정한다. 참조 화상 메모리(205)에는, 7 프레임 분의 화상을 축적할 수 있는 메모리가 구비되어 있고, 제1 카테고리에는, 2 프레임 분의 메모리 C1, 제2 카테고리에는, 2 프레임 분의 메모리 C2, 제3 카테고리에는, 3프레임 분의 메모리 C3가 할당되어 있는 것으로 가정한다.
각 카테고리에서, 새롭게 복호 화상을 축적할 때에 모든 메모리에 화상이 축적되어 있는 경우에는, 가장 과거에 축적한 화상을 폐기하고 복호 화상을 축적하는 것으로 한다.현재 카테고리 복호부(204)는, 현재 프레임의 카테고리 번호를 고정적으로 길이를 복호하는 것으로 한다. 또, 제1 프레임은, 이미 복호되어 있고, 참조 화상 메모리(205)에 복호 화상이 축적되어 있는 것으로 한다.
이하에, 상기 화상 부호화 장치(1)에 의하여 부호화된 부호화 데이터의 복호 처리를 구체적으로 설명한다. 도 1(c)의 제5 프레임에 대하여, 현재 카테고리 복호부(2O4)는, 현재 프레임의 카테고리 번호를 복호한다. 이어서 매크로 블록마다, 다음과 같이 하여 복호 화상을 작성한다.
차분 복호부(201)는, 차분 부호화 데이터를 복호하여 차분 화상을 작성한다. 또, 모션 벡터 정보도 복호한다. 참조 화상 지정 정보 복호부(203)는, 참조 화상 지정 정보를 복호한다. 참조 화상 전환부(208)는, 참조 화상을 참조 화상 지정 정보에 의하여 지정되는 화상으로 설정한다. 참조 화상의 후보는, 참조 화상 메모리(205)의 제1 카테고리용의 메모리 C1에 축적된 화상(제1 프레임)이다. 예측 화상 작성부(202)는, 참조 화상으로부터 모션 벡터에 대응한 예측 화상을 작성한다. 복호 화상 작성부(206)는, 차분 화상과 예측 화상으로부터 복호 화상을 작성한다.
이와 같은 처리를 모든 매크로 블록에 대해서 실행한다. 모든 매크로 블록을 복호한 다음에, 복호 화상 축적부(207)는, 복호 화상을, 참조 화상 메모리(205)에서 지정된 카테고리 번호용의 메모리에 축적하고, 출력한다. 제5 프레임을 복호 후의 참조 화상 메모리(205)에는, 제1 카테고리용의 메모리 C1에 제1 프레임과 제5 프레임의 복호 화상이 축적되어 있다.
제3 프레임에 대하여, 제5 프레임과 마찬가지로 부호화 데이터를 복호하고 복호 화상을 얻고, 참조 화상 메모리(205)에 축적하여 출력한다. 참조 화상의 후보는, 참조 화상 메모리(205)의 제1 카테고리용의 메모리 C1에 축적된 화상(제1 프레임, 제5 프레임)이다.
제3 프레임을 복호 후의 참조 화상 메모리(205)에는, 제1 카테고리용의 메모리 C1에 제1 프레임과 제5 프레임의 복호 화상이, 제2 카테고리용의 메모리 C2에 제3 프레임의 복호 화상이 축적되어 있다.
제2 프레임에 대하여, 제5 프레임과 마찬가지로 부호화 데이터를 복호하여 복호 화상을 얻고, 참조 화상 메모리(205)에 축적하여 출력한다. 참조 화상의 후보는, 참조 화상 메모리(205)의 제1 카테고리용의 메모리 C1 또는 제2 카테고리용의 메모리 C2에 축적된 화상(제1 프레임, 제5 프레임, 제3 프레임)이다.
제2 프레임을 복호 후의 참조 화상 메모리(205)에는, 제1 카테고리용의 메모리 C1에 제1 프레임과 제5 프레임의 복호 화상이, 제2 카테고리용의 메모리 C2에 제3 프레임의 복호 화상이, 제3 카테고리용의 메모리 C3에 제2 프레임의 복호 화상이 축적되어 있다.
제4 프레임에 대하여, 제5 프레임과 마찬가지로 부호화 데이터를 복호하고 복호 화상을 얻고, 참조 화상 메모리(205)에 축적하여 출력한다. 참조 화상의 후보는, 참조 화상 메모리(205)의 제1 카테고리 또는 제2 카테고리 또는 제3 카테고리용의 메모리(C1 또는, C2 또는, C3)에 축적된 화상(제1 프레임, 제5 프레임, 제3 프레임, 제2 프레임)이다.
제4 프레임을 복호 후의 참조 화상 메모리(205)에는, 제1 카테고리용의 메모리 C1에 제1 프레임과 제5 프레임의 복호 화상이, 제2 카테고리용의 메모리 C2에 제3 프레임의 복호 화상이, 제3 카테고리용의 메모리 C3에 제2 프레임과 제4 프레임의 복호 화상이 축적되어 있다.
제9 프레임에 대하여, 제5 프레임과 마찬가지로 부호화 데이터를 복호하여 복호 화상을 얻고, 참조 화상 메모리(205)에 축적하여 출력한다. 참조 화상의 후보는, 참조 화상 메모리(205)의 제1 카테고리용의 메모리 C1에 축적된 화상(제1 프 레임, 제5 프레임)이다. 이 때, 제1 카테고리용의 메모리 C1은 2 프레임 분만 축적할 수 있으므로, 가장 과거에 축적한 제1 프레임의 화상을 폐기하고나서, 제9 프레임의 복호 화상을 축적한다.
제9 프레임을 복호 후의 참조 화상 메모리(205)에는, 제1 카테고리용의 메모리 C1에 제5 프레임과 제9 프레임의 복호 화상이, 제2 카테고리용의 메모리 C2에 제3 프레임의 복호 화상이, 제3 카테고리용의 메모리 C3에 제2 프레임과 제4 프레임의 복호 화상이 축적되어 있다.
제7 프레임에 대하여, 제5 프레임과 마찬가지로 부호화 데이터를 복호하여 복호 화상을 얻고, 참조 화상 메모리(205)에 축적하여 출력한다. 참조 화상의 후보는, 참조 화상 메모리(205)의 제1 카테고리 또는 제2 카테고리용의 메모리(C1 또는 C2)에 축적된 화상(제5 프레임, 제9 프레임, 제3 프레임)이다.
제7 프레임을 복호 후의 참조 화상 메모리(205)에는, 제1 카테고리용의 메모리 C1에 제5 프레임과 제9 프레임의 복호 화상이, 제2 카테고리용의 메모리 C2에 제3 프레임과 제7 프레임의 복호 화상이, 제3 카테고리용의 메모리 C3에 제2 프레임과 제4 프레임의 복호 화상이 축적되어 있다.
제6 프레임에 대하여, 제5 프레임과 마찬가지로 부호화 데이터를 복호하여 복호 화상을 얻고, 참조 화상 메모리(205)에 축적하여 출력한다. 참조 화상의 후보, 참조 화상 메모리(205) 중의 제1 카테고리 또는 제2 카테고리 또는 제3 카테고리용의 메모리(C1 또는 C2 또는 C3)에 축적된 화상(제5 프레임, 제9 프레임, 제3 프레임, 제7 프레임, 제2 프레임, 제4 프레임)이다.
제6 프레임을 복호 후의 참조 화상 메모리(205)에는, 제1 카테고리용의 메모리 C1에 제5 프레임과 제9 프레임의 복호 화상이, 제2 카테고리용의 메모리 C2에 제3 프레임과 제7 프레임의 복호 화상이, 제3 카테고리용의 메모리 C3에 제2 프레임과 제4 프레임과 제6 프레임의 복호 화상이 축적되어 있다.
제8 프레임에 대하여, 제5 프레임과 마찬가지로 부호화 데이터를 복호하여 복호 화상을 얻고, 참조 화상 메모리(205)에 축적하여 출력한다. 참조 화상의 후보는, 참조 화상 메모리(205)의 제1 카테고리 또는 제2 카테고리 또는 제3 카테고리용의 메모리(C1 또는 C2 또는 C3)에 축적된 화상(제5 프레임, 제9 프레임, 제3 프레임, 제7 프레임, 제2 프레임, 제4 프레임, 제6 프레임)이다.
이 때, 제3 카테고리용의 메모리 C3는 3프레임 분만 축적할 수 있으므로, 가장 과거에 축적한 제2 프레임의 화상을 폐기하고나서, 제8 프레임의 복호 화상을 축적한다. 제8 프레임을 복호 후의 참조 화상 메모리(205)에는, 제1 카테고리용의 메모리 C1에 제5 프레임과 제9 프레임의 복호 화상이, 제2 카테고리용의 메모리 C2에 제3 프레임과 제7 프레임의 복호 화상이, 제3 카테고리용의 메모리 C3에 제4 프레임과 제6 프레임과 제8 프레임의 복호 화상이 축적되어 있다. 이상에 의해 제1 프레임으로부터 제9 프레임까지의 복호를 행한다.
도 7은, 본 발명의 실시예에서의 화상 복호 처리의 일례를 나타낸 흐름도이다. 제1 프레임은 이미 복호되어 있고, 참조 화상 메모리(205)에 복호 화상이 축적된 후의 처리의 흐름에 대하여 설명한다. 먼저, 현재 프레임의 카테고리 번호를 복호한다(스텝 S21). 블록 번호 k = 1로 설정한다(스텝 S22).
차분 부호화 데이터를 복호하여 차분 화상을 작성하고, 또, 모션 벡터 정보를 복호한다(스텝 S23). 참조 화상 지정 정보를 복호하고(스텝 S24), 참조 화상을 참조 화상 지정 정보에 의하여 지정되는 화상으로 설정한다(스텝 S25). 참조 화상으로부터 모션 벡터에 대응한 예측 화상을 작성한다(스텝 S26).
다음에, 차분 화상과 예측 화상에 의하여 복호 화상을 작성하고(스텝 S27), 블록 번호 k를 인크리먼트 하고(스텝 S28), 모든 매크로 블록에 대하여 복호 화상을 작성했는지 여부(k > kMAX)를 판단한다(스텝 S29).
복호 화상을 작성하지 않은 매크로 블록이 있는 경우에는, 스텝 S23으로 복귀하고, 모든 매크로 블록에 대하여 복호 화상을 작성한 경우에는, 복호 화상을 카테고리 번호에 의하여 지정된 참조 화상 메모리에 축적하고(스텝 S30), 복호 화상을 출력하여(스텝 S31), 처리를 종료한다.
다음에, 본 발명의 실시예에 있어서, 시간 해상도를 변경하여 복호하는 경우의 예에 대하여 설명한다. 제1 프레임은 이미 복호되어 있고, 참조 화상 메모리(205)에 복호 화상이 축적되어 있는 것으로 한다. 이 예에서는, 부호화 데이터로부터 제1 카테고리(도 1(c)의 제5 프레임과 제9 프레임)과 제2 카테고리(도 1(c)의 제3 프레임과 제7 프레임)의 화상만 복호하는 것으로 한다.
제5 프레임에 대하여, 상기의 예와 마찬가지로 하여, 부호화 데이터를 복호하여 복호 화상을 얻고, 참조 화상 메모리(205)에 축적하여 출력한다. 참조 화상의 후보는, 참조 화상 메모리(205)의 제1 카테고리용의 메모리 C1에 축적된 화상(제1 프레임)이다. 제5 프레임을 복호 후의 참조 화상 메모리(205)에는, 제1 카테고 리용의 메모리 C1에 제1 프레임과 제5 프레임의 복호 화상이 축적되어 있다.
제3 프레임에 대하여, 제5 프레임과 마찬가지로 부호화 데이터를 복호하여 복호 화상을 얻고, 참조 화상 메모리(205)에 축적하여 출력한다. 참조 화상의 후보는, 참조 화상 메모리(205)의 제1 카테고리용의 메모리 C1에 축적된 화상(제1 프레임, 제5 프레임)이다. 제3 프레임을 복호 후의 참조 화상 메모리(205)에는, 제1 카테고리용의 메모리 C1에 제1 프레임과 제5 프레임의 복호 화상이, 제2 카테고리용의 메모리 C1에 제3 프레임의 복호 화상이 축적되어 있다.
제9 프레임에 대하여, 제5 프레임과 마찬가지로 부호화 데이터를 복호하여 복호 화상을 얻고, 참조 화상 메모리(205)에 축적하여 출력한다. 참조 화상의 후보는, 제1 카테고리용의 메모리 C1에 축적된 화상(제1 프레임, 제5 프레임)이다. 이 때, 제1 카테고리용의 메모리에 C1은 2 프레임 분만 축적할 수 있으므로, 가장 과거에 축적한 제1 프레임의 화상을 폐기하고나서, 제9 프레임의 복호 화상을 축적한다. 제9 프레임을 복호 후의 참조 화상 메모리(205)에는, 제1 카테고리용의 메모리 C1에 제5 프레임과 제9 프레임의 복호 화상이, 제2 카테고리용의 메모리 C2에 제3 프레임의 복호 화상이 축적되어 있다.
제7 프레임에 대하여, 제5 프레임과 마찬가지로 부호화 데이터를 복호하여 복호 화상을 얻고, 참조 화상 메모리(205)에 축적하여 출력한다. 참조 화상의 후보는, 참조 화상 메모리(205)의 제1 카테고리 또는 제2 카테고리용의 메모리(C1 또는 C2)에 축적된 화상(제5 프레임, 제9 프레임, 제3 프레임)이다.
제7 프레임을 복호 후의 참조 화상 메모리(205)에는, 제1 카테고리용의 메모 리 C1에 제5 프레임과 제9 프레임의 복호 화상이, 제2 카테고리용의 메모리 C2에 제3 프레임과 제7 프레임의 복호 화상이 축적되어 있다.
이상에 의해 제3 카테고리의 화상을 복호하지 않아도, 제1 카테고리와 제2 카테고리의 화상을 정확하게 복호하는 것이 가능하다. 마찬가지로, 제1카테고리의 화상만을 복호하는 것이 가능하다.
본 실시예에서의 참조 화상 지정 정보 부호화부는 방법 1에 따라서 참조 화상 지정 정보를 부호화하고, 참조 화상 지정 정보 복호부는 방법 1에 따라 참조 화상 지정 정보를 복호하지만, 참조 화상 지정 정보를 잠정 프레임 번호로부터 결정하여 부호화할 수도 있다. 이 방법을 사용하는 경우의, 화상 부호화 장치의 참조 화상 지정 정보 부호화부(105)의 구성을 도 20에 나타낸다.
참조 화상 지정 정보 부호화부(105)는, 잠정 프레임 번호 설정부(1051)와 잠정 프레임 번호 부호화부(1052)에 의하여 구성된다. 여기서, 잠정 프레임 번호 설정부(1051)는, 참조 화상 메모리(107)에 축적된 복수개의 화상 정보 중, 현재 프레임의 카테고리 이하에 속하는 프레임의 화상 정보에 대해서, 잠정 프레임 번호를 설정한다. 잠정 프레임 번호 부호화부(1052)는, 예측 화상 작성부(103)에서 선택한 프레임을 지정하는 잠정 프레임 번호를, 참조 화상 지정 정보로서 부호화한다.
잠정 프레임 번호 설정부(1051)에서 잠정 프레임 번호를 설정하는 방법으로서는, 실시예에 기재된 방법 1이나 방법 2 또는 방법 3을 사용할 수도 있다. 또는 각 프레임의 부호화 순서를 이용하는 방법으로서 다음의 예를 들 수 있다. 잠정 프레임 번호 설정부(1051)를 도 21에 나타낸 바와 같이, 부호화 순서 기록부 (10511)와 잠정 프레임 번호 결정부(10512)에 의하여 구성한다. 부호화 순서 기록부(10511)는 과거에 부호화된 프레임의 부호화 순서를 카테고리마다의 부호화 순서 번호로서 기록한다. 잠정 프레임 번호 결정부(10512)는 과거에 부호화한 프레임의 부호화 순서 번호와 현재 프레임의 카테고리 번호로부터, 과거에 부호화된 프레임의 잠정 프레임 번호를 결정한다.
또는, 잠정 프레임 번호 설정부(1051)를 도 22에 나타낸 구성으로 할 수도 있다. 이 경우 잠정 프레임 번호 설정부(1051)는, 부호화 순서 기록부(10511)와 카테고리 번호 기록부(10513)와 잠정 프레임 번호 결정부(10512)에 의하여 구성된다. 여기서 부호화 순서 기록부(10511)는 과거에 부호화된 프레임의 부호화 순서를 부호화 순서 번호로서 기록하고, 카테고리 번호 기록부(10513)는 과거에 부호화된 프레임의 카테고리 번호를 기록한다. 즉 부호화 순서 기록부(10511)는 카테고리마다의 부호화 순서를 기억하는 것이 아니라, 카테고리에 관계없이 각 프레임의 부호화 순서를 기록한다. 그리고, 잠정 프레임 번호 결정부(10512)는 과거에 부호화한 프레임의 부호화 순서 번호와 카테고리 번호와 현재 프레임의 카테고리 번호로부터, 과거에 부호화된 프레임의 잠정 프레임 번호를 결정한다.
여기서, 잠정 프레임 번호 결정부(10512)는, 다음과 같이 부호화 순서로부터 잠정 프레임 번호를 결정할 수도 있다. 도 23에 나타낸 바와 같이 잠정 프레임 번호 결정부(10512)를 차분 프레임 번호 할당부(105121)와 잠정 프레임 번호 산출부(105122)에 의하여 구성한다. 차분 프레임 번호 할당부(105121)는, 미리 설정한 규칙에 따라서 부호화 순서 번호로부터 차분 프레임 번호를 할당한다. 그리고 잠 정 프레임 번호 산출부(105122)는, 차분 프레임 번호와 현재 프레임의 카테고리 번호의 조합으로부터 잠정 프레임 번호를 산출한다. 이 때, 차분 프레임 번호와 현재 프레임의 카테고리 번호의 조합에 대해서, 잠정 프레임 번호를 할당하는 표를 미리 구비해 두었다가, 차분 프레임 번호와 현재 프레임의 카테고리 번호로부터 표를 참조하여 잠정 프레임 번호를 구할 수도 있다. 또는, 차분 프레임 번호와 현재 프레임의 카테고리 번호의 조합에 대해서, 잠정 프레임 번호를 산출하는 계산식을 미리 설정해 두고, 차분 프레임 번호와 현재 프레임의 카테고리 번호로부터 계산에 의해 잠정 프레임 번호를 산출할 수도 있다.
또, 이들 경우, 참조 화상 지정 정보 복호부(203)는 도 24에 나타낸 바와 같이, 잠정 프레임 번호 설정부(2031)와 잠정 프레임 번호 복호부(2032)에 의하여 구성하는 것이 가능하다. 여기서, 잠정 프레임 번호 설정부(2031)는, 참조 화상 메모리(205)에 축적된 복수개의 화상 정보 중, 현재 프레임의 카테고리 이하에 속하는 프레임의 화상 정보에 대해서, 잠정 프레임 번호를 설정한다. 잠정 프레임 번호 복호부(2032)는, 예측 화상 작성부(202)에 의하여 선택된 프레임을 지정하는 잠정 프레임 번호를, 참조 화상 지정 정보로서 복호한다.
본 실시예에서는 참조 화상 지정 정보 부호화부(105)에서 방법 1에 따라서 참조 화상 지정 정보를 부호화하고, 참조 화상 지정 정보 복호부(203)에서 방법 1에 따라서 참조 화상 지정 정보를 복호한다. 즉, 참조 화상 지정 정보 부호화부 또는 참조 화상 지정 정보 복호부에서는, 미리 설정한, 각 카테고리에 대응한 참조 화상 지정 정보의 대응 관계를 사용하여 참조 화상 지정 정보를 부호화 또는 복호 한다. 다음에, 이 대응 관계를 프레임 또는 슬라이스마다 변경하는 구성을 나타낸다.
이 경우의 화상 부호화 장치(3)의 구성을 도 8에, 화상 복호 장치(4)의 구성을 도 9에 나타낸다. 각각, 참조 카테고리 설정부(311, 403)와 참조 화상 지정 정보 설정부(312, 410)를 추가한 구성이 되어 있다. 화상 부호화 장치(3)에서는, 참조 화상 지정 정보 부호화부(308)는, 참조 화상 전환부(307)에서 설정되는 참조 화상에 대해서, 참조 화상 지정 정보 설정부(312)에서 설정되는 관계에 따라서, 참조 화상 지정 정보를 부호화한다. 또 화상 복호 장치(4)에서는, 참조 화상 지정 정보 복호부(404)는 참조 화상 지정 정보를 복호하고, 참조 화상 전환부(403)가, 참조 화상 지정 정보 설정부(410)에서 설정되는 대응 관계에 따라서 참조 화상을 전환한다.
화상 부호화 장치(3)와 화상 복호 장치(4)에서의 참조 카테고리 설정부(311, 403)는, 프레임마다 현재 프레임의 카테고리 번호로부터, 참조 가능한 카테고리 번호를 설정한다. 본 실시예에서는 현재 프레임이 제1 카테고리이면, 참조 가능한 카테고리로서 제1을 설정하고, 현재 프레임이 제2 카테고리이면, 참조 가능한 카테고리로서 제1과 제2를 설정하고, 현재 프레임이 제3 카테고리이면, 참조 가능한 카테고리로서 제1과, 제2와, 제3을 설정한다.
그리고, 본 실시예에 나타낸 설정이 아니고, 예를 들면 제1 카테고리 이외에 대해서는, 현재 프레임이 속하는 카테고리를 참조 가능한 카테고리에 포함하지 않게 할 수도 있다.
화상 부호화 장치(3)에서의 참조 화상 지정 정보 설정부(312)는, 프레임마다 대응 시키는 방법에 대하여 방법 1 또는 방법 2 중, 어느 하나를 선택한다. 이 때, 어느 방법을 사용하였는지를 지정하는 정보를 부호화한다. 화상 복호 장치(4)에서의 참조 화상 지정 정보 설정부(410)는, 프레임마다 대응시키는 방법에 대하여 방법 1 또는 방법 2 중, 어느 것을 선택하였는지를 나타내는 정보를 복호하여, 어느 한쪽을 선택한다.
이 대응 방법의 설정은 프레임마다 행하지 않고, 슬라이스마다 실행할 수도 있다. 또, 방법 1 또는 방법 2에 한정되지 않고, 선택 가능한 방법을 미리 복수개 설정해 두고, 그들 중, 어느 하나를 선택할 수도 있다. 또한, 선택 가능한 방법을 미리 설정하는 것이 아니라, 대응 관계 그 자체를 부호화할 수도 있다. 대응 관계를 부호화하는 경우에는, 각 카테고리에 속하는 프레임에 대한 참조 화상 지정 정보의 대응 관계를 나타내는 정보를 부호화한다. 이 때 프레임을 지정하는 정보로서 프레임의 고유 번호를 할당해 두고, 그것을 이용할 수도 있다. 예를 들면, 제1 카테고리에 속하는 프레임 번호 1과 프레임 번호 5의 화상 정보가 참조 화상 메모리에 축적되어 있는 경우에는, 프레임 번호 5에 대해서 참조 화상 지정 정보 1을, 프레임 번호 1에 대해서 참조 화상 지정 정보 2를 대응시킬 수도 있다.
본 발명의 효과를 확인하기 위해, 종래 방법과 본 발명의 방법에 의한 화상 부호화/복호의 실험을 행하였다. 본 발명을 사용한 방법에서는, 상기의 실시예에서 설명한 바와 같이 3 레이어로 구성되는 참조 화상 메모리를 구비하고, 참조 화상 메모리를 제1 레이어는 2 프레임 분, 제2 레이어는 2 프레임 분 , 제3 레이어는 3 프레임 분의 화상 메모리로 구성하였다. 본 발명에 의한 방법을 사용한 화상 부호화/복호 방법을, 이하, LayerMul이라 한다.
종래 방법으로서, 레이어마다 참조 화상 메모리를 관리하지 않고 , 일정 간격마다 참조 화상 메모리에 축적한 화상을, 1 프레임 분만큼 남기고, 그외의 것은 폐기하는 방법을 사용한다. 상기 종래 방법을, 이하, LayerOff라 한다.
예를 들면, 방법 LayerOff에서는, 도 1에 있어서 프레임 번호 5의 프레임은 프레임 번호 1의 화상을 참조하고, 프레임 번호 3의 프레임은 프레임 번호 1과 프레임 번호 5의 화상을 참조하고, 프레임 번호 2의 프레임은 프레임 번호 (1)과 프레임 번호 5와 프레임 번호 3의 화상을 참조하고, 프레임 번호 4는 프레임 번호 (1)과 프레임 번호 5와 프레임 번호 3과 프레임 번호 2의 화상을 참조한다.
이와 같이 하여 프레임 번호 2의 프레임으로부터 프레임 번호 5의 프레임까지를 부호화한 후, 참조 화상 메모리에 축적되어 있는 프레임 번호 2로부터 프레임 번호 4까지의 화상을 폐기하고, 프레임 번호 5의 화상만 축적해 둔다.
이어서, 프레임 번호 9의 프레임은 프레임 번호 5의 화상을 참조하고, 프레임 번호 7의 프레임은 프레임 번호 5와 프레임 번호 9의 화상을 참조하고, 프레임 번호 6의 프레임은 프레임 번호 5와 프레임 번호 9와 프레임 번호 7의 화상을 참조하고, 프레임 번호 8의 프레임은 프레임 번호 5와 프레임 번호 9와 프레임 번호 7과 프레임 번호 6의 화상을 참조한다.
이와 같이 하여 프레임 번호 6의 프레임으로부터 프레임 번호 9의 프레임까지를 부호화한 후, 참조 화상 메모리에 축적되어 있는 프레임 번호 6의 프레임으로 부터 프레임 번호 8의 프레임까지의 화상을 폐기하고, 프레임 번호 9의 화상만 축적해 둔다.
이상과 같이 4 프레임마다 참조 화상 메모리의 화상을, 1프레임 분만 남기고, 그 외의 것은 폐기한다. 남긴 프레임을 지정하는 참조 화상 지정 정보를 1로 리셋한다. 이 방법에 의해서도, 모든 레이어를 복호하는 방법 외에, 제1 레이어 만 복호하거나, 또는 제1 레이어와 제2 레이어만 복호하는 것이 가능하다.
방법 LayerMul과 방법 Layeroff를 사용하여, 화상 사이즈가 가로 352, 세로288 화소로 17 프레임으로 구성되는 화상 A를 3레이어로 분류하여 부호화한 경우의, 프레임당의 부호량(비트수)를 도 10에 나타낸다. 예측 화상의 작성 방법과 예측 잔차의 부호화에 H.264 영상 부호화 방식으로 채용되어 있는 방식을 사용하였다.
양자화 스케일은 고정하여 실험을 행하고, 각 프레임에 있어서 방법 LayerMu1과 방법 LayerOff은 대략 같은 값이다. 이와 같이 프레임 번호 6까지는 양자는 대략 같은 부호량이 되지만, 그 이후의 홀수 번째의 프레임에 있어서 방법 LayerMu1 쪽이 방법 LayerOff보다 부호량이 적다.
이것은, 홀수 번째의 프레임은 제1 레이어와 제2 레이어에 속하고 있어 참조 화상으로서 이용할 수 있는 프레임 수가 방법 LayerMu1 쪽이 많은 것에 기인한다. 즉, 본 발명에 의하면, 레이어마다 참조 화상 메모리를 관리함으로써, 각 레이어의 부호화 효율을 향상됨을 나타내고 있다.
이상 설명한 본 발명의 실시예에서는, 1 프레임의 참조 화상으로부터 예측 화상을 작성하였지만, 복수개의 참조 화상으로부터 예측 화상을 작성할 수도 있다. 이 경우에는, 화상 부호화 장치(1)에서는, 참조 화상 전환부(110)가 복수개의 참조 화상을 선택하고, 예측 화상 작성부(103)는, 복수개의 참조 화상으로부터 예측 화상을 작성한다. 또, 참조 화상 지정 정보 부호화부(105)는, 복수개의 참조 화상 지정 정보를 부호화한다.
화상 복호 장치(2)에서는, 참조 화상 전환부(208)가 복수개의 참조 화상을 선택하고, 예측 화상 작성부(202)는, 복수개의 참조 화상으로부터 예측 화상을 작성한다. 또, 참조 화상 지정 정보 복호부(203)는, 복수개의 참조 화상 지정 정보를 복호한다.
복수개의 참조 화상으로부터 예측 화상을 작성하기 위해서는, 참조 화상 사이에서 대응하는 화소 위치의 화상 정보를 평균을 구할 수도 있다. 또, 가중 평균을 구할 수도 있다. 가중은, 예를 들면 옛 화상일수록 가중치가 작아지도록, 현재 프레임으로부터의 시간 간격에 의하여 산출할 수도 있다. 또는 명시적으로 부호화 할 수도 있다.
또, 본 실시예로서, 각 카테고리에 대한 참조 화상 메모리의 할당이 고정인 경우를 설명하였으나, 본 발명은, 참조 메모리의 할당이 고정의 경우에 한정되지 않고, 도중의 프레임으로 메모리의 할당을 바꿀 수도 있다. 예를 들면 제4 프레임을 부호화/복호한 후에, 제1 카테고리용의 메모리 C1을 3 프레임 분으로 하고, 제3 카테고리용의 메모리 C3을 2 프레임 분으로 할 수도 있다. 카테고리의 메모리 양을 크게함으로써, 그 카테고리의 부호화 효율을 향상시킬 수 있다.
또, 본 실시예로서 프레임을 주기적으로 카테고리에 할당하는 예를 설명하였으나, 본 발명은, 프레임을 주기적으로 카테고리에 할당하는 경우에 한정하는 것은 아니다. 예를 들면 도 11에 나타낸 바와 같이, 제4 프레임을 부호화할 때까지는 제3 카테고리까지 설정해 두었다가, 그 이후의 프레임을 부호화할 때에 제2 카테고리까지 부호화하고, 제3 카테고리는 부호화하지 않도록 할 수도 있다. 이 경우에는, 카테고리에의 참조 화상 메모리의 할당을 변경하는 편이 적합하다.
또, 본 실시예로서 현재 프레임의 카테고리 번호를 프레임마다 부호화하는 예를 설명하였으나, 본 발명은, 현재 프레임의 카테고리 번호를 프레임마다 부호화하는 경우에 한정되지 않고, 이것을 복수개의 프레임마다 부호화할 수도 있다. 예를 들면, 부호화 측에서는, 부호화 데이터를 프레임마다 출력하는 것이 아니고, 동일 카테고리에 속하는 프레임의 부호화 데이터를 축적해 두었다가, 어느 정도의 프레임 수를 부호화한 다음에, 카테고리마다, 카테고리 번호를 부호화하고, 그 번호로 지정되는 카테고리에 속하는 프레임의 부호화 데이터를 함께 출력할 수도 있다. 이 방법 쪽이, 카테고리마다 부호화 데이터가 정리가 되어 있으므로, 복호 측에서 특정한 카테고리의 부호화 데이터를 복호할 때, 부호화 측에서 출력되는 부호화 데이터로부터 원하는 부호화 데이터를 인출하기 용이하다.
이와 같이 카테고리마다 별개의 부호화 데이터로 구성되어 있는 경우에는, 복호 측에서 원하는 카테고리의 부호화 데이터를 인출하기 용이할 뿐만 아니라 , 부호화 측으로부터 복호 측의 사이에 중계 장치가 있는 경우에, 중계 장치에 의하여 특정한 카테고리의 부호화 데이터를 인출하는 것도 가능하다. 이와 같이 하면, 복수개의 프레임이 동화상을 구성하는 경우에, 복호 측에서 통상 낮은 프레임 레이트에 의하여 복호하여 출력해 두고, 필요한 시간대가 되었을 때에, 복호 측이 중계 장치에 많은 카테고리의 부호화 데이터를 요구하여 수신함으로써, 복호 측은 그 시간대만큼 높은 프레임 레이트에 의하여 복호하여 출력할 수 있다.
또, 본 실시예로서, 참조 화상 지정 정보를 상기 방법 1에 의하여 부호화하는 예를 설명하였으나, 본 발명은, 참조 화상 지정 정보를 상기 방법 1에 의하여 부호화하는 경우에 한정되지 않고, 부호화 측과 복호측이 일의적으로 참조 화상을 지정할 수 있고, 참조 화상으로 하지 않는 카테고리의 프레임을 복호하지 않는 경우에, 참조하는 화상이 일치하도록 지정한 방법이면 된다.
다음에, 본 발명의 화상 부호화 장치와 화상 복호 장치의 다른 실시예를 나타낸다. 이 경우의 화상 부호화 장치(5)의 구성을 도 12에, 화상 복호 장치(6)의 구성을 도 13에 나타낸다.
화상 부호화 장치(5)의 참조 화상 지정 정보 설정부(512)에서는, 프레임을 지정하는 정보로서 프레임의 고유 번호를 할당해 두고, 이에 대한 참조 화상 지정 정보를 대응시킨 대응 관계를 부호화한다. 대응 방법은, 참조 화상의 후보가 되는 프레임에 대하여, 카테고리 번호가 작은 순으로, 또 프레임 번호의 작은 순으로, 참조 화상을 지정하는 번호를 할당하는 것으로 한다. 화상 복호 장치(6)의 참조 화상 지정 정보 설정부(610)에서는, 이 대응 관계를 복호한다. 화상 부호화 장치(5)에서의 예측 화상 작성부(505)에서는 현재 프레임을 매크로 블록으로 분할하여 매크로 블록마다의 모션 벡터를 탐색하고, 모션 벡터 위치에 대응하는 예측 화상을 작성한다. 로스레스 부호화부(513)는 화상 정보를 로스레스 부호화한다.
여기서 도 14에 나타낸 4 프레임의 입력 화상을 부호화하는 경우의 처리를 나타낸다. 참조 화상 메모리는 제3 카테고리용으로 1 프레임, 제2 카테고리용으로 2 프레임, 제1 카테고리용으로 4프레임 분의 메모리가 있다고 가정한다. 그리고 입력되는 원래 화상은 참조 화상 메모리 중의 제1 카테고리용의 메모리에 축적되어 있는 것으로 한다.
먼저 제1 카테고리용 메모리에 있는 프레임 1과 프레임 2의 부호화를 행한다. 현재 카테고리 부호화부(503)은 카테고리 번호 1을 부호화한다. 참조 화상 지정 정보 설정부(512)는, 현재 프레임을 프레임 1로하는 경우의 참조 화상에 대한 참조 화상 지정 정보의 대응부를 설정한다. 이 시점에서는 제1 카테고리의 프레임 2만 참조 화상으로 설정된다. 예측 화상 작성부(505)는 프레임 2로부터 예측 화상을 작성한다. 차분 부호화부(504)는 예측 화상과 현재 프레임의 화상과의 차분인 고역 화상 정보를 부호화하고, 예측 화상을 작성할 때에 사용하는 모션 벡터도 부호화한다. 복호부(510)는 고역 화상 정보와 예측 화상 정보로부터 저역 화상 정보를 작성하고, 저역 화상 정보를 제2 카테고리용 참조 화상 메모리(506)의 프레임 (1)에 축적한다. 참조 화상 지정 정보 부호화부(508)는 참조 화상 지정 정보를 부호화한다.
다음에 제1 카테고리용 메모리에 있는 프레임 3과 프레임 4의 부호화를 행한다. 현재 카테고리 부호화부(503)는 카테고리 번호 1을 부호화한다. 참조 화상 지정 정보 설정부(512)는, 현재 프레임을 프레임 3으로하는 경우의 참조 화상에 대 한 참조 화상 지정 정보의 대응부를 설정한다. 이 시점에서는 제1 카테고리의 프레임 1과 프레임 2와 프레임 4와 제2 카테고리의 프레임 1이 참조 화상으로 설정된다. 다음에 매크로 블록마다, 설정된 참조 화상 중에서 하나를 선택하여, 다음에 나타낸 처리를 행한다. 예측 화상 작성부(505)는 선택한 참조 화상으로부터 예측 화상을 작성하고, 차분 부호화부(504)는 예측 화상과 현재 프레임의 화상과의 차분인 고역 화상 정보를 부호화하고, 예측 화상을 작성할 때에 사용하는 모션 벡터도 부호화하고, 부호량 계측부(509)는 이 때의 부호량을 계측한다.
이 처리를 모든 참조 화상에 대하여 행하고, 부호량 계측부(509)는 부호량이 적은 쪽을 참조 화상으로 선택하도록, 참조 화상 전환부(507)에 지시한다. 참조 화상 전환부(507)는 지시된 참조 화상을 선택하고, 예측 화상 작성부(505)는 예측 화상을 작성하고, 차분 부호화부(504)는 예측 화상과 현재 프레임의 화상과의 차분인 고역 화상 정보를 부호화하고, 예측 화상을 작성할 때에 사용하는 모션 벡터도 부호화한다. 참조 화상 지정 정보 부호화부(508)는 참조 화상 지정 정보를 부호화 한다. 모든 매크로 블록에 대하여 상기 처리를 행한 후, 복호부(510)는 고역 화상 정보와 예측 화상 정보로부터 저역 화상 정보를 작성하여, 저역 화상 정보를 제2 카테고리용 참조 화상 메모리(506)의 프레임 2에 축적한다. 단, 선택된 참조 화상이 제1 카테고리의 프레임 4 이외의 경우에는, 그 매크로 블록의 고역 화상 정보는 사용하지 않는다.
다음에 제2 카테고리용 메모리에 있는 프레임 1과 프레임 2의 부호화를 행한다. 현재 카테고리 부호화부(503)는 카테고리 번호 2를 부호화한다. 참조 화상 지정 정보 설정부(512)는, 현재 프레임을 프레임 1로하는 경우의 참조 화상에 대한 참조 화상 지정 정보의 대응부를 설정한다. 이 시점에서는 제2 카테고리의 프레임 2가 참조 화상으로 설정된다.
다음에 매크로 블록마다, 설정된 참조 화상으로부터 하나를 선택하여, 다음에 나타낸 처리를 행한다. 예측 화상 작성부(505)는 선택한 참조 화상으로부터 예측 화상을 작성하고, 차분 부호화부(504)는 예측 화상과 현재 프레임의 화상과의 차분인 고역 화상 정보를 부호화하고, 예측 화상을 작성할 때에 사용하는 모션 벡터도 부호화하고, 부호량 계측부(509)는 이 때의 부호량을 계측한다.
이 처리를 모든 참조 화상에 대하여 행하고, 부호량 계측부(509)는 부호량이 적은 쪽을 참조 화상으로 선택하도록, 참조 화상 전환부(507)에 지시한다. 참조 화상 전환부(507)는 지시된 참조 화상을 선택하고, 예측 화상 작성부(505)는 예측 화상을 작성하고, 차분 부호화부(504)는 예측 화상과 현재 프레임의 화상의 차분인 고역 화상 정보를 부호화하고, 예측 화상을 작성할 때에 사용하는 모션 벡터도 부호화한다. 참조 화상 지정 정보 부호화부(508)는 참조 화상 지정 정보를 부호화 한다.
모든 매크로 블록에 대하여 상기 처리를 행한 다음에, 복호부(510)는 고역 화상 정보와 예측 화상 정보로부터 저역 화상 정보를 작성하여, 저역 화상 정보를 제3 카테고리용 참조 화상 메모리(506)의 프레임 1에 축적한다. 그리고 마지막에 로스레스 부호화부(513)는, 제3 카테고리용 참조 화상 메모리의 프레임 1에 축적된 화상 정보를 로스레스 부호화한다.
다음에 이와 같이 작성되는 부호화 데이터를, 도 15에 나타낸 4 프레임의 출력 화상으로 복호하는 경우의 스텝을 나타낸다. 제3 카테고리, 제2 카테고리, 제1 카테고리의 순서로 복호한다.
먼저 현재 카테고리 복호부(605)는 카테고리 번호 3을 복호한다. 로스레스 복호부(611)는 부호화 데이터를 복호하여 제3 카테고리의 프레임 1에 복호 화상을 축적한다.
다음에 제2 카테고리의 복호를 행한다. 현재 카테고리 복호부(605)는 카테고리 번호 2를 복호한다. 참조 화상 지정 정보 설정부(604)는, 현재 프레임을 프레임 1로하는 경우의 참조 화상에 대한 참조 화상 지정 정보의 대응부를 설정한다. 화상 부호화 장치(5)에 의하여 참조 화상으로 한 제2 카테고리의 프레임 2를 지정하는 참조 화상 지정 정보를, 제3 카테고리의 프레임 1을 지정하도록 대응시킨다. 이 시점에서는 제3 카테고리의 프레임 1이 참조 화상으로 설정된다.
다음에 매크로 블록마다, 다음에 나타낸 처리를 행한다. 차분 복호부(601)는 고역 화상 정보와 모션 벡터를 복호한다. 참조 화상 지정 정보 복호부(604)는 참조 화상 지정 정보를 복호한다. 참조 화상 전환부(603)는 참조 화상 지정 정보에 의하여 지시된 참조 화상을 선택하고, 예측 화상 작성부(602)는 모션 벡터를 사용하여 예측 화상을 작성한다. 복호 화상 작성부(607)은 고역 화상 정보와 예측 화상으로부터 복호 화상 2 프레임을 작성한다. 복호 화상 축적부(608)는 복호 화상을 제2 카테고리의 프레임 1과 프레임 2에 축적한다.
이어서 제1 카테고리의 복호를 행한다. 먼저 프레임 1과 프레임 2를 복호하 는 스텝을 나타낸다. 현재 카테고리 복호부(605)는 카테고리 번호 1을 복호한다. 참조 화상 지정 정보 설정부(610)는, 현재 프레임을 프레임 1로하는 경우의 참조 화상에 대한 참조 화상 지정 정보의 대응부를 설정한다. 화상 부호화 장치(5)에서 참조 화상에 대한 제1 카테고리의 프레임 2를 지정하는 참조 화상 지정 정보를, 제2 카테고리의 프레임 1을 지정하도록 대응시킨다. 이 시점에서는 제2 카테고리의 프레임 1이 참조 화상으로 설정된다.
다음에 매크로 블록마다, 다음에 나타낸 처리를 행한다. 차분 복호부(601)는 고역 화상 정보와 모션 벡터를 복호한다. 참조 화상 지정 정보 복호부(604)는 참조 화상 지정 정보를 복호한다. 참조 화상 전환부(603)는 참조 화상 지정 정보에 의하여 지시된 참조 화상을 선택하고, 예측 화상 작성부(602)는 모션 벡터를 사용하여 예측 화상을 작성한다. 복호 화상 작성부(607)는 고역 화상 정보와 예측 화상으로부터 복호 화상 2 프레임을 작성한다. 복호 화상 축적부(608)는 복호 화상을 제1 카테고리의 프레임 1과 프레임 2에 축적한다.
다음에 프레임 3과 프레임 4를 복호하는 스텝을 나타낸다. 현재 카테고리 복호부(605)는 카테고리 번호 1을 복호한다. 참조 화상 지정 정보 설정부(610)는, 현재 프레임을 프레임 3으로하는 경우의 참조 화상에 대한 참조 화상 지정 정보의 대응부를 설정한다. 화상 부호화 장치(5)에 의하여 참조 화상으로 한 제1 카테고리의 프레임 4를 지정하는 참조 화상 지정 정보를, 제2 카테고리의 프레임 2를 지정하도록 대응시킨다. 이 시점에서는 제2 카테고리의 프레임 1과 프레임 2와, 제1 카테고리의 프레임 1과 프레임 2가 참조 화상으로 설정된다.
다음에 매크로 블록마다, 다음에 나타낸 처리를 행한다. 차분 복호부(601)는 고역 화상 정보와 모션 벡터를 복호한다. 참조 화상 지정 정보 복호부(604)는 참조 화상 지정 정보를 복호한다. 참조 화상 전환부(603)은 참조 화상 지정 정보에 의하여 지시된 참조 화상을 선택하고, 예측 화상 작성부(602)는 모션 벡터를 사용하여 예측 화상을 작성한다. 복호 화상 작성부(607)는 고역 화상 정보와 예측 화상으로부터 복호 화상을 2 프레임 작성한다. 단, 선택된 참조 화상이 제2 카테고리의 프레임 2 이외의 경우에는, 그 매크로 블록의 고역 화상 정보는 사용하지 않는다.
복호 화상 축적부(608)은 복호 화상을 제1 카테고리의 프레임 3과 프레임 4에 축적한다. 이상에 의하여, 부호화 대상 화상인 제1 카테고리 4 프레임이 복호된다. 여기서는, 예측 화상 작성부(602)에 의하여 모션 탐색을 행하였으나, 그렇게 하지 않고, 화면 내에서 동일 위치의 화상 정보로부터 예측 화상을 작성할 수도 있다.
본 실시예에 따르면, 제2 카테고리의 프레임 3과 프레임 4를 부호화할 때에 복수개의 참조 화상으로부터 참조 화상을 선택할 수 있기 때문에, 부호화 효율을 향상시킬 수 있다.
또한, 본 실시예로서 복수개의 화상을 프레임에 할당하여 동화상으로 간주하여 부호화하는 예를 설명하였으나, 본 발명은 복수개의 화상을 프레임에 할당하고 동화상으로 간주해 부호화하는 경우에 한정되지 않고, 복수개의 화상의 시간적인 상관 관계는 없을 수도 있다. 즉, 시점이나 시선을 바꾸어서 촬영한 복수개의 화 상에 대하여, 각 화상을 프레임으로 간주하여 부호화할 수도 있다.
또, 본 실시예로서 예측 잔차를 불가역 부호화하는 예를 설명하였으나, 본 발명은, 예측 잔차를 불가역 부호화하는 경우에 한정되지 않고, 가역 부호화할 수도 있다. 이 경우에는, 화상 부호화 장치(1)에 복호부(108)를 구비하지 않고, 참조 화상 메모리(107)에 복호 화상을 축적하는 것이 아니라, 원래 화상을 축적할 수도 있다.
또, 본 발명은, 2차원 화상을 부호화하는 경우에 한정되지 않고, 화상의 차원은 2차원 이외일 수도 있다. 예를 들면 3차원의 복수개의 화상을 부호화할 수도 있고, 1차원의 복수개의 화상을 축적할 수도 있다.
본 발명에 의하면, 복수개의 프레임의 화상을 부호화 또는 복호할 때에, 참조 화상 메모리를 복수개의 카테고리로 분류해 두었다가, 카테고리마다 참조 화상을 관리함으로써, 카테고리를 복호하는 경우와 그렇지 않은 경우에서, 동일한 참조 화상이 지정되어 정확한 복호 화상을 얻을 수 있다. 또, 카테고리마다 참조 화상을 많이 둘 수 있어서, 부호화 효율을 향상시킬 수 있다.

Claims (32)

  1. 복수개의 프레임으로 구성되는 화상 정보를 부호화하는 화상 부호화 방법으로서,
    부호화 대상의 각 프레임을 N개(N ≥ 2)의 카테고리로 분류하는 화상 분류 스텝과,
    제j 카테고리로 분류되는 현재 프레임에 대하여, 제i(1 ≤ i ≤ j) 카테고리의, 과거에 부호화한 참조 화상 메모리 중의 복수개의 프레임의 화상 정보로부터 화상 정보를 선택하고, 예측 화상을 작성하는 예측 화상 작성 스텝과,
    현재 프레임의 화상 정보와 예측 화상의 차분을 부호화하는 차분 부호화 스텝과,
    상기 선택한 화상 정보를 지정하는, 제j 카테고리용의 참조 화상 지정 정보를 부호화하는 참조 화상 지정 정보 부호화 스텝과,
    현재 프레임의 카테고리 번호를 부호화하는 현재 카테고리 부호화 스텝과,
    현재 프레임의 화상 정보를 참조 화상 메모리에 축적하는 화상 축적 스텝
    을 가지는 것을 특징으로 하는 화상 부호화 방법.
  2. 제1항에 있어서,
    상기 카테고리마다, 카테고리에 소속하는 프레임을 지정하는 프레임 번호가 할당되고,
    상기 참조 화상 지정 정보가, 상기 예측 화상 작성부에서 선택한 화상 정보가 속하는 카테고리의 번호와, 그 번호로 지정되는 카테고리의 프레임 번호에 의하여 구성되는 것을 특징으로 하는 화상 부호화 방법.
  3. 제1항에 있어서,
    상기 차분 부호화 스텝에 의해 작성한 부호화 데이터를 복호하는 차분 복호 스텝과,
    상기 차분 복호 스텝에 의해 작성한 복호 데이터와 상기 예측 화상으로부터 복호 화상을 작성하는 복호 작성 스텝을 더 가지고,
    상기 차분 부호화 스텝에서는 상기 차분을 불가역 부호화에 의하여 부호화하고,
    상기 화상 축적 스텝에서는 상기 복호 화상 작성 스텝에 의해 작성한 현재 프레임의 복호 화상 정보를 축적하는
    것을 특징으로 하는 화상 부호화 방법.
  4. 제1항에 있어서,
    상기 참조 화상 지정 정보 부호화 스텝은,
    상기 참조 화상 메모리에 축적된 복수개의 화상 정보 중, 제i 카테고리에 속하는 프레임의 화상 정보에 대해서, 잠정 프레임 번호를 설정하는 잠정 프레임 번호 설정 스텝과,
    상기 예측 화상 작성 스텝에서 선택한 화상 정보를 지정하는 잠정 프레임 번호를, 참조 화상 지정 정보로서 부호화하는 잠정 프레임 번호 부호화 스텝
    을 가지는 것을 특징으로 하는 화상 부호화 방법.
  5. 제4항에 있어서,
    상기 잠정 프레임 번호 설정 스텝은,
    과거에 부호화된 프레임의 부호화 순서를 카테고리마다의 부호화 순서 번호로서 기록하는 부호화 순서 기록 스텝과,
    과거에 부호화한 프레임의 부호화 순서 번호와 현재 프레임의 카테고리 번호로부터, 과거에 부호화된 프레임의 잠정 프레임 번호를 결정하는 잠정 프레임 번호 결정 스텝
    을 가지는 것을 특징으로 하는 화상 부호화 방법.
  6. 제4항에 있어서,
    상기 잠정 프레임 번호 설정 스텝은,
    과거에 부호화된 프레임의 부호화 순서를 부호화 순서 번호로서 기록하는 부호화 순서 기록 스텝과,
    과거에 부호화된 프레임의 카테고리 번호를 기록하는 카테고리 번호 기록 스텝과,
    과거에 부호화한 프레임의 부호화 순서 번호와 현재 프레임의 카테고리 번호 로부터, 과거에 부호화된 프레임의 잠정 프레임 번호를 결정하는 잠정 프레임 번호 결정 스텝
    을 가지는 것을 특징으로 하는 화상 부호화 방법.
  7. 제5항 또는 제6항에 있어서,
    상기 잠정 프레임 번호 결정 스텝은,
    부호화 순서 번호가 큰 순서대로 차분 프레임 번호를 할당하는 차분 프레임 번호 할당 스텝과,
    차분 프레임 번호와 현재 프레임의 카테고리 번호의 조합에 대해서, 잠정 프레임 번호를 할당하는 표(테이블)를 미리 구비해 두고, 차분 프레임 번호와 현재 프레임 번호로부터 표를 참조하여 잠정 프레임 번호를 산출하는 잠정 프레임 번호 산출 스텝
    을 가지는 것을 특징으로 하는 화상 부호화 방법.
  8. 제5항 또는 제6항에 있어서,
    상기 잠정 프레임 번호 결정 스텝은,
    부호화 순서 번호가 큰 순서대로 차분 프레임 번호를 할당하는 차분 프레임 번호 할당 스텝과,
    차분 프레임 번호와 현재 프레임의 카테고리 번호의 조합에 대해서, 잠정 프레임 번호를 산출하는 계산식을 미리 설정해 두고, 차분 프레임 번호와 현재 프레 임 번호로부터 계산에 의해 잠정 프레임 번호를 산출하는 잠정 프레임 번호 산출 스텝
    을 가지는 것을 특징으로 하는 화상 부호화 방법.
  9. 복수개의 프레임으로 구성되는 화상 정보를 복호하는 화상 복호 방법으로서,
    현재 프레임의 카테고리 번호를 복호하는 현재 카테고리 복호 스텝과,
    상기 복호한 카테고리 번호용의, 참조 화상 정보를 지정하는 참조 화상 지정 정보를 복호하는 참조 화상 지정 정보 복호 스텝과,
    상기 참조 화상 지정 정보에 의하여 지정되는 화상 정보로부터 예측 화상을 작성하는 예측 화상 작성 스텝과,
    현재 프레임의 복호 화상과 예측 화상의 차분을 복호하는 차분 복호 스텝과,
    상기 복호한 차분 정보와 상기 예측 화상으로부터 현재 프레임의 복호 화상을 작성하는 복호 화상 작성 스텝과,
    상기 작성한 현재 프레임의 복호 화상 정보를, 상기 복호한 카테고리 번호용의 참조 화상 메모리에 축적하는 복호 화상 축적 스텝
    을 가지는 것을 특징으로 하는 화상 복호 방법.
  10. 제9항에 있어서,
    상기 참조 화상 지정 정보는, 상기 예측 화상 작성부에 의해 상기 참조 화상 메모리로부터 읽어들이는 참조 화상 정보가 소속하는 카테고리의 번호와 그 번호로 지정되는 카테고리에 속하는 프레임을 지정하는 프레임 번호로 구성되는 것을 특징으로 하는 화상 복호 방법.
  11. 제9항에 있어서,
    상기 참조 화상 지정 정보 복호 스텝은,
    상기 참조 화상 메모리에 축적된 복수개의 화상 정보 중, 제i 카테고리에 속하는 프레임의 화상 정보에 대해서, 잠정 프레임 번호를 설정하는 잠정 프레임 번호 설정 스텝과,
    참조 화상 지정 정보를 복호하여, 상기 예측 화상 작성 스텝에서 선택하는 화상 정보를 지정하는 잠정 프레임 번호를 얻는 잠정 프레임 번호 복호 스텝
    을 가지는 것을 특징으로 하는 화상 복호 방법.
  12. 제11항에 있어서,
    상기 잠정 프레임 번호 설정 스텝은,
    과거에 복호된 프레임의 복호 순서를 카테고리마다의 복호 순서 번호로서 기록하는 복호 순서 기록 스텝과,
    과거에 복호한 프레임의 복호 순서 번호와 현재 프레임의 카테고리 번호로부터, 과거에 복호된 프레임의 잠정 프레임 번호를 결정하는 잠정 프레임 번호 결정 스텝
    을 가지는 것을 특징으로 하는 화상 복호 방법.
  13. 제11항에 있어서,
    상기 잠정 프레임 번호 설정 스텝은,
    과거에 복호된 프레임의 복호 순서를 복호 순서 번호로서 기록하는 복호 순서 기록 스텝과,
    과거에 복호된 프레임의 카테고리 번호를 기록하는 카테고리 번호 기록 스텝과,
    과거에 복호한 프레임의 복호 순서 번호와 현재 프레임의 카테고리 번호로부터, 과거에 복호된 프레임의 잠정 프레임 번호를 결정하는 잠정 프레임 번호 결정 스텝
    을 가지는 것을 특징으로 하는 화상 복호 방법.
  14. 제12항 또는 제13항에 있어서,
    상기 잠정 프레임 번호 결정 스텝은,
    복호 순서 번호가 큰 순서대로 차분 프레임 번호를 할당하는 차분 프레임 번호 할당 스텝과,
    차분 프레임 번호와 현재 프레임의 카테고리 번호의 조합에 대해서, 잠정 프레임 번호를 할당하는 표를 미리 구비해 두고, 차분 프레임 번호와 현재 프레임 번호로부터 표를 참조하여 잠정 프레임 번호를 산출하는 잠정 프레임 번호 산출 스텝
    을 가지는 것을 특징으로 하는 화상 복호 방법.
  15. 제12항 또는 제13항에 있어서,
    상기 잠정 프레임 번호 결정 스텝은,
    복호 순서 번호의 큰 순서대로 차분 프레임 번호를 할당하는 차분 프레임 번호 할당 스텝과,
    차분 프레임 번호와 현재 프레임의 카테고리 번호의 조합에 대해서, 잠정 프레임 번호를 산출하는 계산식을 미리 설정해 두고, 차분 프레임 번호와 현재 프레임 번호로부터 계산에 의해 잠정 프레임 번호를 산출하는 잠정 프레임 번호 산출 스텝
    을 가지는 것을 특징으로 하는 화상 복호 방법.
  16. 복수개의 프레임으로 구성되는 화상 정보를 부호화하는 화상 부호화 장치로서,
    부호화 대상의 각 프레임을 N개(N ≥ 2)의 카테고리로 분류하는 화상 분류부와
    제j 카테고리로 분류되는 현재 프레임에 대하여, 제i(1 ≤ i ≤ j) 카테고리의, 과거에 부호화한 복수개의 프레임의 화상 정보로부터 화상 정보를 선택하여, 예측 화상을 작성하는 예측 화상 작성부와,
    현재 프레임의 화상 정보와 예측 화상의 차분을 부호화하는 차분 부호화부와,
    상기 예측 화상 작성부에서 선택한 화상 정보를 지정하는, 제j 카테고리용의 참조 화상 지정 정보를 부호화하는 참조 화상 지정 정보 부호화부와
    현재 프레임의 카테고리 번호를 부호화하는 현재 카테고리 부호화부와,
    현재 프레임의 화상 정보를 축적하는 참조 화상 메모리
    로 이루어지는 것을 특징으로 하는 화상 부호화 장치.
  17. 제16항에 있어서,
    상기 차분 부호화부에 의해 작성한 부호화 데이터를 복호하는 차분 복호부와,
    상기 차분 복호부에 의해 작성한 복호 데이터와 상기 예측 화상으로부터 복호 화상을 작성하는 복호 작성부를 더 가지고,
    상기 차분 부호화부는 상기 차분을 불가역 부호화에 의하여 부호화하고,
    상기 참조 화상 메모리는 상기 복호 화상 작성부에 의해 작성한 현재 프레임의 복호 화상 정보를 축적하는
    것을 특징으로 하는 화상 부호화 장치.
  18. 복수개의 프레임으로 구성되는 화상 정보를 복호하는 화상 복호 장치로서,
    N개(N ≥ 2)의 카테고리로 분류된 복수개의 프레임 분의 참조 화상 메모리와,
    현재 프레임의 카테고리 번호를 복호하는 현재 카테고리 복호부와,
    상기 현재 카테고리 복호부에 의해 얻어지는 카테고리 번호용의, 참조 화상 정보를 지정하는 참조 화상 지정 정보를 복호하는 참조 화상 지정 정보 복호부와,
    상기 참조 화상 지정 정보에 의해 지정되는 화상 정보로부터 예측 화상을 작성하는 예측 화상 작성부와,
    현재 프레임의 복호 화상과 예측 화상의 차분을 복호하는 차분 복호부와,
    상기 복호한 차분 정보와 상기 예측 화상으로부터 현재 프레임의 복호 화상을 작성하는 복호 화상 작성부와,
    상기 작성한 현재 프레임의 복호 화상 정보를, 상기 현재 카테고리 복호부에 의해 얻어지는 카테고리 번호용의 참조 화상 메모리에 축적하는 복호 화상 축적부
    로 이루어지는 것을 특징으로 하는 화상 복호 장치.
  19. 복수개의 프레임으로 구성되는 화상 정보를 부호화하는 화상 부호화 방법으로서,
    부호화 대상의 각 프레임을 N개( N ≥ 2)의 카테고리로 분류하는 화상 분류 스텝과,
    현재 프레임이 속하는 카테고리의 프레임을 부호화할 때에 참조 가능한 카테고리를 설정하는 참조 카테고리 설정 스텝과,
    상기 참조 카테고리 설정 스텝에서 설정되는 참조 가능한 카테고리에 속하는, 참조 화상 메모리에 축적된 프레임의 화상 정보에 대하여, 참조 화상 지정 정보를 설정하는 참조 화상 지정 정보 설정 스텝과,
    상기 참조 카테고리 설정 스텝에서 설정되는 카테고리의, 과거에 부호화한 복수개의 프레임의 화상 정보로부터 화상 정보를 선택하여, 예측 화상을 작성하는 예측 화상 작성 스텝과,
    현재 프레임의 화상 정보와 예측 화상의 차분을 부호화하는 차분 부호화 스텝과, 상기 예측 화상 작성 스텝에서 선택한 화상 정보를 지정하는 참조 화상 지정 정보를 부호화하는 참조 화상 지정 정보 부호화 스텝과,
    현재 프레임의 카테고리 번호를 부호화하는 현재 카테고리 부호화 스텝과,
    현재 프레임의 화상 정보를 참조 화상 메모리에 축적하는 화상 축적 스텝
    을 가지는 것을 특징으로 하는 화상 부호화 방법.
  20. 제19항에 있어서,
    상기 차분 부호화 스텝에 의해 작성한 부호화 데이터를 복호하는 차분 복호 스텝과,
    상기 차분 복호 스텝에 의해 작성한 복호 데이터와 상기 예측 화상으로부터 복호 화상을 작성하는 복호 작성 스텝을 더 가지고,
    상기 차분 부호화 스텝에서 상기 차분을 불가역 부호화에 의하여 부호화하고,
    상기 화상 축적 스텝에서 상기 복호 화상 작성 스텝에 의해 작성한 현재 프레임의 복호 화상 정보를 축적하는
    것을 특징으로 하는 화상 부호화 방법.
  21. 복수개의 프레임으로 구성되는 화상 정보를 복호하는 화상 복호 방법으로서,
    현재 프레임의 카테고리 번호를 복호하는 현재 카테고리 복호 스텝과,
    현재 프레임이 속하는 카테고리의 프레임을 복호할 때에 참조 가능한 카테고리를 설정하는 참조 카테고리 설정 스텝과,
    상기 참조 카테고리 설정 스텝에서 설정되는 참조 가능한 카테고리에 속하는, 참조 화상 메모리에 축적된 프레임의 화상 정보에 대하여, 참조 화상 지정 정보를 설정하는 참조 화상 지정 정보 설정 스텝과,
    참조 화상 정보를 지정하는 참조 화상 지정 정보를 복호하는 참조 화상 지정 정보 복호 스텝과,
    참조 화상 지정 정보에 의하여 지정되는 화상 정보로부터 예측 화상을 작성하는 예측 화상 작성 스텝과,
    현재 프레임의 복호 화상과 예측 화상의 차분을 복호하는 차분 복호 스텝과,
    차분 정보와 예측 화상으로부터 복호 화상을 작성하는 복호 화상 작성 스텝과,
    현재 프레임의 복호 화상을, 상기 현재 카테고리 복호 스텝에서 얻어지는 카테고리 번호용의 화상 참조 메모리에 축적하는 복호 화상 축적 스텝
    을 실행하는 것을 특징으로 하는 화상 복호 방법.
  22. 복수개의 프레임으로 구성되는 화상 정보를 부호화하는 화상 부호화 장치로 서,
    부호화 대상의 각 프레임을 N개(N ≥ 2)의 카테고리로 분류하는 화상 분류부와,
    현재 프레임이 속하는 카테고리의 프레임을 부호화할 때에 참조 가능한 카테고리를 설정하는 참조 카테고리 설정부와,
    상기 참조 카테고리 설정부에서 설정되는 참조 가능한 카테고리에 속하는, 참조 화상 메모리에 축적된 프레임의 화상 정보에 대하여, 참조 화상 지정 정보를 설정하는 참조 화상 지정 정보 설정부와,
    상기 참조 카테고리 설정부에서 설정되는 카테고리의, 과거에 부호화한 복수개의 프레임의 화상 정보로부터 화상 정보를 선택하여, 예측 화상을 작성하는 예측 화상 작성부와,
    현재 프레임의 화상 정보와 예측 화상의 차분을 부호화하는 차분 부호화부와,
    상기 예측 화상 작성부에서 선택한 화상 정보를 지정하는 참조 화상 지정 정보를 부호화하는 참조 화상 지정 정보 부호화부와,
    현재 프레임의 카테고리 번호를 부호화하는 현재 카테고리 부호화부와,
    현재 프레임의 화상 정보를 축적하는 참조 화상 메모리
    를 구비하는 것을 특징으로 하는 화상 부호화 장치.
  23. 제22항에 있어서,
    상기 차분 부호화부에 의해 작성한 부호화 데이터를 복호하는 차분 복호부와,
    상기 차분 복호부에 의해 작성한 복호 데이터와 상기 예측 화상으로부터 복호 화상을 작성하는 복호 작성부를 더 가지고,
    상기 차분 부호화부는 상기 차분을 불가역 부호화에 의하여 부호화하고,
    상기 참조 화상 메모리는 상기 복호 화상 작성부에 의해 작성한 현재 프레임 정보를 축적하는
    것을 특징으로 하는 화상 부호화 장치.
  24. 복수개의 프레임으로 구성되는 화상 정보를 복호하는 화상 복호 장치로서,
    N개(N ≥ 2)의 카테고리로 분류된 복수개의 프레임 분의 참조 화상 메모리와,
    현재 프레임의 카테고리 번호를 복호하는 현재 카테고리 복호부와,
    현재 프레임이 속하는 카테고리의 프레임을 복호할 때에 참조 가능한 카테고리를 설정하는 참조 카테고리 설정부와,
    상기 참조 카테고리 설정부에 의하여 설정되는 참조 가능한 카테고리에 속하는, 상기 참조 화상 메모리에 축적된 프레임의 화상 정보에 대하여, 참조 화상 지정 정보를 설정하는 참조 화상 지정 정보 설정부와,
    참조 화상 정보를 지정하는 참조 화상 지정 정보를 복호하는 참조 화상 지정 정보 복호부와,
    참조 화상 지정 정보로 지정되는 화상 정보로부터 예측 화상을 작성하는 예측 화상 작성부와,
    현재 프레임의 복호 화상과 예측 화상의 차분을 복호하는 차분 복호부와,
    차분 정보와 예측 화상으로부터 복호 화상을 작성하는 복호 화상 작성부와,
    현재 프레임의 복호 화상을, 상기 현재 카테고리 복호부에 의하여 얻어지는 카테고리 번호용의 참조 화상 메모리에 축적하는 복호 화상 축적부
    로 이루어지는 것을 특징으로 하는 화상 복호 장치.
  25. 복수개의 프레임의 화상 정보로부터 N개(N ≥ 2)의 카테고리로 분류되는 저역 화상 정보와 고역 화상 정보를 작성하여, 화상 정보를 부호화하는 화상 부호화 방법으로서,
    현재 프레임에 대하여 참조 가능한 카테고리의, 참조 화상 메모리에 축적된 복수개의 프레임의 화상 정보에 대하여, 참조 화상 지정 정보를 설정하는 참조 화상 지정 정보 설정 스텝과,
    현재 프레임에 대하여 참조 가능한 카테고리의, 참조 화상 메모리에 축적된 복수개의 프레임의 화상 정보로부터 화상 정보를 선택하여, 예측 화상을 작성하는 예측 화상 작성 스텝과,
    현재 프레임의 화상 정보와 예측 화상으로부터 고역 화상 정보를 작성하여 부호화하는 차분 부호화 스텝과,
    상기 예측 화상 작성 스텝에서 선택한 화상 정보를 지정하는 참조 화상 지정 정보를 부호화하는 참조 화상 지정 정보 부호화 스텝과,
    현재 프레임의 카테고리 번호를 부호화하는 현재 카테고리 부호화 스텝과,
    고역 화상 정보와 예측 화상으로부터 저역 화상 정보를 작성하여 참조 화상 메모리에 축적하는 복호 스텝
    을 가지는 것을 특징으로 하는 화상 부호화 방법.
  26. 고역 화상 정보와 저역 화상 정보로부터 화상 정보를 복호하는 화상 복호 방법으로서,
    현재 프레임의 카테고리 번호를 복호하는 현재 카테고리 복호 스텝과,
    현재 프레임에 대하여 참조 가능한 카테고리에 속하는, 참조 화상 메모리에 축적된 프레임의 화상 정보에 대하여, 참조 화상 지정 정보를 설정하는 참조 화상 지정 정보 설정 스텝과,
    참조 화상 정보를 지정하는 참조 화상 지정 정보를 복호하는 참조 화상 지정 정보 복호 스텝과,
    참조 화상 지정 정보로 지정되는 저역 화상 정보로부터 예측 화상을 작성하는 예측 화상 작성 스텝과,
    고역 화상 정보를 복호하는 차분 복호 스텝과,
    고역 화상 정보와 예측 화상으로부터 복호 화상을 작성하는 복호 화상 작성 스텝과,
    현재 프레임의 복호 화상을, 상기 현재 카테고리 복호 스텝에서 얻어지는 카 테고리 번호용의 참조 화상 메모리에 축적하는 복호 화상 축적 스텝
    을 가지는 것을 특징으로 하는 화상 복호 방법.
  27. 복수개의 프레임의 화상 정보로부터 N개(N ≥ 2)의 카테고리로 분류되는 저역 화상 정보와 고역 화상 정보를 작성하여, 화상 정보를 부호화하는 화상 부호화 장치로서,
    현재 프레임에 대하여 참조 가능한 카테고리에 속하는, 참조 화상 메모리에 축적된 프레임의 화상 정보에 대하여, 참조 화상 지정 정보를 설정하는 참조 화상 지정 정보 설정부와,
    현재 프레임에 대하여 참조 가능한 카테고리의, 참조 화상 메모리에 축적된 복수개의 프레임의 화상 정보로부터 화상 정보를 선택하여, 예측 화상을 작성하는 예측 화상 작성부와,
    현재 프레임의 화상 정보와 예측 화상으로부터 고역 화상 정보를 작성하여 부호화하는 차분 부호화부와,
    상기 예측 화상 작성부에서 선택한 화상 정보를 지정하는 참조 화상 지정 정보를 부호화하는 참조 화상 지정 정보 부호화부와,
    현재 프레임의 카테고리 번호를 부호화하는 현재 카테고리 부호화부와,
    고역 화상 정보와 예측 화상으로부터 저역 화상 정보를 작성하여 참조 화상 메모리에 축적하는 복호부
    로 이루어지는 것을 특징으로 하는 화상 부호화 장치.
  28. 고역 화상 정보와 저역 화상 정보로부터 화상 정보를 복호하는 화상 복호 장치로서,
    현재 프레임의 카테고리 번호를 복호하는 현재 카테고리 복호부와,
    현재 프레임에 대하여 참조 가능한 카테고리에 속하는, 참조 화상 메모리에 축적된 프레임의 화상 정보에 대하여, 참조 화상 지정 정보를 설정하는 참조 화상 지정 정보 설정부와,
    참조 화상 정보를 지정하는 참조 화상 지정 정보를 복호하는 참조 화상 지정 정보 복호부와,
    참조 화상 지정 정보로 지정되는 저역 화상 정보로부터 예측 화상을 작성하는 예측 화상 작성부와,
    고역 화상 정보를 복호하는 차분 복호부와,
    고역 화상 정보와 예측 화상으로부터 복호 화상을 작성하는 복호 화상 작성부와,
    현재 프레임의 복호 화상을 상기 현재 카테고리 복호부에 의하여 얻어지는 카테고리 번호용의 참조 화상 메모리에 축적하는 복호 화상 축적부
    를 구비하는 것을 특징으로 하는 화상 복호 장치.
  29. 제1항, 제19항 또는 제25항 중 어느 하나에 기재된 화상 부호화 방법에 따라서 컴퓨터에 실행시키기 위한 화상 부호화 프로그램.
  30. 제9항, 제21항 또는 제26항 중 어느 하나에 기재된 화상 복호 방법에 따라서 컴퓨터에 실행시키기 위한 화상 복호 프로그램.
  31. 제1항, 제19항 또는 제25항 중 어느 하나에 기재된 화상 부호화 방법에 따라서 컴퓨터에 실행시키기 위한 화상 부호화 프로그램을 기록한 기록 매체.
  32. 제9항, 제21항 또는 제26항 중 어느 하나에 기재된 화상 복호 방법에 따라서 컴퓨터에 실행시키기 위한 화상 복호 프로그램을 기록한 기록 매체.
KR1020057024062A 2003-07-24 2004-07-22 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법, 화상 부호화 프로그램을 기록한 기록 매체, 화상 복호 프로그램을 기록한 기록 매체 KR100908422B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2003278828 2003-07-24
JPJP-P-2003-00278828 2003-07-24
PCT/JP2004/010412 WO2005011285A1 (ja) 2003-07-24 2004-07-22 画像符号化装置，画像復号装置，画像符号化方法，画像復号方法，画像符号化プログラム，画像復号プログラム，画像符号化プログラムを記録した記録媒体，画像復号プログラムを記録した記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020077003011A Division KR20070030956A (ko) 2003-07-24 2004-07-22 화상 부호화 방법

Publications (2)

Publication Number Publication Date
KR20060023989A true KR20060023989A (ko) 2006-03-15
KR100908422B1 KR100908422B1 (ko) 2009-07-21

Family

ID=34100787

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057024062A KR100908422B1 (ko) 2003-07-24 2004-07-22 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법, 화상 부호화 프로그램을 기록한 기록 매체, 화상 복호 프로그램을 기록한 기록 매체

Country Status (7)

Country Link
US (1) US7929605B2 (ko)
EP (5) EP3554076B1 (ko)
JP (1) JP4643447B2 (ko)
KR (1) KR100908422B1 (ko)
CN (2) CN101626510B (ko)
TW (1) TWI258992B (ko)
WO (1) WO2005011285A1 (ko)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101626510B (zh) * 2003-07-24 2011-01-05 日本电信电话株式会社 图像编码装置和方法以及图像解码装置和方法
KR100913088B1 (ko) * 2005-01-21 2009-08-21 엘지전자 주식회사 베이스 레이어의 내부모드 블록의 예측정보를 이용하여영상신호를 엔코딩/디코딩하는 방법 및 장치
KR100703770B1 (ko) 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
KR100732961B1 (ko) * 2005-04-01 2007-06-27 경희대학교 산학협력단 다시점 영상의 스케일러블 부호화, 복호화 방법 및 장치
EP1878252A4 (en) * 2005-05-02 2013-01-16 Samsung Electronics Co Ltd METHOD AND DEVICE FOR CODING / DECODING MULTILAYER VIDEO USING WEIGHTED PREDICTION
KR100763182B1 (ko) * 2005-05-02 2007-10-05 삼성전자주식회사 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
EP1806930A1 (en) * 2006-01-10 2007-07-11 Thomson Licensing Method and apparatus for constructing reference picture lists for scalable video
KR101245251B1 (ko) * 2006-03-09 2013-03-19 삼성전자주식회사 균일한 화질을 제공하는 다시점 영상 부호화 및 복호화방법 및 장치
CN101491099B (zh) 2006-07-11 2011-09-21 汤姆森特许公司 使用虚拟参考画面的方法及装置
JP5017646B2 (ja) * 2007-02-23 2012-09-05 国立大学法人長岡技術科学大学 映像伝送システム、映像伝送装置、映像伝送方法、探査ロボット、及びプログラム
US20080316995A1 (en) * 2007-06-20 2008-12-25 Motorola, Inc. Broadcast channel signal and apparatus for managing the transmission and receipt of broadcast channel information
JP2009010649A (ja) * 2007-06-27 2009-01-15 Sharp Corp スケーラブルビデオストリーム復号装置およびスケーラブルビデオストリーム生成装置
US9648325B2 (en) * 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
US8498716B2 (en) * 2007-11-05 2013-07-30 Boston Scientific Neuromodulation Corporation External controller for an implantable medical device system with coupleable external charging coil assembly
US8861598B2 (en) * 2008-03-19 2014-10-14 Cisco Technology, Inc. Video compression using search techniques of long-term reference memory
US20090279614A1 (en) * 2008-05-10 2009-11-12 Samsung Electronics Co., Ltd. Apparatus and method for managing reference frame buffer in layered video coding
BRPI0915971A2 (pt) * 2008-07-25 2019-02-26 Sony Corp aparelho e método de processamento de imagem
TWI440363B (zh) 2009-02-19 2014-06-01 Sony Corp Image processing apparatus and method
TWI468020B (zh) 2009-02-19 2015-01-01 Sony Corp Image processing apparatus and method
TWI463878B (zh) 2009-02-19 2014-12-01 Sony Corp Image processing apparatus and method
US20120194703A1 (en) * 2009-09-07 2012-08-02 Nokia Corporation Apparatus
JP5395621B2 (ja) * 2009-11-05 2014-01-22 株式会社メガチップス 画像生成方法および画像再生方法
JP5625342B2 (ja) * 2009-12-10 2014-11-19 ソニー株式会社 画像処理方法、画像処理装置、プログラム
JP5428886B2 (ja) * 2010-01-19 2014-02-26 ソニー株式会社 情報処理装置、情報処理方法、及びそのプログラム
MX2012010863A (es) 2010-04-01 2012-10-15 Sony Corp Dispositivo y metodo de procesamiento de imagenes.
WO2012023281A1 (ja) * 2010-08-17 2012-02-23 パナソニック株式会社 動画像復号方法、動画像符号化方法、動画像復号装置、及び、動画像符号化装置
JP5703781B2 (ja) 2010-09-03 2015-04-22 ソニー株式会社 画像処理装置および方法
JP5988252B2 (ja) 2011-01-12 2016-09-07 サン パテント トラスト 複数の参照ピクチャを用いた、動画像符号化方法、動画像復号方法、動画像符号化装置、及び、動画像復号装置
RU2597469C2 (ru) 2011-01-14 2016-09-10 Сан Пэтент Траст Способ кодирования изображений, способ декодирования изображений, способ управления памятью, устройство кодирования изображений, устройство декодирования изображений, устройство управления памятью и устройство кодирования и декодирования изображений
JP6078883B2 (ja) * 2011-02-08 2017-02-15 サン パテント トラスト 多数の参照ピクチャを用いる動画像符号化方法、動画像復号方法、動画像符号化装置、および動画像復号方法
WO2013021601A1 (en) * 2011-08-11 2013-02-14 Panasonic Corporation Methods and apparatuses for encoding and decoding video using adaptive reference pictures memory management scheme to support temporal scalability
US9819949B2 (en) 2011-12-16 2017-11-14 Microsoft Technology Licensing, Llc Hardware-accelerated decoding of scalable video bitstreams
SG11201408571RA (en) 2012-06-29 2015-01-29 Sony Corp Decoding device, and decoding method
US20140092988A1 (en) * 2012-09-28 2014-04-03 Sharp Laboratories Of America, Inc. Systems and methods for reference picture set extension
WO2014069920A1 (en) * 2012-11-01 2014-05-08 Samsung Electronics Co., Ltd. Recording medium, reproducing device for providing service based on data of recording medium, and method thereof
JP5789004B2 (ja) * 2013-08-09 2015-10-07 ソニー株式会社 送信装置、送信方法、受信装置、受信方法、符号化装置および符号化方法
JP5774652B2 (ja) 2013-08-27 2015-09-09 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US10491912B1 (en) 2018-07-09 2019-11-26 Tencent America LLC Method and apparatus for video coding

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997029595A1 (en) * 1996-02-07 1997-08-14 Sharp Kabushiki Kaisha Moving image encoding and decoding device
AU718453B2 (en) * 1996-07-17 2000-04-13 Sony Corporation Image coding and decoding using mapping coefficients corresponding to class information of pixel blocks
JP3472115B2 (ja) * 1997-11-25 2003-12-02 Ｋｄｄｉ株式会社 マルチチャンネルを用いるビデオデータ伝送方法及びその装置
JP3841246B2 (ja) * 1998-07-24 2006-11-01 Ｋｄｄｉ株式会社 ビデオ階層符号化装置
JP4018335B2 (ja) * 2000-01-05 2007-12-05 キヤノン株式会社 画像復号装置及び画像復号方法
JP2002142227A (ja) 2000-11-02 2002-05-17 Matsushita Electric Ind Co Ltd 映像信号の階層型符号化装置および階層型復号化装置
US7072399B2 (en) * 2002-07-17 2006-07-04 Lsi Logic Corporation Motion estimation method and system for MPEG video streams
CN101626510B (zh) * 2003-07-24 2011-01-05 日本电信电话株式会社 图像编码装置和方法以及图像解码装置和方法

Also Published As

Publication number Publication date
KR100908422B1 (ko) 2009-07-21
CN100531396C (zh) 2009-08-19
EP3525462A1 (en) 2019-08-14
CN1806447A (zh) 2006-07-19
EP3525462B1 (en) 2020-11-25
EP3554076B1 (en) 2020-11-25
US7929605B2 (en) 2011-04-19
EP3787294B1 (en) 2022-06-15
EP1650977A4 (en) 2016-12-07
WO2005011285A1 (ja) 2005-02-03
CN101626510A (zh) 2010-01-13
EP3787295B1 (en) 2022-09-21
TW200514447A (en) 2005-04-16
EP1650977B1 (en) 2019-06-26
JP4643447B2 (ja) 2011-03-02
EP3787295A1 (en) 2021-03-03
CN101626510B (zh) 2011-01-05
US20070098068A1 (en) 2007-05-03
JPWO2005011285A1 (ja) 2007-04-19
EP3787294A1 (en) 2021-03-03
EP3554076A1 (en) 2019-10-16
EP1650977A1 (en) 2006-04-26
TWI258992B (en) 2006-07-21

Similar Documents

Publication Publication Date Title
KR100908422B1 (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법, 화상 부호화 프로그램을 기록한 기록 매체, 화상 복호 프로그램을 기록한 기록 매체
JP5052134B2 (ja) 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置，画像符号化プログラムおよび画像復号プログラム
KR100943912B1 (ko) 다시점 비디오의 처리 방법 및 장치
CN101204094B (zh) 可缩放地编码和解码视频信号的方法
CN108632629B9 (zh) 针对多视图视频信号生成合并候选列表的方法及解码装置
JP2012502590A (ja) 構成参照フレームを用いた動画符号化システムおよび方法
CN112438048A (zh) 用于对图像进行编码/解码的方法和设备以及存储比特流的记录介质
KR100510136B1 (ko) 참조 픽처 결정 방법, 그 움직임 보상 방법 및 그 장치
KR20070110636A (ko) 이미지 정보 변이값의 예측 방법과 이를 이용한 다시점영상의 부호화/복호화 방법 및 장치
JP4185014B2 (ja) 映像符号化方法、映像符号化装置、映像符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体、並びに、映像復号方法、映像復号装置、映像復号プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
KR20080006494A (ko) 비디오 신호의 디코딩 방법 및 장치
KR20070030956A (ko) 화상 부호화 방법
RU2778099C1 (ru) Способ и устройство для кодирования и декодирования видео с использованием интерпредсказания
RU2778099C9 (ru) Способ и устройство для кодирования и декодирования видео с использованием интер-предсказания
KR101315295B1 (ko) 다시점 영상의 부호화, 복호화 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130612

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140611

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150529

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160705

Year of fee payment: 8