KR100642043B1 - 부호화 방법, 복호 방법, 부호화 장치, 복호 장치, 화상 처리 시스템, 및 저장 매체 - Google Patents

부호화 방법, 복호 방법, 부호화 장치, 복호 장치, 화상 처리 시스템, 및 저장 매체 Download PDF

Info

Publication number
KR100642043B1
KR100642043B1 KR1020037006557A KR20037006557A KR100642043B1 KR 100642043 B1 KR100642043 B1 KR 100642043B1 KR 1020037006557 A KR1020037006557 A KR 1020037006557A KR 20037006557 A KR20037006557 A KR 20037006557A KR 100642043 B1 KR100642043 B1 KR 100642043B1
Authority
KR
South Korea
Prior art keywords
motion vector
information
prediction
block
motion
Prior art date
Application number
KR1020037006557A
Other languages
English (en)
Other versions
KR20030062341A (ko
Inventor
카토사다아추
에토우미노루
세키구치순이치
야마구치히로유키
오기리야수히로
아다치사토루
고바야시미츠루
Original Assignee
가부시키가이샤 엔티티 도코모
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 엔티티 도코모 filed Critical 가부시키가이샤 엔티티 도코모
Publication of KR20030062341A publication Critical patent/KR20030062341A/ko
Application granted granted Critical
Publication of KR100642043B1 publication Critical patent/KR100642043B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

영상 중인 움직임 정보를 적은 오버헤드로 부호화 또는 복호할 목적을 위해, 움직임 보상 예측을 이용하여 동화상의 압축 부호화를 행하는 부호화 방법에 있어서, 동화상의 프레임을 분할한 매크로 블록 각각에 대해서 부가로 분할한 서브 블록의 단위로, 1개 또는 복수의 움직임 벡터(예를 들면, 최대 2개의 움직임 벡터)를 할당하여 움직임 보상 예측을 행하는 움직임 보상 예측 공정(움직임 검출부(2), 움직임 보상부(5), 공간 예측부(9) 등에 의한 처리 공정)과, 서브 블록에 대한 움직임 벡터의 할당 상황에 관한 정보를 비트 스트림에 다중화하여 출력하는 할당 정보 부호화 공정(가변 길이 부호화부(23) 등에 의한 처리 공정)을 포함하였다.
Figure 112003017116395-pct00001
예측 잔차 신호, 예측 차분치, 인터 예측 모드, 인트라 예측 모드

Description

부호화 방법, 복호 방법, 부호화 장치, 복호 장치, 화상 처리 시스템, 및 저장 매체{Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program}
본 발명은 움직임 보상 예측을 사용하여 동화상의 압축 부호화를 행하는 부호화 방법, 부호화 장치 및 저장 매체, 움직임 보상 예측을 사용하여 압축 동화상 데이터의 신장·복호를 하는 복호 방법, 복호 장치 및 저장 매체, 상기 부호화 장치와 복호 장치를 포함하여 구성된 화상 처리 시스템에 관한 것이다.
종래의 영상 부호화 방식의 사례로서, 국제 표준화 작업 문서 ITU-T SG16 VCEG-M8l, "H.26L Test Model Long Term Number7(TML-7)"draft0(http://standard.pictel.com/ftp/video-site/0104_Aus/VCEG-M8ld0.doc)에 기재된 H.26L 부호화 방식에 근거하는 화상 부호화·복호 방식이 알려져 있다.
이 H.26L 영상 부호화에서는, 인터 예측 모드로서 정밀한 움직임 보상이 가능해지도록 도 4a 내지 도 4g에 도시하는 많은 움직임 분할 패턴을 준비하고 있다. 이 연구에 의해, 매크로 블록의 내부에서 세밀한 움직임이 발생하고 있는 케이스로 효율 좋게 움직임을 파악할 수 있어, 예측 효율을 향상시킬 수 있다는 효과를 낸다.
그렇지만, 인터 예측 모드로서 많은 움직임 분할 패턴을 준비하는 방식에서는, 움직임 분할수가 많아질수록 보다 많은 움직임 벡터 정보를 전송할 필요가 생겨 오버헤드가 커진다는 문제가 있다. 도 5에 도 4a 내지 도 4g의 각 모드에 대하여 필요한 전송 정보량을 도시한다. 이 도 5에 도시하는 「모드 비트」는 예측 모드를 표현하기 위한 가변 길이 부호의 부호 길이를 「최소 움직임 벡터 비트」는 매크로 블록 단위로 전송해야 할 움직임 벡터에 관한 정보량으로서 얻을 수 있는 최소의 정보량을, 「최소 필요 비트수」는 모드 비트와 최소 움직임 벡터 비트를 총합한 값을 도시하고 있다. 움직임 벡터 비트는 수평·수직 방향 2개 값의 총 비트수이지만, 최소가 되는 케이스는 수평·수직 모두 움직임 벡터 예측치와 동일 벡터가 되는 경우가 된다(움직임 벡터는 소정의 규칙으로 근방의 움직임 벡터를 예측치로 하여 그 차분치가 부호화된다). 그러나, 통상 이러한 케이스가 되는 일은 드물며, 이 비트수보다도 많은 정보를 전송할 필요가 생긴다. 이 도 5로부터, 모드 4 혹은 5 이상에서는 오버헤드가 대단히 많아지는 것을 알 수 있다.
한편, 일반 영상에서는, 매크로 블록 영역을 4분할 이상으로 세분화하여 움직임 검출을 정밀화하지 않더라도, 대국적으로 2분할 정도의 움직임의 파악 방법으로 충분한 움직임 보상을 행할 수 있는 경우가 존재한다고 생각할 수 있다. 그러나, H.26L 부호화 방식에 준비되는 16×8화소 단위, 8×16화소 단위라는 고정적인 움직임 할당에서는, 매크로 블록 내부의 움직임 분할을 정확하게 표현할 수 없다는 문제가 있어, 그것이 도 4a 내지 도 4g의 7개의 인터 예측 모드를 준비하는 이유가 되었었다.
본 발명은 상기 과제를 해결하기 위해 이루어진 것으로, 영상 중인 움직임 정보를 적은 오버헤드로 부호화 또는 복호할 수 있는 부호화 방법, 복호 방법, 부호화 장치, 복호 장치, 화상 처리 시스템, 및 저장 매체를 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위해, 본 발명에 관련되는 부호화 방법은 움직임 보상 예측을 사용하여 동화상의 압축 부호화를 하는 부호화 방법으로, 동화상의 프레임을 분할한 제 1 블록 각각에 대해서 부가로 분할한 제 2 블록의 단위로, 1개 또는 복수의 움직임 벡터를 할당하여 움직임 보상 예측을 하는 움직임 보상 예측 공정과, 상기 제 2 블록에 대한 움직임 벡터의 할당 상황에 관한 정보를 비트 스트림에 다중하여 출력하는 할당 정보 부호화 공정을 구비하는 것을 특징으로 한다.
여기서의 제 1 블록으로서는 예를 들면 16×16화소의 블록을, 제 2 블록으로서는 예를 들면 4×4화소의 블록을 채용할 수 있다. 이 부호화 방법에서는, 움직임 보상 예측 공정에서, 동화상의 프레임을 분할한 제 1 블록 각각에 대해서 더욱 분할한 제 2 블록의 단위로, 1개 또는 복수의 움직임 벡터를 할당하여 움직임 보상 예측을 하고, 할당 정보 부호화 공정에서, 제 2 블록에 대한 움직임 벡터의 할당 상황에 관한 정보를 비트 스트림에 다중하여 출력하기 때문에, 제 1 블록 내의 각종 움직임을 적은 오버헤드로 정확하게 파악하는 것이 가능해져 효율 좋게 영상 전송·기록·재생을 하는 것이 가능해진다.
이 때, 움직임 보상 예측 공정에서는, 제 2 블록의 위치 및 수에 관계 없이 움직임 벡터를 할당하여도 된다. 즉, 움직임 보상 예측 공정에서는, 제 1 블록 내에서의 제 2 블록의 위치 및 수에 관계 없이 제 2 블록의 단위로 움직임 벡터를 할당하여 움직임 보상 예측을 하고, 할당 정보 부호화 공정에서는, 제 2 블록의 위치 및 상기 제 2 블록에 할당된 움직임 벡터에 대한 정보를 움직임 벡터의 할당 상황에 관한 정보로서 사용할 수 있다.
또한, 움직임 보상 예측 공정에서는, 미리 정한 할당 패턴에 따라서 제 2 블록의 단위로 움직임 벡터를 할당하여도 된다. 즉, 움직임 보상 예측 공정에서는, 1개 또는 복수의 제 2 블록을 그룹화함으로써 미리 정한 할당 패턴에 따라서 제 2 블록의 단위로 움직임 벡터를 할당하여 움직임 보상 예측을 하고, 할당 정보 부호화 공정에서는, 상기 할당 패턴의 식별 정보를 움직임 벡터의 할당 상황에 관한 정보로서 사용할 수 있다.
이렇게 미리 정한 할당 패턴에 따르는 양태로서, 움직임 보상 예측 공정에서는, 제 1 블록 단위로 정해지는 제 2 블록에의 움직임 벡터 할당 패턴을 미리 그룹화한 복수의 패턴 그룹 중 어느 하나를 선택하여, 상기 선택된 패턴 그룹에 포함되는 할당 패턴에 근거하여 제 2 블록에 대하여 움직임 벡터를 할당하여 움직임 보상 예측을 하고, 할당 정보 부호화 공정에서는, 제 1 블록 단위로 부호화되는 움직임 벡터 할당 상황에 관한 정보를 상기 선택된 패턴 그룹 중에서 특정되는 움직임 벡터 할당 패턴의 식별 정보로서 출력하는 양태를 채용할 수 있다.
이와 같이 움직임 벡터 할당 상황에 관한 정보를 데이터량이 적은 상기 움직임 벡터 할당 패턴의 식별 정보로서 출력하기 때문에, 제 1 블록 내의 각종 움직임을 적은 오버헤드로 정확하게 파악하는 것이 가능해져, 효율 좋게 영상 전송·기록·재생을 하는 것이 가능해진다.
또한, 할당 정보 부호화 공정에서는, 부호화 대상이 되는 제 1 블록에 대한 움직임 벡터 할당 패턴의 형상에 따라서 움직임 벡터의 예측치를 정하여, 상기 예측치에 의한 예측 차분치를 움직임 벡터 정보로서 부호화하는 양태를 채용할 수 있다.
이와 같이, 움직임 벡터 할당 패턴의 형상에 따라서 움직임 벡터의 예측치를 정하여, 데이터량이 적은 상기 예측치에 의한 예측 차분치를 움직임 벡터 정보로서 부호화하기 때문에, 제 1 블록 내의 각종 움직임을 적은 오버헤드로 정확하게 파악하는 것이 가능해져, 효율 좋게 영상 전송·기록·재생을 하는 것이 가능해진다.
또한, 여기서 할당 정보 부호화 공정에서는, 부호화 대상이 되는 제 1 블록에 대한 움직임 벡터 할당 패턴의 형상에 따라서 움직임 벡터의 예측 후보 위치를 정하고, 상기 부호화 대상이 되는 제 1 블록 근방에 위치하는 제 1 블록에 대한 할당 패턴의 형상에 따라서 예측 후보 위치 중 어느 하나를 예측치로 하여, 상기 예측치의 예측 차분치를 움직임 벡터 정보로서 부호화하는 것이 바람직하다.
또한, 미리 정한 할당 패턴에 따르는 양태로서, 움직임 보상 예측 공정에서는, 부호화 대상이 되는 제 1 블록에 대한 움직임 벡터 할당 패턴의 형상에 따라서 움직임 벡터의 예측치를 정하고, 상기 예측치를 중심으로 하는 움직임 벡터 탐색창을 설치하여 움직임 벡터를 검출하여, 할당 정보 부호화 공정에서는, 상기 검출된 움직임 벡터와 상기 움직임 벡터 예측치와의 예측 차분치를 움직임 벡터 정보로서 부호화하는 양태를 채용할 수 있다.
이와 같이, 데이터량이 적은 검출된 움직임 벡터와 움직임 벡터 예측치와의 예측 차분치가 움직임 벡터 정보로서 부호화되기 때문에, 제 1 블록 내의 각종 움직임을 적은 오버헤드로 정확하게 파악하는 것이 가능해져, 효율 좋게 영상 전송·기록·재생을 하는 것이 가능해진다.
상기 미리 정한 할당 패턴에 따르는 각종 양태에 있어서, 움직임 보상 예측 공정에서는, 제 2 블록 단위에서의 할당 가능한 움직임 벡터수를 최대 2개로 함과 함께, 제 1 블록 단위로 정해지는 상기 제 1 블록에 포함되는 제 2 블록에의 할당 상태를 나타내는 미리 정해진 복수의 할당 패턴 중 어느 하나에 근거하여, 제 2 블록에 대하여 움직임 벡터를 할당하여 움직임 보상 예측을 하여, 할당 정보 부호화 공정에서는, 제 1 블록 단위로 정해지는 움직임 벡터의 할당 상황에 관한 정보를 상기 할당 패턴의 식별 정보로서 출력하는 양태를 채용하는 것이 바람직하다.
이 때 할당 패턴은 상기 제 1 블록을 수평 방향 또는 수직 방향으로 불균일하게 분할하는 패턴 및 상기 제 1 블록을 경사 방향으로 분할하는 패턴을 포함하도록 구성으로 하는 것이 바람직하다.
또한, 할당 정보 부호화 공정에서는, 각 할당 패턴의 형상에 근거하여, 가변 길이의 부호를 각 할당 패턴에 할당하여 상기 할당 패턴의 식별 정보를 부호화하는 것이 바람직하다.
또한, 할당 정보 부호화 공정에서는, 부호화 대상이 되는 제 1 블록 근방에 위치하는 제 1 블록에 대한 할당 패턴의 상황에 근거하여, 상기 부호화 대상이 되는 제 1 블록에 대해서, 가변 길이의 부호를 각 할당 패턴에 할당하여 상기 할당 패턴의 식별 정보를 부호화하는 것이 바람직하다.
또한, 할당 정보 부호화 공정에서는, 영상 내용에 근거하여, 가변 길이의 부호를 각 할당 패턴에 할당하여 상기 할당 패턴의 식별 정보를 부호화하는 것이 바람직하다.
상기 미리 정한 할당 패턴에 따르는 각종 양태 및 제 2 블록의 위치 및 수에 관계 없이 할당하는 양태에 있어서는, 움직임 보상 예측 공정에서 얻어진 예측 잔차 신호를 상기 제 2 블록의 사이즈와 동일 사이즈인 블록 단위로 부호화하는 잔차 신호 부호화 공정을 부가로 구비한 구성으로 할 수 있다.
즉, 동화상의 프레임을 분할한 제 1 블록 각각에 대해서 부가로 분할한 제 2 블록의 단위로, 1개 또는 복수의 움직임 벡터를 할당하여 움직임 보상 예측을 하는 움직임 보상 예측 공정과, 상기 제 2 블록에 대한 움직임 벡터의 할당 상황에 관한 정보를 비트 스트림에 다중하여 출력하는 할당 정보 부호화 공정과, 움직임 보상 예측 공정에서 얻어진 예측 잔차 신호를 상기 제 2 블록의 사이즈와 동일 사이즈의 블록 단위로 부호화하는 잔차 신호 부호화 공정을 구비한 양태를 채용할 수 있다. 이 경우, 움직임 보상 예측 공정에서 얻어진 예측 잔차 신호를 제 2 블록의 사이즈와 동일 사이즈의 블록 단위로 부호화하기 때문에, 부호화되는 데이터량을 적게 억제할 수 있어, 제 1 블록 내의 각종 움직임을 적은 오버헤드로 정확하게 파악하는 것이 가능해져, 효율 좋게 영상 전송·기록·재생을 하는 것이 가능해진다.
또한, 미리 정한 할당 패턴에 따르는 각종 양태 및 제 2 블록의 위치 및 수에 관계 없이 할당하는 양태에 있어서, 할당 정보 부호화 공정에서는, 상기 움직임 벡터의 할당 상황에 근거하여, 1개 또는 복수의 제 2 블록으로 구성되는 움직임 벡터 할당 영역에서 부호화해야 할 예측 잔차 신호가 있는지의 여부를 식별하는 정보를 부호화하는 양태를 채용할 수 있다. 이 경우, 움직임 벡터의 할당 상황에 근거하여, 1개 또는 복수의 제 2 블록으로 구성되는 움직임 벡터 할당 영역에 있어서 부호화해야 할 예측 잔차 신호가 있는지의 여부를 식별하는 정보를 부호화하기 때문에, 부호화되는 데이터량을 적게 억제할 수 있어, 제 1 블록 내의 각종 움직임을 적은 오버헤드로 정확하게 파악하는 것이 가능해져, 효율 좋게 영상 전송·기록·재생을 하는 것이 가능해진다.
또한, 제 2 블록의 위치 및 수에 관계 없이 할당하는 양태에 있어서, 할당 정보 부호화 공정에서는, 부호화 대상이 되는 제 1 블록 및 인접한 제 1 블록에 있어서의 움직임 벡터의 할당 상황에 근거하여, 상기 할당 상황에 있어서의 움직임 벡터 할당의 변화점을 나타내는 정보를 상기 움직임 벡터의 할당 상황에 관한 정보로서 비트 스트림에 다중하여 출력하는 양태를 채용할 수 있다.
또한, 미리 정한 할당 패턴에 따르는 각종 양태 및 제 2 블록의 위치 및 수에 관계 없이 할당하는 양태에 있어서, 움직임 보상 예측 공정에서는, 제 1 블록 단위로 인터 예측 모드 또는 인트라 예측 모드가 설정된 경우와 더불어, 제 2 블록의 1개 또는 복수로 이루어지는 단위로 인터 예측 모드 또는 인트라 예측 모드가 설정된 경우도 포함하여, 움직임 보상 예측을 하는 양태를 채용할 수 있다.
상기 목적을 달성하기 위해, 본 발명에 관련되는 부호화 방법은 움직임 보상 예측을 사용하여 동화상의 압축 부호화를 하는 부호화 방법으로, 동화상의 프레임을 분할한 제 1 블록 각각에 대해서 부가로 분할한 제 2 블록의 1개 또는 복수로 이루어지는 단위로, 움직임 보상 예측을 위해 보존된 복수의 참조 프레임 중에서 하나의 참조 프레임을 선택하여 움직임 보상 예측을 하는 보상 예측 공정과, 상기 1개 또는 복수의 제 2 블록에 대한 참조 프레임의 선택 상황에 관한 정보를 비트 스트림에 다중하여 출력하는 참조 프레임 정보 부호화 공정을 구비하는 것을 특징으로 한다.
이 부호화 방법에 의하면, 1개 또는 복수의 제 2 블록에 대한 참조 프레임의 선택 상황에 관한 정보는 데이터량이 적기 때문에, 부호화되는 데이터량을 적게 억제할 수 있으며, 제 1 블록 내의 각종 움직임을 적은 오버헤드로 정확하게 파악하는 것이 가능해져, 효율 좋게 영상 전송·기록·재생을 하는 것이 가능해진다.
또한, 참조 프레임 정보 부호화 공정에서는, 상기 제 1 블록의 단위로 포함되는 상기 1개 또는 복수의 제 2 블록에 대한 참조 프레임의 선택 상황의 조합 정보로서 부호화하는 양태를 채용할 수 있다.
또한, 참조 프레임 정보 부호화 공정에서는, 근방에 위치하는 상기 제 1 또는 1개 또는 복수의 상기 제 2 블록에 있어서의 참조 프레임의 선택 상황으로부터, 1개 또는 복수의 제 2 블록에 대한 참조 프레임의 예측치를 각각 구하여, 상기 예측치와 선택된 참조 프레임과의 차분 정보를 참조 프레임의 선택 상황에 관한 정보 로서 사용하는 양태를 채용할 수 있다.
상기 목적을 달성하기 위해, 본 발명에 관련되는 부호화 방법은 움직임 보상 예측을 사용하여 동화상의 압축 부호화를 하는 부호화 방법으로, 동화상의 프레임을 분할한 제 1 블록 각각에 대해서 부가로 분할한 1개 또는 복수의 제 2 블록으로 이루어지는 단위로, 쌍방향 인터 예측에 사용하는 예측 방향을 선택하여 움직임 보상 예측을 하는 움직임 보상 예측 공정과, 상기 1개 또는 복수의 제 2 블록에 대한 예측 방향의 선택 상황에 관한 정보를 비트 스트림에 다중하여 출력하는 예측 정보 부호화 공정을 구비하는 것을 특징으로 한다.
이 부호화 방법에 의하면, 제 1 블록 내의 각종 움직임을 적은 오버헤드로 정확하게 파악하는 것이 가능해짐과 함께, 각각 별도의 움직임을 파악한 1개 또는 복수의 제 2 블록마다 적절한 쌍방향 인터 예측을 적용할 수 있어, 효율 좋게 영상 전송·기록·재생을 하는 것이 가능해진다.
상기 목적을 달성하기 위해, 본 발명에 관련되는 부호화 방법은 움직임 보상 예측을 사용하여 동화상의 압축 부호화를 하는 부호화 방법으로, 동화상의 프레임을 분할한 제 1 블록 각각에 대해서 부가로 분할한 1개 또는 복수의 제 2 블록으로 이루어지는 단위로, 인터 예측 모드 또는 인트라 예측 모드를 선택하여 인터 예측 또는 인트라 예측을 하는 예측 공정과, 상기 1개 또는 복수의 제 2 블록에 대한 인터 예측 모드 또는 인트라 예측 모드의 선택 상황에 관한 정보를 비트 스트림에 다중하여 출력하는 예측 모드 정보 부호화 공정을 구비하는 것을 특징으로 한다.
이 부호화 방법에 의하면, 제 1 블록 내의 각종 움직임을 적은 오버헤드로 정확하게 파악하는 것이 가능해짐과 함께, 각각 별도의 움직임을 파악한 1개 또는 복수의 제 2 블록마다 적절한 인터 예측 혹은 인트라 예측을 적용할 수 있어, 효율 좋게 영상 전송·기록·재생을 하는 것이 가능해진다.
또한, 상기 예측 정보 부호화 공정 또는 예측 모드 정보 부호화 공정에서는, 상기 선택 상황에 관한 정보를 상기 제 1 블록의 단위로 포함되는 상기 제 1 블록에 대한 움직임 벡터의 할당 상황에 관한 정보와 함께 조합한 정보로서 부호화하여 비트 스트림에 다중하여 출력하는 양태를 채용할 수 있다.
또한, 상기 예측 정보 부호화 공정 또는 예측 모드 정보 부호화 공정에서는, 상기 선택 상황에 관한 정보를 상기 1개 또는 복수의 제 2 블록 단위로 포함되는 상기 1개 또는 복수의 제 2 블록에 대한 복수 참조 프레임으로부터의 참조 프레임의 선택 상황에 관한 정보와 함께 조합한 정보로서 부호화하여 비트 스트림에 다중하여 출력하는 양태를 채용할 수 있다.
상기 목적을 달성하기 위해, 본 발명에 관련되는 복호 방법은 움직임 보상 예측을 사용하여 압축 동화상 데이터의 신장·복호를 하는 복호 방법으로, 동화상의 프레임을 분할한 제 1 블록 각각에 대해서 부가로 분할한 제 2 블록의 단위로 할당된 움직임 벡터가 상기 제 1 블록의 단위로 복호되는 1개 또는 복수의 움직임 벡터 중 어느 하나에 해당하는지를 나타내는 움직임 벡터 할당 정보를 복호하는 할당 정보 복호 공정과, 상기 움직임 벡터 할당 정보에 근거하여 상기 제 2 블록의 단위로 특정된 움직임 벡터를 사용하여 움직임 보상을 하여 예측 화상을 생성하는 움직임 보상 공정을 구비하는 것을 특징으로 한다.
이 복호 방법에서는, 할당 정보 복호 공정에서, 제 2 블록의 단위로 할당된 움직임 벡터가 제 1 블록의 단위로 복호되는 1개 또는 복수의 움직임 벡터 중 어느 하나에 해당하는지를 나타내는 움직임 벡터 할당 정보를 복호하여, 움직임 보상 공정에서, 상기 움직임 벡터 할당 정보에 근거하여 제 2 블록의 단위로 특정된 움직임 벡터를 사용하여 움직임 보상을 하여 예측 화상을 생성한다. 따라서, 제 2 블록의 단위로 할당된 움직임 벡터에 관한 움직임 벡터 할당 정보가 복호되어, 상기 움직임 벡터 할당 정보에 근거하여 제 2 블록의 단위로 특정된 움직임 벡터를 사용하여 움직임 보상이 행하여져 예측 화상이 생성된다. 이로써, 적은 오버헤드로 정확하게 복호하는 것이 가능해져, 효율 좋게 영상 전송·기록·재생을 하는 것이 가능해진다.
이 때, 할당 정보 복호 공정에서는, 할당 대상의 제 2 블록의 위치 및 수에 관계 없이, 상기 제 2 블록의 위치 및 상기 제 2 블록에 할당된 움직임 벡터에 대한 정보로서 상기 움직임 벡터 할당 정보를 복호하는 양태를 채용할 수 있다.
또한, 할당 정보 복호 공정에서는, 1개 또는 복수의 제 2 블록을 그룹화함으로써 미리 정한 할당 패턴의 식별 정보로서, 상기 움직임 벡터 할당 정보를 복호하는 양태를 채용할 수 있다.
이렇게 미리 정한 할당 패턴의 식별 정보로서 움직임 벡터 할당 정보를 복호하는 양태로서, 할당 정보 복호 공정에서는, 상기 움직임 벡터 할당 정보를 제 1 블록 단위로 미리 정해진 제 2 블록에의 움직임 벡터 할당 패턴을 식별하는 정보로서 복호하는 것으로 하여, 상기 할당 패턴 식별 정보로부터 할당 패턴을 특정함에 있어서, 상기 할당 패턴이 속하는 패턴 그룹을 식별하는 정보를 복호하여, 상기 패턴 그룹 식별 정보에 의해 특정된 패턴 그룹의 정의에 따라서 상기 할당 패턴 식별 정보로부터 제 2 블록의 움직임 벡터 할당을 결정하는 양태를 채용할 수 있다. 이 경우, 움직임 벡터 할당 정보를 미리 정해진 제 2 블록에의 움직임 벡터 할당 패턴을 식별하는 정보로서, 적은 오버헤드로 정확하게 복호하는 것이 가능해져, 효율 좋게 영상 전송·기록·재생을 하는 것이 가능해진다.
또한, 미리 정한 할당 패턴의 식별 정보로서 움직임 벡터 할당 정보를 복호하는 양태로서, 할당 정보 복호 공정에서는, 복호 대상이 되는 제 1 블록에 대한 움직임 벡터 할당 패턴의 형상에 따라서 정한 움직임 벡터의 예측치에 의한 예측 차분치를 부호화함으로써 얻어진 움직임 벡터 정보를 복호하는 양태를 채용할 수 있다. 이 경우, 복호 대상이 되는 제 1 블록에 대한 움직임 벡터 할당 패턴의 형상에 따라서 정한 움직임 벡터의 예측치에 의한 예측 차분치를 부호화함으로써 얻어진 움직임 벡터 정보를 복호하기 때문에, 데이터량이 적은 예측 차분치를 부호화함으로써 얻어진 움직임 벡터 정보의 복호가 가능해져, 효율 좋게 영상 전송·기록·재생을 하는 것이 가능해진다.
이 때 할당 정보 복호 공정에서는, 복호 대상이 되는 제 1 블록에 대한 움직임 벡터 할당 패턴의 형상에 따라서 정한 움직임 벡터의 예측 후보 위치 중 어느 하나를 근방에 위치하는 제 1 블록에 대한 할당 패턴의 형상에 따라서 예측치로 하여, 상기 예측치의 예측 차분치를 부호화함으로써 얻어진 움직임 벡터 정보를 복호하는 것이 바람직하다.
상기 미리 정한 할당 패턴의 식별 정보로서 복호하는 양태에 있어서는, 제 1 블록의 단위로 복호되는 움직임 벡터는 최대 2개가 되며, 움직임 벡터 할당 정보는 제 1 블록 단위로 정해지는 상기 제 1 블록에 포함되는 제 2 블록에의 움직임 벡터의 할당 상태를 나타내는 미리 정해진 복수의 할당 패턴을 식별하는 정보로서 복호되도록 구성으로 하는 것이 바람직하다.
이 때 할당 패턴은 상기 제 1 블록을 수평 방향 또는 수직 방향으로 불균일하게 분할하는 패턴 및 상기 제 1 블록을 경사 방향으로 분할하는 패턴을 포함하도록 구성하는 것이 바람직하다.
또한, 할당 정보 복호 공정에서는, 각 할당 패턴의 형상에 근거하여 각 할당 패턴마다 할당된 가변 길이의 부호를 각 할당 패턴의 식별 정보로서 복호하는 것이 바람직하다.
또한, 할당 정보 복호 공정에서는, 복호 대상이 되는 제 1 블록 근방에 위치하는 제 1 블록에 대한 할당 패턴의 상황에 근거하여 각 할당 패턴마다 할당된 가변 길이의 부호를 상기 복호 대상이 되는 제 1 블록에 대한 각 할당 패턴의 식별 정보로서 복호하는 것이 바람직하다.
또한, 할당 정보 복호 공정에서는, 영상 내용에 근거하여 각 할당 패턴마다 할당된 가변 길이의 부호를 각 할당 패턴의 식별 정보로서 복호하는 것이 바람직하다.
상기 미리 정한 할당 패턴의 식별 정보로서 복호하는 양태 및 제 2 블록의 위치 및 수에 관계 없이 움직임 벡터 할당 정보를 복호하는 양태에 있어서는, 제 2 블록의 사이즈와 동일 사이즈의 블록 단위로의 부호화 처리에 의해 얻어진 움직임 보상 예측의 예측 잔차 신호를 복호하는 잔차 신호 복호 공정을 부가로 구비한 구성으로 할 수 있다.
즉, 동화상의 프레임을 분할한 제 1 블록 각각에 대해서 부가로 분할한 제 2 블록의 단위로 할당된 움직임 벡터가 상기 제 1 블록의 단위로 복호되는 1개 또는 복수의 움직임 벡터 중 어느 하나에 해당하는지를 나타내는 움직임 벡터 할당 정보를 복호하는 할당 정보 복호 공정과, 상기 움직임 벡터 할당 정보에 근거하여 상기 제 2 블록의 단위로 특정된 움직임 벡터를 사용하여 움직임 보상을 하여 예측 화상을 생성하는 움직임 보상 공정과, 제 2 블록의 사이즈와 동일 사이즈의 블록 단위로의 부호화 처리에 의해 얻어진 움직임 보상 예측의 예측 잔차 신호를 복호하는 잔차 신호 복호 공정을 구비한 구성으로 할 수 있다. 이 경우, 제 2 블록의 사이즈와 동일 사이즈의 블록 단위로의 부호화 처리에 의해 얻어진 움직임 보상 예측의 예측 잔차 신호를 복호하기 때문에, 부호화해야 할 데이터량이 적은 예측 잔차 신호의 복호가 가능해져, 효율 좋게 영상 전송·기록·재생을 하는 것이 가능해진다.
또한, 상기 미리 정한 할당 패턴의 식별 정보로서 복호하는 양태 및 제 2 블록의 위치 및 수에 관계 없이 움직임 벡터 할당 정보를 복호하는 양태에 있어서는, 할당 정보 복호 공정에서는, 복호 대상이 되는 제 1 블록에 대한 움직임 벡터 할당 패턴의 형상에 근거하여, 1개 또는 복수의 제 2 블록으로 구성되는 움직임 벡터 할당 영역 내에 복호해야 할 예측 잔차 신호가 있는지의 여부를 식별하는 정보를 복호하는 것이 바람직하다. 이 경우, 부호화해야 할 데이터량이 적은 예측 잔차 신호의 복호가 가능해져, 효율 좋게 영상 전송·기록·재생을 하는 것이 가능해진다.
또한, 상기 제 2 블록의 위치 및 수에 관계 없이 움직임 벡터 할당 정보를 복호하는 양태에 있어서는, 할당 정보 복호 공정에서는, 움직임 벡터의 할당 상황에 관한 정보로서 출력되는 움직임 벡터 할당의 변화점을 나타내는 정보를 복호하는 것이 바람직하다.
또한, 상기 미리 정한 할당 패턴의 식별 정보로서 복호하는 양태 및 제 2 블록의 위치 및 수에 관계 없이 움직임 벡터 할당 정보를 복호하는 양태에 있어서는, 움직임 벡터는 제 1 블록 단위로 인터 예측 모드 또는 인트라 예측 모드가 설정된 경우와 더불어, 제 2 블록의 1개 또는 복수로 이루어지는 단위로 인터 예측 모드 또는 인트라 예측 모드가 설정된 경우도 포함한 움직임 보상 예측에 의해 얻어진 움직임 벡터인 것이 바람직하다.
상기 목적을 달성하기 위해, 본 발명에 관련되는 복호 방법은 움직임 보상 예측을 사용하여 압축 동화상 데이터의 신장·복호를 하는 복호 방법으로, 동화상의 프레임을 분할한 제 1 블록 각각에 대해서 부가로 분할한 제 2 블록의 1개 또는 복수로 이루어지는 단위로 할당된 움직임 보상 예측에 사용하는 참조 프레임의 선택 상황에 관한 정보를 복호하는 참조 프레임 정보 복호 공정과, 상기 참조 프레임 정보에 근거하여, 움직임 보상을 위해 보존된 복수의 참조 프레임 중에서 하나의 참조 프레임을 선택하여 움직임 보상을 하여 예측 화상을 생성하는 보상 공정을 구비하는 것을 특징으로 한다.
이 양태에 의하면, 상기 1개 또는 복수의 제 2 블록에 대한 참조 프레임의 선택 상황에 관한 정보는 데이터량이 적기 때문에, 데이터량이 적은 상기 참조 프 레임의 선택 상황에 관한 정보의 복호가 가능해져, 효율 좋게 영상 전송·기록·재생을 하는 것이 가능해진다.
이 때 참조 프레임 정보 복호 공정에서는, 상기 제 1 블록의 단위로 포함되는 상기 1개 또는 복수의 제 2 블록에 대한 참조 프레임의 선택 상황의 조합 정보로부터, 상기 1개 또는 복수의 제 2 블록에 대한 참조 프레임 정보를 복호하는 것이 바람직하다.
또한, 참조 프레임 정보 복호 공정에서는, 근방에 위치하는 상기 제 1 또는 1개 또는 복수의 상기 제 2 블록에 있어서의 참조 프레임의 선택 상황으로부터, 1개 또는 복수의 제 2 블록에 대한 참조 프레임의 예측치를 각각 구하여, 참조 프레임의 선택 상황에 관한 정보로서 출력되는 참조 프레임의 차분 정보와 상기 구한 예측치에 근거하여 복호를 하는 것이 바람직하다.
상기 목적을 달성하기 위해, 본 발명에 관련되는 복호 방법은 움직임 보상 예측을 사용하여 압축 동화상 데이터의 신장·복호를 하는 복호 방법으로, 동화상의 프레임을 분할한 제 1 블록 각각에 대해서 부가로 분할한 1개 또는 복수의 제 2 블록으로 이루어지는 단위로 할당된 쌍방향 인터 예측에 사용하는 예측 방향의 선택 상황에 관한 정보를 복호하는 예측 정보 복호 공정과, 상기 예측 정보에 근거하여, 쌍방향 프레임간 움직임 보상에 사용하는 예측 방향을 순방향과 역방향의 쌍방에 대해서 유지하고 있는 참조 프레임 중에서 선택하여 움직임 보상을 하여 예측 화상을 생성하는 움직임 보상 공정을 구비하는 것을 특징으로 한다.
이 양태에 의하면, 제 1 블록 내의 각종 움직임을 적은 오버헤드로 정확하게 파악하는 것이 가능해짐과 함께, 각각 별도의 움직임을 파악한 1개 또는 복수의 제 2 블록마다 적절한 쌍방향 인터 예측을 적용할 수 있어, 효율 좋게 영상 전송·기록·재생을 하는 것이 가능해진다.
상기 목적을 달성하기 위해, 본 발명에 관련되는 복호 방법은 움직임 보상 예측을 사용하여 압축 동화상 데이터의 신장·복호를 하는 복호 방법으로, 동화상의 프레임을 분할한 제 1 블록 각각에 대해서 부가로 분할한 1개 또는 복수의 제 2 블록으로 이루어지는 단위로 할당된 인터 예측 모드 또는 인트라 예측 모드의 선택 상황에 관한 정보를 복호하는 예측 모드 정보 복호 공정과, 상기 예측 정보에 근거하여, 인터 예측 모드 또는 인트라 예측 모드를 선택하여 인터 예측 또는 인트라 예측을 하여 예측 화상을 생성하는 예측 화상 생성 공정을 구비하는 것을 특징으로 한다.
이 양태에 의하면, 제 1 블록 내의 각종 움직임을 적은 오버헤드로 정확하게 파악하는 것이 가능해짐과 함께, 각각 별도의 움직임을 파악한 1개 또는 복수의 제 2 블록마다 적절한 인터 예측 혹은 인트라 예측을 적용할 수 있어, 효율 좋게 영상 전송·기록·재생을 하는 것이 가능해진다.
또한, 예측 정보 복호 공정 또는 예측 모드 정보 복호 공정에서는, 상기 제 1 블록의 단위로 포함되는 상기 제 1 블록에 대한 움직임 벡터의 할당 상황에 관한 정보와 상기 선택 상황에 관한 정보를 조합한 정보로부터, 상기 1개 또는 복수의 제 2 블록에 대한 상기 선택 상황에 관한 정보를 복호하는 양태를 채용할 수 있다.
또한, 예측 정보 복호 공정 또는 예측 모드 정보 복호 공정에서는, 상기 1개 또는 복수의 제 2 블록의 단위로 포함되는 상기 1개 또는 복수의 제 2 블록에 대한 복수 참조 프레임으로부터의 참조 프레임의 선택 상황에 관한 정보와 상기 선택 상황에 관한 정보를 조합한 정보로부터, 상기 1개 또는 복수의 제 2 블록에 대한 상기 선택 상황에 관한 정보를 복호하는 양태를 채용할 수 있다.
그런데, 본 발명은 부호화 방법, 복호 방법으로서의 발명 이외에, 부호화 방법을 사용하는 부호화 장치, 복호 방법을 사용하는 복호 장치, 이들 부호화 장치와 복호 장치를 포함하여 구성되는 화상 처리 시스템, 부호화 장치에서 실행되는 부호화 프로그램이 기록된 저장 매체 및 복호 장치에서 실행되는 복호 프로그램이 기록된 저장 매체 각각의 발명으로서도 파악할 수 있어 동일한 작용·효과를 낸다. 즉, 이하와 같이 기술할 수 있다.
상기 목적을 달성하기 위해, 본 발명에 관련되는 부호화 장치는 움직임 보상 예측을 사용하여 동화상의 압축 부호화를 하는 부호화 장치로, 동화상의 프레임을 분할한 제 1 블록 각각에 대해서 부가로 분할한 제 2 블록의 단위로, 1개 또는 복수의 움직임 벡터를 할당하여 움직임 보상 예측을 하는 움직임 보상 예측 수단과, 상기 제 2 블록에 대한 움직임 벡터의 할당 상황에 관한 정보를 비트 스트림에 다중하여 출력하는 할당 정보 부호화 수단을 구비하는 것을 특징으로 한다.
이 때 움직임 보상 예측 수단은 제 1 블록 내에서의 제 2 블록의 위치 및 수에 관계 없이 제 2 블록의 단위로 움직임 벡터를 할당하여 움직임 보상 예측을 하고, 할당 정보 부호화 수단은 제 2 블록의 위치 및 상기 제 2 블록에 할당된 움직임 벡터에 대한 정보를 움직임 벡터의 할당 상황에 관한 정보로서 사용하는 양태를 채용할 수 있다.
또한, 움직임 보상 예측 수단은 1개 또는 복수의 제 2 블록을 그룹화함으로써 미리 정한 할당 패턴에 따라서 제 2 블록의 단위로 움직임 벡터를 할당하여 움직임 보상 예측을 하고, 할당 정보 부호화 수단은 상기 할당 패턴의 식별 정보를 움직임 벡터의 할당 상황에 관한 정보로서 사용하는 양태를 채용할 수 있다.
상기 목적을 달성하기 위해, 본 발명에 관련되는 복호 장치는 움직임 보상 예측을 사용하여 압축 동화상 데이터의 신장·복호를 하는 복호 장치로, 동화상의 프레임을 분할한 제 1 블록 각각에 대해서 부가로 분할한 제 2 블록의 단위로 할당된 움직임 벡터가 상기 제 1 블록의 단위로 복호되는 1개 또는 복수의 움직임 벡터 중 어느 하나에 해당하는지를 나타내는 움직임 벡터 할당 정보를 복호하는 할당 정보 복호 수단과, 상기 움직임 벡터 할당 정보에 근거하여 상기 제 2 블록의 단위로 특정된 움직임 벡터를 사용하여 움직임 보상을 하여 예측 화상을 생성하는 움직임 보상 수단을 구비하는 것을 특징으로 한다.
이 때 할당 정보 복호 수단은 할당 대상의 제 2 블록의 위치 및 상기 제 2 블록에 할당된 움직임 벡터에 대한 정보로서 상기 움직임 벡터 할당 정보를 복호하는 양태를 채용할 수 있다.
또한, 할당 정보 복호 수단은 1개 또는 복수의 제 2 블록을 그룹화함으로써 미리 정한 할당 패턴의 식별 정보로서, 상기 움직임 벡터 할당 정보를 복호하는 양태를 채용할 수 있다.
상기 목적을 달성하기 위해, 본 발명에 관련되는 화상 처리 시스템은 움직임 보상 예측을 사용하여 동화상의 압축 부호화를 하는 부호화 장치와, 움직임 보상 예측을 사용하여 압축 동화상 데이터의 신장·복호를 하는 복호 장치를 포함하여 구성된 화상 처리 시스템으로, 부호화 장치는 동화상의 프레임을 분할한 제 1 블록 각각에 대해서 부가로 분할한 제 2 블록의 단위로, 1개 또는 복수의 움직임 벡터를 할당하여 움직임 보상 예측을 하는 움직임 보상 예측 수단과, 상기 제 2 블록에 대한 움직임 벡터의 할당 상황에 관한 정보를 비트 스트림에 다중하여 출력하는 할당 정보 부호화 수단을 구비하며, 복호 장치는 동화상의 프레임을 분할한 제 1 블록 각각에 대해서 부가로 분할한 제 2 블록의 단위로 할당된 움직임 벡터가 상기 제 1 블록의 단위로 복호되는 1개 또는 복수의 움직임 벡터 중 어느 하나에 해당하는지를 나타내는 움직임 벡터 할당 정보를 복호하는 할당 정보 복호 수단과, 상기 움직임 벡터 할당 정보에 근거하여 상기 제 2 블록의 단위로 특정된 움직임 벡터를 사용하여 움직임 보상을 하여 예측 화상을 생성하는 움직임 보상 수단을 구비하는 것을 특징으로 한다.
이 때, 부호화 장치에 있어서의 움직임 보상 예측 수단은 제 1 블록 내에서의 제 2 블록의 위치 및 수에 관계 없이 제 2 블록의 단위로 움직임 벡터를 할당하여 움직임 보상 예측을 하고, 할당 정보 부호화 수단은 제 2 블록의 위치 및 상기 제 2 블록에 할당된 움직임 벡터에 대한 정보를 움직임 벡터의 할당 상황에 관한 정보로서 사용하는 것을 특징으로 하며, 복호 장치에 있어서의 할당 정보 복호 수단은 할당 대상의 제 2 블록의 위치 및 상기 제 2 블록에 할당된 움직임 벡터에 대한 정보로서, 움직임 벡터 할당 정보를 복호하는 양태를 채용할 수 있다.
또한, 부호화 장치에 있어서의 움직임 보상 예측 수단은 1개 또는 복수의 제 2 블록을 그룹화함으로써 미리 정한 할당 패턴에 따라서 제 2 블록의 단위로 움직임 벡터를 할당하여 움직임 보상 예측을 하고, 할당 정보 부호화 수단은 상기 할당 패턴의 식별 정보를 움직임 벡터의 할당 상황에 관한 정보로서 사용하는 것을 특징으로 하며, 복호 장치에 있어서의 할당 정보 복호 수단은 1개 또는 복수의 제 2 블록을 그룹화함으로써 미리 정한 할당 패턴의 식별 정보로서, 상기 움직임 벡터 할당 정보를 복호하는 양태를 채용할 수 있다.
상기 목적을 달성하기 위해, 본 발명에 관련되는 부호화 프로그램은 움직임 보상 예측을 사용하여 동화상의 압축 부호화를 하는 부호화 장치에 내장된 컴퓨터에 상술한 부호화 방법에 관련되는 발명 각각에 있어서의 각 공정을 실행시키는 것을 특징으로 한다.
상기 목적을 달성하기 위해, 본 발명에 관련되는 복호 프로그램은 움직임 보상 예측을 사용하여 압축 동화상 데이터의 신장·복호를 하는 복호 장치에 내장된 컴퓨터에 상술한 복호 방법에 관련되는 발명 각각에 있어서의 각 공정을 실행시키는 것을 특징으로 한다.
본 발명의 상기 목적 및 그 밖의 특징이나 이점은 첨부 도면을 참조하여 이하의 상세한 설명을 읽음으로써, 당업자에게 있어서 분명해질 것이다.
도 1은 부호화 장치의 구성도.
도 2는 복호 장치의 구성도.
도 3a는 움직임 보상 인터 예측 설명에 사용되는 전프레임의 내용을 도시하는 도면.
도 3b는 움직임 보상 인터 예측 설명에 사용되는 현프레임의 내용을 도시하는 도면.
도 4a는 H.26L에 있어서의 인터 예측 모드의 모드 1을 도시하는 도면.
도 4b는 H.26L에 있어서의 인터 예측 모드의 모드 2를 도시하는 도면.
도 4c는 H.26L에 있어서의 인터 예측 모드의 모드 3을 도시하는 도면.
도 4d는 H.26L에 있어서의 인터 예측 모드의 모드 4를 도시하는 도면.
도 4e는 H.26L에 있어서의 인터 예측 모드의 모드 5를 도시하는 도면.
도 4f는 H.26L에 있어서의 인터 예측 모드의 모드 6을 도시하는 도면.
도 4g는 H.26L에 있어서의 인터 예측 모드의 모드 7을 도시하는 도면.
도 5는 인터 예측 모드의 각 모드에 대하여 필요한 최소의 전송 정보량을 도시하는 표.
도 6a는 발명의 실시예에 있어서의 고정 분할 패턴의 제 1 그룹을 도시하는 도면.
도 6b는 발명의 실시예에 있어서의 고정 분할 패턴의 제 2 그룹을 도시하는 도면.
도 6c는 발명의 실시예에 있어서의 고정 분할 패턴의 제 3 그룹을 도시하는 도면.
도 6d는 발명의 실시예에 있어서의 고정 분할 패턴의 제 4 그룹을 도시하는 도면.
도 7a는 현재의 매크로 블록이 모드 1이고, 그 왼쪽, 위, 오른쪽 위의 매크로 블록이 각각 모드 0, 1, 8인 케이스를 도시하는 도면.
도 7b는 위의 매크로 블록이 현재의 매크로 블록과 다른 참조 프레임을 사용하고 있는 케이스를 도시하는 도면.
도 8a는 모드 0의 케이스에서의 움직임 벡터 예측치 결정 처리의 흐름을 설명하기 위한 도면.
도 8b는 모드 1의 케이스에서의 움직임 벡터 예측치 결정 처리의 흐름을 설명하기 위한 도면.
도 8c는 모드 7의 케이스에서의 움직임 벡터 예측치 결정 처리의 흐름을 설명하기 위한 도면.
도 9는 근방의 매크로 블록과의 움직임의 연속성을 고려하여 각 예측 모드에 대하여 정의된 상부 우선도 및 왼쪽 부분 우선도의 일례를 도시하는 표.
도 10a는 고정 분할 패턴의 제 1 그룹의 각 예측 모드에 대하여 고정적으로 주어진 움직임 벡터의 예측치를 도시하는 도면.
도 10b는 고정 분할 패턴의 제 2 그룹의 각 예측 모드에 대하여 고정적으로 주어진 움직임 벡터의 예측치를 도시하는 도면.
도 10c는 고정 분할 패턴의 제 3 그룹의 각 예측 모드에 대하여 고정적으로 주어진 움직임 벡터의 예측치를 도시하는 도면.
도 10d는 고정 분할 패턴의 제 4 그룹의 각 예측 모드에 대하여 고정적으로 주어진 움직임 벡터의 예측치를 도시하는 도면.
도 11a는 H.26L에 있어서의 압축 스트림의 매크로 블록 데이터의 신텍스를 도시하는 도면.
도 11b는 제 1 실시예에 있어서의 압축 스트림의 매크로 블록 데이터의 신텍스를 도시하는 도면.
도 12는 제 1 실시예에 있어서의 복호 장치의 처리 내용을 도시하는 플로 차트.
도 13a는 임의의 할당 상황을 지정하기 위해 4×4의 바이너리 맵 정보로서 표현된 예측 모드의 제 1 정의 예를 도시하는 도면.
도 13b는 임의의 할당 상황을 지정하기 위해 4×4의 바이너리 맵 정보로서 표현된 예측 모드의 제 2 정의 예를 도시하는 도면.
도 13c는 임의의 할당 상황을 지정하기 위해 4×4의 바이너리 맵 정보로서 표현된 예측 모드의 제 3 정의 예를 도시하는 도면.
도 14는 제 2 실시예에 있어서의 움직임 벡터 검출 순서를 도시하는 도면.
도 15는 움직임 벡터 검출의 별도 순서를 도시하는 도면.
도 16a는 제 2 실시예에 있어서의 예측 모드 정보의 부호화 방법 중 매크로 블록(A)으로부터의 움직임의 연속성이 높은 경우의 예를 설명하기 위한 도면.
도 16b는 제 2 실시예에 있어서의 예측 모드 정보의 부호화 방법 중 매크로 블록(B)으로부터의 움직임의 연속성이 높은 경우의 예를 설명하기 위한 도면.
도 17은 제 2 실시예에 있어서의 부호화 처리의 내용을 도시하는 플로 차트.
도 18a는 부호 길이 CB(4)의 예를 도시하는 표.
도 18b는 부호 길이 CB(3)의 예를 도시하는 표.
도 18c는 부호 길이 CB(2)의 예를 도시하는 표.
도 19a는 H.26L에 있어서의 압축 스트림의 매크로 블록 데이터의 신텍스를 도시하는 도면.
도 19b는 제 2 실시예에 있어서의 압축 스트림의 매크로 블록 데이터가 가장 심플한 신텍스 예를 도시하는 도면.
도 19c는 제 2 실시예에 있어서의 압축 스트림의 매크로 블록 데이터의 별도의 신텍스 예를 도시하는 도면.
도 20은 제 2 실시예에 있어서의 복호 장치의 처리 내용을 도시하는 플로 차트.
도 21은 제 3 실시예에 있어서의 부호화 장치의 처리 내용을 도시하는 플로 차트.
도 22는 제 3 실시예에 있어서의 부호화 장치의 처리 내용의 설명도.
도 23a는 스캔 테이블의 지그재그 스캔 예를 도시하는 도면.
도 23b는 스캔 테이블의 수평 스캔 예를 도시하는 도면.
도 23c는 스캔 테이블의 힐베르트(hilbert) 스캔 예를 도시하는 도면.
도 24a는 제 4 실시예에 있어서의 대각 방향으로 인트라/인터 구별이 행하여져 인터 중에서도 2개의 움직임 벡터가 사용된 예측 모드의 정의 예를 도시하는 도면.
도 24b는 제 4 실시예에 있어서의 매크로 블록이 상하로 분할되어 상부가 인 트라, 하부가 인터로 예측되는 예측 모드의 정의 예를 도시하는 도면.
도 25a는 인트라/인터 분류의 플레인을 도시하는 도면.
도 25b는 인트라 예측 방법의 플레인을 도시하는 도면.
도 25c는 움직임 벡터 할당의 플레인을 도시하는 도면.
도 26a는 인트라/인터 분류의 플레인을 도시하는 도면.
도 26b는 인트라, 인터에 해당하는 서브 블록분만을 비트 플레인 데이터로 한 경우의 인트라 예측 방법의 플레인을 도시하는 도면.
도 26c는 인트라, 인터에 해당하는 서브 블록분만을 비트 플레인 데이터로 한 경우의 움직임 벡터 할당의 플레인을 도시하는 도면.
도 27은 도 24a의 케이스를 제 4 실시예의 부호화 방법 2로 변환한 예를 도시하는 도면.
도 28은 제 4 실시예의 부호화 방법 1에 대응하는 압축 스트림의 매크로 블록 데이터의 신텍스를 도시하는 도면.
도 29는 제 4 실시예의 부호화 방법 2에 대응하는 압축 스트림의 매크로 블록 데이터의 신텍스를 도시하는 도면.
도 30은 제 4 실시예의 부호화 방법 3에 대응하는 압축 스트림의 매크로 블록 데이터의 신텍스를 도시하는 도면.
도 31은 제 4 실시예의 부호화 방법 4에 대응하는 압축 스트림의 매크로 블록 데이터의 신텍스를 도시하는 도면.
도 32a는 최소한의 예측 모드를 사용한 예측 모드 세트의 정의 예를 도시하 는 도면.
도 32b는 제 1 실시예에서 제시한 적은 움직임 벡터를 사용한 예측 모드 세트의 정의 예를 도시하는 도면.
도 32c는 다수 분할 다수 움직임 벡터에 의한 예측 모드 세트의 정의 예를 도시하는 도면.
도 33a는 H.26L에 있어서의 참조 프레임 정보의 부호 구성을 도시하는 표.
도 33b는 참조 프레임 정보의 조합에 대하여 할당한 부호 예를 도시하는 표.
도 33c는 도 33b에 대응하는 매크로 블록 데이터의 신텍스를 도시하는 도면.
도 34a는 변경 전 또는 예측치가 0인 경우에 예측치에 따라서 바꾼 부호를 도시하는 표.
도 34b는 예측치가 4인 경우에 예측치에 따라서 바꾼 부호를 도시하는 표.
도 35a는 직교 변화 계수 데이터의 부호화의 효율화를 설명하는 데 있어서 매크로 블록의 분할예를 도시하는 도면.
도 35b는 8×8블록 단위로 유의 계수의 유무를 전송하는 예를 도시하는 도면.
도 35c은 분할 영역에 대해서 유의 계수의 유무를 보내는 예를 도시하는 도면.
도 36a는 제 5 실시예에 있어서의 움직임 벡터 탐색 범위의 적응화를 하는 경우의 움직임 벡터 검출 처리를 설명하기 위한 도면.
도 36b는 제 5 실시예에 있어서의 움직임 벡터 탐색 범위의 적응화를 하지 않는 경우의 움직임 벡터 검출 처리를 설명하기 위한 도면.
도 37a는 제 5 실시예의 고정 분할 패턴의 제 1 그룹에 관한 움직임 벡터 예측 룰을 설명하기 위한 도면.
도 37b는 제 5 실시예의 고정 분할 패턴의 제 2 그룹에 관한 움직임 벡터 예측 룰을 설명하기 위한 도면.
도 37c는 제 5 실시예의 고정 분할 패턴의 제 3 그룹에 관한 움직임 벡터 예측 룰을 설명하기 위한 도면.
도 37d는 제 5 실시예의 고정 분할 패턴의 제 4 그룹에 관한 움직임 벡터 예측 룰을 설명하기 위한 도면.
도 38은 제 5 실시예의 움직임 벡터 검출 처리를 도시하는 플로 차트.
도 39는 제 6 실시예에 있어서의 쌍방향 예측 예를 도시하는 도면.
도 40a는 H.26L에 있어서의 쌍방향 움직임 보상 예측 시의 신텍스를 도시하는 도면.
도 40b는 제 6 실시예에서의 압축 스트림의 매크로 블록 데이터의 신텍스를 도시하는 도면.
도 41은 제 6 실시예에 있어서의 매크로 블록 타이프 정보의 부호표.
도 42는 제 6 실시예에 있어서의 참조 프레임 정보의 부호표.
도 43은 부호화 장치의 기본적인 움직임을 도시하는 플로 차트.
도 44는 복호 장치의 기본적인 움직임을 도시하는 플로 차트.
이하, 본 발명에 관한 각종 실시예를 순서대로 설명한다.
우선, 본 발명에 관한 제 1 실시예에서는, 매크로 블록 단위로 부호화를 하는 영상 부호화 장치에 있어서, 매크로 블록을 4×4 화소 단위로 분할한 서브 블록마다 최대 2개의 움직임 벡터를 할당하여 움직임 보상 예측을 할 수 있도록 구성한 영상 부호화 장치 및 복호 장치에 대해서 서술한다.
우선, 본 발명이 적용되는 H.26L 부호화 방식에 근거하는 화상 부호화·복호 장치의 구성 및 움직임을 설명한다.
도 1에 부호화 장치의 구성, 도 2에 복호 장치의 구성을 도시한다. 도 1의 부호화 장치에서는, 움직임 보상 인터 예측에 의해 시간 방향으로 존재하는 중복도를 삭감하고, 직교 변환에 의해 더욱 공간 방향으로 남는 중복도를 삭감함으로써 영상 신호의 정보 압축을 한다. 움직임 보상 인터 예측의 설명도를 도 3a, 도 3b에 블록 매칭 처리의 개요를 도 4a 내지 도 4g에 각각 도시한다. 또한, 도 43에는 부호화 장치의 기본적인 움직임을 도시하는 플로 차트를, 도 44에는 복호 장치의 기본적인 움직임을 도시하는 플로 차트를 각각 도시한다.
이하, 이들 도면을 참조하면서 도 1 및 도 2의 부호화·복호 장치의 움직임을 설명한다.
도 1에 있어서의 입력 영상 신호(1)는 프레임 화상의 시간 계열로, 이후는 프레임 화상 단위의 신호를 나타내는 것으로 한다. 또한, 부호화 대상이 되는 프레임 화상을 도 3b에 있어서의 현프레임(30b)으로 한다. 현프레임(30b)은 16화소 ×16라인 고정의 정방 구형 영역(매크로 블록이라 부른다)으로 분할되어, 그 단위로 이하의 부호화 처리가 행하여진다.
현프레임(30b)의 각 매크로 블록은 우선 움직임 검출부(2)로 보내지고, 여기서, 예측 모드 3의 결정과 그에 대응한 개수의 움직임 벡터(4) 검출이 행하여진다. H.26L 부호화 방식에서는, 예측 모드 3으로서, 동일 공간 상의 부호화 완료 근방 화소를 사용한 공간 예측을 하는 인트라 예측 모드와, 시간적으로 다른 부호화 완료 프레임 화상(도 3a에 있어서의 전프레임(30a))을 사용한 움직임 보상 예측을 하는 인터 예측 모드가 복수 준비되며, 이들을 영상 신호의 국소적인 성질에 따라서 매크로 블록 단위로 바꾸어, 효율적인 정보 압축을 할 수 있도록 구성되어 있다.
즉, 도 43의 플로 차트에 있어서, 부호화 장치에 입력 영상 신호(1)가 입력되어(S01), 움직임 검출(S02) 및 움직임 보상(S03)을 함과 함께, 공간 예측부(9)에 의해 후술하는 공간 예측(S04)을 한다.
움직임 보상 예측이란 도 3a, 도 3b에 도시하는 바와 같이 현프레임(30b)의 입력 영상에 유사한 신호 패턴(예측치)을 전프레임(30a)의 복호 화상으로부터 소정의 탐색 범위(32) 내에서 찾아내어, 공간적인 변위량을 움직임 벡터로서 검출하여(예를 들면 휠(31)의 공간적인 변위량을 움직임 벡터(33)로서 검출하여), 예측 잔차 신호와 움직임 벡터를 부호화 정보로서 전송하는 기술이다. H.26L에서는 도 4a 내지 도 4g에 도시하는 바와 같이 7종류의 인터 예측 모드가 있다. 정확하게는, 영상이 정지하고 있는 경우 등에서 유용한 전프레임의 동일 위치의 화소를 그대로 카피하는 예측 모드(스킵 모드)도 준비되어 있지만 여기서는 설명의 형편 상 할애한다. 도 4a의 모드 1에서는 16×16화소 단위, 도 4b의 모드 2는 8×16화소 단위, 도 4c의 모드 3은 16×8화소 단위, 도 4d의 모드 4는 8×8화소 단위, 도 4e의 모드 5는 4×8화소 단위, 도 4f의 모드 6은 8×4화소 단위, 도 4g의 모드 7은 4×4화소 단위로 움직임 벡터를 검출한다. 즉, 이들 7종류의 예측 모드는 매크로 블록 내의 움직임 검출 단위를 세분화할 수 있도록 한 것으로, 매크로 블록 내에 존재할 수 있는 각종 움직임을 정확하게 파악하는 것을 목적으로 하여 설치되어 있다.
움직임 검출부(2)에서는, 매크로 블록마다 도 4a 내지 도 4g의 모든 인터 예측 모드에 대해서 평가를 하여, 가장 부호화 효율이 좋다고 판단되는 모드를 선택한다. 인트라 예측 모드도 동일하게 부호화 효율을 평가하여, 인터 예측 모드보다도 효율이 좋은 경우에는 인트라 예측 모드가 선택된다. 인터 예측 모드가 선택되는 경우에는, 결과적으로, 움직임 벡터(4)는 예측 모드 3에서 정해지는 개수 분(최대로 매크로 블록당 16개) 검출·전송되게 된다. 인트라 예측 모드가 선택되는 경우에는 움직임 벡터(4)는 전송되지 않는다.
인터 예측 모드가 선택되는 경우에는, 결정된 예측 모드 3과 움직임 벡터(4)가 움직임 보상부(5)에 보내지고, 움직임 벡터(4)를 사용하여 프레임 메모리(6) 중의 전프레임의 부호화 완료 화상 신호(7)를 참조하여, 각 매크로 블록의 움직임 보상 예측 화상(8)이 추출된다.
인트라 예측 모드가 선택되는 경우는, 공간 예측부(9)에 있어서, 근방의 부호화 완료 화상 신호(7)를 참조하여 예측치(10)가 생성된다. 최종적으로 사용되는 예측치(11)는 예측 모드 3에 근거하여 스위치(12)에 있어서 움직임 보상 예측 화상(8)과 예측치(10) 중 어느 하나로서 선택된다.
상기한 바와 같은 예측치(11)와 입력 영상 신호(1)와의 차분치를 나타내는 예측 잔차 신호(13)가 생성되어(도 43의 S05), 예측 잔차 신호(13)는 직교 변환부(14)에 보내져 직교 변환에 의해 직교 변화 계수(15)가 된다(S06). 직교 변화 계수(15)는 양자화부(16)로 보내져 양자화 처리에 의해 양자화 직교 변화 계수(17)가 되어(S07), 가변 길이 부호화부(23)로 보내진다. 여기서 엔트로피 부호화가 행하여져 압축 스트림(24)에 다중된다(S08).
한편, 도 43에서는 생략하였지만, 양자화 직교 변환 계수(17)는 역양자화부(18), 역직교 변환부(19)를 지나 국소 복호되어, 예측치(11)와 가산되어 국소 복호 화상(20)이 된다. 국소 복호 화상(20)은 직교 변환 블록의 경계에 있어서의 블록 왜곡 등의 열화를 제거하기 위해 루프 필터(21)로써 경계 화소에 대하여 필터 처리가 실시되고, 필터 후 국소 복호 화상(22)이 되어, 프레임 메모리(6)에 격납된다. 프레임 메모리(6)에 격납된 화상 데이터는 이후 프레임의 움직임 보상 예측을 위한 참조 데이터(7)로서 사용된다.
또한, 예측 모드 3도 매크로 블록의 단위로 가변 길이 부호화부(23)에서 엔트로피 부호화되어, 압축 스트림(24)에 다중된다(S08). 이렇게 하여 얻어진 압축 스트림(24)은 출력된다(S09).
다음으로, 도 2 및 도 44를 바탕으로 복호 장치의 움직임을 설명한다. 복호 장치에서는, 부호화 데이터로서의 압축 스트림(24)을 수신한(도 44의 S21) 후, 가변 길이 복호부(25)에서 각 프레임의 선두를 나타내는 동기 워드를 검출하고, 이후, 매크로 블록 단위로 예측 모드 3, 움직임 벡터(4), 양자화 직교 변화 계수(17)가 복원된다(S22).
예측 모드 3이 인터 예측 모드를 도시하고 있는 경우(S23에서 긍정 판단인 경우)는 움직임 벡터(4)는 움직임 보상부(5)로 보내지고, 움직임 보상부(5)는 부호화 장치의 움직임과 마찬가지로, 프레임 메모리(26)(프레임 메모리(6)와 동일하게 사용된다)로부터 움직임 벡터(4)만 움직인 화상 부분을 움직임 보상 예측 화상(8)으로서 추출한다(S24). 한편, 예측 모드 3이 인트라 예측 모드를 도시하고 있는 경우(S23에서 부정 판단인 경우)는 공간 예측부(9)에 있어서 근방의 부호화 완료 화상 신호(7)를 참조하여 예측치(10)가 생성된다(S25).
S23 내지 S25와 병행하여, 예측 잔차 신호에 대하여 역양자화부(18)에 의한 역양자화(S26), 역직교 변환부(19)에 의한 역직교 변환(S27)이 순서대로 행하여져, 예측 잔차 신호의 복호치가 생성된다.
한편, 예측 모드 3에 따라서, 스위치(12)에 있어서 최종적인 예측치(11)가 결정되며, 이것이 상기 생성된 예측 잔차 신호의 복호치와 가산되어, 복호 화상(20)이 된다(S28). 더욱이 루프 필터(21)를 개재시켜 최종적인 복호 재생 화상(22)이 얻어져(S29), 소정의 표시 타이밍으로 표시 디바이스로 출력되어(S30), 영상이 재생된다. 복호 재생 화상(22)은 동시에 이후의 프레임의 움직임 보상에 사용되기 때문에, 프레임 메모리(26)에 격납된다. 여기서, 화상 데이터(20, 22)는 부호화 장치에 있어서의 동일 번호의 데이터와 동일한 값이 된다.
이하, 본 실시예의 상세한 설명으로 이동하지만, 본 실시예에서는, 상술한 도 1 및 도 2에 도시하는 부호화 장치, 복호 장치에 있어서, 압축 스트림(24) 중에 포함되는 예측 모드 3(특히 인터 예측 모드) 및 움직임 벡터(4)의 정의와, 움직임 검출부(2) 및 움직임 보상부(5)의 움직임에 특징이 있다. 그 때문에, 이하에서는, 부호화 장치에 관해서는 움직임 검출부(2)의 움직임 및 예측 모드 3, 움직임 벡터(4)의 정의를 중심으로 설명을 하며, 복호 장치에 관해서는 예측 모드 3과 움직임 벡터(4)로부터 영상 신호를 복호하는 순서를 중심으로 설명을 하는 것으로 한다.
① 고정적인 움직임 벡터 할당 패턴의 정의
움직임 검출부(2)는 준비되는 모든 예측 모드에 대해서 평가를 하여, 부호화 효율이 가장 좋은 모드와 대응 움직임 벡터를 검출한다. 종래예의 H.26L 부호화 방식에서는, 인터 예측 모드로서 도 4에 도시하는 패턴이 음미되지만, 본 실시예에서는, 4×4블록(서브 블록) 단위로 최대 2개의 움직임 벡터를 할당하는 방법으로서, 도 6a 내지 도 6d에 도시하는 고정된 분할 패턴을 인터 예측 모드로서 준비하여, 이들 중에서 가장 부호화 효율이 좋은 것을 선택하는 구성을 취한다. 고정 분할 패턴으로서 도 6a 내지 도 6d의 패턴을 사용하는 이유는 매크로 블록 내를 2분할함에 있어서, 이들 패턴이 분할 룰로서 가장 이용 빈도가 높은 것이 예측된다는 점에 있다. 예를 들면, 중앙 부분과 주변 부분에서 벡터 할당이 행하여지는 패턴은 16화소×16라인의 내부라는 극히 국소적인 움직임이 있는 케이스를 도시하지만, 이러한 케이스는 영상 중에서는 드물게만 발생한다. 한편, 도 6a 내지 도 6d에 준비한 분할 패턴은 수평·수직·경사 방향의 전형적인 움직임이 매크로 블록 외로도 이어지는 패턴을 도시하고 있으며, 이용 빈도가 높다고 추찰된다. 이 중 도 6b 내지 도 6d에 있어서, 백색 영역과 회색 영역이 움직임 벡터 할당 구별을 도시하고 있으며, 매크로 블록 내를 이들 패턴으로 움직임 분할하여 움직임 보상 예측하는 것이 가능해진다.
도 6a의 모드 0에서는, 매크로 블록(16×16화소) 영역을 1개의 움직임 벡터로 예측한다. 이것은 H.26L 부호화 방식의 인터 예측 모드의 모드 1과 완전히 같은 정의이다. 또한, 도 6b의 모드 1, 2는 매크로 블록을 16×8, 8×16화소의 영역으로 2분할하고 있으며, 이것도 도 4b, 도 4c에 있어서의 모드 2, 3과 등가이다. 한편, 도 6c, 도 6d의 모드 3 이후는 본 실시예 특유의 모드 정의로, 도 6c의 모드 3 내지 6에서는 매크로 블록을 수평·수직 방향으로 불균일하게 분할하는 것을 허락한다. 불균일한 수평·수직 방향의 분할은 특히 화면 끝과 같이 새로운 도안이 서서히 나타나는 개소에 있어서 이용 가치가 높다. 더욱이 도 6d의 모드 7 이후는 매크로 블록 내를 경사 방향으로 분할하는 것을 허가한다. 경사 방향의 분할은 물체의 경계 부분에 따른 움직임의 불연속성을 파악하거나, 화면 모서리로부터 나타나는 새로운 도안에 대한 예측이라는 점에서 이용 가치가 높다. 이상, 도 6a의 모드 0을 제외한 모든 모드에서는 움직임 벡터는 2개뿐이지만, 각종 움직임 분할 패턴을 미리 준비해 둠으로써, 도 6b의 모드 1, 2와 같은 균등 분할에서는 다 파악할 수 없는 매크로 블록 내의 움직임을 적은 움직임 벡터수로 정확하게 파악하는 것이 가능해진다.
도 6a 내지 도 6d의 모드 0 내지 14에 대한 4개의 그룹 분할(도 6a의 그룹(G1), 도 6b의 그룹(G2), 도 6c의 그룹(G3), 도 6d의 그룹(G4)은 각 예측 모드를 전송하는 경우의 부호량의 차이를 도시하고 있다. 본 실시예에서는, 도 4a 내지 도 4g의 H.26L 예측 모드 정보에 비하여 배수의 모드수를 갖기 때문에, 그 오버헤드를 효율 좋게 부호화하기 위해, 각 모드에 있어서의 분할수, 분할 방향 혹은 분할된 영역의 면적비에 따라서, 가변 부호 길이 할당에 의한 가변 길이 부호화를 한다. 우선, 분할수라는 관점에서는 움직임 벡터수가 적고 오버헤드가 적은 모드 0에 대하여 전체 모드 중에서 최단 부호를 할당한다. 일반적으로, 영상 신호는 시간 상관이 대단히 높기 때문에, 매크로 블록 내를 움직임에 따라서 분할할 필요성은 매크로 블록 단위로 움직임 보상(Motion Compensation: MC)을 하는 경우에 비하면 낮다고 생각된다. 또한, 2분할 패턴에 대해서는, 영상 신호의 성질 상, 경사 분할 패턴보다도 수평·수직 분할 빈도가 높다고 생각된다. 더욱이, 블록 사이즈가 균일하고 양 세그먼트가 같은 면적을 단위로 하여 MC를 하는 편이 평균적인 예측 잔차 전력을 저감시키기 쉽다는 관점에서, 균일 분할의 부호 길이를 짧게 설정한다. 한편, 불균일 분할은 특히 화면 끝 등 새로운 도안이 나타나는 경우, 이미 프레임 내에 존재하는 도안 부분을 보다 좋게 예측하는 용도에 적합하다고 생각된다. 경사 분할은 영상중인 동물체의 윤곽에 있어서, 수평-수직의 움직임만으로는 다 파악할 수 없는 움직임을 파악하는 용도로 적합하지만, 일반적으로 다른 모드보다는 발생 빈도는 적다고 생각된다.
단, 이 가변 길이 부호화 방법은 획일적이지 않아, 어느 매크로 블록의 예측 모드의 가변 길이 부호화를 함에 있어서, 그 근방의 예측 모드의 상황(문맥, 콘텍스트)을 가미하여 부호 길이 할당을 하는 방법도 가능하다. 예를 들면, 어느 매크로 블록의 예측 모드를 부호화하는 경우에, 왼쪽의 매크로 블록이 모드 0, 좌측 위의 매크로 블록이 모드 9인 경우, 현재의 매크로 블록에는 모드 9의 패턴을 계승하는 움직임 분할이 발생하기 쉽다고 생각할 수 있다. 즉, 이러한 케이스에서는 모드 9의 부호 길이를 짧게 하는 등, 왼쪽, 위, 오른쪽 위 등의 근방 매크로 블록의 예측 모드 상황(콘텍스트)을 파라미터로 하여 부호 테이블을 변경한다는 연구를 생각할 수 있다. 영상의 종류에 의하지 않고 범용적인 콘텍스트를 정함으로써 효과적인 부호 할당이 가능해진다. 동시에, 이러한 콘텍스트를 찾아냄으로써, 고정적인 부호 할당 대신 산술 부호화를 채용하여, 콘텍스트 의존으로 산술 부호화의 확률 테이블을 바꾸어 부호화함으로써 중복도 삭감 효과도 기대할 수 있다.
예측 모드 부호화를 위한 가변 길이 부호화 테이블은 영상의 움직임 내용에 따라서 바꾸어도 된다. 예를 들면, 극히 움직임이 심한 영상이나 신 체인지를 포함하는 프레임에서는, 도 6c, 도 6d에 있어서의 모드 3 내지 14와 같은 경사 분할이나 불균등 분할 등의 불규칙한 패턴이 다발한다고 생각할 수 있고, 한편으로 조용한 영상에서는 이들 예측 모드는 그다지 발생하지 않는 것을 생각할 수 있다. 즉, 프레임이나 시퀀스 단위로 유효한 예측 모드의 비율은 꽤 변동하는 것이 자연스럽다고 생각된다. 이러한 구별을 하기 위해, 예를 들면 프레임 또는 프레임군 선두의 헤더 정보 일부에 상기 프레임으로써 사용하는 예측 모드 부호화용 가변 길이 부호화 테이블이나 콘텍스트 정의를 결정하기 위한 플래그 정보를 다중하여 두는 것을 생각할 수 있다. 또한, 예측 모드치의 분포는 부호화 압축율에도 의존한다고 생각되며, 프레임 단위의 양자화 파라미터 초기치에 따라서, 복수 준비한 예측 모드치의 가변 길이 부호화 테이블을 바꾸어 사용하도록 구성하여도 된다.
이렇게, 영상 신호의 국소적 성질에 따라서 예측 모드의 콘텍스트 설정을 함으로써, 출현할 수 있는 예측 모드를 어느 정도 한정할 수 있기 때문에, 도 6c, 도 6d에 도시한 보다 많은 예측 모드를 준비하도록 하여도 예측 모드 정보를 부호화함으로써 오버헤드를 낮게 억제하는 것이 가능해진다. 예를 들면, 도 6c, 도 6d의 예측 모드 배리에이션을 도 4a 내지 도 4g의 배리에이션에 가한 것을 사용하도록 하여도 된다. 단, 콘텍스트를 전제로 하는 가변 길이 부호화에서는 근방 영역의 압축 데이터가 전송 오류 등에 의해 정확하게 복호되지 않은 경우, 현재의 예측 모드 정보를 독립으로 정확하게 복호할 수 없다는 문제가 있다, 이러한 문제를 회피하기 위해서는, 예를 들면 MPEG-2 영상 부호화 방식 등에서 사용되고 있는 바와 같이 프레임 화상 내를 보다 상세한 독립 부호화 화상 영역(슬라이스)의 단위로 구분하여, 슬라이스의 경계에서는 슬라이스를 걸치는 콘텍스트를 사용하지 않도록 하면 된다. 이 방법에서는 슬라이스의 경계에서 약간의 부호화 효율 저하가 있지만, 그 트레이드 오프로 오류에 대한 내성을 높일 수 있다.
더욱이, 많은 예측 모드 정보를 부호화 조건에 따라서 바꾸도록 구성하여도 된다. 종래, 종래예에 서술한 H.26L보다 이전의 표준 부호화 방식(MPEG-1이나 MPEG-2 등)에서 보이는 움직임 보상에 의한 예측 부호화에서는, 하나의 매크로 블록에 하나의 움직임 벡터를 할당하여, 부호량 조정은 잔차 부호화의 결과인 DCT 계수의 정밀도로 행하여졌었다. 그런데, 최근의 부호화(H.263이나 MPEG-4)로부터는 1개의 매크로 블록 내를 복수 블록으로 분할하는 예측 모드가 구비되며, 부호량 조정은 DCT 계수 뿐만 아니라, 예측에 관한 부호량의 밸런스로 행하여지게 되었다. 그 후의 H.26L에서는, 더욱 많은 예측 모드를 준비하여, 부호량 조정은 사용되는 움직임 벡터수에 따른 움직임 보상의 정밀도로 행하여지는 경향이 강해지고 있다. H.26L에서는, 고레이트에서는 도 4a 내지 도 4g의 모드 중 많은 움직임 벡터수를 이용할 수 있는 모드를 사용하여 움직임 보상의 정밀화에 의해 부호량을 조정하고 있다. 그러나, 저레이트에서는 부호량 조정이 움직임 벡터수로 행하여지기 때문에, 도 4a 내지 도 4g의 모드 중 선택할 수 있는 모드는 거의가 하나의 매크로 블록당 1 또는 2(모드 1 내지 3)로 한정되어, 움직임 보상 정급화에 의한 부호화 효율 향상을 기대할 수 없는 것이 과제로서 생각된다.
부호량 대 오차(Rate-Distortion)의 최적화 관점에서는, 최적의 움직임 보상 모델은 주어진 부호화 속도(부호량)에 따라서 다르다. 즉 저레이트에서 사용되는 움직임 보상 모델과 고레이트에서 사용되는 움직임 보상 모델은 다르다. 높은 부호화 레이트에서는 다모드 다수 움직임 벡터에 의해 파형 보존의 의미에서 움직임 보상을 정밀화하는 한편, 낮은 부호화 레이트에서는, 한정된 움직임 벡터수에서 보다 효율이 좋은 움직임 보상을 하는 어프로치가 필요해진다. 이러한 레이트에 따라서 움직임 보상 모델을 바꾸는 어프로치는 지금까지의 부호화 표준에서는 행하여지고 있지 않다.
여기서, 저레이트에서는 도 6a 내지 도 6d와 같이, 하나의 매크로 블록에 단일 움직임이 존재하거나, 단일 움직임이 존재하지 않는 경우라도 움직임이 다른 물체의 경계가 하나 존재하는(즉 매크로 블록당 움직임 벡터수가 2로 한정된다) 움직임 보상 모델을 생각한다. 하나의 매크로 블록당 움직임 벡터가 2로 한정된 경우로서, 매크로 블록의 2분할을 단순한 수평 수직 분할이 아니라, 수평 수직 경사 및 위상을 가한 분할로 확장함으로써, 하나의 매크로 블록 내에 움직임이 다른 물체의 경계가 존재하는 경우에 대처한다. 한편, 고레이트에서는 도 4a 내지 도 4g에 도시한 바와 같은 많은 움직임 벡터 개수를 허용하는 움직임 보상 모델도 허용한다. 즉, 이러한 움직임 보상 모델의 변경을 영상의 부호화 조건에 따라서 바뀌는 기구가 유용하다. 예를 들면, 프레임 또는 프레임군(예를 들면 MPEG-2 영상 부호화 방식에 있어서의 시퀀스나 GOP, MPEG-4 영상 부호화 방식에 있어서의 비디오 오브젝트 레이어, 비디오 오브젝트 플레인 등의 단위에 상당) 단위로, 그 선두의 헤더 정보 일부에 사용하는 움직임 보상 모델(즉, 예측 모드의 세트 정의)의 동적 변경을 하기 위한 식별 정보를 다중화하도록 구성한다.
또한, 그러한 움직임 보상 모델 변경은 규모가 큰 구성으로 하여 실장상 및 부호화 데이터 이용상의 편리성을 향상시킬 수 있다. 예를 들면, 도 32a 내지 도 32c에 도시하는 바와 같이, 3개의 예측 모드 세트를 정의한다. 도 32a에서는 최소한의 예측 모드가 사용되는 것으로 하고, 도 32b에서는 그와 더불어 본 실시예에서 제시하고 있는 적은 움직임 벡터를 사용한 예측 모드가 사용된다. 도 32c에서는 더욱이 다수 분할 다수 움직임 벡터에 의한 예측 모드가 가해진 세트로 하고 있다.
이러한 세트를 정의함으로써, 계산량 부하 저감이 최우선되는 경우에는 도 32a의 예측 모드 세트를 사용하는 것으로 하여, 높은 부호화 레이트에 있어서 다모드 다수 움직임 벡터에 의한 보다 정밀한 움직임 보상을 추구하는 것이 요구되는 경우에는 도 32c의 예측 모드 세트를 사용하는 것으로 하고, 이들 특별한 요구가 없는 경우에는 도 32b의 예측 모드 세트를 사용하는 것으로 하면, 부호화 조건에 따라서 움직임 보상 모델을 바꿀 수 있다. 또한, 도 32a 내지 도 32c의 구성에서는, 각각의 예측 모드는 보다 예측 모드수가 많은 세트의 서브 세트로 되어 있다. 예를 들면, 도 32b의 예측 모드 세트는 도 32c의 세트의 서브 세트로 되어 있다. 따라서, 각각의 예측 모드 세트에 근거하여 부호화된 부호화 데이터는 보다 상위의 세트에 근거한 실장에 있어서 복호 가능하게 할 수 있다.
이러한 움직임 보상 모델 변경은 영상 부호화 방식에 있어서의 프로파일로서 정의하여 용도별로 이용 가능한 움직임 보상 모델을 규정하는 것도 생각할 수 있다. 프로파일이란 다수의 부호화 기능을 규정하는 부호화 방식에 있어서, 용도별로 필수로 하는 부호화 기능의 서브 세트를 정의함으로써 실장·계산량 부하와 부호화 효율과의 밸런스를 취하는 구조이다. 도 32a 내지 도 32c에 도시한 예측 모드의 세트는 각각을 개별 프로파일에 있어서 이용되는 예측 모드 세트로서 취급할 수 있고, 또한 각각의 프로파일을 보다 상위의 프로파일의 서브 세트로서, 규모가 큰 프로파일 구조로 할 수 있다.
이 때, 움직임 보상의 모델 변경과, 잔차 부호화의 단위를 독립으로 취급하면 부호화기, 복호기의 실장상 형편이 좋다. H.26L인 경우, 잔차 부호화는 4×4화소 단위로 행하여지기 때문에, 매크로 블록의 분할 모델도 4×4화소 단위 블록으로 한다. 이로써, 움직임 보상 모델 변경은 잔차 부호화 블록의 각 움직임 벡터에의 귀속 교환으로 취급할 수 있기 때문에, 실장 효율 관점에서의 효과는 크다.
② 움직임 벡터 정보의 예측 부호화
일반적으로 저비트 레이트에서는, 움직임 벡터 정보의 오버헤드 비율이 높아지기 때문에, 검출된 움직임 벡터 정보를 효율 좋게 부호화할 필요가 있다. 통상, 매크로 블록의 단위로 움직임이 크기·방향 모두 각각이 되는 일은 생각하기 어려우며, 그 의미에서, 움직임 벡터는 근방 매크로 블록과 서로 닮은 값을 얻는 것이 보통이다. 이러한 관점에서, 움직임 벡터는 근방의 움직임 벡터로부터 예측치를 결정하여, 그 예측 잔차 데이터를 부호화한다. 이하, 본 실시예에 있어서의 움직임 벡터 부호화 방법에 대해서 설명한다.
H.26L 부호화 방식에서는, 프레임 메모리(6) 내에 과거의 복수의 부호화 완료 프레임 화상을 참조 화상으로서 격납해 두고, 그들 중 어느 하나를 지정하여 움직임 보상 예측을 하는 구조를 구비하고 있다. 이것은 특히, 정지 배경 전에 움직임 영역이 존재하여, 움직임 영역의 움직임에 의해 배경이 보였다 안 보였다 하는 영상에 있어서 효과적인 예측을 기대할 수 있다. 본 실시예에 있어서도 움직임 검출부(2)에 있어서 이 구조를 이용 가능하고, 또한, 매크로 블록 내에 2개의 움직임 벡터가 존재하는 경우, 개개로 참조 프레임을 변경할 수 있도록 구성할 수 있다.
H.26L 영상 부호화 방식의 인터 예측 모드에서는 매크로 블록 내를 움직임 분할하고 있음에도 불구하고, 움직임 벡터의 개수가 많기 때문에 각 움직임 벡터는 동일 참조 프레임으로부터 구할 필요가 있었지만, 본 실시예에서는 다수의 움직임 벡터를 사용하지 않고 오버헤드를 삭감하는 만큼, 각 움직임 벡터에 참조 프레임 전환 정보를 부여하는 것을 허가함으로써, 더욱이 움직임 보상 예측 효율을 향상할 수 있다. 이 때 참조 프레임 전환 정보는 동일 매크로 블록 내 혹은 근방의 매크로 블록 또는 서브 블록에 있어서의 전환 정보와 서로 닮은 값을 얻는 일이 많아진다. 이것을 이용하여 전환 정보를 예측하거나 정리하여 부호화함으로써, 참조 프레임 전환 정보에 필요해지는 부호량을 삭감할 수도 있다.
물론, 참조 프레임 전환 정보 자체는 부가 정보로서 전송하지 않으면 안 되기 때문에, 그러한 전환이 필요 없는 심플한 영상인 경우는, 매크로 블록 내에서 참조 프레임은 동일하게 한다는 룰도 선택할 수 있도록 구성하여도 된다. 이 경우, 예를 들면, 프레임 또는 프레임군의 단위로, 매크로 블록 내의 참조 프레임 변경을 허락할지의 여부를 식별하기 위한 플래그 정보를 다중하는 것을 생각할 수 있다. 이로써, 복호 장치는 매크로 블록 내에서 참조 프레임이 변경하지 않는 경우는, 참조 프레임 전환 정보를 매크로 블록에 대하여 1개만 복호하도록 동작하면 된다.
한편, 참조 프레임을 움직임 검출의 단위로 변화시키는 것이 가능한 경우, 이웃하는 움직임 검출 단위 사이에서 참조 프레임이 다르면 그들 움직임 벡터간의 상관이 낮아진다는 문제가 있다. 즉, 그 경우에는 움직임 벡터의 예측 정밀도가 낮아지게 된다.
예를 들면, 도 7a는 현재의 매크로 블록이 모드 1이고, 그 왼쪽, 위, 오른쪽 상의 매크로 블록이 각각 모드 0, 1, 8인 케이스를 도시한다. 이러한 경우, 근방 예측 모드의 콘텍스트 즉 움직임 분할의 연속성으로부터, 동일 도면 중의 화살표에 도시하는 바와 같이, 왼쪽 세그먼트의 움직임 벡터는 왼쪽, 위 모두 상관이 높은 것이 예상되고, 오른쪽 세그먼트의 움직임 벡터는 위, 오른쪽 위 모두 상관이 높은 것이 예상된다. 즉, 도 7a에서 현재, 왼쪽, 위, 오른쪽 위가 모두 같은 참조 프레임을 참조하고 있는 경우는, 어느 예측치라도 정밀도 좋게 예측할 수 있다고 생각할 수 있다. 그러나, 예를 들면 위의 매크로 블록의 2개의 움직임 벡터가 현재의 매크로 블록의 움직임 벡터와 다른 참조 프레임을 사용하고 있고, 왼쪽의 매크로 블록은 동일 참조 프레임을 사용하고 있는 경우는, 좌측 매크로 블록의 움직임 벡터 쪽이 보다 예측 정밀도가 높다고 생각된다.
한편, 도 7b에 있어서, 위의 매크로 블록이 현재의 매크로 블록과 다른 참조 프레임을 사용하고 있는 것으로 생각하면, 위의 매크로 블록과의 움직임의 연속성은 없어지고, 또한, 콘텍스트 상, 왼쪽의 매크로 블록 중 어느 움직임 벡터를 예측에 사용해야 할지가 정해지지 않을 뿐만 아니라, 움직임의 연속성을 기대할 수 없기 때문에 높은 예측 정밀도를 기대할 수 없다.
이러한 문제를 해결하기 위해, 본 실시예에서는, 근방 예측 모드의 콘텍스트에 근거한 예측 후보의 우선도 부여를 하여, 적응적으로 움직임 벡터 예측치를 정한다. 근방 예측 모드 정보나 참조 프레임 전환 정보 자체는 이미 복호 완료 정보를 사용하기 때문에, 이 움직임 벡터 예측치 결정 프로세스를 위한 특별한 부가 정보는 필요 없다. 이하, 구체적인 움직임 벡터 예측치 결정 처리의 흐름을 설명한다.
1) 각 세그먼트마다 예측치 후보가 되는 근방 움직임 벡터를 정한다. 도 8a 내지 도 8c에 모드 0, 1, 7 예를 도시한다. 도 8a의 모드 0에서는 움직임 벡터가 1개 밖에 없기 때문에, 사선의 빗금친 블록 위치의 움직임 벡터를 후보로 한다. 도 8b의 모드 1에서는 백색 영역, 회색 영역(도 8b의 매크로 블록 내에서 사선을 친 영역)에 대하여 각각 움직임 벡터가 존재하기 때문에, 백색 영역의 움직임 벡터에 대해서 사선의 빗금친 블록, 회색 영역의 움직임 벡터에 대해서 가로 스트라이프의 빗금친 블록 위치의 움직임 벡터를 예측치 후보로 한다. 또한, 이 모드 1의 도 8b에서는, 매크로 블록 위쪽의 중앙부에서, 사선의 빗금친 블록과 가로 스트라이프의 빗금친 블록이 겹쳐 있다. 도 8c의 모드 7에서는, 백색 영역은 상부와는 움직임의 연속성이 결여되기 때문에, 왼쪽의 사선 빗금친 블록 위치의 움직임 벡터만을 예측치 후보로 한다. 회색 영역에서는, 가로 스트라이프 빗금친 블록 위치의 움직임 벡터를 예측치 후보로 한다. 이들 예측 후보 위치를 각 모드에 대하여 미리 정해 두고, 부호화 장치와 복호 장치 사이에서 공유한다.
2) 예측치 후보가 포함되는 매크로 블록 중, 동일 참조 프레임을 사용하는 예측치를 포함한 매크로 블록을 특정한다. 근방이 동일 참조 프레임을 사용하고 있는지의 여부 판단은 이미 복호 완료인 근방 매크로 블록의 정보를 보존해 두면 가능하다.
3) 2)에서 특정한 매크로 블록 중, 예측 모드 정보에 근거하여 예측 사용 우선도가 높은 매크로 블록과 움직임 벡터를 특정하여, 그 움직임 벡터를 예측치로 한다. 예측 사용 우선도는 도 9와 같이 근방과의 움직임의 연속성을 고려하여, 각 예측 모드에 대하여 고정적으로 정의해 두고, 부호화 장치와 복호 장치에서 공유한다. 도 9에 있어서, 예를 들면 모드 5를 예로 들어 설명하면, 현재 움직임 벡터 예측의 대상으로 되어 있는 매크로 블록의 예측 모드가 모드 5인 경우, 그 위의 매크로 블록에서는, 모드치로 하여 0, 6, 2, 8, 9, 12, 13 순으로 움직임의 연속성에 대한 우선도가 높다고 정의한다. 또한, 왼쪽의 매크로 블록이 취하는 모드치는 5, 0, 2, 8, 12 순으로 우선도가 높다고 정의한다. 오른쪽 위의 매크로 블록에 대해서도 동일한 정의를 한다. 예를 들면 위와 왼쪽에서 우선 순위가 같아진 경우는 어느 한쪽을 단정적으로 예측치로 하도록 정한다. 즉, 이 예에서는, 자신의 예측 모드가 모드 5에서 회색 영역의 움직임 벡터 예측을 하는 경우, 위, 왼쪽의 예측 후보 위치의 움직임 벡터가 동일 참조 프레임, 오른쪽 위가 다른 참조 프레임을 사용하고 있고, 또한 위에 모드 13이, 왼쪽에 모드 5가 나타난 경우, 왼쪽의 움직임 벡터를 예측치로 하여 최우선한다.
4) 도 8c에 있어서의 모드 7의 백색 영역과 같이, 예측 후보 위치가 1개만인 경우는, 동일 참조 프레임이면 그것을 그대로 예측치로서 사용하고, 다른 참조 프레임이면 소정의 위치의 복수의 예측치 후보를 사용하여 예측치를 결정한다(예를 들면 메디안 예측을 사용한다).
5) 복수의 예측치 후보 위치가 있음에도 불구하고, 어느 근방 매크로 블록도 움직임의 연속성을 기대할 수 없는 경우(도 9의 우선 순위에 포함되어 있지 않은 예측 모드인 경우)는 모든 예측치 후보를 사용한 예측치 결정(예를 들면 메디안 예측)을 한다.
6) 예측치 후보의 모든 움직임 벡터가 예측하고자 하는 움직임 벡터와는 다른 참조 프레임을 사용하고 있는 경우는, 모든 예측치 후보를 사용한 예측치 결정(예를 들면 메디안 예측)을 한다.
움직임 벡터의 부호화는 이상의 처리의 결과 얻어지는 예측치를 사용하여 예측 잔차 데이터를 가변 길이 부호화한다.
또한, 움직임 벡터의 예측치는 도 10a 내지 도 10d와 같이 고정적으로 주어도 된다. 이들 도면에 있어서, 흰색 화살표는 백색 영역의 움직임 벡터에 대한 예측의 방향, 흑색 화살표는 흑색 영역의 움직임 벡터에 대한 예측의 방향을 도시하고 있다. 도 10c의 모드 4를 예로 들면, 모드 4의 백색 영역의 움직임 벡터의 예측에는 백색 영역 중 위에서 3번째의 서브 블록과 왼쪽 옆의 위치에 있는 서브 블록의 움직임 벡터를 예측치로 한다. 이 룰에서는, 근방과의 움직임의 연속성에 대한 고려가 충분히 이루어지지 않지만, 고정적으로 예측 위치를 할당하기 위해 움직임 벡터 예측 처리에 관한 장치 실장을 가볍게 할 수 있는 메리트가 있다. 또한, 도 10a 내지 도 10d에 있어서도, 예측치로서 사용할 예정의 블록이 다른 참조 프레임을 사용하고 있는 경우에는, 그 연속성은 끊기는 것으로서 메디안 예측 등의 수법으로 바꾸는 것이 바람직하다.
③ 압축 스트림 신텍스
본 실시예의 부호화 장치로부터 출력되는 압축 스트림(24)의 매크로 블록 데이터의 신텍스를 도 11a의 H.26L의 현행 신텍스와 비교하여 도 11b에 도시한다.
이들 도면에 도시하는 런 정보(RUN)란 상술한 스킵 모드라고 판단된 매크로 블록수를 부호화하는 데이터로, 제 n번째 매크로 블록에서 제 n+5번째 매크로 블록까지의 사이가 스킵이고, 제 n+6번째 매크로 블록이 스킵이 아닌 경우, 런 정보=5라는 부호화 데이터가 제 n+6번째 매크로 블록 데이터 선두에 부여된다. 매크로 블록 타이프 정보(MB_Type)는 도 1의 예측 모드 3을 도시한다.
인터 예측 모드로서는 도 4a 내지 도 4g에 도시하는 7종류가 여기서 식별된다. 또한, 도 11a의 인트라 예측 모드 정보(Intra_pred_mode)란 인트라 예측 모드에 있어서 복수의 공간 예측 방법의 식별을 위해 사용하는 정보로 인터 예측 모드가 선택되는 경우는 생략된다(도 11a의 화살표(P1)). 참조 프레임 정보(Ref_frame)는 인터 예측 모드가 선택된 경우에 움직임 벡터가 지시하는 참조 프레임의 번호를 지정하는 데이터로, 직전의 프레임 1장만을 참조 프레임으로서 사용할 경우에는 생략된다(화살표; P2). 움직임 벡터 차분치(MVD)는 움직임 벡터에 대한 예측치와의 차분치로, 수평·수직 성분 순으로 각각 다중된다. 여기서, 도 4g에 도시하는 바와 같이 H.26L에서는 움직임 벡터가 최대 16개이기 때문에, 움직임 벡터 차분치의 데이터는 최대 16개 다중되게 된다(즉, 화살표(Q1)는 최대 16회의 루프를 도시한다). 움직임 벡터 차분치의 개수는 매크로 블록 타이프 정보에 의해 결정된다. 또한, 인트라 예측 모드가 선택되는 경우는 생략된다(화살표; P3). 이상의 데이터에 이이서, 예측 잔차 신호의 직교 변화 계수 데이터(Texture Coding Syntax)가 다중된다.
한편, 도 11b에 도시하는 본 실시예의 신텍스에서는, 매크로 블록 타이프 정보에 있어서 도 6a 내지 도 6d에 도시하는 14종류의 인터 예측 모드가 식별된다(인트라 예측 모드는 H.26L과 같다고 간주한다). 또한, 1개의 움직임 벡터에 대하여 1개의 참조 프레임 정보가 대응지어지기 때문에, 참조 프레임 정보와 움직임 벡터 차분치는 항상 세트로 다중된다. 참조 프레임 정보와 움직임 벡터 차분치의 세트의 개수는 매크로 블록 타이프 정보에 의해 결정된다. 최대 개수는 2개이다(즉, 도 11b의 화살표(Q2)는 최대 2회의 루프를 도시한다). 또한, 인터 예측 모드가 선택되는 경우는 화살표(P4)와 같이 인트라 예측 모드 정보가 생략되고, 또한 인트라 예측 모드가 선택되는 경우는 화살표(P5)와 같이 참조 프레임 정보 및 움직임 벡터 차분치가 생략된다.
이 때 참조 프레임 정보는 동일 매크로 블록 내 혹은 근방의 매크로 블록 또는 서브 블록에 있어서의 참조 프레임 정보와 서로 닮은 값을 얻는 일이 많아지기 때문에, 이것을 이용한 부호화를 하여도 된다. 예를 들면, 동일 매크로 블록 내에서의 2개의 참조 프레임 정보 값의 조합에 대하여 1개의 부호를 할당하는 것으로 하여, 조합 패턴의 발생 확률을 바탕으로 부호를 구성하여, 수없이 발생하는 조합에 대한 부호량을 저감할 수 있다.
도 33a에 H.26L에 있어서의 참조 프레임 정보의 부호 구성을 도 33b에 참조 프레임 정보의 조합에 대하여 할당한 부호 예를 도시한다. 예를 들면 동일 매크로 블록 내에서의 참조 프레임 정보가 어느쪽 블록도 0이 되는 것이 많으면, 도 33a의 부호에서는 참조 프레임 정보 2개로 2비트 필요해지는 데 대하여, 도 33b의 부호에서는 1비트로 부호화할 수 있어, 부호량을 저감할 수 있다. 이 경우, 참조 프레임 정보에 관한 부호는 도 11b의 신텍스와 달리, 도 33c에 도시하는 바와 같이, 움직임 벡터 차분치와 세트로는 되지 않고 매크로 블록마다 1개만 다중되게 된다. 또한, 도 33c의 화살표(P26, P27)는 상기 처리를 생략하여 점프하는 것을 나타내며, 화살표(Q11)는 최대 2회의 루프를 나타낸다.
또한, 근방의 매크로 블록 또는 서브 블록에 있어서의 참조 프레임 정보를 바탕으로 예측을 하여, 부호를 바꾸도록 하여도 된다. 예를 들면, 상술한 움직임 벡터의 예측과 동일하게 도 10a 내지 도 10d와 같이 고정적으로 예측 위치를 할당하여, 예측 위치에 대응시켜져 있는 참조 프레임 정보를 예측치로 할 수 있다. 모드 0과 같이 고정적인 예측 위치가 할당되어 있지 않은 경우나 예측 위치가 인트라 예측 모드인 등에 의해 참조 프레임 정보가 대응시켜져 있지 않은 경우도 존재하기 때문에, 이들 경우에는 기정 예측치를 사용하는 것으로 한다. 이 예측치가 얻어진 경우의 참조 프레임 정보 값의 발생 확률을 바탕으로 부호를 구성하여, 예측치에 따라서 부호를 바꾼다.
예를 들면, 도 34a의 부호를 변경 전 또는 예측치가 0인 경우의 부호로 하여, 일례로서 예측치가 4인 경우의 부호로서 도 34b와 같이 구성된 부호를 사용하는 것으로 한다. 참조 프레임 정보가 예측치와 같은 값을 얻는 일이 많아, 예측치가 4인 경우에 참조 프레임 정보가 4가 될 확률이 참조 프레임 정보가 2가 될 확률보다도 높아지는 것이면, 도 34a의 부호를 그대로 사용할 경우보다도 도 34b의 부호를 사용함으로써 참조 프레임 정보의 부호량을 저감할 수 있다. 또한, 이 경우에는, 참조 프레임 정보는 도 11b와 같이 움직임 벡터 차분치와는 항상 세트로서 다중화되게 된다.
도시는 하고 있지 않지만, 직교 변화 계수 데이터 중에는, 매크로 블록 내의 8×8블록의 단위로 부호화해야 할 데이터가 존재하는지의 여부를 나타내는 유의 계수 존재 식별 정보(CBP: Coded Block Pattern의 약자)가 있어, 이 데이터를 사용함으로써, 유의 계수가 없는 8×8블록에서는 일체 정보 전송을 생략할 수 있어, 직교 변화 계수 데이터의 부호화가 효율화되어 있다. 도 35a 내지 도 35c에 그 예를 도시한다. 매크로 블록이 도 35a와 같이 분할되어 부호화되고, 또한 각 서브 블록(4×4블록)에 있어서, 백색으로 도시된 블록에는 유의 계수가 없던 것으로 한다. 이 경우, 도 35b에 도시하는 바와 같이 8×8블록의 단위로 유의 계수의 유무를 부호화하여 전송하여, 8×8블록에 포함되는 각 4×4블록에서의 직교 변화 계수 데이터의 유무를 미리 지시함으로써, 각 4×4블록에서의 정보 전송을 생략하여 부호량을 삭감할 수 있다.
본 실시예에 의한 예측 모드를 사용할 경우, 2개의 움직임 벡터를 사용하는 패턴이 선택되는 케이스에서는, 그 분할에 의해 예측 효율이 향상하고 있기 때문에, 분할 경계에 위치하는 예측 잔차 신호에서는 부호화해야 할 계수 데이터가 적어지고 있는 것이 예상된다. 특히, 모드 3 이후의 불균일 분할, 경사 분할에서는 8×8블록의 내부에 분할 경계가 존재하는 일이 있어, 이 부분에 대해서는 부호화를 요하는 계수 데이터가 존재하지 않을 확률이 높아진다고 생각된다. 따라서, 그 상황에 맞추어, 예측 모드에 따라서 유의 계수 존재 식별 정보의 가변 길이 부호화 테이블이나 산술 부호화의 확률 테이블을 변경하도록 구성할 수 있다. 이로써, 예측 모드에 따라서 유의 계수 존재 식별 정보의 부호화를 효율화하는 것이 가능해진다.
또한, 본 실시예에 의한 예측 모드를 사용할 경우에는, 매크로 블록이 변화가 없는 부분과 변화가 큰 부분으로 분할되는 등 하여, 유의 계수의 유무가 각 분할 영역마다 일정해지는 것도 생각할 수 있다. 이러한 경우에는, H.26L에서 사용되고 있는 바와 같이 8×8블록마다 유의 계수의 유무를 지시하는 것이 아니라, 각 분할 영역에 대해서 유의 계수의 유무를 지시하도록 유의 계수 존재 식별 정보를 구성하여 부호화하는 것으로서, 유의 계수 존재 식별 정보에 필요해지는 부호량을 저감할 수도 있다. 도 35c에 그 예를 도시한다. 도 35b와 같이 8×8블록 단위로 유의 계수의 유무를 전송할 경우에는 그 패턴수가 많아져버리지만, 도 35c와 같이 분할 영역에 대해서 유의 계수의 유무를 보낼 경우에는 패턴수를 작게 할 수 있어, 유의 계수 존재 식별 정보에 필요한 부호량을 삭감할 수 있다.
이어서, 복호 장치에 있어서의 복호 처리 순서에 대해서 설명한다. 도 12에 복호 장치의 처리 플로를 도시한다.
우선, 가변 길이 복호부(25)에 있어서, 픽쳐(즉, 영상 개개의 프레임의 부호화 데이터)의 선두를 나타내는 동기 워드를 검출하여(S101), 픽쳐 헤더를 복호한다(S102). 픽쳐 헤더에는 상기 픽쳐가 인트라 부호화되는 픽쳐(모든 매크로 블록을 인트라 예측에 의해 부호화하는 픽쳐인 것. 이하, I픽쳐라 부른다)인지 인터 예측을 사용하는 픽쳐(이하, P픽쳐라 부른다)인지를 식별하는 픽쳐 타이프 정보나, 직교 변화 계수 데이터의 양자화 파라미터 등의 값이 포함된다. 계속해서, 도 11b의 신텍스로 구성되는 개개의 매크로 블록 데이터의 복호로 진행한다. 매크로 블록의 레이어에서는 처음에 런 정보를 복호한다(S103). 런 정보의 데이터 정의는 상술한 대로이고, 런 정보의 수만큼의 스킵 매크로 블록이 발생한다. 스킵 매크로 블록에 대해서는, 프레임 메모리(26) 중에 격납되어 있는 소정의 참조 프레임 상에서 동일 위치에 있는 16×16화소 영역을 그대로 복호 화상 데이터로서 획득한다(S104, S105). 복호 화상을 획득하는 처리는 움직임 보상부(5)에 대하여 움직임 벡터 제로, 소정의 참조 프레임 번호를 줌으로써 행하여진다. 런 정보가 상기 픽쳐의 최종 매크로 블록을 나타내는 경우에는(S106), 그 시점에서 상기 픽쳐의 가변 길이 복호 처리를 종료하고, 루프 필터(21)에 있어서 블록 왜곡 제거 처리를 실시한 후(S118), 다음 픽쳐의 가변 길이 복호 처리로 이동한다.
통상의 부호화 매크로 블록에 관해서는, 스텝 S107로 진행하여 매크로 블록 타이프 정보의 복호를 한다. 이것으로서 예측 모드 3이 확정된다. 예측 모드 3이 인트라 예측 모드를 나타내는 경우(S108에서 긍정 판단인 경우)는 인트라 예측 모드 정보의 복호를 한다(S109). 또한, 정확하게는 H.26L에는 서브 블록(4×4블록) 단위로 인트라 예측을 하는 인트라 4×4모드와, 16×16화소의 단위로 인트라 예측을 하는 인트라 16×16모드 2종류의 인트라 예측 모드가 있고, 인트라 예측 모드 정보를 필요로 하는 것은 인트라 4×4모드뿐이지만, 본 실시예의 설명으로서는 취지가 다르기 때문에, 이들 처리의 차이에 대한 상세 설명은 생략한다. 인트라 예측 모드 정보가 확정하면, 공간 예측부(9)에 있어서 근방의 화상 데이터로부터 인트라 예측치가 생성된다(S110).
한편, 예측 모드 3이 인터 예측 모드를 도시할 경우(S108에서 부정 판단인 경우)는 그것은 도 6에 도시한 어느 한 모드를 나타내는 값으로 되어 있다. 따라서, 이 시점에서 참조 프레임 정보 및 움직임 벡터 차분치를 몇 세트 복호할 것인지가 확정된다(모드 0에서는 1세트, 그 이외에서는 2세트). 이 정보에 따라서, 참조 프레임 정보와 움직임 벡터 차분치의 세트를 복호한다. 단, 참조 프레임 정보가 다중되어 있는지의 여부는 상술한 픽쳐 타이프의 정보에 통합되어 있기 때문에, 픽쳐 타이프 값으로 참조 프레임 정보가 존재하는지의 여부 판단을 할 필요가 있다(S111).
또한, 도면에는 기재하고 있지 않지만 상술한 바와 같이 동일 매크로 블록 내 혹은 근방의 매크로 블록 또는 서브 블록에 있어서의 참조 프레임 정보 값을 이용한 참조 프레임 정보의 부호화가 행하여지고 있는 경우에는, 그것들에 따라서 참조 프레임 정보의 조합 정보를 바탕으로 하여, 혹은 예측치에 의한 부호 전환을 한 후에, 참조 프레임 정보 복호를 한다.
참조 프레임 정보가 있는 경우는 그 값을 복호한 후에 움직임 벡터 차분치를 복호하고(S112, 113), 참조 프레임 정보가 없는 경우는 움직임 벡터 차분치만이 복호된다(S113). 이렇게 하여 얻어진 참조 프레임 정보, 움직임 벡터 차분치, 매크로 블록 타이프 정보로 도시되는 예측 모드 및 근방의 예측 모드 정보 및 도 8a 내지 도 8c, 도 9에 도시하는 부호화 장치와 같은 예측치 후보 위치, 예측 사용 우선도에 근거하여, 움직임 벡터의 예측치가 결정되며, 매크로 블록 내의 모든 서브 블록에 대응하는 각 움직임 벡터 정보가 복원된다. 이 움직임 벡터 정보(4)가 움직임 보상부(5)로 보내지고, 움직임 보상부(5)는 지정된 참조 프레임 정보와 움직임 벡터에 근거하여, 개개의 서브 블록에 대한 움직임 보상 예측치를 생성한다(S114).
이상의 처리가 종료하면, 가변 길이 복호부(25)에서는 상기 매크로 블록의 예측 잔차 신호의 직교 변화 계수 데이터(17) 복호를 하고(S115), 역양자화부(18), 역직교 변환부(19)에서 예측 잔차 신호의 복원을 한다(S116). 마지막으로 S110 또는 S114에서 얻어진 예측치를 가산함으로써 상기 매크로 블록의 복호 화상을 획득한다(S117). 그 후, 다음 매크로 블록의 복호 처리로 이동한다.
이상 서술한 부호화 장치·복호 장치에 의하면, 매크로 블록 내의 각종 움직임을 적은 오버헤드로 정확하게 파악하는 것이 가능해져, 효율 좋게 영상 전송·기록·재생을 하는 것이 가능해진다. 또한, 본 실시예에서는, 매크로 블록 내를 각종 형상으로 움직임 분할하여 예측 효율을 향상함과 함께, 움직임 보상 예측 대상이 되는 영역이 서브 블록의 조합으로 구성되어 있기 때문에, H.26L 영상 부호화 방식과 같이 서브 블록 단위의 예측 잔차 신호 부호화를 행할 경우, 서브 블록의 내부에는 예측의 분할 경계가 존재하지 않기 때문에, 불연속 파형이 생기지 않는다는 메리트가 있다. 이것은 예측 잔차 신호 부호화에 DCT를 사용할 경우에는 여분의 고주파 계수를 발생시키지 않아도 된다는 메리트가 있으며, 벡터 양자화를 사용하는 경우라도 특이한 신호 파형이 억제되어, 코드 북에서 규정되는 범용적인 파형에서의 표현으로 끝나는 의미로 효율적인 부호화를 할 수 있다.
다음으로, 제 2 실시예를 설명한다. 본 실시예에서는, 매크로 블록 단위로 부호화를 하는 영상 부호화 장치에 있어서, 매크로 블록당 최대 2개의 움직임 벡터를 사용하여, 매크로 블록을 4×4화소 단위로 분할한 서브 블록마다 상기 2개의 움직임 벡터를 할당하여 움직임 보상 예측을 할 수 있도록 구성한 영상 부호화 장치 및 복호 장치에 대해서 서술한다. 제 1 실시예가 서브 블록에 대한 움직임 벡터 할당이 고정 패턴으로서 주어져 있던 것에 대하여, 본 실시예에서는 서브 블록에의 움직임 벡터 할당을 임의로 지정할 수 있도록 구성된 부호화 장치·복호 장치에 대해서 서술한다.
본 실시예에서는, 종래예의 도 1 및 도 2에서 도시한 부호화 장치, 복호 장치에 있어서, 압축 스트림(24) 중에 포함되는 예측 모드 3(특히 인터 예측 모드), 움직임 벡터(4)의 정의와, 움직임 검출부(2) 및 움직임 보상부(5)의 동작이 다른 것 이외는 동일 부재·동작으로써 설명할 수 있다. 이하에서는 부호화 장치에 관해서는 움직임 검출부(2)의 움직임 및 예측 모드 3, 움직임 벡터(4)의 정의를 중심으로 설명을 하고, 복호 장치에 관해서는 예측 모드 3과 움직임 벡터(4)로부터 영상 신호를 복호하는 순서를 중심으로 설명을 하는 것으로 한다.
우선, 본 실시예에 있어서의 예측 모드 3의 구성과 그에 따르는 움직임 벡터(4)의 검출 순서를 중심으로, 부호화 장치의 처리 및 복호 장치로 전송되는 압축 스트림의 구성에 대해서 설명한다. 본 실시예에 있어서의 예측 모드 3은 도 13a 내지 도 13c에 도시하는 바와 같이, 상술한 도 6a 내지 도 6d의 고정 움직임 벡터 할당 뿐만 아니라, 임의의 할당 상황을 지정할 수 있도록 확장된 정보로서 정의된다. 즉, 2개의 움직임 벡터의 ID를 각각 0, 1로 하면, 도 13a 내지 도 13c와 같이 4×4의 바이너리 맵 정보로서 표현된다. 여기서, ID 배당은 예를 들면 압축 스트림 중의 전송 순서로서의 의미를 갖는다.
이하, 도 13a 내지 도 13c와 같이 할당이 가능한 움직임 벡터(4)의 결정 방법(움직임 검출부(2)에 있어서 실시)과, 도 13a 내지 도 13c의 표현에 의한 예측 모드 3의 부호화 방법에 대해서 설명한다. 제 1 실시예에서는 고정적으로 움직임 벡터 할당이 정해져 있는 복수의 패턴을 평가하면 되기 때문에, 움직임 벡터 검출은 각각의 영역에서 고정적으로 실시하면 되었지만, 본 실시예에 있어서의 움직임 벡터 검출은 움직임 벡터 할당의 최적성을 고려하면서 실시할 필요가 있다.
도 14에 검출 일례의 순서를 도시한다. 우선, S201에서 16×16화소를 단위로 하는 움직임 벡터 검출을 실시한다. 이것은 도 4a의 모드 1, 도 6a의 모드 0인 경우와 같은 움직임 벡터 검출이면 된다. 이 결과 얻어지는 움직임 벡터를 제 1 움직임 벡터(V1)로 한다. 다음으로, 그 결과 얻어지는 예측치를 사용하여, 각 4×4의 서브 블록마다 예측 평가치(여기서는 차분 절대치 합 SAD: Sum of Absolute Difference를 사용하는 것으로 하고 있다)를 구하여, 소정치보다도 예측 평가치가 커지는 서브 블록을 예외 서브 블록 영역으로서 추출한다(S202). 이로써, 사선부가 예외 서브 블록 영역을 나타내는 움직임 벡터 할당 맵(40)이 얻어진다. 이 예외 서브 블록 영역은 제 1 움직임 벡터(V1)에서는 충분한 예측을 할 수 없던 영역을 도시하고 있으며, 예외 서브 블록 영역을 특정함으로써, 예측 효율에 근거한 움직임 벡터 할당이 가능해진다. 이어서 예외 서브 블록 영역만을 대상으로 하는 움직임 벡터 검출을 하여, 제 2 움직임 벡터(V2)를 검출한다(S203).
이상의 처리 과정에서, 예측 평가치 뿐만 아니라, 움직임 벡터치나 예외 서브 블록 영역에서 결정되는 움직임 벡터 할당 정보(즉, 도 1의 예측 모드 3)의 부호량도 고려하여 검출 처리를 하도록 구성하여도 된다. 또한, 제 1 실시예와 같이, 제 1 및 제 2 움직임 벡터의 검출은 각각 개별로 참조 프레임을 변경하여 검출하도록 하여도 된다.
도 15에 별도의 검출예 순서를 도시한다. 이 예에서는 우선, 서브 블록을 단위로 하여 움직임 벡터 검출을 하여, 16개의 벡터를 구한다(S204). 이어서, 매크로 블록 전체적으로, 부호량과 예측 효율 관점에서 최적이 되도록 16개의 벡터를 2개의 벡터(V1, V2)에 클러스터링(clustering)한다(S205). 특히, 예측 모드 3의 부호량을 고려하여 벡터 할당을 함으로써, 매크로 블록을 부호화함에 있어서 최적의 레이트 왜곡 밸런스가 되는 움직임 벡터를 검출하는 것이 가능하다. 이상과 같은 방법에 근거하여 움직임 검출부(2)에 있어서, 예측 모드 3 및 움직임 벡터(4)가 결정된다.
다음으로, 예측 모드 3 정보의 부호화 방법에 대해서 도 16a, b를 사용하여 설명한다. 부호화 순서를 도 17의 플로 차트에 도시한다. 도 16a, b의 매크로 블록(C)이 부호화 대상인 매크로 블록이라고 하고, 매크로 블록(A)은 C의 바로 위에 위치하는 매크로 블록, 매크로 블록(B)은 C의 왼쪽 옆에 위치하는 매크로 블록으로 한다. 각 매크로 블록은 4×4의 서브 블록 단위로 분할하여 백색·회색의 차이로 움직임 벡터 할당(도 1의 예측 모드 3)의 모양을 도시하고 있다. 부호화는 매크로 블록(A 및 B)의 예측 모드 상황에 근거하여, 서브 블록에 있어서의 움직임 벡터 할당의 변화점을 부호화하여 간다. 우선, 매크로 블록(A 및 B)의 예측 모드 상황으로부터, A 또는 B 중 어느 한 예측 모드의 상황을 계승할지(예측 우선 콘텍스트)를 정한다(도 17의 S206). 또한, 라인 카운터(L)를 제로로 리셋한다. 도 16a에서는, 명확히 매크로 블록(A)으로부터의 움직임의 연속성이 높은 것을 알 수 있기 때문에, 화살표로 도시한 바와 같이 수직 방향의 움직임 벡터 할당 변화를 검출 대상으로 한다. 이후, 이것을 수직 예측 우선 콘텍스트라 부른다. 반대로, 도 16b와 같이, 매크로 블록(B)으로부터의 움직임의 연속성이 높다고 판단되는 경우는 수평 방향의 움직임 벡터 할당 변화를 검출 대상으로 한다. 이후, 이것을 수평 예측 우선 콘텍스트라고 부른다. 도 16a, b에서는, 매크로 블록(C)이 각각의 예측 우선 콘텍스트로 부호화되는 것으로 한 경우의 변화점을 굵은 선으로 도시하고 있다. 이하는 도 16a의 사례로 설명한다.
라인(L) 처리에 있어서, 우선 나머지 런수(r), 런 개시점(a0), 런 종료점(a1)을 확정한다(S207). 런 종료점(a1)이란 예측 우선 콘텍스트로 지정되는 매크로 블록(도 16a의 경우는 매크로 블록(A))의 최인접 서브 블록에서 할당되어 있는 움직임 벡터와 다른 움직임 벡터가 할당되는 서브 블록 위치를 도시한다.
단, 실제로는 매크로 블록(A와 C)에서 동일한 움직임 벡터를 연속적으로 검출하는 것은 일반적이지 않기 때문에, 예를 들면 예측 우선 콘텍스트로 지정되는 매크로 블록의 최인접 서브 블록의 움직임 벡터 할당 상황(0 또는 1)을 부호화 대상의 매크로 블록의 초기 런 개시점(a0)의 할당과 동일하다고 간주하여 처리를 개시하는 등의 방법을 취할 필요가 있다.
별도의 방법으로서는, 예측 우선 콘텍스트를 매크로 블록(C) 내에 가두어 적용하는 방법도 있다. 즉, 16개의 서브 블록 중, 왼쪽 위 모서리의 서브 블록은 그 0 또는 1인 값 그 자체를 남기고, 최상 라인 4개에 대해서는 왼쪽 옆의 서브 블록으로부터의 변화점을 1로 하고, 가장 왼쪽 열 4개에 대해서는 항상 바로 위 서브 블록으로부터의 변화점을 1로 한다. 이렇게 정함으로써, 나머지 서브 블록의 변화점은 예측 우선 콘텍스트에 근거하여 결정한다.
라인(L)의 선두에서는 r=4, a0=0이고, 도 16a의 예에서는 L=0에 있어서의 a1은 3인 것을 알 수 있다. 이로써, 라인(L)에 있어서의 동일 움직임 벡터가 계속 할당되는 서브 블록수는 R=a1-a0에서 주어진다. 이 값을 나머지 런수(r)에 의해 결정되는 부호 길이(CB(r))를 사용하여 가변 길이 부호화한다(S208). 부호 길이(CB(r))의 예를 도 18a 내지 도 18c에 도시한다. R의 부호화에 있어서는 도중 경과에 의해 나머지 R의 발생 상황이 제약을 받기 때문에, 이렇게 나머지 런수(r)에 따라서 부호 길이를 바꿈으로써, 부호화 효율을 높일 수 있다. 예를 들면, 도 16a의 L=0에서는, 우선 r=4, R=3이 얻어지기 때문에, CB(4)를 사용하여 R=3(부호(1)가 할당되고, 부호 길이는 3비트)의 부호화를 한다. 이어서, 나머지 런수(r)를 r=r-R에 의해 갱신함과 함께, 런 개시점(a0)을 a1로 이동한다(S209). 이로써, r=1이 되지만, 나머지 런수가 1이라는 것은 그 시점에서 라인(L)에 있어서의 움직임 벡터 할당이 모두 확정된 것을 의미하기 때문에, 특별히 부호를 전송할 필요는 없다. 이것이 CB(1)가 정의되지 않는 이유이다. 따라서, r≤1인 경우는 L을 카운트 업하여 다음 라인으로 처리를 이행한다(S210, S212). 반대로 r>1인 경우는, 새로운 변화점을 검출하여(S211), 상기 처리를 반복한다. 도 16a의 매크로 블록(C)의 최종 라인 L=3에 있어서는, 처음의 서브 블록이 갑자기 런 종료점으로 되어 있기 때문에, CB(4)의 「초기 반전(0)」의 코드를 부호화하고, 이후, 나머지 런 정보수 r=3으로 하여 처리를 진행한다. 라인수(L)가 4가 된 시점에서 부호화 처리를 종료한다.
이상, 도 16a에서는 L=0에서 3비트, L=1에서 4비트, L=2, 3에서 6비트, 더욱이 예측 우선 콘텍스트의 부호량분(여기서는 수평·수직 어느 경우라도 3비트로 한다)을 가하여, 18비트에서 예측 모드 3의 부호화가 행하여진다. 도 16b의 케이스에서는, L=0, 1에서 4비트, L=2, 3에서는 각 1비트로 부호화 가능하고, 콘텍스트분을 가하여 13비트로 부호화할 수 있다. 바이너리 정보대로도 16비트로 표현 가능하기 때문에, 16비트 이상의 표현이 되는 케이스는 이스케이프 부호 등의 연구에 의해 16비트 고정 길이 부호로 부호화하도록 구성할 수 있다. 더욱이, 도 16a의 케이스와 같이, 분할 패턴으로서 출현 빈도가 높아진다고 예상되는 패턴(도 6b 내지 도 6d에 도시한 바와 같은 케이스)에 대해서는, 미리 고정된 짧은 부호를 할당하고, 그 이외의 임의의 분할 패턴을 표현할 경우에, 상기 부호화에 의한 부호를 사용하도록 구성하여도 된다. 이상의 부호화 처리 순서에 의하면, 서브 블록 단위에서의 임의의 움직임 벡터 할당 상황을 나타내는 도 1의 예측 모드 3 정보를 효율 좋게 부호화·전송하는 것이 가능해진다.
상기 설명을 근거로 하여, 본 실시예의 부호화 장치로부터 출력되는 압축 스트림(24)의 매크로 블록 데이터의 신텍스를 H.26L의 신텍스(도 19a)와 비교하여 도 19b, c에 도시한다. 도 19b는 본 실시예의 가장 심플한 신텍스 예로, 매크로 블록 타이프 정보는 인트라 예측인지 인터 예측인지의 판별만 포함하여, 인터 예측에 대해서는, 16×16화소 단위 움직임 보상의 경우에 최단 부호를 할당하여, 예측 우선 콘텍스트 정보에 대하여 다음에 짧은 부호를 할당한다. 예측 우선 콘텍스트 정보는 즉, 임의 분할 패턴에 의한 인터 예측 모드인 것을 도시한다.
인트라 예측은 일반적으로 인터 예측보다도 출현 빈도가 낮기 때문에, 예측 우선 콘텍스트 정보보다도 긴 부호를 할당한다. 예를 들면, H.26L의 가변 길이 부호 정의에 근거하면, 16×l6화소 단위 움직임 보상 모드에 부호 "1"(1비트)을, 예측 우선 콘텍스트 정보에 부호 "001", "011"(3비트)을 할당한다. 인트라 예측 모드가 선택되는 경우, H.26L과 마찬가지로, 인트라 예측 모드 정보가 복호된다(인터 예측 모드인 경우는 화살표(P9)와 같이 인트라 예측 모드 정보가 생략된다). 다음으로, 상기 부호화 방법으로 부호화되는 서브 블록 단위의 움직임 벡터 할당 정보를 다중한다. 이것은 16비트의 고정 길이 부호여도 된다. 또한, 인트라 예측 모드인 경우는 이 정보는 화살표(P10)와 같이 상기 처리가 생략된다. 이후는 제 1 실시예에 서술한 대로이다.
도 19c는 다른 신텍스 구성을 도시하고 있으며, 매크로 블록 타이프 정보로 예측 우선 콘텍스트를 표현하는 대신, 부호 "001", "011"(3비트)에 의해 임의 분할 패턴에서의 인터 예측의 모드 정보를 가변 길이로 보낼지 고정 길이(16비트)로 보낼지의 식별 정보로서 사용한다. 가변 길이인 것이 도시된 경우는, 예측 우선 콘텍스트(pred_ctx)에 계속해서, 움직임 벡터 할당 정보(Pattern_info)를 다중한다. 한편, 고정 길이인 것이 도시된 경우는 16비트의 고정 길이 부호로 다중한다. 또한, 도 19b에 있어서, 매크로 블록 타이프 정보에 있어서, 도 6b 내지 도 6d에 도시되는 바와 같은 특정 출현 빈도가 높은 분할 패턴을 나타내는 정보와, 그 이외의 패턴인 것을 나타내는 이스케이프 부호를 표현할 수 있도록 정의하는 것도 가능하다. 이 경우, 움직임 벡터 할당 정보에는 예측 우선 콘텍스트 값을 포함시키게 된다. 이로써, 출현 빈도가 높은 분할 패턴은 움직임 벡터 할당을 위한 추가 정보를 필요로 하지 않고, 보다 효율적인 부호화가 가능해진다. 또한, 도 19a 내지 도 19c에 있어서, 화살표(P6 내지 P15)는 상기 정보가 생략되는 것을 나타내며, 화살표(Q3)는 최대 16회의 루프를, 화살표(Q4, Q5)는 최대 2회의 루프를 나타낸다.
복호 장치의 움직임 플로를 도 20에 도시한다. 본 실시예에 있어서의 복호 장치는 제 1 실시예의 복호 장치에 비하여, 예측 모드 정보(3)의 복호 순서가 다른 점을 제외하고 같은 움직임이기 때문에, 예측 모드 정보(3)의 복호 처리 부분에 대해서만 설명한다.
도 20에 있어서, S101 내지 S118은 도 12에 도시한 제 1 실시예의 복호 장치의 처리 스텝과 같은 처리 스텝이다. 도 20의 S108에 있어서, 인터 예측 모드인 것이 도시된 경우, S215에서 도 19b에 있어서의 움직임 벡터 할당 정보를 복호한다. 이 때, 예측 우선 콘텍스트 정보는 이미 매크로 블록 타이프 정보에 포함되어 있으며, 여기서는 S214의 프로세스로 복호된 예측 우선 콘텍스트 정보에 근거하여 CB(r)를 사용한 복호 처리를 한다. 이것은 일반의 가변 길이 복호 처리로써 실시 가능하기 때문에 상세 설명은 생략한다. 16개 모든 서브 블록분의 움직임 벡터 할당이 확정된 단계에서 S215의 처리를 종료하고, 참조 프레임 정보, 움직임 벡터 차분치의 복호 처리로 이행한다. 이후는 제 1 실시예에 서술한 대로이다.
또한, 도 20에 있어서, 도 19c의 신텍스에 근거하는 복호 처리도 설명할 수 있다. 이 경우, 스텝 S214에서는, 예측 우선 콘텍스트 정보 대신, 움직임 벡터 할당 정보가 가변 길이 부호인지 고정 길이 부호인지가 도시된다. 이것에 근거하여, 스텝 S215에서는 도 19c의 신텍스에 근거하여 움직임 벡터 할당 정보의 복호를 실시한다. 가변 길이 부호인 경우는, 예측 우선 콘텍스트 정보의 복호 처리를 먼저 실시한다. 더욱이, 매크로 블록 타이프 정보가 몇 개의 출현 빈도가 높은 분할 패턴(예를 들면 도 6b 내지 도 6d의 모드 1 내지 14)의 식별 정보를 포함하는 경우는, S214의 스텝에서 이미 분할 패턴이 정해지기 때문에, 임의 분할 패턴을 나타내는 이스케이프 부호를 검출하였을 때 이외는 S215의 스텝을 스킵하도록 구성하면 된다.
이상 서술한 부호화 장치·복호 장치에 의하면, 매크로 블록 내의 각종 움직임을 서브 블록의 단위로 임의로 분할하여 파악하는 것이 가능해져, 적은 오버헤드로 효율 좋게 영상 전송·기록·재생을 하는 것이 가능해진다.
다음으로, 제 3 실시예를 설명한다. 본 실시예에서는, 제 2 실시예에 있어서의 임의의 분할 패턴을 나타내는 도 1의 예측 모드 3의 별도의 부호화 방법을 설명한다. 도 21는 그 처리 플로를 도 16a에서 사용한 구체예와 함께 도시한 것이고, 도 22는 그 처리의 설명도이다. 우선, 도 21의 S301에서 제 2 실시예와 같은 예측 우선 콘텍스트를 결정한다. 여기서, 수직 예측 우선 콘텍스트가 선택되면, 매크로 블록(A)의 최하단의 서브 블록 라인에서 보아, 움직임 벡터 할당이 어디에서 변화하는지를 변화점으로 하여 검출한다(S302). 예를 들면, 도 22a의 매크로 블록(A, C)에서는, 굵은 선 부분이 변화점으로서 검출된다. 이로써, 유변화점을 1, 무변화점을 0으로 하는 도 22b의 바이너리 맵이 생성된다. 이것을 소정의 스캔 테이블(예를 들면 도 22c의 스캔 테이블)을 사용하여 스캐닝하여 제로 런을 생성한다(S303).
예를 들면, 여기서는 수직 예측 우선 콘텍스트가 채용되고 있기 때문에, 도 22c의 수직 방향으로 스캔을 하기 위한 스캔 테이블을 사용하여 도 22b의 바이너리 맵을 스캐닝한다. 이 결과, {3, 1, 3, 5}라는 제로 런의 세트가 생성된다. 이 정보를 가변 길이 부호화함으로써(S304 내지 S307), 예측 모드 3의 부호화가 행하여진다. 스캔 도중에서 변화점이 없어지는 경우(S305에서 긍정 판단인 경우), 이후의 제로 런 정보는 1개의 종단 부호(EOB)만으로 대체된다(S306).
반대로 스캔의 종료 시점까지 변화점이 존재하는 경우는, 제로 런과 변화점수의 총계가 16인 것을 이용하여 마지막의 제로 런의 부호가 확정되기 때문에, 종단 부호에 의한 부호화는 행하지 않는다(S307에서 긍정 판단되어 S306을 실시하지 않는다).
스캔 테이블에 대해서는, 예를 들면, 도 23a의 지그재그 스캔, 도 23b의 수평 스캔, 도 23c의 힐 벨트 스캔을 사용하도록 하여도 되고, 이 이외에도 임의의 테이블을 사용 가능하다. 예측 우선 콘텍스트에 근거하여 스캔을 변경하도록 하여도 되고(수평 예측 우선 콘텍스트 선택 시에는 수평 스캔으로 하는 등), 어느 특정한 범용적인 스캔 룰을 고정적으로 사용하여도 된다. 또한, 스캔 테이블을 바꾸기 위한 전용 플래그를 예측 모드 3 정보의 일부로서 부호화하도록 하여도 된다. 이 경우는 부호화 장치에서 복수의 스캔 방법으로부터 가장 부호화 효율이 좋은 스캔 테이블을 선택적으로 사용할 수 있다.
이상 서술한 부호화 방법에 의해 얻어지는 예측 모드 3의 신텍스는 도 19b, c에 도시한 움직임 벡터 할당 정보를 제 2 실시예의 부호화 방법으로 치환함으로써 실현할 수 있다. 또한, 복호 장치의 구성도 도 20에 있어서의 S215의 스텝이 본 실시예에서 서술한 부호화 방법에 의한 부호를 복호하여 예측 모드 3을 확정시키는 처리에 해당한다.
또한, 본 실시예에서는, 예측 우선 콘텍스트 정보를 사용하는 사례를 설명하였지만, 예측 우선 콘텍스트에 의존하지 않고, 변화점을 어느 고정된 규칙으로 검출하도록 하여, 예측 우선 콘텍스트의 정보를 부호화하지 않도록 구성하는 것도 가능하다. 이 때 스캔 테이블은 고정이어도 되고, 플래그를 설치하여 효율 좋은 테이블을 바꾸도록 구성하여도 된다.
이상 서술한 부호화 장치·복호 장치에 의하면, 매크로 블록 내의 각종 움직임을 서브 블록의 단위로 임의로 분할하여 파악하는 것이 가능해져, 적은 오버헤드로 효율 좋게 영상 전송·기록·재생을 하는 것이 가능해진다.
다음으로, 제 4 실시예를 설명한다. 본 실시예에서는, 서브 블록 단위에 움직임 벡터 할당을 변경한 뿐만 아니라 인트라/인터 예측 구별도 행할 수 있도록 도 1의 예측 모드 3을 구성한 부호화 장치·복호 장치에 대해서 설명한다. 이로써, 서브 블록마다 인트라, 인터(복수 움직임 벡터 중 어느 하나)를 선택하여 부호화할 수 있기 때문에, 매크로 블록 단위로 모드 전환을 하는 것보다도 실제 영상의 성질에 적응한 효율적인 부호화를 하는 것이 가능해진다.
우선, 본 실시예에 있어서의 도 1의 예측 모드 3의 정의에 대해서, 도 24a, b의 예를 사용하여 설명한다. H.26L 부호화 방식에서는, 인트라 예측으로서 4×4의 서브 블록 단위로 인트라 예측 모드 정보로 식별되는 복수의 예측 방법을 바꾸어 공간 예측을 하는 인트라 4×4모드(INTRA_4×4)와, 매크로 블록의 단위로 복수의 예측 방법을 바꾸어 공간 예측을 하는 인트라 16×16모드(INTRA_16×16) 2종류가 준비되어 있다.
인트라 예측 모드 정보에는 계 6종류(1 내지 6)의 공간 예측 방법이 정의되어 있으며, 이것들을 서브 블록의 단위로 지정하는 것이 가능하다. 그래서, 이것을 확장하여, 4×4 서브 블록의 예측 모드로서 움직임 벡터 할당 정보를 통합한다. 즉, 2개의 움직임 벡터가 사용 가능한 경우, 그 예측 방법의 ID를 7, 8로 정의한다. 이 정의에 근거하여 서브 블록에 예측 방법 1 내지 8이 할당된 예가 도 24a, b에 도시되어 있다. 도 24a에서는 대각 방향으로 인트라/인터 구별이 행하여져, 인터 중에서도 2개의 움직임 벡터가 사용되고 있다.
도 24b에서는 매크로 블록이 상하로 분할되어, 상부가 인트라에서 하부가 인터에서 예측되는 예로, 이 예에서는 인터 예측에는 1개의 움직임 벡터 밖에 사용되지 않는다. 이하, 이 여러 값의 예측 할당 정보인 것을 다치 예측 식별 맵 정보라 부른다.
또한, 인트라 16×16모드와, 16×16화소 단위 움직임 보상 모드(이하, 인터 16×16모드)와의 식별에 대해서는, 4×4 서브 블록 단위의 예측 할당 정보를 필요로 하지 않기 때문에, 매크로 블록 타이프 정보에 의한 식별만으로 실현할 수 있다. 즉, 매크로 블록 타이프 정보를 인트라 16×16모드, 인터 16×16모드 및 서브 블록 단위 임의 예측 할당의 3종류로 분류한다. 이어서, 서브 블록 단위 임의 예측 할당의 모드인 경우에는, 상기 다치 예측 식별 맵 정보를 부호화함으로써 모든 서브 블록의 예측 방법을 확정한다.
이 예에서는, 부호화 장치의 움직임 검출부(2)에 있어서, 인트라 16×16모드, 인터 16×16모드 및 서브 블록 단위 임의 예측 할당의 모든 가능성에 대해서 평가를 하여 가장 부호화 효율이 좋은 모드를 선택할 수 있다. 물론, 어느 모드의 조합에 고정되어 부호화하는 장치를 구성하여도 된다. 서브 블록 단위 예측의 최적 검출은 각종 수법을 생각할 수 있지만, 예를 들면 제 2 실시예의 도 14에서 도시한 방법을 확장하여, 예외 서브 블록 영역 중, 인트라 예측의 예측 평가치보다도 큰 예측 평가치를 갖는 서브 블록은 인트라 예측으로 하는 등의 방법으로 맵 정보를 확정할 수 있다.
이하에서는, 도 24a, b에 도시한 다치 예측 식별 맵 정보의 부호화 방법에 대해서 서술한다. 이 맵 정보는 제 2 실시예 및 제 3 실시예에서 도시한 움직임 벡터 할당 정보와 거의 같은 부호화 방법으로 부호화할 수 있다. 다른 것은 제 2 실시예 및 제 3 실시예의 부호화 대상의 정보가 바이너리 맵인데 대하여, 본 실시예의 부호화 대상이 그레이 스케일 맵인 것이다.
(1) 부호화 방법 1
제 2 실시예의 방법으로 실현하기 위해서는, 개개의 모드 정보를 비트 플레인으로 전개한다. 예를 들면, 인트라인지 인터인지를 나타내는 플레인, 개개의 인트라 예측 방법에 대한 사용 유무를 나타내는 플레인(합계 6플레인), 움직임 벡터의 할당 플레인이라는 나누기 방법이 가능하다. 이들 각 플레인을 제 2 실시예에 나타내는 방법으로 부호화할 수 있다. 예를 들면, 도 24a의 다치 예측 식별 맵 정보를 상기 룰로 비트 플레인에 분해하면, 도 25a 내지 도 25c와 같이 된다. 여기서, 도 25a의 인트라/인터 분류의 플레인과 도 25c의 움직임 벡터 할당 플레인은 어느 것이나 예측 우선 콘텍스트를 사용하고 있지만, 인트라 예측 방법의 플레인에 대해서는 그 예측 방법의 유무만으로 비트 플레인을 구성하고 있다.
도 25a 내지 도 25c의 계 8개의 플레인의 바이너리 맵을 제 2 실시예의 방법으로 소정의 순서로 부호화함으로써, 본 실시예의 예측 모드 3의 정보를 표현할 수 있다. 또한, 처음에 인트라/인터 구별을 전송해 둠으로써, 인트라 예측 방법에 관한 도 25b의 6플레인 및 도 25c의 움직임 벡터 할당의 플레인은 도 26b, c와 같이, 각각 인트라, 인터에 해당하는 서브 블록분만을 비트 플레인 데이터로 하도록 구성하여도 된다(즉, 도 26b, c의 회색 부분은 부호화 대상으로 하지 않는다). 이로써, 부호화해야 할 정보량을 효율 좋게 저감할 수 있다. 이상의 플레인 정보를 제 3 실시예의 부호화 방식을 사용하여 부호화하도록 구성하여도 된다.
(2) 부호화 방법 2
또한, 제 3 실시예의 변형으로서 부호화하는 방법으로서, 예측 방법의 무변화점을 0으로 하여, 동일 예측 방법이 계속되는 무변화 구간을 런 표기하는 방법도 생각할 수 있다. 이 방법에 의한 경우, 도 24a의 케이스는 도 27과 같이 변환된다(수평 예측 우선 콘텍스트로써 변화점 검출). 이 정보를 제로 런과 변화점의 예측 방법 ID와의 세트로 부호화한다. 이 예에서는, 도 23b의 수평 스캔을 사용하여 {(5, 7), (0, 1), (2, 7), (3, 8), (1, 7)}이라는 세트로 전개할 수 있다. 이들 세트에 가변 길이 부호를 할당하여 부호화한다. 스캔 테이블은 플래그를 준비하여 효율 좋은 테이블을 바꾸어 사용할 수 있도록 구성하여도 된다.
또한, 이 때, 인터 예측인 7, 8의 값에 의한 변화는 예측 방법의 변화가 아닌 것으로 간주하여 무변화점으로 하여, 움직임 벡터 할당 정보의 플레인을 별도로 부호화하도록 구성하여도 된다.
(3) 부호화 방법 3
더욱이, 종래예의 H.26L 부호화 방식에 있어서의 인트라 예측 모드 정보에 인터 예측의 플래그를 추가하도록 확장하여, 인터 예측 부분만을 움직임 벡터 할당 플레인 형태로 전송하도록 구성하여도 된다.
(4) 부호화 방법 4
인트라/인터 분류 패턴 및 움직임 벡터 할당 패턴을, 예를 들면 도 6a 내지 도 6d와 같이 고정적으로 배당해 둔다. 모든 인트라/인터 분할 상황, 움직임 벡터 할당 상황은 고정 패턴 ID로서 부호화기·복호기 사이에서 식별 가능하기 때문에, 이들 패턴의 ID를 출현 빈도 순으로 가변 길이 부호화한다. 또한, 인트라/인터 분할 패턴, 움직임 벡터 할당 패턴(제 1 실시예 상당)에 대해서는, 근방의 매크로 블록으로 선택되는 패턴과의 상관이 높은 것을 생각할 수 있기 때문에, 인트라/인터의 분할 패턴에 대해서도 제 1 실시예와 마찬가지로, 근방 매크로 블록의 상황에 의한 콘텍스트를 정의하여, 콘텍스트에 따라서 그 가변 길이 부호화 테이블 또는 산술 부호화를 위한 확률 테이블을 바꾸도록 구성하여도 된다.
이상의 방법으로 부호화되는 예측 모드 3의 신텍스를 도 28 내지 도 31에 도시한다. 도 28 내지 도 31은 상기 부호화 방법 1 내지 4에 각각 대응한다. 부호화 방법 1에서는, 도 28에 도시하는 바와 같이, 움직임 벡터 할당 정보를 비트 플레인마다 부호화한다. 예측 우선 콘텍스트에 대해서는 제 2 실시예에 기재된 대로, 동일 매크로 블록 내에서 가둔 정의로 하여도 되고, 사용하지 않도록 구성하여도 된다.
부호화 방법 2에서는, 도 29에 도시하는 바와 같이, 예측 우선 콘텍스트에 계속해서 스캔 테이블을 식별하기 위한 스캔 테이블 플래그 정보를 다중하고 있다. 이것은 예측 우선 콘텍스트에 의존하여 스캔 테이블을 결정하는 경우나 고정적으로 스캔 테이블을 정해버리는 경우에는 필요 없다. 계속해서, 제로 런과 변화점의 예측 방법 ID의 세트를 스캔 결과 얻어지는 수만큼 전송한다.
부호화 방법 3에서는, 도 30에 도시하는 바와 같이, 인트라 예측 모드 정보에 인터 예측 플래그를 추가한 확장판 정보에 의해, 6종류의 인트라 예측 방법에 인터 예측 방법을 가한 합계 7종류의 방법을 지정할 수 있도록 확장을 하여, 이 확장판 정보에 인터 예측인 경우의 움직임 벡터 할당을 지정하기 위한 움직임 벡터 할당 정보를 전송하는 구성이 된다.
부호화 방법 4에서는, 도 31에 도시하는 바와 같이, 매크로 블록 타이프 정보로서, 인트라/인터의 분류 패턴, 움직임 벡터 할당 패턴을 포함하는 고정적인 모드 할당 패턴이 포함되어 있으며, 대단히 많은 예측 모드치를 동일하게 식별하는 데이터로서 확장된다. 이어서, 매크로 블록 타이프 정보로 지정된 인트라 예측을 하는 영역 내의 4×4 서브 블록에 대해서만 인트라 예측 모드의 식별 정보를 별도로 전송하는 구성으로 되어 있다. 이 신택스와 같이, 예를 들면, H.26L 부호화 방식의 인트라 4×4모드에 있어서 사용되는 서브 블록 단위의 인트라 예측 모드 식별 정보(인트라 예측 모드 정보)를 그대로 사용하도록 구성할 수 있다.
또한, 도 28 내지 도 31에 있어서, 화살표(P16 내지 P25)는 상기 정보가 생략되는 것을 나타내며, 화살표(Q7)는 최대 16회의 루프를, 화살표(Q6, Q8 내지 Q10)는 최대 2회의 루프를 나타낸다.
복호 장치에 있어서는, 도 12, 도 20 등의 복호 움직임 플로를 바탕으로, 이상의 각종 구성의 신텍스를 수신하여, 부호화 방법에 규정되는 순서와 반대 순서를 더듬어 매크로 블록 내의 예측 모드 할당을 확정하여 영상 신호를 복호한다.
이상 서술한 부호화 장치·복호 장치에 의하면, 매크로 블록 내의 각종 변화 상황을 서브 블록 단위로 임의로 분할하여 파악하는 것이 가능해져, 적은 오버헤드로 효율 좋게 영상 전송·기록·재생을 하는 것이 가능해진다.
또한, 본 실시예에 있어서는, 예측 모드 정의에 있어서, 움직임 벡터의 개수를 3 내지 4개로 하여, 각각 예측 방법 ID를 추가로 할당하도록 하여도 된다.
다음으로, 제 5 실시예를 설명한다. 본 실시예에서는, 제 1 실시예의 부호화 장치·복호 장치에 움직임 벡터 검출 처리 및 움직임 벡터 예측 방법에 관한 별도의 실시 양태를 실장한 예를 설명한다.
제 1 실시예에서 서술한 도 6a 내지 도 6d의 인터 예측 모드를 이용한 경우, 각 모드의 움직임 벡터의 검출 방법은 제 1 실시예의 복호 장치의 동작으로 서술한 바와 같이 소정의 신텍스로 해석할 수 있는 한 어떠한 방법을 채용하여도 되지만, 본 실시예에서는, 연산량 부하를 너무 늘리지 않고 예측 효율을 향상시키는 움직임 벡터 검출 수법과, 그에 따르는 움직임 벡터 예측 룰을 채용하는 부호화 장치 및 복호 장치에 대해서 설명한다. 이하의 설명에 있어서, 움직임 벡터 검출 처리는 도 1의 움직임 검출부(2)에 있어서 행하여지며, 움직임 벡터 예측 처리는 도 1의 가변 길이 부호화부(23)(부호화 장치 측), 도 2의 가변 길이 복호부(25)(복호 장치 측)에서 행하여지는 것으로, 이후의 설명에서는, 이들 처리의 플로 차트에 의한 움직임 설명을 하는 것으로 한다.
도 6a 내지 도 6d에 도시한 제 1 실시예의 인터 예측 모드 세트에서는, 매크로 블록당 1개 또는 2개의 움직임 벡터를 검출할 필요가 있다. 저레이트 부호화에 있어서는, 움직임 벡터의 개수가 증가하는 분만큼 직교 변화 계수 표현에 사용할 수 있는 부호량이 적어지기 때문에, 움직임 벡터의 부호량의 코스트와, 검출한 움직임 벡터에 의한 예측의 정밀도와의 트레이드 오프를 고려하면서 움직임 벡터 검출을 하는 것이 바람직하다. 제 1 실시예의 베이스로 하고 있는 H.26L 영상 부호화 방식에서는, 시간적으로 i프레임분만큼 이전의 참조 프레임 RFj(i≥1)에 있어서 검출되는 움직임 벡터를 MVj(n, j)(n: 매크로 블록 위치, j: 세그먼트 번호), 움직임 벡터 MVi(n, j) 및 참조 프레임 식별 정보(RFi)의 부호화에 요하는 비트량을 Rp로 나타내며, 그 때에 얻어지는 예측 잔차 전력(Dp)과 정수(λ)를 사용하여, 아래의 식 (1)에서 결정되는 코스트(Cp)를 최소화하는 움직임 벡터 MVi(n, j), 참조 프레임 RFi(i≥1)를 정한다. 정수(λ)는 타깃 부호화 비트 레이트가 낮아짐에 따라서 값이 커지도록 설정되기 때문에, 저레이트 부호화에서는 비트량(Rp)에 의한 제약이 엄격해진다.
Cp=Dp+λRp ···(1)
움직임 벡터는 제 1 실시예에 서술한 바와 같이 예측치를 정하여 예측 차분치를 부호화하기 때문에, 검출되는 움직임 벡터가 예측치에 가능한 한 가까운 쪽이 비트량(Rp)은 작아진다. 이 때문에, H.26L 영상 부호화 방식에서는, 움직임 벡터 탐색 범위의 중심점을 움직임 벡터 예측치로 설정하여, 움직임 벡터 탐색창의 위치를 세그먼트마다 적응화하는 것을 추장하고 있다. 이로써 적어도 움직임 벡터의 부호량이 삭감되어, 위 식의 코스트(Cp)를 최소화함에 있어서 비트량(Rp)의 제약이 완화되어, 예측 잔차 전력(Dp)의 최소화에 의해 유리한 조건으로 움직임 벡터 검출을 할 수 있다. 근방 매크로 블록과의 움직임의 연속성을 고려하여도, 탐색창 위치를 예측치에 맞추어 적응화하는 것은 예측 잔차 전력(Dp) 저하로도 이어지는 것으로 기대된다. 그 한편, 탐색창의 적응화에는 예측 잔차 전력의 계산 처리 부하가 커진다는 문제가 있다.
이 문제를 설명하기 위해, 도 36a에 움직임 벡터 탐색 범위의 적응화를 할 경우에 대해서, 도 36b에 움직임 벡터 탐색 범위의 적응화를 하지 않는 경우에 대해서, 각각 도식화하였다. 도 36b와 같이, 탐색 범위가 세그먼트에 의하지 않고 일정한 경우, 세그먼트 형상이 계층적으로 되어 있는 것을 이용하여 예측 잔차 전력의 계산 회수를 삭감하는 것이 가능하다.
예를 들면, 도 6d에 있어서, 모드 13의 상부 세그먼트(백색 세그먼트)에 대해서 일정하게 정해진 탐색창에서 모든 움직임 벡터 후보에 대하여 예측 잔차 전력 계산을 함으로써, 모드 9에서는 모드 13의 상부 세그먼트 내의 3개의 서브 블록에 대한 예측 잔차 전력 계산을 다시 행할 필요는 없어지고, 나머지 3개의 서브 블록에 대한 예측 잔차 전력 계산을 실시하면 되게 된다. 이에 대하여, 도 36a에서는, 도 10d의 움직임 벡터 예측 룰을 사용하는 것을 전제로 하면, 모드 13의 상부 세그먼트는 모드 9의 동일 개소와는 이미 탐색 위치가 공통화되지 않기 때문에, 그 예측 잔차 전력 계산 결과를 재이용할 수 없다.
그래서, 본 실시예에서는, 연산량을 억제하면서 탐색창의 세그먼트마다의 적응화를 하여 예측 정밀도 향상을 도모하는 움직임 벡터 검출 처리 및 움직임 벡터 예측 룰에 대해서 설명한다. 본 실시예의 움직임 벡터 예측 룰은 도 37a 내지 도 37d와 같이 고정적으로 정한다. 이 룰에서는 도 10a 내지 도 10d에 비하여, 사용하는 예측 위치의 배리에이션이 적어, 크게 나누어 4종류의 움직임 벡터 예측만을 사용한다.
1종류째는 모드 0과, 모드 9, 10, 13, 14의 상부 세그먼트의 예측(MV 예측 ①)이고, 이 경우, 점선으로 둘러싼 3개소의 서브 블록(4×4블록) 위치의 움직임 벡터를 사용한 메디안 예측으로 한다.
2종류째와 3종류째는 모드 1 내지 8, 11, 12의 예측이고, 도 37b 내지 도 37d에 도시하는 바와 같이, 세그먼트에 따라서 왼쪽 또는 위의 고정 위치의 서브 블록의 움직임 벡터를 사용한 예측으로 한다(MV 예측 ②, ③. 좌측으로부터의 예측을 ②, 상측으로부터의 예측을 ③으로 한다).
4종류째는 모드 9, 10, 13, 14의 하부 세그먼트의 예측으로, 이 경우는 매크로 블록의 왼쪽 위 모서리의 서브 블록에 인접하는 점선 위치의 서브 블록을 사용하여 예측한다(MV 예측 ④).
또한, 예측에 사용하는 개소의 움직임 벡터가 현재 예측하고자 하는 움직임 벡터와 다른 참조 프레임을 사용하고 있는 경우나, 인트라 부호화되어 있어 움직임 벡터가 정의되어 있지 않은 경우에는, 모드 0과 모드 9, 10, 13, 14의 상부 세그먼트에 사용하는 메디안 예측을 그대로 적용한다. 도 10a 내지 도 10d에서는, 각 모드, 각 세그먼트에 대하여 개별 예측 룰을 적용했었지만, 본 실시예의 예측 룰을 적용함으로써, 최대 4종류의 예측으로 집약된다. 이에 따라, 움직임 벡터 탐색 시에, 예측치에 적응화한 탐색창을 설정하여도 예측 잔차 전력의 계산 회수를 대폭 삭감하는 것이 가능해진다.
이상의 움직임 벡터 예측 룰을 이용하여 부호화 장치의 움직임 검출부(2)에서 실시되는 움직임 벡터 검출 처리의 플로 차트를 도 38에 도시한다. 그래서, 도 38을 사용하여 상기 움직임 벡터 예측 룰을 이용한 움직임 벡터 검출 처리를 설명한다.
우선, MV 예측 ①을 사용하여 움직임 벡터 예측치를 구하고, 이것을 탐색창 ①의 중심 위치로 한다(SA1). 이 탐색창 ① 내에서, 우선 모드 0에 대해서 코스트(Cp)를 최소화하는 움직임 벡터(및 참조 프레임)를 검출한다(SA2). 이 때, 매크로 블록의 각 서브 블록에 대해서, 탐색창 ① 내의 움직임 벡터 후보에 대하여 얻어지는 예측 잔차 전력(예측 평가치(SAD)로 산출)을 전부 SAD치 ①로서 보존해 둔다(SA3). SAD치 ①은 동일한 MV 예측(1)을 사용하는 모드 9, 10, 13, 14의 움직임 벡터 및 참조 프레임 결정 시에 재이용할 수 있다(SA4). 즉, 모드 9, 10, 13, 14에 관한 코스트(Cp)를 최소화하는 움직임 벡터 및 참조 프레임을 SAD치 ①로서 보존되어 있는 값으로부터 선택하여 가산하는 것 만으로 결정하는 것이 가능하여, 예측 잔차 전력(SAD) 계산을 할 필요가 없다.
이어서, SA5에 있어서, 모드 1 내지 8, 11, 12에 대해서 MV 예측 ②, ③이 사용 가능한지의 여부를 판단한다. 여기서, MV 예측 ②, ③을 사용하는 모드 1 내지 8, 11, 12에 대해서, MV 예측 ②, ③에 사용하는 예측 위치의 움직임 벡터가 다른 참조 프레임을 사용하고 있거나, 인트라 부호화인 경우는 MV 예측 ②, ③이 사용 가능하지 않다고 판단하여, SAD치 ①을 사용하여 움직임 벡터와 참조 프레임을 결정한다(SA8). 한편, SA5에 있어서 MV 예측 ②, ③이 사용 가능하다고 판단되면, MV 예측 ②, ③을 사용하여 구한 움직임 벡터 예측치를 탐색창 ②, ③의 중심 위치로 하고(SA6), 이 탐색창 ②, ③ 내에서, 모드 1 내지 8, 11, 12에 대해서 각각 코스트(Cp)를 최소화하는 움직임 벡터(및 참조 프레임)를 검출한다(SA7). 그 후, 모드 9, 10, 13, 14의 하부 세그먼트에 대해서도 SA5 내지 8과 동일한 처치를 SA9 내지 12에 있어서 실시한다. 그리고, 마지막으로 SA13에 있어서, 전체 모드 중 최소 코스트(Cp)를 주는 모드를 선택한다.
이상의 움직임 벡터 검출 처리에 의해, SA4, 7, 8, 11, 12의 각 프로세스에서는, 세그먼트의 크기에 따라서 움직임 벡터 계산 순서를 정함으로써, SAD 연산량을 더욱 삭감하는 것이 가능하다. 예를 들면, 모드 9, 10, 13, 14의 관계에서는, 상부 세그먼트에 관하여, 모드 13⊂모드 9⊂모드 10⊂모드 14가 되는 관계가 있다. 즉, 모드 13의 상부 세그먼트의 SAD 계산 결과는 모드 9의 상부 세그먼트의 SAD 계산에 그대로 유용 가능하고, SAD치 ①로부터 직접적으로 가산을 하는 것보다도 가산 회수를 삭감할 수 있다. 모드 1 내지 8, 11, 12에 대해서도 동일하다고 할 수 있기 때문에, 이들 계층성에 따라서 움직임 검출 처리를 실장함으로써, 연산량을 억제하는 것이 가능하다.
한편, 복호 장치에서는, 가변 길이 복호부(25)에 있어서의 움직임 벡터 신텍스의 복호 처리에 있어서, 도 10a 내지 도 10d의 움직임 벡터 예측 룰 대신, 도 37a 내지 도 37d에 도시하는 움직임 벡터 예측 룰을 도입하여 예측치를 결정하여, 움직임 벡터를 복원하면 된다.
다음으로, 제 6 실시예를 설명한다. 본 실시예에서는, 제 1 실시예에 있어서의 움직임 벡터 분할 패턴에 대해서, 순방향 인터 예측 뿐만 아니라 역방향 인터 예측도 사용한 쌍방향 인터 예측과 함께 사용하고, 또한 매크로 블록 내의 각각의 분할 세그먼트에 대해서, 쌍방향 예측의 예측 방향을 선택할 수 있은 부호화 및 복호 방법을 설명한다.
본 실시예는 제 1 실시예의 경우와 마찬가지로, 종래예의 도 1 및 도 2에서 도시한 부호화 장치, 복호 장치에 있어서, 압축 스트림(24) 중에 포함되는 예측 모드 3, 움직임 벡터(4)에 대한 신텍스와, 움직임 검출부(2) 및 움직임 보상부(5)의 동작이 다른 것 이외는 동일한 부재·동작으로써 설명할 수 있다. 이하에서는, 부호화 장치에 관해서는 움직임 검출부(2)의 움직임을 중심으로 설명을 함과 함께 신텍스를 설명하고, 또한 복호 장치에 관해서는 움직임 보상부(5)에 있어서 예측 화상을 생성하는 순서를 중심으로 설명을 하는 것으로 한다.
본 실시예에 있어서의 움직임 보상 모델, 즉 고정적인 움직임 벡터 할당의 정의에 대해서는, 제 1 실시예에 있어서 도시한 것과 동일한 것을 사용한다. 즉 도 6a 내지 도 6d에 도시하는 바와 같이, 매크로 블록의 2분할을 단순한 수평 분할 또는 수직 분할이 아니라, 수평·수직·경사 및 위상을 가한 분할로 확장하는 것으로 한 움직임 벡터 할당을 사용한다.
본 실시예에서는, 이 움직임 벡터 할당에 의해 분할된 세그먼트에 대해서, 더욱이 세그먼트마다 쌍방향 인터 예측의 예측 방향을 선택할 수 있은 것으로 한다. 이로써, 하나의 매크로 블록 내에 움직임이 다른 물체의 경계가 존재하는 경우 등에, 매크로 블록 내의 각종 움직임을 적은 오버헤드로 정확하게 파악하는 것이 가능한 상기 세그먼트에 대해서 더욱 세그먼트마다 보다 좋은 부호화 효율을 얻을 수 있는 예측 방향을 쌍방향 예측에 있어서의 복수의 예측 방향 중에서 선택하여 할당할 수 있어, 예측 효율을 향상시킬 수 있다.
도 39에 본 실시예에 있어서의 쌍방향 예측 예를 도시한다. 도 39에서는 쌍방향 예측 프레임(Bt)의 매크로 블록(M)에 있어서 도 6의 모드 9 분할이 사용되고, 또한 매크로 블록 내의 2개의 세그먼트마다 각각 시간적으로 이전이 되는 참조 프레임(Pt-1)으로부터의 순방향 예측(F1), 시간적으로 이후가 되는 참조 프레임(Pt+1)으로부터의 역방향 예측(B1)이 사용되고 있는 경우를 도시한다.
매크로 블록(M)의 부호화를 행할 경우, 인터 예측 모드로서 우선 도 6a 내지 도 6d에 있어서의 각각의 예측 모드 중에서, 보다 좋은 부호화 효율을 얻을 수 있는 예측 모드 및 움직임 벡터가 도 1에 있어서의 움직임 검출부(2)에 있어서 평가·검출된다. 이 때 본 실시예에서는, 각각의 예측 모드에 있어서 더욱이 2개의 세그먼트마다 쌍방향 예측에 있어서의 복수의 예측 방향 중에서 보다 좋은 부호화 효율을 얻을 수 있는 예측 방향이 평가·검출된다. 도 39는 이들 평가·검출 결과, 매크로 블록(M)에 있어서 예측 모드로서 모드 9가 선택되고, 또한 각각의 세그먼트에 대해서 다른 예측 방향이 선택된 경우를 도시하고 있다. 이 선택 결과는 이하에 도시하는 압축 스트림 중의 정보로서 전송된다.
본 실시예의 부호화 장치로부터 출력되는 압축 스트림의 매크로 블록 데이터의 신텍스를 H.26L에 있어서의 쌍방향 움직임 보상 예측 시의 신텍스(도 40a)와 비교하여 도 40b에 도시한다.
도 40a에 도시하는 H.26L의 신텍스에 있어서는, 예측 방향의 정보는 움직임 벡터 분할 패턴을 나타내는 예측 모드 매크로 블록 타이프 정보 중에서 매크로 블록에 대하여 1개만 전송되며, 예측 모드와 합쳐서 식별된다. 본 발명의 움직임 보상 모델 즉 고정적인 움직임 벡터 할당에 있어서의 쌍방향 예측 시의 신텍스를 사용하는 경우에 있어서도 같은 구성을 채용하는 것으로 하여, 세그먼트마다의 예측 방향의 선택 상황에 관한 정보도 포함하여 예측 모드 매크로 블록 타이프 정보로서 구성하여 전송할 수도 있다. 그렇지만 본 실시예에 있어서는, H.26L에 있어서의 구성과는 다른 것으로 하여, 예측 모드의 가변 길이 부호화 테이블이 장대해져버리는 것을 막는 구성으로 한다.
도 40b에는 본 실시예에 있어서의 신텍스를 도시한다. 여기서는 예측 방향의 정보는 쌍방향 예측에 있어서 스킵 매크로 블록에 상당하는 예측 모드가 되는 다이렉트(Direct) 모드 식별에 대해서만 매크로 블록 타이프 정보에 전송되는 것으로 하고, 그 밖의 예측 방향의 정보는 참조 프레임 정보로서 전송되어, 참조 프레임 번호와 합쳐서 식별되는 것으로 하고 있다. 또한 H.26L에 있어서, 쌍방향 예측에서의 각각의 방향에서의 예측 모드를 식별하기 위해 도입되어 있는 블록 사이즈는 사용하지 않는 것으로 하고 있다. 또한, 도 40a, b의 화살표(P28 내지 P36)는 상기 처리를 생략하여 점프하는 것을 나타내며, 화살표(Q12 내지 Q19)는 루프를 나타낸다.
도 41에는 본 실시예에 있어서의 매크로 블록 타이프 정보의 부호표를 도시한다. 이 부호표의 구성은 부호표 선두에 다이렉트 모드를 둔 것을 제외하면, 제 1 실시예에서 사용되는 매크로 블록 타이프 정보의 구성과 같아도 된다. 또한, 코드 번호(17) 이후의 인트라 16×16모드에 대한 정의는 생략하고 있지만, 이들은 H.26L의 부호표에 있어서의 인트라 16×16모드에 대한 정의에 준하는 것으로 한다. 매크로 블록 타입 정보의 내용에 의해 후속 신텍스가 다른 것이 되어, 많은 예측 모드에서는 세그먼트마다 참조 프레임 정보가 존재하기 때문에 참조 프레임 정보는 2개 존재하게 되지만, 세그먼트 분할이 없는 예측 모드인 모드 0에 있어서는 참조 프레임 정보는 1개만이 되고, 또한 인트라 4×4모드에서는 참조 프레임 정보는 존재하지 않고 인트라 예측 모드 정보가 존재하게 된다.
도 42에는 본 실시예에 있어서의 참조 프레임 정보의 부호표를 도시한다. H.26L에 있어서의 참조 프레임 정보의 구성에서는, 순방향 예측의 참조 프레임 번호를 식별하기 위한 번호가 순서대로 나열하는 구성이 되지만, 여기서는 참조 프레임 번호 외에 쌍방향 예측에 있어서의 예측 방향으로서, 순방향(Forward), 역방향(Backward), 순방향과 역방향의 예측치의 평균치를 사용하는 쌍방향(Bidirectional)에 대한 정보가 포함된 구성이 되고, 또한 세그먼트마다의 참조 프레임 정보가 존재하게 된다. 순방향 예측에 대해서는 복수의 참조 프레임 중에서 선택할 수 있기 때문에, 순방향 예측 및 쌍방향 예측에 대해서는 각각 순방향에서의 참조 프레임을 변경한 경우에 대한 부호가 순서대로 나열하는 구성으로 되어 있다. 참조 프레임 정보로써 예측 방향이 식별되기 때문에, 참조 프레임 정보의 내용에 의해 후속 신텍스가 다른 것이 되고, 순방향 예측이 되는 경우에는 순방향 움직임 벡터 차분 움직임 벡터 차분치(FW), 역방향 예측에서는 역방향 움직임 벡터 차분 움직임 벡터 차분치(BW), 쌍방향 예측에서는 움직임 벡터 차분치(FW)와 움직임 벡터 차분치(BW) 양쪽이 존재하게 된다. 또한, 각각의 움직임 벡터 차분수는 매크로 블록 타이프 정보에 의해 식별된 예측 모드에 의해 다른 것으로 된다.
도 42의 참조 프레임 정보 부호는 H.26L에 있어서의 복수 참조 프레임의 기능이 사용되지 않는 경우, 즉 순방향 예측의 참조 프레임 번호가 1(1 frame back of Forward) 밖에 존재하지 않는 경우에도 세그먼트마다 존재하고, 이 경우에는 쌍방향 예측의 예측 방향만이 참조 프레임 정보로부터 식별되게 된다.
한편, 복호 장치에서는, 압축 스트림으로부터 얻어지는 이들 정보로부터 복호 처리를 하지만, 그 처리는 제 1 실시예에 있어서 도시한 흐름과 같기 때문에, 여기서는 상세 설명은 생략한다. 본 실시예의 복호 장치가 제 1 실시예의 복호 장치와 다른 점은 압축 스트림으로부터 얻어지는 정보에 예측 모드의 세그먼트마다 다른 쌍방향 예측의 예측 방향의 선택 상황에 관한 정보가 포함되고, 이에 따라 도 2에 있어서의 움직임 보상부(5)가 세그먼트마다 다른 쌍방향 예측의 예측 방향을 사용하여 움직임 보상 및 예측 화상의 생성을 하는 것이다. 이로써, 세그먼트마다 보다 좋은 예측 효율을 얻을 수 있는 예측 방향을 할당하여 얻어진 예측 화상이 생성되어, 보다 부호화 효율을 향상시킨 복호 영상을 압축 스트림으로부터 얻을 수 있다.
본 실시예에 있어서는 움직임 보상 모델로서 도 6a 내지 도 6d에 도시한 것을 사용하는 것으로 하였지만, 더욱이 도 4a 내지 도 4g에 도시한 바와 같은 많은 움직임 벡터 개수를 허용하는 움직임 보상 모델을 동시에 혹은 도 6a 내지 도 6d의 보상 모델과 바꾸어 사용하는 것으로 하여도 된다. 그 경우에도 분할된 블록마다 예측 변경을 할 수 있는 것으로 하여, 분할수가 2이상이 된 것으로 간주하여, 본 실시예에서 도시한 신텍스 및 부호화·복호 방법을 동일하게 적용하여, 매크로 블록 내의 블록마다 보다 좋은 부호화 효율을 얻을 수 있는 예측 방향을 선택하여 할당하여, 예측 효율을 향상시킬 수 있다. 이 때 분할수가 2보다 커지는 경우에는, 블록마다 예측 방향의 선택을 한 경우의 선택 상황에 관한 정보의 오버헤드가 커져버리기 때문에, 예측 방향 선택은 분할수가 2인 예측 모드가 사용되는 경우에만 허가되는 것으로서, 개개의 매크로 블록에 있어서 사용되는 예측 모드에 따라, 블록마다의 선택 상황에 관한 정보가 송부되는지의 여부가 바뀌는 구성으로 하여도 된다.
세그먼트마다의 예측 방향의 선택 상황에 관한 정보는 부가적인 정보로서 전송되게 되기 때문에, 그러한 전환이 필요시되지 않는 심플한 영상인 경우는, 매크로 블록 내에서 예측 방향은 동일하게 한다는 룰도 선택할 수 있도록 구성하여도 된다. 이 경우, 예를 들면, 프레임 또는 프레임군의 단위로, 매크로 블록 내의 예측 방향 변경을 허락할지의 여부를 식별하기 위한 플래그 정보를 다중하는 것을 생각할 수 있다. 이로써, 복호 장치는 매크로 블록 내에서 예측 방향이 변경되지 않는 경우는, 예측 방향의 선택 상황을 포함한 신텍스는 매크로 블록에 대하여 1개만 존재하는 것으로 하여 동작하면 된다.
또한, 본 실시예에 있어서는, 매크로 블록 내의 세그먼트마다 쌍방향 인터 예측에 사용하는 예측 방향을 선택하여 움직임 보상 예측을 하는 부호화·복호 방법을 설명하였지만, 완전히 같은 방법으로써, 매크로 블록 내의 세그먼트마다 인터 예측 또는 인트라 예측을 선택하여 인터 예측 또는 인트라 예측을 행하는 부호화·복호 방법을 구성할 수도 있다. 그러한 구성을 채용함으로써, 인터 예측에 따라서는 효율적인 예측을 할 수 없는 세그먼트에 대해서만 인트라 예측을 선택하여 할당할 수 있어, 예측 효율을 더욱 향상시킬 수 있다.
이상 서술한 본 실시예에 관련되는 부호화 방법·복호 방법에 의하면, 매크로 블록 내의 각종 움직임을 적은 오버헤드로 정확하게 파악하는 것이 가능해짐과 함께, 각각 별도의 움직임을 파악한 세그먼트마다 적절한 쌍방향 인터 예측 혹은 인트라 예측을 적용할 수 있어, 효율 좋게 영상 전송·기록·재생을 하는 것이 가능해진다.
그런데, 상술한 본 발명의 목적을 달성하기 위해, 본 발명에 관련되는 화상 처리 시스템은 이하의 각종 구성 양태를 채용할 수 있다.
즉, 본 발명에 관련되는 화상 처리 시스템에서는, 부호화 장치에 있어서 움직임 보상 예측 수단이 제 1 블록 단위로 정해지는 제 2 블록에의 움직임 벡터 할당 패턴을 미리 그룹화한 복수의 패턴 그룹 중 어느 하나를 선택하여, 상기 선택된 패턴 그룹에 포함되는 할당 패턴에 근거하여 제 2 블록에 대하여 움직임 벡터를 할당하여 움직임 보상 예측을 하고, 할당 정보 부호화 수단이 제 1 블록 단위로 부호화되는 움직임 벡터 할당 상황에 관한 정보를 상기 선택된 패턴 그룹 중에서 특정되는 움직임 벡터 할당 패턴의 식별 정보로서 출력하는 구성이 되며, 복호 장치에 있어서 할당 정보 복호 수단이 움직임 벡터 할당 정보를 제 1 블록 단위로 미리 정해진 제 2 블록에의 움직임 벡터 할당 패턴을 식별하는 정보로서 복호하는 것으로 하여, 상기 할당 패턴 식별 정보로부터 할당 패턴을 특정함에 있어서, 상기 할당 패턴이 속하는 패턴 그룹을 식별하는 정보를 복호하여, 상기 패턴 그룹 식별 정보에 의해 특정된 패턴 그룹의 정의에 따라서 상기 할당 패턴 식별 정보로부터 제 2 블록에의 움직임 벡터 할당을 결정하는 구성 양태를 채용할 수 있다.
또한, 본 발명에 관련되는 화상 처리 시스템에서는, 부호화 장치에 있어서 할당 정보 부호화 수단이 부호화 대상이 되는 제 1 블록에 대한 움직임 벡터 할당 패턴의 형상에 따라서 움직임 벡터의 예측치를 정하고, 상기 예측치에 의한 예측 차분치를 움직임 벡터 정보로서 부호화하는 구성이 되며, 복호 장치에 있어서 할당 정보 복호 수단이 복호 대상이 되는 제 1 블록에 대한 움직임 벡터 할당 패턴의 형상에 따라서 정한 움직임 벡터의 예측치에 의한 예측 차분치를 부호화함으로써 얻어진 움직임 벡터 정보를 복호하는 구성 양태를 채용할 수 있다.
또한, 본 발명에 관련되는 화상 처리 시스템에서는, 부호화 장치에 있어서 할당 정보 부호화 수단이 부호화 대상이 되는 제 1 블록에 대한 움직임 벡터 할당 패턴의 형상에 따라서 움직임 벡터의 예측 후보 위치를 정하고, 상기 부호화 대상이 되는 제 1 블록 근방에 위치하는 제 1 블록에 대한 할당 패턴의 형상에 따라서 예측 후보 위치 중 어느 하나를 예측치로 하여, 상기 예측치의 예측 차분치를 움직임 벡터 정보로서 부호화하는 구성이 되며, 복호 장치에 있어서 할당 정보 복호 수단이 복호 대상이 되는 제 1 블록에 대한 움직임 벡터 할당 패턴의 형상에 따라서 정한 움직임 벡터의 예측 후보 위치 중 어느 하나를 근방에 위치하는 제 1 블록에 대한 할당 패턴의 형상에 따라서 예측치로 하여, 상기 예측치의 예측 차분치를 부호화함으로써 얻어진 움직임 벡터 정보를 복호하는 구성 양태를 채용할 수 있다.
또한, 본 발명에 관련되는 화상 처리 시스템에서는, 부호화 장치에 있어서 움직임 보상 예측 수단이 제 2 블록 단위에서의 할당 가능한 움직임 벡터수를 최대 2개로 함과 함께, 제 1 블록 단위로 정해지는 상기 제 1 블록에 포함되는 제 2 블록에의 할당 상태를 나타내는 미리 정해진 복수의 할당 패턴 중 어느 하나에 근거하여, 제 2 블록에 대하여 움직임 벡터를 할당하여 움직임 보상 예측을 하고, 할당 정보 부호화 수단이 제 1 블록 단위로 정해지는 움직임 벡터의 할당 상황에 관한 정보를 상기 할당 패턴의 식별 정보로서 출력하는 구성이 되며, 복호 장치에 있어서 제 1 블록의 단위로 복호되는 움직임 벡터는 최대 2개가 되며, 움직임 벡터 할당 정보는 제 1 블록 단위로 정해지는 상기 제 1 블록에 포함되는 제 2 블록에의 움직임 벡터의 할당 상태를 나타내는 미리 정해진 복수의 할당 패턴을 식별하는 정보로서 복호되는 구성 양태를 채용할 수 있다.
또한, 본 발명에 관련되는 화상 처리 시스템에서는, 부호화 장치가 동화상의 프레임을 분할한 제 1 블록 각각에 대해서 부가로 분할한 제 2 블록의 1개 또는 복수로 이루어지는 단위로, 움직임 보상 예측을 위해 보존된 복수의 참조 프레임 중에서 하나의 참조 프레임을 선택하여 움직임 보상 예측을 하는 보상 예측 수단과, 1개 또는 복수의 제 2 블록에 대한 참조 프레임의 선택 상황에 관한 정보를 비트 스트림에 다중하여 출력하는 참조 프레임 정보 부호화 수단을 구비한 구성이 되며, 복호 장치가 동화상의 프레임을 분할한 제 1 블록 각각에 대해서 부가로 분할한 제 2 블록의 1개 또는 복수로 이루어지는 단위로 할당된 움직임 보상 예측에 사용하는 참조 프레임의 선택 상황에 관한 정보를 복호하는 참조 프레임 정보 복호 수단과, 상기 참조 프레임 정보에 근거하여, 움직임 보상 때문에 보존된 복수의 참조 프레임 중에서 하나의 참조 프레임을 선택하여 움직임 보상을 하여 예측 화상을 생성하는 보상 수단을 구비한 구성 양태를 채용할 수 있다.
또한, 본 발명에 관련되는 화상 처리 시스템에서는, 부호화 장치가 동화상의 프레임을 분할한 제 1 블록 각각에 대해서 부가로 분할한 1개 또는 복수의 제 2 블록으로 이루어지는 단위로, 쌍방향 인터 예측에 사용하는 예측 방향을 선택하여 움직임 보상 예측을 하는 움직임 보상 예측 수단과, 상기 1개 또는 복수의 제 2 블록에 대한 예측 방향의 선택 상황에 관한 정보를 비트 스트림에 다중하여 출력하는 예측 정보 부호화 수단을 구비한 구성이 되며, 복호 장치가 동화상의 프레임을 분할한 제 1 블록 각각에 대해서 부가로 분할한 1개 또는 복수의 제 2 블록으로 이루어지는 단위로 할당된 쌍방향 인터 예측에 사용하는 예측 방향의 선택 상황에 관한 정보를 복호하는 예측 정보 복호 수단과, 상기 예측 정보에 근거하여, 쌍방향 프레임간 움직임 보상에 사용하는 예측 방향을 순방향과 역방향 쌍방에 대해서 유지하고 있는 참조 프레임 중에서 선택하여 움직임 보상을 하여 예측 화상을 생성하는 움직임 보상 수단을 구비한 구성 양태를 채용할 수 있다.
또한, 본 발명에 관련되는 화상 처리 시스템에서는, 부호화 장치가 동화상의 프레임을 분할한 제 1 블록 각각에 대해서 부가로 분할한 1개 또는 복수의 제 2 블 록으로 이루어지는 단위로, 인터 예측 모드 또는 인트라 예측 모드를 선택하여 인터 예측 또는 인트라 예측을 하는 예측 수단과, 상기 1개 또는 복수의 제 2 블록에 대한 인터 예측 모드 또는 인트라 예측 모드의 선택 상황에 관한 정보를 비트 스트림에 다중하여 출력하는 예측 모드 정보 부호화 수단을 구비한 구성이 되며, 복호 장치가 동화상의 프레임을 분할한 제 1 블록 각각에 대해서 부가로 분할한 1개 또는 복수의 제 2 블록으로 이루어지는 단위로 할당된 인터 예측 모드 또는 인트라 예측 모드의 선택 상황에 관한 정보를 복호하는 예측 모드 정보 복호 수단과, 상기 예측 정보에 근거하여, 인터 예측 모드 또는 인트라 예측 모드를 선택하여 인터 예측 또는 인트라 예측을 하여 예측 화상을 생성하는 예측 화상 생성 수단을 구비한 구성 양태를 채용할 수 있다.
이상 설명한 바와 같이, 본 발명에 의하면, 제 1 블록 내의 각종 움직임을 적은 오버헤드로 정확하게 파악하는 것이 가능해져, 효율 좋게 영상 전송·기록·재생을 하는 것이 가능해진다.

Claims (56)

  1. 움직임 보상 예측을 이용하여 동화상의 압축 부호화를 행하는 부호화 방법에 있어서,
    동화상의 프레임을 분할한 제 1 블록 각각에 대해서 부가로 분할한 제 2 블록의 단위로, 1개 또는 복수의 움직임 벡터를 할당하여 움직임 보상 예측을 행하는 움직임 보상 예측 공정과,
    상기 제 2 블록에 대한 움직임 벡터의 할당 상황에 관한 정보를 비트 스트림에 다중화하여 출력하는 할당 정보 부호화 공정을 포함하고,
    상기 움직임 보상 예측 공정에서는, 1개 또는 복수의 제 2 블록을 그룹화함으로써 미리 정한 할당 패턴에 따라서, 제 2 블록의 단위로 움직임 벡터를 할당하여 움직임 보상 예측을 행하고,
    상기 할당 정보 부호화 공정에서는, 상기 할당 정보의 식별 정보를, 움직임 벡터의 할당 상황에 관한 정보로서 이용하고,
    상기 할당 패턴은 상기 제 1 블록을 불균일하게 불할하는 패턴을 포함하는 것을 특징으로 하는, 부호화 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 할당 정보 부호화 공정에서는, 부호화 대상이 되는 제 1 블록에 대한 움직임 벡터 할당 패턴의 형상에 따라서 움직임 벡터의 예측치를 정하여, 상기 예측치에 의한 예측 차분치를 움직임 벡터 정보로서 부호화하는 것을 특징으로 하는, 부호화 방법.
  6. 제 5 항에 있어서,
    상기 할당 정보 부호화 공정에서는, 부호화 대상이 되는 제 1 블록에 대한 움직임 벡터 할당 패턴의 형상에 따라서 움직임 벡터의 예측 후보 위치를 정하고, 상기 부호화 대상이 되는 제 1 블록 근방에 위치하는 제 1 블록에 대한 할당 패턴의 형상에 따라서 예측 후보 위치 중 어느 하나를 예측치로 하여, 상기 예측치의 예측 차분치를 움직임 벡터 정보로서 부호화하는 것을 특징으로 하는, 부호화 방법.
  7. 제 1 항에 있어서,
    상기 움직임 보상 예측 공정에서는, 부호화 대상이 되는 제 1 블록에 대한 움직임 벡터 할당 패턴의 형상에 따라서 움직임 벡터의 예측치를 정하고, 상기 예측치를 중심으로 하는 움직임 벡터 탐색창을 설치하여 움직임 벡터를 검출하고,
    상기 할당 정보 부호화 공정에서는, 상기 검출된 움직임 벡터와 상기 움직임 벡터 예측치와의 예측 차분치를 움직임 벡터 정보로서 부호화하는 것을 특징으로 하는, 부호화 방법.
  8. 제 1 항에 있어서,
    상기 움직임 보상 예측 공정에서는, 제 2 블록 단위에서의 할당 가능한 움직임 벡터수를 최대 2개로 함과 함께, 제 1 블록 단위로 정해지는 상기 제 1 블록에 포함되는 제 2 블록에의 할당 상태를 나타내는 미리 정해진 복수의 할당 패턴 중 어느 하나에 근거하여, 제 2 블록에 대하여 움직임 벡터를 할당하여 움직임 보상 예측을 행하고,
    상기 할당 정보 부호화 공정에서는, 제 1 블록 단위로 정해지는 움직임 벡터의 할당 상황에 관한 정보를, 상기 할당 패턴의 식별 정보로서 출력하는 것을 특징으로 하는, 부호화 방법.
  9. 제 1 항에 있어서,
    상기 할당 패턴은, 상기 제 1 블록을 수평 방향 또는 수직 방향으로 불균일하게 분할하는 패턴 및 상기 제 1 블록을 경사 방향으로 분할하는 패턴을 포함하는 것을 특징으로 하는, 부호화 방법.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 제 1 항에 있어서,
    상기 움직임 보상 예측 공정에서 얻어진 예측 잔차 신호를, 상기 제 2 블록의 사이즈와 동일 사이즈의 블록 단위로 부호화하는 잔차 신호 부호화 공정을 더 포함하는 것을 특징으로 하는, 부호화 방법.
  14. 제 1 항에 있어서,
    상기 할당 정보 부호화 공정에서는, 상기 움직임 벡터의 할당 상황에 근거하여, 1개 또는 복수의 제 2 블록으로 구성되는 움직임 벡터 할당 영역에서 부호화해야 할 예측 잔차 신호가 있는지의 여부를 식별하는 정보를 부호화하는 것을 특징으로 하는, 부호화 방법.
  15. 삭제
  16. 제 1 항에 있어서,
    상기 움직임 보상 예측 공정에서는, 제 1 블록 단위로 인터 예측 모드 또는 인트라 예측 모드가 설정된 경우와 더불어, 제 2 블록의 1개 또는 복수로 이루어지는 단위로 인터 예측 모드 또는 인트라 예측 모드가 설정된 경우도 포함하여 움직임 보상 예측을 행하는 것을 특징으로 하는, 부호화 방법.
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 움직임 보상 예측을 이용하여 압축 동화상 데이터의 신장·복호를 행하는 복호 방법에 있어서,
    동화상의 프레임을 분할한 제 1 블록 각각에 대해서 부가로 분할한 제 2 블록의 단위로 할당된 움직임 벡터가, 상기 제 1 블록의 단위로 복호되는 1개 또는 복수의 움직임 벡터 중 어느 하나에 해당하는지를 나타내는 움직임 벡터 할당 정보를 복호하는 할당 정보 복호 공정과,
    상기 움직임 벡터 할당 정보에 근거하여 상기 제 2 블록의 단위로 특정된 움직임 벡터를 이용하여 움직임 보상을 행하고 예측 화상을 생성하는 움직임 보상 공정을 포함하고,
    상기 할당 정보 복호 공정에서는,
    1개 또는 복수의 제 2 블록을 그룹화함으로써 미리 정한 할당 패턴의 식별 정보로서, 상기 움직임 벡터 할당 정보를 복호하고,
    상기 할당 패턴은 상기 제 1 블록을 불균일하게 분할하는 패턴을 포함하는 것을 특징으로 하는, 복호 방법.
  25. 삭제
  26. 삭제
  27. 삭제
  28. 제 24 항에 있어서,
    상기 할당 정보 복호 공정에서는, 복호 대상이 되는 제 1 블록에 대한 움직임 벡터 할당 패턴의 형상에 따라서 정한 움직임 벡터의 예측치에 의한 예측 차분치를 부호화함으로써 얻어진 움직임 벡터 정보를 복호하는 것을 특징으로 하는, 복호 방법.
  29. 제 28 항에 있어서,
    상기 할당 정보 복호 공정에서는, 복호 대상이 되는 제 1 블록에 대한 움직임 벡터 할당 패턴의 형상에 따라서 정한 움직임 벡터의 예측 후보 위치 중 어느 하나를, 근방에 위치하는 제 1 블록에 대한 할당 패턴의 형상에 따라서 예측치로 하여, 상기 예측치의 예측 차분치를 부호화함으로써 얻어진 움직임 벡터 정보를 복호하는 것을 특징으로 하는, 복호 방법.
  30. 제 24 항에 있어서,
    제 1 블록의 단위로 복호되는 움직임 벡터는 최대 2개가 되고,
    상기 움직임 벡터 할당 정보는, 제 1 블록 단위로 정해지는 상기 제 1 블록에 포함되는 제 2 블록에의 움직임 벡터의 할당 상태를 나타내는 미리 정해진 복수의 할당 패턴을 식별하는 정보로서 복호되는 것을 특징으로 하는, 복호 방법.
  31. 제 24 항에 있어서,
    상기 할당 패턴은, 상기 제 1 블록을 수평 방향 또는 수직 방향으로 불균일하게 분할하는 패턴 및 상기 제 1 블록을 경사 방향으로 분할하는 패턴을 포함하는 것을 특징으로 하는, 복호 방법.
  32. 삭제
  33. 삭제
  34. 삭제
  35. 제 24 항에 있어서,
    상기 제 2 블록의 사이즈와 동일 사이즈의 블록 단위로의 부호화 처리에 의해 얻어진 움직임 보상 예측의 예측 잔차 신호를 복호하는 잔차 신호 복호 공정을 더 포함하는 것을 특징으로 하는, 복호 방법.
  36. 제 24 항에 있어서,
    상기 할당 정보 복호 공정에서는, 복호 대상이 되는 제 1 블록에 대한 움직임 벡터 할당 패턴의 형상에 근거하여, 1개 또는 복수의 제 2 블록으로 구성되는 움직임 벡터 할당 영역 내에 복호해야 할 예측 잔차 신호가 있는지의 여부를 식별하는 정보를 복호하는 것을 특징으로 하는, 복호 방법.
  37. 삭제
  38. 제 24 항에 있어서,
    상기 움직임 벡터는, 제 1 블록 단위로 인터 예측 모드 또는 인트라 예측 모드가 설정된 경우와 더불어, 제 2 블록의 1개 또는 복수로 이루어지는 단위로 인터 예측 모드 또는 인트라 예측 모드가 설정된 경우도 포함하는 움직임 보상 예측에 의해 얻어진 움직임 벡터인 것을 특징으로 하는, 복호 방법.
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 움직임 보상 예측을 이용하여 동화상의 압축 부호화를 행하는 부호화 장치에 있어서,
    동화상의 프레임을 분할한 제 1 블록 각각에 대해서 부가로 분할한 제 2 블록의 단위로, 1개 또는 복수의 움직임 벡터를 할당하여 움직임 보상 예측을 행하는 움직임 보상 예측 수단과,
    상기 제 2 블록에 대한 움직임 벡터의 할당 상황에 관한 정보를 비트 스트림에 다중화하여 출력하는 할당 정보 부호화 수단을 포함하고,
    상기 움직임 보상 예측 수단은, 1개 또는 복수의 제 2 블록을 그룹화함으로써 미리 정한 할당 패턴에 따라서, 제 2 블록의 단위로 움직임 벡터를 할당하여 움직임 보상 예측을 행하고,
    상기 할당 정보 부호화 수단은, 상기 할당 패턴의 식별 정보를, 움직임 벡터의 할당 상황에 관한 정보로서 이용하고,
    상기 할당 패턴은 상기 제 1 블록을 불균일하게 분할하는 패턴을 포함하는 것을 특징으로 하는, 부호화 장치.
  47. 제 46 항에 있어서,
    상기 할당 정보 부호화 수단은, 부호화 대상이 되는 제 1 블록에 대한 움직임 벡터 할당 패턴의 형상에 따라서 움직임 벡터의 예측치를 정하여, 상기 예측치에 의한 예측 차분치를 움직임 벡터 정보로서 부호화하는 것을 특징으로 하는, 부호화 장치.
  48. 제 46 항에 있어서,
    상기 움직임 보상 예측 수단은, 부호화 대상이 되는 제 1 블록에 대한 움직임 벡터 할당 패턴의 형상에 따라서 움직임 벡터의 예측치를 정하여, 상기 예측치를 중심으로 하는 움직임 벡터 탐색창을 설치하여 움직임 벡터를 검출하고,
    상기 할당 정보 부호화 수단은, 상기 검출된 움직임 벡터와 상기 움직임 벡터 예측치와의 예측 차분치를 움직임 벡터 정보로서 부호화하는 것을 특징으로 하는, 부호화 장치.
  49. 움직임 보상 예측을 이용하여 압축 동화상 데이터의 신장·복호를 행하는 복호 장치에 있어서,
    동화상의 프레임을 분할한 제 1 블록 각각에 대해서 부가로 분할한 제 2 블록의 단위로 할당된 움직임 벡터가, 상기 제 1 블록의 단위로 복호되는 1개 또는 복수의 움직임 벡터 중 어느 하나에 해당하는지를 나타내는 움직임 벡터 할당 정보를 복호하는 할당 정보 복호 수단과,
    상기 움직임 벡터 할당 정보에 근거하여 상기 제 2 블록의 단위로 특정된 움직임 벡터를 이용하여 움직임 보상을 행하고 예측 화상을 생성하는 움직임 보상 수단을 포함하고,
    상기 할당 정보 복호 수단은, 1개 또는 복수의 제 2 블록을 그룹화함으로써 미리 정한 할당 패턴의 식별 정보로서, 상기 움직임 벡터 할당 정보를 복호하고,
    상기 할당 패턴은 상기 제 1 블록을 불균일하게 분할하는 패턴을 포함하는 것을 특징으로 하는, 복호 장치.
  50. 제 49 항에 있어서,
    상기 할당 정보 복호 수단은, 복호 대상이 되는 제 1 블록에 대한 움직임 벡터 할당 패턴의 형상에 따라서 정한 움직임 벡터의 예측치에 의한 예측 차분치를 부호화함으로써 얻어진 움직임 벡터 정보를 복호하는 것을 특징으로 하는, 복호 장치.
  51. 삭제
  52. 움직임 보상 예측을 이용하여 동화상의 압축 부호화를 행하는 부호화 장치와, 움직임 보상 예측을 이용하여 압축 동화상 데이터의 신장·복호를 행하는 복호 장치를 포함하여 구성된 화상 처리 시스템에 있어서,
    상기 부호화 장치는,
    동화상의 프레임을 분할한 제 1 블록 각각에 대해서 부가로 분할한 제 2 블록의 단위로, 1개 또는 복수의 움직임 벡터를 할당하여 움직임 보상 예측을 행하는 움직임 보상 예측 수단과,
    상기 제 2 블록에 대한 움직임 벡터의 할당 상황에 관한 정보를 비트 스트림에 다중화하여 출력하는 할당 정보 부호화 수단을 포함하고,
    상기 움직임 보상 예측 수단은, 1개 또는 복수의 제 2 블록을 그룹화함으로써 미리 정한 할당 패턴에 따라서, 제 2 블록의 단위로 움직임 벡터를 할당하여 움직임 보상 예측을 행하고,
    상기 할당 정보 부호화 수단은, 상기 할당 패턴의 식별 정보를, 움직임 벡터의 할당 상황에 관한 정보로서 이용하고,
    상기 할당 패턴은 상기 제 1 블록을 불균일하게 분할하는 패턴을 포함하고,
    상기 복호 장치는,
    동화상의 프레임을 분할한 제 1 블록 각각에 대해서 부가로 분할한 제 2 블록의 단위로 할당된 움직임 벡터가, 상기 제 1 블록의 단위로 복호되는 1개 또는 복수의 움직임 벡터 중 어느 하나에 해당하는지를 나타내는 움직임 벡터 할당 정보를 복호하는 할당 정보 복호 수단과,
    상기 움직임 벡터 할당 정보에 근거하여 상기 제 2 블록의 단위로 특정된 움직임 벡터를 이용하여 움직임 보상을 행하고 예측 화상을 생성하는 움직임 보상 수단을 포함하고,
    상기 할당 정보 복호 수단은, 1개 또는 복수의 제 2 블록을 그룹화함으로써 미리 정한 할당 패턴의 식별 정보로서, 상기 움직임 벡터 할당 정보를 복호하고,
    상기 할당 패턴은 상기 제 1 블록을 불균일하게 분할하는 패턴을 포함하는 것을 특징으로 하는, 화상 처리 시스템.
  53. 제 52 항에 있어서,
    상기 할당 정보 부호화 수단은, 부호화 대상이 되는 제 1 블록에 대한 움직임 벡터 할당 패턴의 형상에 따라서 움직임 벡터의 예측치를 정하여, 상기 예측치에 의한 예측 차분치를 움직임 벡터 정보로서 부호화하고,
    상기 할당 정보 복호 수단은, 복호 대상이 되는 제 1 블록에 대한 움직임 벡터 할당 패턴의 형상에 따라서 정한 움직임 벡터의 예측치에 의한 예측 차분치를 부호화함으로써 얻어진 움직임 벡터 정보를 복호하는 것을 특징으로 하는, 화상 처리 시스템.
  54. 삭제
  55. 움직임 보상 예측을 이용하여 동화상의 압축 부호화를 행하는 부호화 장치에 내장된 컴퓨터에 제 1 항, 제 5 항, 제 6 항, 제 7 항, 제 8 항, 제 9 항, 제 13항, 제 14 항, 제 16 항 중 어느 한 항에 기재된 부호화 방법의 각 공정을 실행시키기 위한 부호화 프로그램이 기록된, 기록 매체.
  56. 움직임 보상 예측을 이용하여 압축 동화상 데이터의 신장·복호를 행하는 복호 장치에 내장된 컴퓨터에 제 24 항, 제 28 항, 제 29 항, 제 30 항, 제 31 항, 제 35 항, 제 36 항, 제 38 항 중 어느 한 항에 기재된 복호 방법의 각 공정을 실행시키기 위한 복호 프로그램이 기록된, 기록 매체.
KR1020037006557A 2001-09-14 2002-09-12 부호화 방법, 복호 방법, 부호화 장치, 복호 장치, 화상 처리 시스템, 및 저장 매체 KR100642043B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2001279266 2001-09-14
JPJP-P-2001-00279266 2001-09-14
JPJP-P-2001-00343540 2001-11-08
JP2001343540 2001-11-08
JP2002002944 2002-01-10
JPJP-P-2002-00002944 2002-01-10
PCT/JP2002/009368 WO2003026315A1 (en) 2001-09-14 2002-09-12 Coding method, decoding method, coding apparatus, decoding apparatus, image processing system, coding program, and decoding program

Publications (2)

Publication Number Publication Date
KR20030062341A KR20030062341A (ko) 2003-07-23
KR100642043B1 true KR100642043B1 (ko) 2006-11-03

Family

ID=27347500

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020037006557A KR100642043B1 (ko) 2001-09-14 2002-09-12 부호화 방법, 복호 방법, 부호화 장치, 복호 장치, 화상 처리 시스템, 및 저장 매체

Country Status (6)

Country Link
US (1) US7643559B2 (ko)
EP (6) EP3399747B1 (ko)
JP (1) JPWO2003026315A1 (ko)
KR (1) KR100642043B1 (ko)
CN (2) CN102025991B (ko)
WO (1) WO2003026315A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011145836A2 (ko) * 2010-05-17 2011-11-24 에스케이텔레콤 주식회사 인트라 블록 및 인터 블록이 혼합된 코딩블록을 이용하는 영상 부호화/복호화 장치 및 그 방법

Families Citing this family (174)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1998042134A1 (en) * 1997-03-17 1998-09-24 Mitsubishi Denki Kabushiki Kaisha Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system
CN102025991B (zh) * 2001-09-14 2017-12-29 株式会社Ntt都科摩 编码方法、译码方法、编码装置、译码装置和图像处理系统
CN1285216C (zh) * 2001-11-16 2006-11-15 株式会社Ntt都科摩 图像编码方法和装置、图像译码方法和装置
JP4610195B2 (ja) 2001-12-17 2011-01-12 マイクロソフト コーポレーション スキップマクロブロックコード化
CN100566420C (zh) * 2002-07-15 2009-12-02 株式会社日立制作所 动态图像的编码方法
JP4724351B2 (ja) * 2002-07-15 2011-07-13 三菱電機株式会社 画像符号化装置、画像符号化方法、画像復号装置、画像復号方法、および通信装置
KR100563781B1 (ko) * 2002-09-24 2006-03-27 가부시키가이샤 히다치 고쿠사이 덴키 주목해야 할 화상의 표시방법과 장치 및 원격화상감시시스템
CN1232126C (zh) 2002-09-30 2005-12-14 三星电子株式会社 图像编码方法和装置以及图像解码方法和装置
US20040081238A1 (en) * 2002-10-25 2004-04-29 Manindra Parhy Asymmetric block shape modes for motion estimation
BRPI0406507B1 (pt) 2003-02-21 2018-10-16 Matsushita Electric Ind Co Ltd método de codificação de imagem e método de decodificação de imagem
US7471725B2 (en) * 2003-03-26 2008-12-30 Lsi Corporation Segmented motion estimation with no search for small block sizes
KR20050120699A (ko) * 2003-04-04 2005-12-22 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 엔코딩 및 디코딩 방법 및 대응 디바이스들
EP1623576B1 (en) * 2003-05-06 2010-09-01 Nxp B.V. Video encoding and decoding methods and corresponding encoding and decoding devices
US8824553B2 (en) 2003-05-12 2014-09-02 Google Inc. Video compression method
KR100508975B1 (ko) * 2003-05-20 2005-08-17 주식회사 팬택 다층 레벨 연속 제거 알고리즘을 이용한 동영상 움직임추정 방법
US7978769B2 (en) * 2003-06-30 2011-07-12 Ntt Docomo, Inc. Method and apparatus for coding motion information
EP1507415A3 (en) * 2003-07-16 2005-05-04 Samsung Electronics Co., Ltd. Video encoding/decoding apparatus and method for color image
US20050013498A1 (en) 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US8094720B2 (en) * 2003-08-25 2012-01-10 Agency For Science Technology And Research Mode decision for inter prediction in video coding
US7599438B2 (en) * 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
US7860326B2 (en) * 2003-09-22 2010-12-28 Kddi Corporation Adaptable shape image encoding apparatus and decoding apparatus
KR100846780B1 (ko) 2003-11-10 2008-07-16 삼성전자주식회사 움직임 벡터 추정 방법 및 장치
KR100987775B1 (ko) * 2004-01-20 2010-10-13 삼성전자주식회사 영상의 3차원 부호화 방법
KR101196429B1 (ko) * 2004-03-12 2012-11-01 삼성전자주식회사 동영상 트랜스코딩 방법 및 그 장치, 이에 사용되는움직임 벡터 보간방법
JP4419062B2 (ja) 2004-03-29 2010-02-24 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4421940B2 (ja) * 2004-05-13 2010-02-24 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置および方法、並びに動画像復号化装置および方法
FR2872989A1 (fr) * 2004-07-06 2006-01-13 Thomson Licensing Sa Procede et dispositif pour choisir un vecteur mouvement pour le codage d'un ensemble de blocs
FR2872975A1 (fr) * 2004-07-06 2006-01-13 Thomson Licensing Sa Procede et dispositif pour choisir un mode de codage
FR2872974A1 (fr) * 2004-07-06 2006-01-13 Thomson Licensing Sa Procede ou dispositif de codage adaptatif
DE102004038110B3 (de) * 2004-08-05 2005-12-29 Siemens Ag Verfahren zum Codieren und Decodieren, sowie Codier- und Decodiervorrichtung zur Videocodierung
JP4284265B2 (ja) * 2004-11-02 2009-06-24 株式会社東芝 動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法
JP4495580B2 (ja) * 2004-12-13 2010-07-07 パナソニック株式会社 面内予測装置および面内予測方法
JP4501675B2 (ja) * 2004-12-22 2010-07-14 日本電気株式会社 動画像圧縮符号化方法と動画像圧縮符号化装置並びにプログラム
US7970219B2 (en) * 2004-12-30 2011-06-28 Samsung Electronics Co., Ltd. Color image encoding and decoding method and apparatus using a correlation between chrominance components
FR2881898A1 (fr) * 2005-02-10 2006-08-11 Thomson Licensing Sa Procede et dispositif de codage d'une image video en mode inter ou intra
JP4064973B2 (ja) * 2005-03-23 2008-03-19 株式会社東芝 ビデオエンコーダ及びこれを用いた携帯無線端末装置
US8929464B2 (en) * 2005-03-25 2015-01-06 Sharp Laboratories Of America, Inc. Video entropy decoding with graceful degradation
US8588304B2 (en) 2005-03-31 2013-11-19 Panasonic Corporation Video decoding device, video decoding method, video decoding program, and video decoding integrated circuit
US8774272B1 (en) * 2005-07-15 2014-07-08 Geo Semiconductor Inc. Video quality by controlling inter frame encoding according to frame position in GOP
US20080130989A1 (en) * 2005-07-22 2008-06-05 Mitsubishi Electric Corporation Image encoder and image decoder, image encoding method and image decoding method, image encoding program and image decoding program, and computer readable recording medium recorded with image encoding program and computer readable recording medium recorded with image decoding program
US9077960B2 (en) 2005-08-12 2015-07-07 Microsoft Corporation Non-zero coefficient block pattern coding
KR100727969B1 (ko) * 2005-08-27 2007-06-14 삼성전자주식회사 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
KR100727970B1 (ko) * 2005-08-30 2007-06-13 삼성전자주식회사 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
KR100750128B1 (ko) * 2005-09-06 2007-08-21 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR100727972B1 (ko) * 2005-09-06 2007-06-14 삼성전자주식회사 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR100738075B1 (ko) * 2005-09-09 2007-07-12 삼성전자주식회사 영상 부호화/복호화 장치 및 방법
JP4534935B2 (ja) * 2005-10-04 2010-09-01 株式会社日立製作所 トランスコーダ、記録装置及びトランスコード方法
JP5423948B2 (ja) * 2006-03-09 2014-02-19 日本電気株式会社 動画像符号化方法、およびこれを用いた装置とプログラム
US8270492B2 (en) * 2006-05-12 2012-09-18 Panasonic Corporation Moving picture decoding device
JP4752631B2 (ja) * 2006-06-08 2011-08-17 株式会社日立製作所 画像符号化装置、及び画像符号化方法
CN101502119B (zh) * 2006-08-02 2012-05-23 汤姆逊许可公司 用于视频编码的自适应几何分割方法和设备
JP4902854B2 (ja) * 2006-09-12 2012-03-21 パナソニック株式会社 動画像復号化装置、動画像復号化方法、動画像復号化プログラム、動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像符号化復号化装置
GB2443667A (en) * 2006-11-10 2008-05-14 Tandberg Television Asa Obtaining a motion vector for a partition of a macroblock in block-based motion estimation
KR101365570B1 (ko) 2007-01-18 2014-02-21 삼성전자주식회사 인트라 예측 부호화, 복호화 방법 및 장치
JP4635016B2 (ja) * 2007-02-16 2011-02-16 株式会社東芝 情報処理装置およびインター予測モード判定方法
KR101086434B1 (ko) * 2007-03-28 2011-11-25 삼성전자주식회사 비디오 데이터 디스플레이 방법 및 장치
KR101366093B1 (ko) * 2007-03-28 2014-02-21 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
JP5082548B2 (ja) * 2007-03-30 2012-11-28 富士通株式会社 画像処理方法、符号化器および復号化器
US8750377B2 (en) * 2007-04-12 2014-06-10 Thomson Licensing Method and apparatus for context dependent merging for skip-direct modes for video encoding and decoding
US9288504B2 (en) * 2007-04-12 2016-03-15 Thomson Licensing Method and apparatus for fast geometric mode desicion in a video encoder
JP4823150B2 (ja) * 2007-05-31 2011-11-24 キヤノン株式会社 符号化装置並びに符号化方法
US20090003443A1 (en) * 2007-06-26 2009-01-01 Nokia Corporation Priority-based template matching intra prediction video and image coding
JP4922101B2 (ja) * 2007-08-21 2012-04-25 株式会社東芝 情報処理装置およびインター予測モード判定方法
JP5437807B2 (ja) * 2007-09-18 2014-03-12 富士通株式会社 動画像符号化装置および動画像復号装置
JP2011501508A (ja) * 2007-10-12 2011-01-06 トムソン ライセンシング 幾何学分割された双方向予測モードパーティションのビデオエンコーディング及びデコーディングのための方法及び装置
KR101375664B1 (ko) 2007-10-29 2014-03-20 삼성전자주식회사 영상의 디퓨전 특성을 이용한 영상 부호화/복호화 방법 및장치
KR101505195B1 (ko) * 2008-02-20 2015-03-24 삼성전자주식회사 직접 모드 부호화 및 복호화 방법
WO2009115901A2 (en) * 2008-03-19 2009-09-24 Nokia Corporation Combined motion vector and reference index prediction for video coding
US20090245371A1 (en) * 2008-03-28 2009-10-01 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding information about intra-prediction mode of video
WO2009136066A1 (fr) * 2008-04-15 2009-11-12 France Telecom Prediction d'images par determination prealable d'une famille de pixels de reference, codage et decodage utilisant une telle prediction
US8379995B2 (en) * 2008-05-15 2013-02-19 Motorola Mobility Llc In-picture prediction for video coding
KR100949917B1 (ko) * 2008-05-28 2010-03-30 한국산업기술대학교산학협력단 적응적 인트라 예측을 통한 고속 부호화 방법 및 시스템
US8761253B2 (en) * 2008-05-28 2014-06-24 Nvidia Corporation Intra prediction mode search scheme
KR20100018810A (ko) * 2008-08-07 2010-02-18 전자부품연구원 초고화질 영상 부호화, 복호화 방법 및 장치 및 컴퓨터로판독가능한 기록매체
US8326075B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
US8385404B2 (en) 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
US8325796B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video coding using adaptive segmentation
US8867854B2 (en) * 2008-10-01 2014-10-21 Electronics And Telecommunications Research Institute Image encoder and decoder using undirectional prediction
JP5401071B2 (ja) * 2008-10-09 2014-01-29 株式会社Ｎｔｔドコモ 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、動画像処理システムおよび動画像処理方法
US8831099B2 (en) * 2008-12-17 2014-09-09 Nvidia Corporation Selecting a macroblock encoding mode by using raw data to compute intra cost
US9432674B2 (en) * 2009-02-02 2016-08-30 Nvidia Corporation Dual stage intra-prediction video encoding system and method
WO2010090629A1 (en) 2009-02-05 2010-08-12 Thomson Licensing Methods and apparatus for adaptive mode video encoding and decoding
KR20100095992A (ko) 2009-02-23 2010-09-01 한국과학기술원 비디오 부호화에서의 분할 블록 부호화 방법, 비디오 복호화에서의 분할 블록 복호화 방법 및 이를 구현하는 기록매체
CA2756419C (en) * 2009-03-23 2016-05-17 Ntt Docomo, Inc. Image predictive encoding device, image predictive encoding method, image predictive encoding program, image predictive decoding device, image predictive decoding method, and image predictive decoding program
US8363722B2 (en) * 2009-03-31 2013-01-29 Sony Corporation Method and apparatus for hierarchical bi-directional intra-prediction in a video encoder
JP5199956B2 (ja) * 2009-06-16 2013-05-15 キヤノン株式会社 画像復号装置及びその制御方法
JP5199955B2 (ja) * 2009-06-16 2013-05-15 キヤノン株式会社 画像復号装置及びその制御方法
KR101939016B1 (ko) 2009-07-01 2019-01-15 톰슨 라이센싱 비디오 인코더 및 디코더용 대형 블록에 대한 인트라 예측을 시그널링하기 위한 방법 및 장치
US9185425B2 (en) 2009-07-03 2015-11-10 France Telecom Prediction of a movement vector of a current image partition pointing to a reference zone that covers several reference image partitions and encoding and decoding using one such prediction
WO2011001078A1 (fr) * 2009-07-03 2011-01-06 France Telecom Prédiction d'un vecteur mouvement d'une partition d'image courante de forme géometrique ou de taille différente de celle d'au moins une partition d'image de référence voisine, codage et décodage utilisant une telle prédiction
JP5416277B2 (ja) * 2009-07-10 2014-02-12 サムスン エレクトロニクス カンパニー リミテッド 階層的映像符号化における空間予測方法及び装置
JP2010009624A (ja) * 2009-10-07 2010-01-14 Ntt Docomo Inc 画像信号変換方法、画像信号逆変換方法、画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム、及び、画像復号プログラム
EA027182B1 (ru) * 2009-10-20 2017-06-30 Шарп Кабусики Кайся Устройство кодирования движущихся изображений, устройство декодирования движущихся изображений, система кодирования/декодирования движущихся изображений, способ кодирования движущихся изображений и способ декодирования движущихся изображений
KR101484280B1 (ko) 2009-12-08 2015-01-20 삼성전자주식회사 임의적인 파티션을 이용한 움직임 예측에 따른 비디오 부호화 방법 및 장치, 임의적인 파티션을 이용한 움직임 보상에 따른 비디오 복호화 방법 및 장치
EP2514210A4 (en) 2009-12-17 2014-03-19 Ericsson Telefon Ab L M METHOD AND DEVICE FOR VIDEO CODING
KR101768207B1 (ko) 2010-01-19 2017-08-16 삼성전자주식회사 축소된 예측 움직임 벡터의 후보들에 기초해 움직임 벡터를 부호화, 복호화하는 방법 및 장치
JP5583439B2 (ja) * 2010-03-17 2014-09-03 パナソニック株式会社 画像符号化装置及びカメラシステム
RU2012140740A (ru) * 2010-04-01 2014-05-10 Сони Корпорейшн Устройство и способ обработки изображения
KR101419634B1 (ko) 2010-04-07 2014-07-16 가부시키가이샤 제이브이씨 켄우드 동화상 부호화 장치, 동화상 부호화 방법 및 동화상 부호화 프로그램, 및 동화상 복호 장치, 동화상 복호 방법 및 동화상 복호 프로그램
CN102215396A (zh) 2010-04-09 2011-10-12 华为技术有限公司 一种视频编解码方法和系统
HUE045579T2 (hu) 2010-04-13 2020-01-28 Ge Video Compression Llc Síkközi predikció
BR112012026391B1 (pt) * 2010-04-13 2020-12-15 Ge Video Compression, Llc Herança em amostra de arranjo em subdivisão multitree
CN106162171B (zh) 2010-04-13 2020-09-11 Ge视频压缩有限责任公司 解码器及方法、编码方法
CN105120287B (zh) 2010-04-13 2019-05-17 Ge 视频压缩有限责任公司 解码器、编码器以及用于解码和编码的方法
EP2560369A1 (en) * 2010-04-15 2013-02-20 Konica Minolta Holdings, Inc. Image processing system, image processing method, and program
JP2012023597A (ja) * 2010-07-15 2012-02-02 Sony Corp 画像処理装置及び画像処理方法
CA3011221C (en) 2010-07-20 2019-09-03 Ntt Docomo, Inc. Video prediction encoding and decoding for partitioned regions while determining whether or not to use motion information from neighboring regions
KR20120014676A (ko) * 2010-08-10 2012-02-20 에스케이 텔레콤주식회사 적응적 부호화/복호화 모드 인덱싱 기법을 이용한 영상 부호화/복호화 장치 및 방법
KR20120016991A (ko) * 2010-08-17 2012-02-27 오수미 인터 프리딕션 방법
EP2421266A1 (en) * 2010-08-19 2012-02-22 Thomson Licensing Method for reconstructing a current block of an image and corresponding encoding method, corresponding devices as well as storage medium carrying an images encoded in a bit stream
WO2012044124A2 (ko) * 2010-09-30 2012-04-05 한국전자통신연구원 영상 부호화 방법과 복호화 방법 및 이를 이용한 영상 부호화 장치와 복호화 장치
KR20130054408A (ko) 2010-10-05 2013-05-24 제너럴 인스트루먼트 코포레이션 지그재그 스캔에 의한 적응적 컨텍스트 모델 선택을 이용하는 코딩 및 디코딩
WO2012070235A1 (ja) * 2010-11-24 2012-05-31 パナソニック株式会社 動きベクトル算出方法、画像符号化方法、画像復号方法、動きベクトル算出装置および画像符号化復号装置
JP2012124591A (ja) * 2010-12-06 2012-06-28 Sony Corp 画像符号化装置と動きベクトル符号化方法、画像復号化装置と動きベクトル復号化方法、およびプログラム
FI3985979T3 (fi) 2010-12-13 2024-04-23 Electronics & Telecommunications Res Inst Menetelmä vertailuyksikön määrittämiseksi
EP2658261A4 (en) * 2010-12-21 2015-06-24 Nec Corp Motion estimation device, motion estimation method, motion estimation program, and video image encoder
EP2661880A4 (en) * 2011-01-07 2016-06-29 Mediatek Singapore Pte Ltd METHOD AND DEVICE FOR IMPROVED CODING OF INTRA-LUMA PREDICTION MODE
CN102611884B (zh) 2011-01-19 2014-07-09 华为技术有限公司 图像编解码方法及编解码设备
US8755437B2 (en) 2011-03-17 2014-06-17 Mediatek Inc. Method and apparatus for derivation of spatial motion vector candidate and motion vector prediction candidate
US9008181B2 (en) * 2011-01-24 2015-04-14 Qualcomm Incorporated Single reference picture list utilization for interprediction video coding
US20130329797A1 (en) * 2011-02-25 2013-12-12 Panasonic Corporation Image coding method and image decoding method
EP2685722A4 (en) * 2011-03-11 2014-09-03 Samsung Electronics Co Ltd METHOD AND DEVICE FOR ENCRYPTION OF IMAGES AND METHOD AND DEVICE FOR DECOMPOSING IMAGES
BR112013022522B8 (pt) 2011-03-14 2022-05-31 Hfi Innovation Inc Método e aparelho para derivação de candidato de vetor de movimento e predição de candidato de vetor de movimento
US8938001B1 (en) 2011-04-05 2015-01-20 Google Inc. Apparatus and method for coding using combinations
US8780996B2 (en) 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
US8638854B1 (en) 2011-04-07 2014-01-28 Google Inc. Apparatus and method for creating an alternate reference frame for video compression using maximal differences
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US8781004B1 (en) 2011-04-07 2014-07-15 Google Inc. System and method for encoding video using variable loop filter
US8780971B1 (en) 2011-04-07 2014-07-15 Google, Inc. System and method of encoding using selectable loop filters
US8718389B2 (en) 2011-04-13 2014-05-06 Huawei Technologies Co., Ltd. Image encoding and decoding methods and related devices
US8891616B1 (en) 2011-07-27 2014-11-18 Google Inc. Method and apparatus for entropy encoding based on encoding cost
KR101256893B1 (ko) * 2011-08-05 2013-04-23 고려대학교 산학협력단 데이터 부호화/복호화 장치 및 방법
CN102970526B (zh) * 2011-08-31 2016-12-14 华为技术有限公司 一种获得变换块尺寸的方法和模块
US8885706B2 (en) 2011-09-16 2014-11-11 Google Inc. Apparatus and methodology for a video codec system with noise reduction capability
US10034018B2 (en) 2011-09-23 2018-07-24 Velos Media, Llc Decoded picture buffer management
KR102050761B1 (ko) 2011-10-05 2019-12-02 선 페이턴트 트러스트 화상 복호 방법 및 화상 복호 장치
US9247257B1 (en) 2011-11-30 2016-01-26 Google Inc. Segmentation based entropy encoding and decoding
US10805617B2 (en) * 2012-01-19 2020-10-13 Texas Instruments Incorporated Scalable prediction type coding
EP2805511B1 (en) 2012-01-20 2019-03-06 Sun Patent Trust Methods and apparatus for encoding and decoding video using temporal motion vector prediction
CN107483959B (zh) 2012-02-03 2019-12-20 太阳专利托管公司 图像解码方法及图像解码装置
US9262670B2 (en) 2012-02-10 2016-02-16 Google Inc. Adaptive region of interest
US9131073B1 (en) 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
CA2866121C (en) 2012-03-06 2018-04-24 Panasonic Intellectual Property Corporation Of America Moving picture coding method, moving picture decoding method, moving picture coding apparatus, moving picture decoding apparatus, and moving picture coding and decoding apparatus
US11039138B1 (en) 2012-03-08 2021-06-15 Google Llc Adaptive coding of prediction modes using probability distributions
BR122020010110B1 (pt) * 2012-03-28 2021-08-17 JVC Kenwood Corporation Dispositivo de codificação de imagem
US9426459B2 (en) 2012-04-23 2016-08-23 Google Inc. Managing multi-reference picture buffers and identifiers to facilitate video data coding
US9609341B1 (en) 2012-04-23 2017-03-28 Google Inc. Video data encoding and decoding using reference picture lists
US9014266B1 (en) 2012-06-05 2015-04-21 Google Inc. Decimated sliding windows for multi-reference prediction in video coding
US8819525B1 (en) 2012-06-14 2014-08-26 Google Inc. Error concealment guided robustness
JP6019797B2 (ja) * 2012-06-22 2016-11-02 富士通株式会社 動画像符号化装置、動画像符号化方法、及びプログラム
US9774856B1 (en) 2012-07-02 2017-09-26 Google Inc. Adaptive stochastic entropy coding
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
US9509998B1 (en) 2013-04-04 2016-11-29 Google Inc. Conditional predictive multi-symbol run-length coding
CN104104961B (zh) * 2013-04-10 2018-09-21 华为技术有限公司 一种视频编码方法、解码方法和装置
WO2014178587A1 (ko) * 2013-05-01 2014-11-06 엘지전자 주식회사 신호 송수신 장치 및 신호 송수신 방법
US9756331B1 (en) 2013-06-17 2017-09-05 Google Inc. Advance coded reference prediction
CN103491380A (zh) * 2013-07-29 2014-01-01 朱洪波 高灵活变尺寸块帧内预测编码
US9392288B2 (en) 2013-10-17 2016-07-12 Google Inc. Video coding using scatter-based scan tables
US9179151B2 (en) 2013-10-18 2015-11-03 Google Inc. Spatial proximity context entropy coding
US20150189269A1 (en) * 2013-12-30 2015-07-02 Google Inc. Recursive block partitioning
US10631005B2 (en) * 2014-04-21 2020-04-21 Qualcomm Incorporated System and method for coding in block prediction mode for display stream compression (DSC)
US9392272B1 (en) 2014-06-02 2016-07-12 Google Inc. Video coding using adaptive source variance based partitioning
US9578324B1 (en) 2014-06-27 2017-02-21 Google Inc. Video coding using statistical-based spatially differentiated partitioning
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
JP6086619B2 (ja) * 2015-03-27 2017-03-01 株式会社日立国際電気 符号化装置および符号化方法
JP2017103744A (ja) * 2015-12-04 2017-06-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、及び画像符号化復号装置
US10404989B2 (en) * 2016-04-26 2019-09-03 Google Llc Hybrid prediction modes for video coding
CN116886898A (zh) * 2017-01-16 2023-10-13 世宗大学校产学协力团 影像解码/编码方法以及传送比特流的方法
KR102670040B1 (ko) * 2017-01-16 2024-05-28 세종대학교산학협력단 영상 신호 부호화/복호화 방법 및 장치
KR102386291B1 (ko) * 2017-07-06 2022-04-14 삼성전자주식회사 영상 부호화 방법 및 장치, 영상 복호화 방법 및 장치
JP7400471B2 (ja) 2017-09-29 2023-12-19 株式会社ニコン 動画圧縮装置および動画圧縮プログラム
US10681374B2 (en) * 2017-11-16 2020-06-09 Google Llc Diversified motion using multiple global motion models
CN110213588B (zh) * 2019-06-25 2021-07-13 浙江大华技术股份有限公司 空域候选运动信息获取方法、装置、编解码器及存储装置
US11475601B2 (en) * 2019-10-21 2022-10-18 Google Llc Image decoding during bitstream interruptions

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1994018799A1 (en) 1993-02-03 1994-08-18 Qualcomm Incorporated Interframe video encoding and decoding system
AU5632394A (en) * 1993-03-05 1994-09-08 Sony Corporation Apparatus and method for reproducing a prediction-encoded video signal
KR970002967B1 (ko) * 1993-04-09 1997-03-13 대우전자 주식회사 영역 분류패턴을 이용한 움직임벡터 검출장치
KR0156958B1 (ko) 1994-10-13 1998-11-16 조백제 2차원 영상의 웨이브렛 변환 영역에서 가변 블럭 크기를 갖는 움직임 추정 장치
DE69526711T2 (de) * 1994-11-04 2002-08-29 Matsushita Electric Ind Co Ltd Bildkodierungsvorrichtung und -verfahren
US5731840A (en) * 1995-03-10 1998-03-24 Kabushiki Kaisha Toshiba Video coding/decoding apparatus which transmits different accuracy prediction levels
JP2001224036A (ja) 1995-10-18 2001-08-17 Sharp Corp 動画像符号化装置
JP2000511366A (ja) * 1995-10-25 2000-08-29 サーノフ コーポレイション ４分割ツリーベースの可変ブロックサイズ動き推定装置および方法
JP3855286B2 (ja) 1995-10-26 2006-12-06 ソニー株式会社 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録媒体
JP2001238220A (ja) 1995-10-27 2001-08-31 Toshiba Corp 動画像符号化装置および動画像符号化方法
JP3788823B2 (ja) 1995-10-27 2006-06-21 株式会社東芝 動画像符号化装置および動画像復号化装置
US5909513A (en) 1995-11-09 1999-06-01 Utah State University Bit allocation for sequence image compression
DE69734812T2 (de) 1996-07-05 2006-08-31 Nippon Telegraph And Telephone Corp. Bildübertragungssystem,-vorrichtung und -verfahren
CA2240118C (en) * 1997-06-09 2005-11-22 Hitachi Ltd. Image sequence coding method and decoding method
US6795501B1 (en) 1997-11-05 2004-09-21 Intel Corporation Multi-layer coder/decoder for producing quantization error signal samples
WO1999033274A1 (en) 1997-12-19 1999-07-01 Kenneth Rose Scalable predictive coding method and apparatus
CA2265089C (en) * 1998-03-10 2007-07-10 Sony Corporation Transcoding system using encoding history information
JP3775630B2 (ja) 1998-07-29 2006-05-17 Ｋｄｄｉ株式会社 動画像の領域分割符号化装置
FR2782879B1 (fr) 1998-08-28 2000-11-03 Thomson Multimedia Sa Procede de compression d'images
JP2000324498A (ja) * 1999-05-13 2000-11-24 Nec Corp 動画像符号化装置
US6542545B1 (en) 1999-10-01 2003-04-01 Mitsubishi Electric Reseach Laboratories, Inc. Estimating rate-distortion characteristics of binary shape data
JP3694888B2 (ja) * 1999-12-03 2005-09-14 ソニー株式会社 復号装置および方法、符号化装置および方法、情報処理装置および方法、並びに記録媒体
CN102025991B (zh) * 2001-09-14 2017-12-29 株式会社Ntt都科摩 编码方法、译码方法、编码装置、译码装置和图像处理系统
JP4353460B2 (ja) * 2003-05-09 2009-10-28 インターナショナル・ビジネス・マシーンズ・コーポレーション 動画データ処理装置及び方法並びにプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011145836A2 (ko) * 2010-05-17 2011-11-24 에스케이텔레콤 주식회사 인트라 블록 및 인터 블록이 혼합된 코딩블록을 이용하는 영상 부호화/복호화 장치 및 그 방법
WO2011145836A3 (ko) * 2010-05-17 2012-03-22 에스케이텔레콤 주식회사 인트라 블록 및 인터 블록이 혼합된 코딩블록을 이용하는 영상 부호화/복호화 장치 및 그 방법
US9420293B2 (en) 2010-05-17 2016-08-16 Sk Telecom Co., Ltd. Image coding/decoding device using coding block in which intra block and inter block are mixed, and method thereof

Also Published As

Publication number Publication date
JPWO2003026315A1 (ja) 2005-01-06
CN1513268A (zh) 2004-07-14
EP2096871A2 (en) 2009-09-02
EP2099228B1 (en) 2014-11-12
EP2819411A1 (en) 2014-12-31
CN1513268B (zh) 2010-12-22
EP2819411B1 (en) 2018-08-29
US7643559B2 (en) 2010-01-05
EP2099228A3 (en) 2009-10-21
EP2096872A3 (en) 2009-10-21
KR20030062341A (ko) 2003-07-23
EP3399747A1 (en) 2018-11-07
EP3399747B1 (en) 2021-05-12
EP2096872B1 (en) 2014-11-12
EP2096871B1 (en) 2014-11-12
WO2003026315A1 (en) 2003-03-27
EP2096871A3 (en) 2009-10-07
CN102025991B (zh) 2017-12-29
EP2096872A2 (en) 2009-09-02
EP1351510A1 (en) 2003-10-08
US20040028282A1 (en) 2004-02-12
EP1351510A4 (en) 2008-12-10
EP2099228A2 (en) 2009-09-09
CN102025991A (zh) 2011-04-20

Similar Documents

Publication Publication Date Title
KR100642043B1 (ko) 부호화 방법, 복호 방법, 부호화 장치, 복호 장치, 화상 처리 시스템, 및 저장 매체
KR101847365B1 (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기록 매체
KR101088972B1 (ko) 화상 부호화 장치 및 방법
KR101829594B1 (ko) 동화상 복호 장치, 동화상 복호 방법, 동화상 부호화 장치, 동화상 부호화 방법 및 기록 매체
US8948243B2 (en) Image encoding device, image decoding device, image encoding method, and image decoding method
EP1534018A2 (en) Apparatus and method for generating coded block pattern for alpha channel image and alpha channel image encoding/decoding apparatus and method using the same
CN101360240B (zh) 编码方法、译码方法、编码装置、译码装置、图象处理系统
KR101204788B1 (ko) 영상의 공간 예측 부호화 방법, 부호화 장치, 복호화 방법및 복호화 장치
JP2006157214A (ja) 動画像符号化装置
JPWO2012172668A1 (ja) 動画像符号化方法及び装置並びに動画復号化方法及び装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121002

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20131001

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20141007

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20151001

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20181004

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20191002

Year of fee payment: 14