KR20030078772A - 동화상 부호화방법 및 장치와, 동화상 복호화방법 및 장치 - Google Patents

동화상 부호화방법 및 장치와, 동화상 복호화방법 및 장치 Download PDF

Info

Publication number
KR20030078772A
KR20030078772A KR10-2003-0019562A KR20030019562A KR20030078772A KR 20030078772 A KR20030078772 A KR 20030078772A KR 20030019562 A KR20030019562 A KR 20030019562A KR 20030078772 A KR20030078772 A KR 20030078772A
Authority
KR
South Korea
Prior art keywords
prediction
encoding
frame
block
prediction group
Prior art date
Application number
KR10-2003-0019562A
Other languages
English (en)
Other versions
KR100557445B1 (ko
Inventor
고토신이치로
츄조다케시
기쿠치요시히로
Original Assignee
가부시끼가이샤 도시바
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시끼가이샤 도시바 filed Critical 가부시끼가이샤 도시바
Publication of KR20030078772A publication Critical patent/KR20030078772A/ko
Application granted granted Critical
Publication of KR100557445B1 publication Critical patent/KR100557445B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은, 동화상 블럭을 적어도 제1 및 제2예측그룹을 포함하는 다수의 예측그룹중 하나에 분배하고; 동화상 블럭이 분배된 예측그룹중 하나에 따라 적어도 하나가 복호화된 참조블럭을 이용해서, 움직임 보상 예측 부호화 모드에 따라 동화상 블럭을 부호화하는 것에 의해 이루어지며; 제1예측그룹이 제1예측그룹에 속하는 참조블럭을 이용하는 예측에 의해 얻어지고, 제2예측그룹이 제2예측그룹과 제1예측그룹중 적어도 하나에 속하는 참조블럭을 이용하는 예측에 의해 얻어지는 것을 특징으로 하는 참조블럭을 이용한 동화상 블럭 부호화방법을 제공한다.

Description

동화상 부호화방법 및 장치와, 동화상 복호화방법 및 장치{VIDEO ENCODING METHOD AND APPARATUS, AND VIDEO DECODING METHOD AND APPARATUS}
본 발명은 움직임 보상 예측 프레임간 부호화를 이용한 동화상 부호화방법 및 장치와 동화상 복호화방법 및 장치에 관한 것이다.
동화상 압축 부호화기술로서 MPEG1(ISO/IEC 11172-2), MPEG2(ISO/IEC 13818-2), MPEG4(ISO/IEC 14496-2)가 널리 실용화되고 있다. 이러한 동화상 부호화모드는 프레임간 부호화와, 전방예측 프레임간 부호화 및, 양방향 예측 프레임간 부호화의 조합에 의해 수행된다. 이러한 부호화모드에 의해 부호화된 프레임은 I픽쳐와 P픽쳐 및 B픽쳐로 불리워진다. P픽쳐는 이전의 P픽쳐 직전의 P 또는 I픽쳐를 참조프레임으로 이용해서 부호화된다. B픽쳐는 B픽쳐 직전 또는 직후의 P 또는 I픽쳐를 참조프레임으로 이용해서 부호화된다. 전방예측 프레임간 부호화 및 양방향 예측 프레임간 부호화가 움직임 보상 예측 프레임간 부호화로서 불리워진다.
MPEG모드를 기초로 하는 동화상 부호화 데이터가 패스트-포워드(fast-forward)에서 재생될 때, 참조프레임이 필요로 되지 않는 I픽쳐만이 재생되는 방법이나, B픽쳐가 참조프레임으로 이용될 수 없는 성질을 이용하여 B픽쳐를 스킵(skipping)하는 동안 I 및 P픽쳐만이 복호화되는 방법이 일반적이다. 그러나, I픽쳐만이 재생될 때, I픽쳐의 주기가 길면, 고속 패스트-포워드 재생이 수행될 수 있지만, 부드러운 패스트-포워드 재생이 수행될 수 없게 된다. I 또는 P픽쳐를 이용하는 패스트-포워드 재생에 있어서, P픽쳐가 프레임간 예측 부호화에 의해 부호화되므로, 모든 I 및 P픽쳐가 복호화되어야만 한다. 이러한 이유로 인해 자유롭게 패스트-포워드 속도를 변화시키는 것이 어렵게 된다.
종래의 MPE모드의 동화상 부호화에 있어서, B픽쳐는 참조프레임으로서 이용되지 않는다. 따라서, 다수의 B픽쳐가 연속되는 예측구조의 경우, B픽쳐는 참조프레임으로서의 시간에 관한 B픽쳐로부터 분리되는 P픽쳐를 이용하여 부호화되어야만 한다. 이는 B픽쳐의 부호화 효율을 열화시키는 문제를 초래한다. 한편, 복호화된 B픽쳐가 P픽쳐에 있어서 참조프레임으로서 이용될 때, B픽쳐를 스킵하는 동안 패스트-포워드 재생에서의 B픽쳐를 포함하는 모든 프레임을 복호화할 필요가 있다. 결과적으로, 효과적으로 패스트-포워드 재생을 수행하는 것이 어렵게 된다.
상기한 바와 같이, MPEG과 같은 움직임 보상 예측 프레임간 부호화를 포함하는 부호화에 의해 얻어진 동화상 부호화 데이터가 패스트-포워드로 재생될 때, I픽쳐만을 재생함에 있어서 자유로운 재생속도에서 부드러운 패스트-포워드 재생을 수행하는 것이 어렵게 된다. 패스트-포워드 재생이 그 복호화없이 B픽쳐를 스킵함에 따라 수행될 때, 참조프레임으로서 복호화된 B픽쳐를 이용하는 것이 어렵다. 이러한 이유에 대해, B픽쳐가 연속되는 예측구성에서 부호화 효율이 열화된다는 문제가 있다.
본 발명은 상기한 점을 감안하여 발명된 것으로, 높은 부호화 효율과, 복호화측에서 높은 자유도로 패스트-포워드 재생이 가능한 움직임 보상 예측 프레임간 부호화를 이용하는 동화상 부호화 및 복호화방법 및 장치를 제공함에 그 목적이 있다.
도 1은 본 발명의 1실시예에 따른 동화상 부호화장치의 블럭도,
도 2는 동화상 부호화에 있어서 움직임 보상 예측 프레임간 부호화에 관한 주요 처리의 흐름을 나타낸 도면,
도 3은 본 발명의 1실시예에 따른 동화상 복호화장치의 블럭도,
도 4는 움직임 보상 예측 프레임간 부호화의 결과를 복호화하기 위한 주요 처리의 흐름을 나타낸 도면,
도 5는 상기 실시예에 따른 동화상 부호화장치 및 동화상 복호화장치에 이용되는 움직임 보상 예측 유니트의 블럭도,
도 6은 본 발명의 1실시예에 따른 프레임간 예측구조 및 참조프레임 제어의 예를 나타낸 도면,
도 7은 본 발명의 1실시예에 따른 프레임간 예측구조 및 참조프레임 제어의 예를 나타낸 도면,
도 8은 본 발명의 1실시예에 따른 프레임간 예측구조 및 참조메모리 제어의 예를 나타낸 도면,
도 9는 본 발명의 1실시예에 따른 프레임간 예측구조 및 참조메모리 제어의예를 나타낸 도면,
도 10은 본 발명의 1실시예에 따른 프레임간 예측구조 및 참조메모리 제어의 예를 나타낸 도면,
도 11은 본 발명의 1실시예에 따른 프레임간 예측구조 및 참조메모리 제어의 예를 나타낸 도면,
도 12는 본 발명의 실시예의 변형에 따른 동화상 부호화장치의 블럭도,
도 13은 본 발명의 실시예의 변형에 따른 동화상 복호화장치의 블럭도이다.
상기 목적을 달성하기 위한 본 발명에 따르면, 동화상 블럭을 적어도 제1 및 제2예측그룹을 포함하는 다수의 예측그룹중 하나에 분배하고; 동화상 블럭이 분배된 예측그룹중 하나에 따라 적어도 하나가 복호화된 참조블럭을 이용해서, 움직임 보상 예측 부호화 모드에 따라 동화상 블럭을 부호화하는 것에 의해 이루어지며; 제1예측그룹이 제1예측그룹에 속하는 참조블럭을 이용하는 예측에 의해 얻어지고, 제2예측그룹이 제2예측그룹과 제1예측그룹중 적어도 하나에 속하는 참조블럭을 이용하는 예측에 의해 얻어지는 참조블럭을 이용한 동화상 블럭 부호화방법이 제공된다.
(실시예)
이하, 예시도면을 참조하여 본 발명에 따른 실시예를 상세히 설명한다.
부호화
도 1은 본 발명에 따른 동화상 부호화장치의 블럭도이다. 도 2는 움직임 보상 예측 프레임간 부호화에 의해 실행된 처리의 단계를 나타낸 플로우차트이다. 도 1에 도시된 동화상 부호화장치가 하드웨어에 의해 실현되어질 수도 있고, 컴퓨터에 의한 소프트웨어에 의해서도 실행될 수 있다. 일부의 처리가 하드웨어에 의해 실행되고, 그 나머지 부분이 소프트웨어에 의해 실행될 수 있다.
본 실시예는 종래의 MPEG방식으로 대표되는, 움직임 보상 예측과, 직교변환 및, 가변길이 부호화의 조합인 동화상 부호화를 기초로 하고 있다. 이하의 설명에서는 2계층을 포함하는 예측그룹을 기초로 하는 동화상 부호화방법을 설명한다.
동화상신호(100; 동화상 프레임)가 모든 프레임 마다 동화상 부호화장치에 입력된다. 먼저, 동화상신호(100)의 동화상 프레임이 움직임 보상 예측 유니트(111)에 의해 2계층(two hierarchical layer)의 양 예측그룹중 하나에 분배된다(단계 S11). 분배된 예측그룹의 계층 보다 더 낮은 적어도 하나의 계층의 예측그룹에 속하는 적어도 하나의 참조프레임을 이용해서 동화상 프레임이 움직임 보상 예측 프레임간 부호화에 의해 부호화된다(단계 S12). 본 실시예에 있어서, 메모리세트(118)에 저장된 참조프레임이 이용된다.
각 계층의 예측그룹에 대한 동화상 프레임의 분배가 시간에 따라 프레임 사이에서 변화된다. 예컨대, 우수 프레임(even numbered frame)이 제1계층의 예측그룹으로 분배되고, 기수 프레임(odd numbered frame)이 제2계층의 예측그룹으로 분배된다. 각 계층의 예측그룹에 속하는 참조프레임이 참조프레임으로서 이용되는 부호화된 프레임에 대응하는 동화상 프레임에 속하는 예측그룹에 따라 결정된다. 즉, 동화상 프레임이 계층의 예측그룹으로 분배되면, 동화상 프레임을 부호화 및 국부복호화에 의해 얻어진 부호화된 프레임이 동일한 계층의 예측그룹에 속한다. 이하, 단계 S11 및 단계 S12의 처리에 대해 상세히 설명한다.
상기한 바와 같이, 다수의 부호화된 프레임이 참조프레임으로서 제1 및 제2계층의 예측그룹에 속한다. 2개의 참조메모리세트(118,119)가 참조프레임으로서의 부호화된 프레임을 잠정적으로 저장하기 위해 준비된다. 제1계층(예컨대, 최하위 계층)의 예측그룹에 속하는 부호화된 프레임이 제1참조메모리세트(118)에 참조프레임으로서 잠정적으로 저장된다. 제2계층(예컨대, 상위 계층)의 예측그룹에 속하는 부호화된 프레임이 제2참조메모리세트(119)에 참조프레임으로서 잠정적으로 저장된다.
제1계층의 예측그룹에 분배된 동화상 프레임이, 제1참조메모리세트(118)에 저장된 제1계층의 예측그룹에 속하는 참조프레임을 이용해서, 움직임 보상 예측 프레임간 부호화를 수행한다. 한편, 제2계층의 예측그룹에 분배된 동화상 프레임이, 제1 및 제2참조메모리세트(118,119)에 저장된 제1 및 제2계층의 양 예측그룹에 속하는 참조프레임을 이용해서, 움직임 보상 예측 프레임간 부호화를 수행한다.
움직임 보상 예측 프레임간 부호화에 대해 구체적으로 설명한다. 동화상신호(100)에 대응하는 동화상 프레임이 제1계층의 예측그룹에 속할 때, 제1참조메모리세트(118)에 잠정적으로 저장된 하나 이상의 참조프레임이 그로부터 독출되어 움직임 보상 예측 유니트(111)에 입력된다. 이 때, 스위치(120)가 OFF임에 따라 제2참조메모리세트(119)로부터의 참조프레임이 움직임 보상 예측 유니트(111)에 입력되지 않게 된다. 움직임 보상 예측 유니트(111)는 예측픽쳐신호(104)를 발생시키기 위해 제1참조메모리세트(118)로부터 독출되는 하나 이상의 참조프레임을 이용해서 움직임 보상 예측을 실행한다. 예측픽쳐신호(104)가 입력동화상신호(100)에 관한 예측픽쳐신호(104)의 에러신호인 예측에러신호(101)를 발생시기기 위해 감산기(110)에 입력된다.
입력동화상신호(100)에 대응하는 동화상 프레임이 제2계층의 예측그룹에 속할 때, 스위치(120)가 ON된다. 이 때, 제1 및 제2참조메모리세트(118,119)에 잠정적으로 저장된 하나 이상의 참조프레임이 그로부터 독출되어, 움직임 보상 예측 유니트(111)에 입력된다. 움직임 보상 예측 유니트(111)는 상기와 마찬가지로 예측픽쳐신호(104)를 발생시켜, 감산기(110)에 공급한다. 감산기(110)는 예측에러신호(101)를 발생시킨다.
예측에러신호(101)는 DCT변환기(112)에 의해 이산코사인변환을 수행한다. DCT변환기(112)로부터의 DCT계수가 양자화기(113)에 의해 양자화된다. 양자화된 DCT계수 데이터(102)가 2개의 경로로 분할되고, 하나의 경로에서 가변길이 부호화기(114)에 의해 부호화된다. DCT계수 데이터(102)가 다른 경로에서 역양자화기(115) 및 역DCT변환기(116)에 의해 예측에러신호로서 재생된다. 이러한 재생된 예측에러신호가 국부복호화 픽쳐신호(103)를 발생시키도록 예측픽쳐신호(104)에 부가된다.
국부복호화 픽쳐신호(103)에 대응하는 부호화된 프레임이, 입력동화상신호(100)에 대응하는 동화상 프레임이 분배되는 계층의 예측그룹에 따라 제1 및 제2참조메모리세트(118,119)의 어느 한쪽에 잠정적으로 저장된다(단계 S13). 즉, 동화상 프레임이 제1계층의 예측그룹에 속할 때, 부호화된 프레임이 제1참조메모리세트(118)에 잠정적으로 저장된다. 동화상 프레임이 제2계층의 예측그룹에 속할 때, 부호화된 프레임이 제2참조메모리세트(119)에 잠정적으로 저장된다.
움직임 보상 예측 유니트(111)로부터는, 움직임 보상 예측을 위해 이용되는 움직임 벡터와, 동화상 프레임이 속하는 예측그룹을 식별하기 위한 인덱스(제1식별정보) 및, 움직임 보상 예측 프레임간 부호화를 위해 이용되는 참조프레임을 특정하는 인덱스(제2식별정보)를 포함하는 소위 사이드정보(105)가 출력된다. 사이드정보는 가변길이 부호화 유니트(114)에 의해 부호화된다(단계 S14). 이 경우, 예측그룹을 식별하기 위한 인덱스가, 예컨대 예측구성을 나타내는 픽쳐형태로서 부호화된다. 참조프레임을 특정하는 인덱스는 매크로블럭 마다 부호화된다.
이러한 사이드정보는 움직임 보상 예측 프레임간 부호화의 결과인 양자화된 DCT계수 데이터에 따라 가변길이 부호화 데이터(106)로서 출력된다(단계 S15). 예컨대, 사이드정보는 가변길이 부호화 데이터(106)에 대한 헤더(header)정보로서 부호화된다. 더욱이, 제2참조프레임수 설정방법이 채택되면, 프레임의 최대수를 가리키는 정보가 가변길이 부호화 데이터(106)에 대한 헤더정보로서 부호화된다. 제2참조프레임수 설정방법은 각 계층의 예측그룹에 속하는 참조프레임의 총수를 미리 정의하는 것에 의해 각 계층의 예측그룹에 분배된 참조프레임의 최대수를 설정하는 방법이다. 가변길이 부호화 데이터(106)는 저장매체나 전송매체(도시되지않았음)에 보내진다.
새로운 복호화된 프레임이 참조프레임으로서 제1 및 제2참조메모리세트(118,119)에 순차 기록된다. 저장된 프레임이 가장 오래된 참조프레임으로부터 순차 삭제되는, 소위 FIFO(First-In First-Out)형 제어가 프레임의 유니트에서 수행된다. 그러나, 참조프레임이 독출되면, 랜덤억세스가 각 제1 및 제2참조메모리세트(118,119)에서 임의의 참조프레임에 대해 이루어진다.
제1 및 제2참조메모리세트(118,119)에 각각 잠정적으로 저장된 참조프레임의 수, 즉 각각의 제1 및 제2참조메모리세트(118,119)에 포함된 참조메모리의 수가 다음의 2가지 방법중 어느 하나에 의해 결정된다.
제1참조프레임수 설정방법에 있어서, 각 계층의 예측그룹에 속하는 참조프레임의 최대수가 부호화방법이나 프로파일 및 레벨과 같은 부호화 사양에 따라 미리 확립된다. 동화상 부호화장치 및 동화상 복호화장치에 있어서, 상기한 바와 같이 결정된 참조프레임의 최대수가 모든 예측그룹을 확보해서, 부호화 및 복호화가 수행된다. 이 경우, 참조프레임의 필요한 수가, 동화상 부호화장치와 동화상 복호화장치 사이에서 부호화 사양을 일시시킴으로써, 자동적으로 확보될 수 있게 된다.
제2참조프레임수 설정방법에 있어서, 각 계층의 예측그룹에 속하는 참조프레임의 총수가 부호화방법이나 프로파일 및 레벨과 같은 부호화 사양에 따라 미리 확립되고, 얼마나 많은 참조프레임이 각 계층의 예측그룹에 분배되는가에 대한 정보, 즉 프레임의 최대수를 가리키는 정보가 가변길이 부호화 데이터(106)에 대한 헤더정보로서 부호화된다.
따라서 상기한 바와 같이, 제2참조프레임 설정방법에 있어서, 각 계층의 예측그룹을 위해 가장 적절한 참조프레임의 최대수가 부호화측에서 예측그룹에 대해 동적으로 분배된다.
프레임의 분배된 최대수를 가리키는 정보를 부호화함으로써, 각 계층의 예측그룹에 속하는 참조프레임의 최대수를 부호화측 및 복호화측 사이에서 일치시킬 수 있게 된다. 따라서, 참조프레임의 최대수에 관한 각 계층의 예측그룹에 속하는 참조프레임의 최대수의 비율이 입력동화상신호(100)의 이미지 성질의 변화에 따라 적절히 변화된다. 결과적으로, 부호화 효율이 개선된다.
상기한 설명에 있어서, 부호화가 프레임 단위로 수행된다. 부호화가 블럭 단위(매크로블럭)로 수행된다. 한편, 동화상 블럭이 적어도 제1 및 제2예측그룹을 포함하는 다수의 예측그룹중 하나로 분배된다. 동화상 블럭이, 동화상 블럭이 분배되는 예측그룹중 하나에 따른 참조블럭을 이용해서, 움직임 보상 예측 프레임간 부호화 모드에 따라 부호화되고, 여기서 참조블럭중 하나가 복호화된 블럭이다. 제1예측그룹이 제1예측그룹에 속하는 참조블럭을 이용하는 예측에 의해 얻어진다. 제2예측그룹이 제2예측그룹과 제1예측그룹중 적어도 하나에 속하는 참조블럭을 이용하는 예측에 의해 얻어진다.
동화상 블럭이 프레임간 부호화 모드와, 전방예측 프레임간 부호화모드 및, 양방향 예측 프레임간 부호화모드의 각각에 의해 부호화된다. 제1동화상블럭이 프레임간 부호화모드 및 전방예측 프레임간 부호화모드에 의해 부호화되고, 제1동화상 블럭에 대응하는 참조블럭이 제1예측그룹에 분배된다. 제2동화상블럭이 양방향 예측 프레임간 부호화모드에 의해 부호화되고, 제2동화상 블럭에 대응하는 참조블럭이 제1 및 제2예측그룹중 적어도 하나에 분배된다.
복호화
도 3은 도 1에 도시된 동화상 부호화장치에 대응하는 동화상 복호화장치의 블럭도이다. 도 4는 움직임 보상 예측 프레임간 부호화에 대응하는 복호화와 관련된 처리의 단계를 나타내는 플로우차트이다. 도 3에 도시된 동화상 복호화장치가 하드웨어에 의해 실현되어질 수도 있고, 컴퓨터에 의한 소프트웨어에 의해서도 실행될 수 있다. 한편, 일부의 처리가 하드웨어에 의해 실행되고, 그 나머지 부분이 소프트웨어에 의해 실행될 수 있다.
도 1에 도시된 동화상 부호화장치로부터 출력된 가변길이 부호화 데이터(106)가 저장매체나 전송매체를 통해 도 3에 도시된 동화상 복호화장치에 입력된다. 입력부호화 데이터(200)가 가변길이 복호화기(214)에 의해 가변-길이 복호화를 수행하여, 양자화된 DCT계수 데이터(201)와 사이드정보(202)가 출력된다. 양자화된 DCT계수 데이터(201)가 양자화기(215) 및 역DCT 변환기(216)를 매개로 복호화되어, 예측에러신호가 재생된다.
한편, 매크로블럭 마다 복호화된 움직임 벡터와, 각 동화상 프레임에 속하는 예측그룹을 식별하는 인덱스(제1식별정보) 및, 참조프레임을 특정하는 인덱스(제2식별정보)를 포함하는 사이드정보(202)가 복호화된다(단계 S21). 예측픽쳐신호(203)를 발생시키도록 부호화와 마찬가지로 사이드정보에 따라 참조프레임의 선택과 움직임 보상이 수행된다. 즉, 제1식별정보와 제2식별정보에 따라참조프레임이 선택된다(단계 S22) 움직임 보상 예측 프레임간 부호화의 결과가 선택된 참조프레임에 의해 복호화된다(단계 S23). 예측픽쳐신호(203)와 역DCT 변환기(216)로부터의 예측에러신호가 복호화된 픽쳐신호(204)를 발생시키도록 부가된다.
복호화된 픽쳐신호(204)에 대응하는 복호화 프레임이 복호화된 프레임에 대응하는 부호화된 프레임에 속하는 예측그룹에 따라 제1 및 제2참조메모리세트(218,219)의 어느 한쪽에 잠정적으로 저장된다. 복호화된 프레임이 참조프레임으로서 이용된다. 이러한 제1 및 제2참조메모리세트(218,219)는 동화상 부호화장치와 마찬가지로 FIFO형으로 제어된다. 각 계층의 예측그룹에 속하는 참조프레임의 수가 동화상 부호화장치에서 설명한 제1 및 제2참조프레임수 설정방법에 따라 설정된다.
즉, 각 계층의 예측그룹에 속하는 참조프레임의 최대수가 제1참조프레임수 설정방법과 부호화 사양에 따라 미리 정의되고, 각 계층의 예측그룹에 속하는 참조프레임의 수가 부호화 사양 마다 고정된 값으로 설정된다. 각 계층의 예측그룹에 속하는 참조프레임의 총수는 제2참조프레임수 설정방법과 부호화 사양에 따라 미리 정의되고, 참조프레임의 최대 수는 각 계층의 예측그룹에 분배된다. 참조프레임의 총수만 고정되고, 각 계층의 예측그룹에 속하는 참조프레임의 수는 부호화된 데이터의 헤더정보에 따라 복호화된 참조프레임의 최대 수를 가리키는 정보를 기초로 동적으로 제어된다.
도 5는 도 1에 도시된 동화상 부호화장치에서의 움직임 보상 예측유니트(111) 또는 도 3에 도시된 동화상 복호화장치에서의 움직임 보상 예측 유니트(211)의 구성을 나타내고 있다.
상기한 바와 같이, 부호화되어지는 프레임 또는 복호화되어지는 프레임이 속하는 계층의 예측그룹에 따라 사용가능한 참조프레임이 달리된다. 도 5에 있어서 프레임 메모리(302∼304)는 하나의 계층의 예측그룹에 속하는 부호화된 프레임을 위한 참조프레임으로 사용가능한 참조프레임을 저장하는 것으로 가정한다.
움직임 보상 예측 유니트는 매크로블럭 마다 사용가능한 참조프레임중에서 하나를 선택하거나, 선형합을 기초로 참조프레임을 예측하도록 선형예측기(301)에 의해 사용가능한 참조프레임의 선형합을 계산함으로써, 예측 매크로블럭을 발생시키도록 움직임 보상이 수행된다.
동화상 부호화장치는 매크로블럭 마다 참조프레임과 움직임 벡터를 선택하여, 작은 예측에러와 최고의 부호화 효율을 갖는 예측 매크로블럭이 선택된다. 선택된 참조프레임의 정보와 움직임 벡터의 정보가 매크로블럭 마다 부호화된다.
동화상 복호화장치에 있어서, 움직임 보상 유니트는 수신한 움직임 벡터와 참조프레임의 정보에 따라 예측 매크로블럭을 발생시켜 복호화한다. 예측이 선형합을 기초로 수행될 때, 선형예측계수와 관련된 정보가 부호화와 복호화 사이에서 선형예측기 계수를 일치시키도록 부호화된 데이터의 헤더정보로서 부호화된다.
도 6 내지 도 11은 본 실시예에 있어서 프레임간 예측구성과 참조메모리 제어를 설명하기 위한 것이다.
도 6은 I 및 P픽쳐에 의해 구성된 것으로, 예측그룹 a와 예측그룹 b 사이에서 교대로 각 프레임을 스위칭하는 예를 나타낸 것이다. 예측그룹 b는 예측그룹 a 보다 상위 계층인 것으로 가정한다. 또한, 각각의 예측그룹 a와 예측그룹 b의 참조메모리는 하나의 프레임인 것으로 가정한다.
Ia0, Pa2 또는 Pa4와 같은 문자 a가 붙여진 픽쳐는 예측그룹 a에 속하고, Pb1, Pb3 또는 Pb5와 같은 문자 b가 붙여진 픽쳐는 예측그룹 b에 속한다. 이러한 예측그룹의 속성은 픽쳐형태의 확장 또는 독립 인덱스로서 부호화되고, 동화상 프레임의 헤더정보로서 이용된다. 예측그룹 a에 속하는 동화상 프레임은 예측 프레임 a에 속하고 이미 복호화된 프레임만을 참조프레임으로서 이용할 수 있다.
상위 계층의 예측 프레임 b에서는 예측픽쳐가 예측그룹 a 및 예측그룹 b중 하나에 속하면서 이미 복호화된 하나의 프레임 또는 양 복호화된 프레임의 선형합을 이용해서 발생된다.
각 계층의 예측그룹은 하나의 프레임에 대응하는 참조메모리를 갖는다. 따라서, 예측그룹 a의 동화상 프레임을 위한 참조프레임의 수는 최대로 1이다. 최대로 2개의 참조프레임이 예측그룹 b의 동화상 프레임을 위해 이용될 수 있다. 예컨대, 예측그룹 a에 속하는 프레임(Pa2)은 참조프레임으로서 복호화된 프레임(Ia0)만을 이용한다. 예측그룹 b에 속하는 프레임(Pb3)은, 예컨대 참조프레임으로서 예측그룹 a에 속하는 복호화된 프레임(Pa2) 및 예측그룹 b에 속하는 복호화된 프레임(Pb1)의 2개의 프레임을 이용한다.
도 6에 있어서, FM1, FM2, FM3는 물리적 참조메모리를 나타낸다. DEC, REFa, REFb는 각각 논리적 참조메모리를 나타낸다. 즉, DEC, REFa, REFb는 가상어드레스에 의해 표현되는 프레임 메모리이다. FM1, FM2, FM3는 물리적 어드레스에 의해 표현되는 프레임 메모리이다. 가상어드레스 표현에 있어서, DEC는 현재 복호화되는 프레임을 잠정적으로 저장하기 위한 프레임 메모리이다. REFa, REFb는 각각 예측그룹 a,b의 참조메모리이다. 따라서, 예측그룹 a에 속하는 복호화된 프레임은 참조메모리(REFa)에 순차적이면서 잠정적으로 저장된다. 예측그룹 b에 속하는 복호화된 프레임은 참조메모리(REFb)에 순차적이면서 잠정적으로 저장된다.
도 6의 실시예에 있어서, 상위 계층의 예측그룹 b에 속하는 동화상 프레임을 포기(discard)하고, 예측그룹 a에 속하는 프레임만을 복호화하는 것이 가능하다. 이 경우, 예컨대 현재 복호화되는 프레임을 잠정적으로 저장하기 위한 프레임 메모리(DEC)와 예측그룹 a의 참조메모리(REFa)가 존재하면, 복호화가 가능하다.
예측그룹 a에 속하는 프레임만을 디코딩하는 것에 의해 예측 구조를 파괴(breaking down)하는 것 없이 반분의 프레임 주기에서 프레임을 복호화하는 것이 가능하다. 부드러운 패스트-포워드 재생이, 예컨대 2배의 프레임율에서 예측그룹 a에 속하는 복호화된 프레임을 재생하는 것에 의해 수행할 수 있다. 또한, 화상스트리밍에 있어서 전송채널의 대역폭이 시간에 따라 변동하는 경우, 통상적으로는 모든 복호화된 데이터가 전송된다. 전송채널의 유효 대역폭이 감소될 경우, 예측그룹 b에 속하는 부호화된 데이터가 포기되고, 하위 계층의 예측그룹 a에 속하는 부호화된 데이터만이 보내진다. 이 경우, 복호화된 프레임이 수신측에서의 실패없이 재생될 수 있게 된다.
도 7은 도 6의 변형예를 나타낸 것으로, 예측그룹 b에 속하는 2개의 프레임이 예측그룹 a에 속하는 프레임 사이에 삽입되는 예측 구조를 나타낸 것이다. 각 계층의 예측그룹의 참조메모리는 하나의 프레임이다. 이러한 이유로 인해, 복호화가 도 6과 마찬가지로 3개의 프레임을 위한 프레임 메모리를 이용하는 것에 의해 가능하다. 도 7의 실시예에 있어서, 예컨대 예측그룹 a의 프레임만을 복호화하고, 원래의 프레임율에서 복호화된 프레임을 재생하는 것에 의해, 부드러운 3배의 패스트-포워드 재생을 수행하는 것이 가능하다.
도 8은 I 및 P픽쳐에 의해 구성된 예측 구성을 나타내고, 예측그룹은 3개의 계층 a,b,c를 포함한다. 예측그룹 a의 프레임은 4개의 입력 프레임 마다 분배된다. 예측그룹 b의 하나의 프레임과 예측그룹 c의 2개의 프레임이 예측그룹 a의 프레임 사이에 삽입된다.
각 계층의 예측그룹 a,b,c의 참조프레임은 하나의 프레임이다. 계층은 a, b, c의 순서로 상승한다. 즉, 예측그룹 a에 속하는 프레임은 참조프레임으로서 복호화된 예측그룹 a의 하나의 프레임만을 이용할 수 있다. 예측그룹 b에 속하는 프레임은 참조프레임으로서 복호화된 예측그룹 a,b의 2개의 프레임을 이용할 수 있다. 예측그룹 c에 속하는 프레임은 참조프레임으로서 복호화된 예측그룹 a,b,c의 3개의 프레임만을 이용할 수 있다.
도 8에 있어서, DEC, REFa, REFb, REFc는 각각 복호화된 프레임을 잠정적으로 저장하기 위한 프레임 메모리와, 예측그룹 a의 참조프레임을 저장하기 위한 논리적 프레임 메모리, 예측그룹 b의 참조프레임 및, 예측그룹 c의 참조프레임을 나타낸다. FM1, FM2, FM3, FM4는 각각 상기한 4개의 프레임을 위한 물리적 프레임메모리를 나타낸다. 현재의 프레임 직전에 복호화된 하나의 프레임이 참조메모리(REFa,REFb,REFc)에 잠정적으로 저장된다. 현재 복호화되고 있는 프레임이 복호화된 프레임 메모리(DEC)에 기록된다.
도 8의 구성에 있어서, 예측그룹은 3개의 계층을 포함한다. 따라서, 예측그룹 c 이하의 모든 부호화된 프레임이 복호화될 때, 통상적인 재생이 수행된다. 예측그룹 b 이하의 부호화된 프레임이 복호화될 때, 통상적인 프레임의 1/2의 프레임이 복호화된다. 예측그룹 a 이하의 부호화된 프레임이 복호화될 때, 통상적인 프레임의 1/4의 프레임이 복호화된다. 양쪽의 복호화에 있어서, 정상적으로 복호화된 픽쳐가 예측 구조의 실패 없이 발생되어질 수 있다. 부드럽게 조정될 수 있는 속도에서의 패스트-포워드 재생이 복호화되어지는 계층을 동적으로 제어함으로써 실현될 수 있게 된다. 한편, 전송 비트율이 전송되어지는 계층을 동적으로 제어함으로써 동적으로 변화된다.
도 9에 있어서, 예측 구성은 I, P, B픽쳐를 구비하고, I와 P픽쳐는 예측그룹 a에 분배되고, B픽쳐는 예측그룹 b에 분배된다. 예측그룹 b는 예측그룹 a의 상위 계층으로 가정한다. 예측그룹 a는 2개의 프레임, 예컨대 2개의 참조메모리를 포함하고, 예측그룹 b는 하나의 프레임, 예컨대 하나의 참조메모리를 포함한다.
도 9의 실시예에 있어서, 예측그룹 a의 I 및 P픽쳐의 참조메모리의 수는 2이다. 따라서, 2개의 프레임중 하나가 현재의 P픽쳐 직전에 부호화 또는 복호화되는 I 또는 P픽쳐이고, 다른 하나가 현재의 P픽쳐 전에 2개의 프레임에서의 I 또는 P픽쳐인 2개의 프레임을 참조프레임으로서 이용할 수 있다. B픽쳐에 있어서, 예측그룹 b는 하나의 참조프레임을 갖는다. 따라서, 현재의 프레임 직전에 부호화 또는 복호화된 B픽쳐의 하나의 프레임이 참조프레임으로서 이용된다. 더욱이, B픽쳐로부터 형성되고, 하위 계층에 대응하는 예측그룹에 포함되는 과거의 2개의 프레임의 I 및 P픽쳐인 3개의 프레임의 참조프레임을 이용하는 것이 가능하다.
도 6 내지 도 8과 마찬가지로, FM1, FM2, FM3, FM4는 물리적 프레임 메모리를 나타내고, DEC, REFa1, REFa2, REFb는 논리적 프레임 메모리를 나타낸다. DEC는 복호화 동안 프레임을 잠정적으로 저장하기 위한 프레임 메모리를 나타낸다. REFa1 및 REFa2는 예측그룹 a의 2개의 프레임에 대응하는 참조메모리를 나타낸다. REFb는 예측그룹 b의 하나의 프레임에 대응하는 참조메모리를 나타낸다.
도 9의 Idx0 및 Idx1은 복호화 동안 프레임을 위한 참조프레임을 특정화하기 위한 인덱스를 나타낸다. 예컨대, 프레임(Pa6)의 복호화에 있어서, 프레임(Pa6) 직전의 예측그룹 a에 속하는 2개의 프레임(Pa3,Ia0)이 참조프레임의 후보이다. 참조프레임의 인덱스는 동화상 프레임에 시간적으로 더 가까운 프레임에 대해 순차적으로 분배된다. 참조프레임을 가리키는 인덱스는 매크로블럭 마다 부호화되고, 참조프레임은 매크로블럭 마다 선택된다. 인덱스 0의 매크로블럭과 관련하여, 예측 이미지는 매크로블럭에 대응하는 픽쳐 직전의 I 또는 P픽쳐에 의해 발생된다. 인덱스 1의 매크로블럭과 관련하여, 예측 이미지는 매크로블럭에 대응하는 픽쳐 직전의 2개의 프레임에서의 I 또는 P픽쳐에 의해 발생된다. 예측 이미지가 현재 픽쳐 직전의 I 또는 P픽쳐와, 현재 픽쳐 전의 2개의 프레임에서의 I 또는 P픽쳐의 선형합에 의해 발생될 때, 인덱스 0 또는 1의 쌍을 식별하는 인덱스는 매크로북(macro book)의 헤더정보로서 부호화된다.
도 9의 BWref는 B픽쳐의 후방예측을 위한 참조프레임을 나타낸다. 도 9의 실시예에 있어서, 픽쳐(Bb1,Bb2)를 위한 후방 참조프레임은 픽쳐(Pa3)이고, 픽쳐(Bb4,Bb5)를 위한 후방 참조프레임은 픽쳐(Pa6)이다. 후방예측의 참조프레임은 프레임의 정렬의 제약에 기인해서 직전에 부호화 또는 복호화된 I 또는 P픽쳐로 제한된다. 따라서, 참조프레임은 일정하게 결정된다. 따라서, 후방예측의 참조프레임(BWref)은 헤더정보로서 부호화되지 않게 된다.
B픽쳐의 전방예측은 도 9의 실시예에서 최대로 선택될 수 있는 2개의 프레임에 의해 수행될 수 있다. 예컨대, 픽쳐(Bb4)의 부호화 및 복호화에 있어서, 시간적으로 픽쳐(Bb4) 직전의 프레임이면서 예측그룹 a에 속하는 픽져(Pa3)와, 픽쳐(Bb4) 전의 2개의 프레임에서의 프레임이면서 예측그룹 b에 속하는 픽쳐(Bb2)가 참조프레임으로서 이용될 수 있다. 어느 참조프레임이 매크로블럭 마다 선택되는가 또는 예측이 양 참조프레임의 선형합에 의해 수행되는가의 여부를 가리키는 인덱스가 부호화된다. 2종류의 픽쳐(Bb4,Pa3)가 픽쳐(Bb5)와 마찬가지로 참조프레임으로서 이용된다.
참조프레임의 인덱스에 관해서, 전방예측을 위한 참조프레임에 대해 시간적으로 더 가까워지도록 순차적으로 동화상 프레임 마다 참조프레임에 대해 번호를 부가한다. 도 9의 실시예에 있어서, P픽쳐의 부호화 및 복호화에서, 참조메모리에 저장된 I 또는 P픽쳐는 시간 순서로 번호를 붙여 배열된다. B픽쳐의 부호화 및 복호화에 있어서, 후방예측을 위한 참조프레임으로서 이용되는 그 직전에 부호화 또는 복호화된 I 또는 P픽쳐를 제외하고, 참조메모리에 저장된 모든 I 또는 P픽쳐는 시간 순서로 번호가 붙여져 배열된다. 도 9에서 Idx0 및 Idx1은 상기 규칙에 따라 발생된 인덱스를 가리킨다.
도 10은 도 9의 변형을 나타낸 것으로, 예측그룹 b, 즉 B픽쳐에 관해서도 또한 참조프레임의 수를 2로 설정하고, 프레임 메모리의 총수를 5로 한 경우를 나타내고 있다. FM1∼FM5는 물리적 참조프레임을 나타낸다. DEC는 복호화에 있어서 픽쳐를 잠정적으로 저장하는 버퍼를 나타낸다. REFa1 및 REFa2는 예측그룹 a, 즉 I 및 P픽쳐에 대한 참조메모리를 나타낸다. REFb1 및 REFb2는 예측그룹 b, 즉 각각 B픽쳐를 위한 논리적 참조메모리를 나타낸다. Idxo, Idx1, Idx2는 전방예측에 분배된 참조프레임 인덱스를 가리킨다. BWref는 B픽쳐의 후방예측을 위한 참조프레임을 나타낸다. 전방예측에서의 참조프레임 인덱스는 도 9의 실시예와 마찬가지로 매크로블럭 마다 헤더정보로서 부호화된다.
도 6 내지 도 10의 실시예에 있어서, 각 계층의 예측그룹의 참조메모리의 수는 고정된다. 그러나, 각 계층의 예측그룹의 참조프레임의 수는 참조프레임의 일정한 총 수의 하에서 동적으로 변화될 수 있다. 예컨대, 도 6의 구성에 있어서, 예측그룹 b의 참조프레임의 수는 0으로 설정되고, 동시에 예측그룹 a의 참조메모리의 수는 2로 설정된다. 이러한 변화는 부호화측으로부터 복호화측으로 부호화된 데이터의 헤더정보에 따라 통지될 수 있다. 그 경우, 예측그룹 a의 2개의 과거의 프레임으로부터의 예측이 부호화측에서 채택되어질 수 있고, 예측그룹 b의 과거의 프레임으로부터의 예측이 금지되어, 예측그룹 a의 2개의 과거의 프레임으로부터의예측이 수행되도록 움직임 보상 예측의 선택이 제어된다.
상기한 설명에 있어서, 복호화가 프레임 단위로 수행된다. 복호화가 블럭(매크로블럭) 단위로 수행된다. 즉, 부호화된 데이터는 부호화된 동화상 블럭 데이터와, 동화상 블럭 데이터가 분배된 제1 및 제2예측그룹을 가리키는 제1부호화 식별정보 및, 움직임 보상 예측 프레임간 부호화에서 이용되는 참조블럭 데이터를 가리키는 제2부호화 식별정보를 포함한다. 제1부호화 식별정보 및 제2부호화 식별정보는 제1복호화 식별정보 및 제2복호화 식별정보를 발생시키도록 복호화된다. 동화상 블럭 데이터는 제1예측그룹에 속하는 참조블럭 데이터와, 제1복호화 식별정보와 제2복호화 식별정보에 따라 제1 및 제2예측그룹중 적어도 하나에 속하는 참조블럭 데이터를 이용해서 복호화된다.
도 11은 예측 구성 및, 참보메모리의 할당이 상기한 도 6의 실시예로 변화된 경우 프레임 메모리를 이용하는 방법을 나타낸 것이다.
상기한 방법은 참조프레임의 제한된 수에서 입력 동화상 이미지를 위해 적절한 최적 예측 구성을 동적으로 설정할 수 있게 된다. 또한, 그 방법은 개선된 예측 효율에 따라 고효율 부호화를 가능하게 한다.
도 12 및 도13은 각각 3개의 계층 이상의 예측그룹을 이용하는 동화상 부호화장치 및 동화상 복호화장치를 나타낸 것이다. 이에 따르면, 참조프레임 세트(118 또는 218)는 최하위 계층에 속한다. 상위 계층에 속하는 2개 이상의 참조프레임 세트(119)와 2개 이상의 스위치(117,120)가 동화상 부호화장치에 제공된다. 상위 계층에 속하는 2개 이상의 참조프레임 세트(219)와 2개 이상의스위치(217,220)가 동화상 복호화장치에 제공된다. 스위치(117,120) 또는 스위치(217,220)는 계층의 수에 따라 닫혀지고, 참조프레임의 수가 증가한다. 즉, 스위치(117,120) 또는 스위치(217,220)는 계층의 증가에 따라 순차적으로 닫혀진다. 특히, 다수의 예측그룹에 분배된 다수의 동화상 프레임은 최하위 계층의 예측그룹으로부터 최하위 계층 보다 상위 계층의 적어도 하나의 예측그룹으로 순차적으로 층이 진다. 동화상 프레임은 최하위 계층의 예측그룹에 속하는 참조프레임과 동화상 프레임이 분배된 예측그룹 보다 하위의 계층의 예측그룹을 이용해서 움직임 보상 예측 프레임간 부호화를 수행한다.
한편, 본 발명은 상기한 실시예로 한정되는 것은 아니고, 본 발명의 요지를 벗어나지 않는 범위내에서 다양하게 변형하여 실시할 수 있음은 물론이다.
이상 설명한 바와 같이 본 발명에 의하면, 프레임간 예측구성은 층이진 예측 구성으로서 이루어진다. 상위 계층의 예측그룹의 참조프레임으로부터의 프레임간 예측은 금지된다. 더욱이, 각 계층의 예측그룹의 참조프레임의 수는 참조프레임의 일정한 총 수 하에서 동적으로 변화되어, 부호화 효율이 개선되어 패스트-포워드 재생이 높은 자유도에 따라 실현될 수 있게 된다.
계층이 증가할 때, 부드러운 재생이 패스트-포워드 재생에서 수행될 수 있게 된다. 또한, 프레임의 주기, 예컨대 프레임 주파수가 증가하므로, 픽쳐 품질이 패스트-포워드 재생에서 개선된다.
상기한 다중-계층 동화상 이미지가 가정용 텔레비전에 의해 재생될 경우, 모든 계층이 재생될 수 있다. 다중-계층 동화상 이미지가 셀룰러폰에 의해 재생될 경우, 다중-계층 동화상 이미지가 하드웨어의 부담을 가볍게 하기 위해 적절히 스킵되어 재생될 수 있다. 즉, 계층이 수신측 하드웨어에 따라 선택되어질 수 있다.

Claims (12)

  1. 동화상 블럭을 적어도 제1 및 제2예측그룹을 포함하는 다수의 예측그룹중 하나에 분배하고;
    동화상 블럭이 분배된 예측그룹중 하나에 따라 적어도 하나가 복호화된 참조블럭을 이용해서, 움직임 보상 예측 부호화 모드에 따라 동화상 블럭을 부호화하는 것에 의해 이루어지며;
    제1예측그룹이 제1예측그룹에 속하는 참조블럭을 이용하는 예측에 의해 얻어지고, 제2예측그룹이 제2예측그룹과 제1예측그룹중 적어도 하나에 속하는 참조블럭을 이용하는 예측에 의해 얻어지는 것을 특징으로 하는 참조블럭을 이용한 동화상 블럭 부호화방법.
  2. 제1항에 있어서, 사이드 정보를 발생시키도록 움직임 보상 예측 프레임간 부호화에 이용되는 제1예측그룹을 가리키는 제1식별정보와 참조프레임을 가리키는 제2식별정보를 부호화하고, 움직임 보상 예측 프레임간 부호화 구성에 따라 부호화된 동화상 블럭과 함께 사이드 정보를 출력하도록 된 것을 특징으로 하는 동화상 부호화방법.
  3. 제1항 또는 제2항에 있어서, 각 예측그룹이 참조블럭의 대응하는 수를 이용해서 예측되어지는 것을 특징으로 하는 동화상 부호화방법.
  4. 제2항에 있어서, 일정한 값으로 예측그룹에 분배된 참조블럭의 합을 설정하고, 각 예측그룹에 분배된 참조블럭의 수를 가리키는 참조블럭수 정보를 부호화하며, 사이드 정보에 부호화된 참조블럭수 정보를 포함시키는 것을 특징으로 하는 동화상 부호화방법.
  5. 제1항, 제2항, 제4항중 어느 한항에 있어서, 동화상 블럭의 분배가 프레임간 부호화 모드와, 전방예측 프레임간 부호화 모드 및, 양방향 예측 프레임간 부호화 모드에 의한 동화상 블럭의 부호화를 포함하고, 동화상 블럭의 분배가 프레임간 부호화 모드 및 전방예측 프레임간 부호화 모드에 의해 부호화된 제1동화상 블럭과, 제1예측그룹에 대한 제1동화상 블럭에 대응하는 참조블럭의 분배를 포함하며, 양방향 예측 프레임간 부호화 모드와 제2동화상 블럭에 대응하는 참조블럭에 의해 부호화된 제2동화상 블럭을 적어도 하나의 제1 및 제2예측그룹에 분배하도록 된 것을 특징으로 하는 동화상 부호화방법.
  6. 동화상 블럭을 다수의 예측그룹중 하나에 분배하는 분배 유니트와;
    동화상 블럭이 분배되는 예측그룹중 하나에 따른 참조블럭을 이용해서 움직임 보상 예측 프레임간 부호화 모드에 따라 동화상 블럭을 부호화하는 부호화 유니트를 구비하여 구성되고, 참조블럭중 하나가 복호화된 블럭이고, 부호화 유니트가 제1예측그룹에 속하는 참조블럭을 이용하는 제1예측그룹과, 제2예측그룹과 제1예측그룹중 적어도 하나에 속하는 참조블럭을 이용하는 제2예측그룹을 발생시키는 예측기를 포함하는 것을 특징으로 하는 참조블럭을 이용해서 동화상 블럭을 부호화하는 동화상 부호화장치.
  7. 제6항에 있어서, 부호화 유니트가 사이드 정보를 발생시키도록 동화상 블럭이 분배된 예측그룹을 가리키는 제1식별정보와, 움직임 보상 예측 프레임간 부호화에 이용되는 참조블럭을 가리키는 제2식별정보를 부호화하고, 움직임 보상 예측 프레임간 부호화에 의해 얻어진 부호화된 동화상 블럭과 함께 사이드 정보를 출력하는 부호화기를 포함하는 것을 특징으로 하는 동화상 부호화장치.
  8. 제6항 또는 제7항에 있어서, 각 예측그룹이 참조블럭의 대응하는 수를 이용하는 예측에 의해 얻어지는 것을 특징으로 하는 동화상 부호화장치.
  9. 제7항에 있어서, 설정수단이 일정한 값으로 예측그룹에 분배된 참조블럭의 합을 설정하기 위해 제공되고, 부호화기가 각 예측그룹에 분배된 참조블럭의 수를 가리키는 참조블럭수 정보를 부호화하고, 부호화된 참조블럭수 정보를 포함하는 사이드 정보를 출력하는 것을 특징으로 하는 동화상 부호화장치.
  10. 제6항 또는 제7항 또는 제9항중 어느 한항에 있어서, 부호화수단이 프레임간 부호화 모드와 전방예측 프레임간 부호화모드 및 양방향 예측 프레임간 부호화 모드의 각각에 의해 동화상 블럭을 부호화하는 부호화기를 포함하고, 분배수단이 프레임간 부호화 모드와 전방예측 프레임간 부호화 모드에 의해 부호화된 제1동화상 블럭과 제1동화상 블럭에 대응하는 참조블럭을 제1예측그룹에 분배하고, 양방향 예측 프레임간 부호화 모드에 의해 부호화된 제1동화상 블럭과 제2동화상 블럭에 대응하는 참조블럭을 제1 및 제2예측그룹중 적어도 하나에 분배하도록 된 것을 특징으로 하는 동화상 부호화장치.
  11. 움직임 보상 예측 프레임간 부호화에 의해 얻어진 부호화된 데이터를 복호화하기 위한 방법에 있어서,
    부호화된 동화상 블럭 데이터와, 동화상 블럭 데이터가 분배된 제1 및 제2예측그룹을 가리키는 제1부호화 식별정보 및, 움직임 보상 예측 프레임간 부호화에서 이용되는 참조블럭 데이터를 가리키는 제2부호화 식별정보를 포함하는 부호화 데이터를 수신하고;
    제1복호화 식별정보와 제2복호화 식별정보를 발생시키도록 제1부호화 식별정보와 제1부호화 식별정보를 복호화하며;
    제1예측그룹에 속하는 참조블럭 데이터와, 제1복호화 식별정보와 제2복호화 식별정보에 따라 제1 및 제2예측그룹의 적어도 하나에 속하는 참조블럭 데이터를 이용해서 동화상 블럭 데이터를 복호화하는 것을 특징으로 하는 동화상 복호화방법.
  12. 움직임 보상 예측 프레임간 부호화에 의해 얻어진 부호화된 데이터를 복호화하는 동화상 복호화장치에 있어서,
    부호화된 동화상 블럭 데이터와, 동화상 블럭 데이터가 분배된 제1 및 제2예측그룹을 가리키는 제1부호화 식별정보 및, 움직임 보상 예측 프레임간 부호화에서 이용되는 참조블럭 데이터를 가리키는 제2부호화 식별정보를 포함하는 부호화 데이터를 수신하는 수신 유니트와;
    제1복호화 식별정보와 제2복호화 식별정보를 발생시키도록 제1부호화 식별정보와 제1부호화 식별정보를 복호화하는 제1복호화 유니트 및;
    제1예측그룹에 속하는 참조블럭 데이터와, 제1복호화 식별정보와 제2복호화 식별정보에 따라 제1 및 제2예측그룹의 적어도 하나에 속하는 참조블럭 데이터를 이용해서 동화상 블럭 데이터를 복호화하는 제2복호화 유니트를 구비하여 구성된 것을 특징으로 하는 동화상 복호화장치.
KR20030019562A 2002-03-29 2003-03-28 동화상 부호화방법 및 장치와, 동화상 복호화방법 및 장치 KR100557445B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002097892A JP2003299103A (ja) 2002-03-29 2002-03-29 動画像符号化方法と装置及び動画像復号化方法と装置
JPJP-P-2002-00097892 2002-03-29

Publications (2)

Publication Number Publication Date
KR20030078772A true KR20030078772A (ko) 2003-10-08
KR100557445B1 KR100557445B1 (ko) 2006-03-07

Family

ID=27800583

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20030019562A KR100557445B1 (ko) 2002-03-29 2003-03-28 동화상 부호화방법 및 장치와, 동화상 복호화방법 및 장치

Country Status (5)

Country Link
US (3) US7298913B2 (ko)
EP (1) EP1349396A3 (ko)
JP (1) JP2003299103A (ko)
KR (1) KR100557445B1 (ko)
CN (2) CN1450813A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100883594B1 (ko) * 2005-10-05 2009-02-13 엘지전자 주식회사 비디오 신호의 디코딩 방법
WO2011053022A2 (en) * 2009-10-28 2011-05-05 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding image with reference to a plurality of frames
KR101042267B1 (ko) * 2009-05-12 2011-06-17 제주대학교 산학협력단 이중 콘센트
US8498337B2 (en) 2005-10-05 2013-07-30 Lg Electronics Inc. Method for decoding and encoding a video signal
KR20170044169A (ko) * 2014-08-20 2017-04-24 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 비디오 구성

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200525902A (en) * 2003-12-25 2005-08-01 Nec Corp Moving image encoding method and apparatus
ES2364755T3 (es) 2004-04-28 2011-09-13 Panasonic Corporation Aparato de generación de trenes de información , procedimiento de generación de trenes de información, aparato de codificación, procedimiento de codificación, medio de grabación y programa para los mismos.
US8467447B2 (en) 2004-05-07 2013-06-18 International Business Machines Corporation Method and apparatus to determine prediction modes to achieve fast video encoding
EP2348720B1 (en) * 2004-07-01 2015-04-01 Mitsubishi Electric Corporation Randomly accessible visual information recording medium and recording method, and reproducing device and reproducing method
KR100694058B1 (ko) 2004-09-30 2007-03-12 삼성전자주식회사 멀티 타임 스캔 방식에 기초한 인트라 모드 인코딩 및디코딩 방법 및 장치
KR100694059B1 (ko) 2004-09-30 2007-03-12 삼성전자주식회사 멀티 타임 스캔 방식에 기초한 인터 모드 인코딩 및디코딩 방법 및 장치
US20060153295A1 (en) * 2005-01-12 2006-07-13 Nokia Corporation Method and system for inter-layer prediction mode coding in scalable video coding
JP2006211274A (ja) * 2005-01-27 2006-08-10 Toshiba Corp 記録媒体、この記録媒体を再生する方法並びにその再生装置及び記録媒体に映像データを記録する記録装置並びにその記録方法
JP4574444B2 (ja) * 2005-05-27 2010-11-04 キヤノン株式会社 画像復号装置及び方法、画像符号化装置及び方法、コンピュータプログラム及び記憶媒体
US7809057B1 (en) 2005-09-27 2010-10-05 Ambarella, Inc. Methods for intra beating reduction in video compression
JP4534935B2 (ja) 2005-10-04 2010-09-01 株式会社日立製作所 トランスコーダ、記録装置及びトランスコード方法
US8233535B2 (en) * 2005-11-18 2012-07-31 Apple Inc. Region-based processing of predicted pixels
EP1944978A1 (en) * 2007-01-12 2008-07-16 Koninklijke Philips Electronics N.V. Method and system for encoding a video signal. encoded video signal, method and system for decoding a video signal
WO2008104127A1 (en) * 2007-02-27 2008-09-04 Huawei Technologies Co., Ltd. Method for realizing random access in compressed code stream using multi-reference images and decoder
CN101257624B (zh) * 2007-02-27 2011-08-24 华为技术有限公司 实现随机访问的方法及解码器
JP4875008B2 (ja) 2007-03-07 2012-02-15 パナソニック株式会社 動画像符号化方法、動画像復号化方法、動画像符号化装置及び動画像復号化装置
CN101415122B (zh) * 2007-10-15 2011-11-16 华为技术有限公司 一种帧间预测编解码方法及装置
JPWO2009110227A1 (ja) * 2008-03-03 2011-07-14 パナソニック株式会社 記録装置、再生装置および方法
US8363722B2 (en) * 2009-03-31 2013-01-29 Sony Corporation Method and apparatus for hierarchical bi-directional intra-prediction in a video encoder
JP5020391B2 (ja) * 2010-02-22 2012-09-05 パナソニック株式会社 復号化装置及び復号化方法
US9400695B2 (en) * 2010-02-26 2016-07-26 Microsoft Technology Licensing, Llc Low latency rendering of objects
US10171813B2 (en) 2011-02-24 2019-01-01 Qualcomm Incorporated Hierarchy of motion prediction video blocks
SE1850140A2 (sv) * 2011-09-23 2018-12-11 Kt Corp Förfarande för att utse ett kandidatblock för fusion samt en anordning för tillämpning av detta förfarande
JP5698644B2 (ja) * 2011-10-18 2015-04-08 株式会社Ｎｔｔドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
KR20150075042A (ko) * 2013-12-24 2015-07-02 주식회사 케이티 멀티 레이어 비디오 신호 인코딩/디코딩 방법 및 장치
US10602161B2 (en) 2014-03-24 2020-03-24 Kt Corporation Multilayer video signal encoding/decoding method and device
GB201513610D0 (en) * 2015-07-31 2015-09-16 Forbidden Technologies Plc Compressor
CN111542858B (zh) * 2018-01-04 2023-09-08 株式会社索思未来 动态图像解析装置、系统、方法、以及存储介质
CN111263166B (zh) * 2018-11-30 2022-10-11 华为技术有限公司 一种视频图像预测方法及装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0795589A (ja) 1993-09-20 1995-04-07 Toshiba Corp 動画像符号化装置
US5767911A (en) * 1994-12-20 1998-06-16 Matsushita Electric Industrial Co., Ltd. Object-based digital image predictive coding transfer method and apparatus, and decoding apparatus
DE69619002T2 (de) * 1995-03-10 2002-11-21 Toshiba Kawasaki Kk Bildkodierungs-/-dekodierungsvorrichtung
US5883678A (en) * 1995-09-29 1999-03-16 Kabushiki Kaisha Toshiba Video coding and video decoding apparatus for reducing an alpha-map signal at a controlled reduction ratio
US6031575A (en) 1996-03-22 2000-02-29 Sony Corporation Method and apparatus for encoding an image signal, method and apparatus for decoding an image signal, and recording medium
JP3263807B2 (ja) 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
US6037987A (en) * 1997-12-31 2000-03-14 Sarnoff Corporation Apparatus and method for selecting a rate and distortion based coding mode for a coding system
JP2000032446A (ja) 1998-07-14 2000-01-28 Brother Ind Ltd 動画データ圧縮装置及び記憶媒体
GB2364842A (en) 2000-07-11 2002-02-06 Motorola Inc Method and system for improving video quality

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100883594B1 (ko) * 2005-10-05 2009-02-13 엘지전자 주식회사 비디오 신호의 디코딩 방법
US7773675B2 (en) 2005-10-05 2010-08-10 Lg Electronics Inc. Method for decoding a video signal using a quality base reference picture
US7869501B2 (en) 2005-10-05 2011-01-11 Lg Electronics Inc. Method for decoding a video signal to mark a picture as a reference picture
US8422551B2 (en) 2005-10-05 2013-04-16 Lg Electronics Inc. Method and apparatus for managing a reference picture
US8498337B2 (en) 2005-10-05 2013-07-30 Lg Electronics Inc. Method for decoding and encoding a video signal
KR101042267B1 (ko) * 2009-05-12 2011-06-17 제주대학교 산학협력단 이중 콘센트
WO2011053022A2 (en) * 2009-10-28 2011-05-05 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding image with reference to a plurality of frames
WO2011053022A3 (en) * 2009-10-28 2011-08-25 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding image with reference to a plurality of frames
US9055300B2 (en) 2009-10-28 2015-06-09 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding image with reference to a plurality of frames
KR20170044169A (ko) * 2014-08-20 2017-04-24 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 비디오 구성
US10425652B2 (en) 2014-08-20 2019-09-24 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Video composition

Also Published As

Publication number Publication date
JP2003299103A (ja) 2003-10-17
US20070237230A1 (en) 2007-10-11
US20040017951A1 (en) 2004-01-29
KR100557445B1 (ko) 2006-03-07
EP1349396A2 (en) 2003-10-01
US7298913B2 (en) 2007-11-20
CN1450813A (zh) 2003-10-22
EP1349396A3 (en) 2005-07-13
US20070140348A1 (en) 2007-06-21
CN1893652A (zh) 2007-01-10

Similar Documents

Publication Publication Date Title
KR100557445B1 (ko) 동화상 부호화방법 및 장치와, 동화상 복호화방법 및 장치
TW589898B (en) Methods and systems for video streaming with VCR functionality
JP4769717B2 (ja) 画像復号化方法
US7212576B2 (en) Picture encoding method and apparatus and picture decoding method and apparatus
WO2009096366A1 (ja) 動画像符号化・復号システム、並びにそれに用いる動画像符号化装置および動画像復号装置
US5739862A (en) Reverse playback of MPEG video
JPH06261303A (ja) 画像信号符号化方法、復号化方法および画像信号記録媒体
EP1879388A1 (en) Video information recording device, video information recording method, video information recording program, and recording medium containing the video information recording program
KR0185932B1 (ko) 고속재생을 위한 비디오데이타 복호방법 및 그 장치
US8155186B2 (en) Bit stream recording medium, video encoder, and video decoder
Tian et al. Sub-sequence video coding for improved temporal scalability
JP2000312363A (ja) 動画像符号化方式の変換方法及びその装置
KR100543453B1 (ko) 디지털 비디오 스트림의 역재생시 비트율을 제어하기 위한 장치 및 그 방법
JP2008042660A (ja) 映像信号再符号化装置及び映像信号再符号化方法
JP2006311589A (ja) 動画像復号化方法及び装置
JP4581192B2 (ja) 画像情報符号化装置及び方法
JP6874844B2 (ja) 動画像符号化装置、動画像符号化方法、及び、動画像符号化プログラム
JP2002218470A (ja) 画像符号化データのレート変換方法、及び画像符号化レート変換装置
KR100256648B1 (ko) 영상 부호화 시스템의 압축 정보 포맷
Ip et al. Adopting sp/si-frames in dual-bitstream video streaming with vcr support
JP2000115777A (ja) 画像処理方法および画像処理装置
JP3496926B2 (ja) 画像データ復号化方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20090123

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee