KR100746317B1 - 동화상 복호화방법 및 장치 - Google Patents

동화상 복호화방법 및 장치 Download PDF

Info

Publication number
KR100746317B1
KR100746317B1 KR1020067020150A KR20067020150A KR100746317B1 KR 100746317 B1 KR100746317 B1 KR 100746317B1 KR 1020067020150 A KR1020067020150 A KR 1020067020150A KR 20067020150 A KR20067020150 A KR 20067020150A KR 100746317 B1 KR100746317 B1 KR 100746317B1
Authority
KR
South Korea
Prior art keywords
prediction
frame
macroblock
motion vector
encoded
Prior art date
Application number
KR1020067020150A
Other languages
English (en)
Other versions
KR20060111733A (ko
Inventor
신이치로 고토
다케시 츄조
요시히로 기쿠치
다케시 나가이
와타루 아사노
Original Assignee
가부시끼가이샤 도시바
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2002341239A external-priority patent/JP2004007379A/ja
Priority claimed from JP2002341238A external-priority patent/JP2003284075A/ja
Application filed by 가부시끼가이샤 도시바 filed Critical 가부시끼가이샤 도시바
Publication of KR20060111733A publication Critical patent/KR20060111733A/ko
Application granted granted Critical
Publication of KR100746317B1 publication Critical patent/KR100746317B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/66—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission
    • H04B1/662—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission for reducing bandwidth of signals; for improving efficiency of transmission using a time/frequency relationship, e.g. time compression or expansion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

동화상의 복호화에 있어서, 복수의 복호화된 동화상신호를 참조 프레임으로 하고, 매크로블록마다 동작벡터 데이터 및 예측모드정보에 따라, (a) 복수의 참조 프레임 중 특정의 참조 프레임으로부터 예측 매크로블록을 생성할 것인가, (b) 복수의 참조 프레임으로부터 복수의 참조 매크로블록을 생성하여 복수의 참조 프레임의 평균치를 예측 매크로블록으로서 생성할 것인가, 혹은 (c) 선형 외삽 예측 또는 선형 내삽 예측에 의해 예측 매크로블록을 생성할 것인가를 적응적으로 전환하여 복호화를 행한다.

Description

동화상 복호화방법 및 장치 {VIDEO DECODING METHOD AND APPARATUS}
도 1은 본 발명의 제1 실시예에 따른 동화상 부호화방법의 블록도,
도 2는 본 발명의 제1 실시예에 따른 동화상 복호화방법의 블록도,
도 3은 본 발명의 제2 실시예에 따른 동화상 부호화 및 복호화방법에서의 프레임간 예측의 관계를 나타낸 도면,
도 4는 본 발명의 제3 실시예에 따른 동화상 부호화 및 복호화방법에서의 프레임간 예측의 관계를 나타낸 도면,
도 5는 본 발명의 제4 실시예에 따른 동화상 부호화 및 복호화방법에서의 프레임간 예측의 관계를 나타낸 도면,
도 6은 본 발명의 제5 실시예에 따른 동작벡터정보의 부호화방법 및 복호화방법을 설명하기 위한 도면,
도 7은 본 발명의 제6 실시예에 따른 동작벡터정보의 부호화방법 및 복호화방법을 설명하기 위한 도면,
도 8은 본 발명의 제7 실시예에 따른 동작벡터정보의 부호화방법 및 복호화방법을 설명하기 위한 도면,
도 9는 본 발명의 제8 실시예에 따른 동화상 부호화방법을 실시하기 위한 동화상 부호화장치의 블록도,
도 10은 본 발명의 제9 실시예에 따른 동화상 부호화방법의 수순을 나타낸 플로우차트,
도 11은 제9 실시예에서의 동화상 부호화 데이터의 화상 헤더 또는 슬라이스 헤더의 데이터 구조의 예를 나타낸 도면,
도 12는 제9 실시예에서의 동화상 부호화 데이터의 매크로블록의 데이터 구조를 나타낸 도면,
도 13은 제9 실시예에 따른 동화상 부호화 데이터 전체의 데이터 구조를 나타낸 도면,
도 14는 제9 실시예에 따른 동화상 복호화방법의 수순을 나타낸 플로우차트,
도 15는 제9 실시예에서의 시간 선형 보간을 설명하는 도면,
도 16은 제9 실시예에서의 시간 선형 보간을 설명하는 도면,
도 17은 제1 및 제8 실시예에 따른 선형 예측계수 테이블의 예를 나타낸 도면,
도 18은 제1 및 제8 실시예에 따른 선형 예측계수 테이블의 예를 나타낸 도면,
도 19는 제1 및 제8 실시예에 따른 참조 프레임을 나타내는 테이블의 예를 나타낸 도면,
도 20은 본 발명의 제10 실시예에 따른 동화상 부호화장치의 블록도,
도 21은 본 발명의 제10 실시예에 따른 동화상 복호화장치의 블록도,
도 22는 본 발명의 실시예에 따른 선형 예측계수를 나타내는 신택스(syntax: 구문)의 예를 나타낸 도면,
도 23은 본 발명의 실시예에 따른 참조 프레임을 나타내는 테이블의 예를 나타낸 도면,
도 24는 본 발명의 실시예에 따른 동작벡터정보의 예측 부호화방법을 설명하는 도면,
도 25는 본 발명의 실시예에 따른 동작벡터정보의 예측 부호화방법을 설명하는 도면,
도 26은 본 발명의 제4 실시예에 따른 동화상 부호화장치의 블록도,
도 27은 본 발명의 실시예에 따른 선형예측계수의 결정방법의 예를 설명하는 도면,
도 28은 본 발명의 실시예에 따른 선형예측계수의 결정방법의 예를 설명하는 도면,
도 29는 본 발명의 실시예에 따른 선형예측계수의 결정방법의 예를 설명하는 도면,
도 30은 본 발명의 실시예에 따른 선형예측계수의 결정방법의 예를 설명하는 도면,
도 31은 본 발명의 실시예에 따른 선형예측계수의 결정방법의 예를 설명하는 도면,
도 32는 본 발명의 실시예에 따른 동작벡터 탐색방법을 설명하는 도면,
도 33은 본 발명의 실시예에 따른 동작벡터 탐색방법을 설명하는 도면,
도 34는 본 발명의 실시예에 따른 동작벡터 부호화방법을 설명하는 도면,
도 35는 본 발명의 실시예에 따른 동작벡터 부호화방법을 설명하는 도면,
도 36은 본 발명의 실시예에 따른 프레임간 예측의 관계를 나타낸 도면,
도 37은 본 발명의 실시예에 따른 동작벡터 부호화방법을 설명하는 도면,
도 38은 본 발명의 실시예에 따른 동작벡터 부호화방법을 설명하는 도면,
도 39는 본 발명의 실시예에 따른 동작벡터 부호화방법을 설명하는 도면,
도 40은 본 발명의 실시예에 따른 동화상 부호화의 수순을 나타낸 플로우차트,
도 41은 본 발명의 실시예에 따른 가중예측을 설명하는 도면,
도 42는 본 발명의 실시예에 따른 화상헤더 또는 슬라이스 헤더의 데이터 구조를 나타낸 도면,
도 43은 본 발명의 실시예에 따른 가중예측의 계수 테이블의 데이터 구조의 제1 예를 나타낸 도면,
도 44는 본 발명의 실시예에 따른 가중예측의 계수 테이블의 데이터 구조의 제2 예를 나타낸 도면,
도 45는 본 발명의 실시예에 따른 동화상 부호화 데이터의 데이터 구조를 나타낸 도면,
도 46은 본 발명의 실시예에 따른 동화상 복호화의 수순을 나타낸 플로우차트이다.
본 발명은 복수의 참조 프레임을 이용하는 동작보상 예측 프레임간 복호화방법 및 장치에 관한 것이다.
동화상의 동작보상 예측 프레임간 부호화방법으로서, MPEG-1(ISO/IEC11172-2), MPEG-2(ISO/IEC13818-2), MPEG-4(ISO/IEC14496-2) 등이 널리 실용화되어 있다. 이들 부호화방식에서는, 프레임내 부호화 화상(I화상), 전방 예측 프레임간 부호화 화상(P화상) 및 양방향 예측 프레임간 부호화 화상(B화상)의 조합에 의해 부호화가 행해진다.
P화상은 직전의 P 또는 I화상을 참조화상으로 하여 부호화된다. B화상은 직전 및 직후의 P 또는 I화상을 참조화상으로 하여 부호화된다. MPEG에서는, 하나의 영상 프레임 혹은 복수의 영상 프레임으로부터 매크로블록마다 선택적으로 예측화상을 생성하는 것이 가능하다. P화상의 경우, 통상은 하나의 참조 프레임으로부터 매크로블록 단위로 예측화상이 생성된다. B화상의 경우, 전방 혹은 후방의 참조화상의 어느 것인가 하나로부터 예측화상을 생성하는 방법과, 전방 혹은 후방의 참조화상으로부터 각각 참조 매크로블록을 잘라 내고, 그 평균치로부터 예측화상을 생성하는 방법이 있다. 이들 예측모드의 정보는 매크로블록마다 부호화 데이터에 매립된다.
그러나, 어느 예측부호화방법도, 매크로블록의 사이즈 혹은 그 보다도 큰 영역에서 동일한 영상이 프레임 사이에서 시간적으로 평행이동한 경우에 예측이 맞는 방법이다. 이 때문에, 시간적인 영상의 확대/축소나 회전, 혹은 페이드 인/페이드 아웃(fade-in and fade-out)과 같은 신호 진폭의 시간변동에 대해서는, 상술한 예측부호화방법에서는 반드시 양호한 예측효율이 얻어지는 것으로는 한정되지 않는다. 특히, 고정 비트속도에서의 부호화에서는 나쁜 예측효율의 영상이 부호화장치에 입력되면, 대폭적인 화질열화를 초래하는 경우가 있다. 또, 가변 비트속도의 부호화에서는, 화질열화를 억제하기 위해, 나쁜 예측효율의 영상에 많은 부호량이 할당되어 총 부호량이 증가한다.
한편, 시간적인 영상의 확대, 축소나 회전, 혹은 페이드 인, 페이드 아웃 등은 동화상신호의 아핀(affine)변환으로 근사시킬 수 있기 때문에, 아핀변환을 이용한 예측을 행하면, 이들 영상에 대한 예측효율은 대폭적으로 향상된다. 그러나, 아핀변환의 파라미터를 추정하기 위해서는, 부호화 시에 방대한 파라미터 추정연산이 필요하게 된다.
구체적으로는, 복수의 변환 파라미터로 참조화상을 변환하고, 예측잔차(豫測殘差)가 최소로 되는 파라미터를 결정할 필요가 있어 변환연산의 연산량이 방대해진다. 그 결과, 부호화의 연산량 혹은 하드웨어 규모 등의 비용이 방대해져 버린다. 또, 잔차신호뿐만 아니라 변환 파라미터 자체를 부호화할 필요가 있어 부호화 데이터의 오버헤드(overhead)가 방대해진다. 더욱이, 복호화 시에는 역아핀변환이 필요하게 되어 복호화의 연산량 혹은 하드웨어 규모 등의 비용도 방대해진다.
상술한 바와 같이, 종래의 MPEG 등의 동화상 부호화방법에서는, 평행이동 이 외의 동화상의 시간 변화에 대해 충분한 예측효율이 얻어지지 않는다. 또, 아핀변환을 이용한 동화상 부호화 및 복호화방법에서는, 예측효율 자체는 개선되지만, 부호화 데이터의 오버헤드의 증가나 부호화 및 복호화 비용의 대폭적인 증가가 생긴다.
본 발명은, 특히 종래의 MPEG 등의 동화상 부호화방법이 만족스럽지 못한 페이드 화상에 대해, 연산량이나 부호화 데이터의 오버헤드(overhead)가 적고, 또한 예측효율을 대폭 향상시키는 것이 가능한 동화상 복호화방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 제1 국면(局面)은, 매크로블록마다 복수의 참조 프레임을 참조하여 부호화 대상 프레임을 동작보상 예측 프레임간 부호화하는 동화상 부호화방법으로, 상기 복수의 참조 프레임으로부터 복수의 참조 매크로블록을 생성하고, 상기 복수의 참조 매크로블록의 하나, 상기 복수의 참조 매크로블록의 평균치, 혹은 상기 복수의 참조 매크로블록을 이용하는 선형 외삽 예측 또는 선형 내삽 예측에 의해 얻어지는 매크로블록의 어느 하나를 예측 매크로블록으로서 선택하고, 상기 선택된 예측 매크로블록과 부호화 대상 매크로블록의 예측오차신호, 예측모드정보 및 동작벡터를 부호화하는 동화상 부호화방법을 제공한다.
본 발명의 제2 국면은, 매크로블록마다 복수의 참조 프레임을 참조하여 동작보상 예측 프레임간 부호화 데이터를 복호하는 동화상 복호화방법으로, 부호화된 동작벡터 데이터, 예측모드정보 및 예측오차신호를 수신하고, 상기 동작벡터 데이 터 및 상기 예측모드정보에 따라, (a) 상기 복수의 참조 프레임 중 특정의 하나의 참조 프레임으로부터 예측 매크로블록을 생성할 것인가, (b) 상기 복수의 참조 프레임으로부터 복수의 참조 매크로블록을 생성하여 상기 복수의 참조 매크로블록의 평균치를 예측 매크로블록으로서 생성할 것인가, 혹은 (c) 선형 외삽 예측 또는 선형 내삽 예측에 의해 예측 매크로블록을 생성할 것인가의 어느 하나를 선택하며, 상기 생성된 예측 매크로블록과 상기 예측오차신호를 가산하여 복호화 프레임을 생성하는 동화상 복호화방법을 제공한다.
종래의 MPEG 등의 동화상 부호화방식은, 복수의 참조 프레임으로부터 예측 매크로블록 화상을 생성하기 위해, 각 참조 프레임으로부터 참조 매크로블록을 잘라 내고, 그 매크로블록의 신호의 평균치를 이용하고 있었다. 이 종래의 동화상 부호화방식에서는, 페이드 등으로 영상신호의 진폭이 시간변동하는 경우, 예측효율이 저하된다. 그러나, 본 발명의 제1 혹은 제2 국면의 동화상 부호화방식에 의하면, 복수의 프레임으로부터의 선형 예측에 기초하여 외삽 혹은 내삽하는 형태로 예측화상을 생성함으로써, 영상신호의 진폭이 단조롭게 시간변동하는 경우, 예측효율을 대폭적으로 개선하는 것이 가능하게 되어 고화질로 고능률의 부호화가 가능하게 된다.
프레임간 예측 부호화에서는, 부호화 측에서는 이미 부호화된 화상을 참조 프레임으로 하고, 복호화 측에서는 이미 복호화된 화상을 참조 프레임으로서 이용하는 것이 일반적이다. 따라서, 참조 프레임에서의 부호화 노이즈의 영향이 예측효율을 저하시키는 한 원인으로 된다. 복수의 참조 프레임으로부터 잘라 낸 참조 매크로블록의 평균화는 노이즈 제거효과를 나타내고, 부호화 효율의 향상에 기여한다. 이것은, 예측부호화에서의 루프필터로서 알려져 있는 기술과 등가의 작용이다.
본 발명의 제1 혹은 제2 국면에 의하면, 높은 루프필터 효과를 갖는 복수의 참조 프레임의 평균화 처리, 혹은 페이드 화상 등에 효과가 있는 선형 내삽 혹은 선형 내삽의 최적의 예측모드를 입력화상에 따라 선택하는 것이 가능하게 되어 임의의 입력화상에 대해 부호화 효율을 향상시키는 것이 가능하게 된다.
본 발명의 제3 국면은, 매크로블록마다 복수의 동화상 프레임을 참조하는 동작보상 예측 프레임간 부호화에 있어서, 복수의 참조 프레임이 부호화 대상 프레임의 직전에 부호화된 2프레임이고, 상기 복수의 참조 매크로블록에 따른 선형 외삽 예측에 있어서, 직전의 참조 프레임으로부터 생성한 참조 매크로블록신호의 진폭을 2배로 한 신호로부터, 더욱이 그 1프레임 전의 참조 프레임으로부터 생성한 참조 매크로블록신호를 뺌으로써, 상기 예측 매크로블록을 생성하는 동화상 부호화방법을 제공한다.
본 발명의 제4 국면은, 매크로블록마다 복수의 동화상 프레임을 참조하는 동작보상 예측 프레임간 부호화 데이터의 부호화에 있어서, 상기 복수의 참조 프레임이 부호화 대상 프레임의 직전에 복호화된 2프레임이고, 상기 복수의 참조 매크로블록에 따른 선형 외삽 예측에 있어서, 직전의 참조 프레임으로부터 생성한 참조 매크로블록신호의 진폭을 2배로 한 신호로부터, 더욱이 그 1프레임 전의 참조 프레임으로부터 생성한 참조 매크로블록신호를 뺌으로써, 상기 예측 매크로블록을 생성 하는 동화상 부호화방법을 제공한다.
전술한 바와 같이, 종래의 MPEG 등의 동화상 부호화방식에서는, 페이드 등으로 영상신호의 진폭이 시간과 더불어 변동하는 경우에 예측효율이 나쁘다. 예컨대, V(t)를 시각 t의 영상 프레임으로 하고, V'(t)를 페이드 처리된 시각 t의 영상 프레임으로 하면, 페이드 인 및 페이드 아웃은 각각 수식 (1) 및 수식 (2)로 실현할 수 있다. 수식 (1)에서는, (a)가 페이드 기간을 나타내고 있고, 시각 t=0으로부터 페이드 인이 개시되고, 시각 T에서 페이드 인이 종료된다. 또, 수식 (2)에서는, (b)가 페이드 기간을 나타내고 있고, 시각 T0로부터 페이드 아웃 처리가 개시되고, 시각 T0+T에서 페이드 아웃이 종료된다.
Figure 112006070828511-pat00001
페이드 처리된 시각 t의 프레임 Y'(t)가 부호화 대상 프레임이고, 시각 t-1 및 시각 t-2의 동 페이드 처리된 2프레임 Y'(t-1), Y'(t-2)를 참조 프레임으로 가정한다.
먼저, 이 2프레임의 평균치로부터 수식 (3)으로 나타낸 바와 같이, 예측화상 P(t)를 생성하는 경우를 생각한다.
P(t) = {Y'(t-1) + Y'(t-2)} / 2 (3)
수식 (1)의 (a) 및 수식 (2)의 (b)의 페이드 기간을 생각하면, 수식 (3)의 예측화상은 각각 수식 (4) 및 수식 (5)로 표시된다.
Figure 112006070828511-pat00002
페이드 전의 원신호 Y(t)의 시간변동(time jitter)이 없는, 즉 Y(t)가 t에 따르지 않고 일정하다고 가정하고, Y(t)=C(일정)라고 하면, 수식 (4) 및 수식 (5)는 각각 수식 (6) 및 수식 (7)로 된다.
Figure 112006070828511-pat00003
한편, 부호화해야 할 신호 Y'(t)는 수식 (8) 및 수식 (9)로 표시된다.
Figure 112006070828511-pat00004
수식 (8) 및 수식 (9)의 Y'(t)로부터, 수식 (6) 및 수식 (7)의 예측화상 P(t)를 뺀 예측오차신호 D(t)는, 각각 수식 (10) 및 수식 (11)로 된다.
Figure 112006070828511-pat00005
본 발명의 제3 및 제4 국면의 동화상 부호화방법에 의하면, 수식 (12)로 표시되는 예측화상 P(t)이 생성된다.
Figure 112006070828511-pat00006
상기와 마찬가지로 Y(t)=C(일정)를 가정하면, 수식 (1)의 페이드 인 및 수식 (2)의 페이드 아웃시의 예측화상은 각각 수식 (13) 및 수식 (14)로 표시된다.
Figure 112006070828511-pat00007
수식 (13) 및 수식 (14)는 수식 (8) 및 수식 (9)로 표시되는 부호화해야 할 화상과 일치하고 있고, 부호화 화상으로부터 예측화상을 뺀 예측오차신호 D(t)는 어느 경우도 0으로 된다. 상술한 바와 같이, 페이드 화상에서는 MPEG 등의 종래의 동작보상에서는 잔차(殘差)신호가 발생해 버리지만, 본 발명의 제3 및 제4 국면에 의하면, 잔차신호가 없어져서 예측효율이 대폭 개선되는 것을 알 수 있다.
수식 (1) 및 수식 (2)의 1/T은 페이드 인 및 페이드 아웃의 시간변화의 속도를 나타내고 있고, 수식 (10) 및 수식 (11)로부터 종래의 동작보상에서는 페이드의 변화속도가 빠를수록 예측잔차가 커져서 부호화 효율이 저하됨을 알 수 있다. 한편, 본 발명의 제3 및 제4 국면의 동화상 부호화방법에 의하면, 페이드의 변화속도에 따르지 않고 높은 예측효율을 얻는 것이 가능하게 된다.
본 발명에서는, 본 발명의 제1 및 제3 국면의 동화상 부호화방법에 더하여, 상기 부호화되는 동작벡터가 상기 복수의 참조 프레임 중 특정의 하나의 참조 프레임에 관한 동작벡터인 것을 제5 국면의 동화상 부호화방법으로 하고 있다.
또, 본 발명의 제2 및 제4 국면의 동화상 부호화방법에 더하여, 상기 수신한 동작벡터 데이터가 상기 복수의 참조 프레임 중 특정의 하나의 참조 프레임에 관한 동작벡터이고, 상기 동작벡터 데이터를 복호화 대상 프레임과 참조 프레임과의 프레임간 거리에 따라 스케일 변환하여 다른 참조 프레임에 대한 동작벡터를 생성하는 것을 제6 국면의 동화상 부호화방법으로 하고 있다.
본 발명의 제1∼제4 국면의 방법에 의해, 복수의 참조화상을 이용하여 페이드 화상 등에 대해 종래보다 높은 예측효율을 얻는 것이 가능하게 된다. 그러나, 각 부호화 매크로블록에 대해 복수의 참조화상에 대한 동작벡터를 별개로 부호화 데이터로 다중화하면, 부호화 오버헤드가 커진다. ITU-T H.263 등의 부호화방식에서는, B화상에 대한 동작벡터를 전송하지 않고 B화상을 넘는 P화상에 대한 동작벡터를 참조화상과 부호화 대상 화상과의 프레임간 거리에 따라 스케일링하여 B화상의 동작벡터로 하는 다이렉트 모드(direct mode)라 하는 부호화 방법이 있다. 이 다이렉트 모드 부호화방법은, 부호화 대상의 동화상이 수 프레임인 단시간으로 보아 동작의 속도가 거의 일정 또는 정지하고 있는 화상과 근사시킨 모델로, 많은 경우 동작벡터 부호량 삭감의 효과를 가진다.
본 발명의 제5 및 제6 국면의 방법에 의하면, B화상의 다이렉트 모드와 마찬가지로, P화상에 있어서도 복수의 참조 프레임에 대한 동작벡터 중 하나의 동작벡터만을 부호화하고, 복호화 측에서는 참조화상과의 프레임간 거리에 따라 수신한 동작벡터를 스케일링하여 이용하는 것이 가능하게 되어 본 발명의 제1∼제4 국면의 방법에 따른 부호화 효율의 향상을 부호화 오버헤드의 증가없이 실현하는 것이 가능하게 된다.
본 발명의 제7 국면의 방법에 의하면, 본 발명의 제5 국면의 방법에 더하여, 상기 특정의 하나의 참조 프레임에 관한 동작벡터는 상기 참조 프레임과 부호화되는 프레임과의 프레임간 거리에 따라 정규화된 동작벡터이다.
또, 본 발명의 제6 국면의 방법에 더하여, 상기 수신한 특정의 하나의 참조 프레임에 관한 동작벡터가 상기 참조 프레임과 부호화되는 프레임과의 프레임간 거리에 따라 정규화된 동작벡터인 것을 제8 국면의 방법으로 하고 있다.
본 발명의 제7 및 제8 국면의 방법에 의해, 프레임간 거리가 변화해도 부호화되는 동작벡터의 기준스케일이 일정하게 되고, 복수의 참조 프레임 각각에 대한 동작벡터의 스케일링 처리가 참조 프레임과 부호화되는 프레임과의 프레임간 거리의 정보만으로 연산하는 것이 가능하게 된다. 또, 임의의 스케일링을 행하기 위해서는 제산(除算)이 필요하게 되지만, 부호화되는 동작벡터가 프레임간 거리로 정규화되어 있음으로써, 스케일링 처리를 승산(乘算)만으로 실현하는 것이 가능하게 되어 부호화 및 부호화의 비용을 경감하는 것이 가능하게 된다.
본 발명의 제9 국면의 방법에서는, 본 발명의 제1 및 제3 국면의 방법에 더하여, 상기 부호화되는 동작벡터가 상기 복수의 프레임 중 특정의 하나의 참조 프레임에 관한 제1 동작벡터와, 다른 복수의 참조 프레임에 대한 복수의 동작벡터이고, 상기 복수의 동작벡터가 상기 제1 동작벡터를 부호화 대상 프레임과 상기 복수의 참조 프레임과의 프레임간 거리에 따라, 스케일링한 동작벡터와 상기 복수의 동작벡터의 차분벡터로서 부호화된다.
본 발명의 제10 국면의 방법에 의하면, 제2 및 제4 국면의 방법에 더하여, 상기 수신한 동작벡터 데이터가 상기 복수의 프레임 중 특정의 하나의 참조 프레임에 관한 동작벡터와, 다른 참조 프레임에 관한 차분벡터이며, 상기 동작벡터 데이터를 복호화 대상 프레임과 참조 프레임과의 프레임간 거리에 따라 스케일 변환하고, 상기 차분벡터와 가산함으로써, 상기 복수의 참조 프레임 중 상기 특정의 1프 레임 이외의 참조 프레임에 관한 동작벡터가 생성된다.
본 발명의 제5 및 제6 국면의 방법에 의하면, 정지화상 혹은 동작의 속도가 일정한 영상의 경우에 대해, 동작벡터정보의 부호화 오버헤드의 증가없이 복수의 참조 프레임을 이용하여 예측효율을 향상시키는 것이 가능하게 된다. 그러나, 동작의 속도가 일정하지 않은 경우에는, 동작벡터의 단순한 스케일링만으로는 충분한 예측효율이 얻어지지 않는 경우가 있다.
한편, MPEG2 동화상 부호화의 하나의 예측모드인 듀얼 프라임(dual-prime) 예측에서는, 2개의 연속하는 필드를 이용한 동작예측으로, 한쪽의 필드에 대한 동작벡터와, 상기 동작벡터를 필드간 거리에 따라 스케일링한 동작벡터와, 다른쪽의 필드에 대한 동작벡터의 차분벡터를 부호화하는 구성으로 되어 있다. 동작벡터는, 1/2화소 정밀도로 표현되고, 이에 따라 2필드의 참조 매크로블록의 평균화에 의해 적응적인 시공간 필터에 의한 루프필터 효과가 초래되며, 또한 부호화 오버헤드의 증가를 억제하는 것이 가능하게 되어 부호화 효율의 향상에 크게 기여하고 있다.
본 발명의 제9 및 제10 국면의 방법에 의하면, 듀얼 프라임 예측과 동일한 효과, 즉 부호화 오버헤드의 증가를 억제한, 적응적인 시공간 필터에 의한 루프필터 효과에 더하여, 더욱이 피드화상 등에 대한 예측효율의 개선을 도모하는 것이 가능하게 되어 종래보다도 높은 부호화 효율을 얻는 것이 가능하게 된다.
본 발명의 제11 국면의 방법에 의하면, 본 발명의 제1, 제3, 제5, 제7 및 제9 국면의 방법에 더하여, 상기 예측모드정보가 특정의 하나의 참조 프레임을 이용한 예측인가, 혹은 복수의 참조 프레임을 이용한 예측의 어느 하나인가를 나타내는 제1 플래그와, 상기 복수의 참조 프레임을 이용한 예측이 복수의 참조 매크로블록의 평균치에 의한 예측인가, 혹은 복수의 참조 매크로블록의 선형 외삽 또는 선형 내삽에 의한 예측인가를 나타내는 제2 플래그를 포함하고, 상기 제2 플래그가 부호화 프레임의 헤더 데이터, 또는 복수의 부호화 프레임군에 대한 헤더 데이터에 포함된다.
본 발명의 제12 국면의 방법에 의하면, 본 발명의 제2, 제4, 제6, 제8 및 제10 국면의 방법에 더하여, 상기 수신한 예측모드정보가 특정의 하나의 참조 프레임을 이용한 예측인가, 혹은 복수의 참조 프레임을 이용한 예측의 어느 하나인가를 나타내는 제1 플래그와, 상기 복수의 참조 프레임을 이용한 예측이 복수의 참조 매크로블록의 평균치에 의한 예측인가, 혹은 복수의 참조 매크로블록의 선형 외삽 혹은 선형 내삽에 의한 예측인가를 나타내는 제2 플래그를 포함하고, 상기 제2 플래그가 부호화 프레임의 헤더 데이터 또는 복수의 부호화 프레임군에 대한 헤더 데이터의 일부로서 수신된다.
상기 설명한 바와 같이 본 발명에 의하면, 복수의 참조 프레임 중에서 부호화 프레임의 매크로블록마다 특정의 참조 프레임으로부터만 예측 매크로블록신호를 생성할 것인가, 복수의 참조화상의 평균치로부터 예측 매크로블록신호를 생성할 것인가, 혹은 복수의 참조화상의 선형 외삽 또는 선형 내삽에 의해 예측 매크로블록신호를 생성할 것인가를 적응적으로 전환함으로써, 예측효율을 향상시켜 고능률로 고화질의 부호화가 가능하게 된다.
예컨대, 동일 프레임 내에서 시간적으로 배경이 보였다 안보였다 하는 영상 부분에서는, 복수의 참조 프레임 중 특정의 참조 프레임으로부터만 예측하는 것(여기서는, 예측모드1이라 함)이 효과적이다. 시간변동이 적은 영상부분은 복수의 참조화상의 평균치로부터 예측함(여기서는, 예측모드2라 함)으로써 참조화상에서의 부호화 왜곡을 제거하는 루프필터 효과가 얻어진다. 또, 페이드 화상 등의 영상신호의 진폭이 시간과 더불어 변동하는 경우에는, 복수의 참조화상의 선형 외삽 혹은 선형 내삽(여기서는 예측모드3이라 함)으로 함으로써, 예측효율을 향상시키는 것이 가능하게 된다.
통상, 종래의 부호화방식에서는, 이와 같이 매크로블록마다 최적의 예측모드를 선택적으로 전환하는 경우는, 매크로블록마다 예측모드를 나타내는 플래그가 각 매크로블록의 헤더 데이터에 포함되어 부호화된다. 많은 예측모드를 전환하여 사용하면, 예측모드를 나타내는 플래그의 부호화 오버헤드가 증가한다고 하는 문제가 있다.
본 발명의 제11 및 제12 국면의 방법에 의하면, 부호화 프레임마다 예측모드1과 예측모드2의 조합인가, 혹은 예측모드1과 예측모드3의 조합인가로 제한한다. 상기 조합의 어느 쪽인가를 나타내는 제2 플래그와, 예측모드1인가 혹은 예측모드2 또는 예측모드3인 것을 나타내는 제1 플래그가 준비된다. 예측모드의 조합을 나타내는 제2 플래그는 부호화 프레임의 헤더 데이터에 포함된다. 예측모드를 나타내는 제1 플래그는 매크로블록마다 변경가능하게 하여 매크로블록의 헤더 데이터에 포함시킨다. 이에 따라, 부호화 데이터에서의 예측모드에 관한 오버헤드를 저감하는 것이 가능하게 된다.
페이드 영상과 같이 영상신호의 진폭이 시간과 더불어 변화하는 경우는, 프레임 내에서 똑같이 진폭이 시간과 더불어 변화한다. 이 때문에, 매크로블록마다 예측모드2와 예측모드3을 전환할 필요가 없어 예측모드는 프레임마다 고정해도 예측효율의 저하는 전혀 초래하지 않는다.
한편, 시간적으로 보였다 안보였다 하는 배경 등은 영상신호의 진폭의 시간변화에 무관계하게 프레임 내에 발생한다. 이 때문에, 배경을 프레임마다 고정으로 하면, 예측효율의 저하를 초래한다. 따라서, 제1 플래그에 의해 최적의 예측모드를 매크로블록마다 전환하는 것이 필요하게 된다. 따라서, 상기와 같이 예측모드를 나타내는 플래그를 프레임의 헤더와 매크로블록의 헤더에서 분리함으로써, 예측효율을 저하시키지 않고 부호화 오버헤드를 경감시키는 것이 가능하게 된다.
본 발명의 제13 국면은, 매크로블록마다 복수의 동화상 프레임을 참조하는 동작보상 예측 프레임간 부호화에 있어서, 상기 복수의 참조 프레임으로부터의 선형 예측에 의해 예측 매크로블록을 생성하고, 상기 예측 매크로블록과 부호화 매크로블록의 예측오차신호 및 동작벡터를 매크로블록마다 부호화하며, 상기 선형 예측의 예측계수의 조를 프레임마다 부호화하는 동화상 부호화방법을 제공한다.
본 발명의 제14 국면은, 제13 국면의 방법에 더하여, 상기 복수의 참조 프레임이 부호화 대상 프레임보다 시간적으로 과거의 프레임인 방법을 제공한다.
본 발명의 제15 국면은, 매크로블록마다 복수의 동화상 프레임을 참조하는 동작보상 예측 프레임간 부호화 데이터의 복호화에 있어서, 매크로블록마다 부호화된 동작벡터 데이터 및 예측오차신호와, 프레임마다 부호화된 예측계수의 조를 수 신하고, 상기 동작벡터 및 예측계수에 따라 상기 복수의 참조 프레임으로부터 예측 매크로블록을 생성하며, 상기 생성된 예측 매크로블록과 상기 예측오차신호를 가산하는 동화상 복호화방법을 제공한다.
본 발명의 제16 국면은, 제5 국면의 방법에 더하여, 상기 복수의 참조 프레임이 부호화 대상 프레임보다 시간적으로 과거의 프레임인 방법을 제공한다.
본 발명의 제13∼제16 국면의 방법에 의하면, 임의의 시간방향의 예측계수를 설정할 수 있기 때문에, 페이드 화상 등에서 영상신호 진폭의 시간변화가 일정한 경우뿐만 아니라, 영상신호 진폭의 임의의 시간변동에 대해 최적의 예측계수의 조를 부호화 측에서 이용함으로써, 예측효율의 향상이 도모되고, 또 상기의 예측계수를 부호화 데이터로 다중화하여 전송함으로써, 복호화 시에도 부호화 시와 동일한 선형 예측이 가능하게 되어 고능률의 예측부호화를 행하는 것이 가능하게 된다.
본 발명에서는, 복수의 참조 프레임으로부터의 예측에 의해 부호화 효율의 향상을 얻는 것이 가능하지만, MPEG에서의 B화상과 같이 시간적으로 전후의 프레임으로부터의 예측에 있어서, 시간적으로 과거 및 미래의 복수의 프레임을 참조 프레임으로 해도 좋다. 또, MPEG의 I화상 및 P화상뿐인 경우와 마찬가지로, 시간적으로 과거의 프레임만을 참조 프레임으로 해도 좋다. 더욱이, 과거의 복수의 P화상 및 I화상을 참조화상으로 해도 좋다.
이러한 구성으로 함으로써, 종래의 MPEG 부호화보다도, 더 고화질의 부호화를 실현가능하게 된다. 특히, 과거의 화상만을 사용하는 P화상의 부호화에 있어서도, 종래와는 달리 과거의 복수의 참조 프레임을 이용함으로써, 종래보다도 대폭적 으로 부호화 효율을 개선시키는 것이 가능하게 된다. B화상을 이용하지 않는 부호화에서는, 부호화 프레임을 다시 나열하기 위한 지연이 불필요하게 되어 저지연의 부호화가 가능하다. 이 때문에, 본 발명에 의하면, 저지연의 부호화에 있어서도, 종래보다도 큰 부호화 효율의 개선이 얻어진다.
(실시예)
도 1은 본 발명의 실시예에 따른 동화상 부호화방법을 실시하는 동화상 부호화장치의 블록도이다. 이 장치에 의하면, 예측 매크로블록 생성유니트(119)가 제1 참조 프레임 메모리(117)에 보존된 프레임과, 제2 참조 프레임 메모리(118)에 보존된 프레임으로부터 예측화상을 생성한다. 예측 매크로블록 선택유니트(120)는 예측화상으로부터 최적의 예측 매크로블록을 선택한다. 감산기(110)는 입력신호(100)와 예측신호(106)의 차를 산출하여 예측오차신호(101)를 생성한다. DCT(이산코사인변환)유니트(112)는 예측오차신호(101)에 대해 DCT를 행하여 DCT신호를 양자화기(113)로 보낸다. 양자화기(113)는 DCT신호를 양자화하여 양자화신호를 가변길이 부호화기(114)로 보낸다. 가변길이 부호화기(114)는 양자화신호를 가변길이 부호화하여 부호화 데이터(102)를 출력한다. 가변길이 부호화기(114)는 후술하는 동작벡터정보 및 예측모드의 정보도 부호화하고, 부호화 데이터(102)와 함께 출력한다. 양자화기(113)의 양자화신호는 역양자화기(115)에도 보내져 역양자화된다. 가산기(121)는 역양자화신호와 예측화상신호(106)를 가산하여 로컬 디코드 화상(국부 복호된 화상; 103)을 생성한다. 로컬 디코드 화상(103)은 참조 프레임 메모리(117)로 기입된다.
본 실시예에서는, 예측오차신호(101)는 DCT변환, 양자화, 가변길이 부호화에 의해 부호화되지만, 예컨대 DCT변환은 웨이브렛(wavelet) 변환으로 치환하거나, 혹은 가변길이 부호화가 산술부호화로 치환되어도 좋다.
본 실시예에서는, 제1 참조 프레임 메모리(117)에는 직전에 부호화된 프레임의 로컬 디코드 화상이 보존되고, 제2 참조 프레임 메모리(118)에는 더욱이 그 전에 부호화된 프레임의 로컬 디코드 화상이 보존된다. 예측 매크로블록 생성유니트(119)는 예측 매크로블록신호(130)와 예측 매크로블록신호(131), 예측 매크로블록신호(132) 및 예측 매크로블록신호(133)를 생성한다. 예측 매크로블록신호(130)는 제1 참조 프레임 메모리(117)의 화상으로부터만 잘라 낸 신호이다. 예측 매크로블록신호(131)는 제2 참조 프레임 메모리(118)의 화상으로부터만 잘라 낸 매크로블록신호이다. 예측 매크로블록신호(132)는 제1 및 제2 참조 프레임 메모리로부터 잘라 낸 참조 매크로블록신호를 평균화하여 얻어지는 신호이다. 예측 매크로블록신호(133)는 제1 참조 프레임 메모리(117)로부터 잘라 낸 참조 매크로블록신호의 진폭을 2배로 하여 얻어지는 신호로부터, 제2 참조 프레임 메모리(118)로부터 잘라 낸 참조 매크로블록신호를 감산하여 얻어지는 신호이다. 이들 예측 매크로블록신호는 각각 프레임 내의 복수의 위치로부터 잘라내어 복수의 예측 매크로블록신호를 생성한다.
예측 매크로블록 선택유니트(120)는 예측 매크로블록 생성유니트(119)에서 생성된 복수의 예측 매크로블록신호를 입력 동화상신호(100)로부터 잘라 낸 부호화 대상 매크로블록신호와의 차분을 계산하고, 오차가 최소로 되는 예측 매크로블록신 호를 부호화 대상 매크로블록마다 선택하여 감산기(110)로 보낸다. 감산기(110)는 선택된 예측 매크로블록신호와 입력신호(100)의 차분을 계산하여 예측오차신호(101)를 출력한다. 부호화 대상 매크로블록에 대한 선택된 예측 매크로블록이 상대적인 위치를 동작벡터로 하여, 또 선택된 예측 매크로블록의 생성방법(도 1에서는, 신호(130∼133)의 어느 하나)을 예측모드로 하여 각각 매크로블록마다 부호화한다.
예측오차신호(101)를 DCT 변환유니트(112) 및 양자화기(113)를 통해 얻어진 양자화 DCT계수 데이터(102)와, 예측 매크로블록 선택유니트(120)로부터 출력되는 동작벡터정보 및 예측모드정보를 포함하는 사이드 정보(side information; 107)는, 가변길이 부호화기(114)에 의해 부호화되어 부호화 데이터(108)로서 출력된다. 부호화 데이터(108)는 도시하지 않은 축적계나 전송계로 송출된다.
여기서, 동화상신호가 휘도 및 색차신호로 구성되는 경우, 각 매크로블록의 각각의 신호성분에 대해 동일한 동작벡터 및 예측모드를 적용하여 예측오차신호(106)를 생성한다.
도 2는 본 발명의 실시예에 따른 동화상 복호화방법을 실시하는 동화상 복호화장치의 블록도이다. 도 2의 동화상 복호화장치는, 도 1에서 나타낸 본 발명의 제1 실시예에 따른 동화상 부호화장치에서 부호화된 부호화 데이터를 입력받아 복호화한다.
즉, 입력된 부호화 데이터(200)의 가변길이 부호가 가변길이 복호화기(214)에 의해 복호화되어, 예측오차신호(201), 동작벡터정보 및 예측모드정보(202)가 추 출된다. 예측오차신호(201)는 역양자화유니트(215) 및 역DCT유니트(216)에 의해 역양자화 및 역DCT에 부과된 후, 예측신호(206)와 가산된다. 이에 따라, 복호화 화상(203)이 생성된다.
복호화 화상(203)은 제1 참조 프레임 메모리(217)에 기입된다. 예측신호(206)는 부호화 데이터(200)로부터 추출한 동작벡터 및 예측모드에 따라 화상신호(204 및 205)로부터 예측 매크로블록 생성유니트(219) 및 예측 매크로블록 선택유니트(220)에 의해 생성된다. 화상신호(204)는 입력 부호화 데이터(200)의 직전에 복호화되어 제1 참조 프레임 메모리(217)에 기록된 화상신호이고, 화상신호(205)는 화상신호(204)보다도 전에 복호화되어 제2 참조 프레임 메모리(218)에 기억된 화상신호이다. 예측신호(206)는 부호화 시에 사용된 예측 매크로블록신호와 동일한 예측신호이다.
도 3은 본 발명의 제2 실시예에 따른 동화상 부호화 및 복호화방법에 있어서 2프레임의 참조 프레임을 이용하는 프레임간 예측의 관계를 모식적으로 나타낸다. 도 3에는 부호화 대상 프레임(302), 이 프레임(302)의 직전의 프레임(301), 프레임(302)의 더욱 그 전의 프레임(300)이 나타내어져 있다. 프레임(302)을 부호화, 혹은 복호화하고 있을 때, 도 1의 제1 참조 프레임 메모리(117) 혹은 도 2의 제1 참조 프레임 메모리(217)에는 프레임(301)의 복호화 화상이 보존되어 있고, 또 도 1의 제2 참조 프레임 메모리(118) 혹은 도 2의 제2 참조 프레임 메모리(218)에는 프레임(300)이 보존되어 있다.
도 3의 매크로블록(305)이 부호화 대상 매크로블록을 나타내고 있고, 참조 프레임(300)의 참조 매크로블록(303) 및 참조 프레임(301)의 참조 매크로블록(304)의 어느 하나 혹은 양쪽을 이용하여 예측 매크로블록이 생성된다. 벡터(306 및 307)는 참조 매크로블록(303 및 304)의 위치를 각각 나타내는 동작벡터이다. 부호화 시는, 부호화 매크로블록(305)에 최적의 동작벡터 및 예측모드가 탐색된다. 또, 복호화 시는, 부호화 데이터에 포함된 동작벡터 및 예측모드를 이용하여 예측 매크로블록신호가 생성된다.
도 4 및 도 5는 본 발명의 제3 및 제4 실시예에 따른 것으로, 3프레임 이상의 참조 프레임을 이용하는 프레임간 예측의 예를 나타내고 있다. 도 4는 과거의 복수의 참조 프레임을 이용하는 예, 즉 선형 외삽 예측을 나타내고, 도 5는 과거 및 미래의 복수의 참조 프레임을 이용하는 예, 즉 선형 내삽 예측을 나타낸다.
도 4에 있어서, 프레임(404)이 부호화 대상 프레임을 나타내고, 프레임(400∼403)이 프레임(404)에 대한 참조 프레임이다. 도 중 413은 부호화 매크로블록을 나타내고 있다. 부호화에 있어서는, 부호화 매크로블록마다 각 참조 프레임에 대한 동작벡터(도 중 405∼408)에 따라 각 참조 프레임으로부터 참조 매크로블록(도 중 409∼412)이 잘라내어진다. 복수의 참조 매크로블록으로부터의 선형 외삽 예측에 의해 예측 매크로블록이 생성된다.
복수의 참조 매크로블록 중 하나 혹은 선형 예측에 의한 예측 매크로블록의 어느 하나의 예측모드에 의해 예측오차가 최소로 되는 동작벡터 및 예측모드의 조(組)가 선택된다. 예컨대 프레임간의 평균휘도의 시간변화 등으로부터 부호화 프 레임마다 1조의 선형 예측 계수가 결정된다. 결정된 1조의 예측계수는 부호화 프레임의 헤더 데이터로서 부호화된다. 또, 각 매크로블록의 동작벡터, 예측모드 및 예측오차신호는 매크로블록마다 부호화된다.
복호화 시는, 프레임마다 수신한 선형 예측 계수의 조를 이용하여 매크로블록마다 동작벡터 및 예측모드의 정보에 따라 복수의 참조 프레임으로부터 예측 매크로블록이 생성된다. 예측 매크로블록을 예측오차신호와 가산함으로써 부호화 데이터가 복호된다.
도 5에서는, 프레임(502)이 부호화 대상 프레임을 나타내고 있고, 프레임(500, 501, 503, 504)이 참조 프레임을 나타내고 있다. 도 5의 경우, 부호화 및 복호화 시는 프레임(500, 501, 503, 504, 502)의 순서로 프레임이 다시 나열된다. 부호화의 경우는, 복수의 로컬 디코드 프레임이 참조 프레임으로서 이용된다. 복호화의 경우는, 미리 복호화된 복수의 프레임이 참조 프레임으로서 이용된다. 부호화 대상 매크로블록(511)에 대해, 도 4의 실시예와 마찬가지로, 참조 매크로블록(509, 510, 512, 513)의 하나 또는 이들 매크로블록으로부터의 선형 내삽 예측에 의한 예측신호의 어느 하나가 매크로블록마다 선택되어 부호화된다.
도 6은 본 발명의 제5 실시예에 따른 동작벡터정보의 부호화방법 및 복호화방법을 나타낸다. 도 3의 실시예와 같이, 복수의 참조 프레임을 이용한 프레임간 부호화에 있어서, 부호화 매크로블록마다 복수의 참조 매크로블록신호를 이용하여 예측 매크로블록신호를 생성하는 경우, 매크로블록마다 복수의 동작벡터정보를 부호화할 필요가 있다. 따라서, 참조하는 매크로블록의 수가 증가할수록 부호화해야 할 동작벡터정보의 오버헤드가 증가한다. 그 결과, 부호화 효율이 저하된다. 도 6의 방법에서는, 2개의 참조 프레임으로부터 각각 참조 매크로블록신호를 잘라내어 예측 매크로블록신호를 생성하는 경우에, 하나의 동작벡터와 그 동작벡터를 프레임간 거리에 따라 스케일링(scaling)하여 얻어지는 벡터가 이용된다.
프레임(602)이 부호화 대상 프레임이고, 프레임 601 및 600이 참조 프레임이다. 벡터 611 및 610이 동작벡터를 나타내고 있다. 흑점은 수직방향의 화소위치를 나타내고 있고, 백점은 1/4화소 정밀도의 보간점을 나타내고 있다. 도 6은 동작보상 예측을 1/4화소 정밀도로 행하는 예를 나타내고 있다. 동작벡터의 화소 정밀도는 1화소, 1/2화소, 1/8화소 등 부호화방식마다 정의된다. 통상적으로는, 동작벡터는 동작보상의 정밀도로 표현되고, 참조화상은 참조 프레임의 화상 데이터를 보간하여 생성된다.
도 6에 있어서, 부호화 대상 프레임(602)의 화소(605)를 주목하면, 화소(605)에 대응하는 참조 프레임(600)의 화소로부터 2.5화소 수직방향으로 떨어진 점(603)이 참조되고, 2.5화소의 어긋남을 나타내는 동작벡터(610)가 부호화된다. 한편, 화소(605)로부터 참조 프레임(601)에 대한 동작벡터는 프레임간 거리에 따라 전술한 부호화된 동작벡터(610)를 스케일링함으로써 생성된다. 여기서는, 화소(605)로부터 프레임(601)에 대한 동작벡터(611)는 프레임간 거리를 고려하여 화소(605)에 대응하는 프레임(601)의 화소로부터 2.5/2=1.25화소에 대한 벡터로 된다. 참조 프레임(601)에서의 화소(604)가 부호화 프레임(602)의 화소(605)의 참조 화소로서 이용된다.
부호화 시 및 복호화 시에 동일한 정밀도로 동작벡터를 스케일링함으로써, 부호화 대상 매크로블록이 복수의 프레임을 참조하는 경우라도 매크로블록마다 하나의 동작벡터를 부호화하면 좋다. 따라서, 부호화 오버헤드의 증가를 방지하는 것이 가능하게 된다. 여기서, 동작벡터의 스케일링결과가 동작보상의 정밀도의 샘플점 상에 없는 경우는, 단수(端數)를 사사오입함으로써 스케일링된 동작벡터가 둥글어진다.
도 7은 본 발명의 제6 실시예에 따른 것으로, 도 6의 실시예와는 다른 동작벡터정보의 부호화방법 및 복호화방법을 나타낸다. 도 6의 실시예에서는, 동화상의 시간적인 동작의 속도가 일정한 경우에, 부호화 데이터에 점유되는 동작벡터의 오버헤드를 효율적으로 저감하는 것이 가능하게 된다. 한편, 동화상의 시간적인 동작이 단조롭기는 하지만, 동작의 속도가 일정하지 않은 경우, 단순히 스케일링한 동작벡터를 이용하면, 예측효율의 저하를 발생시켜 부호화 효율의 저하의 원인으로 되는 경우가 있다. 도 7에서는 도 6과 마찬가지로, 화소(706)의 참조화소로서, 참조 프레임 700 및 701의 2프레임의 참조화소로부터 예측화소를 생성한다. 여기서는, 프레임(700)의 화소(703)와, 프레임(701)의 화소(705)가 참조되는 것으로 한다.
도 6의 제5 실시예와 마찬가지로, 프레임(700)에 대한 동작벡터(710)가 부호화되고, 더욱이 프레임(701)에 대한 동작벡터(711)와 동작벡터(710)를 스케일링하여 얻은 벡터와의 차분벡터(720)가 부호화된다. 즉, 동작벡터(710)를 1/2로 스케 일링함으로써 만들어지는 벡터는 프레임(701)에서의 화소(704)를 나타내고, 본래의 예측화소(705)와 화소(704)와의 차분량을 나타내는 차분벡터(720)가 부호화된다. 통상, 시간적으로 단조로운 동작에 대해, 전술한 차분벡터의 크기는 작아지므로, 동작의 속도가 일정하지 않은 경우도, 예측효율을 저하시키지 않고, 또한 동작벡터의 오버헤드의 증가를 억제하여 효율적인 부호화를 행하는 것이 가능하게 된다.
도 8은 본 발명의 제7 실시예에 따른 더욱 다른 동작벡터정보의 부호화방법 및 복호화방법을 나타낸 도면이다. 도 8의 실시예에서는, 프레임(803)이 부호화 대상 프레임이고, 프레임(802)을 건너 뛰어 프레임(801) 및 프레임(800)이 참조 프레임으로 되어 있다. 더욱이, 화소(806)에 대해, 참조 프레임(800)의 화소(804) 및 참조 프레임(801)의 화소(805)가 예측화소를 생성하기 위한 참조화소로 되어 있다.
도 6 혹은 도 7의 실시예와 마찬가지로, 참조 프레임(800)에 대한 동작벡터(811)를 부호화하고, 동작벡터(811)를 스케일링한 동작벡터를 이용하여 참조 프레임(801)에 대한 동작벡터를 생성하는 것도 가능하다. 그렇지만, 도 8의 경우, 참조 프레임과 부호화 프레임과의 프레임간 거리의 관계로부터, 동작벡터(811)에 대해 2/3배의 스케일링이 필요하게 된다. 도 8의 실시예에 한정되지 않고, 임의의 스케일링을 행하기 위해서는 분모가 2의 멱(power: 거듭제곱)이 아닌 임의의 정수로 되어 제산(除算)이 필요하게 된다. 동작벡터의 스케일링은 부호화 시 및 복호화 시의 어느 것에서도 필요하다. 특히, 제산은 하드웨어나 소프트웨어의 어느 것에 있어서도, 비용이나 연산시간이 많이 걸리기 때문에, 부호화 및 복호화의 비용 증가가 생긴다.
한편, 도 8의 실시예에서는, 부호화해야 할 동작벡터(811)를 프레임간 거리로 정규화하여 얻어지는 동작벡터(810)가 부호화된다. 부호화 프레임과 각 참조 프레임과의 프레임간 거리에 따라 정규화된 동작벡터(810)를 스케일링하여 얻어지는 동작벡터와 본래의 동작벡터의 차분벡터가 부호화된다. 즉, 참조화소(804)는 정규화된 동작벡터(810)를 3배 하여 얻어지는 동작벡터와, 차분벡터(820)로부터 생성된다. 참조화소(805)는 정규화된 동작벡터(810)를 2배 하여 얻어지는 동작벡터와, 차분벡터(821)로부터 생성된다. 도 8의 방법에 의해, 예측효율을 저하시키지 않고, 동작벡터의 부호화 오버헤드의 증가를 방지한다. 더욱이, 동작벡터의 스케일링을 승산(乘算)만으로 실현할 수 있으므로, 부호화 및 복호화의 연산비용도 억제하는 것이 가능하게 된다.
도 9는 본 발명의 제8 실시예에 따른 동화상 부호화방법을 실시하기 위한 동화상 부호화장치의 블록도이다. 제8 실시예에서는, 도 1의 실시예의 동화상 부호화장치에, 입력화상(100)에 대한 페이드 검출유니트(900)가 부가되어 있다. 페이드 검출유니트(900)에서는, 입력된 동화상신호의 프레임마다의 평균휘도치가 계산된다. 휘도의 시간변화에 일정의 기울기가 있는 화상은 페이드 화상이라고 판단된다. 그 결과(901)가 예측모드 선택유니트(120)에 통지된다.
페이드 검출유니트(900)가 입력화상을 페이드 화상이라고 결정하면, 예측모드가 하나의 참조 프레임으로부터의 화상의 예측 또는 복수의 참조 프레임의 선형 외삽 혹은 선형 내삽에 의한 예측의 어느 하나로 한정되고, 매크로블록마다 최적의 동작벡터 및 예측모드가 결정된다. 결정된 동작벡터 및 예측모드를 나타내는 제1 플래그가 매크로블록의 헤더에 기입되고, 예측오차신호가 부호화된다. 또, 취할 수 있는 예측모드의 조를 나타내는 제2 플래그는 프레임의 헤더 데이터에 기입되어 출력된다.
페이드 검출유니트(900)가 페이드 화상이 아니라고 판단한 경우, 예측모드는 하나의 참조 프레임으로부터의 예측 또는 복수의 참조 프레임의 평균치에 의한 예측의 어느 하나에 한정되어 최적의 동작벡터 및 예측모드가 결정되고, 동작벡터, 예측모드 및 예측오차신호(101)가 부호화된다.
도 9의 실시예의 방법에 의해 부호화된 부호화 데이터가 복호되는 경우, 예측모드를 나타내는 상기 제1 및 제2 플래그로부터, 매크로블록마다의 예측모드가 판단된다. 매크로블록마다 보내지는 동작벡터 및 판단한 예측모드로부터 예측 매크로블록신호가 생성된다. 부호화된 예측오차신호를 복호하여 예측신호와 가산함으로써 부호화 데이터가 복호된다. 이러한 방법에 의해, 예측모드정보의 부호화 오버헤드를 줄이는 것이 가능하게 된다.
도 10을 참조하여 본 발명의 제9 실시예의 동화상 부호화방법의 수순을 설명한다.
부호화 대상의 동화상 프레임은 동화상 부호화장치(도시하지 않음)에 1프레임씩 입력된다. 휘도치의 프레임 내 평균치의 시간변화 등에 기초하여 프레임 전체 혹은 프레임 내의 복수의 화소블록으로 구성되는 슬라이스마다 페이드 화상이 검출된다(단계 S1). 프레임 내의 화소블록마다 단일 프레임 예측모드 또는 선형합 예측모드(linear sum prediction mode)가 선택된다. 단일 프레임 예측모드는 복수의 참조 프레임 중에서 하나의 최적의 참조 프레임을 선택하여 예측 화소블록신호를 생성하는 예측모드이다. 선형합 예측모드는 2개의 참조 화소블록신호의 선형합에 의한 예측에 의해 예측 화소블록을 생성하는 예측모드이다.
선형합 예측모드에서는, 입력 동화상이 페이드 화상이라고 검출된 경우는, 시간 선형 보간(프레임간의 시간 거리에 기초한 내삽 또는 외삽) 예측이 행해져 예측 화소블록이 생성된다. 입력 동화상이 페이드 화상이 아닌 경우는, 2개의 참조화소 블록신호의 평균치에 의해 예측화소 블록이 생성된다. 복수 프레임을 이용한 선형합 예측이 평균치 예측인가, 혹은 시간 선형 보간 예측인가를 나타내는 제2 부호화모드 정보가 프레임(화상) 혹은 슬라이스의 헤더 데이터로서 부호화된다(단계 S2).
단계 S1에 의해 검출된 입력 동화상이 페이드 화상인가 아닌가를 판정한다(단계 S3). 입력 동화상이 페이드 화상이라고 판정된 경우에는, 화소블록마다 복수의 참조 프레임으로부터 단일의 예측블록을 선택하는 부호화모드(단계 S5)와 시간 선형 보간 예측에 의한 부호화모드(단계 S4) 중 부호화 효율이 높은 쪽, 즉 발생 부호량이 적어지는 쪽의 부호화모드를 결정한다(단계 S8).
단일 프레임 예측모드인가 혹은 선형합 예측모드인가를 나타내는 제1 부호화모드 정보와 그 밖의 선택된 부호화모드에 관한 정보(예측에 이용하는 참조 프레임의 식별정보, 동작벡터정보 등)를 포함하는 매크로블록 헤더가 부호화된다(단계 S10). 최후로, 선택된 예측블록신호와 부호화 대상 블록의 신호의 차분신호(예측오차신호)가 부호화되고(단계 S11), 부호화 데이터가 출력된다(단계 S12).
한편, 단계 S3에서의 판정의 결과가 NO인 경우에는, 단일 프레임 예측모드(단계 S6) 및 평균치 예측모드(단계 S7)로부터 최적의 쪽의 부호화모드가 선택된다(단계 S9). 이하, 마찬가지로 부호화모드에 관한 정보의 부호화(단계 S10)와, 차분벡터의 부호화(단계 S11)가 행해진다.
단계 S1의 페이드 검출결과에 따라 프레임 내 혹은 슬라이스 내의 각 블록이 상기와 같이 부호화되고, 1프레임(화상) 혹은 1슬라이스 내의 모든 화소블록의 부호화가 종료되면(단계 S12), 다음에 부호화해야 할 프레임 혹은 슬라이스의 페이드 검출이 행해지고(단계 S1), 마찬가지의 단계를 매개로 하여 부호화가 행해진다.
상기 설명에서는, 1프레임을 1화상으로 하여 부호화하는 예를 나타냈지만, 1필드를 1화상으로 하여 필드단위로 부호화를 행해도 좋다.
도 11 및 도 12는 본 실시예에 따른 동화상 부호화 데이터의 구조를 나타낸 도면이다. 도 11은 화상 혹은 슬라이스의 헤더 데이터를 포함하는 데이터 구조의 일부를 나타내고, 도 12는 매크로블록 데이터의 일부를 나타내고 있다. 화상 혹은 슬라이스의 헤더영역에서는. 그 부호화 대상 프레임의 표시시각에 관한 정보 "time_info_to_be_displayed"나, 상술한 선형합 예측이 시간 선형 보간 예측인가, 평균치 예측인가를 나타내는 제2 부호화모드 정보인 플래그 "linear_weighted_prediction_flag"가 부호화된다. "linear_weighted_prediction_flag"=0은 평균치 예측을 나타내고, 1은 시간 선형 보간 예측을 나타낸다.
화상 혹은 슬라이스의 부호화 데이터 내에는 복수의 매크로블록 부호화 데이터가 포함되어 있고, 각 매크로블록 데이터는 도 12에 나타낸 바와 같은 구조를 가진다. 매크로블록 데이터의 헤더영역에는, 참조 프레임의 선택정보나 동작벡터정보 등과 더불어, 선택된 단일 프레임으로부터의 단일 프레임 예측인가 혹은 복수의 프레임으로부터의 선형합에 의한 예측인가를 나타내는 정보(제1 부호화모드 정보)가 "macroblock_type"으로서 부호화된다.
도 13은 도 11 및 도 12에서 나타낸 데이터 구조를 포함하는 동화상 부호화 데이터의 시계열 전체의 구조를 모식적으로 나타낸다. 부호화 데이터의 선두에는, 화상 사이즈 등의 하나의 부호화 시퀀스 중 전체에서 불변(不變)인 복수의 부호화 파라미터의 정보가 시퀀스 헤더(SH)로서 부호화되어 있다.
각 화상 프레임 혹은 필드가 각각 화상으로서 부호화된다. 각 화상은, 화상 헤더(PH)와 화상 데이터(Picture data)의 조로서 순차 부호화되어 있다. 화상 헤더(PH)에는 도 11에서 나타낸 부호화 대상 프레임의 표시시각에 관한 정보 "time_info_to_be_displayed" 및 제2 부호화모드 정보 "linear_weighted_prediction_flag"가 각각 DTI, LWP로서 부호화되어 있다. 화상 데이터는 하나 또는 복수의 슬라이스(SLC)로 분할되고, 슬라이스마다 순차 부호화되어 있다.
각 슬라이스의 SLC에는, 먼저 슬라이스 헤더 내의 각 화소블록에 관한 부호화 파라미터가 슬라이스 헤더(SH)로서 부호화되고, 슬라이스 헤더(SH)에 이어서 하 나 또는 복수의 매크로블록 데이터(MB)가 순차 부호화되어 있다. 매크로블록 데이터(MB)는 도 12에서 나타낸 제1 부호화모드 정보인 "macroblock_type"의 부호화 데이터(MBT), 매크로블록 내의 각 화소의 부호화에 관한 정보의 부호화정보, 예컨대 동작벡터정보(MV), 최후로 부호화해야 할 화소신호 혹은 예측오차신호를 직교변환(예컨대, 이산코사인변환)하고 부호화하여 얻어지는 직교변환계수(DCT)를 포함하고 있다.
여기서, 화상 헤더(PH)에 포함되어 있는 제2 부호화모드 정보 "linear_weighted_prediction_flag"는 슬라이스 헤더(SH)에서 슬라이스마다 부호화하는 구성으로 해도 좋다.
도 14를 이용하여 제9 실시예의 동화상 복호화방법의 수순을 설명한다.
본 실시예의 동화상 복호화방법은 도 10에서 나타낸 동화상 부호화방법에 의해 부호화되고, 도 11 및 도 12에서 나타낸 바와 같은 데이터 구조를 갖는 부호화 데이터를 입력받아 복호화한다. 입력된 부호화 데이터에 포함된 화상 혹은 슬라이스의 헤더정보가 복호된다. 즉, 부호화 대상 프레임의 표시시각에 관한 정보 "time_info_to_be_displayed"나 제2 부호화모드 정보 "linear_weighted_prediction_flag"가 복호된다(단계 S30).
더욱이, 화상 혹은 슬라이스 내의 매크로블록마다 매크로블록의 헤더정보가 복호된다. 즉, 참조 프레임의 식별정보, 동작벡터정보, 제1 부호화모드 정보를 포함하는 "macroblock_type" 등이 복호된다(단계 S31).
복호된 제1 부호화모드 정보가 단일 프레임 예측을 나타내고 있는 경우, 참 조 프레임의 식별정보, 동작벡터정보, 제1 부호화모드 정보 등의 예측모드 정보에 따라 예측블록신호가 생성된다(단계 S34). 제1 부호화모드 정보가 복수 프레임으로부터의 선형합에 의한 예측을 나타내고 있는 경우, 복호된 제2 부호화모드 정보에 따라(단계 S33), 평균 예측(단계 S35) 혹은 시간 선형 보간 예측(단계 S36)의 어느 하나의 방법으로 예측신호가 생성된다.
부호화된 예측오차신호는 복호되고, 예측신호와 가산된다. 이에 따라, 복호화 화상이 생성된다(단계 S37). 화상 혹은 슬라이스 내의 각 매크로블록은 각 매크로블록 헤더로부터 순차 복호되고, 화상 혹은 슬라이스 내의 모든 매크로블록의 복호가 종료되면(단계 S38), 이어서 다음의 화상 혹은 슬라이스 헤더로부터 복호가 다시 행해진다.
상술한 바와 같이, 본 실시예에서는 부호화모드에 관한 정보가 단일 프레임 예측인가 복수 프레임으로부터의 선형합에 의한 예측인가를 나타내는 제1 부호화모드 정보와, 선형합에 의한 예측이 시간 선형 내삽 예측인가 평균예측인가를 나타내는 제2 부호화모드 정보로 분리된다. 제1 부호화모드 정보는 매크로블록마다 부호화되고, 제2 부호화모드 정보는 화상 혹은 슬라이스마다 각각 부호화된다. 이에 따라, 부호화 효율이 유지되면서 부호화모드 정보를 부호화하는 오버헤드를 저감할 수 있다.
즉, 제2 부호화모드 정보는 페이드 화상 등의 프레임 내의 광역적인 특성을 나타내고 있으므로, 제2 부호화모드 정보가 슬라이스 혹은 프레임마다 부호화되면, 매크로블록마다 부호화하는 방법에 비해 부호화모드 정보 자체를 부호화하기 위한 부호량을 억제할 수 있고, 또한 부호화 효율의 대폭적인 저하가 억제된다.
한편, 제1 부호화모드 정보를 매크로블록마다 부호화함으로써, 각 화소블록의 개별의 특성(예컨대, 시간적인 출현(보임) 및 소멸(안보임)이 부분적으로 있는 영상 등)에 따라 적절한 모드를 결정하는 것이 가능하게 되어 부호화 효율을 보다 향상시키는 것이 가능하게 된다.
이와 같이 본 실시예는, 동화상이 가진 특성을 고려하여 제1 및 제2 부호화모드 정보의 부호화 빈도가 결정되고 있기 때문에, 고능률로 고화질의 부호화를 행하는 것이 가능하게 된다.
다음에는 도 15 및 도 16을 이용하여 본 실시예에서의 시간 선형 보간 예측을 상세히 설명한다.
도 15에서의 F0, F1, F2 및 도 16에서의 F0, F2, F1은 각각 시간적으로 연속하는 프레임을 나타내고 있다. 도 15 및 도 16에 있어서, F2가 부호화 혹은 복호화 대상 프레임, F0 및 F1이 참조 프레임을 나타내고 있다. 도 15 및 도 16의 실시예에 대해, 부호화 혹은 복호화 대상 프레임 내의 어떤 화소블록이 2개의 참조 프레임의 선형합에 의해 예측된다고 가정한다.
선형합 예측이 평균치 예측인 경우는, 각 참조 프레임으로부터 잘라 낸 참조블록의 단순 평균에 의해 예측 화소블록이 생성된다. 프레임 F0 및 F1으로부터 잘라 낸 참조 화소블록신호를 각각 ref0, ref1이라 하면, 도 15 및 도 16의 각각의 예측 화소블록신호(pred2)는 이하의 수식 (15)에 따라 계산된다.
Figure 112006070828511-pat00008
한편, 시간 선형 보간 예측의 경우는, 부호화 혹은 복호화 대상 프레임과 참조 프레임의 시간거리에 따라 선형합이 계산된다. 도 11에서 나타낸 바와 같이, 부호화 대상 프레임마다 화상 혹은 슬라이스 헤더 영역에 표시시각에 관한 정보 "time_info_to_be_displayed"가 부호화되어 있다. 복호화 시에는 이 정보에 기초하여 각 프레임의 표시시각이 산출된다. 여기서, 프레임 F0, F1, F2의 표시시각이 각각 Dt0, Dt1, Dt2라고 한다.
도 15의 실시예는, 과거의 2프레임으로부터 현재의 프레임을 예측하기 위한 선형 외삽 예측으로 되고, 도 16의 실시예는 미래와 과거의 프레임으로부터의 선형 내삽 예측으로 된다. 도 15 및 도 16에 대해 2개의 참조 프레임간의 시간거리를 Rr, 부호화 대상 프레임에 대한 시간적으로 가장 과거의 참조 프레임으로부터 그 부호화 대상 프레임까지의 시간거리를 Rc로 하면, Rr은 다음 식 (16)으로 표시된다.
Figure 112006070828511-pat00009
상기 시간거리에 기초한 선형 외삽 예측 및 선형 내삽 예측은 도 15 및 도 16의 경우의 어느 것에 있어서도 이하의 수식 (17)로 계산된다.
Figure 112006070828511-pat00010
또, 수식 (17)은 수식 (18)과 같이 변형하는 것도 가능하다.
Figure 112006070828511-pat00011
페이드 화상이나 크로스 페이드 화상과 같은 신호진폭이 프레임 사이에서 단 조롭게 시간변동하는 화상에서는, 대단히 단시간(예컨대, 연속하는 3프레임) 내에서는, 그 신호진폭의 시간변동을 1차 근사시키는 것이 가능하다. 따라서, 본 실시예와 같이 부호화 대상 프레임과 2개의 참조 프레임의 프레임간의 시간거리에 따른 시간 선형 보간(선형 외삽 또는 선형 내삽)을 행함으로써, 보다 적확(的確)한 예측화상을 생성하는 것이 가능하게 된다. 그 결과, 프레임간 예측의 효율이 향상되어 화질을 열화시키지 않고 보다 발생 부호량을 저감시키거나, 혹은 동일 비트속도로 보다 고화질의 부호화를 행하는 것이 가능하게 된다.
상술한 본 발명의 부호화 및 복호화의 처리는, 하드웨어에 의해 실현해도 좋고, 처리의 일부 또는 전부를 컴퓨터를 이용하여 소프트웨어에 의해 실행하는 것도 가능하다.
도 17 및 도 18은 제1 및 제8 실시예에서의 예측모드 중 복수의 참조 프레임의 선형합에 의한 예측모드에서 이용하는 예측계수 테이블의 예를 나타내고 있다. 예측계수는, 제1 실시예에서는 매크로블록마다, 제8 실시예에서는 프레임마다 각각 변화하고, 평균치 예측 및 선형 외삽 예측을 위한 2개의 계수의 조(組)가 존재한다.
도 17 및 도 18 중에 나타낸 인덱스(Code_number)는 매크로블록마다 혹은 프레임마다의 헤더 데이터로서 부호화된다. 제8 실시예에서는 선형 예측계수는 프레임마다 고정으로 되므로, 프레임의 헤더 데이터만으로 부호화하면 좋다. 도 17에 나타낸 예측계수 테이블에서는 계수의 수치가 명시적으로 정의되어 있고, 도 18에 나타낸 예측계수 테이블에서는 평균치 예측 또는 선형 예측(내삽 또는 외삽)이 나 타내어져 있다. 이러한 인덱스의 부호화는 선형 예측계수를 직접 부호화하는 경우에 비해, 부호화해야 할 정보량을 삭감할 수 있고, 부호화 오버헤드를 저감할 수 있다.
도 19는 본 발명의 제1 및 제8 실시예에서의 여러 가지 예측모드에 관한 참조 프레임(Reference_frame)의 조합을 나타낸 테이블을 나타내고 있다. 도 19에 있어서, Code_number=0은 직전의 프레임(1프레임 전)으로부터의 예측모드, Code_number=1은 2프레임 전으로부터의 예측모드, Code_number=2는 1프레임 전 및 2프레임 전으로부터의 선형합에 의한 예측보드의 경우의 참조 프레임의 조합을 각각 나타내고 있다. Code_number=2의 경우에는, 상술한 선형 예측계수를 이용한 예측모드가 사용된다.
제1 및 제8 실시예에 있어서는, 참조 프레임의 조합은 매크로블록마다 변화가능하고, 도 19의 테이블의 인덱스는 매크로블록마다 부호화된다.
도 20 및 도 21은 본 발명의 제10 실시예에 따른 동화상 부호화장치 및 동화상 복호화장치의 구성을 각각 나타내고 있다. 제1 및 제8 실시예에서는, 최대 2프레임의 참조 프레임으로부터의 선형합에 의한 예측을 행하는데 반해, 제10 실시예에서는 3프레임 이상의 참조 프레임을 이용하여 매크로블록마다의 특정의 1프레임을 선택하거나, 혹은 복수의 참조 프레임의 선형합의 어느 하나에 의한 예측을 가능하게 하고 있다.
도 20의 동화상 부호화장치에서는 최대 참조 프레임수(n)의 참조 프레임 메모리 117, 118 및 152가 구비되고, 도 21의 동화상 복호화장치에 있어서도 마찬가 지로 최대 참조 프레임수(n)의 참조 프레임 메모리 217, 218 및 252가 구비되어 있다. 본 실시예에서는, 선형합에 의한 예측 시에는, 예측 매크로블록 생성기 151 및 251이 예측계수(W1∼Wn)와 각 참조 프레임으로부터 추출된 참조 매크로블록의 곱의 합을 연산하고, 그 결과를 Wd비트만큼 오른쪽으로 시프트시켜 예측화상신호를 생성한다. 참조 프레임의 선택은 매크로블록마다 변경가능하고, 선형 예측계수는 프레임마다 변경가능하다. 따라서, 선형 예측계수의 조는 프레임의 헤더 데이터로서 부호화되고, 참조 프레임의 선택정보는 매크로블록마다의 헤더 데이터로서 부호화된다.
도 22는 본 실시예에 따른 선형 예측계수를 프레임의 헤더로서 부호화하기 위한 데이터 신택스(data syntax)를 나타낸다. 선형 예측계수의 부호화에서는, 먼저 참조 프레임의 최대수가 Number_Of_Max_References로서 부호화되고, 다음에 선형 예측계수의 연산정밀도를 나타내는 WeightingFactorDenominatorExponent(도 20 및 도 21에서의 Wd)가 부호화되며, 더욱이 Number_Of_Max_References의 수만큼의 각 참조 프레임에 대한 계수 WeightingFactorNumerator[i](도 20 및 도 21에서의 W1∼Wn)가 부호화된다. i번째의 참조 프레임에 대한 선형 예측계수는 이하의 식으로 표시된다.
Figure 112006070828511-pat00012
도 23은 본 실시예에 따른 매크로블록마다 부호화되는 참조 프레임의 조합을 기재한 테이블을 나타낸다. Code_number=0은 모든 참조 프레임의 선형합에 의한 예측을 나타내고, Code_number=1 이후는 참조 프레임이 특정의 1프레임이고, 몇 프레임 전의 프레임을 참조 프레임으로 하는가를 나타낸다. 모든 참조 프레임의 선형합에 의한 예측을 행하는 경우, 도 22에 나타낸 예측계수를 이용한 예측이 행해진다. 여기서, 예측계수의 일부를 0으로 함으로써, 선형 예측모드에서는 임의의 참조 프레임의 조합에 의한 선형 예측을 프레임 단위로 전환하는 것이 가능하다.
본 발명의 실시예에서의 동작벡터 혹은 차분벡터의 부호화는, 이하와 같이 동작벡터의 공간상관 혹은 시간상관을 이용함으로써, 동작벡터 부호량의 한층의 삭감을 실현한다.
먼저, 도 24를 이용하여 공간상관을 이용한 동작벡터의 압축방법의 예를 설명한다. 도 24에 나타낸 A, B, C, D, E는 1프레임 내의 인접하는 매크로블록을 나타내고 있다. 매크로블록(A)의 동작벡터 혹은 차분벡터를 부호화할 때, 인접하는 매크로블록(B, C, D, E)의 동작벡터로부터 예측벡터가 생성되고, 예측벡터와 부호화해야 할 매크로블록(A)의 동작벡터의 오차만이 부호화된다. 복호 측에서는, 부호화 시와 마찬가지로 예측벡터를 계산하고, 그것을 부호화된 오차신호와 가산함으로써, 매크로블록(A)의 동작벡터 혹은 차분벡터가 생성된다.
동작벡터의 오차의 부호화는, 가변길이 부호나 산술부호를 이용함으로써, 화상은 고능률로 압축할 수 있다. 동작벡터의 예측은, 예컨대 매크로블록(B, C, D, E)의 동작벡터의 중앙치(中央値) 혹은 평균치를 예측벡터로서 이용함으로써 실현할 수 있다.
도 25를 참조하여 시간상관을 이용한 동작벡터의 압축방법의 예를 설명한다. 도 25는 연속하는 2프레임(F0, F1)을 나타내고 있다. 도면 중 A, B, C, D, E는 프레임(F1) 내에 있어서 인접하는 매크로블록을 나타내고, a, b, c, d, e는 프레임(F0)에서의 A, B, C, D, E와 동일한 위치의 매크로블록을 각각 나타내고 있다. 매크로블록(A)에서의 동작벡터 혹은 차분벡터를 부호화할 때, 직전의 프레임(F0)에서의 매크로블록(A)과 동일 위치의 매크로블록(a)의 동작벡터를 예측벡터로 하고, 이 예측벡터와 매크로블록(A)에서의 부호화해야 할 벡터와의 오차만을 부호화함으로써, 동작벡터 정보를 압축할 수 있다.
더욱이, 시공간상관을 이용하고, 프레임(F1)의 매크로블록(B, C, D, E) 및 프레임(F0)의 매크로블록(a, b, c, d, e)의 동작벡터를 이용하여 매크로블록(A)의 동작벡터를 3차원 예측하고, 예측벡터와 부호화해야 할 벡터의 오차만을 부호화함으로써, 동작벡터를 더욱 고능률로 압축할 수 있다.
동작벡터의 3차원 예측은, 예컨대 시공간으로 인접하는 복수의 동작벡터의 중앙치 혹은 평균치 등으로부터 예측벡터를 생성함으로써 실현할 수 있다.
본 발명에 따른 매크로블록 스킵의 실시예에 대해 설명한다. 동작보상 예측부호화에 있어서, 부호화해야 할 예측오차신호가 DCT 및 양자화에 의해 전부 0으로 된 매크로블록이 있는 경우, 부호화 오버헤드를 삭감하기 위해 미리 정의된 소정의 조건을 만족하는 매크로블록은 예상모드나 동작벡터 등의 매크로블록의 헤더 데이터도 포함하여 일절 부호화되지 않는다. 다음에 부호화되는 매크로블록의 헤더에 있어서, 연속하여 스킵한 수의 매크로블록만이 부호화된다. 복호화 시는, 스킵한 매크로블록은 미리 정의된 소정의 모드에 따라 복호된다.
*본 발명의 실시예에 따른 매크로블록 스킵의 제1 태양(態樣)에서는, 예측에 이용하는 참조 프레임이 미리 정해져 있는 프레임인, 동작벡터의 요소가 전부 0인 부호화해야 할 예측오차신호가 전부 0이라고 하는 모든 조건을 만족하는 것이 매크로블록 스킵으로서 정의된다. 복호 시는, 동작벡터가 0인 경우와 마찬가지로 미리 정해진 참조 프레임으로부터 예측 매크로블록이 생성된다. 생성된 예측 매크로블록을 복호된 매크로블록신호로서 재생시킨다.
직전의 2프레임의 선형합을 참조 프레임으로 하는 것이 참조 프레임의 스킵조건이라고 하면, 페이드 화상 등의 신호강도가 시간적으로 변화하는 영상에 있어서도, 매크로블록 스킵이 가능하게 되어 부호화 효율을 향상시킬 수 있다. 또, 각 프레임의 헤더 데이터로서 스킵조건으로 되는 참조 프레임의 인덱스가 보내지고, 프레임마다 스킵조건이 가변으로 되어도 좋다. 프레임 스킵조건을 프레임마다 가변으로 함으로써, 입력화상의 성질에 맞추어 최적의 스킵조건을 설정할 수 있어, 부호화 오버헤드를 삭감할 수 있다.
본 발명의 실시예에 따른 매크로블록 스킵의 제2 태양에서는, 동작벡터는 예측 부호화한다. 동작벡터의 오차신호가 0인 것을 매크로블록 스킵조건으로 한다. 그 이외의 조건은, 매크로블록 스킵의 상술한 제1 태양의 조건과 동일하다. 이 제2 태양에서는, 스킵한 매크로블록의 복호 시에는, 먼저 예측 동작벡터가 생성된다. 생성된 예측 동작벡터를 이용하여 소정의 참조 프레임으로부터 예측화상이 생성되고, 매크로블록의 복호화 신호를 생성한다.
본 발명의 실시예에 따른 매크로블록 스킵의 제3 태양에서는, 부호화해야 할 동작벡터정보가 직전의 매크로블록에서 부호화된 동작벡터정보와 동일하다는 것이 스킵조건으로 된다. 부호화해야 할 동작벡터정보라고 하는 것은, 동작벡터의 예측 부호화를 행하는 경우는 예측오차벡터이고, 예측 부호화를 하지 않는 경우는 동작벡터 그 자신이다. 그 이외의 조건은 상술한 제1 태양의 조건과 동일하다.
매크로블록 스킵의 제3 태양에서는, 스킵한 매크로블록의 복호 시는, 먼저 부호화되어야 할 동작벡터정보가 0인 것으로 하여 동작벡터가 재생된다. 재생된 동작벡터에 따라, 소정의 참조 프레임으로부터 예측화상이 생성되어, 매크로블록의 복호화 신호를 생성한다.
매크로블록 스킵의 제4 태양에서는, 예측에 이용하는 참조 프레임의 조합이 직전에 부호화된 매크로블록과 동일하다고 한다. 다른 스킵조건은 상술한 제1 태양의 조건과 같다고 한다.
매크로블록 스킵의 제5 태양에서는, 예측에 이용하는 참조 프레임의 조합이 직전에 부호화된 매크로블록과 동일하다고 한다. 다른 스킵조건은 상술한 제2 태양의 조건과 같다고 한다.
매크로블록 스킵의 제6 태양에서는, 예측에 이용하는 참조 프레임의 조합이 직전에 부호화된 매크로블록과 동일하다고 한다. 다른 스킵조건은 상술한 제3 태양의 조건과 같다고 한다.
상기 제1∼제6 태양의 어느 스킵조건에 있어서도, 인접 매크로블록간의 동작이나 신호강도의 시간변화의 상관이 높다고 하는 성질을 이용하여, 효율적으로 매 크로블록 스킵을 발생시킴으로써, 부호화 오버헤드를 저감하여 고효율의 부호화를 실현할 수 있다.
도 26은 본 발명의 제11 실시예에 따른 동화상 부호화장치의 구성을 나타낸다. 본 실시예에서는, 도 20에서 나타낸 제10 실시예에 따른 동화상 부호화장치에 선형 예측계수 추정기(701)가 부가되어 있다. 선형예측계수 추정기(701)에서는, 참조 프레임과 부호화 대상 프레임과의 프레임간 거리나, 입력 프레임의 프레임 내의 DC성분의 시간변화 등에 따라 복수의 참조 프레임으로부터의 선형예측에서의 예측계수가 결정된다. 이하, 구체적인 예측계수 결정에 관한 복수의 실시예를 설명한다.
도 27은 과거 2프레임으로부터의 선형합에 의해 프레임을 예측하는 예측방법을 나타내고 있고, 부호화 대상 프레임(F2)에 대해 참조 프레임(F0, F1)이 이용된다. Ra, Rb는 각 참조 프레임(F0, F1)과 부호화 대상 프레임(F2)과의 프레임간 거리를 나타내고 있다. 참조 프레임(F0, F1)에 대한 선형예측계수는 각각 W0, W1으로 한다. 제1 선형예측계수의 조는 (0.5, 0.5)로 한다. 즉, 2개의 참조 프레임의 단순평균으로 한다. 제2 선형예측계수는 프레임간 거리에 따른 선형 외삽에 의해 결정된다. 도 27의 예에서는 식 (20)과 같이 된다. 예컨대, 프레임 간격이 일정한 경우는, Rb=2*Ra로 되고, 식 (20)으로부터 선형예측계수는 (W0, W1) = (-1, 2)로 된다.
Figure 112006070828511-pat00013
식 (20)으로부터, 각 참조 프레임과 부호화 대상 프레임과의 프레임간 거리가 임의로 변화해도, 적절한 선형예측이 가능하게 된다. 예컨대 프레임 스킵 등을 이용한 가변 프레임속도의 부호화나, 참조 프레임으로서 과거의 임의의 2프레임을 선택해도, 높은 예측효율을 유지하는 것이 가능하게 된다. 부호화 시에, 제1 예측계수 또는 제2 예측계수의 어느 한쪽을 고정적으로 사용해도 좋고, 제1 예측계수 또는 제2 예측계수를 적응적으로 선택해도 좋다. 예측계수를 적응적으로 선택하는 구체적인 방법으로서는, 예컨대 각 프레임의 프레임 내의 평균휘도치(DC치)를 이용하여 예측계수를 선택하는 방법이 가능하다.
각 프레임 F0, F1, F2의 프레임 내의 평균휘도치를 각각 DC(F0), DC(F1), DC(F2)라고 한다. 프레임 내의 DC성분에 대해, 각 선형예측계수를 이용하여 얻어지는 예측오차의 크기는 식 (21) 및 (22)에 의해 계산된다.
Figure 112006070828511-pat00014
식 (21)의 값이 식 (22)의 값보다 작으면 제1 예측계수가 선택되고, 식 (22)의 값이 식 (21)의 값보다 작으면 제2 예측계수가 선택된다. 이들 예측계수를 부호화 대상 프레임마다 변화시킴으로써 영상신호의 특성에 따라 최적의 선형예측이 가능하게 된다. 프레임 내의 DC치의 비를 이용하여 제3 및 제4 예측계수를 식 (23) 또는 (24)에 나타낸 바와 같이 프레임마다 결정해도 효율적인 선형예측이 가능하다.
Figure 112006070828511-pat00015
식 (23)에 나타낸 제3 선형예측계수는 프레임 내 DC치의 비를 가미한 가중평균(weighted mean)이다. 식 (24)에 나타낸 제4 선형예측계수는 프레임 내의 DC치의 비와 프레임간 거리를 가미한 선형예측계수이다. 상기한 제2∼제4 선형예측계수에서는, 선형예측 시에 제산(除算)을 필요로 하지만, 연산정밀도를 부호화 시와 복호화 시에 일치시킴으로써, 제산을 이용하지 않고 승산과 비트 시프트에 의한 선형예측이 가능하게 된다.
구체적인 신택스로서는, 도 22에 나타낸 예와 같이 2의 멱(거듭제곱)의 분모와 정수의 분자에 의해 각 선형예측계수가 표현되면 좋다. 도 28은 시간적으로 전후의 2프레임으로부터의 선형합에 의해 프레임을 예측하는 방법을 나타내고 있다. 도면 중의 F1이 부호화 대상 프레임, F0, F2가 각각 참조 프레임을 나타낸다. 또, Ra, Rb는 각 참조 프레임과 부호화 대상 프레임과의 프레임간 거리를 나타내고 있다. 또, 참조 프레임 F0, F2에 대한 선형예측계수를 각각 W0, W2라 한다. 또, 각 프레임의 휘도치의 프레임 내 평균치를 DC(F0), DC(F1), DC(F2)라 한다. 도 27의 방법과 동일한 4종류의 예측계수의 조의 예를 식 (25)∼식 (28)에 나타낸다.
Figure 112006070828511-pat00016
식 (25)는 단순평균예측을 나타내고, 식 (26)은 프레임간 거리의 가중평균예측을 나타내며, 식 (27)은 DC치의 비에 기초한 가중예측을 나타내고, 식 (28)은 DC치의 비와 프레임간 거리에 기초한 가중예측을 나타낸다.
도 29는 과거 3프레임으로부터의 선형합에 의한 예측을 행하는 방법을 나타내고 있다. F0, F1, F2가 참조 프레임이고, F3가 부호화 대상 프레임이다. 각 참조 프레임(F0, F1, F2)과 부호화 대상 프레임(F3)과의 프레임간 거리는 각각 Ra, Rb, Rc로 나타낸다. 도 29에 있어서도, 복수의 선형예측계수의 조를 생각할 수 있다. 그 구체예를 이하에 나타낸다. 각 참조 프레임에 대한 선형예측계수를 W0, W1, W2라 한다.
제1 예측계수의 조를 식 (29)에 나타낸다. 제1 예측계수는 3개의 참조 프레임으로부터의 단순평균예측이다. 제1 예측계수의 조에 의한 예측화상(aF3 012)은 식 (30)으로 나타낸다.
Figure 112006070828511-pat00017
Figure 112006070828511-pat00018
제2, 제3 및 제4 예측계수는, 3개의 참조 프레임으로부터 2프레임을 선택하여 식 (20)과 마찬가지로 선형 외삽에 의한 외삽 예측을 행하기 위한 계수이다. 참조 프레임 F2 및 F1으로부터 예측한 부호화 대상 프레임(F3)의 예측화상을 eF3 12로 하고, 참조 프레임 F2 및 F0으로부터 예측한 부호화 대상 프레임(F3)의 예측화상을 eF3 02로 하며, 참조 프레임 F1 및 F0으로부터 예측한 부호화 대상 프레임(F3)의 예측화상을 eF3 01로 하면, 이들 예측화상은 각각 식 (31), (32), (33)으로 표시된다.
Figure 112006070828511-pat00019
또, 식 (31)∼(33)을 평균화한 예측치를 eF3 012로 하면, eF3 012는 식 (34)로 나타내어지고, 이것을 제5 예측계수라 한다.
Figure 112006070828511-pat00020
상기 제1∼제5 선형예측계수의 어느 것인가 1개를 이용해도 좋다. 또, 프레임 F0, F1, F2, F3의 프레임 내 평균휘도치 DC(F0), DC(F1), DC(F2), DC(F3)를 계산하고, 부호화 대상 프레임(F3)의 프레임 내 평균휘도치를 상기 5종류의 선형예측으로 예측하며, 그 예측오차가 가장 작은 선형예측계수를 부호화 대상 프레임마다 전환하여 사용해도 좋다. 후자의 구성을 이용하면, 입력화상의 성질에 맞추어 최적의 선형예측이 프레임 단위로 자동적으로 선택되어 고능률의 부호화를 실현할 수 있다.
또, 각 프레임의 평균휘도치의 비를 상기 제1∼제5 선형예측계수에 곱하여 얻어지는 예측계수를 이용해도 좋다. 예컨대, 제1 예측계수에 평균휘도치의 비를 곱한 경우는, 예측계수는 식 (35)로 된다. 상기 다른 예측계수도 마찬가지이다.
Figure 112006070828511-pat00021
도 30은 과거 2프레임과 미래 1프레임으로부터의 선형합에 의한 예측을 행하는 방법을 나타내고 있다. F0, F1, F3가 참조 프레임이고, F2가 부호화 대상 프레임이다. 참조 프레임(F0, F1, F3)과 부호화 대상 프레임과의 프레임간 거리는 각각 Rc, Rb, Ra로 나타낸다. 이 경우도, 도 29의 예와 마찬가지로, 프레임간 거리의 비나 프레임 내의 DC치의 비를 이용하여, 복수의 예측계수의 조를 결정하는 것이 가능하다. 또, 프레임 내의 DC치의 예측오차로부터 최적의 예측계수의 조를 프레임단위로 결정하는 것이 가능하다.
도 30의 예측방법에서의 식 (30)∼(35)에 상당하는 선형예측식 또는 예측계 수는 식 (36)∼(41)에 의해 각각 표시된다.
Figure 112006070828511-pat00022
Figure 112006070828511-pat00023
도 31은 본 발명의 실시예에 따른 동화상 부호화에서의 동작벡터 탐색의 제1 예를 나타낸다. 도 31은 도 6에서 나타낸 바와 같이 연속하는 2프레임을 참조 프레임으로 하여 예측하고, 대표하는 하나의 동작벡터를 부호화하는 경우의 동작벡터 탐색방법을 나타내고 있다. 도면 중의 F2가 부호화 대상 프레임이고, F0 및 F1이 참조 프레임을 나타내고 있다. 또, 10은 부호화 대상의 매크로블록을 나타내고, 12, 14, 16, 18은 참조 프레임에서의 참조 매크로블록의 후보의 일부를 나타내고 있다.
매크로블록(10)에 대해 최적의 동작벡터를 구하기 위해, 동작벡터 탐색범위 내에서 참조 프레임(F1)에 대한 동작벡터후보(도 31에서는 동작벡터후보 11 및 15) 와, 그것을 프레임간 거리에 따라 스케일링한 동작벡터(도 31에서는 동작벡터후보(11)를 스케일링하여 얻어지는 동작벡터(13), 동작벡터후보(15)를 스케일링하여 얻어지는 동작벡터(17))를 참조 프레임(F0)에 대한 동작벡터로서 이용한다. 2개의 참조 프레임(F0, F1)으로부터 추출한 참조 매크로블록 14와 12 또는 16과 18의 선형합으로부터 예측 매크로블록이 생성된다. 예측 매크로블록과 부호화 대상 매크로블록(10)의 차분치가 계산된다. 그 차분치가 가장 작아지는 동작벡터가 동작벡터 탐색결과로서 매크로블록마다 결정된다. 결정된 동작벡터를 이용하여 매크로블록마다의 동작보상 예측 부호화가 행해진다.
동작벡터 결정의 평가방법으로서는, 상기 이외에도 차분치뿐만 아니라 동작벡터 자체의 부호화 오버헤드도 가미하여 결정해도 좋다. 차분신호와 동작벡터를 실제로 부호화할 때에 필요하게 되는 부호량이 최소로 되는 동작벡터를 선택해도 좋다. 상기와 같이 동작벡터를 탐색하는 방법은 참조 프레임 F0 및 F1에 대한 최적의 동작벡터를 개별로 탐색하는 방법보다도, 보다 적은 연산량으로 정확한 동작벡터를 얻는 것이 가능하게 된다.
도 32는 본 발명의 실시예에 따른 동화상 부호화에서의 동작벡터 탐색의 제2 예를 나타내고 있다. 도 32는 도 31의 방법과 마찬가지로 도 6에서 나타낸 바와 같이 연속하는 2프레임을 참조 프레임으로 하여 현 프레임을 예측하고, 대표하는 하나의 동작벡터를 부호화하는 경우, 혹은 대표하는 하나의 동작벡터와 차분벡터를 부호화하는 경우의 동작벡터 탐색방법을 나타낸다. 도면 중의 F2가 부호화 대상 프레임이고, F0 및 F1이 참조 프레임을 나타내고 있다. 또, 10은 부호화 대상의 매크로블록을 나타내고, 12, 14, 16, 18은 참조 프레임에서의 참조 매크로블록의 후보의 일부를 나타내고 있다.
제2 동작벡터 탐색에서는, 먼저 제1 동작벡터와 마찬가지로, 2개의 참조 프레임에 대한 하나의 동작벡터의 탐색을 행한다. 도 32에 있어서, 동작벡터(11) 및 그것을 스케일링하여 얻은 동작벡터(13)가 최적의 동작벡터로서 선택된다. 다음에, 동작벡터(13)의 근방영역에서 프레임(F0)으로부터의 참조 매크로블록에 대한 동작벡터의 재탐색을 행한다. 재탐색 시는, 프레임(F1)으로부터 동작벡터(11)를 이용하여 추출하는 참조 매크로블록(12)은 고정으로 하고, 참조 매크로블록(12)과 프레임(F0)의 동작벡터(13)의 근방으로부터 추출한 참조 매크로블록(14)과의 선형합에 의해 예측 매크로블록을 생성한다. 예측 매크로블록과 부호화 대상 매크로블록의 차분이 최소로 되도록, 프레임(F0)에 대한 동작벡터의 재탐색을 행한다.
동화상신호가 고정 프레임속도이고, 프레임 F2와 F1의 간격 및 프레임 F1과 F0의 간격이 등간격이라고 하면, 일정한 동작을 탐색하기 위해서는, 참조 프레임(F0)에 대한 탐색범위는 참조 프레임(F1)에 대한 탐색범위에 비해, 면적비로 4배의 영역으로 된다. 양 참조 프레임(F0, F1)에 대하여 동일한 정밀도의 동작벡터 탐색을 행하면, 참조 프레임(F1)만으로부터의 예측에서의 동작벡터 탐색에 비해 4배의 연산량을 필요로 한다.
한편, 제2 동작벡터 탐색방법에 의하면, 먼저 참조 프레임(F1)에 대한 최대한의 정밀도에서의 동작벡터 탐색과, 그 동작벡터를 2배로 스케일링하여 얻어지는 동작벡터에 의한 참조 프레임(F0)에 대한 탐색을 행한다. 다음에 참조 프레임(F0) 에 대한 최대한의 정밀도의 재탐색을 행한다. 이와 같이 2단계의 탐색을 이용함으로써, 동작벡터 탐색의 연산량을 거의 1/4로 삭감하는 것이 가능하게 된다.
제2 동작벡터 탐색방법에서는, 참조 프레임 F0 및 F1에 대한 동작벡터를 따로 따로 구하게 된다. 이들 동작벡터의 부호화는, 먼저 참조 프레임(F1)에 대한 동작벡터(11)를 부호화하고, 다음에 동작벡터(11)를 스케일링한 동작벡터(13)와, 참조 프레임(F0)에 대하여 재탐색의 결과 얻어진 동작벡터의 차분벡터를 각각 부호화함으로써, 동작벡터의 부호화 오버헤드를 저감할 수 있다.
또, 재탐색범위가 ±1, 즉 동작벡터(11)를 스케일링하여 얻어지는 동작벡터(13)가 1/2의 정확하지 않은 정밀도(coarse precision)이기 때문에, 그것을 최대한의 정밀도로 하기 위한 재탐색만이 행해지는 경우, 재탐색된 참조 프레임(F0)에 대한 동작벡터는 1/2로 스케일링된다. 이에 따라, 참조 프레임(F1)에 대한 동작벡터(11)는 재탐색 결과의 여하(如何)에 따르지 않고 일의(一意)로 재생할 수 있다. 그러므로, 참조 프레임(F0)에 대한 동작벡터만을 부호화하면 좋다. 복호화 시는, 수신한 동작벡터를 1/2로 스케일링하면, 참조 프레임(F1)에 대한 동작벡터(11)를 얻을 수 있다.
도 33은 본 발명의 실시예에 따른 동화상 부호화에서의 동작벡터 탐색의 제3 방법을 나타내고 있다. 도 33은 도 31의 방법과 마찬가지로 도 6에서 나타낸 바와 같이 연속하는 2프레임을 참조 프레임으로 하여 현 프레임을 예측하고, 대표하는 하나의 동작벡터를 부호화하거나, 혹은 대표하는 하나의 동작벡터와 차분벡터를 부호화하는 동작벡터 탐색방법을 나타낸다. 도면 중의 F2가 부호화 대상 프레임이 고, F0 및 F1이 참조 프레임을 나타내고 있다. 또, 10은 부호화 대상의 매크로블록을 나타내고, 12, 14, 16, 18은 참조 프레임에서의 참조 매크로블록의 후보의 일부를 나타내고 있다.
제3 동작벡터 탐색에서는, 제1 예 혹은 제2 예와 마찬가지로, 참조 프레임 F0 및 F1에 대한 동작벡터를 탐색하고, 더욱이 참조 프레임(F1)에 대한 동작벡터를 재탐색한다. 일반적으로 동화상에서는 시간적으로 가까운 프레임간의 상관이 강하다고 하는 성질을 이용하고, 제3 동작벡터 탐색에서는 부호화 대상 프레임(F2)에 시간적으로 가장 가까운 참조 프레임(F1)에 대한 동작벡터를 보다 고정밀도로 구함으로써 예측효율을 향상시킬 수 있다.
도 34는 본 발명의 실시예에 따른 동작벡터 부호화방법을 나타내고 있다. 도면 중 F2는 부호화 대상 프레임, F1은 프레임(F2)의 직전에 부호화된 프레임을 나타내고, 30, 31은 각각 부호화해야 할 매크로블록을 나타낸다. 32, 33은 프레임(F1)에서의 매크로블록 30 및 31과 프레임 내의 동일 위치의 매크로블록을 나타내고 있다. 또, 34, 35는 각각 매크로블록(30, 31)의 부호화해야 할 동작벡터를 나타내고 있고, 36, 37은 매크로블록 32 및 33의 부호화된 동작벡터를 나타낸다.
본 실시예에서는, 부호화해야 할 동작벡터가 직전의 부호화 대상 프레임의 동일 위치의 매크로블록에서의 동작벡터와 동일한 경우, 동작벡터는 부호화되지 않고 동작벡터가 직전의 부호화 대상 프레임에서의 동일 위치의 매크로블록과 동일하다는 것을 나타내는 플래그를 예측모드로서 부호화한다. 또, 동작벡터가 직전의 부호화 대상 프레임에서의 동일 위치의 매크로블록과 동일하지 않으면, 동작벡터 정보의 부호화를 행한다. 도 34의 방법에서는, 동작벡터 34와 36이 동일하다. 따라서, 동작벡터(34)는 부호화하지 않고, 또 동작벡터(35)와 동작벡터(37)는 다르기 때문에, 동작벡터(35)가 부호화된다.
상기와 같이 동작벡터를 부호화함으로써, 정지화상이나 시간적으로 똑같은 동작을 하고 있는 화상에 대해, 동작벡터의 용장성이 저감되어 부호화 효율을 향상시킬 수 있다.
도 35는 본 발명의 실시예에 따른 다른 동작벡터 부호화방법을 나타내고 있다. 도 35의 방법은 도 34의 방법과 마찬가지로, 직전의 부호화 대상 프레임에서의 동일 위치의 매크로블록의 동작벡터와, 부호화해야 할 매크로블록의 동작벡터가 동일한 경우는, 동작벡터를 부호화하지 않는다. 동작벡터의 동일성은 동작의 각도가 동일한가 어떤가에 따라 판단된다. 도 35에 있어서, 부호화 대상 프레임(F3)에 대한 매크로블록 40 및 41에 대해서는, 직전의 부호화 대상 프레임(F2)을 참조 프레임으로 하여 동작벡터 44 및 45를 이용한 동작보상 예측이 행해진다. 프레임(F1)의 직전의 부호화 대상 프레임(F2)에서의 매크로블록(40)과 동일 위치의 매크로블록(42)에서는, 프레임(F2)으로부터 2프레임 전의 프레임(F0)을 참조 프레임으로 하여 동작벡터(46)를 이용한 동작보상 예측이 행해진다.
동작벡터(46)와 동작벡터(44)는 동일한 각도를 나타내고 있지만, 동작벡터(46)의 크기는 동작벡터(44)의 크기의 2배로 되어 있다. 따라서, 동작벡터(44)는 동작벡터(46)를 프레임간 거리에 따라 스케일링함으로써 재생가능하다. 이 때문에, 동작벡터(44)는 부호화시키지 않고, 직전의 프레임의 동작벡터를 사용하는 모드인 것을 나타내는 예측모드정보가 설정된다.
매크로블록(41)에서의 동작벡터(45)와 그 직전 프레임의 동일 위치의 매크로블록(43)에서의 동작벡터(47)는, 동작벡터가 동일 각도를 나타내고 있고, 매크로블록(40)과 마찬가지로 동작벡터(45)는 부호화되지 않는다. 상기와 같이 동작벡터가 부호화되지 않은 매크로블록은, 부호화 대상 프레임과 참조 프레임과의 프레임간 거리에 따라 직전의 부호화 대상 프레임의 동일 위치의 동작벡터를 스케일링하여 얻어지는 동작벡터를 이용하여, 동작보상 예측 프레임간 부호화 및 복호화된다.
도 36은 본 발명의 실시예에 따른 매크로블록 스킵 및 참조 프레임을 나타내는 인덱스의 예측 부호화를 설명하는 도면이다. 도면 중 F3이 부호화 대상 프레임을 나타내고, A가 부호화 대상 매크로블록을 나타내며, B, C, D, E가 이미 부호화된 인접 매크로블록을 나타낸다. 또, F0, F1, F2는 참조 프레임을 나타내고, 매크로블록마다 하나 또는 복수의 참조 프레임이 선택되어 동작보상 예측 부호화된다. 매크로블록(A)에서는, 프레임(F1)을 참조 프레임으로 하여 동작벡터(50)에 의한 예측이 행해진다. 매크로블록(B, C, E)은 프레임(F2, F1, F0)을 각각 참조 프레임으로 하여 동작벡터(51, 52, 55)에 의해 예측된다. 매크로블록(D)은 참조 프레임 F1 및 F2를 이용하여 예측된다. 매크로블록(A)의 동작벡터(50)를 부호화할 때에는, 인접 매크로블록(B, C, D, E)의 동작벡터로부터 예측벡터가 선택되고, 이 예측벡터와 동작벡터(50)의 차분벡터가 부호화된다.
예측벡터의 결정은, 예컨대 인접 매크로블록(B, C, E)의 동작벡터의 중앙치로 되는 동작벡터를 선택하는 방법, 혹은 인접 매크로블록(B, C, D, E) 중에서 잔 차신호의 크기가 가장 작은 매크로블록의 동작벡터를 예측벡터로 하는 등의 방법으로 행한다.
예측벡터와 부호화해야 할 매크로블록의 동작벡터의 차분이 0으로 되고, 또 예측벡터가 선택된 매크로블록의 참조 프레임과 부호화해야 할 매크로블록의 참조 프레임이 일치하며, 더욱이 부호화해야 할 예측오차신호가 전부 0으로 된 경우는, 매크로블록은 부호화하지 않고 스킵시킨다. 연속하여 스킵한 매크로블록의 수가 다음에 스킵되지 않고 부호화되는 매크로블록의 헤더정보로서 부호화된다. 예컨대, 매크로블록(A)에 대한 예측벡터가 매크로블록(C)의 동작벡터(52)로 된 경우, 매크로블록(A)과 매크로블록(C)에서는 참조 프레임은 일치하고 있고, 또 동작벡터(50)와 동작벡터(52)가 일치하고 있다. 매크로블록(A)의 예측오차신호가 전부 0인 경우, 매크로블록(A)은 부호화되지 않고 스킵된다. 복호화 시는, 부호화 시와 마찬가지의 방법으로 예측벡터를 선택하고, 예측벡터가 선택된 매크로블록의 참조 프레임을 이용하여 예측화상이 생성된다. 생성된 예측화상이 스킵한 매크로블록의 복호화 화상으로 된다.
*상기 매크로블록 스킵의 적어도 하나 이상의 조건이 만족되지 않는 경우는, 예측벡터와 부호화해야 할 매크로블록의 동작벡터의 차분벡터와, 예측오차신호 및, 참조 프레임을 나타내는 인덱스가 부호화된다.
참조 프레임을 나타내는 인덱스에 대해서는, 예측벡터가 선택된 인접 매크로블록의 참조 프레임 인덱스와, 부호화 대상 프레임의 참조 프레임 인덱스의 차분치 가 부호화된다.
상기의 예와 같이, 매크로블록(C)의 동작벡터(52)가 매크로블록(A)의 예측벡터로서 선택된 경우, 동작벡터(50)와 동작벡터(52)의 차분벡터와, 매크로블록(A)의 예측오차신호가 부호화된다. 또, 예컨대 도 23의 테이블에 따라 참조 프레임을 인덱스(Code_number)로 표현하고, 매크로블록(C)의 2프레임 전의 참조 프레임을 나타내는 인덱스2와, 매크로블록(A)의 동 인덱스2의 차분치, 즉 0이 참조 프레임 인덱스 차분치로서 부호화된다.
도 37은 본 발명의 실시예에 따른 다른 동작벡터 부호화방법을 나타내고 있다. 도 37에 있어서, 프레임(F2)이 부호화 대상 프레임을 나타내고 있고, 프레임(F2)은 시간적으로 전후의 프레임으로부터 동작보상 예측을 행하는 B화상을 나타내고 있다. 프레임(F2)에서의 매크로블록(61)에서는, 프레임(F3)을 후방예측의 참조 프레임으로 하고, 프레임(F1)을 전방예측의 참조 프레임으로 하고 있다. 따라서, 프레임(F3)의 부호화 혹은 복호화는 프레임(F2)의 부호화 혹은 복호화에 앞서서 행해진다.
부호화 대상 매크로블록(61)에서의 후방예측의 참조 프레임(F3)에 있어서, 부호화 대상 프레임(61)과 프레임 내의 동일 위치의 매크로블록(60)에 주목한다. 프레임 F0 및 F1의 선형합에 의한 동작보상 예측이 이용되고 있는 경우, 부호화 대상 매크로블록(61)의 전방예측의 참조 프레임(F1)에 대한 매크로블록(60)의 동작벡터(도면 중 62)는 프레임간 거리에 따라 스케일링되어 부호화 대상 매크로블록(61)의 전방예측 및 후방예측의 동작벡터로서 이용된다.
즉, 프레임(F1)으로부터 프레임(F2)까지의 프레임간 거리를 R1, 프레임(F2)으로부터 프레임(F3)까지의 프레임간 거리를 R2로 하면, 동작벡터(62)를 R1/(R1+R2)배 하여 얻어지는 동작벡터가 매크로블록(61)의 전방예측의 동작벡터(64)로 된다. 동작벡터(62)를 -R2/(R1+R2)배 하여 얻어지는 동작벡터가 매크로블록(61)의 후방예측의 동작벡터(65)로 된다.
부호화 대상 매크로블록(61)에서는, 상기 동작벡터 정보는 부호화하지 않고 상기의 예측모드, 즉 동작벡터의 스케일링에 의한 양방향 예측을 행하는 것을 나타내는 플래그만을 부호화한다.
복호화 시는, 먼저 프레임(F3)이 복호화된다. 복호화 프레임(F3)의 각 매크로블록의 동작벡터가 일시적으로 보존된다. 프레임(F2)에 있어서, 상기의 예측모드를 나타내는 플래그가 설정되어 있는 매크로블록은 일시 보존되어 있는 프레임(F3)에서의 동일 위치의 매크로블록의 동작벡터를 스케일링함으로써, 매크로블록(60)에서의 전방예측 및 후방예측 각각의 동작벡터를 산출하여 양방향 예측 복호화를 행한다.
도 38은 도 37에서 나타낸 양방향 예측의 다른 예로, 도 38에서는 프레임(F2)의 부호화 대상 매크로블록(71)의 전방예측의 참조 프레임이 F0이고, 그 이외는 도 37과 동일하다. 이 경우, 부호화 대상 매크로블록(71)의 전방 및 후방의 동작벡터는 부호화 대상 매크로블록(71)과 동일 위치인 프레임(F3)의 매크로블록(70)으로부터 프레임(F0)에 대한 동작벡터(73)를 프레임간 거리에 따라 스케일링하여 구해진다.
즉, 프레임(F0)으로부터 프레임(F2)까지의 프레임간 거리를 R1, 프레임(F3)으로부터 프레임(F2)까지의 프레임간 거리를 R2, 프레임(F0)으로부터 프레임(F3)까지의 프레임간 거리를 R3로 하면, 동작벡터(73)를 R1/R3배 하여 얻어지는 벡터를 부호화 대상 매크로블록(71)의 전방 동작벡터(74)로 한다. 또, 동작벡터(73)를 -R2/R3배 하여 얻어지는 벡터를 부호화 대상 매크로블록(71)의 후방 동작벡터(75)로 한다. 동작벡터(74) 및 동작벡터(75)를 이용하여, 부호화 대상 매크로블록(71)의 양방향 예측 부호화 및 복호화가 행해진다.
도 37 및 도 38의 방법에서는, 부호화 대상의 양방향 예측 매크로블록에서의 후방예측의 참조 프레임에 있어서, 부호화 대상 매크로블록과 프레임 내의 동일 위치의 매크로블록에 주목한다. 그 매크로블록이 복수의 전방 참조 프레임을 사용하는 경우, 부호화 대상의 양방향 예측 매크로블록에서의 전방 참조 프레임과 동일한 참조 프레임에 대한 동작벡터를 스케일링함으로써 부호화 대상 매크로블록의 전방 및 후방 동작벡터가 생성된다.
이상과 같이, 스케일링에 의해 동작벡터를 생성함으로써, 동작벡터를 부호화하는 부호화 오버헤드가 저감되어 부호화 효율을 향상시킬 수 있다. 더욱이, 스케일링의 기초로 되는 복수의 동작벡터가 존재하는 경우에, 전방 참조 프레임이 일치한 동작벡터를 선택하여 스케일링함으로써, 예측효율을 향상시키는 것이 가능하게 되어 고능률의 부호화를 실현할 수 있다.
도 39는 도 37 및 도 38에서 나타낸 양방향 예측의 다른 방법을 나타내고 있다. 도 39에서는, 프레임(F3)이 부호화 대상 프레임이고, 부호화 대상 매크로블 록(81)이 프레임(F4)을 후방 참조 프레임으로 하고 프레임(F2)을 전방 참조 프레임으로 하는 양방향 예측에 의해 예측된다. 또, 프레임(F4)에서의 매크로블록(81)과 동일 위치의 매크로블록(80)은 전방의 2프레임 F0 및 F1으로부터의 선형합에 의해 예측된다. 따라서, 도 39의 방법은 도 37 및 도 38의 방법과 달리, 매크로블록(80)과 부호화 대상 매크로블록(81)에서는 동일한 전방 참조 프레임이 이용되지 않는다.
이 경우, 매크로블록(80)의 전방 참조 프레임(F0, F1) 중 부호화 대상 매크로블록(81)의 전방 참조 프레임(F2)에 시간적으로 가장 가까운 프레임에 대한 동작벡터가 프레임간 거리에 따라 스케일링된다. 이에 따라, 부호화 대상 매크로블록(81)의 전방 및 후방 벡터가 생성된다. 즉, 프레임(F2)으로부터 프레임(F3)까지의 프레임간 거리를 R1, 프레임(F4)으로부터 프레임(F3)까지의 프레임간 거리를 R2, 프레임(F1)으로부터 프레임(F4)까지의 프레임간 거리를 R3로 하면, 부호화 대상 매크로블록(81)의 전방 동작벡터(84)는 매크로블록(80)의 프레임(F1)에 대한 동작벡터(82)를 R1/R3배 함으로써 얻어진다. 또, 부호화 대상 매크로블록(81)의 후방 동작벡터(85)는 동작벡터(82)를 -R2/R3배 함으로써 얻어진다. 부호화 대상 매크로블록(81)은 스케일링에 의해 얻어진 동작벡터 84 및 85를 이용하여 양방향 예측된다.
이상과 같이, 스케일링에 의해 동작벡터를 생성함으로써, 동작벡터를 부호화하는 부호화 오버헤드가 저감되어 부호화 효율을 향상시킬 수 있다. 더욱이, 스케일링의 기초로 되는 복수의 동작벡터가 존재하고, 또한 전방 참조 프레임이 일치하 는 동작벡터가 없는 경우에, 부호화 대상 매크로블록의 전방 참조 프레임에 시간적으로 가장 가까운 참조 프레임에 대한 동작벡터를 선택하여 스케일링한다. 이에 따라, 예측효율을 향상시킬 수 있어 고능률의 부호화를 실현할 수 있다.
도 40은 본 발명의 실시예에 따른 동화상 부호화방법의 플로우차트를 나타낸 도면이다. 도 41은 본 발명의 실시예에 따른 가중예측을 설명하는 도면이다. 먼저, 도 41을 이용하여 실시예에 따른 가중예측의 설명을 행하고, 다음에 도 40을 참조하여 가중계수의 결정방법을 설명한다.
도 41에 있어서, F0, F1, F2, F3는 시간적으로 연속하는 프레임을 나타내고 있고, F3가 부호화 대상 프레임을 나타내고 있다. 프레임(F0, F1, F2)은 부호화 대상 프레임(F3)에 대한 참조 프레임이다.
부호화 대상 프레임(F3) 내의 부호화 대상 화소블록(A, B, C, D) 중 블록(A, B, C)에서는 각각 프레임(F1, F0, F2)으로부터 동작보상을 수반하는 참조 화소블록신호가 생성된다. 이들 참조 화소블록신호에 대해, 가중계수의 승산과 직류오프셋치의 가산에 의해 예측 화소블록신호가 생성된다. 더욱이, 예측 화소블록신호와 부호화 대상 화소블록신호의 차분이 계산되고, 참조 프레임의 식별정보, 동작벡터 정보와 더불어 차분신호가 부호화된다.
블록(D)에서는, 프레임 F0 및 F1으로부터 각각 동작보상을 수반하여 참조 프레임신호가 생성된다. 참조 화소블록신호의 선형결합에 직류오프셋치를 가산함으로써 예측 화소블록신호가 생성된다. 부호화 대상 화소블록의 신호와 예측 화소블록신호의 차분신호가 참조 프레임의 식별정보, 동작벡터 정보와 더불어 부호화된 다.
한편, 복호화 시는 참조 프레임의 식별정보 및 동작벡터 정보가 복호된다. 이들 복호정보에 기초하여 상기 참조 화소블록신호가 생성된다. 생성된 참조 화소블록신호에 대해, 가중계수의 승산 및 직류오프셋치의 가산을 행함으로써, 예측 화소블록신호가 생성된다. 부호화된 차분신호가 복호되고, 복호된 차분신호와 예측 화소블록신호를 가산함으로써 동화상이 복호된다.
부호화 시 및 복호화 시에서의 예측 화소블록신호의 생성은 이하의 계산에 의해 행해진다. 예컨대, 화소블록(A)의 예측신호를 predA라고 하고, 프레임(F1)으로부터 잘라 낸 참조 화소블록신호를 ref[1]이라고 하면, predA는 이하와 같이 계산된다.
Figure 112006070828511-pat00024
w[1]은 참조 화소블록에 대한 가중계수이고, d[1]은 직류오프셋치이다. 이들 값은 계수 테이블로서, 부호화 프레임 혹은 슬라이스마다 헤더 데이터로서 부호화된다. 가중계수 및 직류오프셋치는 부호화 프레임마다 대응하는 복수의 참조 프레임에 대해 개별로 결정된다. 예컨대, 도 41에서의 화소블록(B)에서는, 참조 화소블록 ref[0]이 프레임(F0)으로부터 잘라 내어지기 때문에, 예측신호 predB는 다음 식으로 된다.
Figure 112006070828511-pat00025
화소블록(D)에서는, 프레임 F0 및 F1으로부터 각각 참조 화소블록이 잘라 내어진다. 이들 참조 화소블록에 가중계수가 곱해지고, 그 결과에 직류오프셋치를 가산하여 얻어진 신호가 평균화된다. 이에 따라, 예측신호 predD가 생성된다.
Figure 112006070828511-pat00026
이와 같이 해서, 본 실시예에서는 각 참조 프레임마다 가중계수와 직류오프셋치가 결정된다.
도 40을 이용하여 본 실시예에 따른 부호화 시에서의 상기 가중계수 및 직류오프셋치의 결정방법을 설명한다. 도 41에 나타낸 프레임간 예측관계, 즉 프레임(F3)이 부호화 대상 프레임이고, 프레임(F0, F1, F2)이 참조 프레임인 것으로 하여, 가중계수 및 직류오프셋치의 결정방법을 도 40의 플로우차트에 따라 설명한다.
가중계수 및 직류오프셋치는 복수의 참조 프레임에 대해 각각 독립된 값으로 하고, 부호화 프레임마다 혹은 슬라이스마다 가중계수 및 직류오프셋치의 테이블이 부호화된다. 예컨대, 도 41의 부호화 프레임(F3)에서는, 프레임(F0, F1, F2)에 대한 가중계수 및 직류오프셋치 (w[0], d[0]), (w[1], d[1]), (w[2], d[2])가 각각 부호화된다. 또, 이들 값을 부호화 프레임 내의 슬라이스마다 변경해도 좋다.
먼저, 부호화 대상 프레임(F3)의 프레임 내 전체 혹은 프레임 내의 슬라이스마다의 화소치의 평균치 DCur(직류성분의 크기, 이하 직류성분치라 함)이 이하와 같이 계산된다(단계 S10).
Figure 112006070828511-pat00027
여기서, F3(x,y)는 프레임(F3)의 좌표(x,y)의 위치의 화소치를 나타내고, N 은 프레임 혹은 슬라이스 내의 화소수를 나타낸다. 다음에, 이하의 수식에 의해 부호화 대상 프레임(F3)의 프레임 내 전체 혹은 프레임 내의 슬라이스마다의 교류성분의 크기(이하, 교류성분치라 함)를 계산한다(단계 S11).
Figure 112006070828511-pat00028
교류성분치의 측정에 있어서는, 이하에 나타낸 바와 같은 표준편차를 이용해도 좋지만, 이 경우 교류성분치를 구할 때의 연산량이 증가한다.
Figure 112006070828511-pat00029
수식 (46)과 (47)을 비교하여 명확해진 바와 같이, 수식 (46)에 의한 교류성분치의 측정방법은, 교류성분치를 구할 때의 연산량을 삭감하는 효과가 있다.
다음에, 참조 프레임 번호를 나타내는 인덱스를 "ref_idx"로 하고, ref_idx번째의 참조 프레임에 대해 수식 (45) 및 (46)과 마찬가지로, 참조 프레임의 직류성분치 DCref[ref_idx] 및 교류성분치 ACref[ref_idx]를 계산한다(단계 S13∼S14).
이상의 계산결과로부터, ref_idx번째의 참조 프레임에 대한 직류오프셋치 d[ref_idx]는 이하와 같이 직류성분의 차분으로서 결정된다(단계 S15).
Figure 112006070828511-pat00030
가중계수 w[ref_idx]는 이하와 같이 교류성분의 이득으로서 결정된다(단계 S16).
Figure 112006070828511-pat00031
상기의 계산을 모든 참조 프레임(ref_idx=0으로부터 MAX_REF_IDX까지)에 대해 행한다(단계 S17, S18). MAX_REF_IDX는 참조 프레임의 수를 나타내고 있다. 모든 가중계수 및 직류오프셋치가 결정되면, 그들을 테이블 데이터로서 부호화 프레임 또는 슬라이스마다 부호화하고, 부호화한 가중계수 및 직류오프셋치에 따라 각 화소블록의 가중 예측 부호화를 행한다. 부호화 및 복호화에서의 예측 화소블록신호의 생성은 전술한 수식 (42)∼(44)와 같이 계산된다.
이상과 같이, 참조 프레임마다 다른 가중계수 및 직류오프셋치를 이용하여 예측신호를 생성하고, 예측 부호화를 행함으로써, 프레임마다 혹은 슬라이스마다의 신호진폭이 시간변동하거나, 직류오프셋치가 변동하는 동화상신호에 대해서도, 복수의 참조 프레임으로부터 적절하게 예측신호를 생성하는 것이 가능하게 되어 예측효율이 높으면서 보다 고능률로 고화질의 부호화를 실현할 수 있다.
다음에, 가중계수 및 직류오프셋치의 정보의 부호화방법의 구체예를 설명한다. 도 42, 도 43 및 도 44는 가중계수 및 직류오프셋치의 정보의 부호화에 관련한 데이터 구조를 나타내고 있다.
도 42는 부호화 프레임 혹은 슬라이스의 헤더 데이터 구조의 일부를 나타내고 있다. 그 부호화 프레임 혹은 슬라이스에 대한 참조 프레임을 지시하는 인덱스의 최대수 "number_of_max_ref_idx"와, 가중계수 및 직류오프셋치의 정보를 나타내는 데이터 테이블 "weighting_table()"이 부호화된다. "number_of_max_ref_idx"는 도 40에서의 MAX_REF_IDX와 등가이다.
도 43은 가중계수 및 직류오프셋 데이터 테이블에 관한 부호화 데이터 구조 의 제1 예를 나타내고 있다. 이 예에서는, 프레임 혹은 슬라이스의 헤더 데이터로서 보내지는 최대 참조 프레임 인덱스수 "number_of_max_ref_idx"에 따라 각 참조 프레임에 대응하는 가중계수 및 직류오프셋치의 데이터가 부호화된다. i번째의 참조 프레임에 관한 직류오프셋치 d[i]는 정수화소치로서 그대로 부호화된다.
한편, i번째의 참조 프레임에 관한 가중계수 w[i]는 일반적으로 정수로는 되지 않는다. 그래서, 가중계수 w[i]가 수식 (50)으로 나타낸 바와 같이, 분모가 2의 멱으로 되는 유리수 w'[i]로 근사시켜 정수 표현된 분모 w_numerator[i] 및 분모의 2의 멱수(冪數) w_exponential_denominator로 나누어 부호화된다.
Figure 112006070828511-pat00032
분자의 값 및 분모의 2의 멱수는, 예컨대 수식 (51)에 의해 구할 수 있다.
Figure 112006070828511-pat00033
부호화 및 복호화 시는, 상기 부호화되는 근사치 w'[i]를 이용하여 예측화상이 생성된다. 수식 (50), (51)에 따르면, 이하에 나타내는 이점이 있다.
수식 (50)의 가중계수 표현에서는, 부호화 프레임마다 가중계수의 분모가 고정이고, 분자가 참조 프레임마다 다르다. 이러한 부호화방법은 각 참조 프레임에 대한 가중계수를 각각 독립적으로 분모 및 분자로 나누어 부호화하는 방법에 비해, 부호화해야 할 가중계수의 데이터량을 삭감할 수 있고, 부호화 오버헤드를 삭감하여 부호화 효율을 향상시킬 수 있다.
또, 분모를 2의 멱으로 하면, 참조 화소블록신호로의 가중계수의 승산을 정수의 승산과 비트 시프트로 실현할 수 있기 때문에, 부동소수점 연산이나 제산이라고 하는 처리가 불필요하게 되어 부호화 및 복호화의 하드웨어 규모나 연산량을 삭감할 수 있다.
상기 연산을 보다 구체적으로 설명한다. 수식 (52)는 수식 (42), (43)으로 나타낸 예측식을 일반화하고, 참조 프레임 번호가 i인 화소블록에 대한 예측 화상블록신호 생성의 예측식을 나타내고 있다. 여기서, Predi가 예측신호이고, ref[i]가 i번째의 참조 프레임으로부터 잘라 낸 참조 화소블록신호, w[i] 및 d[i]는 각각 i번째의 참조 프레임으로부터 잘라 낸 참조 화소블록에 대한 가중계수 및 직류오프셋치를 나타내고 있다.
Figure 112006070828511-pat00034
수식 (53)은 수식 (52)에서의 가중계수 w[i]를 수식 (50)으로 나타낸 유리수 표현한 경우의 예측식이다. 여기서, wn[i]는 수식 (50)에서의 w_numerator[i]를 나타내고 있고, wed는 w_exponential_denominator를 나타내고 있다.
Figure 112006070828511-pat00035
일반적으로, 임의의 페이드 화상 등에서 유효한 가중계수 w[i]는 정수로는 되지 않기 때문에, 수식 (52)에서는 부동소수점의 승산이 필요하게 된다. 더욱이, w[i]를 임의의 유리수 표현으로 하면, 정수의 승산과 제산이 필요하게 된다. 한편, 수식 (50)을 나타낸 분모가 2의 멱인 유리수 표현을 행함으로써, 수식 (53)에 나타낸 바와 같이 정수계수 wn[i]를 이용한 정수의 승산, 사사오입을 고려한 오프 셋의 가산, wed 비트의 오른쪽으로의 비트 시프트 및 직류오프셋치의 정수 가산으로 가중의 예측연산을 행하는 것이 가능하게 되어 부동소수점의 승산이 불필요하게 된다.
또, 참조 프레임 번호 i에 따르지 않고 분모의 크기를 나타내는 2의 멱수가 부호화 프레임 혹은 슬라이스마다 공통화되어 있고, 부호화 프레임마다 참조 프레임 번호 i가 취할 수 있는 복수의 값이 있는 경우라도, 가중계수를 부호화할 때의 부호량의 증가를 억제할 수 있다.
수식 (54)은 수식 (53)과 마찬가지로 수식 (44)로 나타낸 2개의 참조 프레임으로부터의 선형합에 의한 예측에 있어서, 수식 (50)의 가중계수 표현을 적용한 경우를 나타내고 있다.
Figure 112006070828511-pat00036
상기의 2개의 참조 프레임의 선형합에 의한 예측에 있어서도, 가중계수는 일반적으로 정수로는 되지 않기 때문에, 수식 (44)에서는 2회의 부동소수점의 승산이 필요하지만, 수식 (54)에서는 정수 승산, 비트 시프트 및 정수 가산만으로 2개의 참조 프레임의 선형합에 의한 예측신호를 생성하는 것이 가능하게 된다. 또, 분모의 크기에 관한 정보 wed도 공통화되어 있어 가중계수를 부호화할 때의 부호량의 증가를 억제할 수 있다.
또, 수식 (54)에 따르면, 가중계수의 분자가 8비트로 표현되기 때문에, 예컨대 화소신호치가 8비트 표현되어 있는 경우는, 16비트 고정의 연산정밀도로 부호화 및 복호화를 행하는 것이 가능하게 된다.
더욱이, 동일 부호화 프레임 내에서는, 참조 프레임에 따르지 않고 분모, 즉 시프트량이 고정(固定)으로 되기 때문에, 부호화 혹은 복호화에 있어서 화소블록마다 참조 프레임이 전환되는 경우라도, 시프트량을 변경할 필요가 없게 되어 연산량 혹은 하드웨어 규모를 삭감할 수 있다.
한편, 모든 참조 프레임에 대한 가중계수가
Figure 112006070828511-pat00037
의 조건을 만족할 때는, 수식 (54)에서 계산되는 부호화해야 할 가중계수의 분모 및 분자를 이하와 같이 변환해도 좋다.
Figure 112006070828511-pat00038
수식 (56)은 유리수 표현된 각 가중계수를 기약분수로 약분하는 작용이 있다. 이와 같이, 변환하여 부호화함으로써, 가중계수의 정밀도를 떨어뜨리지 않고 가중계수의 부호화 데이터의 동적 범위(dynamic range)를 작게 할 수 있어 가중계수를 부호화하는 부호량를 더 삭감할 수 있다.
도 44는 가중계수 및 직류오프셋 데이터 테이블에 관한 부호화 데이터 구조의 제2 예를 나타내고 있다. 도 44에 나타낸 예에서는, 직류오프셋치의 부호화는 도 43의 형태와 동일하지만, 가중계수의 부호화는 도 43에서 나타낸 형태와는 다르게 분모를 나타내는 2의 멱수의 부호화는 행하지 않고 분모를 고정치로 하여 유리 수 표현한 가중계수의 분자만이 부호화된다. 도 44의 형태에서는, 예컨대 이하와 같이 가중계수를 유리수 표현하고, 그 분자 w_numerator[i]만을 부호화하면 좋다.
Figure 112006070828511-pat00039
본 실시예에서는, 가중계수의 분모를 나타내는 2의 멱수가 고정이기 때문에, 분모의 멱수에 관한 정보를 부호화 프레임마다 부호화할 필요가 없어, 가중계수 테이블을 부호화하기 위한 부호량을 보다 삭감할 수 있다.
또, 고정화한 분자(상기 예에서는 "16") 하에서 유리수 표현할 때, 분자의 값을 8비트로 클리핑(clipping)함으로써, 예컨대 화소신호가 8비트 표현되어 있는 경우는, 16비트 고정의 연산정밀도로 부호화 및 복호화를 행할 수 있다.
더욱이, 본 실시예에서는 가중계수의 승산에 관한 시프트량이 고정화되어 있기 때문에, 부호화 및 복호화에 있어서 시프트량을 프레임마다 로드하는 것이 불필요하게 되어 부호화 혹은 복호화장치 또는 소프트웨어의 실장비용이나 하드웨어 규모를 삭감할 수 있다.
도 45는 도 42 내지 도 44에서 나타낸 데이터 구조를 포함하는 동화상 부호화 데이터의 시계열 전체의 구조를 모식적으로 나타낸다. 부호화 데이터의 선두에는 화상사이즈 등의 1개의 부호화 시퀀스 내 전체에서 불변인 복수의 부호화 파라 미터의 정보가 시퀀스 헤더(sequence header: SH)로서 부호화된다. 각 화상 프레임 혹은 필드가 각각 화상으로서 부호화되고, 각 화상은 화상 헤더(picture header: PH)와 화상 데이터(Picture data)의 조로서 순차 부호화된다.
화상헤더(PH)에는, 도 42에서 나타낸 참조 프레임을 지시하는 인덱스의 최대수 "number_of_max_ref_idx"와, 가중계수 및 직류오프셋치의 테이블 "weighting_table()"이 각각 MRI, WT로서 부호화되어 있다. "weighting_table()"(WT)에서는, 도 43에 나타낸 바와 같이 가중계수의 공통의 분모의 크기를 나타내는 2의 멱수 w_exponential_denominator가 WED로서 부호화되고, 그것에 이어서 각 가중계수의 분자의 크기를 나타내는 w_numerator[i]와 직류오프셋치 d[i]의 조가 각각 WN 및 D로서 부호화되어 있다.
가중계수의 분자 및 직류오프셋치의 조는, 화상 헤더에 포함되어 있는 "number_of_max_ref_idx"(MRI)의 수에 기초하여, 복수의 WN과 D의 조가 부호화된다. 각 화상 데이터(Picture data)는 1개 또는 복수의 슬라이스(SLC)로 분할되고, 슬라이스마다 순차 부호화된다. 각 슬라이스에서는, 먼저 슬라이스 내의 각 화소블록에 관한 부호화 파라미터가 슬라이스 헤더(SH)로서 부호화되고, 슬라이스 헤더에 이어서 1개 또는 복수의 매크로블록 데이터(MB)가 순차 부호화된다.
매크로블록 데이터에서는, 그 매크로블록 내의 화소블록의 예측모드 정보(MBT)나 동작벡터 정보(MV) 등의 매크로블록 내의 각 화소의 부호화에 관한 정보가 부호화된다. 최후로 부호화해야 할 화소신호 혹은 예측오차신호에 대해, 직교변환(예컨대, 이산코사인변환)을 실시하여 부호화된 직교변환계수(DCT)가 매크로블 록 데이터에 포함되어 있다. 여기서, 화상 헤더에 포함되어 있는 "number_of_max_ref_idx"(MRI) 및 "weighting_table()"(WT)의 양쪽 혹은 어느 한쪽이 슬라이스 헤더(SH) 내에서 부호화되어도 좋다.
또, 도 44에서 나타낸 가중계수 테이블 데이터의 구성의 경우, 가중계수의 분모의 크기를 나타내는 데이터의 부호화는 생략가능하기 때문에, 도 45에서의 WED의 부호화는 생략이 가능하다.
도 46은 본 발명의 실시예에 따른 동화상 복호화 수순을 나타낸 플로우차트이다. 여기서는, 도 40을 이용하여 설명한 실시예에 따른 동화상 부호화장치에서 부호화된 부호화 데이터를 입력받아 복호화를 행하는 수순을 설명한다.
입력되는 부호화 데이터로부터, 도 42 내지 도 44에서 설명한 가중계수 및 직류오프셋 데이터의 테이블을 포함하는 부호화 프레임 또는 슬라이스의 헤더 데이터가 복호된다(단계 S30). 부호화 블록마다의 참조 프레임을 식별하기 위한 참조 프레임 인덱스를 포함하는 부호화 블록의 헤더 데이터가 복호된다(단계 S31).
화소블록마다, 참조 프레임 인덱스가 지시하는 참조 프레임으로부터 참조 화소블록신호의 잘라 냄을 행한다(단계 S32). 그 부호화 블록의 참조 프레임 인덱스에 기초하여, 복호화된 가중계수 및 직류오프셋 데이터의 테이블을 참조함으로써, 가중계수 및 직류오프셋치가 결정된다.
이렇게 하여 결정된 가중계수 및 직류오프셋치를 이용하여 참조 화소블록신호로부터 예측 화소블록신호를 생성한다(단계 S33). 부호화된 예측오차신호는 복호되고, 복호화된 예측오차신호와 예측 화소블록신호가 가산됨으로써 복호화 화상 이 생성된다(단계 S34).
복호화된 각 화소블록의 복호화를 순차적으로 행하고, 부호화 프레임 내 혹은 슬라이스 내의 화소블록이 전부 복호화되면, 다음의 화상 헤더 혹은 슬라이스 헤더의 복호화를 계속해서 행한다.
상술한 수순으로 부호화방법 및 복호화방법에 의해 신호진폭의 시간변동이나 직류오프셋치의 시간변동이 있는 동화상 신호에 대해서도, 적절한 예측화상을 부호화 및 복호화 시에 생성할 수 있고, 보다 예측효율이 높은, 고능률로 고화질의 동화상 부호화 및 복호화를 행하는 것이 가능하게 된다.
상술한 실시형태에서 개시한 본 발명의 바람직한 실시의 태양을 이하에 열거한다.
(1) 동화상의 부호화 대상 매크로블록에 대해, 소정의 조합의 복수의 참조 프레임 및 그 부호화 대상 매크로블록과 적어도 하나의 참조 프레임 사이의 동작벡터를 이용하여 동작보상 예측 프레임간 부호화를 행하는 동화상 부호화방법에 있어서, (a) 상기 복수의 참조 프레임으로부터 적어도 하나의 참조 매크로블록을 각각 추출하고, (b) 추출한 복수의 참조 매크로블록에 대해 소정의 가중계수의 조를 이용하여 선형합을 계산함으로써 예측 매크로블록을 생성하며, (c) 상기 예측 매크로블록과 부호화 대상 매크로블록의 예측오차신호를 생성하고, 상기 예측오차신호, 상기 복수의 참조 프레임의 조합을 나타내는 제1 인덱스, 상기 가중계수의 조를 나타내는 제2 인덱스 및 상기 동작벡터의 정보를 부호화한다.
<효과>
이와 같이 복수의 참조 프레임의 선형합에 의한 예측을 행하고, 또한 선형합의 계수를 가변으로 함으로써, 페이드 등의 시간적인 신호강도의 변화에 대해 적절한 예측이 가능하게 되고, 부호화에서의 예측효율을 향상시키는 것이 가능하게 된다. 또, 참조하는 프레임을 적절하게 선택함으로써, 시간적으로 폐색(occlusion: 출현(보임) 및 소멸(안보임))이 발생하는 부분 등에서, 적절한 참조 프레임을 선택함으로써 예측효율을 향상시키는 것이 가능하게 된다. 이들 선형예측계수 및 참조 프레임의 조합을 인덱스로서 부호화함으로써, 부호화 오버헤드를 억제하는 것이 가능하게 된다.
(2) (1)에 있어서, 상기 선형합의 가중계수의 조를 나타내는 인덱스를 프레임마다 혹은 복수의 프레임마다의 헤더 데이터로서 부호화하고, 상기 예측오차신호, 상기 복수의 참조 프레임의 조합을 나타내는 인덱스 및 동작벡터를 매크로블록마다 부호화한다.
<효과>
일반적으로, 페이드 등의 시간적인 신호강도의 변화는 프레임 전체에 걸쳐 똑같이 발생하고, 또 폐색 등은 프레임 내에 국소적으로 발생한다. (2)에 의하면 신호강도의 시간변화에 대응시키는 선형예측계수는, 프레임마다 1조 부호화하고, 또 참조 프레임의 조합을 나타내는 인덱스는 매크로블록마다 가변(可變)으로 함으로써, 부호화 효율의 향상과 부호화 오버헤드의 삭감을 양립시키는 것이 가능하게 되고, 오버헤드를 포함한 부호화 효율의 향상을 얻는 것이 가능하게 된다.
(3) (1) 또는 (2)에 있어서, 상기 부호화되는 동작벡터가 상기 복수의 참조 프레임 중 특정의 하나의 참조 프레임에 관한 동작벡터이다.
<효과>
매크로블록마다 복수의 참조 프레임을 이용하여 동작보상 예측 부호화를 행하는 경우, 각 참조 프레임에 대한 동작벡터를 개별적으로 부호화하면, 부호화 오버헤드의 증대를 초래해 버린다. 그러나, (3)에 의하면, 특정의 참조 프레임에 대한 동작벡터를 보내고, 다른 프레임에 대한 동작벡터는 송신한 동작벡터를 부호화 대상 프레임과 각 참조 프레임과의 프레임간 거리에 따라 스케일링한 동작벡터를 이용함으로써, 부호화 오버헤드의 증가를 방지하여 부호화 효율을 향상시키는 것이 가능하게 된다.
(4) (3)에 있어서, 상기 특정의 하나의 참조 프레임에 관한 동작벡터는 상기 참조 프레임과 부호화되는 프레임과의 프레임간 거리에 따라 정규화된 동작벡터이다.
<효과>
이와 같이 부호화해야 할 동작벡터를 단위프레임간 거리로 정규화한 동작벡터로 함으로써, 임의의 참조 프레임에 대한 동작벡터 스케일링을 승산 혹은 시프트 연산과 가산처리에 의해 저비용으로 생성하는 것이 가능하게 된다. 또, 시간적으로 똑같은 동작을 가정하면, 단위프레임간 거리로 정규화함으로써, 부호화해야 할 동작벡터의 크기가 최소로 되어 동작벡터의 정보량을 경감하는 것이 가능하게 되고, 부호화 오버헤드의 삭감효과가 얻어진다.
(5) (3)에 있어서, 상기 특정의 하나의 참조 프레임에 관한 동작벡터는 상기 참조 프레임 중 부호화되는 프레임과의 프레임간 거리가 가장 먼 참조 프레임에 대한 동작벡터이다.
<효과>
(3)에 의하면 동작벡터 부호량을 경감하고, 또 동작벡터의 스케일링을 저비용으로 실현할 수 있지만, 한편으로 참조 프레임과 부호화 대상 프레임과의 프레임간 거리가 커짐에 따라 동작보상의 정밀도의 저하가 발생한다. 이에 대해 (5)에 의하면, 복수의 참조 프레임 중 가장 프레임간 거리가 먼 참조 프레임에 대한 동작벡터를 부호화하고, 다른 참조 프레임에 대한 동작벡터는 부호화한 동작벡터를 프레임간 거리에 따라 내분하여 생성하는 것이 가능하게 되어 각 참조 프레임에 대한 동작보상의 정밀도의 저하를 억제할 수 있다. 이에 따라, 보다 예측효율이 향상되어 고능률의 부호화를 행하는 것이 가능하게 된다.
(6) (1) 또는 (2)에 있어서, 상기 부호화되는 동작벡터가 상기 복수의 참조 프레임 중 특정의 하나의 참조 프레임에 관한 제1 동작벡터와, 다른 하나 또는 복수의 참조 프레임에 대한 동작벡터이고, 다른 하나 또는 복수의 참조 프레임에 대한 동작벡터가 상기 제1 동작벡터를 부호화 대상 프레임과 상기 하나 또는 복수의 참조 프레임과의 프레임간 거리에 따라 스케일링한 동작벡터와 상기 하나 또는 복수의 동작벡터와의 차분벡터로서 부호화된다.
<효과>
국소적인 영상의 시간변화를 평행이동으로 근사시킬 수 있는 경우는, 하나의 동작벡터와 그것을 프레임간 거리에 따라 스케일링한 동작벡터로, 복수의 참조 프 레임으로부터의 예측을 행하는 것이 가능하게 된다. 그러나, 시간적으로 일정한 속도로 변화하지 않는 경우는, 반드시 스케일링만으로는 적절한 동작보상이 곤란하게 된다. (6)에 의하면, 복수의 참조 프레임에 대한 동작벡터를 하나의 대표 벡터와, 그것을 스케일링한 동작벡터와 각 참조 프레임에 대한 최적의 동작벡터와의 차분벡터를 부호화함으로써, 복수의 동작벡터를 부호화하는 경우와 비교하여, 동작벡터의 부호량을 경감하는 것이 가능하게 되고, 부호화 오버헤드의 저감과 예측효율의 향상을 양립시키는 것이 가능하게 된다.
(7) (6)에 있어서, 상기 제1 동작벡터는 상기 참조 프레임과 부호화되는 프레임과의 프레임간 거리에 따라 정규화된 동작벡터이다.
(8) (6)에 있어서, 상기 제1 동작벡터는 상기 복수의 참조 프레임 중 부호화되는 프레임과의 프레임간 거리가 가장 먼 참조 프레임에 대한 동작벡터이다.
(9) (1)∼(8)의 어느 하나에 있어서, 상기 복수의 참조 프레임의 조합을 나타내는 인덱스가 미리 정해진 값이고, 또한 상기 부호화해야 할 동작벡터의 모든 요소가 0이며, 또한 상기 부호화해야 할 예측오차신호가 전부 0인 매크로블록에 있어서, 부호화 데이터를 전혀 출력하지 않고 부호화를 스킵하며, 다음에 부호화되는 매크로블록에 있어서 스킵한 매크로블록의 개수를 부호화한다.
<효과>
매크로블록을 스킵하는 조건으로서, 상기의 조건을 송수신 측에서 일치시켜 두면, 매크로블록마다의 부호화 정보인 참조 프레임의 조합을 나타내는 인덱스나, 크기 0의 동작벡터나, 0의 잔차신호를 부호화하여 보내는 일없이 수신 측에서 영상 을 재생하는 것이 가능하게 되고, 이들 부호화 데이터량을 삭감하여 부호화 효율을 향상시키는 것이 가능하게 된다. 더욱이, 신호강도의 시간변화에 따른 예측계수는 프레임마다 부호화함으로써, 영상신호의 성질에 맞추어 적응적인 매크로블록 스킵을 부호화 오버헤드의 증가없이 실현하는 것이 가능하게 된다.
(10) (1)∼(8)의 어느 하나에 있어서, 상기 복수의 참조 프레임의 조합을 나타내는 인덱스가 미리 정해진 값이고, 또한 상기 부호화해야 할 동작벡터가 직전에 부호화된 매크로블록의 동작벡터와 일치하며, 또한 상기 부호화해야 할 예측오차신호가 전부 0인 매크로블록에 있어서, 부호화 데이터를 전혀 출력하지 않고 부호화를 스킵하며, 다음에 부호화되는 매크로블록에 있어서 스킵한 매크로블록의 개수를 부호화한다.
<효과>
프레임 내의 매크로블록보다도 큰 영역이 시간적으로 평행이동하는 경우 등에, 동작벡터 정보를 보내지 않고 스킵 매크로블록으로서 부호화하는 것이 가능하게 되고, 부호화 오버헤드를 삭감하여 부호화 효율을 향상시키는 것이 가능하게 된다.
(11) (9) 또는 (10)에 있어서, 상기 미리 정해진 참조 프레임의 조합을 나타내는 인덱스는 직전에 부호화된 2프레임을 참조 프레임으로서 이용하는 것을 나타낸다.
<효과>
직전에 부호화된 2프레임을 참조화상으로 하는 것을, 매크로블록의 스킵조건 으로 함으로써, 페이드 등으로 신호강도가 시간적으로 변화하는 경우에 있어서도, 선형 외삽 등의 선형예측에 의해 용이하게 정확한 예측화상이 생성되고, 신호강도가 시간변화하고 있음에도 불구하고 매크로블록의 부호화를 스킵시키는 것이 가능하게 되어 예측효율 향상과 부호화 오버헤드 저감의 2가지의 효과에 의해 보다 부호화 효율을 향상시키는 것이 가능하게 된다.
(12) (9) 또는 (10)에 있어서, 상기 미리 정해진 참조 프레임의 조합을 나타내는 인덱스를 부호화 대상 프레임마다 변경가능하게 하고, 상기 미리 정해진 참조 프레임의 조합을 나타내는 인덱스를 부호화 대상 프레임의 헤더 데이터로서 부호화한다.
<효과>
영상신호의 시간변화에 따라, 유연하게 매크로블록 스킵의 조건을 변경하는 것이 가능하게 된다. 부호화 시에 매크로블록 스킵이 발생하기 쉽도록 영상에 따라 프레임마다 적절하게 스킵조건을 변경함으로써, 부호화 오버헤드를 삭감하여 고능률의 부호화를 실현하는 것이 가능하게 된다.
(13) (1)∼(8)의 어느 하나에 있어서, 상기 복수의 참조 프레임의 조합을 나타내는 인덱스가 직전에 부호화된 매크로블록과 동일하고, 또한 상기 부호화해야 할 동작벡터의 모든 요소가 0이며, 또한 상기 부호화해야 할 예측오차신호가 전부 0인 매크로블록에 있어서, 부호화 데이터를 전혀 출력하지 않고 부호화를 스킵하며, 다음에 부호화되는 매크로블록에 있어서 스킵한 매크로블록의 개수를 부호화한다.
<효과>
직전의 매크로블록과 동일한 참조 프레임의 조합을 이용하는 것을, 매크로블록의 스킵조건으로 함으로써, 동화상신호에서의 근방영역의 시공간 특성의 상관을 이용하여 효율적으로 매크로블록을 스킵시켜 부호화 효율을 향상시키는 것이 가능하게 된다.
(14) (1)∼(8)의 어느 하나에 있어서, 상기 복수의 참조 프레임의 조합을 나타내는 인덱스가 직전에 부호화된 매크로블록과 동일하고, 또한 상기 부호화해야 할 동작벡터가 직전에 부호화된 매크로블록의 동작벡터와 일치하며, 또한 상기 부호화해야 할 예측오차신호가 전부 0인 매크로블록에 있어서, 부호화 데이터를 전혀 출력하지 않고 부호화를 스킵하며, 다음에 부호화되는 매크로블록에 있어서 스킵한 매크로블록의 개수를 부호화한다.
<효과>
(13)에 더하여 (14)의 구성을 겸비함으로써, 보다 부호화 오버헤드를 삭감하여 부호화 효율을 향상시키는 것이 가능하게 된다.
(15) (1)∼(8)의 어느 하나에 있어서, 상기 부호화해야 할 동작벡터를 프레임 내에서 인접하는 하나 또는 복수의 매크로블록의 동작벡터로부터 예측하고, 상기 부호화해야 할 동작벡터와 상기 예측된 동작벡터와의 차분벡터를 부호화한다.
<효과>
(1)∼(8)에 의한 부호화 효율의 향상에 더하여, 동작벡터의 공간적인 상관에 주목하여 부호화해야 할 동작벡터를 프레임 내의 인접하는 매크로블록으로부터 예 측하여 차분벡터만을 부호화함으로써, 동작벡터의 부호화 오버헤드를 저감하여 보다 부호화 효율을 향상시키는 것이 가능하게 된다.
(16) (1)∼(8)의 어느 하나에 있어서, 상기 부호화해야 할 동작벡터를 직전에 부호화된 프레임 내의 동일 위치의 매크로블록에서의 동작벡터로부터 예측하고, 상기 부호화해야 할 동작벡터와 상기 예측된 동작벡터의 차분벡터를 부호화한다.
<효과>
동작벡터의 시간적인 상관에 주목하여 부호화해야 할 동작벡터를 직전에 부호화된 프레임 내의 동일 위치에서의 매크로블록의 동작벡터로부터 예측하여 차분벡터만을 부호화함으로써, 동작벡터의 부호화 오버헤드를 저감하여 보다 부호화 효율을 향상시키는 것이 가능하게 된다.
(17) (1)∼(8)의 어느 하나에 있어서, 상기 부호화해야 할 동작벡터를 프레임 내에서 인접하는 하나 또는 복수의 매크로블록의 동작벡터 및 직전에 부호화된 프레임 내의 동일 위치의 매크로블록에서의 동작벡터로부터 예측하고, 상기 부호화해야 할 동작벡터와 상기 예측된 동작벡터의 차분벡터를 부호화한다.
<효과>
동작벡터의 시공간적인 상관에 주목하여 동작벡터의 예측을 프레임 내 및 프레임간에서 행함으로써, (15) 및 (16)의 양 특징을 겸비하는 것이 가능하게 되어 보다 동작벡터의 부호화 효율을 향상시키는 것이 가능하게 된다.
(18) (15)∼(17)의 어느 하나에 있어서, 상기 복수의 참조 프레임의 조합을 나타내는 인덱스가 미리 정해진 값이고, 또한 상기 부호화해야 할 동작벡터의 차분 벡터가 0이며, 또한 상기 부호화해야 할 예측오차신호가 전부 0인 매크로블록에 있어서, 부호화 데이터를 전혀 출력하지 않고 부호화를 스킵하며, 다음에 부호화되는 매크로블록에 있어서 스킵한 매크로블록의 개수를 부호화한다.
<효과>
(15)∼(17)의 어느 하나의 구성과의 상승효과에 의해, 보다 부호화 오버헤드를 저감하여 부호화 효율을 향상시키는 것이 가능하게 된다.
(19) (15)∼(17)의 어느 하나에 있어서, 상기 복수의 참조 프레임의 조합을 나타내는 인덱스가 미리 정해진 값이고, 또한 상기 부호화해야 할 동작벡터의 차분벡터가 직전에 부호화된 매크로블록의 차분벡터와 일치하며, 또한 상기 부호화해야 할 예측오차신호가 전부 0인 매크로블록에 있어서, 부호화 데이터를 전혀 출력하지 않고 부호화를 스킵하며, 다음에 부호화되는 매크로블록에 있어서 스킵한 매크로블록의 개수를 부호화한다.
<효과>
(15)∼(17)의 어느 하나의 구성과 (10)의 구성의 상승효과에 의해, 보다 부호화 오버헤드를 저감하여 부호화 효율을 향상시키는 것이 가능하게 된다.
(20) (18) 또는 (19)에 있어서, 상기 미리 정해진 참조 프레임의 조합을 나타내는 인덱스가 직전에 부호화된 2프레임을 참조 프레임으로서 이용하는 것을 나타낸다.
<효과>
(18) 또는 (19)의 구성과 (11)의 구성의 상승효과에 의해, 보다 부호화 오버 헤드를 저감하여 부호화 효율을 향상시키는 것이 가능하게 된다.
(21) (18) 또는 (19)에 있어서, 상기 미리 정해진 참조 프레임의 조합을 나타내는 인덱스를 부호화 대상 프레임마다 변경가능하게 하고, 상기 미리 정해진 참조 프레임의 조합을 나타내는 인덱스를 부호화 대상 프레임의 헤더 데이터로서 부호화한다.
<효과>
(18) 또는 (19)의 구성과 (12)의 구성의 상승효과에 의해, 보다 부호화 오버헤드를 저감하여 부호화 효율을 향상시키는 것이 가능하게 된다.
(22) (15)∼(17)의 어느 하나에 있어서, 상기 복수의 참조 프레임의 조합을 나타내는 인덱스가 직전에 부호화된 매크로블록과 동일하고, 또한 상기 부호화해야 할 동작벡터의 차분벡터의 모든 요소가 0이며, 또한 상기 부호화해야 할 예측오차신호가 전부 0인 매크로블록에 있어서, 부호화 데이터를 전혀 출력하지 않고 부호화를 스킵하며, 다음에 부호화되는 매크로블록에 있어서 스킵한 매크로블록의 개수를 부호화한다.
<효과>
(15)∼(17)의 어느 하나의 구성과 (13)의 구성의 상승효과에 의해, 보다 부호화 오버헤드를 저감하여 부호화 효율을 향상시키는 것이 가능하게 된다.
(23) (15)∼(17)의 어느 하나에 있어서, 상기 복수의 참조 프레임의 조합을 나타내는 인덱스가 직전에 부호화된 매크로블록과 동일하고, 또한 상기 부호화해야 할 동작벡터의 차분벡터가 직전에 부호화된 매크로블록의 차분벡터와 일치하며, 또 한 상기 부호화해야 할 예측오차신호가 전부 0인 매크로블록에 있어서, 부호화 데이터를 전혀 출력하지 않고 부호화를 스킵하며, 다음에 부호화되는 매크로블록에 있어서 스킵한 매크로블록의 개수를 부호화한다.
<효과>
(15)∼(17)의 어느 하나의 구성과 (14)의 구성의 상승효과에 의해, 보다 부호화 오버헤드를 저감하여 부호화 효율을 향상시키는 것이 가능하게 된다.
(24) (1) 또는 (2)에 있어서, 부호화 대상 프레임과 복수의 참조 프레임과의 프레임간 거리에 따라 상기 선형합의 가중계수의 조를 결정한다.
<효과>
페이드 등의 신호강도의 선형의 시간변동에 대해 부호화 대상 프레임과 복수의 참조 프레임과의 프레임간 거리에 따른 선형 내삽 혹은 선형 외삽 예측에 의해 적절한 예측화상을 용이하게 저비용으로 생성하는 것이 가능하게 되어 예측효율이 높은 고능률의 부호화를 실현하는 것이 가능하게 된다.
(25) (1) 또는 (2)에 있어서, 입력되는 동화상신호에서의 프레임 또는 필드 내의 평균DC치를 계산하고, 복수의 참조 프레임 및 부호화 대상 프레임에서의 상기 DC치에 기초하여 상기 선형합의 가중계수의 조를 결정한다.
<효과>
부호화 대상 프레임 및 복수의 참조 프레임의 프레임 내의 DC치의 시간변화로부터 선형예측계수를 산출함으로써, 신호강도의 시간변화가 일정한 경우뿐만 아니라, 임의의 신호강도의 시간변동에 대해 적절한 예측화상을 생성하는 것이 가능 하게 되어 보다 예측효율이 높은 고능률의 부호화를 실현하는 것이 가능하게 된다.
(26) (1) 또는 (2)에 있어서, 입력되는 동화상신호가 가변 프레임속도인가, 혹은 입력된 동화상신호의 임의의 프레임을 솎아 내어 가변 프레임속도화하는 부호화기를 갖추고, 상기 가변 프레임속도의 동화상신호를 부호화할 때, 부호화 대상 프레임과 복수의 참조 프레임과의 프레임간 거리의 변화에 따라 상기 선형합의 가중계수의 조를 결정한다.
<효과>
부호화 대상 프레임과 복수의 참조 프레임과의 프레임간 거리가 동적으로 변화하는 프레임속도 가변의 부호화에 대해서도, 프레임간 거리에 따른 적절한 선형예측계수를 이용함으로써, 높은 예측효율을 유지하여 고능률의 부호화를 행하는 것이 가능하게 된다.
(27) 동화상의 부호화 대상 매크로블록에 대해, 소정의 조합의 복수의 참조 프레임 및 그 부호화 대상 매크로블록과 적어도 하나의 참조 프레임 사이의 동작벡터를 이용하여 동작보상 예측 프레임간 부호화를 행하는 동화상 부호화방법에 있어서, (a) 제1 참조 프레임으로부터 상기 동작벡터의 후보에 대응한 제1 참조 매크로블록을 추출하고, (b) 상기 동작벡터의 후보를 적어도 하나의 제2 참조 프레임과 부호화 대상 프레임과의 프레임간 거리에 따라 스케일링하며, (c) 상기 제2 참조 프레임으로부터 스케일링된 동작벡터의 후보에 대응한 적어도 하나의 제2 참조 매크로블록을 추출하고, (d) 상기 제1 및 제2 참조 매크로블록에 대해 소정의 가중계수의 조를 이용하여 선형합을 계산함으로써 예측 매크로블록을 생성하며, (e) 상기 예측 매크로블록과 부호화 대상 매크로블록의 예측오차신호를 생성하고, (f) 상기 제1 및 제2 참조 매크로블록의 선형합과 상기 부호화 대상 매크로블록의 예측오차신호의 크기에 기초하여 상기 동작벡터를 결정하며, (g) 상기 예측오차신호, 상기 제1 및 제2 참조 프레임을 나타내는 제1 인덱스, 상기 가중계수의 조를 나타내는 제2 인덱스 및 결정된 상기 동작벡터의 정보를 부호화한다.
<효과>
하나의 부호화 대상 매크로블록에 대해, 복수의 참조 프레임으로부터 복수의 참조 매크로블록을 추출하고, 그 선형합으로부터 예측 매크로블록을 생성하는 경우, 각 참조 프레임에 대해 개별로 최적의 동작벡터를 결정하면, 연산량이 방대하게 되어 버린다. (27)의 구성에 의하면, 제1 참조 프레임에 대한 동작벡터 후보를 스케일링하여 다른 참조 프레임에 대한 동작벡터 후보로 함으로써, 최적의 복수의 동작벡터를 대단히 적은 연산량으로 탐색하는 것이 가능하게 되어 부호화의 비용을 대폭적으로 절감하는 것이 가능하게 된다.
(28) (27)에 있어서, 상기 결정된 동작벡터를 각 참조 프레임과 부호화 대상 프레임과의 거리에 따라 스케일링하고, 상기 스케일링한 동작벡터 근방에서 상기 예측오차신호가 작아지도록 적어도 하나의 참조 프레임에 대응하는 참조 매크로블록을 개별로 재탐색하며, 상기 재탐색의 결과 얻어진 동작벡터를 이용하여 동작보상 예측을 행한다.
<효과>
스케일링한 동작벡터 후보의 주변에서 동작벡터의 재탐색을 더 행함으로써, 보다 정밀도가 높은 동작벡터 탐색을 적은 연산량으로 실현하는 것이 가능하게 되고, 약간의 연산량의 증가로 정밀도가 높은 동작보상 예측을 실현하여 고능률의 부호화를 행하는 것이 가능하게 된다.
(29) 동화상의 부호화 대상 매크로블록에 대해, 시간적으로 과거의 적어도 하나의 참조 프레임 및 그 부호화 대상 매크로블록과 그 참조 프레임 사이의 동작벡터를 이용하여 동작보상 예측 프레임간 부호화를 행하는 동화상 부호화방법에 있어서, 상기 부호화 대상 매크로블록을 포함하는 부호화 대상 프레임의 직전의 상기 부호화가 완료된 프레임에서의 그 부호화 대상 매크로블록과 프레임 내 위치가 동일한 복호화 대상 매크로블록의 동작벡터를 이용할 것인가, 새롭게 상기 동작벡터를 결정하여 부호화할 것인가를 부호화 대상 매크로블록마다 전환하여 상기 동작보상 예측 프레임간 부호화를 행한다.
<효과>
이제까지 설명한 바와 같이, 동작보상 예측 부호화에서는, 동작벡터 부호화를 위한 오버헤드가 부호화 효율에 영향을 미친다. 특히, 예측효율이 높은 영상의 부호화 시나, 매크로블록의 사이즈가 작아 부호화해야 할 동작벡터의 수가 많은 부호화를 행하는 경우에는, 동작벡터의 부호량이 지배적으로 되는 경우가 있다. (29)의 구성에 의하면, 영상의 동작의 시간상관을 이용하여 직전의 프레임의 부호화 대상 매크로블록과 동일 위치의 매크로블록의 동작벡터를 그대로 이용가능한 매크로블록에서는, 동작벡터를 부호화하지 않고, 또 직전의 프레임의 동작벡터를 이용하면 예측효율이 저하되는 매크로블록만, 새롭게 동작벡터를 부호화함으로써, 동 작벡터 부호화의 오버헤드를 삭감하여 고능률의 부호화를 실현하는 것이 가능하게 된다.
(30) 동화상의 부호화 대상 매크로블록에 대해, 적어도 하나의 참조 프레임 및 그 부호화 대상 매크로블록과 그 참조 프레임 사이의 동작벡터를 이용하여 동작보상 예측 프레임간 부호화를 행하는 동화상 부호화방법에 있어서, (a) 시간적으로 과거의 적어도 하나의 부호화가 완료된 프레임을 상기 참조 프레임으로 하는 제1 예측모드, (b) 시간적으로 미래의 부호화가 완료된 프레임을 상기 참조 프레임으로 하는 제2 예측모드, (c) 상기 시간적으로 과거 및 미래의 부호화가 완료된 프레임의 선형합을 상기 참조 프레임으로 하는 제3 예측모드, 및 (d) 상기 시간적으로 과거의 복수의 부호화가 완료된 프레임의 선형합을 상기 참조 프레임으로 하는 제4 예측모드를 상기 부호화 대상 매크로블록마다 전환하여 상기 동작보상 예측 프레임간 부호화를 행한다.
<효과>
MPEG2 비디오 부호화에서 이용되고 있는 B화상(양방향 예측 부호화)에서는, 전방 1프레임으로부터의 예측, 후방 1프레임으로부터의 예측 및 전후 프레임으로부터의 평균예측의 어느 하나가 매크로블록단위로 전환된다. 평균예측에서는, 평균화 처리가 루프필터로서 기능하고, 참조화상에서의 원화(原畵)의 노이즈나 부호화 노이즈를 제거하여 예측효율을 향상시키는 효과가 있다. 다만, 장면 변화(scene change)의 전후에서는, 양방향 예측은 곤란하게 되고, 전방 또는 후방의 1프레임으로부터의 예측으로 되어 루프필터 효과가 작용하지 않아 예측효율의 저하를 초래해 버린다. (30)의 구성에 의하면, 전방만의 예측에 있어서도, 복수의 참조 프레임으로부터의 선형합에 의해 예측화상을 생성하기 때문에, 루프필터 효과에 의한 예측효율의 개선을 얻는 것이 가능하게 된다.
(31) (30)에 있어서, 상기 선형합에 의한 예측이 프레임간 거리에 따른 선형 내삽 및 선형 외삽이다.
<효과>
페이드 등으로 신호강도가 시간변화하는 경우라도, 복수의 프레임으로부터의 선형 내삽 혹은 선형 외삽 예측에 의해 용이하게 적절한 예측화상을 생성하는 것이 가능하게 되어 높은 예측효율을 얻는 것이 가능하게 된다.
(32) 동화상의 복호화 대상 매크로블록에 대해, 소정의 조합의 복수의 참조 프레임 및 그 복호화 대상 매크로블록과 적어도 하나의 참조 프레임 사이의 동작벡터를 이용하여 동작보상 예측 프레임간 복호화를 행하는 동화상 복호화방법에 있어서, (a) 상기 복호화 대상 매크로블록마다의 예측오차신호, 상기 복수의 참조 프레임의 조합을 나타내는 제1 인덱스, 참조 매크로블록에 대한 선형합의 가중계수의 조를 나타내는 제2 인덱스 및 상기 동작벡터의 정보를 포함하는 부호화 데이터를 복호화하고, (b) 복호화된 상기 동작벡터 및 상기 제1 인덱스의 정보에 따라 상기 복수의 참조 프레임으로부터 복수의 참조 매크로블록을 추출하며, (c) 복호화된 상기 제2 인덱스의 정보에 의해 나타내어지는 상기 가중계수의 조를 이용하여, 추출한 상기 복수의 참조 매크로블록의 선형합을 계산함으로써 예측 매크로블록을 생성하고, (d) 상기 예측 매크로블록과 복호화된 상기 복호화 대상 매크로블록마다의 예측오차신호를 가산함으로써 동화상신호를 복호화한다.
<효과>
(1)에 의해 부호화된 부호화 데이터를 복호화하는 것이 가능하고, (1)과 마찬가지의 부호화 효율 개선효과를 가진다.
(33) (32)에 있어서, 상기 선형합의 가중계수의 조합을 나타내는 인덱스를, 프레임마다 혹은 복수의 프레임마다의 헤더 데이터로서 수신하고, 상기 예측오차신호, 상기 복수의 참조 프레임의 조합을 나타내는 인덱스 및 동작벡터를 매크로블록마다 수신하여 복호화한다.
<효과>
(2)에 의해 부호화된 부호화 데이터를 복호화하는 것이 가능하고, (2)와 마찬가지의 부호화 효율 개선효과를 가진다.
(34) (32) 또는 (33)에 있어서, 상기 수신한 동작벡터가 상기 복수의 참조 프레임 중 특정의 하나의 참조 프레임에 관한 동작벡터이고, 상기 수신한 동작벡터를 복호화 프레임과 참조 프레임과의 프레임간 거리에 따라 스케일링하며, 상기 스케일링한 동작벡터를 이용하여 다른 하나 또는 복수의 참조 프레임에 대한 동작벡터를 생성한다.
<효과>
(3)에 의해 부호화된 부호화 데이터를 복호화하는 것이 가능하고, (3)과 마찬가지의 부호화 효율 개선효과를 가진다.
(35) (34)에 있어서, 상기 특정의 하나의 참조 프레임에 관한 동작벡터가 상 기 참조 프레임과 부호화되는 프레임과의 프레임간 거리에 따라 정규화된 동작벡터이다.
<효과>
(4)에 의해 부호화된 부호화 데이터를 복호화하는 것이 가능하고, (4)와 마찬가지의 부호화 효율 개선효과를 가진다.
(36) (34)에 있어서, 상기 특정의 하나의 참조 프레임에 관한 동작벡터가 상기 참조 프레임 중 부호화되는 프레임과의 프레임간 거리가 가장 먼 참조 프레임에 대한 동작벡터이다.
<효과>
(5)에 의해 부호화된 부호화 데이터를 복호화하는 것이 가능하고, (5)와 마찬가지의 부호화 효율 개선효과를 가진다.
(37) (32) 또는 (33)에 있어서, 상기 수신한 동작벡터가 상기 복수의 참조 프레임 중 특정의 하나의 참조 프레임에 관한 제1 동작벡터와, 다른 하나 또는 복수의 참조 프레임에 대한 차분벡터이고, 상기 제1 동작벡터를 부호화 대상 프레임과 상기 하나 또는 복수의 참조 프레임과의 프레임간 거리에 따라 스케일링하며, 상기 스케일링된 동작벡터와 상기 수신한 하나 또는 복수의 참조 프레임에 대한 차분벡터를 가산함으로써, 상기 다른 하나 또는 복수의 참조 프레임에 대한 동작벡터를 생성한다.
<효과>
(6)에 의해 부호화된 부호화 데이터를 복호화하는 것이 가능하고, (6)과 마 찬가지의 부호화 효율 개선효과를 가진다.
(38) (37)에 있어서, 상기 수신한 제1 동작벡터가 상기 참조 프레임과 부호화되는 프레임과의 프레임간 거리에 따라 정규화된 동작벡터이다.
<효과>
(7)에 의해 부호화된 부호화 데이터를 복호화하는 것이 가능하고, (7)과 마찬가지의 부호화 효율 개선효과를 가진다.
(39) (37)에 있어서, 상기 수신한 제1 동작벡터가 상기 복수의 참조 프레임 중 부호화되는 프레임과의 프레임간 거리가 가장 먼 참조 프레임에 대한 동작벡터이다.
<효과>
(8)에 의해 부호화된 부호화 데이터를 복호화하는 것이 가능하고, (8)과 마찬가지의 부호화 효율 개선효과를 가진다.
(40) (32)∼(39)의 어느 하나에 있어서, 매크로블록마다 스킵한 매크로블록수에 관한 정보를 수신하고, 하나 이상의 매크로블록이 스킵되어 있는 경우는, 스킵된 각각의 매크로블록에 대해 매크로블록을 복호화하는데 필요한 모든 동작벡터의 요소가 0인 것으로 하여, 미리 정해진 복수의 참조 프레임의 조합을 이용하여 상기 복수의 참조 프레임으로부터 참조 매크로블록을 추출하고, 상기 복수의 참조 매크로블록으로부터 상기 수신한 선형합의 가중계수의 조를 나타내는 인덱스에 기초한 선형합에 의해 예측 매크로블록을 생성하며, 상기 예측 매크로블록을 복호화 화상으로서 이용한다.
<효과>
(9)에 의해 부호화된 부호화 데이터를 복호화하는 것이 가능하고, (9)와 마찬가지의 부호화 효율 개선효과를 가진다.
(41) (32)∼(39)의 어느 하나에 있어서, 매크로블록마다 스킵한 매크로블록수에 관한 정보를 수신하고, 하나 이상의 매크로블록이 스킵되어 있는 경우는, 스킵된 각각의 매크로블록에 대해 직전의 스킵되지 않고 부호화된 매크로블록의 동작벡터와, 미리 정해진 복수의 참조 프레임의 조합을 이용하여, 상기 복수의 참조 프레임으로부터 참조 매크로블록을 추출하고, 상기 복수의 참조 매크로블록으로부터 상기 수신한 선형합의 가중계수의 조를 나타내는 인덱스에 기초한 선형합에 의해 예측 매크로블록을 생성하며, 상기 예측 매크로블록을 복호화 화상으로서 이용한다.
<효과>
(10)에 의해 부호화된 부호화 데이터를 복호화하는 것이 가능하고, (10)과 마찬가지의 부호화 효율 개선효과를 가진다.
(42) (40) 또는 (41)에 있어서, 상기 미리 정해진 참조 프레임의 조합이 직전에 복호화된 2프레임이다.
<효과>
(11)에 의해 부호화된 부호화 데이터를 복호화하는 것이 가능하고, (11)과 마찬가지의 부호화 효율 개선효과를 가진다.
(43) (40) 또는 (41)에 있어서, 상기 미리 정해진 참조 프레임의 조합을 나 타내는 인덱스를 부호화된 프레임의 헤더 데이터로서 수신하고, 상기 수신한 인덱스에 따라 스킵한 매크로블록의 복호를 행한다.
<효과>
(12)에 의해 부호화된 부호화 데이터를 복호화하는 것이 가능하고, (12)와 마찬가지의 부호화 효율 개선효과를 가진다.
(44) (32)∼(39)의 어느 하나에 있어서, 매크로블록마다 스킵한 매크로블록수에 관한 정보를 수신하고, 하나 이상의 매크로블록이 스킵되어 있는 경우는, 스킵된 각각의 매크로블록에 대해 매크로블록을 복호화하는데 필요한 모든 동작벡터의 요소가 0인 것으로 하여, 직전의 스킵되지 않고 부호화된 매크로블록에서의 복수의 참조 프레임의 조합을 나타내는 인덱스를 이용하여, 상기 복수의 참조 프레임으로부터 참조 매크로블록을 추출하고, 상기 복수의 참조 매크로블록으로부터 상기 수신한 선형합의 가중계수의 조를 나타내는 인덱스에 기초한 선형합에 의해 예측 매크로블록을 생성하며, 상기 예측 매크로블록을 복호화 화상으로서 이용한다.
<효과>
(13)에 의해 부호화된 부호화 데이터를 복호화하는 것이 가능하고, (13)과 마찬가지의 부호화 효율 개선효과를 가진다.
(45) (32)∼(39)의 어느 하나에 있어서, 매크로블록마다 스킵한 매크로블록수에 관한 정보를 수신하고, 하나 이상의 매크로블록이 스킵되어 있는 경우는, 스킵된 각각의 매크로블록에 대해 직전의 스킵되지 않고 부호화된 매크로블록의 동작벡터와, 상기 직전의 스킵되지 않고 부호화된 매크로블록에서의 복수의 참조 프레 임의 조합을 나타내는 인덱스를 이용하여, 상기 복수의 참조 프레임으로부터 참조 매크로블록을 추출하고, 상기 복수의 참조 매크로블록으로부터 상기 수신한 선형합의 가중계수의 조를 나타내는 인덱스에 기초한 선형합에 의해 예측 매크로블록을 생성하며, 상기 예측 매크로블록을 복호화 화상으로서 이용한다.
<효과>
(14)에 의해 부호화된 부호화 데이터를 복호화하는 것이 가능하고, (14)와 마찬가지의 부호화 효율 개선효과를 가진다.
(46) (32)∼(39)의 어느 하나에 있어서, 상기 수신한 동작벡터가 프레임 내에서 인접하는 하나 또는 복수의 매크로블록의 동작벡터로부터 예측한 동작벡터와의 차분벡터로서 부호화되어 있고, 상기 인접하는 복수의 매크로블록의 복호화된 동작벡터로부터 예측 동작벡터를 생성하며, 상기 수신한 동작벡터와 가산함으로써, 해당하는 매크로블록의 동작벡터를 복호화한다.
<효과>
(15)에 의해 부호화된 부호화 데이터를 복호화하는 것이 가능하고, (15)와 마찬가지의 부호화 효율 개선효과를 가진다.
(47) (32)∼(39)의 어느 하나에 있어서, 상기 수신한 동작벡터가 직전의 프레임 내의 동일 위치의 매크로블록에서의 동작벡터로부터 예측한 동작벡터와의 차분벡터로서 부호화되어 있고, 직전에 복호화한 프레임의 동일 위치의 매크로블록에서의 복호화된 동작벡터로부터 예측한 동작벡터와, 상기 수신한 동작벡터를 가산함으로써, 해당하는 매크로블록의 동작벡터를 복호화하는 것을 제47의 특징으로 한 다.
<효과>
(16)에 의해 부호화된 부호화 데이터를 복호화하는 것이 가능하고, (16)과 마찬가지의 부호화 효율 개선효과를 가진다.
(48) (32)∼(39)의 어느 하나에 있어서, 상기 수신한 동작벡터가 프레임 내에서 인접하는 하나 또는 복수의 매크로블록, 및 직전의 프레임 내의 동일 위치의 매크로블록에서의 동작벡터로부터 예측한 동작벡터와의 차분벡터로서 부호화되어 있고, 상기 인접하는 복수의 매크로블록의 복호화된 동작벡터와, 직전에 복호화한 프레임의 동일 위치의 매크로블록에서의 복호화된 동작벡터로부터 예측 동작벡터를 생성하며, 상기 예측 동작벡터와 상기 수신한 동작벡터를 가산함으로써, 해당하는 매크로블록의 동작벡터를 복호화한다.
<효과>
(17)에 의해 부호화된 부호화 데이터를 복호화하는 것이 가능하고, (17)과 마찬가지의 부호화 효율 개선효과를 가진다.
(49) (46)∼(48)의 어느 하나에 있어서, 매크로블록마다 스킵한 매크로블록수에 관한 정보를 수신하고, 하나 이상의 매크로블록이 스킵되어 있는 경우는, 스킵된 각각의 매크로블록에 대해 상기 예측 동작벡터를 스킵한 매크로블록의 동작벡터로서, 미리 정해진 복수의 참조 프레임의 조합을 이용하여, 상기 복수의 참조 프레임으로부터 참조 매크로블록을 추출하고, 상기 복수의 참조 매크로블록으로부터 상기 수신한 선형합의 가중계수의 조를 나타내는 인덱스에 기초한 선형합에 의해 예측 매크로블록을 생성하며, 상기 예측 매크로블록을 복호화 화상으로서 이용한다.
<효과>
(18)에 의해 부호화된 부호화 데이터를 복호화하는 것이 가능하고, (18)과 마찬가지의 부호화 효율 개선효과를 가진다.
(50) (46)∼(48)의 어느 하나에 있어서, 매크로블록마다 스킵한 매크로블록수에 관한 정보를 수신하고, 하나 이상의 매크로블록이 스킵되어 있는 경우는, 스킵된 각각의 매크로블록에 대해 직전의 스킵되지 않고 부호화된 매크로블록의 동작벡터를 상기 예측 동작벡터에 가산한 동작벡터와, 미리 정해진 복수의 참조 프레임의 조합을 이용하여, 상기 복수의 참조 프레임으로부터 참조 매크로블록을 추출하고, 상기 복수의 참조 매크로블록으로부터 상기 수신한 선형합의 가중계수의 조를 나타내는 인덱스에 기초한 선형합에 의해 예측 매크로블록을 생성하며, 상기 예측 매크로블록을 복호화 화상으로서 이용한다.
<효과>
(19)에 의해 부호화된 부호화 데이터를 복호화하는 것이 가능하고, (19)와 마찬가지의 부호화 효율 개선효과를 가진다.
(51) (49) 또는 (50)에 있어서, 상기 미리 정해진 참조 프레임의 조합이 직전에 복호화된 2프레임이다.
<효과>
(20)에 의해 부호화된 부호화 데이터를 복호화하는 것이 가능하고, (20)과 마찬가지의 부호화 효율 개선효과를 가진다.
(52) (49) 또는 (50)에 있어서, 상기 미리 정해진 참조 프레임의 조합을 나타내는 인덱스를 부호화된 프레임의 헤더 데이터로서 수신하고, 상기 수신한 인덱스에 따라 스킵한 매크로블록의 복호를 행한다.
<효과>
(21)에 의해 부호화된 부호화 데이터를 복호화하는 것이 가능하고, (21)과 마찬가지의 부호화 효율 개선효과를 가진다.
(53) (46)∼(48)의 어느 하나에 있어서, 매크로블록마다 스킵한 매크로블록수에 관한 정보를 수신하고, 하나 이상의 매크로블록이 스킵되어 있는 경우는, 스킵된 각각의 매크로블록에 대해 상기 예측 동작벡터를 스킵한 매크로블록의 동작벡터로서, 직전의 스킵되지 않고 부호화된 매크로블록에서의 복수의 참조 프레임의 조합을 나타내는 인덱스를 이용하여, 상기 복수의 참조 프레임으로부터 참조 매크로블록을 추출하고, 상기 복수의 참조 매크로블록으로부터 상기 수신한 선형합의 가중계수의 조를 나타내는 인덱스에 기초한 선형합에 의해 예측 매크로블록을 생성하며, 상기 예측 매크로블록을 복호화 화상으로서 이용한다.
<효과>
(22)에 의해 부호화된 부호화 데이터를 복호화하는 것이 가능하고, (22)와 마찬가지의 부호화 효율 개선효과를 가진다.
(54) (46)∼(48)의 어느 하나에 있어서, 매크로블록마다 스킵한 매크로블록수에 관한 정보를 수신하고, 하나 이상의 매크로블록이 스킵되어 있는 경우는, 스 킵된 각각의 매크로블록에 대해 직전의 스킵되지 않고 부호화된 매크로블록의 차분 동작벡터를, 상기 예측 동작벡터에 가산하여 동작벡터를 생성하고, 상기 직전의 스킵되지 않고 부호화된 매크로블록에서의 복수의 참조 프레임의 조합을 나타내는 인덱스를 이용하여 상기 복수의 참조 프레임으로부터 참조 매크로블록을 추출하며, 상기 복수의 참조 매크로블록으로부터 상기 수신한 선형합의 가중계수의 조를 나타내는 인덱스에 기초한 선형합에 의해 예측 매크로블록을 생성하고, 상기 예측 매크로블록을 복호화 화상으로서 이용한다.
<효과>
(23)에 의해 부호화된 부호화 데이터를 복호화하는 것이 가능하고, (23)과 마찬가지의 부호화 효율 개선효과를 가진다.
(55) 동화상의 복호화 대상 매크로블록에 대해, 소정의 조합의 복수의 참조 프레임 및 그 복호화 대상 매크로블록과 적어도 하나의 참조 프레임 사이의 동작벡터를 이용하여 동작보상 예측 프레임간 복호화를 행하는 동화상 복호화방법에 있어서, (a) 상기 복호화 대상 매크로블록마다의 예측오차신호, 상기 복수의 참조 프레임의 조합을 나타내는 제1 인덱스, 부호화가 완료된 프레임의 프레임번호를 나타내는 제2 인덱스 및 상기 동작벡터의 정보를 포함하는 부호화 데이터를 복호화하고, (b) 복호화된 상기 동작벡터 및 상기 제1 인덱스의 정보에 따라 상기 복수의 참조 프레임으로부터 복수의 참조 매크로블록을 추출하며, (c) 복호화된 상기 제2 인덱스의 정보에 따라 상기 복수의 참조 프레임과 상기 부호화가 완료된 프레임과의 프레임간 거리를 산출하고, (d) 산출된 상기 프레임간 거리에 따라 결정되는 가중계 수의 조를 이용하여, 추출한 상기 복수의 참조 매크로블록의 선형합을 계산함으로써 예측 매크로블록을 생성하며, (e) 상기 예측 매크로블록과 복호화된 상기 예측오차신호를 가산함으로써 동화상신호를 복호화한다.
<효과>
(24)에 의해 부호화된 부호화 데이터를 복호화하는 것이 가능하고, (24)와 마찬가지의 부호화 효율 개선효과를 가진다.
(56) 동화상의 복호화 대상 매크로블록에 대해, 시간적으로 과거의 적어도 하나의 참조 프레임 및 그 복호화 대상 매크로블록과 적어도 하나의 참조 프레임 사이의 동작벡터를 이용하여 동작보상 예측 프레임간 복호화를 행하는 동화상 복호화방법에 있어서, (a) 상기 복호화 대상 매크로블록마다의 예측오차신호와, 부호화된 제1 동작벡터 또는 직전의 부호화가 완료된 프레임에서의 프레임 내 동일 위치의 매크로블록의 제2 동작벡터를 이용하는 것을 나타내는 플래그의 어느 하나의 정보를 포함하는 부호화 데이터를 수신하여 복호화하고, (b) 상기 제1 동작벡터의 정보를 수신한 복호화 대상 매크로블록에 대해서는 복호화된 상기 제1 동작벡터, 상기 플래그를 수신한 복호화 대상 매크로블록에 대해서는 상기 제2 동작벡터를 각각 이용하여 예측 매크로블록을 생성하며, (c) 상기 예측 매크로블록과 복호화된 상기 예측오차신호를 가산함으로써 동화상신호를 복호화한다.
<효과>
(29)에 의해 부호화된 부호화 데이터를 복호화하는 것이 가능하고, (29)와 마찬가지의 부호화 효율 개선효과를 가진다.
(57) 동화상의 복호화 대상 매크로블록에 대해, 복호화 대상 매크로블록과 적어도 하나의 참조 프레임 사이의 동작벡터를 이용하여 동작보상 예측 프레임간 복호화를 행하는 동화상 복호화방법에 있어서, (a) 상기 복호화 대상 매크로블록마다의 예측오차신호의 정보와, 시간적으로 과거의 적어도 하나의 부호화 대상 프레임을 상기 참조 프레임으로 하는 제1 예측모드, 시간적으로 미래의 부호화 대상 프레임을 상기 참조 프레임으로 하는 제2 예측모드, 상기 시간적으로 과거 및 미래의 부호화 대상 프레임의 선형합을 상기 참조 프레임으로 하는 제3 예측모드, 및 상기 시간적으로 과거의 복수의 부호화 대상 프레임의 선형합을 상기 참조 프레임으로 하는 제4 예측모드의 어느 하나를 나타내는 예측모드 정보 및 상기 동작벡터의 정보를 포함하는 부호화 데이터를 수신하여 복호화하고, (b) 상기 예측모드 정보 및 상기 동작벡터의 정보를 이용하여 예측 매크로블록을 생성하며, (c) 상기 예측 매크로블록신호와 복호화된 상기 예측오차신호를 가산함으로써 동화상신호를 복호화한다.
<효과>
(30)에 의해 부호화된 부호화 데이터를 복호화하는 것이 가능하고, (30)과 마찬가지의 부호화 효율 개선효과를 가진다.
(58) (57)에 있어서, 상기 선형합에 의한 예측이 프레임간 거리에 따른 선형 내삽 및 선형 외삽이다.
<효과>
(31)에 의해 부호화된 부호화 데이터를 복호화하는 것이 가능하고, (31)과 마찬가지의 부호화 효율 개선효과를 가진다.
(59) 동화상의 부호화 대상 매크로블록에 대해, 복수의 참조 프레임으로부터 선택된 적어도 하나의 참조 프레임, 및 상기 부호화 대상 매크로블록과 상기 적어도 하나의 참조 프레임 사이의 동작벡터를 이용하여 동작보상 예측 프레임간 부호화를 행하는 동화상 부호화방법에 있어서, 상기 동작벡터가 상기 동화상의 상기 부호화 대상 매크로블록에 인접하는 복수의 매크로블록에 대한 동작벡터로부터 선택된 예측벡터와 일치하고, 또한 상기 부호화 대상 매크로블록에 대해 선택된 적어도 하나의 참조 프레임이 상기 예측벡터가 선택된 매크로블록에 대한 참조 프레임과 일치하며, 상기 동작보상 예측 프레임간 부호화에서의 부호화해야 할 예측오차신호가 전부 0인 부호화 대상 매크로블록에 대해, 상기 동작보상 예측 프레임간 부호화를 스킵하고, 다음의 부호화 대상 매크로블록의 동작보상 예측 프레임간 부호화 시에 그 동작보상 예측 프레임간 부호화를 스킵한 매크로블록의 개수를 부호화한다.
<효과>
(22)와 마찬가지로, 인접하는 매크로블록간의 프레임간 예측에서의 동작벡터 및 참조 프레임 선택의 상관을 이용하여, 효율적으로 매크로블록 스킵을 발생시켜 부호화 오버헤드를 저감하여 부호화 효율을 향상시키는 것이 가능함과 더불어, 동작벡터의 예측에서 이용된 인접 매크로블록과 동일한 참조 프레임을 이용하는 것을 스킵조건으로 함으로써, 동작벡터와 참조 프레임이 조합에 의한 인접 매크로블록간 상관을 이용하여 더 효율적으로 매크로블록 스킵을 발생시키는 것이 가능하게 된다.
(60) 동화상의 부호화 대상 매크로블록에 대해, 복수의 참조 프레임으로부터 선택된 적어도 하나의 제1 참조 프레임, 및 상기 부호화 대상 매크로블록과 상기 제1 참조 프레임 사이의 동작벡터를 이용하여 동작보상 예측 프레임간 부호화를 행하는 동화상 부호화방법에 있어서, 상기 동작보상 예측 프레임간 부호화에 의해 얻어지는 예측오차신호, 상기 동작보상 예측 프레임간 부호화에 이용하는 동작벡터와 상기 부호화 대상 매크로블록에 인접하는 복수의 매크로블록과 제2 참조 프레임 사이의 동작벡터로부터 선택된 예측벡터와의 차분벡터, 및 상기 제1 참조 프레임을 나타내는 인덱스와 상기 제2 참조 프레임을 나타내는 인덱스의 차분치를 부호화한다.
<효과>
(15)∼(17)과 마찬가지로, 인접하는 매크로블록간의 동작벡터의 상관을 이용하여, 동작벡터 정보를 효율적으로 부호화함과 더불어, 복수의 참조 프레임 중에서 각 매크로블록이 참조하는 프레임에 관한 인덱스에 대해, 예측벡터가 선택된 인접 매크로블록에서의 참조 프레임을 나타내는 인덱스와, 부호화 대상 매크로블록에서의 참조 프레임을 나타내는 인덱스의 차분치를 부호화함으로써, 동작벡터와 참조 프레임의 조에 의한 인접 매크로블록간 상관을 이용하여 참조 프레임을 나타내는 인덱스의 부호화 효율을 향상시키는 것이 가능하게 되고, 부호화 오버헤드를 저감하여 고능률의 동화상 부호화를 행하는 것이 가능하게 된다.
(61) 동화상의 복호화 대상 매크로블록에 대해, 그 복호화 대상 매크로블록과 복수의 참조 프레임 중에서 선택된 적어도 하나의 참조 프레임 사이의 동작벡터 를 이용하여 동작보상 예측 프레임간 복호화를 행하는 동화상 복호화방법에 있어서, (a) 동작보상 예측 프레임간 부호화에 의해 얻어진 상기 복호화 대상 매크로블록마다의 예측오차신호, 직전에 스킵한 매크로블록의 개수 및 상기 선택된 적어도 하나의 참조 프레임을 나타내는 인덱스의 정보를 포함하는 부호화 데이터를 수신하여 복호화하고, (b) 상기 스킵한 매크로블록에 있어서 그 스킵한 매크로블록에 인접하는 복수의 매크로블록의 동작벡터로부터 하나의 예측벡터를 선택하며, (c) 상기 예측벡터가 선택된 매크로블록에 대한 적어도 하나의 참조 프레임 및 상기 예측벡터에 따라 예측 매크로블록을 생성하고, (d) 상기 예측 매크로블록을 상기 스킵한 매크로블록의 복호화 화상신호로서 출력한다.
<효과>
(59)에 의해 부호화된 부호화 데이터를 복호화하는 것이 가능하게 되고, (59)와 마찬가지의 부호화 효율 개선효과를 가진다.
(62) 동화상의 복호화 대상 매크로블록에 대해, 그 복호화 대상 매크로블록과 복수의 참조 프레임 중에서 선택된 적어도 하나의 제1 참조 프레임 사이의 동작벡터를 이용하여 동작보상 예측 프레임간 복호화를 행하는 동화상 복호화방법에 있어서, (a) 동작보상 예측 프레임간 부호화에 의해 얻어진 예측오차신호, 그 동작보상 예측 프레임간 부호화에 이용한 동작벡터와 상기 복호화 대상 매크로블록에 인접하는 복수의 매크로블록과 제2 참조 프레임과의 사이의 동작벡터로부터 선택된 예측벡터와의 차분벡터, 및 상기 제1 참조 프레임을 나타내는 제1 인덱스와 상기 제2 참조 프레임을 나타내는 제2 인덱스의 차분치를 포함하는 부호화 데이터를 수 신하여 복호화하고, (b) 상기 복호화 대상 매크로블록에 인접하는 복수의 매크로블록으로부터 상기 예측벡터를 선택하며, (c) 선택된 예측벡터와 복호화된 상기 차분벡터를 가산함으로써 상기 동작벡터를 재생하고, (d) 상기 예측벡터가 선택된 매크로블록에서의 참조 프레임의 인덱스와 상기 복호화한 차분치를 가산함으로써 상기 제1 인덱스를 재생하며, (e) 상기 재생된 동작벡터 및 재생된 제1 인덱스에 따라 예측 매크로블록을 생성하고, (f) 생성된 상기 예측 매크로블록과 상기 복호화된 예측오차신호를 가산함으로써 상기 복호화 대상 매크로블록의 복호화 재생 화상신호를 생성한다.
<효과>
(60)에 의해 부호화된 부호화 데이터를 복호화하는 것이 가능하게 되고, (60)과 마찬가지의 부호화 효율 개선효과를 가진다.
전술한 바와 같이 본 발명에 따른 동화상 부호화 및 복호화의 처리는, 하드웨어(장치)로서 실현해도 좋고, 컴퓨터를 이용하여 소프트웨어에 의해 실행해도 좋다. 일부의 처리를 하드웨어로 실현하고, 다른 처리를 소프트웨어에 의해 행해도 좋다. 따라서, 본 발명에 의하면, (1)∼(62)에서 설명한 동화상 부호화 또는 복호화 처리를 컴퓨터에 수행시키기 위한 프로그램을 제공하는 것도 가능하다.
이상 설명한 바와 같이 본 발명에 의하면, 종래의 MPEG 등의 동화상 부호화방식이 만족스럽지 못한 페이드 인/페이드 아웃(fade-in and fade-out) 등의 영상에 대해, 부호화 및 복호화의 연산량이나 비용의 대폭적인 증가를 필요로 하지 않 고 예측효율을 대폭적으로 향상시키는 것이 가능하게 되고, 또 부호화 데이터의 오버헤드도 작아 고화질로 고능률의 동화상 부호화 및 복호화 방식을 제공하는 것이 가능하게 된다.

Claims (8)

  1. 동화상의 부호화 프레임에 포함된 각 부호화 블록에 대해, 적어도 하나의 참조 프레임을 이용하여 동작보상 예측 프레임간 복호화를 행하는 동화상 복호화방법으로,
    예측블록에 대응하는 상기 부호화 블록의 신호에 대한 예측오차신호를 복호화하는 단계와,
    부호화 측에서의 예측블록의 생성 시에, 단일의 참조 프레임으로부터 예측블록신호를 생성하는 제1 예측블록 생성모드, 및 복수의 참조 프레임으로부터 추출한 복수의 참조 블록에 기초한 선형합 예측에 의해 상기 예측블록신호를 생성하는 제2 예측블록 생성모드의 어느 것이 선택되었는가를 나타내는 제1 부호화모드 정보를 상기 부호화 블록마다 또는 복수의 상기 부호화 블록군마다 수신하여 복호화하는 단계,
    상기 선형합 예측으로 상기 복수의 참조 블록에 기초한 평균치 예측, 혹은 상기 복수의 참조 프레임 및 상기 부호화 프레임의 표시시각에 기초한 선형 보간 예측의 어느 것이 선택되었는가를 나타내는 제2 부호화모드 정보를 상기 부호화 프레임의 복수의 화소블록군마다 혹은 상기 부호화 프레임마다 수신하여 복호화하는 단계,
    복호화된 제1 부호화모드 정보 및 복호화된 제2 부호화모드 정보에 따라 상기 예측블록을 생성하는 단계 및,
    상기 생성된 예측블록의 신호 및 상기 복호화된 예측오차신호를 이용하여 재생 동화상신호를 생성하는 단계를 구비하여 이루어진 것을 특징으로 하는 동화상 복호화방법.
  2. 제1항에 있어서, 상기 예측블록을 생성하는 단계는, 상기 제1 부호화모드 정보가 상기 제1 예측블록 생성모드를 나타낼 때 단일의 참조 프레임으로부터 상기 예측블록을 생성하는 단계를 포함하고 있는 것을 특징으로 하는 동화상 복호화방법.
  3. 제1항에 있어서, 상기 예측블록을 생성하는 단계는, 상기 제1 부호화모드 정보가 상기 제2 예측블록 생성모드를 나타내고 상기 제2 부호화모드 정보가 복수의 참조 블록의 평균 예측을 나타낼 때 그 평균 예측에 의해 상기 예측블록을 생성하는 단계를 포함하고 있는 것을 특징으로 하는 동화상 복호화방법.
  4. 제1항에 있어서, 상기 예측블록을 생성하는 단계는, 상기 제1 부호화모드 정보가 상기 제2 예측블록 생성모드를 나타내고 상기 제2 부호화모드 정보가 상기 복수의 참조 프레임 및 상기 부호화 프레임의 표시시각에 기초한 선형 보간 예측을 나타낼 때 그 선형 보간 예측에 의해 상기 예측블록을 생성하는 단계를 포함하고 있는 것을 특징으로 하는 동화상 복호화방법.
  5. 동화상의 부호화 프레임에 포함된 각 부호화 블록에 대해, 적어도 하나의 참조 프레임을 이용하여 동작보상 예측 프레임간 복호화를 행하는 동화상 복호화장치로,
    예측블록에 대응하는 상기 부호화 블록의 신호에 대한 예측오차신호를 복호화하고, 부호화 측에서의 예측블록의 생성 시에, 단일의 참조 프레임으로부터 예측블록신호를 생성하는 제1 예측블록 생성모드, 및 복수의 참조 프레임으로부터 추출한 복수의 참조 블록에 기초한 선형합 예측에 의해 상기 예측블록신호를 생성하는 제2 예측블록 생성모드의 어느 것이 선택되었는가를 나타내는 제1 부호화모드 정보를 상기 부호화 블록마다 또는 복수의 상기 부호화 블록군마다 수신하여 복호화하며, 상기 선형합 예측으로 상기 복수의 참조 블록에 기초한 평균치 예측, 혹은 상기 복수의 참조 프레임 및 상기 부호화 프레임의 표시시각에 기초한 선형 보간 예측의 어느 것이 선택되었는가를 나타내는 제2 부호화모드 정보를 상기 부호화 프레임의 복수의 화소블록군마다 혹은 상기 부호화 프레임마다 수신하여 복호화하는 복호화 수단과,
    복호화된 제1 부호화모드 정보 및 복호화된 제2 부호화모드 정보에 따라 상기 예측블록을 생성하는 제1 생성수단 및,
    상기 생성된 예측블록의 신호 및 상기 복호화된 예측오차신호를 이용하여 재생 동화상신호를 생성하는 제2 생성수단을 구비하여 구성된 것을 특징으로 하는 동화상 복호화장치.
  6. 제5항에 있어서, 상기 제1생성수단은, 상기 제1 부호화모드 정보가 상기 제1 예측블록 생성모드를 나타낼 때 단일의 참조 프레임으로부터 상기 예측블록을 생성하도록 구성되어 있는 것을 특징으로 하는 동화상 복호화장치.
  7. 제5항에 있어서, 상기 제1생성수단은, 상기 제1 부호화모드 정보가 상기 제2 예측블록 생성모드를 나타내고 상기 제2 부호화모드 정보가 복수의 참조 블록의 평균 예측을 나타낼 때 그 평균 예측에 의해 상기 예측블록을 생성하도록 구성되어 있는 것을 특징으로 하는 동화상 복호화장치.
  8. 제5항에 있어서, 상기 제1생성수단은, 상기 제1 부호화모드 정보가 상기 제2 예측블록 생성모드를 나타내고 상기 제2 부호화모드 정보가 상기 복수의 참조 프레임 및 상기 부호화 프레임의 표시시각에 기초한 선형 보간 예측을 나타낼 때 그 선형 보간 예측에 의해 상기 예측블록을 생성하도록 구성되어 있는 것을 특징으로 하는 동화상 복호화장치.
KR1020067020150A 2002-01-18 2003-01-20 동화상 복호화방법 및 장치 KR100746317B1 (ko)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
JP2002010874 2002-01-18
JPJP-P-2002-00010874 2002-01-18
JP2002108102 2002-04-10
JPJP-P-2002-00108102 2002-04-10
JP2002341239A JP2004007379A (ja) 2002-04-10 2002-11-25 動画像符号化方法及び動画像復号化方法
JPJP-P-2002-00341238 2002-11-25
JP2002341238A JP2003284075A (ja) 2002-01-18 2002-11-25 動画像符号化方法と装置及び復号化方法と装置
JPJP-P-2002-00341239 2002-11-25

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020067007990A Division KR100746314B1 (ko) 2002-01-18 2003-01-20 동화상 복호화방법 및 장치

Publications (2)

Publication Number Publication Date
KR20060111733A KR20060111733A (ko) 2006-10-27
KR100746317B1 true KR100746317B1 (ko) 2007-08-03

Family

ID=27617715

Family Applications (12)

Application Number Title Priority Date Filing Date
KR1020067020153A KR100746319B1 (ko) 2002-01-18 2003-01-20 동화상 부호화방법 및 장치와 동화상 복호화방법 및 장치
KR1020067020154A KR20060111735A (ko) 2002-01-18 2003-01-20 동화상 복호화방법 및 장치
KR1020067020156A KR100746321B1 (ko) 2002-01-18 2003-01-20 동화상 부호화방법 및 장치와 동화상 복호화방법 및 장치
KR1020067020147A KR20060107863A (ko) 2002-01-18 2003-01-20 동화상 부호화방법 및 장치와 동화상 복호화방법 및 장치
KR1020067020155A KR100746320B1 (ko) 2002-01-18 2003-01-20 동화상 부호화방법 및 장치와 동화상 복호화방법 및 장치
KR1020067020148A KR100746315B1 (ko) 2002-01-18 2003-01-20 동화상 부호화방법 및 장치와 동화상 복호화방법 및 장치
KR1020067020149A KR100746316B1 (ko) 2002-01-18 2003-01-20 동화상 부호화방법 및 장치
KR1020067007990A KR100746314B1 (ko) 2002-01-18 2003-01-20 동화상 복호화방법 및 장치
KR1020067020150A KR100746317B1 (ko) 2002-01-18 2003-01-20 동화상 복호화방법 및 장치
KR1020067020151A KR100746318B1 (ko) 2002-01-18 2003-01-20 동화상 부호화방법 및 장치와 동화상 복호화방법 및 장치
KR1020067020152A KR20060111734A (ko) 2002-01-18 2003-01-20 동화상 부호화방법 및 장치
KR1020037012852A KR100628489B1 (ko) 2002-01-18 2003-01-20 동화상 부호화방법 및 장치와 컴퓨터 독출가능 매체

Family Applications Before (8)

Application Number Title Priority Date Filing Date
KR1020067020153A KR100746319B1 (ko) 2002-01-18 2003-01-20 동화상 부호화방법 및 장치와 동화상 복호화방법 및 장치
KR1020067020154A KR20060111735A (ko) 2002-01-18 2003-01-20 동화상 복호화방법 및 장치
KR1020067020156A KR100746321B1 (ko) 2002-01-18 2003-01-20 동화상 부호화방법 및 장치와 동화상 복호화방법 및 장치
KR1020067020147A KR20060107863A (ko) 2002-01-18 2003-01-20 동화상 부호화방법 및 장치와 동화상 복호화방법 및 장치
KR1020067020155A KR100746320B1 (ko) 2002-01-18 2003-01-20 동화상 부호화방법 및 장치와 동화상 복호화방법 및 장치
KR1020067020148A KR100746315B1 (ko) 2002-01-18 2003-01-20 동화상 부호화방법 및 장치와 동화상 복호화방법 및 장치
KR1020067020149A KR100746316B1 (ko) 2002-01-18 2003-01-20 동화상 부호화방법 및 장치
KR1020067007990A KR100746314B1 (ko) 2002-01-18 2003-01-20 동화상 복호화방법 및 장치

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020067020151A KR100746318B1 (ko) 2002-01-18 2003-01-20 동화상 부호화방법 및 장치와 동화상 복호화방법 및 장치
KR1020067020152A KR20060111734A (ko) 2002-01-18 2003-01-20 동화상 부호화방법 및 장치
KR1020037012852A KR100628489B1 (ko) 2002-01-18 2003-01-20 동화상 부호화방법 및 장치와 컴퓨터 독출가능 매체

Country Status (11)

Country Link
US (15) US20040057523A1 (ko)
EP (13) EP1830578A1 (ko)
KR (12) KR100746319B1 (ko)
CN (11) CN1897704A (ko)
AU (2) AU2003203270B2 (ko)
BR (1) BR0302719A (ko)
CA (6) CA2574127A1 (ko)
MX (1) MXPA03007999A (ko)
NO (1) NO20034138L (ko)
SG (2) SG162623A1 (ko)
WO (1) WO2003063502A1 (ko)

Families Citing this family (175)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6765964B1 (en) 2000-12-06 2004-07-20 Realnetworks, Inc. System and method for intracoding video data
CA2574127A1 (en) * 2002-01-18 2003-07-31 Kabushiki Kaisha Toshiba Video encoding method and apparatus and video decoding method and apparatus
JP4015934B2 (ja) * 2002-04-18 2007-11-28 株式会社東芝 動画像符号化方法及び装置
JP2004007379A (ja) * 2002-04-10 2004-01-08 Toshiba Corp 動画像符号化方法及び動画像復号化方法
KR100491530B1 (ko) 2002-05-03 2005-05-27 엘지전자 주식회사 모션 벡터 결정 방법
KR100976017B1 (ko) 2002-08-08 2010-08-17 파나소닉 주식회사 동화상의 부호화 방법 및 복호화 방법
JP2004179687A (ja) * 2002-11-22 2004-06-24 Toshiba Corp 動画像符号化／復号化方法及び装置
CN1736110A (zh) * 2003-01-03 2006-02-15 汤姆森特许公司 通过预测和补偿显示调节变化来保持所显示的视频图像中的白色均匀的系统
US9330060B1 (en) 2003-04-15 2016-05-03 Nvidia Corporation Method and device for encoding and decoding video image data
US8824553B2 (en) 2003-05-12 2014-09-02 Google Inc. Video compression method
US8660182B2 (en) 2003-06-09 2014-02-25 Nvidia Corporation MPEG motion estimation based on dual start points
US20050013498A1 (en) 2003-07-18 2005-01-20 Microsoft Corporation Coding of motion vector information
US7499495B2 (en) * 2003-07-18 2009-03-03 Microsoft Corporation Extended range motion vectors
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7567617B2 (en) * 2003-09-07 2009-07-28 Microsoft Corporation Predicting motion vectors for fields of forward-predicted interlaced video frames
US7616692B2 (en) * 2003-09-07 2009-11-10 Microsoft Corporation Hybrid motion vector prediction for interlaced forward-predicted fields
US7599438B2 (en) * 2003-09-07 2009-10-06 Microsoft Corporation Motion vector block pattern coding and decoding
US7620106B2 (en) * 2003-09-07 2009-11-17 Microsoft Corporation Joint coding and decoding of a reference field selection and differential motion vector information
US7623574B2 (en) * 2003-09-07 2009-11-24 Microsoft Corporation Selecting between dominant and non-dominant motion vector predictor polarities
KR101196429B1 (ko) * 2004-03-12 2012-11-01 삼성전자주식회사 동영상 트랜스코딩 방법 및 그 장치, 이에 사용되는움직임 벡터 보간방법
JP4414904B2 (ja) * 2004-04-16 2010-02-17 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
JP2005318297A (ja) * 2004-04-28 2005-11-10 Toshiba Corp 動画像符号化・復号方法及び装置
US8731054B2 (en) * 2004-05-04 2014-05-20 Qualcomm Incorporated Method and apparatus for weighted prediction in predictive frames
US7953152B1 (en) 2004-06-28 2011-05-31 Google Inc. Video compression and encoding method
RU2370909C2 (ru) * 2004-07-01 2009-10-20 Квэлкомм Инкорпорейтед Способ и устройство для использования способов преобразования кадров с повышением частоты кадров при кодировании масштабируемого видео
CN101023673B (zh) * 2004-09-16 2011-06-08 汤姆逊许可证公司 具有利用局部亮度变化的加权预测的视频编解码器
KR100694058B1 (ko) 2004-09-30 2007-03-12 삼성전자주식회사 멀티 타임 스캔 방식에 기초한 인트라 모드 인코딩 및디코딩 방법 및 장치
KR100694059B1 (ko) 2004-09-30 2007-03-12 삼성전자주식회사 멀티 타임 스캔 방식에 기초한 인터 모드 인코딩 및디코딩 방법 및 장치
KR20060043118A (ko) * 2004-10-07 2006-05-15 엘지전자 주식회사 영상 신호의 인코딩 및 디코딩 방법
JP4284265B2 (ja) * 2004-11-02 2009-06-24 株式会社東芝 動画像符号化装置、動画像符号化方法、動画像復号化装置および動画像復号化方法
EP1905004A2 (en) * 2005-05-26 2008-04-02 LG Electronics Inc. Method of encoding and decoding an audio signal
US8457203B2 (en) * 2005-05-26 2013-06-04 Ntt Docomo, Inc. Method and apparatus for coding motion and prediction weighting parameters
JP2009500656A (ja) * 2005-06-30 2009-01-08 エルジー エレクトロニクス インコーポレイティド オーディオ信号をエンコーディング及びデコーディングするための装置とその方法
CA2613731C (en) * 2005-06-30 2012-09-18 Lg Electronics Inc. Apparatus for encoding and decoding audio signal and method thereof
MX2008000122A (es) * 2005-06-30 2008-03-18 Lg Electronics Inc Metodo y aparato para codificar y descodificar una senal de audio.
US20070009042A1 (en) * 2005-07-08 2007-01-11 Robert Craig Video game system using pre-encoded macro-blocks in an I-frame
US8074248B2 (en) 2005-07-26 2011-12-06 Activevideo Networks, Inc. System and method for providing video content associated with a source image to a television in a communication network
WO2007015047A2 (en) * 2005-08-04 2007-02-08 Nds Limited Advanced digital tv system
US7765104B2 (en) * 2005-08-30 2010-07-27 Lg Electronics Inc. Slot position coding of residual signals of spatial audio coding application
KR101169280B1 (ko) * 2005-08-30 2012-08-02 엘지전자 주식회사 오디오 신호의 디코딩 방법 및 장치
US7788107B2 (en) 2005-08-30 2010-08-31 Lg Electronics Inc. Method for decoding an audio signal
US8577483B2 (en) * 2005-08-30 2013-11-05 Lg Electronics, Inc. Method for decoding an audio signal
JP4236654B2 (ja) * 2005-09-13 2009-03-11 株式会社東芝 動画像符号化装置及びその方法
US7646319B2 (en) * 2005-10-05 2010-01-12 Lg Electronics Inc. Method and apparatus for signal processing and encoding and decoding method, and apparatus therefor
KR100857112B1 (ko) * 2005-10-05 2008-09-05 엘지전자 주식회사 신호 처리 방법 및 이의 장치, 그리고 인코딩 및 디코딩방법 및 이의 장치
US8068569B2 (en) * 2005-10-05 2011-11-29 Lg Electronics, Inc. Method and apparatus for signal processing and encoding and decoding
US7696907B2 (en) * 2005-10-05 2010-04-13 Lg Electronics Inc. Method and apparatus for signal processing and encoding and decoding method, and apparatus therefor
KR101169281B1 (ko) * 2005-10-05 2012-08-02 엘지전자 주식회사 오디오 신호 처리 방법 및 이의 장치, 그리고 인코딩 및 디코딩 방법 및 이의 장치
US7751485B2 (en) * 2005-10-05 2010-07-06 Lg Electronics Inc. Signal processing using pilot based coding
US7672379B2 (en) * 2005-10-05 2010-03-02 Lg Electronics Inc. Audio signal processing, encoding, and decoding
US7653533B2 (en) * 2005-10-24 2010-01-26 Lg Electronics Inc. Removing time delays in signal paths
KR100734141B1 (ko) * 2005-10-28 2007-06-29 에스케이 텔레콤주식회사 복수의 프레임을 참조하는 시간적 및 공간적 스케일러블인코딩 및 디코딩 방법과 그 장치
US8731071B1 (en) 2005-12-15 2014-05-20 Nvidia Corporation System for performing finite input response (FIR) filtering in motion estimation
WO2007092215A2 (en) 2006-02-02 2007-08-16 Thomson Licensing Method and apparatus for adaptive weight selection for motion compensated prediction
EP1985122A1 (en) * 2006-02-17 2008-10-29 Thomson Licensing Localized weighted prediction handling video data brightness variations
KR100843080B1 (ko) * 2006-02-24 2008-07-02 삼성전자주식회사 비디오 트랜스코딩 방법 및 장치
EP1993292B1 (en) * 2006-03-09 2013-05-15 NEC Corporation Dynamic image encoding method and device and program using the same
BRPI0600823B1 (pt) * 2006-03-14 2018-02-14 Whirlpool S.A. Sistema de programação de equipamentos eletrodomésticos e método de programação de equipamentos eletrodomésticos programáveis em linha de montagem
US8724702B1 (en) 2006-03-29 2014-05-13 Nvidia Corporation Methods and systems for motion estimation used in video coding
CN101998120B (zh) * 2006-05-24 2014-07-30 松下电器产业株式会社 图像编码装置、图像编码方法及图像编码集成电路
FR2902216A1 (fr) * 2006-06-07 2007-12-14 Thomson Licensing Sas Procede et dispositif de generation de champs de mouvement et dispositif de codage implementant ledit procede
JP4752631B2 (ja) * 2006-06-08 2011-08-17 株式会社日立製作所 画像符号化装置、及び画像符号化方法
US20080025408A1 (en) * 2006-07-31 2008-01-31 Sam Liu Video encoding
US8660380B2 (en) * 2006-08-25 2014-02-25 Nvidia Corporation Method and system for performing two-dimensional transform on data value array with reduced power consumption
KR101356734B1 (ko) * 2007-01-03 2014-02-05 삼성전자주식회사 움직임 벡터 트랙킹을 이용한 영상의 부호화, 복호화 방법및 장치
JP4427086B2 (ja) 2006-12-27 2010-03-03 パナソニック株式会社 動画像復号化装置
US8942505B2 (en) * 2007-01-09 2015-01-27 Telefonaktiebolaget L M Ericsson (Publ) Adaptive filter representation
EP2136564A1 (en) * 2007-01-09 2009-12-23 Kabushiki Kaisha Toshiba Image encoding and decoding method and device
KR100968204B1 (ko) * 2007-01-11 2010-07-06 전자부품연구원 다시점 비디오 코덱에서의 영상 예측 방법 및 이를 위한프로그램을 기록한 컴퓨터로 판독 가능한 기록매체
US9826197B2 (en) 2007-01-12 2017-11-21 Activevideo Networks, Inc. Providing television broadcasts over a managed network and interactive content over an unmanaged network to a client device
US9042454B2 (en) 2007-01-12 2015-05-26 Activevideo Networks, Inc. Interactive encoded content system including object models for viewing on a remote device
EP2120462B1 (en) * 2007-03-05 2018-12-19 NEC Corporation Weighted prediction information calculation method, device, program, dynamic image encoding method, device, and program
US8756482B2 (en) * 2007-05-25 2014-06-17 Nvidia Corporation Efficient encoding/decoding of a sequence of data frames
US9118927B2 (en) * 2007-06-13 2015-08-25 Nvidia Corporation Sub-pixel interpolation and its application in motion compensated encoding of a video signal
US8873625B2 (en) * 2007-07-18 2014-10-28 Nvidia Corporation Enhanced compression in representing non-frame-edge blocks of image frames
FR2919412A1 (fr) * 2007-07-24 2009-01-30 Thomson Licensing Sas Procede et dispositif de reconstruction d'une image.
WO2009035149A1 (ja) * 2007-09-12 2009-03-19 Sony Corporation 画像処理装置及び画像処理方法
EP2187648A4 (en) * 2007-09-12 2012-07-11 Sony Corp IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD
US8121189B2 (en) * 2007-09-20 2012-02-21 Microsoft Corporation Video decoding using created reference pictures
JP2011501555A (ja) 2007-10-16 2011-01-06 エルジー エレクトロニクス インコーポレイティド ビデオ信号処理方法及び装置
KR101228020B1 (ko) * 2007-12-05 2013-01-30 삼성전자주식회사 사이드 매칭을 이용한 영상의 부호화 방법 및 장치, 그복호화 방법 및 장치
CN101516028B (zh) * 2008-02-18 2011-05-11 昊迪移通(北京)技术有限公司 一种针对移动网视频通话应用的高效视频编码技术
KR20090090152A (ko) * 2008-02-20 2009-08-25 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
WO2009115901A2 (en) 2008-03-19 2009-09-24 Nokia Corporation Combined motion vector and reference index prediction for video coding
US9848209B2 (en) * 2008-04-02 2017-12-19 Microsoft Technology Licensing, Llc Adaptive error detection for MPEG-2 error concealment
KR101203426B1 (ko) * 2008-04-23 2012-11-21 삼성전자주식회사 영상 기록재생기기 및 그 페이드 처리방법
US9788018B2 (en) * 2008-06-30 2017-10-10 Microsoft Technology Licensing, Llc Error concealment techniques in video decoding
US9924184B2 (en) 2008-06-30 2018-03-20 Microsoft Technology Licensing, Llc Error detection, protection and recovery for video decoding
US20100065343A1 (en) * 2008-09-18 2010-03-18 Chien-Liang Liu Fingertip Touch Pen
JP5422168B2 (ja) * 2008-09-29 2014-02-19 株式会社日立製作所 動画像符号化方法および動画像復号化方法
US8831087B2 (en) * 2008-10-06 2014-09-09 Qualcomm Incorporated Efficient prediction mode selection
KR101377527B1 (ko) * 2008-10-14 2014-03-25 에스케이 텔레콤주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
KR101490546B1 (ko) * 2008-10-17 2015-02-05 다우 글로벌 테크놀로지스 엘엘씨 필름 구조물 및 그 필름 구조물을 갖는 판지
EP2359601B1 (en) * 2008-10-31 2016-02-10 Orange Image prediction method and system
US9131241B2 (en) 2008-11-25 2015-09-08 Microsoft Technology Licensing, Llc Adjusting hardware acceleration for video playback based on error detection
US8666181B2 (en) * 2008-12-10 2014-03-04 Nvidia Corporation Adaptive multiple engine image motion detection system and method
KR101567974B1 (ko) 2009-01-05 2015-11-10 에스케이 텔레콤주식회사 블록 모드 부호화/복호화 방법 및 장치와 그를 이용한 영상부호화/복호화 방법 및 장치
WO2010086041A1 (en) * 2009-01-30 2010-08-05 Gottfried Wilhelm Leibniz Universität Hannover Method and apparatus for coding and decoding a video signal
US8917769B2 (en) * 2009-07-03 2014-12-23 Intel Corporation Methods and systems to estimate motion based on reconstructed reference frames at a video decoder
US8462852B2 (en) 2009-10-20 2013-06-11 Intel Corporation Methods and apparatus for adaptively choosing a search range for motion estimation
US9654792B2 (en) 2009-07-03 2017-05-16 Intel Corporation Methods and systems for motion vector derivation at a video decoder
US9567819B2 (en) 2009-07-14 2017-02-14 Halliburton Energy Services, Inc. Acoustic generator and associated methods and well systems
US8340510B2 (en) * 2009-07-17 2012-12-25 Microsoft Corporation Implementing channel start and file seek for decoder
KR101611437B1 (ko) 2009-10-28 2016-04-26 삼성전자주식회사 복수의 프레임을 참조하여 영상을 부호화, 복호화하는 방법 및 장치
KR101768207B1 (ko) 2010-01-19 2017-08-16 삼성전자주식회사 축소된 예측 움직임 벡터의 후보들에 기초해 움직임 벡터를 부호화, 복호화하는 방법 및 장치
US8301364B2 (en) * 2010-01-27 2012-10-30 Navteq B.V. Method of operating a navigation system to provide geographic location information
CN102823261A (zh) * 2010-04-06 2012-12-12 皇家飞利浦电子股份有限公司 减少3d噪声的可见度
US10034012B2 (en) * 2010-05-13 2018-07-24 Sharp Kabushiki Kaisha Prediction image generation device, moving image decoding device, and moving image coding device
WO2012000191A1 (en) * 2010-06-30 2012-01-05 France Telecom Research & Development Beijing Company Limited Pixel interpolation method and system
CN102687178B (zh) * 2010-08-27 2016-04-20 三星电子株式会社 用于产生多视图的渲染设备和方法
WO2012042884A1 (ja) 2010-09-29 2012-04-05 パナソニック株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、プログラムおよび集積回路
CN107071429B (zh) 2010-09-30 2019-12-10 太阳专利托管公司 解码方法及解码装置
KR101418100B1 (ko) * 2010-10-06 2014-07-14 에스케이 텔레콤주식회사 모순 검증을 이용한 부호화 및 복호화 방법과 장치
US9021541B2 (en) 2010-10-14 2015-04-28 Activevideo Networks, Inc. Streaming digital video between video devices using a cable television system
US9020033B2 (en) * 2010-11-04 2015-04-28 Nice-Systems Ltd. System and method for enhancing compression using skip macro block on a compressed video
US11284081B2 (en) 2010-11-25 2022-03-22 Lg Electronics Inc. Method for signaling image information, and method for decoding image information using same
ES2939601T3 (es) 2010-11-25 2023-04-25 Lg Electronics Inc Método para señalizar información de imagen y método para decodificar información de imagen usando la misma
WO2012081246A1 (ja) * 2010-12-17 2012-06-21 パナソニック株式会社 画像符号化方法および画像復号化方法
CN102986224B (zh) 2010-12-21 2017-05-24 英特尔公司 用于增强的解码器侧运动向量导出处理的系统及方法
US9049455B2 (en) 2010-12-28 2015-06-02 Panasonic Intellectual Property Corporation Of America Image coding method of coding a current picture with prediction using one or both of a first reference picture list including a first current reference picture for a current block and a second reference picture list including a second current reference picture for the current block
EP2661080A4 (en) * 2010-12-31 2016-06-29 Korea Electronics Telecomm METHOD FOR CODING VIDEO INFORMATION AND METHOD FOR DECODING VIDEO INFORMATION AND DEVICE THEREFOR
KR101739579B1 (ko) * 2011-01-04 2017-05-24 에스케이 텔레콤주식회사 코딩 유닛 단위 병렬 인트라예측을 이용한 부호화/복호화 방법 및 장치
CN102595108B (zh) * 2011-01-05 2017-02-01 中兴通讯股份有限公司 一种语法元素的编码方法及装置
GB2487200A (en) 2011-01-12 2012-07-18 Canon Kk Video encoding and decoding with improved error resilience
KR101484171B1 (ko) * 2011-01-21 2015-01-23 에스케이 텔레콤주식회사 예측 움직임벡터 색인부호화에 기반한 움직임정보 생성/복원 장치 및 방법, 및 그것을 이용한 영상 부호화/복호화 장치 및 방법
TWI466550B (zh) * 2011-02-23 2014-12-21 Novatek Microelectronics Corp 多媒體裝置及其移動偵測方法
US9204203B2 (en) 2011-04-07 2015-12-01 Activevideo Networks, Inc. Reduction of latency in video distribution networks using adaptive bit rates
KR20140034292A (ko) * 2011-07-01 2014-03-19 모토로라 모빌리티 엘엘씨 움직임 벡터 예측 설계 간소화
BR112014004797B1 (pt) * 2011-10-17 2022-02-15 Kabushiki Kaisha Toshiba Método de decodificação
SG11201400294SA (en) 2011-10-17 2014-09-26 Toshiba Kk Encoding device, decoding device, encoding method, and decoding method
CN103765890A (zh) * 2011-11-08 2014-04-30 株式会社东芝 图像编码方法、图像解码方法、图像编码装置和图像解码装置
CN107920249A (zh) 2011-11-08 2018-04-17 株式会社Kt 对视频信号进行解码的方法
JP5364219B1 (ja) * 2011-12-16 2013-12-11 パナソニック株式会社 動画像符号化方法、および動画像符号化装置
WO2013106390A1 (en) 2012-01-09 2013-07-18 Activevideo Networks, Inc. Rendering of an interactive lean-backward user interface on a television
US20130177084A1 (en) * 2012-01-10 2013-07-11 Qualcomm Incorporated Motion vector scaling in video coding
US9800945B2 (en) 2012-04-03 2017-10-24 Activevideo Networks, Inc. Class-based intelligent multiplexing over unmanaged networks
US9123084B2 (en) 2012-04-12 2015-09-01 Activevideo Networks, Inc. Graphical application integration with MPEG objects
WO2013157820A1 (ko) * 2012-04-16 2013-10-24 삼성전자 주식회사 고속 에지 검출을 이용하는 비디오 부호화 방법 및 장치, 그 비디오 복호화 방법 및 장치
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
KR101624059B1 (ko) 2012-06-27 2016-05-24 가부시끼가이샤 도시바 암호화 장치 및 암호화 방법
EP2733933A1 (en) 2012-09-19 2014-05-21 Thomson Licensing Method and apparatus of compensating illumination variations in a sequence of images
CN104813663B (zh) * 2012-09-28 2018-05-22 索尼公司 编码设备、编码方法、解码设备和解码方法
US10275128B2 (en) 2013-03-15 2019-04-30 Activevideo Networks, Inc. Multiple-mode system and method for providing user selectable video content
CN104125477B (zh) 2013-04-27 2017-08-18 华为技术有限公司 一种视频帧淡入/淡出检测方法及装置
EP3005712A1 (en) 2013-06-06 2016-04-13 ActiveVideo Networks, Inc. Overlay rendering of user interface onto source video
US9294785B2 (en) 2013-06-06 2016-03-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
US9219922B2 (en) 2013-06-06 2015-12-22 Activevideo Networks, Inc. System and method for exploiting scene graph information in construction of an encoded video sequence
KR102197505B1 (ko) 2013-10-25 2020-12-31 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 비디오 및 이미지 코딩 및 디코딩에서의 해시 값을 갖는 블록의 표현
EP3114838B1 (en) 2014-03-04 2018-02-07 Microsoft Technology Licensing, LLC Hash table construction and availability checking for hash-based block matching
US9788029B2 (en) 2014-04-25 2017-10-10 Activevideo Networks, Inc. Intelligent multiplexing using class-based, multi-dimensioned decision logic for managed networks
WO2015196322A1 (en) * 2014-06-23 2015-12-30 Microsoft Technology Licensing, Llc Encoder decisions based on results of hash-based block matching
CN115665423A (zh) 2014-09-30 2023-01-31 微软技术许可有限责任公司 用于视频编码的基于散列的编码器判定
US10075712B2 (en) * 2014-11-20 2018-09-11 Hfi Innovation Inc. Method of motion vector and block vector resolution control
WO2017086738A1 (ko) * 2015-11-19 2017-05-26 한국전자통신연구원 영상 부호화/복호화 방법 및 장치
KR20170058838A (ko) * 2015-11-19 2017-05-29 한국전자통신연구원 화면간 예측 향상을 위한 부호화/복호화 방법 및 장치
KR20170096088A (ko) * 2016-02-15 2017-08-23 삼성전자주식회사 영상처리장치, 영상처리방법 및 이를 기록한 기록매체
US10560712B2 (en) 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding
US10834404B2 (en) * 2016-05-24 2020-11-10 Electronics And Telecommunications Research Institute Image encoding/decoding method and recording medium for same
US10062409B2 (en) 2016-09-23 2018-08-28 Apple Inc. Automated seamless video loop
US10062410B2 (en) 2016-09-23 2018-08-28 Apple Inc. Automated seamless video loop
US10176845B2 (en) 2016-09-23 2019-01-08 Apple Inc. Seamless forward-reverse video loops
US10122940B2 (en) 2016-09-23 2018-11-06 Apple Inc. Automated seamless video loop
US10448010B2 (en) * 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
US11095877B2 (en) 2016-11-30 2021-08-17 Microsoft Technology Licensing, Llc Local hash-based motion estimation for screen remoting scenarios
US10734025B2 (en) * 2017-05-16 2020-08-04 Apple Inc. Seamless output video variations for an input video
CN107483949A (zh) * 2017-07-26 2017-12-15 千目聚云数码科技（上海）有限公司 增加svac svc实用性的方法及系统
US10412410B2 (en) * 2017-08-14 2019-09-10 Google Llc Compound motion-compensated prediction
US11877001B2 (en) 2017-10-10 2024-01-16 Qualcomm Incorporated Affine prediction in video coding
JP7125594B2 (ja) 2018-04-27 2022-08-25 富士通株式会社 符号化装置、符号化方法、及び符号化プログラム
US11451807B2 (en) * 2018-08-08 2022-09-20 Tencent America LLC Method and apparatus for video coding
US11665365B2 (en) * 2018-09-14 2023-05-30 Google Llc Motion prediction coding with coframe motion vectors
US11412260B2 (en) * 2018-10-29 2022-08-09 Google Llc Geometric transforms for image compression
US11870948B2 (en) 2020-05-26 2024-01-09 Dolby Laboratories Licensing Corporation Picture metadata for variable frame-rate video
US11202085B1 (en) 2020-06-12 2021-12-14 Microsoft Technology Licensing, Llc Low-cost hash table construction and hash-based block matching for variable-size blocks

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10224795A (ja) * 1997-01-31 1998-08-21 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化方法、復号方法、符号化器および復号器
JPH11239351A (ja) * 1998-02-23 1999-08-31 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化方法、復号方法、符号化器、復号器、動画像符号化プログラムおよび動画像復号プログラムを記録した記録媒体

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4727044A (en) * 1984-05-18 1988-02-23 Semiconductor Energy Laboratory Co., Ltd. Method of making a thin film transistor with laser recrystallized source and drain
US4985768A (en) * 1989-01-20 1991-01-15 Victor Company Of Japan, Ltd. Inter-frame predictive encoding system with encoded and transmitted prediction error
JPH03145392A (ja) * 1989-10-31 1991-06-20 Nec Corp 動き補償フレーム間符号化・復号化方法とその符号化装置・復号化装置
JPH04127689A (ja) * 1990-09-19 1992-04-28 Hitachi Ltd 動画像予測符号化方式
US5151784A (en) * 1991-04-30 1992-09-29 At&T Bell Laboratories Multiple frame motion estimation
JP2755851B2 (ja) * 1991-05-31 1998-05-25 株式会社東芝 動画像符号化装置及び動画像符号化方法
US5467136A (en) * 1991-05-31 1995-11-14 Kabushiki Kaisha Toshiba Video decoder for determining a motion vector from a scaled vector and a difference vector
US5317397A (en) * 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
JP2699703B2 (ja) * 1991-07-31 1998-01-19 松下電器産業株式会社 動き補償予測方法とそれを用いた画像信号符号化方法
JPH05308630A (ja) * 1992-04-28 1993-11-19 Victor Co Of Japan Ltd 動きベクトル検出方法
JPH06350995A (ja) * 1993-06-10 1994-12-22 Casio Comput Co Ltd 動画像処理方法
KR970003789B1 (ko) * 1993-11-09 1997-03-21 한국전기통신공사 비디오 부호기의 전송율을 제어하기 위한 비트 할당 방법
KR100349883B1 (ko) * 1994-07-27 2002-12-16 소니 가부시끼 가이샤 동작벡터검출및화상신호부호화방법및장치
JPH08223577A (ja) * 1994-12-12 1996-08-30 Sony Corp 動画像符号化方法及び装置、並びに動画像復号方法及び装置
US5703966A (en) * 1995-06-27 1997-12-30 Intel Corporation Block selection using motion estimation error
JP3458600B2 (ja) * 1996-05-10 2003-10-20 Ｋｄｄｉ株式会社 ディジタル画像品質評価装置
US6320906B1 (en) * 1996-05-21 2001-11-20 Matsushita Electric Industrial Co., Ltd. Motion vector detecting circuit
US6266370B1 (en) * 1996-09-03 2001-07-24 Nippon Telegraph And Telephone Corporation Brightness-variation compensation method and coding/decoding apparatus for moving pictures
JP2861971B2 (ja) * 1996-10-28 1999-02-24 日本電気株式会社 動ベクトル予測装置
US6404813B1 (en) * 1997-03-27 2002-06-11 At&T Corp. Bidirectionally predicted pictures or video object planes for efficient and flexible video coding
EP2271116B1 (en) * 1997-06-09 2013-09-11 Hitachi, Ltd. Image decoding method and image decoder
US6320905B1 (en) * 1998-07-08 2001-11-20 Stream Machine Company Postprocessing system for removing blocking artifacts in block-based codecs
JP3591700B2 (ja) * 1998-09-30 2004-11-24 日本ビクター株式会社 動き補償画像符号化装置・復号化装置及びその方法
JP3411234B2 (ja) * 1999-04-26 2003-05-26 沖電気工業株式会社 符号化情報受信復号装置
JP2001078191A (ja) * 1999-09-03 2001-03-23 Canon Inc 符号化方法及び装置と記憶媒体
KR20010101329A (ko) * 1999-10-29 2001-11-14 요트.게.아. 롤페즈 비디오 인코딩 방법
US6816552B2 (en) * 2001-07-11 2004-11-09 Dolby Laboratories Licensing Corporation Interpolation of video compression frames
EP1442601A1 (en) * 2001-10-26 2004-08-04 Koninklijke Philips Electronics N.V. Method and appartus for spatial scalable compression
JP2004007379A (ja) * 2002-04-10 2004-01-08 Toshiba Corp 動画像符号化方法及び動画像復号化方法
CA2574127A1 (en) * 2002-01-18 2003-07-31 Kabushiki Kaisha Toshiba Video encoding method and apparatus and video decoding method and apparatus
KR100508798B1 (ko) * 2002-04-09 2005-08-19 엘지전자 주식회사 쌍방향 예측 블록 예측 방법
JP2004179687A (ja) * 2002-11-22 2004-06-24 Toshiba Corp 動画像符号化／復号化方法及び装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10224795A (ja) * 1997-01-31 1998-08-21 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化方法、復号方法、符号化器および復号器
JPH11239351A (ja) * 1998-02-23 1999-08-31 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化方法、復号方法、符号化器、復号器、動画像符号化プログラムおよび動画像復号プログラムを記録した記録媒体

Also Published As

Publication number Publication date
KR20060111737A (ko) 2006-10-27
EP1833262A1 (en) 2007-09-12
CN1897704A (zh) 2007-01-17
KR100746321B1 (ko) 2007-08-03
CN1917641A (zh) 2007-02-21
KR20030083760A (ko) 2003-10-30
US20070036216A1 (en) 2007-02-15
US20070086526A1 (en) 2007-04-19
EP1827026A1 (en) 2007-08-29
WO2003063502A1 (en) 2003-07-31
CN1897707A (zh) 2007-01-17
EP1830579A1 (en) 2007-09-05
EP1467569A4 (en) 2007-11-14
EP1833261A1 (en) 2007-09-12
US20070036220A1 (en) 2007-02-15
KR100746314B1 (ko) 2007-08-03
CN1897703A (zh) 2007-01-17
EP1827027A1 (en) 2007-08-29
CA2574047C (en) 2008-01-08
US20070014366A1 (en) 2007-01-18
CN1897709A (zh) 2007-01-17
CA2440380C (en) 2008-02-19
KR20060111735A (ko) 2006-10-27
US20070030909A1 (en) 2007-02-08
KR20060111734A (ko) 2006-10-27
KR20060107864A (ko) 2006-10-16
US20070019735A1 (en) 2007-01-25
CN1897701A (zh) 2007-01-17
CA2574047A1 (en) 2003-07-31
BR0302719A (pt) 2004-03-09
KR20060111733A (ko) 2006-10-27
EP1827025A1 (en) 2007-08-29
EP1830576A1 (en) 2007-09-05
EP1830580A1 (en) 2007-09-05
US20070036221A1 (en) 2007-02-15
EP1827029A1 (en) 2007-08-29
US20070019727A1 (en) 2007-01-25
CA2574126A1 (en) 2003-07-31
US20070019736A1 (en) 2007-01-25
EP1830578A1 (en) 2007-09-05
CA2574444A1 (en) 2003-07-31
EP1467569A1 (en) 2004-10-13
SG152047A1 (en) 2009-05-29
US20070030908A1 (en) 2007-02-08
CN1897705A (zh) 2007-01-17
NO20034138D0 (no) 2003-09-17
US20070019737A1 (en) 2007-01-25
CN1897706A (zh) 2007-01-17
CN1272967C (zh) 2006-08-30
KR20060107863A (ko) 2006-10-16
EP1827028A1 (en) 2007-08-29
KR20060107867A (ko) 2006-10-16
KR100628489B1 (ko) 2006-09-26
KR100746316B1 (ko) 2007-08-03
CN1897708A (zh) 2007-01-17
KR20060107865A (ko) 2006-10-16
MXPA03007999A (es) 2004-04-02
AU2006202472A1 (en) 2006-06-29
CA2574110A1 (en) 2003-07-31
CA2440380A1 (en) 2003-07-31
KR20060111736A (ko) 2006-10-27
CN1897702A (zh) 2007-01-17
SG162623A1 (en) 2010-07-29
KR100746315B1 (ko) 2007-08-03
US20040057523A1 (en) 2004-03-25
KR100746319B1 (ko) 2007-08-03
KR20060055583A (ko) 2006-05-23
NO20034138L (no) 2003-10-23
CN1507751A (zh) 2004-06-23
KR100746320B1 (ko) 2007-08-03
CA2574127A1 (en) 2003-07-31
KR20060107866A (ko) 2006-10-16
US20070019728A1 (en) 2007-01-25
US20070030907A1 (en) 2007-02-08
KR100746318B1 (ko) 2007-08-03
US20070030910A1 (en) 2007-02-08
AU2003203270B2 (en) 2006-04-27
EP1830577A1 (en) 2007-09-05

Similar Documents

Publication Publication Date Title
KR100746317B1 (ko) 동화상 복호화방법 및 장치
JP2004007379A (ja) 動画像符号化方法及び動画像復号化方法
JP2007049742A (ja) 動画像符号化方法、復号化方法及び装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Publication of correction
FPAY Annual fee payment

Payment date: 20100622

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee