KR100628494B1 - 화상복호화방법 및 장치와 기록매체 - Google Patents

화상복호화방법 및 장치와 기록매체 Download PDF

Info

Publication number
KR100628494B1
KR100628494B1 KR1020057020080A KR20057020080A KR100628494B1 KR 100628494 B1 KR100628494 B1 KR 100628494B1 KR 1020057020080 A KR1020057020080 A KR 1020057020080A KR 20057020080 A KR20057020080 A KR 20057020080A KR 100628494 B1 KR100628494 B1 KR 100628494B1
Authority
KR
South Korea
Prior art keywords
code string
reference picture
picture signal
decoding
signal
Prior art date
Application number
KR1020057020080A
Other languages
English (en)
Other versions
KR20050107529A (ko
Inventor
다케시 나가이
다케시 츄조
신이치로 고토
요시히로 기쿠치
와타루 아사노
Original Assignee
가부시끼가이샤 도시바
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시끼가이샤 도시바 filed Critical 가부시끼가이샤 도시바
Publication of KR20050107529A publication Critical patent/KR20050107529A/ko
Application granted granted Critical
Publication of KR100628494B1 publication Critical patent/KR100628494B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H04N19/166—Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/39—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving multiple description coding [MDC], i.e. with separate layers being structured as independently decodable descriptions of input picture data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은, 에러에 의해 정보가 소실된 경우에도 조기에 회복가능하고, 또한 부호화 효율이 높으며, 재부호화의 필요도 없는 화상복호화장치를 제공한다.
이를 위해 동화상신호를 부호화하여 얻어진 동화상 부호열 및 참조화상신호를 부호화하여 얻어진 참조화상 부호열을 포함하는 입력 부호열을 수신하는 입력수단과, 제1 참조화상신호를 생성하기 위해 상기 입력 부호열에 포함된 참조화상 부호열을 복호하는 제1 복호화 수단 및, 재생화상신호를 생성하기 위해 전 프레임의 화상신호로부터 얻어지는 제2 참조화상신호 및 상기 제1 참조화상신호의 어느 하나를 선택적으로 이용하여 상기 입력 부호열에 포함된 동화상 부호열을 복호하는 제2 복호화 수단을 갖춘다.

Description

화상복호화방법 및 장치와 기록매체 {IMAGE DECODING METHOD AND APPARATUS, AND STORAGE MEDIUM}
도 1은 본 발명의 제1실시형태에 따른 화상부호화장치의 구성을 나타낸 블록도,
도 2는 동 실시형태에 따른 헤더 다중화부 및 제어부를 부가한 화상부호화장치의 구성을 나타낸 블록도,
도 3은 동 실시형태에 따른 화상부호화장치로부터 출력되는 출력 부호열 내의 화상에 관계된 부분의 데이터 구조의 예를 설명하는 도면,
도 4는 동 실시형태에 따른 화상부호화장치로부터 출력되는 출력 부호열 내의 프레임 헤더 부호열의 구조의 일례를 나타낸 도면,
도 5는 본 발명의 제1실시형태에 따른 화상복호화장치의 구성을 나타낸 블록도,
도 6은 예측 부호화의 예측 구조를 나타낸 도면,
도 7은 예측 부호화에 따른 에러 전파를 나타낸 도면,
도 8은 동 실시형태에 따른 에러 대처법을 설명하는 도면,
도 9는 동 실시형태에 따른 참조화상 부호열을 위한 출력판정장치의 구성을 나타낸 블록도,
도 10은 동 실시형태에 따른 참조화상 부호열의 복호를 위한 복호화 판정장치의 구성을 나타낸 블록도,
도 11은 본 발명의 제2실시형태에 따른 화상부호화장치의 구성을 나타낸 블록도,
도 12는 동 실시형태에 따른 화상부호화장치로부터 출력되는 출력 부호열 내의 화상에 관계된 부분의 데이터 구조를 나타낸 도면,
도 13은 본 발명의 제2실시형태에 따른 화상복호화장치의 구성을 나타낸 블록도,
도 14는 본 발명의 제3실시형태에 따른 화상부호화장치의 구성을 나타낸 블록도,
도 15는 본 발명의 제3실시형태에 따른 화상복호화장치의 구성을 나타낸 블록도,
도 16은 본 발명의 제4실시형태에 따른 화상부호화장치의 구성을 나타낸 블록도,
도 17은 본 발명의 제4실시형태에 따른 화상복호화장치의 구성을 나타낸 블록도이다.
본 발명은 화상을 적은 정보량으로 압축부호화하는 화상부호화기술 및 압축 부호화에 의해 얻어진 부호열을 복호하여 화상을 재생하는 화상복호화기술에 관한 것으로, 특히 에러가 발생하기 쉬운 전송로를 매개로 하여 부호화 데이터의 전송/축적을 행하는 경우에, 부호화 효율을 떨어뜨리는 일없이 에러에 의한 영향을 가능한 한 빨리 회복시킬 수 있는 화상복호화방법 및 장치와 기록매체에 관한 것이다.
TV 전화, TV 회의 시스템, 휴대정보단말, 디지털 비디오 디스크 시스템 및 디지털 TV 방송 시스템과 같은 화상을 전송 또는 축적하는 시스템에 있어서는, 화상을 전송 또는 축적하기 위해 화상을 적은 정보량으로 압축부호화하는 것이 필요하다.
이러한 압축부호화기술로서, 동작보상(motion compensation), 이산코사인변환, 서브밴드(subband) 부호화 및 피라미드 부호화 등의 방식, 더욱이 이들을 조합시킨 방식 등 여러 가지 방식이 개발되어 있다. 동화상의 압축부호화의 국제표준방식으로서, ISO·MPEG-1, MPEG-2 및 MPEG-4, 더욱이 ITU-T·H. 261, H. 262 및 H. 263 등이 규정되어 있다.
이들 방식은 모두 동작보상 적응예측과 이산코사인변환을 조합시킨 압축부호화방식으로, 문헌1(야스다 히로시저, "MPEG/멀티미디어 부호화의 국제표준", 마루젠) 등에 상세히 서술되어 있다.
종래의 화상부호화/복호화장치에는, 이하와 같은 문제점이 있다. 제1로, 무선통신로와 같은 에러가 혼입할 가능성이 있는 통신로에서는, 부호화를 행하는 것만으로는, 에러가 발생한 경우에 복호화상 품질이 현저히 열화된다. 특히, 동기신호, 모드정보 및 동작벡터정보라는 신호가 잘못된 경우의 화질열화는 현저하다.
제2로, 화상부호화에 이용되는 동작보상 적응예측 부호화에서는 프레임간의 차분만이 부호화된다. 이 때문에, 에러가 발생하면, 그 프레임이 잘못될 뿐만 아니라, 잘못된 화상이 프레임 메모리에 축적된다. 그 잘못된 화상을 이용하여 예측화상이 작성되고, 그 예측화상에 잔차(殘差: residual error)가 더해진다. 그 결과, 이 이후의 프레임이 올바르게 복호되었다고 해도, 프레임간 차분을 이용하지 않고 프레임 내에서만 화상을 부호화하는 부호화 모드[인트라(INTRA) 모드]로 정보가 전송되어 오던가, 서서히 에러의 영향이 감쇠되어 원래의 화상으로 회복되던가의 어느 쪽인가 이외는, 그 이후의 프레임도 올바른 복호화상은 얻어지지 않게 된다.
에러에 의해 1프레임분의 정보가 소실되었다고 하면, 2번째의 프레임은 전혀 복호되지 않고, 예컨대 1번째의 프레임이 그대로 출력된다. 3번째의 프레임에서는, 2번째의 프레임에 더함으로써 비로소 올바르게 복호할 수 있는 잔차가 1번째의 프레임에 더해져 버린다. 3번째의 프레임은 완전히 다른 화상으로 되어 버린다. 이 이후, 잘못된 화상에 잔차가 더해져 가지 때문에, 기본적으로 에러가 해소되지 않아 올바른 복호화상을 재생할 수 없게 된다.
이 문제를 해결하기 위해, 종래에는 일정 주기마다 인트라 모드로 부호화하는 리프레시(refresh)라 하는 수법이 일반적으로 이용되고 있다. 인트라 모드로 부호화하면, 부호량이 증가하므로, 에러가 없는 화상의 화질이 현저히 저하된다. 이 때문에, 화면 전체를 한번에 리프레시하는 것이 아니라 1프레임에 수개의 매크로블록(macroblock)씩 리프레시하는 주기 리프레시 등의 방법이 통상 이용된다. 그렇지만, 이 주기 리프레시에서는 부호량의 증가는 억제되는 반면, 정상적인 상태로 회복될 때까지 긴 시간이 걸린다.
다른 에러 대책으로서는, 에러정정부호의 이용이 있다. 그렇지만, 이 방식은 랜덤하게 발생하는 에러를 정정할 수 있어도, 버스트(burst)적으로 연속하여 발생하는 수백비트의 에러에는 대처가 어렵다. 설사 대처할 수 있다고 해도, 상당한 용장도(冗長度)가 생긴다.
네트워크의 에러정보 등을 시스템으로부터 수취함으로써, 서버 측이 에러정보 등을 적응적으로 처리하는 것이 검토되고 있다. 구체적으로는, 에러정보를 수취하고 나서 재부호화를 행하거나, 복수의 파일을 전환하거나 하는 방법이 취해진다. 이 방법에서는, 서버에 부호화의 기능이나, 복수의 파일을 적응적으로 전환하는 등의 기능을 갖게 할 필요가 있어 여분의 처리를 증가시키게 된다.
상술한 바와 같이 종래의 화상부호화기술에서는, 에러에 의한 정보의 소실이 큰 화질열화의 요인으로 된다. 더욱이, 에러에 의해 소실된 정보를 회복하는 주기 리프레시와 같은 수법은, 부호화 효율을 생각하면 에러 회복까지 긴 시간을 요한다. 회복에 요하는 시간을 단축하고자 하면 부호량이 증가하여 부호화 효율이 저하된다.
본 발명은, 에러에 의해 정보가 소실된 경우에도 조기에 회복가능하고, 또한 부호화 효율이 높으며, 재부호화의 필요도 없는 화상복호화방법 및 장치와 기록매체를 제공하는 것을 목적으로 한다.
본 발명의 제1국면(局面)은, 동화상신호를 부호화하여 얻어진 동화상 부호열 및 참조화상신호를 부호화하여 얻어진 참조화상 부호열을 포함하는 입력 부호열을 수신하는 단계와, 제1 참조화상신호를 생성하기 위해 상기 입력 부호열에 포함된 참조화상 부호열을 복호하는 제1 복호화 단계 및, 재생화상신호를 생성하기 위해 전 프레임의 화상신호로부터 얻어지는 제2 참조화상신호 및 상기 제1 참조화상신호의 어느 하나를 선택적으로 이용하여 상기 입력 부호열에 포함된 동화상 부호열을 복호하는 제2 복호화 단계를 구비하는 화상복호화방법을 제공한다.
본 발명의 제2국면은, 동화상신호를 부호화하여 얻어진 동화상 부호열 및 참조화상신호를 부호화하여 얻어진 참조화상 부호열을 포함하는 입력 부호열을 수신하는 입력수단과, 제1 참조화상신호를 생성하기 위해 상기 입력 부호열에 포함된 참조화상 부호열을 복호하는 제1 복호화 수단 및, 재생화상신호를 생성하기 위해 전 프레임의 화상신호로부터 얻어지는 제2 참조화상신호 및 상기 제1 참조화상신호의 어느 하나를 선택적으로 이용하여 상기 입력 부호열에 포함된 동화상 부호열을 복호하는 제2 복호화 수단을 구비하는 화상복호화장치를 제공한다.
(실시형태)
제1실시형태
도 1은 본 발명의 제1실시형태에 따른 화상부호화장치의 기본 구성을 나타낸다.
입력 동화상신호(131)는 먼저 영역분할기(101)에서 미리 정해진 복수의 영역 으로 분할된 후, 이하와 같이 동작보상 적응예측된다. 동작보상 적응 예측기(111)에 있어서, 프레임 메모리(110) 내에 축적되어 있고, 이미 부호화 및 국부 복호화가 행해진 앞 프레임의 참조화상신호(141)와 입력화상신호(132) 사이의 동작벡터(143)가 검출된다. 이 동작벡터를 이용하여 참조화상신호(141)에 대해 동작보상이 행해진다. 이에 따라, 예측화상신호(동작보상 후의 참조화상신호; 142)가 생성된다. 동작보상 적응 예측기(111)는 동작보상 예측모드와 입력화상신호(132)를 그대로 부호화에 이용하는 인트라 부호화(예측화상신호=0) 모드 중 알맞은 쪽의 예측모드를 선택하고, 선택한 예측모드에 대응하는 예측화상신호(142)를 출력한다.
감산기(102)는 입력화상신호(132)로부터 예측화상신호(142)를 감산하고, 예측잔차(殘差)신호(133)를 출력한다. 예측잔차신호(133)는 제1 이산코사인 변환기(103)에 있어서 일정(一定)한 크기의 블록 단위로 이산코사인변환(DCT)된다. 이산코사인변환에 의해 얻어진 DCT 계수(134)는 제2 양자화기(104)에서 양자화된다. 양자화된 DCT 계수(135)는, 한 편에 있어서 제1 가변길이 부호화기(105)에서 부호화됨으로써, DCT 계수 부호열(136)이 얻어진다. DCT 계수 부호열(136)은 다중화기(106)에 있어서 제2 가변길이 부호화기(112)에 의해 동작벡터정보를 부호화한 동작벡터 부호열(144)과 다중화되어 동화상 부호열(137)로서 출력된다.
다른 편에 있어서 DCT 계수(135)는 역양자화기(107)에서 역양자화된 후, 더욱이 역이산코사인변환(역DCT)된다. 역이산코사인 변환기(108)로부터의 출력(139)은 가산기(109)에서 적응예측 화상신호(142)와 가산되어 국부 복호화상신호(140)가 생성된다. 이 국부 복호화상신호(140)는 프레임 메모리(110)에 참조화상신호로서 기억된다.
한편, 프레임 메모리(110)로부터 출력되는 앞 프레임의 참조화상신호(141)는 참조부호 113∼115로 나타낸 블록으로 이루어진 참조화상 부호화부에 의해 부호화된다. 즉, 참조화상신호(141)는 동작보상 적응예측기(111)에 입력됨과 더불어 제2 이산코사인 변환기(113)에 입력된다. 제2 이산코사인 변환기(113)에 있어서, 참조화상신호(141)는 일정한 크기의 블록단위로 이산코사인변환(DCT)된다. 이로써 얻어진 변환계수(145)는 제2 양자화부(114)에서 양자화되고, 양자화된 변환계수는 제3 가변길이 부호화기(115)에서 부호화된다. 제3 가변길이 부호화기(115)에 의해 얻어진 부호열(이하, 참조화상 부호열이라 한다; 147)은 동화상 부호열(137)과는 다른 프레임으로서 출력된다.
도 2는 도 1에 프레임 헤더를 부가하기 위한 헤더 다중화부(117)를 포함한 구성을 나타낸다. 제어부(116)는 화상부호화장치 전체의 동작을 관리하지만, 특히 여기서는 예컨대 동화상 부호열(137)만을 출력하는 부호화 모드, 동화상 부호열(137)과 참조화상 부호열(147)의 양쪽을 출력하는 부호화 모드의 어느 하나를 선택한다. 제어부(116)에서는 프레임 헤더용 부호열(148)도 생성된다. 헤더 다중화부(117)에 있어서는 동화상 부호열(137), 참조화상 부호열(147) 및 프레임 헤더 부호열(148)이 다중화되어 출력 부호열(149)이 생성된다. 출력 부호열(149)은 도시하지 않은 전송계 또는 축적계로 송출된다.
도 3은 도 2의 화상부호화장치로부터 출력되는 출력 부호열(149) 내의 화상에 관계된 부분의 데이터 구조를 나타낸다. 종래의 화상부호화장치에서는, 참조화 상신호는 부호화되지 않고 입력의 동화상신호만이 부호화되기 때문에, 출력 부호열(149) 내의 화상에 관계된 부분은 도 3의 (a)에 나타낸 바와 같은 각 프레임의 동화상 부호열(137; …, Frame #n, Frame #n+1, Frame #n+2, …)만으로 이루어진 데이터 구조로 된다. 이에 대해, 도 2의 화상부호화장치에서는, 도 3의 (b)에 나타낸 바와 같이 임의 프레임, 예컨대 제n+1 프레임에서의 참조화상 부호열(147; Ref-Frame #n+1)이 예컨대 동화상 부호열(137)에서의 제n+1 프레임(Frame #n+1) 앞에 삽입됨으로써 프레임이 다중화되어 출력 부호열(149)이 생성된다.
도 3의 (b)와는 역으로 n+1 프레임(137) 뒤에 참조화상(147)을 삽입해도 좋다.
도 4는 출력 부호열(149)에 포함된 프레임 헤더 부호열(148)의 구조의 일례를 나타낸다. 부호열의 모드정보로서 Pic-type(picture type: 화상형태)정보가 정의된다. 화상형태로서, 통상의 I-화상(I-Picture), P-화상(P-Picture) 및 B-화상(B-Picture)에 더하여, 본 실시형태에 특유의 참조화상 부호열(147)의 프레임 형태인 R-화상(R-Picture)이 별도로 정의되어 있다. 참조화상 부호열(147)을 인식하기 위해 다른 방법을 취하는 것도 가능하고, 그에 따라서도 동일한 효과를 얻을 수 있다.
프레임의 표시시간 등을 나타내는 타임 스탬프(Timestamp)에 대해서는, R-화상에는 이것이 이용되는 프레임의 Timestamp, 즉 다음 프레임의 Timestamp가 기술(記述)되는 것이 바람직하다. 참조화상 부호열(147)이 에러에 의해 결락(缺落)해 버리거나, 참조화상 부호열(147)을 사용하는 프레임이 에러에 의해 결락해 버리거 나 한 경우에, 이러한 타임 스탬프는 참조화상 부호열(147)과 프레임과의 관련지움(association)을 식별하기 위한 유효한 정보로 된다. 더욱이, 통상의 프레임과 같은 부호열 구조를 취함으로써, 특수한 부가회로를 필요로 하지 않고 통상의 회로를 사용할 수 있다.
이와 같이 모드정보로 구별하는 방식을 사용한 경우에는, 본 실시형태에서 이용하고 있는 참조화상신호를 부호화해 둘 뿐만 아니라, 예컨대 에러로부터 회복할 수 있도록 하는 목표의 프레임 그 자체를 인트라 부호화하고, 이중화함으로써 회복기능을 실현하는 것도 가능하다. P-화상 등과 같이 동작보상 예측부호화되는 프레임을 인트라 모드로도 부호화해 두고, 모드 정보만을 R-화상 등에 지정을 해 둠으로써 회복기능을 실현할 수 있다. 이 경우, 송신 측에서 R-화상을 전송하는 것이 결정되면, 그에 대응한 통상의 프레임(주로 P-화상이나 B-화상)의 부호열은 전송할 필요가 없게 된다. 이 때문에, 본 실시형태는 전송로의 효율적 이용에도 도움이 된다.
도 5를 이용하여 본 실시형태의 화상부호화장치에 대응한 화상복호화장치의 기본 구성을 설명한다. 도 2에 나타낸 화상부호화장치로부터 출력된 출력 부호열(149)은 전송계 또는 축적계를 거쳐 도 5의 화상복호화장치로 입력 부호열로서 입력된다. 화상복호화장치에서는, 헤더 역다중화부(200)에 의해 입력 부호열로부터 동화상 부호열(231)과 참조화상 부호열(241)이 분리된다. 역다중화기(201)에 있어서는, 동화상 부호열(231)로부터 DCT 계수 부호열(232) 및 동작벡터 부호열(237)이 분리된다. DCT 계수 부호열(232)은 가변길이 복호화기(202), 역양자화기(203) 및 역이산코사인 변환기(204)를 거쳐 복호되어 예측오차신호(235)로 재생된다. 동작벡터 부호열(237)은 가변길이 복호화기(206)에서 복호되고, 이로써 재생된 동작벡터정보(238)가 동작보상 예측기(207)로 입력된다.
한편, 도시하지 않은 헤더 역다중화부에 의해 입력 부호열로부터 분리된 참조화상 부호열(241)은 가변길이 복호화기(209), 역양자화기(201) 및 역이산코사인 변환기(211)를 거쳐 참조화상신호(244)로 변환되어 프레임 메모리(208)에 격납된다. 동작보상 예측기(207)에서는, 동작벡터정보(238)를 이용하여 프레임 메모리(208)로부터 독출된 앞 프레임의 참조화상신호(239)에 대해 동작보상이 행해져 예측화상신호(동작보상 후의 참조화상신호; 240)가 생성된다. 가산기(250)에 의해 예측오차신호(235)와 예측화상신호(240)가 가산되어 재생화상신호(236)가 생성된다. 재생화상신호(236)는 장치 밖으로 출력됨과 더불어 프레임 메모리(208)에 참조화상신호로서 기억된다.
본 실시형태에서는 화상부호화장치로부터 참조화상의 정보를 참조화상 부호열로서 동화상 부호열과는 별도로 전송계 또는 축적계로 송출하고, 화상복호화장치에서는 참조화상 부호열을 복호하여 참조화상의 정보를 재생함으로써, 에러의 발생에 대응할 수 있다. 이와 같이 본 실시형태에 의하면, 에러발생시의 화상회복능력을 높이는 것이 가능하게 된다.
이 효과를 더 구체적으로 설명하면, 예컨대 도 6에 나타낸 바와 같은 예측을 이용한 동화상부호화에서는 도 7에 나타낸 바와 같이 도중에서 에러가 발생하면, 예측을 사용하고 있는 이후의 프레임에 대해서는 에러가 전파된다. 그래서, 통상 은 에러가 발생해도 거기서 회복할 수 있는 프레임, 즉 예측을 사용하지 않는 인트라 부호화 프레임(I-화상)을 주기적으로 삽입하는 주기적 리프레시의 수법이 취해지고 있지만, 이것은 부호화 효율이 나빠지는 결점이 있었다.
이에 대해, 본 실시형태에서는 예컨대 도 5에 나타낸 화상복호화장치에 있어서, 참조화상 부호열을 복호하여 얻어진 참조화상신호를 도 8에 나타낸 바와 같이 에러발생시에 이용하는 참조화상신호의 데이터로서 프레임 메모리(208)에 별도로 유지해 둔다. 에러가 있는 경우만 그 데이터를 동화상 부호열의 복호에 이용한다. 즉, 에러가 없는 경우는 부호화 효율이 높은 예측부호화에 기초한 참조화상신호를 이용하고, 에러가 있는 경우만 참조화상 부호열을 복호하여 재구성한 참조화상신호를 이용함으로써, 에러로부터 회복하는 것을 가능하게 한다. 또, 에러가 발생한 경우에는, 참조화상 부호열로부터 복호된 참조화상으로 프레임 메모리(208)의 내용을 강제적으로 치환하는 구성을 채용해도 좋다.
본 실시형태의 구성에서는, 화상부호화장치의 총 발생부호량은 참조화상신호를 별도로 부호화하고 있는 양만큼 많아지지만, 이것은 참조화상 부호열을 필요한 때만 출력함으로써 해결할 수 있다. 예컨대, 프레임의 선두 등에 당해 프레임의 형태를 나타내는 프레임 형태 정보로서, 참조화상 부호열인 것을 나타내는 모드정보를 기록해 둔다. 화상부호화장치 측에서 그 모드정보를 해석하여 참조화상 부호열을 출력할 것인가 하지 않을 것인가의 판정을 행한다. 통상 모드에서는 참조화상 부호열을 출력하지 않도록 한다.
도 9는 이러한 참조화상 부호열을 위한 출력판정장치의 기본 구성을 나타내 고 있다. 이 출력판정장치는, 예컨대 도 2 중의 헤더 다중화부(117) 내에 구비된다. 도 9에 있어서, 입력 부호열(431)은 부가정보 판정부(401)에 입력되고, 여기서 통상의 프레임을 나타내는 정보인가 보조적으로 부가된 정보인가의 판정이 행해진다. 본 실시형태의 경우, 입력 부호열(431)은 동화상 부호열(137)과 참조화상 부호열(147)을 포함하는 부호열이고, 부가정보 판정부(401)에서는 부가정보인 참조화상 부호열(147)인가 아닌가의 판정이 행해진다.
부가정보 판정부(401)로부터의 판정결과(432)는 부가정보 출력 판정부(403)에 입력되고, 현재의 상태를 나타내는 상태정보(433)에 따라 참조화상 부호열(147)을 출력해야 할 것인가 말 것인가의 판정이 행해진다. 예컨대, 상태정보(433)는 현재가 에러발생상태인가 어떤가를 나타내는 정보라고 하면, 부가정보 출력 판정부(403)에서는 에러가 발생하고 있으면 참조화상 부호열(147)을 출력해야 한다고 판정되고, 그렇지 않은 통상의 상태이면 참조화상 부호열(147)을 출력하지 말아야 한다고 판정된다.
부가정보 출력 판정부(403)의 판정결과(434)는 출력부(402)로 넘겨진다. 출력부(402)는 부가정보 판정부(401)를 매개로 하여 입력되는 부호열(435)에 포함된 참조 부호열(147)을 부가정보 출력 판정부(403)로부터의 판정결과(434)에 따라 출력 부호열(436)로서 출력한다. 이에 따라, 적응적으로 참조 부호열(147)을 출력할 수 있고, 통상의 에러가 없는 상태에서 여분의 정보가 출력되지 않는다.
한편, 도 5에 나타낸 화상복호화장치에 있어서는, 통상의 상태에서도 입력 부호열로서 참조화상 부호열(241)이 입력되는 경우가 있다. 예컨대, 국부(local) 의 파일을 재생하는 경우나, 송신 측이 적응적인 송신을 지원하고 있지 않은 경우 등이 있다. 그러한 경우, 화상복호화장치 측에서 참조화상 부호열(241)을 복호해야 할 것인가 어떤가를 판정하는 것도 가능하다.
도 10은 이와 같이 참조화상 부호열을 복호해야 할 것인가 어떤가를 판정하여 복호를 행하는 복호화 판정장치의 기본 구성을 나타낸다. 이 복호화 판정장치는, 예컨대 도 5의 전단에 설치되는 상기 헤더 역다중화부(200)에 구비된다. 도 10에 있어서, 입력 부호열(531)은 부가정보 판정부(501)에 입력되어 부가정보인가 아닌가가 판정된다. 본 실시형태의 경우, 입력 부호열(531)은 동화상 부호열(231)과 참조화상 부호열(241)을 포함하는 부호열이고, 부가정보 판정부(501)에서는 입력 부호열(531)이 참조화상 부호열(241)인가 아닌가가 판정된다. 이 판정은, 예컨대 프레임 형태 정보에 기록된 참조화상 부호열인 것을 나타내는 모드정보를 이용하여 행해진다.
부가정보 판정부(501)의 판정결과(532)는 복호방법 판정부(503)에 입력되고, 참조화상 부호열(241)을 복호해야 할 것인가 말 것인가의 판정에 이용된다. 복호방법 판정부(503)에는 상태정보(533)로서 현재의 복호가 국부 재생인가 어떤가, 혹은 에러의 발생이 있었는가 어떤가라는 정보가 주어진다. 복호방법 판정부(503)로부터는 부가정보 판정부(501)의 판정결과(532)와 상태정보(533)로부터 부가정보 판정부(501)를 매개로 하여 입력되는 부호열(535)에 포함된 참조화상 부호열(241)을 복호해야 할 것인가 말 것인가가 판정된다. 복호부(502)는 복호방법 판정부(503)의 판정결과(534)에 따라 복호를 행하여 재생신호(536)를 출력한다. 이에 따라, 국부 재생 등의 경우에는, 부가정보를 복호하지 않도록 화상복호화장치를 제어하는 것이 가능하게 된다. 예컨대, 전송로 에러가 발생하지 않는 통상의 송수신상태에 있어서는, 참조화상 부호열(241)은 복호되는 일없이 복호방법 판정부(503)에서 폐기되지만, 전송로에 에러가 발생한 결과, 참조해야 할 프레임이 결락되는, 즉 정상적으로 복호되지 않는 등의 경우에는, 재생화상의 복호에 필요한 참조화상이 프레임 메모리에 축적되어 있지 않기 때문에, 참조화상 부호열(241)을 복호함으로써, 프레임 메모리 내에 축적되는 화상을 치환한다. 이에 따라, 에러 혼입에 따른 재생화상의 열화를 방지한다. 또, 에러가 발생한 경우에만 참조 부호열을 복호하여 참조 프레임을 치환하는 수법도 가능하고, 참조 프레임을 치환할 것인가 말 것인가에 관계없이 참조 부호열을 수신한 경우에는 전부 복호하도록 수신 측을 구성하는 것도 가능하다.
본 실시형태에서는 참조 프레임이 하나인 경우를 전제로 설명을 행했지만, 이것을 복수의 참조 프레임으로 확장하는 것도 가능하다. 그 경우, 복수의 프레임의 화상을 전부 부가한 것은, 부호량이 많아져 버려 실용에 따르지 못할 가능성이 있다. 그래서, 복수개 있는 참조 프레임 중에서 동작보상 시에 참조되는 소영역(小領域; 여기서는 매크로블록을 예로서 이용한다)만을 선택하여 그것을 참조화상 부호열(241)로서 출력한다. 이 경우에는, 도 3의 (b)의 프레임 단위의 데이터 구조 대신에 매크로블록 단위의 데이터 구조로 된다. 이 방식을 채용함으로써, 이용되지 않는 매크로블록도 부호화하여 부호량이 증대해 버리는 것을 회피할 수 있어 부호량을 절약하는 것이 가능하게 된다. 그 때, 부가정보로서 출력하는 매크로블 록 정보가 어느 프레임의 어느 위치의 매크로블록인가를 나타내는 정보와 함께 기술한다.
제2실시형태
도 11은 본 발명의 제2실시형태에 따른 화상부호화장치의 구성을 나타낸다. 제1실시형태에서는 참조화상 부호열이 동화상 부호열과는 다른 프레임으로서 출력되고 있다. 제2실시형태에서는 참조화상 부호열은 동화상 부호열의 프레임에 대한 부가정보로서 출력된다. 도 11에 있어서 도 1과 상대응하는 부분에 동일 부호를 붙이고 제1실시형태에 따른 화상부호화장치와의 상위점만 설명한다. 본 실시형태에서는, 참조화상 부호열(147)은 다중화기(106)에 입력되고, 양자화 및 가변길이 부호화된 DCT 계수(136) 및 동작벡터정보(144)와 함께 다중화되어 출력된다.
이러한 구성에 의해, 동화상 부호열의 특정의 프레임에 대해, 그 프레임의 부호화 및 복호화에 필요한 참조화상신호가 부가된다. 즉, 도 12에 나타낸 바와 같이 제n+1 프레임의 참조화상 부호열(147; Ref-Frame #n+1)이 동화상 부호열(137)에서의 동일한 제n+1 프레임(Frame #n+1) 내의 부가정보로 된다.
상기 제1실시형태의 후단에서 설명한 바와 같이 소영역(매크로블록) 단위로 참조화상 부호열을 특정 프레임에 부가하는 방식의 경우, 동화상 부호열(137)과 참조화상 부호열(147)을 매크로블록 단위로 다중화하고, 어느 매크로블록에 참조화상 부호열(147)이 부가되었는가 아닌가를 나타내는 판정플래그 정보를 동화상 부호열(137)에 추가하는 방식도 가능하다.
도 13은 도 11의 화상부호화장치에 대응하는 화상복호화장치의 구성을 나타 내고 있다. 도 13에 있어서 도 5와 상대응하는 부분에 동일 부호를 붙이고 제1실시형태에 따른 화상복호화장치와의 상위점을 설명한다. 본 실시형태에서는 역다중화부(201)에 의해 DCT 계수 부호열(231) 및 동작벡터 부호열(237)과는 따로, 동화상 부호열(231)의 프레임에 대한 부가정보로서 삽입된 참조화상 부호열(241)이 동화상 부호열(231)로부터 분리된다. 분리된 참조화상 부호열(241)은, 제1실시형태와 마찬가지로 가변길이 복호화기(209), 역양자화기(210) 및 역이산코사인 변환기(211)를 거쳐 복호되어 참조화상신호(244)가 재생된다. 참조화상 부호열을 복호하여 얻어진 참조화상신호가 에러발생시에 사용하는 참조화상신호의 데이터로서 프레임 메모리(208)에 유지된다. 에러가 있는 경우, 그 참조화상 데이터가 동화상 부호열의 복호에 이용된다. 또, 에러가 발생한 경우에는, 참조화상 부호열로부터 복호된 참조화상으로 프레임 메모리(208)의 내용을 강제적으로 치환하는 방식이 채용되어도 좋다.
제3실시형태
도 14는 본 발명의 제3실시형태에 따른 화상부호화장치의 구성을 나타낸다. 제1 및 제2실시형태에서는, 프레임 메모리(110)에 기억된 참조화상신호를 부호화하여 참조화상 부호열(147)이 생성되고 있다. 제3실시형태에서는 동작보상 후의 참조화상신호(예측화상신호)를 부호화하여 참조화상 부호열(147)을 생성한다. 즉, 이 동작보상에서는, 프레임 메모리(110)에 기억된 참조화상신호 중에서 통상 소영역 단위마다(주로 매크로블록 단위마다) 최적의 부분이 선택되어 얻어지는 참조화상이 프레임 메모리에 기억된다. 그 때문에, 동작보상 후의 참조화상신호(142)는 프레임 메모리(110)에 기억된 참조화상신호(141)로부터 매크로블록 단위로 선택된 신호이다.
즉, 도 14에 있어서는 동작보상 적응예측기(111)로부터 출력되는 동작보상 후의 (매크로블록 단위로 선택된) 참조화상신호(142)가 이산코사인 변환기(113), 역양자화기(114) 및 가변길이 부호화기(115)를 거쳐 부호화되어 참조화상 부호열(147)이 생성된다. 이렇게 하여 생성된 참조화상 부호열(147)은, 제1실시형태와 마찬가지로 동화상 부호열(137)과 다른 프레임에서 출력되거나, 혹은 제2실시형태와 마찬가지로 동화상 부호열(137)의 프레임 내에 부가정보로서 삽입되어 출력된다.
도 15는 도 14의 화상부호화장치에 대응하는 본 실시형태에 따른 화상복호화장치의 구성을 나타낸다. 헤더 역다중화부(200)에 의해 입력 부호열로부터 분리된 동작보상 후의 참조화상 부호열(214)은 도 14에서 설명한 바와 같이 동작보상 후의 참조화상신호를 부호화하여 얻어진 부호열이다. 이 부호열이 가변길이 부호화기(209), 역양자화기(210) 및 역이산코사인 변환기(211)를 거쳐 복호된다. 이로써, 동작보상 후의 참조화상신호(244)가 재생된다. 재생된 동작보상 후의 참조화상신호(244)는, 제1 및 제2실시형태와 같이 프레임 메모리(208)가 아니라, 동작보상 예측기(207)로 입력된다.
동작보상 예측기(207)는, 에러발생시 등에는 입력된 동작벡터정보(238)와 프레임 메모리(208)로부터의 참조화상신호(239)가 아니라, 상기와 같이 하여 재생된 동작보상 후의 참조화상신호(244)를 예측화상신호(240)로서 출력할 수 있다.
본 실시형태에 의하면, 복수매의 참조화상에 어떤 가공을 가하면서 이용하는 경우에 있어서도, 영역분할 후의 입력 동화상신호(132)로부터 감산기(102)에서 직접 감산되는 예측화상신호인 동작보상 후의 참조화상신호(142)를 부호화하고, 이 참조화상신호(142)를 에러발생시의 복원용 신호로서 사용한다. 이로써 상술한 문제를 해결하는 것이 가능하게 된다.
또, 예측부호화되는 화상 프레임은, 소영역의 매크로블록 단위로 예측부호화(INTER 모드)를 행할 것인가, 프레임내 부호화(INTRA 모드)를 행할 것인가를 선택하면서 예측부호화되는 경우가 많다. 그 때, 프레임내 부호화하고 있는 매크로블록에는 예측화상신호가 존재하지 않기 때문에, 참조화상신호를 하나의 프레임으로서 출력하면 쓸데없는 부분이 생겨 버릴 가능성이 있다. 그래서, 참조화상신호를 프레임 단위로 프레임 메모리에 격납하는 이외에, 복호시에 필요하게 되는 참조화상 부호열(147)을 매크로블록 단위로 선택하여 축적하는 것도 가능하다.
제4실시형태
제1∼제3실시형태에서는, 동작보상 예측, 이산코사인변환, 양자화 및 가변길이 부호화를 조합시킨 동화상 부호화를 예로 설명해 왔지만, 본 발명은 이러한 부호화 방식에 한정되는 것은 아니다. 예컨대, 웨이브렛 부호화(wavelet encoding) 등의 차세대 부호화에도 본 발명을 적용하는 것이 가능하다.
도 16은 이러한 여러 가지 화상부호화방식을 고려하여 일반화한 화상부호화장치의 기본 구성을 나타낸다. 도 16에 있어서, 화상부호화부(1901)는 참조화상신호를 이용하여 입력 화상신호(주로 동화상신호; 1931)를 부호화하여 화상 부호열 (1932)을 출력한다. 화상부호화부(1901)는 참조화상신호를 이용하는 방식이면, 부호화방식은 상관없다. 화상부호화부(1901)에서 이용되는 참조화상신호(1933)는 참조화상 부호화부(1902)에서 부호화되어 참조화상 부호열(1934)로서 출력된다.
한편, 도 16의 화상부호화장치에 대응하는 화상복호화장치의 기본 구성을 도 17에 나타낸다. 입력된 부호열로부터 분리된 참조화상 부호열(2032)은 참조화상 복호화부(2002)에서 복호되어 참조화상신호(2033)가 재생된다. 한편, 입력된 부호열로부터 분리된 화상 부호열(2031)은 화상복호화부(2001)에서 복호된다. 그 때에 참조화상 복호화부(2002)에서 재생된 참조화상신호(2033)가 참조화상신호로서 존재하면, 이것을 적절히 이용할 수 있다.
제5실시형태
통상, INTRA 모드로 참조화상을 부호화한 경우, 양자화에 의해 이 참조화상과 원래의 참조화상 사이에 오차가 발생해 버린다. 그래서, 부호화시에 예측신호로서 참조화상신호를 이용하는 것이 아니라, 일단 변환부호화를 행하고 양자화하여 얻은 화상부호화신호를 참조용 화상으로서 이용한다. 이것을 부가참조화상 부호화신호로서 복호장치 측으로 전송함으로써, 양자화에 따른 오차가 없는 시스템을 실현하는 것이 가능하게 된다.
본 발명은 RTP(Real-time Transport Protocol) 등이 실장되는 피드백정보 RTCP 등과 조합시켜 이용함으로써, 효과를 보다 발휘할 수 있다. 네트워크의 에러 정보가 수신 측으로부터 송신 측으로 전송됨으로써, 그것을 부가정보의 송신 또는 비송신의 판단조건으로서 이용할 수 있기 때문이다. 예컨대, RTCP에 의해 에러가 있었다고 판정된 경우는, 다음에 존재하는 프레임의 참조화상 부호열을 수신 측으로 송신하게 된다.
상술한 본 발명의 화상부호화 및 복호화는, 하드웨어에 의해 실현해도 좋고, 처리의 일부 또는 전부를 컴퓨터를 이용하여 소프트웨어에 의해 실행하는 것도 가능하다. 이러한 소프트웨어(컴퓨터 프로그램)는 반도체 메모리, CD-ROM 등의 기록매체에 기록시켜 유통시켜도 좋고, 또 무선, 유선 등의 전송매체를 경유하여 유통시키는 것도 가능하다.
이상 설명한 바와 같이 본 발명에 의하면, 전송효율을 떨어뜨리는 일없이 에러시의 회복능력을 높이는 것이 가능하게 된다. 또, 부호화의 프레임워크(framework) 내에서 처리하고, 부호화시에 모든 데이터를 준비함으로써, 재부호화나 송신시에 있어서의 복잡한 처리 등이 불필요하게 되어 간편한 화상송수신 시스템을 구축하는 것이 가능하게 된다.
상술한 바와 같이 본 발명에 따른 화상복호화장치는, TV 전화, TV 회의 시스템, 휴대정보단말, 디지털 비디오 디스크 시스템 및 디지털 TV 방송 시스템에 있어서 적은 정보량으로 화상을 압축부호화하고, 전송 또는 축적하는 시스템에 사용할 수 있다.

Claims (12)

  1. 동화상신호를 부호화하여 얻어진 동화상 부호열 및 참조화상신호를 부호화하여 얻어진 참조화상 부호열을 포함하는 입력 부호열을 수신하는 단계와,
    제1 참조화상신호를 생성하기 위해 상기 입력 부호열에 포함된 참조화상 부호열을 복호하는 제1 복호화 단계 및,
    재생화상신호를 생성하기 위해 전 프레임의 화상신호로부터 얻어지는 제2 참조화상신호 및 상기 제1 참조화상신호의 어느 하나를 선택적으로 이용하여 상기 입력 부호열에 포함된 동화상 부호열을 복호하는 제2 복호화 단계를 구비하는 것을 특징으로 하는 화상복호화방법.
  2. 제1항에 있어서, 상기 제2 복호화 단계는 상기 재생화상신호를 상기 제2 참조화상신호로서 프레임 메모리에 기억함과 더불어 상기 제1 참조화상신호를 이 프레임 메모리에 격납하고, 이 프레임 메모리로부터 상기 제2 참조화상신호 및 제1 참조화상신호를 선택적으로 독출하여 상기 동화상 부호열을 복호하는 것을 특징으로 하는 화상복호화방법.
  3. 제1항에 있어서, 상기 제2 복호화 단계는 상기 재생화상신호를 상기 제2 참조화상신호로서 프레임 메모리에 격납하고, 이 프레임 메모리에 기억된 제2 참조화상신호를 상기 제1 참조화상신호로 치환하여 상기 동화상 부호열을 복호하는 단계 를 포함하는 것을 특징으로 하는 화상복호화방법.
  4. 동화상신호를 부호화하여 얻어진 동화상 부호열 및 참조화상신호를 부호화하여 얻어진 참조화상 부호열을 포함하는 입력 부호열을 수신하는 입력수단과,
    제1 참조화상신호를 생성하기 위해 상기 입력 부호열에 포함된 참조화상 부호열을 복호하는 제1 복호화 수단 및,
    재생화상신호를 생성하기 위해 전 프레임의 화상신호로부터 얻어지는 제2 참조화상신호 및 상기 제1 참조화상신호의 어느 하나를 선택적으로 이용하여 상기 입력 부호열에 포함된 동화상 부호열을 복호하는 제2 복호화 수단을 구비한 것을 특징으로 하는 화상복호화장치.
  5. 제4항에 있어서, 상기 제2 복호화 수단은 상기 재생화상신호를 상기 제2 참조화상신호로서 기억함과 더불어 상기 제1 참조화상신호를 기억하는 프레임 메모리를 갖추고, 이 프레임 메모리로부터 상기 제2 참조화상신호 및 제1 참조화상신호를 선택적으로 독출하여 상기 동화상 부호열을 복호하는 것을 특징으로 하는 화상복호화장치.
  6. 제4항에 있어서, 상기 제1 복호화 수단은 상기 입력 부호열에 포함된 동작보상 후의 상기 참조화상 부호열을 복호하여 상기 제1 참조화상신호를 생성하고,
    상기 제2 복호화 수단은 상기 재생화상신호를 상기 제2 참조화상신호로서 기 억하는 프레임 메모리 및 이 프레임 메모리로부터 독출되는 제2 참조화상신호 및 상기 제1 참조화상신호의 어느 하나에 대해 동작보상을 행하는 동작보상수단을 갖춘 것을 특징으로 하는 화상복호화장치.
  7. 제4항에 있어서, 상기 입력 부호열에 대해 상기 참조화상 부호열인가 아닌가의 판정을 행하는 제1 판정수단과,
    상기 제1 판정수단에 의해 상기 입력 부호열이 상기 참조화상 부호열이라고 판정된 때 그 참조화상 부호열을 복호해야 할 것인가 말 것인가를 판정하는 제2 판정수단 및,
    상기 제2 판정수단의 판정결과에 따라 상기 입력 부호열을 복호하는 복호화 수단을 더 갖춘 것을 특징으로 하는 화상복호화장치.
  8. 제4항에 있어서, 상기 제2 복호화 수단은 상기 재생화상신호를 상기 제2 참조화상신호로서 기억하는 프레임 메모리를 갖추고, 이 프레임 메모리에 기억된 제2 참조화상신호를 상기 제1 참조화상신호로 치환하여 상기 동화상 부호열을 복호하는 것을 특징으로 하는 화상복호화장치.
  9. 제1항에 있어서, 상기 동화상 부호열은, 입력된 동화상신호가 동작보상 예측 부호화된 동화상 부호열과 상기 동작보상 예측 부호화에 이용하기 위한 참조화상신호가 별도로 부호화된 참조화상 부호열이 다중화된 것을 특징으로 하는 화상복호화 방법.
  10. 제4항에 있어서, 상기 동화상 부호열은, 입력된 동화상신호가 동작보상 예측 부호화된 동화상 부호열과 상기 동작보상 예측 부호화에 이용하기 위한 참조화상신호가 별도로 부호화된 참조화상 부호열이 다중화된 것을 특징으로 하는 화상복호화장치.
  11. 동화상신호를 부호화하여 얻어진 동화상 부호열 및 참조화상신호를 부호화하여 얻어진 참조화상 부호열을 포함하는 입력 부호열을 받아들이는 처리와,
    상기 입력 부호열에 포함된 참조화상 부호열을 복호하여 제1 참조화상신호를 생성하는 처리 및,
    전 프레임의 화상신호로부터 얻어지는 제2 참조화상신호 및 상기 제1 참조화상신호의 어느 하나를 선택적으로 이용하여 상기 입력 부호열에 포함된 동화상 부호열을 복호하여 재생화상신호를 생성하는 처리를 컴퓨터에 실행시키기 위한 프로그램이 기록된 기록매체.
  12. 삭제
KR1020057020080A 2002-01-18 2003-01-20 화상복호화방법 및 장치와 기록매체 KR100628494B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2002010875 2002-01-18
JPJP-P-2002-00010875 2002-01-18
JP2003010135A JP3923898B2 (ja) 2002-01-18 2003-01-17 画像符号化方法及び装置
JPJP-P-2003-00010135 2003-01-17

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR20037012414A Division KR100564896B1 (ko) 2002-01-18 2003-01-20 화상부호화방법 및 장치와 기록매체

Publications (2)

Publication Number Publication Date
KR20050107529A KR20050107529A (ko) 2005-11-11
KR100628494B1 true KR100628494B1 (ko) 2006-09-26

Family

ID=27736416

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020057020080A KR100628494B1 (ko) 2002-01-18 2003-01-20 화상복호화방법 및 장치와 기록매체
KR20037012414A KR100564896B1 (ko) 2002-01-18 2003-01-20 화상부호화방법 및 장치와 기록매체

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR20037012414A KR100564896B1 (ko) 2002-01-18 2003-01-20 화상부호화방법 및 장치와 기록매체

Country Status (11)

Country Link
US (8) US7212576B2 (ko)
EP (8) EP1811788A2 (ko)
JP (1) JP3923898B2 (ko)
KR (2) KR100628494B1 (ko)
CN (1) CN1253014C (ko)
AU (1) AU2003203271B2 (ko)
BR (1) BR0302718A (ko)
CA (1) CA2440154C (ko)
MX (1) MXPA03008163A (ko)
NO (1) NO20034137L (ko)
WO (1) WO2003067894A1 (ko)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6499060B1 (en) 1999-03-12 2002-12-24 Microsoft Corporation Media coding for loss recovery with remotely predicted data units
US8634413B2 (en) 2004-12-30 2014-01-21 Microsoft Corporation Use of frame caching to improve packet loss recovery
US7634148B2 (en) 2005-01-07 2009-12-15 Ntt Docomo, Inc. Image signal transforming and inverse-transforming method and computer program product with pre-encoding filtering features
US8290057B2 (en) 2005-02-18 2012-10-16 Mediatek Incorporation Method of decoding a digital video sequence and related apparatus
EP1713283A2 (en) * 2005-04-15 2006-10-18 Sony Corporation Video decoder with random access technique
KR100729824B1 (ko) * 2005-11-03 2007-06-18 주식회사 칼라짚미디어 이미지 코드 생성 장치 및 그 방법과 이미지 코드 디코딩장치 및 그 방법
WO2007116551A1 (ja) * 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
US7746961B2 (en) * 2006-04-11 2010-06-29 Telefonaktiebolaget L M Ericsson (Publ) Efficient detection of predetermined sequences
ATE535520T1 (de) * 2006-08-23 2011-12-15 Eisai R&D Man Co Ltd Salz eines phenoxypyridinderivats oder kristall davon und verfahren zu dessen herstellung
JP2009203226A (ja) * 2008-01-31 2009-09-10 Eisai R & D Management Co Ltd ピリジン誘導体およびピリミジン誘導体を含有するレセプターチロシンキナーゼ阻害剤
US8326075B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video encoding using adaptive loop filter
US8385404B2 (en) * 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
WO2011027507A1 (ja) 2009-09-03 2011-03-10 日本電気株式会社 動画像符号化装置、動画像符号化方法および動画像符号化プログラム
JP2010009624A (ja) * 2009-10-07 2010-01-14 Ntt Docomo Inc 画像信号変換方法、画像信号逆変換方法、画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、画像符号化プログラム、及び、画像復号プログラム
US8503528B2 (en) 2010-09-15 2013-08-06 Google Inc. System and method for encoding video using temporal filter
JP5367687B2 (ja) * 2010-12-27 2013-12-11 株式会社フォーラムエイト データ配信システム、データ配信装置、及びデータ配信方法
US8781004B1 (en) 2011-04-07 2014-07-15 Google Inc. System and method for encoding video using variable loop filter
US8780996B2 (en) 2011-04-07 2014-07-15 Google, Inc. System and method for encoding and decoding video data
US8780971B1 (en) 2011-04-07 2014-07-15 Google, Inc. System and method of encoding using selectable loop filters
US8638854B1 (en) 2011-04-07 2014-01-28 Google Inc. Apparatus and method for creating an alternate reference frame for video compression using maximal differences
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US8885706B2 (en) 2011-09-16 2014-11-11 Google Inc. Apparatus and methodology for a video codec system with noise reduction capability
HRP20231385T1 (hr) 2011-09-22 2024-03-01 Lg Electronics Inc. Postupak i uređaj za signaliziranje slikovnih informacija, te postupak i uređaj za dekodiranje korištenjem istih
US9131073B1 (en) 2012-03-02 2015-09-08 Google Inc. Motion estimation aided noise reduction
WO2013162980A2 (en) 2012-04-23 2013-10-31 Google Inc. Managing multi-reference picture buffers for video data coding
US9609341B1 (en) 2012-04-23 2017-03-28 Google Inc. Video data encoding and decoding using reference picture lists
US9014266B1 (en) 2012-06-05 2015-04-21 Google Inc. Decimated sliding windows for multi-reference prediction in video coding
US9332309B2 (en) 2012-06-08 2016-05-03 Apple Inc. Sync frame recovery in real time video transmission system
US9344729B1 (en) 2012-07-11 2016-05-17 Google Inc. Selective prediction signal filtering
US9491487B2 (en) * 2012-09-25 2016-11-08 Apple Inc. Error resilient management of picture order count in predictive coding systems
US9264737B2 (en) 2012-10-01 2016-02-16 Apple Inc. Error resilient transmission of random access frames and global coding parameters
US9756331B1 (en) 2013-06-17 2017-09-05 Google Inc. Advance coded reference prediction
US10102613B2 (en) 2014-09-25 2018-10-16 Google Llc Frequency-domain denoising
CN107820095B (zh) * 2016-09-14 2020-01-03 北京金山云网络技术有限公司 一种长期参考图像选择方法及装置
EP3759922A1 (en) 2018-04-03 2021-01-06 Huawei Technologies Co. Ltd. Error mitigation in sub-picture bitstream based viewport dependent video coding
WO2020107268A1 (zh) * 2018-11-28 2020-06-04 深圳市大疆创新科技有限公司 Gdr码流编码方法、终端设备、机器可读存储介质
CN112866712B (zh) * 2019-11-12 2023-05-23 杭州海康威视数字技术股份有限公司 一种图像码流数据的显示控制方法、以及解码设备
CN112770179B (zh) * 2021-01-05 2023-06-16 武汉球之道科技有限公司 一种用于在线赛事转播的高效传输系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2877906B2 (ja) * 1990-06-29 1999-04-05 日本電信電話株式会社 フレーム間符号化における伝送符号誤り検出方式
JPH04170184A (ja) * 1990-10-12 1992-06-17 Mitsubishi Electric Corp 画像伝送装置
NL9201593A (nl) * 1992-09-14 1994-04-05 Nederland Ptt Systeem omvattende een eerste encoder voor het coderen van een eerste digitaal signaal, een tweede encoder voor het coderen van een tweede digitaal signaal en ten minste één decoder voor het decoderen van gecodeerde digitale signalen, en encoder en decoder voor toepassing in het systeem.
DE69418372T2 (de) * 1993-03-15 1999-11-25 Sony Corp., Tokio/Tokyo Übertragung und Dekodierung von Bildsignalen
CN1079001C (zh) * 1993-03-26 2002-02-06 英国电讯有限公司 代码转换器
JPH0730896A (ja) * 1993-06-25 1995-01-31 Matsushita Electric Ind Co Ltd 動きベクトル符号化及び復号化方法
US5940130A (en) * 1994-04-21 1999-08-17 British Telecommunications Public Limited Company Video transcoder with by-pass transfer of extracted motion compensation data
DE69535800D1 (de) * 1994-06-08 2008-09-11 Matsushita Electric Ind Co Ltd Bildumsetzungsvorrichtung
US6111596A (en) * 1995-12-29 2000-08-29 Lucent Technologies Inc. Gain and offset correction for efficient stereoscopic coding and improved display
JP2848326B2 (ja) 1996-03-28 1999-01-20 日本電気株式会社 Ｍｐｅｇ符号化画像復号装置
WO1998017068A1 (en) * 1996-10-11 1998-04-23 Sarnoff Corporation Stereoscopic video coding and decoding apparatus and method
JPH10191356A (ja) * 1996-12-27 1998-07-21 Oki Electric Ind Co Ltd 画像符号化装置
US6005523A (en) * 1997-12-11 1999-12-21 Ericsson Inc. Antenna rod disconnect mechanisms and associated methods
US6434196B1 (en) * 1998-04-03 2002-08-13 Sarnoff Corporation Method and apparatus for encoding video information
DE69928798T2 (de) 1999-08-31 2006-07-27 Lucent Technologies Inc. Fehlererkennungssystem für Videosignal
US20020122491A1 (en) * 2001-01-03 2002-09-05 Marta Karczewicz Video decoder architecture and method for using same
US6920175B2 (en) 2001-01-03 2005-07-19 Nokia Corporation Video coding architecture and methods for using same
KR101108661B1 (ko) * 2002-03-15 2012-01-25 노키아 코포레이션 비디오 시퀀스에서의 움직임 부호화 방법
US7447264B2 (en) * 2002-11-07 2008-11-04 Victor Company Of Japan, Ltd. Moving-picture temporal scalable coding method, coding apparatus, decoding method, decoding apparatus, and computer program therefor
US6857776B2 (en) * 2002-12-12 2005-02-22 Ametek, Inc. Connectorized high-temperature thermocouple

Also Published As

Publication number Publication date
JP2003284078A (ja) 2003-10-03
US20070153913A1 (en) 2007-07-05
EP1793615A2 (en) 2007-06-06
EP1793612A2 (en) 2007-06-06
US20070160141A1 (en) 2007-07-12
EP1793613A2 (en) 2007-06-06
NO20034137D0 (no) 2003-09-17
US20070153895A1 (en) 2007-07-05
MXPA03008163A (es) 2004-01-22
KR100564896B1 (ko) 2006-03-30
EP1811787A2 (en) 2007-07-25
AU2003203271B2 (en) 2005-11-24
EP1793616A2 (en) 2007-06-06
CA2440154A1 (en) 2003-08-14
CA2440154C (en) 2008-01-08
US20070153912A1 (en) 2007-07-05
US20070153893A1 (en) 2007-07-05
JP3923898B2 (ja) 2007-06-06
US20070153911A1 (en) 2007-07-05
US7212576B2 (en) 2007-05-01
KR20030090688A (ko) 2003-11-28
NO20034137L (no) 2003-10-15
EP1811788A2 (en) 2007-07-25
CN1253014C (zh) 2006-04-19
EP1793614A2 (en) 2007-06-06
US20070153894A1 (en) 2007-07-05
AU2003203271A1 (en) 2003-09-02
US20040080669A1 (en) 2004-04-29
KR20050107529A (ko) 2005-11-11
BR0302718A (pt) 2004-03-23
EP1469681A1 (en) 2004-10-20
WO2003067894A1 (en) 2003-08-14
CN1507750A (zh) 2004-06-23

Similar Documents

Publication Publication Date Title
KR100628494B1 (ko) 화상복호화방법 및 장치와 기록매체
JP3762392B2 (ja) 動画像符号化方法及び装置
US20050265444A1 (en) Moving image encoding/decoding apparatus and method
JP3245496B2 (ja) 画像符号化方法、画像符号化回路、画像符号化装置及び再生装置
JP2006295910A (ja) エラー訂正装置
JP3891198B2 (ja) 復号装置及び方法、並びに伝送装置及び方法
JP4302093B2 (ja) 動画像符号化装置及び動画像符号化方法
JP2007151163A (ja) 画像復号化方法及び装置
JP2006262016A (ja) エラー訂正装置
JP3905938B2 (ja) 画像符号化装置および画像復号化装置
JP3756902B2 (ja) 動画像復号化装置及び動画像復号化方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20090827

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee