KR20060045778A - 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화프로그램, 동화상 복호 장치, 동화상 복호 방법, 및 동화상복호 프로그램 - Google Patents

동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화프로그램, 동화상 복호 장치, 동화상 복호 방법, 및 동화상복호 프로그램 Download PDF

Info

Publication number
KR20060045778A
KR20060045778A KR20050031566A KR20050031566A KR20060045778A KR 20060045778 A KR20060045778 A KR 20060045778A KR 20050031566 A KR20050031566 A KR 20050031566A KR 20050031566 A KR20050031566 A KR 20050031566A KR 20060045778 A KR20060045778 A KR 20060045778A
Authority
KR
South Korea
Prior art keywords
image
generating
predictive
reproduced
update
Prior art date
Application number
KR20050031566A
Other languages
English (en)
Other versions
KR100720851B1 (ko
Inventor
충 셍 분
티오우 켕 탄
Original Assignee
가부시키가이샤 엔티티 도코모
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 엔티티 도코모 filed Critical 가부시키가이샤 엔티티 도코모
Publication of KR20060045778A publication Critical patent/KR20060045778A/ko
Application granted granted Critical
Publication of KR100720851B1 publication Critical patent/KR100720851B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

본 발명의 일 실시예로서, 동화상 부호화 장치(10)에서는, 예측 화상 생성부(16)가 프레임 메모리(20)에 격납된 참조 화상을 사용하여, 대상 화상에 대한 예측 화상을 생성한다. 차분 화상 생성부(18)는 대상 화상과 예측 화상과의 차 연산에 의해서 차분 화상을 생성한다. 부호화부(22)는 차분 화상을 부호화하여 부호화 차분 신호를 생성한다. 복호부(28)는 부호화 차분 신호를 복호하여 복호 차분 화상을 생성한다. 재생 화상 생성부(30)는 복호 차분 화상과 예측 화상의 가산에 의해서 재생 화상을 생성한다. 화상 갱신부(32)는 재생 화상 또는 참조 화상의 한쪽의 제 1 화상과, 상기 재생 화상 또는 상기 참조 화상의 다른쪽의 제 2 화상과의 가중 가산에 의해서 갱신 화상을 생성한다. 갱신 화상은 프레임 메모리(20)에 격납되어, 다른 대상 화상의 부호화에 있어서 참조 화상으로서 사용된다.
동화상 부호화 장치, 참조 화상, 예측 화상, 갱신 화상

Description

동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램, 동화상 복호 장치, 동화상 복호 방법, 및 동화상 복호 프로그램{Moving picture encoding apparatus, moving picture encoding method, moving picture encoding program, moving picture decoding apparatus, moving picture decoding method, and moving picture decoding program}
도 1은 본 발명의 실시예에 따른 동화상 부호화 장치의 구성을 도시하는 도면.
도 2는 화상 갱신부의 일 실시예의 구성을 도시하는 도면.
도 3은 순방향 예측을 사용한 경우의 화상 갱신의 개념을 설명하기 위한 도면.
도 4는 쌍방향 예측을 사용한 경우의 화상 갱신의 개념을 설명하기 위한 도면.
도 5는 본 발명의 실시예에 따른 동화상 부호화 방법을 도시하는 플로우챠트.
도 6은 갱신 화상 생성에 관한 플로우챠트.
도 7은 갱신 화상 생성의 상세에 관한 플로우챠트.
도 8은 본 발명의 실시예에 따른 동화상 부호화 프로그램의 구성을 기록매체 와 함께 도시하는 도면.
도 9는 기록 매체에 기억된 프로그램을 실행하기 위한 컴퓨터의 하드웨어 구성을 도시하는 도면.
도 10은 기록 매체에 기억된 프로그램을 실행하기 위한 컴퓨터의 사시도.
도 11은 본 발명의 실시예에 따른 동화상 복호 장치의 구성을 도시하는 도면.
도 12는 본 발명의 실시예에 따른 동화상 복호 방법을 도시하는 플로우챠트.
도 13은 본 발명의 실시예에 따른 동화상 복호 프로그램의 구성을 기록매체와 함께 도시하는 도면.
도 14는 본 발명의 실시예에 따른 동화상 부호화 장치의 구성의 변형예를 도시하는 도면.
도 15는 본 발명의 실시예에 따른 동화상 복호 장치의 구성의 제 1 변형예를 도시하는 도면.
도 16은 본 발명의 실시예에 따른 동화상 복호 장치의 구성의 제 2 변형예를 도시하는 도면.
도 17은 본 발명의 실시예에 따른 동화상 복호 프로그램의 구성의 변형예를 기록매체와 함께 도시하는 도면.
본 발명은 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램, 동화상 복호 장치, 동화상 복호 방법, 및 동화상 복호 프로그램에 관한 것이다.
동화상의 전송이나 축적을 효율 좋게 하기 위해서, 압축 부호화 기술이 사용된다. 압축 부화화 기술의 일종으로서, 프레임간 부호화 방식이 알려져 있다. 프레임간 부호화 방식에서는 화상이 소정 사이즈의 복수의 블록으로 분할되고, 블록마다 부호화 처리가 행하여진다. 이 부호화 처리에서는 시간 방향에 인접하는 다른 화상의 재생 화상이 참조 화상으로서 사용되고, 부호화의 대상이 되는 대상 화상에 관한 예측 화상이 생성된다. 여기에서, 재생 화상이란, 대상 화상보다 먼저 부호화된 화상이 복원된 것이다. 이 예측 화상과 대상 화상과의 차분 화상이 부호화됨으로써, 동화상의 데이터량이 삭감된다(예를 들면, 일본국의 일본 공개특허공보 제(평)9-93592호 참조).
그런데, 재생 화상에는 여러 가지 노이즈가 발생한다. 재생 화상에 노이즈가 존재하면, 참조 화상으로서의 질이 저하된다. 결과적으로, 예측 화상과 대상 화상의 차가 커지기 때문에, 데이터량이 충분히 삭감되지 않는다.
그래서, 본 발명은 참조 화상의 노이즈를 저감시키는 것이 가능한 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램을 제공하는 것을 목적으로 하고 있다. 또한, 본 발명은 이러한 동화상 부호화 장치에 의해서 생성된 데이터로부터 동화상을 복원 가능한 동화상 복호 장치, 동화상 복호 방법, 및 동화상 복호 프로그램을 제공하는 것을 목적으로 하고 있다.
본 발명의 동화상 부호화 장치는 (a)동화상을 구성하는 복수의 화상 중에서 부호화의 대상이 되는 대상 화상에 대한 예측 화상을 생성하는 예측 화상 생성 수단과, (b)상기 대상 화상과 상기 예측 화상과의 차 연산을 실행함으로써, 차분 화상을 생성하는 차분 화상 생성 수단과, (c)상기 차분 화상을 부호화함으로써, 부호화 차분 신호를 생성하는 부호화 수단과, (d)상기 부호화 차분 신호를 복호함으로써, 복호 차분 화상을 생성하는 복호 수단과, (e)상기 복호 차분 화상과 상기 예측 화상과의 합 연산을 실행함으로써, 재생 화상을 생성하는 재생 화상 생성 수단과, (f)예측 화상을 생성하기 위해서 상기 예측 화상 생성 수단에 의해서 사용되는 참조 화상을 격납하기 위한 격납 수단과, (g)상기 재생 화상 또는 상기 격납 수단에 격납된 참조 화상의 한쪽인 제 1 화상과, 상기 재생 화상 또는 상기 참조 화상의 다른쪽인 제 2 화상의 적어도 일부를 가중 가산함으로써, 갱신 화상을 생성하는 화상 갱신 수단을 구비하고, (h)상기 화상 갱신 수단은 상기 갱신 화상을 상기 격납 수단에 격납하고, (i)상기 예측 화상 생성 수단은 상기 격납 수단에 격납된 갱신 화상을, 다른 대상 화상에 대한 예측 화상을 생성하기 위한 참조 화상으로서 사용한다.
또한, 본 발명의 다른 측면에 따른 동화상 부호화 방법은 (a)예측 화상 생성 수단이, 동화상을 구성하는 복수의 화상 중에서 부호화의 대상인 대상 화상에 대한 예측 화상을 생성하는 예측 화상 생성 단계와, (b)차분 화상 생성 수단이, 상기 대 상 화상과 상기 예측 화상과의 차 연산을 실행함으로써, 차분 화상을 생성하는 차분 화상 생성 단계와, (c)부호화 수단이, 상기 차분 화상을 부호화함으로써, 부호화 차분 신호를 생성하는 부호화 단계와, (d)복호 수단이, 상기 부호화 차분 신호를 복호함으로써, 복호 차분 화상을 생성하는 복호 단계와, (e)재생 화상 생성 수단이, 상기 복호 차분 화상과 상기 예측 화상과의 합 연산을 실행함으로써, 재생 화상을 생성하는 재생 화상 생성 단계와, (f)격납 수단이, 예측 화상을 생성하기 위해서 상기 예측 화상 생성 수단에 의해서 사용되는 참조 화상을 격납하기 위한 격납 단계와, (g)화상 갱신 수단이, 상기 재생 화상 또는 상기 격납 수단에 격납된 참조 화상의 한쪽인 제 1 화상과, 상기 재생 화상 또는 상기 참조 화상의 다른쪽인 제 2 화상의 적어도 일부를 가중 가산함으로써, 갱신 화상을 생성하는 화상 갱신 단계를 포함하고, (h)상기 화상 갱신 단계에서, 상기 화상 갱신 수단이, 상기 갱신 화상을 상기 격납 수단에 격납하고, (i)상기 예측 화상 생성 단계에서, 상기 예측 화상 생성 수단이, 상기 격납 수단에 격납된 갱신 화상을, 다른 대상 화상에 대한 예측 화상을 생성하기 위한 참조 화상으로서 사용한다.
또한, 본 발명의 또 다른 측면에 따른 동화상 부호화 프로그램은 컴퓨터를, (a)동화상을 구성하는 복수의 화상 중에서 부호화의 대상이 되는 대상 화상에 대한 예측 화상을 생성하는 예측 화상 생성 수단과, (b)상기 대상 화상과 상기 예측 화상과의 차 연산을 실행함으로써, 차분 화상을 생성하는 차분 화상 생성 수단과, (c)상기 차분 화상을 부호화함으로써, 부호화 차분 신호를 생성하는 부호화 수단과, (d)상기 부호화 차분 신호를 복호함으로써, 복호 차분 화상을 생성하는 복호 수단과, (e)상기 복호 차분 화상과 상기 예측 화상과의 합 연산을 실행함으로써, 재생 화상을 생성하는 재생 화상 생성 수단과, (f)예측 화상을 생성하기 위해서 상기 예측 화상 생성 수단에 의해서 사용되는 참조 화상을 격납하기 위한 격납 수단과, (g)상기 재생 화상 또는 상기 격납 수단에 격납된 참조 화상의 한쪽인 제 1 화상과, 상기 재생 화상 또는 상기 참조 화상의 다른쪽인 제 2 화상의 적어도 일부를 가중 가산함으로써, 갱신 화상을 생성하는 화상 갱신 수단으로서 기능시키기 위한 프로그램이다. 여기에서, (h)화상 갱신 수단은 상기 갱신 화상을 상기 격납 수단에 격납하고, (i)예측 화상 생성 수단은 상기 격납 수단에 격납된 갱신 화상을, 다른 대상 화상에 대한 예측 화상을 생성하기 위한 참조 화상으로서 사용한다.
상술한 동화상의 부호화에 따른 본 발명에 의하면, 재생 화상 또는 격납 수단에 이미 격납되어 있는 참조 화상의 한쪽의 제 1 화상에, 상기 재생 화상 또는 상기 참조 화상의 다른쪽의 제 2 화상이 가중 가산됨으로써, 갱신 화상이 생성된다. 이 갱신 화상은 다른 대상 화상의 예측 화상을 생성하기 위한 참조 화상으로서 사용된다. 따라서, 가산에 기초하는 평균화에 의해서 노이즈가 삭감된 참조 화상이 사용되기 때문에, 부호화에 의한 동화상의 데이터량이 삭감되어, 부호화 효율이 향상된다. 또한, 본 발명에 따르면, 재생 화상과 참조 화상이 평균화된 갱신 화상이 생성되기 때문에, 재생 화상 또는 참조 화상에는 없는 화상의 디테일을 갱신 화상에 반영시킬 수 있다. 따라서, 부호화에 의한 동화상의 데이터량이 더욱 삭감된다.
또, 재생 화상에 발생하는 여러가지의 노이즈로서는 예를 들면, 블록간의 경 계에서 큰 화소치의 변화가 나타나는 블록 일그러짐에 기인하는 노이즈가 알려져 있다. 이 블록 일그러짐에 의한 노이즈를 경감시키기 위해서, 재생 화상에 있어서의 블록간의 경계 근방에 디블로킹 필터를 실시하는 기술이 알려져 있다. 그렇지만, 디블로킹 필터에서는 블록 내부에 발생한 노이즈를 저감시킬 수 없다. 본 발명에 따르면, 가산에 기초하는 평균화에 의해서 참조 화상의 노이즈가 경감되기 때문에, 블록 내부에 있어서의 노이즈를 저감시킬 수 있다.
또한, 재생 화상에 발생하는 노이즈의 일종인 양자화 노이즈 등을 삭감하기 위한 기술로서, 쌍방향 예측이 알려져 있다. 쌍방향 예측에서는 처리 대상 블록에 대하여, 두개의 움직임 량(제 1 움직임 량 및 제 2 움직임 량)이 구해진다. 제 1 움직임 량은 시간 방향에서 전방의 참조 화상으로의 처리 대상 블록의 움직임 량이다. 제 2 움직임 량은 시간 방향에서 후방의 참조 화상으로의 처리 대상 블록의 움직임 량이다. 쌍방향 예측에서는 제 1 움직임 량으로부터 제 1 예측 화상이 구해지고, 제 2 움직임 량으로부터 제 2 예측 화상이 구해지고, 제 1 예측 화상과 제 2 예측 화상을 평균화한 예측 화상이 사용된다. 그렇지만, 이 예측 화상은 특정한 처리 대상 블록에 대하여 사용되는 것으로, 이후의 다른 처리 대상 블록의 처리에 있어서 참조 화상으로서 이용할 수 없다. 따라서, 쌍방향 예측에서는 평균화에 의한 노이즈 저감의 효과가, 이후의 처리에 발휘되지 않는다. 한편, 본 발명에 따르면, 평균화에 의해서 노이즈가 경감된 갱신 화상이 참조 화상으로서 격납 수단에 격납되고, 나중의 처리에 있어서 예측 화상의 생성에 사용된다. 따라서, 본 발명에 따르면, 평균화에 의한 노이즈 저감의 효과가, 다른 대상 화상의 처리에도 발휘 된다.
본 발명의 동화상 복호 장치는 (a)동화상이 예측 부호화되어 이루어지는 부호화 차분 신호를 복호함으로써, 복호 차분 화상을 생성하는 복호 수단과, (b)상기 부호화 차분 신호에 기초하여, 복호 대상의 대상 화상에 대한 예측 화상을 생성하는 예측 화상 생성 수단과, (c)상기 복호 차분 화상과 상기 예측 화상을 가산함으로써 재생 화상을 생성하는 재생 화상 생성 수단과, (d)상기 예측 화상을 생성하기 위해서 상기 예측 화상 생성 수단에 의해서 사용되는 참조 화상을 격납하는 격납 수단과, (e)상기 재생 화상 또는 상기 격납 수단에 격납되어 있던 참조 화상의 한쪽인 제 1 화상과, 상기 재생 화상 또는 상기 참조 화상의 다른쪽인 제 2 화상의 적어도 일부를 가중 가산함으로써, 갱신 화상을 생성하는 화상 갱신 수단을 구비하고, (f)상기 화상 갱신 수단은 상기 갱신 화상을 상기 격납 수단에 격납하고, (g)상기 예측 화상 생성 수단은 상기 격납 수단에 격납된 갱신 화상을, 다른 대상 화상에 대한 예측 화상을 생성하기 위한 참조 화상으로서 사용한다.
본 발명의 다른 측면에 따른 동화상 복호 방법은 (a)복호 수단이, 동화상이 예측 부호화되어 이루어지는 부호화 차분 신호를 복호함으로써, 복호 차분 화상을 생성하는 복호 단계와, (b)예측 화상 생성 수단이, 상기 부호화 차분 신호에 기초하여, 복호 대상의 대상 화상에 대한 예측 화상을 생성하는 예측 화상 생성 단계와, (c)재생 화상 생성 수단이, 상기 복호 차분 화상과 상기 예측 화상을 가산함으로써 재생 화상을 생성하는 재생 화상 생성 단계와, (d)격납 수단이, 상기 예측 화상을 생성하기 위해서 상기 예측 화상 생성 수단에 의해서 사용되는 참조 화상을 격납하는 격납 단계와, (e)화상 갱신 수단이, 상기 재생 화상 또는 상기 격납 수단에 격납되어 있던 참조 화상의 한쪽인 제 1 화상과, 상기 재생 화상 또는 상기 참조 화상의 다른쪽인 제 2 화상의 적어도 일부를 가중 가산함으로써, 갱신 화상을 생성하는 화상 갱신 단계를 포함하고, (f)상기 화상 갱신 단계에서, 상기 화상 갱신 수단이, 상기 갱신 화상을 상기 격납 수단에 격납하고, (g)상기 예측 화상 생성 단계에 있어서, 상기 예측 화상 생성 수단이, 상기 격납 수단에 격납된 갱신 화상을, 다른 대상 화상에 대한 예측 화상을 생성하기 위한 참조 화상으로서 사용한다.
본 발명의 또 다른 측면에 따른 동화상 복호 프로그램은 컴퓨터를, (a)동화상이 예측 부호화되어 이루어지는 부호화 차분 신호를 복호함으로써, 복호 차분 화상을 생성하는 복호 수단과, (b)상기 부호화 차분 신호에 기초하여, 복호 대상의 대상 화상에 대한 예측 화상을 생성하는 예측 화상 생성 수단과, (c)상기 복호 차분 화상과 상기 예측 화상을 가산함으로써 재생 화상을 생성하는 재생 화상 생성 수단과, (d)상기 예측 화상을 생성하기 위해서 상기 예측 화상 생성 수단에 의해서 사용되는 참조 화상을 격납하는 격납 수단과, (e)상기 재생 화상 또는 상기 격납 수단에 격납되어 있던 참조 화상의 한쪽인 제 1 화상과, 상기 재생 화상 또는 상기 참조 화상의 다른쪽인 제 2 화상의 적어도 일부를 가중 가산함으로써, 갱신 화상을 생성하는 화상 갱신 수단으로서 기능시키기 위한 프로그램이다. 여기에서, (f)상기 화상 갱신 수단은 상기 갱신 화상을 상기 격납 수단에 격납하고, (g)상기 예측 화상 생성 수단은 상기 격납 수단에 격납된 갱신 화상을, 다른 대상 화상에 대한 예측 화상을 생성하기 위한 참조 화상으로서 사용한다.
상술한 동화상의 복호에 따른 본 발명에 의하면, 상술한 동화상의 부호화에 따른 본 발명에 기초하여 생성된 데이터로부터 동화상이 충실하게 복원된다.
상술한 동화상의 부호화에 따른 본 발명(동화상 부호화 장치, 동화상 부호화 방법, 및 동화상 부호화 프로그램)에 있어서, 화상 갱신 수단은 제 1 화상으로서, 재생 화상 생성 수단에 의해서 생성되는 재생 화상을 사용하고, 제 2 화상으로서, 격납 수단에 격납된 참조 화상을 사용하고, 상기 재생 화상과 상기 참조 화상의 적어도 일부를 가중 가산함으로써 생성하는 갱신 재생 화상을, 갱신 화상으로서 격납 수단에 격납하여도 좋다.
이 경우, 상술한 동화상의 복호에 따른 본 발명(동화상 복호 장치, 동화상 복호 방법, 및 동화상 복호 프로그램)에서는 화상 갱신 수단이, 제 1 화상으로서, 재생 화상 생성 수단에 의해서 생성되는 재생 화상을 사용하고, 제 2 화상으로서, 격납 수단에 격납된 참조 화상을 사용하고, 상기 재생 화상과 상기 참조 화상의 적어도 일부를 가중 가산함으로써 생성하는 갱신 재생 화상을, 갱신 화상으로서 격납 수단에 격납한다.
또한, 상술한 동화상의 부호화에 따른 본 발명(동화상 부호화 장치, 동화상 부호화 방법, 및 동화상 부호화 프로그램)에 있어서, 화상 갱신 수단은 제 1 화상으로서, 격납 수단에 격납된 참조 화상을 사용하고, 제 2 화상으로서, 재생 화상 생성 수단에 의해서 생성되는 재생 화상을 사용하고, 상기 참조 화상과 상기 재생 화상의 적어도 일부를 가중 가산함으로써 생성하는 갱신 참조 화상을, 갱신 화상으로서 격납 수단에 격납하여도 좋다.
이 경우, 상술한 동화상의 복호에 따른 본 발명(동화상 복호 장치, 동화상 복호 방법, 및 동화상 복호 프로그램)에서는 화상 갱신 수단이, 제 1 화상으로서, 격납 수단에 격납된 참조 화상을 사용하고, 제 2 화상으로서, 재생 화상 생성 수단에 의해서 생성되는 재생 화상을 사용하고, 상기 참조 화상과 상기 재생 화상의 적어도 일부를 가중 가산함으로써 생성하는 갱신 참조 화상을, 갱신 화상으로서 상기 격납 수단에 격납한다.
또한, 상술한 동화상의 부호화에 따른 본 발명(동화상 부호화 장치, 동화상 부호화 방법, 및 동화상 부호화 프로그램)에 있어서, 화상 갱신 수단이, 제 1 화상으로서, 재생 화상 생성 수단에 의해서 생성되는 재생 화상을 사용하고, 제 2 화상으로서, 격납 수단에 격납된 참조 화상을 사용하고, 상기 재생 화상과 상기 참조 화상의 적어도 일부를 가중 가산함으로써 생성하는 갱신 재생 화상을, 갱신 화상으로서 격납 수단에 격납하고, 또한, 제 1 화상으로서, 격납 수단에 격납된 참조 화상을 사용하고, 제 2 화상으로서, 재생 화상 생성 수단에 의해서 생성되는 재생 화상을 사용하고, 상기 참조 화상과 상기 재생 화상의 적어도 일부를 가중 가산함으로써 생성하는 갱신 참조 화상을 갱신 화상으로서 상기 격납 수단에 격납하여도 좋다. 이 경우, 예측 화상 생성 수단은 재생 화상, 갱신 재생 화상, 참조 화상(이미 격납 수단에 격납되어 있는 참조 화상), 및 갱신 참조 화상 중 적어도 하나를, 다른 대상 화상에 대한 예측 화상을 생성하기 위한 참조 화상으로서 사용할 수 있다.
이 경우, 상술한 동화상의 복호에 따른 본 발명(동화상 복호 장치, 동화상 복호 방법, 및 동화상 복호 프로그램)에서는 화상 갱신 수단이, 제 1 화상으로서, 재생 화상 생성 수단에 의해서 생성되는 재생 화상을 사용하고, 제 2 화상으로서, 격납 수단에 격납된 참조 화상을 사용하고, 상기 재생 화상과 상기 참조 화상의 적어도 일부를 가중 가산함으로써 생성하는 갱신 재생 화상을, 갱신 화상으로서 격납 수단에 격납하고, 또한, 제 1 화상으로서, 격납 수단에 격납된 참조 화상을 사용하고, 제 2 화상으로서, 재생 화상 생성 수단에 의해서 생성되는 재생 화상을 사용하고, 상기 참조 화상과 상기 재생 화상의 적어도 일부를 가중 가산함으로써 생성하는 갱신 참조 화상을 격납 수단에 격납한다. 예측 화상 생성 수단은 재생 화상, 갱신 재생 화상, 참조 화상, 갱신 참조 화상 중 적어도 하나를, 다른 대상 화상에 대한 예측 화상을 생성하기 위한 참조 화상으로서 사용할 수 있다.
또한, 상술한 동화상의 복호에 따른 본 발명(동화상 복호 장치, 동화상 복호 방법, 및 동화상 복호 프로그램)에 있어서, 부호화 차분 신호는 제 1 상태, 제 2 상태, 제 3 상태, 및 제 4 상태의 적어도 하나를 지시하는 갱신 제어 신호를 포함하고, 화상 갱신 수단은 갱신 제어 신호에 의해서 제 1 상태가 지시되는 경우에, 갱신 재생 화상을 생성하고, 갱신 제어 신호에 의해서 제 2 상태가 지시되는 경우에, 갱신 참조 화상을 생성하고, 갱신 제어 신호에 의해서 제 3 상태가 지시되는 경우에, 갱신 재생 화상과 갱신 참조 화상을 생성하고, 갱신 제어 신호에 의해서 제 4 상태가 지시되는 경우에, 갱신 재생 화상과 갱신 참조 화상을 생성하지 않는다.
또한, 적합하게는 상술한 동화상의 부호화에 따른 본 발명(동화상 부호화 장치, 동화상 부호화 방법, 및 동화상 부호화 프로그램)에 있어서, 화상 갱신 수단은 제 1 화상에 대한 제 2 화상의 어긋남을 특정하는 움직임 량을 구하고, 상기 움직임 량에 기초하여 이동시킨 대응의 위치에 있어서 제 2 화상의 적어도 일부를 제 1 화상에 가중 가산함으로써, 갱신 화상을 생성한다.
이 경우에, 상술한 동화상의 복호에 따른 본 발명(동화상 복호 장치, 동화상 복호 방법, 및 동화상 복호 프로그램)에서는 화상 갱신 수단이, 제 1 화상에 대한 제 2 화상의 어긋남을 나타내는 움직임 량을 구하고, 상기 움직임 량에 기초하여 이동시킨 대응의 위치에 있어서 제 2 화상의 적어도 일부를 제 1 화상에 가중 가산함으로써, 갱신 화상을 생성한다.
상기 본 발명에 따르면, 움직임 량에 따른 데이터량을 늘리지 않고서, 움직임 보상을 더한 평균화가 행하여지기 때문에, 보다 노이즈가 적은 참조 화상이 생성된다.
그런데, 동화상의 부호화에 따른 본 발명(동화상 부호화 장치, 동화상 부호화 방법, 및 동화상 부호화 프로그램)은 아래와 같이 구성할 수도 있다.
본 발명에 따른 동화상 부호화 장치는 (a)동화상을 구성하는 복수의 화상 중에서 부호화의 대상이 되는 대상 화상에 대한 예측 화상을 생성하는 예측 화상 생성 수단과, (b)상기 대상 화상과 상기 예측 화상과의 차 연산을 실행함으로써, 차분 화상을 생성하는 차분 화상 생성 수단과, (c)상기 차분 화상을 부호화함으로써, 부호화 차분 신호를 생성하는 부호화 수단과, (d)상기 부호화 차분 신호를 복호함으로써, 복호 차분 화상을 생성하는 복호 수단과, (e)상기 복호 차분 화상과 상기 예측 화상과의 합 연산을 실행함으로써, 재생 화상을 생성하는 재생 화상 생성 수 단과, (f)예측 화상을 생성하기 위해서 상기 예측 화상 생성 수단에 의해서 사용되는 참조 화상을 격납하기 위한 격납 수단과, (g)상기 격납 수단에 격납된 참조 화상을 제 1 화상으로 하고, 상기 격납 수단에 격납되어 상기 제 1 화상과 다른 참조 화상, 상기 재생 화상, 및 상기 복호 차분 화상 중 적어도 하나를 제 2 화상으로 하고, 상기 제 1 화상과 상기 제 2 화상의 적어도 일부를 가중 가산함으로써, 갱신 화상을 생성하는 화상 갱신 수단을 구비하고, 상기 화상 갱신 수단은 상기 갱신 화상을 상기 격납 수단에 격납하고, 상기 예측 화상 생성 수단은 상기 격납 수단에 격납된 갱신 화상을, 예측 화상을 생성하기 위한 참조 화상으로서 사용하는 것을 특징으로 한다.
본 발명에 따른 동화상 부호화 방법은 (a)예측 화상 생성 수단이 동화상을 구성하는 복수의 화상 중에서 부호화의 대상이 되는 대상 화상에 대한 예측 화상을 생성하는 예측 화상 생성 단계와, (b)차분 화상 생성 수단이, 상기 대상 화상과 상기 예측 화상과의 차 연산을 실행함으로써, 차분 화상을 생성하는 차분 화상 생성 단계와, (c)부호화 수단이, 상기 차분 화상을 부호화함으로써, 부호화 차분 신호를 생성하는 부호화 단계와, (d)복호 수단이, 상기 부호화 차분 신호를 복호함으로써, 복호 차분 화상을 생성하는 복호 단계와, (e)재생 화상 생성 수단이, 상기 복호 차분 화상과 상기 예측 화상과의 합 연산을 실행함으로써, 재생 화상을 생성하는 재생 화상 생성 단계와, (f)격납 수단이, 예측 화상을 생성하기 위해서 상기 예측 화상 생성 수단에 의해서 사용되는 참조 화상을 격납하기 위한 격납 단계와, (g)화상 갱신 수단이, 상기 격납 수단에 격납된 참조 화상을 제 1 화상으로 하고, 상기 격 납 수단에 격납되어 상기 제 1 화상과 다른 참조 화상, 상기 재생 화상, 및 상기 복호 차분 화상 중 적어도 하나를 제 2 화상으로 하고, 상기 제 1 화상과 상기 제 2 화상의 적어도 일부를 가중 가산함으로써, 갱신 화상을 생성하는 화상 갱신 단계를 포함하고, 상기 화상 갱신 단계에서, 상기 화상 갱신 수단이, 상기 갱신 화상을 상기 격납 수단에 격납하고, 상기 예측 화상 생성 단계에 있어서, 상기 예측 화상 생성 수단이, 상기 격납 수단에 격납된 갱신 화상을, 예측 화상을 생성하기 위한 참조 화상으로서 사용하는 것을 특징으로 한다.
본 발명에 따른 동화상 부호화 프로그램은 컴퓨터를, (a)동화상을 구성하는 복수의 화상 중에서 부호화의 대상이 되는 대상 화상에 대한 예측 화상을 생성하는 예측 화상 생성 수단과, (b)상기 대상 화상과 상기 예측 화상과의 차 연산을 실행함으로써, 차분 화상을 생성하는 차분 화상 생성 수단과, (c)상기 차분 화상을 부호화함으로써, 부호화 차분 신호를 생성하는 부호화 수단과, (d)상기 부호화 차분 신호를 복호함으로써, 복호 차분 화상을 생성하는 복호 수단과, (e)상기 복호 차분 화상과 상기 예측 화상과의 합 연산을 실행함으로써, 재생 화상을 생성하는 재생 화상 생성 수단과, (f)예측 화상을 생성하기 위해서 상기 예측 화상 생성 수단에 의해서 사용되는 참조 화상을 격납하기 위한 격납 수단과, (g)상기 격납 수단에 격납된 참조 화상을 제 1 화상으로 하고, 상기 격납 수단에 격납되고 상기 제 1 화상과 다른 참조 화상, 상기 재생 화상, 및 상기 복호 차분 화상 중 적어도 하나를 제 2 화상으로 하고, 상기 제 1 화상과 상기 제 2 화상의 적어도 일부를 가중 가산함으로써, 갱신 화상을 생성하는 화상 갱신 수단으로서 기능시키고, 상기 화상 갱신 수단은 상기 갱신 화상을 상기 격납 수단에 격납하고, 상기 예측 화상 생성 수단은 상기 격납 수단에 격납된 갱신 화상을, 예측 화상을 생성하기 위한 참조 화상으로서 사용하는 것을 특징으로 한다.
또한, 동화상의 복호에 따른 본 발명(동화상 복호 장치, 동화상 복호 방법, 및 동화상 복호 프로그램)은 아래와 같이 구성할 수도 있다.
본 발명에 따른 동화상 복호 장치는 (a)동화상이 예측 부호화되어 이루어지는 부호화 차분 신호를 복호함으로써, 복호 차분 화상을 생성하는 복호 수단과, (b)상기 부호화 차분 신호에 기초하여, 복호 대상의 대상 화상에 대한 예측 화상을 생성하는 예측 화상 생성 수단과, (c)상기 복호 차분 화상과 상기 예측 화상을 가산함으로써 재생 화상을 생성하는 재생 화상 생성 수단과, (d)상기 예측 화상을 생성하기 위해서 상기 예측 화상 생성 수단에 의해서 사용되는 참조 화상을 격납하는 격납 수단과, (e)상기 격납 수단에 격납된 참조 화상을 제 1 화상으로 하고, 상기 격납 수단에 격납되어 상기 제 1 화상과 다른 참조 화상, 상기 재생 화상, 및 상기 복호 차분 화상 중 적어도 하나를 제 2 화상으로 하고, 상기 제 1 화상과 상기 제 2 화상의 적어도 일부를 가중 가산함으로써, 갱신 화상을 생성하는 화상 갱신 수단을 구비하고, 상기 화상 갱신 수단은 상기 갱신 화상을 상기 격납 수단에 격납하여, 상기 예측 화상 생성 수단은 상기 격납 수단에 격납된 갱신 화상을, 예측 화상을 생성하기 위한 참조 화상으로서 사용하는 것을 특징으로 한다.
본 발명에 따른 동화상 복호 방법은 (a)복호 수단이, 동화상이 예측 부호화되어 이루어지는 부호화 차분 신호를 복호함으로써, 복호 차분 화상을 생성하는 복 호 단계와, (b)예측 화상 생성 수단이, 상기 부호화 차분 신호에 기초하여, 복호 대상의 대상 화상에 대한 예측 화상을 생성하는 예측 화상 생성 단계와, (c)재생 화상 생성 수단이, 상기 복호 차분 화상과 상기 예측 화상을 가산함으로써 재생 화상을 생성하는 재생 화상 생성 단계와, (d)격납 수단이, 상기 예측 화상을 생성하기 위해서 상기 예측 화상 생성 수단에 의해서 사용되는 참조 화상을 격납하는 격납 단계와, (e)화상 갱신 수단이, 상기 격납 수단에 격납된 참조 화상을 제 1 화상으로 하고, 상기 격납 수단에 격납되고 상기 제 1 화상과 다른 참조 화상, 상기 재생 화상, 및 상기 복호 차분 화상 중 적어도 하나를 제 2 화상으로 하고, 상기 제 1 화상과 상기 제 2 화상의 적어도 일부를 가중 가산함으로써, 갱신 화상을 생성하는 화상 갱신 단계를 포함하고, 상기 화상 갱신 단계에 있어서, 상기 화상 갱신 수단이, 상기 갱신 화상을 상기 격납 수단에 격납하고, 상기 예측 화상 생성 단계에 있어서, 상기 예측 화상 생성 수단이, 상기 격납 수단에 격납된 갱신 화상을, 예측 화상을 생성하기 위한 참조 화상으로서 사용하는 것을 특징으로 한다.
본 발명에 따른 동화상 복호 프로그램은 컴퓨터를, (a) 동화상이 예측 부호화되어 이루어지는 부호화 차분 신호를 복호함으로써, 복호 차분 화상을 생성하는 복호 수단과, (b)상기 부호화 차분 신호에 기초하여, 복호 대상의 대상 화상에 대한 예측 화상을 생성하는 예측 화상 생성 수단과, (c)상기 복호 차분 화상과 상기 예측 화상을 가산함으로써 재생 화상을 생성하는 재생 화상 생성 수단과, (d)상기 예측 화상을 생성하기 위해서 상기 예측 화상 생성 수단에 의해서 사용되는 참조 화상을 격납하는 격납 수단과, (e)상기 격납 수단에 격납된 참조 화상을 제 1 화상 으로 하고, 상기 격납 수단에 격납되어 상기 제 1 화상과 다른 참조 화상, 상기 재생 화상, 및 상기 복호 차분 화상 중 적어도 하나를 제 2 화상으로 하여, 상기 제 1 화상과 상기 제 2 화상의 적어도 일부를 가중 가산함으로써, 갱신 화상을 생성하는 화상 갱신 수단으로서 기능시키고, 상기 화상 갱신 수단은 상기 갱신 화상을 상기 격납 수단에 격납하고, 상기 예측 화상 생성 수단은 상기 격납 수단에 격납된 갱신 화상을, 예측 화상을 생성하기 위한 참조 화상으로서 사용하는 것을 특징으로 한다.
이상 설명한 바와 같이, 본 발명에 따르면, 참조 화상의 노이즈를 저감시키는 것이 가능한 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램이 제공된다. 따라서, 본 발명에 따르면, 동화상의 데이터량이 삭감되어, 부호화 효율이 높여진다. 또한, 본 발명에 따르면, 평균화에 의한 노이즈 저감의 효과가, 다른 대상 화상의 처리에도 발휘된다. 또한, 본 발명에 따르면, 재생 화상 및 격납 수단에 격납된 참조 화상의 한쪽에는 없는 화상의 디테일이, 다른 대상 화상에 대한 예측 화상의 생성에 사용되는 참조 화상에 반영되기 때문에, 더욱 부호화 효율이 높여진다.
또한, 본 발명에 따르면, 상기 동화상의 부호화에 따른 본 발명에 기초하여 생성되는 데이터로부터 동화상을 복원하는 것이 가능한 동화상 복호 장치, 동화상 복호 방법, 및 동화상 복호 프로그램이 제공된다.
실시예
이하, 도면을 참조하여 본 발명의 적합한 실시예에 대하여 상세하게 설명한 다. 또, 각 도면에 있어서 동일하거나 또는 상당하는 부분에 대해서는 동일한 부호를 붙이기로 한다.
도 1은 본 발명의 실시예에 따른 동화상 부호화 장치의 구성을 도시하는 도면이다. 도 1에 도시하는 동화상 부호화 장치(10)는 물리적으로는 CPU(중앙처리장치), 메모리와 같은 기억장치, 표시장치, 통신장치 등을 구비하는 컴퓨터일 수 있다. 또한, 동화상 부호화 장치(10)는 휴대 전화와 같은 이동 통신 단말이라도 좋다. 즉, 동화상 부호화 장치(10)에는 정보 처리 가능한 장치가 넓게 적용될 수 있다.
도 1에 도시하는 바와 같이, 동화상 부호화 장치(10)는 기능적으로는 입력단자(12), 전처리부(14), 예측 화상 생성부(예측 화상 생성 수단; 16), 차분 화상 생성부(차분 화상 생성 수단; 18), 프레임 메모리(격납 수단; 20), 부호화부(부호화 수단; 22), 가변 길이 부호화부(24), 출력단자(26), 복호부(복호 수단; 28), 재생 화상 생성부(재생 화상 생성 수단; 30), 및, 화상 갱신부(화상 갱신 수단; 32)를 구비한다.
입력단자(12)에는 복수의 화상으로 이루어지는 동화상이 입력된다. 입력단자(12)는 전처리부(14)에, 동화상을 출력한다.
전처리부(14)는 라인(L2) 경유로 출력되는 동화상을 받아, 동화상을 구성하는 복수의 입력화상을 순차로 부호화의 대상인 대상 화상으로서, 상기 대상 화상에 전처리를 실시한다. 전처리부(14)는 전처리로서, 노이즈를 저감하기 위한 필터를 대상 화상에 실시할 수 있다. 이 노이즈는 예를 들면, 카메라에 의한 촬영 시에 화상에 발생하는 것이다. 전처리부(14)는 전처리로서, 필요에 따라서, 대상 화상을 소정의 사이즈로 변환할 수 있다. 또한, 전처리부(14)는 전처리로서, 대상 화상을 소정 사이즈의 복수의 블록으로 분할하여, 출력한다. 이 소정의 사이즈로서는 16×16 화소의 사이즈가 예시된다. 동화상 부호화 장치(10)에서는 전처리부(14)로부터 출력되는 복수의 블록 각각에 대하여, 이하에 설명하는 처리가 실시된다.
예측 화상 생성부(16)는 대상 화상의 예측 화상을 생성한다. 구체적으로, 예측 화상 생성부(16)는 전처리부(14)로부터 라인(L4) 경유로 출력되는 블록을 처리의 대상인 대상 블록으로 하고, 이 대상 블록의 화상에 대한 예측 화상을 생성한다.
예측 화상 생성부(16)는 프레임 메모리(20)에 격납되어 있는 참조 화상을 라인(L6) 경유로 취득한다. 프레임 메모리(20)에는 대상 화상보다 먼저 부호화의 대상으로 된 입력화상에 대한 재생 화상이, 예측 화상 생성부(16)에 의한 예측 화상의 생성을 위한 참조 화상으로서 격납되어 있다. 재생화상에 대한 상세한 것은 후술한다. 예측 화상 생성부(16)는 이 참조 화상을 사용하여, 움직임 보상 예측에 의해서 대상 블록의 예측 화상을 생성한다. 즉, 예측 화상 생성부(16)는 대상 블록의 참조 화상에 대한 움직임 량(움직임 벡터)을 구한다. 이 움직임 벡터는 예를 들면, 블록 매칭에 의해서 구할 수 있는 것이며, 대상 블록으로부터 가장 상관이 높은 참조 화상 내의 영역으로의 벡터로 할 수 있는 예측 화상 생성부(16)는 구해진 움직임 벡터와, 예측 화상을 출력한다. 이 예측 화상은 움직임 벡터에 의해서 특정되는 참조 화상 내의 영역에서의 화상이다.
차분 화상 생성부(18)는 대상 화상과 예측 화상의 차 연산을 실행함으로써, 차분 화상을 생성한다. 구체적으로, 차분 화상 생성부(18)는 라인(L8) 경유로 전처리부(14)로부터 출력되는 대상 블록의 화상과, 라인(L10) 경유로 예측 화상 생성부(16)로부터 출력되는 상기 대상 블록의 예측 화상과의 차를 구함으로써, 차분 화상을 생성한다.
부호화부(22)는 차분 화상을 부호화함으로써, 부호화 차분신호를 생성한다. 본 실시예에서는 부호화부(22)는 변환부(34)와, 양자화부(36)를 갖고 있다. 변환부(34)는 라인(L12) 경유로 차분 화상 생성부(18)로부터 출력되는 대상 블록의 차분 화상을 변환한다. 변환부(34)는 예를 들면, DCT(Discrete Cosine Transform)를 사용하여, 차분 화상을 주파수 영역의 신호로 변환한다. 양자화부(36)는 라인(L14) 경유로 변환부(34)로부터 출력되는 신호를 양자화한다. 양자화부(36)에 의해서 양자화된 신호가, 부호화 차분 신호이다.
가변 길이 부호화부(24)는 라인(L16) 경유로 예측 화상 생성부(16)로부터 출력되는 움직임 벡터, 및 라인(L18) 경유로 부호화부(22)로부터 출력되는 부호화 차분 신호를 가변 길이 부호화함으로써, 부호화 데이터를 생성한다. 가변 길이 부호화부(24)는 예를 들면, 산술 부호화를 사용할 수 있다. 가변 길이 부호화부(24)는 상기 부호화 데이터를 포함하는 비트 스트림을 라인(L20) 경유로 출력단자(26)에 출력한다.
복호부(28)는 부호화 차분 신호를 복호함으로써, 복호 차분 화상을 생성한 다. 여기에서의 복호란, 부호화부(22)에 있어서의 부호화와 대칭 처리이다. 구체적으로 복호부(28)는 역양자화부(38)와, 역변환부(40)를 갖는다.
역양자화부(38)는 라인(L22) 경유로 부호화부(22)로부터 출력되는 부호화 차분 신호를 받는다. 역양자화부(38)는 양자화부(36)에 의한 양자화와 대칭 처리인 역양자화를 부호화 차분 신호에 적용한다.
역변환부(40)는 라인(L24) 경유로, 역양자화부(38)로부터의 신호(역양자화가 실시된 신호)를 받아, 상기 신호로 역변환을 적용함으로써, 대상 블록의 복호 차분 화상을 생성한다. 역변환부(40)에 의한 역변환은 변환부(34)에 의한 변환과 대칭 처리이고, 변환부(34)가 DCT를 사용하는 경우에는 역변환부(40)는 IDCT(Inverse Discrete Cosine Transform)를 사용한다.
재생 화상 생성부(30)는 복호 차분 화상과 예측 화상을 가산함으로써, 재생 화상을 생성한다. 구체적으로, 재생 화상 생성부(30)는 복호부(28)로부터 라인(L26) 경유로 출력되는 복호 차분 화상과, 예측 화상 생성부(16)로부터 라인(L28) 경유로 출력되는 예측 화상을 가산함으로써, 대상 블록의 재생 화상을 생성한다.
화상 갱신부(32)는 라인(L30) 경유로 재생 화상 생성부(30)로부터 재생 화상을 받아, 라인(L32) 경유로 프레임 메모리(20)에 격납되어 있는 참조 화상을 받는다. 화상 갱신부(32)는 재생 화상 및 참조 화상의 한쪽을 제 1 화상으로 하고, 재생 화상 및 참조 화상의 다른쪽을 제 2 화상으로 하고, 제 1 화상과 제 2 화상을 가중 가산함으로써, 갱신 화상을 생성한다. 이 갱신 화상은 프레임 메모리(20)에 격납되어, 다른 대상 화상에 대한 부호화에 사용된다. 즉, 갱신 화상은 프레임 메 모리(20)에 격납되어, 대상 화상보다 뒤에 부호화의 대상이 되는 입력화상에 대한 예측 화상을 생성하기 위한 참조 화상으로서 예측 화상 생성부(16)에 의해서 사용된다. 또, 이 가중 가산은 제 1 화상, 제 2 화상에 임의의 비율의 무게를 적용하여, 가산 후의 화소치를 소망의 레벨 내의 값으로 한다.
이하, 도 2를 참조하여, 화상 갱신부(32)의 일 실시예에 대하여 설명한다. 도 2는 화상 갱신부의 일 실시예의 구성을 도시하는 도면이다. 동화상 부호화 장치(10)에서는 도 2에 도시하는 화상 갱신부(48)를, 화상 갱신부(32)로서 사용할 수 있다. 화상 갱신부(48)는 갱신 재생 화상 생성부(50)와, 갱신 참조 화상 생성부(52)와, 스위치(54)를 갖고 있다.
갱신 재생 화상 생성부(50)는 재생 화상에 참조 화상을 가중 가산한 갱신 재생 화상을 갱신 화상으로서 생성한다. 즉, 갱신 재생 화상 생성부(50)는 제 1 화상으로서, 재생 화상을 사용하고, 제 2 화상으로서 참조 화상을 사용한다.
갱신 재생 화상 생성부(50)는 움직임 검출부(56)와, 움직임 보상부(58)와, 가중 가산부(60)를 갖고 있다. 움직임 검출부(56)는 라인(L70) 경유로 재생 화상을, 라인(L72) 경유로 참조 화상을 받는다. 동화상 부호화 장치(10)의 경우에는 라인(L70)은 라인(L30)에 상당하고, 라인(L72)은 라인(L32)에 상당한다.
움직임 검출부(56)는 재생 화상에 있어서의 블록마다, 참조 화상에 대한 움직임 량(움직임 벡터)을 구한다. 이 블록의 사이즈는 예를 들면, 4×4 화소 사이즈의 블록으로 할 수 있다. 움직임 보상부(58)는 움직임 검출부(56)에 의해서 구해진 움직임 벡터에 의해서 특정되는 참조 화상 내의 영역의 화상을 출력한다. 가 중 가산부(60)는 움직임 보상부(58)로부터의 상기 화상을 상기 블록의 재생 화상에 임의의 가중으로 가산함으로써, 상기 블록의 대응위치에 있어서의 갱신 재생 화상을 생성한다. 이 가중 가산은 재생 화상, 참조 화상에 대하여, 예를 들면, 1:1, 또는 2:1과 같은 비율의 무게를 적용하여, 가산 후의 화소치를 소망의 레인지 내의 값으로 한다.
이렇게 하여 갱신 재생 화상 생성부(50)에 의해서 생성되는 갱신 재생 화상은 스위치(54) 및 라인(L74)을 경유하여, 프레임 메모리로 되돌려지고, 다른 대상 화상에 대한 참조 화상으로서, 나중의 부호화에 있어서 이용된다. 또, 동화상 부호화 장치(10)의 경우에는 라인(L74)은 라인(L34)에 상당한다.
갱신 참조 화상 생성부(52)는 참조 화상에 재생 화상을 가중 가산한 갱신 참조 화상을 갱신 화상으로서 생성한다. 즉, 갱신 참조 화상 생성부(52)는 제 1 화상으로서, 참조 화상을 사용하고, 제 2 화상으로서 재생 화상을 사용한다.
갱신 참조 화상 생성부(52)는 움직임 검출부(62)와, 움직임 보상부(64)와, 가중 가산부(66)를 갖고 있다. 움직임 검출부(62)는 라인(L70) 경유로 재생 화상을, 라인(L72) 경유로 참조 화상을 받는다.
움직임 검출부(62)는 참조 화상의 블록마다 재생 화상에 대한 움직임 량(움직임 벡터)을 구한다. 이 블록의 사이즈도, 예를 들면, 4×4 화소 사이즈로 할 수 있다. 또, 움직임 검출부(62)는 움직임 검출부(56)에 의해서 생성된 움직임 벡터를 역방향으로 한 벡터를 사용하여도 좋다.
움직임 보상부(64)는 움직임 검출부(62)로부터의 움직임 벡터에 의해서 특정 되는 재생 화상 내의 영역의 화상을 출력한다. 가중 가산부(66)는 움직임 보상부(64)로부터의 상기 화상과 상기 블록의 참조 화상을 임의의 가중으로 가산함으로써, 상기 블록의 대응 위치의 갱신 참조 화상을 생성한다. 이 가중 가산은 참조 화상, 재생 화상에 대하여, 예를 들면, 1:1, 또는 2:1과 같은 비율의 무게를 적용하여, 가산 후의 화소치를 소망의 레인지 내의 값으로 한다.
이렇게 하여 갱신 참조 화상 생성부(52)에 의해서 생성되는 갱신 참조 화상은 스위치(54) 및 라인(L74) 경유로, 프레임 메모리로 되돌려지고, 다른 대상 화상에 대한 참조 화상으로서, 나중의 부호화에 있어서 이용된다.
또, 갱신 재생 화상 생성부(50) 및 갱신 참조 화상 생성부(52)는 각각 대응의 움직임 검출부(56) 및 움직임 검출부(62)를 갖지 않은 구성이라도 좋다. 이 경우에는 움직임 보상부(58) 및 움직임 보상부(64)는 각각, 예측 화상 생성부(16)에 의해서 구해지는 움직임 벡터를 사용할 수 있다.
또한, 움직임 검출부(56) 및 움직임 검출부(62)는 예측 화상 생성부(16)에 의해서 구해지는 움직임 벡터를 오프셋으로서 사용하여, 더욱 미세한 움직임 벡터를 구하여도 좋다.
또한, 움직임 검출부(56) 및 움직임 검출부(62)에 의해서 구해진 움직임 벡터를, 가변 길이 부호화부(24)에 의해서 복호측으로 송신하여도 좋고, 또는, 송신하지 않아도 좋다. 후자의 경우에는 복호측에서, 움직임 검출부(56) 및 움직임 검출부(62)와 동일한 처리를 실행한다.
또한, 프레임 메모리(20)에는 갱신 재생 화상 및 갱신 참조 화상에 더하여, 재생 화상이 격납되고, 또한 프레임 메모리(20)에 격납되어 있는 참조 화상이 그대로 격납되어도 좋다. 이 경우에는 재생 화상, 갱신 재생 화상, 갱신 참조 화상, 참조 화상이, 다른 대상 화상의 부호화에 참조 화상으로서 사용된다.
이하, 도 3 및 도 4를 참조하여, 프레임 메모리에 격납되는 참조 화상의 시계열을 설명한다. 도 3은 순방향 예측을 하는 경우의 화상 갱신의 개념을 설명하기 위한 도면이다. 도 4는 쌍방향 예측을 하는 경우의 화상 갱신의 개념을 설명하기 위한 도면이다. 도 3 및 도 4에서는 참조부호 IN이 붙은 영역에 입력화상이 나타나고 있고, 참조부호 R이 붙은 영역에 재생 화상이 나타나고 있고, 참조부호 F가 붙은 영역에 프레임 메모리에 격납되는 화상이 나타나고 있다.
순방향 예측의 경우, 역방향의 예측이 없기 때문에, 알고리즘상의 지연이 없는 것으로 생각할 수 있다. 순방향 예측의 경우, 도 3에 도시하는 바와 같이, 시각 t0, t1, t2, t3···의 순으로 입력화상 I0, P1, P2, P3···이 입력된다. 시각 t0에서는 입력화상 I0이 대상 화상으로 되고, 예를 들면, 인프라 프레임 부호화 및 복호를 거쳐서, 재생 화상 RI0이 생성되고, 상기 재생 화상 RI0이 프레임 메모리(20)에 참조 화상으로서 격납된다.
시각 t1에서는 입력화상 P1이 대상 화상으로 되고, 프레임 메모리(20)에 격납된 참조 화상 RI0을 사용하여, 재생 화상 RP1이 생성된다. 시각 t1에서는 참조 화상 RI0과, 재생 화상 RP1과, 재생 화상 RP1 및 참조 화상 RI0으로부터 생성되는 갱신 참조 화상 RIORP1과 갱신 재생 화상 RPRIO이, 프레임 메모리(20)에 참조 화상으로서 격납된다.
시각 t2에서는 입력화상 P2가 대상 화상으로 되고, 시각 t1에 있어서 프레임 메모리(20)에 격납된 참조 화상 RI0, RP1, RIORP1 및 RP1RIO를 사용하여, 재생 화상 RP2가 생성된다. 시각 t2에서는 재생 화상 RP1과, 재생 화상 RP2와, 참조 화상 RP1과 재생 화상 RP2를 사용하여 생성되는 갱신 참조 화상 RP1RP2 및 갱신 재생 화상 RP2RP1이, 참조 화상으로서 프레임 메모리(20)에 격납된다. 또, 시각 t2에 있어서, 참조 화상 RI0, RIORP1, 및 RP1RI0을 프레임 메모리(20)로부터 삭제하고 있지만, 이들을 삭제하지 않고, 시각 t3에 있어서의 재생 화상의 생성에 사용하여도 좋다.
시각 t3에서는 입력화상 P3이 대상 화상으로 되고, 시각 t2에 있어서 프레임 메모리(20)에 격납된 참조 화상을 사용하여, 재생 화상 RP3이 생성된다.
쌍방향 예측의 경우에는 화상의 입력과 재생에는 알고리즘 상의 지연이 생긴다. 쌍방향 예측의 경우에는 도 4에 도시하는 바와 같이, 차례로 입력화상 I0, B1, B2, P3···이 입력된다.
시각 t0에서는 입력화상 I0이 대상 화상으로 되고, 예를 들면, 인트라 프레임 부호화 및 복호에 의해서, 재생 화상 RI0이 생성된다. 재생 화상 RI0은 프레임 메모리(20)에 참조 화상으로서 격납된다. 재생 화상 RI0이 재생되는 시각은 쌍방향 예측이기 때문에, 시각 t1이다.
입력화상 B1이라고 입력화상 B2를 입력화상 I0 및 P3으로부터 부호화하기 때문에, 시각 t1에서는 입력화상 P3이 대상 화상으로 되고, 시각 t2에 있어서, 참조 화상 RI0을 사용하여, 대상 화상 P3의 재생 화상 RP3이 생성된다. 시각 t2에서는 재생 화상 RP3과 참조 화상 RI0을 사용하여, 갱신 참조 화상 RIORP3과 갱신 참조 화상 RP3RI0이 생성되고, 참조 화상으로서 프레임 메모리(20)에 격납된다.
시각 t2에서는 입력화상 B1 및 입력화상 B2가 대상 화상으로 되고, 각각 부호화된다. 시각 t3에 있어서, 참조 화상 RIORP3과 RP3RI0을 사용하여, 대상 화상 B1의 재생 화상 RB1이 생성되고, 동시에, 재생 화상 RB1과 참조 화상 RIORP3을 사용하여, 갱신 참조 화상 (RIORP3)RB1이 생성되고, 재생 화상 RB1과 참조 화상 RP3RIO을 사용하여, 갱신 참조 화상 (RP3RI0)RB1이 생성되고, 각각 참조 화상으로서, 프레임 메모리(20)에 격납된다. 참조 화상 (RIORP3)RB1과 (RP3RI0)RB1은 대상 화상 B2의 부호화·복호에 사용된다.
이하, 본 실시예에 따른 동화상 부호화 장치(10)의 동작에 대하여 설명한다. 아울러, 본 발명의 실시예에 따른 동화상 부호화 방법을 설명한다. 도 5는 본 발명의 실시예에 따른 동화상 부호화 방법의 플로우챠트이다.
도 5에 도시하는 바와 같이, 이 동화상 부호화 방법에서는 우선, 동화상을 구성하는 복수의 화상이 순차, 부호화의 대상이 되는 대상 화상으로서 입력된다(단계 S01). 이어서, 전처리부(14)에 의해서, 상술한 전처리가 행하여진다(단계 S02).
이어서, 예측 화상 생성부(16)에 의해서, 대상 화상의 예측 화상이 생성된다(단계 S03). 이 예측 화상과 대상 화상의 차 연산이 실행되고, 차분 화상이 생성 된다(단계 S04).
이어서, 부호화부(22)가 부호화를 실행함으로써, 차분 화상으로부터 부호화 차분 신호가 생성된다(단계 S05). 이어서, 가변 길이 부호화부(24)에 의해서, 부호화 차분 신호, 움직임 벡터가 가변 길이 부호화됨으로써, 비트 스트림이 생성된다(단계 S06).
이어서, 복호부(28)가 복호를 실행함으로써, 부호화 차분 신호로부터 복호 차분 화상이 생성된다(단계 S07). 복호 차분 화상은 재생 화상 생성부(30)에 의해서, 예측 화상에 가산되고, 그 결과, 재생 화상이 생성된다(단계 S08). 그리고, 화상 갱신부(32)에 의해서, 갱신 화상이 생성되고(단계 S09), 상기 갱신 화상이 프레임 메모리(20)에 격납된다(단계 S10).
이하, 단계 S09의 갱신 화상 생성에 대하여 상세하게 설명한다. 도 6은 갱신 화상 생성에 관한 플로우챠트이다. 갱신 화상 생성의 처리에 있어서는 재생 화상 생성부(30)로부터 재생 화상이 프레임 메모리(20)로부터 참조 화상이, 각각 화상 갱신부(32)에 입력된다(단계 S09-1).
그리고, 갱신 재생 화상 생성부(50)에 의해서, 참조 화상을 사용하여 재생 화상이 갱신됨으로써, 갱신 재생 화상이 생성된다(단계 S09-2). 또한, 갱신 참조 화상 생성부(52)에 의해서, 재생 화상을 사용하여 참조 화상이 갱신됨으로써, 갱신 참조 화상이 생성된다(단계 S09-3). 갱신 재생 화상 및 갱신 참조 화상은 프레임 메모리(20)에, 갱신 화상으로서 격납된다(단계 S09-4).
이하, 갱신 재생 화상 및 갱신 참조 화상의 생성에 대하여, 상세하게 설명한 다. 도 7은 갱신 화상 생성의 상세한 것에 관한 플로우챠트이다. 이하, 재생 화상 및 참조 화상의 한쪽을 제 1 화상으로서, 재생 화상 및 참조 화상의 다른쪽을 제 2 화상으로서, 갱신 재생 화상 및 갱신 참조 화상의 생성에 대하여 설명한다. 이하의 설명으로부터, 제 1 화상을 재생 화상, 제 2 화상을 참조 화상이라고 하면, 갱신 화상으로서 갱신 재생 화상이 생성되고, 제 1 화상을 참조 화상, 제 2 화상을 재생 화상이라고 하면, 갱신 화상으로서 갱신 참조 화상이 생성되는 것이, 이해될 것이다.
도 7에 도시하는 바와 같이, 우선, 제 1 화상과 제 2 화상이 입력된다(단계 S21). 이어서, 변수 N이 1로 설정된다(단계 S22). 이 변수 N은 제 1 화상을 분할한 블록의 개수이다. 블록의 사이즈는 a×a이고, 예를 들면, 4×4를 채용할 수 있다.
이어서, 제 1 화상의 N 번째의 블록의 예측 블록이, 제 2 화상으로부터 구해진다(단계 S23). 이어서, 제 1 화상의 N 번째의 블록과 예측 블록의 가중 평균을 구함으로써, 상기 N 번째의 블록의 갱신 화상이 생성된다(단계 S24).
이어서, N이 「1」인크리먼트(increment)되고(단계 S25), 인크리먼트된 N이, 최대 블록수를 초과하는지의 여부가 테스트된다(단계 S26). 이 테스트의 결과, No의 경우에는 단계 S23으로부터의 처리가 반복되고, Yes인 경우에는 처리가 종료로 된다.
이하, 컴퓨터를 동화상 부호화 장치(10)로서 동작시키는 동화상 부호화 프로그램에 대하여 설명한다. 도 8은 본 발명의 실시예에 따른 동화상 부호화 프로그 램의 구성을 기억매체와 함께 도시하는 도면이다.
도 8에 도시하는 바와 같이, 동화상 부호화 프로그램(70)은, 기록매체(100)에 격납되어 제공된다. 기록매체(100)로서는 플렉시블 디스크, CD-ROM, DVD, 또는 ROM 등의 기록매체 또는 반도체 메모리 등이 예시된다.
도 9는 기록매체에 기억된 프로그램을 실행하기 위한 컴퓨터의 하드웨어 구성을 도시하는 도면이고, 도 10은 기록매체에 기억된 프로그램을 실행하기 위한 컴퓨터의 사시도이다. 도 9에 도시하는 바와 같이, 컴퓨터(110)는 플렉시블 디스크 드라이브 장치, CD-ROM 드라이브 장치, DVD 드라이브 장치 등의 판독장치(112)와, 오퍼레이팅 시스템을 상주시킨 작업용 메모리(RAM; 114)와, 기록매체(100)에 기억된 프로그램을 기억하는 메모리(116)와, 표시장치(118)와, 입력장치인 마우스(120) 및 키보드(122)와, 데이터 등의 송수를 하기 위한 통신장치(124)와, 프로그램의 실행을 제어하는 CPU(126)를 구비하고 있다. 컴퓨터(110)는 기록매체(100)가 판독장치(112)에 삽입되면, 판독장치(112)로부터 기록매체(100)에 격납된 동화상 부호화 프로그램(70)에 액세스 가능하게 되어, 상기 동화상 부호화 프로그램(70)에 의해서, 동화상 부호화 장치(10)로서 동작하는 것이 가능해진다.
도 10에 도시하는 바와 같이, 동화상 부호화 프로그램(70)은 반송파에 중첩된 컴퓨터 데이터 신호(130)로서 네트워크를 통하여 제공되는 것이라도 좋다. 이 경우, 컴퓨터(110)는 통신장치(124)에 의해서 수신한 동화상 부호화 프로그램(70)을 메모리(116)에 격납하고, 상기 동화상 부호화 프로그램(70)을 실행할 수 있다.
도 8에 도시하는 바와 같이, 동화상 부호화 프로그램(70)은 처리를 통괄하는 메인모듈(71)과, 전처리 모듈(72)과, 예측 화상 생성 모듈(74)과, 차분 화상 생성 쥴(76)과, 격납 모듈(78)과, 부호화 모듈80과, 가변 길이 부호화 모듈(82)과, 복호모듈(84)과, 재생 화상 생성 모듈(86)과, 화상 갱신 모듈(88)을 구비하고 있다. 또한, 부호화 모듈(80)은 변환 서브 모듈(92)과 양자화 서브 모듈(94)에 의해서 구성되어, 복호 모듈(84)은 역양자화 서브 모듈(96)과 역변환 서브 모듈(98)에 의해서 구성된다.
전처리 모듈(72), 예측 화상 생성 모듈(74), 차분 화상 생성 쥴(76), 격납 모듈(78), 부호화 모듈(80), 가변 길이 부호화 모듈(82), 복호 모듈(84), 재생 화상 생성 모듈(86), 화상 갱신 모듈(88), 변환 서브 모듈(92), 양자화 서브 모듈(94), 역양자화 서브 모듈(96), 및 역변환 서브 모듈(98)이 컴퓨터에 실현시키는 기능은 각각, 상술한 전처리부(14), 예측 화상 생성부(16), 차분 화상 생성부(18), 프레임 메모리(20), 부호화부(22), 가변 길이 부호화부(24), 복호부(28), 재생 화상 생성부(30), 화상 갱신부(32), 변환부(34), 양자화부(36), 역양자화부(38), 및 역변환부(40) 중 대응의 요소와 동일하다.
이상, 본 발명의 동화상 부호화 장치(10)에 대하여 설명하였지만, 화상 갱신부(32)에 의한 처리를 부호화효율의 향상에 유효한 경우에만 실행시키는 것도 가능하다. 이 경우에는 도 1에 도시하는 바와 같이, 동화상 부호화 장치(10)는 또한 제어부(42)를 구비할 수 있다.
제어부(42)는 동화상에 신(scene)의 변화가 있는지의 여부를 테스트한다. 동화상에 신의 변화가 있는지의 여부는 예를 들면, 다른 입력화상간에서의 상관의 대소로부터 결정할 수 있다. 제어부(42)는 신의 변화가 있는 경우에, 갱신 화상을 생성하지 않은 취지를 지시하는 갱신 제어 신호를 화상 갱신부(32)에 라인(L36)을 통하여 출력한다. 한편, 제어부(42)는 신의 변화가 적은 경우에, 갱신 화상을 생성하는 취지를 지시하는 갱신 제어 신호를 화상 갱신부(32)에 출력한다.
갱신 제어 신호는 제 1 상태, 제 2 상태, 제 3 상태, 및 제 4 상태의 어느 하나를 취할 수 있다. 화상 갱신부(32)는 갱신 제어 신호가 제 1 상태인 경우에, 갱신 재생 화상을 생성하고, 갱신 제어 신호가 제 2 상태인 경우에, 갱신 참조 화상을 생성하고, 갱신 제어 신호가 제 3 상태의 경우에, 갱신 재생 화상 및 갱신 참조 화상을 생성하고, 제 4 상태인 경우에는 갱신 재생 화상 및 갱신 참조 화상의 어느 것도 생성하지 않는다.
제어부(42)는 갱신 제어 신호를 가변 길이 부호화부(24)에도 출력한다. 가변 길이 부호화부(24)는 갱신 제어 신호를 동화상에 있어서의 각 화상의 헤더부에 포함시켜 송신한다. 갱신 제어 신호는 상기 상태를 나타내기 위해서 필요한 최소의 비트수의 신호로서, 헤더부에 포함된다. 예를 들면, 갱신 제어 신호가 제 3 상태 및 제 4 상태를 취하는 것이 허가되어 있는 경우에, 갱신 제어 신호를, 제 3 상태를 「1」로 하고, 제 4 상태를 「0」으로 하는 1 비트의 신호로 할 수 있다.
또, 컴퓨터(110)에 제어부(42)에 상당하는 기능을 더욱 실현시키는 경우에는 도 8에 도시하는 바와 같이, 제어부(42)에 상당하는 기능을 컴퓨터(110)에 실현시키는 제어모듈(90)을 동화상 부호화 프로그램(70)에 더 구비할 수 있다.
다음에, 본 발명의 실시예에 따른 동화상 복호 장치에 대하여 설명한다. 도 11은 본 발명의 실시예에 따른 동화상 복호 장치의 구성을 도시하는 도면이다. 도 11에 도시하는 동화상 복호 장치(140)는 동화상 부호화 장치(10)에 의해서 생성된 비트 스트림으로부터 동화상을 재생 가능한 장치이다.
동화상 복호 장치(140)는 물리적으로는, CPU(중앙처리장치), 메모리와 같은 기억장치, 표시장치, 통신장치 등을 구비하는 컴퓨터일 수 있다. 또한, 동화상 복호 장치(140)는 휴대전화와 같은 이동 통신 단말이라도 좋다. 즉, 동화상 복호 장치(140)에는 정보처리 가능한 장치가 넓게 적용될 수 있다.
도 11에 도시하는 바와 같이, 동화상 복호 장치(140)는 기능적으로, 입력단자(142)와, 가변 길이 복호부(144)와, 복호부(복호 수단; 146)와, 예측 화상 생성부(예측 화상 생성 수단; 148)와, 프레임 메모리(격납 수단; 150)와, 재생 화상 생성부(재생 화상 생성 수단; 152)와, 출력단자(154)와, 화상 갱신부(화상 갱신 수단; 156)을 구비한다.
입력단자(142)에는 동화상 부호화 장치(10)에 의해서 생성된 비트 스트림이 입력된다. 입력단자(142)는 가변 길이 복호부(144)에 상기 비트스트림을 출력한다.
가변 길이 복호부(144)는 라인(L40) 경유로 출력되는 비트 스트림을 받아, 상기 비트 스트림에 포함되는 부호화 데이터를 가변 길이 복호함으로써, 움직임 벡터 및 부호화 차분 신호를 복원한다.
복호부(146)는 동화상 부호화 장치(10)에 있어서의 복호부(28)와 동일한 처리를 실행한다. 복호부(146)는 역양자화부(38)와 동일한 역양자화부(160)와, 역변 환부(40)와 동일한 역변환부(162)를 갖고, 라인(L42) 경유로 부호화 차분 신호를 받아, 상기 부호화 차분 신호로부터 복호 차분 화상을 생성한다.
예측 화상 생성부(148)는 동화상 부호화 장치(10)의 예측 화상 생성부(16)와 같은 움직임 보상 예측에 의해서 예측 화상을 생성한다. 구체적으로, 예측 화상 생성부(148)는 라인(L44) 경유로 출력되는 움직임 벡터와, 라인(L46) 경유로 출력되는 프레임 메모리(150)에 격납된 참조 화상을 사용하여, 예측 화상을 생성한다. 여기에서, 프레임 메모리(150)에는 동화상을 구성하는 화상 중, 복호의 대상인 대상 화상보다도 먼저 복호의 대상이 된 화상에 대하여 생성된 재생 화상에 기초하는 화상이 참조 화상으로서 격납되어 있다.
재생 화상 생성부(152)는 라인(L48) 경유로 복호부(146)로부터 출력되는 복호 차분 화상과, 라인(L50) 경유로 예측 화상 생성부(148)로부터 출력되는 예측 화상을 가산함으로써, 재생 화상을 생성한다. 이 재생 화상은 출력단자(154)에, 라인(L52) 경유로 출력되는 동시에 프레임 메모리(150)에 격납된다.
화상 갱신부(156)는 동화상 부호화 장치(10)의 화상 갱신부(32)와 같은 구성을 갖는다. 화상 갱신부(156)는 라인(L54) 경유로 출력되는 재생 화상 및 라인(L56) 경유로 출력되는 참조 화상을 받는다. 화상 갱신부(156)는 재생 화상 및 참조 화상의 한쪽을 제 1 화상으로 하고, 재생 화상 및 참조 화상의 다른쪽을 제 2 화상으로 하고, 제 1 화상과 제 2 화상을 가중 가산함으로써, 갱신 화상을 생성한다. 이 갱신 화상은 라인(L58) 경유로 프레임, 메모리(150)에 격납되고, 다른 대상 화상의 복호에 있어서 참조 화상으로서 사용된다. 이 가중 가산은 제 1 화상, 제 2 화상에 임의의 비율의 무게를 적용하여, 가산 후의 화소치를 소망의 레벨내의 값으로 한다.
화상 갱신부(156)에 의해서 생성된 갱신 화상은 프레임 메모리(150)에 격납되고, 동화상을 구성하는 화상 중, 대상 화상보다 뒤에 복호의 대상이 되는 화상에 대한 예측 화상을 생성하기 위한 참조 화상으로서, 예측 화상 생성부(148)에 의해서 사용된다.
동화상 복호 장치(140)에도, 화상 갱신부(156)로서, 도 2에 도시하는 화상 갱신부(48)를 사용할 수 있다. 동화상 복호 장치(140)의 경우에, 도 2에 도시하는 라인(L70)은 라인(L54)에 상당하고, 라인(L72)은 라인(L56)에 상당하고, 라인(L74)은 라인(L58)에 상당한다. 또, 화상 갱신부(48)의 상세한 것은 위에서 기술하였으므로, 상세한 설명에 대해서는 본 명세서에 있어서의 화상 갱신부(48)의 설명을 참조하고자 한다.
또, 동화상 복호 장치(140)는 제어부(158)를 더 구비할 수 있다. 제어부(158)는 동화상 부호화 장치(10)에 의해서 생성되는 비트 스트림에, 상술한 갱신 제어 신호가 포함되는 경우에, 가변 길이 복호부(144)로부터 라인(L60)을 통하여 상기 갱신 제어 신호를 받는다. 제어부(158)는 상술한 갱신 제어 신호가 취하는 상태에 따라서, 라인(L62) 경유로 화상 갱신부(156)에 있어서의 갱신 화상의 생성을 제어한다.
이하, 동화상 복호 장치(140)의 동작에 대하여 설명한다. 아울러, 본 발명의 실시예에 따른 동화상 복호 방법에 대하여 설명한다. 도 12는 본 발명의 실시 예에 따른 동화상 복호 방법을 나타내는 플로우챠트이다.
도 12에 도시하는 바와 같이, 이 동화상 복호 방법에서는 우선, 입력단자(142)에 비트 스트림이 입력된다(단계 S31). 상기 비트 스트림에 포함되는 부호화데이터가 가변 길이 복호부(144)에 의해서, 가변 길이 복호됨으로써, 움직임 벡터 및 부호화 차분 신호가 생성된다(단계 S32).
이어서, 복호부(146)에 의해서, 부호화 차분 신호로부터 복호 차분 화상이 생성된다(단계 S33). 또한, 예측 화상 생성부(148)에 의해서, 움직임 벡터 및 프레임 메모리(150)에 격납된 참조 화상이 사용되고, 예측 화상이 생성된다(단계 S34).
이어서, 재생 화상 생성부(152)에 의해서, 복호 차분 화상과 예측 화상이 가산됨으로써, 재생 화상이 생성된다(단계 S35).
이어서, 화상 갱신부(156)에 의해서, 재생 화상과, 프레임 메모리(150)에 격납된 참조 화상이 사용되고, 갱신 화상이 생성된다(단계 S36). 갱신 화상의 생성에 대해서는 도 6 및 도 7을 사용한 설명과 동일하기 때문에, 여기에서는 그 상세 설명을 생략한다.
이어서, 화상 갱신부(156)에 의해서 생성된 갱신 화상이, 프레임 메모리(150)에 격납되고(단계 S37), 다른 대상 화상의 복호에 있어서 참조 화상으로서 사용된다.
이하, 본 발명의 실시예에 따른 동화상 복호 프로그램에 대하여 설명한다. 도 13은 본 발명의 실시예에 따른 동화상 복호 프로그램의 구성을, 기록매체와 함 께 도시하는 도면이다.
도 13에 도시하는 바와 같이, 동화상 복호 프로그램(170)은 기록매체(100)에 격납되어 제공된다. 기록매체(100)로서는 플렉시블 디스크, CD-ROM, DVD, 또는 ROM 등의 기록매체 또는 반도체 메모리 등이 예시된다.
동화상 복호 프로그램(170)이, 도 9 및 도 10에 도시하는 컴퓨터(110)의 판독장치(112)에 삽입되면, 컴퓨터(110)는 기록매체(100)에 격납된 동화상 복호 프로그램(170)에 액세스 가능해진다. 상기 동화상 복호 프로그램(170)에 의해서, 컴퓨터(110)는 동화상 복호 장치(140)로서 동작하는 것이 가능해진다. 또, 도 10에 도시하는 바와 같이, 동화상 복호 프로그램(170)은 반송파에 중첩된 컴퓨터 데이터 신호(130)로서 네트워크를 통하여 제공되는 것이라도 좋다. 이 경우, 컴퓨터(110)는 통신장치(124)에 의해서 수신한 동화상 복호 프로그램(170)을 메모리(116)에 격납하여, 상기 동화상 복호 프로그램(170)을 실행할 수 있다.
도 13에 도시하는 바와 같이, 동화상 복호 프로그램(170)은 처리를 통괄하는 메인모듈(171)과, 가변 길이 복호모듈(172)과, 복호모듈(174)과, 예측 화상 생성 모듈(176)과, 격납모듈(178)과, 재생 화상 생성 모듈(180)과, 화상 갱신모듈(182)을 구비하고 있다. 또한, 복호모듈(174)은 역양자화 서브 모듈(186)과, 역변환서브모듈(188)을 갖는다.
가변 길이 복호 모듈(172), 복호모듈(174), 예측 화상 생성 모듈(176), 격납모듈(178), 재생 화상 생성 모듈(180), 화상 갱신모듈(182), 역양자화 서브 모듈(186), 및 역변환 서브 모듈(188)이 컴퓨터에 실현시키는 기능은 각각, 상술한 가 변 길이 복호부(144), 복호부(146), 예측 화상 생성부(148), 프레임 메모리(150),재생 화상 생성부(152), 화상 갱신부(156), 역양자화부(160), 역변환부(162)중, 대응의 요소와 같다. 또, 동화상 복호 프로그램(170)은 상술한 제어부(158)에 상당하는 기능을 컴퓨터(110)에 실현시키는 제어모듈(184)을 더 가질 수도 있다.
이하, 본 실시예에 따른 동화상 부호화 장치(10) 및 동화상 복호 장치(140)의 작용 및 효과를 설명한다. 동화상 부호화 장치(10)에서는 재생 화상 또는 프레임 메모리(20)에 이미 격납되어 있는 참조 화상의 한쪽의 제 1 화상에, 상기 재생 화상 또는 상기 참조 화상의 다른쪽의 제 2 화상이 가중 가산됨으로써, 갱신 화상이 생성된다. 이 갱신 화상은 다른 대상 화상의 예측 화상을 생성하기 위한 참조 화상으로서 사용된다. 따라서, 가산에 기초하는 평균화에 의해서 노이즈가 삭감된 참조 화상이 사용되기 때문에, 부호화에 의한 동화상의 데이터량이 삭감되어, 부호화 효율이 향상된다. 또한, 동화상 부호화 장치(10)에서는 재생 화상과 참조 화상이 평균화된 갱신 화상이 생성되기 때문에, 재생 화상 또는 참조 화상에는 없는 화상의 디테일을 갱신 화상에 반영시킬 수 있다. 따라서, 부호화에 의한 동화상의 데이터량이 더욱 삭감된다.
또한, 동화상 복호 장치(140)에 의하면, 동화상 부호화 장치(10)에 의해서 생성된 비트 스트림으로부터 동화상을 충실하게 복원할 수 있다.
또한, 동화상 부호화 장치(10) 및 동화상 복호 장치(140)에서는 상술한 바와 같이 동화상에 있어서의 신의 변화에 기초하여, 동화상의 부호화 효율을 높이기 위해서 유효한 경우에만, 갱신 화상을 생성할 수 있다. 이 경우에는 상술한 바와 같 이, 갱신 화상을 생성하는지의 여부에 관한 지시를, 최소한 필요한 비트로 나타내는 것이 가능한 갱신 제어 신호를 사용할 수 있다.
또한, 동화상 복호 장치(140)에서는 화상 갱신부가, 제 1 화상에 대한 제 2 화상의 어긋남을 나타내는 움직임 량을 구함으로써, 갱신 화상을 생성하기 때문에, 갱신 화상을 생성하기 위한 움직임 량(움직임 벡터)을 동화상 부호화 장치(10)가 동화상 복호 장치(140)에 송신할 필요가 없다. 따라서, 동화상 부호화 장치(10)가 송신해야 할 비트 스트림의 데이터량이 더욱 삭감된다.
또한, 동화상 부호화 장치(10) 및 동화상 복호 장치(140)에서는 순방향 예측의 경우에, 화상을 배열을 바꾸지 않고서, 평활화가 실현되어, 참조 화상의 잡음이 저감된다.
또, 본 발명은 본 실시예에 개시된 특정한 구성에 한정되는 것은 아니다. 예를 들면, 동화상 부호화 장치(10) 및 동화상 복호 장치(140)에서는 프레임 메모리에 격납되어 있고 예측 화상을 생성하기 위해서 참조되는 화상을 참조 화상으로 하고 있지만, 예측 화상의 생성에는 사용되지 않더라도 상술한 화상 갱신에 사용되는 화상을 참조 화상으로 하여도 좋다. 이 참조 화상은 동화상 부호화 장치(10)및 동화상 복호 장치(140)의 상술한 프레임 메모리에 격납되어도 좋고, 상기 프레임 메모리와 다른 프레임 메모리에 격납되어도 좋다. 또한, 상기 참조 화상은 상술한 부호화 차분 신호에 기초하는 데이터를 포함하는 비트 스트림과는 다른 파일, 또는 비트 스트림으로서 전송되어도 좋다.
또한, 동화상 부호화 장치(10) 및 동화상 복호 장치(140)에서는 프레임 메모 리에 격납되어 있는 참조 화상과 재생 화상을 사용하여 화상 갱신이 행하여지고 있지만, 프레임 메모리에 격납되어 있는 화상끼리 화상 갱신이 행하여지더라도 좋다. 즉, 동화상 부호화 장치(10) 및 동화상 복호 장치(140)에서는 재생 화상이 프레임 메모리에 격납되기 전에 화상 갱신이 행하여지고 있지만, 재생 화상을 프레임 메모리에 참조 화상으로서 격납한 후에, 상기 참조 화상과, 상기 참조 화상과는 다른 참조 화상을 사용하여 화상 갱신처리가 행하여지더라도 좋다.
그런데, 상기 실시예에서는 동화상 부호화 장치(10) 및 동화상 복호 장치(140)의 프레임 메모리에 격납되어 있는 화상을 갱신하기 위해서는 재생 화상 또는 상기 프레임 메모리에 격납되어 있는 별도의 화상을 사용하여 행하여진다고 설명하였지만, 복호 차분 화상을 사용하여 프레임 메모리에 격납되어 있는 화상을 갱신하여도 좋고, 이러한 변형예에 대하여 도 14 내지 도 16을 사용하여 상세하게 설명한다.
도 14는 본 발명에 따른 동화상 부호화 장치의 변형을 도시하는 구성도이다. 기본적인 구성과 기능은 도 1과 같지만, 화상 갱신부(32)에 있어서 재생 화상 생성부(30)로부터의 재생 화상과 프레임 메모리(20)로부터의 참조 화상에 더하여, 복호부(28)로부터의 출력인 복호 차분 화상이 라인(L26b) 경유로 입력된다. 화상 갱신부(32)는 복호 차분 화상을 제 1 화상으로 하고, 참조 화상을 제 2 화상으로 하여, 제 1 화상과 제 2 화상을 가중 가산함으로써, 갱신 화상을 생성한다. 이 갱신 화상은 프레임 메모리(20)에 격납되어 다른 대상 화상에 대한 부호화에 사용된다. 화상의 갱신은 도 2에서 설명한 바와 같이 움직임 보상을 동반하기 때문에, 움직임 정보가 필요해진다. 본 실시예에서는 움직임 정보는 도 14의 예측 화상 생성부(16)로부터 제공된다. 화상 갱신부(32)에 대해서는 도 15를 사용하여 상세를 설명한다. 또, 가중 가산에서는 무게가 음의 값을 취하는 경우도 있고, 그 경우 뺄셈 처리가 된다.
도 15는 도 14의 동화상 부호화 장치에 대한 동화상 복호 장치의 구성을 도시하는 도면이다. 도 15에 도시하는 동화상 복호 장치(140)는 도 14의 동화상 부호화 장치(10)에 의해서 생성된 비트 스트림으로부터 동화상을 재생 가능한 장치이다. 기본적인 구성과 기능은 도 11과 같지만, 화상 갱신부(1556)는 라인(L1554) 경유로 입력되는 재생 화상 및 라인(L1556) 경유로 입력되는 참조 화상에 더하여, 복호부(1546)로부터의 출력인 복호 차분 화상이 라인(Ll560) 경유로 입력된다. 화상 갱신부(1556)는 복호 차분 화상(라인(L1560) 경유)을 제 1 화상으로 하고, 참조 화상(라인(L1556) 경유)을 제 2 화상으로 하고, 제 1 화상과 제 2 화상을 가중 가산함으로써, 갱신 화상을 생성한다. 이 갱신 화상은 프레임 메모리(1550)에 격납되어 다음의 복호처리에 사용된다.
구체적으로는 라인(L1560) 경유로 입력되는 복호 차분 화상에 대하여, 움직임 보상부(1564)에서 라인(L1543) 경유로 가변 길이 복호부(1544)로부터 보내진 움직임 정보를 바탕으로, 움직임 보상 처리가 실시된다. 그 결과는 라인(L1562) 경유로 가중 가산부(1566)에 보내지고, 프레임 메모리(1550)로부터 보내진 참조 화상과 가중 가산된다. 본 실시예에서는 움직임 보상부(1564)의 출력에 음의 무게를 가하여, 참조 화상과 가산된다. 가중 가산부(156)6의 출력은 스위치(1568) 경유로 프레임 메모리(1550)로 복귀된다. 한편, 재생 화상 생성부(1552)로부터의 재생 화상도 스위치(1568) 경유로 프레임 메모리(1550)에 격납된다. 이와 같이, 프레임 메모리에 격납되는 참조 화상은 복호 차분 화상을 바탕으로 갱신되게 된다.
도 16은 도 14의 동화상 부호화 장치에 대한 동화상 복호 장치의 별도의 구성을 도시하는 도면이다. 도 16에 도시하는 바와 같이, 동화상 복호 장치(140)는 기능적으로, 입력단자(1642)와, 가변 길이 복호부(1644)와, 복호부(복호 수단; 1646)과, 움직임 보상부(예측 화상 생성 수단; 1648)과, 프레임 메모리(격납 수단; 1650)과, 재생 화상 생성부(재생 화상 생성 수단; 1652)와, 출력단자(1654)와, 화상 갱신부(화상 갱신 수단; 1656)를 구비한다.
입력단자(1642)에는 도 14의 동화상 부호화 장치(10)에 의해서 생성된 비트 스트림이 입력된다. 입력단자(1642)는 가변 길이 복호부(1644)에 상기 비트 스트림을 출력한다. 가변 길이 복호부(1644)는 라인(L1640) 경유로 출력되는 비트 스트림을 받아, 상기 비트 스트림에 포함되는 부호화 데이터를 가변 길이 복호함으로써, 움직임 벡터 및 부호화 차분 신호를 복원한다.
복호부(1646)는 역양자화부(1660)와 역변환부(1662)를 갖고, 라인(L1642) 경유로 부호화 차분 신호를 받아, 상기 부호화 차분 신호로부터 복호 차분 화상을 생성한다.
화상 갱신부(1656)는 라인(L1660) 경유로 출력되는 복호 차분 화상 및 라인(L1656) 경유로 출력되는 참조 화상을 받는다. 화상 갱신부(1656)는 복호 차분 화상을 제 1 화상으로 하고, 참조 화상을 제 2 화상으로 하고, 제 1 화상과 제 2 화 상을 가중 가산함으로써, 갱신 화상을 생성한다. 구체적으로는, 라인(L1660) 경유로 입력되는 복호 차분 화상에 대하여, 움직임 보상부(1666)에서 라인(L1644) 경유로 보내진 움직임 정보를 바탕으로, 움직임 보상처리가 실시된다. 그 결과는 라인(L1662) 경유로 가중 가산부(1664)에 보내지고, 프레임 메모리(1650)로부터 보내진 참조 화상과 가중 가산된다. 본 실시예에서는 움직임 보상부(1666)의 출력에 음의 무게를 가하여, 참조 화상과 가산한다. 가중 가산부(1664)의 출력인 갱신 화상은 라인(L1658) 경유로 프레임 메모리(1650)에 격납되는 동시에, 다음에 설명하는 움직임 보상부에서 사용된다.
움직임 보상부(1648)는 라인(L1644) 경유로 출력되는 움직임 벡터와, 라인(L1646) 경유로 출력되는 프레임 메모리(1650)에 격납된 참조 화상을 사용하여, 예측 화상을 생성한다. 여기에서, 프레임 메모리(1650)에는 동화상을 구성하는 화상 중, 복호의 대상인 대상 화상보다도 먼저 생성된 재생 화상에 기초하는 화상이나, 화상 갱신부(1656)로부터의 갱신 화상이 참조 화상으로서 격납되어 있다.
재생 화상 생성부(1652)는 라인(L1648) 경유로 복호부(1646)로부터 출력되는 복호 차분 화상과, 라인(L1650) 경유로 움직임 보상부(1648)로부터 출력되는 예측 화상을 가산함으로써 재생 화상을 생성한다. 이 재생 화상은 출력단자(1654)에, 라인(L1652) 경유로 출력되는 동시에 프레임 메모리(1650)에 격납된다.
이와 같이 복호 차분 화상을 사용하여 참조 화상을 갱신함으로써, 양자화에 의한 일그러짐이 참조 화상과 재생 화상에 똑같이 분산되어 버리는 효과가 있어, 보다 효율적으로 부호화할 수 있다.
또, 본 실시예에서는 복호 차분 화상을 직접 화상 갱신부에 입력하였지만, 복호 차분 화상을 프레임 메모리에 격납해두고, 프레임 메모리로부터 복호 차분 화상을 판독하여, 화상 갱신에 사용하여도 좋다.
또한, 화상 갱신부의 기능이 동작하는 상태와 동작하지 않은 상태를 바꾸어 부호화·복호처리를 하여도 좋다. 예를 들면, 도 16에 있어서 움직임 보상부(1648)와 재생 화상 생성부(1652)가 동작하지 않을 때에 화상 갱신부(1656)가 동작하고, 반대로 움직임 보상부(1648)와 재생 화상 생성부(1652)가 동작할 때에 화상 갱신부(1656)는 동작하지 않도록 제어하여도 좋다.
이하, 컴퓨터를 도 15 또는 도 16의 동화상 복호 장치(140)로서 동작시키는 동화상 복호 프로그램에 대하여 설명한다. 도 17은 상기 동화상 복호 프로그램(190)의 구성을 도시하고, 기록매체와 함께 도시하는 도면이다.
도 17에 도시하는 바와 같이, 동화상 복호 프로그램(190)은 기록매체(100)에 격납되어 제공된다. 기록매체(100)로서는 플렉시블 디스크, CD-ROM, DVD, 또는 ROM 등의 기록매체 또는 반도체 메모리 등이 예시된다.
동화상 복호 프로그램(190)이, 도 9 및 도 10에 도시하는 컴퓨터(110)의 판독장치(112)에 삽입되면, 컴퓨터(110)는 기록매체(100)에 격납된 동화상 복호 프로그램(190)에 액세스 가능해진다. 상기 동화상 복호 프로그램(190)에 의해서, 컴퓨터(110)는 동화상 복호 장치(140)로서 동작하는 것이 가능해진다. 또, 도 10에 도시하는 바와 같이, 동화상 복호 프로그램(190)은 반송파에 중첩된 컴퓨터 데이터 신호(130)로서 네트워크를 통하여 제공되는 것이라도 좋다. 이 경우, 컴퓨터(110) 는 통신장치(124)에 의해서 수신한 동화상 복호 프로그램(190)을 메모리(116)에 격납하여, 상기 동화상 복호 프로그램(190)을 실행할 수 있다.
도 17에 도시하는 바와 같이, 도 15의 동화상 복호 장치(140)로서 동작시키는 동화상 복호 프로그램과, 도 16의 동화상 복호 장치(140)로서 동작시키는 동화상 복호 프로그램에서 공통의 구성으로서, 동화상 복호 프로그램(190)은 처리를 통괄하는 메인모듈(191)과, 가변 길이 복호모듈(192)과, 복호모듈(195)과, 예측 화상 생성 모듈(196)과, 격납모듈(197)과, 재생 화상 생성 모듈(198)과, 화상 갱신모듈(199)을 구비하고 있다. 또한, 복호모듈(195)은 역양자화 서브모듈(193)과, 역변환 서브모듈(194)을 갖는다.
도 15의 동화상 복호 장치(140)로서 동작시키는 동화상 복호 프로그램에 관해서는 가변 길이 복호모듈(192), 복호모듈(195), 예측 화상 생성 모듈(196), 격납모듈(197), 재생 화상 생성 모듈(198), 및 화상 갱신모듈(199)이 컴퓨터에 실현시키는 기능은 각각, 상술한 가변 길이 복호부(1544), 복호부(1546), 움직임 보상부(1548), 프레임 메모리(1550), 재생 화상 생성부(1552), 및 화상 갱신부(1556) 중, 대응하는 요소와 동일하다.
또한, 도 16의 동화상 복호 장치(140)로서 동작시키는 동화상 복호 프로그램에 대해서는 가변 길이 복호모듈(192), 복호모듈(195), 예측 화상 생성 모듈(196), 격납모듈(197), 재생 화상 생성 모듈(198), 및 화상 갱신모듈(199)이 컴퓨터에 실현시키는 기능은 각각, 상술한 가변 길이 복호부(1644), 복호부(1646), 움직임 보상부(1648), 프레임 메모리(1650), 재생 화상 생성부(1652), 및 화상 갱신부(1656) 중, 대응 요소와 동일하다.
또, 컴퓨터를 도 14의 동화상 부호화 장치(10)로서 동작시키는 동화상 부호화 프로그램의 구성에 대해서는 상술한 도 8의 구성과 동일하다.
또한, 동화상 부호화 장치(10) 및 동화상 복호 장치(140)에서는 갱신 화상이 참조 화상으로서 사용되지만, 이것에 한정되지 않고, 상기 갱신 화상은 표시장치에 출력되어도 좋다.
이상, 적합한 실시예에 있어서 본 발명의 원리를 도시하여 설명하였지만, 본 발명은 이러한 원리로부터 일탈하지 않고 배치 및 상세에 있어서 변경될 수 있는 것은 당업자에 의해서 인식된다. 본 발명은, 본 실시예에 개시된 특정한 구성에 한정되는 것은 아니다. 따라서, 특허청구의 범위 및 그 정신의 범위로부터 오는 모든 수정 및 변경에 권리를 청구한다.
본 발명은 참조 화상의 노이즈를 저감시키는 것이 가능한 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램을 제공하고, 또한 본 발명은 이러한 동화상 부호화 장치에 의해서 생성된 데이터로부터 동화상을 복원 가능한 동화상 복호 장치, 동화상 복호 방법, 및 동화상 복호 프로그램을 제공한다.

Claims (21)

  1. 동화상을 구성하는 복수의 화상 중에서 부호화의 대상이 되는 대상 화상에 대한 예측 화상을 생성하는 예측 화상 생성 수단;
    상기 대상 화상과 상기 예측 화상과의 차 연산을 실행함으로써, 차분 화상을 생성하는 차분 화상 생성 수단;
    상기 차분 화상을 부호화함으로써, 부호화 차분 신호를 생성하는 부호화 수단;
    상기 부호화 차분 신호를 복호함으로써, 복호 차분 화상을 생성하는 복호 수단;
    상기 복호 차분 화상과 상기 예측 화상과의 합 연산을 실행함으로써, 재생 화상을 생성하는 재생 화상 생성 수단;
    예측 화상을 생성하기 위해서 상기 예측 화상 생성 수단에 의해서 사용되는 참조 화상을 격납하기 위한 격납 수단; 및
    상기 재생 화상 또는 상기 격납 수단에 격납된 참조 화상의 한쪽인 제 1 화상과, 상기 재생 화상 또는 상기 참조 화상의 다른쪽인 제 2 화상의 적어도 일부를 가중 가산함으로써, 갱신 화상을 생성하는 화상 갱신 수단을 구비하고,
    상기 화상 갱신 수단은 상기 갱신 화상을 상기 격납 수단에 격납하고,
    상기 예측 화상 생성 수단은 상기 격납 수단에 격납된 갱신 화상을, 다른 대상 화상에 대한 예측 화상을 생성하기 위한 참조 화상으로서 사용하는, 동화상 부 호화 장치.
  2. 동화상을 구성하는 복수의 화상 중에서 부호화의 대상이 되는 대상 화상에 대한 예측 화상을 생성하는 예측 화상 생성 수단;
    상기 대상 화상과 상기 예측 화상과의 차 연산을 실행함으로써, 차분 화상을 생성하는 차분 화상 생성 수단;
    상기 차분 화상을 부호화함으로써, 부호화 차분 신호를 생성하는 부호화 수단;
    상기 부호화 차분 신호를 복호함으로써, 복호 차분 화상을 생성하는 복호 수단;
    상기 복호 차분 화상과 상기 예측 화상과의 합 연산을 실행함으로써, 재생 화상을 생성하는 재생 화상 생성 수단;
    예측 화상을 생성하기 위해서 상기 예측 화상 생성 수단에 의해서 사용되는 참조 화상을 격납하기 위한 격납 수단; 및
    상기 격납 수단에 격납된 참조 화상을 제 1 화상으로 하고, 상기 격납 수단에 격납되어 상기 제 1 화상과 다른 참조 화상, 상기 재생 화상, 및 상기 복호 차분 화상 중 적어도 하나를 제 2 화상으로 하고, 상기 제 1 화상과 상기 제 2 화상의 적어도 일부를 가중 가산함으로써, 갱신 화상을 생성하는 화상 갱신 수단을 구비하고,
    상기 화상 갱신 수단은 상기 갱신 화상을 상기 격납 수단에 격납하고,
    상기 예측 화상 생성 수단은 상기 격납 수단에 격납된 갱신 화상을, 예측 화상을 생성하기 위한 참조 화상으로서 사용하는, 동화상 부호화 장치.
  3. 제 1 항에 있어서, 상기 화상 갱신 수단은 상기 제 1 화상으로서, 상기 재생 화상 생성 수단에 의해서 생성되는 상기 재생 화상을 사용하고, 상기 제 2 화상으로서, 상기 격납 수단에 격납된 상기 참조 화상을 사용하고, 상기 재생 화상과 상기 참조 화상의 적어도 일부를 가중 가산함으로써 생성하는 갱신 재생 화상을, 상기 갱신 화상으로서 상기 격납 수단에 격납하는, 동화상 부호화 장치.
  4. 제 1 항에 있어서, 상기 화상 갱신 수단은 상기 제 1 화상으로서, 상기 격납 수단에 격납된 상기 참조 화상을 사용하고, 상기 제 2 화상으로서, 상기 재생 화상 생성 수단에 의해서 생성되는 상기 재생 화상을 사용하고, 상기 참조 화상과 상기 재생 화상의 적어도 일부를 가중 가산함으로써 생성하는 갱신 참조 화상을, 상기 갱신 화상으로서 상기 격납 수단에 격납하는, 동화상 부호화 장치.
  5. 제 1 항에 있어서, 상기 화상 갱신 수단은 상기 제 1 화상으로서, 상기 재생 화상 생성 수단에 의해서 생성되는 상기 재생 화상을 사용하고, 상기 제 2 화상으로서, 상기 격납 수단에 격납된 상기 참조 화상을 사용하고, 상기 재생 화상과 상기 참조 화상의 적어도 일부를 가중 가산함으로써 생성하는 갱신 재생 화상을, 상기 갱신 화상으로서 상기 격납 수단에 격납하고, 또한, 상기 제 1 화상으로서, 상 기 격납 수단에 격납된 상기 참조 화상을 사용하고, 상기 제 2 화상으로서, 상기 재생 화상 생성 수단에 의해서 생성되는 상기 재생 화상을 사용하고, 상기 참조 화상과 상기 재생 화상의 적어도 일부를 가중 가산함으로써 생성하는 갱신 참조 화상을 상기 갱신 화상으로서 상기 격납 수단에 격납하고,
    상기 예측 화상 생성 수단은 상기 재생 화상, 상기 갱신 재생 화상, 상기 참조 화상, 및 상기 갱신 참조 화상 중 적어도 하나를, 다른 대상 화상에 대한 예측 화상을 생성하기 위한 참조 화상으로서 사용하는, 동화상 부호화 장치.
  6. 제 1 항에 있어서, 상기 화상 갱신 수단은 상기 제 1 화상에 대한 상기 제 2 화상의 어긋남을 특정하는 움직임 량을 구하고, 상기 움직임 량에 기초하여 이동시킨 대응의 위치에 있어서 상기 제 2 화상의 적어도 일부를 상기 제 1 화상에 가중 가산함으로써, 상기 갱신 화상을 생성하는, 동화상 부호화 장치.
  7. 예측 화상 생성 수단이, 동화상을 구성하는 복수의 화상 중에서 부호화의 대상이 되는 대상 화상에 대한 예측 화상을 생성하는 예측 화상 생성 단계;
    차분 화상 생성 수단이, 상기 대상 화상과 상기 예측 화상과의 차 연산을 실행함으로써, 차분 화상을 생성하는 차분 화상 생성 단계;
    부호화 수단이, 상기 차분 화상을 부호화함으로써, 부호화 차분 신호를 생성하는 부호화 단계;
    복호 수단이, 상기 부호화 차분 신호를 복호함으로써, 복호 차분 화상을 생 성하는 복호 단계;
    재생 화상 생성 수단이, 상기 복호 차분 화상과 상기 예측 화상과의 합 연산을 실행함으로써, 재생 화상을 생성하는 재생 화상 생성 단계;
    격납 수단이, 예측 화상을 생성하기 위해서 상기 예측 화상 생성 수단에 의해서 사용되는 참조 화상을 격납하기 위한 격납 단계; 및
    화상 갱신 수단이, 상기 재생 화상 또는 상기 격납 수단에 격납된 참조 화상의 한쪽인 제 1 화상과, 상기 재생 화상 또는 상기 참조 화상의 다른쪽인 제 2 화상의 적어도 일부를 가중 가산함으로써, 갱신 화상을 생성하는 화상 갱신 단계를 포함하고,
    상기 화상 갱신 단계에 있어서, 상기 화상 갱신 수단이, 상기 갱신 화상을 상기 격납 수단에 격납하고,
    상기 예측 화상 생성 단계에 있어서, 상기 예측 화상 생성 수단이, 상기 격납 수단에 격납된 갱신 화상을, 다른 대상 화상에 대한 예측 화상을 생성하기 위한 참조 화상으로서 사용하는, 동화상 부호화 방법.
  8. 컴퓨터를,
    동화상을 구성하는 복수의 화상 중에서 부호화의 대상이 되는 대상 화상에 대한 예측 화상을 생성하는 예측 화상 생성 수단;
    상기 대상 화상과 상기 예측 화상과의 차 연산을 실행함으로써, 차분 화상을 생성하는 차분 화상 생성 수단;
    상기 차분 화상을 부호화함으로써, 부호화 차분 신호를 생성하는 부호화 수단;
    상기 부호화 차분 신호를 복호함으로써, 복호 차분 화상을 생성하는 복호 수단;
    상기 복호 차분 화상과 상기 예측 화상과의 합 연산을 실행함으로써, 재생 화상을 생성하는 재생 화상 생성 수단;
    예측 화상을 생성하기 위해서 상기 예측 화상 생성 수단에 의해서 사용되는 참조 화상을 격납하기 위한 격납 수단; 및
    상기 재생 화상 또는 상기 격납 수단에 격납된 참조 화상의 한쪽인 제 1 화상과, 상기 재생 화상 또는 상기 참조 화상의 다른쪽인 제 2 화상의 적어도 일부를 가중 가산함으로써, 갱신 화상을 생성하는 화상 갱신 수단으로서 기능시키고,
    상기 화상 갱신 수단은 상기 갱신 화상을 상기 격납 수단에 격납하고,
    상기 예측 화상 생성 수단은 상기 격납 수단에 격납된 갱신 화상을, 다른 대상 화상에 대한 예측 화상을 생성하기 위한 참조 화상으로서 사용하는, 동화상 부호화 프로그램.
  9. 예측 화상 생성 수단이, 동화상을 구성하는 복수의 화상 중에서 부호화의 대상이 되는 대상 화상에 대한 예측 화상을 생성하는 예측 화상 생성 단계;
    차분 화상 생성 수단이, 상기 대상 화상과 상기 예측 화상과의 차 연산을 실행함으로써, 차분 화상을 생성하는 차분 화상 생성 단계;
    부호화 수단이, 상기 차분 화상을 부호화함으로써, 부호화 차분 신호를 생성하는 부호화 단계;
    복호 수단이, 상기 부호화 차분 신호를 복호함으로써, 복호 차분 화상을 생성하는 복호 단계;
    재생 화상 생성 수단이, 상기 복호 차분 화상과 상기 예측 화상과의 합 연산을 실행함으로써, 재생 화상을 생성하는 재생 화상 생성 단계;
    격납 수단이, 예측 화상을 생성하기 위해서 상기 예측 화상 생성 수단에 의해서 사용되는 참조 화상을 격납하기 위한 격납 단계; 및
    화상 갱신 수단이, 상기 격납 수단에 격납된 참조 화상을 제 l 화상으로 하여, 상기 격납 수단에 격납되어 상기 제 1 화상과 다른 참조 화상, 상기 재생 화상, 및 상기 복호 차분 화상 중 적어도 하나를 제 2 화상으로 하고, 상기 제 1 화상과 상기 제 2 화상의 적어도 일부를 가중 가산함으로써, 갱신 화상을 생성하는 화상 갱신 단계를 포함하고,
    상기 화상 갱신 단계에 있어서, 상기 화상 갱신 수단이, 상기 갱신 화상을 상기 격납 수단에 격납하고,
    상기 예측 화상 생성 단계에 있어서, 상기 예측 화상 생성 수단이, 상기 격납 수단에 격납된 갱신 화상을, 예측 화상을 생성하기 위한 참조 화상으로서 사용하는, 동화상 부호화 방법.
  10. 컴퓨터를,
    동화상을 구성하는 복수의 화상 중에서 부호화의 대상이 되는 대상 화상에 대한 예측 화상을 생성하는 예측 화상 생성 수단;
    상기 대상 화상과 상기 예측 화상과의 차 연산을 실행함으로써, 차분 화상을 생성하는 차분 화상 생성 수단;
    상기 차분 화상을 부호화함으로써, 부호화 차분 신호를 생성하는 부호화 수단;
    상기 부호화 차분 신호를 복호함으로써, 복호 차분 화상을 생성하는 복호 수단;
    상기 복호 차분 화상과 상기 예측 화상과의 합 연산을 실행함으로써, 재생 화상을 생성하는 재생 화상 생성 수단;
    예측 화상을 생성하기 위해서 상기 예측 화상 생성 수단에 의해서 사용되는 참조 화상을 격납하기 위한 격납 수단; 및
    상기 격납 수단에 격납된 참조 화상을 제 1 화상으로 하고, 상기 격납 수단에 격납되어 상기 제 1 화상과 다른 참조 화상, 상기 재생 화상, 및 상기 복호 차분 화상 중 적어도 하나를 제 2 화상으로 하고, 상기 제 1 화상과 상기 제 2 화상의 적어도 일부를 가중 가산함으로써, 갱신 화상을 생성하는 화상 갱신 수단으로서 기능시키고,
    상기 화상 갱신 수단은 상기 갱신 화상을 상기 격납 수단에 격납하고,
    상기 예측 화상 생성 수단은 상기 격납 수단에 격납된 갱신 화상을, 예측 화상을 생성하기 위한 참조 화상으로서 사용하는, 동화상 부호화 프로그램.
  11. 동화상이 예측 부호화되어 이루어지는 부호화 차분 신호를 복호함으로써, 복호 차분 화상을 생성하는 복호 수단;
    상기 부호화 차분 신호에 기초하여, 복호 대상의 대상 화상에 대한 예측 화상을 생성하는 예측 화상 생성 수단;
    상기 복호 차분 화상과 상기 예측 화상을 가산함으로써 재생 화상을 생성하는 재생 화상 생성 수단;
    상기 예측 화상을 생성하기 위해서 상기 예측 화상 생성 수단에 의해서 사용되는 참조 화상을 격납하는 격납 수단; 및
    상기 재생 화상 또는 상기 격납 수단에 격납되어 있던 참조 화상의 한쪽인 제 1 화상과, 상기 재생 화상 또는 상기 참조 화상의 다른쪽인 제 2 화상의 적어도 일부를 가중 가산함으로써, 갱신 화상을 생성하는 화상 갱신 수단을 구비하고,
    상기 화상 갱신 수단은 상기 갱신 화상을 상기 격납 수단에 격납하고,
    상기 예측 화상 생성 수단은 상기 격납 수단에 격납된 갱신 화상을, 다른 대상 화상에 대한 예측 화상을 생성하기 위한 참조 화상으로서 사용하는, 동화상 복호 장치.
  12. 동화상이 예측 부호화되어 이루어지는 부호화 차분 신호를 복호함으로써, 복호 차분 화상을 생성하는 복호 수단;
    상기 부호화 차분 신호에 기초하여, 복호 대상의 대상 화상에 대한 예측 화 상을 생성하는 예측 화상 생성 수단;
    상기 복호 차분 화상과 상기 예측 화상을 가산함으로써 재생 화상을 생성하는 재생 화상 생성 수단;
    상기 예측 화상을 생성하기 위해서 상기 예측 화상 생성 수단에 의해서 사용되는 참조 화상을 격납하는 격납 수단; 및
    상기 격납 수단에 격납된 참조 화상을 제 1 화상으로 하고, 상기 격납 수단에 격납되어 상기 제 1 화상과 다른 참조 화상, 상기 재생 화상, 및 상기 복호 차분 화상 중 적어도 하나를 제 2 화상으로 하고, 상기 제 1 화상과 상기 제 2 화상의 적어도 일부를 가중 가산함으로써, 갱신 화상을 생성하는 화상 갱신 수단을 구비하고,
    상기 화상 갱신 수단은 상기 갱신 화상을 상기 격납 수단에 격납하고,
    상기 예측 화상 생성 수단은 상기 격납 수단에 격납된 갱신 화상을, 예측 화상을 생성하기 위한 참조 화상으로서 사용하는, 동화상 복호 장치.
  13. 제 11 항에 있어서, 상기 화상 갱신 수단은 상기 제 1 화상으로서, 상기 재생 화상 생성 수단에 의해서 생성되는 상기 재생 화상을 사용하고, 상기 제 2 화상으로서, 상기 격납 수단에 격납된 상기 참조 화상을 사용하고, 상기 재생 화상과 상기 참조 화상의 적어도 일부를 가중 가산함으로써 생성하는 갱신 재생 화상을, 상기 갱신 화상으로서 상기 격납 수단에 격납하는, 동화상 복호 장치.
  14. 제 11 항에 있어서, 상기 화상 갱신 수단은 상기 제 1 화상으로서, 상기 격납 수단에 격납된 상기 참조 화상을 사용하고, 상기 제 2 화상으로서, 상기 재생 화상 생성 수단에 의해서 생성되는 상기 재생 화상을 사용하고, 상기 참조 화상과 상기 재생 화상의 적어도 일부를 가중 가산함으로써 생성하는 갱신 참조 화상을, 상기 갱신 화상으로서 상기 격납 수단에 격납하는, 동화상 복호 장치.
  15. 제 11 항에 있어서, 상기 화상 갱신 수단은 상기 제 1 화상으로서, 상기 재생 화상 생성 수단에 의해서 생성되는 상기 재생 화상을 사용하고, 상기 제 2 화상으로서, 상기 격납 수단에 격납된 상기 참조 화상을 사용하여, 상기 재생 화상과 상기 참조 화상의 적어도 일부를 가중 가산함으로써 생성하는 갱신 재생 화상을, 상기 갱신 화상으로서 상기 격납 수단에 격납하고, 또한, 상기 제 1 화상으로서, 상기 격납 수단에 격납된 상기 참조 화상을 사용하고, 상기 제 2 화상으로서, 상기 재생 화상 생성 수단에 의해서 생성되는 상기 재생 화상을 사용하고, 상기 참조 화상과 상기 재생 화상의 적어도 일부를 가중 가산함으로써 생성하는 갱신 참조 화상을 상기 격납 수단에 격납하고,
    상기 예측 화상 생성 수단은 상기 재생 화상, 상기 갱신 재생 화상, 상기 참조 화상, 및 상기 갱신 참조 화상 중 적어도 하나를, 다른 대상 화상에 대한 예측 화상을 생성하기 위한 참조 화상으로서 사용하는, 동화상 복호 장치.
  16. 제 15 항에 있어서, 상기 부호화 차분 신호는 제 1 상태, 제 2 상태, 제 3 상태, 및 제 4 상태의 적어도 하나를 지시하는 갱신 제어 신호를 포함하고 있고,
    상기 화상 갱신 수단은 상기 갱신 제어 신호에 의해서 상기 제 1 상태가 지시되는 경우에, 상기 갱신 재생 화상을 생성하고, 상기 갱신 제어 신호에 의해서 상기 제 2 상태가 지시되는 경우에, 상기 갱신 참조 화상을 생성하여, 상기 갱신 제어 신호에 의해서 상기 제 3 상태가 지시되는 경우에, 상기 갱신 재생 화상과 상기 갱신 참조 화상을 생성하고, 상기 갱신 제어 신호에 의해서 상기 제 4 상태가 지시되는 경우에, 상기 갱신 재생 화상과 상기 갱신 참조 화상을 생성하지 않는, 동화상 복호 장치.
  17. 제 11 항에 있어서, 상기 화상 갱신 수단은 상기 제 1 화상에 대한 상기 제 2 화상의 어긋남을 나타내는 움직임 량을 구하고, 상기 움직임 량에 기초하여 이동시킨 대응의 위치에 있어서 상기 제 2 화상의 적어도 일부를 상기 제 1 화상에 가중 가산함으로써, 상기 갱신 화상을 생성하는, 동화상 복호 장치.
  18. 복호 수단이, 동화상이 예측 부호화되어 이루어지는 부호화 차분 신호를 복호함으로써, 복호 차분 화상을 생성하는 복호 단계;
    예측 화상 생성 수단이, 상기 부호화 차분 신호에 기초하여, 복호 대상의 대상 화상에 대한 예측 화상을 생성하는 예측 화상 생성 단계;
    재생 화상 생성 수단이, 상기 복호 차분 화상과 상기 예측 화상을 가산함으로써 재생 화상을 생성하는 재생 화상 생성 단계;
    격납 수단이, 상기 예측 화상을 생성하기 위해서 상기 예측 화상 생성 수단에 의해서 사용되는 참조 화상을 격납하는 격납 단계; 및
    화상 갱신 수단이, 상기 재생 화상 또는 상기 격납 수단에 격납되어 있던 참조 화상의 한쪽인 제 1 화상과, 상기 재생 화상 또는 상기 참조 화상의 다른쪽인 제 2 화상의 적어도 일부를 가중 가산함으로써, 갱신 화상을 생성하는 화상 갱신 단계를 포함하고,
    상기 화상 갱신 단계에 있어서, 상기 화상 갱신 수단이, 상기 갱신 화상을 상기 격납 수단에 격납하고,
    상기 예측 화상 생성 단계에 있어서, 상기 예측 화상 생성 수단이, 상기 격납 수단에 격납된 갱신 화상을, 다른 대상 화상에 대한 예측 화상을 생성하기 위한 참조 화상으로서 사용하는, 동화상 복호 방법.
  19. 컴퓨터를,
    동화상이 예측 부호화되어 이루어지는 부호화 차분 신호를 복호함으로써, 복호 차분 화상을 생성하는 복호 수단;
    상기 부호화 차분 신호에 기초하여, 복호 대상의 대상 화상에 대한 예측 화상을 생성하는 예측 화상 생성 수단;
    상기 복호 차분 화상과 상기 예측 화상을 가산함으로써 재생 화상을 생성하는 재생 화상 생성 수단;
    상기 예측 화상을 생성하기 위해서 상기 예측 화상 생성 수단에 의해서 사용 되는 참조 화상을 격납하는 격납 수단; 및
    상기 재생 화상 또는 상기 격납 수단에 격납되어 있던 참조 화상의 한쪽인 제 1 화상과, 상기 재생 화상 또는 상기 참조 화상의 다른쪽인 제 2 화상의 적어도 일부를 가중 가산함으로써, 갱신 화상을 생성하는 화상 갱신 수단으로서 기능시키고,
    상기 화상 갱신 수단은 상기 갱신 화상을 상기 격납 수단에 격납하고,
    상기 예측 화상 생성 수단은 상기 격납 수단에 격납된 갱신 화상을, 다른 대상 화상에 대한 예측 화상을 생성하기 위한 참조 화상으로서 사용하는, 동화상 복호 프로그램.
  20. 복호 수단이, 동화상이 예측 부호화되어 이루어지는 부호화 차분 신호를 복호함으로써, 복호 차분 화상을 생성하는 복호 단계;
    예측 화상 생성 수단이, 상기 부호화 차분 신호에 기초하여, 복호 대상의 대상 화상에 대한 예측 화상을 생성하는 예측 화상 생성 단계;
    재생 화상 생성 수단이, 상기 복호 차분 화상과 상기 예측 화상을 가산함으로써 재생 화상을 생성하는 재생 화상 생성 단계;
    격납 수단이, 상기 예측 화상을 생성하기 위해서 상기 예측 화상 생성 수단에 의해서 사용되는 참조 화상을 격납하는 격납 단계; 및
    화상 갱신 수단이, 상기 격납 수단에 격납된 참조 화상을 제 1 화상으로 하고, 상기 격납 수단에 격납되어 상기 제 1 화상과 다른 참조 화상, 상기 재생 화 상, 및 상기 복호 차분 화상 중 적어도 하나를 제 2 화상으로 하고, 상기 제 1 화상과 상기 제 2 화상의 적어도 일부를 가중 가산함으로써, 갱신 화상을 생성하는 화상 갱신 단계를 포함하고,
    상기 화상 갱신 단계에 있어서, 상기 화상 갱신 수단이, 상기 갱신 화상을 상기 격납 수단에 격납하고,
    상기 예측 화상 생성 단계에 있어서, 상기 예측 화상 생성 수단이, 상기 격납 수단에 격납된 갱신 화상을, 예측 화상을 생성하기 위한 참조 화상으로서 사용하는, 동화상 복호 방법.
  21. 컴퓨터를,
    동화상이 예측 부호화되어 이루어지는 부호화 차분 신호를 복호함으로써, 복호 차분 화상을 생성하는 복호 수단;
    상기 부호화 차분 신호에 기초하여, 복호 대상의 대상 화상에 대한 예측 화상을 생성하는 예측 화상 생성 수단;
    상기 복호 차분 화상과 상기 예측 화상을 가산함으로써 재생 화상을 생성하는 재생 화상 생성 수단;
    상기 예측 화상을 생성하기 위해서 상기 예측 화상 생성 수단에 의해서 사용되는 참조 화상을 격납하는 격납 수단; 및
    상기 격납 수단에 격납된 참조 화상을 제 1 화상으로 하고, 상기 격납 수단에 격납되어 상기 제 1 화상과 다른 참조 화상, 상기 재생 화상, 및 상기 복호 차 분 화상 중 적어도 하나를 제 2 화상으로 하고, 상기 제 1 화상과 상기 제 2 화상의 적어도 일부를 가중 가산함으로써, 갱신 화상을 생성하는 화상 갱신 수단으로서 기능시키고,
    상기 화상 갱신 수단은 상기 갱신 화상을 상기 격납 수단에 격납하고,
    상기 예측 화상 생성 수단은 상기 격납 수단에 격납된 갱신 화상을, 예측 화상을 생성하기 위한 참조 화상으로서 사용하는, 동화상 복호 프로그램.
KR20050031566A 2004-04-16 2005-04-15 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램을 기록한 기록 매체, 동화상 복호 장치, 동화상 복호 방법, 및 동화상 복호 프로그램을 기록한 기록 매체 KR100720851B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JPJP-P-2004-00122100 2004-04-16
JP2004122100 2004-04-16
JP2005026926A JP4414904B2 (ja) 2004-04-16 2005-02-02 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
JPJP-P-2005-00026926 2005-02-02

Publications (2)

Publication Number Publication Date
KR20060045778A true KR20060045778A (ko) 2006-05-17
KR100720851B1 KR100720851B1 (ko) 2007-05-25

Family

ID=34935050

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20050031566A KR100720851B1 (ko) 2004-04-16 2005-04-15 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램을 기록한 기록 매체, 동화상 복호 장치, 동화상 복호 방법, 및 동화상 복호 프로그램을 기록한 기록 매체

Country Status (6)

Country Link
US (2) US7702017B2 (ko)
EP (3) EP2192784A3 (ko)
JP (1) JP4414904B2 (ko)
KR (1) KR100720851B1 (ko)
CN (2) CN100593338C (ko)
TW (1) TWI259729B (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4414904B2 (ja) * 2004-04-16 2010-02-17 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
WO2008146455A1 (ja) * 2007-05-22 2008-12-04 Panasonic Corporation 動画像復号化装置及び動画像復号化方法
EP3567853B8 (en) 2009-03-23 2024-01-03 Ntt Docomo, Inc. Image predictive decoding device and image predictive decoding method
CN102823250B (zh) * 2010-03-31 2015-08-19 三菱电机株式会社 图像编码装置、图像解码装置、图像编码方法以及图像解码方法
PT3070945T (pt) 2010-07-20 2020-04-22 Ntt Docomo Inc Dispositivo de descodificação de previsão de imagem, método de descodificação de previsão de imagem
EP3001686B1 (en) * 2010-10-06 2020-02-19 NTT DOCOMO, Inc. Bi-predictive image decoding device, method and program
US10602185B2 (en) 2011-09-30 2020-03-24 Intel Corporation Systems, methods, and computer program products for a video encoding pipeline
JP2016066922A (ja) * 2014-09-25 2016-04-28 ソニー株式会社 信号処理装置、撮像装置、および、それらにおける信号処理方法。
CN106331700B (zh) * 2015-07-03 2019-07-19 华为技术有限公司 参考图像编码和解码的方法、编码设备和解码设备

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2699703B2 (ja) 1991-07-31 1998-01-19 松下電器産業株式会社 動き補償予測方法とそれを用いた画像信号符号化方法
US5208673A (en) * 1991-11-05 1993-05-04 Matsushita Electric Corporation Of America Noise reduction in frame transmitted video signals
US5539663A (en) * 1993-11-24 1996-07-23 Intel Corporation Process, apparatus and system for encoding and decoding video signals using temporal filtering
JP3224465B2 (ja) * 1993-12-22 2001-10-29 シャープ株式会社 画像符号化装置
JP3529432B2 (ja) 1994-06-30 2004-05-24 株式会社東芝 動画像符号化／復号化装置
JPH0993592A (ja) 1995-07-13 1997-04-04 Matsushita Electric Ind Co Ltd 画像符号化装置
WO1998002002A1 (en) * 1996-07-05 1998-01-15 Nippon Telegraph And Telephone Corporation Image communication system and method
JP3263901B2 (ja) 1997-02-06 2002-03-11 ソニー株式会社 画像信号符号化方法及び装置、画像信号復号化方法及び装置
CN1217852A (zh) 1997-02-13 1999-05-26 三菱电机株式会社 动态图象预测方式
US6175592B1 (en) * 1997-03-12 2001-01-16 Matsushita Electric Industrial Co., Ltd. Frequency domain filtering for down conversion of a DCT encoded picture
JP3373130B2 (ja) * 1997-03-24 2003-02-04 沖電気工業株式会社 画像復号化装置
JPH118856A (ja) * 1997-06-17 1999-01-12 Mitsubishi Electric Corp 画像符号化方法及びその装置
US6859496B1 (en) * 1998-05-29 2005-02-22 International Business Machines Corporation Adaptively encoding multiple streams of video data in parallel for multiplexing onto a constant bit rate channel
JP2001169281A (ja) * 1999-12-13 2001-06-22 Matsushita Electric Ind Co Ltd 動画像符号化装置、および動画像符号化方法
KR100489040B1 (ko) * 2000-12-28 2005-05-11 엘지전자 주식회사 동영상 부호화기, 동영상 복호화기에서 슬라이스 메모리와프레임 메모리간의 데이터 처리 방법
JP2003284075A (ja) 2002-01-18 2003-10-03 Toshiba Corp 動画像符号化方法と装置及び復号化方法と装置
EP1467569A4 (en) * 2002-01-18 2007-11-14 Toshiba Kk METHOD AND APPARATUS FOR ENCODING IMAGES IN MOTION, DECODING METHOD AND APPARATUS
US7408986B2 (en) * 2003-06-13 2008-08-05 Microsoft Corporation Increasing motion smoothness using frame interpolation with motion analysis
EP1649696A1 (en) 2003-07-16 2006-04-26 Koninklijke Philips Electronics N.V. Encoding method and device
JP4414904B2 (ja) * 2004-04-16 2010-02-17 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
US8879857B2 (en) * 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device

Also Published As

Publication number Publication date
TW200605682A (en) 2006-02-01
CN100593338C (zh) 2010-03-03
EP2192784A3 (en) 2012-02-22
US20100150239A1 (en) 2010-06-17
EP1587326A3 (en) 2009-09-30
CN101707717A (zh) 2010-05-12
US20050232500A1 (en) 2005-10-20
US7702017B2 (en) 2010-04-20
EP2192784A2 (en) 2010-06-02
US8243802B2 (en) 2012-08-14
JP4414904B2 (ja) 2010-02-17
EP1587326A2 (en) 2005-10-19
EP2429193A2 (en) 2012-03-14
CN1684519A (zh) 2005-10-19
JP2005328498A (ja) 2005-11-24
EP2429193A3 (en) 2012-09-05
KR100720851B1 (ko) 2007-05-25
TWI259729B (en) 2006-08-01

Similar Documents

Publication Publication Date Title
KR100720851B1 (ko) 동화상 부호화 장치, 동화상 부호화 방법, 동화상 부호화 프로그램을 기록한 기록 매체, 동화상 복호 장치, 동화상 복호 방법, 및 동화상 복호 프로그램을 기록한 기록 매체
JP5940127B2 (ja) 映像復号化方法
JP3868017B2 (ja) 映像処理システム
KR100809354B1 (ko) 복원된 프레임의 프레임율을 업컨버팅하는 장치 및 방법
JP5680283B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び動画像復号プログラム
JP3277111B2 (ja) 動画像符号化装置および動画像復号化装置
KR20100019537A (ko) 화상 예측 부호화 장치, 화상 예측 복호 장치, 화상 예측 부호화 방법, 화상 예측 복호 방법, 화상 예측 부호화 프로그램, 및 화상 예측 복호 프로그램
CN101194515A (zh) 使用平滑预测基于多层的视频编码和解码方法以及视频编码器和解码器
AU2019275631A1 (en) Motion vector field coding and decoding method, coding apparatus, and decoding apparatus
EP1935181A1 (en) Intra-base-layer prediction method satisfying single loop decoding condition, and video coding method and apparatus using the prediction method
KR20080048071A (ko) 통합된 공간 시간 예측
JP4227067B2 (ja) 動画像符号化方法と装置及びプログラム
JP6875566B2 (ja) 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法及び動画像予測復号プログラム
Wiegand et al. Entropy-constrained linear vector prediction for motion-compensated video coding
JP2010063118A (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、及び動画像復号プログラム
JP5358485B2 (ja) 画像符号化装置
JP5389878B2 (ja) 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム
JP2021197683A (ja) 学習装置、ループフィルタ制御装置及びそれらのプログラム、並びに、復号装置
KR0178207B1 (ko) 벡터 부호화 시스템에서의 고속 패턴 매칭 장치 및 그 방법
JP6071618B2 (ja) 画像処理装置及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Publication of correction
FPAY Annual fee payment

Payment date: 20130502

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140418

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150416

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160418

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee