KR20160058977A - 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법, 및 동화상 예측 복호 프로그램 - Google Patents

동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법, 및 동화상 예측 복호 프로그램 Download PDF

Info

Publication number
KR20160058977A
KR20160058977A KR1020167012926A KR20167012926A KR20160058977A KR 20160058977 A KR20160058977 A KR 20160058977A KR 1020167012926 A KR1020167012926 A KR 1020167012926A KR 20167012926 A KR20167012926 A KR 20167012926A KR 20160058977 A KR20160058977 A KR 20160058977A
Authority
KR
South Korea
Prior art keywords
image
picture
decoding
random access
encoding
Prior art date
Application number
KR1020167012926A
Other languages
English (en)
Other versions
KR101747195B1 (ko
Inventor
춘셍 분
요시노리 스즈키
아키라 후지바야시
티오 켕 탄
Original Assignee
가부시키가이샤 엔.티.티.도코모
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 엔.티.티.도코모 filed Critical 가부시키가이샤 엔.티.티.도코모
Publication of KR20160058977A publication Critical patent/KR20160058977A/ko
Application granted granted Critical
Publication of KR101747195B1 publication Critical patent/KR101747195B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

요약서 동화상 예측 부호화 장치는, 입력된 화상을 부호화하고 랜덤 액세스 화상을 포함하는 압축 화상 데이터를 생성하는 동시에 화상의 표시 순번 정보에 관한 데이터를 부호화하는 부호화 수단과, 압축 화상 데이터를 복호함으로써 재생 화상을 복원하는 복원 수단과, 재생 화상을 참조 화상으로서 저장하는 화상 저장 수단과, 화상 저장 수단을 제어하는 메모리 관리 수단을 구비하고, 메모리 관리 수단은 랜덤 액세스 화상을 생성하는 부호화 처리가 완료한 후 최초에 표시 순번 정보가 랜덤 액세스 화상의 표시 순번 정보보다 큰 화상을 부호화하는 직전 또는 직후에 화상 저장 수단 내의 참조 화상 중에서 랜덤 액세스 화상을 제외한 참조 화상에 대하여 불필요로 설정함으로써 화상 저장 수단을 리프레시한다.

Description

동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법, 및 동화상 예측 복호 프로그램{MOVING IMAGE PREDICTION ENCODING DEVICE, MOVING IMAGE PREDICTION ENCODING METHOD, MOVING IMAGE PREDICTION ENCODING PROGRAM, MOVING IMAGE PREDICTION DECODING DEVICE, MOVIGN IMAGE PREDICTION DECODING METHOD, AND MOVING IMAGE PREDICTION DECODING PROGRAM}
본 발명은 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법, 및 동화상 예측 복호 프로그램에 관한 발명이다.
동화상 데이터의 전송이나 축적을 효율적으로 행하기 위하여, 압축 부호화 기술이 사용된다. 동화상의 경우에는 MPEG1~4 또는 H.261~H.264의 방식이 널리 사용되고 있다.
이들 부호화 방식에서는, 부호화의 대상으로 되는 화상을 복수 개의 블록으로 분할하고, 각 블록에 대하여 부호화 및 복호 처리를 행한다. 부호화 효율을 높이기 위해, 하기와 같은 예측 부호화 방법이 사용된다. 화면 내의 예측 부호화에서는 대상 블록과 같은 화면 내의 인접하는 기존 재생의 화상 신호(과거에 부호화된 화상 데이터를 복원한 것)를 사용하여 예측 신호를 생성하고, 예측 신호를 대상 블록의 신호로부터 감산해서 얻어진 차분 신호를 부호화한다. 화면 간 예측 부호화에서는, 대상 블록과 상이한 화면 내의 기존 재생의 화상 신호를 참조하여 신호의 변위를 검색하고, 그 변위분을 보상하여 예측 신호를 생성하고, 예측 신호를 대상 블록의 신호로부터 감산해 얻어진 차분 신호를 부호화한다. 이때 움직임의 검색 및 보상을 행하기 위해 참조되는 기존 재생의 화상을 참조 화상이라고 한다.
또, 양방향 화면 간 예측에서는 표시 시간 순으로 대상 화상의 전에 표시된 과거의 화상만이 아니라, 대상 화상의 후에 표시되는 미래의 화상도 병행하여 참조하는 경우가 있다(단, 미래의 화상은 대상 화상보다 먼저 부호화하고, 미리 재생하여 둘 필요가 있다). 그리고, 과거의 화상으로부터 취득된 예측 신호와 미래의 화상으로부터 취득된 예측 신호의 양쪽을 평균화함으로써, 숨겨져 있다 새롭게 나타나는 물체의 신호의 예측에 유효한 것으로 모두 양쪽의 예측 신호에 포함되어 있는 잡음을 경감하는 효과가 있다.
또한, H.264의 화면 간 예측 부호화에서, 대상 블록에 대한 예측 신호는 과거에 부호화하여 재생된 복수 개의 참조 화상을 참조하고, 움직임 검색하면서 오차가 가장 적은 화상 신호를 최적의 예측 신호로서 선택한다. 그리고, 대상 블록의 화소 신호와 그 최적인 예측 신호의 차분을 구하고, 차분에 대하여 이산 코사인 변환을 행하여 양자화한 다음 엔트로피 부호화한다. 이와 동시에, 대상 블록에 대한 최적의 예측 신호를 어느 참조 화상으로부터 취득할 것인가에 관한 정보(참조 인덱스) 및 최적의 예측 신호를 참조 화상 내의 어느 영역으로부터 취득할 것인가에 관한 정보(움직임 벡터)도 병행하여 부호화한다. H.264에서는, 재생된 4 내지 5개의 화상이 참조 화상으로서 프레임 메모리에 저장된다. 그리고, 본 명세서에서 프레임 메모리에는 이른바 재생 화상 버퍼(decoded picture buffer)를 포함하는 것으로 한다.
화면 간 예측 부호화는 화상 사이의 상관을 활용하여 효율적으로 압축 부호화할 수 있는 것으로서, 텔레비전의 채널의 전환으로 영상 프로그램을 도중에 시청할 수 있도록 하기 위해서는 화면 사이의 의존성을 끊을 필요가 있다. 동화상의 압축 비트스트림 중 화면 사이의 의존성이 없는 지점을 이하 "랜덤 액세스 포인트"라고 한다. 채널의 전환 외에, 동화상을 편집하는 경우 및 상이한 동화상의 압축 데이터를 연결하는 경우에도 랜덤 액세스 포인트를 필요로 한다. H.264에서는 IDR 픽쳐를 지정하고, 지정된 IDR 픽쳐를 전술한 화면 내 예측 부호화 방법으로 부호화하면 동시에, 프레임 메모리 내에 저장되어 있는 재생 화상을 불필요로 설정하여, 당해 재생 화상을 참조 불가능으로 함으로써 실질적으로 프레임 메모리를 개방한다(리프레시한다). 이와 같은 처리는 "메모리 리프레시"라고 하며, 또 경우에 따라서는 "프레임 메모리 리프레시" 또는 "버퍼 리프레시"라고도 불린다.
도 11의 (A)는 IDR 픽쳐를 포함하는 동화상의 예측 구조를 나타낸 모식도이다. 이 도면 11의 (A)에 나타내는 복수 개의 화상(901, 902, 909)은 동화상을 구성하는 화상 군의 일부이며, 각 화상을 "픽쳐" 또는 "프레임"이라고도 한다. 각 화살표는 예측의 방향을 나타낸다. 예를 들면, 화상(902)은 화상(902)을 향한 2개의 화살표의 기점인 화상(903, 905)을 참조 화상으로서 예측 신호를 취득한다. 그리고, 도 11의 (A)의 화상(901)은 도 11의 (A)에 나타나 있지 않은 과거의 화상을 참조하여 부호화되는 것으로 한다. 다음에, 화상(902, 903, 904)을 부호화하지만, 그때, 압축률을 높이기 위해 전술한 양방향 예측 부호화 방법을 이용한다. 즉, 먼저 화상(905)을 부호화 및 재생하고, 다음에 이미 재생된 화상(901, 905)을 참조하여 화상(903)을 부호화한다(도 11의 (A)에서는 화상(901)으로부터의 화살표는 생략). 그리고, 화상(902, 904)의 각각 은, 재생된 3개의 화상(901, 905, 903)을 참조 화상으로서 부호화한다(도 11의 (A)에서는 화상(901)으로부터의 화살표는 생략). 동일하게, 화상(906, 907, 908)은 화상(905, 909)을 참조하여 부호화한다. 그리고, 이같이 하여 부호화(압축)된 각 화상의 압축 데이터는, 도 11의 (B)과 같은 순서로 전송 또는 축적된다. 도 11의 (B)의 압축 데이터와 도 11의 (A)의 화상은, P1, IDR5, B3 등의 공통의 부호에 의해 대응 관계를 나타내고 있다. 예를 들면, 압축 데이터(910)는 같은 부호 P1를 교부한 화상(901)의 압축 데이터이며, 압축 데이터(911)는 같은 부호 IDR5를 교부한 화상(905)의 압축 데이터이다.
랜덤 액세스를 고려하여, 화상(905)을 IDR 픽쳐로 지정해 화면내 예측 부호화를 행하는 경우를 고려한다. 이 경우, H.264에서의 IDR의 규칙에 의하면, 압축 데이터(911)를 복호함으로써 화상(905)을 재생한 직후에(또는 압축 데이터(911)의 복호를 개시하는 직전), 프레임 메모리에 저장되어 있는 모든 참조 화상(즉, 화상(901)을 포함하는 과거의 재생 화상)을 불필요로 설정해 참조 불가로 하지 않으면 안 된다. 그 결과, 도 11의 (A)의 화상(901)은 참조 불가가 되어, 화상(902, 903, 904)의 부호화에서는 화상(901)으로부터의 참조를 할 수 없게 된다. 이와 같은 IDR 픽쳐에 관한 처리는, 예를 들면, 비특허 문헌(Iain E.G. Richardson, "H.264 and MPEG-4 Video Compression", John Wiley & Sons, 2003, section 6.4.2)에 기술되어 있다.
IDR 픽쳐의 도입에 의해, 전술한 예측에 사용되는 참조 화상이 제한되므로, 화상의 표시 순으로 IDR 픽쳐보다 전에 있는 화상(도 11의 (A)의 화상(902, 903, 904))을 효율적으로 부호화할 수 없게 된다. 이 점을 해결하기 위해 특허 문헌(WO2005/006763A1)에는, 프레임 메모리의 리프레시의 타이밍(즉, 프레임 메모리 내의 참조 화상을 불필요로 설정하는 타이밍)을, IDR 픽쳐보다 후에 부호화되는 화상의 부호화 실행시까지 지연시키는 방법이 개시되어 있다. 프레임 메모리의 리프레시의 타이밍을 지연시킴으로써, 도 11의 (A)의 화상(902, 903, 904)의 부호화 실행시에 화상(901)이 프레임 메모리에 남아 있으므로, 화상(902, 903, 904)의 부호화에 있어서 화상(901)을 참조 가능하도록 되어, 효율적으로 부호화할 수 있다.
상기 특허 문헌에 의하면, 메모리 및 리프레시의 타이밍을 지연시키는 방법으로서, 이하의 방법이 개시되어 있다.
방법 1: IDR 픽쳐에 지연시키는 화상의 매수에 관한 정보를 부가한다.
방법 2: 메모리 및 리프레시를 실시하는 타이밍에 대응하는 화상의 압축 데이터에 메모리 및 리프레시의 실행을 지시하는 신호(플래그)를 부가한다.
방법 3: IDR 픽쳐의 후에 나타나는 최초의 P픽쳐(편방향 예측 화상)를 리프레시의 타이밍으로 한다.
그런데, 상기 방법은 다음과 같은 문제점이 있다.
문제점 1: 상기 방법 1에서는 동화상을 편집할 때 복수 개의 화상 중 일부의 화상을 버려 다른 화상을 연결하거나 다른 화상을 삽입하는 것이 행해지므로, IDR 픽쳐에 부가되어 있던 "지연시키는 화상의 매수에 관한 정보"가 적절하지 않게 되어, 오동작을 초래한다는 문제가 있다.
문제점 2: 상기 방법 2에서는, 마찬가지로 플래그를 사용하는 경우라도, 동화상의 편집에 의해, 대응하는 화상의 압축 데이터가 삭제되면, 삭제되고 압축 데이터에 부가되어 있던 플래그가 없어져, 오동작을 초래한다는 문제가 있다.
문제점 3: 상기 방법 3에서는, 메모리 및 리프레시의 신호(타이밍)는 P픽쳐로 한정되어 버리므로, 다른 방법으로 부호화할 수 없게 된다는 문제가 있다. 예를 들면, 장면의 변환기에 화면 내 예측(I픽쳐)으로서 부호화할 수 없게 된다.
그리고, 여기서의 "오동작"이란, 메모리 및 리프레시가 적절한 타이밍에서 행해지지 않는 것에 기인하고, 후속의 데이터를 복호할 때 필요로 하는 참조 화상이 프레임 메모리에 저장되어 있지 않은 상태로 되어, 그 결과 후속의 화상이 정확하게 재생할 수 없게 된다는 것을 의미한다.
본 발명은, 상기의 과제를 해결하고, 랜덤 액세스의 지점으로 되는 화상의 전후에 있는 화상을 효율적으로 압축 부호화하는 동시에, 종래 기술의 문제점에 관한 문제를 해소하는 것을 목적으로 한다.
상기 목적을 달성하기 위하여, 본 발명의 일실시예에 관한 동화상 예측 부호화 장치는 동화상을 구성하는 복수 개의 화상을 입력하는 입력 수단과, 입력된 상기 화상을 화면 내 예측 또는 화면 간 예측 중 어느 하나의 방법으로 부호화함으로써, 랜덤 액세스로 되는 화상인 랜덤 액세스 화상을 포함하는 압축 화상 데이터를 생성하는 동시에, 상기 화상의 표시 순번 정보에 관한 데이터를 부호화하는 부호화 수단과, 생성된 상기 압축 화상 데이터를 복호함으로써 재생 화상을 복원하는 복원 수단과, 복원된 상기 재생 화상을 후속의 화상을 부호화하기 위해 사용되는 참조 화상으로서 저장하는 화상 저장 수단과, 상기 화상 저장 수단을 제어하는 메모리 관리 수단을 구비하고, 상기 메모리 관리 수단은 상기 랜덤 액세스 화상을 생성하는 부호화 처리가 완료한 후, 최초에 표시 순번 정보가 상기 랜덤 액세스 화상의 표시 순번 정보보다 큰 화상을 부호화하는 직전 또는 직후에, 상기 화상 저장 수단에 저장된 참조 화상 중 상기 랜덤 액세스 화상을 제외한 참조 화상에 대하여 불필요로 설정함으로써, 상기 화상 저장 수단을 리프레시하는 것을 특징으로 한다.
상기 부호화 수단은 표시 순번 정보가 상기 랜덤 액세스 화상의 표시 순번 정보보다 크고 또한 상기 랜덤 액세스 화상을 생성하는 부호화 처리의 완료 후에 최초에 부호화 대상으로 되는 화상을 포함하는 1개 이상의 부호화 대상 화상의 표시 순번 정보에 관한 데이터로서, 상기 부호화 대상 화상의 표시 순번 정보와 상기 랜덤 액세스 화상의 표시 순번 정보의 차분값을 부호화해도 된다.
또, 상기 부호화 수단은 랜덤 액세스 화상의 다음에 부호화 대상으로 되는 화상으로부터 표시 순번 정보가 상기 랜덤 액세스 화상의 표시 순번 정보보다 크고 또한 상기 랜덤 액세스 화상을 생성하는 부호화 처리의 완료 후에 최초에 부호화 대상으로 되는 화상까지의 각 화상에 대해서는, 각 화상의 표시 순번 정보에 관한 데이터로서, 상기 각 화상의 표시 순번 정보와 상기 랜덤 액세스 화상의 표시 순번 정보의 차분값을 부호화해도 된다.
본 발명의 일실시예에 관한 동화상 예측 복호 장치는 동화상을 구성하는 복수 개의 화상을 화면 내 예측 또는 화면 간 예측 중 어느 하나의 방법으로 부호화함으로써 얻어진 랜덤 액세스로 되는 화상인 랜덤 액세스 화상을 포함하는 압축 화상 데이터 및 상기 화상의 표시 순번 정보에 관한 데이터를 부호화함으로써 얻어진 표시 순번 부호화 데이터를 입력하는 입력 수단과, 상기 압축 화상 데이터를 복호함으로써 재생 화상을 복원하는 동시에 상기 표시 순번 부호화 데이터를 복호함으로써 표시 순번 정보를 복원하는 복원 수단과, 복원된 상기 재생 화상을 후속의 화상을 복호하기 위해 사용되는 참조 화상으로서 저장하는 화상 저장 수단과, 상기 화상 저장 수단을 제어하는 메모리 관리 수단을 구비하고, 상기 메모리 관리 수단은 상기 랜덤 액세스 화상을 복호하는 복호 처리가 완료한 후, 최초에 표시 순번 정보가 상기 랜덤 액세스 화상의 표시 순번 정보보다 큰 화상을 복호하는 직전 또는 직후에, 상기 화상 저장 수단에 저장된 참조 화상 중 상기 랜덤 액세스 화상을 제외한 참조 화상에 대하여 불필요로 설정함으로써, 상기 화상 저장 수단을 리프레시하는 것을 특징으로 한다.
상기 복원 수단은 표시 순번 정보가 상기 랜덤 액세스 화상의 표시 순번 정보보다 크고 또한 상기 랜덤 액세스 화상을 복호하는 복호 처리의 완료 후에 최초에 복호 대상으로 되는 화상을 포함하는 1개 이상의 복호 대상 화상의 표시 순번 정보에 대해서는 상기 복호 대상 화상의 표시 순번 부호화 데이터를 복호하여 얻어진 상기 복호 대상 화상의 표시 순번 정보와 상기 랜덤 액세스 화상의 표시 순번 정보의 차분값과 상기 랜덤 액세스 화상의 표시 순번 정보를 가산함으로써, 상기 복호 대상 화상의 표시 순번 정보를 복원해도 된다.
또, 상기 복원 수단은 랜덤 액세스 화상의 다음에 복호 대상으로 되는 화상으로부터 표시 순번 정보가 상기 랜덤 액세스 화상의 표시 순번 정보보다 크고 또한 상기 랜덤 액세스 화상을 생성하는 복호 처리의 완료 후에 최초에 복호 대상으로 되는 화상까지의 각 화상에 대한 표시 순번 정보에 대해서는, 상기 각 화상의 표시 순번 부호화 데이터를 복호하여 얻어진 상기 각 화상의 표시 순번 정보와 상기 랜덤 액세스 화상의 표시 순번 정보의 차분값과 상기 랜덤 액세스 화상의 표시 순번 정보를 가산함으로써 상기 각 화상의 표시 순번 정보를 복원해도 된다.
본 발명의 일실시예에 관한 동화상 예측 부호화 방법은 후속의 화상을 부호화하기 위해 사용되는 참조 화상을 저장하기 위한 화상 저장 수단을 구비하는 동화상 예측 부호화 장치에 의해 실행되는 동화상 예측 부호화 방법으로서, 동화상을 구성하는 복수 개의 화상을 입력하는 입력 단계와, 입력된 상기 화상을 화면 내 예측 또는 화면 간 예측 중 어느 하나의 방법으로 부호화함으로써 랜덤 액세스로 되는 화상인 랜덤 액세스 화상을 포함하는 압축 화상 데이터를 생성하는 동시에 상기 화상의 표시 순번 정보에 관한 데이터를 부호화하는 부호화 단계와, 생성된 상기 압축 화상 데이터를 복호함으로써 재생 화상을 복원하는 복원 단계와, 복원된 상기 재생 화상을 후속의 화상을 부호화하기 위해 사용되는 참조 화상으로서 상기 화상 저장 수단에 저장하는 화상 저장 단계와, 상기 화상 저장 수단을 제어하는 메모리 관리 단계를 포함하고, 상기 메모리 관리 단계에 있어서 상기 동화상 예측 부호화 장치는 상기 랜덤 액세스 화상을 생성하는 부호화 처리가 완료한 후 최초에 표시 순번 정보가 상기 랜덤 액세스 화상의 표시 순번 정보보다 큰 화상을 부호화하는 직전 또는 직후에 상기 화상 저장 수단에 저장된 참조 화상 중 상기 랜덤 액세스 화상을 제외한 참조 화상에 대하여 불필요로 설정함으로써 상기 화상 저장 수단을 리프레시하는 것을 특징으로 한다.
상기 부호화 단계에 있어서 상기 동화상 예측 부호화 장치는 표시 순번 정보가 상기 랜덤 액세스 화상의 표시 순번 정보보다 크고 또한 상기 랜덤 액세스 화상을 생성하는 부호화 처리의 완료 후에 최초에 부호화 대상으로 되는 화상을 포함하는 1개 이상의 부호화 대상 화상의 표시 순번 정보에 관한 데이터로서, 상기 부호화 대상 화상의 표시 순번 정보와 상기 랜덤 액세스 화상의 표시 순번 정보의 차분값을 부호화해도 된다.
또, 상기 부호화 단계에서 상기 동화상 예측 부호화 장치는 랜덤 액세스 화상의 다음에 부호화 대상으로 되는 화상으로부터 표시 순번 정보가 상기 랜덤 액세스 화상의 표시 순번 정보보다 크고 또한 상기 랜덤 액세스 화상을 생성하는 부호화 처리의 완료 후에 최초에 부호화 대상으로 되는 화상까지의 각 화상에 대해서는, 각 화상의 표시 순번 정보에 관한 데이터로서, 상기 각 화상의 표시 순번 정보와 상기 랜덤 액세스 화상의 표시 순번 정보의 차분값을 부호화해도 된다.
본 발명의 일실시예에 관한 동화상 예측 복호 방법은, 후속의 화상을 복호하기 위해 사용되는 참조 화상을 저장하기 위한 화상 저장 수단을 구비하는 동화상 예측 복호 장치에 의해 실행되는 동화상 예측 복호 방법으로서, 동화상을 구성하는 복수 개의 화상을 화면 내 예측 또는 화면 간 예측 중 어느 하나의 방법으로 부호화함으로써 얻어진 랜덤 액세스로 되는 화상인 랜덤 액세스 화상을 포함하는 압축 화상 데이터 및 상기 화상의 표시 순번 정보에 관한 데이터를 부호화함으로써 얻어진 표시 순번 부호화 데이터를 입력하는 입력 단계와, 상기 압축 화상 데이터를 복호함으로써 재생 화상을 복원하는 동시에 상기 표시 순번 부호화 데이터를 복호함으로써 표시 순번 정보를 복원하는 복원 단계와, 복원된 상기 재생 화상을 후속의 화상을 복호하기 위해 사용되는 참조 화상으로서 상기 화상 저장 수단에 저장하는 화상 저장 단계와, 상기 화상 저장 수단을 제어하는 메모리 관리 단계를 포함하고, 상기 메모리 관리 단계에 있어서 상기 동화상 예측 복호 장치는 상기 랜덤 액세스 화상을 복호하는 복호 처리가 완료한 후 최초에 표시 순번 정보가 상기 랜덤 액세스 화상의 표시 순번 정보보다 큰 화상을 복호하는 직전 또는 직후에 상기 화상 저장 수단에 저장된 참조 화상 중 상기 랜덤 액세스 화상을 제외한 참조 화상에 대하여 불필요로 설정함으로써, 상기 화상 저장 수단을 리프레시하는 것을 특징으로 한다.
상기 복원 단계에 있어서 상기 동화상 예측 복호 장치는, 표시 순번 정보가 상기 랜덤 액세스 화상의 표시 순번 정보보다 크고 또한 상기 랜덤 액세스 화상을 복호하는 복호 처리의 완료 후에 최초에 복호 대상으로 되는 화상을 포함하는 1개 이상의 복호 대상 화상의 표시 순번 정보에 대해서는 상기 복호 대상 화상의 표시 순번 부호화 데이터를 복호하여 얻어진 상기 복호 대상 화상의 표시 순번 정보와 상기 랜덤 액세스 화상의 표시 순번 정보의 차분값과 상기 랜덤 액세스 화상의 표시 순번 정보를 가산함으로써, 상기 복호 대상 화상의 표시 순번 정보를 복원해도 된다.
또, 상기의 복원 단계에서 상기 동화상 예측 복호 장치는, 랜덤 액세스 화상의 다음에 복호 대상으로 되는 화상으로부터 표시 순번 정보가 상기 랜덤 액세스 화상의 표시 순번 정보보다 크고 또한 상기 랜덤 액세스 화상을 생성하는 복호 처리의 완료 후에 최초에 복호 대상으로 되는 화상까지의 각 화상에 대한 표시 순번 정보에 대해서는, 상기 각 화상의 표시 순번 부호화 데이터를 복호하여 얻어진 상기 각 화상의 표시 순번 정보와 상기 랜덤 액세스 화상의 표시 순번 정보의 차분값과 상기 랜덤 액세스 화상의 표시 순번 정보를 가산함으로써, 상기 각 화상의 표시 순번 정보를 복원해도 된다.
본 발명의 일실시예에 관한 동화상 예측 부호화 프로그램은, 컴퓨터를, 동화상을 구성하는 복수 개의 화상을 입력하는 입력 수단과 입력된 상기 화상을 화면 내 예측 또는 화면 간 예측 중 어느 하나의 방법으로 부호화함으로써 랜덤 액세스로 되는 화상인 랜덤 액세스 화상을 포함하는 압축 화상 데이터를 생성하는 동시에 상기 화상의 표시 순번 정보에 관한 데이터를 부호화하는 부호화 수단과, 생성된 상기 압축 화상 데이터를 복호함으로써 재생 화상을 복원하는 복원 수단과, 복원된 상기 재생 화상을 후속의 화상을 부호화하기 위해 사용되는 참조 화상으로서 저장하는 화상 저장 수단과, 상기 화상 저장 수단을 제어하는 메모리 관리 수단으로서 동작시켜 상기 메모리 관리 수단은 상기 랜덤 액세스 화상을 생성하는 부호화 처리가 완료한 후 최초에 표시 순번 정보가 상기 랜덤 액세스 화상의 표시 순번 정보보다 큰 화상을 부호화하는 직전 또는 직후에 상기 화상 저장 수단에 저장된 참조 화상 중 상기 랜덤 액세스 화상을 제외한 참조 화상에 대하여 불필요로 설정함으로써, 상기 화상 저장 수단을 리프레시하는 것을 특징으로 한다.
본 발명의 일실시예에 관한 동화상 예측 복호 프로그램은, 컴퓨터를, 동화상을 구성하는 복수 개의 화상을 화면 내 예측 또는 화면 간 예측 중 어느 하나의 방법으로 부호화함으로써 얻어진 랜덤 액세스로 되는 화상인 랜덤 액세스 화상을 포함하는 압축 화상 데이터 및 상기 화상의 표시 순번 정보에 관한 데이터를 부호화함으로써 얻어진 표시 순번 부호화 데이터를 입력하는 입력 수단과, 상기 압축 화상 데이터를 복호함으로써 재생 화상을 복원하는 동시에 상기 표시 순번 부호화 데이터를 복호함으로써 표시 순번 정보를 복원하는 복원 수단과, 복원된 상기 재생 화상을 후속의 화상을 복호하기 위해 사용되는 참조 화상으로서 저장하는 화상 저장 수단과, 상기 화상 저장 수단을 제어하는 메모리 관리 수단으로서 동작시켜 상기 메모리 관리 수단이 상기 랜덤 액세스 화상을 복호하는 복호 처리가 완료한 후 최초에 표시 순번 정보가 상기 랜덤 액세스 화상의 표시 순번 정보보다 큰 화상을 복호하는 직전 또는 직후에 상기 화상 저장 수단에 저장된 참조 화상 중 상기 랜덤 액세스 화상을 제외한 참조 화상에 대하여 불필요로 설정함으로써 상기 화상 저장 수단을 리프레시하는 것을 특징으로 한다.
이상의 같은 본 발명에 의해, 랜덤 액세스의 지점으로 되는 화상의 전후에 있는 화상을 효율적으로 압축 부호화하면 동시에 종래 기술의 문제점에 관한 문제를 해소한다.
본 발명에서, 동화상을 구성하는 각 화상 또는 압축 부호화된 화상 데이터에 부수되는 표시 순번을 나타내는 정보(이하, "표시 순번 정보"라고한다(종래 기술에서의 표시 시간, 시간 참조 정보, 템포럴 레퍼런스 등에 상당함))를 이용하여, 랜덤 액세스의 지점으로 되는 화면 내 예측 화상(인트라 프레임)로부터 후에 행해지는 메모리 및 리프레시의 타이밍을 설정함으로써, 표시 순서대로 랜덤 액세스 화상의 전후에 있는 복수 개의 화상을 효율적으로 압축 부호화하면 동시에 종래 기술의 문제점에 관한 문제를 다음과 같이 해소할 수 있다. 즉, 표시 순번 정보는 각 화상에는 반드시 부수되는 것이므로, 새로운 정보(플래그)를 보낼 필요가 없고, 종래 기술의 문제점 2는 해소된다.
또, 동화상의 편집(예를 들면, 일부의 화상을 버리거나 다른 화상을 연결하는 등)을 행하는 경우라도, 동화상을 구성하는 각 화상의 표시 순번 정보는 적절히 설정되므로, 오동작을 일으키지 않으며, 종래 기술의 문제점 1이 해소된다.
또한, 본 발명에 의한 메모리 및 리프레시의 타이밍은, P픽쳐로 한정되지 않고, 화상의 부호화 타입(I픽쳐, P픽쳐, B픽쳐)에 의존하지 않기 때문에, 메모리의 리프레시의 필요와 불필요에 관계없이 부호화 효율이 가장 좋은 부호화 타입으로 처리할 수 있고, 종래 기술의 문제점 3은 해소된다.
도 1은 본 발명의 실시형태에 관한 동화상 예측 부호화 장치의 구성을 나타낸 기능 블록도이다.
도 2는 본 발명의 실시형태에 관한 동화상 예측 복호 장치의 구성을 나타낸 기능 블록도이다.
도 3은 본 발명의 실시형태에 관한 동화상 예측 부호화 및 복호 방법을 나타내는 흐름도이다.
도 4는 본 발명의 실시형태에 관한 동화상 예측 부호화 및 복호 방법을 설명하기 위한 모식도이다.
도 5는 본 발명의 실시형태의 변형예에 관한 동화상 예측 부호화 및 복호 방법을 나타내는 흐름도이다.
도 6은 본 발명의 실시형태의 변형예에 관한 동화상 예측 부호화 및 복호 방법을 설명하기 위한 모식도이다.
도 7은 기록 매체에 기록된 프로그램을 실행하기 위한 컴퓨터의 하드웨어 구성을 나타낸 도면이다.
도 8은 기록 매체에 기억된 프로그램을 실행하기 위한 컴퓨터의 대략 외관 도면이다.
도 9는 동화상 예측 부호화 프로그램의 구성예를 나타낸 블록도이다.
도 10은 동화상 예측 복호 프로그램의 구성예를 나타낸 블록도이다.
도 11은 종래의 동화상 예측 부호화 및 복호 방법의 예측 구조를 나타낸 모식도이다.
이하, 본 발명의 실시형태에 대하여, 도 1~도 10을 사용하여 설명한다.
[동화상 예측 부호화 장치에 대하여]
도 1은 본 발명의 실시형태에 관한 동화상 예측 부호화 장치(100)의 구성을 나타낸 기능 블록도이다. 도 1에 나타낸 바와 같이, 동화상 예측 부호화 장치(100)는 기능적인 구성으로서, 입력 단자(101), 블록 분할기(102), 예측 신호 생성기(103), 프레임 메모리(104), 감산기(105), 변환기(106), 양자화기(107), 역양자화기(108), 역변환기(109), 가산기(110), 엔트로피 부호화기(111), 출력 단자(112), 입력 단자(113), 및 프레임 메모리 관리기(114)를 구비한다. 각 기능 블록의 동작은 후술하는 동화상 예측 부호화 장치(100)의 동작 중 설명한다.
이하, 동화상 예측 부호화 장치(100)의 동작을 설명한다. 부호화 처리의 대상으로 되는 복수 개의 화상으로 이루어지는 동화상의 신호는 입력 단자(101)에 입력되고, 각 화상은 블록 분할기(102)에 의해, 복수 개의 영역으로 분할된다. 본 실시형태에서, 각 화상은 8×8개의 화소로 이루어지는 복수 개의 블록에 분할되지만, 이외의 블록의 크기 또는 블록 형상으로 분할해도 된다. 다음에, 부호화 처리의 대상으로 되는 블록(이하, "대상 블록"이라고 함)을 대상으로 하여, 후술하는 예측 방법에 의해 예측 신호를 생성한다. 본 실시형태에서, 예측 방법으로서, 화면 간 예측과 화면 내 예측의 2가지 종류의 예측 방법이 이용 가능하게 되어 있고, 화면 간 예측에서는 배경 기술로 말한 양방향 화면 간 예측도 이용 가능하게 되어 있다. 이하, 화면 간 예측과 화면 내 예측의 각각의 기본 동작을 개설한다.
화면 간 예측에서는, 과거에 부호화된 후에 복원된 재생 화상을 참조 화상으로서 사용하여, 이 참조 화상으로부터 대상 블록에 대한 오차의 가장 작은 예측 신호를 부여하는 움직임 정보(예를 들면, 움직임 벡터)를 구한다. 이 처리는 "움직임 검출"이라고 불린다. 또, 경우에 따라, 대상 블록을 재분할하고, 재분할된 소 영역을 대상으로 하여 화면 간 예측 방법을 결정해도 된다. 이 경우, 각종의 분할 방법 중에서, 대상 블록 전체에 대하여 가장 효율이 양호한 소 영역의 분할 방법 및 각 소 영역의 움직임 정보를 결정한다. 본 실시형태에서, 화면 간 예측은 예측 신호 생성기(103)에 의해 행해지고, 대상 블록은 라인(L102)을 경유하고, 참조 화상은 라인(L104)을 경유하여, 각각 예측 신호 생성기(103)에 입력된다. 참조 화상으로서는, 과거에 부호화되고 복원된 복수 개의 화상을 참조 화상으로서 사용한다. 그 자세한 것은 종래의 기술인 MPEG-2, MPEG-4, H.264 중 어느 하나의 방법과 같다. 결정된 소 영역의 분할 방법 정보 및 각 소 영역의 움직임 정보는 예측 신호 생성기(103)로부터 라인(L112)을 경유하여 엔트로피 부호화기(111)에 보내지고, 엔트로피 부호화기(111)에 의해 부호화된 후에, 그 부호화 데이터는 라인(L111)를 경유하여 출력 단자(112)로부터 송출된다. 또, 복수 개의 참조 화상 중 예측 신호가 어느 참조 화상으로부터 취득할 것인가에 관한 정보(레퍼런스 인덱스)도 예측 신호 생성기(103)로부터 라인(L112)를 경유하여 엔트로피 부호화기(111)에 보내지고, 엔트로피 부호화기(111)에 의해 부호화된 후에, 그 부호화 데이터는 라인(L111)을 경유하여 출력 단자(112)로부터 송출된다. 그리고, 본 실시형태에서, 일례로, 4매 내지 5매의 재생 화상이 프레임 메모리(104)에 저장되고, 참조 화상으로서 사용된다. 예측 신호 생성기(103)는 소 영역의 분할 방법 및 각 소 영역에 대한 참조 화상과 움직임 정보에 따라 프레임 메모리(104)로부터 참조 화상을 취득하고, 참조 화상 및 움직임 정보로부터 예측 신호(화면 간 예측에 의해 얻어진 예측 신호라는 의미로 "화면 간 예측 신호"라고 함)를 생성한다. 이와 같이 생성된 화면 간 예측 신호는, 라인(L103)을 경유하여 감산기(105) 및 후술하는 처리에 관한 가산기(110)에 보내진다.
한편, 화면 내 예측에서는, 대상 블록에 공간적으로 인접하는 기존 재생의 화소값을 사용하여 화면 내 예측 신호를 생성한다. 구체적으로, 예측 신호 생성기(103)는 같은 화면 내에 있는 기존 재생의 화소 신호를 프레임 메모리(104)로부터 취득하고, 기존 재생의 화소 신호를 외부 삽입함으로써 예측 신호(화면 내 예측에 의해 얻어진 예측 신호라는 의미로 "화면 내 예측 신호"라고 함)를 생성한다. 생성된 화면 내 예측 신호는 예측 신호 생성기(103)로부터 라인(L103)을 경유하여 감산기(105)에 보내진다. 예측 신호 생성기(103)에서의 화면 내 예측 신호의 생성 방법은, 종래 기술인 H.264의 방법과 같다. 그리고, 화면 내 예측에서의 외부 삽입의 방법에 관한 정보는, 예측 신호 생성기(103)로부터 라인(L112)을 경유하여 엔트로피 부호화기(111)에 보내지고, 엔트로피 부호화기(111)에 의해 부호화된 다음, 부호화 데이터는 출력 단자(112)로부터 송출된다.
이상, 화면 간 예측과 화면 내 예측의 각각의 기본 동작을 개설했다. 실제로는, 대상 블록마다 전술한 바와 같이 구해진 화면 간 예측 신호와 화면 내 예측 신호 중 오차가 가장 작은 것이 선택되고, 예측 신호 생성기(103)로부터 라인(L103)을 경유하여 감산기(105)에 보내진다.
그런데, 부호화되는 한 장의 화상에 대해서는, 그보다 전에 화상이 없기 때문에, 상기 한 장의 화상 내의 모든 대상 블록은 화면 내 예측으로 처리된다. 또, 텔레비전의 채널의 전환에 구비하여, 랜덤 액세스 포인트로서 어느 화상 내의 모든 대상 블록을 화면 내 예측으로 정기적으로 처리한다. 이와 같은 화상은 인트라 프레임이라고 부르며, H.264에서는 IDR 픽쳐라고 한다.
감산기(105)는 라인(L102)을 경유하여 수취한 대상 블록의 신호로부터 라인(L103)을 경유하여 수취한 예측 신호를 감산함으로써 잔차 신호를 생성한다. 이 잔차 신호는 변환기(106)에 의해 이산 코사인 변환되어 그 각 변환계수는 양자화기(107)에 의해 양자화된다. 마지막으로, 양자화된 변환계수는 엔트로피 부호화기(111)에 의해 부호화되고, 얻어진 부호화 데이터는 예측 방법에 관한 정보와 함께 라인(L111)을 경유하여 출력 단자(112)로부터 송출된다.
한편, 후속의 대상 블록에 대하여 화면 내 예측 또는 화면 간 예측을 행하기 위하여, 상기 양자화된 변환계수(대상 블록의 부호화 데이터)는 역양자화기(108)에 의해 역양자화된 후에 역변환기(109)에 의해 역이산 코사인 변환되어, 이로써 잔차 신호가 복원된다. 그리고, 가산기(110)에 의해, 복원된 잔차 신호와 라인(L103)으로부터 보내진 예측 신호가 가산되고, 대상 블록의 신호가 재생되고, 이에 의해 얻어진 재생 신호가 프레임 메모리(104)에 저장된다. 그리고, 본 실시형태에서는 변환기(106)와 역변환기(109)를 사용하고 있지만, 이들에 대신하는 다른 변환 처리를 사용해도 된다. 또, 경우에 따라서는, 변환기(106)와 역변환기(109)가 없어도 된다.
그런데, 프레임 메모리(104)는 유한한 것이며, 모든 재생 화상을 저장하는 것은 실제로는 불가능하다. 그러므로, 후속의 화상의 부호화에 사용되는 재생 화상만이 프레임 메모리(104)에 저장된다. 이 프레임 메모리(104)를 제어하는 것이 프레임 메모리 관리기(114)이다. 프레임 메모리 관리기(114)는 프레임 메모리(104)에 저장되어 있는 N개(예를 들면, N=4)의 재생 화상 중에서, 가장 오래된 재생 화상을 소거함으로써, 참조 화상으로서 사용되는 바로 옆의 재생 화상을 프레임 메모리(104)에 저장 가능하도록 제어한다. 실제로 프레임 메모리 관리기(114)에는 입력 단자(113)로부터 각 화상의 표시 순번 정보 및 화상을 부호화하는 타입 정보(화면 내 예측 부호화, 화면 간 예측 부호화, 양방향 예측 부호화)가 입력되고, 이들 정보에 따라 프레임 메모리 관리기(114)가 동작한다. 이때, 각 화상의 표시 순번 정보는 프레임 메모리 관리기(114)로부터 라인(L114)을 경유하여 엔트로피 부호화기(111)에 보내지고, 엔트로피 부호화기(111)에 의해 부호화되고, 이 부호화된 표시 순번 정보는 부호화된 화상 데이터와 함께 라인(L111)을 경유하여 출력 단자(112)로부터 송출된다. 그리고, 표시 순번 정보는 각 화상에 부수되는 것이며, 화상의 순번을 나타내는 정보나 화상을 표시하는 시각을 나타내는 정보(예를 들면, 화상의 표시 참조 시간(템포럴 레퍼런스)도 가능하다. 본 실시형태에서는, 예를 들면 표시 순번 정보를 그대로 2진수 부호화에 의해 부호화한다. 또, 프레임 메모리 관리기(114)에 의한 제어 방법에 대해서는 후술한다.
*[동화상 예측 복호 장치에 대하여]
다음에, 본 발명에 관한 동화상 예측 복호 장치에 대하여 설명한다. 도 2는 본 발명의 실시형태에 관한 동화상 예측 복호 장치(200)의 구성을 나타낸 기능 블록도이다. 도 2에 나타낸 바와 같이, 동화상 예측 복호 장치(200)는 기능적인 구성으로서, 입력 단자(201), 데이터 해석기(202), 역양자화기(203), 역변환기(204), 가산기(205), 예측 신호 생성기(208), 프레임 메모리(207), 출력 단자(206), 및 프레임 메모리 관리기(209)를 구비한다. 각 기능 블록의 동작은 후술하는 동화상 예측 복호 장치(200)의 동작 중 설명한다. 그리고, 복호에 관한 수단으로서는, 역양자화기(203) 및 역변환기(204)로 한정되는 것이 아니고, 이들 이외의 것을 사용해도 된다. 또, 복호에 관한 수단은, 역변환기(204) 없이, 역양자화기(203)만으로 구성해도 된다.
이하, 동화상 예측 복호 장치(200)의 동작을 설명한다. 전술한 부호화 방법으로 얻어진 압축 데이터는 입력 단자(201)로부터 입력된다. 이 압축 데이터에는, 대상 블록의 잔차 신호, 예측 신호의 생성에 관한 정보, 양자화 파라미터와 화상의 표시 순번 정보, 및 화상의 부호화 타입에 관한 정보가 포함되어 있다. 이 중, 예측 신호의 생성에 관한 정보로서는, 예를 들면 화면 간 예측의 경우, 블록 분할에 관한 정보(소 영역의 분할 방법 정보(예를 들면, 블록의 사이즈 등)), 각 소 영역의 움직임 정보, 및 레퍼런스 인덱스가 포함되고, 화면 내 예측의 경우에는 외부 삽입의 방법에 관한 정보가 포함되어 있다.
데이터 해석기(202)는 입력된 압축 데이터로부터 대상 블록의 잔차 신호, 예측 신호의 생성과 관련된 정보, 양자화 파라미터, 화상의 표시 순번 정보, 및 화상의 부호화 타입에 관한 정보를 추출한다. 이들 중, 대상 블록의 잔차 신호 및 양자화 파라미터는 라인(L202)을 경유하여 역양자화기(203)에 보내지고, 역양자화기(203)는 양자화 파라미터를 기초로 대상 블록의 잔차 신호를 역양자화하고, 또한 역변환기(204)는 역양자화의 결과를 역이산 코사인 변환한다. 이같이 하여 복원된 잔차 신호는 라인(L204)을 경유하여 가산기(205)에 보내진다.
한편, 추출된 예측 신호의 생성에 관한 정보는 라인(L206b)을 경유하여 예측 신호 생성기(208)에 보내진다. 예측 신호 생성기(208)는 예측 신호의 생성에 관한 정보를 기초로, 프레임 메모리(207) 내의 복수 개의 참조 화상으로부터 적당한 참조 화상을 취득하고, 상기 적당한 참조 화상을 기초로 예측 신호를 생성한다. 생성된 예측 신호는 라인(L208)을 경유하여 가산기(205)에 보내지고, 가산기(205)에 의해 상기 복원된 잔차 신호에 가산되고, 그 결과 대상 블록의 신호가 재생된다. 재생된 대상 블록의 신호는 라인(L205)을 경유하여 출력 단자(206)로부터 출력되는 동시에, 재생 화상으로서 프레임 메모리(207)에 저장된다.
프레임 메모리(207)에는 후속의 화상의 복호나 재생에 사용되는 재생 화상이 저장되어 있다. 프레임 메모리 관리기(209)는 프레임 메모리(207)에 저장되어 있는 N개(여기서는 일례로서 N=4이지만, 미리 결정된 정수도 가능)의 재생 화상으로부터 가장 오래된 재생 화상을 소거함으로써, 참조 화상으로서 사용되는 바로 옆의 재생 화상을 프레임 메모리(207)에 저장 가능하도록 제어한다. 이 프레임 메모리 관리기(209)는 라인(L206a) 을 경유하여 입력되는 대상 화상의 표시 순번 정보와 화상의 부호화 타입에 관한 정보에 따라 동작한다. 프레임 메모리 관리기(209)에 의한 제어 방법에 대해서는 후술한다.
그리고, 랜덤 액세스 포인트로 되는 인트라 프레임(화면 내 예측 화상)에 대하여, H.264에서는 IDR 픽쳐(instantaneous decoder refresh)로 불리고 있지만, 이 명칭은, IDR 픽쳐를 부호화 또는 복호한 후 바로(instantaneous) 프레임 메모리(decoder buffer)를 리프레시하는 것에 유래하고 있다. 이에 대하여, 본 발명에 의하면, 랜덤 액세스 포인트로 되는 인트라 프레임을 부호화 또는 복호한 후 바로(또는 부호화 또는 복호하는 직전에), 프레임 메모리의 리프레시를 실행하는 것은 아니고, 일시적으로 대기(또는 지연)시킨 다음 프레임 메모리의 리프레시를 실행하게 되므로 본 발명에서는 이 화상을 DDR 픽쳐(deferred decoder refresh 또는 delayed decoder refresh)라고 한다. 이하 상세하게 설명하는 바와 같이, 프레임 메모리의 리프레시의 타이밍은, DDR 픽쳐의 표시 순번 정보와 처리(부호화 또는 복호)의 대상으로 되는 화상(이하, "처리 대상 화상"이라고 함)의 표시 순번 정보를 비교함으로써 결정한다.
[동화상 예측 부호화 방법 및 동화상 예측 복호 방법의 특징적인 처리 동작]
다음에, 도 3과 도 4를 사용하여, 본 발명에 의한 동화상 예측 부호화 방법 및 동화상 예측 복호 방법의 동작을 설명한다. 도 3은 본 실시형태에 관한 동화상 예측 부호화 및 복호 방법을 나타내는 흐름도이며, 이하, 도 3을 동화상의 부호화 방법으로서 설명한다. 단, 도 3은 동화상의 복호 방법에도 적용할 수 있다.
먼저, 도 3에 사용되는 변수의 의미를 설명한다. TR는 표시 순번 정보, TR_DDR는 DDR 화상의 표시 순번 정보, TR_CUR은 상기 시점의 처리 대상 화상의 표시 순번 정보, RP는 프레임 메모리(104)의 리프레시가 대기중인지 여부를 나타내는 상태 변수이다. RP=1의 경우에는, DDR 픽쳐가 처리 대상으로 되고, 그 후 프레임 메모리(104)의 리프레시가 아직 실행되어 있지 않은 상태(즉, 프레임 메모리 및 리프레시가 대기 중의 상태)를 나타내고, RP=0의 경우에는, 프레임 메모리(104)의 리프레시가 이미 실행이 끝난 상태 또는 리프레시 처리를 필요로 하지 않는 상태를 나타낸다.
도 3에 있어서, 동화상의 부호화가 개시할 때, 먼저 TR_DDR와 RP를 0으로 초기화한다(단계 301). 단계 302에서는, RP=1이며 또한, TR_CUR가 TR_DDR 보다 큰지 여부를 확인한다. 이 조건이 만족되면, 프레임 메모리 및 리프레시가 대기 중으로 되어 있고, 또한 처리 대상의 화상이 표시 순서대로 DDR 픽쳐보다 후의 화상인 것을 의미하므로, 프레임 메모리(104)의 리프레시 처리(즉, 프레임 메모리(104)에 저장되어 있는 참조 화상을 불필요로 설정하는 처리)를 실행한다(단계 303).
단, 여기서, 불필요로 설정하는 참조 화상은 표시 순번 정보 TR가 바로 옆의 DDR 픽쳐의 표시 순번 정보(TR_DDR)보다 작은 참조 화상만이다. 또, 바로 옆의 DDR 픽쳐(또는 화면 내 예측 부호화 화상)는 불필요로 설정하지 않는다. 이상의 같은 리프레시 처리가 끝난 것으로, 상태 변수 RP를 RP=0으로 설정한다.
한편, 단계 302에서 상기의 조건이 만족되지 않은 경우에는, 단계 304로 진행하고, 상기 시점의 처리 대상 화상이 DDR 픽쳐인지 여부를 확인한다. 그리고, 동화상 예측 부호화 장치(100)에서는, 화상의 부호화 타입(DDR, 화면 간 예측 부호화 또는 양방향 예측 부호화)에 관한 정보는, 도 1의 입력 단자(113)를 경유하여, 도시하지 않은 제어 장치로부터 부여되는 것으로 한다. 단계 304에서, 상기 시점의 처리 대상 화상이 DDR 픽쳐인 경우에는, 단계 305)에 의해 상기 시점의 처리 대상 화상의 표시 순번 정보 TR_CUR를 TR_DDR에 설정하고, 상태 변수 RP를 RP=1로 설정한 다음 단계 306으로 진행한다. 한편, 단계 304에서 조건이 만족되지 않은 경우에는 단계 306으로 진행한다.
단계 306에서는, 처리 대상 화상에 상당하는 재생 화상을 얻는다. 여기서는, 도 1에서 설명한 부호화 방법으로, 처리 대상 화상을 부호화하여 압축 데이터를 얻고, 또한 압축 데이터를 복호하여 재생 화상(처리 대상 화상에 상당하는 재생 화상)을 얻는다. 그리고, 부호화에 의해 얻어진 압축 데이터는 동화상 예측 부호화 장치(100)의 외부로 송출된다. 또는, 압축 데이터는 동화상 예측 부호화 장치(100) 내의 도시하지 않은 메모리에 축적해도 된다. 다음의 단계 307에서는, 처리 대상 화상에 상당하는 재생 화상이 후속의 처리로 참조 화상으로서 사용되는지 여부를 판단한다. 이 판단은 상기 화상의 부호화 타입에 따라 행해진다. 그리고, 본 실시형태에서, DDR 픽쳐, 편방향 예측 부호화 화상, 및 특정한 양방향 예측 부호화 화상은 모두 참조 화상으로 한다. 단, 이 방법에 한정하는 것은 아니다.
단계 307에서, 재생 화상이 참조 화상으로서 이용되지 않는 것으로 판단된 경우, 재생 화상을 프레임 메모리(104)에 저장하지 않고 단계 309로 진행한다. 한편, 단계 307에서, 재생 화상이 참조 화상으로서 사용되는 것으로 판단된 경우에는, 단계 308에 의해, 재생 화상을 프레임 메모리(104)에 저장한 다음에 단계 309로 진행한다.
단계 309에서는 다음의 화상(처리되지 않은 화상)이 있는지 여부를 판단하고, 다음의 화상이 있으면, 단계 302로 복귀하고, 다음의 화상에 대하여 단계 302~308의 처리를 반복한다. 이와 같이 하여 최후의 화상까지 단계 302~308의 처리를 반복하여, 모든 화상의 처리가 완료하면, 도 3의 처리를 종료한다.
전술한 도 3의 처리에 의해, 랜덤 액세스 화상(여기서는 바로 옆의 DDR 픽쳐)의 처리가 완료한 후, 최초에 표시 순번 정보 TR가 TR_DDR 보다 큰 화상을 처리할 때(실제로는 단계 306의 처리의 직전의 단계 303에서), 프레임 메모리가 리프레시된다. 그리고, 프레임 메모리의 리프레시의 타이밍은 랜덤 액세스 화상(여기서는 바로 옆의 DDR 픽쳐)의 처리가 완료한 후, 최초에 표시 순번 정보 TR가 TR_DDR 보다 큰 화상을 처리할 때이면 되고, 단계 306의 처리의 직후이라도 된다.
전술한 도 3의 처리는 도 1의 동화상 예측 부호화 장치(100) 전체의 처리에 해당하지만, 특히 단계 302~305의 처리는 프레임 메모리 관리기(114)에 의해 행해진다.
그리고, 도 3은 동화상의 부호화 방법으로서 설명하였으나, 동화상 복호 방법의 처리에도 적용할 수 있다. 복호 처리를 행하는 경우, 단계 301에서는, 또한 압축 부호화된 화상의 데이터(비트스트림)가 입력된다. 상기 데이터로부터 대상 화상의 표시 순번 정보나 부호화 타입을 추출하여, 전술한 바와 같은 방법으로 단계 302~305의 제어를 행한다. 단계 306에서는 대상 화상의 압축된 데이터를 복호하고, 화상을 복원하는 처리를 행한다. 단계 307 이후의 처리는 전술한 것과 같다. 이와 같은 처리는 도 2의 동화상 예측 복호 장치(200) 전체의 처리에 해당하지만, 특히 단계 302~305의 처리는 프레임 메모리 관리기(209)에 의해 행해진다.
도 4는 본 실시형태에 관한 동화상 예측 부호화 및 복호 방법의 처리를 설명하기 위한 모식도이다. 도 4에 나타내는 화상(401~409)은 동화상을 구성하는 화상 군의 일부이며, 화상(401)은 n개의 화상에 선행되어 있는 상태를 나타낸다. 따라서, 도 4의 영역(418)에 나타낸 바와 같이 화상(401)의 표시 순번 정보 TR은 (n+1)으로 나타낸다. 또, 본 실시형태에서는 양방향 예측을 포함하는 부호화 및 복호 처리를 행하므로, TR=(n+5)의 화상(402)을 먼저 처리한 후에, 표시 순으로 화상(402)보다 선행하는 화상(403, 404, 405)을 처리하는 상태를 나타내고 있다. 마찬가지의 이유로, 표시 순서가 (n+3)의 화상(403)은 표시 순서가 (n+2)의 화상(404)보다 먼저 처리된다. 이와 같은 순번은 도 11의 (B)와 같다. 그리고, 이후에 "화상을 처리한다"는 것은 "화상을 부호화 또는 복호한다"는 것을 의미한다.
도 4의 화상(401~409)의 프레임 내에 기록되어 있는 영문자는 이하를 의미한다. 즉, P는 편방향 예측으로 부호화되는 화상, DDR는 DDR 픽쳐로서 부호화되는 화상, B와 b는 양방향 예측으로 부호화되는 화상을 각각 의미한다. 또, 소문자 b로 나타나 있는 화상 이외(즉, 대문자 B, P, DDR로 나타나 있는 화상)는 모두 참조 화상으로서 사용되는 것으로 한다. 도 4의 영역(420)에 나타내는 각 화상에 대한 RP의 값 및 영역(419)에 나타내는 TR_DDR의 값은 각 화상에 대한 처리가 완료한 직후의 값이며, 각 화상에 대한 처리를 개시할 때(즉, 도 3의 단계 302를 수행할 때)의 값은 아니다. 예를 들면, 화상(402)에 대한 처리의 개시 시에 RP=0이지만, 화상(402)에 대한 처리의 완료 직후에는 RP=1로 된다.
화상(401)의 처리에서, 화상(401)은 DDR 픽쳐가 아니기 때문에, RP=0으로 된다. 화상(401)에 대응하는 TR_DDR는 임의의 값을 취해도 되지만, 선행의 처리에 의해 저장되어 있는 값이 설정되어 있다. 또, 대문자 P1로 나타내는 화상(401)은 참조 화상으로 사용되므로, 프레임 메모리에 저장된다.
이어서, 도 3을 참조하면서 화상(402)의 처리를 설명한다. 이때, 도 4의 최하단에서의 영역(410)에 나타낸 바와 같이, 프레임 메모리에는 재생된 화상 P1이 저장되어 있다. 화상(402)의 처리 개시 시점에서 RP=0이므로, 단계 302에서 부정으로 판정되고, 단계 304로 진행한다. 화상(402)은 DDR 픽쳐이므로, 단계 304에서 긍정으로 판정되고, 단계 305에 의해 RP=1, TR_DDR=n+5로 설정된다. 또, 화상(402)은 참조 화상으로서 사용되므로 프레임 메모리에 저장된다.
다음에, 화상(403)의 처리가 개시할 시점에서는, 도 4의 영역(411)에 나타낸 바와 같이, 프레임 메모리에는 화상 P1과 DDR5가 저장되어 있다. 이때 RP=1이지만, 화상(403)의 표시 순번 TR(n+3)는 TR_DDR(n+5)보다 작고 또한 화상(403)은 DDR 픽쳐가 아니기 때문에, 단계 302 및 304에서 부정으로 판정되고, 그대로 부호화 또는 복호된다(단계 306). 또, 화상(403)은 참조 화상으로서 사용되므로 프레임 메모리에 저장된다.
*화상(404, 405)을 처리할 때도 동일하게 프레임 메모리의 리프레시는 대기 상태(RP=1)인 상태이다. 또, 화상(404, 405)은 참조 화상으로서 이용되지 않기 때문에, 도 4의 영역(412, 413)에 나타낸 바와 같이 프레임 메모리에는 화상(404, 405)은 저장되고 화상 P1, DDR5, B3가 저장되어 있다.
화상(406)의 처리가 개시할 시점에서 RP=1이지만, 화상(406)의 표시 순번 정보 TR(n+9)는 TR_DDR(n+5)보다 크기 때문에, 단계 302에서 긍정으로 판정되고, 단계 303에서 참조 화상을 불필요로 설정함으로써 프레임 메모리를 리프레시하고, RP=0으로 설정한다. 이때 불필요로 설정하는 참조 화상은 바로 옆의 DDR 픽쳐(402)를 제외한, 바로 옆의 DDR 픽쳐(402)보다 표시 순번 정보 TR가 작은 참조 화상만이다. 따라서, 도 4의 영역(414)에 나타낸 바와 같이, 프레임 메모리에서는 화상 P1과 화상 B3의 기억 영역이 개방되고, 화상 DDR5만이 저장된다. 화상(406)은 도 4의 영역(415)에 나타낸 바와 같이, 상기 화상(406)의 처리가 완료한 후에 프레임 메모리에 저장되고, 그 이후는 상기와 마찬가지로 프레임 메모리의 리프레시 제어가 행해진다.
이와 같이, DDR 픽쳐(402)의 처리 직후 또는 직전으로는, 프레임 메모리에 있는 참조 화상(도 4에서는 화상 P1)을 불필요로 설정하지 않기 때문에, DDR 픽쳐(402)의 후에 처리되는 화상(403, 404, 405)의 처리에서 화상 P1을 참조할 수 있고, 그러므로 부호화 효율의 향상에 기여할 수 있다. 또, DDR 픽쳐(402)의 처리 후에 프레임 메모리 및 리프레시를 실행할 때, 바로 옆의 DDR 픽쳐(402)(화상 DDR5)를 불필요로 설정하지 않기 때문에, 후속의 화상(407, 408, 409)의 처리에 있어서 바로 옆의 DDR 픽쳐(402)(화상 DDR5)를 참조 화상으로서 사용할 수 있다.
이와 같이 본 실시형태는, 화상에 부수되는 표시 순번 정보를 이용하여, 랜덤 액세스의 지점으로 되는 화면 내 예측 화상(DDR 픽쳐)의 처리 후에 행해지는 메모리 및 리프레시의 타이밍을 표시 순번 정보에 의해 설정함으로써, 랜덤 액세스 화상의 전후에 있는 화상을 효율적으로 압축 부호화할 수 있다. 또, 종래 기술의 문제점에 관한 문제를 다음과 같이 해소할 수 있다.
즉, 표시 순번 정보는 각 화상에 반드시 부수되는 것이므로, 새로운 정보(플래그)를 보낼 필요가 없고, 종래 기술의 문제점 2가 해소된다. 또, 동화상의 편집(예를 들면, 일부의 화상을 버리거나 다른 화상을 연결하는 등)을 행하는 경우라도, 동화상을 구성하는 각 화상의 표시 순번 정보는 적절히 설정되므로, 오동작을 일으키지 않으며, 종래 기술의 문제점 1이 해소된다. 또한, 본 발명에 의한 메모리 및 리프레시의 타이밍은 P픽쳐로 한정되지 않고, 화상의 부호화 타입(I픽쳐, P픽쳐, B픽쳐)에 의존하지 않기 때문에, 메모리의 리프레시의 필요와 불필요에 관계없이 부호화 효율의 가장 좋게 되는 부호화 타입으로 처리할 수 있고, 종래 기술의 문제점 3이 해소된다.
[변형예에 대하여]
전술한 실시형태에서는, 화상의 표시 순번 정보가 "절대값"으로서 부호화되는 경우의 처리를 설명하였으나, 부호화 효율을 높이기 위하여, 화상의 표시 순번 정보가 "차분값"으로서 부호화되는 실시형태도 있다. 이하에서는, 변형예로서 표시 순번 정보가 "차분값"으로서 부호화되는 실시형태를 설명한다.
도 5는 동화상 예측 부호화 및 복호 방법의 변형예의 흐름도를 나타낸다. 변형예에서 화상의 표시 순번 정보는 다음과 같이 부호화된다. 즉, 프레임 메모리의 리프레시의 대기 중에 처리 대상이 되는 화상에 대해서는, 그 표시 순번 정보와 DDR 픽쳐의 표시 순번 정보의 차분값을 부호화한다. 한편, 상기 이외의 화상에 대해서는, 그 표시 순번 정보를 임의의 방법으로 부호화한다. 예를 들면, DDR 픽쳐의 표시 순번 정보의 차분을 부호화해도 좋고, 부호화 순으로 직전의 화상의 표시 순번 정보의 차분을 부호화해도 된다.
이하의 변형예에서는, 도 5를 동화상의 복호 방법으로서 설명하지만, 물론 도 5는 동화상의 부호화 방법에도 적용할 수 있다. 도 5의 단계 501에서는, 동화상 예측 복호 장치(200)에 압축 부호화된 화상의 데이터가 입력되고, 상기 데이터로부터 대상 화상의 표시 순번 정보의 차분값(delta_TR) 및 화상의 부호화 타입에 관한 정보를 추출한다. 동시에, TR_DDR와 RP를 0으로 초기화한다.
다음의 단계 502에서는, RP=1인가 여부를 확인한다. 이 조건이 만족되면, 프레임 메모리 및 리프레시가 대기 중에 있는 것을 의미하므로, 단계 503으로 진행한다. 단계 503에서는, 상기 시점의 처리 대상 화상의 표시 순번 정보 TR_CUR를, TR_DDR와 delta_TR의 합(가산한 값)으로 설정한다.
다음에, 단계 504에 의해 TR_CUR가 TR_DDR보다 큰지를 확인한다. 이 조건이 만족되면, 프레임 메모리 및 리프레시 대기 중에 있고, 또한 처리 대상의 화상이 표시 순서대로 DDR 픽쳐보다 후의 화상인 것을 의미하므로, 프레임 메모리(207)의 리프레시 처리(즉, 프레임 메모리(207)에 저장되어 있는 참조 화상을 불필요로 설정하는 처리)를 실행한다(단계 505). 단, 여기서, 불필요로 설정하는 참조 화상은 표시 순번 정보 TR가 바로 옆의 DDR 픽쳐의 표시 순번 정보(TR_DDR)보다 작은 참조 화상만이다. 또, 바로 옆의 DDR 픽쳐(또는 화면 내 예측 부호화 화상)는 불필요로 설정하지 않는다. 이상과 같은 리프레시 처리가 끝난 것으로, 상태 변수 RP를 RP=0으로 설정한다. 그 후, 후술하는 단계 507로 진행한다. 또, 전술한 단계 504에서 부정으로 판정된 경우에도 단계 507로 진행한다.
한편, 단계 502에서 부정으로 판정된 경우에는, 단계 506으로 진행하고, TR_CUR를 전에 처리된 화상의 표시 순번 정보 TR_PREV와 delta_TR와의 합(가산한 값)으로 설정하여, 단계 507로 진행한다.
단계 507에서는, 상기 시점의 처리 대상 화상이 DDR 픽쳐인지 여부를 확인한다. 그리고, 동화상 예측 복호 장치(200)는 화상의 부호화 타입(DDR, 화면 간 예측 부호화 또는 양방향 예측 부호화)에 관한 정보를 외부로부터 입력된 압축 부호화 데이터로부터 얻을 수 있다.
단계 507에서, 상기 시점의 처리 대상 화상이 DDR 픽쳐인 경우에는, 단계 508에 의해 상기 시점의 처리 대상 화상의 표시 순번 정보 TR_CUR를 TR_DDR로 설정하고, 상태 변수 RP를 RP=1로 설정한 다음 단계 509로 진행한다. 한편, 단계 507에서 조건이 만족되지 않은 경우에는, 단계 509로 진행한다.
단계 509에서는, 처리 대상 화상에 상당하는 재생 화상을 얻는다. 여기서는, 도 2에서 설명한 복호 방법으로, 처리 대상 화상의 압축 데이터를 복호함으로써, 처리 대상 화상에 상당하는 재생 화상을 얻는다. 그리고, 여기서 얻어진 재생 화상은, 예를 들면 동화상 예측 복호 장치(200)의 외부로 송출된다. 다음의 단계 510에서는, 처리 대상 화상에 상당하는 재생 화상이 후속의 처리로 참조 화상으로서 사용되는지 여부를 판단한다. 이 판단은, 상기 화상의 부호화 타입에 따라 행해진다. 그리고, 여기서, DDR 픽쳐, 편방향 예측 부호화 화상 및 특정한 양방향 예측 부호화 화상은 모두 참조 화상으로 한다. 단, 이 방법에 한정하는 것은 아니다.
단계 510에서 재생 화상이 참조 화상으로서 이용되지 않는 것으로 판단된 경우에는, 재생 화상을 프레임 메모리(207)에 저장하지 않고 단계 512로 진행한다. 한편, 단계 510에서 재생 화상이 참조 화상으로서 사용된다고 판단된 경우에는, 단계 511에 의해, 재생 화상을 프레임 메모리(207)에 저장한 다음, 단계 512로 진행한다.
단계 512에서는, 후속의 단계 506의 처리를 위하여, TR_CUR를 TR_PREV로 설정하고, 단계 513으로 진행한다. 단계 513에서는 다음의 화상(처리되지 않은 화상)이 있는지 여부를 판단하고, 다음의 화상이 있으면, 단계 502로 복귀하고, 다음의 화상에 대하여 단계 502~512의 처리를 반복한다. 이같이 하여 최후의 화상까지 단계 502~512의 처리를 반복해서 모든 화상의 처리가 완료하면, 도 5의 처리를 종료한다.
전술한 도 5의 처리에 의해, 랜덤 액세스 화상(여기서는 바로 옆의 DDR 픽쳐)의 처리가 완료한 후, 최초로 표시 순번 정보 TR가 TR_DDR 보다 큰 화상을 처리할 때(실제로는 단계 509의 처리의 직전의 단계 505에서), 프레임 메모리가 리프레시된다. 그리고, 프레임 메모리의 리프레시의 타이밍은, 랜덤 액세스 화상(여기서는 바로 옆의 DDR 픽쳐)의 처리가 완료한 후, 최초로 표시 순번 정보 TR가 TR_DDR 보다 큰 화상을 처리할 때이면 되고, 단계 509의 처리의 직후이라도 된다.
전술한 도 5의 처리는 도 2의 동화상 예측 복호 장치(200) 전체의 처리에 해당하지만, 특히 단계 502~508은 프레임 메모리 관리기(209)에 의해 행해진다.
그리고, 도 5는 동화상의 복호 방법으로서 설명하였으나, 동화상 부호화 방법의 처리에도 적용할 수 있다. 부호화 처리를 행하는 경우, 단계 503에서는 delta_TR를 TR_CUR와 TR_DDR의 차분으로부터 구하고, 단계 506에서는 delta_TR를 TR_CUR와 TR_PREV와의 차분으로부터 구한 다음, 엔트로피 부호화한다. 또, 단계 509에서는 대상 화상을 부호화한 다음 복호한다. 이와 같은 처리는, 도 1의 동화상 예측 부호화 장치(100) 전체의 처리에 해당하지만, 특히 단계 502~508의 처리는 프레임 메모리 관리기(114)에 의해 행해진다.
도 6은 변형예에 관한 동화상 예측 부호화 및 복호 방법의 처리를 설명하기 위한 모식도이다. 도 6에 나타내는 화상(601~609)은 동화상을 구성하는 화상 군의 일부이며, 도 4에서 설명한 화상(401~409)와 같은 처리를 나타내고 있다. 단, 도 6에서는, 도 4에 대하여, 영역(621)에 나타내는 delta_TR이 추가되어 있다. 이 영역(621)으로부터 알 수 있는 바와 같이, 대상 화상의 부호화 처리 개시 시에서의 RP의 값(전의 화상의 RP 값)에 의해, delta_TR의 산출 방법이 상이하게 된다. 즉, 화상(603~606)의 부호화 처리에서, delta_TR은 각 화상의 TR과 TR_DDR의 차분값으로서 구해진다. 화상(607) 이후의 부호화 처리에서, delta_TR은 각 화상의 TR과 그 직전의 화상의 TR의 차분값으로서 구해진다. 한편, 각 화상의 복호 처리에 있어서 차분값 delta_TR로부터 표시 순번 정보 TR를 복원하는 경우에는, 차분값의 압축 데이터를 복호하여 얻어진 차분값 delta_TR과 TR_DDR을 가산함으로써 표시 순번 정보 TR을 복원한다. 그 이후는 도 4와 같은 처리가 되므로 생략한다.
도 6에서는 만일 화상(603~605)이 편집에 의해 누락되어도, 화상(606)의 표시 순번 정보 TR은 TR_DDR로부터 구하므로, TR=delta_TR+TR_DDR=4+(n+5)=n+9로서 정확하게 재현할 수 있어 프레임 메모리의 리프레시를 오동작 없고 제어할 수 있다. 만일, 모든 화상의 delta_TR이 복호 순으로 상기 화상의 표시 순번 정보와 직전의 화상의 표시 순번 정보의 차분값으로서 구해지면 하면, 화상(603)이 누락된 경우에, 표시 순번 정보가 정확하게 재생할 수 없게 되어, 화상(605)의 타이밍에서 프레임 메모리의 리프레시가 실행된다(본래, 화상(606)의 타이밍이 정확한 타이밍이다).
도 6을 동화상 부호화 처리에 적용한 경우, 랜덤 액세스 화상(여기서는 바로 옆의 DDR 픽쳐)의 처리 완료 후에, 프레임 메모리 및 리프레시의 대기 중에 있는 화상(화상(603~606))의 표시 순번 정보를 부호화할 때, 상기 화상의 표시 순번 정보 TR 그 자체가 아니고, 상기 화상의 표시 순번 정보 TR와 DDR 픽쳐의 표시 순번 정보 TR_DDR의 차분값 delta_TR를 부호화함으로써, 프레임 메모리 및 리프레시의 타이밍을 정확하게 복원할 수 있다. 그러므로, 비록 프레임 메모리 및 리프레시의 대기 중에 있는 화상이 누락해도, 오동작을 회피할 수 있어 에러 내성이 강하다는 효과가 있다.
또 다른 예로서, 차분값 delta_TR을 부호화하는 대상으로 하여, 랜덤 액세스 화상(여기서는 바로 옆의 DDR 픽쳐) 후의, 최초에 표시 순번 정보 TR이 TR_DDR 보다 큰 화상(도 6에서는 화상(606))을 포함하는 1개 이상의 화상이라도 된다. 즉, 랜덤 액세스 화상(여기서는 바로 옆의 DDR 픽쳐) 후의, 최초에 표시 순번 정보 TR이 TR_DDR 보다 큰 화상(도 6에서는 화상(606))을 포함하는 1개 이상의 화상에 대하여, 그 표시 순번 정보를 부호화할 때, 상기 화상의 표시 순번 정보 TR 그 자체가 아니고, 상기 화상의 표시 순번 정보 TR와 DDR 픽쳐의 표시 순번 정보 TR_DDR와의 차분값 delta_TR를 부호화해도 된다.
[동화상 예측 부호화 프로그램 및 동화상 예측 복호 프로그램에 대하여]
동화상 예측 부호화 장치에 관한 발명은 컴퓨터를 동화상 예측 부호화 장치로서 기능하게 하기 위한 동화상 예측 부호화 프로그램에 관한 발명으로서 파악할 수 있다. 마찬가지로, 동화상 예측 복호 장치에 관한 발명은 컴퓨터를 동화상 예측 복호 장치로서 기능하게 하기 위한 동화상 예측 복호 프로그램에 관한 발명으로서 파악할 수 있다.
동화상 예측 부호화 프로그램 및 동화상 예측 복호 프로그램은, 예를 들면 기록 매체에 저장되어 제공된다. 그리고, 기록 매체로서는, 플렉시블 디스크, CD-ROM, DVD 등의 기록 매체, 또는 ROM 등의 기록 매체 또는 반도체 메모리 등이 예시된다.
도 9에는 컴퓨터를 동화상 예측 부호화 장치로서 기능하게 하기 위한 동화상 예측 부호화 프로그램의 모듈을 나타낸다. 도 9에 나타낸 바와 같이, 동화상 예측 부호화 프로그램(P100)은 입력 모듈(P101), 부호화 모듈(P102), 복원 모듈(P103), 화상 저장 모듈(P104), 및 메모리 관리 모듈(P105)을 구비하고 있다.
*또, 도 10에는 컴퓨터를 동화상 예측 복호 장치로서 기능하게 하기 위한 동화상 예측 복호 프로그램의 모듈을 나타낸다. 도 10에 나타낸 바와 같이, 동화상 예측 복호 프로그램(P200)는, 입력 모듈(P201), 복원 모듈(P202), 화상 저장 모듈(P203), 및 메모리 관리 모듈(P204)을 구비하고 있다.
상기와 같이 구성된 동화상 예측 부호화 프로그램(P100) 및 동화상 예측 복호 프로그램(P200)은 도 8에 나타내는 기록 매체(10)에 기억 가능하며, 후술하는 컴퓨터(30)에 의해 실행된다.
도 7은 기록 매체에 기록된 프로그램을 실행하기 위한 컴퓨터의 하드웨어 구성을 나타낸 도이며, 도 8은 기록 매체에 기억된 프로그램을 실행하기 위한 컴퓨터의 대략 외관 도면이다. 컴퓨터로서는, CPU를 구비하고 소프트웨어에 의한 처리나 제어를 행하는 DVD 플레이어, 셋탑 박스, 휴대 전화기 등을 포함한다.
도 7에 나타낸 바와 같이, 컴퓨터(30)는 플렉시블 디스크 드라이브 장치, CD-ROM 드라이브 장치, DVD 드라이브 장치 등의 판독 장치(12)와 운영체제(OS)를 상주시킨 작업용 메모리(RAM)(14)와 기록 매체(10)에 기억된 프로그램을 기억하는 메모리(16)과 디스플레이라는 표시 장치(18)와 입력 장치인 마우스(20) 및 키보드(22)와 데이터 등의 송수신을 행하기 위한 통신 장치(24)와 프로그램의 실행을 제어하는 CPU(26)를 구비하고 있다. 컴퓨터(30)는 기록 매체(10)가 판독 장치(12)에 삽입되면, 판독 장치(12)로부터 기록 매체(10)에 저장된 동화상 예측 부호화 프로그램에 액세스 가능해져, 상기 동화상 예측 부호화 프로그램에 의해, 본 발명에 관한 동화상 예측 부호화 장치로서 동작하는 것이 가능하게 된다. 마찬가지로, 컴퓨터(30)는 기록 매체(10)가 판독 장치(12)에 삽입되면, 판독 장치(12)로부터 기록 매체(10)에 저장된 동화상 예측 복호 프로그램에 액세스 가능해져, 상기 동화상 예측 복호 프로그램에 의해, 본 발명에 관한 동화상 예측 복호 장치로서 동작하는 것이 가능하게 된다.
도 8에 나타낸 바와 같이, 동화상 예측 부호화 프로그램 또는 동화상 예측 복호 프로그램은 반송파에 중첩된 컴퓨터 데이터 신호(40)로서 네트워크를 통하여 제공되는 것이라도 된다. 이 경우, 컴퓨터(30)는 통신 장치(24)에 의해 수신된 동화상 예측 부호화 프로그램 또는 동화상 예측 복호 프로그램을 메모리(16)에 저장하여 실행할 수 있다.
10 기록 매체, 30 컴퓨터, 100 동화상 예측 부호화 장치, 101 입력 단자, 102 블록 분할기, 103 예측 신호 생성기, 104 프레임 메모리, 105 감산기, 106 변환기, 107 양자화기, 108 역양자화기, 109 역 변환기, 110 가산기, 111 엔트로피 부호화기, 112 출력 단자, 113 입력 단자, 114 프레임 메모리 관리기, 200 동화상 예측 복호 장치, 201 입력 단자, 202 데이터 해석기, 203 역양자화기, 204 역변환기, 205 가산기, 206 출력 단자, 207 프레임 메모리, 208 예측 신호 생성기, 209 프레임 메모리 관리기, P100 동화상 예측 부호화 프로그램, P101 입력 모듈, P102 부호화 모듈, P103 복원 모듈, P104 화상 저장 모듈, P105 메모리 관리 모듈, P200 동화상 예측 복호 프로그램, P201 입력 모듈, P202 복원 모듈, P203 화상 저장 모듈, P204 메모리 관리 모듈.

Claims (4)

  1. 동화상을 구성하는 복수 개의 화상을 입력하는 입력 모듈;
    상기 입력된 화상을 화면 내 예측 또는 화면 간 예측의 방법으로 부호화함으로써, 랜덤 액세스로 되는 화상인 랜덤 액세스 화상을 포함하는 압축 화상 데이터를 생성하고, 상기 화상의 표시 순번 정보에 관한 데이터를 부호화하는 부호화 모듈;
    상기 생성된 압축 화상 데이터를 복호함으로써 재생 화상을 복원하는 복원 모듈; 및
    상기 복원된 재생 화상을, 후속의 화상을 부호화하기 위해 사용되는 참조 화상으로서 저장하는 화상 저장 모듈
    을 포함하고,
    상기 복원 모듈은,
    표시 순번 정보가 랜덤 액세스 화상의 표시 순번 정보보다 큰 화상을 부호화할 때 사용되는 참조 화상으로서, 부호화 처리 순서 또는 표시 순번 정보에 있어서 상기 랜덤 액세스 화상에 선행하는 참조 화상이 포함되지 않는 참조 화상 정보를 포함하는 상기 압축 화상 데이터를 복호하는,
    동화상 예측 부호화 장치.
  2. 동화상을 구성하는 복수 개의 화상을 화면 내 예측 또는 화면 간 예측의 방법으로 부호화함으로써 얻어지며 또한 랜덤 액세스로 되는 화상인 랜덤 액세스 화상을 포함하는 압축 화상 데이터, 및 상기 화상의 표시 순번 정보에 관한 데이터를 부호화함으로써 얻어진 표시 순번 부호화 데이터를 입력하는 입력 모듈;
    상기 압축 화상 데이터를 복호함으로써 재생 화상을 복원하고, 상기 표시 순번 부호화 데이터를 복호함으로써 표시 순번 정보를 복원하는 복원 모듈; 및
    상기 복원된 재생 화상을, 후속의 화상을 복호하기 위해 사용되는 참조 화상으로서 저장하는 화상 저장 모듈
    을 포함하고,
    상기 복원 모듈은,
    표시 순번 정보가 랜덤 액세스 화상의 표시 순번 정보보다 큰 화상의 압축 화상 데이터를 복호할 때 사용되는 참조 화상으로서, 복호 처리 순서 또는 표시 순번 정보에 있어서 상기 랜덤 액세스 화상에 선행하는 참조 화상이 포함되지 않는 참조 화상 정보를 포함하는 상기 압축 화상 데이터를 복호하는,
    동화상 예측 복호 장치.
  3. 후속의 화상을 부호화하기 위해 사용되는 참조 화상을 저장하기 위한 화상 저장 매체를 구비하는 동화상 예측 부호화 장치에 의해 실행되는 동화상 예측 부호화 방법으로서,
    동화상을 구성하는 복수 개의 화상을 입력하는 입력 단계;
    상기 입력된 화상을 화면 내 예측 또는 화면 간 예측의 방법으로 부호화함으로써 랜덤 액세스로 되는 화상인 랜덤 액세스 화상을 포함하는 압축 화상 데이터를 생성하고, 상기 화상의 표시 순번 정보에 관한 데이터를 부호화하는 부호화 단계;
    상기 생성된 압축 화상 데이터를 복호함으로써 재생 화상을 복원하는 복원 단계; 및
    상기 복원된 재생 화상을, 후속의 화상을 부호화하기 위해 사용되는 참조 화상으로서 상기 화상 저장 매체에 저장하는 화상 저장 단계;
    를 포함하고,
    상기 복원 단계에 있어서 상기 동화상 예측 부호화 장치는,
    표시 순번 정보가 랜덤 액세스 화상의 표시 순번 정보보다 큰 화상을 부호화할 때 사용되는 참조 화상으로서, 부호화 처리 순서 또는 표시 순번 정보에 있어서 상기 랜덤 액세스 화상에 선행하는 참조 화상이 포함되지 않는 참조 화상 정보를 포함하는 상기 압축 화상 데이터를 복호하는,
    동화상 예측 부호화 방법.
  4. 후속의 화상을 복호하기 위해 사용되는 참조 화상을 저장하기 위한 화상 저장 매체를 구비하는 동화상 예측 복호 장치에 의해 실행되는 동화상 예측 복호 방법으로서,
    동화상을 구성하는 복수 개의 화상을 화면 내 예측 또는 화면 간 예측의 방법으로 부호화함으로써 얻어지며 또한 랜덤 액세스로 되는 화상인 랜덤 액세스 화상을 포함하는 압축 화상 데이터, 및 상기 화상의 표시 순번 정보에 관한 데이터를 부호화함으로써 얻어진 표시 순번 부호화 데이터를 입력하는 입력 단계;
    상기 압축 화상 데이터를 복호함으로써 재생 화상을 복원하고, 상기 표시 순번 부호화 데이터를 복호함으로써 표시 순번 정보를 복원하는 복원 단계; 및
    상기 복원된 재생 화상을, 후속의 화상을 복호하기 위해 사용되는 참조 화상으로서 상기 화상 저장 매체에 저장하는 화상 저장 단계
    를 포함하고,
    상기 복원 단계에 있어서 상기 동화상 예측 복호 장치는,
    표시 순번 정보가 랜덤 액세스 화상의 표시 순번 정보보다 큰 화상의 압축 화상 데이터를 북호할 때 사용되는 참조 화상으로서, 복호 처리 순서 또는 표시 순번 정보에 있어서 상기 랜덤 액세스 화상에 선행하는 참조 화상이 포함되지 않는 참조 화상 정보를 포함하는 상기 압축 화상 데이터를 복호하는,
    동화상 예측 복호 방법.
KR1020167012926A 2010-03-17 2011-03-14 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법, 및 동화상 예측 복호 프로그램 KR101747195B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010061337A JP2011199396A (ja) 2010-03-17 2010-03-17 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
JPJP-P-2010-061337 2010-03-17
PCT/JP2011/055915 WO2011115045A1 (ja) 2010-03-17 2011-03-14 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020127027048A Division KR101640872B1 (ko) 2010-03-17 2011-03-14 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법, 및 동화상 예측 복호 프로그램

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020177015372A Division KR101867461B1 (ko) 2010-03-17 2011-03-14 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법, 및 동화상 예측 복호 프로그램

Publications (2)

Publication Number Publication Date
KR20160058977A true KR20160058977A (ko) 2016-05-25
KR101747195B1 KR101747195B1 (ko) 2017-06-14

Family

ID=44649138

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020167012926A KR101747195B1 (ko) 2010-03-17 2011-03-14 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법, 및 동화상 예측 복호 프로그램
KR1020127027048A KR101640872B1 (ko) 2010-03-17 2011-03-14 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법, 및 동화상 예측 복호 프로그램
KR1020177015372A KR101867461B1 (ko) 2010-03-17 2011-03-14 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법, 및 동화상 예측 복호 프로그램

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020127027048A KR101640872B1 (ko) 2010-03-17 2011-03-14 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법, 및 동화상 예측 복호 프로그램
KR1020177015372A KR101867461B1 (ko) 2010-03-17 2011-03-14 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법, 및 동화상 예측 복호 프로그램

Country Status (17)

Country Link
US (6) US9113171B2 (ko)
EP (3) EP3300369A1 (ko)
JP (1) JP2011199396A (ko)
KR (3) KR101747195B1 (ko)
CN (3) CN105187842B (ko)
AU (9) AU2011228218B2 (ko)
BR (1) BR112012023322B1 (ko)
CA (8) CA3169174A1 (ko)
ES (2) ES2655919T3 (ko)
MX (1) MX2012010614A (ko)
NO (2) NO2549758T3 (ko)
PL (2) PL2549758T3 (ko)
PT (2) PT2549758T (ko)
RU (6) RU2601134C2 (ko)
SG (2) SG184079A1 (ko)
TW (7) TWI691198B (ko)
WO (1) WO2011115045A1 (ko)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011199396A (ja) 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
KR101457895B1 (ko) * 2011-07-02 2014-11-04 삼성전자주식회사 비디오 복호화 방법 및 장치
US9106927B2 (en) 2011-09-23 2015-08-11 Qualcomm Incorporated Video coding with subsets of a reference picture set
JP5698644B2 (ja) * 2011-10-18 2015-04-08 株式会社Ｎｔｔドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
US9432694B2 (en) 2012-03-06 2016-08-30 Apple Inc. Signal shaping techniques for video data that is susceptible to banding artifacts
JP6045222B2 (ja) * 2012-06-28 2016-12-14 株式会社Ｎｔｔドコモ 動画像予測復号装置、方法及びプログラム
MX342499B (es) * 2012-06-29 2016-10-03 Sony Corp Dispositivo de descodificación y método de descodificación.
GB2516425B (en) * 2013-07-17 2015-12-30 Gurulogic Microsystems Oy Encoder and decoder, and method of operation
KR102133978B1 (ko) 2013-11-13 2020-07-14 삼성전자주식회사 압축 데이터를 이용하여 패널 셀프 리프레쉬를 수행할 수 있는 타이밍 컨트롤러, 이의 동작 방법, 및 상기 타이밍 컨트롤러를 포함하는 데이터 처리 시스템
EP3371974B1 (en) * 2015-11-06 2024-05-01 Microsoft Technology Licensing, LLC Flexible reference picture management for video encoding
JP6641344B2 (ja) * 2017-12-05 2020-02-05 三菱電機株式会社 符号化装置
GB2620500B (en) * 2019-03-20 2024-05-15 V Nova Int Ltd Low complexity enhancement video coding
CN111124337B (zh) * 2019-12-17 2023-08-01 西安万像电子科技有限公司 图像显示方法及系统
EP4118835A4 (en) * 2020-03-31 2023-05-10 Beijing Dajia Internet Information Technology Co., Ltd. HIGH LEVEL SYNTAX METHODS AND DEVICES IN VIDEO CODING
WO2021203039A1 (en) * 2020-04-03 2021-10-07 Beijing Dajia Internet Information Technology Co., Ltd. Methods and devices for high-level syntax in video coding

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2161377C2 (ru) * 1992-12-04 2000-12-27 Сони Корпорейшн Устройство и способ подготовки к записи на носителе информации кодируемого с переменным параметром сигнала, устройство и способ последовательного сигнала, способ воспроизведения шаблонов с носителя информации
US6950469B2 (en) * 2001-09-17 2005-09-27 Nokia Corporation Method for sub-pixel value interpolation
EP1850600A3 (en) * 2001-10-17 2008-05-14 Matsushita Electric Industrial Co., Ltd. Moving picture encoding method and moving picture encoding apparatus
CN100562112C (zh) * 2001-11-06 2009-11-18 松下电器产业株式会社 运动图像编码方法
JP4355156B2 (ja) * 2002-04-16 2009-10-28 パナソニック株式会社 画像復号化方法及び画像復号化装置
KR100961037B1 (ko) * 2002-07-11 2010-06-01 파나소닉 주식회사 화상 복호화 방법 및 화상 복호화 장치
EP3177020B1 (en) * 2002-07-16 2023-04-19 Nokia Technologies Oy A method for random access and gradual picture refresh in video coding
TWI249356B (en) * 2002-11-06 2006-02-11 Nokia Corp Picture buffering for prediction references and display
WO2004066636A1 (ja) * 2003-01-20 2004-08-05 Matsushita Electric Industrial Co., Ltd. 画像符号化方法
KR100711635B1 (ko) * 2003-02-18 2007-04-25 노키아 코포레이션 화상 부호화 방법
JP2004260236A (ja) 2003-02-24 2004-09-16 Matsushita Electric Ind Co Ltd 動画像の符号化方法および復号化方法
US8223833B2 (en) * 2003-03-03 2012-07-17 Panasonic Corporation Picture coding method and picture decoding method
EP1496707A1 (en) * 2003-07-09 2005-01-12 Matsushita Electric Industrial Co., Ltd. Encoding and decoding of video images with delayed reference picture refresh
JP4591657B2 (ja) * 2003-12-22 2010-12-01 キヤノン株式会社 動画像符号化装置及びその制御方法、プログラム
RU2370909C2 (ru) * 2004-07-01 2009-10-20 Квэлкомм Инкорпорейтед Способ и устройство для использования способов преобразования кадров с повышением частоты кадров при кодировании масштабируемого видео
US8155186B2 (en) * 2004-08-11 2012-04-10 Hitachi, Ltd. Bit stream recording medium, video encoder, and video decoder
RU2287909C2 (ru) * 2004-12-15 2006-11-20 Московский технический университет связи и информатики Способ преобразования цифрового сигнала изображения и устройство для его реализации
WO2006075635A1 (ja) * 2005-01-17 2006-07-20 Matsushita Electric Industrial Co., Ltd. 画像復号化方法
JP2008527945A (ja) * 2005-01-19 2008-07-24 トムソン ライセンシング リアルタイム並列符号化の方法及び装置
WO2006084366A1 (en) * 2005-02-09 2006-08-17 March Networks Corporation Method and system for low-subband content discrimination
JP2006246277A (ja) * 2005-03-07 2006-09-14 Pioneer Electronic Corp 再符号化装置、再符号化方法、および再符号化用プログラム
US8036281B2 (en) * 2005-06-01 2011-10-11 Canon Kabushiki Kaisha Image coding apparatus and image coding method
RU2368095C1 (ru) * 2005-07-22 2009-09-20 Мицубиси Электрик Корпорейшн Кодер изображения и декодер изображения, способ кодирования изображения и способ декодирования изображения, программа кодирования изображения и программа декодирования изображения и компьютерно-считываемый носитель записи, на котором записана программа кодирования изображения, и компьютерно-считываемый носитель записи, на котором записана программа декодирования изображения
BRPI0619193A2 (pt) * 2005-11-30 2011-09-20 Toshiba Kk Toshiba Corp método de codificação de imagem / decodificação de imagem, aparelho de codificação de imagem / decodificação de imagem
US8155185B2 (en) * 2005-12-05 2012-04-10 Canon Kabushiki Kaisha Image coding apparatus and method
CA2845591C (en) * 2006-01-05 2015-12-08 Nippon Telegraph And Telephone Corporation Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
TW200806040A (en) * 2006-01-05 2008-01-16 Nippon Telegraph & Telephone Video encoding method and decoding method, apparatuses therefor, programs therefor, and storage media for storing the programs
WO2007080223A1 (en) * 2006-01-10 2007-07-19 Nokia Corporation Buffering of decoded reference pictures
US20080165860A1 (en) * 2006-08-31 2008-07-10 Zohair Sahraoui H.264 Data processing
BRPI0717321A2 (pt) * 2006-10-13 2013-10-22 Thomson Licensing Método para gerenciamento de imagens de referência envolvendo codificação de vídeo com mútiplas visualizações
WO2008074857A2 (fr) * 2006-12-21 2008-06-26 Thomson Licensing Procede de decodage d'un bloc d'une image video
JP2008193627A (ja) * 2007-01-12 2008-08-21 Mitsubishi Electric Corp 画像符号化装置、画像復号装置、および画像符号化方法、画像復号方法
JP5023739B2 (ja) * 2007-02-28 2012-09-12 ソニー株式会社 画像情報符号化装置及び符号化方法
EP1983759A1 (en) * 2007-04-19 2008-10-22 Matsushita Electric Industrial Co., Ltd. Estimation of separable adaptive interpolation filters for hybrid video coding
JP5188875B2 (ja) * 2007-06-04 2013-04-24 株式会社エヌ・ティ・ティ・ドコモ 画像予測符号化装置、画像予測復号装置、画像予測符号化方法、画像予測復号方法、画像予測符号化プログラム、及び画像予測復号プログラム
US9648325B2 (en) * 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
US8265144B2 (en) * 2007-06-30 2012-09-11 Microsoft Corporation Innovations in video decoder implementations
US8699808B2 (en) * 2007-10-15 2014-04-15 Chih-Ta Star Sung Method and apparatus of temporary image frame compression
FR2924296B1 (fr) * 2007-11-28 2010-05-28 Canon Kk Procede et dispositif de traitement d'un flux de donnees multimedia hierarchique transmis sur un reseau avec perte
JP5056560B2 (ja) * 2008-03-17 2012-10-24 富士通株式会社 符号化装置、復号化装置、符号化方法および復号化方法
JP4935746B2 (ja) * 2008-04-07 2012-05-23 富士通株式会社 動画像符号化装置、動画像復号化装置及びその符号化、復号化方法
JP2009296078A (ja) 2008-06-03 2009-12-17 Victor Co Of Japan Ltd 符号化データ再生装置、符号化データ再生方法、および符号化データ再生プログラム
EP2157799A1 (en) * 2008-08-18 2010-02-24 Panasonic Corporation Interpolation filter with local adaptation based on block edges in the reference frame
JP4962525B2 (ja) * 2009-04-08 2012-06-27 ソニー株式会社 再生装置、再生方法、およびプログラム
JP2010245970A (ja) * 2009-04-08 2010-10-28 Sony Corp 再生装置、再生方法、およびプログラム
US8976871B2 (en) * 2009-09-16 2015-03-10 Qualcomm Incorporated Media extractor tracks for file format track selection
JP2011199396A (ja) 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
KR101750495B1 (ko) * 2010-04-16 2017-06-27 에스케이텔레콤 주식회사 인터 예측 방법 및 그 인터 예측 방법을 이용한 동영상 부호화/복호화 방법
US9516379B2 (en) * 2011-03-08 2016-12-06 Qualcomm Incorporated Buffer management in video codecs
EP2732626A1 (en) * 2011-07-15 2014-05-21 Telefonaktiebolaget L M Ericsson (PUBL) An encoder and method thereof for assigning a lowest layer identity to clean random access pictures
US9654802B2 (en) 2012-09-24 2017-05-16 Qualcomm Incorporated Sequence level flag for sub-picture level coded picture buffer parameters
WO2015105399A1 (ko) * 2014-01-13 2015-07-16 삼성전자 주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치.

Also Published As

Publication number Publication date
US9113171B2 (en) 2015-08-18
US10715829B2 (en) 2020-07-14
BR112012023322B1 (pt) 2018-09-25
AU2019280003A1 (en) 2020-01-16
SG10201501390XA (en) 2015-04-29
TWI678913B (zh) 2019-12-01
US20190238885A1 (en) 2019-08-01
EP2549758A4 (en) 2015-11-25
CN105187842A (zh) 2015-12-23
US10178407B2 (en) 2019-01-08
KR101747195B1 (ko) 2017-06-14
RU2012144029A (ru) 2014-05-10
CA2935201C (en) 2019-07-02
JP2011199396A (ja) 2011-10-06
RU2628260C1 (ru) 2017-08-15
CA3094540A1 (en) 2011-09-22
NO2942965T3 (ko) 2018-05-12
PT2549758T (pt) 2018-01-15
AU2019280009B2 (en) 2021-03-04
CN105187842B (zh) 2018-06-29
CA2793168A1 (en) 2011-09-22
WO2011115045A1 (ja) 2011-09-22
CA2793168C (en) 2016-09-20
AU2021200759A1 (en) 2021-03-04
US10298953B2 (en) 2019-05-21
CA3081303C (en) 2022-06-28
AU2018202171A1 (en) 2018-04-26
US20190110069A1 (en) 2019-04-11
TW202005374A (zh) 2020-01-16
TW201941607A (zh) 2019-10-16
TW201820865A (zh) 2018-06-01
CA3081303A1 (en) 2011-09-22
KR101867461B1 (ko) 2018-06-14
CA3009695A1 (en) 2011-09-22
TWI691198B (zh) 2020-04-11
US10390042B2 (en) 2019-08-20
RU2601134C2 (ru) 2016-10-27
CA3094540C (en) 2022-09-20
TW201914301A (zh) 2019-04-01
TWI479895B (zh) 2015-04-01
AU2018202169B2 (en) 2019-09-12
AU2016200188B2 (en) 2018-01-04
CN104768020B (zh) 2018-01-16
AU2019280003B2 (en) 2021-01-21
CN102792696A (zh) 2012-11-21
US20150350644A1 (en) 2015-12-03
CA3041891A1 (en) 2011-09-22
TW201515441A (zh) 2015-04-16
KR101640872B1 (ko) 2016-07-19
NO2549758T3 (ko) 2018-05-05
US10567794B2 (en) 2020-02-18
TWI619373B (zh) 2018-03-21
TW201808005A (zh) 2018-03-01
TWI650002B (zh) 2019-02-01
CA3041891C (en) 2020-11-10
RU2015122410A (ru) 2015-10-27
RU2568310C2 (ru) 2015-11-20
PT2942965T (pt) 2018-02-09
US20190327488A1 (en) 2019-10-24
AU2018202171B2 (en) 2019-09-12
AU2021266226A1 (en) 2021-12-02
CA3094541C (en) 2022-10-25
AU2011228218A1 (en) 2012-10-18
CN102792696B (zh) 2015-10-21
MX2012010614A (es) 2013-02-26
KR20130016289A (ko) 2013-02-14
CA3009695C (en) 2020-07-14
EP2942965A2 (en) 2015-11-11
EP3300369A1 (en) 2018-03-28
AU2018202170A1 (en) 2018-04-26
CA3169174A1 (en) 2011-09-22
TWI670965B (zh) 2019-09-01
CA2935201A1 (en) 2011-09-22
ES2655919T3 (es) 2018-02-22
RU2676408C1 (ru) 2018-12-28
BR112012023322A2 (pt) 2016-05-24
US20130044813A1 (en) 2013-02-21
TW201206202A (en) 2012-02-01
AU2011228218B2 (en) 2016-03-31
AU2021266226B2 (en) 2023-01-12
CN104768020A (zh) 2015-07-08
RU2652438C1 (ru) 2018-04-26
EP2942965A3 (en) 2016-03-09
RU2690220C1 (ru) 2019-05-31
ES2655416T3 (es) 2018-02-20
AU2021200759B2 (en) 2021-09-09
EP2549758A1 (en) 2013-01-23
AU2019280009A1 (en) 2020-01-16
PL2942965T3 (pl) 2018-05-30
CA3094541A1 (en) 2011-09-22
KR20170066709A (ko) 2017-06-14
EP2549758B1 (en) 2017-12-06
SG184079A1 (en) 2012-10-30
AU2018202169A1 (en) 2018-04-26
AU2018202170B2 (en) 2019-08-29
TWI611686B (zh) 2018-01-11
EP2942965B1 (en) 2017-12-13
AU2016200188A1 (en) 2016-02-04
US20190116378A1 (en) 2019-04-18
PL2549758T3 (pl) 2018-03-30

Similar Documents

Publication Publication Date Title
KR101747195B1 (ko) 동화상 예측 부호화 장치, 동화상 예측 부호화 방법, 동화상 예측 부호화 프로그램, 동화상 예측 복호 장치, 동화상 예측 복호 방법, 및 동화상 예측 복호 프로그램
KR101817272B1 (ko) 동화상 예측 부호화 및 복호 장치, 방법, 그리고 프로그램
JP5753595B2 (ja) 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
JP6229023B2 (ja) 動画像予測復号方法及び動画像予測復号装置
JP5977852B2 (ja) 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
JP2018026872A (ja) 動画像予測復号方法及び動画像予測復号装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
GRNT Written decision to grant