KR101686520B1 - 동화상 예측 부호화 방법, 동화상 예측 부호화 장치, 동화상 예측 부호화 프로그램, 동화상 예측 복호 방법, 동화상 예측 복호 장치 및 동화상 예측 복호 프로그램 - Google Patents

동화상 예측 부호화 방법, 동화상 예측 부호화 장치, 동화상 예측 부호화 프로그램, 동화상 예측 복호 방법, 동화상 예측 복호 장치 및 동화상 예측 복호 프로그램 Download PDF

Info

Publication number
KR101686520B1
KR101686520B1 KR1020167021265A KR20167021265A KR101686520B1 KR 101686520 B1 KR101686520 B1 KR 101686520B1 KR 1020167021265 A KR1020167021265 A KR 1020167021265A KR 20167021265 A KR20167021265 A KR 20167021265A KR 101686520 B1 KR101686520 B1 KR 101686520B1
Authority
KR
South Korea
Prior art keywords
image
decoding
information
poc
buffer description
Prior art date
Application number
KR1020167021265A
Other languages
English (en)
Other versions
KR20160099109A (ko
Inventor
충셍 분
요시노리 스즈키
티오 켕 탄
Original Assignee
가부시키가이샤 엔.티.티.도코모
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 엔.티.티.도코모 filed Critical 가부시키가이샤 엔.티.티.도코모
Publication of KR20160099109A publication Critical patent/KR20160099109A/ko
Application granted granted Critical
Publication of KR101686520B1 publication Critical patent/KR101686520B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Abstract

동화상 예측 부호화 장치는, 동화상을 구성하는 복수의 화상을 입력하는 입력 수단; 과거에 부호화한 후에 복원한 화상을 참조 화상으로 하여 대상 화상을 예측 부호화하고 압축 화상 데이터를 생성하는 부호화 수단; 압축 화상 데이터를 복호하고 재생 화상으로 복원하는 복원 수단; 후속 화상의 부호화용의 참조 화상으로서 재생 화상을 저장하는 화상 저장 수단; 및 화상 저장 수단을 제어하는 버퍼 관리 수단을 포함하고, 버퍼 관리 수단은, (대상 화상의 예측 부호화의 전에) 부호화용의 참조 화상에 관한 버퍼 기술 정보 BD[k]를 기초로 화상 저장 수단을 제어하고, 대상 화상과 상이한 화상의 버퍼 기술 정보 BD[m]를 참조하여 버퍼 기술 정보 BD[k]를 부호화하고, 부호화 데이터를 압축 화상 데이터에 부가한다.

Description

동화상 예측 부호화 방법, 동화상 예측 부호화 장치, 동화상 예측 부호화 프로그램, 동화상 예측 복호 방법, 동화상 예측 복호 장치 및 동화상 예측 복호 프로그램 {MOTION VIDEO PREDICT CODING METHOD, MOTION VIDEO PREDICT CODING DEVICE, MOTION VIDEO PREDICT CODING PROGRAM, MOTION VIDEO PREDICT DECODING METHOD, MOTION VIDEO PREDICT DECODING DEVICE, AND MOTION VIDEO PREDICT DECODING PROGRAM}
본 발명은 동화상 예측 부호화 방법, 장치 및 프로그램, 및 동화상 예측 복호 방법, 장치 및 프로그램에 관한 것이며, 특히, 화면 간(間) 예측 부호화에 사용되는 참조 화상의 버퍼 내의 기술(記述)에 관한 것이다.
동화상 데이터의 전송이나 축적을 효율적으로 행하기 위하여, 압축 부호화 기술이 사용된다. 동화상의 경우에는 MPEG1∼4나 H.261∼H.264의 방식이 널리 사용되고 있다.
이들의 부호화 방식에서는, 부호화의 대상이 되는 화상을 복수의 블록으로 분할한 후에 부호화·복호 처리를 행한다. 부호화 효율을 높이기 위해 하기와 같은 예측 부호화 방법이 사용된다. 화면 내(內) 예측 부호화에서는, 대상 블록과 동일 화면 내에 있는 인접하는 기(旣)재생 화상 신호(과거에 압축된 화상 데이터를 복원한 것)를 사용하여 예측 신호를 생성한 후에, 그것을 대상 블록의 신호로부터 감산한 차분(差分) 신호를 부호화한다. 화면 간 예측 부호화에서는, 대상 블록과 상이한 화면 내에 있는 기재생의 화상 신호를 참조하고, 신호의 변위를 검색하고, 그 움직인 만큼을 보상하여 예측 신호를 생성하고, 그것을 대상 블록의 신호로부터 감산한 차분 신호를 부호화한다. 움직임의 검색·보상을 행하기 위해 참조되는 기재생의 화상을 참조 화상이라고 한다.
H.264의 화면 간 예측 부호화에서는, 대상 블록에 대한 예측 신호는, 과거에 부호화한 후에 재생된 복수의 참조 화상을 참조하고, 움직임 검색을 하면서 오차가 가장 적은 화상 신호를 최적인 예측 신호로서 선택한다. 대상 블록의 화소 신호와, 이 최적인 예측 신호와의 차분을 구하고, 이산 코사인 변환을 행하고, 양자화한 후에 엔트로피 부호화한다. 동시에, 대상 블록에 대한 최적인 예측 신호를 어느 참조 화상으로부터 취득하는지에 관한 정보("참조 인덱스"라고 함), 및 그 최적인 예측 신호를 참조 화상의 어느 영역으로부터 취득하는지에 관한 정보("동작 벡터"라고 함)도 함께 부호화한다. H.264에서는, 재생된 화상을 4장 내지 5장 참조 화상으로서 프레임 메모리 또는 재생 화상 버퍼(decoded picture buffer, 이하 "DPB"라고도 함)에 저장되어 있다.
복수 장의 참조 화상의 관리 방법으로서, 재생된 복수의 화상 중 가장 오래된 참조 화상(즉, 시간적으로 가장 오랫동안 버퍼 내에 있는 것)이 점령하는 영역을 버퍼로부터 개방하고, 최근에 복호된 재생 화상을 참조 화상으로서 저장하는 방법이 일반적이다. 한편, 화면 간 예측의 효율을 높일 목적으로, 대상 화상에 최적인 참조 화상을 유연하게 준비하는 참조 화상의 관리 방법은, 후술하는 비특허문헌 1에 개시되어 있다.
비특허문헌 1에 의하면, 각 대상 화상의 부호화 데이터에 대하여, 버퍼에 저장하는 복수의 참조 화상을 기술하는 버퍼 기술 정보(buffer description information)를 부가하여 부호화한다. 이 버퍼 기술 정보에는, 대상 화상 및 그 이후의 화상의 처리(부호화 또는 복호)에 필요로 하는 복수의 참조 화상의 식별자가 기재되어 있다. 부호화 장치 또는 복호 장치에서는, 버퍼 기술 정보에 따라, 지정된 재생 화상을 버퍼(프레임 메모리)에 저장하도록 버퍼가 관리되고 있다. 한편, 지정되어 있지 않은 재생 화상은 버퍼로부터 지워진다.
각 대상 화상에 관한 버퍼 기술 정보는, 각각의 대상 화상의 압축 데이터의 헤더에 부가하여 전송해도 되고, 복수의 대상 화상에 관한 버퍼 기술 정보를 모아서, 공통으로 적용하는 복호 처리의 파라미터를 운반하는 PPS(Picture Parameter Set) 정보의 일부로서 전송해도 된다. 도 15는 PPS 중에 기재되어 있는 버퍼 기술 정보를 나타낸 모식도이다. PPS에는 버퍼 기술 정보 이외의 정보도 있지만, 여기서는 생략한다. PPS 정보(1510) 중에는, 버퍼 기술(buffer description, 이하 "BD"라고도 함)의 개수(1511)와 그 개수만큼의 BD에 관한 정보(1520, 1522, 1524)가 기재되어 있다. 각 BD에 관한 정보(이후 k번째의 BD를 BD[k]라고 함)에는, 버퍼 중에 저장되는 참조 화상의 장수(1530)와, 어느 참조 화상을 저장하는지를 식별하기 위한 정보(1531, 1532)가 기재되어 있다. 참조 화상을 식별하기 위해서는, 그 화상을 외부에 출력하는 순서를 나타내는 정보 POC(Picture Output Count)를 사용한다. 여기서는, POC 번호를 그대로 사용하지 않고, 참조 화상의 POC 번호와 처리 대상 화상의 POC 번호와의 차분인 ΔPOCk,j(k번째의 BD에 있는 j번째의 성분)를 기술한다. 동시에, 그 참조 화상이 다른 화상에 대한 의존도를 나타내는 D_IDk,j 도 함께 전송한다. D_IDk,j의 값이 작을수록, 그 참조 화상은 더 많이 화상의 재생에 필요로 하고, 반대로 이 값이 크면, 다른 화상에 대한 영향이 작다. 최대의 값을 가지는 경우에는 다른 화상의 재생에 필요로 하지 않으므로, 참조 화상으로서 저장할 필요가 없다는 것을 의미한다. 정리하면, 종래 기술에서는, 버퍼 기술 BD[k]를 전송하려면, 참조 화상의 장수를 나타낸 값(#ΔPOCk)과 그 수만큼의 {ΔPOCk,j, D_IDk,j}의 정보를 송신 측에서 수신 측으로 전송하도록 되어 있다.
도 16은 대상 화상과 각 대상 화상을 처리할 때 버퍼 DPB 내에 있는 복수 참조 화상의 상태를 나타낸다. 각 칸에는, 화상을 식별하는 POC 번호가 기입되어 있다. 예를 들면, 행(1610)에서는, POC=32인 대상 화상을 처리(부호화 또는 복호)할 때, DPB에는 POC=18, 20, 22, 24의 참조 화상이 저장되어 있다는 것을 의미한다. 또한, 도 16에 대하여, 종래 기술을 적용하여 구해진 버퍼 기술 정보는 도 17에 나타나 있다. 1704 아래에 있는 각 칸은 ΔPOCk,j의 값을 나타낸다.
Rickard Sjoberg, Jonatan Samuelsson, "Absolute signaling of reference pictures", Joint Collaborative Team on Video Coding, JCTVC-F493, Torino, 2011.
한편, 동화상 부호화·복호에 있어서, 동일한 화상이 복수의 대상 화상에 의해 참조되는 것이 일반적이다. 다시 말해, 동일한 참조 화상은 복수 회(반복) 사용되게 된다. 도 16에서는, 파선(1603)으로 둘러싸인 POC=32의 참조 화상은, POC=28, 26, 30, 25, 27, 29, 31의 대상 화상에 참조되는 것을 알 수 있다. 그 외에, POC=22, 24, 28, 26, 30의 참조 화상도 복수 회 이용되는 것이, 도 16의 1602 아래에 있는 각 칸의 값으로부터 알 수 있다.
그런데, 종래 기술에 근거한 버퍼 기술 정보에서는, 각 BD[k]에 있어서 독립적으로 ΔPOCk,j를 구하므로, 동일한 참조 화상에 대해서도, BD[k]마다 그 ΔPOCk,j를 기술함으로써, 같은 정보임에도 불구하고 반복하여 같은 정보를 송수신해야만 한다. 도 16과 도 17을 예로 설명한다. 파선(1705)으로 둘러싸인 각 칸의 값은, 도 16의 파선(1603)으로 둘러싸인 각 칸의 POC 번호에 대응한다. 파선(1603) 내는 모두 POC=32인 참조 화상으로 되어 있지만, 파선(1705) 내에 있는 ΔPOCk,j의 값은 모두 상이하다. 또한, 이들의 ΔPOCk,j의 값은 크게 다르기 때문에, 많은 비트를 사용하여 부호화할 필요가 있다. 따라서, 종래 기술에 의한 버퍼 기술 정보를 전송하기 위해서는, 많은 비트를 사용하여 같은 정보를 반복 송수신해야만 하는 과제가 있다.
상기 문제점을 해결하기 위하여, 본 발명의 일 측면에 따른 동화상 예측 부호화 장치는, 동화상을 구성하는 복수의 화상을 입력하는 입력 수단;, 대상 화상을, 과거에 부호화한 후에 복호·재생된 복수의 화상을 참조 화상으로 하여 예측 부호화하고, 압축 화상 데이터를 생성하는 부호화 수단; 그 압축 화상 데이터를 복호하고, 재생 화상으로 복원하는 복원 수단; 그 재생 화상을 후속의 화상을 부호화하기 위해 사용되는 참조 화상으로서 1개 이상 저장하는 화상 저장 수단; 및 화상 저장 수단을 제어하는 버퍼 관리 수단을 포함하고, 버퍼 관리 수단은, (대상 화상을 처리하기 전에), 대상 화상을 예측 부호화할 때 사용되는 복수의 참조 화상에 관한 버퍼 기술 정보 BD[k]를 기초로 화상 저장 수단을 제어하면 동시에, 상기 버퍼 기술 정보 BD[k]를, 대상 화상과 상이한 다른 화상의 버퍼 기술 정보 BD[m]를 참조하여, 부호화한 후에 그 부호화 데이터를 압축 화상 데이터에 부가한다.
또한, 본 발명의 일 측면에 따른 동화상 예측 복호 장치는, 동화상을 구성하는 복수의 화상 각각에 대하여, 과거에 복호·재생된 복수의 화상을 참조 화상으로 하여 예측 부호화된 데이터와, 복수의 참조 화상에 관한 버퍼 기술 정보 BD[k]의 부호화 데이터를 포함하는 압축 화상 데이터를 입력하는 입력 수단; 압축 화상 데이터를 복호하고, 재생 화상으로 복원하는 복원 수단; 그 재생 화상을 후속의 화상을 복호하기 위해 사용되는 참조 화상으로서 1개 이상 저장하는 화상 저장 수단; 및 화상 저장 수단을 제어하는 버퍼 관리 수단을 포함하고, 버퍼 관리 수단은, (재생 화상을 복원하기 전에), 그 재생 화상과 상이한 다른 화상의 버퍼 기술 정보 BD[m]를 참조하여, 재생 화상의 버퍼 기술 정보 BD[k]의 부호화 데이터를 복호한 후에, 그 복호된 버퍼 기술 정보 BD[k]를 기초로 화상 저장 수단을 제어한다.
본 발명에 의한 버퍼 기술 정보의 부호화·복호 방법에 의하면, 동일한 참조 화상이 복수의 화상의 예측 부호화·복호 처리에 반복하여 이용되는 성질을 이용하여, 상이한 화상에 사용되는 버퍼 기술 정보 BD[k] 사이의 상관을 이용하여, 중복되는 정보를 삭감함으로써, 효율적으로 버퍼 기술 정보를 부호화할 수 있는 효과가 있다. 이외에, 각 참조 화상 고유의 정보(의존도 정보)는, 참조처의 화상과 동일하므로, 그 정보를 그대로 계승할 수 있어, 새삼 부호화·복호할 필요가 없다는 장점도 있다.
도 1은 본 발명의 실시형태에 의한 동화상 예측 부호화 장치를 나타낸 블록도이다.
도 2는 본 발명의 실시형태에 의한 동화상 예측 복호 장치를 나타낸 블록도이다.
도 3은 본 발명의 실시형태에 의한 동화상 예측 부호화 장치에서의 버퍼 관리 방법을 나타내는 흐름도이다.
도 4는 본 발명의 실시형태에 의한 동화상 예측 복호 장치에서의 버퍼 관리 방법을 나타내는 흐름도이다.
도 5는 본 발명의 실시형태에 사용되는 버퍼 관리 방법에 의해 생성되는 버퍼 기술 정보를 나타낸 표이다.
도 6은 본 발명의 실시형태에 의한 동화상 예측 부호화 장치에서의 버퍼 기술 정보의 부호화 처리를 나타낸 흐름도이다.
도 7은 본 발명의 실시형태에 의한 동화상 예측 복호 장치에서의 버퍼 기술 정보의 복호 처리를 나타낸 흐름도이다.
도 8은 본 발명의 실시형태에 따라서 생성되는 PPS 중에 기재된 버퍼 기술 정보를 나타낸 모식도이다.
도 9는 대상 화상과 각 대상 화상을 처리할 때 버퍼 DPB 내에 있는 복수 참조 화상의 상태를 나타낸 다른 예이다.
도 10은. 도 9의 예에 관한 본 발명의 실시형태에 의한 동화상 예측 부호화 장치에서의 버퍼 기술 정보의 부호화 처리를 나타낸 흐름도이다.
도 11은, 도 9의 예에 관한 본 발명의 실시형태에 의한 동화상 예측 복호 장치에서의 버퍼 기술 정보의 복호 처리를 나타낸 흐름도이다.
도 12는, 도 9의 예에 관한 본 발명의 실시형태에 따라서 생성되는 PPS 중에 기재하는 버퍼 기술 정보를 나타낸 모식도이다.
도 13은 기록 매체에 기록된 프로그램을 실행하기 위한 컴퓨터의 하드웨어 구성을 나타낸 도면이다.
도 14는 기록 매체에 기억된 프로그램을 실행하기 위한 컴퓨터의 사시도이다.
도 15는 종래 기술에 의한 PPS 중에 기재되어 있는 버퍼 기술 정보를 나타낸 모식도이다.
도 16은 대상 화상과 각 대상 화상을 처리할 때 버퍼 DPB 내에 있는 복수 참조 화상의 상태를 나타낸 일례이다.
도 17은 종래 기술에 기초하여, 도 16의 예로부터 구해진 버퍼 기술 정보를 나타낸 표이다.
도 18은 본 발명의 실시형태에 의한 동화상 예측 부호화 장치에서의 버퍼 기술 정보의 POC 번호를 직접 부호화하는 처리를 나타낸 흐름도이다.
도 19는 본 발명의 실시형태에 의한 동화상 예측 복호 장치에서의 버퍼 기술 정보의 POC 번호를 직접 복호하는 처리를 나타낸 흐름도이다.
도 20은 종래 기술에 기초하여, 도 9의 예로부터 구해진 버퍼 기술 정보를 나타낸 표이다.
도 21은 본 발명의 실시형태에 사용되는 버퍼 관리 방법에 기초하여, 도 20의 예로부터 구해진 버퍼 기술 정보를 나타낸 표이다.
도 22는 본 발명의 실시형태에 의한 동화상 예측 부호화 장치에서의 버퍼 기술 정보의 부호화 처리에 관한 도 6의 처리와는 다른 실시 방법을 나타내는 흐름도이다.
도 23은 본 발명의 실시형태에 의한 동화상 예측 복호 장치에서의 버퍼 기술 정보의 복호 처리에 관한 도 7의 처리와는 다른 실시 방법을 나타내는 흐름도이다.
도 24는, 도 22에 기초한 본 발명의 실시형태에 의한 버퍼 기술 정보의 부호화 처리에 의해 생성되는 PPS 중에 기재하는 버퍼 기술 정보를 나타낸 모식도이다.
이하, 본 발명의 실시형태에 대하여, 도 1 내지 도 24를 참조하여 설명한다.
도 1은 본 발명의 실시형태에 의한 동화상 예측 부호화 장치(100)를 나타낸 블록도이다. 도 1에 나타낸 바와 같이, 동화상 예측 부호화 장치(100)는, 입력 단자(101), 블록 분할기(102), 예측 신호 생성기(103), 프레임 메모리(또는 버퍼, DPB라고도 함)(104), 감산기(105), 변환기(106), 양자화기(107), 역(逆)양자화기(108), 역변환기(109), 가산기(110), 엔트로피 부호화기(111), 출력 단자(112), 및 버퍼 관리기(114)를 구비한다. 감산기(105), 변환기(106), 및 양자화기(107)는 특허청구범위에 기재된 "부호화 수단"에 대응한다. 또한, 역양자화기(108), 역변환기(109), 및 가산기(110)는, 특허청구범위에 기재된 "복원 수단"에 대응한다.
이상과 같이 구성된 동화상 예측 부호화 장치(100)에 대하여, 이하 그 동작을 설명한다. 복수 장의 화상으로 이루어지는 동화상의 신호는 입력 단자(101)에 입력된다. 부호화의 대상이 되는 화상은 블록 분할기(102)에 의하여, 복수의 영역으로 분할된다. 본 발명에 의한 실시형태에서는, 8x8의 화소로 이루어지는 블록으로 분할되지만, 그 이외의 블록의 크기 또는 형태로 분할해도 된다. 다음에, 부호화 처리의 대상이 되는 영역(이하 대상 블록이라 함)에 대하여, 예측 신호를 생성한다. 본 발명에 의한 실시형태에서는, 화면 간 예측과 화면 내 예측, 이 2종류의 예측 방법을 이용한다.
화면 간 예측에서는, 과거에 부호화된 후에 복원된 재생 화상을 참조 화상으로 하여, 이 참조 화상으로부터 대상 블록에 대한 오차가 가장 작은 예측 신호를 제공하는 움직임 정보를 구한다. 또한 경우에 따라, 대상 블록을 재분할하고, 재분할된 소(小)영역에 대하여 화면 간 예측 방법을 결정해도 된다. 이 경우, 각종 분할 방법 중에서, 대상 블록 전체에 대하여 가장 효율이 양호한 분할 방법 및 각각의 움직임 정보를 결정한다. 본 발명에 의한 실시형태에서는, 예측 신호 생성기(103)에 의해 행해지고, 대상 블록은 라인(L102), 참조 화상은 라인(L104)을 경유하여 입력된다. 참조 화상으로서는, 과거에 부호화되어 복원된 복수 장의 화상을 참조 화상으로서 사용한다. 자세한 내용은 종래의 기술인 H.264의 방법과 같다. 이와 같이 결정된 움직임 정보 및 소영역의 분할 방법은 라인(L112)을 경유하여 엔트로피 부호화기(111)에 전송되어 부호화된 후에 출력 단자(112)로부터 송출된다. 또한 복수의 참조 화상 중에서, 예측 신호가 어느 참조 화상으로부터 취득되는지에 관한 정보(참조 인덱스, reference index)도 라인(L112)을 경유하여 엔트로피 부호화기(111)에 전송된다. 그리고, 본 발명에 의한 실시형태에서는, 3장 내지 6장의 재생 화상을 프레임 메모리(104)에 저장하고, 참조 화상으로서 사용한다. 예측 신호 생성기(103)에서는, 소영역의 분할 방법 및 각각의 소영역에 대응하는, 참조 화상과 움직임 정보를 기초로 프레임 메모리(104)로부터 참조 화상 신호를 취득하고, 예측 신호를 생성한다. 이와 같이 생성된 화면 간 예측 신호는 라인(L103 경유하여 감산기(105)에 전송된다.
화면 내 예측에서는, 대상 블록에 공간적으로 인접하는 기재생의 화소값을 사용하여 화면 내 예측 신호를 생성한다. 구체적으로는 예측 신호 생성기(103)에서는, 프레임 메모리(104)로부터 동일 화면 내에 있는 기재생의 화소 신호를 취득하고, 이들의 신호를 외삽(外揷)함으로써 화면 내 예측 신호를 생성한다. 외삽의 방법에 관한 정보는 라인(L112)을 경유하여 엔트로피 부호화기(111)에 전송되고 부호화된 후에 출력 단자(112)로부터 송출된다. 이와 같이 생성된 화면 내 예측 신호는 감산기(105)에 전송된다. 예측 신호 생성기(103)에서의 화면 내의 예측 신호 생성 방법은, 종래의 기술인 H.264의 방법과 같다. 전술한 바와 같이 구해진 화면 간 예측 신호와 화면 내 예측 신호에 대하여, 오차가 가장 작은 것이 선택되어, 감산기(105)에 전송된다.
감산기(105)에 의해 대상 블록의 신호(라인(L102) 경유)로부터 예측 신호(라인(L103) 경유)를 감산하여, 잔차(殘差) 신호를 생성한다. 이 잔차 신호는 변환기(106)에 의해 이산 코사인 변환되고, 각 변환계수는 양자화기(107)에 의해 양자 화된다. 마지막으로 엔트로피 부호화기(111)에 의해 양자화된 변환계수를 부호화하여, 예측 방법에 관한 정보와 함께 출력 단자(112)로부터 송출된다.
후속의 대상 블록에 대한 화면 내 예측 또는 화면 간 예측을 행하기 위해, 압축된 대상 블록의 신호는 역처리되어 복원된다. 즉, 양자화된 변환계수는 역양자화기(108)에 의해 역양자화된 후에 역변환기(109)에 의해 역이산 코사인 변환되어, 잔차 신호를 복원한다. 가산기(110)에 의해 복원된 잔차 신호와 라인(L103)으로부터 전송된 예측 신호를 가산하고, 대상 블록의 신호를 재생하고, 프레임 메모리(104)에 저장한다. 본 실시형태에서는 변환기(106)와 역변환기(109)를 사용하고 있지만, 이들 변환기를 대신하는 다른 변환 처리를 사용해도 된다. 경우에 따라서, 변환기(106)와 역변환기(109)가 없어도 된다.
프레임 메모리(104)는 유한한 것이며, 모든 재생 화상을 저장하는 것은 불가능하다. 후속의 화상의 부호화에 사용되는 재생 화상만 프레임 메모리(104)에 저장된다. 이 프레임 메모리(104)를 제어하는 것이 버퍼 관리기(114)다. 입력 단자(113)로부터 각 화상의 출력 순서를 나타내는 정보(POC, picture output count)나 다른 화상을 예측 부호화할 때 그 화상에 대한 의존도를 나타내는 D_IDk,j에 관한 의존도 정보(dependency ID), 그 화상을 부호화하는 타입(화면 내 예측 부호화, 화면 간 예측 부호화)이 입력되고, 이 정보에 기초하여 버퍼 관리기(114)가 동작한다. 버퍼 관리기(114)에 의해 생성된 버퍼 기술 정보나 각 화상의 POC 정보는 라인(L114)을 경유하여 엔트로피 부호화기(111)에 전송되고, 부호화된 후에 압축된 화상 데이터와 함께 출력된다. 본 발명에 의한 버퍼 관리기(114)의 처리 방법에 대해서는 후술한다.
다음에, 본 발명에 의한 동화상 예측 복호 방법에 대하여 설명한다. 도 2는 본 발명의 실시형태에 의한 동화상 예측 복호 장치(200)의 블록도를 나타낸다. 도 2에 나타낸 바와 같이, 동화상 예측 복호 장치(200)는, 입력 단자(201), 데이터 해석기(202), 역양자화기(203), 역변환기(204), 가산기(205), 예측 신호 생성기(208), 프레임 메모리(207), 출력 단자(206), 및 버퍼 관리기(209)를 구비한다. 역양자화기(203)와 역변환기(204)는, 특허청구범위에 기재된 "복원 수단"에 대응한다. 복원 수단으로서는 상기 이외의 것을 사용해도 된다. 또한 역변환기(204)가 없어도 된다.
이상과 같이 구성된 동화상 예측 복호 장치(200)에 대하여, 이하 그 동작을 설명한다. 전술한 방법으로 압축 부호화된 압축 데이터는 입력 단자(201)로부터 입력된다. 이 압축 데이터에는, 화상을 복수의 블록으로 분할된 대상 블록을 예측해 부호화된 잔차 신호 및 예측 신호의 생성에 관련된 정보가 포함되어 있다. 예측 신호의 생성에 관련된 정보로서, 화면 간 예측의 경우에는 블록 분할에 관한 정보(블록의 크기)나, 움직임 정보와 전술한 POC 정보가 포함되고, 화면 내 예측의 경우에는 주변의 기재생의 화소로부터 외삽 방법에 관한 정보가 포함되어 있다. 또한, 압축 데이터에는 프레임 메모리(207)를 제어하기 위한 버퍼 기술 정보도 포함되어 있다.
데이터 해석기(202)는 압축 데이터로부터 대상 블록의 잔차 신호, 예측 신호의 생성에 관련된 정보, 양자화 파라미터, 화상의 POC 정보를 추출한다. 대상 블록의 잔차 신호는 역양자화기(203)에 의해 양자화 파라미터(라인(L202) 경유)를 기초로 역양자화된다. 그 결과는 역변환기(204)에 의해 역이산 코사인 변환된다.
다음에, 라인(L206b)을 경유하여 예측 신호의 생성에 관련된 정보가 예측 신호 생성기(208)에 전송된다. 예측 신호 생성기(208)에서는, 예측 신호의 생성에 관련된 정보에 기초하여, 프레임 메모리(207)에 액세스하여, 복수의 참조 화상 중에서 참조 신호를 취득하고 예측 신호를 생성한다. 이 예측 신호는 라인(L208)을 경유하여 가산기(205)에 전송되고, 복원된 잔차 신호에 가산되고, 대상 블록 신호를 재생하고, 라인(L205)을 경유하여 출력하면 동시에 프레임 메모리(207)에 저장된다.
프레임 메모리(207)에는, 후속의 화상의 복호·재생에 사용되는 재생 화상이 저장되어 있다. 버퍼 관리기(209)는 프레임 메모리(207)를 제어한다. 버퍼 관리기(209)는, 라인(L206a)을 경유하여 전송되는 버퍼 기술 정보와 화상의 부호화 타입에 관한 정보에 기초하여 동작한다. 본 발명에 의한 버퍼 관리기(209)의 제어 방법에 대해서는 후술한다.
다음에, 도 3과 도 4를 사용하여, 버퍼 관리기(도 1의 114와 도 2의 209)의 동작을 설명한다. 본 발명의 실시형태에 의한 버퍼 관리기는, 프레임 메모리(104, 207)에 저장되는 참조 화상을 다음과 같이 관리한다. 즉, 부호화 측에서는, 복수 장의 대상 화상 각각에 대한 버퍼 기술 정보를 함께 생성하고, 공통으로 적용하는 복호 처리의 파라미터를 운반하는 PPS(picture parameter set) 정보의 일부로서 전송한다. 복호 측에서는 PPS 정보로부터 함께 전송되어 오는 버퍼 기술 정보를 추출하고, 각 대상 화상의 압축 데이터에 지정된 하나의 버퍼 기술 정보에 기초하여, 프레임 메모리 내에 있는 참조 화상을 준비한 후에 복호·재생 처리를 행한다. 버퍼 기술 정보에 기재되어 있지 않은 참조 화상은 프레임 메모리로부터 삭제되어, 그 이후 참조 화상으로서 사용할 수 없다.
도 3에는, 본 발명의 실시형태에 의한 동화상 예측 부호화 장치(100)의 버퍼 관리기(114)에서의 버퍼 기술 정보의 부호화 방법을 나타내고, 복수 장의 대상 화상 각각에 대한 버퍼 기술 정보를 함께 부호화하는 방법을 나타낸다. 여기서는, 버퍼 기술을 BD(buffer description)로 나타내고, BD[k]는 k번째 BD에 관한 정보를 나타낸다. 본 발명의 실시형태에 따라서 생성되는 PPS 중에 기재된 버퍼 기술 정보의 모식도는 도 8에 나타낸다.
도 3의 단계 310에 의해 카운터(k)를 영으로 설정한다. 단계 320에서는 PPS 정보에 기재하는 모든 BD의 총수(總數)를 부호화한다. 이것은 도 8의 811에 해당한다. 단계 330에서는 최초의 BD인 BD[0]에 관한 정보를 부호화한다. 도 8의 820은 BD[0]의 정보를 나타낸다. #ΔPOC0(830)는 BD[0]의 성분의 개수, 즉 필요로 하는 참조 화상의 장수를 나타낸다. 여기서는, 대상 화상의 부호화·복호에 필요로 하는 참조 화상뿐 아니라, 대상 화상에 참조되지 않지만, 그보다 앞의 화상의 부호화·복호 처리에 참조되는 참조 화상도 BD[0]의 정보에 넣어 두기 때문에, 이와 동일한 참조 화상의 장수도 #ΔPOC0에 카운팅된다.
이어서, 사용되는 참조 화상에 관한 정보(831, 832, ...)가 기재된다. 본 실시형태에서는 참조 화상에 관한 정보로서 {ΔPOC0,i, D_ID0,i}를 기재한다. i는 BD[0]의 i번째의 성분을 나타낸다. ΔPOC0,i는 i번째의 참조 화상의 POC 번호와 BD[0]을 사용하는 대상 화상의 POC 번호의 차분값이며, D_ID0,i는 i번째의 참조 화상의 의존도 정보이다.
BD[0] 이외의 BD[k]에 관한 정보는, 그보다 전에 출현한 버퍼 정보 BD[m]를 참조하여 예측 부호화한다(단계 360). 본 실시형태에서는, m=k-1을 사용하지만, m<k 이면, 어떤 BD[m]를 참조해도 된다. k>0의 BD[k]에 포함되는 정보는 도 8의 822, 824에 예시되어 있다. 그 내용으로서, BD[k]의 성분의 개수(즉 대상 화상 및 그 이후의 화상에 필요로 하는 참조 화상의 장수에 상당) #ΔPOCk(833, 839), ΔBDk(834, 840), Δidxk,i(835, 836, 837, 841, 842, 843, 844), 또는{Δidxk,i, D_IDk,i}(838)가 기재된다. 이들 송신 데이터(신택스, syntax)의 상세한 것에 대해서는 후술한다. 모든 BD[k]가 부호화된 후에, 그것을 PPS 정보의 일부로서 다른 압축 데이터와 함께 송출한다. 각 화상을 부호화할 때, 도 1의 입력 단자(113)로부터 지정된 하나의 버퍼 기술 정보 BD[k]에 기초하여, 버퍼 관리기(114)가 프레임 메모리(104) 내에 있는 참조 화상을 준비한 후에 부호화 처리를 행한다. 수신 측에서, 각 화상의 압축 데이터의 헤더에 부가되는 버퍼 기술의 식별자(k)에 기초하여 버퍼 관리기(209)가 프레임 메모리(207) 내에 있는 참조 화상을 준비한 후에 복호 처리를 행한다.
도 4는 본 발명의 실시형태에 의한 동화상 예측 복호 장치(200)의 버퍼 관리기(209)에서의 버퍼 기술 정보의 복호 방법을 나타내는 흐름도이다. 데이터 해석기(202)는 PPS 정보 중에서 버퍼 기술 정보에 관한 데이터를 추출하고, 버퍼 관리기(209)에 입력한다. 단계 420에서는 먼저 BD의 개수를 복호한다. 단계 430에서는 최초의 BD인 BD[0]에 관한 정보를 복호한다. k>0의 BD[k]에 관한 정보는, 그보다 전에 출현한 버퍼 기술 BD[m]를 참조로 예측 복호한다(단계 460). 전술한 바와 같이, 여기서는 m=k-1로서 사용한다. 모든 BD[k]가 복호된 버퍼 기술 정보는 버퍼 관리기(209)에 저장된다. 각 화상을 복호할 때, 그 압축 데이터에 지정된 하나의 버퍼 기술 정보 BD[k]에 기초하여, 버퍼 관리기(209)가 프레임 메모리(207) 내에 있는 참조 화상을 준비한 후에 복호·재생 처리를 행한다.
도 8에 나타나 있는 버퍼 기술(BD[k], k>0)의 전송 방법은 가장 효율적이다. 본 실시형태에 의하면, 대상이 되는 BD[k]와 그 예측에 사용되는 BD[m]은 다음과 같은 관계에 있다.
(a) BD[k]에 기재되어 있는 참조 화상은, 적어도 일부가 이미 BD[m]에 기재되어 있는 것이다.
(b) 상기 (a)에 더하여 새롭게 부호화·복호된 N장의 화상이 "추가 참조 화상"으로서 BD[k]에 기재되어 있다. 여기에 N는 0 이상의 정수(整數)다.
또한, 가장 바람직한 형태로서,
(c) m=(k-1), 즉 버퍼 기술 정보 중에 하나 앞의 BD를 예측에 사용한다.
(d) 상기 (b)에 기재된 추가 참조 화상은 1장뿐(N=1)이다. 또한, 이 1장의 추가 참조 화상은 BD[m]을 사용한 경우에 생성된 화상인 것이 바람직하다.
도 16을 사용하여 전술한 관계를 설명한다. 도 16의 난(欄)(1601)은 부호화·복호 처리의 대상이 되는 대상 화상의 POC 번호를 나타낸다. 위에서부터 차례로, 부호화·복호 처리의 순서로 정렬되어 있다. 즉 POC=32의 화상을 부호화·복호한 후에, POC=28의 화상이 부호화·복호된다. 또한 각 대상 화상의 부호화·복호 처리를 행할 때 사용되는 참조 화상(복수)의 POC 번호는 난(1602) 아래에 있는 각 칸에 기입되어 있다.
POC=32인 대상 화상(1610)을 부호화·복호/재생하기 위해 사용되는 참조 화상에 관한 정보는, BD[0]로서 도 8의 820의 신택스를 이용하여 부호화된다. 이 경우, #ΔPOC0=4이며, POC 번호 18, 20, 22, 24의 참조 화상은 ΔPOC0,i로서 부호화된다. ΔPOC0,i의 값은 도 17의 행(行)(1710)에 있는 i=0∼3의 값이며, 참조 화상의 POC 번호와 대상 화상의 POC 번호의 차로부터 구해진다.
도 16의 행(1611∼1617)에 기재되어 있는 참조 화상에 관한 정보는, BD[k], k>0로서, 도 8의 822, 824의 신택스를 이용하여 부호화된다. 행(1611)은 k=1에 대응하고, POC=28의 대상 화상에 사용되는 참조 화상의 POC 번호에 관한 정보를 나타낸다. 이들로부터의 POC 번호(22, 24, 32)는, 일단 ΔPOC1,i로 환산된다. 그 값은 도 17의 행(1711)에 있는 i=0∼2의 값으로 주어진다. 본 발명에 의한 실시형태에서는, 이들 ΔPOC1,i의 값은 ΔPOC0,i(행 1710에 있는 i=0∼3의 값)를 참조하여 예측 부호화한다.
본 발명에 의한 버퍼 기술 정보의 예측 부호화 방법을 설명한다. 대상이 되는 버퍼 기술 정보를 BD[k]로 하고, BD[k]를 예측하기 위한 버퍼 기술 정보를 BD[m]로 한다. BD[k]의 정보를 이용하는 대상 화상의 POC 번호를 POCcurrent라고 하고, BD[m]의 정보를 이용하는 대상 화상의 POC 번호를 POCprevious라고 한다. 또한 BD[k]의 i번째의 참조 화상의 POC 번호를 POCk,i, BD[m]의 j번째의 참조 화상의 POC 번호를 POCm,j라고 한다. 이 경우 ΔPOCk,i, ΔPOCm,j는 다음과 같이 주어진다.
ΔPOCk,i=POCk,i-POCcurrent (1)
ΔPOCm,j=POCm,j-POCprevious (2)
ΔPOCk,i는 ΔPOCm,j를 예측값으로 하여 부호화된다. 즉,
ΔPOCk,i-ΔPOCm,j=(POCk,i-POCcurrent)-(POCm,j-POCprevious)
=(POCk,i-POCm,j)＋(POCprevious-POCcurrent)
=(POCk,i-POCm,j)＋ΔBDk (3)
여기서, 전술한 (a)의 조건이 충족되어 있는 경우에는 POCm,j는 BD[m]에 있으므로, (POCk,i-POCm,j)가 영이 되는 ΔPOCm,j에 대한 식별자(또는 인덱스)를 부호화한다. 본 실시형태에서는, 다음에, 정의되는 식별자 Δidxk,i를 사용한다.
Δidxk,i=offsetk,i-offsetk,i-1 (4)
여기서는 offsetk,i=j-i, offsetk ,-1=0이다. 또한, 상기 식(3)에 정의되어 있다 ΔBDk는, (i, j)의 값에 관계없이, 일정하기 때문에,
ΔBDk=POCprevious-POCcurrent (5)
는 BD[k]에 1회만 기재하면 된다.
한편, (POCk,i-POCm,j)이 영이 되는 POCm,j가 BD[m]에 존재하지 않는 경우가 있다. 예로서, 도 16의 성분 POC1 ,2=32(칸 1620)는 행(1610)의 참조 화상으로서 나타나 있지 않다. 이 경우, ΔPOCk,i의 값을 그대로 부호화해도 되지만, 전술한 (d)의 조건을 이용하면 ΔPOCk,i=ΔBDk가 되고, 이 값은 이미 BD[k]에 기재되기 때문에 다시 부호화할 필요가 없다. BD[m]에 같은 POC 번호가 없음을 나타내기 위해서는, j의 값으로서 BD[m]의 성분의 개수의 값(즉, #ΔPOCm) 또는 그 이상의 값을 설정한다. 후(後)복호할 때 j의 값을 사용하여 ΔPOCk,i의 복호 방법에 대해서는 후술한다.
각 참조 화상이 가지는 의존도 정보 D_IDk,i에 대하여는, 그 참조 화상이 예측에 사용되는 BD[m]에 존재하는 경우, 의존도 정보 D_IDk,i는 D_IDm,j와 동일하므로 부호화할 필요가 없다. 한편, 상기 참조 화상이 예측에 사용되는 BD[m]에 존재하지 않는 경우에는, 의존도 정보 D_IDk,i를 부호화한다.
이상의 사고에 기초하여, 도 8의 822, 824의 내용(신택스, syntax)이 구성된다. 다음에, 이 개념에 기초하여 도 3의 블록 360과 도 4의 블록 460의 처리를 설명한다.
도 6은, 본 발명의 실시형태에 의한 동화상 예측 부호화 장치(100)에서의 버퍼 기술 정보의 부호화 처리(도 3의 블록 360의 처리)를 나타낸 흐름도이다. 이것은, 도 8에서의 k>0의 경우의 BD[k]의 부호화 처리에 해당한다. 단계 610에서는, BD[k]의 성분의 개수, 즉 기술되는 참조 화상의 장수 #ΔPOCk를 부호화한다. 다음에 ΔBDk를 산출(단계 620)한 다음, 그것을 부호화(단계 630)한다. 다음에, BD[k]의 각 성분에 대하여 하기의 처리를 행한다. 단계 640에서는, BD[m](m=k-1) 중에서 ΔPOCk,i와 동일한 참조 화상을 공유하는 ΔPOCm,j(즉 POCm,j=POCk,i)가 존재하는지의 여부를 검출한다. 단계 645에서 존재하는 것으로 판정한 경우에는, 단계 650으로 진행하고, 상기 식 (4)에 따라 Δidxk,i의 값을 구한 후에 그것을 부호화한다. 단계 645)에서 존재하지 않은 것으로 판정한 경우에는, 단계 655로 진행한다. 단계 655에서는 값 j에 BD[m]의 성분의 개수(#ΔPOCm)의 값을 설정한다. 그보다 큰 값이어도 된다. 단계 660에서는 상기 식 (4)에 따라 Δidxk,i의 값을 구한 후에 그것을 부호화한다. 단계 670에서는 상기 참조 화상의 의존도 정보 D_IDk,i를 부호화한다. 전술한 각 값은 2진 부호로 변환한 후에 산술 부호화를 행하여 부호화하지만, 그 외의 엔트로피 부호화 방법을 이용해도 된다. 상기한 처리는 BD[k]의 최후의 성분까지 반복한다.
도 17에 나타낸 종래 기술에 의한 버퍼 기술 정보를, 전술한 본 발명에 의한 방법으로 처리한 결과는 도 5에 나타낸다. 난(501)은 각 BD[k]의 식별자를 나타내고, 본 실시형태에서는, 명시적으로 부호화하지 않는다. 난(502)은 각 BD[k]의 성분의 개수, 504는 BD[k]의 참조 화상을 기술하기 위한 데이터를 나타낸다. 행(510)은 BD[0]에 상당하고, ΔPOCk,i의 값으로 부호화한다. 행(511) 이후는, Δidxk,i의 값을 나타내고 있다. 난(505)은 예측에 사용하는 BD[m]의 식별자를 나타내지만, 본 실시형태에서는, m=k-1로 하고 있으므로, 부호화할 필요가 없다. 난(506)은 ΔBDk를 나타낸다. 또한, 칸 520∼523의 각 성분에 대하여는, 예측에 사용하는 BD[m]에 동일한 참조 화상이 없는 경우에 해당하고, Δidxk,i에 더하여, D_IDk,i를 부호화할 필요가 있지만, 도 5에는 생략되어 있다. 도 5의 504의 아래에 있는 각 칸이 나타내는 값은 거의 "0"으로, 도 17의 종래 기술의 정보와 비교하여 값이 작고, 동적 범위(dynamic range)가 작으므로, 효율적으로 부호화할 수 있는 효과가 있다. 또한, 종래 기술에서는 모두 성분의 D_IDk,i를 부호화하지만, 본 발명에 의한 방법에서는, 한정된 성분에 대해서만 D_IDk,i를 부호화하므로, 더욱 부호량을 감소시킬 수 있다.
도 7은, 본 발명의 실시형태에 의한 동화상 예측 복호 장치(200)에서의 버퍼 기술 정보의 복호 처리(도 4의 블록 460의 처리)를 나타내는 흐름도이다. 이것은, 도 8에서의 k>0 경우의 BD[k]의 복호 처리에 해당한다. 단계 710에서는 BD[k]의 성분의 개수, 즉 기술하는 참조 화상의 장수 #ΔPOCk를 복호한다. 단계 730에서는 ΔBDk를 복호한다. 다음에, BD[k]의 각 성분에 대하여 하기의 복호 처리를 행한다. 단계 740에서는 Δidxk,i를 복호한 후에, 다음의 식을 이용하여 인덱스 j의 값을 구한다(단계 745).
j=i＋Δidxk,i＋offsetk,i-1 단, offsetk,-1=0 (6)
이 인덱스 j를 사용하여, 단계 750에서 복호의 대상이 되는 ΔPOCk,i의 참조 값이 되는 ΔPOCm,j가 BD[m]에 존재하는지의 여부를 판정한다. 여기서는, j< BD[m]의 성분의 개수(#ΔPOCm)이면 ΔPOCm,j가 존재하고, j≥(#ΔPOCm)이면, ΔPOCm,j는 존재하지 않는다. 단계 750에서 존재하는 것으로 판정한 경우에는 단계 760으로 진행하고, ΔPOCk,i의 값을 구한다. 의존도 정보 D_IDk,i는 ΔPOCm,j가 가지는 것을 그대로 복제할 뿐이다. 의존도 정보 D_IDk,i를 부호화할 필요가 없는 것에 주의해 주기 바란다. 단계 750에서 존재하지 않은 것으로 판정한 경우에는 단계 765로 진행한다. 여기서는, 의존도 정보 D_IDk,i를 복호하고, 단계 770에서 ΔPOCk,i의 값으로서 ΔBDk를 대입한다. 상기한 처리는 BD[k]의 최후의 성분까지 반복한다.
이와 같이 하여, 본 발명에 의한 버퍼 기술 정보의 부호화·복호 방법에서는, 참조 화상이 반복하여 이용되는 성질을 이용하여, 상이한 화상에 사용되는 버퍼 기술 정보 BD[k] 사이의 상관을 이용하여, 중복되는 정보를 콤팩트하게 함으로써, 효율적으로 버퍼 기술 정보를 부호화할 수 있다.
도 16에 나타낸 바와 같이, 버퍼에 관한 정보는 대상 화상의 부호화·복호의 차례대로 정리되어 있다. 그러므로, 전술한 (a)∼(d)의 관계가 성립하고, 전술한 실시형태에 의해 가장 효율이 양호한 방법으로 버퍼 기술 정보를 부호화할 수 있다. 한편, 버퍼 기술의 차례는 임의로 정렬해도 되고, 도 16에 나타낸 차례와 다른 순서로 각 BD[k]를 기재해도 상관없다. 이 경우에 대응한 본 발명에 의한 더욱 범용성이 있는 실시형태를 설명한다.
도 9는 도 16과 약간 상이한 순서로 버퍼의 정보가 기재되어 있다. 도 16과 다른 점은, POC=25(913)에 관한 버퍼 정보는 POC=30(914)보다 먼저 기술되어 있다. 단, 이용되고 있는 참조 화상은 도 16의 경우와 같다. 여기서는, POC=25(913)의 대상 화상은, POC=22, 24, 32, 28, 26, 30의 참조 화상을 이용하지만, 그 하나 위에 있는 POC=26(912)의 대상 화상은 POC=22, 24, 32, 28을 이용한다. 행(913)의 버퍼 기술 정보 BD[k]를 예측하기 위하여, 행(912)의 버퍼 기술 정보 BD[m]를 사용하면, BD[k]에 속하는 POC=30의 성분(963)은 BD[m]에 나타나 있지 않고, BD[m]의 이용에 의해 생성되는 것은 아니다. 즉, 전술한 (c)의 조건(m=k-1)을 사용하면, 전술한 (d)가 충족되지 않은 것이 된다.
이 과제를 해결하기 위하여, 전술한 (c)의 조건을 완화시켜, BD[m]를 자유롭게 선택할 수 있도록 하고, 그 대신에 예측에 사용하는 BD[m]을 식별하기 위한 인덱스 m을 부호화한다. 그러면, 행(913)의 버퍼 기술 정보 BD[k]를 예측하기 위하여, 행(914)의 버퍼 기술 정보를 BD[m]으로서 사용하면, (인덱스 m의 부호화와 복호를 추가하는 것을 전제로) 도 6과 도 7을 그대로 적용할 수 있다.
또 다른 방법으로서, 예측에 사용되는 BD[m]에 없는 추가 참조 화상에 대하여는, 전술한 식 (1)에서의 POC 번호 ΔPOCk,i를 그대로 부호화해도 되고, 또는ΔPOCk,i로부터 ΔBDk를 뺀 값을 IBDRk,i로서 부호화해도 된다.
IBDRk,i=ΔPOCk,i-ΔBDk (7)
상기 식 (7)을 전개하면 (POCk,i-POCprevious)과 같다. 전술한 본 발명에 의한 더욱 범용성이 있는 실시형태에 의해 생성되는 PPS 중에 기재된 버퍼 기술 정보의 모식도는 도 12에 나타나 있다. 도 12의 1211은 도 8의 811, 1220은 820과 같다. k>0의 BD[k]는, 1222나 1224에 나타나 있는 신택스로 전송된다. 이 경우의 신택스는, BD[k]의 성분의 개수(즉 대상 화상 및 그 이후의 화상에 필요로 하는 참조 화상의 장수에 상당) #ΔPOCk(1233, 1240), 예측에 사용하는 버퍼 기술 정보의 식별자 mk(1234, 1241), ΔBDk(1235, 1242), Δidxk,i(1236, 1237, 1243, 1244), 또는 {Δidxk,i, D_IDk,i, IBDRk,i}(1238, 1239, 1245, 1246)로 구성되어 있다.
도 12에 나타낸 버퍼 기술 정보는 다음과 같이 부호화·복호된다. 도 10은, 본 발명의 실시형태에 의한 동화상 예측 부호화 장치(100)에서의, 더욱 범용성이 있는 버퍼 기술 정보의 부호화 처리(도 3의 블록 360의 처리)를 나타낸 흐름도이다. 이것은, 도 12에서의 k>0 경우의 BD[k]의 부호화 처리에 해당한다. 단계 1010에서는, BD[k]의 성분의 개수, 즉 기술하는 참조 화상의 장수 #ΔPOCk를 부호화한다. 다음에, 예측에 사용하는 참조용의 버퍼 기술 정보 BD[m]를 결정하고, 그 식별자 mk를 특정하는 동시에 ΔBDk를 산출(단계 1020)한다. 단계 1030에서는, mk와 ΔBDk를 부호화한다. 다음에, BD[k]의 각 성분에 대하여 하기의 처리를 행한다. 단계 1040에서는, BD[mk] 중에서 ΔPOCk,i와 동일한 참조 화상을 공유하는, ΔPOCm,j(즉 POCm,j=POCk,i)가 존재하는지의 여부를 검출한다. 단계 1045에서 존재하는 것으로 판정한 경우에는, 단계 1050으로 진행하고, 전술한 식 (4)에 따라, Δidxk,i의 값을 구한 후에 그것을 부호화한다. 단계 1045에서 존재하지 않은 것으로 판정한 경우에는, 단계 1055로 진행한다. 단계 1055에서는, 인덱스 j에 BD[m]의 성분의 개수(#ΔPOCm)의 값 이상의 값을 설정한다. 이 경우(BD[m]에 없다) 추가 참조 화상은 1장 이상 있을 가능성에 대응하기 위하여, 아직 설정에 사용되지 않은 값을 인덱스 j의 값으로서 설정한다. 단계 1060에서는, 전술한 식 (4)에 따라, Δidxk,i의 값을 구한 후에 그것을 부호화한다. 단계 1070에서는, 상기 식 (7)에 따라 IBDRk,i의 값을 구한 후에 그 참조 화상의 의존도 정보 D_IDk,i와 함께 부호화한다. 전술한 각 값은, 2진 부호로 변환한 다음 산출 부호화를 행하여 부호화하지만, 그 외의 엔트로피 부호화 방법을 이용해도 된다. 상기한 처리는 BD[k]의 최후의 성분까지 반복한다.
도 9의 버퍼 기술 정보를, 도 20에 나타낸 ΔPOCk,i로 일단 환산한 후에, 전술한 범용성이 있는 방법으로 처리한 결과는 도 21에 나타낸다. 난 941은 각 BD[k]의 식별자를 나타낸다. 난 942는 각 BD[k]의 성분의 개수, 난 944는 BD[k]의 참조 화상을 기술하기 위한 데이터를 나타낸다. 행 950은 BD[0]에 상당하고, ΔPOCk,i의 값으로 부호화한다. 행 951 이후는, Δidxk,i 또는 {Δidxk,i, D_IDk,i, IBDRk,i}로 부호화한다(도 21에서는 D_IDk,i를 생략). 난 945는 예측에 사용하는 BD[m]의 식별자 mk를 나타낸다. 난 946은 ΔBDk를 나타낸다. 또한, 칸 980∼983의 각 성분에 대해서는, 예측에 사용하는 BD[m]에 동일한 참조 화상이 없는 경우에 해당하고, {Δidxk,i, D_IDk,i, IBDRk,i}를 부호화하는 경우에 상당한다. 도 21의 944 아래에 있는 각 칸의 나타내는 값은 거의 "0"으로, 도 20의 종래 기술의 정보와 비교하여 값이 작고, 동적 범위가 작으므로, 효율적으로 부호화할 수 있는 효과가 있다.
도 11은 본 발명의 실시형태에 의한 동화상 예측 복호 장치(200)에서의, 더욱 범용성이 있는 버퍼 기술 정보의 복호 처리(도 4의 블록 460의 처리) 나타내는 흐름도이다. 이것은, 도 12에서의 k>0 경우의 BD[k]의 복호 처리에 해당한다. 단계 1110에서는 BD[k]의 성분의 개수, 즉 기술하는 참조 화상의 장수 #ΔPOCk를 복호한다. 단계 1130에서는 mk와 ΔBDk를 복호한다. 다음에, BD[k]의 각 성분에 대하여 하기의 복호 처리를 행한다. 단계 1140에서는 Δidxk,i를 복호한 후에, 상기 식 (6)을 사용하여 인덱스 j의 값을 구한다(단계 1145).
이 인덱스 j를 사용하여, 단계 1150에서 복호의 대상이 되는 ΔPOCk,i의 참조 값이 되는, ΔPOCm,j가 BD[m]에 존재하는지의 여부를 판정한다. 여기서는, j< BD[m]의 성분의 개수(#ΔPOCm)이면 ΔPOCm,j가 존재하고, j≥(#ΔPOCm)이면, ΔPOCm,j는 존재하지 않는다. 단계 1150에서 존재하지 하는 것으로 판정한 경우에는 단계 1160으로 진행하고, ΔPOCk,i의 값을 구한다. 의존도 정보 D_IDk,i는, ΔPOCm,j가 가지는 것을 그대로 복제하는 것만으로 충분하다. 단계 1150에서 존재하지 않은 것으로 판정한 경우에는 단계 1165로 진행한다. 여기서는, IBDRk,i와 의존도 정보 D_IDk,i를 복호하고, 단계 1170에 의해 ΔPOCk,i의 값을 산출한다. 상기한 처리는 BD[k]의 최후의 성분까지 반복한다.
이와 같이 하여, 본 발명에 의한 버퍼 기술 정보의 부호화·복호 방법에서는, 참조 화상이 반복하여 이용되는 성질을 이용하여, 상이한 화상에 사용되는 버퍼 기술 정보 BD[k] 사이의 상관을 이용하여, 중복되는 정보를 콤팩트하게 함으로써, 효율적으로 버퍼 기술 정보를 부호화할 수 있다. 또한, 버퍼 기술 정보의 상호 참조가 자유롭게 행해지는 경우에도 효율적으로 부호화할 수 있는 효과가 있다.
도 6과 도 10의 부호화 처리나, 도 7과 도 11의 복호 처리는, 별개로 설명하였으나, 이 두 실시형태를 조합하여 사용해도 된다. 복호 처리에서는, 도 7의 단계 765, 770과 도 11의 단계 1165, 1170이 상이하지만, 조합하여 사용하는 경우에는, 이들의 처리를 식별하기 위한 정보(1비트)를 추가하여 부호화하면 된다.
또한, 도 5의 행 512, 513, 514, 517에서 볼 수 있듯이, Δidxk,i의 값은 모두 영(zero)이므로, 이들 값을 개별적으로 부호화하는 대신에, 하나의 신호(플래그)로 나타낼 수도 있다.
또한, 상기한 실시형태에서는, 버퍼 기술 정보에 기재되어 있는 참조 화상의 POC 번호는, 일단 ΔPOCk,i로 환산한 다음, 본 발명에 의한 버퍼 기술 정보를 부호화·복호하지만, 본 발명에 의한 방법은 POC 번호 자체로 행해도 된다. 즉, 대상이 되는 버퍼 기술 정보 BD[k]에 있는 POC 번호가, 예측에 사용하는 BD[m]에 있는 경우에는, 그 POC 번호를 가리키는 Δidxk,i를 부호화한다. 원하는 POC 번호가 BD[m]에 없는 경우에는, 전술한 식 (1)에서 구해지는 ΔPOCk,i를 IBDRk,i로서 부호화한다. 전술한 식 (1) 대신에 식(7)을 사용해도 된다. 이 경우, 도 3의 블록 360의 처리는, 도 18에 표시되어 있고, 도 4의 블록(460)의 처리는, 도 19에 나타나 있다. 도 18은 도 10과, 도 19는 도 11과, 각각 거의 동일한 처리가 행해지고 있고, 도 18, 도 19에서는, 대응하는 도 10, 도 11의 처리 단계의 단계 번호에 "S"를 붙인 단계 번호를 사용하고 있다. 단, ΔPOC 대신에 POC에 대해 처리가 행해져 있다. 또한, 이 경우 ΔBDk는 제로가 되므로, 그것을 부호화·복호할 필요가 없다. 그리고, m=(k-1)로 고정한 경우(즉 직전의 BD[m]로부터 예측하는 경우)는, mk도 부호화·복호할 필요가 없다.
그리고, 상기한 실시형태에 있어서, 대상이 되는 버퍼 기술 BD[k]의 i 성분을 bdk,i로 하고, 예측에 사용하는 BD[m]의 성분을 bdm,j로 하면, Δidxk,i는, bdk,i에서 본 bdm,j의 상대적인 위치(인덱스, 어드레스)로 생각할 수 있다. 즉, bdk,i 및 bdm,j를 정보 저장고라고 생각하면, 그 정보 저장고 속에 POC 번호를 넣어도 되고, ΔPOC의 값을 넣어도 된다. 이 경우, Δidxk,i는 정보 저장고 간(이들 내용물에는 공통으로 사용되고 있는 POC 번호가 있을 것이 조건임)의 상대적인 위치로 취급이 된다. 다시 말해, 본 발명에 의한 버퍼 기술은, 대상 화상의 버퍼 정보를 저장하는 정보 저장고와 대상 화상의 참조가 되는 버퍼 정보를 저장하는 정보 저장고와의 위치 관계를 기술하는 것이며, 지시되고 있는 정보 저장고의 위치(j)와 내용물이 존재하고 있는 정보 저장고의 개수(#ΔPOCm 또는 #POCm)를 비교함으로써, bdk,i의 내용물의 재생 방법을 전환하는 방법을 제공한다.
본 발명에 의한 버퍼 기술 정보의 부호화·복호 방법에 대하여는, 다음과 같은 실시형태도 있다. 본 실시형태는, 도 6과 도 7에 나타낸 실시형태와 동일하게, 전술한 조건 (c)와 (d)를 전제로 하고 있다. 즉, 대상이 되는 버퍼 기술 정보 BD[k]를 예측하기 위해 사용되는 버퍼 기술 정보를 BD[m]로 하여, 그 하나 앞에 있는 BD를 사용한다. 즉 m=(k-1)이다. 또한, BD[k]에 있는 추가 참조 화상은 한 장뿐이므로, 이 한 장의 추가 참조 화상은 BD[m]를 사용한 경우에 생성된 것이다.
이들 조건 하에서, 본 실시형태는, 대상이 되는 버퍼 기술 BD[k]의 정보를 부호화할 때, 예측에 사용되는 BD[m] 에, BD[k]의 성분인 ΔPOCk,i와 동일한 참조 화상을 공유하는, ΔPOCm,j(즉 POCm,j=POCk,i)가 "존재하는지의 여부"를 식별하는 것이다. 그런데, 전술한 실시형태에서는 "상대적인 위치 Δidxk,i"를 사용하였지만, 본 실시형태에서는, 단지 "있는지의 여부"를 나타낸 플래그를 사용한다. 이 플래그로서, 여기서는 ibd_flagk,j라고 기재한다. 플래그 ibd_flagk,j가 "있다"를 나타내는 경우에는, 이미 버퍼에 저장되어 있는 j번째의 화상은 계속 참조 화상으로서 사용된다. 한편, 플래그 ibd_flagk,j가 "없다"를 나타낸 경우에는, 지정된 다른 화상이 새로운 참조 화상(추가 참조 화상)으로서 버퍼에 저장된다.
또한, 조건 (c)와 (d) 하에서는, BD[k]의 개수는, 많아도 BD[m]의 개수보다 1개 많기 때문에, 즉 항상 #ΔPOCk=#ΔPOCm＋1로 되므로, #ΔPOCk를 전송할 필요가 없다. 그러므로, 본 실시형태에서는, 더욱 부호량의 삭감이 가능하다.
상기한 개념에 근거한 본 실시형태에 의한 버퍼 기술 정보의 부호화 처리는 도 22에 나타나 있다. 이것은, 도 3의 단계 360의 처리가 된다. 단계 2210에서는, ΔPOCk의 개수와 ΔPOCm의 개수에 관한 정보를 취득하고, 후속의 판정을 위해 사용한다. 단계 2220에서는, 식 (5)로 주어진 ΔBDk를 구하고, ΔBDk를 부호화한다. 즉, ΔBDk는, BD[k]의 정보를 이용하는 대상 화상의 POC 번호 POCcurrent와, BD[k]의 예측에 사용되는 BD[m]의 정보를 이용하는 화상의 POC 번호 POCprevious 와의 차로서 구해진다. 단계 2230에서는, BD[k]의 카운터 i와 BD[m]의 카운터 j를 영으로 초기화한다.
다음에, 단계 2240에서 2265에 걸쳐, ΔPOCm의 개수분의 BD[m]의 성분을 조사한다. 구체적으로는, 단계 2245의 조건이 충족된 경우에는 단계 2250으로, 그렇지 않은 경우에는 단계 2260으로 진행한다. 그런데, 단계 2245의 조건은 식 (3)에 의해 주어지고, (POCk,i=POCm,j)의 경우에 해당한다. 단계 2250에서는, 상기 조건이 충족되는 것을 나타내기 위해, ibd_flagk,j를 1로서 부호화한다. 동시에 BD[k]의 카운터 i를 증분한다. 한편, 단계 2260에서는, 그 조건이 충족되지 않은 것을 나타내기 위해, ibd_flagk,j를 0으로서 부호화한다. 단계 2265에서는, 다음의 BD[m]를 조사하기 위해 두고 카운트 j를 증분한다.
단계 2240의 조건이 충족되지 않는 경우, 즉 BD[m]의 전(全) 성분의 조사를 끝낸 경우에는, 단계 2270으로 진행한다. 여기서는, 대상이 되는 버퍼 기술 정보 BD[k]의 카운터 i와 ΔPOCk의 개수를 비교한다. BD[k]의 카운터 i는 0에서부터 계산하므로, 그 최대값은 (ΔPOCk의 개수-1)이 된다. 단계 2270에서 (i=ΔPOCk의 개수)라는 조건을 충족하면, 카운터 i는 BD[k]의 성분의 개수를 초과하게 되어, ibd_flagk,j를 0으로서 부호화하고, 처리를 종료한다. 한편, 단계 2270)에서 (i=ΔPOCk의 개수)라는 조건이 충족되지 않은 경우에는, BD[m]에 없는 추가 참조 화상을 버퍼에 저장하는 것을 의미한다. 그것에 관한 정보를 부호화하므로, 단계 2290에서는 ibd_flagk,j를 1로서 부호화하고, 단계 2295에서는, 그 추가 참조 화상의 의존도 정보 D_IDk,i를 부호화한다. 그리고, 도 6에서 설명한 바와 같이 그 추가 참조 화상의 ΔPOCk,i의 값은 이므로, ΔBDbk이므로, 부호화할 필요가 없다.
이와 같이 생성된 PPS 중에 기재하는 버퍼 기술 정보의 데이터 배열은 도 24에 나타나 있다. 도 24는 도 8과 거의 동일하다. 2411로 나타나 있는 "BD의 개수"는 도 8의 811과 동일하고, 최초의 BD인 BD[0]에 관한 정보 2420은 도 8의 820과 동일하고, 각각, 도 3의 단계 320과 330에서 생성된다.
k>0의 BD[k]에 포함되는 정보는 도 24의 2422, 2424에 예시되어 있다. 그 내용으로서, ΔBDk(2434, 2440), ibd_flagk,j(2435, 2436, 2437, 2441, 2442, 2443, 2444), 또는 {ibd_flagk,j, D_IDk,i}(2438)가 기재되어 있다. 이 데이터 구조(신택스)는 도 8과 유사하며, k>0의 BD[k]의 개수인 #ΔPOCk(833, 839)는 불필요하다는 것에 주의하기 바란다. ibd_flagk,j는 1 또는 0의 값을 취하게 된다. BD[k]의 개수에 관한 정보를 부호화할 필요가 없기 때문에, 더욱 적은 비트 수로 버퍼 기술 정보를 나타낼 수 있는 효과가 있다.
도 23에는 본 실시형태에 의한 버퍼 기술 정보의 복호 처리의 다른 실시 방법을 나타낸다. 단계 2310에서는, 예측에 사용되는 BD[m]의 성분인 ΔPOCm의 개수(#ΔPOCm)를 취득한다. BD[m]를 복원하면서, 그 성분의 개수를 카운트함으로써, ΔPOCm의 개수(#ΔPOCm)를 얻을 수 있다. 단계 2320에서는, BD[k]의 카운터인 i와, BD[m]의 카운터인 j를 영으로 초기화한다. 단계 2330에서 버퍼 정보에 기재되어 있는ΔBDk의 값을 복호한다. 이어서, (#ΔPOCm＋1)개분의 ibd_flagk,j를 복호한다(단계 2345에 의해 제어). 복호된 ibd_flagk,j의 값에 기초하여 단계 2345 이후의 처리를 행한다.
단계 2345에서는, BD[m]의 카운터 j를 판정한다. 카운터 j가 ΔPOCm의 개수에 도달할 때까지는, ibd_flagk,j의 값(1 또는 0)을 기초로, ΔPOCm,j를 사용하여 ΔPOCk,i를 복원하는지의 여부를 판정한다(단계 2350). ibd_flagk,j의 값이 1인 경우는, 단계 2355에서 ΔBDk와 ΔPOCm,j를 가산하여 ΔPOCk,i를 생성한다. 이 경우, ΔPOCk,i와 ΔPOCm,j는 동일한 참조 화상을 공유하므로(POCm,j=POCk,i임), 의존도 정보 D_IDk,i는, ΔPOCm,j에 연관되는 의존도 정보 D_IDm,j를 그대로 복제하면 된다. 다음에, BD[k]의 카운터 i를 증분한 다음, BD[m]의 다음의 성분에 대한 판단을 행한다.
BD[m]의 성분을 최후까지 체크한 후(단계 2345에서 NO가 되었을 경우에 상당), 최후의 ibd_flagk,j의 값을 판정한다(단계 2370). ibd_flagk,j=0인 경우에는, 추가 참조 화상이 없는 것을 의미하고, 아무런 처리를 행하지 않고, 후술하는 단계 2390으로 진행된다. 한편, ibd_flagk,j=1인 경우에는, (BD[m]에 없는) 추가 참조 화상이 있는 것을 의미하고, 단계 2375)에서 의존도 정보 D_IDk,i를 복원한다. 단계 2380에서는, 그 추가 참조 화상의 POC 번호로서 ΔBDk를 사용한다(조건 (d)을 이용하고 있기 때문임). 또한, BD[k]의 카운터 i를 증분한다. 그리고, 마지막으로, 카운터 i로 계산한 값을 BD[k]의 개수로서 저장한다(단계 2390). 이 BD[k]의 개수는, BD[k+1]의 각 성분을 생성하기 위해 사용된다(단계 2310에서).
도 22와 도 23의 처리 방법에서는, BD[k]에 있는 추가 참조 화상이 1장뿐인 경우의 실시 방법이지만, 추가 참조 화상이 N장인 경우에는, 이 N의 값을 BD[k]의 정보의 일부로서 송수신하면 된다. 이 경우, 추가 참조 화상에 관한 POC 번호는 IBDRk,i를 사용하여 부호화·복호된다. 구체적으로는, 도 22의 단계 2295는 도 10의 단계 1070과 동일한 처리를, 도 23의 단계 2375는 도 11의 단계 1165와 동일한 처리를, 도 23의 단계 2380은 도 11의 단계 1170과 동일한 처리를, 각각 실행하면 된다.
또한, 상기에서는 ibd_flagk,j의 값을 1비트(1 또는 0)로 나타내고 있지만, 1비트 이상으로 나타내도 된다. 이 경우, 추가한 비트를 사용하여, 다른 정보(D_IDk,i, IBDRk,i 또는 그 이외의 정보)가 명시적으로 부호화되어 있는지의 여부를 식별해도 된다.
또한, 그 추가한 비트를 사용하여, ΔPOCk,i와 관련된 참조 화상(즉, POC 번호가 식 (1)에 주어진 POCk,i를 가지는 참조 화상)의 적용 범위를 나타내도 된다. 구체적으로는, ibd_flagk,j가 "1"인 경우에는, ΔPOCm,j를 사용하여, ΔPOCk,i를 복원하는 동시에, ΔPOCk,i와 관련된 참조 화상은, 현재 처리의 대상이 되는 화상(현재 화상) 및 그것에 이어지는 장래의 화상(미래 화상, 복수 개이어도 됨)에 적용한다. 또한, ibd_flagk,j가 "01"인 경우에는, ΔPOCm,j를 사용하여, ΔPOCk,i와를 복원하는 동시에, ΔPOCk,i와 관련된 참조 화상은, 현재 처리의 대상이 되는 화상(현재 화상)에 적용하지 않고, 그것에 이어지는 장래의 화상(미래 화상, 복수 개이어도 됨)에만 적용한다. 또한, ibd_flagk,j가 "00"인 경우에는, ΔPOCm,j를 ΔPOCk,i의 복원에 이용하지 않는다.
상기한 실시형태에서는, 버퍼 기술 정보에 기재된 ΔPOCk,i에 대하여 처리를 행하고 있지만, 각 참조 화상이 소유하는 POC 번호 자체에 대하여 처리를 행해도 된다.
그리고, 상기한 모든 실시형태에 있어서, 버퍼 기술 정보에 대하여 설명하였다. 버퍼 기술 정보는, 대상 화상을 부호화·복호하기 위해 사용되는 복수 참조 화상에 관한 기술이기도 하기 때문에, 상기한 실시형태는, 참조 화상 리스트의 관리 방법으로서도 사용된다.
또한, 상기한 실시형태에서는 버퍼 기술 정보를 한데 모아 PPS 정보의 일부로서 부호화하는 경우를 설명하였으나, 버퍼 기술 정보를 각각의 대상 화상의 헤더에 기재하는 경우라도 적용할 수 있다. 즉, 도 5의 행 510의 정보를 POC=32인 화상의 압축 데이터의 선두(헤더)에, 또한 행 511의 정보를 POC=28인 화상의 압축 데이터의 선두(헤더)에 기재한 경우에도 적용할 수 있다. 이 경우, 대상 화상 k에 속하는 버퍼 기술 정보 BD[k]는, 선행하여 처리된 화상(m)에 속하는 버퍼 기술 정보 BD[m]를 참조로 하여, 도 6, 7, 10, 11, 18, 19의 처리에 의해 부호화·복호할 수 있다. 단, 예측의 구조에 의해 대상 화상 m은 참조 화상으로서 전혀 이용되지 않는 경우가 있고(의존도 정보 D_ID의 값이 큼), 그 경우 화상 m에 속하는 BD[m]를 예측에 이용하지 않는다. 왜냐하면, 참조 화상으로서 전혀 이용되지 않는 화상 m은, 데이터량을 제어하거나 복호 처리를 경감하거나 하기 위해 버려지는 경우가 있기 때문이다.
컴퓨터를 상기한 동화상 예측 부호화 장치(100)로서 기능하게 하기 위한 동화상 예측 부호화 프로그램은, 기록 매체에 저장되어 제공 가능하게 되어 있다. 마찬가지로, 컴퓨터를 상기한 동화상 예측 복호 장치(200)로서 기능하게 하기 위한 동화상 예측 복호 프로그램은, 기록 매체에 저장되어 제공 가능하게 되어 있다. 기록 매체로서는, 플렉시블 디스크(fiexible disk), CD-ROM, DVD, 또는 ROM 등의 기록 매체, 또는 반도체 메모리 등이 예시된다.
도 13은 기록 매체에 기록된 프로그램을 실행하기 위한 컴퓨터(30)의 하드웨어 구성을 나타낸 도면이며, 도 14는 기록 매체에 기억된 프로그램을 실행하기 위한 컴퓨터(30)의 사시도이다. 여기서의 컴퓨터(30)는, CPU를 구비하고 소프트 웨어에 의한 정보 처리나 제어를 행하는 DVD 플레이어, 셋탑 박스(settop bax), 휴대 전화기 등을 넓게 포함한다.
도 13에 나타낸 바와 같이, 컴퓨터(30)는, 플렉시블 디스크 드라이브 장치, CD-ROM 드라이브 장치, DVD 드라이브 장치 등의 판독 장치(12)와, 운영체제(operating system)를 상주시킨 작업용 메모리(RAM)(14)와, 기록 매체(10)에 기억된 프로그램을 기억하는 메모리(16)와, 디스플레이 등의 표시 장치(18)와, 입력 장치인 마우스(20) 및 키보드(22)와, 데이터 등의 송수신을 행하기 위한 통신 장치(24)와, 프로그램의 실행을 제어하는 CPU(26)을 구비하고 있다. 기록 매체(10)가 판독 장치(12)에 삽입되면, 컴퓨터(30)는, 판독 장치(12)로부터 기록 매체(10)에 저장된 동화상 예측 부호화 프로그램에 액세스 가능하게 되고, 그 동화상 예측 부호화 프로그램에 의해 상기한 동화상 예측 부호화 장치(100)로서 동작하는 것이 가능하게 된다. 마찬가지로, 기록 매체(10)가 판독 장치(12)에 삽입되면, 컴퓨터(30)는, 판독 장치(12)로부터 기록 매체(10)에 저장된 동화상 예측 복호 프로그램에 액세스 가능하게 되고, 그 동화상 예측 복호 프로그램에 의해 상기한 동화상 예측 복호 장치(200)로서 동작하는 것이 가능하게 된다.
100: 동화상 예측 부호화 장치, 101: 입력 단자, 102: 블록 분할기, 103: 예측 신호 생성기, 104: 프레임 메모리(또는 버퍼, DPB), 105: 감산기, 106: 변환기, 107: 양자화기, 108: 역양자화기, 109: 역변환기, 110: 가산기, 111: 엔트로피 부호화기, 112: 출력 단자, 114: 버퍼 관리기, 200: 동화상 예측 복호 장치, 201: 입력 단자, 202: 데이터 해석기, 203: 역양자화기, 204: 역변환기, 205: 가산기, 206: 출력 단자, 207: 프레임 메모리, 208: 예측 신호 생성기, 209: 버퍼 관리기.

Claims (3)

  1. 동영상 예측 복호 장치에 의해 실행되는 동영상 예측 복호 방법으로서,
    동영상을 구성하는 복수의 화상의 각각에 대해, 과거에 복호·재생된 복수의 화상을 참조 화상으로 하여 예측 부호화된 데이터와, 복수의 상기 참조 화상에 관한 버퍼 기술 정보 BD[k]의 부호화 데이터를 포함하는 압축 화상 데이터를 입력하는 입력 단계와,
    상기 압축 화상 데이터를 복호하고, 재생 화상으로 복원하는 복원 단계와,
    상기 재생 화상을, 후속의 화상을 복호하기 위해 사용되는 참조 화상으로서 1개 이상 저장하는 화상 저장 단계와,
    상기 화상 저장 단계를 제어하는 버퍼 관리 단계
    를 포함하고,
    상기 버퍼 관리 단계는, 상기 재생 화상을 복원하기 전에, 상기 재생 화상과 상이한 다른 화상의 버퍼 기술 정보 BD[m]을 참조하여, 상기 재생 화상의 버퍼 기술 정보 BD[k]의 부호화 데이터를 복호하는 처리와, 복호된 버퍼 기술 정보 BD[k]를 기초로 상기 화상 저장 단계를 제어하는 처리를 포함하고,
    상기 재생 화상의 버퍼 기술 정보 BD[k]의 부호화 데이터를 복호하는 처리는,
    상기 재생 화상과 상이한 다른 화상의 버퍼 기술 정보 BD[m]을 식별하는 인덱스 m을 복호하는 처리와,
    상기 BD[m]과 상기 BD[k]에 포함되는 참조 화상의 식별 정보에 관한 차이를 나타내는 ΔBDk의 값을 복호하는 처리와,
    상기 BD[m]에 포함되는 j번째의 참조 화상의 식별 정보가 상기 BD[k]에 포함되는 참조 화상의 식별 정보의 복호에 사용되는지의 여부와, 상기 BD[m]에 포함되는 j번째의 참조 화상이 처리 중인 대상 화상의 복호에 사용되는지의 여부의 양쪽을 나타내는 복수의 플래그 ibd_flagk,j를 복호하는 처리와,
    복호된 인덱스 m과 복호된 ΔBDk의 값과 복호된 복수의 플래그 ibd_flagk,j에 기초하여, 상기 BD[k]에 포함되는 참조 화상에 관한 정보를 복호하는 처리
    를 포함하며,
    상기 BD[m]에 포함되는 j번째의 참조 화상에 관한 정보가 상기 BD[k]에 포함되는 참조 화상에 관한 정보의 복호에 사용되는 것을 상기 플래그 ibd_flagk,j가 나타낼 때, 상기 BD[m]에 포함되는 j번째의 참조 화상의 식별 정보에서의 ΔPOCm,j에 ΔBDk를 가산함으로써, BD[k]에 포함되는 i번째의 참조 화상의 식별 정보에서의 ΔPOCk,i가 구해지는, 동영상 예측 복호 방법.
  2. 제1항에 있어서,
    j가 상기 BD[m]에 포함되는 참조 화상의 수와 같을 때, 상기 BD[k]에 포함되는 i번째의 참조 화상의 식별 정보에서의 ΔPOCk,i는 ΔBDk로 설정되는, 동영상 예측 복호 방법.
  3. 동영상을 구성하는 복수의 화상의 각각에 대해, 과거에 복호·재생된 복수의 화상을 참조 화상으로 하여 예측 부호화된 데이터와, 복수의 상기 참조 화상에 관한 버퍼 기술 정보 BD[k]의 부호화 데이터를 포함하는 압축 화상 데이터를 입력하는 입력 수단과,
    상기 압축 화상 데이터를 복호하고, 재생 화상으로 복원하는 복원 수단과,
    상기 재생 화상을, 후속의 화상을 복호하기 위해 사용되는 참조 화상으로서 1개 이상 저장하는 화상 저장 수단과,
    상기 화상 저장 수단을 제어하는 버퍼 관리 수단
    을 포함하고,
    상기 버퍼 관리 수단은, 상기 재생 화상을 복원하기 전에, 상기 재생 화상과 상이한 다른 화상의 버퍼 기술 정보 BD[m]을 참조하여, 상기 재생 화상의 버퍼 기술 정보 BD[k]의 부호화 데이터를 복호하는 처리와, 복호된 버퍼 기술 정보 BD[k]를 기초로 상기 화상 저장 수단을 제어하는 처리를 행하고,
    상기 재생 화상의 버퍼 기술 정보 BD[k]의 부호화 데이터를 복호하는 처리는,
    상기 재생 화상과 상이한 다른 화상의 버퍼 기술 정보 BD[m]을 식별하는 인덱스 m을 복호하는 처리와,
    상기 BD[m]과 상기 BD[k]에 포함되는 참조 화상의 식별 정보에 관한 차이를 나타내는 ΔBDk의 값을 복호하는 처리와,
    상기 BD[m]에 포함되는 j번째의 참조 화상의 식별 정보가 상기 BD[k]에 포함되는 참조 화상의 식별 정보의 복호에 사용되는지의 여부와, 상기 BD[m]에 포함되는 j번째의 참조 화상이 처리 중인 대상 화상의 복호에 사용되는지의 여부의 양쪽을 나타내는 복수의 플래그 ibd_flagk,j를 복호하는 처리와,
    복호된 인덱스 m과 복호된 ΔBDk의 값과 복호된 복수의 플래그 ibd_flagk,j에 기초하여, 상기 BD[k]에 포함되는 참조 화상에 관한 정보를 복호하는 처리
    를 포함하며,
    상기 BD[m]에 포함되는 j번째의 참조 화상에 관한 정보가 상기 BD[k]에 포함되는 참조 화상에 관한 정보의 복호에 사용되는 것을 상기 플래그 ibd_flagk,j가 나타낼 때, 상기 BD[m]에 포함되는 j번째의 참조 화상의 식별 정보에서의 ΔPOCm,j에 ΔBDk를 가산함으로써, BD[k]에 포함되는 i번째의 참조 화상의 식별 정보에서의 ΔPOCk,i가 구해지는, 동영상 예측 복호 장치.
KR1020167021265A 2011-10-18 2012-09-10 동화상 예측 부호화 방법, 동화상 예측 부호화 장치, 동화상 예측 부호화 프로그램, 동화상 예측 복호 방법, 동화상 예측 복호 장치 및 동화상 예측 복호 프로그램 KR101686520B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2011228758 2011-10-18
JPJP-P-2011-228758 2011-10-18
JP2011240334A JP5698644B2 (ja) 2011-10-18 2011-11-01 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
JPJP-P-2011-240334 2011-11-01
PCT/JP2012/073090 WO2013058034A1 (ja) 2011-10-18 2012-09-10 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020157036207A Division KR101648443B1 (ko) 2011-10-18 2012-09-10 동화상 예측 부호화 방법, 동화상 예측 부호화 장치, 동화상 예측 부호화 프로그램, 동화상 예측 복호 방법, 동화상 예측 복호 장치 및 동화상 예측 복호 프로그램

Publications (2)

Publication Number Publication Date
KR20160099109A KR20160099109A (ko) 2016-08-19
KR101686520B1 true KR101686520B1 (ko) 2016-12-14

Family

ID=48140690

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020167021264A KR101686519B1 (ko) 2011-10-18 2012-09-10 동화상 예측 부호화 방법, 동화상 예측 부호화 장치, 동화상 예측 부호화 프로그램, 동화상 예측 복호 방법, 동화상 예측 복호 장치 및 동화상 예측 복호 프로그램
KR1020157036207A KR101648443B1 (ko) 2011-10-18 2012-09-10 동화상 예측 부호화 방법, 동화상 예측 부호화 장치, 동화상 예측 부호화 프로그램, 동화상 예측 복호 방법, 동화상 예측 복호 장치 및 동화상 예측 복호 프로그램
KR1020147013163A KR101581399B1 (ko) 2011-10-18 2012-09-10 동화상 예측 부호화 방법, 동화상 예측 부호화 장치, 동화상 예측 부호화 프로그램, 동화상 예측 복호 방법, 동화상 예측 복호 장치 및 동화상 예측 복호 프로그램
KR1020167021266A KR101664202B1 (ko) 2011-10-18 2012-09-10 동화상 예측 부호화 방법, 동화상 예측 부호화 장치, 동화상 예측 부호화 프로그램, 동화상 예측 복호 방법, 동화상 예측 복호 장치 및 동화상 예측 복호 프로그램
KR1020167021265A KR101686520B1 (ko) 2011-10-18 2012-09-10 동화상 예측 부호화 방법, 동화상 예측 부호화 장치, 동화상 예측 부호화 프로그램, 동화상 예측 복호 방법, 동화상 예측 복호 장치 및 동화상 예측 복호 프로그램

Family Applications Before (4)

Application Number Title Priority Date Filing Date
KR1020167021264A KR101686519B1 (ko) 2011-10-18 2012-09-10 동화상 예측 부호화 방법, 동화상 예측 부호화 장치, 동화상 예측 부호화 프로그램, 동화상 예측 복호 방법, 동화상 예측 복호 장치 및 동화상 예측 복호 프로그램
KR1020157036207A KR101648443B1 (ko) 2011-10-18 2012-09-10 동화상 예측 부호화 방법, 동화상 예측 부호화 장치, 동화상 예측 부호화 프로그램, 동화상 예측 복호 방법, 동화상 예측 복호 장치 및 동화상 예측 복호 프로그램
KR1020147013163A KR101581399B1 (ko) 2011-10-18 2012-09-10 동화상 예측 부호화 방법, 동화상 예측 부호화 장치, 동화상 예측 부호화 프로그램, 동화상 예측 복호 방법, 동화상 예측 복호 장치 및 동화상 예측 복호 프로그램
KR1020167021266A KR101664202B1 (ko) 2011-10-18 2012-09-10 동화상 예측 부호화 방법, 동화상 예측 부호화 장치, 동화상 예측 부호화 프로그램, 동화상 예측 복호 방법, 동화상 예측 복호 장치 및 동화상 예측 복호 프로그램

Country Status (19)

Country Link
US (7) US9621923B2 (ko)
EP (8) EP3700214B1 (ko)
JP (1) JP5698644B2 (ko)
KR (5) KR101686519B1 (ko)
CN (7) CN107105276B (ko)
AU (1) AU2012324191B2 (ko)
BR (1) BR112014009023B1 (ko)
CA (8) CA3039171C (ko)
DK (1) DK3700214T3 (ko)
ES (8) ES2614357T3 (ko)
FI (1) FI3700214T3 (ko)
HU (1) HUE063249T2 (ko)
MX (2) MX336539B (ko)
PL (8) PL2938079T3 (ko)
PT (8) PT3177019T (ko)
RU (8) RU2630180C1 (ko)
SG (1) SG11201401568WA (ko)
TW (8) TWI661712B (ko)
WO (1) WO2013058034A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016126037A (ja) * 2014-12-26 2016-07-11 ソニー株式会社 信号処理装置、および信号処理方法、並びにプログラム
CN107247676A (zh) * 2017-05-18 2017-10-13 深圳市小牛在线互联网信息咨询有限公司 动态图播放方法、装置、存储介质和计算机设备
CN112714322B (zh) * 2020-12-28 2023-08-01 福州大学 一种面向游戏视频的帧间参考优化方法

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7095783B1 (en) * 1992-06-30 2006-08-22 Discovision Associates Multistandard video decoder and decompression system for processing encoded bit streams including start codes and methods relating thereto
JP3109349B2 (ja) * 1993-11-16 2000-11-13 松下電器産業株式会社 映像信号再生装置
US6101276A (en) * 1996-06-21 2000-08-08 Compaq Computer Corporation Method and apparatus for performing two pass quality video compression through pipelining and buffer management
DE69719365T2 (de) * 1996-12-18 2003-10-16 Thomson Consumer Electronics Effiziente kompression und dekompression von blocks fester länge
GB2362532B (en) * 2000-05-15 2004-05-05 Nokia Mobile Phones Ltd Video coding
JP2003299103A (ja) * 2002-03-29 2003-10-17 Toshiba Corp 動画像符号化方法と装置及び動画像復号化方法と装置
JP2004007563A (ja) * 2002-04-19 2004-01-08 Matsushita Electric Ind Co Ltd 動画像符号化方法および動画像復号化方法
EP3324623B1 (en) * 2002-04-19 2019-06-12 Panasonic Intellectual Property Corporation of America Motion vector calculating method
EP1742480B1 (en) * 2002-07-11 2008-10-29 Matsushita Electric Industrial Co., Ltd. Virtual display buffer management method for H.264 prediction image decoding.
ES2767954T3 (es) * 2002-08-08 2020-06-19 Godo Kaisha Ip Bridge 1 Procedimiento de descodificación de imágenes en movimiento
AU2003273307A1 (en) * 2002-10-01 2004-04-23 Thomson Licensing S.A. Implicit weighting of reference pictures in a video encoder
JP3513148B1 (ja) * 2002-10-11 2004-03-31 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
MY134659A (en) * 2002-11-06 2007-12-31 Nokia Corp Picture buffering for prediction references and display
US20100166056A1 (en) * 2002-12-10 2010-07-01 Steve Perlman System and method for encoding video using a selected tile and tile rotation pattern
KR101094323B1 (ko) * 2003-09-17 2011-12-19 톰슨 라이센싱 적응 기준 화상 생성
JP4591657B2 (ja) * 2003-12-22 2010-12-01 キヤノン株式会社 動画像符号化装置及びその制御方法、プログラム
US20050207490A1 (en) * 2004-03-18 2005-09-22 Wang Jason N Stored picture index for AVC coding
US20050229231A1 (en) * 2004-03-31 2005-10-13 Lippincott Louis A Converter-assisted video encoder
JP4020883B2 (ja) * 2004-04-20 2007-12-12 株式会社東芝 動画像復号装置
US20060083298A1 (en) * 2004-10-14 2006-04-20 Nokia Corporation Reference picture management in video coding
CN101065780A (zh) * 2004-10-14 2007-10-31 诺基亚公司 视频编码中的参考图像管理
US7983341B2 (en) * 2005-02-24 2011-07-19 Ericsson Television Inc. Statistical content block matching scheme for pre-processing in encoding and transcoding
US7995656B2 (en) * 2005-03-10 2011-08-09 Qualcomm Incorporated Scalable video coding with two layer encoding and single layer decoding
KR100703770B1 (ko) * 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
JP5017825B2 (ja) * 2005-09-15 2012-09-05 ソニー株式会社 復号装置および復号方法
JP2009512306A (ja) * 2005-10-11 2009-03-19 ノキア コーポレイション スケーラブルビデオコーディングのためのデコードされたピクチャーの効率的なバッファマネージメント
BRPI0619193A2 (pt) * 2005-11-30 2011-09-20 Toshiba Kk Toshiba Corp método de codificação de imagem / decodificação de imagem, aparelho de codificação de imagem / decodificação de imagem
BRPI0621340A2 (pt) * 2006-02-13 2011-12-06 Toshiba Kk Toshiba Corp método e aparelho e programa de codificação/decodificação de vìdeo
US20090304068A1 (en) * 2006-07-06 2009-12-10 Purvin Bibhas Pandit Method and Apparatus for Decoupling Frame Number and/or Picture Order Count (POC) for Multi-View Video Encoding and Decoding
AR064274A1 (es) * 2006-12-14 2009-03-25 Panasonic Corp Metodo de codificacion de imagenes en movimiento, dispositivo de codificacion de imagenes en movimiento, metodo de grabacion de imagenes en movimiento, medio de grabacion, metodo de reproduccion de imagenes en movimiento, dispositivo de reproduccion de imagenes en movimiento, y sistema de reproducci
JP4427086B2 (ja) * 2006-12-27 2010-03-03 パナソニック株式会社 動画像復号化装置
RU2335869C1 (ru) * 2007-03-27 2008-10-20 Виктор Николаевич Ожерельев Приспособление к дисковому почвообрабатывающему орудию
CA2684110A1 (en) * 2007-04-12 2008-10-23 Nokia Corporation Spatially enhanced transform coding
EP2034742A3 (en) * 2007-07-25 2009-10-14 Hitachi Ltd. Video coding method and device
JP2009267689A (ja) 2008-04-24 2009-11-12 Panasonic Corp 動画像符号化装置、及び動画像符号化方法
JP5369893B2 (ja) * 2008-05-30 2013-12-18 株式会社Ｊｖｃケンウッド 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号装置、動画像復号方法、動画像復号プログラム、動画像再符号化装置、動画像再符号化方法、動画像再符号化プログラム
US8446949B2 (en) * 2008-06-23 2013-05-21 Sungkyunkwan University Foundation For Corporate Collaboration Distributed coded video decoding apparatus and method capable of successively improving side information on the basis of reliability of reconstructed data
JP5680283B2 (ja) * 2008-09-19 2015-03-04 株式会社Ｎｔｔドコモ 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び動画像復号プログラム
JP5697301B2 (ja) * 2008-10-01 2015-04-08 株式会社Ｎｔｔドコモ 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム、及び動画像符号化・復号システム
KR20110106465A (ko) * 2009-01-28 2011-09-28 노키아 코포레이션 비디오 코딩 및 디코딩을 위한 방법 및 장치
US20110026593A1 (en) * 2009-02-10 2011-02-03 New Wei Lee Image processing apparatus, image processing method, program and integrated circuit
JP2011082683A (ja) * 2009-10-05 2011-04-21 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
US20110235716A1 (en) * 2009-10-19 2011-09-29 Takeshi Tanaka Decoding apparatus, decoding method, program and integrated circuit
EP2495973B1 (en) * 2009-10-30 2019-02-27 Sun Patent Trust Decoding method, decoder apparatus, encoding method, and encoder apparatus
JP2011199396A (ja) * 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
KR101380460B1 (ko) * 2010-03-30 2014-04-02 후지쯔 가부시끼가이샤 화상 처리 장치 및 화상 처리 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JCT-VC of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 4th Meeting: Daegu, KR, (JCTVC-D081), (On reference picture list construction), 20-28 January, 2011
JCT-VC of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, (JCTVC-F493), (Absolute signaling of reference pictures), 14-22 July, 2011

Also Published As

Publication number Publication date
EP2770737B1 (en) 2016-12-07
CA3039172C (en) 2021-01-19
MX350923B (es) 2017-09-26
CA3039174C (en) 2021-06-29
CN103858429A (zh) 2014-06-11
TW201929544A (zh) 2019-07-16
WO2013058034A1 (ja) 2013-04-25
PL2938078T3 (pl) 2017-04-28
EP2938078A1 (en) 2015-10-28
RU2689424C1 (ru) 2019-05-28
TWI520587B (zh) 2016-02-01
TW201808009A (zh) 2018-03-01
EP3700214A1 (en) 2020-08-26
EP3457693A1 (en) 2019-03-20
PT2938079T (pt) 2017-04-24
RU2660619C1 (ru) 2018-07-06
PT3177019T (pt) 2019-02-04
CA3039176A1 (en) 2013-04-25
ES2622777T3 (es) 2017-07-07
EP2938077B1 (en) 2016-11-23
ES2614512T3 (es) 2017-05-31
PL3177019T3 (pl) 2019-03-29
PL2938077T3 (pl) 2017-04-28
PL3457693T3 (pl) 2020-10-19
US9621923B2 (en) 2017-04-11
PL2938076T3 (pl) 2017-06-30
KR20160099110A (ko) 2016-08-19
ES2618287T3 (es) 2017-06-21
TWI562607B (ko) 2016-12-11
CN107105264A (zh) 2017-08-29
CN106851301B (zh) 2018-08-07
EP3177019B1 (en) 2018-12-26
TW201528787A (zh) 2015-07-16
RU2630180C1 (ru) 2017-09-05
US20160373758A1 (en) 2016-12-22
PT2938076T (pt) 2017-01-04
RU2014119878A (ru) 2015-11-27
KR101664202B1 (ko) 2016-10-10
TWI611688B (zh) 2018-01-11
CA2852888C (en) 2017-09-26
RU2719334C1 (ru) 2020-04-17
JP2013102258A (ja) 2013-05-23
EP2938079B1 (en) 2017-03-29
CN107105276B (zh) 2018-09-14
US10015509B2 (en) 2018-07-03
KR101686519B1 (ko) 2016-12-14
ES2806049T3 (es) 2021-02-16
PL2770737T3 (pl) 2017-06-30
US20140226716A1 (en) 2014-08-14
CA2972448A1 (en) 2013-04-25
EP2938078B1 (en) 2016-11-09
TWI540883B (zh) 2016-07-01
KR20160096231A (ko) 2016-08-12
DK3700214T3 (da) 2023-09-25
US20180295378A1 (en) 2018-10-11
JP5698644B2 (ja) 2015-04-08
EP2770737A1 (en) 2014-08-27
CA3039172A1 (en) 2013-04-25
TW201707453A (zh) 2017-02-16
CN106454369A (zh) 2017-02-22
MX336539B (es) 2016-01-22
CA3039173C (en) 2021-01-19
CA2852888A1 (en) 2013-04-25
US10257533B2 (en) 2019-04-09
TWI704798B (zh) 2020-09-11
PL2938079T3 (pl) 2017-07-31
EP3177019A1 (en) 2017-06-07
TWI661712B (zh) 2019-06-01
CA3039171C (en) 2021-01-19
TW201531092A (zh) 2015-08-01
RU2699412C1 (ru) 2019-09-05
PT2938078T (pt) 2016-12-27
US20180295377A1 (en) 2018-10-11
PL2770737T4 (pl) 2019-04-30
TW201531093A (zh) 2015-08-01
US20160373781A1 (en) 2016-12-22
BR112014009023A2 (pt) 2017-05-02
CN106454369B (zh) 2019-07-23
EP2938076B1 (en) 2016-11-30
CA3039168C (en) 2021-01-19
AU2012324191A1 (en) 2014-06-12
CA3039176C (en) 2020-10-27
US20170208337A1 (en) 2017-07-20
HUE063249T2 (hu) 2024-01-28
US10257534B2 (en) 2019-04-09
CN106851301A (zh) 2017-06-13
ES2957483T3 (es) 2024-01-19
FI3700214T3 (fi) 2023-09-13
RU2586592C2 (ru) 2016-06-10
TW201320772A (zh) 2013-05-16
EP2938077A1 (en) 2015-10-28
MX2014004501A (es) 2014-09-08
ES2707780T3 (es) 2019-04-05
CN106412599B (zh) 2018-06-05
PT3457693T (pt) 2020-07-16
US9743113B2 (en) 2017-08-22
KR20160099109A (ko) 2016-08-19
EP2938079A1 (en) 2015-10-28
CA3039171A1 (en) 2013-04-25
CN103858429B (zh) 2018-11-27
CN106412599A (zh) 2017-02-15
PT2770737T (pt) 2017-02-01
PT3700214T (pt) 2023-09-21
CN107105276A (zh) 2017-08-29
ES2614357T3 (es) 2017-05-30
KR20140085513A (ko) 2014-07-07
US9667998B2 (en) 2017-05-30
RU2684573C1 (ru) 2019-04-09
ES2613525T3 (es) 2017-05-24
EP3457693B1 (en) 2020-06-17
CN107105265B (zh) 2018-06-26
KR101648443B1 (ko) 2016-08-16
KR101581399B1 (ko) 2015-12-30
SG11201401568WA (en) 2014-09-26
EP2938078B8 (en) 2017-04-12
CN107105264B (zh) 2019-11-08
US9681153B2 (en) 2017-06-13
US20160373786A1 (en) 2016-12-22
BR112014009023B1 (pt) 2019-07-02
CA3039173A1 (en) 2013-04-25
EP2938076A1 (en) 2015-10-28
TW201818721A (zh) 2018-05-16
CA2972448C (en) 2019-05-28
PL3700214T3 (pl) 2023-12-11
CN107105265A (zh) 2017-08-29
PT2938077T (pt) 2017-01-09
TWI619377B (zh) 2018-03-21
AU2012324191B2 (en) 2015-06-25
CA3039174A1 (en) 2013-04-25
CA3039168A1 (en) 2013-04-25
TWI510060B (zh) 2015-11-21
RU2707145C1 (ru) 2019-11-22
EP3700214B1 (en) 2023-08-23
KR20160005375A (ko) 2016-01-14
EP2770737A4 (en) 2015-06-03

Similar Documents

Publication Publication Date Title
RU2707145C1 (ru) Способ кодирования видео с предсказанием движения, устройство кодирования видео с предсказанием движения, программа кодирования видео с предсказанием движения, способ декодирования видео с предсказанием движения, устройство декодирования видео с предсказанием движения и программа декодирования видео с предсказанием движения
AU2015202847B2 (en) Motion video predict coding method, motion video predict coding device, motion video predict coding program, motion video predict decoding method, motion video predict decoding device, and motion video predict decoding program
JP5715291B2 (ja) 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191120

Year of fee payment: 4