KR101490646B1 - 화상 복호 장치 및 화상 복호 방법 - Google Patents

화상 복호 장치 및 화상 복호 방법 Download PDF

Info

Publication number
KR101490646B1
KR101490646B1 KR1020137024666A KR20137024666A KR101490646B1 KR 101490646 B1 KR101490646 B1 KR 101490646B1 KR 1020137024666 A KR1020137024666 A KR 1020137024666A KR 20137024666 A KR20137024666 A KR 20137024666A KR 101490646 B1 KR101490646 B1 KR 101490646B1
Authority
KR
South Korea
Prior art keywords
block
motion
motion prediction
vector
predictive
Prior art date
Application number
KR1020137024666A
Other languages
English (en)
Other versions
KR20130121987A (ko
Inventor
？이치 세키구치
가즈오 스기모토
유스케 이타니
아키라 미네자와
요시아키 가토
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=43222450&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=KR101490646(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20130121987A publication Critical patent/KR20130121987A/ko
Application granted granted Critical
Publication of KR101490646B1 publication Critical patent/KR101490646B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/567—Motion estimation based on rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/619—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding the transform being operated outside the prediction loop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

화상 부호화 장치를, 움직임 예측 단위 블록의 크기를 색 성분 신호에 따라 적응적으로 결정함과 아울러, 상기 움직임 예측 단위 블록을 움직임 벡터 할당 영역으로 분할하여 움직임 벡터를 탐색하는 예측부(4)와, 움직임 예측 단위 블록 전체에 움직임 벡터를 할당하는 경우에, 상기 움직임 벡터가 예측 벡터와 동등하고, 또한, 예측 오차 신호(5)가 존재하지 않으면 mc_skip 모드로 하여 부호화를 행하며, 움직임 벡터 할당 영역이 소정의 크기 이상이고, 또한, 움직임 벡터 할당 영역 전체에 움직임 벡터를 할당하는 경우에, 상기 움직임 벡터가 예측 벡터와 동등하고, 또한, 예측 오차 신호(5)가 존재하지 않으면 sub_mc_skip 모드로 하여 부호화를 행하는 가변 길이 부호화부(8)를 구비한다.

Description

화상 복호 장치 및 화상 복호 방법{IMAGE DECODING DEVICE AND IMAGE DECODING METHOD}
본 발명은, 화상 압축 부호화 기술이나 압축 화상 데이터 전송 기술 등에 사용되는 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법 및 화상 복호 방법에 관한 것이다.
종래, MPEG나 ITU-T H.26x 등의 국제 표준 영상 부호화 방식에서는, 입력 영상 프레임을, 16×16 화소 블록으로 이루어지는 매크로블록의 단위로 분할하여 압축 처리를 행한다.
한편, 최근, HDTV(High Definition TeleVision, 1920×1080 화소)의 4배 상당의 공간 해상도를 갖는 4K×2K 화소의 영상 포맷, 또한 그 4배에 상당하는 8K×4K 화소의 영상 포맷, 또는 색 신호의 샘플 수를 늘려 색 재현성을 높이는 4:4:4 영상 신호 포맷 등의 고 세밀·고 품질 영상을 압축 부호화하는 기술이 요구되고 있다. 이러한 고 세밀·고 품질 영상을 압축 부호화하는 경우에는, 16×16 화소의 매크로블록에서는 화상 신호 상관을 충분히 이용한 부호화를 행할 수 없어, 높은 압축율을 실현하는 것이 어렵다. 이러한 과제에 대응하기 위하여, 예컨대, 종래의 16×16 화소 매크로블록의 크기를, 비특허 문헌 1과 같이 32×32 화소 블록으로 확장하고, 움직임 벡터의 할당 단위를 크게 하여 예측에 필요한 파라미터의 부호량을 삭감하거나, 예측 오차 신호의 변환 부호화의 블록 사이즈를 크게 하여, 신호의 화소간 상관을 효과적으로 제거하거나 하는 기술이 제안되어 있다.
도 21은, 비특허 문헌 1에 의한 부호화 장치의 구성을 나타내는 블록도이다. 비특허 문헌 1에 의한 부호화에서는, 우선, 부호화 대상으로 되는 입력 영상 신호(1001)를, 블록 분할부(1002)에 있어서 매크로블록(휘도 신호에 상당하며 32 화소×32 라인의 직사각형 블록)의 단위로 분할하여, 부호화 영상 신호(1003)로서 예측부(1004)에 입력한다.
예측부(1004)에서는, 매크로블록 내의 각 색 성분의 화상 신호를 프레임내·프레임간에서 예측하여, 예측 오차 신호(1005)를 얻는다. 특히, 프레임간에서 움직임 보상 예측을 행하는 경우, 매크로블록 자체, 또는 매크로블록을 더 세밀하게 분할한 서브블록의 단위로 움직임 벡터를 탐색하고, 움직임 벡터에 기초하여 움직임 보상 예측 화상을 생성하며, 부호화 영상 신호(1003)와의 차분을 취하는 것에 의해 예측 오차 신호(1005)를 얻는다.
압축부(1006)는, 예측 오차 신호(1005)에 대하여, 움직임 벡터의 할당 단위 영역의 크기에 따라 블록 사이즈를 변경하면서 DCT(이산 코사인 변환) 처리를 실시하여 신호 상관을 제거한 후, 양자화하여 압축 데이터(1007)를 얻는다. 압축 데이터(1007)는 가변 길이 부호화부(1008)에서 엔트로피 부호화되어 비트 스트림(1009)으로서 출력됨과 아울러, 국부 복호부(1010)에 전송되여, 복호 예측 오차 신호(1011)를 얻는다.
이 복호 예측 오차 신호(1011)를, 예측 오차 신호(1005)의 생성에 이용한 예측 신호(1012)와 가산하여 복호 신호(1013)로 하여, 루프 필터(1014)에 입력한다. 복호 신호(1013)는, 루프 필터(1014)에서 블록 왜곡을 제거하는 처리가 실시된 후, 이후의 예측 신호(1012)를 생성하기 위한 참조 화상 신호(1015)로서 메모리(1016)에 저장된다. 또한, 예측 신호(1012)를 얻기 위해서 예측부(1004)에서 결정된 예측 신호 생성용 파라미터(1017)는 가변 길이 부호화부(1008)에 전송되고, 비트 스트림(1009)에 다중화되어 출력된다. 여기서, 예측 신호 생성용 파라미터(1017)에는, 예컨대, 프레임내에서의 공간 예측을 어떻게 할지를 나타내는 인트라예측 모드나, 프레임간의 움직임량을 나타내는 움직임 벡터 등의 정보가 포함된다.
종래의 MPEG나 ITU-T H.26x 등의 국제 표준 영상 부호화 방식이 매크로 블록 사이즈로서 16×16 화소 블록을 채용하고 있었던 데 비하여, 비특허 문헌 1에서는, 32×32 화소 블록의 매크로 블록 사이즈(수퍼매크로블록:SMB)를 이용한다. 도 22는, M×M 화소 매크로블록마다 움직임 보상 예측을 행할 때의 움직임 벡터 할당 영역의 분할 형상의 형태를 나타내고, 도 22(a)는 비특허 문헌 1의 SMB, 도 22(b)는 종래의 MPEG-4 AVC/H.264(비특허 문헌 2 참조)의 매크로블록이다. SMB가 화소 수 M=32로서 움직임 벡터 1개 당 커버하는 움직임 예측 영역의 면적을 크게 취하는 데 비하여, 종래의 매크로블록은 화소 수 M/2=16를 이용하고 있다. 이에 의해, SMB에서는 화면 전체로서 필요하게 되는 움직임 벡터의 정보량이 화소 수 M/2=16에 비해 적어지기 때문에, 비트 스트림으로서 전송해야 할 움직임 벡터 부호량을 억제하는 것이 가능하다.
비특허 문헌 1 : Siwei Ma and C.-C. Jay Kuo, "High-definition Video Coding with Super-Macroblocks", Proc. SPIE, Vol. 6508, 650816 (2007) 비특허 문헌 2 : MPEG-4 AVC(ISO/IEC 14496-10)/ITU-T H.264 규격
비특허 문헌 1, 2의 종래 방식에서는, 상술의 움직임 예측의 결과, 움직임 벡터나 예측 오차 신호에 대하여 부호화해야 할 데이터가 일체 발생하지 않는 스킵 모드라는 특별한 모드를 마련하고 있다. 예컨대, 비특허 문헌 2에서는, 「움직임 벡터가 그 예측치와 일치하고, 또한, 예측 오차 신호의 변환 계수가 모두 제로」로 되는 케이스를 스킵 모드로서 정의하고 있다. 또한, 스킵 모드가 선택할 수 있는 것은, 움직임 벡터를 할당하는 영역이 매크로블록과 동일한 크기인 때로 한정되어 있다. 그 때문에, 비특허 문헌 1과 같이 매크로 블록 사이즈가 확장되는 경우에는, 최대 크기의 움직임 예측 블록에 대해서만 스킵 모드가 설정되기 때문에, 그것보다 작은 크기의 움직임 예측 블록은 스킵 모드 적용 없이 부호화 효율을 향상하는 것이 어렵다고 하는 과제가 있다.
본 발명은, 상기와 같은 과제를 해결하기 위해서 이루어진 것으로, 실장 부하 밸런스가 좋고, 부호화 대상으로 되는 영상 신호의 통계적·국소적 성질에 따라 신호 상관을 보다 좋게 제거하여 효율적인 정보 압축을 행하는 영상 부호화 방법을 실현하고, 초고세밀 영상 신호의 부호화를 위해 최적성을 높인 화상 부호화 장치와 그 방법, 및 화상 복호 장치와 그 방법을 제공하는 것을 목적으로 한다.
본 발명에 따른 화상 부호화 장치는, 매크로블록에 있어서 움직임 예측 단위 블록의 크기를 소정 조건에 따라 적응적으로 결정함과 아울러, 상기 움직임 예측 단위 블록을 움직임 벡터 할당 영역으로 분할하여 움직임 벡터를 탐색하는 예측부와, 움직임 예측 단위 블록 전체에 움직임 벡터를 할당하는 경우에, 상기 움직임 벡터가 주변의 움직임 예측 단위 블록의 움직임 벡터로부터 구한 예측 벡터와 동등하고, 또한, 움직임 예측 오차 신호로서 부호화하는 데이터가 존재하지 않으면 제 1 스킵 모드로서 부호화를 행하며, 움직임 벡터 할당 영역이 소정의 크기 이상이고, 또한, 움직임 벡터 할당 영역 전체에 움직임 벡터를 할당하는 경우에, 상기 움직임 벡터가 주변의 움직임 벡터 할당 영역의 움직임 벡터로부터 구한 예측 벡터와 동등하고, 또한, 움직임 예측 오차 신호로서 부호화하는 데이터가 존재하지 않으면 제 2 스킵 모드로서 부호화를 행하는 부호화부를 구비하도록 한 것이다.
본 발명에 따른 화상 복호 장치는, 비트 스트림으로부터, 매크로블록 내의 움직임 예측 단위 블록의 크기와, 움직임 예측 단위 블록을 분할한 움직임 벡터 할당 영역의 형상을 특정하는 움직임 예측 모드와, 움직임 벡터 할당 영역에 대응하는 움직임 벡터를 나타낸 데이터를 복호하여, 상기 움직임 예측 모드로부터 움직임 예측 단위 블록이 제 1 스킵 모드인지 여부, 및 움직임 벡터 할당 영역이 제 2 스킵 모드인지 여부를 특정하는 복호부와, 움직임 예측 단위 블록이 제 1 스킵 모드인 경우 또는 움직임 벡터 할당 영역이 제 2 스킵 모드인 경우에, 주변의 움직임 벡터로부터 예측 벡터를 구하여 움직임 벡터로 설정함과 아울러 움직임 예측 오차 신호를 모두 제로로 설정하여 예측 화상을 생성하고, 움직임 예측 단위 블록이 제 1 스킵 모드가 아니고, 또한, 상기 움직임 예측 단위 블록의 움직임 벡터 할당 영역이 제 2 스킵 모드가 아닌 경우에, 복호부가 복호한 움직임 예측 모드와 움직임 벡터에 기초하여 예측 화상을 생성하는 예측부를 구비하도록 한 것이다.
본 발명에 따른 화상 부호화 방법은, 매크로블록에 있어서 움직임 예측 단위 블록의 크기를 소정 조건에 따라 적응적으로 결정함과 아울러, 상기 움직임 예측 단위 블록을 움직임 벡터 할당 영역으로 분할하여 움직임 벡터를 탐색하는 예측 스텝과, 움직임 예측 단위 블록 전체에 움직임 벡터를 할당하는 경우에, 상기 움직임 벡터가 주변의 움직임 예측 단위 블록의 움직임 벡터로부터 구한 예측 벡터와 동등하고, 또한, 움직임 예측 오차 신호로서 부호화하는 데이터가 존재하지 않으면 제 1 스킵 모드로서 부호화를 행하여, 움직임 벡터 할당 영역이 소정의 크기 이상이고, 또한, 움직임 벡터 할당 영역 전체에 움직임 벡터를 할당하는 경우에, 상기 움직임 벡터가 주변의 움직임 벡터 할당 영역의 움직임 벡터로부터 구한 예측 벡터와 동등하고, 또한, 움직임 예측 오차 신호로서 부호화하는 데이터가 존재하지 않으면 제 2 스킵 모드로서 부호화를 행하는 부호화 스텝을 구비하도록 한 것이다.
본 발명에 따른 화상 복호 방법은, 비트 스트림으로부터, 매크로블록 내의 움직임 예측 단위 블록의 크기와, 움직임 예측 단위 블록을 분할한 움직임 벡터 할당 영역의 형상을 특정하는 움직임 예측 모드와, 움직임 벡터 할당 영역에 대응하는 움직임 벡터를 나타낸 데이터를 복호하여, 상기 움직임 예측 모드로부터 움직임 예측 단위 블록이 제 1 스킵 모드인지 여부, 및 움직임 벡터 할당 영역이 제 2 스킵 모드인지 여부를 특정하는 복호 스텝과, 움직임 예측 단위 블록이 제 1 스킵 모드인 경우 또는 움직임 벡터 할당 영역이 제 2 스킵 모드인 경우에, 주변의 움직임 벡터로부터 예측 벡터를 구하여 움직임 벡터로 설정함과 아울러 움직임 예측 오차 신호를 모두 제로로 설정하여 예측 화상을 생성하는 스킵 모드 예측 스텝과, 움직임 예측 단위 블록이 제 1 스킵 모드가 아니고, 또한, 움직임 예측 단위 블록의 움직임 벡터 할당 영역이 제 2 스킵 모드가 아닌 경우에, 움직임 벡터 할당 영역에 대응하는 움직임 벡터를 나타낸 데이터를 복호하고, 상기 움직임 벡터와 복호 스텝에서 복호한 움직임 예측 모드에 기초하여 예측 화상을 생성하는 예측 스텝을 구비하도록 한 것이다.
본 발명에 의하면, 움직임 예측 단위 블록과 움직임 벡터 할당 영역 각각에 대해 제 1 스킵 모드와 제 2 스킵 모드를 설정하도록 했기 때문에, 4:4:4 포맷의 영상 신호의 부호화를 행하는 경우에 있어서, 스킵 모드의 계층 표현을 가능하게 하고, 각 색 성분 신호의 시간 변화의 특성에 대하여 유연하게 적응하는 화상 부호화 장치 및 화상 복호 장치을 구성할 수 있어, 4:4:4 포맷의 영상 신호에 대하여 최적의 부호화 처리를 행할 수 있다.
도 1은 본 발명의 실시 형태 1에 따른 화상 부호화 장치 및 화상 복호 장치의 처리 대상으로 하는 4:4:4 포맷를 나타낸다.
도 2는 실시 형태 1에 따른 화상 부호화 장치의 구성을 나타내는 블록도이다.
도 3은 도 2에 나타내는 블록 분할부가 생성하는 기준 블록을 나타내는 설명도이다.
도 4는 도 2에 나타내는 예측부에 의한 움직임 예측 단위 블록을 기본 블록 단위로 분할한 형상 예를 게시하는 설명도이다.
도 5는 도 2에 나타내는 예측부의 동작을 나타내는 흐름도이다.
도 6은 예측부에 의한 비용 J의 계산 방법을 설명하기 위한 도면이다.
도 7은 예측부에 의한 움직임 예측 모드 mc_mode 1∼4의 예측 벡터 PMV의 산출 예를 게시하는 도면이다.
도 8은 스킵 모드를 설명하기 위한 도면이다.
도 9는 가변 길이 부호화부의 엔트로피 부호화 방법을 설명하기 위한 도면이다.
도 10은 도 2에 나타내는 가변 길이 부호화부의 내부 구성을 나타내는 블록도이다.
도 11은 도 2에 나타내는 가변 길이 부호화부의 동작을 나타내는 흐름도이다.
도 12는 컨텍스트 모델(ctx)의 개념을 나타내는 설명도이다.
도 13은 움직임 벡터에 관한 컨텍스트 모델(ctx)의 예를 게시하는 설명도이다.
도 14는 움직임 예측 모드의 상관의 차이를 설명하는 도면이며, 기본 블록 Ba, Bb에서 선택되는 움직임 예측 모드의 2개의 상태를 도 14(a), 도 14(b)에 나타낸다.
도 15는 도 10에 나타내는 2치화부의 움직임 예측 모드의 2치화 결과를 나타내는 도면이다.
도 16(a)는 도 10에 나타내는 2치화부에 의한 움직임 예측 모드의 2치화를 설명하는 도면이며, bin0의 컨텍스트 모델 선택 방법을 나타낸다.
도 16(b)는 도 10에 나타내는 2치화부에 의한 움직임 예측 모드의 2치화를 설명하는 도면이며, bin1의 컨텍스트 모델 선택 방법을 나타낸다.
도 16(c)는 도 10에 나타내는 2치화부에 의한 움직임 예측 모드의 2치화를 설명하는 도면이며, bin2의 컨텍스트 모델 선택 방법을 나타낸다.
도 16(d)는 도 10에 나타내는 2치화부에 의한 움직임 예측 모드의 2치화를 설명하는 도면이며, bin4의 컨텍스트 모델 선택 방법을 나타낸다.
도 16(e)는 도 10에 나타내는 2치화부에 의한 움직임 예측 모드의 2치화를 설명하는 도면이며, bin5의 컨텍스트 모델 선택 방법을 나타낸다.
도 17은 비트 스트림의 데이터 배열을 나타내는 설명도이다.
도 18은 실시 형태 1에 따른 화상 복호 장치의 구성을 나타내는 블록도이다.
도 19은 도 18에 나타내는 가변 길이 복호부의 내부 구성을 나타내는 블록도이다.
도 20은 도 18에 나타내는 가변 길이 복호부의 동작을 나타내는 흐름도이다.
도 21은 비특허 문헌 1에 의한 부호화 장치의 구성을 나타내는 블록도이다.
도 22는 비특허 문헌 1에 의한 부호화 장치에 있어서, 매크로블록마다 움직임 보상 예측을 행할 때의 움직임 벡터 할당 영역의 분할 형상의 형태를 나타낸다.
실시 형태 1
이하, 본 발명의 실시 형태에 대하여 도면을 참조하면서 구체적으로 설명한다.
본 실시 형태에서는, 4:4:4 포맷으로 입력되는 디지털 영상 신호의 압축 신장을 행하는 화상 부호화 장치 및 화상 복호 장치에 관한 것으로, 각 색 성분의 신호의 상태에 적응하여 움직임 보상 예측 처리를 행하는 화상 부호화 장치 및 화상 복호 장치에 대하여 서술한다.
여기서, 도 1에, 실시 형태 1에 따른 화상 부호화 장치 및 화상 복호 장치의 입력으로서 이용하는 4:4:4 포맷를 나타낸다. 4:4:4 포맷은, 도 1(a)에 나타낸 바와 같이, 컬러 동화상을 구성하는 3개의 신호 성분 C0, C1, C2의 화소 수가 모두 동일한 포맷인 것을 지칭한다. 3개의 신호 성분의 색 공간은, RGB 또는 XYZ이더라도 되고, 휘도·색차(YUV, YCbCr, 또는 YPbPr)이더라도 된다. 4:4:4 포맷에 대하여, 도 1(b)에 나타내는 4:2:0 포맷은, 색 공간이 YUV, YCbCr, 또는 YPbPr이며, 또한, 휘도 Y의 화소 수에 대하여 색차 신호 성분(예컨대, YCbCr이면 Cb, Cr)의 그것이 수평 W·수직 H 각각 2분의 1로 되는 포맷인 것을 지칭한다.
이하에 설명하는 화상 부호화 장치 및 화상 복호 장치는, 특히, 4:4:4 포맷의 색 공간이 YUV, YCbCr, 또는 YPbPr이며, 또한, 각 색 성분을 휘도 성분 상당이라고 간주하여 처리를 행하는 방식으로 한정하여 설명한다. 단, 이하에 설명하는 동작은, 4:2:0 포맷의 영상 신호를 대상으로 하는 화상 부호화 장치 및 화상 복호 장치에 있어서도, 그 휘도 신호에 대하여 직접 적용할 수 있음은 말할 필요도 없다.
1. 화상 부호화 장치
도 2는, 실시 형태 1에 따른 화상 부호화 장치의 구성을 나타내는 블록도이다. 도 2에 나타내는 화상 부호화 장치는, 4:4:4 포맷의 입력 영상 프레임을 소정 크기의 블록, 즉 Mmax×Mmax 화소 블록(이하, 「기준 블록」이라고 부름)으로 분할하고, 그 기준 블록의 단위로 움직임 예측을 행하여, 예측 오차 신호를 압축 부호화하도록 구성한다.
우선, 부호화 대상으로 되는 입력 영상 신호(1)는, 블록 분할부(2)에 있어서 기준 블록의 단위로 분할되어 부호화 신호(3)로서 예측부(4)에 입력된다. 도 3에, 블록 분할부(2)가 생성하는 기준 블록을 나타낸다. 도 3에 나타낸 바와 같이, 기준 블록은, Mmax×Mmax 화소로 이루어지는 직사각형의 블록을 통합한 단위의 기준 블록 데이터로서 구성한다. 상세한 것은 후술하지만, 기준 블록 사이즈 Mmax는 프레임 혹은 시퀀스, 또는 GOP(Group Of Pictures) 등의 상위 레이어 데이터 레벨로 결정·부호화한다. 또한, 프레임 내에서 기준 블록 사이즈 Mmax를 변경하도록 구성할 수도 있지만, 그 경우에는, 슬라이스 등의 복수 매크로블록을 통합한 단위로 기준 블록 사이즈 Mmax를 지정하도록 한다.
기준 블록 데이터는, Li×Mi 화소 블록(i:색 성분 식별자)의 「움직임 예측 단위 블록」으로 더 분할되어, 움직임 예측 단위 블록을 기본으로 하여 움직임 예측, 부호화가 행하여진다. 도 3(a)에 있어서의 움직임 예측 단위 블록의 패턴은 L0=Mmax/2, M0=Mmax/2, 도 3(b)에 있어서의 움직임 예측 단위 블록의 패턴은 L0=Mmax/2, M0=Mmax이며, 도 3(a), 도 (b) 모두 L1=M1=L2=M2=Mmax이다. 또한, 이하의 설명에 있어서는, 4:4:4 포맷의 각 색 성분의 기준 블록에 관해서는, 3개의 색 성분 C0, C1, C2로 동일하며, 기준 블록 사이즈 Mmax를 변경하는 경우에는, 3개의 색 성분 모두에 대하여, 동일 크기로 변경하는 것으로 한다. 또한, 움직임 예측 단위 블록의 크기 Li, Mi 각각에 대해서는, 색 성분 C0, C1, C2마다 선택 가능하게 하고, 시퀀스, GOP, 프레임, 기준 블록 등의 단위로 변경 가능해지도록 구성할 수도 있다. 이러한 구성을 취하는 것에 의해, 기준 블록 사이즈 Mmax는 변경하지 않고, 색 성분마다의 신호 성질의 차이에 따라, 움직임 예측 단위 블록 사이즈 Li, Mi를 유연하게 결정할 수 있어, 기준 블록을 단위로 하는 부호화·복호 처리의 병렬화·파이프라인화를 고려한 효율적인 실장이 가능하다.
예측부(4)에서는, 기준 블록 내의 각 색 성분의 화상 신호를 움직임 보상 예측하여, 예측 오차 신호(움직임 예측 오차 신호)(5)를 얻는다. 예측부(4)의 동작은, 본 실시 형태 1의 화상 부호화 장치의 특징이기 때문에 상세히 후술한다. 압축부(6)는, 예측 오차 신호(5)에 대하여 DCT 처리 등의 변환 처리를 실시하여 신호 상관을 제거한 후, 양자화하여 예측 오차 압축 데이터(7)를 얻는다. 이 때, 압축부(6)에서는 예측 오차 신호(5)에 대하여 DCT 등의 직교 변환·양자화를 행하여, 예측 오차 압축 데이터(7)를 가변 길이 부호화부(부호화부)(8) 및 국부 복호부(10)에 출력한다.
가변 길이 부호화부(8)는, 예측 오차 압축 데이터(7)를 엔트로피 부호화하여 비트 스트림(9)으로서 출력한다. 국부 복호부(10)는, 예측 오차 압축 데이터(7)로부터 복호 예측 오차 신호(11)를 얻는다. 이 복호 예측 오차 신호(11)가, 예측 오차 신호(5)의 생성에 이용한 예측 신호(예측 화상)(12)와 가산부에서 가산되고 복호 신호(13)로 되어, 루프 필터(14)에 입력된다. 또한, 예측 신호(12)를 얻기 위해서 예측부(4)에 있어서 결정된 예측 신호 생성용 파라미터(17)는 가변 길이 부호화부(8)에 전송되고, 비트 스트림(9)으로서 출력된다. 예측 신호 생성용 파라미터(17)의 내용에 관해서는, 예측부(4)의 설명과 함께 이후에서 상술한다. 또한, 가변 길이 부호화부(8)에 있어서의 예측 신호 생성용 파라미터(17)의 부호화 방법에 관해서도, 본 실시 형태 1에 있어서의 특징의 하나이기 때문에, 이후에 상세히 기술한다.
루프 필터(14)는, 압축부(6)에 있어서의 변환 계수 양자화에 따라 발생하는 블록 왜곡이 중첩된 복호 신호(13)에 대하여, 예측 신호 생성용 파라미터(17) 및 양자화 파라미터(19)를 이용하여 블록 왜곡 제거 필터를 실시한다. 복호 신호(13)는, 루프 필터(14)에서 부호화 잡음을 제거하는 처리가 실시된 후, 이후의 예측 신호(12)를 생성하기 위한 참조 화상 신호(15)로서 메모리(16)에 저장된다.
비특허 문헌 1, 2 등의 영상 부호화 방식에서는, 기준 블록을 매크로블록으로 한 경우, 매크로블록의 단위로 프레임내 부호화, 프레임간 예측 부호화를 선택하면서 부호화하는 방법이 일반적이다. 이것은 프레임간의 움직임 예측이 충분하지 않은 경우에, 프레임내의 상관을 이용하는 쪽이, 부호화가 효율화되는 경우가 있는 것에 기인하고 있다. 이후, 본 실시 형태 1의 화상 부호화 장치에서는, 발명의 포인트를 설명하는 것에 있어서 프레임내 부호화에 대한 기술이나 그 선택적 사용에 대하여 문서 중에서의 명시적 기재는 하지 않지만, 특별히 배제하지 않는 한, 기준 블록을 단위로 하는 프레임내 부호화의 선택적 사용이 가능한 구성으로 한다. 본 실시 형태 1의 화상 부호화 장치에 있어서, 기준 블록을 매크로블록으로 정의할 수도 있지만, 움직임 예측의 설명을 위해 이후에도 기준 블록이라는 용어를 이용한다.
이하, 본 실시 형태 1의 특징의 한 개인 예측부(4)의 상세한 동작에 대하여 설명한다. 본 실시 형태 1의 예측부(4)의 특징은 이하의 3점이다.
(1) 기준 블록·움직임 예측 단위 블록의 크기와 움직임 예측에 이용하는 분할 형상의 연동 적응화
(2) 각 색 성분의 성질에 따른 움직임 예측 모드, 움직임 벡터의 결정
(3) 기준 블록·움직임 예측 단위 블록의 크기에 근거하는 적응적인 스킵 모드 선택
상기 (1)에 관해서는, 예측부(4)가, 우선 기준 블록을, 각 색 성분의 신호의 성질에 따라 Li×Mi 화소의 움직임 예측 단위 블록으로 분할하고, 움직임 예측 단위 블록을 li×mi 화소의 조합으로 이루어지는 복수의 형상으로 더 분할한다. 그리고, 예측부(4)는, 각 분할 영역에 각각 고유의 움직임 벡터를 할당하여 예측을 행하고, 가장 예측 효율이 우수한 형상을 움직임 예측 모드로서 선택하며, 그 결과로서 얻어지는 움직임 벡터를 이용하여 각 분할 영역에 대한 움직임 예측을 행하며, 예측 오차 신호(5)를 얻는다. 움직임 예측 단위 블록 내의 분할 형상은, li×mi 화소로 이루어지는 「기본 블록」의 조합에 의해 구성되는 형상을 취하는 것으로 한다. 본 실시 형태 1의 화상 부호화 장치에 있어서는, Mi와 mi, Li와 li의 사이에「mi= Mi/2」,「li= Li/2」로 되는 제약을 마련한다. 이 조건에 의해서 정해지는 기본 블록의 분할 형상을 도 4에 나타낸다. 도 4는, 예측부(4)에 의한 움직임 예측 단위 블록을 기본 블록 단위로 분할한 형상 예를 게시하는 설명도이다. 이하, 본 실시 형태 1의 화상 부호화 장치에서는, 도 4에 나타내는 분할 형상의 패턴(분할 패턴) mc_mode0∼7은 3개의 색 성분에 대하여 공통인 것으로 한다. 단, 분할 패턴 mc_mode0∼7을 3개의 색 성분에 대하여 독립적으로 정하도록 구성할 수도 있다. 또한, 이 분할 패턴 mc_mode0∼7인 것을 이하에서는 「움직임 예측 모드」라고 부르는 것으로 한다.
비특허 문헌 1, 2의 영상 부호화 방식에서는, 움직임 예측 적용 영역의 형상은 직사각형으로 한정되어 있고, 도 4와 같은 직사각형 이외의 대각 분할을 이용할 수 없다. 이것에 대하여 본 실시 형태 1에서는 도 4와 같은 움직임 예측을 적용하는 영역의 형상을 다양화시키는 것에 의해, 동물체의 윤곽 부분 등, 기준 블록 내에 복잡한 움직임을 포함하는 경우에, 직사각형 분할보다도 적은 움직임 벡터 개수로 움직임 예측 가능해진다.
또한, 「S.Kondo and H.Sasai, "A Motion Compensation Technique using sliced Blocks and its Application to Hybrid Video Coding", VCIP 2005, July 2005」에서는, 종래의 매크로블록에 대하여 움직임 예측 적용 영역의 분할 형상의 다양화 방법이 개시되어 있다. 이 문헌에서는, 분할 형상을, 매크로블록 분할을 행하는 선분과 그 블록 경계와의 교점 위치에 의해서 표현한다. 그러나 이 방법은 화소 수 M을 고정한 채로 기준 블록 내의 분할 패턴을 증가시키는 방법이며, 이하의 문제가 있다.
문제 1:
기준 블록의 분할 패턴을 기술하기 위한 부호량이 증가한다. Mmax mod mi=0이 되는 임의의 mi를 허용함으로써, 기준 블록 내의 분할 패턴이 증가하며, 그 패턴을 지정하기 위한 정보를 오버헤드 정보로서 부호화할 필요가 생긴다. 분할 패턴이 증가할수록, 임의의 특정한 분할 패턴이 발생하는 확률이 분산되기 때문에, 분할 패턴의 엔트로피 부호화가 비효율적으로 되고, 부호량으로서의 오버헤드로 되어 부호화 총합으로서의 성능에 한계가 생긴다.
문제 2:
분할 패턴이 증가함으로써, 부호화 시에 최적의 분할을 선택하기 위해서 필요한 연산량이 증대한다. 움직임 예측은 부호화 처리 부하의 대부분을 차지하는 고 부하 처리이며, 맹목적으로 분할 패턴이 증가하는 알고리즘에서는, 화상 부호화 장치는 그 중에서 특정한 분할 패턴만을 검증·이용하도록 설계하지 않을 수 없다. 따라서 화상 부호화 장치는, 알고리즘이 갖는 원래의 성능을 최대한 살릴 수 없는 경우가 있다.
이것에 대하여, 본 실시 형태 1의 화상 부호화 장치에 있어서의 도 4의 접근법은, 우선, 1) Mmax의 값을 부호화의 조건이나 영상 신호의 해상도나 성질에 기초하여 프레임 등의 상위 레벨로 변경 가능하게 하는 것, 2) Mmax×Mmax의 기준 블록을 색 성분 Ci마다의 특성에 따라 움직임 예측 단위 블록 Li×Mi 화소로 분할 가능하게 하는 것, 3) 각 움직임 예측 단위 블록의 기본 블록으로의 분할 조건을 「mi= Mi/2」,「li= Li/2」로 되는 제약을 만족시키는 분할 형상으로 한정한 후에 분할의 변형을 확보하는 것의 3개의 고안에 의해, 상기 문제를 해결한다. 기준 블록의 크기 Mmax의 값은 프레임이나 슬라이스 내에서 국소적으로 변경하지 않고, 프레임 레벨 또는 프레임 열(시퀀스, GOP) 등의 상위 데이터 구조 레벨에서만 변경 가능하게 한다. 이 메커니즘은, 기준 블록 내에 포함되는 화상 신호 패턴의 의미의 차이에 대한 적응화를 가능하게 한다. 예컨대, 작은 해상도(Video Graphics Array : VGA 등)의 영상과 큰 해상도(HDTV 등)의 영상에서는, 동일한 Mmax×Mmax 화소 블록 내의 신호 패턴이 표현하는 의미가 상이하다. 동일한 피사체를 예측하는 경우, 작은 해상도의 영상에서는 피사체의 구조에 가까운 신호 패턴이 포착되지만, 큰 해상도의 영상에서는, 작은 해상도인 때와 동일한 블록 사이즈를 이용하더라도 피사체의 보다 국소적인 부위의 신호 패턴을 파악하는 것에 지나지 않는다. 따라서, 기준 블록의 크기가 해상도에 따르지 않고 동일한 경우, 해상도가 높아짐에 따라, 기준 블록 내의 신호 패턴은 노이즈 성분의 요소가 커져, 패턴 매칭 기술로서의 움직임 예측의 성능을 향상시킬 수 없게 된다.
그래서, 기준 블록 사이즈 Mmax의 값을 상위 데이터 구조 레벨에서만 변경 가능하게 함으로써 기준 블록 사이즈 Mmax의 값의 시그널링에 요하는 부호량을 억제하면서, 영상의 해상도나 화면 변경, 화면 전체의 액티비티(activity) 변화 등의 상황에 따라, 기준 블록에 포함되는 신호 패턴을 움직임 예측의 의미에 있어서 최적화할 수 있다. 이 메커니즘에 부가하여, 도 3과 같이 색 성분마다 움직임 예측 단위 블록 내의 분할 패턴을 변경 가능하게 하는 것에 의해, 각 색 성분의 신호 특성에 따라 움직임 예측의 처리 단위를 최적화 가능하게 한다. 또한, 움직임 예측 단위 블록 내에 도 4와 같이 분할 패턴의 한정적 자유도를 제공하는 것에 의해, 움직임 예측 단위 블록 내의 분할 패턴 표현에 요하는 부호량을 억제하면서, 움직임 예측의 전체적인 효율을 개선할 수 있다. 또한, 기준 블록 사이즈 Mmax의 값을 프레임 레벨에서 결정하는 처리를 효율적으로 하면, 이후, 기준 블록 내에서 검사해야 할 분할 패턴의 변형은 종래 기술에 비해 적게 억제할 수 있어, 부호화 처리의 부하를 작게 할 수 있다.
기준 블록 사이즈 Mmax의 값을 결정하는 방법에는, 예컨대, 이하와 같은 방법이 있다.
(1) 부호화 대상 영상의 해상도에 기초하여 결정한다. 동일한 Mmax 값의 경우, 해상도가 큰 경우에는 기준 블록 내의 화상 신호 패턴이 보다 노이즈 성분적인 의미를 가져, 움직임 벡터가 화상 신호 패턴을 파악하기 어렵게 된다. 그와 같은 경우에 Mmax 값을 크게 하여 화상 신호 패턴을 포착할 수 있도록 한다.
(2) 프레임 간의 차분치의 대소를 액티비티라고 간주하여 액티비티가 큰 경우에는 작은 Mmax 값으로, 작은 경우에는 큰 Mmax 값으로 움직임 예측을 행한다. 또한, 이 때의 크기 제어를, 부호화 대상 영상의 프레임 레이트에 기초하여 결정한다. 프레임 레이트가 높을수록 프레임간 상관이 크고 움직임 벡터 자체의 동적 범위가 작게 되어 그 부호량이 작게 되기 때문에, 다소 액티비티가 작더라도 Mmax 값을 지나치게 크지 않도록 설정하여 세밀한 움직임까지 예측할 수 있도록 하는, 등의 방법을 생각할 수 있다.
(3) (1)과 (2)의 방법을 가중치 부여하여 조합해서 판단한다.
기준 블록 사이즈 Mmax의 값이 결정된 후, 색 성분마다 움직임 예측 단위 블록의 크기 Li, Mi의 결정을 행한다. 예컨대, 입력 영상 신호(1)가 YUV(또는 YCbCr 등)의 색 공간에서 정의된 신호인 경우, 색 신호인 U/V 성분은 휘도 신호 Y 성분에 비해 신호 대역이 좁다. 따라서, 블록 내분산은 휘도에 비해 작게 된다. 이것을 근거로 하여 U/V 성분의 크기 Li, Mi에 관해서는 휘도 신호 Y 성분의 크기 Li, Mi보다도 큰 값을 취하도록 구성한다고 한 판단 기준의 예를 생각할 수 있다(도 3 참조).
이들 판단을 행한 결과로서 얻어지는 각 블록 사이즈 Mmax, Li, Mi의 값은, 기준 블록 사이즈 정보(18)로서 블록 분할부(2), 예측부(4), 가변 길이 부호화부(8)에 통지된다. 또한, 도 3과 같이, Mmax에 대하여 Li, Mi를 간이한 연산으로 도출 가능한 값으로 설정해 두면, Li, Mi를 독립적인 값으로서 부호화하는 것이 아니며, 산출식의 식별자를 부호화하면 바람직하기 때문에, 기준 블록 사이즈 정보(18)에 요하는 부호량을 억제할 수 있다.
또한, 도 2에서는 특히 도시하지 않고 있지만, 화상 부호화 장치는, Mmax, Li, Mi의 값을 결정하여 각 부에 통지하기 위한 기준 블록 사이즈 결정부를 구비하며, 기준 블록 사이즈 정보(18)를 결정하는 구성이더라도 된다.
예측부(4)는, 기준 블록 사이즈 정보(18)로부터 도출되는 움직임 예측 단위 블록 사이즈 Li, Mi에 기초하여, 도 3, 도 4의 분할 패턴을 이용하는 움직임 검출 처리를 실행한다. 도 5는, 예측부(4)의 동작을 나타내는 흐름도이다. 예측부(4)는, 상기 프레임의 Ci 성분을 Li×Mi 화소의 움직임 예측 단위 블록의 단위로 움직임 예측해 나간다. 기본적으로는, 이 프로세스에서는 도 4의 mc_mode0∼7까지의 분할 패턴의 각각에 대해, 지정된 움직임 탐색 범위에서 분할 영역마다의 최적 움직임 벡터를 검출하고, 최종적으로 상기 움직임 예측 단위 블록에 대하여 mc_mode0∼7 중 어느 하나의 움직임 예측 모드를 이용하는 것이 가장 예측 효율이 좋은지를 결정한다.
예측 효율은, 움직임 예측 단위 블록 내의 움직임 벡터의 총 부호량 R과, 상기 움직임 벡터를 적용하여 메모리(16) 내에 저장되는 참조 화상으로부터 생성한 예측 신호(12)와 입력 영상 신호(1) 사이의 예측 오차량 D로부터 도출하는 하기 비용 J에 의해 정의된다. 예측부(4)는, 이 비용 J가 최소로 되는 움직임 예측 모드와 움직임 벡터를 출력하도록 구성한다.
Figure 112013084974752-pat00001
그래서, 예측부(4)는 우선, 각 움직임 예측 모드 mc_modek에 대하여, 비용 Jk의 계산을 행한다(스텝 ST1). 도 6에 mc_mode5의 케이스를 예로 들어 비용 J의 계산 방법을 설명한다. 이 때, 프레임 F(t) 내의 피예측 대상의 움직임 예측 단위 블록은, 2개의 분할 영역 B0, B1로 이루어진다. 또한, 메모리(16) 내에는 2장의 부호화·국부 복호 완료된 참조 화상 F’(t-1), F’(t-2)이 저장되어 있고, 분할 영역 B0, B1은 이들 2장의 참조 화상 F’(t-1), F’(t-2)을 사용하여 움직임 예측할 수 있는 것으로 한다. 도 6에서는 분할 영역 B0은 참조 화상 F’(t-2)을 이용하여 움직임 벡터 MVt -2(B0)를 검출하고, 분할 영역 B1은 참조 화상 F’(t-1)을 이용하여 움직임 벡터 MVt - 1(B1)를 검출하고 있다. B를 분할 영역, Sn(x)을 제 n 프레임의 화면내 위치 x=(i, j)에 있어서의 화소치, v를 움직임 벡터라고 하면, 분할 영역 B의 예측 오차량 D는, 차분 절대치합(Sum of Absolute Difference : SAD)을 이용하여, 하기 식(2)으로서 계산할 수 있다.
Figure 112013084974752-pat00002
예측 오차량 D는, 위 식(2) 계산의 결과, 얻어지는 분할 영역 B0, B1에 대응하는 예측 오차량 D0, D1로부터 D=D0+D1로서 구한다.
한편, 총 부호량 R는, 예측 벡터 PMV(B0), PMV(B1)를 이용하여, 하기 식(3)으로부터 움직임 벡터 예측 차분치 MVD(B0), MVD(B1)를 얻고, 이들의 값을 부호량 환산하여 부호량 R0, R1을 얻어, 총 부호량 R=R0+R1으로서 구한다.
Figure 112013084974752-pat00003
이상으로부터, 비용 J가 구해진다. 예측부(4)는, 탐색 범위 내의 검사 대상으로 되는 모든 움직임 벡터에 대하여 비용 J의 계산을 행하여, mc_mode5의 분할 패턴으로서 가장 비용 J가 작은 해를 구한다. 또한, mc_mode1∼4의 예측 벡터 PMV의 산출 예를 도 7에 나타낸다. 도 7에 있어서, 화살표는 예측 벡터 도출에 이용하는 주변의 움직임 벡터 MV를 의미하여, ○로 둘러싸인 3개의 움직임 벡터 MV의 메디안(중앙치)이, 그것이 지시하는 분할 영역의 예측 벡터 PMV로 된다.
또한, Li×Mi 화소 블록에 대하여, k=7, 즉, mc_mode7을 선택한 경우, li×mi 화소 블록에 대하여, mc_mode0∼7의 모드에 상당하는 움직임 예측 모드를 선택하도록 또한 구성한다. 이 때의 모드의 명칭은 편의상, sub_mc_mode0∼7로 한다. li×mi 화소 블록에 대하여 sub_mc_mode를 결정하는 처리는 도 5의 처리 흐름에 준하는 것으로 하며, Li×Mi 화소 블록 단위에 대응하는 mc_mode7의 비용 J7은, li×mi 화소 블록의 단위로 정해지는 sub_mc_mode를 이용하여 얻어지는 총 비용으로 한다.
계속해서, 예측부(4)는, 이렇게 하여 구해지는 mc_modek에서의 비용 Jk가, 그때까지 검증한 mc_modek ,-1, mc_modek -2,...에서의 비용보다도 작은지 여부를 검증하고(스텝 ST2), 작은 경우에는(스텝 ST2“예”), mc_modek를 그 시점까지의 최적의 움직임 예측 모드로서 유지함과 아울러, 그 때의 움직임 벡터 및 예측 오차 신호를 유지해 둔다(스텝 ST3). 예측부(4)는, 모든 움직임 예측 모드를 검증하여 완료하면(스텝 ST4“예”), 그때까지 유지되어 있던 움직임 예측 모드, 움직임 벡터, 예측 오차 신호(5)를 최종 해로서 출력한다(스텝 ST5). 그렇지 않으면(스텝 ST2“아니오” 또는 스텝 ST4“아니오”), 스텝 ST6에서 변수 k를 증분하고, 스텝 ST1로 되돌아가 다음 움직임 예측 모드를 검증한다.
또한, mc_mode0, sub_mc_mode0에 상당하는 움직임 예측 모드에서는, 그 움직임 벡터가 예측 벡터와 일치(부호화해야 할 예측 차분치가 제로)하고, 또한 예측 오차 신호의 변환·양자화 후의 계수가 전부 제로로 되는 케이스를, 각각 특별한 스킵 모드라 정의한다. 이하에서는, mc_mode0에 대응하는 스킵 모드는 mc_skip 모드(제 1 스킵 모드), sub_mc_mode0에 대응하는 스킵 모드는 sub_mc_skip 모드(제 2 스킵 모드)라고 부르는 것으로 한다. 도 8은, 스킵 모드를 설명하기 위한 도면이며, 도 8(a)에서는 1 개의 실선으로 둘러싸인 직사각형이 움직임 예측 단위 블록을 나타내고, 그 움직임 벡터가 MV인 것을 나타낸다. 이 때, 예컨대, 주변의 움직임 예측 단위 블록의 움직임 벡터를 이용하여 도 8과 같이 예측 벡터 PMV를 구한다. 움직임 벡터의 부호화는 예측 벡터와의 예측 차분치를 부호화하기 때문에, 예측 차분치가 제로로 되는 케이스(MV==PMV)이고 또한 예측 오차 신호(5)에 부호화해야 할 비제로 계수가 없으면, 이 움직임 예측 단위 블록을 mc_skip 모드로 간주한다. 또한, 도 8(b)는, 도 8(a)에 세밀하게 나타내는 기본 블록을 중심으로 확대 표시한 것이며, 굵은 선 테두리가 움직임 예측 단위 블록 영역을 나타낸다. 이 케이스에서는 대상의 기본 블록의 sub_mc_mode는 sub_mc_mode0에 대응한다. 이 때의 움직임 벡터를 MVs, 또한 예측 벡터를 PMVs로 했을 때, mc_skip의 판단과 마찬가지로, 예측 차분치가 제로로 되는 케이스(MVs==PMVs)이며 또한 예측 오차 신호(5)에 부호화해야 할 비제로 계수가 없으면, 이 기본 블록에 적용하는 움직임 예측 모드를 sub_mc_skip 모드로 간주한다.
비특허 문헌 1, 2 등의 종래의 부호화 방식에서는, 일반적으로, mc_mode0, 즉, 가장 큰 움직임 예측 단위 블록(비특허 문헌 1, 2에서는, 본 실시 형태 1에 있어서의 기준 블록과 움직임 예측 단위 블록은 동일 크기이며, 또한 매크로블록에 해당)에만 대응하는 스킵 모드를 마련하고, 스킵 모드의 경우에는 매크로블록의 정보를 일체 부호화하지 않도록 설계되어 있다. 본 실시 형태 1에서는, 이것을 또한 sub_mc_mode의 계층에서도 정의하는 점이 특징이다. 비특허 문헌 1, 2 등의 종래의 부호화 방식에서는, 취급하고 있었던 영상 신호가 HDTV 정도까지 비교적 샘플링 레이트가 낮은 영상 신호이기 때문에, 매크로블록의 크기보다도 작은 움직임 예측 단위 블록은, 움직임이 복잡하게 되는 것만을 의미하여, 스킵 모드를 고려하더라도 효율적인 부호화가 곤란했다. 한편, HDTV를 초과하는 초고세밀 영상이나 4:4:4 포맷 등의 샘플링 레이트가 높은 영상 신호에서는, Li×Mi 화소 블록으로 이루어지는 움직임 예측 단위 블록의 크기만으로 스킵 모드를 마련하는 것만으로는, 그것보다도 작은 기본 블록(또는 그 조합에 의해 정해지는 움직임 벡터 할당 영역)을 선택할 때, 스킵의 조건을 유효하게 활용할 수 없고, 항상 제로치의 움직임 벡터나 제로 계수치를 명시적으로 부호화하게 되어, 부호화 효율이 나쁘다. 따라서, 본 실시 형태 1에서는, mc_mode 할당의 단위인 Li×Mi 화소 블록으로 이루어지는 움직임 예측 단위 블록의 단위 뿐만 아니라, sub_mc_mode 할당의 단위인 li×mi 화소 블록으로 이루어지는 기본 블록이 일정한 크기 이상(li>lt, mi>mt)인 경우, 기본 블록마다 sub_mc_skip 모드를 선택·이용할 수 있도록 구성한다. 임계치 lt, mt는, Mi, Li의 값으로부터 고유하게 정하더라도 되고(예컨대, lt=Li/2, mt=Mi/2 등), 프레임이나 시퀀스의 레벨로 비트 스트림으로 다중화하여 전송하도록 구성할 수도 있다.
이상 서술한 예측부(4)에 있어서의 처리에 의해서, 예측 오차 신호(5)와, 예측 신호 생성용 파라미터(17)(움직임 예측 모드 및 움직임 벡터)가 출력되어, 이들은 가변 길이 부호화부(8)에 의해 엔트로피 부호화된다. 이하에서는, 본 실시 형태 1의 화상 부호화 장치의 특징의 하나인, 예측 신호 생성용 파라미터(17)의 엔트로피 부호화 방법에 대하여 서술한다.
이하에서 설명하는 예측 신호 생성용 파라미터(17)의 부호화에 있어서는, 설명의 대상을, 움직임 예측 모드, 움직임 벡터의 2 종류의 파라미터로 한다. 도 9는, 가변 길이 부호화부(8)의 엔트로피 부호화 방법을 설명하기 위한 도면이다. 본 실시 형태 1의 화상 부호화 장치에서는, 도 9에 나타낸 바와 같이, 피예측·부호화 대상의 기본 블록 Bx의 움직임 예측 모드 m(Bx)를 부호화하는 데 적합하고, 동일 프레임 F(t)의 좌의 기본 블록 Ba의 예측 모드 m(Ba), 위의 기본 블록 Bb의 예측 모드 m(Bb), 직전의 인접 프레임 F’(t-1)에 있어서 기본 블록 Bx와 동일 위치의 기본 블록 Bc의 움직임 예측 모드 m(Bc)의 상태를 선택적으로 참조하여 엔트로피 부호화를 행한다.
도 10은 가변 길이 부호화부(8)의 내부 구성을, 도 11은 그 동작 흐름을 나타낸다. 본 실시 형태 1에 있어서의 가변 길이 부호화부(8)는, 부호화 대상 데이터인 움직임 예측 모드나 움직임 벡터 등의 개개의 데이터 타입에 대하여 정의되는 컨텍스트 모델(후술)을 정하는 컨텍스트 모델 결정부(21), 각 부호화 대상 데이터 타입에 대하여 정해지는 2치화 규칙에 따라서 다치 데이터를 2치 데이터로 변환하는 2치화부(22), 2치화 후의 개개의 bin의 값(0/1)의 발생 확률을 제공하는 발생 확률 생성부(23), 생성된 발생 확률에 기초하여 산술 부호화를 실행하는 부호화부(24), 발생 확률 정보를 기억하는 발생 확률 정보 기억 메모리(25)로 구성된다. 컨텍스트 모델 결정부(21)로의 입력은, 여기서는 예측 신호 생성용 파라미터(17) 중, 움직임 예측 모드와, 움직임 벡터로 한정하여 설명한다.
A) 컨텍스트 모델 결정 처리(도 11에 있어서의 스텝 ST11)
컨텍스트 모델은, 정보원 심볼의 발생 확률의 변동 요인으로 되는 다른 정보와의 의존 관계를 모델화한 것이며, 이 의존 관계에 대응하여 발생 확률의 상태를 전환함으로써 심볼의 실제의 발생 확률에 의해 적응한 부호화를 행하는 것이 가능해진다. 도 12에 컨텍스트 모델 ctx의 개념을 나타낸다. 또한, 동 도면에서는 정보원 심볼은 2치로 하고 있지만, 다치이더라도 상관없다. 단, 본 실시 형태 1에서는, 2치 산술 부호화만을 취급한다.
도 12의 0∼2라고 하는 컨텍스트 모델 ctx의 선택은, 이 컨텍스트 모델 ctx를 이용하는 정보원 심볼의 발생 확률의 상태가, 상황에 따라 변화될 것이다는 것을 상정하여 정의되어 있다. 본 실시 형태 1에 있어서의 화상 부호화 장치에서 서술하면, 임의듸 기준 블록에 있어서의 부호화 데이터와 그 주변의 기준 블록의 부호화 데이터와의 사이의 의존 관계에 따라 컨텍스트 모델 ctx의 값이 전환된다.
예컨대, 도 13에, 「D. Marpe et. al., "Video Compression Using Content-Based Adaptive Arithmetic Coding", International Conference on Image Processing 2001」에 개시된 움직임 벡터에 관한 컨텍스트 모델의 예를 게시한다. 도 13에 있어서, 블록 C의 움직임 벡터가 부호화 대상이다(정확하게는, 블록 C의 움직임 벡터를 근방으로부터 예측한 예측 차분치 mvdk(C)가 부호화됨). 또한, ctx_mvd(C, k)가 블록 C의 움직임 벡터에 대한 컨텍스트 모델을 나타낸다. mvdk(A)는 블록 A에 있어서의 움직임 벡터 예측 차분치, mvdk(B)는 블록 B에 있어서의 움직임 벡터 예측 차분치를 각각 나타내며, 이들의 값이 컨텍스트 모델의 변경 평가치 ek(C)의 정의에 사용된다. 평가치 ek(C)는, 근방의 움직임 벡터의 편차 정도를 나타내는 것으로 되어, 일반적으로는 이 편차가 작은 경우에는 움직임 벡터 예측 차분치 mvdk(C)는 작고, 반대로 평가치 ek(C)가 큰 경우에는 움직임 벡터 예측 차분치 mvdk(C)도 커지는 경향이 있다. 따라서, 움직임 벡터 예측 차분치 mvdk(C)의 심볼 발생 확률은, 평가치 ek(C)에 기초하여 적응화되는 것이 바람직하다. 이 발생 확률의 변형 세트가 컨텍스트 모델이며, 이 케이스에서는 3 종류의 발생 확률 변형이 있다고 할 수 있다.
이와 같이, 부호화 대상 데이터 각각에 대해 미리 컨텍스트 모델이 정의되어, 화상 부호화 장치와 화상 복호 장치에서 공유된다. 컨텍스트 모델 결정부(21)에서는, 이러한 부호화 대상 데이터의 종별에 기초하여 미리 정해진 모델을 선택하는 처리를 행한다. 또한, 컨텍스트 모델 중의 임의의 발생 확률 변형을 선택할지는 하기 (C)의 발생 확률 생성 처리에 해당한다.
도 10에 있어서, 가변 길이 부호화부(8)는 움직임 예측 모드, 움직임 벡터에 할당하는 컨텍스트 모델(26)의 후보를 복수 준비해 두고, 컨텍스트 모델 선택 정보(27)에 의해서, 사용하는 컨텍스트 모델(26)을 변경하는 것을 특징으로 한다. 도 9에 나타낸 바와 같이, 피예측·부호화 대상의 기본 블록 Bx의 움직임 예측 모드 m(Bx)는, 프레임간에서 움직임의 상태에 대한 상관이 낮으면, 동일 프레임내에서 공간적으로 인접하는 화상 영역의 상태와의 상관이 높다(즉, 움직임 예측 모드 m(Bx)의 값은, 움직임 예측 모드 m(Ba), m(Bb)의 분할 형상에 강하게 영향받음)고 생각되기 때문에, 동일 프레임의 좌의 기본 블록 Ba의 움직임 예측 모드 m(Ba), 위의 기본 블록 Bb의 움직임 예측 모드 m(Bb)를 컨텍스트 모델(26)의 결정에 이용한다. 이 사고 방식의 근거로 되는 예를 도 14에 나타낸다. 도 14는, 움직임 예측 모드 m(Bx)=mc_mode3의 경우에 대하여, 기본 블록 Ba, Bb에서 선택되는 움직임 예측 모드의 2개의 상태를 비교하여 나타낸 것이다. 도 14(a)에 있어서는, 움직임 예측 모드 m(Bx)의 분할 형상에 대하여, 기본 블록 Ba, Bb 모두 분할의 사이가 자연스럽게 연결된다. 한편, 도 14(b)에서는 기본 블록 Ba, Bb 모두 분할의 사이가 연결되지 않는다. 일반적으로 이 분할 형상은 기준 블록 내에 존재하는 복수의 상이한 움직임 영역의 존재를 나타내는 것이기 때문에, 영상의 구조를 반영하기 쉽다. 따라서, 도 14(a)에 나타내는 상태 쪽이, 도 14(b)에 나타내는 상태보다도 「일어나기 쉬운 상태」라고 생각할 수 있다. 즉, 움직임 예측 모드 m(Ba), m(Bb)의 상태에 따라, 움직임 예측 모드 m(Bx)의 발생 확률이 영향을 받게 된다.
마찬가지로, 프레임간에서 움직임의 상태에 대한 상관이 높으면, 시간적으로 인접하는 화상 영역의 상태와의 상관이 높다(즉, 움직임 예측 모드, m(Bx)는, 움직임 예측 모드 m(Bc)의 분할 형상에 대응하여 취할 수 있는 값의 확률이 변화됨)고 생각되기 때문에, 가변 길이 부호화부(8)는, 직전의 인접 프레임에 있어서 기본 블록 Bx와 동일 위치에 있는 기본 블록 Bc의 움직임 예측 모드 m(Bc)를 컨텍스트 모델(26)의 결정에 이용한다.
가변 길이 부호화부(8)는, 움직임 벡터의 컨텍스트 모델(26)의 결정에 있어서도 마찬가지로, 프레임간에서 움직임의 상태에 대한 상관이 낮으면, 동일 프레임의 좌측의 블록 Ba의 움직임 벡터, 위의 블록 Bb의 움직임 벡터를 컨텍스트 모델(26)의 결정에 이용한다. 한편, 프레임간에서 움직임의 상태에 대한 상관이 높으면, 가변 길이 부호화부(8)는, 직전의 인접 프레임에 있어서 블록 Bx와 동일 위치에 있는 블록 Bc의 움직임 벡터를 컨텍스트 모델(26)의 결정에 이용한다. 움직임 예측 모드와 마찬가지로 움직임 벡터에 관해서도 색 성분 사이의 상관을 컨텍스트 모델(26)의 결정에 이용할 수도 있다.
프레임간에서 움직임의 상태에 대한 상관의 고저는, 화상 부호화 장치에 있어서 소정의 방법에 의해서 검출하며, 컨텍스트 모델 선택 정보(27)의 값을 명시적으로 비트 스트림(9)으로 다중화하여 화상 복호 장치에 전달할 수도 있고, 화상 부호화 장치와 화상 복호 장치의 양자에서 검출 가능한 정보에 기초하여 컨텍스트 모델 선택 정보(27)의 값을 각각 결정하도록 구성할 수도 있다. 영상 신호는 비정상이기 때문에, 이러한 적응 제어가 가능하게 되는 것에 의해, 산술 부호화의 효율을 높일 수 있다.
(B) 2치화 처리(도 11에 있어서의 스텝 ST12)
컨텍스트 모델은, 부호화 대상 데이터를 2치화부(22)에서 2치 계열화하여, 2치 계열의 각 bin(2진 위치)에 따라 정한다. 2치화의 규칙은, 각 부호화 데이터가 취하는 값의 개략적인 분포에 따라, 가변 길이의 2치 계열로의 변환을 행한다. 2치화는, 원래 다치를 취할 수 있는 부호화 대상 데이터를 그대로 산술 부호화하는 것보다도 bin 단위로 부호화하는 것에 의해 확률수 직선의 분할수를 삭감할 수 있고 연산을 간략화할 수 있어, 컨텍스트 모델의 슬림화가 가능하게 되는 등의 장점이 있다.
예컨대, Li=Mi=32, li=mi=16로서 부호화할 때, 2치화부(22)는, 움직임 예측 모드의 2치화를 도 15(a), 도 15(b)와 같이 행한다.
각 bin0,1,2,4,5에는, 도 16(a)∼도 16(e)에 나타내는 컨텍스트 모델을 적용한다. Bin0은, 도 16(a)에 나타낸 바와 같이, 부호화 대상 데이터(블록 C)에 대하여 상측(블록 A)·좌측(블록 B)의 위치의 움직임 예측 단위 블록의 상태가 「스킵 모드인지 여부」를 발생 확률의 변경 기준으로 한다. Bin1은, 도 16(b)에 나타낸 바와 같이, 상측(블록 A)·좌측(블록 B)의 위치의 움직임 예측 단위 블록의 상태가 「움직임 예측 블록 분할이 있는지 여부」를 발생 확률의 변경 기준으로 한다. Bin2는, 도 16(c)에 나타낸 바와 같이, 상측(블록 A)·좌측(블록 B)의 위치의 블록 상태가 「복잡한 움직임 예측 모드인지 여부」를 발생 확률의 변경 기준으로 한다. Bin3은 컨텍스트 모델을 정의하지 않고, 소정의 발생 확률로 고정화한다. Bin4는, 도 16(d)에 나타낸 바와 같이, 좌측(블록 B)의 위치의 블록 상태가「움직임 예측 형상 분할이 수평 분할인지 여부」를 발생 확률의 변경 기준으로 한다. Bin5는, 도 16(e)에 나타낸 바와 같이, 상측(블록 A)의 위치의 블록 상태가 「움직임 예측 형상 분할이 수직 분할인지 여부」를 발생 확률의 변경 기준으로 한다. 이와 같이, 움직임 예측 영역의 형상에 기초하여 컨텍스트 모델(26)을 정하는 것에 의해, 국소적인 영상 신호의 성질에 적응화하여 움직임 예측 모드 정보에 관한 발생 확률의 선택이 가능해져, 산술 부호화의 부호화 효율을 높일 수 있다. 또한, li=mi=16에 있어서 sub_mc_skip를 사용하지 않는 선택을 행하는 경우(임계치 lt>=16, mt>=16)에는, 도 15(b)의 Bin0을 부호화하지 않도록 구성한다.
(C) 발생 확률 생성 처리(도 11에 있어서의 스텝 ST13)
상기 (A),(B)의 프로세스(스텝 ST11, ST12)에서, 다치의 부호화 대상 데이터의 2치화와, 각 bin에 적용하는 컨텍스트 모델의 설정이 완료하여, 부호화 준비가 완료된다. 이어서 발생 확률 생성부(23)에서 산술 부호화에 이용하는 발생 확률 정보의 생성 처리가 행하여진다. 각 컨텍스트 모델에는, 0/1의 각 값에 대한 발생 확률의 변형이 포함되어 있기 때문에, 스텝 ST11에서 결정된 컨텍스트 모델(26)을 참조하여 처리를 행한다. 발생 확률 생성부(23)는, 도 13에 나타내는 평가치 ek(C)와 같은 발생 확률 선택을 위한 평가치를 정하고, 이것에 따라, 참조하는 컨텍스트 모델의 선택 중에서 어떤 발생 확률 변형을 현재의 부호화에 이용할지를 결정한다.
또한, 본 실시 형태 1에 있어서의 가변 길이 부호화부(8)는, 발생 확률 정보 기억 메모리(25)를 구비하며, 부호화의 과정에서 순차적으로 갱신되는 발생 확률 정보(28)를, 사용되는 컨텍스트 모델의 변형분만큼 기억하는 메커니즘을 구비한다. 발생 확률 생성부(23)는, 컨텍스트 모델(26)의 값에 따라, 현재의 부호화에 이용하는 발생 확률 정보(28)를 결정한다.
(D) 부호화 처리(도 11에 있어서의 스텝 ST14)
상기 (C)의 프로세스(스텝 ST13)에서, 산술 부호화 프로세스에 필요한 확률수 직선 상의 0/1각 값의 발생 확률이 얻어지기 때문에, 종래 예로 든 프로세스에 기초하여 부호화부(24)에 있어서 산술 부호화를 행한다(스텝 ST14).
또한, 실제의 부호화치(0/1)(29)는, 발생 확률 생성부(23)에 피드백되어, 사용한 발생 확률 정보(28)의 갱신을 위해, 0/1 발생 빈도의 카운트가 행해진다(스텝 ST15). 예컨대, 임의의 특정한 발생 확률 정보(28)를 이용하여 100개의 bin의 부호화 처리가 행하여진 시점에서, 상기 발생 확률 변형에 있어서의 0/1의 발생 확률이 0.25/0.75이었던 것으로 한다. 여기서, 동일한 발생 확률 변형을 이용하여 「1」가 부호화되면, 「1」의 출현 빈도가 갱신되고, 0/1의 발생 확률은 0.247/0.752로 변화된다. 이 메커니즘에 의해, 실제의 발생 확률에 적응한 효율적인 부호화를 행하는 것이 가능해진다.
모든 bin의 부호화 처리가 종료하면, 부호화부(24)가 생성한 산술 부호화 결과(30)가 가변 길이 부호화부(8)로부터의 출력으로 되어, 비트 스트림(9)으로서 화상 부호화 장치로부터 출력된다(스텝 ST16).
2. 부호화 비트 스트림의 구성
입력 영상 신호(1)는, 상기 처리에 기초하여 도 2의 화상 부호화 장치에서 부호화되어, 복수의 기준 블록을 번들(bundle) 단위(이하, 슬라이스라고 지칭함)로 비트 스트림(9)으로서 화상 부호화 장치로부터 출력된다.
도 17에, 비트 스트림(9)의 데이터 배열을 나타낸다. 비트 스트림(9)은, 프레임 중에 포함되는 기준 블록 수만큼의 부호화 데이터가 수집된 것으로서 구성되어, 기준 블록은 슬라이스 단위로 유닛화된다. 동일 프레임에 속하는 기준 블록이 공통 파라미터로서 참조하는 픽쳐 레벨 헤더가 준비되어, 이 픽쳐 레벨 헤더에는, 기준 블록 사이즈 정보(18)가 저장된다. 기준 블록 사이즈 Mmax가, 픽쳐 레벨보다 상위의 시퀀스 단위로 고정화되는 것이면, 기준 블록 사이즈 정보(18)를 시퀀스 레벨 헤더로 다중화하도록 구성할 수도 있다.
각 슬라이스는 각각 슬라이스 헤더로부터 시작되어, 계속해서 슬라이스 내의 각 기준 블록의 부호화 데이터가 배열된다. 도 17의 예에서는, 제 2 슬라이스에 K 개의 기준 블록이 포함되는 것을 나타낸다. 기준 블록 데이터는, 기준 블록 헤더와 예측 오차 압축 데이터로 구성되며, 기준 블록 헤더에는 기준 블록 내의 움직임 예측 단위 블록만큼의 움직임 예측 모드 mc_mode와 움직임 벡터(예측 신호 생성용 파라미터(17)에 상당함), 예측 오차 압축 데이터(7)의 생성에 이용한 양자화 파라미터(19) 등이 배열된다.
움직임 예측 모드 mc_mode로서, 우선 mc_skip 또는 mc_mode0∼7의 종별이 부호화되고, mc_skip이면, 이하 모든 매크로블록 부호화 정보는 전송하지 않도록 한다. mc_mode0∼6이면, 움직임 예측 모드에서 지정되는 움직임 벡터 할당 영역의 움직임 벡터 정보 부분이 부호화된다. mc_mode7이면, 기준 블록 사이즈 정보(18)에 기초하여, sub_mc_mode의 부호에 sub_mc_skip를 포함하는지 여부가 결정된다. 여기서는, 기준 블록 사이즈 Mi, Li로부터, sub_mc_skip 부호의 유무의 임계치를 lt=Li/2, mt=Mi/2로 정하는 것으로 한다. 그 다음에「li>lt, mi>mt」의 조건이 만족되면, 도 15(b)의 2치화 규칙에 기초하여, sub_mc_skip만큼을 포함한 sub_mc_mode의 부호화가 행하여진다. 「li>lt, mi>mt」가 만족되지 않으면, 도 15(b)의 2치화 규칙으로부터 Bin0의 부호화만이 제외된다. 또한, 움직임 예측 모드 및 움직임 벡터의 산술 부호화에 있어서의 컨텍스트 모델 선택 지침을 나타내는 컨텍스트 모델 선택 정보(27)가 기준 블록 헤더에 포함된다.
또한, 도시하지 않고 있지만, 각 기준 블록 내에서 이용하는 움직임 예측 단위 블록의 크기 Li, Mi를 각 기준 블록마다 선택할 수 있도록 기준 블록 사이즈 결정부를 구성해 두고, 기준 블록 내에서 이용하는 움직임 예측 단위 블록의 크기 Li, Mi를 시퀀스, 또는 픽쳐 레벨 헤더로 다중화하는 대신에, 각 기준 블록 헤더로 다중화하도록 구성할 수도 있다. 이에 의해, 기준 블록마다 움직임 예측 단위 블록의 크기 Li, Mi를 부호화할 필요가 있지만, 국소적인 화상 신호의 성질에 따라 움직임 예측 단위 블록의 크기를 변화시킬 수 있어, 보다 적응성이 높은 움직임 예측을 행하는 것이 가능해진다. 각 기준 블록 헤더로 다중화할지, 또는 시퀀스, GOP, 픽쳐, 슬라이스 등의 상위 레벨의 헤더로 고정적으로 다중화할지를 나타내는 정보는, 시퀀스, GOP, 픽쳐, 슬라이스 등의 상위 레벨 헤더 중에 식별 정보로서 다중화하도록 구성해 두면 된다. 이에 의해, 상위 레벨로 고정화하더라도 움직임 예측 성능에 영향이 적은 경우에는, 기준 블록마다 움직임 예측 단위 블록의 크기 Li, Mi를 부호화하는 오버헤드를 삭감하여 효율적인 부호화를 행하는 것이 가능하다.
3. 화상 복호 장치
도 18은, 본 실시 형태 1에 있어서의 화상 복호 장치의 구성을 나타내는 블록도이다. 가변 길이 복호부(복호부)(100)는, 도 17에 나타내는 비트 스트림(9)을 입력으로 하여, 시퀀스 레벨 헤더를 복호한 후, 픽쳐 레벨 헤더를 복호하여 기준 블록 사이즈의 정보를 복호한다. 이에 의해 상기 픽쳐에서 이용하는 기준 블록의 크기 Mmax와 움직임 예측 단위 블록의 크기 Li, Mi를 인식하여, 이 기준 블록 사이즈 정보(18)를 예측 오차 복호부(101) 및 예측부(102)에 통지한다. 또한, 움직임 예측 단위 블록의 크기 Li, Mi를 각 기준 블록 헤더 중에 다중화 가능하게 하는 비트 스트림 구성의 경우에는, 가변 길이 복호부(100)는, 움직임 예측 단위 블록의 크기 Li, Mi가 각 기준 블록 헤더 중에 다중화되어 있는지 여부를 나타내는 식별 정보를 복호하고, 그 식별 정보에 기초하여, 각 기준 블록 헤더를 복호함으로써 움직임 예측 단위 블록의 크기 Li, Mi를 인식하도록 구성한다.
기준 블록 데이터의 복호는 우선, 기준 블록 헤더의 복호로부터 행한다. 가변 길이 복호부(100)는, 이 과정에서, 컨텍스트 모델 선택 정보(27)를 복호한다. 계속해서, 복호한 컨텍스트 모델 선택 정보(27)에 기초하여, 색 성분마다 움직임 예측 단위 블록 당 적용하는 움직임 예측 모드의 복호를 행한다. 움직임 예측 모드는, 우선 움직임 예측 단위 블록의 단위로 mc_mode의 복호를 행하고, mc_skip인 경우에는, 도 8의 조건에 근거하여, 주변의 움직임 벡터로부터 예측 벡터를 구하며 그것을 현재의 움직임 벡터에 할당한다. 또한, mc_mode7인 경우에는, 도 8의 조건에 근거하여, 기본 블록마다 sub_mc_mode의 복호를 행한다. 이 때, 기준 블록 사이즈 정보(18)로부터 화상 부호화 장치측과 동일한 판단 기준으로 sub_mc_skip 이용 유무의 판단을 행하며, 이 판단에 기초하여, sub_mc_mode의 복호 처리를 실행한다. sub_mc_skip를 이용하는 경우에는, sub_mc_mode==sub_mc_skip이면, 상기 기본 블록의 부호화 데이터의 복호는 스킵하여, 현재의 움직임 벡터는 도 8의 방법으로 구하는 예측 벡터를 할당한다. 그 밖의 경우에는, 움직임 벡터 할당 영역의 수만큼, 컨텍스트 모델 선택 정보(27)에 기초하여 움직임 벡터의 복호를 행하여, 기준 블록마다 양자화 파라미터(19), 예측 오차 압축 데이터(7) 등의 정보를 더 순차 복호한다.
예측 오차 압축 데이터(7), 양자화 파라미터(19)는 예측 오차 복호부(101)에 입력되어, 복호 예측 오차 신호(11)로 복원된다. 이 예측 오차 복호부(101)는, 도 2의 화상 부호화 장치에 있어서의 국부 복호부(10)와 등가인 처리를 행한다.
예측부(102)는, 가변 길이 복호부(100)에 의해 복호되는 예측 신호 생성용 파라미터(17)와 메모리(103) 내의 참조 화상 신호(15)로부터 예측 신호(12)를 생성한다. 또한, 예측부(102)는 화상 부호화 장치에 있어서의 예측부(4)와 등가인 처리를 행하지만, 움직임 벡터 검출 동작은 포함하지 않는다. 움직임 예측 모드는 도 4에 나타내는 mc_mode0∼7 중 어느 하나이며, 예측부(102)는 그 분할 형상에 기초하여 각 기본 블록에 할당되는 움직임 벡터를 이용하여 예측 화상(12)을 생성한다.
복호 예측 오차 신호(11)와 예측 신호(12)는 가산부에 의해 가산되어, 복호 신호(13)로서 루프 필터(104)에 입력된다. 이 복호 신호(13)는, 루프 필터(104)에서 부호화 잡음을 제거하는 처리가 실시된 후, 이후의 예측 신호(12)를 생성하기 위한 참조 화상 신호(15)로서 메모리(103)에 저장된다. 도 18에는 도시하지 않고 있지만, 루프 필터(104)는 가변 길이 복호부(100)에 의해 복호되는 예측 신호 생성용 파라미터(17), 양자화 파라미터(19)에 부가하여, 필터 계수 정보(20)를 이용하여, 화상 부호화 장치에 있어서의 루프 필터(14)와 등가인 처리에 의해 참조 화상 신호(15)의 생성을 행한다. 화상 부호화 장치의 루프 필터(14)와 화상 복호 장치의 루프 필터(104)의 차이는, 전자가 원화상 신호인 부호화 신호(3)를 참조하여 필터 계수 정보(20)를 생성하는 데 비하여, 후자는 비트 스트림(9)으로부터 복호한 필터 계수 정보(20)를 참조하여 필터 처리를 행하는 점이다.
이하, 가변 길이 복호부(100)에 의한 기준 블록의 움직임 예측 모드, 움직임 벡터의 복호 처리에 대하여 기술한다.
도 19는 가변 길이 복호부(100)에 있어서의 산술 복호 처리에 관한 내부 구성을, 도 20은 그 동작 흐름를 나타낸다.
본 실시 형태 1에 있어서의 가변 길이 복호부(100)는, 움직임 예측 모드, 움직임 벡터 등을 포함하는 예측 신호 생성용 파라미터(17), 예측 오차 압축 데이터(7), 양자화 파라미터(19) 등의 개개의 복호 대상 데이터의 타입을 특정하고, 각각 화상 부호화 장치와 공통 정의되는 컨텍스트 모델을 정하는 컨텍스트 모델 결정부(21), 복호 대상 데이터의 타입에 기초하여 정해지는 2치화 규칙을 생성하는 2치화부(22), 2치화 규칙과 컨텍스트 모델에 기초하여, 개개의 bin(0/1)의 발생 확률을 제공하는 발생 확률 생성부(23), 생성된 발생 확률에 기초하여 산술 복호를 실행하며, 그 결과 얻어지는 2치 계열과, 상기 2치화 규칙으로부터, 부호화 데이터를 복호하는 복호부(105), 발생 확률 정보(28)를 기억하는 발생 확률 정보 기억 메모리(25)로 구성된다. 도 19에 나타내는 각 부중에서, 도 10에 나타내는 가변 길이 부호화부(8)의 내부 구성요소와 동일한 번호를 제공한 각 부는 각각 동일한 동작을 행하는 것으로 한다.
E) 컨텍스트 모델 결정 처리, 2치화 처리, 발생 확률 생성 처리(도 20의 스텝 ST11 내지 ST13)
이들의 프로세스(스텝 ST11 내지 ST13)는 화상 부호화 장치측의 프로세스(A) 내지 (C)(도 11의 스텝 ST11 내지 ST13)에 준하기 때문에, 설명은 생략한다. 또한, 움직임 예측 모드, 움직임 벡터의 복호에 이용하는 컨텍스트 모델의 결정에는, 상기 복호한 컨텍스트 모델 선택 정보(27)를 참조한다.
(F) 산술 복호 처리(도 20의 스텝 ST21, ST15, ST22)
이것으로부터 복호하고자 하는 bin의 발생 확률이 상기 (E)까지의 프로세스로 확정하기 때문에, 복호부(10)5에 있어서, 소정의 산술 복호 처리 프로세스에 기초하여, bin의 값을 복원한다(스텝 ST21). bin의 복원치(40)(도 19)는, 발생 확률 생성부(23)에 피드백되어, 사용한 발생 확률 정보(28)의 갱신을 위해, 0/1 발생 빈도의 카운트가 행해진다(스텝 ST15). 복호부(10)5에서는, 각 bin의 복원치가 확정할 때마다, 2치화 규칙으로 정해지는 2치 계열 패턴과의 합치를 확인하고, 합치한 패턴이 지시하는 데이터 값을 복호 데이터 값(106)으로서 출력한다(스텝 ST22). 복호 데이터가 확정하지 않는 한, 스텝 ST11으로 되돌아가 복호 처리를 계속한다.
또한, 상기 설명에서는, 컨텍스트 모델 선택 정보(27)를 다중화하는 단위는 기준 블록 단위로 했지만, 슬라이스 단위나 픽쳐 단위 등으로 다중화할 수도 있다. 슬라이스, 픽쳐, 시퀀스 등의 상위 데이터 레이어에 위치하는 플래그로서 다중화되도록 함으로써, 슬라이스 이상의 상위 레이어에서의 전환이 충분한 부호화 효율을 확보할 수 있는 경우에는, 기준 블록 레벨로 컨텍스트 모델 선택 정보(27)를 다중화하는 일없이 오버헤드 비트를 한층 더 삭감할 수 있다.
또한, 컨텍스트 모델 선택 정보(27)는, 그것 자체와는 별도의 비트 스트림 중에 포함되는 관련 정보에 기초하여 화상 복호 장치의 내부에서 정해지는 정보이더라도 된다. 또한, 상기 설명에서는 가변 길이 부호화부(8) 및 가변 길이 복호부(100)를 산술 부호화·산술 복호 처리를 행하는 것으로 하여 설명했지만, 이들의 처리를 허프만 부호화 처리로 하여, 컨텍스트 모델 선택 정보(27)는 가변 길이 부호화 테이블을 적응적으로 변경하는 수단으로서 이용하도록 구성할 수도 있다.
이상의 구성에 따른 화상 부호화·복호 장치에 의하면, 스킵 모드의 계층 표현이 가능하게 되어, 부호화 대상 기준 블록의 내부 상태에 따라 적응적으로 움직임 예측 모드나 움직임 벡터의 정보를 부호화할 수 있어, 효율적인 부호화가 가능해진다.
이상으로부터, 실시 형태 1에 의하면, 화상 부호화 장치를, 움직임 예측 단위 블록의 크기를 색 성분 신호에 따라 적응적으로 결정함과 아울러, 상기 움직임 예측 단위 블록을 움직임 벡터 할당 영역으로 분할하여 움직임 벡터를 탐색하는 예측부(4)와, 움직임 예측 단위 블록 전체에 움직임 벡터를 할당하는 경우에, 상기 움직임 벡터가 주변의 움직임 예측 단위 블록의 움직임 벡터로부터 구한 예측 벡터와 동등하고, 또한, 예측 오차 신호(5)로서 부호화하는 데이터가 존재하지 않으면 움직임 예측 모드를 mc_skip 모드로 하여 부호화를 행하며, 움직임 벡터 할당 영역이 소정의 크기 이상이고, 또한, 움직임 벡터 할당 영역 전체에 움직임 벡터를 할당하는 경우에, 상기 움직임 벡터가 주변의 움직임 벡터 할당 영역의 움직임 벡터로부터 구한 예측 벡터와 동등하고, 또한, 예측 오차 신호(5)로서 부호화하는 데이터가 존재하지 않으면 움직임 예측 모드를 sub_mc_skip 모드로 하여 부호화를 행하여 비트 스트림(9)을 생성하는 가변 길이 부호화부(8)를 구비하도록 구성했다. 이 때문에, 4:4:4 포맷의 컬러 영상 신호를 효율적으로 부호화하기 위해서, 스킵 모드의 계층 표현을 가능하게 하여, 부호화 대상 기준 블록의 내부 상태에 따라 적응적으로 움직임 예측 모드나 움직임 벡터의 정보를 부호화할 수 있어, 높은 압축율로 되는 저 비트 레이트 부호화에 있어 움직임 벡터의 부호량을 효과적으로 억제하여 부호화하는 화상 부호화 장치를 제공할 수 있다.
또한, 실시 형태 1에 의하면, 화상 복호 장치를, 입력되는 비트 스트림(9)으로부터, 움직임 예측 단위 블록의 크기와, 움직임 예측 단위 블록을 분할한 움직임 벡터 할당 영역의 형상을 특정하는 움직임 예측 모드와, 움직임 벡터 할당 영역에 대응하는 움직임 벡터를 나타낸 예측 신호 생성용 파라미터(17)를 복호하며, 상기 움직임 예측 모드로부터 움직임 예측 단위 블록이 mc_skip 모드인지 여부, 및 움직임 벡터 할당 영역이 sub_mc_skip 모드인지 여부를 특정하는 가변 길이 복호부(100)와, 움직임 예측 단위 블록이 mc_skip 모드인 경우 또는 움직임 벡터 할당 영역이 sub_mc_skip 모드인 경우에, 주변의 움직임 벡터로부터 예측 벡터를 구하여 움직임 벡터로 설정함과 아울러 복호 예측 오차 신호(11)를 모두 제로로 설정하여 예측 신호(12)를 생성하고, 움직임 예측 단위 블록이 mc_skip 모드가 아니고, 또한, 상기 움직임 예측 단위 블록의 움직임 벡터 할당 영역이 sub_mc_skip 모드가 아닌 경우에, 가변 길이 복호부(100)가 복호한 움직임 예측 모드와 움직임 벡터에 기초하여 예측 신호(12)를 생성하는 예측부(102)를 구비하도록 구성했다. 이 때문에, 상기 화상 부호화 장치에 대응한 영상 복호 장치를 제공할 수 있다.
또한, 본 실시 형태 1에서는, 4:4:4 영상 신호에 대한 부호화·복호의 실시예를 설명했지만, 전술한 바와 같이, 본 발명에 있어서의 부호화·복호 처리는, 종래의 휘도·색차 성분 포맷으로 색 씨닝(thinning)을 행한 4:2:0 또는 4:2:2 포맷을 대상으로 하는 영상 부호화에 있어, 매크로블록 등의 기준 블록의 단위로 부호화·복호를 행하는 경우에도 적용가능한 것은 말할 필요도 없다.
(산업상의 이용가능성)
본 발명에 따른 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법은, 4:4:4 포맷의 영상 신호에 대하여 최적의 부호화 처리를 행할 수 있기 때문에, 화상 압축 부호화 기술이나 압축 화상 데이터 전송 기술 등에 이용하는 데 적합하다.

Claims (4)

  1. 동화상 신호의 각 프레임을 블록 단위로 분할하고, 상기 블록 단위로 움직임 예측을 행하여 예측 부호화한 비트 스트림을 입력으로 해서, 상기 동화상 신호를 복호하는 화상 복호 장치로서,
    상기 비트 스트림으로부터, 상기 블록의 사이즈를 정하는 정보와, 블록 사이즈에 관한 임계치를 나타내는 정보와, 상기 블록에 대응하는 제 1 움직임 예측 단위 블록을 위한 제 1 움직임 예측 모드를 복호함과 아울러, 제 1 움직임 예측 모드가 스킵 모드가 아니고 또한 제 1 움직임 예측 단위 블록이 임계치보다 큰 경우, 상기 제 1 움직임 예측 단위 블록을 계층적으로 분할하여 얻어진 제 2 움직임 예측 단위 블록을 위한 제 2 움직임 예측 모드를 복호하는 복호부와,
    상기 제 1 움직임 예측 모드가 스킵 모드인 경우, 주변의 움직임 벡터로부터 예측 벡터를 구해서 상기 제 1 움직임 예측 단위 블록에 대한 움직임 벡터로서 설정하여 예측 화상을 생성하고, 상기 제 2 움직임 예측 모드가 스킵 모드인 경우, 주변의 움직임 벡터로부터 예측 벡터를 구해서 상기 제 2 움직임 예측 단위 블록에 대한 움직임 벡터로서 설정하여 예측 화상을 생성하는 예측부
    를 구비하는 것을 특징으로 하는 화상 복호 장치.
  2. 동화상 신호의 각 프레임을 소정 크기의 블록 단위로 분할하고, 상기 블록 단위로 움직임 예측을 행하여 예측 부호화한 비트 스트림을 입력으로 하여, 상기 동화상 신호를 복호하는 화상 복호 장치로서,
    상기 비트 스트림으로부터, 상기 블록에 대응하는 제 1 움직임 예측 단위 블록을 위한 제 1 움직임 예측 모드를 복호함과 아울러, 상기 제 1 움직임 예측 모드가 스킵 모드가 아니고 또한 상기 블록을 계층적으로 분할하는 경우에, 계층적으로 분할하여 얻어지는 제 2 움직임 예측 단위 블록을 위한 제 2 움직임 예측 모드를 복호하는 복호부와,
    상기 제 1 움직임 예측 모드가 스킵 모드인 경우, 주변의 움직임 벡터로부터 예측 벡터를 구해서 상기 제 1 움직임 예측 단위 블록에 대한 움직임 벡터로서 설정하여 예측 화상을 생성하고, 상기 제 2 움직임 예측 모드가 스킵 모드인 경우, 주변의 움직임 벡터로부터 예측 벡터를 구해서 상기 제 2 움직임 예측 단위 블록에 대한 움직임 벡터로서 설정하여 예측 화상을 생성하는 예측부
    를 구비하는 것을 특징으로 하는 화상 복호 장치.
  3. 동화상 신호의 각 프레임을 블록 단위로 분할하고, 상기 블록 단위로 움직임 예측을 행하여 예측 부호화한 비트 스트림을 입력으로 해서, 상기 동화상 신호를 복호하는 화상 복호 방법으로서,
    상기 비트 스트림으로부터, 상기 블록의 사이즈를 정하는 정보와, 블록 사이즈에 관한 임계치를 나타내는 정보와, 상기 블록에 대응하는 제 1 움직임 예측 단위 블록을 위한 제 1 움직임 예측 모드를 복호함과 아울러, 제 1 움직임 예측 모드가 스킵 모드가 아니고 또한 제 1 움직임 예측 단위 블록이 임계치보다 큰 경우, 상기 제 1 움직임 예측 단위 블록을 계층적으로 분할하여 얻어진 제 2 움직임 예측 단위 블록을 위한 제 2 움직임 예측 모드를 복호하는 복호 스텝과,
    상기 제 1 움직임 예측 모드가 스킵 모드인 경우, 주변의 움직임 벡터로부터 예측 벡터를 구해서 상기 제 1 움직임 예측 단위 블록에 대한 움직임 벡터로서 설정하여 예측 화상을 생성하고, 상기 제 2 움직임 예측 모드가 스킵 모드인 경우, 주변의 움직임 벡터로부터 예측 벡터를 구해서 상기 제 2 움직임 예측 단위 블록에 대한 움직임 벡터로서 설정하여 예측 화상을 생성하는 예측 스텝
    을 구비하는 것을 특징으로 하는 화상 복호 방법.
  4. 동화상 신호의 각 프레임을 블록 단위로 분할하고, 상기 블록 단위로 움직임 예측을 행하여 예측 부호화한 비트 스트림을 입력으로 하여, 상기 동화상 신호를 복호하는 화상 복호 방법으로서,
    상기 비트 스트림으로부터, 상기 블록에 대응하는 제 1 움직임 예측 단위 블록을 위한 제 1 움직임 예측 모드를 복호함과 아울러, 상기 제 1 움직임 예측 모드가 스킵 모드가 아니고 또한 상기 블록을 계층적으로 분할하는 경우에, 계층적으로 분할하여 얻어지는 제 2 움직임 예측 단위 블록을 위한 제 2 움직임 예측 모드를 복호하는 복호 스텝과,
    상기 제 1 움직임 예측 모드가 스킵 모드인 경우, 주변의 움직임 벡터로부터 예측 벡터를 구해서 상기 제 1 움직임 예측 단위 블록에 대한 움직임 벡터로서 설정하여 예측 화상을 생성하고, 상기 제 2 움직임 예측 모드가 스킵 모드인 경우, 주변의 움직임 벡터로부터 예측 벡터를 구해서 상기 제 2 움직임 예측 단위 블록에 대한 움직임 벡터로서 설정하여 예측 화상을 생성하는 예측 스텝
    을 구비하는 것을 특징으로 하는 화상 복호 방법.
KR1020137024666A 2009-05-29 2010-05-27 화상 복호 장치 및 화상 복호 방법 KR101490646B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009130433 2009-05-29
JPJP-P-2009-130433 2009-05-29
PCT/JP2010/003553 WO2010137324A1 (ja) 2009-05-29 2010-05-27 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020137012749A Division KR101376018B1 (ko) 2009-05-29 2010-05-27 화상 복호 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020147002835A Division KR101455579B1 (ko) 2009-05-29 2010-05-27 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법

Publications (2)

Publication Number Publication Date
KR20130121987A KR20130121987A (ko) 2013-11-06
KR101490646B1 true KR101490646B1 (ko) 2015-02-06

Family

ID=43222450

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020147013628A KR101514191B1 (ko) 2009-05-29 2010-05-27 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법
KR1020117030687A KR101312213B1 (ko) 2009-05-29 2010-05-27 화상 복호 장치 및 화상 복호 방법
KR1020137024666A KR101490646B1 (ko) 2009-05-29 2010-05-27 화상 복호 장치 및 화상 복호 방법
KR1020147002835A KR101455579B1 (ko) 2009-05-29 2010-05-27 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법
KR1020137012749A KR101376018B1 (ko) 2009-05-29 2010-05-27 화상 복호 장치

Family Applications Before (2)

Application Number Title Priority Date Filing Date
KR1020147013628A KR101514191B1 (ko) 2009-05-29 2010-05-27 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법
KR1020117030687A KR101312213B1 (ko) 2009-05-29 2010-05-27 화상 복호 장치 및 화상 복호 방법

Family Applications After (2)

Application Number Title Priority Date Filing Date
KR1020147002835A KR101455579B1 (ko) 2009-05-29 2010-05-27 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법
KR1020137012749A KR101376018B1 (ko) 2009-05-29 2010-05-27 화상 복호 장치

Country Status (14)

Country Link
US (5) US8934548B2 (ko)
EP (4) EP3998776B1 (ko)
JP (6) JP5215462B2 (ko)
KR (5) KR101514191B1 (ko)
CN (5) CN104270636B (ko)
BR (4) BR122015017700B1 (ko)
CA (4) CA2904730C (ko)
ES (3) ES2902160T3 (ko)
HK (5) HK1203113A1 (ko)
MX (1) MX2011012672A (ko)
RU (7) RU2546325C2 (ko)
SG (2) SG10201402451XA (ko)
WO (1) WO2010137324A1 (ko)
ZA (5) ZA201109121B (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2904730C (en) * 2009-05-29 2023-11-21 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method
WO2011134642A1 (en) * 2010-04-26 2011-11-03 Panasonic Corporation Predictive coding with block shapes derived from a prediction error
JP2013034037A (ja) * 2011-03-09 2013-02-14 Canon Inc 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
CN107087179B (zh) * 2011-03-10 2021-04-27 夏普株式会社 图像解码装置及方法、以及记录介质
PL3716621T3 (pl) * 2012-04-12 2022-01-24 Jvckenwood Corporation Urządzenie do kodowania ruchomych obrazów, sposób kodowania ruchomych obrazów, program kodujący ruchome obrazy oraz urządzenie do dekodowania ruchomych obrazów, sposób dekodowania ruchomych obrazów, program dekodujący ruchome obrazy
US11317101B2 (en) * 2012-06-12 2022-04-26 Google Inc. Inter frame candidate selection for a video encoder
US20150334389A1 (en) * 2012-09-06 2015-11-19 Sony Corporation Image processing device and image processing method
US9813711B2 (en) * 2012-10-03 2017-11-07 Avago Technologies General Ip (Singapore) Pte. Ltd. Hybrid transform-based compression
JP6239838B2 (ja) * 2013-03-15 2017-11-29 キヤノン株式会社 動画像符号化装置、その制御方法、及び撮像装置
WO2014209296A1 (en) * 2013-06-26 2014-12-31 Intel Corporation Power efficient encoder architecture during static frame or sub-frame detection
JP6312312B2 (ja) * 2014-04-15 2018-04-18 日本放送協会 コンテキストモデル生成装置、符号化装置、および復号装置
US9456075B2 (en) * 2014-10-13 2016-09-27 Avaya Inc. Codec sequence detection
EP3468198A1 (en) 2017-10-05 2019-04-10 Thomson Licensing Method and apparatus for video encoding and decoding based on illumination compensation
CN110060195B (zh) * 2018-01-19 2021-05-04 华为技术有限公司 一种数据处理的方法及装置
WO2019174567A1 (zh) * 2018-03-16 2019-09-19 华为技术有限公司 划分标志位的上下文建模方法及装置
US10516812B2 (en) 2018-04-02 2019-12-24 Intel Corporation Devices and methods for selective display frame fetch
US10887594B2 (en) 2018-07-05 2021-01-05 Mediatek Inc. Entropy coding of coding units in image and video data
US11025969B1 (en) * 2018-11-06 2021-06-01 Amazon Technologies, Inc. Video packaging system using source encoding
WO2020171046A1 (en) 2019-02-20 2020-08-27 Panasonic Intellectual Property Corporation Of America Image encoder and image decoder
CN110087077A (zh) * 2019-06-05 2019-08-02 广州酷狗计算机科技有限公司 视频编码方法及装置、存储介质
WO2021060834A1 (ko) 2019-09-24 2021-04-01 엘지전자 주식회사 서브픽처 기반 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259377A (ja) * 2002-03-06 2003-09-12 Matsushita Electric Ind Co Ltd 動画像符号化方法、動画像復号化方法および符号列フォーマット

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2156889C (en) * 1994-09-30 1999-11-02 Edward L. Schwartz Method and apparatus for encoding and decoding data
JPH09135358A (ja) * 1995-11-08 1997-05-20 Nec Corp 算術符号を用いた画像符号化装置
JP2798035B2 (ja) * 1996-01-17 1998-09-17 日本電気株式会社 適応動きベクトル補間による動き補償フレーム間予測方法
WO1999048213A2 (en) * 1998-03-18 1999-09-23 Koninklijke Philips Electronics N.V. Prediction on data in a transmission system
AU2000257047A1 (en) * 2000-06-28 2002-01-08 Mitsubishi Denki Kabushiki Kaisha Image encoder and image encoding method
WO2003003745A1 (en) * 2001-06-29 2003-01-09 Ntt Docomo, Inc. Image encoder, image decoder, image encoding method, and image decoding method
CN101409837B (zh) * 2001-09-14 2011-07-13 株式会社Ntt都科摩 编码方法、译码方法、编码装置、译码装置、图象处理系统
EP2222084A2 (en) * 2001-11-16 2010-08-25 NTT DoCoMo, Inc. Image coding and decoding method
EP1445956A4 (en) * 2001-11-16 2009-09-02 Ntt Docomo Inc IMAGE ENCODING METHOD, IMAGE DECODING METHOD, ENCODER AND IMAGE DECODER, PROGRAM, COMPUTER DATA SIGNAL, AND IMAGE TRANSMISSION SYSTEM
MXPA04007020A (es) * 2002-01-23 2004-10-11 Nokia Corp Agrupamiento de cuadros de imagen para codificacion de video.
EP1478190B1 (en) * 2002-04-26 2013-01-02 NTT DoCoMo, Inc. Image encoding device, image encoding method, and image encoding program
KR100865034B1 (ko) * 2002-07-18 2008-10-23 엘지전자 주식회사 모션 벡터 예측 방법
CN101651831B (zh) * 2003-01-08 2013-07-17 苹果公司 用于改进的编码模式选择的方法和装置
WO2005055612A1 (en) * 2003-12-02 2005-06-16 Sungkyunkwan University Method and apparatus for video encoding
KR20050061762A (ko) * 2003-12-18 2005-06-23 학교법인 대양학원 부호화 모드 결정방법, 움직임 추정방법 및 부호화 장치
JP4591657B2 (ja) * 2003-12-22 2010-12-01 キヤノン株式会社 動画像符号化装置及びその制御方法、プログラム
JP3879741B2 (ja) * 2004-02-25 2007-02-14 ソニー株式会社 画像情報符号化装置および画像情報符号化方法
JP2005348093A (ja) * 2004-06-03 2005-12-15 Sony Corp 画像処理装置、そのプログラムおよびその方法
KR100813958B1 (ko) * 2004-06-07 2008-03-14 세종대학교산학협력단 동영상의 무손실 인코딩 및 디코딩 방법, 그 장치
US8111752B2 (en) * 2004-06-27 2012-02-07 Apple Inc. Encoding mode pruning during video encoding
US20050286777A1 (en) * 2004-06-27 2005-12-29 Roger Kumar Encoding and decoding images
KR100627329B1 (ko) * 2004-08-19 2006-09-25 전자부품연구원 Ｈ.264 비디오 코덱을 위한 적응형 움직임 예측 및 모드결정 장치 및 그 방법
US8649436B2 (en) * 2004-08-20 2014-02-11 Sigma Designs Inc. Methods for efficient implementation of skip/direct modes in digital video compression algorithms
CN100345450C (zh) * 2005-01-31 2007-10-24 浙江大学 视频或图像去块滤波的方法和装置
JP4047879B2 (ja) * 2005-08-23 2008-02-13 松下電器産業株式会社 動きベクトル検出装置および動きベクトル検出方法
EP2720468B1 (en) * 2005-09-26 2017-03-29 Mitsubishi Electric Corporation Moving image decoding method
US8446954B2 (en) * 2005-09-27 2013-05-21 Qualcomm Incorporated Mode selection techniques for multimedia coding
KR100781524B1 (ko) * 2006-04-04 2007-12-03 삼성전자주식회사 확장 매크로블록 스킵 모드를 이용한 인코딩/디코딩 방법및 장치
KR101228109B1 (ko) * 2006-07-24 2013-01-31 삼성전자주식회사 움직임 예측장치 및 방법과 이를 채용하는 영상 부호화장치및 방법
JP4787100B2 (ja) * 2006-07-27 2011-10-05 パナソニック株式会社 画像符号化装置
KR101380580B1 (ko) * 2006-08-02 2014-04-02 톰슨 라이센싱 비디오 인코딩을 위한 적응형 기하학적 파티셔닝 방법 및 장치
JP4763549B2 (ja) * 2006-08-18 2011-08-31 富士通セミコンダクター株式会社 フレーム間予測処理装置、画像符号化装置、及び画像復号化装置
US7756348B2 (en) * 2006-10-30 2010-07-13 Hewlett-Packard Development Company, L.P. Method for decomposing a video sequence frame
US8804829B2 (en) * 2006-12-20 2014-08-12 Microsoft Corporation Offline motion description for video generation
KR101364532B1 (ko) * 2007-01-03 2014-02-18 삼성전자주식회사 인접 파티션의 크기를 고려한 움직임 벡터 예측 방법,장치, 인코더, 디코더 및 복호화 방법
KR101341111B1 (ko) * 2007-01-18 2013-12-13 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. 화질 스케일러블 비디오 데이터 스트림
US8259793B2 (en) * 2007-03-19 2012-09-04 Sony Corporation System and method of fast MPEG-4/AVC quantization
CA2895854A1 (en) * 2007-03-20 2008-10-23 Fujitsu Limited Video encoding and decoding apparatus and method using quantization in sub-blocks
KR101366241B1 (ko) * 2007-03-28 2014-02-21 삼성전자주식회사 영상 부호화, 복호화 방법 및 장치
US8160150B2 (en) * 2007-04-10 2012-04-17 Texas Instruments Incorporated Method and system for rate distortion optimization
BRPI0809512A2 (pt) * 2007-04-12 2016-03-15 Thomson Licensing método e aparelho para mesclagem dependente de contexto para modos salto-direto para codificação e decodificação de vídeo
US8488677B2 (en) 2007-04-25 2013-07-16 Lg Electronics Inc. Method and an apparatus for decoding/encoding a video signal
US9357233B2 (en) * 2008-02-26 2016-05-31 Qualcomm Incorporated Video decoder error handling
JP4990927B2 (ja) 2008-03-28 2012-08-01 三星電子株式会社 動きベクトル情報の符号化／復号化方法及び装置
KR20090129926A (ko) * 2008-06-13 2009-12-17 삼성전자주식회사 영상 부호화 방법 및 그 장치, 영상 복호화 방법 및 그 장치
US8213503B2 (en) * 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
JP2012504925A (ja) * 2008-10-06 2012-02-23 エルジー エレクトロニクス インコーポレイティド ビデオ信号の処理方法及び装置
KR101233627B1 (ko) * 2008-12-23 2013-02-14 한국전자통신연구원 스케일러블 부호화 장치 및 방법
US8644389B2 (en) * 2009-05-15 2014-02-04 Texas Instruments Incorporated Real-time video image processing
CA2904730C (en) * 2009-05-29 2023-11-21 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method
US20130003843A1 (en) * 2010-03-12 2013-01-03 Mediatek Singapore Pte. Ltd. Motion Prediction Method
US9282338B2 (en) * 2011-06-20 2016-03-08 Qualcomm Incorporated Unified merge mode and adaptive motion vector prediction mode candidates selection

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259377A (ja) * 2002-03-06 2003-09-12 Matsushita Electric Ind Co Ltd 動画像符号化方法、動画像復号化方法および符号列フォーマット

Also Published As

Publication number Publication date
CA2763211A1 (en) 2010-12-02
CA3159686C (en) 2023-09-05
CN104270637A (zh) 2015-01-07
US20150304677A1 (en) 2015-10-22
CN104270636B (zh) 2018-11-09
ZA201506372B (en) 2016-12-21
JP2013138500A (ja) 2013-07-11
CN102450017B (zh) 2014-09-10
RU2619891C1 (ru) 2017-05-19
KR20140074401A (ko) 2014-06-17
ZA201209367B (en) 2015-02-25
JP5674971B2 (ja) 2015-02-25
JPWO2010137324A1 (ja) 2012-11-12
RU2647655C1 (ru) 2018-03-16
ZA201405602B (en) 2017-06-28
EP2437500A4 (en) 2013-04-17
RU2509438C2 (ru) 2014-03-10
US9930356B2 (en) 2018-03-27
BR122015017699A2 (pt) 2016-05-10
US20120082213A1 (en) 2012-04-05
JP6091585B2 (ja) 2017-03-08
KR20130121987A (ko) 2013-11-06
SG10201402451XA (en) 2014-07-30
CA3160155A1 (en) 2010-12-02
SG176160A1 (en) 2011-12-29
CN104270637B (zh) 2018-07-27
BR122015017701B1 (pt) 2021-06-01
JP6347860B2 (ja) 2018-06-27
JP5840286B2 (ja) 2016-01-06
BR122015017699B1 (pt) 2021-06-01
JP2015084574A (ja) 2015-04-30
US9036713B2 (en) 2015-05-19
CA2763211C (en) 2015-12-08
US20150085937A1 (en) 2015-03-26
KR20120046119A (ko) 2012-05-09
BRPI1015415A2 (pt) 2016-04-19
MX2011012672A (es) 2011-12-16
RU2673107C1 (ru) 2018-11-22
CN104270635B (zh) 2018-12-11
CA2904730A1 (en) 2010-12-02
JP5215462B2 (ja) 2013-06-19
JP2016036176A (ja) 2016-03-17
RU2546325C2 (ru) 2015-04-10
CA2904730C (en) 2023-11-21
BR122015017700B1 (pt) 2021-06-01
US8934548B2 (en) 2015-01-13
EP3998776A1 (en) 2022-05-18
US20150229949A1 (en) 2015-08-13
KR101376018B1 (ko) 2014-03-27
RU2693651C1 (ru) 2019-07-03
HK1167966A1 (en) 2012-12-14
RU2571596C1 (ru) 2015-12-20
ES2954657T3 (es) 2023-11-23
CN104270635A (zh) 2015-01-07
HK1202197A1 (en) 2015-09-18
CN104159111A (zh) 2014-11-19
JP2014132765A (ja) 2014-07-17
WO2010137324A1 (ja) 2010-12-02
EP3998776B1 (en) 2023-08-30
ES2902160T3 (es) 2022-03-25
EP3998775B1 (en) 2023-08-02
US9924190B2 (en) 2018-03-20
HK1203114A1 (en) 2015-10-16
BRPI1015415B1 (pt) 2021-06-01
KR101312213B1 (ko) 2013-09-27
US20150229946A1 (en) 2015-08-13
HK1203113A1 (en) 2015-10-16
BR122015017701A2 (pt) 2016-05-10
ES2958265T3 (es) 2024-02-06
JP2017118573A (ja) 2017-06-29
RU2013152317A (ru) 2015-01-20
KR20140026649A (ko) 2014-03-05
JP5478748B2 (ja) 2014-04-23
CN104159111B (zh) 2018-11-06
KR20130076894A (ko) 2013-07-08
US9930355B2 (en) 2018-03-27
CA3159686A1 (en) 2010-12-02
KR101455579B1 (ko) 2014-10-29
RU2011154147A (ru) 2013-07-10
EP3261346A1 (en) 2017-12-27
EP2437500A1 (en) 2012-04-04
EP3998775A1 (en) 2022-05-18
BR122015017700A2 (pt) 2016-05-10
ZA201708216B (en) 2019-05-29
HK1203112A1 (en) 2015-10-16
KR101514191B1 (ko) 2015-04-21
CN104270636A (zh) 2015-01-07
ZA201109121B (en) 2013-02-27
CN102450017A (zh) 2012-05-09
EP3261346B1 (en) 2021-12-01

Similar Documents

Publication Publication Date Title
KR101490646B1 (ko) 화상 복호 장치 및 화상 복호 방법
JP5289440B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
A107 Divisional application of patent
E601 Decision to refuse application
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20140714

Effective date: 20141114

S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180119

Year of fee payment: 4