KR101644898B1 - 화상부호화장치 및 화상부호화방법 - Google Patents

화상부호화장치 및 화상부호화방법 Download PDF

Info

Publication number
KR101644898B1
KR101644898B1 KR1020130122998A KR20130122998A KR101644898B1 KR 101644898 B1 KR101644898 B1 KR 101644898B1 KR 1020130122998 A KR1020130122998 A KR 1020130122998A KR 20130122998 A KR20130122998 A KR 20130122998A KR 101644898 B1 KR101644898 B1 KR 101644898B1
Authority
KR
South Korea
Prior art keywords
prediction
block
picture
encoding
coding
Prior art date
Application number
KR1020130122998A
Other languages
English (en)
Other versions
KR20140049483A (ko
Inventor
히데아키 하토리
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20140049483A publication Critical patent/KR20140049483A/ko
Application granted granted Critical
Publication of KR101644898B1 publication Critical patent/KR101644898B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

화상해석기는, 입력화상을 부호화 단위의 제1 블록들로 분할하고, 제1 블록마다, 상기 입력화상의 화면내 예측에 관한 해석 정보를 생성한다. 화면내 예측기는, 입력화상을 예측 단위의 제2 블록들로 분할하고, 상기 화면내 예측을 행해서 각 제2 블록의 예측 잔차를 생성한다. CODEC은, 직류성분 또는 상기 제2 블록의 예측 잔차를 부호화한다. 부호화 제어기는, 제1 블록마다, 해석 정보에 근거해 CODEC의 부호화 결과를 추정하고, 상기 추정에 근거해 화면내 예측기 및 CODEC을 제어한다.

Description

화상부호화장치 및 화상부호화방법{IMAGE ENCODING APPARATUS AND IMAGE ENCODING METHOD}
본 발명은, 동화상을 부호화하는 화상부호화장치 및 화상부호화방법에 관한 것이다.
디지털 기술의 진전에 의해 디지털 카메라나 디지털 비디오카메라를 사용한 디지털 동화상 촬영이 보급되었다. 디지털 동화상은, 반도체메모리로 대표되는 기록 매체에 효율적으로 기록하기 위해서, 일반적으로 압축(부호화)된다. 동화상의 부호화방식으로서는, H.264/MPEG-4 AVC(이하, "H.264")가 널리 사용되고 있다.
최근, H.264의 후계로서, 한층 더 효율적인 부호화방식의 국제표준화활동이 개시되어, JCT-VC(Joint Collaborative Team on Video Coding)이 ISO/IEC과 ITU-T의 사이에서 설립되었다. JCT-VC는, 고효율 비디오 코딩(HEVC)방식의 표준화를 촉진하고 있다.
H.264이나 HEVC은, 부호화 효율을 향상시키기 위해서, 종래 이용된 움직임 벡터에 의거한 움직임 예측을 사용한 화면간(inter-frame) 예측부호화뿐만 아니라, 화면내에 있어서의 화소간의 상관을 이용해서 화면내 예측을 행하는 화면내 예측부호화를 이용한다.
또한, 압축된 영상의 비트 레이트가 한정되는 상황하에서 주관 화질을 향상시키기 위해서, 화상의 특성정보를 추출해서 화면내에서 적절하게 양자화 파라미터를 변화시키는, 적응 양자화 제어 기술이 알려져 있다.
H.264에 있어서는, 화면내 예측의 단위인 예측 블록 사이즈가 3종류 존재한다. 각 예측 블록 사이즈는, 최대 9개의 예측 모드를 갖는다. HEVC에 있어서는, 선택가능한 화면내 예측의 예측 모드수 및 예측 블록 사이즈 수가 H.264에 비교해서 증가한다. 즉, 부호화시에, 예측 블록 사이즈와 많은 예측 모드 중에서 부호화에 사용하는 예측 모드를 탐색해 결정할 필요가 있다.
그러나, 실시간으로 영상을 부호화하는 화상부호화장치에 있어서, 다수의 후보 중에서 예측 모드와 예측 블록 사이즈를 포괄적으로 탐색하면 소비 전력은 증대한다. 또한, 화상부호화장치에서 화상의 특성정보를 추출하는 처리시에, 일반적으로, 소비 전력이 증가한다.
일본국 공개특허공보 특개2008-154060호는, 화면내 예측 또는 움직임 예측을 행한 후의 예측 잔차를 평가하고, 예측 잔차의 통계 값이 역치이하이면 직교변환처리를 생략하고, 소비 전력을 저감하는 기술을 개시한다. 그러나, 이러한 종래기술에 개시된 기술에 있어서, 생략가능한 처리는 직교변환처리 및 양자화처리에 한정되므로, 소비 전력이 큰 화면내 예측 및 움직임 벡터 탐색을 이용한 움직임 예측에 소비되는 소비 전력을 삭감할 수는 없다. 추가로, 상기 종래기술에 개시된 기술은, 화상특성정보의 추출에 소비되는 전력을 삭감할 수 없다.
일 국면에서, 화상 데이터의 예측 부호화를 행하는 화상부호화장치는, 입력화상을 부호화 단위의 제1 블록들로 분할하고, 제1 예측 모드들 중 적어도 하나를 사용하여 제1 블록마다 상기 입력화상의 화면내 예측에 관한 해석 정보를 생성하는 해석부; 상기 입력화상을 예측 단위의 제2 블록들로 분할하여, 제2 예측 모드들 중 하나를 판정하기 위하여 상기 화면내 예측을 행하여 각 제2 블록의 예측 잔차를 생성하는 제1 예측부; 직류성분 또는 상기 제2 블록의 상기 예측 잔차를 부호화 하는 부호화부; 및 제1 블록마다, 상기 해석 정보에 근거해 상기 부호화부의 부호화 결과를 추정하고, 상기 추정에 근거해 상기 제1 예측부 및 상기 부호화부를 제어하는 제어부를 구비하고, 상기 제1 예측 모드들의 수는 상기 제2 예측 모드들의 수보다 적다.
이들 국면에 의하면, 화상부호화장치의 소비 전력을 삭감하는 것이 가능하다.
본 발명의 또 다른 특징들은, 첨부도면을 참조하여 이하의 예시적 실시예들의 설명으로부터 명백해질 것이다.
도 1은 제1 실시예의 화상부호화장치의 구성을 설명하는 블록도다.
도 2는 CODEC의 구성을 설명하는 블록도다.
도 3은 화상해석기의 상세한 구성을 설명하는 블록도다.
도 4는 16×16화소의 블록단위의 간단한 화면내 예측을 설명하는 도면이다.
도 5a 내지 5c는 화면내 예측기가 서포트하는 예측 모드의 예들을 도시한 도면이다.
도 6은 16×16화소의 블록을 4×4화소의 서브블록으로 16분할한 모양 및 서브블록의 인덱스를 도시한 도면이다.
도 7은 화면내 예측기에 있어서의 화면내 예측 및 부호화 제어기에 전달된 입력 화면의 화면내 보상기를 설명하는 타이밍 차트다.
도 8은 DC예측 모드의 예측 잔차로부터 얻어진 해석 정보에 따라 각 화상에 주어진 디폴트의 양자화 파라미터를 증감하는 알고리즘을 도시한 도면이다.
도 9는 부호화 결과를 추정하는 알고리즘을 도시한 도면이다.
도 10a 내지 1Oc는 화상해석기 및 부호화장치의 부호화 처리를 설명하는 흐름도다.
도 11은 서브블록의 예측부호화와 국소복호의 흐름도다.
도 12a 내지 12c는 블록 사이즈의 확대를 설명하는 도면이다.
도 13은 HEVC의 DC예측 모드에 있어서 필터 처리에 의해 생성된 참조 화소군을 도시한 도면이다.
도 14는 제3 실시예에 따른 화상해석기의 상세한 구성을 도시한 블록도다.
도 15는 제4 실시예에 따른 화상부호화장치의 구성을 설명하는 블록도다.
도 16a 내지 16d는 화상해석기 및 부호화장치의 부호화 처리를 설명하는 흐름도다.
도 17은 화면간 예측부호화를 설명하는 흐름도다.
이하, 본 발명의 각 실시예에 따른 화상부호화장치 및 화상부호화방법을 첨부도면을 참조해서 상세하게 설명한다. 이때, 이하에서는, 수평방향에 16화소, 수직방향에 16화소의 16×16화소의 블록 단위로 부호화를 행하는 예를 설명한다. 또한, 화면내 예측을 사용한 화면내 예측부호화에 의해 입력 화상을 부호화하는 예를 설명한다.
제1 실시예
[장치의 구성]
도 1의 블록도를 참조하여 제1 실시예에 따른 화상부호화장치의 구성을 설명한다. 화상부호화장치는, 도 1에 나타나 있는 바와 같이, 화상해석기(101)와 부호화기(102)를 가진다.
부호화기(102)에 있어서, 부호화 제어기(103)는, 부호화 처리의 시작전에 장치 외부에서, 부호화 대상의 화면(프레임 화상)에 대한 디폴트의 양자화 파라미터를 수신한다. 디폴트의 양자화 파라미터는, 장치 외부에 있어서, 바로 앞 화면까지의 부호화의 결과인 발생 부호량과 목표부호량에 근거하여 결정된다. 부호화 제어기(103)는, 디폴트의 양자화 파라미터를 기준으로서, 후술할 적응 양자화 제어를 행하고, 실제의 양자화에 사용하는 양자화 파라미터를 부호화/복호기(CODEC)(105)에 전달한다.
또한, 부호화 제어기(103)는, 예를 들면, 부호화기(102)의 내부처리를 행하는 화면내 예측기(104), CODEC(1O5), 다중화기(MUX)(106), 화면내 보상기(107)의 파라미터를 설정하고, 동작의 시작을 지시하도록 제어한다. 또한, 부호화 제어기(103)는, 후술하는 부호화 결과의 추정, 부호화 블록 패턴의 생성, 및 부호화 블록 패턴의 엔트로피 부호화를 행한다.
부호화 처리가 개시되면, 화면내 예측기(104)는 부호화 대상의 화면(프레임 화상)을 수신하고, 입력화상을 4×4화소의 소정의 블록의 사이즈를 각각 갖는 화상 블록들(예측 대상 블록/제2 블록)로 분할하고, 예측 대상 블록마다 예측 모드를 탐색한다. 화면내 예측기(104)는, 인접한 블록의 상기 복호 화소들을 화면내 예측용의 메모리(108)로부터 판독한다. 그리고, 화면내 예측기(104)는, 탐색 대상의 예측 모드에 대응한 참조 화소군인 참조 블록을 생성하고, 그 예측 대상 블록과 참조 블록간의 예측 잔차(차분값)를 산출하고, 상기 예측 잔차에 대한 평가 값을 산출한다.
평가 값의 산출에는, 절대치로서 표현된 예측 잔차를 예측 대상 블록내에서 합계한 값인 SAD(sum of absolute difference)이나, 후술하는 액티비티(activity)를 사용한다. 화면내 예측기(104)는, 평가 값이 최소가 되는 예측 모드를, 그 최소의 발생 부호량의 예측 모드로서 결정한다. 화면내 예측기(104)는, 결정한 예측 모드를 나타내는 정보를 MUX(1O6)과 화면내 보상기(107)에 출력함과 아울러, 해당 예측 모드를 사용하여 발생되는 예측 잔차를 CODEC(1O5)에 출력한다.
CODEC(1O5)은, 화면내 예측기(104)로부터 출력된 예측 잔차의 부호화 처리 및 국소복호처리를 행한다. 이때, 상세한 것은 후술하지만, 예측 잔차의 직교변환→양자화→엔트로피 부호화에 의해 "예측 잔차부호화"가 행해지고, 양자화값의 역양자화→역직교변환에 의해 "국소복호"가 행해진다. MUX(1O6)은, CODEC(1O5)이 출력하는 부호 데이터, 화면내 예측기(104)가 출력하는 예측 모드, 및 부호화 제어기(103)가 출력하는 엔트로피 부호화된 블록 패턴을 다중화한 부호화 스트림을 출력한다.
화면내 보상기(107)는, CODEC(1O5)이 국소복호한 예측 잔차(이하, "복호예측 잔차")에 상기 예측 모드에 대응한 참조 화소값을 가산(보상)하고, 국소복호된 화소(이하, "국소복호화소")를 화면내 예측용의 메모리(108)에 기록한다. 메모리(108)에 기록된 국소복호화소는, 후속 블록의 화면내 예측에 사용되는 참조 블록의 생성에 이용된다.
● 예측 잔차부호화기/국소복호기
도 2의 블록도를 참조하여 CODEC(1O5)의 구성을 설명한다.
도 2를 참조하면, 직교변환부(201)는, 소정의 변환 블록 사이즈인 4×4화소의 변환 블록마다 예측 잔차를 직교변환하고, 직교변환계수를 양자화부(202)에 출력한다. 양자화부(202)는, 부호화 제어기(103)로부터 입력되는 양자화 파라미터에 근거해 직교변환계수를 양자화하고, 이 양자화한 직교변환계수(이하, "양자화값")를 엔트로피 부호화부(203)에 출력한다.
엔트로피 부호화부(203)는, 양자화값을 엔트로피 부호화한 부호화 데이터를 MUⅩ(106)에 출력함과 아울러, 변환 블록내의 양자화값의 모두가 제로인가 아닌가를 나타내는 부호화 결과를 변환 블록마다 부호화 제어기(103)에 전달한다.
이하에서는, 변환 블록 사이즈에 있어서 양자화값이 모두 제로인 것을 나타내는 부호화 결과를 "비부호화(Not Coded)"라고 정의하고, 적어도 하나의 양자화값이 제로가 아닌 것을 나타내는 부호화 결과를 "부호화(Coded)"라고 정의한다. 추가로, 변환 블록들, 또는, 후술하는 서브블록들의 부호화 결과를 나타내는, 16×16화소 블록마다 통합한 정보를 "부호화 블록 패턴"이라고 정의한다.
부호화 결과가 "비부호화"가 된 변환 블록은, 후술하는 부호화 블록 패턴만으로 복호가 가능하다. 이에 따라, 엔트로피 부호화부(203)는, 해당 변환 블록의 예측 잔차의 부호화 데이터를 MUX(1O6)에 출력하지 않는다.
이때, 그 부호화 결과는, 변환 블록내의 직류성분계수(이하, "DC계수")를 제외한, 모든 교류 성분계수(이하, "AC계수")에 대하여만 정의하는 것이 가능하다. 부호화 결과가 AC계수에 대해서만 정의되는 경우에는, "비부호화"이여도 DC계수가 엔트로피 부호화되어, 부호 데이터를 발생하기도 한다. 이하의 설명에서는, AC계수에 대하여 부호화 결과를 정의하는 것으로 한다.
역양자화부(204)는, 양자화값을 역양자화하고, 역양자화에 의해 얻은 직교변환계수를 역직교변환부(205)에 출력한다. 역직교변환부(205)는, 변환 블록마다, 직교변환계수의 역직교변환한 복호예측 잔차를 화면내 보상기(107)에 출력한다.
● 화상해석기
상기한 바와 같이, 화면내 예측 및 예측 잔차부호화는 많은 처리를 포함하고, 많은 전력을 소비한다. 이 문제를 해결하기 위해서, 제1 실시예에서, 도 1에 나타내는 화상해석기(101)가 산출하는 해석 정보를 활용하여, 화면내 예측 및 예측 잔차부호화에 의한 소비 전력을 저감한다. 도 3의 블록도를 참조하여 화상해석기(101)의 상세 구성을 설명한다.
화면내 예측기(301)는, 입력 화면을 부호화단위인 16×16화소의 화상블록으로 분할하고, 간단한 화면내 예측을 행한다. 즉, 화면내 예측기(301)는, 화면내 예측기(104)가 구비하는 예측 모드 수보다 적고, 또한, 참조 블록의 생성에 곱셈기를 필요로 하지 않는 예측 모드만을 갖는다. 도 4를 참조하여 16×16화소의 블록마다 간단한 화면내 예측을 설명한다.
화면내 예측기(301)는, 예측 대상의 화상 블록X의 화면내 예측에 사용되기 위한 참조 블록을, 블록A의 우단의 국소복호화소p[-1, 0]∼p[-1, 15]와, 블록B의 하단의 국소복호화소p[0, -1]∼p[15, -1]로부터 생성한다.
도 5a 내지 5c는, 화면내 예측기(301)가 서포트하는 예측 모드의 예들을 나타낸다. 이때, 화면내 예측기(301)는, 도 5a 내지 5c에 나타내는 예측 모드의 적어도 하나를 서포트하면 좋다. 도 5a는 직류예측 모드(이하, "DC예측 모드")를 나타내고, 도 4에 나타낸 블록A, B의 국소복호화소를 사용해서 하기식을 따라 참조 블록을 생성한다.
pred[x, y]=(∑yp[-1, y]+∑xp[x, -1]+16)/32 ...(1)
여기에서, x(0≤x≤15)는 16×16화소 블록내의 수평위치를 나타내는 변수,
y(0≤y≤15)는 16×16화소 블록내의 수직위치를 나타내는 변수,
pred[x, y]는 16×16화소의 참조 블록내의 화소의 값.
도 5b는 수직예측 모드를 나타내고, 블록B의 국소복호화소를 사용해서 하기식을 따라 참조 블록을 생성한다.
pred[x, y]=p[x, -1] ...(2)
도 5c는 수평예측 모드를 나타내고, 블록A의 국소복호화소를 사용해서 하기식을 따라 참조 블록을 생성한다.
pred[x, y]=p[-1, y] ...(3)
화면내 예측기(301)는, 화면내 예측이 완료한 화상 블록의 우단 및 하단의 화소를, 후속의 화상 블록의 화면내 예측에 있어서의 참조 블록의 생성에 화면내 예측용의 메모리(302)에 기록한다. 화면내 예측기(301)는, 화상 블록과 참조 블록간의 예측 잔차(차분)를 예측 잔차 블록으로서 산출하고, 그 예측 잔차 블록을 액티비티 산출기(303), 경사판정기(304), 및 최대 잔차산출기(305)에 전달한다.
액티비티 산출기(303)는, 예측 잔차 블록e[x, y]를 4×4화소의 예측 잔차 서브블록eSUB[i, x, y]으로 분할하고, 서브블록마다 액티비티 actSUB[i]를 산출한다. 인덱스i(1≤i≤15)는, 예측 잔차 블록내에 있어서의 각 서브블록을 나타낸다. 도 6은, 16×16화소의 블록을 4×4화소의 서브블록으로 16분할한 모양 및 서브블록의 인덱스를 나타낸다.
액티비티 산출기(303)는, 서브블록내의 예측 잔차의 평균치인 actAVE[i]을 산출한다. 산출한 평균치actAVE[i]와, 예측 잔차eSUB[i, x, y]간의 차분 절대치를, 서브블록내에서 합계하고, 그 합을 서브블록의 액티비티actSUB[i]라고 하는 식(4)로 나타낸다.
actSUB[i]=∑i∑x∑yabs(eSUB[i, x, y]-actAVE[i]) ...(4)
여기에서, 0≤i≤15,
0≤x≤3,
0≤y≤3, 및
abs()는 절대치를 구하는 함수.
경사판정기(304)는, 서브블록에의 분할은 행하지 않고, 16×16화소의 예측 잔차 블록마다 경사정보gradBLK을 산출한다. 식(5)는, 수직방향의 경사gradV를 산출하는데 사용된다. 예측 잔차 블록의 상단의 화소의 값과 하단의 화소의 값간의 차분 절대치를, 블록내에서 합계한 결과가 수직방향의 경사gradV다.
gradV=∑xabs(e[x, 15]-e[x, 0]) ...(5)
여기에서, 0≤x≤15.
식(6)은, 수평방향의 경사gradH를 산출하는데 사용된다. 예측 잔차 블록의 좌단의 화소의 값과 우단의 화소의 값간의 차분 절대치를, 블록내에서 합계한 결과가 수평방향의 경사gradH다.
gradH=∑yabs(e[15, y]-e[0, y]) ...(6)
여기에서, 0≤y≤15.
경사판정기(304)는, 수직방향의 경사gradV및 수평방향의 경사gradH를 산출한 후, 그것들을 비교하여, 큰쪽의 값을 예측 잔차 블록의 경사값gradBLK로서 출력한다.
gradBLK=max(gradV, gradH) ...(7)
여기에서, max()는 큰쪽의 값을 출력하는 함수.
최대 잔차 산출기(305)는, 16×16화소의 예측 잔차 블록을 4×4화소의 서브블록으로 분할하고, 각 서브블록에 있어서의 예측 잔차의 최대의 절대치를 최대잔차maxRES[i]로서 출력한다.
MUX(306)는, 액티비티 정보actSUB[i], 경사정보gradBLK, 및 최대잔차maxRES[i]를 시분할로 다중화한다. 그 액티비티 정보actSUB[i], 경사정보gradBLK, 최대잔차maxRES[i]를 총칭해서 "해석 정보"라고 부른다. MUX(306)는, 화상해석기(101)와 부호화 제어기(103)를 직결하는 다이렉트 버스를 거쳐서, 입력 화면의 해석 정보를 부호화 제어기(103)에 전달한다.
도 7의 타이밍 차트를 참조하여 화면내 예측기(301)에 있어서의 화면내 예측 및 부호화 제어기(103)에 전달된 입력 화면의 해석 정보를 설명한다. 도 7에 나타나 있는 바와 같이, 화면내 예측기(301)가 DC예측 모드를 행하는 경우, 예측 잔차 블록의 해석 정보가 부호화 제어기(103)에 전달된다. 그 후에, 수직예측 모드에 관한 해석 정보와 수평예측 모드에 관한 해석 정보가, 차례차례, 부호화 제어기(103)에 전달된다.
이때, 해석 정보의 전달 방법은, 다이렉트 버스를 사용한 시분할 다중에 한정되는 것은 아니다. 예를 들면, 각 해석 정보를 화상해석기(101)의 레지스터에 기록하고, 부호화 제어기(103)가 레지스터 버스를 거쳐 해당 레지스터로부터 해석 정보를 판독해도 좋다. 이 경우, MUX(306)와 부호화 제어기(103)가 레지스터 버스에 의해 상호 접속될 필요가 있다.
● 부호화 제어기
부호화 제어기(103)는, 화상해석기(101)로부터 받은 해석 정보에 따라, 입력 화면에 있어서의 적응 양자화 제어 및 부호화 결과의 추정을 행한다. 우선, 적응 양자화 제어에 관하여 설명한다.
적응 양자화 제어
적응 양자화 제어는, 해석 정보 중, DC예측 모드의 예측 잔차로부터 산출된 액티비티 정보actSUB[i] 및 경사정보gradBLK에 따라 양자화 파라미터를 증/감함으로써, 주관 화질을 향상시킨다.
DC 예측 모드에 있어서는, 입력 화상의 공간주파수나 화상특성에 관한 정보는 잃어버려지지 않는다. 입력 화상과 DC예측 모드의 예측 잔차는 같은 화상 특성 정보를 가진다. 예측 잔차로부터 산출된 통계 정보를 화상특성정보로서 적응 양자화 제어에 사용될 수 있다. 한편, 수평예측 모드 및 수직예측 모드에서, 참조 블록 자체가 공간주파수 특성을 가진다. 이에 따라, 예측 잔차에 있어서의 화상특성정보가 변화되고, 부적절한 적응 양자화 제어가 행해져도 된다. 따라서, DC예측 모드의 예측 잔차로부터 산출된 해석 정보를 양자화 파라미터의 제어에 사용한다.
인간의 시각특성을 고려하면, 액티비티가 높은 영역에서 양자화에 의한 화질 열화가 주관상 눈에 뜨이기 어렵다. 한편, 액티비티가 낮은 영역(평탄한 영역)은 양자화에 의한 화질열화가 눈에 뜨이기 쉽다. 또한, 화면내에서 균일하게 경사진 영역은, 액티비티가 낮은 영역과 같이 양자화에 의한 화질열화가 눈에 뜨이기 쉽다.
정보에 따라 각 화상에 주어진 디폴트의 양자화 파라미터를 증/감하는 알고리즘을 나타낸다. 도 8을 참조하면, actSUM은 각 예측 잔차 서브블록의 액티비티actSUB[0] 내지 actSUB[15]의 합계이고, actth1, actth2(actth1<actth2)은, 액티비티 합계 actSUM의 역치로서 사용된 고정 값이다. 마찬가지로, gradth1, gradth2(gradth1 <gradth2)은, 경사정보gradBLK의 역치로서 사용된 고정 값이다.
상기한 바와 같이, 액티비티가 "높은" 영역에서 화질열화가 눈에 뜨이기 어렵기 때문에, 부호화 제어기(103)는, 부호량을 삭감하기 위해서 양자화 파라미터를 증가시킨다(도 8의 예에서는 "+4"). 반대로, 액티비티가 "낮은" 영역은, 주관 화질에의 영향이 크기 때문에, 부호화 제어기(103)는, 양자화 파라미터를 감소시켜(도 8의 예에서는 "-4"), 부호량은 증가하지만 화질열화를 억제한다.
액티비티가 "가운데"인 영역에 있어서, 부호화 제어기(103)는, 경사정보gradBLK에 따라 양자화 파라미터를 제어한다. 즉, 경사가 작은 영역에서는, 양자화 파라미터를 증가시킨다(도 8의 예에서는 "+2"). 경사가 큰 영역에서는, 양자화 파라미터를 감소시킨다(도 8의 예에서는 "-2"). 액티비티도 경사도 가운데인 영역에서는, 양자화 파라미터를 변화시키지 않는다(요컨대"±0").
상술한 것처럼, 부호화 제어기(103)는, 인간의 시각특성에 따라 적응 양자화 제어를 행함으로써, 압축된 영상의 비트 레이트가 한정되는 상황에서 주관 화질을 향상시킬 수 있다.
부호화 결과의 추정
다음에, 부호화 결과의 추정에 관하여 설명한다. 부호화 제어기(103)는, 해석 정보 및 양자화 파라미터를 기초로 부호화 결과가 "부호화"인가 "비부호화"인가를 추정한다.
도 9는 부호화 결과를 추정하는 알고리즘을 나타낸다. 부호화 결과의 추정 알고리즘은, 4×4화소의 예측 잔차 서브블록의 액티비티actSUB[i] 및 최대잔차maxRES[i]를 입력으로서 사용한다.
도 9를 참조하면, actqp는, 액티비티actSUB[i]의 역치이고, 양자화 파라미터에 따라 결정되는 값이고, resqp는, 최대잔차maxRES[i]의 역치이고, 양자화 파라미터에 따라 결정되는 값이다. 도 9에 나타나 있는 바와 같이, 부호화 제어기(103)는, 액티비티actSUB[i] 및 최대잔차maxRES[i]를 양자화 파라미터에 의해 결정되는 역치와 비교하고, 부호화 결과가 "부호화"인가 "비부호화"인가를 추정한다.
액티비티actSUB[i]가 작은 예측 잔차 서브블록은, 실제로 직교변환이나 양자화를 행하지 않고 부호화 결과가 "비부호화"가 되는 것이라고 추정하는 것이 가능하다. 화면의 하나의 화소만이 큰 예측 잔차를 가질 경우, 예측 잔차 서브블록의 액티비티actSUB[i]이 비교적 작을 경우도, 직교변환하여 발생된 큰 직교변환계수로 인해 부호화 결과가 "부호화"이어도 된다. 이러한 국소적으로 큰 예측 잔차가 발생하는 경우를 고려하여, 액티비티actSUB[i]과 최대잔차maxRES[i]의 양자를 사용해서 부호화 결과를 추정하고, 부호화 결과의 추정 정밀도를 향상시킨다.
양자화 파라미터가 큰 경우에는, 보다 큰 값의 직교변환계수의 수는 제로다. 따라서, 양자화 파라미터가 커질수록, 역치actqp 및 resqp를 크게 설정함으로써, 부호화 결과의 추정 정밀도를 향상시킨다.
[부호화 처리]
도 10a 내지 1Oc의 흐름도를 참조하여 화상해석기(101) 및 부호화기(102)의 부호화 처리를 설명한다. 이때, 도 10a 내지 1Oc는 부호화 대상의 하나의 화면의 부호화 처리를 나타낸다.
부호화 제어기(103)는, 입력 화면에 대한 디폴트의 양자화 파라미터를 입력한다(SlOl). 디폴트의 양자화 파라미터는, 상기한 바와 같이, 장치외부의 부호량 제어에 근거해 결정된다.
다음에, 화상해석기(101)는, 입력 화면에서 16×16화소 블록을 취득한다(SlO2). 화면내 예측기(301)에 의해 DC예측 모드/수직예측 모드/수평예측 모드를 사용해서 간단한 화면내 예측을 행하고, 16×16화소 블록의 예측 잔차 블록을 산출한다(SlO3). 액티비티 산출기(303), 경사판정기(304), 및 최대 잔차 산출기(305)는, 각 예측 모드의 예측 잔차 블록의 해석 정보를 산출한다. MUX(306)는, 입력 화면의 해석 정보를 부호화 제어기(103)에 전달한다(SlO4).
부호화 제어기(103)는, 주관화질 향상을 위해 DC예측 모드의 해석 정보를 사용하여, 도 8에 나타낸 적응 양자화 제어를 행한다(SlO5). 추가로, DC예측 모드/수직예측 모드/수평예측 모드에 대해서, 도 9에 나타낸 예측 잔차 서브블록마다 부호화 결과를 추정하고, "비부호화"가 되는 서브블록의 수 NNC가 최대가 되는 예측 모드를 판정한다(SlO6). 이하, 스텝SlO6에서 판정된 예측 모드를 판정 예측 모드라고 한다.
화면내 예측기(104)는, 입력 화면에서 16×16화소 블록을 취득한다(SlO7). 부호화 제어기(103)는 판정 예측 모드에 있어서 "비부호화"로서 추정된 서브블록수NNC과, 소정의 역치Nth를 비교한다(SlO8). 이때, 역치Nth는, 일반적인 화면내 예측을 행할지, 저전력 모드 부호화를 행할지를 판정하는데 사용된다.
부호화 제어기(103)는, 스텝SlO8의 비교 결과에 근거하여, 16×16화소 블록의 화면내 예측부호화를 제어한다. 판정 예측 모드에 있어서 "비부호화"로서 추정된 서브블록수가 역치이하(NNC≤Nth)의 경우, 부호화 제어기(103)는, 일반적인 화면내 예측에 의한 부호화를 행한다고 판정하고, 처리를 스텝SlO9에 진행시킨다.
일반적인 화면내 예측에 있어서, 화면내 예측기(104)는, 16×16화소 블록을 분할한 4×4화소 서브블록에 대해서 전체 예측 모드를 탐색해서 예측 모드를 결정한다(SlO9). 이때, 전체 예측 모드를 포괄적으로 탐색하지 않고, 판정 예측 모드에 근거해 예측 모드를 탐색해도 된다. 상세한 것은 후술하지만, 화면내 예측기(104) 및 CODEC(1O5)등은, 4×4화소 서브블록의 예측부호화 및 국소복호를 실행한다(SllO). 4×4화소 서브블록의 처리가 종료하면, 부호화 제어기(103)는 16×16화소 블록의 전체 서브블록의 처리가 종료한 것인가 아닌가를 판정한다(Slll). 그 처리가 미완일 경우에는, 처리가 스텝SlO9로 되돌아간다. 16×16화소 블록의 전체 서브블록의 처리가 종료하면, 처리는 스텝S121에 진행된다.
한편, 판정 예측 모드에 있어서 "비부호화"로서 추정된 서브블록수가 역치를 초과하는 경우(NNC> Nth), 부호화 제어기(103)는, 저전력 모드 부호화를 행한다고 판정한다. 서브블록의 부호화 결과의 추정에 따라 처리가 분기된다(Sl12). 판정 예측 모드에 있어서 "부호화"로서 추정된 서브블록에 대하여는, 판정 예측 모드에서 예측부호화 및 국소복호가 행해진다(스텝Sl13).
판정 예측 모드에 있어서 "비부호화"로서 추정된 서브블록의 경우, 부호화 제어기(103)는, 해당 서브블록의 DC계수만을 CODEC(1O5)에 공급해서 부호화 및 국소복호를 실행시킨다(Sl14). 이때, 해당 서브블록의 DC계수는, 액티비티 산출에 사용된 예측 잔차의 평균치인 actAVE[i]를 참조해서 얻어질 수 있다.
즉, 스텝Sl14에 있어서, CODEC(1O5)은, 해당 서브블록의 DC계수에 대한 양자화와 엔트로피 부호화를 행하고, 양자화한 DC계수를 역양자화해서 국소복호 예측 잔차를 얻는다. MUX(1O6)은, 양자화 DC계수의 부호 데이터를 부호화 스트림에 다중화한다. 화면내 보상기(107)는, 해당 서브블록의 참조 블록과 DC계수에 대응하는 복호예측 잔차를 가산해서 국소복호 화소를 생성하고, 그 국소복호 화소의 일부를 메모리(108)에 기록한다. 이때, "비부호화"로서 추정된 서브블록에서의 AC계수는 국소복호 후에도 전부 제로이므로, DC계수만이 복호된다.
4×4화소 서브블록의 처리가 종료하면, 부호화 제어기(103)는, 16×16화소 블록의 전체 서브블록의 처리가 종료한 것인가 아닌가를 판정한다(Sl15). 그 처리가 미완일 경우에는, 처리가 스텝Sl12로 되돌아간다. 16×16화소 블록의 전체 서브블록의 처리가 종료하면, 처리는 스텝S121에 진행된다.
16×16화소 블록의 처리가 종료하면, 부호화 제어기(103)는, 스텝SllO, 스텝Sl13, 스텝Sl14에서 산출된 부호화 결과(후술하는 스텝S137에서 얻어짐)를 통합하고, 부호화 블록 패턴을 생성한다(S121). 부호화 블록 패턴을 엔트로피 부호화하고, 예측 모드등과 함께 헤더 정보로서 MUX(1O6)에 전달한다(S122). MUX(1O6)는, 헤더 정보를 부호화 스트림에 다중화한다(S123).
부호화 제어기(103)는, 부호화 블록 패턴의 생성에 스텝SlO6의 추정 결과가 아니고, 실제의 예측부호화에 있어서 얻어진 부호화 결과를 참조한다. 이것은, 부호화 제어기(103)가 부호화 결과를 "부호화"로서 추정할 때도, 실제로는 "비부호화"가 일부의 경우에서는 얻어지기 때문이다. 이때, 실제의 예측부호화에서 얻어진 부호화 결과를 엔트로피 부호화부(203)(도 2 참조)에 전달하고, 엔트로피 부호화부(203)는 부호화 블록 패턴의 엔트로피 부호화를 행하고, 그 부호화된 부호화 블록 패턴을 MUX(1O6)에 출력할 수도 있다.
다음에, 부호화 제어기(103)는, 입력 화면의 모든 16×16화소 블록의 부호화 처리가 종료한 것인가 아닌가를 판정한다(S124). 부호화 처리가 미완이면, 처리가 스텝SlO2로 되돌아가서 다음 16×16화소 블록의 부호화를 행한다. 입력 화면의 모든 16×16화소 블록의 부호화 처리가 종료한 경우에는, 하나의 화면의 부호화 처리를 종료한다.
● 서브블록의 예측부호화와 국소복호
도 11의 흐름도를 참조하여 서브블록의 예측부호화와 국소복호(SllO, Sl13)를 설명한다.
화면내 예측기(104)는, 인접 블록의 복호화소를 메모리(108)로부터 판독하고, 예측 모드에 대응한 참조 화소군인 참조 블록을 생성하고, 서브블록과 참조 블록간의 예측 잔차를 산출한다(S131). 이때, 여기에서 사용된 예측 모드는, 스텝SlO9에서 결정된 예측 모드, 또는, 판정 예측 모드다.
CODEC(1O5)은, 직교변환부(201)에 의한 예측 잔차의 직교변환(S132), 양자화부(202)에 의한 직교변환계수의 양자화(S133), 엔트로피 부호화부(203)에 의한 양자화값의 엔트로피 부호화(S134)에 의해, 부호 데이터를 생성한다. 또한, CODEC(1O5)은, 역양자화부(204)에 의한 양자화값의 역양자화(S135)와, 역직교변환부(205)에 의한 역양자화에 의해 얻어진 직교변환계수의 역직교변환(S136)을 행함으로써, 국소복호 예측 잔차를 생성한다.
이때, 양자화부(202) 및 역양자화부(204)는, 부호화 제어기(103)로부터 입력되는 적응 양자화 제어가 실행된 후의 양자화 파라미터를 사용한다. 또한, 엔트로피 부호화부(203)는, 서브블록의 양자화값의 부호화 결과가 "부호화"인가 "비부호화"인가를 판정하고, 그 판정 결과를 부호화 제어기(103)에 전달한다(S137).
MUX(1O6)은, 부호 데이터를 부호화 스트림에 다중화한다(S138). 화면내 보상기(107)는, 예측 모드에 근거해 상기 서브블록의 참조 블록을 생성하고, 그 참조 블록과 복호예측 잔차를 가산해서 국소복호 화소를 생성하며, 국소복호 화소의 일부를 메모리(108)에 기록한다(S139).
스텝SlO9에 있어서, 화면내 예측기(104)가 탐색한 예측 모드의 후보가 H.264일 경우에는, 후보의 수가 최대 9이다. 상기 예측 모드가 HEVC의 경우에는, 후보의 수가 최대 34이다. 따라서, 예측 모드의 탐색은, 많은 전력과 긴 처리 시간을 소비한다. 추가로, 예측 잔차의 부호화에 있어서의 직교변환과 양자화는, 곱셈기나 제산기를 사용하기 때문에, 역시 많은 전력을 필요로 한다.
본 실시예에 의하면, 스텝SlO8에 있어서 저전력 모드 부호화를 행한다고 판정된 16×16화소 블록의 예측 모드의 탐색이나, "비부호화"로서 추정된 서브블록의 AC계수의 예측 잔차 부호화를 생략할 수 있다. 이들 처리는 많은 전력을 소비하므로, 이것들 처리를 생략함으로써 소비 전력의 대폭삭감이 기대된다.
한편, 화상해석기(101)의 화면내 예측기(301)는, 참조 블록의 생성에 곱셈기를 필요로 하지 않고, 소비 전력이 작은 일부의 예측 모드만을 서포트하고, 전력의 소비는 얼마 안된다. 화상은, 일반적으로, 적은 예측 모드의 수에서도 "비부호화"로서 추정되는 영역(예를 들면, 평탄한 영역)을 포함한다. 이러한 영역에 속하는 블록에 대해서는 저전력 모드 부호화를 행하므로, 대폭적인 소비 전력의 삭감이 기대된다.
실시예의 변형예
부호화 제어기(103)는, 부호화기(102)의 내부처리의 클록 신호를 제어하는, 클록 제어 기능을 갖는 것이 바람직하다. "비부호화"로서 추정된 서브블록의 처리가 생략된 기간동안에, 화면내 예측기(104)와 CODEC(1O5)에 공급된 클록 신호를 정지함으로써, 클록 신호에 의해 소비된 전력도 대폭 삭감한다.
적응 양자화 제어를 위한 화상특성정보의 추출에는, 부호화 결과의 추정과 거의 같은 해석 정보를 사용할 수 있다. 따라서, 얼마 안된 처리의 추가에 의해 화상특성정보를 추출할 수 있고, 처리의 큰 오버헤드(소비 전력의 증가) 없이, 적응 양자화 제어에 의해 고화질을 실현할 수 있다.
도 10a 내지 도 11에 나타낸 처리는, 마이크로세서(CPU)가 실행하는 프로그램으로서 구현될 수 있다. 그 프로그램을 실행할 때, 저전력 모드 부호화를 행하는 블록에 대해서는, 예측 모드의 탐색(SlO9) 및 예측 잔차의 부호화 처리(SllO, Sl13)가 불필요하고, 처리의 속도를 높일 수 있다. 또한, 처리의 오버헤드 없이 화상특성정보를 추출하고, 적응 양자화 제어에 의한 고화질화를 실현하는 것도 가능하다.
또한, 도 10a 내지 도 11에 나타낸 처리는 휘도성분의 처리를 상정하고 있다. 일반적으로, 화상에는 휘도성분과 함께 색차성분이 포함된다. 색차성분에 관해서도, 화상해석기(101) 및 부호화 제어기(103)에서 부호화 결과를 추정해도 된다. 화면내 예측기(104)와 CODEC(1O5)을 색차성분의 처리만 행하는 모드에서 기동해도 된다. 후자의 경우, 해당 블록을 저전력 모드 부호화하는 경우에는, 색차성분의 화면내 예측의 예측 모드로서, 휘도성분의 화면내 예측에 가까운 예측 모드를 사용하는 것이 소비 전력 삭감의 관점에서 바람직하다.
화상해석기(101)의 동작 설명, 및 도 10a 내지 도 11에 나타낸 처리는, 서브블록의 사이즈로서 4×4화소를 상정하고 있다. 그렇지만, 본 실시예는, 특정한 서브블록 사이즈에 한정되는 것은 아니다. 예를 들면, 16×16화소 블록을 8×8화소의 네개의 서브블록으로서 부호화하는 것도 가능하다. 그 경우, 각 8×8화소의 서브블록에 근거하여, 부호화 제어기(103)에 있어서의 부호화 결과의 추정, 및 화면내 예측기(104)의 화면내 예측을 행한다.
추가로, 부호화단위인 부호화 블록 사이즈도 16×16화소에 한정되지 않는다. 예를 들면, 상기 부호화기는, HEVC에서 규정된 32×32화소나 64×64화소의 블록 사이즈에도 대처 가능하다.
본 실시예에 있어서, 소비 전력의 삭감 정도(또는 처리의 고속화)와부호화 효율(발생 부호량)은 트레이드오프의 관계에 있다. 도 10b에 나타내는 스텝S1O8에 있어서의 저전력 모드 부호화를 행할 것인가 아닌가를 판정하는데 사용된 역치Nth를 작게 하면, 예측 모드 탐색을 생략하는 서브블록의 수가 증가하고, 소비 전력 삭감량이 증가한다. 그러나, 상기 역치Nth가 지나치게 작으면, 서브블록 단위의 예측 모드 탐색이 행해지기 어려워져, "부호화"로서 추정된 서브블록의 부호량이 증가하게 된다. 반대로, 역치Nth가 지나치게 크면, 부호량이 감소한다. 그러나, 예측 모드 탐색을 생략하는 서브블록의 수가 감소하고, 소비 전력의 삭감 효과는 저하한다.
이 트레이드오프의 관계를 이용하여, 화상부호화장치를 구비하는 촬상기기등은, 전지잔량이 충분히 높은 경우에는 역치Nth를 크게 하고, 전지잔량이 낮은 경우에는 역치Nth를 작게 하는 제어도 가능하다.
본 실시예에 있어서, 소비 전력의 삭감 정도와 화질도 트레이드오프의 관계에 있다. 도 9에 나타낸 역치 actqp와 resqp를 크게 하면, "비부호화"로서 추정된 서브블록수NNC가 증가하고, 저전력 모드 부호화를 행하는 블록수가 증가한다. 그러나, 원래 "부호화"로서 추정되어야 하는 서브블록을 "비부호화"로서 처리하면, 화질이 열화된다. 역치actqp, resqp를 크게 하면, 화질열화의 발생 확률이 커진다. 반대로, 역치actqp, resqp를 작게 하면, 화질열화의 발생 확률이 작아진다. 그러나, "비부호화"로서 추정된 서브블록수NNC가 감소하고, 소비 전력의 삭감 효과는 저하한다.
이 소비 전력과 화질간의 트레이드오프의 관계에 관해서도, 상술한 전지잔량에 근거한 제어가 가능하다. 즉, 전지잔량이 충분히 높은 경우에는, 역치actqp, resqp를 작게 한다. 전지잔량이 낮은 경우에는, 역치actqp, resqp를 크게 한다.
화면내 예측기(104)는, 인접 블록의 국소복호 화소로부터 화면내 예측을 위한 참조 블록을 생성한다. 이에 대하여, 화상해석기(101)의 화면내 예측기(301)는, 인접 블록의 입력 화소로부터 참조 블록을 생성한다. 양자화 파라미터가 작고(고비트 레이트), 입력 화소와 국소복호화소간의 차분이 작은 경우에는, 입력 화소의 값과 국소복호 화소의 값은 근접하고, 화질에 미치는 영향은 작다. 그러나, 양자화 파라미터가 크고(저비트 레이트), 입력 화소와 국소복호 화소간의 차분이 클 경우, 원래 "부호화"로서 추정되어야 하는 서브블록을 "비부호화"로서 추정된 경우에 생긴 화질 열화가 커진다.
저비트 레이트에 있어서의 화질열화의 문제는, 스텝SlO8에서 저전력 모드 부호화를 행한다고 판정한 전체 서브블록에 대해서, 스텝Sl12의 판정을 행하지 않고, 스텝Sl13의 처리를 행함으로써 해결 가능하다. 소비전력 삭감 효과는 저하하지만, 다수의 예측 모드를 탐색하는 경우와 비교하여, 여전히, 소비 전력을 크게 삭감하는 것이 가능하다.
화상해석기(101)의 화면내 예측기(301)가 사용하는 예측 모드는 상기의 세개의 예측 모드에 한정되지 않고, 어떤 예측 모드도 사용 가능하다. 예를 들면, 소비 전력의 삭감에 효과적인 것을 미리 알고 있는 예측 모드를 추가하면, 소비 전력을 효과적으로 삭감할 수 있다. 그러나, 그다지 효과적이지 않은 예측 모드를 추가하면, 처리의 오버헤드로 인해 소비 전력이 증가한다.
화상해석기(101)가 산출하는 해석 정보는, 상술한 액티비티, 경사 및 최대잔차에 한정되지 않는다. 예를 들면, 액티비티를 대신하는 분산의 사용이나, 간단한 직교변환(예를 들면, 하다마드(Hadamard) 변환)을 실행한 직교변환계수의 사용등, 어떠한 통계 정보도 사용하는 것이 가능하다. 물론, 경사의 산출에 관해서도, 어떠한 구성에 의해 경사정보를 산출해도 된다. 다른 종류의 화상특성정보를 화상해석기(101)에 쉽게 추가하는 것도 가능하다.
제2 실시예
이하, 본 발명의 제2 실시예에 따른 화상부호화장치 및 화상부호화방법을 설명한다. 이때, 제2 실시예에 있어서, 제1 실시예와 동일한 참조번호는 동일한 부부분을 의미하여, 그 상세설명을 생략한다.
상기 제1 실시예에서는, 4×4화소로 이루어진 서브블록마다 부호화 결과를 추정하고, 블록마다 부호화 결과를 통합하여 얻어진 부호화 블록 패턴을 헤더 정보로서 부호화 스트림에 다중화하는 예를 설명했다. 그러나, 저비트 레이트의 부호화에 있어서는, 부호화 블록 패턴을 포함한 헤더 정보도, 가능한 한 적은 정보량을 갖는 것이 바람직하다. HEVC에는, 부호화 결과를 정의하는 변환의 블록 사이즈에 자유도가 있고, 부호화에 있어서 그 사이즈를 적절하게 결정할 수 있다. 헤더 정보의 부호량의 삭감에는, 서브블록의 사이즈를 크게 하는 것이 바람직하다. 제2 실시예에서는, 해석 정보에 의거하여 서브블록 사이즈를 적절하게 결정하는 예를 설명한다.
제2 실시예에 따른 부호화 제어기(103)는, 처리 대상 블록(16×16화소)내의 전체 서브블록(4×4화소 또는 8×8화소)이 "비부호화"인가 아닌가, 및, 판정 예측 모드가 DC예측 모드인가 아닌가를 판정한다. 전체 서브블록이 "비부호화"이고, 판정 예측 모드가 DC예측 모드일 경우(이하, "확대 조건"), 처리 대상 블록내의 화소가 거의 같은 값일 확률이 높다. 처리 대상 블록내의 화소가 모두 같은 값이면, 16×16화소 블록에 대해 변환할 때도 모든 AC계수는 제로가 된다.
따라서, 확대 조건을 충족시킬 경우, 16×16화소로 변환 블록 사이즈를 설정한다. 16×16화소블록마다의 부호화 결과를 "비부호화"로서 추정하고, 부호화 블록 패턴을 생성한다. 그 결과, 4×4화소 서브블록마다 부호화 결과를 정의하는 경우와 비교하여, 부호화 블록 패턴의 부호량이 삭감된다. 이 헤더 정보의 정보량의 삭감은, 특히 저비트 레이트에서의 부호화시에 특히 효과적이다.
블록이 화소 모두가 같은 값을 갖는 평탄 블록일 경우, 인접하는 블록들도 평탄 블록일 가능성이 높다. 따라서, 상기 처리 대상 블록과 주변 블록을 합체하고, 보다 큰 블록 사이즈를 부호화 단위로서 사용하여 부호화하는 것이 가능하다.
도 12a 내지 도 12c를 참조하여 블록 사이즈의 확대를 설명한다. 부호화 제어기(103)는, 도 12a에 도시된 상태에 있어서 확대 조건을 판정한다. 확대 조건이 충족시켜질 경우, 우선, 변환의 블록 사이즈를 16×16화소로 설정하고, 16×16화소 블록의 부호화 결과를 "비부호화"로서 추정한다.
인접하는 블록에 관해서도 같은 판정을 행한다. 도 12b에 나타내는 네개의 16×16화소 블록 모두에 있어서 확대 조건이 충족시켜질 경우, 부호화 단위와 변환의 블록 사이즈를 32×32화소로 설정하고, 32×32화소의 부호화 결과를 "비부호화"로서 추정한다(도 12c). 이때, 도 12b에 나타낸 상태는, 화면의 평탄한 부분에서 자주 일어난다.
부호화 단위로서 32×32화소를 사용하여 부호화 블록 패턴을 생성하면, 부호화 단위가 4×4화소일 경우와 비교하여, 부호화 블록 패턴의 부호량을 삭감할 수 있다. 인접 블록에 있어서 확대 조건이 충족시켜지지 않았을 경우도, 도 12b에 나타나 있는 바와 같이, 부호화 단위를 16×16화소로 설정해서, 부호화 블록 패턴의 부호량을 삭감할 수 있다.
블록 사이즈의 확대에 의해 삭감되는 헤더 정보는 부호화 블록 패턴에 한정되지 않는다. 예측 블록 사이즈의 적응적인 변화에 의해, 예측 모드에 관한 헤더 정보의 부호량도 삭감하는 것이 가능하다.
HEVC에서와 같이, 예측이나 변환의 블록 사이즈를 적절하게 결정할 수 있는 경우, 부호화 결과의 추정에 의거하여 순응적으로 블록 사이즈를 결정하여서 헤더 정보의 부호량을 대폭 삭감하는 것이 가능하게 된다.
상기의 변환 블록 사이즈의 확대는, 어떤 블록 사이즈에도 적용가능하다. 예를 들면, 상기의 변환 블록 사이즈의 확대는, 16×8화소나 32×16화소등, 정방형이 아닌 변환 블록 사이즈나 예측 블록 사이즈에 적용하는 것이 가능하다.
제3 실시예
이하, 본 발명의 제3 실시예에 따른 화상부호화장치 및 화상부호화방법을 설명한다. 이때, 제3 실시예에 있어서, 상기 제1 및 제2의 실시예와 동일한 참조번호는 동일한 부분을 의미하고, 그 상세설명을 생략한다.
제3 실시예에서는, DC예측 모드에서의 필터 처리와 조합하여서 상기 제1 및 제2 실시예에서 설명한 해석 정보에 더하여, 블록 경계에 있어서, 화면에 포함된 물체화상의 엣지 정보를 취득하는 예를 설명한다. 이때, 16×16화소 블록 또는 4×4화소 블록마다 해석 정보를 취득했을 경우, 16×16화소 블록의 블록 경계에 존재하는 물체화상의 상기 엣지 정보를 추출할 수는 없다.
도 13은 HEVC의 DC예측에 있어서 필터 처리에 의해 생성된 참조 화소군을 나타낸다. HEVC의 DC예측에 있어서는, 블록 상단과 하단의 계수에 하기식의 필터 처리를 적용해서 DC예측시의 참조 블록을 산출한다.
DCVAL=(∑yp[-1, y]+∑yp[x, -1]+16)/32 ...(8)
pred[0, 0]=(p[-1, 0]+2×DCVAL+p[0, -1]+2)/4 ...(9)
pred[x, 0]=(p[x, -1]+3×DCVAL+2)/4 ...(10)
pred[0, y]=(p[-1, y]+3×DCVAL+2)/4 ...(11)
pred[x, y]=DCVAL ...(12)
여기에서, 0≤x≤15,
0≤y≤15.
상기의 식(10) 및 (11)은 아래와 같이 고쳐써질 수 있다.
pred[x, 0]={4×DCVAL-(DCVAL-p[x, -1]-2)}/4 ...(13)
pred[0, y]={4×DCVAL-(DCVAL-p[-1, y]-2)}/4 ...(14)
이 경우에, 곱셈기를 사용하지 않고 보다 간단한 구성을 얻는 것이 가능하다.
식(13) 및 (14) 각각의 중간결과인 제2항은, 참조 블록과 인접 블록(블록A 및 블록B)간의 블록 경계에 있어서의 차분값을 나타낸다. 물체 화상의 엣지는 일반적으로 연속성을 가진다. 도 13에 있어서의 처리 대상 블록인 블록X와 블록B의 경계에 물체 화상의 엣지가 존재하는 경우, 블록A의 화소군과 블록B의 화소군간의 차이가 커진다. 화소군간의 차이가 커지면, 식(13) 및 (14) 각각의 제2항인 블록A와 블록B 사이의 평균인 값DCVAL간 차이가 커진다. 이 때문에, 그 제2항의 값을 블록 경계 검출을 위한 정보로서 사용하는 것이 가능하다.
도 14는 제3 실시예에 따른 화상해석기(101)의 상세한 구성을 나타낸다. 화면내 예측기(1401)는, 식(8), (9) 및 (12)∼(14)를 사용해서 DC예측 모드의 처리를 행한다. 이때, 화면내 예측기(1401)는, 제1 실시예와 같이, 수평예측 모드와 수직예측 모드의 처리를 행한다. 화면내 예측기(1401)는, DC예측 모드에 따라, 인접 블록과 참조 블록간의 차분값인 식(13) 및 (14) 각각의 제2항의 값(차분값)을 엣지 추출기(1402)에 전달한다.
엣지 추출기(1402)는, 식(13)의 제2항의 합계(수평방향의 차분값의 합계)를 수평방향의 물체화상의 엣지 정보, 식(14)의 제2항의 합계(수직방향의 차분값의 합계)를 수직방향의 물체화상의 엣지 정보로서 산출한다. 엣지 추출기(1402)는, 그 산출된 물체화상의 엣지 정보를 해석 정보의 일부로서 MUX(306)를 거쳐서 부호화 제어기(103)에 전달한다.
부호화 제어기(103)는, 물체화상의 엣지 정보를 참조하여, 열화가 주관적으로 눈에 뜨이기 쉬운 물체화상의 엣지 위에서 화질열화가 발생하지 않도록 적응 양자화 제어를 행한다. 또한, 엣지 정보가 잃어버려지지 않도록 변환 블록 사이즈를 결정하는 것도 가능하다.
상술한 것처럼, 상기 제1 실시예의 구성에 필터 처리의 중간결과의 추출과, 얼마 안된 처리를 추가할 때, 물체화상의 엣지 정보를 화상특성정보에 추가할 수 있다. 이에 따라, 상기 제1 실시예와 같이 소비 전력 삭감을 실현하면서, 적응 양자화 제어에 의해 고화질화를 실현할 수 있다.
제4 실시예
이하, 본 발명의 제4 실시예에 따른 화상부호화를 설명한다. 이때, 제4 실시예에 있어서, 제1 내지 제3 실시예와 동일한 참조번호는 동일한 부호를 의미하고, 그 상세설명을 생략한다.
상기 제1 실시예에서는, 화면내 예측만을 사용해서 각 블록의 부호화를 행하는 예를 설명했다. 제4 실시예에서는, 화면내 예측에 더하여, 움직임 예측을 사용해서 화면간 예측부호화를 행하는 예를 설명한다.
[장치의 구성]
도 15의 블록도를 참조하여 제4 실시예에 따른 화상부호화장치의 구성을 설명한다.
움직임 예측기(153)는, 소정의 움직임 벡터 탐색 알고리즘에 의해 움직임 벡터 후보를 산출한다. 이때, 움직임 예측기(153)는, 특정한 움직임 벡터 탐색 알고리즘뿐만 아니라, 일반적으로 사용된 어떤 움직임 벡터 탐색 알고리즘도 사용할 수 있다.
다음에, 움직임 예측기(153)는, 움직임 벡터 후보에 대응하는 국소복호화상의 화소를 움직임 예측용의 메모리(159)로부터 판독해서 참조 블록을 생성한다. 그리고, 움직임 예측기(153)는, 참조 블록과 입력 화면의 블록간의 예측 잔차에 대해서 액티비티를 산출한다.
움직임 예측기(153)는, 움직임 벡터 탐색 알고리즘에 의해 산출한 모든 움직임 벡터 후보에 대해서 액티비티를 산출한 후, 최소의 액티비티를 가지는 움직임 벡터 후보를 부호화에 사용하는 움직임 벡터로서 결정한다. 움직임 예측기(153)는, 그 결정된 움직임 벡터를 엔트로피 부호화하고, 부호화한 움직임 벡터를 MUX(106)에 전달하고, 상기 결정된 움직임 벡터에 있어서의 입력 화면의 블록과 참조 블록간의 예측 잔차를 선택기(SEL)(154)에 출력한다.
부호화 제어기(103)는, 화상해석기(101)가 산출한 액티비티, 및 움직임 예측기(153)가 탐색한 움직임 벡터에 대응하는 액티비티를 수신한다. 부호화 제어기(103)는, 그 2개의 액티비티를 비교하고, 해당 블록의 화면내 예측 부호화에 의해 생성된 부호량과, 해당 블록의 화면간 예측 부호화에 의해 생성된 부호량 중 어느 쪽이 작은지를 예측한다. 그 예측 결과에 근거해 SEL(154, 157)을 제어한다.
SEL(154)은, 부호화 제어기(103)의 제어하에, 화면내 예측기(104)가 출력하는 예측 잔차 또는 움직임 예측기(153)가 출력하는 예측 잔차를 선택적으로 CODEC(1O5)에 출력한다.
MUX(106)은, 부호화 제어기(103)에 의해 화면간 예측부호화가 선택된 경우에는, 예측 잔차를 엔트로피 부호화한 부호 데이터와 부호화 블록 패턴에 더하여, 부호화된 움직임 벡터를 다중화한 부호화 스트림을 출력한다.
움직임 보상기(156)는, CODEC(1O5)가 출력하는 국소복호 예측 잔차에 움직임 예측에 사용된 참조 블록을 가산한 국소복호화상을 SEL(157)에 출력한다. SEL(157)은, 부호화 제어기(103)의 제어하에, 화면내 보상기(107)가 출력하는 국소복호화상 또는 움직임 보상기(156)가 출력하는 국소복호화상을 선택적으로 포스트 필터(158)에 출력한다.
포스트 필터(158)는, 디블록킹 필터 등의 필터 처리를 국소복호화상에 실행해서 국소복호화상의 화질열화를 저감하고, 필터 처리후의 국소복호화상을 메모리(159)에 기록한다. 메모리(159)에 기록된 국소복호화상은, 후속 화면의 움직임 예측에 사용되는 참조 블록의 생성에 이용된다.
[부호화 처리]
도 16a 내지 16d의 흐름도를 참조하여 화상해석기(101) 및 부호화기(102)의 부호화 처리를 설명한다. 이때, 도 16a 내지 16d는 부호화 대상의 하나의 화면의 부호화 처리를 나타낸다. 또한, 스텝SlOl 내지 SlO6의 처리는 도 10a에 나타낸 제1 실시예의 처리와 같아서, 그 상세설명을 생략한다.
화면내 예측기(104) 및 움직임 예측기(153)는 입력 화면에서 16×16화소 블록을 취득한다(S151). 부호화 제어기(103)는 판정 예측 모드에 있어서 "비부호화"로서 추정되는 서브블록수NNC와, 소정의 역치Nth를 비교한다(S152). 이때, 그 역치Nth는, 일반적인 화면내 예측을 행할지, 저전력 모드 부호화를 행할지를 판정하는데 사용된다.
스텝S152에 있어서, 판정 예측 모드에 있어서의 "비부호화"로서 추정되는 서브블록수가 그 역치를 초과한다(NNC> Nth)고 판정할 때, 16×16화소 블록의 화면내 예측부호화에서도 충분한 부호량의 삭감이 가능하다고 예측된다. 따라서, 부호화 제어기(103)는, 해당 16×16화소 블록의 화면내 예측부호화를 행하기 위해서 처리를 스텝S161에 진행시킨다.
한편, 판정된 예측 모드에 있어서의 "비부호화"로서 추정되는 서브블록수가 역치이하(NNC≤Nth)일 경우, 부호화 제어기(103)는, 화면내 예측부호화의 부호량과 화면간 예측부호화의 부호량을 비교하기 위해서 처리를 스텝S153에 진행시킨다. 움직임 예측기(153)는, 16×16화소 블록의 움직임 벡터를 결정하고, 그 결정된 움직임 벡터에 대응하는 참조 블록과 상기 16×16화소 블록간의 예측 잔차를 산출하고, 최소 액티비티를 산출한다(S153).
다음에, 부호화 제어기(103)는, 움직임 예측기(153)가 산출한 최소 액티비티와, 화상해석기(101)가 산출한 예측 잔차의 최소 액티비티를 비교하고, 16×16화소 블록의 부호화방법을 결정한다(S154). 이때, 화상해석기(101)에 의한 액티비티의 산출은 스텝SlO4에서 행해지고, 부호화 제어기(103)는, 그 액티비티 중 최소의 것을 비교에 사용한다.
부호화 제어기(103)는, 화상해석기(101)가 산출한 최소 액티비티쪽이 작은 경우에는, 해당 16×16화소 블록의 화면내 예측부호화를 행한다고 결정해서, 도 10b의 스텝SlO9 및 스텝SllO과 같은 처리를 행한다. 부호화 제어기(103)는, 16×16화소 블록의 전체 서브블록의 처리가 종료한 것인가 아닌가를 판정한다(Slll). 그 처리가 미완일 경우에는, 그 처리를 스텝SlO9에 되돌아간다. 16×16화소 블록의 전체 서브블록의 처리가 종료하면, 처리를 스텝S163에 진행시킨다. 한편, 부호화 제어기(103)는, 움직임 예측기(153)가 산출한 최소 액티비티쪽이 작은 경우에는, 해당 16×16화소 블록의 화면간 예측부호화를 행한다고 결정해서, 처리를 스텝S155에 진행시킨다.
화면간 예측부호화에 있어서, 움직임 예측기(153)는, 스텝S151에서와 같이 움직임 벡터 탐색을 4×4화소 서브블록마다 행하고, 각 서브블록의 움직임 벡터를 결정한다(S155). 서브블록의 움직임 벡터 탐색은, 일반적으로, 스텝S153에서 결정된 움직임 벡터를 탐색 시작 점으로서 사용하여 행해진다. 상세한 것은 후술하지만, 움직임 예측기(153) 및 CODEC(1O5)등에 의해, 4×4화소 서브블록의 화면간 예측부호화 및 국소복호가 실행된다(S156). 4×4화소 서브블록의 처리가 종료하면, 부호화 제어기(103)는, 16×16화소 블록의 전체 서브블록의 처리가 종료한 것인가 아닌가를 판정한다(S157). 그 처리가 미완일 경우에는, 처리를 스텝S155에 되돌아간다. 16×16화소 블록의 전체 서브블록의 처리가 종료하면, 처리는 스텝S163에 진행된다.
한편, NNC>Nth의 경우, 또는, 화상해석기(101)가 산출한 최소 액티비티가 작은 경우, 부호화 제어기(103)는, 화면내 예측부호화를 행한다고 판정한다. 주목 서브블록의 부호화 결과의 추정에 따라 처리가 분기된다(S161). "부호화"로서 추정된 서브블록의 경우, 도 10b의 스텝Sl13과 같은 처리를 행한다. 부호화 제어기(103)는, 16×16화소 블록의 전체 서브블록의 처리가 종료한 것인가 아닌가를 판정한다(S162). 처리가 미완일 경우에는, 처리를 스텝S161에 되돌아간다. 16×16화소 블록의 전체 서브블록의 처리가 종료하면, 처리는 스텝S163에 진행된다.
상기 판정 예측 모드에 있어서 "비부호화"로서 추정된 서브블록의 경우, 도 10b의 스텝Sl14와 같은 처리(DC계수만의 부호화)를 행한다. 부호화 제어기(103)는, 16×16화소 블록의 전체 서브블록의 처리가 종료한 것인가 아닌가를 판정한다(S162). 처리가 미완일 경우에는, 처리가 스텝S161에 되돌아간다. 16×16화소 블록의 전체 서브블록의 처리가 종료하면, 처리는 스텝S163에 진행된다.
16×16화소 블록의 처리가 종료하면, 부호화 제어기(103)는, 포스트 필터(158)에 의해 국소복호화상에 필터 처리를 실시하고, 필터 처리를 실시한 국소복호화상을 메모리(159)에 기록한다(S163). 이후의 처리는, 도 10c의 스텝S121 내지 S124의 처리와 같아서, 그 상세설명을 생략한다.
● 화면간 예측부호화
도 17의 흐름도를 참조하여 화면간 예측부호화(S156)를 설명한다.
움직임 예측기(153)는, 결정한 움직임 벡터를 부호화하고, 부호화한 움직임 벡터를 MUX(106)에 전달한다(S201). 움직임 예측기(153)는, 결정한 움직임 벡터에 대응하는 국소복호화상의 화소를 메모리(159)로부터 판독해서 참조 블록을 생성하고, 참조 블록과 서브블록간의 예측 잔차를 산출하고, 그 예측 잔차를 SEL(154)에 출력한다(S202).
CODEC(1O5)은, 스텝S202에서 산출된 예측 잔차에 대해서, 도 12의 스텝S132 내지 S137과 같은 처리를 행한다. 즉, CODEC(1O5)은, 직교변환(S132), 양자화(S133) 및 엔트로피 부호화(S134)를 행해서 부호 데이터를 생성하고, 양자화값의 역양자화(S135) 및 역직교변환(S136)을 행해서 국소복호예측 잔차를 생성한다. 양자화에는 적응 양자화 제어가 실행된 양자화 파라미터를 사용한다. 서브블록의 각 양자화값의 부호화 결과가 "부호화"인가 "비부호화"인가를 나타내는 판정 결과가 부호화 제어기(103)에 전달된다(S137).
MUX(106)은, 부호 데이터 및 부호화된 움직임 벡터를 부호화 스트림에 다중화한다(S203). 움직임 보상기(156)는, 국소복호예측 잔차와 스텝S153에서 사용된 참조 블록을 가산해서 국소복호화상을 생성한다(S204).
움직임 예측기(153)는, 부호화 및 국소복호한 다른 시간의 화면을 참조 화상으로서 예측을 행하므로, 메모리(159)는 하나 이상의 화면의 복호화상을 축적할 필요가 있다. 부호화기(102)를 LSI(Large Scale Integration)로서 구현할 경우, 비용을 고려하면, 큰 사이즈를 필요로 하는 메모리(159)로서, 기억 용량당의 비용이 싼 DRAM(Dynamic Random Access Memory)칩을 LSI의 외부에 장착할 수 있다. 그렇지만, 외부의 DRAM의 액세스에 의한 소비 전력은, LSI내부의 메모리(예를 들면, 메모리(108))의 액세스에 의한 소비 전력보다도 크다.
적절한 움직임 벡터를 탐색하기 위해서는, 움직임 벡터의 탐색 범위를 블록 사이즈보다 매우 크게 할 필요가 있다(예를 들면, 16×16화소 블록마다 64×64화소). DRAM으로부터 움직임 벡터 탐색 범위의 화상 데이터를 판독하면서 다수의 움직임 벡터 후보 각각에 대해서 참조 블록을 생성할 필요가 있으므로, 움직임 벡터의 탐색 처리는, 일반적으로, 대단히 큰 전력을 소비한다. 움직임 벡터 탐색을 수반하는 화면간 예측부호화는, 일반적으로, 화면내 예측부호화보다도 많은 전력을 소비한다.
그러나, 일반적으로, 화면간 예측부호화를 화면내 예측부호화에서 대체하면, 부호량이 증가한다. 제4 실시예에 있어서는, 미리 추출된 해석 정보를 사용해서 부호량이 충분히 삭감 가능한 것을 확인하고 나서, 간단한 화면내 예측을 행하기 때문에 부호량의 증가를 억제할 수 있다.
상기 제1 실시예에서 상술한 바와 같이, 입력 화면내의 평탄한 영역에서, 화상해석기(101)에 의한 화면내 예측 처리로 충분히 부호량을 저감할 수 있고, 부호화 결과가 "비부호화"로서 추정되는 경우가 있다. 저전력 모드 부호화한다고 판정된 블록은, 화면간 예측부호화 대신에 소비 전력이 적은 화면내 예측부호화를 행하면, 특히 부호화 결과가 "비부호화"로서 추정되는 서브블록에 있어서, 대폭 소비 전력을 저감할 수 있다.
제4 실시예의 변형예
제4 실시예에 있어서도, 상기 제1 실시예의 변형예와 같이, 부호화 제어기(103)는 부호화기(102)의 내부처리에의 클록 신호를 제어하는 클록 제어 기능을 갖는 것이 바람직하다. 저전력 모드 부호화를 행한다고 결정되었을 때, 부호화 제어기(103)는, 제1 실시예의 클록 신호의 정지에 더하여, 움직임 예측기(153)에의 클록 신호를 정지해서, 소비 전력을 삭감한다.
화상특성정보에 관해서도, 상기 제1 실시예와 같이, 얼마 안된 처리의 추가로 화상특성정보를 추출하는 것이 가능하게 되고, 처리의 큰 오버헤드(소비 전력의 증가) 없이, 적응 양자화 제어에 의해 고화질을 실현할 수 있다.
도 16a 내지 도 17에 나타낸 처리는, 상기 제1 실시예와 같이, CPU가 실행하는 프로그램으로서 실현되는 것이 가능하다. 그 프로그램을 실행할 때, 저전력 모드에 해당하는 부호화를 행하는 블록에 대해서는, 움직임 예측 처리(S153)를 생략하는 것이 가능해서, 그 처리의 속도를 향상시킬 수 있다.
움직임 예측 단위인 블록 사이즈는, 4×4화소나 16×16화소에 한정되지 않는다. 예를 들면, HEVC에 규정된 32×32화소나 64×64화소와 같은 블록 사이즈도 움직임 예측 단위로서 사용가능하다.
제4 실시예에 있어서, 소비 전력의 삭감 정도(또는 처리의 고속화)와 부호화 효율(발생 부호량)은 트레이드오프의 관계에 있다. 도 16b의 스텝S152에 있어서의 저전력 모드 부호화의 역치Nth를 작게 하면, 움직임 예측을 생략하는 서브블록 수가 증가해서, 소비 전력 삭감량이 커진다. 그러나, 상기 역치Nth가 지나치게 작으면, 부호화 결과가 "부호화"로서 추정되는 각 서브블록의 움직임 예측이 행해지기 어려워져, 부호량이 증가하게 된다. 반대로, 상기 역치Nth가 지나치게 크면, 부호량이 감소한다. 그렇지만, 저전력 모드 부호화를 행하는 서브블록 수가 감소해서, 소비 전력의 삭감 효과는 저하한다. 따라서, 제1 실시예와 같이, 화상부호화장치를 구비하는 촬상기기등은 전지에 따라 제어를 실현가능하다.
상술한 것처럼, 상기의 실시예들에 의하면, 예를 들면, 화면의 평탄한 부분에 있어서 간단한 화면내 예측을 사용하여 화면내 예측부호화를 행함으로써, 화면내 예측의 예측 모드의 탐색이나 움직임 벡터의 탐색을 위해 소비된 전력을 저감하는 것이 가능하다. 소비 전력 및 회로 규모를 대폭 증대하지 않고, 화상특성정보를 추출하는 것도 가능하다.
기타의 실시예
또한, 본 발명의 국면들은, 메모리 디바이스에 기록된 프로그램을 판독 및 실행하여 상기 실시예(들)의 기능들을 수행하는 시스템 또는 장치(또는 CPU 또는 MPU 등의 디바이스들)의 컴퓨터에 의해서, 또한, 시스템 또는 장치의 컴퓨터에 의해 수행된 단계들, 예를 들면, 메모리 디바이스에 기록된 프로그램을 판독 및 실행하여 상기 실시예(들)의 기능들을 수행하는 방법에 의해, 실현될 수도 있다. 이를 위해, 상기 프로그램은, 예를 들면, 네트워크를 통해 또는, 여러 가지 형태의 메모리 디바이스의 기록매체(예를 들면, 컴퓨터 판독 가능한 매체)로부터, 상기 컴퓨터에 제공된다.
본 발명을 예시적 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 예시적 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형예와 동등한 구조 및 기능을 포함하도록 폭 넓게 해석해야 한다.

Claims (16)

  1. 화상 데이터의 예측 부호화를 행하는 화상부호화장치로서,
    입력화상을 부호화 단위의 제1 블록들로 분할하고, 제1 예측 모드들 중 적어도 하나를 사용하여 제1 블록마다 상기 입력화상의 화면내 예측에 관한 해석 정보를 생성하는 해석부;
    상기 입력화상을 예측 단위의 제2 블록들로 분할하여, 제2 예측 모드들 중 하나를 판정하기 위하여 상기 화면내 예측을 행하여 각 제2 블록의 예측 잔차를 생성하는 제1 예측부;
    직류성분 또는 상기 제2 블록의 상기 예측 잔차를 부호화 하는 부호화부; 및
    제1 블록마다, 상기 해석 정보에 근거해 상기 부호화부의 부호화 결과를 추정하고, 상기 추정에 근거해 상기 제1 예측부 및 상기 부호화부를 제어하는 제어부를 구비하고,
    상기 제1 예측 모드들의 수는 상기 제2 예측 모드들의 수보다 적은, 화상부호화장치.
  2. 제 1 항에 있어서,
    상기 해석부는, 상기 화면내 예측을 행해서 상기 제1 블록의 상기 예측 잔차를 나타내는 예측 잔차 블록을 생성하는 제2 예측부를 구비하고,
    상기 해석부는, 상기 예측 잔차 블록으로부터 상기 해석 정보를 생성하는, 화상부호화장치.
  3. 제 2 항에 있어서,
    상기 해석부는, 상기 예측 잔차 블록을 서브블록으로 분할하고, 서브블록마다 상기 예측 잔차의 평균치와 상기 예측 잔차의 차분 절대치의 합계를 상기 해석 정보의 일부로서 산출하는, 액티비티 산출부를 구비하는, 화상부호화장치.
  4. 제 2 항에 있어서,
    상기 해석부는, 상기 예측 잔차 블록에 대해서, 상기 예측 잔차의 수직방향의 경사 및 수평방향의 경사를 상기 해석 정보의 일부로서 산출하는, 경사판정부를 구비하는, 화상부호화장치.
  5. 제 2 항에 있어서,
    상기 해석부는, 상기 예측 잔차 블록을 서브블록들로 분할하고, 상기 서브블록들의 상기 예측 잔차의 최대의 절대치를 상기 해석 정보의 일부로서 산출하는 최대 잔차 산출부를 구비하는, 화상부호화장치.
  6. 제 1 항에 있어서,
    상기 제1 예측 모드들은, 직류예측 모드, 수직예측 모드 및 수평예측 모드를 포함하는, 화상부호화장치.
  7. 제 2 항에 있어서,
    상기 제2 예측부는, 상기 제1 블록들의 경계에 필터 처리를 적용하여서 상기 화면내 예측용의 참조 블록을 생성하는 예측 모드를 포함하고,
    상기 해석부는, 상기 필터 처리의 중간결과에 근거하여 상기 제1 블록들의 상기 경계에 있어서 물체화상의 엣지 정보를 추출하고, 상기 엣지 정보를 상기 해석 정보의 일부로서 사용하는, 화상부호화장치.
  8. 제 1 항에 있어서,
    상기 제어부는, 상기 해석 정보가 나타낸 상기 입력화상의 화상특성정보에 따라 상기 부호화부가 사용하는 양자화 파라미터를 제어하는, 화상부호화장치.
  9. 제 1 항에 있어서,
    제1 블록마다, 상기 제어부는, 상기 해석 정보에 근거하여, 화면내 예측부호화를 행했을 경우에 양자화값이 모두 제로가 되는 상기 제2 블록들의 수를 추정하고, 상기 추정된 수가 최대가 되는 상기 화면내 예측의 예측 모드를 판정하는, 화상부호화장치.
  10. 제 9 항에 있어서,
    상기 제어부는, 상기 추정된 수와 상기 판정된 예측 모드에 근거하여, 상기 제1 예측부 및 상기 부호화부에 있어서의 상기 제1 블록의 사이즈를 결정하는, 화상부호화장치.
  11. 제 9 항에 있어서,
    상기 제1 예측부는, 상기 제2 예측 모드들 중 하나를 탐색하여, 상기 판정된 예측 모드에 근거해 상기 화면내 예측을 행하는, 화상부호화장치.
  12. 제 9 항에 있어서,
    상기 제어부는, 상기 추정된 수에 근거하여, 상기 제1 예측부에 상기 화면내 예측을 행하기 위해 상기 제2 예측 모드들 중 하나를 탐색시킬 것인가 아닌가를 제어하는, 화상부호화장치.
  13. 제 9 항에 있어서,
    상기 제어부는, 상기 추정된 수가 소정의 역치를 초과할 경우, 상기 제1 예측부 및 상기 부호화부를 제어하여, 상기 양자화값이 모두 제로가 되는 블록이라고 추정된 상기 제1 블록에 대해서 상기 해석 정보로부터 얻어진 상기 제1 블록의 직류성분을 부호화하고, 상기 양자화값이 모두 제로가 되지 않는 블록이라고 추정된 상기 제2 블록에 대해서 상기 판정된 예측 모드를 사용하여 상기 화면내 예측 부호화를 행하는, 화상부호화장치.
  14. 제 1 항에 있어서,
    움직임 예측을 행하고, 상기 제1 블록의 예측 잔차를 생성하는 움직임 예측부를 더 구비하고,
    상기 제어부는, 상기 움직임 예측부의 예측 결과 및 상기 해석 정보에 근거해 상기 부호화부를 제어하여, 상기 제1 예측부가 생성하는 예측 잔차, 또는, 상기 움직임 예측부가 생성하는 예측 잔차를 부호화 하는, 화상부호화장치.
  15. 화상 데이터의 예측 부호화를 행하는 화상부호화방법으로서,
    프로세서를 사용하여,
    입력화상을 부호화 단위의 제1 블록들로 분할하는 스텝;
    제1 예측 모드들 중 적어도 하나를 사용하여 제1 블록마다 상기 입력화상의 화면내 예측에 관한 해석 정보를 생성하는 스텝;
    상기 입력화상을 예측 단위의 제2 블록들로 분할하는 스텝;
    제2 예측 모드들 중 하나를 판정하기 위하여 상기 화면내 예측을 행하여 각 제2 블록의 예측 잔차를 생성하는 스텝;
    직류성분 또는 상기 제2 블록의 상기 예측 잔차를 부호화 하는 스텝;
    제1 블록마다, 상기 해석 정보에 근거해 상기 부호화 스텝의 부호화 결과를 추정하는 스텝; 및
    상기 추정에 근거해 상기 화면내 예측과 상기 부호화를 제어하는 스텝을 실행하는 것을 포함하고,
    상기 제1 예측 모드들의 수는 상기 제2 예측 모드들의 수보다 적은, 화상부호화방법.
  16. 컴퓨터에게 청구항 15에 따른 화상부호화방법을 실행시키는 컴퓨터 실행 가능한 프로그램을 기억하는 컴퓨터 판독 가능한 매체.
KR1020130122998A 2012-10-16 2013-10-16 화상부호화장치 및 화상부호화방법 KR101644898B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2012-229242 2012-10-16
JP2012229242A JP2014082639A (ja) 2012-10-16 2012-10-16 画像符号化装置およびその方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020160095289A Division KR20160098109A (ko) 2012-10-16 2016-07-27 화상부호화장치 및 화상부호화방법

Publications (2)

Publication Number Publication Date
KR20140049483A KR20140049483A (ko) 2014-04-25
KR101644898B1 true KR101644898B1 (ko) 2016-08-03

Family

ID=49354552

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020130122998A KR101644898B1 (ko) 2012-10-16 2013-10-16 화상부호화장치 및 화상부호화방법
KR1020160095289A KR20160098109A (ko) 2012-10-16 2016-07-27 화상부호화장치 및 화상부호화방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020160095289A KR20160098109A (ko) 2012-10-16 2016-07-27 화상부호화장치 및 화상부호화방법

Country Status (5)

Country Link
US (1) US20140105279A1 (ko)
EP (1) EP2723082A3 (ko)
JP (1) JP2014082639A (ko)
KR (2) KR101644898B1 (ko)
CN (1) CN103731668A (ko)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8942473B2 (en) * 2012-07-25 2015-01-27 Ko Hung Lin Image processing method and display apparatus
JP6052319B2 (ja) 2015-03-25 2016-12-27 Ｎｔｔエレクトロニクス株式会社 動画像符号化装置
US20180054617A1 (en) * 2015-03-30 2018-02-22 Sony Corporation Image coding device and method
CN104902281B (zh) * 2015-05-25 2017-12-26 宁波大学 一种基于汉明码+1的hevc视频的信息隐藏方法
JP6053210B1 (ja) * 2015-06-10 2016-12-27 日本電信電話株式会社 映像符号化装置、映像符号化方法及び映像符号化プログラム
JP2017069617A (ja) * 2015-09-28 2017-04-06 ルネサスエレクトロニクス株式会社 半導体装置および画像符号化方法
US10735729B2 (en) 2015-12-22 2020-08-04 Realnetworks, Inc. Residual transformation and inverse transformation in video coding systems and methods
ES2710807B1 (es) * 2016-03-28 2020-03-27 Kt Corp Metodo y aparato para procesar senales de video
CN107018419B (zh) * 2017-04-26 2019-07-05 安徽大学 一种基于ambtc的图像压缩编码方法
KR102301232B1 (ko) * 2017-05-31 2021-09-10 삼성전자주식회사 다채널 특징맵 영상을 처리하는 방법 및 장치
CN109462758B (zh) * 2018-10-09 2021-04-06 深圳市网心科技有限公司 帧内预测模式确定方法、电子设备、系统及存储介质
CN111050172A (zh) * 2018-10-15 2020-04-21 华为技术有限公司 图像块的变换、反变换方法和装置
US10939107B2 (en) 2019-03-01 2021-03-02 Sony Corporation Embedded codec circuitry for sub-block based allocation of refinement bits
CN112543325B (zh) * 2019-09-23 2022-09-09 腾讯美国有限责任公司 视频解码方法、装置、计算机设备和存储介质
US11570479B2 (en) * 2020-04-24 2023-01-31 Samsung Electronics Co., Ltd. Camera module, image processing device and image compression method
US11889057B2 (en) * 2021-02-02 2024-01-30 Novatek Microelectronics Corp. Video encoding method and related video encoder

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060198439A1 (en) * 2005-03-01 2006-09-07 Qin-Fan Zhu Method and system for mode decision in a video encoder

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8625665B2 (en) * 1996-09-20 2014-01-07 At&T Intellectual Property Ii, L.P. Video coder providing implicit coefficient prediction and scan adaptation for image coding and intra coding of video
EP1604530A4 (en) * 2003-03-03 2010-04-14 Agency Science Tech & Res FAST-DECISION ALGORITHM FOR INTRAPRADICTION FOR ADVANCED VIDEO CODING
JP2005151017A (ja) * 2003-11-13 2005-06-09 Sharp Corp 画像符号化装置
US20050111545A1 (en) * 2003-11-25 2005-05-26 Ram Prabhakar Dynamic packet size control for MPEG-4 data partition mode
JP4177278B2 (ja) * 2004-03-03 2008-11-05 日本電信電話株式会社 量子化ステップサイズ変更方法、量子化ステップサイズ変更装置、量子化ステップサイズ変更プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP4235162B2 (ja) * 2004-11-18 2009-03-11 日本電信電話株式会社 画像符号化装置，画像符号化方法，画像符号化プログラムおよびコンピュータ読み取り可能な記録媒体
JP2009060153A (ja) * 2005-12-21 2009-03-19 Panasonic Corp 面内予測モード決定方法及び装置及びプログラム
US20080107176A1 (en) * 2006-11-02 2008-05-08 General Instrument Corporation Method and Apparatus for Detecting All Zero Coefficients
US20080107183A1 (en) * 2006-11-02 2008-05-08 General Instrument Corporation Method and apparatus for detecting zero coefficients
JP4901450B2 (ja) 2006-12-19 2012-03-21 株式会社東芝 動画像符号化装置
US8098732B2 (en) * 2007-10-10 2012-01-17 Sony Corporation System for and method of transcoding video sequences from a first format to a second format
EP2229782A2 (en) * 2008-01-14 2010-09-22 Thomson Licensing Methods and apparatus for de-artifact filtering using multi-lattice sparsity-based filtering
JP2009188630A (ja) * 2008-02-05 2009-08-20 Victor Co Of Japan Ltd 画像符号化装置
WO2011031332A1 (en) * 2009-09-14 2011-03-17 Thomson Licensing Methods and apparatus for efficient video encoding and decoding of intra prediction mode
JP5363302B2 (ja) * 2009-12-24 2013-12-11 株式会社メガチップス 画像符号化装置及び画像変換装置
KR101503269B1 (ko) * 2010-04-05 2015-03-17 삼성전자주식회사 영상 부호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치, 및 영상 복호화 단위에 대한 인트라 예측 모드 결정 방법 및 장치
HUE040604T2 (hu) * 2010-08-17 2019-03-28 M&K Holdings Inc Berendezés intra predikció mód dekódolására
CN102075763A (zh) * 2010-12-31 2011-05-25 北京大学深圳研究生院 用于视频编码器的帧内子块预测电路及其实现方法
US10171813B2 (en) * 2011-02-24 2019-01-01 Qualcomm Incorporated Hierarchy of motion prediction video blocks

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060198439A1 (en) * 2005-03-01 2006-09-07 Qin-Fan Zhu Method and system for mode decision in a video encoder

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A fast H.264 intra prediction algorithm using macroblock properties, IMAGE PROCESSING, ICIP, vol.1 (2004.10.24.)*
A novel algorithm to fast mode decision with consideration about video texture in H.264, COMPUTER SYSTEMS AND APPLICATIONS (2007.05.01.)*
Mode dependent filtering for intra predicted samples, Joint Collaborative Team on Video Coding, JVCTVC-F358 (2011.07.01.)*

Also Published As

Publication number Publication date
US20140105279A1 (en) 2014-04-17
KR20160098109A (ko) 2016-08-18
EP2723082A3 (en) 2014-10-22
JP2014082639A (ja) 2014-05-08
KR20140049483A (ko) 2014-04-25
EP2723082A2 (en) 2014-04-23
CN103731668A (zh) 2014-04-16

Similar Documents

Publication Publication Date Title
KR101644898B1 (ko) 화상부호화장치 및 화상부호화방법
US11575906B2 (en) Image coding device, image decoding device, image coding method, and image decoding method
RU2703229C1 (ru) Устройство декодирования изображений, устройство кодирования изображений, способ декодирования изображений и способ кодирования изображений
US8165195B2 (en) Method of and apparatus for video intraprediction encoding/decoding
JP5470405B2 (ja) 画像符号化装置および方法
KR101322498B1 (ko) 부호화 장치, 부호화 방법 및 프로그램
EP2824926B1 (en) Image encoding device, image decoding device, image encoding method, image decoding method
CN102986211B (zh) 视频编码中的速率控制
KR101808327B1 (ko) 영상 코덱에서 패딩을 이용한 영상 부/복호화 방법 및 장치
KR20080031344A (ko) 가변 비트 속도 인코딩이 가능한 비디오 인코더를 위한속도 제어 방법, 모듈, 기기 및 시스템
JP6149707B2 (ja) 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像撮影装置
US9055292B2 (en) Moving image encoding apparatus, method of controlling the same, and computer readable storage medium
JP5649296B2 (ja) 画像符号化装置
JP4911625B2 (ja) 画像処理装置、およびそれを搭載した撮像装置
JP6200220B2 (ja) 画像処理装置、符号化装置、復号装置、及びプログラム
Zhang et al. ROI based complexity reduction algorithm for H. 264 encoder
Chen An intra-rate estimation method for H. 264 rate control
KR20180103673A (ko) 영상 코덱에서 패딩을 이용한 영상 부/복호화 방법 및 장치
An et al. High Speed and Low-Complexity Mode Decision for Advanced Video Coding

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190724

Year of fee payment: 4