JP5832263B2 - 画像符号化装置及び画像符号化方法 - Google Patents
画像符号化装置及び画像符号化方法 Download PDFInfo
- Publication number
- JP5832263B2 JP5832263B2 JP2011267674A JP2011267674A JP5832263B2 JP 5832263 B2 JP5832263 B2 JP 5832263B2 JP 2011267674 A JP2011267674 A JP 2011267674A JP 2011267674 A JP2011267674 A JP 2011267674A JP 5832263 B2 JP5832263 B2 JP 5832263B2
- Authority
- JP
- Japan
- Prior art keywords
- size
- block
- image
- prediction
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 56
- 238000006243 chemical reaction Methods 0.000 claims description 36
- 230000008569 process Effects 0.000 description 25
- 238000011156 evaluation Methods 0.000 description 19
- 238000013139 quantization Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 230000009466 transformation Effects 0.000 description 7
- 230000006866 deterioration Effects 0.000 description 4
- 101100004031 Mus musculus Aven gene Proteins 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
これらの規格では、符号化処理が完了した画像情報(復号画像)を利用して符号化対象画像をブロック単位で予測し、原画像との差分(予測差分)を符号化することによって、動画像の持つ冗長性を排除して符号量を減らしている。具体的には、上記予測差分に対して周波数変換方式の一種であるDCT(Discrete Cosine Transform)を施し、その係数を量子化する。
特許文献1では、ブロックサイズの選択のために、各ブロックの分散値の累積(和)を評価値とすることが記載されている。また、特許文献2には、各ブロックサイズにおけるブロックの分散値の総和を発生量とし、発生符号量に応じてブロックを選択することが記載されている。さらに、特許文献3には、サブブロックの総和の分散値を計算してブロックサイズを決定することが記載されている。
これら特許文献1〜特許文献3は、各ブロックに含まれる画素の分散を計算して評価値としている。しかし、特に、低〜中程度のビットレートにおけるビデオ符号化では、低周波成分の扱いが重要となるものの、画素の分散による評価では、低周波成分についての評価とならない問題があった。
特に、最新の規格であるH.264では、画面間予測を行った後の予測差分に対して施すDCTのサイズを画像の性質に合わせて2種類の中から選択することにより、符号化効率を大きく改善した。その切り替えは符号化処理の最小単位となるマクロブロック単位で行われるが、その判定のために一度両方のサイズで符号化すると処理量が大きくなるといった問題があった。本発明は、少ない処理量で適切なブロックサイズを決定する手段を提供する。
大きなブロックサイズでDCTを施した場合には、画像の空間方向の相関性が低下して画質が低下する傾向があるため、一般的に、空間方向の相関が高く画素値変動の小さい領域に対して有利に働く。
一方、小さなブロックサイズでDCTを施した場合には、一般的に、発生符号量が大きい代わりに画像を忠実に再現できるが、空間方向の相関が高い領域では冗長である。そのため、空間方向の相関が低く画素値変動の大きい領域に対して有利に働く。
本発明の画像符号化装置及び画像符号化方法では、この性質を利用し、ブロック内画素の変動が大きいほど小さなブロックサイズを選択する。例えばH.264/AVCでは、符号化処理が完了した画像情報を利用して符号化対象画像を予測し、原画像との予測差分を符号化することによって、動画像の持つ冗長性を減らして符号量を削減している。予測差分を符号化する際には、まず周波数変換の1種であるDCT(Discrete Cosine Transform)を施し、各係数値を量子化して可変長符号化を行う。ここでは、動画像の局所的性質を利用するために、画像を細かく分割したブロック単位で予測が行われる。このとき、好ましくは、大ブロックを複数の小ブロックに分割した場合に、小ブロック間の変動が大きければ小ブロックサイズを選択し、小ブロック間の変動が小さければ大ブロックサイズを選択するという処理を階層的に行うことにより、効果的である。
以下、本発明の実施例を、図面を参照して説明する。
図3に示すように、符号化処理は、対象画像に対してラスタースキャンの順序(矢印301参照)に従い、16×16画素で構成される符号化対象マクロブロック302を1単位として実行される。符号化対象画像の予測には、大別して、画面間予測と画面内予測があり、マクロブロック毎に両者を切り替えて利用することができる。
図4及び図5に示すように、画面間予測を行う際には、符号化対象画像403と同じ映像401に含まれる符号化済みの(既符号化)画像の復号画像を参照画像402とし、対象画像403中の対象ブロック404と相関の高いブロック(予測画像)405を参照画像402中から探索(動き探索)する。このとき、符号化対象画像403と予測画像405に対して画素ごとに差分値を差分器408で計算し、該計算によって取得される予測差分画像407加えて、予測に必要なヘッダ情報として、両ブロックの座標値の差分として表される動きベクトル406を符号化する。
一方、復号化の際には上記の逆の手順を行えばよく、復号化された予測差分を参照画像中のブロック(予測画像)405に加算することにより、復号化画像を取得することができる。
図6は、対象マクロブロック501と予測画像502を減算器503で減算した結果として取得される予測差分画像に対して、DCTを施し、8×8のブロックサイズの画像504か、4×4のブロックサイズの画像505のどちらかを選択することができることを示している。
従って、ここでは、対象マクロブロック501と予測画像502を減算器503で減算した結果として取得される予測差分画像に、8×8のブロックサイズでDCTを施すのか、それとも4×4のブロックサイズでDCTを施すのかを決定する。
即ち、8×8画素のような大きなブロックサイズでDCTを施した場合(画像504参照)には、情報量の大きいDC成分の絶対数が小さくなる。このため、符号量が小さくなる傾向がある。しかし、空間方向の相関性の低下に起因して発生する高周波成分の喪失により、画像がぼやけやすい。
一方、4×4画素のような小さなブロックサイズでDCTを施した場合(画像505参照)には、きめ細かな変換により画像の忠実度を高く保つことができる反面、DC成分の絶対数が大きくなる。このため、符号量が大きくなる傾向にある。
以上の性質を考慮して、画像の特徴からDCTを施すブロックサイズを一意に決定することができれば、候補となるすべてのブロックサイズで仮符号化を行う場合に比べて、大幅に処理量が低減できる。
これにより、画像の主要成分となるDC成分を忠実に再現することが可能になるという利点が生じる。しかし、空間方向の相関が高い領域では、その周波数分布が隣接するブロックのものと類似しているため上記のような処理は冗長であり、利点の効果が小さくなりうまく働かない。そのため、空間方向の相関性が低い領域、即ち画素値変動が大きい場合には、概して小さなブロックサイズが有利に働く。
従って、本発明では、符号化対象領域における画素変動に基づいて評価値を計算し、ブロックのサイズの決定に利用する。例えば、大ブロックに含まれるすべての小ブロックに対して計算した画素平均(小ブロックにおけるDC成分に相当)の分散値を評価値とすることにより、DC成分の変動に応じた評価を可能とする。
(2)続いて、同じ予測差分画像に対して8×8画素のブロックサイズによる4分割(ブロック記号m=A,B,C,D)を行い、各ブロック(m=A(A∋n=1,2,3,4)、m=B(B∋n=5,6,7,8)、m=C(C∋n=9,10,11,12)、m=D(D∋n=13,14,15,16))に含まれる4×4ブロックの平均値AVEnに対して分散ACTAVE_mを式(1)によって計算する。
(3)最後に、これら4個の分散を足し合わせて、評価値Evalとし、この評価値Evalが、閾値T以上なら4×4画素のブロックサイズを選択し、それ以外なら8×8画素のブロックサイズを選択し、DCTを施す。
即ち、ステップS801では、候補となるブロックサイズをSIZEn(n=1,2,・・・,k)に分割する(ただし、SIZEn−1<SIZEn)。
ステップS802では、まず評価のためのパラメータTn(n=2,・・・,k)を設定する。
次に、ステップS803では、nに2を代入する(n=2)。
即ち、ステップS804では、nがk+1に等しいか否かを判定する。nがk+1に等しくなければ(n≠k+1ならば)ステップS805の処理に進み、nがk+1に等しければ(n=k+1ならば)ステップS809の処理に進む。
ステップS805では、SIZEn−1で分割したブロック単位でブロック内に存在する画素の平均値を計算する。
続いて、ステップS806では、SIZEnブロック単位で上記平均値の分散値を計算する。
さらに、ステップS807では、その分散値をすべてのSIZEnブロックに対して足し合わせて評価値Evalnを算出する。
そして、ステップS808では、kに1を足し合わせ(k=k+1)、ステップS804の処理に戻る。
ステップS810では、nを1とする(n=1を選択する)。即ち、SIZE1ブロック単位でDCTを施すと決定する。
一方、正となるものが含まれていれば、ステップS810に進み、ステップS810では、この値を最大とするnを選択する。即ち、SIZEnブロック単位でDCTを施すと決定する。
以上の処理を全て終了すれば、ステップS812において、ブロックサイズ決定処理を終了する。
図1の動画像符号化装置100は、入力された原画像101の符号化画像を符号化ストリームとして出力する。
動画像符号化装置100は、入力された原画像101を保持する入力画像メモリ102と、入力画像を小領域(マクロブロック)に分割するブロック分割部103と、マクロブロック単位で画像間の動きを計算する動き探索部104と、マクロブロック単位で画面内予測を行う画面内予測部105と、動き探索部104にて検出された動き量をもとにマクロブロック単位で画面間予測を行う画面間予測部106と、画像の性質に合った予測モード(予測手段およびブロックサイズ)を決定するモード選択部107と、予測差分を生成するための減算部108と、予測差分画像を用いて周波数変換を施すブロックサイズを決定する周波数変換サイズ決定部109と、予測差分に対して符号化を行う周波数変換部110及び量子化処理部111と、符号の発生確率に応じた適応的符号化を行うための可変長符号化部112と、一度符号化した予測差分を復号化するための逆量子化処理部113及び逆周波数変換部114と、復号化された予測差分を用いて復号化画像を生成するための加算部115と、復号化画像を保持して後の予測に活用するための参照画像メモリ116を有する。
入力画像メモリ102は、入力された原画像101の中の一枚の画像を符号化対象画像として保持し、ブロック分割部103に出力する。ブロック分割部103は、入力された画像を細かなブロックに分割し、動き探索部104、画面内予測部105、画面間予測部106、及び減算部108に出力する。
動き探索部104は、参照画像メモリ116に格納されている復号化済み画像を用いて該当ブロックの動き量を計算し、その動きベクトルを画面間予測部106に出力する。
画面内予測部105は、周辺ブロックの復号化済み画像を用いた画面内予測処理を複数のブロックサイズで実行し、モード選択部107に出力する。また、画面間予測部106は、符号化済みの別画像を参照した画面間予測処理を複数のブロックサイズで実行し、モード選択部107に出力する。
モード選択部107は、画面内予測部105及び画面間予測部106から入力された複数のブロックサイズで実行された画面内予測処理及び画面間予測処理の結果から最適な予測モードを選択し、予測画像を減算部108、加算部115、及び可変長符号化部112に出力する。また、モード選択部107は、予測情報(どの予測モードを用いたかや、動きベクトルなど)を可変長符号化部112に出力する。
周波数変換サイズ決定部109は、図8のフローチャートによって説明した方法で周波数変換を施すブロックサイズを決定し、決定したブロックサイズを周波数変換部110に出力する。
周波数変換部110及び量子化処理部111は、それぞれ、減算部108から入力された予測差分に対して、指定された大きさのブロックサイズを1単位としてDCTなどの周波数変換及び量子化処理を行い、可変長符号化部112及び逆量子化部113に出力する。
可変長符号化処理部112は、量子化済み周波数変換係数とヘッダ情報を、符号の発生確率に基づいて符号化し、符号化ストリームを生成して出力する。モード選択部107から入力された予測情報は、符号化されてヘッダ情報に含まれる。
参照画像メモリ116は、入力された復号化画像を格納し、格納された復号化画像を要求に応じて、動き検索部104、画面内予測部105、または画面間予測部106に出力する。
この場合、符号化ストリームの符号量を所望のビットレートに合わせるようにQPを制御する符号化レート制御を行うなど、画面内でQPが大きく変化する場合には、パラメータの値の選定が困難化し易い。そのため、原画像を用いて評価を行うことにより、どのようなQPでも安定した結果が得られる。
なおこの場合、予測差分画像の代わりに原画像を用いる以外は実施例1と同様の方法で評価を行うため、図7の本実施例におけるブロックサイズの決定方法の一実施例についての説明、及び図8の候補となるブロックサイズの種類がk種類である場合に最適なサイズを決定する処理手順の説明を省略する。
図2において、入力画像メモリ102、動き探索部105、画面内予測部105、画面間予測部106、モード選択部107、及び参照画像メモリ116の動作は図2と同一である。また、ブロック分割部103は、図1と同一の処理(入力された画像を細かなブロックに分割)を実行し、動き探索部104、画面内予測部105、画面間予測部106、減算部108、及び周波数変換サイズ決定部109に出力する。
周波数変換部110、量子化処理部111、逆量子化処理部113、逆周波数変換部114、加算部115、及び、可変長符号化部112は、図1と同一の処理を実行する。
また、周波数変換の一例としてDCTを挙げているが、DST(Discrete Sine Transformation:離散サイン変換)、WT(Wavelet Transformation:ウェーブレット変換)、DFT(Discrete Fourier Transformation:離散フーリエ変換)、KLT(Karhunen-Loeve Transformation:カルーネン−レーブ変換)など、画素間相関除去に利用する直交変換ならどのようなものでも構わない。
また、本実施例では、画面間予測を行った後の周波数変換について述べているが、画面内予測を行った後の周波数変換において本発明利用しても良い。さらに、原画像に対して直接周波数変換を施しても構わない。
また、本発明は、動画像符号化方式H.264/AVCだけでなく、静止画像符号化方式(例えば、JPEG2000、及び、今後策定されるであろう次世代標準など、どのような画像符号化方式にも適用可能である。
Claims (3)
- 入力される原画像をマクロブロックに分割するブロック分割部、前記マクロブロック毎に画面内予測を行う画面内予測部、前記マクロブロック毎に画面間予測を行う画面間予測部、前記マクロブロック毎に画面内予測または画面間予測を切り替えて予測差分を行う予測差分部、前記予測差分に対して周波数変換を行う周波数変換部、及び、周波数変換するブロックサイズを決定する周波数変換サイズ決定部を有し、前記原画像を符号化する画像符号化装置であって、
前記周波数変換サイズ決定部は、前記周波数変換するブロックサイズを、前記マクロブロックを分割した複数の小ブロックから構成される中ブロックのサイズである第1のサイズとするか、若しくは前記小ブロックのサイズである第2のサイズとするかを決定するものであって、前記原画像若しくは前記予測差分の画像を構成する前記小ブロックの画素平均の前記マクロブロック内における変動が小さい場合には前記第1のサイズを選択し、前記変動が大きい場合には前記第2のサイズを選択するものであり、前記変動の大きさは、前記第1のサイズを有する複数の中ブロックのそれぞれにおいて、前記小ブロックの画素平均の分散を計算し、前記複数の中ブロックの分散を足し合わせたもので表されることを特徴とする画像符号化装置。 - 前記小ブロックは前記マクロブロックを16個に分割したものであり、前記第1のサイズは前記小ブロック4個分であり、前記変動が小さい場合と前記変動が大きい場合を分ける閾値は、量子化パラメータに依存した値に設定することを特徴とする請求項1記載の画像符号化装置。
- 入力される原画像をマクロブロックに分割し、前記マクロブロック毎に画面内予測または画面間予測を行い、前記マクロブロック毎に画面内予測または画面間予測を切り替えて予測差分を行い、前記予測差分に対して周波数変換を行い、前記原画像を符号化する画像符号化方法であって、
前記周波数変換するブロックサイズを、前記マクロブロックを分割した複数の小ブロックから構成される中ブロックのサイズである第1のサイズとするか、若しくは前記小ブロックのサイズである第2のサイズとするか決定するときに、前記小ブロックの画素平均の前記マクロブロック内における変動が小さい場合には前記第1のサイズを選択し、前記変動が大きい場合には前記第2のサイズを選択するものであり、前記変動の大きさは、前記第1のサイズを有する複数の中ブロックのそれぞれにおいて、前記小ブロックの画素平均の分散を計算し、前記複数の中ブロックの分散を足し合わせたもので表されることを特徴とする画像符号化方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011267674A JP5832263B2 (ja) | 2011-12-07 | 2011-12-07 | 画像符号化装置及び画像符号化方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011267674A JP5832263B2 (ja) | 2011-12-07 | 2011-12-07 | 画像符号化装置及び画像符号化方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013121044A JP2013121044A (ja) | 2013-06-17 |
JP5832263B2 true JP5832263B2 (ja) | 2015-12-16 |
Family
ID=48773500
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011267674A Expired - Fee Related JP5832263B2 (ja) | 2011-12-07 | 2011-12-07 | 画像符号化装置及び画像符号化方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5832263B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101737861B1 (ko) * | 2014-01-20 | 2017-05-19 | 한국전자통신연구원 | 변환 깊이 기반 dct 사이즈 결정 장치 및 방법 |
JP6459761B2 (ja) * | 2015-05-01 | 2019-01-30 | 富士通株式会社 | 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム |
WO2018185881A1 (ja) | 2017-04-05 | 2018-10-11 | オリンパス株式会社 | 相関値演算装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08223578A (ja) * | 1995-02-13 | 1996-08-30 | Nippon Telegr & Teleph Corp <Ntt> | 動きベクトル探索方法および装置 |
US6633611B2 (en) * | 1997-04-24 | 2003-10-14 | Mitsubishi Denki Kabushiki Kaisha | Method and apparatus for region-based moving image encoding and decoding |
US7630563B2 (en) * | 2001-07-19 | 2009-12-08 | Qualcomm Incorporated | System and method for decoding digital image and audio data in a lossless manner |
JP2007110568A (ja) * | 2005-10-14 | 2007-04-26 | Matsushita Electric Ind Co Ltd | 画像符号化装置 |
JP2007243427A (ja) * | 2006-03-07 | 2007-09-20 | Nippon Hoso Kyokai <Nhk> | 符号化装置及び復号化装置 |
JP5236332B2 (ja) * | 2008-03-28 | 2013-07-17 | アイベックステクノロジー株式会社 | 符号化装置、符号化方法および符号化プログラム |
JP4937224B2 (ja) * | 2008-09-30 | 2012-05-23 | 株式会社東芝 | 画像符号化装置 |
-
2011
- 2011-12-07 JP JP2011267674A patent/JP5832263B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013121044A (ja) | 2013-06-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5277257B2 (ja) | 動画像復号化方法および動画像符号化方法 | |
JP5061179B2 (ja) | 照明変化補償動き予測符号化および復号化方法とその装置 | |
CN107396117B (zh) | 视频编码和解码方法及非暂时性计算机可读存储介质 | |
JP2009111691A (ja) | 画像符号化装置及び符号化方法、画像復号化装置及び復号化方法 | |
US9210435B2 (en) | Video encoding method and apparatus for estimating a code amount based on bit string length and symbol occurrence frequency | |
WO2011101454A2 (en) | Data compression for video | |
JP2006140758A (ja) | 動画像符号化方法、動画像符号化装置および動画像符号化プログラム | |
JP2009094828A (ja) | 画像符号化装置及び画像符号化方法、画像復号化装置及び画像復号化方法 | |
WO2010067529A1 (ja) | 動画像復号化方法及び装置、動画像符号化方法及び装置 | |
JP5613319B2 (ja) | 映像符号化装置、映像符号化方法および映像符号化プログラム | |
US20090028241A1 (en) | Device and method of coding moving image and device and method of decoding moving image | |
JP2007013298A (ja) | 画像符号化装置 | |
JP2013115583A (ja) | 動画像符号化装置及びその制御方法並びにプログラム | |
JP2020005294A (ja) | 処理方法 | |
JP5832263B2 (ja) | 画像符号化装置及び画像符号化方法 | |
WO2016116984A1 (ja) | 動画像符号化装置、動画像符号化方法および動画像符号化プログラム | |
JP2009049969A (ja) | 動画像符号化装置及び方法並びに動画像復号化装置及び方法 | |
JP5887012B2 (ja) | 画像復号化方法 | |
JP5358485B2 (ja) | 画像符号化装置 | |
KR101610029B1 (ko) | 가변 크기 블록 매칭 기반의 모션 추정 방법 및 이를 이용한 비디오 인코딩 장치 | |
JP5887013B2 (ja) | 画像復号化方法 | |
JP5891333B2 (ja) | 画像復号化方法 | |
JP4561701B2 (ja) | 動画像符号化装置 | |
JP5422681B2 (ja) | 画像復号化方法 | |
JP2010166275A (ja) | 画像符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140930 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150413 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150421 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150618 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150707 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150902 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150929 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151027 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5832263 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |