JP4921239B2

JP4921239B2 - 画像処理装置およびその方法

Info

Publication number: JP4921239B2
Application number: JP2007125024A
Authority: JP
Inventors: 正大平
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2007-05-09
Filing date: 2007-05-09
Publication date: 2012-04-25
Anticipated expiration: 2027-05-09
Also published as: JP2008283402A

Description

本発明は、動画像の符号化に関する。

動画像の符号化方式として、フレーム内符号化方式であるMotion JPEGやDigital Videoなどの符号化方式や、フレーム間予測符号化を用いたH.261、H.263、MPEG-1、MPEG-2が知られている。近年ではH.264などの符号化方式も知られている。これらは、ISO (International Organization for Standardization)やITU (International Telecommunication Union)によって国際標準化されている。

フレーム内符号化方式は、フレーム単位に独立に符号化を行う方式で、フレームの管理が容易なため、動画像の編集や特殊再生が必要な装置に最適である。また、フレーム間予測符号化方式は、フレーム間の画像の差分に基づくフレーム間予測を用いるため、高能率符号化という特徴をもつ。

H.264方式は、フレーム内符号化およびフレーム間予測符号化ともに、現ブロックの画像と予測画像のブロックの画像の差分画像を符号化することで、従来の符号化方式よりも高能率符号化を実現する。

H.264方式のフレーム内符号化は、符号化対象のm×n画素のブロック（通常は16×16画素）に対する予測画像を、符号化対象ブロックと同一フレーム内の、符号化済みの画像を復号した画素（局所復号画像）を用いて予測するイントラ予測を行う。

H.264の場合、イントラ予測に使用する複数の予測モードが存在する。イントラ予測によるフレーム内符号化では、符号化対象ブロックに対し、一つのイントラ予測モードを用いて予測画像を生成し、予測画像とブロックの画像の差分画像およびイントラ予測モードを示す情報を符号化することで符号化を行う。

H.264におけるイントラ予測は、符号化対象ブロックの周辺の、局所復号画像の画素を用いて空間予測を行い、符号化対象ブロックに対応する予測画像を生成する。

図1と図2はイントラ予測モードを説明する図である。

例えば、16×16画素のブロックに対してイントラ予測モードは四種類存在する。図1(a)は垂直方向予測モード（予測モード0）を示し、符号化対象ブロックの上に隣接する16個の復号画素を用いて、符号化対象ブロックの予測画像を生成する。

図1(b)は水平方向予測モード（予測モード1）を示し、符号化対象ブロックの左に隣接する16個の復号画素を用いて、符号化対象ブロックに対応する予測画像を生成する。

図1(c)はDC予測モード（予測モード2）を示し、符号化対象ブロックの左と上に隣接する32個の復号画素を用いて、符号化対象ブロックの予測画像を生成する。つまり、32画素の平均値を符号化対象ブロックの予測画素にする。

図1(d)は平面予測モード（予測モード3）を示し、符号化対象ブロックの左と上に隣接する32個の復号画素を使用して、符号化対象ブロックの予測画像を生成する。

また、4×4画素のブロックに対してイントラ予測モードは九種類存在する。図2(a)は垂直方向予測モード（予測モード0）を示し、符号化対象ブロックの上に隣接する四つの復号画素を用いて、符号化対象ブロックの予測画像を生成する。

図2(b)は水平方向予測モード（予測モード1）を示し、符号化対象ブロックの左に隣接する四つの復号画素を用いて、符号化対象ブロックの予測画像を生成する。

図2(c)はDC予測モード（予測モード2）を示し、符号化対象ブロックの左と上に隣接する八つの復号画素を用いて、符号化対象ブロックの予測画像を生成する。つまり、八画素の平均値を符号化対象ブロックの予測画素にする。

さらに、図2(d)〜(i)に示す、斜め左下方向（予測モード3）、斜め右下方向（予測モード4）、斜めやや右下方向（予測モード5）、水平やや下方向（予測モード6）、斜めやや左下方向（予測モード7）、水平やや上方向（予測モード8）がある。つまり、八つの予測方向の予測モードと、DC予測モードの合計九種類のイントラ予測モードが存在する。

また、8×8画素のブロックに対しては、4×4画素のブロックと同様に、九種類のイントラ予測モードが存在する。このように、複雑なイントラ予測を行うH.264は、従来の符号化方式よりも高能率符号化を実現する。

イントラ予測処理は、最後に予測モードを決定することを目的とする。予測画像と符号化対象ブロックの画像の差分画素が示す予測誤差を最小にする予測モードを見付けるには、全予測モードについて予測誤差を算出し、予測誤差が最小の予測モードを探せばよい。さらに精度を上げるならば、全予測モードについて発生符号量を算出し、符号量が最小の予測モードを探せばよい。

しかし、予測誤差または発生符号量が最小の予測モードを探すために、言い換えれば高画質化のために、多数の予測モードの予測誤差または発生符号量を計算することは、予測モードを決定するまでの処理負荷を大きくし、リアルタイム処理を困難にする。一方、イントラ予測処理を安易に省略すれば、予測精度が低下して符号量が削減できず、結果として、画質が低下する。

特開2004-304724公報 INTERNATIONAL STANDARD ISO/IEC, 14496-10: Information technology - Coding of audio-visual objects―Part 10 : Advanced video coding

本発明は、フレーム内符号化する場合に、処理負荷を抑えて、多数の予測モードから好適な予測モードを設定することを目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明にかかる動画像のフレームをブロック単位に符号化する画像処理は、符号化対象ブロックを、それぞれ所定数の画素からなり、互いにサイズが異なる複数サイズの複数のサブブロックに分割し、前記複数のサブブロックそれぞれについて画素値の総和を計算し、前記総和の分散値を計算して得た、前記複数サイズのサブブロックそれぞれの分散値に基づき、前記符号化対象ブロックをフレーム内符号化する場合の予測ブロックサイズを決定し、前記予測ブロックサイズより小さいサイズの前記サブブロックの分散値に基づき、前記符号化対象ブロックをフレーム内符号化する場合の予測モードを設定することを特徴とする。

本発明によれば、フレーム内符号化する場合に、処理負荷を抑えて、多数の予測モードから好適な予測モードを設定することができる。

以下、本発明にかかる実施例の画像処理を図面を参照して詳細に説明する。なお、以下では、16×16画素のブロックを説明するが、4×4画素のブロックや8×8画素のブロックにおいても同様に処理することができる。

［装置の構成］
図3は実施例のH.264方式のエンコーダの構成例を示すブロック図である。エンコーダは、符号化ブロックに分割された動画像のフレームを、ブロック単位に符号化する。

減算器101は、符号化対象のフレーム（以下、現フレーム）の符号化対象のブロック（以下、現ブロック）の画像と、予測画像の差分を計算して、差分画像を出力する。直交変換(DCT)部102は、差分画像を直交変換する。量子化部103は、直交変換係数を量子化する。可変長符号化部104は、ハフマン符号化や算術符号化を使用して、量子化された直交変換係数から符号を生成する。

予測画像の生成には、既に符号化したデータを局所的に復号した画像（以下、局所復号画像）を用いる。逆量子化部106は、量子化された直交変換係数を逆量子化する。逆DCT部107は、逆量子化によって得られた直交変換係数を逆DCTして、局所復号画像を生成する。加算器117は、フレーム間予測符号化の場合、逆DCT部107が出力する画像と、予測画像を加算する。ブロック歪除去部111は、ブロック歪と呼ばれる量子化ステップが大きい場合に発生し易い視覚的な劣化を抑制する。上記の復号処理は、ローカルデコードとも呼ばれる。フレームメモリ(FM)113は、ローカルデコードした画像を一時記憶する。

イントラ予測部110は、フレーム内符号化のイントラ予測用に、現ブロックの画像と、FM113から現ブロックの近傍に位置する局所復号画像を入力して、予測画像を生成する。動き補償部112は、フレーム間予測符号化用に、現ブロックの画像と、FM113から現フレーム近傍のフレームのローカルデコード画像を入力し、ブロック間におけるオブジェクトの相対的な動き量（以下、動きベクトル）を算出し、予測画像を生成する。

可変長符号化部104は、符号化を行う際、イントラ予測におけるモード判定や、フレーム間予測における動きベクトルなどの付加情報も併せて符号化する。バッファ部114は、発生する符号量を監視し、その状態をレート制御部115に出力するとともに、所定の伝送レートで符号を出力する。レート制御部115は、発生符号量＞目標値の場合は粗い量子化を行う量子化ステップを量子化部103に設定し、発生符号量＜目標値の場合は細かい量子化を行う量子化ステップを量子化部103に設定して、発生符号量を制御する。

モード判定部105は、現フレームをフレーム内符号化するか、フレーム間予測符号化するかを判定し、判定結果に応じてスイッチ108と109を制御する。フレーム内符号化するイントラピクチャ（Iピクチャ）の場合、スイッチ109を介してイントラ予測部110の予測画像が減算器101に入力される。また、スイッチ108はオープンである。一方、フレーム間予測符号化する予測ピクチャ（Pピクチャ）または双方向予測ピクチャ（Bピクチャ）の場合、スイッチ109を介して、動き補償部110の予測画像が減算器101に入力される。また、スイッチ108を介して、動き補償部110の予測画像が加算器117に入力される。

このように、H.264方式は、フレーム内符号化およびフレーム間予測符号化ともに、現ブロックの画像と予測画像のブロックの画像の差分画像を符号化することになる。

図11はエンコーダをコンピュータ装置1100で実現する例を説明するブロック図である。

CPU 1000は、メモリ1001のRAMをワークメモリとして、メモリ1001のROMやハードディスクドライブ(HDD) 1006に格納されたオペレーティングシステム(OS)や各種プログラムを実行する。そして、システムバス1002を介して後述する各種構成を制御するとともに、実施例のエンコーダとしての機能を実現するプログラムを実行することにより、図3に示すエンコーダとして機能する。

ネットワークインタフェイス(I/F) 1007は、ネットワーク1008とのインタフェイスである。入力装置1003は、例えばマウスやキーボード、あるいは、ビデオカメラなどの映像入力機器である。出力装置1004は、各種記録メディアに映像を記録する記録装置である。

コンピュータ装置1100は、入力装置1003から入力されるビデオデータ、または、HDD 1006に格納されたビデオデータをモニタ1005に表示する。あるいは、ビデオデータを符号化して、出力装置1004に出力したり、ネットワーク1008を介してサーバやクライアントに伝送する。

［イントラ予測部］
図4はイントラ予測部110の構成例を示すブロック図である。

ブロック分割器11は、現ブロックの画像（以下、現画像）を入力して、ブロックサイズが2×2、4×4、8×8画素のサブブロックに分割する。測定器12は、4×4、8×8画素の画像と閾値α、β、γを入力して、現ブロックの特徴量を測定し、予測ブロックサイズを決定して、特徴量とブロックサイズ決定情報を出力する。閾値α、β、γは、入力された画像に依存するので、統計的もしくは経験的に求めることが好ましい。例えば、対象画像がほぼ平坦な画像である場合はα：1200、β：2500、γ：90などである。セレクタ13は、測定器12のブロックサイズ決定情報に対応するモード判定器および予測器を動作させる。

4×4モード判定器14は、測定器12から特徴量を入力し、4×4ブロックサイズにおける予測モードを判定する。4×4予測器15は、4×4モード判定器14が判定した予測モードに従い、FM113の局所復号画像から4×4画素サイズの予測画像を生成し、4×4予測モードを示す情報と予測画像を出力する。つまり、現ブロック当り、16組の4×4予測モードを示す情報と予測画像を出力する。なお、4×4モード判定器14と4×4予測器15は、ブロックサイズ決定情報が4×4を示す場合に、セレクタ13によって動作する。

8×8モード判定器16は、測定器12から特徴量を入力し、8×8ブロックサイズにおける予測モードを判定する。8×8予測器17は、8×8モード判定器16が判定した予測モードに従い、FM 113の局所復号画像から8×8画素サイズの予測画像を生成し、8×8予測モードを示す情報と予測画像を出力する。つまり、現ブロック当り、四組の4×4予測モードを示す情報と予測画像を出力する。なお、8×8モード判定器16と8×8予測器17は、ブロックサイズ決定情報が8×8を示す場合に、セレクタ13によって動作する。

16×16モード判定器18は、測定器12から特徴量を入力し、16×16ブロックサイズにおける予測モードを判定する。16×16予測器19は、16×16モード判定器18が判定した予測モードに従い、FM 113の局所復号画像から16×16画素サイズの予測画像を生成し、16×16予測モードを示す情報と予測画像を出力する。なお、16×16モード判定器18と16×16予測器19は、ブロックサイズ決定情報が16×16を示す場合に、セレクタ13によって動作する。

●測定器
図5は測定器12の構成例を示すブロック図である。

特徴算出器20は、詳細は後述するが、4×4画素のブロック（以下、4×4サブブロック）、つまり16個のサブブロックそれぞれの画素値の総和を計算し、16個の総和の分散値Aを計算する。さらに、8×8画素のブロック（以下、8×8サブブロック）、つまり四個のサブブロックそれぞれの画素値の総和を計算し、四個の総和の分散値Bを計算する。

閾値比較器21は、詳細は後述するが、特徴算出器20から入力した特徴量（分散値AとB）と、閾値αとβを比較して予測ブロックサイズを決定し、ブロックサイズ決定情報と閾値γを出力する。特徴算出器22は、詳細は後述するが、予測ブロックサイズに依存した特徴量を計算し出力する。

［イントラ予測部の動作］
図6はイントラ予測部110の動作を説明するフローチャートで、1ブロック分の処理を示す。

イントラ予測部110は、現画像と閾値α、β、γを入力し(S10)、ブロック分割器11により現画像を2×2、4×4、8×8のサブブロックに分割する(S11)。そして、4×4と8×8のサブブロックの特徴量（分散値A、B）を計算して、特徴量と閾値α、βから予測ブロックサイズを決定する(S12)。ブロックサイズ決定情報はセレクタ13へ、特徴量と閾値γは4×4モード判定器14、8×8モード判定器16、16×16モード判定器18へ入力される(S13)。

次に、イントラ予測部110は、ブロックサイズ決定情報が4×4を示す否かを判定し(S14)、4×4を示す場合は、16個の4×4サブブロックに対して、上記の4×4モード判定器14と4×4予測器15による処理を行う(S16)。

また、イントラ予測部110は、ブロックサイズ決定情報が8×8を示す否かを判定し(S15)、8×8を示す場合は、四個の8×8サブブロックに対して、上記の8×8モード判定器16と8×8予測器17による処理を行う(S17)。

また、ブロックサイズ決定情報が4×4、8×8を示さない場合、イントラ予測部110は、16×16画素の現ブロックに対して、上記の16×16モード判定器18と16×16予測器19による処理を行う(S18)。

●測定器の動作
図7は測定器12の動作を説明するフローチャートである。

測定器12は、サブブロックと閾値α、β、γを入力し(S100)、特徴算出器20により、分散値Aを計算し(S101)、分散値Bを計算する(S102)。そして、閾値比較器21により、分散値Aと閾値αを比較して(S103)、A＞αであれば4×4を示すブロックサイズ決定情報と閾値γを出力する(S105)。そして、特徴算出器22により、64個の2×2画素のサブブロック（以下、2×2サブブロック）それぞれの画素値の総和と、上下左右に隣接する四個の2×2サブブロック間の分散値Cを計算し、総和と分散値Cを出力する(S106)。なお、分散値Cは、現ブロックに対して16個出力される。

A≦αの場合、測定器12は、分散値Bと閾値βを比較して(S104)、B＜βであれば8×8を示すブロックサイズ決定情報と閾値γを出力する(S107)。そして、特徴量算出器22により、16個の4×4サブブロックそれぞれの画素値の総和と、上下左右に隣接する四個の4×4サブブロック間の分散値Dを計算し、総和と分散値Dを出力する(S108)。なお、分散値Dは、現ブロックに対して四個出力される。

また、A≦αかつB≧βの場合、測定器12は、16×16を示すブロックサイズ決定情報と閾値γを出力する(S109)。そして、特徴量算出器20が計算した、四個の8×8サブブロックそれぞれの画素値の総和と、分散値Bを出力する(S110)。なお、分散値Bは、現ブロックに対して一個出力される。

●4×4予測モード判定器の動作
図8は4×4予測モード判定器14の動作を説明するフローチャートである。

4×4予測モード判定器14は、閾値γを入力し(S200)、カウンタiを0にリセットする(S201)。そして、i番目の4×4サブブロックが含む四個の2×2サブブロックそれぞれの画素値の総和a、b、c、dと、それらサブブロック間の分散値C[i]を入力する(S202)。なお、総和a、b、c、dとサブブロックの関係は下記のとおりである。
┌─┬─┐
│ a│ b│
├─┼─┤
│ c│ d│
└─┴─┘

次に、4×4予測モード判定器14は、γとC[i]を比較して(S203)、C[i]＜γであれば、予測モード2を出力する(S205)。一方、γ≧C[i]であれば、次の比較を行う(S204)。
|a - b|+|c - d| ＞ |a - c|+|b - d| …(1)

式(1)が真ならば、4×4予測モード判定器14は、FM 113の局所復号画像から、予測モード1、6、8、3、4（水平重視）の予測画像を生成し(S206)、予測モードを選択し出力する(S207)。また、式(1)が偽ならば、FM 113の局所復号画像から、予測モード0、5、7、3、4（垂直重視）の予測画像を生成し(S208)、予測モードを選択して出力する(S209)。これらの場合、上記の五種類の予測モードの予測画像を生成して、現ブロックの画像との例えば差分絶対値和を算出し、差分絶対値和が最小の予測モードを選択することになる。

次に、カウンタiをインクリメントし(S210)、i＜16ならば処理をステップS202に戻し、i=16になるまで、上記の処理を繰り返す。

●8×8予測モード判定器の動作
図9は8×8予測モード判定器16の動作を説明するフローチャートである。

8×8予測モード判定器16は、閾値γを入力し(S300)、カウンタiを0にリセットする(S301)。そして、i番目の8×8サブブロックが含む四個の4×4サブブロックそれぞれの画素値の総和a、b、c、dと、それらサブブロック間の分散値D[i]を入力する(S302)。

次に、8×8予測モード判定器16は、γとD[i]を比較して(S303)、D[i]＜γであれば、予測モード2を出力する(S305)。一方、γ≧D[i]であれば、式(1)の比較を行う(S304)。

式(1)が真ならば、8×8予測モード判定器16は、FM 113の局所復号画像から、予測モード1、6、8、3、4（水平重視）の予測画像を生成し(S306)、予測モードを選択し出力する(S307)。また、式(1)が偽ならば、FM 113の局所復号画像から、予測モード0、5、7、3、4（垂直重視）の予測画像を生成し(S308)、予測モードを選択して出力する(S309)。これらの場合、上記の五種類の予測モードの予測画像を生成して、現ブロックの画像との例えば差分絶対値和を算出し、差分絶対値和が最小の予測モードを選択することになる。

次に、カウンタiをインクリメントし(S310)、i＜4ならば処理をステップS302に戻し、i=4になるまで、上記の処理を繰り返す。

●16×16予測モード判定器の動作
図10は16×16予測モード判定器18の動作を説明するフローチャートである。

16×16予測モード判定器18は、閾値γを入力する(S401)。そして、16×16サブブロックが含む四個の8×8サブブロックそれぞれの画素値の総和a、b、c、dと、それらサブブロック間の分散値Bを入力する(S402)。

次に、16×16予測モード判定器18は、γとBを比較して(S403)、B＜γであれば、予測モード0を出力する(S405)。一方、γ≧D[i]であれば、式(1)の比較を行う(S404)。

式(1)が真ならば、16×16予測モード判定器18は、FM 113の局所復号画像から、予測モード1、3（水平重視）の予測画像を生成し(S406)、予測モードを選択し出力する(S407)。また、式(1)が偽ならば、FM 113の局所復号画像から、予測モード2、3（垂直重視）の予測画像を生成し(S408)、予測モードを選択して出力する(S409)。これらの場合、上記の二種類の予測モードの予測画像を生成して、現ブロックの画像との例えば差分絶対値和を算出し、差分絶対値和が最小の予測モードを選択することになる。

このように、多数の予測モードから好適な予測モードを選択する場合、処理量を削減し、かつ、予測精度を向上して、画質の向上を図ることができる。

以下、本発明にかかる実施例2の画像処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。

［イントラ予測部］
図12は実施例2のイントラ予測部110の構成例を示すブロック図である。図4に示す構成と異なるのは、測定器12がレート制御部115から量子化パラメータQPを入力する点である。

●測定器
図13は測定器12の構成例を示すブロック図である。

QPメモリ23は、直前の1フレーム分の量子化パラメータを格納する。閾値修正器24は、現ブロックの量子化ステップを入力し、現ブロックの量子化ステップとメモリ23に格納された1フレーム分の量子化ステップから、閾値α、βを修正する。

［イントラ予測部の動作］
イントラ予測部110全体の動作は、ステップS10で現画像と閾値α、β、γ以外に量子化ステップを入力する点を除けば、実施例1（図6）と同様なので、その詳細説明を省略する。また、測定器12の動作は、ステップS100で量子化ステップによって閾値α、βを修正する点を除けば、実施例1（図7）と同様なので、その詳細説明を省略する。

●閾値の修正
閾値修正器24は、式(2)により、閾値α、βを修正する(S100)。
α = α×(1 + QP/QP')
β = β×(1 + QP/QP') …(2)
ここで、QPは現ブロックの量子化ステップ
QP'は前フレームの現ブロックに対応するブロックの量子化ステップ

なお、現ブロックのサイズは、フレーム間で異なる場合がある。そこで、式(2)の計算に使用する量子化ステップQPはすべて16×16に換算した値にする。具体的には、4×4の場合は4×4サブブロック16個分の平均値、8×8ブロックの場合は8×8サブブロック四個分の平均値にする。

つまり、式(2)によって閾値α、βは増加する。従って、動画像の符号化が進むに連れて、4×4よりは8×8、8×8よりは16×16のブロックサイズが選択され易くなり、より大きなブロックサイズで符号化することにより、発生符号量が抑制される。とくに、発生符号量を増やせる傾向を示すQP＜QP'の場合に比べて、発生符号量を増やせない傾向を示すQP＞QP'の場合は、α、βの増加傾向を強くして、より大きなブロックサイズの符号化を優先する。言い換えれば、閾値修正器24は、二つの量子化ステップQPとQP'が発生符号量の抑制傾向を示す場合、閾値α、βを増加して、予測ブロックサイズをより大きいサイズに誘導する。

以下、本発明にかかる実施例3の画像処理を説明する。なお、実施例3において、実施例1、2と略同様の構成については、同一符号を付して、その詳細説明を省略する。

［イントラ予測部］
図14は実施例3のイントラ予測部110の構成例を示すブロック図である。図4に示す構成と異なるのは、測定器12がレート制御部115から現フレームの予測符号量と、前フレームの発生符号量を入力する点である。

●測定器
図15は測定器12の構成例を示すブロック図である。

閾値修正器25は、現フレームの予測符号量と、前フレームの発生符号量から閾値α、βを修正する。

［イントラ予測部の動作］
イントラ予測部110全体の動作は、ステップS10で現画像と閾値α、β、γ以外に予測符号量と発生符号量を入力する点を除けば、実施例1（図6）と同様なので、その詳細説明を省略する。また、測定器12の動作は、ステップS100で予測符号量と発生符号量によって閾値α、βを修正する点を除けば、実施例1（図7）と同様なので、その詳細説明を省略する。

●閾値の修正
閾値修正器25は、式(3)により、閾値α、βを修正する(S100)。
α = α×(1 + R/R')
β = β×(1 + R/R') …(3)
ここで、R'は前フレームの発生符号量
Rは現フレームの予測符号量

なお、予測符号量Rの単位が1フレームの符号量で、かつ、発生符号量R'が現ブロックの符号化済みブロックの発生符号量の累積値の場合、予測符号量Rを、現フレームの符号化済みブロック数に換算する。
R = R×Ne/Na …(4)
ここで、Neはフレーム内の符号化済みブロック数
Naはフレーム内の全ブロック数

つまり、式(3)によって閾値α、βは増加する。従って、動画像の符号化が進むに連れて、4×4よりは8×8、8×8よりは16×16のブロックサイズが選択され易くなり、より大きなブロックサイズで符号化することにより、発生符号量が抑制される。とくに、発生符号量が減少傾向を示すR＜R'の場合に比べて、発生符号量が増加傾向を示すR＞R'の場合は、α、βの増加傾向を強くして、より大きなブロックサイズの符号化を優先する。言い換えれば、閾値修正器25は、予測符号量Rと発生符号量R'が符号量の増加傾向を示す場合、閾値α、βを増加して、予測ブロックサイズをより大きいサイズに誘導する。

［変形例］
上記の各実施例では、ブロックサイズを三種類とする例を説明したが、ブロックサイズを限定して、4×4を除く8×8と16×16を処理対象としてもよいし、あるいは、8×8を除く4×4と16×16を処理対象としてもよい。

また、図8のステップS206、S207、図9のステップS306、S307には、水平重視の予測モード1、6、8、3、4を対象とする例を示したが、簡略化のために、予測モード1、6、7のみにしてもよい。同様に、図8のステップS208、S209、図9のステップS308、S309には、垂直重視の予測モード0、5、7、3、4を対象とする例を示したが、簡略化のために、予測モード1、6、7のみにしてもよい。

［他の実施例］
なお、本発明は、複数の機器（例えばコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置、制御装置など）に適用してもよい。

また、本発明の目的は、上記実施例の機能を実現するコンピュータプログラムを記録した記憶媒体をシステムまたは装置に供給し、そのシステムまたは装置のコンピュータ（CPUやMPU）が前記コンピュータプログラムを実行することでも達成される。この場合、記憶媒体から読み出されたソフトウェア自体が上記実施例の機能を実現することになり、そのコンピュータプログラムと、そのコンピュータプログラムを記憶する、コンピュータが読み取り可能な記憶媒体は本発明を構成する。

また、前記コンピュータプログラムの実行により上記機能が実現されるだけではない。つまり、そのコンピュータプログラムの指示により、コンピュータ上で稼働するオペレーティングシステム(OS)および/または第一、第二、第三、…のプログラムなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。

また、前記コンピュータプログラムがコンピュータに接続された機能拡張カードやユニットなどのデバイスのメモリに書き込まれていてもよい。つまり、そのコンピュータプログラムの指示により、第一、第二、第三、…のデバイスのCPUなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。

本発明を前記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応または関連するコンピュータプログラムが格納される。

イントラ予測モードを説明する図、イントラ予測モードを説明する図、実施例のH.264方式のエンコーダの構成例を示すブロック図、イントラ予測部の構成例を示すブロック図、測定器の構成例を示すブロック図、イントラ予測部の動作を説明するフローチャート、測定器の動作を説明するフローチャート、 4×4予測モード判定器の動作を説明するフローチャート、 8×8予測モード判定器の動作を説明するフローチャート、 16×16予測モード判定器の動作を説明するフローチャート、エンコーダをコンピュータ装置で実現する例を説明するブロック図、実施例2のイントラ予測部の構成例を示すブロック図、測定器の構成例を示すブロック図、実施例3のイントラ予測部の構成例を示すブロック図、測定器の構成例を示すブロック図である。

Claims

動画像のフレームをブロック単位に符号化する画像処理装置であって、
符号化対象ブロックを、それぞれ所定数の画素からなり、互いにサイズが異なる複数サイズの複数のサブブロックに分割する分割手段と、
前記複数のサブブロックそれぞれについて画素値の総和を計算し、前記総和の分散値を計算して得た、前記複数サイズのサブブロックそれぞれの分散値に基づき、前記符号化対象ブロックをフレーム内符号化する場合の予測ブロックサイズを決定する決定手段と、
前記予測ブロックサイズより小さいサイズの前記サブブロックの分散値に基づき、前記符号化対象ブロックをフレーム内符号化する場合の予測モードを設定する設定手段とを有することを特徴とする画像処理装置。
さらに、前記設定された予測モードを用いて前記フレーム内符号化に使用する予測画像を生成する生成手段を有することを特徴とする請求項1に記載された画像処理装置。
前記設定手段は、画素の予測方向のうち重視する方向を判定する第一の判定手段、および、前記重視する方向に対応する予測モードの中から前記設定する予測モードを判定する第二の判定手段を有することを特徴とする請求項1または請求項2に記載された画像処理装置。
前記決定手段は、前記複数サイズのサブブロックのうち一部のサブブロックの分散値と所定の閾値の比較によって、前記予測ブロックサイズを決定することを特徴とする請求項1から請求項3の何れか一項に記載された画像処理装置。
前記決定手段は、前記符号化対象ブロックの第一の量子化ステップと、前フレームの前記符号化対象ブロックに対応するブロックの第二の量子化ステップを入力する入力手段、および、前記二つの量子化ステップによって前記閾値を修正する修正手段を有することを特徴とする請求項4に記載された画像処理装置。
前記修正手段は、前記第一の量子化ステップが前記第二の量子化ステップよりも大きい発生符号量の抑制傾向を示す場合、前記閾値を増加して、前記予測ブロックサイズをより大きいサイズに誘導することを特徴とする請求項5に記載された画像処理装置。
前記決定手段は、符号化対象のフレームの予測符号量と前フレームの発生符号量を入力する入力手段、および、前記予測符号量と前記発生符号量によって前記閾値を修正する修正手段を有することを特徴とする請求項4に記載された画像処理装置。
前記修正手段は、前記予測符号量が前記発生符号量よりも大きい符号量の増加傾向を示す場合、前記閾値を増加して、前記予測ブロックサイズをより大きいサイズに誘導することを特徴とする請求項7に記載された画像処理装置。
分割手段、決定手段、設定手段を有し、動画像のフレームをブロック単位に符号化する画像処理装置の画像処理方法であって、
前記分割手段が、符号化対象ブロックを、それぞれ所定数の画素からなり、互いにサイズが異なる複数サイズの複数のサブブロックに分割し、
前記決定手段が、前記複数のサブブロックそれぞれについて画素値の総和を計算し、前記総和の分散値を計算して得た、前記複数サイズのサブブロックそれぞれの分散値に基づき、前記符号化対象ブロックをフレーム内符号化する場合の予測ブロックサイズを決定し、
前記設定手段が、前記予測ブロックサイズより小さいサイズの前記サブブロックの分散値に基づき、前記符号化対象ブロックをフレーム内符号化する場合の予測モードを設定することを特徴とする画像処理方法。
コンピュータを請求項1から請求項8の何れか一項に記載された画像処理装置の各手段として機能させることを特徴とするプログラム。
請求項10に記載されたプログラムが記録されたことを特徴とするコンピュータが読み取り可能な記録媒体。