JP5337818B2 - 画像処理方法および装置 - Google Patents

Description

本発明は、取得画像の画質を改善するための画像処理方法および装置に関する。

特性を改善するために画像にフィルターを適用することが良く知られている。

US 7,072,525, Covellは、視覚画像のオリジナルバージョンを処理して生成する視覚画像の対象バージョンをフィルタリングするための適用フィルターや、視覚画像のオリジナルバージョンの１以上の特性にしたがって定める適用フィルターの特性が開示されている。
適用フィルターのフィルタリングにおける方向および／または強度は、オリジナル画像の部分的な特性に基づいて調整され、そして、それは画像における端の交差部が不鮮明になるのをなくすための適用フィルターを有効にする。

US 6,823,086, Dolazzaは、画像に関連するノイズ成分を減らために画像を順にフィルタリングするシステムを開示している。そのシステムは、画像に関連した画像パラメータを決める画像分析器も含む。システムは、画像シーケンスをフィルタリングするために、画像パラメータに対応する調整点を有する特別なフィルターも含む。システムが実時間においてフィルター画像を生成するように画像パラメータの機能、フィルターしていない画像の機能、外部ルール、所定の制限、またはそれらの組み合わせとしてフィルターの要点を画像分析器が操作する。特別なフィルターは、時間の不変セクションおよび調整可能なセクションを含む。時間の不変区分は、複数の異なるフィルター出力を生成するように、画像（異なる周波数応答を有するフィルター）に複数のフィルターを適用する。適用セクションは、複数の計測したフィルター出力を生成する異なる重み値に対応して、各複数の異なるフィルター出力を計り、そして合成フィルター出力を生成するために複数の計測したフィルター出力を合成する。

CovellとDolazzaには、いくつかの２−Ｄローパスフィルター（それぞれが異なる周波数応答を有するもの）が、画像に適用され、その出力には合成フィルター出力を生成するために重みを付ける。
コンファメーションコピー

US7,072,525およびUS6,823,086の複雑なものは高い。これらの特許は、適用フィルターの動作を決めるために画像分析器や他の画像を必要とする。例えば、少なくとも１つはオリジナル画像を横切り、そして対象画像を必要とする。

US6,335,990, Chenなどは、複雑なビデオおよび適用フレーム間における動作により変化するフィルタリング係数で、単一ステップにおける一時的な領域およひ空間においてフィルタリングすることが開示されている。フィルターは、IIRフィルター、閾値ユニット、および係数記録器を含む。IIRフィルターおよび閾値ユニットは、ビデオデータを受け取るように接続している。IIRフィルターには、係数記録器および閾値ユニットにも接続している。IIRフィルターは、係数記録器から係数を受け取り、受け取ったビデオデータをフィルターしてそれらを用いる。IIRフィルターは、単一のステップにおいて垂直、水平および一時的な次元におけるデータをフィルターする。IIRフィルターによるフィルターしたデータの出力は、閾値ユニットに送られる。閾値ユニットは、係数記録器から閾値まで、フィルターデータと生ビデオデータとの間で異なる絶対値を比較し、次に生ビデオデータまたはフィルターデータのいずれかを出力する。

Chenは、IIRフィルターと閾値ユニットを用い、生ビデオデータまたはフィルターデータを出力する。そのようにIIRフィルターが、前の出力およびピクセル値を操作する。

図1に関し、US 2004/0213478、Chesnokovは、調整した出力信号を作るための入力信号処理ステップを含む画像処理方法であり、画像の異なる位置（x,y）としての彩度値Ｉ（x,y）は、以下の式により調整した彩度値Ｉ’(x,y)を生成するために調整する。

ここで、Ｐ_i(γ)は、０＜γ＜１の範囲で定義されるγ機能の直交成分；Ｑ_i(.)は、P_i(.)の反対の導関数であり、
または、それらに近い；LPF_Ω[.]は、ローパス空間の操作であり；Ω_iは、ローパスフィルターの遮断周波数となり；F(.)は、重み機能である；0＜α＜1。

重み関数Ｆ（.）の出力は、ピクセル値が高くなるにつれて単調に減少する。フィルターシーケンスの出力から戻り、その方法は画像から他の情報を受け取ることができる。例えば、増幅要素は、線形または対数の乗算に加え、積算画像を用いたプレビューから算出される。Chesnokovにおいて、重要な処理ステップが、入力信号に適用され、非常に複雑な方法を作り、出力画像がオリジナル画像と処理画像を合わせた重みとなる。

本発明によれば、請求項１による画像処理方法を提供する。

本発明は、画質を改善するIIRフィルター、プロセッサ資源の有効利用および単一の画像を使ったワンパス画像技術を提供する。

本発明の第１の実施例は、画像の前景／背景において不均一な輝度の自動補正を提供する。この実行により、特に背景が前景よりも明るかったり／または暗かったりする場合に画質を改善する。

第１実施例の好ましい実施は、赤、緑および青チャンネルの平均評価を提供するが、他の再帰形フィルターが、各カラー平面のピクセル値または彩度値に反比例する要素を有するタームをフィルターする。その出力は、カラーチャンネルによる１以上の補正タームで増え、好ましくは２つの閾値により制限される。向上したピクセル値は、線形または対数モデルを用いて取得する。

実施例を用いると、前景／背景において不均一な輝度の自動補正だけでなせ、色の増加も得られる。

第１実施例では、各カラーチャンネルの平均値は、比較目的としては使えず、処理したピクセルにおける平均ウィンドウの端をスライドして置き換えることができる。どの場合でも、これらの平均値は、赤や青チャンネルの増幅を超えないように順に用いられる補正タームを決めるために用いられる。先行技術とは異なり、適用フィルターを使うよりは、IIRフィルター係数を固定する。そのような本方法は、画像上で単一のパスを必要とし、１つのフィルターの出力が、他のフィルターの入力として用いられることはない。

本発明の実施例について、添付図面を参照し、一例として説明する。
先行技術の画像処理システムのブロック図である。 本発明の実施例による画像処理システムのブロック図である。

好ましい実施形態

図２に関し、取得画像Ｇに対しては、本発明によるフィルタリングが与えられる。本実施例は、RGB空間で画像を処理することに関して説明するが、本発明は、輝度チャンネルだけ、または他のカラー空間に適用することができる。

単一の入力画像Ｇが用いられ、各カラーチャンネルにおける動作平均は、各ピクセル値が読み込まれたときに２０で計算される。そのため、各平面k=1…3の各ピクセルG(i,j,k)として、次の計算をする。

ここで、βは０から１までの間の係数である。

他の変形は、各カラーチャンネルにおいて、ピクセルG(i,j,k)の周囲の2N+1ピクセル値の積算を算出して、2N+1で割る。

好ましくは、補正タームγ_Rとγ_Bの値が選択した区間内に制限される（例えば、0.95から1.05まで、γ_Rとγ_Bのいずれかの値が0.95よりも小さければ、それらの値を0.95に設定する；γ_Rとγ_Bのいずれかの値が1.05以上であれば、それらの値を1.05に設定する）。これにより、さらなる処理において赤および青チャンネルの過度の増幅を防ぐ。

移動平均値の生成に応じて、ピクセルが行または列およびカラー平面Ｇ（i,j,k）の各ピクセルとして解析され、係数H(i,j)は、以下のように計算する。

図２で、この処理は、ステップ30に割り込む。

再帰形フィルター、ステップ40は以下である：

ここで、aは、1よりも小さい正の数である(例えばa=0.125)。
αは、対応する再帰形フィルタリングの極であり、例えば、αは、0.05から0.8までの間の値とすることができる。

δとの比較は、ゼロで割るのを避けるためと、暗いピクセル（例、δ=15）を増幅するために用いられる。初期値H(1,1)は、１から２までの間の値とすることができる。

このフィルターを用い、暗い領域は、反対値の平均化により明るい領域よりも増幅する。したがって、前景／背景において不均一な輝度が自動補正される。

再帰形フィルターＨが、ピクセル値をフィルターしないことは上記から分かる。例えば、a=α=1/8とδ=15であれば、フィルター30/40が、実際のピクセル値G(i,j,k)および画像の先行する値により１から３までの間で変わる一連の数をフィルタリングする。フィルター40は、ピクセル値G(i,j,k)を入力として単に用いれば、輝度補正のない単純なローパスフィルター画像を生成する。

実施例の１つの実施において、変更されたピクセル値G₁(i,j,k)が、フィルターパラメーターＨおよび補正タームγ_R,γ_Bの線形合成、ステップ５０により与えられる。

１以上の線形モデルの複雑な代案は、対数モデルである。実装のように、向上したカラー平面（R/G/Bカラー平面）に対応する出力ピクセルG₁(i,j,k)は以下である。

ここで、Ｄは、最大の許容値である（例えば、8ビットの画像表示なら255）；そして、εは１から３までの間の定数値である。

上式の例は、Ｄよりも小さい値だけが得られることを示す。この実施では、色の度合いや明るさの増大が、極性値（α）や対数モデル要素（ε）を変えることで得られる。

計算は、ＹＣＣまたはその他のカラー空間に適用することができる。例えば、図２の実施例でＹＣＣカラー空間を用いると、補正タームγ_R,γ_Bを計算する必要はないし、対数モデルを使うと、Ｙチャンネルとしてε=1となる。Ｙチャンネルとしての反転機能は、その結果、次のようになる。

線形モデルは、輝度チャンネルに適用し、対数モデルは、輝度チャンネルで計算された係数Ｈ（i,j）を用いるクロミナンスチャンネルで用いることができる。

このアプローチによれば、コンピュータの節約につながり、新しいクロミネンス値を計算するとき、εとして異なる正の数（例、ε=0.9）を用いて彩度を調整することができる。向上した画像の輝度は、正因子εでＹチャンネルを積算することにより変更でき、その正因子εの値は、クロミネンスチャンネルで用いるεの値と異なることができる。

本発明の第２実施例において、図２の処理構造は、画像をはっきりさせるのに用いることができる。

この実施例において、好ましくは、ＹＣＣフォーマットの画像を用い、その処理は、Ｙチャンネルのみで実行される。次のピクセル値および現在のピクセル値の比率は、算出され、１つの極性IIRフィルター（例、α=1/16）でフィルター処理される、ステップ４０。この動作は、連続的または個別に行または列において実行することができる。最初のＨ係数は、１に設定され、i行の動作において

ここで、αはIIRフィルターの極性である。

再び、この処理は、ステップ３０で分解することができる。

再帰形フィルターは以下のものである、ステップ４０。

再び、δとの比較は、ゼロで割るのを避けるために用いられる（δは、普通は１に設定される）。Ｈ（i,j）は、オリジナル画像の現在のピクセル位置(i,j)に対応する係数である。最初の係数は、第１行の始めまたは各行の始めにおいて１に設定することができる。第１の場合において、第１行の終わりで計算した係数は、次の行の第１ピクセルに対応する係数を計算するのに用いる。

向上したピクセル値Y₁ (i,j)は、以下の式で求める。

ε(i,j)は、一定のゲイン要素またはＨ係数による可変のゲインとなることができる。ε(i,j)としての他の代替手段は、連続したピクセルの差または一連のピクセル値の比率を用いる。
例えば、連続したピクセル間の差が小さい場合（または、連続したピクセル値の比率が１に近づくと）、ピクセルがスムース領域に位置しているので、ε(i,j)の値は小さくすべきである。差が大きいと（または、比率が１よりも非常に高かったり、または低かったりすると）、ピクセルが端に位置している可能性があり、そうすると、ε(i,j)の値は、オーバーシューティングまたはアンダーシューティングの問題を避けるために、ゼロに近づけるべきである。中間値としては、ゲイン機能は、０からゲインを選択する最大値までの間で変更すべきである。これらの要求によるε(i,j)の例は、レーリー分布である。

いくつかの実施において、変数ε(i,j)を選択するとき、連続したピクセル間の絶対差は、限定された整数値を有しているため、参照テーブル(LUT)を用いることができる。

この方法は、高度に並列化されており、この複雑さはとても低い。複数のＬＵＴが用いられ、いくつかの乗算がシフトして置き換われば、複雑さをさらに低減することができる。

さらには、この第２実施例は、ＲＧＢ空間において画像にも適用することができる。

第２実施例は、各個別のビデオフレームをはっきりさせるか、識別されてわずかにぶれた複数のフレームをはっきりさせるかのいずれかにより、ビデオフレームをはっきりさせることに適用することができる。

各実施例において、ピクセルは、行や列だけではなく、空間充填曲線（例、Hibert曲線）を用いて説明することができる。補正画像は、連続する移動点を介して、ピクセル毎に連続した補正画像とみなすことができる。

第２実施例における画像を鮮明化する画像処理は、独立に実行するいずれかの方法よりも優れた特性でフィルター画像を提供するために第１実施例の輝度補正後に適用することができる。

実際にいずれかの方法は、ＰＣＴ出願No. PCT/EP2007/009939 (Ref: FN204PCT)に記載された処理による例として必要とする他の画像処理方法と結合して適用することができる。

Claims (11)

1. 画像を取得し、
   プロセッサを使用し、
   前記画像上の単一パスにおいて、取得画像を構成する各ピクセル値G(i,j,k)（赤（R,k=1）、緑(G,k=2)、青(B,k=3)のカラー平面のピクセル値）を解析し、
   ＲＧＢカラー平面において、前記解析した各ピクセル値（G(i,j,k)）に反転機能を適用し、次のようなピクセル値（ｆ（Ｇ（i,j,k）,a,δ））を算出し、
   aは、１よりも小さい正の値であり、
   δは、ゼロで割るのを避けるようにして暗いピクセルを増幅するのに用いられる値であり、
   前記反転機能を適用したピクセル値（ｆ（Ｇ（i,j,k）,a,δ））に対して再帰形フィルターを適用し、次のような第１の再帰型フィルターのパラメータＨ（i,j）を算出し、
   αは、IIRフィルターの極性値であり、
   前記第１の再帰型フィルターのパラメータＨ（i,j）で前記ピクセル値G(i,j,k)を合成して、処理画像に関するピクセル値Ｇ_１(i,j,k)を算出し、
   前記合成は、前記反転機能を適用したピクセル値に対して、補正タームγ _R ,γ _B 、および前記第１の再帰形フィルターのパラメータを乗算して、前記処理画像に対する前記ピクセル値を得ることを含み、
   前記補正タームγ _R ,γ _B は、前記赤および前記青のカラー平面のそれぞれの補正タームであり、以下のように算出され、
   aは、1よりも小さい正の値である、
   赤、緑、青のカラーチャンネルにおける平均評価値を算出し、
   βは、0から1までの間の係数である、
   ことを特徴とする画像処理方法。
2. 請求項１に記載の方法であって、前記ピクセル値Ｇ_１(i,j,k)は、前記ピクセル値（G(i,j,k)）および前記第１の再帰型フィルターのパラメータＨ（i,j）を用いて、線形モデルによる合成、対数モデルによる合成、またはそれらの両方による合成により算出する画像処理方法。
   前記線形モデルによる合成は、
   であり、
   前記対数モデルによる合成は、
   であり、
   γ_R、γ_Bは、前記赤および前記青のカラー平面のそれぞれの補正タームであり、
   Ｄは、最大許容ピクセル値であり、
   εは、１から３までの定数である。
3. 請求項１に記載の方法であって、前記解析した各ピクセル値（G(i,j,k)）に反転機能を適用するとき、
   次のような前記ピクセル値（ｆ（Ｇ（i,j,k）,a,δ））を算出する代わりに、
   ＹＣＣカラー空間において、次のようなピクセル値（ｆ（Ｙ（i,j），a,δ））を算出することを特徴とする画像処理方法。
   Ｙ（i,j）は、取得画像を構成する各ピクセルの輝度値であり、
   aは、１よりも小さい正の値であり、
   δは、ゼロで割るのを避けるようにして暗いピクセルを増幅するのに用いられる値である。
4. 請求項１に記載の方法であって、前記合成は以下の線形モデルによる合成を含むことを特徴とする画像処理方法。
   γ_R,γ_Bは、前記赤および前記青のカラー平面のそれぞれの補正タームであり、
   H(i,j)は、前記第１の再帰形フィルターのパラメータであり、
   G(i,j,k)は、赤（R,k=1）、緑(G,k=2)、青(B,k=3)のカラー平面、またはそれらの組み合わせにおけるピクセル値である。
5. 請求項１に記載の方法であって、前記合成は、以下の対数モデルによる合成を含むことを特徴とする画像処理方法。
   γ_R,γ_Bは、前記赤および前記青のカラー平面のそれぞれの補正タームであり、
   H(i,j)は、前記第１の再帰形フィルターのパラメータであり、
   G(i,j,k)は、赤（R,k=1）、緑(G,k=2)、青(B,k=3)のカラー平面、またはそれらの組み合わせにおけるピクセル値であり、
   Ｄは、最大許容ピクセル値であり、
   εは、１から３までの定数である。
6. 請求項１に記載の方法であって、前記画像は、ＹＣＣフォーマットであり、前記再帰形フィルターのパラメータH(i,j)は、以下のものを含むことを特徴とする画像処理方法。
   αは、IIRフィルターの極性であり、
   Y(i,j)は、取得画像を構成する各ピクセルの輝度値であり、
   f(Y(i,j))は、前記反転機能である。
7. 前記合成は、輝度チャンネルに対する線形モデルおよびクロミネンスチャンネルに対する対数モデルの適用を含むことを特徴とする請求項２に記載の画像処理方法。
8. ＩＩＲフィルターの極性値αまたは対数モデルにおける定数εの値を変えることにより、色の度合い、輝度の増加、または、その両方を変えることを特徴とする請求項２に記載の画像処理方法。
9. 新しいクロミネンス値を計算する際に、前記対数モデルのパラメータを調整することにより、彩度を調整することを特徴とする請求項２に記載の画像処理方法。
10. 前記対数モデルにおける定数εでＹ（i,ｊ）を積算して調整することで、向上した画像の輝度を変えることを特徴とする請求項２に記載の画像処理方法。
11. 請求項１乃至１０のいずれかに記載の画像処理方法を実行するために、プロセッサにプログラミングさせるためのコードが格納された１以上のコンピュータの読み取り可能な媒体。