JP4690339B2 - 画像処理 - Google Patents

Description

本発明は画像処理に関する。

本発明によると、ピクチャエレメントがそれぞれ色値によって表されるデジタルでコード化された画像を処理する方法であって、複数の前記ピクチャエレメントのそれぞれについて、
（ａ）複数の比較を実行し、各比較が、検討中の前記ピクチャエレメントとその近接する少なくとも１つの追加のピクチャエレメントとを備える第１のピクチャエレメントグループを、ベースピクチャエレメントと少なくとも１つの追加のピクチャエレメントとを備える第２のピクチャエレメントグループと比較することを備え、前記第２のグループの中のピクチャエレメント数が前記第１のグループの中のピクチャエレメント数と同じであり、前記第２のグループの前記ベースピクチャエレメントを基準にした前記第２のグループの前記又は各追加のエレメントの前記位置が、前記検討中のピクチャエレメントを基準にした前記第１のグループの前記又はそれぞれの追加のエレメントの位置と同じであり、各比較が、前記２つのグループがそれらが類似基準を満たすという意味で一致するかどうかを判断することと、
（ｂ）少なくとも１つの比較が一致を生じさせるときに、前記検討中のピクチャエレメントの置換色値を計算し、前記置換色値は、一致が取得された前記又は各第２のグループの前記ベースピクチャエレメントの前記色値の関数であることと、
を備える方法が、提供される。

好ましくは、前記方法は、弁別性の基準を満たすピクチャエレメントを識別することと、前記弁別性の基準を満たさないピクチャエレメントだけの置換色値を計算することとを含む。

本発明の他の好ましい態様は請求項に定められている。

本発明のいくつかの実施形態は、添付図面を参照して例としてここに説明される。

図１は、本発明の第１の実施形態による画像分析を実行するようにプログラミングされた汎用コンピュータからなる装置を示す。それは、中央演算処理装置２が接続されているバス１と、視覚表示装置３と、キーボード４と、画像の入力のためのスキャナ５（又は他の入力装置、図示せず）と、メモリ６とを有する。

メモリ６の中に記憶されているのは、オペレーティングシステム６０１と、画像分析を実行するためのプログラム６０２と、処理される画像と処理された画像をそれぞれ記憶するための記憶領域６０３、６０４である。各画像は値の二次元アレイとして記憶され、各値は前記アレイの中のピクチャエレメントの輝度及び／又は色を表す。

本発明の第１の実施形態では、プログラム６０２は図２のフローチャートに示されているように動作するように構成されている。処理される画像は、ピクセルの位置が、（ｘ_１，ｘ_２）等のデカルト座標で、あるいは例えばｘ＝（ｘ_１，ｘ_２）等の（太字の）ベクトルとして表されるピクセルのアレイ［Ｃ］として記憶されている。ｘでのピクセルの色は、３つの成分からなるベクトルＣ（ｘ）として記憶されている。これらの例では、ｒ、ｇ、ｂ成分が使用されているが、他の色空間が利用できるであろう。白黒システムでは、Ｃはただ１つの（輝度）成分だけを有するであろう。このプロセスの結果は、類似するアレイＣ_ＯＵＴに記憶されなければならない。

前記プロセスは反復的であり、１つのピクセルｘで始まり他のピクセルごとに繰り返す（これが実行される順序は重要ではない）ことを簡単に示すステップ１００で開始し、すべてが処理されるとステップ１０２でループを終了する。しかしながら、すべてのピクセルを処理することは必須ではない。つまり、いくつかは、ここで説明される理由から意図的に排除されてもよい。

ステップ１０４では、比較カウントＩがゼロに設定され、一致カウントＭが１に設定され、色ベクトルＶがｘでの色に設定される。Ｖは、例えば（ｒ、ｇ、ｂ）等に利用される色空間に従って値を取る３つの成分を有する。

ステップ１０６：ｘ’_ｉ＝（ｘ’_ｉ１、ｘ’_ｉ２）ｉ＝１，．．．ｎでのｎ個（通常は３個）のランダムピクセルがｘの近傍で選択され、ここで、
ｊ＝１，２であれば、

であり、ｒ_ｊが矩形近傍（又はｒ_１＝ｒ２＝ｒでの正方形の近傍）のサイズを定義する。ｒ_ｊの典型的な値は６４０ｘ４１６画像の場合２であろう。

ステップ１０８：ｙ＝（ｙ_１，ｙ_２）でのピクセルは次に画像の中のどこか他の場所で無作為に選択され、（ステップ１１０）比較カウントＩが増分される。このピクセルは、エッジ効果を回避するために画像境界から≧ｒ_ｊであるように選択される。所望される場合には、ｙの選択はｘから特定の最大距離内になるように制限できるであろう。ステップ１１２でＩの値が閾値Ｌ（通常の値は１０から１００）の値を超えない場合には、ｘとｙの近傍の間の一致についての試験が実行される。

ステップ１１４：ｘでのピクセルの色をＣ（ｘ）＝（Ｃ_１（ｘ），Ｃ_２（ｘ）、Ｃ_３（ｘ））＝（ｒ_ｘ，ｇ_ｘ，ｂ_ｘ）とさせる。

次に、近傍は、ピクセルｘ、ｘ’_ｉのそれぞれ（つまり検討中の前記ピクセルとそのｎ個の近傍ピクセル）が、ｙ、ｙ’_ｉでの対応するピクセルと一致する場合に一致し、その場合、ｙを基準にしたｙ’_ｉの位置はｘを基準にしたｘ’_ｉの位置と同じである。すなわち、
ｉ＝１，．．．，ｎであれば、ｘ−ｘ’_ｉ＝ｙ−ｙ’_ｉであり、
この場合、ｘとｙでのピクセルは、
ｊ＝１，２，３の場合に

であり、
ｘ’_ｉとｙ’_ｉについて同様に、
ｊ＝１，２，３かつｉ＝１，．．．ｎの場合に

であるならば、一致するとみなされる。

この場合ｄ_ｊは、色成分ｊがピクセル不一致を構成するほど十分に異なっているかどうかを判断する閾値である。後述される試験では、色成分は０から２５５のスケールで表され、ｄ_ｊ＝８０の単一の値が使用された。一般的には、ｄ_ｊはｘに依存してよい。例えば、これらの領域でｄ_ｊを増加することによって、さらに暗い領域に与えられる強調が少なくなるように、注意をモデル化することが好ましい場合がある。

一致が検出されたら、ステップ１１６でカウンタＭは増分され、ｙでの色成分の値がＶに加算される。

Ｖ＝Ｖ＋Ｃ（ｙ）
一致に続き、プロセスはｎ個のランダムピクセルを含むｘの周りに新たな近傍を選択するステップ１０６に戻るのに対し、一致が検出されない場合には、プロセスはピクセル近傍を変更せずに新しいｙを選択するためにステップ１０８に戻る。

ステップ１１２でＩの値が閾値Ｌを超える場合には、変換された画像の中のｘ＝（ｘ_１、ｘ_２）でのピクセルの色が指定され（ステップ１１８）、Ｍ個のピクセルの色の平均値が、一致する近傍、つまり
Ｃ_ＯＵＴ（ｘ）＝Ｖ／Ｍ
を有することが判明した。

このプロセスは、画像中のすべてのピクセルが処理されるまでステップ１００から繰り返される。結果として生じる変換された画像は、はるかに削減された色の広がりを有するが、アルゴリズムの無作為な性質から生じる小さなレベルの雑音も含む。この雑音は標準的な平滑化アルゴリズムを適用することによって単に除去できる（ステップ１２０）。この実施形態では、ピクセルには取り囲む３×３ウィンドウの中のピクセルの平均的な色が割り当てられる。

図２に示されているアルゴリズムはすべてのピクセルｘを処理し、近傍が画像の残りの部分に非常に似ていないため、一致が検出されないピクセルのケースを除きすべては、それらの色を改変されるであろう。前記プロセスが必ず情報の損失を含むという点で、画像の重要な部分を識別し、これらを除外することが好ましい。したがって、図３の実施形態はフィルタリングプロセスから重要な領域を除外する。図３では、図２のステップに同一であるステップに、同じ参照符号が付けられている。

プロセスはステップ１３０で開始し、本発明者らの国際特許出願ＷＯ０１／６１６４８号（米国第２００２００８０１３３号としても公開されている）の中で説明されている方法を使用して、注意スコアのアレイＳｃｏｒｅｓ（ｘ_１，ｘ_２）からなる特徴（ｓａｌｉｅｎｃｙ）マップが作成される。その性能はこの応用例に必ずしも最もよく適していない可能性があるが、特徴マップを作成する他の方法も使用されてよい。例えば、Ｌ Ｉｔｔｉ、Ｃ Ｋｏｃｈ、及びＥ Ｎｉｅｂｕｒ「高速場面分析のための特徴に基づいた視覚的な注意のモデル（Ａ ｍｏｄｅｌ ｏｆ ｓａｌｉｅｎｃｙ−ｂａｓｅｄ ｖｉｓｕａｌ ａｔｔｅｎｔｉｏｎ ｆｏｒ ｒａｐｉｄ ｓｃｅｎｅ ａｎａｌｙｓｉｓ）」、ＩＥＥＥ ＰＡＭＩに関する報告書、第２０巻、第１１号、１２５４ページから１２５９ページ、１９９８年１１月、Ｗ Ｏｓｂｅｒｇｅｒ及びＡ Ｊ Ｍａｅｄｅｒ「画像中の知覚的に重要な領域の自動識別（Ａｕｔｏｍａｔｉｃ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｏｆ ｐｅｒｃｅｐｔｕａｌｌｙ ｉｍｐｏｒｔａｎｔ ｒｅｇｉｏｎｓ ｉｎ ａｎ ｉｍａｇｅ）」、会議録（Ｐｒｏｃ）、パターン認識に関する第１４回ＩＥＥＥ国際会議、７０１−７０４ページ、１９９８年８月、及びＷ Ｏｓｂｅｒｇｅｒ、米国特許出願番号第２００２／０１２６８９１号「視覚注意モデル（Ｖｉｓｕａｌ Ａｔｔｅｎｔｉｏｎ Ｍｏｄｅｌ）」、２００２年９月１２日を参照。ｘ＝（ｘ_１，ｘ_２）で各ピクセルに、又は画像の中のピクセルのサブセットに割り当てられるＳｃｏｒｅｓ（ｘ_１，ｘ_２）の値は、そのロケーションでの注意のレベルを反映する。

値は、Ｓｃｏｒｅｓ（ｘ_１，ｘ_２）に閾値を設定し、

の場合に、ｘでのピクセルの色が変換されなければならないのかどうかを判断する変数Ｔ、通常は０．９に与えられる。しかしながら、その内のいくらかがｘに依存することがある閾値の値を計算する他の手段が使用されてよい。

ステップ１３２でＳｃｏｒｅｓ（ｘ_１，ｘ_２）の値が閾値より大きい場合には、ｘでのオリジナル画像の中のピクセルは、ステップ１３４で、変換された画像アレイＣ_ＯＵＴ（ｘ_１，ｘ_２）に未変更でコピーされる。このピクセルは画像の中の高い注目の点を表し、このプロセスによって改変されない。

プロセスの残りは前述されたとおりである。しかしながら、平滑化アルゴリズムの中の１３２での試験のために色値は、注目スコアが閾値の値未満であるピクセルについてだけ、平滑化された値で置換される。

注目スコアが事前に計算されていない別の実施形態は図４に示されている。代わりに、ステップ１１２では、比較カウントＩが閾値Ｌを超えると、試験は、一致カウントＭが閾値ｍｔより大きいかどうかを判断するためにステップ１５０で実行される。大きい場合には、前述したように、変換された画像の中の（ｘ_１，ｘ_２）でのピクセルの色が与えられ、ステップ１１８で、Ｍ個のピクセルの色の平均値が、一致する近傍つまりＶ／Ｍを有することが判明する。

しかしながら、Ｍがｍｔ未満である又はｍｔに等しい場合には、ｘでのオリジナル画像の中のピクセルが、ステップ１５２で、変換された画像アレイＣ_ＯＵＴ（ｘ_１，ｘ_２）に未変更のままコピーされる。これは、高い注目の領域を表すピクセルは、Ｍの低い値だけがこれらの画像領域内で取得されるために、改変される可能性は低いことを意味する。

画像に適用されるフィルタリングの程度は、閾値ｄ_ｊの値を選択することにより制御されてよい。代わりに、又はさらに、フィルタリングプロセスは、所望される場合は、３つすべてのバージョンでステップ１７０に示されているように反復できる。（図４のケースにおいて）オリジナルの注目スコアＳｃｏｒｅｓ（ｘ_１，ｘ_２）を保持しながら変換された画像は再ロードされてよく、プロセス全体は、連続変換及び背景情報のさらに大きな抑制を取得するために繰り返されてよい。

無作為選択が要求される場合、代わりに擬似乱数選択が使用されてよいことに留意されたい。

いったんフィルタリングが完了すると、変換された画像は、ステップ１８０に示されているように、所望される場合にはＪＰＥＧフォーマット（又は任意の他の圧縮アルゴリズム）で符号化されてよい。重要性が低い領域に含まれている情報の削減により、オリジナル画像においてより、さらに高い圧縮効率を達成できるようになる。

図４のアルゴリズムをフットボールソースに適用した結果が図５に示されており、左から右にオリジナル画像（ＧＩＦフォーマット）、ＪＰＥＧコード化後の画像、及びＪＰＥＧ ＣＯＤＩＮＧが後に続くフィルタリングの後の画像を示している。範囲１から１００の色相値の分散のヒストグラムも示されている。フィルタリングにより圧縮画像ファイルのサイズが１３７１９バイトから１０８５３バイトに削減されることが分かる。

通常、ピクセル色置換及び平滑化の２つの反復が十分であるが、これは必要とされる色削減に応じて拡大できる。

図６は、ボートと山の輪郭等の画像の重要な特徴を保存しながら、背景情報を実質的にどのようにして除去してよいかを図解する。オリジナルのＪＰＥＧ符号化（図６ａ）は、変換されたバージョン（図６ｂ）を一度処理し、ＪＰＥＧ符号化した後に１０１５８バイトに削減される１３３６１バイトを占有する。出力画像は同じＶＡスコアを使用して再処理され、８８８１バイトというファイルサイズを取得する（図６ｃ）。追加の反復は８３１７バイトというサイズを取得する（図６ｄ）。

この方法は、（ＪＰＥＧ遮断効果等の）アーチファクトを含む画像に有利に適用されてよい。背景領域に対する色の再割り当ては、通常それらの周囲になんらかの類似性を有するアーチファクトを除去する傾向がある（オリジナルの画像が左側に示され、この方法による処理及びＪＰＥＧを使用する以後の再コード化の後に取得される画像が右側に示されている、図７を参照されたい）。しかしながら、非常に目障りで、主要な対象の素材を妨げるアーチファクトは除去されないであろう。

前記方法をさらに適用すると、認知度を改善するために、図と地が強化されるか、あるいは背景の邪魔なものが除去される。この適用は、背景が一定の色でほぼ完全に置換され、犬の画像がはるかに鮮明である図８に描かれている。したがって、前記方法は、対象の素材の強化が写真家が自分の写真を組み立てることを支援する、カメラのデジタルファインダ内に表示される画像の処理に適用できるであろう。

本質的な視覚情報は、重要ではない領域内の色の変わりやすさを削減する一方で、変換された画像内に保持される。交渉する色境界がさらに少なくなり、形状輪郭がより明確になるために、変換された画像はそれにより、従来のアルゴリズムを使用して分割するのが、はるかに容易になる。これは、この方法が、画像をどのような目的であれ、別々の有意義な一様な領域に区分しようとする多くの従来のアルゴリズムの性能を強化することを意味する。

本発明者らが説明してきた実施形態においては、使用される置換色値は（実際、オリジナル値が含まれることは必須ではないが）オリジナル値と一致することが判明したすべてのピクセルのオリジナル値の平均である。実際問題としては、これは必ずしも画像中の異なる色値の数の削減を引き起こさないが、それにも関わらず、それにより色の変わりやすさは削減され、したがって、立証されたように、圧縮のための範囲は広がり、及び／又は画像中のアーチファクトの知覚は削減する。代わりに他の置換戦略が採用されてよい。例えば、平均を取得すると、置換は、平均が最も近い色のより限定された（つまり、より粗く量子化された）範囲のその平均であることが選ばれるであろう。あるいは、一致結果は、すべて同じ色値を割り当てられるであろうピクセルのグループを識別するために使用できるであろう。

これらの実施形態は、低レベルの分割アルゴリズムが、高い視覚的な注目に値する画像中の領域に適用されてはならないと仮定している。このような領域は当然特異であり、観察者にとって高密度の重要な情報を含んでいる。これは、これらの領域を分割しようとするあらゆる試みは、取り囲む領域又は有効に外挿できる画像中のどこか他の場所において、ほとんど又はまったく情報がないために、独断的である可能性が高いことを意味する。他方、より包括的である画像のより重要ではない部分は、きわめて原始的且つ低レベルのアルゴリズムを使用して変換できることは当然である。逆説的に言えば、画像の中の独特のオブジェクト端縁は高い注目を引くため、この手法において改変を受けない。実際、本物の画像の中のピクセルレベルでのオブジェクトの端縁は、きわめて複雑且つ多様性があり、それぞれのケースで正しい結果を確信するためには特に調整されたアルゴリズムを必要とするであろう。

本発明の第２の実施形態及び第３の実施形態は、変換されてはならない画像の中の視覚的に重要な領域を決定するために視覚注目アルゴリズムを利用する、色圧縮に対する手法を提供する。したがって、この手法は、領域アイデンティティを割り当てるプロセスが、最高密度の有意義な情報を通常保持する端縁を画定するという困難問題に対処する必要がないという、重要な利点を持っている。非注視（Ｎｏｎ−ａｔｔｅｎｔｉｖｅ）領域は、画像の他の多くの部分と特性を共用する領域を示す、同じＶＡアルゴリズムから導出されるパラメータに従って変換される。視覚注目アルゴリズムは特徴の事前選択に依存しないため、選択された特徴測定に最も適した画像のカテゴリに作用するために調整される傾向がある、特徴をベースにした標準的な方法よりも、大きな範囲の画像に適用される。変換を受ける領域内のピクセルには平均的な色が割り当てられ、圧縮の強化はＪＰＥＧ符号化又は任意の他の圧縮規格を通して取得される。圧縮は画像の最も注視されない領域に適用されるため、全体的な画像の知覚品質に影響を及ぼす可能性は低い。前記アルゴリズムは、さらに多くの背景の詳細を犠牲にして追加の圧縮を取得するために、変換された画像に反復して適用されてよい。

本発明を実行するための装置のブロック図である。 本発明の一実施形態による図１の装置により実行されるステップのフローチャートである。 本発明の第２の実施形態の類似したフローチャートである。 本発明の第３の実施形態の類似したフローチャートである。 いくつかのサンプル画像に関するこの処理の影響を図解する。 いくつかのサンプル画像に関するこの処理の影響を図解する。 いくつかのサンプル画像に関するこの処理の影響を図解する。 いくつかのサンプル画像に関するこの処理の影響を図解する。

Claims (9)

1. ピクチャエレメントがそれぞれ色値によって表現される、デジタルでコード化された画像を修正する方法であって、複数の前記ピクチャエレメントのそれぞれについて、
   （ａ）複数の比較を実行するステップを含み、
   各比較が、検討中の第１のピクチャエレメントと、前記第１のピクチャエレメントから所定距離内にある少なくとも１つの無作為に又は擬似乱数的に選択された追加のピクチャエレメントとを備える第１のピクチャエレメントグループを、無作為に又は擬似乱数的に選択された第２のピクチャエレメントと少なくとも１つの追加のピクチャエレメントとを備える第２のピクチャエレメントグループと比較することを含み、
   前記第２のピクチャエレメントグループの中のピクチャエレメントの数は前記第１のピクチャエレメントグループの中のピクチャエレメントの数と同じであり、
   前記第２のピクチャエレメントグループの前記第２のピクチャエレメントを基準にした、前記第２のピクチャエレメントグループの各追加のピクチャエレメントの位置は、検討中の前記第１のピクチャエレメントを基準にした、前記第１のピクチャエレメントグループのそれぞれの追加のピクチャエレメントの位置と同じであり、
   各比較が、前記第１と第２のピクチャエレメントグループが類似性の基準を満たすという意味で、前記第１と第２のピクチャエレメントグループが一致するかどうかを判断し、
   （ｂ）更に、少なくとも１つの比較の結果、比較された前記第１と第２のピクチャエレメントグループが一致している場合に、検討中の前記第１のピクチャエレメントの新たな色値を計算し、一致していない場合に、検討中の前記第１のピクチャエレメントの新たな色値を計算しないステップを含み、
   前記新たな色値が、一致が取得された各第２のピクチャエレメントグループの前記第２のピクチャエレメントに関する前記色値の平均であって、検討中の前記第１のピクチャエレメントの色値とされることによって、前記画像を修正する、
   方法。
2. 前記追加のピクチャエレメントは一致後に新たに選択される、請求項１に記載の方法。
3. 前記第２のピクチャエレメントグループの前記第２のピクチャエレメントの選択は、無作為に又は擬似乱数的に選択される、請求項１または請求項２に記載の方法。
4. 前記第２のピクチャエレメントグループの前記第２のピクチャエレメントの選択は、前記検討中の第１のピクチャエレメントの所定の距離範囲内にあるピクチャエレメントから、無作為に又は擬似乱数的に選択される、請求項１または請求項２に記載の方法。
5. 前記第２のピクチャエレメントグループの前記第２のピクチャエレメントは、比較ごとに新たに選択される、請求項１ないし請求項４のいずれか１項に記載の方法。
6. 前記画像は色画像であり、前記色値は３つの成分を有する、請求項１ないし請求項５のいずれか１項に記載の方法。
7. ピクチャエレメントの前記新たな色値は、その既存の色値の平均でもある、請求項１ないし請求項６のいずれか１項に記載の方法。
8. 前記新たな色値は、前記検討中の第１のピクチャエレメントの前記色値と、一致が取得された各第２のピクチャエレメントグループの前記第２のピクチャエレメントの前記色値との平均である、請求項７に記載の方法。
9. 前記新たな色値は、前記検討中の第１のピクチャエレメントの前記色値と、一致が取得された各第２のピクチャエレメントグループの前記第２のピクチャエレメントの前記色値との平均に、最も近い色値の所定の集合の新たな色値である、請求項７に記載の方法。

Images