JP4713572B2 - カラーデジタル画像におけるハンギングワイヤの検出 - Google Patents

Description

本発明は、デジタル画像処理全般に関し、より詳細には画像における空の検出に関する。

空は、写真画像で頻繁に見られる最も重要な内容である。デジタルカラー画像において、画素又は領域は、それがオリジナルシーンにおける空の領域に対応する場合に空を表す。本質的に、画素又は領域は、それが地球の大気の画像である場合に空を表す。自然のシーンでは、多くのオブジェクトは、空の一部の光景を含む。これらのオブジェクトは、空を含むオブジェクト（sky occluding object）と呼ばれる。例は、ハンギングワイヤ（電気的なワイヤ、布又はライン）、航空機、蒸気圧の跡、テレフォンポール又は雲を含む。これらオブジェクトは、人間により造られ、自然の環境でのコンテクストから現れる。多くのアーティストは、いわゆる「アーティスティックライセンス」を使用し、自然のシーンをペイント又は描画するとき、空を含むオブジェクトを省略する。しかし、それらの方法は、写真家のためのソリューションを提供せず、空を含むオブジェクトがない場合には出現するので、写真家はシーンの写真を撮影するのを好むことがある。

１つの特定の共通の空を含むオブジェクトのクラスは、ハンギングワイヤである。ハンギングワイヤは、２つのポイントで固定され、その間で自由にぶら下がることが許可されるフレキシブルコードとして定義される。例は、電気的なワイヤ、テレフォンライン、チェイン、又はロープを含む。ハンギングワイヤは、写真において特に混乱させる可能性がある。確かに、手動的かつ労働量の多い方法は、写真からハンギングワイヤを除くために使用することができる。現在、従来技術のいずれも、ハンギングワイヤを検出し、画像から除く自動的な方法を記載していない。

ハンギングワイヤは、重力の方向でぶら下がり、したがってハンギングワイヤが出現する画像の方向に関する手がかりを提供する。画像の指向性を自動的に検出することを記載する従来技術のいずれも、この手掛かりを使用していない。たとえば、共に譲渡された米国特許第5,642,443号は、色及びテクスチャ（のない）を使用し、画像における空と関連される画素を示し、画像の全体の順序の方向を推測する。画像の方向を検出する現在の方法は、重力の方向及び画像の指向性を明らかに示すハンギングワイヤを画像が含むことができる事実にも拘らず、誤って方向性を決定する可能性がある。

本発明の目的は、デジタル画像における空のハンギングワイヤを検出するための有効な方法を提供することにある。
上記目的は、画素を有するデジタル画像におけるハンギングワイヤの画素を検出して使用する方法により達成される。当該方法は、ａ）１以上の空の領域を表すデジタルカラー画像から画素を識別するステップ、ｂ）空の領域においてハンギングワイヤ領域を表す画素を検出するステップ、ｃ）検出されたハンギングワイヤ画素を使用して、デジタル画像の方向を決定するか、かかるハンギングワイヤ画素を置き換えるステップを含む。

上記目的は、画素を有するデジタルカラー画像の方向を決定する方法により達成される。当該方法は、ａ）１以上の空の領域を表すデジタルカラー画像から画素を識別するステップ、ｂ）空の領域を調べることで１以上のハンギングワイヤを検出するステップ、ｃ）ハンギングワイヤ領域を分析して、デジタルカラー画像の方向を決定するステップを含んでいる。

本発明の利点は、ハンギングワイヤを表すデジタル画像の領域及び画素が信頼性高く識別されることである。
本発明の更なる利点は、デジタル画像は、ハンギングワイヤを除くために変更することができることである。
本発明の別の利点は、デジタル画像の方向が検出されたハンギングワイヤで決定することができることである。

以下の記載では、本発明の好適な実施の形態は、ソフトウェアプログラムとして記載される。当業者であれば、かかるソフトウェアに等価なハードウェアで構築することもできることを容易に認識されるであろう。画像操作アルゴリズム及びシステムは公知であるので、本発明は、本発明に係る方法と一部を形成するか、又は本発明に係る方法と更に直接的に協同するアルゴリズム及びシステムに特に向けられる。本実施の形態で特に図示又は記載されていないアルゴリズム及びシステム、該アルゴリズム及びシステムに関わる画像信号を生成、さもなければ処理するためのハードウェア及び／又はソフトウェアの他の態様は、かかるシステム、アルゴリズム、コンポーネント、及び技術分野で知られたエレメントから選択することができる。以下の明細書で述べたような説明が与えられると、そのソフトウェアの実現は、慣習的なものであって、かかる技術分野にある。

本発明は、コンピュータハードウェアで実現することができる。図１を参照して、以下の説明は、画像捕捉装置１０、デジタルイメージプロセッサ２０、画像出力装置３０、汎用の制御コンピュータ４０を含むデジタル画像形成システムに関連する。システムは、コンピュータコンソール又はペーパープリンタのようなディスプレイ装置５０を含む。システムは、キーボード又はマウスプリンタのようなオペレータの入力制御装置６０を含む。本発明は、デジタル画像を生成する多数の捕捉装置１０で使用される。たとえば、図１は、デジタルフォトフィニッシングシステムを表し、画像捕捉装置１０は、カラーネガチブ又はリバーシブルフィルムでのシーンを捕捉する従来の写真フィルムカメラ、フィルムで現像された画像をスキャニングし、デジタル画像を生成するフィルムスキャナ装置である。デジタルイメージプロセッサ２０は、意図された出力装置又はメディアで満足のいく外観の画像を生成するため、デジタル画像を処理するための方法を提供する。本発明は、限定されるものではないがデジタル写真プリンタ及びソフトコピーディスプレイを含む様々な画像出力装置３０と使用される。デジタルイメージプロセッサ２０は、デジタル画像を処理し、満足のいく外観の画像が画像出力装置３０により生成されるような方式で、デジタル画像の全体の明るさ、トーンスケール、又は画像構造の調節を行うために使用される。当業者であれば、本発明がこれら説明された画像処理機能のみに限定されないことを認識されるであろう。

図１に示される汎用の制御コンピュータ４０は、たとえば、磁気ディスク（フロプティカルディスク）又は磁気テープ、光ディスク、光テープ又はマシン読取り可能なバーコードのような光記憶媒体、ランダムアクセスメモリ（ＲＡＭ）、又はリードオンリメモリ（ＲＯＭ）のような固体電子記憶装置といった、コンピュータ読取り可能な記憶媒体に記憶されるプログラムを有するコンピュータプログラムプロダクトとして本発明を記憶することができる。本発明の関連されるコンピュータプログラムの実現は、オフラインメモリ装置７０により示されるコンピュータプログラムを記憶するために利用される他の記憶媒体又はメディアで記憶される。本発明を記載する前に、本発明はパーソナルコンピュータのような公知のコンピュータシステムで使用されることが好ましいことを述べておく。

なお、本発明は、ソフトウェア及び／又はハードウェアを含んで実現され、同じ物理的な位置に物理的に接続及び／又は配置される装置に限定されない。図１に例示される１以上の装置は、遠隔的に配置されるか、ワイヤレスコネクションを介して接続される。

デジタル画像は、１以上のデジタルイメージチャネルを含む。それぞれのデジタルイメージチャネルは、２次元の画素アレイである。それぞれの画素値は、画素の物理的な領域に対応する画像捕捉装置により受けた光の量に関連する。カラー画像形成の応用について、デジタル画像は、赤、緑及び青のデジタル画像チャネルを含むことがある。動き画像形成の応用は、デジタル画像の系列として考えられる。当業者であれば、本発明は、限定されるものではないが、先に記載された応用のいずれかのデジタルチャネルにも適用されることを認識されるであろう。デジタルイメージチャネルは、行及び列により配列される画素値の二次元アレイとして記載されるが、当業者であれば、本発明は等しい作用をもつ非矩形のアレイに適用される。当業者であれば、以下に記載されるデジタル画像処理ステップについて、処理された画素値をオリジナルの画素値を置き換えることは、オリジナルの画素値を保持しつつ処理された画素値で新たなデジタル画像を生成するのと同じ処理ステップを記載するものと機能的に等価であることを認識されたい。

図１に示され、本発明の方法を実行するためにプログラムされるデジタルイメージプロセッサ２０は、図２で更に詳細に説明される。オリジナルデジタル画像１０２は、様々な異なる色表現で（図１に示される）画像捕捉装置１０から検索される。しかし、本発明の大部分の典型的な実現は、赤、緑及び青のデジタルイメージチャネルをもつカラーデジタル画像としてオリジナルのデジタル画像を受ける。オリジナルデジタル画像の画素値は、シーン強度のログに関連しており、それぞれのカラーチャネルのそれぞれの画素値は、０〜４０９５の１２ビット値として表現される。好ましくは、それぞれ１８８のコード値は、シーン強度の倍加を表す（すなわちフォトグラフィックストップ）。たとえば、１６８８の値を有する第一の画素は、１５００の値を有する第二の画素と同じ大きさの２倍であるシーン強度を表す。本発明は、式の定数及び関数のシャープネスへの変更を要求することができるが、８ビットＲＧＢを含めて他の符号化と上手く動作することができる。

デジタル画像１０２は、空の信頼マップ１１２を出力するために空検出器１１０に入力される。空の信頼マップ１１２は、領域又は画素が青の空を表すノンゼロ（及び正の）信頼値を有するために決定されるデジタル画像の領域又は画素１０２を示す。信頼値は、確率に比例することができる。領域は、共通の特性（たとえば類似の画素値）を一般的にもつ、デジタル画像における空間的に接続される画素のグループである。好ましくは、空の信頼マップ１１２は、デジタル画像１０２よりも低い解像度を有するか、又は高い解像度を有することができるが、空の信頼マップは、デジタル画像１０２と同じ数の行又は列の画素数を有する画像である。空の信頼マップ１１２からの画素の画素値は、画素が青の空を表す信頼値又は確率を示す。たとえば、２５５の画素値は画素が青の空である１００％の信頼度を表し、１２８の画素値が５０％の信頼値を表し、０は画素が空ではないことの高い信頼値を表す。用語「空の領域」及び「空の画素」は、空の信頼マップ１１２における空を表す関連する非ゼロの信頼値を有するデジタル画像１０２の領域及び画素のそれぞれを意味する。空の領域は、全てが非ゼロの信頼値を有する、空の信頼マップにおいて接続された画素のグループである。空の信頼マップ１１２は、（R. Gonzalez等により“Digital Image Processing” 1993, page 40-43で記載されるように）接続されたコンポーネントアルゴリズムを使用した個別の空の領域を決定するために容易に調べることができる。

好ましくは、空検出器１１０は、Gallagher等による譲渡された米国特許出願シリアル番号10/747,597で記載される方法を使用して、空の信頼マップを生成する。要約すると、空の信頼マップ１１２を生成する方法は、初期の空の領域を表すデジタルカラー画像から画素を識別するステップ、識別された空の画素に基づいて、画素の位置の入力及び色の出力を有する数学的な関数であるモデルを展開するステップ、及びデジタルカラー画像で動作するために前記モデルを使用し、空として初期の空の領域に含まれない更なる画素を分類するステップを含む。他の方法を使用することができるが、米国特許出願シリアル番号10/747,597号の方法は、その低い誤った位置検出レートのために有利である。

空の信頼マップ１１２画像として表現される必要はない。たとえば、空の信頼マップ１１２は、デジタル画像１０２における位置及び関連する信頼値に対応する画素又は領域のリストとすることができる。

また、空検出器１１０は、あるモデルを少なくとも１つの空の領域の画素の色にフィットとさせ、空のモデル１１４を出力する。好ましくは、空のモデル１１４は、領域からの画素の色の値にフィットされる。好適なスカイモデル１１４は、以下の二次元の二次の多項式である。

行列の表記では、以下のようになる。

曇った空は、画像を通して色において緩やかに変化し、二次多項式で良好にモデル化される。

空のモデル１１４の依存する変数（すなわち入力）は、画素の位置ｘ及びｙである。モデル係数は、ｒ₀，．．．，ｒ₅，ｇ₀，．．．，ｇ₅及びｂ₀，．．．，ｂ₅である。空のモデル１１４の出力は、位置（ｘ，ｙ）でのデジタル画像１０２の画素の推定された画素の色の値［Ｒ’（ｘ，ｙ），Ｇ’（ｘ，ｙ），Ｂ’（ｘ，ｙ）］である。係数は、実際の画素値と推定された画素の色の値間の二乗平方誤差が低減されるように好適に決定される。かかる最小二乗多項式によるフィッティング技術は、当該技術分野で良好である。好適な方法は、少なくとも１つの空の領域から選択されたＮ画素からのVandermonde行列を形成するステップを含む。二次多項式について、Vandermonde行列は、それぞれの行は選択された画素のうちの１つの位置の座標に対応するＮ行及び６列を有する。

さらに、それぞれカラーチャネル（たとえば赤、緑、青）、アレイＡは、対応する位置でデジタル画像から実際の画素値から定義される。

Ｃ（ｘ，ｙ）は、位置（ｘ，ｙ）でのデジタル画像１０２の特定のチャネル（たとえば赤、緑、青）の値を表す。次いで、チャネルＣの係数について最小二乗の解は、以下のように示される。

それぞれのカラーチャネルのモデル誤差は、アレイＡとアレイＶ［ｃ₀,ｃ₁,ｃ₂,ｃ₃,ｃ₄,ｃ₅］^T
（特定のチャネルの画素カラーの予測値）との平均二乗の差の平方根を計算することで決定することができる。モデルエラーは、既知の非ゼロの信頼領域に対するモデルの「良好なフィット性」に関連する。

要するに、空のモデル１１４は、画素の位置の入力を有する数学的関数であって、その画素の位置でのデジタル画像１０２の色の推定値（モデル期待値）を出力する。

空の信頼性のマップ１１２は、空を包含するオブジェクト検出器１２４に入力される。空を包含するオブジェクト検出器１２４の目的は、空の景色を含むオブジェクトを表すデジタル画像１０２の画素又は領域を発見することである。空を包含するオブジェクト検出器１２４は、包含するオブジェクトの信頼マップ１１８を出力する。包含するオブジェクト信頼マップ１１８は、領域又は画素が青い空の景色をブロックするシーンにおいて領域又は画素がオブジェクトを表す非ゼロ（及び正の）信頼値を有するために決定されるデジタル画像１０２の領域又は画素を示す。かかるオブジェクトの例は、木の枝、テレフォンポール、ハンギングワイヤ、エアプレーン、航空機により残された蒸気の跡を含む。

空を包含するオブジェクト検出器１２４は、空の信頼マップ１１２を調べることで包含しているオブジェクトを発見する。好適な実施の形態では、包含するオブジェクトの信頼マップ１１８は、空の信頼マップ１１２と同じ数の行及び列を有する画像として表現される。包含しているオブジェクト信頼マップ１１８は、画像として表現される必要がない。たとえば、包含しているオブジェクト信頼マップ１１８は、デジタル画像１０２における位置及び関連される信頼値に対応する画素又は領域のリストである。

本質的に、包含しているオブジェクトの信頼マップ１１８は、空の景色をブロックするオブジェクトを表しているデジタル画像１０２の領域又は画素を決定する。言い換えれば、包含しているオブジェクト信頼マップ１１８は、それら自身が空ではないが、少なくとも２つの側で空に隣接する（又は、代替的には、少なくとも２つの空の画素の間にある）デジタル画像１０２の領域又は画素を決定する。用語「空を包含する領域」及び「空を包含するオブジェクト領域」は、包含するオブジェクトの信頼マップ１１２における関連する非ゼロの信頼値を有するデジタル画像１０２の領域に等価であり、この領域を意味する。空を包含する領域は、全てが非ゼロの信頼値を有する包含しているオブジェクトの信頼マップにおける接続された画素のグループである。

好ましくは、包含するオブジェクト信頼マップ１１８は、以下の手順に従って空の信頼マップ１１２から生成される。包含しているオブジェクトの信頼マップ１１８は、全ての位置でゼロに初期化される。ゼロ（予め定義された閾値以下）の空の信頼値を有する空の信頼マップ１１２のそれぞれの画素が調べられる。スライディングウィンドウ（好ましくは、ウィンドウは１画素の幅及びＱ画素の長さを有し、Ｑの便宜上の値は６画素）は、図３Ａに示されるように（Ｑ＝４について）定義され、それぞれの平方は、画素位置のオフセットを表す。パラメータＱは、発見されるべき包含しているオブジェクトの最大の厚さ（又は幅）に関連する。次いで、スライディングウィンドウは、空の信頼マップ１１２における位置で位置合わせされる。スライディングウィンドウが少なくとも２つの隣接しない非ゼロの空の信頼性の画素を含むときは何時でも、隣接しない非ゼロの空の信頼画素の間の画素の位置には、包含するオブジェクト信頼マップ１１８における非ゼロの値が与えられる。さらに、好適な実施の形態では、２つの隣接しない非ゼロの信頼画素は、個別の空領域からであることが更に要求される。個別の空の領域は、先に記載されたように接続されたコンポーネントアルゴリズムと決定される。包含するオブジェクト信頼マップにおける非ゼロの値は、定数値（たとえば１）にシンプルに割り当てられるか、非ゼロの空の信頼値の画素の値に基づく値（たとえば、スライディングウィンドウに含まれる全ての非ゼロの空の信頼性の画素の平均）とすることができる。好ましくは、この手順は、空の信頼マップ１１２におけるそれぞれ可能性のある位置で繰り返され、（たとえば、図３Ｂ〜図３Ｄに示されるように垂直不幸、対角線上方、対角線下方といった）異なる方向のスライディングウィンドウで繰り返される。包含するオブジェクトの信頼マップ１１８における画素は、非ゼロの値がスライディングウィンドウの方向のいずれかについて計算されるとき、非ゼロの値を有する。

例示のため、図４は、例となる空の信頼マップの小さなセグメントを示しており、光のロケーションが非ゼロの値を示している。図５Ａは、図３Ａに示されるスライディングウィンドウが使用されるときの非ゼロの値の位置を示している。同様に、図５Ｂ〜図５Ｄは、図３Ｂ〜図３Ｄのそれぞれで示されるスライディングウィンドウが示されるときの非ゼロの値の位置を示している。最後に、図５Ｅは、最終的な包含するオブジェクトの信頼マップを示し、スライディングウィンドウの方向について非ゼロの値を有することが判定された場合に、位置は非ゼロの値を有している（すなわち図５Ｅは図５Ａ〜図５Ｄの論理和である）。

空の信頼マップ１１２から包含しているオブジェクトの信頼マップ１１８を判定するための代替的な手順として、公知の形態学的な演算子（morphological operator）を使用することによる。形態学的な閉演算子（morphological closing operation：膨張（dilation）、これに続く侵食（erosion））が空のマップで実行され、オリジナルの空の信頼マップと相違され、結果は包含しているオブジェクトの信頼マップ１１８である。形態学的な演算は、R.Gonzalez等による書籍“Digital Image Processing”1993, page 544-545で記載される。

初期の包含するオブジェクトの信頼マップ１１８は、膨張演算子（又はエッジをぼやかすための畳み込みフィルタ）を適用して、デジタル画像１０２で見られるように実際の包含しているオブジェクトよりも包含するオブジェクトの信頼マップ１１８における非ゼロの領域が僅かにサイズ的に大きい（「ソフト」エッジを有する）ことを保証するように、更なるフィルタリングステップで更にリファインされる。これは、図２の包含するオブジェクト除去手段１２０がデジタル画像０２から包含するオブジェクトを除去し、改善されたデジタル画像１２２を生成するとき、アーチファクトが消えないことを保証する助けとなる。

また、包含するオブジェクトの信頼マップ１１８は、領域の成長技術で調べられる。領域の成長は、（テクスチャ、カラー、明るさのような）特徴において対応するデジタル画像１０２の画素に類似した包含するオブジェクトの信頼マップの非ゼロの信頼領域に画素を追加するために使用される手順である。領域の成長は、空を包含しない包含するオブジェクトの部分を検出するために有効である。たとえば、図６Ａに示される画像のケースでは、電気的なハンギングワイヤの右部分は空を包含するが、ワイヤの左の部分は家を包含する。包含するオブジェクトの信頼マップは、空を包含するハンギングワイヤの部分のみを検出する。領域成長技術は、空を包含しない包含するオブジェクトの残りの部分を検出するために使用される。領域の成長は、R. Gonzalez等による“Digital Image Processing” 1993, pages 458-465に記載される。（包含するオブジェクトの一部である可能性がある）領域成長手順により追加された画素の位置は、更なる信頼マップ又はリストに個別に記憶される。これは、これら包含するオブジェクトの部分を除く方法は、空を包含する包含するオブジェクトの一部を除くために使用される方法とは異なるためである。

再び図２を参照して、包含するオブジェクトの信頼マップ１１８、空のモデル１１４及びデジタル画像１０２は、改善されたデジタル画像１２２を生成する包含するオブジェクト除去手段１２０に入力される。包含するオブジェクト除去手段１２０の目的は、デジタル画像１０２から包含するオブジェクトを除くこと、包含するオブジェクトがない場合であった、シーンの画像である改善されたデジタル画像１２２を生成することである。包含するオブジェクトの信頼マップに対応する領域が空で置き換えられる点を除いて、改善されたデジタル画像１２２は、デジタル画像１０２に外観的に類似している。本質的に、デジタル画像１０２から空を包含するオブジェクト領域の除去は、空を包含する領域から画素の値をモデルによる予測される値で置き換えるため、デジタルカラー画像で動作するためのモデルを使用することで達成される。これは、以下のように達成される。はじめに、出力が改善されたデジタル画像１２２は、入力デジタル画像１０２のコピーである。次いで、包含するオブジェクトの信頼マップ１１８のそれぞれ非ゼロの画素について、改善されたデジタル画像１０２の対応する画素値は、その画素の位置の空のモデル１１４により予測される値で置き換えられる。包含するオブジェクトの信頼マップ１１８の画素値が０と１との間にあるとき、改善されたデジタル画像１２２の画素値は、改善されたデジタル画像１０２の対応する画素の位置での画素値と、空のモデルにより予測された値との重み付け平均である。重み付けは、包含するオブジェクトの信頼マップ１１８における画素の値により供給される（たとえば、包含するオブジェクトの信頼マップ１１８の画素値が０．７５である場合、改善されたデジタル画像１２２における対応する画素に与えられた値は、０．７５*（モデル位置）＋（１．０−０．７５）*（改善されたデジタル画像１２２におけるオリジナル画素値））。上述された領域成長のステージを介して検出された包含するオブジェクトの一部に対応する改善されたデジタル画像１２２の画素値は、Georgiv等による米国特許第6,587,592号で記載されたような、いわゆるインペインティングを使用して発見される。

図６Ａ〜図６Ｄは、例示的な信号を示すことで本発明を例示している。図６Ａでは、原画像が示されている。この画像は、デジタル画像１０２に対応する。ここで、黒は、画素又は領域が空を表す高い信頼度（たとえば確率１．０）を示す。図６Ｃは、包含するオブジェクトの信頼マップ１１８を示す。さらに、黒は、対応する画素又は領域が空の景色を包含する高い信頼値を示す。包含するオブジェクトは、家、航空機及び航空機の蒸気の跡になるハンギングワイヤに対応する。最後に、図６Ｄは、改善されたデジタル画像１２２を例示し、包含するオブジェクトは、空で置き換えることでシーンから効果的に除かれる。

図７は、包含するオブジェクトがハンギングワイヤであるときに検出向けに特化された、図２の代替的な実施の形態である。ハンギングワイヤは、２つのポイントで吊り下げられるフレキシブルなコードである。例は、電気的なワイヤ、テレフォンライン、クロスライン、トウロープ、セイルリンギング、ジャンプロープ、又はハンギングチェインを含む。ハンギングワイヤ検出器１３６は、包含するオブジェクト検出器１２４と同じ手順を使用する。検出するためにワイヤの厚さを定義するＱの値は、デジタル画像１０２の解像度に基づいている。ワイヤの信頼マップ１３８は、包含するオブジェクトの信頼マップ１１８をはじめに導入し、次いで、更なる検証ステップを実行することで生成される。

包含するオブジェクトの信頼マップ１１８における（上述された接続されたコンポーネントアルゴリズムで決定される）それぞれの領域は、候補となるハンギングワイヤと考えられる。本質的に、それぞれの空を包含する領域は、シーンにおけるハンギングワイヤに関連される空を包含する領域を決定するために調べられる。検証ステップは、それぞれ候補となるハンギングワイヤの形状を分析するステップを含む。ハンギングワイヤはカテナリの形状を想定することが知られている。

ここでａはハンギングワイヤのテンション及びワイヤの密度に依存する定数である。Ｙはシーンにおける垂直方向の距離（正が上方向）を表し、Ｘはシーンにおける水平方向の距離を表し、ハンギングワイヤはＸＹ平面にあり、（０，ｂ）はカテナリの最低ポイントである。

カテナリの画像は、画像平面へのそのシーン平面からのカテナリの投影である。ホモグラフィー又はプレーン・トゥ・プレーンマッピングは、上述された投影の影響をモデル化するために使用することができることが知られる。ＸＹ平面の座標に関するカテナリのポイント（Ｘ，Ｙ）は、以下の式に従う画像ｘｙ平面にマッピングする。

ここでＨはホモグラフィマトリクス（３×３の非特異行列）であり、画像平面のポイント（すなわち候補となるハンギングワイヤにおける画素の位置）は、（ｘ，ｙ，ｚ）として均質の座標で表される。最小二乗技術を使用して、ホモグラフィーの１０パラメータａ，ｂ及び８つのフリーパラメータは、候補となるハンギングワイヤについて決定される。（所定の制約されたケースでは、ホモグラフィーは５以下の自由度を有する）。パラメータの最適化の残余の誤差に依存して、候補となるハンギングワイヤは、ハンギングワイヤ（等価的にハンギングワイヤ領域と呼ばれる）として分類されるか、ハンギングワイヤではないとして分類される。ハンギングワイヤの領域は、ハンギングワイヤの領域の画素と呼ばれる１以上の画素をそれぞれ含む。幾つかの例では、候補となるハンギングワイヤは、ハンギングワイヤを表す信頼値（すなわち確率）が割り当てられる。

１０までのパラメータを解くよりも著しく容易な好適な代替として、多項式は、候補となるハンギングワイヤの位置にフィットされる。好ましくは、三次の多項式は、候補となるハンギングワイヤにおける画素の位置にフィットされる。行列の表記では、以下のように示される。

ここで（ｘ，ｙ）は候補となるハンギングワイヤにおける画素の位置であり、ｃ₀〜ｃ₃は多項式の係数である。係数は、既に記載されたように類似のやり方でVandermonde技術により導出される。次いで、多項式係数が調べられ、候補となるハンギングワイヤが分類される。候補となるハンギングワイヤが実際のハンギングワイヤであるとき、分類は、項ｃ₃の大きさが項ｃ₂の大きさに関して小さいという要件に基づいている。たとえば、好適な分類ルールは、｜ｃ₂｜／｜ｃ₃｜＞Ｔ₁の場合、候補となるハンギングワイヤがハンギングワイヤとして分類される。さもなければ、候補となるハンギングワイヤは、ハンギングワイヤではないとして分類される。Ｔ₁の便宜的なルールは１００であるが、１０〜１００のレンジとなる。画像の方向は未知であるとすると、多項式のフィッティングは、候補となるハンギングワイヤにおける画素のオリジナルの座標で一度、ｘ及びｙ座標をスワップすることで生成される座標により一度といった複数回実行される（すなわち、９０°だけ候補となるハンギングワイヤを回転することに等価である）。多項式のモデルはカテナリへの近似のみであるが、効果的な近似を生じる。実際に、Galileo自身は、ハンギングチェインにより形成された曲線が放物線（すなわち二次の放物線）であったと（誤って）仮定していた。

ハンギングワイヤ検出器１３６により生成されたワイヤの信頼マップ１３８は、ハンギングワイヤが除去されていないとして分類されなかった全ての候補となるハンギングワイヤをもつ包含するオブジェクトの信頼マップ１１８に同一である。ワイヤの信頼マップ１３８、空のモデル１１４及びデジタル画像１０２は、改善されたデジタル画像１２２を生成するためにハンギングワイヤ除去手段１４０に通過される。ハンギングワイヤ除去手段１４０は、先に記載されたように、包含するオブジェクト除去手段１２０に類似のやり方で動作する。

デジタル画像が図６Ａで示された画像であるとき、ハンギングワイヤ除去手段１４０により生成された改善されたデジタル画像１２２は、航空機及び蒸気の跡が除去されていない点を除いて、図６Ｄに示される画像に類似している。

図８は、デジタル画像１０２の方向を自動的に決定するために有効な本発明の代替的な実施の形態を示す。画像の方向の情報（すなわち４つの矩形のサイドのうちのどの１つが写真家の視野から「上」にあるか）は、出力ディスプレイの画像の正しい方向を許容する。デジタル画像と共にデジタル画像の推定された方向性は、方向性の情報を使用する、（入力されない）画像の変換に入力される。たとえば、画像変換は、画像の上部が右上の位置にあるまで画像を回転する。かかる画像変換は、当該技術分野で公知であるように、０°、９０°、１８０°又は２７０°を必要とする。方向の情報の効用に関する別の例では、デジタル画像の方向は、画像変換によりメタデータとして記憶される。

図８に示されるように、デジタル画像１０２は、先に記載されたように、空の信頼マップ１１２を生成するために空の検出器１１０に入力される。空の信頼マップ１１２は、先に記載されたように、ワイヤの信頼マップ１３８を生成するためにハンギングワイヤ検出器１３６に入力される。ワイヤの信頼マップ１３８は、デジタル画像１０２の方向を決定するために方向の検出器１４４に入力される。方向の検出器１４４は、画像の方向を判定するため、ワイヤの信頼マップ１３８においてそれぞれ分類されたハンギングワイヤの領域を好ましくは調べる。

図９は、デジタル画像１０２の方向を判定するとき、方向検出器１４４により続く手順を提示している。手順は、ハンギングワイヤ領域のエンドポイント（たとえばハンギングワイヤの固定されたポイント）に関してハンギングワイヤの領域の画素の位置を調べることで重力の方向を判定する。破線により示されたボックス１４６は、ハンギングワイヤ領域１４８のエンドポイントでボックスのコーナを有しており、方向の検出のために使用される。好ましくは、ボックス１４６は、画像のサイドに並列なサイドを有する矩形である。ボックス１４６のサイドは、画像における可能性のある垂直方向を表す（すなわち重力ベクトルの可能性のある方向）。画像が小さな回転（たとえば１０°）を有することを外部の情報が示す場合、ボックス１４６は、回転量に従って回転することができる。ボックス１４６の外にあるハンギングワイヤの領域１４８の画素は、重力の（下）方向を示す。重力の方向は、矩形の中央からボックス１４６の外側にある大量の画素の中央に引かれたベクトル１５０により示される。重力の軸１５２は、その間に最小の角度を有し、重力の方向を示すベクトルを有する画像軸（ｘ＋，ｘ−，ｙ＋，ｙ−）である。画像の方向は、典型的に規定され、その点に関して画像のサイドは「上」である。したがって、画像の方向軸１５４は、重力軸とは反対の軸である。

幾つかの状況では、方向検出器１４４は、方向の判定をなすために使用不可能である。これは、ハンギングワイヤ領域１４８の画素は、図１０に示されるようにボックス１４６の外側にないためである（又は、たとえばハンギングワイヤ領域に属する画素のＴ₁＝２０％といった閾値Ｔ₁よりも少ない画素がボックス１４６の外側にない）。他の状況では、重力の方向は、２つの画像軸間の中間にあり（図１１に図示されるようなｙ−とｘ＋）、従って結果は包括的である。起こり得る別の状況は、デジタル画像が多数のハンギングワイヤ領域を有するケースである。それぞれハンギングワイヤ領域について判定される方向が一致するか、包括的であるとき、コンフリクトが生じない。１つのハンギングワイヤ領域の方向が少なくとも１つの他のハンギングワイヤ領域の方向と一致しないとき、コンフリクトが解決されるべきである。好ましくは、方向検出器１４４は、方向が画像について決定することができないことを報告する。代替的に、ボーティングスキームを使用することができ、方向検出器１４４は、ハンギングワイヤ領域の大部分に関連される方向を報告する。さらに、重力の方向は、一般にシーンにわたり一定であるので、少なくとも１つの分類されたハンギングワイヤのグループが実際にハンギングワイヤではないこと可能性がある。このケースでは、少数での方向に関連されたハンギングワイヤの領域が制限される（ハンギングワイヤではないとして再分類される）。このモードでは、検出されたハンギングワイヤの「互換性」が確認される。図７のハンギングワイヤ除去手段１４０と共に使用されるとき、検出されたハンギンワイヤをハンギングワイヤではないとして再分類する非互換性の例を使用することは、ハンギングワイヤの誤った正の検出を低減し、画像を偶発的に損傷するのを防ぐ。

検出されたハンギングワイヤ領域に基づいた画像の方向を検出するために記載された方法を、画像の方向を決定するために使用される他の特徴と組み合わせることができる。たとえば、米国特許第5,642,443号で記載された特徴は、更にロバストな方向検出を提供するために方向を検出するための本明細書で記載された方法と共に使用することができる。

本発明の方法は、デジタルカメラ、デジタルプリンタのような多数の異なる装置で実行することができ、また、パーソナルコンピュータで実行することができる。

本発明を実施するために適切なコンピュータシステムのブロック図である。 本発明に係る図１のデジタル画像プロセッサのブロック図である。 図３Ａ〜図３Ｄはスライディングウィンドウの４つの方向を示す図である。 例示的なスカイブリーフマップを示す図である。 図５Ａ〜図５Ｄは図３Ａ〜図３Ｄでそれぞれ示されるオペレータを図４に示されるスカイブリーフマップに適用した結果を示す図である。図５Ｅは包含しているオブジェクトブリーフマップを示す図である。 図６Ａはデジタル画像を例示し、図６Ｂはスカイブリーフマップを示し、図６Ｃは包含しているオブジェクトブリーフマップを示し、図６Ｄは改善されたデジタル画像を例示する図である。 本発明の代替的な実施の形態を示す図である。 画像の方向を決定するために有効な本発明の実施の形態を示す図である。 ハンギングワイヤ領域から方向を検出するために使用されるプロセスを例示する図である。 ハンギングワイヤ領域から方向を決定することができないケースを例示する図である。 ハンギングワイヤ領域から方向を決定することができない第二のケースを例示する図である。

符号の説明

１０：画像捕捉装置
２０：デジタルイメージプロセッサ
３０：画像出力装置
４０：汎用制御コンピュータ
５０：ディスプレイ装置
６０：入力制御装置
７０：オフラインメモリ装置
１０２：デジタル画像
１１０：空検出手段
１１２：空信頼マップ
１１４：空モデル
１１８：包含するオブジェクト信頼マップ
１２０：包含するオブジェクト除去手段
１２２：改善されたデジタル画像
１２４：空を包含するオブジェクト検出手段
１３６：ハンギングワイヤ検出手段
１３８：ワイヤ信頼マップ
１４０：ハンギングワイヤ除去手段
１４４：方向検出手段
１４６：ボックス
１４８：ハンギングワイヤ領域
１５０：ベクトル
１５２：重力軸
１５４：方向軸

Claims (1)

1. 画素を有するデジタルカラー画像を改善する方法であって、
   ａ）１以上の空の領域を表す前記デジタルカラー画像から画素をユーザ操作なしに識別するステップと、
   ｂ）前記空の領域を調べることで、空を包含する領域をユーザ操作なしに検出するステップと、
   ｃ）識別された空の画素に基づいて、前記空の画素の位置の入力と予測された空の色の出力とを有する数学的関数であるモデルを展開するステップと、
   ｄ）前記デジタルカラー画像で動作するために前記モデルを使用して、前記空を包含する領域からの画素値を前記モデルにより予測された値とユーザ操作なしに置き換えるステップとを含み、
   当該方法は、
   前記空を包含する領域が所定のカテナリー曲線の形状により形成されていると判定された場合に、前記空を包含する領域がハンギングワイヤにより形成されていると判定するステップと、
   検出されたハンギングワイヤの領域において検出される重力の方向に基づいて前記画像の方向を決定するステップとを更に含み、
   前記数学的関数であるモデルは、前記空の画素の位置（ｘ，ｙ）とし，前記予測された空の色を形成する予測された画素の赤色、緑色及び青色の値をそれぞれＲ’(ｘ，ｙ)，Ｇ’(ｘ，ｙ)及びＲ’(ｘ，ｙ)とし、ｒ ₀ 〜ｒ ₅ 、ｇ ₀ 〜ｇ ₅ 及びｂ ₀ 〜ｂ ₅ を赤色、緑色及び青色の係数であって、実際の画素の値と予測された空の色の値との間の誤差が低減されるように決定される係数であるとして、
   Ｒ’(ｘ，ｙ)＝ｒ ₀ ｘ ² ＋ｒ ₁ ｘｙ＋ｒ ₂ ｙ ² ＋ｒ ₃ ｘ＋ｒ ₄ ｙ＋ｒ ₅ ；
   Ｇ’(ｘ，ｙ)＝ｇ ₀ ｘ ² ＋ｇ ₁ ｘｙ＋ｇ ₂ ｙ ² ＋ｇ ₃ ｘ＋ｇ ₄ ｙ＋ｇ ₅ ；及び
   Ｂ’(ｘ，ｙ)＝ｂ ₀ ｘ ² ＋ｂ ₁ ｘｙ＋ｂ ₂ ｙ ₂ ＋ｂ ₃ ｘ＋ｂ ₄ ｙ＋ｂ ₅
   で表される、
   ことを特徴とする方法。

Images