JP4477221B2 - 青い空を含む画像の向きを決定する方法 - Google Patents
青い空を含む画像の向きを決定する方法 Download PDFInfo
- Publication number
- JP4477221B2 JP4477221B2 JP2000361906A JP2000361906A JP4477221B2 JP 4477221 B2 JP4477221 B2 JP 4477221B2 JP 2000361906 A JP2000361906 A JP 2000361906A JP 2000361906 A JP2000361906 A JP 2000361906A JP 4477221 B2 JP4477221 B2 JP 4477221B2
- Authority
- JP
- Japan
- Prior art keywords
- sky
- image
- color
- region
- blue
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ディジタル画像処理及びディジタル画像理解の分野に関連し、更に特定的には、空を含む写真及び他の同様の画像中の向きを決定するシステムに関連する。
【０００２】
【従来の技術】
ディジタル画像は、ネガフィルム上に捕捉された画像を走査すること、又はディジタルカメラから直接ダウンロードすることといった多くの手段を通じて捕捉されうる。撮影者は、カメラを可能な方向のいずれか（直立、倒立、右向き、左向き）で保持して撮影しうる。それに加え、フィルムは左から右へ、又は右から左へロードされ、画像の向きが予測できない。これまでは操作者が行う必要があった面倒な画像の向きを揃える動作を回避するため、画像の向きを感知する自動的な方法を有することが有利である。これは、商用システムにおける大量画像処理の効率を高めるためにも重要である。
【０００３】
空は、重要な被写体のうちの１つであり、写真画像中にしばしば見られる。空を検出することにより、様々な画像の理解、強調、操作タスクが容易となる。空は、シーン分類（例えば、屋外シーンと屋内シーン、ピクニックシーンと会議シーン、都市と風景等）のための屋外画像の強い指標である。例えば、M.Szummer and R.W.Picard, "Indoor-Outdoor Image Classification", in Proc. IEEE Intl. Workshop on Content-based Access of Image and Video Database, 1998及びA. Vailaya, A. Jain, and H.J. Zhang, "On Image Classification: City vs. Landscape," in Proc. IEEE Intl. Workshop on Content-based Access of Image and Video Database, 1998（共にここに参照として組み入れられる）を参照のこと。
【０００４】
空の最も顕著な特徴はその色であり、空が晴れているときはその色は通常は薄い青である。このような特徴は画像中の空を検出するために使用されてきた。例えば、F.S. Jamzadehによる「Method and Apparatus for Using Film Scanning Information to Determine the Type and Category of an Image」なる名称の米国特許第５，８８９，５７８号（ここに参照として組み入れられる）は、更なる記述を与えることなく空を検出するために色のキュー（「薄い青」）を使用することについて記載している。
【０００５】
Saber et al. (E. Saber, A.N. Tekalp, R. Eschbach, and K. Knox), "Automatic Image Annotation Using Adaptive Color Classification", CVGIP: Graphical Models and Image Processing, vol. 58, pp. 115-125, 1996（ここに参照として組み入れられる）では、空を検出するために色分類が使用される。空の画素は、２次元ガウス確率密度関数（ＰＤＦ）に従うと想定される。従って、空の画素を決定するために、所与の画像についての適応的に決定される閾値と共に、マハラノビス距離と同様の計量が用いられる。最後に、画像の分類及び注釈（例えば「屋外」、「人々」）を決定するために、上述の色分類にのみ基づいて画像から抽出される空、草、肌の有無に関する情報が使用される。Saberは、既知であると想定される画像の向きの決定については扱っていないことに注意すべきである。
【０００６】
Robert M. Goodwinによる「Whole Order Orientation Method and Apparatus」なる名称の米国特許第５，６４２，４４３号（ここに参照として組み入れられる）は、画像中の空に関連付けられる画素を示すために色及びテクスチャ（が無いこと）を用いる。特に、Goodwinによれば、色度により領域をセクタへ分割する方法が用いられている。方向が揃えられていない画像の２つの長辺に沿ったサンプリングゾーンの画素が調べられる。空の色の非対称的な分布が見つかると、画像の向きが推定される。写真の注文全体の向きは、その注文の個々の画像についての推定値に基づいて決定される。Goodwinによる注文全体の向きの方法が成功するには、十分に大きな特徴の群（少なくとも８０％の成功率を有するものが殆ど各画像ごとに見つかる）か、又はより小さい特徴（９０％以上の成功率であり、この特徴が全ての画像の約４０％に見つけられる）の群が必要である。従って、Goodwinでは、非常に強固な空検出方法は必要とされていない。
【０００７】
画像の向きを認識するために、空及びその向きに関する知識は、屋外画像についての画像の向きを示しうる。一般的に信じられているのとは逆に、空領域は必ず画像の上部にあるとは限らない。多くの場合、空領域は、画像の上側の境界以外の部分にも接する。
【０００８】
【発明が解決しようとする課題】
従来の技術の主な欠点は、向きを決定するために対象（例えば空）の位置を使用することである。これらの画像中で空を識別する従来のシステムは、空が必ず画像の上部に現れるわけではなく、画像の情報の境界よりも多く接しうるという欠点がある。更に、従来の技術の欠点は、同じように色づけされた又はテクスチャを有する被写体、例えば、青い壁、水域（海、湖等）、青いシャツ等を区別できないことである。更に、空の有無を高い信頼性で検出するのに失敗すること、特に偽の肯定的な検出、及び空の位置が画像の向きを示すという不適切な想定は、向き揃え処理を失敗させうる。
【０００９】
【課題を解決するための手段】
本発明は、色相分類、テクスチャ解析、及び物理学的空トレース解析に基づく強固な空検出システムを提供する。本発明は、明るい空の色の画素を選択するために色相情報を使用し、潜在的な空の領域を見つけるために連結成分解析を用いる。本発明は、テクスチャ内容が低い空領域を確認するために勾配（グラディエント）を用い、同様の空の色の信念であるが同様でない空の色を有する隣接する領域を分割するために平滑な広がりとして画成されるオープンスペースをセグメント化する。本発明はまた、天頂−水平線方向を決定するために勾配を用い、実際に有効な空領域（単に「空の色の」領域ではない）から得られる決定された向きを確認するために物理学的空トレースシグナチャを使用する。
【００１０】
更に特定的には、本発明は、画像の向きを決定するための方法、画像認識システム、コンピュータプログラム等の形式を取ることができる。本発明は、画像中の潜在的な空画素を色によって分類し、潜在的な空画素の空間的に連続する領域を識別し、所定のテクスチャ閾値を越えるテクスチャを有する領域を除去することによって実際の空領域を識別し、実際の空領域の飽和度低下（desaturation）勾配を計算し、実際の空領域の夫々の中の画素の水平飽和度低下勾配の平均値及び垂直飽和度低下勾配の平均値に基づいて画像を肖像又は風景のいずれかとして分類し、平均水平飽和度低下勾配及び平均垂直飽和度低下勾配の極性に基づいて画像の向きを決定し、水平飽和度低下勾配及び垂直飽和度低下勾配を空についての所定の飽和度低下勾配と比較することによって実際の空領域が真の空領域であるかどうかを確認する。
【００１１】
本発明はまた、空間的に連続する領域のうち、実質的に類似しない平均水平勾配及び平均垂直勾配を有し、空についての所定の色分布と一致する色分布を有し、画像の境界に接するもののみを、実際の空領域として維持する。
【００１２】
画像を肖像又は風景として分類することは、平均水平飽和度低下勾配の絶対値が平均垂直飽和度低下勾配の絶対値よりも大きい場合に画像を肖像として分類し、平均水平飽和度低下勾配の絶対値が平均垂直飽和度低下勾配の絶対値よりも小さい場合に画像を風景として分類することを含む。飽和度低下勾配は、画像の赤、緑、青のトレース成分についての飽和度低下勾配を含む。
【００１３】
空についての所定の飽和度低下勾配は、水平線から天頂にかけて、赤及び緑の光トレース成分の減少と、実質的に一定の青の光トレース成分とを含む。
【００１４】
画像中の潜在的な空画素を色によって分類することは、空の色の画素の信念マップを作成し、空の色の適応閾値を計算し、潜在的な空画素が閾値を越えるかどうか決定することを含む。適応閾値の計算は、信念マップから得られる信念ヒストグラム中の第１の谷を識別することを含む。信念マップ及び信念ヒストグラムは、画像に固有のものである。
【００１５】
【発明の実施の形態】
上述のように、これまでは操作者によって行われねばならなかった、厄介な画像の向き揃えを回避するために画像の向きを感知する自動的な方法を有することが有利である。また、商用システムにおける大量画像処理に関しても効率性について重要である。更に、強固な空検出処理は、色及びテクスチャを越えてなされる必要がある。特に、可能であれば真の空の領域を他の同様の色及びテクスチャを有する被写体と区別するために、空の物理的モデルが所望とされる。以下説明される本発明は、可能であれば真の空の領域を他の同様の色及びテクスチャを有する被写体と区別する強固な空検出処理を提供する。
【００１６】
本願では、空検出は、空の閉塞されていない部分に対応する画像中の全ての画素を識別することを含む。更に、空の検出により、個々のセグメント化された領域に、空を含む確率が割り当てられる。確率を用いた表現を使用するか、これをクリスプな決定に変換するかは、画像理解システムの続く従来の処理にゆだねられる。本発明の幾つかの重要な特徴は、色相分類、テクスチャ解析、及び物理的空トレース解析に基づく強固な空検出処理、明るい空の色の画素を選択するために色相情報を使用すること、潜在的な空領域を見つけるために連結成分解析を用いること、空領域のテクスチャ内容が低いこと（即ちオープンスペースであること）を確かめるために勾配を使用すること、同様の空の色の信念を有し同様でない空の色を有する隣接する領域を分割するためにオープンスペースのセグメント化を使用すること、天頂−水平線方向を決定するために勾配を使用すること、候補領域が空モデルに当てはまるかどうかを決定するために物理的空トレースシグナチャを使用することを含む。
【００１７】
本発明の主要な事項は、ディジタル画像理解技術、即ちディジタル画像を理解しそれにより人間によって理解可能な対象、属性又は条件に対して有用な意味を割り当てるよう処理し、次に得られた結果をディジタル画像の更なる処理に用いることに関する。
【００１８】
図１は、空検出システム（例えばディジタル画像理解技術）全体を示すブロック図である。まず、ディジタル画像（１０）がディジタル式に処理される（２０）。
画像変更段階（４０）において、処理段階（２０）から得られる結果（３０）と、元のディジタル画像（１０）とを用いて、変更画像（５０）が生成される。
【００１９】
ここで図２を参照するに、本発明を更に特定的に示すブロック図が示されている。図２中、入力画像はディジタル形式で受信される（ステップ２０２）。次に、以下詳述するように分類処理において色分類器を用いて、画素は空の色の画素と空の色でない画素に分類される（ステップ２０４）。以下説明する連結成分解析を用いて、空の色の画素の空間的に連続する領域が抽出される（ステップ２０６）。かなりの寸法の連結成分が存在しない場合は、画像の向きは本発明によっては決定できない（ステップ２０７）。これに対して、画像中の連結成分のうちの少なくとも１つが所与の閾値を越える寸法を有する場合、処理は以下のように続く。
【００２０】
上述の連結成分寸法閾値は、手動で又は自動に決定されうる。最小連結成分寸法閾値は、画像領域全体の幾らかの割合として設定されうる。例えば、連結成分寸法閾値は、画像領域全体の１％、１５％、２５％、５０％、７５％に設定されえ、１つの望ましい実施例では、画像領域全体の１０％に設定される。或いは、閾値は履歴に基づいて自動的に決定されうる。例えば、履歴データベースは、画像の特定のタイプについての最適最小連結成分寸法を示す向きについて維持されうる。また、画像のバッチのうちの幾つか又は全ては、バッチ中の全ての画像を実際に向きを変える前に最適閾値寸法を決定するために異なる連結成分寸法限界を用いて前処理される（例えば小さいテストランが実行されうる）。
【００２１】
以下説明するように、連結成分（又は「領域」）の各内部画素に対して勾配演算子が与えられ、水平及び垂直勾配値が計算される（２０８）。連結成分の境界の近傍の画素（例えば連結成分の周りの外側から２つの画素）は、空と他の被写体との間、例えば水平線における大きさのかなりの遷移を示すため、勾配の計算から排除されることが望ましい。
【００２２】
平均の水平勾配値Ｇｘ及び垂直勾配値Ｇｙは、（以下説明するように）候補領域の全ての内部画素を用いて計算される。本発明より多数の試験が使用され、様々な候補領域が失格とされる（ステップ２０９）。更に特定的には、いずれかの勾配値が所定の上限閾値Ｔhighを越えるとき、即ち領域のテクスチャが多い場合、領域は空領域であるとは考慮されないことを意味する。｜Ｇｘ｜と｜Ｇｙ｜が略同一であり、平坦な領域を示す場合も、領域は空領域であるとは考慮されない。更に、候補領域中の全ての画素の色（色相）分布が空領域の予想される特徴に当てはまらない場合も、領域は空領域であるとは考慮されない。色の分布に関して、空の色の分布の３次元形状が、以下に示される飽和度低下効果の結果として、傾斜した楕円体に似ているべきである。また、候補領域がどの画像境界とも接していなければ、空である可能性は低い。画像が許容できる候補空領域を含まない場合、本発明は向きを決定することができず、処理は未決定の向きを生成する（ステップ２１８）。
【００２３】
少なくとも１つの候補領域が低テクスチャ試験に合格すれば、候補空領域の夫々について風景／肖像の向き（２１０）と、水平線の向き（２１２）が決定される。特に、望ましくは、赤のチャネルでは飽和度低下効果が最もよく観察可能であり測定可能であるため、赤のチャネル中の勾配が調べられる。水平勾配Ｇｘ及び垂直勾配Ｇｙは、風景であると想定されるがシーンの向きとは関連しない画像の入来する向きを示すものとする。特に、｜Ｇｘ｜＞｜Ｇｙ｜であれば、風景画像である可能性が高いことを示している。そうでなければ、画像は肖像画像である可能性が高い。更に、風景画像では、Ｇｘ＜０であれば直立画像である可能性が高いことが示されており、そうでなければ倒立画像である可能性が高い。肖像画像では、Ｇｙ＜０であれば、左向き画像である可能性が高いことが示され、そうでなければ右向き画像である可能性が高い。
【００２４】
この情報を用いて、本発明は正しい画像の向きを正確に決定すること（２１４）が可能である。本発明では、画像の勾配は以下の、Sobelカーネルを用いて計算される。
【００２５】
【数１】
更に、Θで示される畳込み演算を用いて、２つの勾配画像、即ち、
ｇx＝ＳxΘＩ及びｇy＝ＳyΘＩ
が得られる。候補領域の平均勾配は、
【００２６】
【数２】
によって得られ、式中、ｐは候補領域の内部画素であり、ＮPは内部画素の全体数である。上述のように、画像の向きを決定するために、水平方向及び垂直方向の平均勾配値Ｇｘ及びＧｙが使用される。
【００２７】
従来の向き揃え処理は、単純に「空が画像の上部にある」（上述のGoodwin）という想定に基づくものである。これに対して、本発明は、シーンの向きを決定するために、空の内部特徴、即ち空は上部では青く、水平線に向かって飽和度低下となることを用いる。
【００２８】
画像の向きは、ステップ２１６のサブプロセスに示されるように、画像中の空の位置を確認することによって更に確認されうる。より特定的には、上述において決定されたように、トレースは、水平線−天頂方向に沿った候補空領域に亘って抽出される（ステップ２２０）。各トレースについて、各トレースが空領域から生じた可能性があるかどうかを決定するために、複数の空トレースシグナチャ（以下詳述）が測定される（ステップ２２２）。候補領域が空である可能性又は信念は、抽出された全てのトレースから投票することによって決定される（ステップ２２４）。候補領域の全体としての信念が所定の閾値を越える場合（ステップ２２６）、候補領域は空領域であると宣言され（ステップ２３０）、向きが確認される。
【００２９】
確認処理（ステップ２１６）は、画像の向き揃えのためのより強固な決定のために所望である。この確認処理（２１６）により、向き情報の源の信頼性が高いため、決定された空の向き、従って画像の向きの信頼の度合いが高くなる。画像の向きを決定するために空の色の領域の位置を使用する従来の方法は、信頼性が低い。空の色のテクスチャの低い領域における飽和度低下効果を用いる本発明による方法は、遙かに信頼性が高い。実際、向きを識別するためのより信頼性の高い方法は、確認された空領域において飽和度低下効果（例えば以下説明する水平線から天頂までの飽和度低下勾配）を用いることである。
【００３０】
全ての候補領域は同様に解析される。検出された空領域が空の向きに一致しない場合、画像全体の向きはより大きいより高い信念の空領域の結果によって決められる。相反する空の向きを有する領域は無視される。
【００３１】
人間の視覚系には、空は青、草は緑、土は灰色／赤／茶、水は青／緑に見えることが殆ど公理のようなものである。しかしながら、ディジタル画像に実際に記録されるものは幾らか異なる。これは、朝焼け及び夕焼けに関連する暖色を含む空の領域についていえるだけでなく、示される色の記録物よりも更に青みがかって見える空の領域についてもいえる。この問題は、画像補足中又はイメージングチェーンの他の段階において導入される誤りにより、画像全体の色バランスが崩れうることによって、更に混乱される。
【００３２】
カラー画像中の空の青のみかけは、物理学的な結果だけでなく、人間の生理的及び心理的な面の結果によるものであり、青く見える空画像における赤及び緑成分は、青成分よりも（僅かなパーセント割合で）強くなりうる。更に、例えば太陽自体、照らされた雲、雪、氷、又は人工的な対象が青い空よりも明るくされうるとしても、晴れた雲のない空は通常は画像中の最も明るい被写体である。太陽は、オレンジ−黄の波長において最も明るく照射する。空気の粒子の波長選択的散乱は、散乱は波長の４乗に反比例することを示すレイリーの法則に従って、太陽光線の青光成分をより長い波長よりも強く分散させる（例えば、ここに参照として組み入れられるC.F.Bohren and D.R.Huffman, Absorption and Scattering of Light by Small Particles, New York, John Wiley and Sons, 1983を参照のこと）。空の色は、実際に、殆ど紫（人間の目によってあまり感知されない）によって構成され、幾らかの青、少しの緑、非常に僅かな黄及び赤を含み、これらの成分を全て合計すると、空の青となる（例えば、ここに参照として組み入れられるM. Minnaert, The Nature of Light and Color in the Open Air, New York: 1954を参照のこと）。
【００３３】
しかしながら、空の青のみかけは均一ではない。空はしばしば水平線に向かって飽和度が低下して現れる。太陽をはずして頭上に晴れた空を直接見た場合、散乱された青い光が優位であり、空は濃い青に見える。見る方向を遠い水平線に向かって移動させると、様々な選択的な因子が等化され、空は殆ど白へ飽和度が低下される。
【００３４】
空での光の分布に関する多くの興味深い効果、例えば暈、蜃気楼、虹がある。これらの効果では、光の強度は天頂から水平線にかけて増加し、同時に色は濃い青から白へ変化する。この効果は、主に人間の目と水平線の間の空気層の厚さが厚いことによって生ずる。空気の小さな粒子が選択的に青の光を散乱させるが、散乱された光線は散乱する粒子から人間の目への長い路において最も弱くされる。非常に厚い空気層により、散乱効果と減衰効果は相互に打ち消し合う。
【００３５】
所与の点から距離ｓにある小さい粒子が、分数ｓｄｓ（ｓは色依存散乱係数、ｄｓは粒子の寸法とする）を散乱させると想定する。光の量は、所与の点に到達する前に、ｅ-sxの比率で弱められる。無限に厚い空気層（妥当な近似）から受けられる光は、全ての粒子ｄｓからの寄与の合計、即ち、
【００３６】
【数３】
からなり、これは１に等しい。明らかに、受けた光の量はｓとは独立であり、従って光の色とは独立である。
【００３７】
従って、水平線に近い空は、太陽によって照らされた白いスクリーンと同じ明度及び色を示す。更に、地面に近い空気層は、より多くの浮遊する大きい塵粒子を含み、（空気層が無限の厚さであると考えられなくても）全ての色を等しい強さで散乱させ、光の色をより白くする。
【００３８】
観察者が太陽を背にしており、太陽が観察者の後方から横向きに照っているとき、太陽の位置（水平線よりも高いところにある）と、観察者の制限された視野のため、光の同心的な分布は水平線に略平行となる。観察者が太陽の方向を向いてみているとき（観察者は建物の影の中の影の縁の近傍に立つべきである）、空の明度は太陽の近くでは急速に増加し、目を眩ませるほどとなり、その色は更に白くなる。写真画像では、太陽が水平線上にあるか光の強度が非常に弱い朝焼け又は夕焼けの場合を除き、直接太陽光の写真を撮影することはあまりない。
【００３９】
青い空は色の均一なグラデーションの最も良い例として考えられ、一方、図３Ａ及び３Ｂに示されるように、夕焼けは一定の明度及び色の同心の分布の同様の形状でよりドラマチックな色のグラデーションを示す。更に特定的には、図４Ａ及び３Ｂは、太陽が西の水平線に沈むときに東の水平線に見られる異なる色を示す図である（即ち、昼光対薄明）。薄明の空を検出することは本発明の目的ではないが、この薄明の空の固有のシグナチャはより一般的な空検出処理において使用されうる。実際に、本発明によって使用される特性のうちの１つがターンオフされると、以下に説明するように、方法は、図３Ｂ中の薄明の空を検出することに成功する。
【００４０】
また、しばしば空の色と区別することが可能でない水の色を決定する因子について見ることも重要である。人間の目が水から受ける光の一部は表面によって反射され、表面が平滑であるときに鏡のように作用し、水の色は、空の色により青やグレーとなる。遠くの海（又は任意の大きい開いた水域）の色は、２０°乃至３０°の高さの空の色と略同じである。これは、人間が遠くのウェーブレットのスロープを見ているときに、光の一部のみが反射されるためである（例えば上記のMinnaertを参照のこと）。
【００４１】
深い水は、反射のほかに、「それ自体の色」即ち散乱されて下から戻る光の色を有する。深い水及び同じように深い水の深さは、水の底から実質的に全く光が戻らないほど深いと考えられうる。「それ自体の色」は、水中での散乱及び吸収の組み合わされた効果に寄与する。深い、殆ど純粋な水の色は、光が水を通過し、散乱されて戻った後、スペクトルのオレンジ及び赤の部分での水による吸収により、青である。
【００４２】
空検出のため、青い（通常は深い）水域を、空と一緒に現れるか現れないかに関わらず、空とは区別することが重要である。考慮される要因は、水による光のオレンジ及び赤の成分の吸収である。かかる深い水域の波及び波動は、様々な勾配の小さい面を形成する。一般的に、見る方向により垂直な面又はより近い面を見るときに色は暗くなる。しかしながら、変化するのは、主に色相ではなく明度である。
【００４３】
ここで色分類について説明すると、上述したように（例えば図２のブロック２０１）、本発明はまず、簡単化及び明瞭性のため、特に昼間に見られる晴れた明るい青い空について色分類器を学習させる。朝焼け及び夕焼けに関連する暖色を含む空領域は、多くの屋外シーンにおいて背景をなす青い空又はグレーの空とは一緒にされない。本発明では、色に基づく検出によって全ての候補青い空画素を識別し、これらは晴れた空と一貫性のある空間的なシグナチャについての領域としてのスクリーンである。
【００４４】
次に、色分類器の学習を完了するために、ニューラルネットワーク学習が用いられる。最初の学習セットは、理想の青い空の特徴、グレーの空の画像、及び空ではない（主に屋内の）画像を有する画像を含む。全ての青い空の画素は肯定的な例として含まれ、否定的な例は全ての画素から青い空でも水でもない画素をサンプリングすることによって含まれる。
【００４５】
フィードフォワードニューラルネットワークは、３又は２のニューロンを含む２つの隠れ層と単一の出力ニューロンとによって構成される（例えば、Howard Demuth and Mark Beale, Matlab Neural Network Toolbox, The Math Works, Inc., 1998を参照のこと）。隠れ層のニューロンは、タンジェント−シグモイド伝達関数を有し、出力ニューロンの伝達関数はログ−シグモイドである。ネットワークは、画素値を理想の青い空又は空でないものとして分類するために、Levernberg-Marquardtバックプロパゲーションを用いて学習された（例えばHoward Demuth and Mark Bealeを参照のこと）。ターゲット応答は、理想の青い空ではａ＝１であり、空でないときはａ＝０である。
【００４６】
このように学習された色分類器は、処理された各画素について０乃至１の信念値を有し、１は画素が青い空である可能性が高いことを示し、０は画素が青い空である可能性があまり高くないことを示す。（ｒ，ｇ，ｂ）入力空間中の点に対する本発明の応答を視覚化するため、本発明により処理される例の画像から得られる（ｒ，ｇ，ｂ）トリプレットの規則的な間隔のグリッドが図４Ａに示され、各色平面は図４Ｂ乃至４Ｄに別々に示されている。
【００４７】
図４Ａ中、０．１よりも大きい青い空の信念を生成する点は、「．」で示されている。この分布の３つの平面への投影もまた示されている（「ｏ」によって示される。）。分布はルミナンスの方向に非常に細長く延びており、低いルミナンスに向かってわずかに発散し始めることに注意すべきである。特定に入力画像について、各画素は別々に分類され、信念マップは、各画素の明度をその信念値に比例するよう設定することによって形成される。このような信念マップの例は、図１２Ｅ−Ｆ及び図１３Ｅ−Ｆに示される。
【００４８】
図５は、本発明による色分類器の画素レベルの受信器動作特徴（ＲＯＣ）を示す図である。この曲線は、色分類器における処理の後に様々なレベルにおける厳しい閾値が続いた場合の真の肯定的なパフォーマンスと偽の肯定的なパフォーマンスを示す。
【００４９】
従来、大局閾値は動的でなく、図５に示されるグラフの曲線上の左上の隅に最も近い位置を探すことにより見つけられる。例えば、０．０１２５の閾値を用いることにより青い空画素の９０．４％の正しい検出が与えられるが、１３％の青い空でない画素も検出する。これらの検出された青い空でない画素のうち、水がかなりの部分を占める。これに対して、本発明は、所定の「厳しい」閾値を使用するのではなく、各領域を一組の空シグナチャに対して検証する前に領域抽出方法を実行する。この処理について、以下、図７を参照して詳述する。
【００５０】
更に特定的には、本発明の領域抽出処理（例えば上述のブロック２０２）は、信念ヒストグラム中で低い信念から高い信念へ動くときに存在する第１の谷点を見つけることによって空色信念マップについての適当な閾値を自動的に決定し、次に図７に示されるような連結成分解析を実行する。更に、本発明によれば、連結された成分は空セグメントの領域レベルの表現を生成するために細分化され、これにより画素レベルでは不可能であった空シグナチャ検証が容易となる。
【００５１】
図６中、（図２の）領域抽出処理（ステップ２０２）についての詳細が与えられている。各画素値が空の色を有する画素の信念に比例する信念マップ７１について、図７を参照して以下説明するように、大局閾値７２が適応的に決定される。この閾値を用いて２値マップ７３が形成され、「１」画素は候補空画素と考えられ、「０」画素は空でない画素と考えられる。空間的に連続する「１」画素の領域である連結成分は、空の色の空間的に分離されたゼロでない領域を生成するために固有にラベル付けされる（ステップ７４）。空でない画素は、廉潔性とは無関係に「０」とラベル付けされる。（本願では「ラベルなし」と称される。）空の色の各連結結成分は、空の色の連結成分を生成するため（ステップ７６）、以下詳細に示す２つの演算を用いて細分化される（ステップ７５）。オープンスペースマップ７７（やはり以下に説明する）は、図２中ブロック２０２によって出力される候補空領域を生成するために組み合わされる。
【００５２】
図７は、本発明による方法を、大局閾値を動的に決定する本発明の方法を示す。まず、空の色の信念マップから信念値のヒストグラムが得られる。次にヒストグラムは、雑音（図７中の曲線を生成する）。第１の顕著な谷（例えば図７中の「第１の谷」）は、平滑化されたヒストグラムの中に含まれる。明らかな空領域があり、その他は全て明らかに空ではない単純な画像では、ヒストグラムは２つのピークとその間の１つの谷のみを有する。複雑な画像には、空と、水と、他の青い領域がある。従って、本発明は各画像について異なるヒストグラムを用い、本発明によって処理される個々の画像に対して動的な閾値が形成されることを可能とする。
【００５３】
上述のSaberでは、平滑化されたヒストグラム中の最後の谷は、画像中の真の空領域が常に最も高い確率を有するという仮定に基づいて、最尤推定（ＭＬＥ）スキームでユニバーサル閾値を調整するために使用される。しかしながら、幾つかの場合、青色の空でない領域が、色に関して高い空信念を有しうる。従って、本発明は、更なる解析のために全ての空の色の領域を保持し、空検出処理のより高い段階において空の色を有する空でない領域を排除する。従って、第１の谷がある位置の信念値が大局閾値として選択される。上述のように、この閾値は空の異なる影及び画像補足条件を適応させるために個々の画像について決定される。
【００５４】
上述のブロック７５において説明される２つの細分化動作のうちの１つは、領域分割である。領域分割は、異なる対象に属するが空の色を有するということに関しては同様の信念値を有する空間的に連結された青っぽい（潜在的な空）領域を分割するために用いられる。例えば、かかる領域は、青い空を背景とする青い布でありうる。かかる領域は、（空の典型的な色であるという）同様の信念を有し、従って信念マップ中で分離することができない。
【００５５】
しかしながら、かかる領域は青の色の異なる影を有し、従って適応ｋ平均処理（ここに参照として組み入れられるJ.Luo, R.T.Gray, H.-C.Le "Towards a Physics-Based Segmentation of Photographic Color Images," in Proc. IEEE Int. Comf. Image Process., 1997を参照のこと）。本発明は、この処理を使用し、領域が色セグメント化領域の多数の領域についての集合でなければ、空の色の領域を２つ以上の領域（固有の新しいラベル）へ分割する。
【００５６】
本発明の他の実施例では、汎用色分割処理の代わりに、オープンスペース検出処理（ステップ７７）（ここに参照として組み入れられる、J. Warnick, R.Mehrotra and R.Senn, のU.S Patent 5,901,245号、"Method and system for detection and characterization of open space in digital images"）が使用されうる。オープンスペースは、画像中の平滑的且つ連続的な領域であると定義される。画像中に所望のキャプション又は図形的な要素を配置するために有用である。
【００５７】
上述の自動的なオープンスペースの処理は、動作の２つの別々の段階に基づく（上述のWarnick）。まず、正しい色空間変換が実行された後、勾配に基づくアクティビティマップが計算され、多領域ヒストグラム解析により正しい閾値が決定される。第２の段階では、ボイドを埋めるために２値アクティビティマップに対して連結成分解析が実行され、小さい領域が排除される。上述のWarnickで実施されるオープンスペースの処理は、効果的且つ効率的である。その速度は、色セグメント化方法に必要とされる速度の数分の１である。オープンスペースの検出は、候補領域の平滑さについての追加的な確認を与える。従って、本発明のこの望ましい実施例では、本発明はオープンスペースの検出処理を用いる。このように、オープンスペースの検出は、（１）非常にテクスチャ化された領域を排除するため、（２）空を水域といった他の青ではない領域から分離するために組み入れられる。
【００５８】
図６のステップ７５で実行される第２の細分化動作は、領域成長を含む。本発明の領域制御処理は、孔を埋め、境界を拡張するために使用される。これは特に、「周縁」画素が、大局閾値に僅かに達しないが、最初の大局閾値を合格した近傍の画素の信念値に十分に近い空色信念値を有しうる場合に有用である。
【００５９】
本発明によれば、「成長閾値」は、「ラベル付けされていない」画素とその近傍の「ラベル付けされた」画素の信念値の差が、領域成長のための第２の閾値よりも小さい場合に、かかる周縁画素を連結画素に対して再びラベル付けするために使用される。更に特定的には、閾値よりも上の信念値の画素とオープンスペースマップ中の連結成分との交差を取ることによりシード領域が形成される。閾値よりも下の信念値の画素では、領域成長は、信念値の連続性及び色値の連続性によって案内される。小さい独立した空領域は無視される。
【００６０】
図２のブロック２０７について説明された空シグナチャ尺度では、水平線−天頂方向に沿った領域から１次元トレースが抽出される。本発明は、各抽出された領域における垂直勾配及び水平勾配の両方の分布に基づいて空の向きを決定する。
【００６１】
更に特定的には、本発明は、物理学に基づく空のモデルにより、空の向きを決定するために赤の信号を用いる。上述のように、空の物理学に基づくモデルでは、散乱する光の量は光の波長及び散乱角度に依存する。一般的に、水平線に向かう飽和度低下効果は、青の光に対する赤の光及び緑の光の増加によって生ずる。更に、本発明は、青の光が水平線−天頂方向に略不変のままであると決定した。緑の信号の変化は、青の信号ほど顕著でない。従って、赤の信号は、最も信頼性の高い飽和低下効果のしるしが与えられる。従って、不均一な勾配分布は、赤の信号において最もよく観察できる。
【００６２】
飽和度低下効果により、空は水平線−天頂方向に低い勾配を有するが、垂直方向では本質的に一定である。太陽の位置が水平線よりもかなり上であれば、散乱する光の同心分布は、異なる色領域の水平のストリップによって近似されうる（例えば図３のbarring lens falloff効果）。従って、図８Ａ（水平線に平行）及び図８Ｂ（水平線に垂直）に示されるように、勾配の分布は水平方向と垂直方向に異なる特徴を有し、平均１＜＜平均２である。
【００６３】
領域抽出２０２及び向き決定２０５の後、空シグナチャ検証処理は、上述のように、水平線−天頂方向に沿った領域内の１次元トレースを抽出し（ステップ２０６）、一組の規則によりトレースが空から得られるトレースに似ているか否かを決定し（ステップ２０７）、最後に物理学に基づく空トレースモデルに当てはまるトレースの割合によって領域の空信念を計算する。
【００６４】
空から得られる多数の１次元トレースと画像中の幾つかの他の一般的な空の色の被写体の解析に基づき、本発明はこれらのトレースを定量化するモデルを含む。特に、水平線−天頂方向に沿って抽出されるトレースは、図１０Ａに示される空のトレースのシグナチャを示す。トレースの青の信号は空全体に亘って一定である傾向がある。緑の信号及び青の信号は、水平線から遠ざかって徐々に減少し、赤の信号は緑の信号よりも早く減少する。更に特定的には、全ての３つの信号は低次の多項式（例えば２次多項式）によって近似されうる。３つの信号中のマクロ変形は相関されない。比較として、幾つかの他の青の色の被写体はかかるシグナチャを示さない。これに対して、図１０Ｂは、フラッシュ発光された画像中の青い壁の一般的なトレースを示す図であり、３つの信号は平行に平滑に変化している。
【００６５】
同様に、図１１Ｂは、水域を通る一般的なトレースを示す図であり、３つの信号は局所的な変形において強く相関している。これらの２つの場合の両方は、変化が主にルミナンスの変化であることを示す。更に、図１１Ａに示されるように、（白い）雲が晴れた青い空と共に存在する混合された空では、赤の信号及び緑の信号は雲の中では高くジャンプし、青の信号は同じままに維持され中立の雲領域を形成する。一般的に、雲の中で、赤の信号は緑の信号よりも多くジャンプする。
【００６６】
図９は、入力トレースの処理を示すフローチャートである。更に特定的には、ブロック１００では、抽出されたトレースは、図１０Ａ−１１Ｂに示されるトレースモデルに対して解析される。まず、赤、緑、青の３つの信号について夫々、２項多項式当てはめが計算される（ステップ１０１）。２次多項式は、
ｙ＝ｆ（ｘ）＝ｃ１＋ｃ２＊ｘ＋ｃ３＊ｘ2
として示され、式中、ｘは１次元トレースのインデックスを示し、ｙは対応する信号のコード値である。
【００６７】
次に、元のトレース又は当てはめされたトレースのいずれかに基づいて複数の特徴（「シグナチャ」）が計算される。特徴は、青の空トレース（１０４）、又は青の空トレースではない（混合された空トレース（１０５）、水のトレース（１０６）、又は「わからない」（１０７））として特徴付けられうる。以下示される例では、各抽出されたトレースについて１０の尺度（「シグナチャ」）が計算される。しかしながら、当業者は、本願を読むことにより任意の数のかかるシグナチャを準備しうる。
【００６８】
第１のシグナチャは、当てはめ２次多項式のオフセットに関するものである。オフセットは、赤のチャネル、緑のチャネル、青のチャネルの平均値に関連する。このシグナチャ特性は、平均青成分が平均赤成分及び平均緑成分よりも上であることを必要とする。トレースが抽出される特定の方法により、この特徴は実際に、青成分がトレースの殆どの青側で最も強いという要件へ翻訳される。かかる論理ステートメントのためのＣ言語的な疑似コードは、以下の通りである。
【００６９】
【数４】
上述のクリスプな規則を用いる代わりに、条件を破った場合に幾らかのHUGEPENALTYを課すカットオフポイントを有する連続的な値の台形ファジースコアリング関数を用いることが有利でありうる。
【００７０】
第２の典型的なシグナチャは、当てはめ２次多項式の傾斜に関するものである。一般的に、トレースが抽出される特定の方法により、ＲＧＢ信号の傾斜は負である。この特徴は、青の信号が（減少するのであれば）赤の信号及び緑の信号よりもゆっくりと減少することを必要とする。一方、この特徴により単調増加（正の傾斜）もまた可能である。かかる論理ステートメントについてのＣ言語的疑似コードは以下の通りである。
【００７１】
if (cb[2] > cg[2] && cb[2] > cr[2])
sig2 = 1;
if (!sig2 && sig2bg && sig2br)
sig2 = 1;
これは、クリスプな規則として実施される。ただし、sig2の厳しい条件を、sig2が満たされない場合に、より緩く定義される２つの条件sig2bg及びsig2brへゆるめられる。
【００７２】
第３のシグナチャは、当てはめられた信号間の類似性又は平行性に関するものである。かかる論理ステートメントについての疑似コードは、以下の通りである。
【００７３】
if ((rgdist < brdist && bgdist < brdist) || (rgdist < bgdist && rgdist < brdist))
sig3 = 1;
ここで、rgdistは、２つの当てはめられた赤の信号と緑の信号の間の差（「距離」）を示すために使用される。これは以下のようにして決められる。まず、２つの信号のうちの１つが、移動された信号が移動されていない信号の開始点と同じ値を有するように適当に移動される。当てはめられた赤の信号と緑の信号を、
【００７４】
【数５】
とすると、
【００７５】
【数６】
であり、ただし、
【００７６】
【数７】
とされる。
【００７７】
次に、当てはめられた赤の信号と緑の信号の差又は距離は、
rgdist = |r(L/2)-g(L/2)| （９）
となり、式中、Ｌはトレースの全長である。換言すれば、この特徴は２つの当てはめられた信号の間の差を、両方の信号が同じ開始値を有するよう一方の信号が移動されたときの２つの中点における距離によって測定する。他の２つの項bgdist及びbrdistは同様に決められる。ここで１つの可能性は、かかる符号情報が絶対差と共に使用されるよう絶対値を使用しないことである。
【００７８】
第４のシグナチャは、赤−緑の類似性に関するものである。赤の信号及び緑の信号は、かなり似ているべきである。かかる論理ステートメントについての疑似コードは、以下の通りである。
【００７９】
if (rgdist < MAXRGDIST)
sig4 = 1;
where
#define MAXRGDIST 15
第５のシグナチャは、低い非線形性に関するものである。全ての３つの信号は低い線形性を有するべきである。かかる論理ステートメントについての疑似コードは以下の通りである。
【００８０】
if ( fabs (cb[3]) < MAXNONLINEARITY &&
fabs (cg[3]) < MAXNONLINEARITY &&
fabs (cr[3]) < MAXNONLINEARITY)
sig5 = 1;
where
#define MAXNONLINEARITY 0.05
上述のクリスプな規則を用いる代わりに、条件を破った場合に幾らかのHUGEPENALTYを課すカットオフポイントを有する連続的な値のシグモイドファジースコアリング関数を用いることが有利でありうる。
【００８１】
第６のシグナチャは、大きい変更のための赤−緑−青相関に関するものである。かかる論理ステートメントについての疑似コードは以下の通りである。
【００８２】
if (largesignal && corr_rg > 0.5 && corr_br < 0.3 && corr_bg < 0.3)
sig6 = 1; //red-grn-blue correlation for large modulation
else if (!largesignal && corr_rg > 0.2 && corr_br < 0.4 && corr_bg < 0.4)
sig6 = 1; //red-grn-blue correlation for small modulation
else if (largesignal == -1)
sig6 = 1; //red-grn-blue correlation for micro modulation
if (largesignal ! = -1 && corr_rg > 0.9 && corr_rg >5*corr_br && corr_rg > 5*corr_bg)
sig6 = -1; //significantly higher red-grn-blue correlation
式中、corr_xyは、信号ｘと信号ｙの相関係数を示す。やはり、上述のクリスプな規則を用いる代わりに、この条件（ｓ＞０．９５）が破られた場合に幾らかのHUGEPENALTYを課すカットオフポイントを有する連続的な値のシグモイドファジースコアリング関数を用いることが有利でありうる。
【００８３】
第７のシグナチャは、赤−緑−青の類似性又は近平行性に関するものである。かかる論理ステートメントについての疑似コードは次の通りである。
【００８４】
if (rgdist < MINDIST && bgdist < MINDIST && brdist < MINDIST)
sig7 = 0;
where
#define MINDIST 1.5
やはり、上述のクリスプな規則を用いる代わりに、この条件（ｓ＞０．９５）が破られた場合に幾らかのHUGEPENALTYを課すカットオフポイントを有する連続的な値のシグモイドファジースコアリング関数を用いることが有利でありうる。
【００８５】
第８のシグナチャは、負の赤／緑傾斜に関するものである。かかる論理ステートメントについての疑似コードは以下の通りである。
【００８６】
if (cr[2] > 0 AND cg[2] > 0)
sig8 = 0;
これは、クリスプな規則として実施される。
【００８７】
第９のシグナチャは、当てはめの良さに関するものである。かかる論理ステートメントについての疑似コードは以下の通りである。
【００８８】
if (rchisq > MAXCHISQ_R && gchisq > MAXCHISQ_G && bchisq > MAXCHISQ_B) sig9 = 0;
where
#define MAXCHISQ_R 50
#define MAXCHISQ_G 25
#define MAXCHISQ_B 100
であり、式中、CHISQはχ二乗当てはめ誤差を示す。
【００８９】
やはり、上述のクリスプな規則を用いる代わりに、この条件（ｓ＜０．１）が破られた場合に幾らかのHUGEPENALTYを課すカットオフポイントを有する連続的な値のシグモイドファジースコアリング関数を用いることが有利でありうる。
【００９０】
第１０のシグナチャは、赤の信号及び緑の信号の減少に関するものである。かかる論理ステートメントについての疑似コードは以下の通りである。
【００９１】
sigA = rdec*gdec;
であり、rdecは、赤の信号が（単調に）減少するかどうかを示す。特に、rdecは、全長の１／４の点における第１のサンプルx1と３／４の点における第２のサンプルx2の２つのサンプルを取ることにより当てはめられた赤の信号を用いて決定される。かかる論理ステートメントの疑似コードは以下の通りである。
【００９２】
if (x2 < x1)
rdec = 1;
else
rdec = 0
他の項gdecは、緑の信号について同様に決定される。これはクリスプな規則として実施される。rdec =1且つgdec=1の場合にのみsigA=1であることに注意すべきである。
【００９３】
これらの１０のシグナチャは、現在の規則に基づく処理に、クリスプな決定として統合される。所与のトレースは、全ての条件が満たされたとき、即ち
if (sig1 && sig2 && sig3 && sig4 && sig5 && sig6 ! = 0 && sig7 && sig8
&& sig9 && sigA)
skysignature =1;
又は、ファジー論理に基づくアルゴリズムでは、
if (sig1 > EFFECTIVEZERO && sig2 > EFFECTIVEZERO && sig3 > EFFECTIVEZERO && sig4 > EFFECTIVEZERO && sig5 > EFFECTIVEZERO &&
fabs(sig6) > EFFECTIVEZERO) && sig8 > EFFECTIVEZERO && sig9 > EFFECTIVEZERO && sigA > EFFECTIVEZERO)
skysignature = (sig1+sig2+…+sig9+sigA)/10
where
#define EFFECTIVEZERO 0.1
の場合にのみ、空のトレースであると宣言される。
【００９４】
殆どが（例えば９５％が）空の色の画素である全ての候補トレースを検査するとき、領域の空の信念は、物理学に基づく空トレースモデルを満たすトレースの割合として計算される。空の信念が閾値（本例では一般的な目的では経験的に０．２５）よりも下であれば、空でないと宣言される。
【００９５】
図１２Ａ乃至図１３Ｈは、様々な画像に対する本発明の作用を示す図である。更に特定的には、図１２Ａ−１２Ｂ及び１３Ａ−１３Ｂは、元の画像が処理されることについて示す。図１２Ｃ−１２Ｄ及び図１３Ｃ−１３Ｄは、上述のように図２中のブロック２０１に示される本発明の色分類処理の結果を示す図打得る。図１２Ｅ−１２Ｆ及び図１３Ｅ−１３ＤＦは本発明によって生成されるオープンスペースマップ（図６中のブロック７７）の結果を示す図である。図１２Ｇ−１２Ｈ及び図１３Ｇ−１３Ｈは、本発明による、空領域を白の部分として、空でない部分を黒の部分として示す図である。図１２Ｃ−１２Ｄ及び図１３Ｃ−１３Ｄの明度は、空の色の信念に比例するが、図１２Ｅ−１２Ｆ及び図１３Ｅ−１３Ｆの明度は分離されたラベルの領域を示すだけである。
【００９６】
本発明は、フィルム及びディジタルカメラといったソースによって生成されるＲＧＢ画像に対して非常によく作用する。検出される空領域は、知覚的な境界に対して非常によい整合を示す。図１２Ａ乃至１２Ｈに示される幾つかの例は、本発明の作用を示す。図１２中、空と海は正しく分離され、真の空領域が検出される。図１２Ｂの画像は、空の向きの正しい検出に基づいて本発明による方法によって正しく検出されている。空領域の正しい検出に基づき、図１２Ｂ中の画像は左向きの肖像画像であると決定される。図１３Ａ中の平滑な青い対象及び図１３Ｂのテクスチャ化されたテーブルクロスは、本発明により夫々正しく排除されている。これらの２つの画像中に真の空領域がないことにより、画像の向きは未決定のままとされる。（１）青い領域は空である、及び、（２）空は常に上部にある（例えば上述の（例えば上述のGoodwin）という仮定の下、画像は図１３Ａでは左向き、図１３Ｂでは倒立として間違って決定されうる。
【００９７】
本発明による空シグナチャ検証処理の有効性が与えられていれば、色分類段階をゆるめて、夕焼け又は朝焼けのときの影といった空の青でない影を含むようにすることが可能である。曇った空に対して、夕焼け又は朝焼けのときの雲のない空は、日中の同じ部分と同様の散乱効果を示す。主な差は、昇っている又は沈んでいる太陽からの暖色の色合いである。
【００９８】
候補領域の２次元平面当てはめは、空の検証を行なうための他の方法である。孔のある領域については、孔の位置の重み係数をゼロに設定して空の色の画素のみが平面当てはめに寄与するようにすることができる。偽の行程の検出の潜在的な増加を制限するため、孔を明るい中立の対象（雲）だけによるものとすることが必要でありうる。
【００９９】
従って、本発明は、色分類、領域抽出、及び物理的空シグナチャ検証に基づく空検出のためのシステムを含む。本発明は、フィルム及びディジタルカメラを含むソースからの８ビット画像に対して予めバランス調整し、正しいダイナミックレンジ調整を行ったものに対して非常に良く作用する。検出された空領域は、近くされた空境界に対する非常によい空間的整合を示す。
【０１００】
上述のように、本発明は、空中の小さい粒子による光の散乱に基づく空の物理的モデルを使用する。（色又はテクスチャモデルではなく）物理的モデルを使用することにより、本発明は水、壁、玩具、服等の同じような色の他の被写体によってだまされる可能性が低い。更に、本発明による領域抽出プロセスは、空の色の信念マップのための適当な閾値を自動的に決定する。物理的モデルを色フィルタ及びテクスチャフィルタと共に用いることにより、本発明により従来のシステムよりも優った結果が得られる。
【０１０１】
【発明の効果】
本発明の１つの利点は、画像の向きを決定するために空気中の小さい粒子による光の散乱に基づく空の物理的モデルを使用することにある。（テクスチャモデルではなく）物理的モデルを用いることにより、本発明は水、壁、玩具、服等の同じような色の他の被写体によってだまされる可能性が低い。更に、本発明による領域抽出プロセスは、空の色の信念マップのための適当な閾値を自動的に決定する。物理的モデルを色フィルタ及びテクスチャフィルタと共に用いることにより、本発明により従来のシステムよりも優った結果が得られる。
【図面の簡単な説明】
【図１】本発明の１つの実施例を示す概略構成図である。
【図２】本発明の１つの実施例を示す概略構成図である。
【図３Ａ】晴れた空での昼光の色を示す概略図である。
【図３Ｂ】晴れた空での薄明の色を示す概略図である。
【図４Ａ】色空間中の青い空のクラスタを３次元グラフとして示す図である。
【図４Ｂ】クラスタを生成する１つの色平面を示す図である。
【図４Ｃ】クラスタを生成する他の色平面を示す図である。
【図４Ｄ】クラスタを生成する他の色平面を示す図である。
【図５】空の色の分類の受信器動作特徴（ＲＯＣ）を示すグラフ表現である。
【図６】本発明の領域抽出部を示す概略構成図である。
【図７】本発明による空の色の信念のための閾値決定を示すグラフ表現である。
【図８Ａ】空領域中の勾配の大きさの典型的な分布を示すグラフ表現である。
【図８Ｂ】空領域中の勾配の大きさの典型的な分布を示すグラフ表現である。
【図９】本発明によって実行されるトレース分析を示す概略構成図である。
【図１０Ａ】晴れた空の典型的なトレースを示す図である。
【図１０Ｂ】青い壁の典型的なトレースを示す図である。
【図１１Ａ】空と雲が混ざった典型的なトレースを示す図である。
【図１１Ｂ】水の典型的なトレースを示す図である。
【図１２Ａ】本発明によって処理される画像の１つの段階を示す図である。
【図１２Ｂ】本発明によって処理される画像の他の段階を示す図である。
【図１２Ｃ】本発明によって処理される画像の他の段階を示す図である。
【図１２Ｄ】本発明によって処理される画像の他の段階を示す図である。
【図１２Ｅ】本発明によって処理される画像の他の段階を示す図である。
【図１２Ｆ】本発明によって処理される画像の他の段階を示す図である。
【図１２Ｇ】本発明によって処理される画像の他の段階を示す図である。
【図１２Ｈ】本発明によって処理される画像の他の段階を示す図である。
【図１３Ａ】本発明によって処理される画像の１つの段階を示す図である。
【図１３Ｂ】本発明によって処理される画像の他の段階を示す図である。
【図１３Ｃ】本発明によって処理される画像の他の段階を示す図である。
【図１３Ｄ】本発明によって処理される画像の他の段階を示す図である。
【図１３Ｅ】本発明によって処理される画像の他の段階を示す図である。
【図１３Ｆ】本発明によって処理される画像の他の段階を示す図である。
【図１３Ｇ】本発明によって処理される画像の他の段階を示す図である。
【図１３Ｈ】本発明によって処理される画像の他の段階を示す図である。
【符号の説明】
１０ ディジタル画像
２０ 画像処理段階
３０ 結果
４０ 画像変更段階
５０ 変更された画像
【発明の属する技術分野】
本発明は、ディジタル画像処理及びディジタル画像理解の分野に関連し、更に特定的には、空を含む写真及び他の同様の画像中の向きを決定するシステムに関連する。
【０００２】
【従来の技術】
ディジタル画像は、ネガフィルム上に捕捉された画像を走査すること、又はディジタルカメラから直接ダウンロードすることといった多くの手段を通じて捕捉されうる。撮影者は、カメラを可能な方向のいずれか（直立、倒立、右向き、左向き）で保持して撮影しうる。それに加え、フィルムは左から右へ、又は右から左へロードされ、画像の向きが予測できない。これまでは操作者が行う必要があった面倒な画像の向きを揃える動作を回避するため、画像の向きを感知する自動的な方法を有することが有利である。これは、商用システムにおける大量画像処理の効率を高めるためにも重要である。
【０００３】
空は、重要な被写体のうちの１つであり、写真画像中にしばしば見られる。空を検出することにより、様々な画像の理解、強調、操作タスクが容易となる。空は、シーン分類（例えば、屋外シーンと屋内シーン、ピクニックシーンと会議シーン、都市と風景等）のための屋外画像の強い指標である。例えば、M.Szummer and R.W.Picard, "Indoor-Outdoor Image Classification", in Proc. IEEE Intl. Workshop on Content-based Access of Image and Video Database, 1998及びA. Vailaya, A. Jain, and H.J. Zhang, "On Image Classification: City vs. Landscape," in Proc. IEEE Intl. Workshop on Content-based Access of Image and Video Database, 1998（共にここに参照として組み入れられる）を参照のこと。
【０００４】
空の最も顕著な特徴はその色であり、空が晴れているときはその色は通常は薄い青である。このような特徴は画像中の空を検出するために使用されてきた。例えば、F.S. Jamzadehによる「Method and Apparatus for Using Film Scanning Information to Determine the Type and Category of an Image」なる名称の米国特許第５，８８９，５７８号（ここに参照として組み入れられる）は、更なる記述を与えることなく空を検出するために色のキュー（「薄い青」）を使用することについて記載している。
【０００５】
Saber et al. (E. Saber, A.N. Tekalp, R. Eschbach, and K. Knox), "Automatic Image Annotation Using Adaptive Color Classification", CVGIP: Graphical Models and Image Processing, vol. 58, pp. 115-125, 1996（ここに参照として組み入れられる）では、空を検出するために色分類が使用される。空の画素は、２次元ガウス確率密度関数（ＰＤＦ）に従うと想定される。従って、空の画素を決定するために、所与の画像についての適応的に決定される閾値と共に、マハラノビス距離と同様の計量が用いられる。最後に、画像の分類及び注釈（例えば「屋外」、「人々」）を決定するために、上述の色分類にのみ基づいて画像から抽出される空、草、肌の有無に関する情報が使用される。Saberは、既知であると想定される画像の向きの決定については扱っていないことに注意すべきである。
【０００６】
Robert M. Goodwinによる「Whole Order Orientation Method and Apparatus」なる名称の米国特許第５，６４２，４４３号（ここに参照として組み入れられる）は、画像中の空に関連付けられる画素を示すために色及びテクスチャ（が無いこと）を用いる。特に、Goodwinによれば、色度により領域をセクタへ分割する方法が用いられている。方向が揃えられていない画像の２つの長辺に沿ったサンプリングゾーンの画素が調べられる。空の色の非対称的な分布が見つかると、画像の向きが推定される。写真の注文全体の向きは、その注文の個々の画像についての推定値に基づいて決定される。Goodwinによる注文全体の向きの方法が成功するには、十分に大きな特徴の群（少なくとも８０％の成功率を有するものが殆ど各画像ごとに見つかる）か、又はより小さい特徴（９０％以上の成功率であり、この特徴が全ての画像の約４０％に見つけられる）の群が必要である。従って、Goodwinでは、非常に強固な空検出方法は必要とされていない。
【０００７】
画像の向きを認識するために、空及びその向きに関する知識は、屋外画像についての画像の向きを示しうる。一般的に信じられているのとは逆に、空領域は必ず画像の上部にあるとは限らない。多くの場合、空領域は、画像の上側の境界以外の部分にも接する。
【０００８】
【発明が解決しようとする課題】
従来の技術の主な欠点は、向きを決定するために対象（例えば空）の位置を使用することである。これらの画像中で空を識別する従来のシステムは、空が必ず画像の上部に現れるわけではなく、画像の情報の境界よりも多く接しうるという欠点がある。更に、従来の技術の欠点は、同じように色づけされた又はテクスチャを有する被写体、例えば、青い壁、水域（海、湖等）、青いシャツ等を区別できないことである。更に、空の有無を高い信頼性で検出するのに失敗すること、特に偽の肯定的な検出、及び空の位置が画像の向きを示すという不適切な想定は、向き揃え処理を失敗させうる。
【０００９】
【課題を解決するための手段】
本発明は、色相分類、テクスチャ解析、及び物理学的空トレース解析に基づく強固な空検出システムを提供する。本発明は、明るい空の色の画素を選択するために色相情報を使用し、潜在的な空の領域を見つけるために連結成分解析を用いる。本発明は、テクスチャ内容が低い空領域を確認するために勾配（グラディエント）を用い、同様の空の色の信念であるが同様でない空の色を有する隣接する領域を分割するために平滑な広がりとして画成されるオープンスペースをセグメント化する。本発明はまた、天頂−水平線方向を決定するために勾配を用い、実際に有効な空領域（単に「空の色の」領域ではない）から得られる決定された向きを確認するために物理学的空トレースシグナチャを使用する。
【００１０】
更に特定的には、本発明は、画像の向きを決定するための方法、画像認識システム、コンピュータプログラム等の形式を取ることができる。本発明は、画像中の潜在的な空画素を色によって分類し、潜在的な空画素の空間的に連続する領域を識別し、所定のテクスチャ閾値を越えるテクスチャを有する領域を除去することによって実際の空領域を識別し、実際の空領域の飽和度低下（desaturation）勾配を計算し、実際の空領域の夫々の中の画素の水平飽和度低下勾配の平均値及び垂直飽和度低下勾配の平均値に基づいて画像を肖像又は風景のいずれかとして分類し、平均水平飽和度低下勾配及び平均垂直飽和度低下勾配の極性に基づいて画像の向きを決定し、水平飽和度低下勾配及び垂直飽和度低下勾配を空についての所定の飽和度低下勾配と比較することによって実際の空領域が真の空領域であるかどうかを確認する。
【００１１】
本発明はまた、空間的に連続する領域のうち、実質的に類似しない平均水平勾配及び平均垂直勾配を有し、空についての所定の色分布と一致する色分布を有し、画像の境界に接するもののみを、実際の空領域として維持する。
【００１２】
画像を肖像又は風景として分類することは、平均水平飽和度低下勾配の絶対値が平均垂直飽和度低下勾配の絶対値よりも大きい場合に画像を肖像として分類し、平均水平飽和度低下勾配の絶対値が平均垂直飽和度低下勾配の絶対値よりも小さい場合に画像を風景として分類することを含む。飽和度低下勾配は、画像の赤、緑、青のトレース成分についての飽和度低下勾配を含む。
【００１３】
空についての所定の飽和度低下勾配は、水平線から天頂にかけて、赤及び緑の光トレース成分の減少と、実質的に一定の青の光トレース成分とを含む。
【００１４】
画像中の潜在的な空画素を色によって分類することは、空の色の画素の信念マップを作成し、空の色の適応閾値を計算し、潜在的な空画素が閾値を越えるかどうか決定することを含む。適応閾値の計算は、信念マップから得られる信念ヒストグラム中の第１の谷を識別することを含む。信念マップ及び信念ヒストグラムは、画像に固有のものである。
【００１５】
【発明の実施の形態】
上述のように、これまでは操作者によって行われねばならなかった、厄介な画像の向き揃えを回避するために画像の向きを感知する自動的な方法を有することが有利である。また、商用システムにおける大量画像処理に関しても効率性について重要である。更に、強固な空検出処理は、色及びテクスチャを越えてなされる必要がある。特に、可能であれば真の空の領域を他の同様の色及びテクスチャを有する被写体と区別するために、空の物理的モデルが所望とされる。以下説明される本発明は、可能であれば真の空の領域を他の同様の色及びテクスチャを有する被写体と区別する強固な空検出処理を提供する。
【００１６】
本願では、空検出は、空の閉塞されていない部分に対応する画像中の全ての画素を識別することを含む。更に、空の検出により、個々のセグメント化された領域に、空を含む確率が割り当てられる。確率を用いた表現を使用するか、これをクリスプな決定に変換するかは、画像理解システムの続く従来の処理にゆだねられる。本発明の幾つかの重要な特徴は、色相分類、テクスチャ解析、及び物理的空トレース解析に基づく強固な空検出処理、明るい空の色の画素を選択するために色相情報を使用すること、潜在的な空領域を見つけるために連結成分解析を用いること、空領域のテクスチャ内容が低いこと（即ちオープンスペースであること）を確かめるために勾配を使用すること、同様の空の色の信念を有し同様でない空の色を有する隣接する領域を分割するためにオープンスペースのセグメント化を使用すること、天頂−水平線方向を決定するために勾配を使用すること、候補領域が空モデルに当てはまるかどうかを決定するために物理的空トレースシグナチャを使用することを含む。
【００１７】
本発明の主要な事項は、ディジタル画像理解技術、即ちディジタル画像を理解しそれにより人間によって理解可能な対象、属性又は条件に対して有用な意味を割り当てるよう処理し、次に得られた結果をディジタル画像の更なる処理に用いることに関する。
【００１８】
図１は、空検出システム（例えばディジタル画像理解技術）全体を示すブロック図である。まず、ディジタル画像（１０）がディジタル式に処理される（２０）。
画像変更段階（４０）において、処理段階（２０）から得られる結果（３０）と、元のディジタル画像（１０）とを用いて、変更画像（５０）が生成される。
【００１９】
ここで図２を参照するに、本発明を更に特定的に示すブロック図が示されている。図２中、入力画像はディジタル形式で受信される（ステップ２０２）。次に、以下詳述するように分類処理において色分類器を用いて、画素は空の色の画素と空の色でない画素に分類される（ステップ２０４）。以下説明する連結成分解析を用いて、空の色の画素の空間的に連続する領域が抽出される（ステップ２０６）。かなりの寸法の連結成分が存在しない場合は、画像の向きは本発明によっては決定できない（ステップ２０７）。これに対して、画像中の連結成分のうちの少なくとも１つが所与の閾値を越える寸法を有する場合、処理は以下のように続く。
【００２０】
上述の連結成分寸法閾値は、手動で又は自動に決定されうる。最小連結成分寸法閾値は、画像領域全体の幾らかの割合として設定されうる。例えば、連結成分寸法閾値は、画像領域全体の１％、１５％、２５％、５０％、７５％に設定されえ、１つの望ましい実施例では、画像領域全体の１０％に設定される。或いは、閾値は履歴に基づいて自動的に決定されうる。例えば、履歴データベースは、画像の特定のタイプについての最適最小連結成分寸法を示す向きについて維持されうる。また、画像のバッチのうちの幾つか又は全ては、バッチ中の全ての画像を実際に向きを変える前に最適閾値寸法を決定するために異なる連結成分寸法限界を用いて前処理される（例えば小さいテストランが実行されうる）。
【００２１】
以下説明するように、連結成分（又は「領域」）の各内部画素に対して勾配演算子が与えられ、水平及び垂直勾配値が計算される（２０８）。連結成分の境界の近傍の画素（例えば連結成分の周りの外側から２つの画素）は、空と他の被写体との間、例えば水平線における大きさのかなりの遷移を示すため、勾配の計算から排除されることが望ましい。
【００２２】
平均の水平勾配値Ｇｘ及び垂直勾配値Ｇｙは、（以下説明するように）候補領域の全ての内部画素を用いて計算される。本発明より多数の試験が使用され、様々な候補領域が失格とされる（ステップ２０９）。更に特定的には、いずれかの勾配値が所定の上限閾値Ｔhighを越えるとき、即ち領域のテクスチャが多い場合、領域は空領域であるとは考慮されないことを意味する。｜Ｇｘ｜と｜Ｇｙ｜が略同一であり、平坦な領域を示す場合も、領域は空領域であるとは考慮されない。更に、候補領域中の全ての画素の色（色相）分布が空領域の予想される特徴に当てはまらない場合も、領域は空領域であるとは考慮されない。色の分布に関して、空の色の分布の３次元形状が、以下に示される飽和度低下効果の結果として、傾斜した楕円体に似ているべきである。また、候補領域がどの画像境界とも接していなければ、空である可能性は低い。画像が許容できる候補空領域を含まない場合、本発明は向きを決定することができず、処理は未決定の向きを生成する（ステップ２１８）。
【００２３】
少なくとも１つの候補領域が低テクスチャ試験に合格すれば、候補空領域の夫々について風景／肖像の向き（２１０）と、水平線の向き（２１２）が決定される。特に、望ましくは、赤のチャネルでは飽和度低下効果が最もよく観察可能であり測定可能であるため、赤のチャネル中の勾配が調べられる。水平勾配Ｇｘ及び垂直勾配Ｇｙは、風景であると想定されるがシーンの向きとは関連しない画像の入来する向きを示すものとする。特に、｜Ｇｘ｜＞｜Ｇｙ｜であれば、風景画像である可能性が高いことを示している。そうでなければ、画像は肖像画像である可能性が高い。更に、風景画像では、Ｇｘ＜０であれば直立画像である可能性が高いことが示されており、そうでなければ倒立画像である可能性が高い。肖像画像では、Ｇｙ＜０であれば、左向き画像である可能性が高いことが示され、そうでなければ右向き画像である可能性が高い。
【００２４】
この情報を用いて、本発明は正しい画像の向きを正確に決定すること（２１４）が可能である。本発明では、画像の勾配は以下の、Sobelカーネルを用いて計算される。
【００２５】
【数１】
ｇx＝ＳxΘＩ及びｇy＝ＳyΘＩ
が得られる。候補領域の平均勾配は、
【００２６】
【数２】
【００２７】
従来の向き揃え処理は、単純に「空が画像の上部にある」（上述のGoodwin）という想定に基づくものである。これに対して、本発明は、シーンの向きを決定するために、空の内部特徴、即ち空は上部では青く、水平線に向かって飽和度低下となることを用いる。
【００２８】
画像の向きは、ステップ２１６のサブプロセスに示されるように、画像中の空の位置を確認することによって更に確認されうる。より特定的には、上述において決定されたように、トレースは、水平線−天頂方向に沿った候補空領域に亘って抽出される（ステップ２２０）。各トレースについて、各トレースが空領域から生じた可能性があるかどうかを決定するために、複数の空トレースシグナチャ（以下詳述）が測定される（ステップ２２２）。候補領域が空である可能性又は信念は、抽出された全てのトレースから投票することによって決定される（ステップ２２４）。候補領域の全体としての信念が所定の閾値を越える場合（ステップ２２６）、候補領域は空領域であると宣言され（ステップ２３０）、向きが確認される。
【００２９】
確認処理（ステップ２１６）は、画像の向き揃えのためのより強固な決定のために所望である。この確認処理（２１６）により、向き情報の源の信頼性が高いため、決定された空の向き、従って画像の向きの信頼の度合いが高くなる。画像の向きを決定するために空の色の領域の位置を使用する従来の方法は、信頼性が低い。空の色のテクスチャの低い領域における飽和度低下効果を用いる本発明による方法は、遙かに信頼性が高い。実際、向きを識別するためのより信頼性の高い方法は、確認された空領域において飽和度低下効果（例えば以下説明する水平線から天頂までの飽和度低下勾配）を用いることである。
【００３０】
全ての候補領域は同様に解析される。検出された空領域が空の向きに一致しない場合、画像全体の向きはより大きいより高い信念の空領域の結果によって決められる。相反する空の向きを有する領域は無視される。
【００３１】
人間の視覚系には、空は青、草は緑、土は灰色／赤／茶、水は青／緑に見えることが殆ど公理のようなものである。しかしながら、ディジタル画像に実際に記録されるものは幾らか異なる。これは、朝焼け及び夕焼けに関連する暖色を含む空の領域についていえるだけでなく、示される色の記録物よりも更に青みがかって見える空の領域についてもいえる。この問題は、画像補足中又はイメージングチェーンの他の段階において導入される誤りにより、画像全体の色バランスが崩れうることによって、更に混乱される。
【００３２】
カラー画像中の空の青のみかけは、物理学的な結果だけでなく、人間の生理的及び心理的な面の結果によるものであり、青く見える空画像における赤及び緑成分は、青成分よりも（僅かなパーセント割合で）強くなりうる。更に、例えば太陽自体、照らされた雲、雪、氷、又は人工的な対象が青い空よりも明るくされうるとしても、晴れた雲のない空は通常は画像中の最も明るい被写体である。太陽は、オレンジ−黄の波長において最も明るく照射する。空気の粒子の波長選択的散乱は、散乱は波長の４乗に反比例することを示すレイリーの法則に従って、太陽光線の青光成分をより長い波長よりも強く分散させる（例えば、ここに参照として組み入れられるC.F.Bohren and D.R.Huffman, Absorption and Scattering of Light by Small Particles, New York, John Wiley and Sons, 1983を参照のこと）。空の色は、実際に、殆ど紫（人間の目によってあまり感知されない）によって構成され、幾らかの青、少しの緑、非常に僅かな黄及び赤を含み、これらの成分を全て合計すると、空の青となる（例えば、ここに参照として組み入れられるM. Minnaert, The Nature of Light and Color in the Open Air, New York: 1954を参照のこと）。
【００３３】
しかしながら、空の青のみかけは均一ではない。空はしばしば水平線に向かって飽和度が低下して現れる。太陽をはずして頭上に晴れた空を直接見た場合、散乱された青い光が優位であり、空は濃い青に見える。見る方向を遠い水平線に向かって移動させると、様々な選択的な因子が等化され、空は殆ど白へ飽和度が低下される。
【００３４】
空での光の分布に関する多くの興味深い効果、例えば暈、蜃気楼、虹がある。これらの効果では、光の強度は天頂から水平線にかけて増加し、同時に色は濃い青から白へ変化する。この効果は、主に人間の目と水平線の間の空気層の厚さが厚いことによって生ずる。空気の小さな粒子が選択的に青の光を散乱させるが、散乱された光線は散乱する粒子から人間の目への長い路において最も弱くされる。非常に厚い空気層により、散乱効果と減衰効果は相互に打ち消し合う。
【００３５】
所与の点から距離ｓにある小さい粒子が、分数ｓｄｓ（ｓは色依存散乱係数、ｄｓは粒子の寸法とする）を散乱させると想定する。光の量は、所与の点に到達する前に、ｅ-sxの比率で弱められる。無限に厚い空気層（妥当な近似）から受けられる光は、全ての粒子ｄｓからの寄与の合計、即ち、
【００３６】
【数３】
【００３７】
従って、水平線に近い空は、太陽によって照らされた白いスクリーンと同じ明度及び色を示す。更に、地面に近い空気層は、より多くの浮遊する大きい塵粒子を含み、（空気層が無限の厚さであると考えられなくても）全ての色を等しい強さで散乱させ、光の色をより白くする。
【００３８】
観察者が太陽を背にしており、太陽が観察者の後方から横向きに照っているとき、太陽の位置（水平線よりも高いところにある）と、観察者の制限された視野のため、光の同心的な分布は水平線に略平行となる。観察者が太陽の方向を向いてみているとき（観察者は建物の影の中の影の縁の近傍に立つべきである）、空の明度は太陽の近くでは急速に増加し、目を眩ませるほどとなり、その色は更に白くなる。写真画像では、太陽が水平線上にあるか光の強度が非常に弱い朝焼け又は夕焼けの場合を除き、直接太陽光の写真を撮影することはあまりない。
【００３９】
青い空は色の均一なグラデーションの最も良い例として考えられ、一方、図３Ａ及び３Ｂに示されるように、夕焼けは一定の明度及び色の同心の分布の同様の形状でよりドラマチックな色のグラデーションを示す。更に特定的には、図４Ａ及び３Ｂは、太陽が西の水平線に沈むときに東の水平線に見られる異なる色を示す図である（即ち、昼光対薄明）。薄明の空を検出することは本発明の目的ではないが、この薄明の空の固有のシグナチャはより一般的な空検出処理において使用されうる。実際に、本発明によって使用される特性のうちの１つがターンオフされると、以下に説明するように、方法は、図３Ｂ中の薄明の空を検出することに成功する。
【００４０】
また、しばしば空の色と区別することが可能でない水の色を決定する因子について見ることも重要である。人間の目が水から受ける光の一部は表面によって反射され、表面が平滑であるときに鏡のように作用し、水の色は、空の色により青やグレーとなる。遠くの海（又は任意の大きい開いた水域）の色は、２０°乃至３０°の高さの空の色と略同じである。これは、人間が遠くのウェーブレットのスロープを見ているときに、光の一部のみが反射されるためである（例えば上記のMinnaertを参照のこと）。
【００４１】
深い水は、反射のほかに、「それ自体の色」即ち散乱されて下から戻る光の色を有する。深い水及び同じように深い水の深さは、水の底から実質的に全く光が戻らないほど深いと考えられうる。「それ自体の色」は、水中での散乱及び吸収の組み合わされた効果に寄与する。深い、殆ど純粋な水の色は、光が水を通過し、散乱されて戻った後、スペクトルのオレンジ及び赤の部分での水による吸収により、青である。
【００４２】
空検出のため、青い（通常は深い）水域を、空と一緒に現れるか現れないかに関わらず、空とは区別することが重要である。考慮される要因は、水による光のオレンジ及び赤の成分の吸収である。かかる深い水域の波及び波動は、様々な勾配の小さい面を形成する。一般的に、見る方向により垂直な面又はより近い面を見るときに色は暗くなる。しかしながら、変化するのは、主に色相ではなく明度である。
【００４３】
ここで色分類について説明すると、上述したように（例えば図２のブロック２０１）、本発明はまず、簡単化及び明瞭性のため、特に昼間に見られる晴れた明るい青い空について色分類器を学習させる。朝焼け及び夕焼けに関連する暖色を含む空領域は、多くの屋外シーンにおいて背景をなす青い空又はグレーの空とは一緒にされない。本発明では、色に基づく検出によって全ての候補青い空画素を識別し、これらは晴れた空と一貫性のある空間的なシグナチャについての領域としてのスクリーンである。
【００４４】
次に、色分類器の学習を完了するために、ニューラルネットワーク学習が用いられる。最初の学習セットは、理想の青い空の特徴、グレーの空の画像、及び空ではない（主に屋内の）画像を有する画像を含む。全ての青い空の画素は肯定的な例として含まれ、否定的な例は全ての画素から青い空でも水でもない画素をサンプリングすることによって含まれる。
【００４５】
フィードフォワードニューラルネットワークは、３又は２のニューロンを含む２つの隠れ層と単一の出力ニューロンとによって構成される（例えば、Howard Demuth and Mark Beale, Matlab Neural Network Toolbox, The Math Works, Inc., 1998を参照のこと）。隠れ層のニューロンは、タンジェント−シグモイド伝達関数を有し、出力ニューロンの伝達関数はログ−シグモイドである。ネットワークは、画素値を理想の青い空又は空でないものとして分類するために、Levernberg-Marquardtバックプロパゲーションを用いて学習された（例えばHoward Demuth and Mark Bealeを参照のこと）。ターゲット応答は、理想の青い空ではａ＝１であり、空でないときはａ＝０である。
【００４６】
このように学習された色分類器は、処理された各画素について０乃至１の信念値を有し、１は画素が青い空である可能性が高いことを示し、０は画素が青い空である可能性があまり高くないことを示す。（ｒ，ｇ，ｂ）入力空間中の点に対する本発明の応答を視覚化するため、本発明により処理される例の画像から得られる（ｒ，ｇ，ｂ）トリプレットの規則的な間隔のグリッドが図４Ａに示され、各色平面は図４Ｂ乃至４Ｄに別々に示されている。
【００４７】
図４Ａ中、０．１よりも大きい青い空の信念を生成する点は、「．」で示されている。この分布の３つの平面への投影もまた示されている（「ｏ」によって示される。）。分布はルミナンスの方向に非常に細長く延びており、低いルミナンスに向かってわずかに発散し始めることに注意すべきである。特定に入力画像について、各画素は別々に分類され、信念マップは、各画素の明度をその信念値に比例するよう設定することによって形成される。このような信念マップの例は、図１２Ｅ−Ｆ及び図１３Ｅ−Ｆに示される。
【００４８】
図５は、本発明による色分類器の画素レベルの受信器動作特徴（ＲＯＣ）を示す図である。この曲線は、色分類器における処理の後に様々なレベルにおける厳しい閾値が続いた場合の真の肯定的なパフォーマンスと偽の肯定的なパフォーマンスを示す。
【００４９】
従来、大局閾値は動的でなく、図５に示されるグラフの曲線上の左上の隅に最も近い位置を探すことにより見つけられる。例えば、０．０１２５の閾値を用いることにより青い空画素の９０．４％の正しい検出が与えられるが、１３％の青い空でない画素も検出する。これらの検出された青い空でない画素のうち、水がかなりの部分を占める。これに対して、本発明は、所定の「厳しい」閾値を使用するのではなく、各領域を一組の空シグナチャに対して検証する前に領域抽出方法を実行する。この処理について、以下、図７を参照して詳述する。
【００５０】
更に特定的には、本発明の領域抽出処理（例えば上述のブロック２０２）は、信念ヒストグラム中で低い信念から高い信念へ動くときに存在する第１の谷点を見つけることによって空色信念マップについての適当な閾値を自動的に決定し、次に図７に示されるような連結成分解析を実行する。更に、本発明によれば、連結された成分は空セグメントの領域レベルの表現を生成するために細分化され、これにより画素レベルでは不可能であった空シグナチャ検証が容易となる。
【００５１】
図６中、（図２の）領域抽出処理（ステップ２０２）についての詳細が与えられている。各画素値が空の色を有する画素の信念に比例する信念マップ７１について、図７を参照して以下説明するように、大局閾値７２が適応的に決定される。この閾値を用いて２値マップ７３が形成され、「１」画素は候補空画素と考えられ、「０」画素は空でない画素と考えられる。空間的に連続する「１」画素の領域である連結成分は、空の色の空間的に分離されたゼロでない領域を生成するために固有にラベル付けされる（ステップ７４）。空でない画素は、廉潔性とは無関係に「０」とラベル付けされる。（本願では「ラベルなし」と称される。）空の色の各連結結成分は、空の色の連結成分を生成するため（ステップ７６）、以下詳細に示す２つの演算を用いて細分化される（ステップ７５）。オープンスペースマップ７７（やはり以下に説明する）は、図２中ブロック２０２によって出力される候補空領域を生成するために組み合わされる。
【００５２】
図７は、本発明による方法を、大局閾値を動的に決定する本発明の方法を示す。まず、空の色の信念マップから信念値のヒストグラムが得られる。次にヒストグラムは、雑音（図７中の曲線を生成する）。第１の顕著な谷（例えば図７中の「第１の谷」）は、平滑化されたヒストグラムの中に含まれる。明らかな空領域があり、その他は全て明らかに空ではない単純な画像では、ヒストグラムは２つのピークとその間の１つの谷のみを有する。複雑な画像には、空と、水と、他の青い領域がある。従って、本発明は各画像について異なるヒストグラムを用い、本発明によって処理される個々の画像に対して動的な閾値が形成されることを可能とする。
【００５３】
上述のSaberでは、平滑化されたヒストグラム中の最後の谷は、画像中の真の空領域が常に最も高い確率を有するという仮定に基づいて、最尤推定（ＭＬＥ）スキームでユニバーサル閾値を調整するために使用される。しかしながら、幾つかの場合、青色の空でない領域が、色に関して高い空信念を有しうる。従って、本発明は、更なる解析のために全ての空の色の領域を保持し、空検出処理のより高い段階において空の色を有する空でない領域を排除する。従って、第１の谷がある位置の信念値が大局閾値として選択される。上述のように、この閾値は空の異なる影及び画像補足条件を適応させるために個々の画像について決定される。
【００５４】
上述のブロック７５において説明される２つの細分化動作のうちの１つは、領域分割である。領域分割は、異なる対象に属するが空の色を有するということに関しては同様の信念値を有する空間的に連結された青っぽい（潜在的な空）領域を分割するために用いられる。例えば、かかる領域は、青い空を背景とする青い布でありうる。かかる領域は、（空の典型的な色であるという）同様の信念を有し、従って信念マップ中で分離することができない。
【００５５】
しかしながら、かかる領域は青の色の異なる影を有し、従って適応ｋ平均処理（ここに参照として組み入れられるJ.Luo, R.T.Gray, H.-C.Le "Towards a Physics-Based Segmentation of Photographic Color Images," in Proc. IEEE Int. Comf. Image Process., 1997を参照のこと）。本発明は、この処理を使用し、領域が色セグメント化領域の多数の領域についての集合でなければ、空の色の領域を２つ以上の領域（固有の新しいラベル）へ分割する。
【００５６】
本発明の他の実施例では、汎用色分割処理の代わりに、オープンスペース検出処理（ステップ７７）（ここに参照として組み入れられる、J. Warnick, R.Mehrotra and R.Senn, のU.S Patent 5,901,245号、"Method and system for detection and characterization of open space in digital images"）が使用されうる。オープンスペースは、画像中の平滑的且つ連続的な領域であると定義される。画像中に所望のキャプション又は図形的な要素を配置するために有用である。
【００５７】
上述の自動的なオープンスペースの処理は、動作の２つの別々の段階に基づく（上述のWarnick）。まず、正しい色空間変換が実行された後、勾配に基づくアクティビティマップが計算され、多領域ヒストグラム解析により正しい閾値が決定される。第２の段階では、ボイドを埋めるために２値アクティビティマップに対して連結成分解析が実行され、小さい領域が排除される。上述のWarnickで実施されるオープンスペースの処理は、効果的且つ効率的である。その速度は、色セグメント化方法に必要とされる速度の数分の１である。オープンスペースの検出は、候補領域の平滑さについての追加的な確認を与える。従って、本発明のこの望ましい実施例では、本発明はオープンスペースの検出処理を用いる。このように、オープンスペースの検出は、（１）非常にテクスチャ化された領域を排除するため、（２）空を水域といった他の青ではない領域から分離するために組み入れられる。
【００５８】
図６のステップ７５で実行される第２の細分化動作は、領域成長を含む。本発明の領域制御処理は、孔を埋め、境界を拡張するために使用される。これは特に、「周縁」画素が、大局閾値に僅かに達しないが、最初の大局閾値を合格した近傍の画素の信念値に十分に近い空色信念値を有しうる場合に有用である。
【００５９】
本発明によれば、「成長閾値」は、「ラベル付けされていない」画素とその近傍の「ラベル付けされた」画素の信念値の差が、領域成長のための第２の閾値よりも小さい場合に、かかる周縁画素を連結画素に対して再びラベル付けするために使用される。更に特定的には、閾値よりも上の信念値の画素とオープンスペースマップ中の連結成分との交差を取ることによりシード領域が形成される。閾値よりも下の信念値の画素では、領域成長は、信念値の連続性及び色値の連続性によって案内される。小さい独立した空領域は無視される。
【００６０】
図２のブロック２０７について説明された空シグナチャ尺度では、水平線−天頂方向に沿った領域から１次元トレースが抽出される。本発明は、各抽出された領域における垂直勾配及び水平勾配の両方の分布に基づいて空の向きを決定する。
【００６１】
更に特定的には、本発明は、物理学に基づく空のモデルにより、空の向きを決定するために赤の信号を用いる。上述のように、空の物理学に基づくモデルでは、散乱する光の量は光の波長及び散乱角度に依存する。一般的に、水平線に向かう飽和度低下効果は、青の光に対する赤の光及び緑の光の増加によって生ずる。更に、本発明は、青の光が水平線−天頂方向に略不変のままであると決定した。緑の信号の変化は、青の信号ほど顕著でない。従って、赤の信号は、最も信頼性の高い飽和低下効果のしるしが与えられる。従って、不均一な勾配分布は、赤の信号において最もよく観察できる。
【００６２】
飽和度低下効果により、空は水平線−天頂方向に低い勾配を有するが、垂直方向では本質的に一定である。太陽の位置が水平線よりもかなり上であれば、散乱する光の同心分布は、異なる色領域の水平のストリップによって近似されうる（例えば図３のbarring lens falloff効果）。従って、図８Ａ（水平線に平行）及び図８Ｂ（水平線に垂直）に示されるように、勾配の分布は水平方向と垂直方向に異なる特徴を有し、平均１＜＜平均２である。
【００６３】
領域抽出２０２及び向き決定２０５の後、空シグナチャ検証処理は、上述のように、水平線−天頂方向に沿った領域内の１次元トレースを抽出し（ステップ２０６）、一組の規則によりトレースが空から得られるトレースに似ているか否かを決定し（ステップ２０７）、最後に物理学に基づく空トレースモデルに当てはまるトレースの割合によって領域の空信念を計算する。
【００６４】
空から得られる多数の１次元トレースと画像中の幾つかの他の一般的な空の色の被写体の解析に基づき、本発明はこれらのトレースを定量化するモデルを含む。特に、水平線−天頂方向に沿って抽出されるトレースは、図１０Ａに示される空のトレースのシグナチャを示す。トレースの青の信号は空全体に亘って一定である傾向がある。緑の信号及び青の信号は、水平線から遠ざかって徐々に減少し、赤の信号は緑の信号よりも早く減少する。更に特定的には、全ての３つの信号は低次の多項式（例えば２次多項式）によって近似されうる。３つの信号中のマクロ変形は相関されない。比較として、幾つかの他の青の色の被写体はかかるシグナチャを示さない。これに対して、図１０Ｂは、フラッシュ発光された画像中の青い壁の一般的なトレースを示す図であり、３つの信号は平行に平滑に変化している。
【００６５】
同様に、図１１Ｂは、水域を通る一般的なトレースを示す図であり、３つの信号は局所的な変形において強く相関している。これらの２つの場合の両方は、変化が主にルミナンスの変化であることを示す。更に、図１１Ａに示されるように、（白い）雲が晴れた青い空と共に存在する混合された空では、赤の信号及び緑の信号は雲の中では高くジャンプし、青の信号は同じままに維持され中立の雲領域を形成する。一般的に、雲の中で、赤の信号は緑の信号よりも多くジャンプする。
【００６６】
図９は、入力トレースの処理を示すフローチャートである。更に特定的には、ブロック１００では、抽出されたトレースは、図１０Ａ−１１Ｂに示されるトレースモデルに対して解析される。まず、赤、緑、青の３つの信号について夫々、２項多項式当てはめが計算される（ステップ１０１）。２次多項式は、
ｙ＝ｆ（ｘ）＝ｃ１＋ｃ２＊ｘ＋ｃ３＊ｘ2
として示され、式中、ｘは１次元トレースのインデックスを示し、ｙは対応する信号のコード値である。
【００６７】
次に、元のトレース又は当てはめされたトレースのいずれかに基づいて複数の特徴（「シグナチャ」）が計算される。特徴は、青の空トレース（１０４）、又は青の空トレースではない（混合された空トレース（１０５）、水のトレース（１０６）、又は「わからない」（１０７））として特徴付けられうる。以下示される例では、各抽出されたトレースについて１０の尺度（「シグナチャ」）が計算される。しかしながら、当業者は、本願を読むことにより任意の数のかかるシグナチャを準備しうる。
【００６８】
第１のシグナチャは、当てはめ２次多項式のオフセットに関するものである。オフセットは、赤のチャネル、緑のチャネル、青のチャネルの平均値に関連する。このシグナチャ特性は、平均青成分が平均赤成分及び平均緑成分よりも上であることを必要とする。トレースが抽出される特定の方法により、この特徴は実際に、青成分がトレースの殆どの青側で最も強いという要件へ翻訳される。かかる論理ステートメントのためのＣ言語的な疑似コードは、以下の通りである。
【００６９】
【数４】
【００７０】
第２の典型的なシグナチャは、当てはめ２次多項式の傾斜に関するものである。一般的に、トレースが抽出される特定の方法により、ＲＧＢ信号の傾斜は負である。この特徴は、青の信号が（減少するのであれば）赤の信号及び緑の信号よりもゆっくりと減少することを必要とする。一方、この特徴により単調増加（正の傾斜）もまた可能である。かかる論理ステートメントについてのＣ言語的疑似コードは以下の通りである。
【００７１】
if (cb[2] > cg[2] && cb[2] > cr[2])
sig2 = 1;
if (!sig2 && sig2bg && sig2br)
sig2 = 1;
これは、クリスプな規則として実施される。ただし、sig2の厳しい条件を、sig2が満たされない場合に、より緩く定義される２つの条件sig2bg及びsig2brへゆるめられる。
【００７２】
第３のシグナチャは、当てはめられた信号間の類似性又は平行性に関するものである。かかる論理ステートメントについての疑似コードは、以下の通りである。
【００７３】
if ((rgdist < brdist && bgdist < brdist) || (rgdist < bgdist && rgdist < brdist))
sig3 = 1;
ここで、rgdistは、２つの当てはめられた赤の信号と緑の信号の間の差（「距離」）を示すために使用される。これは以下のようにして決められる。まず、２つの信号のうちの１つが、移動された信号が移動されていない信号の開始点と同じ値を有するように適当に移動される。当てはめられた赤の信号と緑の信号を、
【００７４】
【数５】
【００７５】
【数６】
【００７６】
【数７】
【００７７】
次に、当てはめられた赤の信号と緑の信号の差又は距離は、
rgdist = |r(L/2)-g(L/2)| （９）
となり、式中、Ｌはトレースの全長である。換言すれば、この特徴は２つの当てはめられた信号の間の差を、両方の信号が同じ開始値を有するよう一方の信号が移動されたときの２つの中点における距離によって測定する。他の２つの項bgdist及びbrdistは同様に決められる。ここで１つの可能性は、かかる符号情報が絶対差と共に使用されるよう絶対値を使用しないことである。
【００７８】
第４のシグナチャは、赤−緑の類似性に関するものである。赤の信号及び緑の信号は、かなり似ているべきである。かかる論理ステートメントについての疑似コードは、以下の通りである。
【００７９】
if (rgdist < MAXRGDIST)
sig4 = 1;
where
#define MAXRGDIST 15
第５のシグナチャは、低い非線形性に関するものである。全ての３つの信号は低い線形性を有するべきである。かかる論理ステートメントについての疑似コードは以下の通りである。
【００８０】
if ( fabs (cb[3]) < MAXNONLINEARITY &&
fabs (cg[3]) < MAXNONLINEARITY &&
fabs (cr[3]) < MAXNONLINEARITY)
sig5 = 1;
where
#define MAXNONLINEARITY 0.05
上述のクリスプな規則を用いる代わりに、条件を破った場合に幾らかのHUGEPENALTYを課すカットオフポイントを有する連続的な値のシグモイドファジースコアリング関数を用いることが有利でありうる。
【００８１】
第６のシグナチャは、大きい変更のための赤−緑−青相関に関するものである。かかる論理ステートメントについての疑似コードは以下の通りである。
【００８２】
if (largesignal && corr_rg > 0.5 && corr_br < 0.3 && corr_bg < 0.3)
sig6 = 1; //red-grn-blue correlation for large modulation
else if (!largesignal && corr_rg > 0.2 && corr_br < 0.4 && corr_bg < 0.4)
sig6 = 1; //red-grn-blue correlation for small modulation
else if (largesignal == -1)
sig6 = 1; //red-grn-blue correlation for micro modulation
if (largesignal ! = -1 && corr_rg > 0.9 && corr_rg >5*corr_br && corr_rg > 5*corr_bg)
sig6 = -1; //significantly higher red-grn-blue correlation
式中、corr_xyは、信号ｘと信号ｙの相関係数を示す。やはり、上述のクリスプな規則を用いる代わりに、この条件（ｓ＞０．９５）が破られた場合に幾らかのHUGEPENALTYを課すカットオフポイントを有する連続的な値のシグモイドファジースコアリング関数を用いることが有利でありうる。
【００８３】
第７のシグナチャは、赤−緑−青の類似性又は近平行性に関するものである。かかる論理ステートメントについての疑似コードは次の通りである。
【００８４】
if (rgdist < MINDIST && bgdist < MINDIST && brdist < MINDIST)
sig7 = 0;
where
#define MINDIST 1.5
やはり、上述のクリスプな規則を用いる代わりに、この条件（ｓ＞０．９５）が破られた場合に幾らかのHUGEPENALTYを課すカットオフポイントを有する連続的な値のシグモイドファジースコアリング関数を用いることが有利でありうる。
【００８５】
第８のシグナチャは、負の赤／緑傾斜に関するものである。かかる論理ステートメントについての疑似コードは以下の通りである。
【００８６】
if (cr[2] > 0 AND cg[2] > 0)
sig8 = 0;
これは、クリスプな規則として実施される。
【００８７】
第９のシグナチャは、当てはめの良さに関するものである。かかる論理ステートメントについての疑似コードは以下の通りである。
【００８８】
if (rchisq > MAXCHISQ_R && gchisq > MAXCHISQ_G && bchisq > MAXCHISQ_B) sig9 = 0;
where
#define MAXCHISQ_R 50
#define MAXCHISQ_G 25
#define MAXCHISQ_B 100
であり、式中、CHISQはχ二乗当てはめ誤差を示す。
【００８９】
やはり、上述のクリスプな規則を用いる代わりに、この条件（ｓ＜０．１）が破られた場合に幾らかのHUGEPENALTYを課すカットオフポイントを有する連続的な値のシグモイドファジースコアリング関数を用いることが有利でありうる。
【００９０】
第１０のシグナチャは、赤の信号及び緑の信号の減少に関するものである。かかる論理ステートメントについての疑似コードは以下の通りである。
【００９１】
sigA = rdec*gdec;
であり、rdecは、赤の信号が（単調に）減少するかどうかを示す。特に、rdecは、全長の１／４の点における第１のサンプルx1と３／４の点における第２のサンプルx2の２つのサンプルを取ることにより当てはめられた赤の信号を用いて決定される。かかる論理ステートメントの疑似コードは以下の通りである。
【００９２】
if (x2 < x1)
rdec = 1;
else
rdec = 0
他の項gdecは、緑の信号について同様に決定される。これはクリスプな規則として実施される。rdec =1且つgdec=1の場合にのみsigA=1であることに注意すべきである。
【００９３】
これらの１０のシグナチャは、現在の規則に基づく処理に、クリスプな決定として統合される。所与のトレースは、全ての条件が満たされたとき、即ち
if (sig1 && sig2 && sig3 && sig4 && sig5 && sig6 ! = 0 && sig7 && sig8
&& sig9 && sigA)
skysignature =1;
又は、ファジー論理に基づくアルゴリズムでは、
if (sig1 > EFFECTIVEZERO && sig2 > EFFECTIVEZERO && sig3 > EFFECTIVEZERO && sig4 > EFFECTIVEZERO && sig5 > EFFECTIVEZERO &&
fabs(sig6) > EFFECTIVEZERO) && sig8 > EFFECTIVEZERO && sig9 > EFFECTIVEZERO && sigA > EFFECTIVEZERO)
skysignature = (sig1+sig2+…+sig9+sigA)/10
where
#define EFFECTIVEZERO 0.1
の場合にのみ、空のトレースであると宣言される。
【００９４】
殆どが（例えば９５％が）空の色の画素である全ての候補トレースを検査するとき、領域の空の信念は、物理学に基づく空トレースモデルを満たすトレースの割合として計算される。空の信念が閾値（本例では一般的な目的では経験的に０．２５）よりも下であれば、空でないと宣言される。
【００９５】
図１２Ａ乃至図１３Ｈは、様々な画像に対する本発明の作用を示す図である。更に特定的には、図１２Ａ−１２Ｂ及び１３Ａ−１３Ｂは、元の画像が処理されることについて示す。図１２Ｃ−１２Ｄ及び図１３Ｃ−１３Ｄは、上述のように図２中のブロック２０１に示される本発明の色分類処理の結果を示す図打得る。図１２Ｅ−１２Ｆ及び図１３Ｅ−１３ＤＦは本発明によって生成されるオープンスペースマップ（図６中のブロック７７）の結果を示す図である。図１２Ｇ−１２Ｈ及び図１３Ｇ−１３Ｈは、本発明による、空領域を白の部分として、空でない部分を黒の部分として示す図である。図１２Ｃ−１２Ｄ及び図１３Ｃ−１３Ｄの明度は、空の色の信念に比例するが、図１２Ｅ−１２Ｆ及び図１３Ｅ−１３Ｆの明度は分離されたラベルの領域を示すだけである。
【００９６】
本発明は、フィルム及びディジタルカメラといったソースによって生成されるＲＧＢ画像に対して非常によく作用する。検出される空領域は、知覚的な境界に対して非常によい整合を示す。図１２Ａ乃至１２Ｈに示される幾つかの例は、本発明の作用を示す。図１２中、空と海は正しく分離され、真の空領域が検出される。図１２Ｂの画像は、空の向きの正しい検出に基づいて本発明による方法によって正しく検出されている。空領域の正しい検出に基づき、図１２Ｂ中の画像は左向きの肖像画像であると決定される。図１３Ａ中の平滑な青い対象及び図１３Ｂのテクスチャ化されたテーブルクロスは、本発明により夫々正しく排除されている。これらの２つの画像中に真の空領域がないことにより、画像の向きは未決定のままとされる。（１）青い領域は空である、及び、（２）空は常に上部にある（例えば上述の（例えば上述のGoodwin）という仮定の下、画像は図１３Ａでは左向き、図１３Ｂでは倒立として間違って決定されうる。
【００９７】
本発明による空シグナチャ検証処理の有効性が与えられていれば、色分類段階をゆるめて、夕焼け又は朝焼けのときの影といった空の青でない影を含むようにすることが可能である。曇った空に対して、夕焼け又は朝焼けのときの雲のない空は、日中の同じ部分と同様の散乱効果を示す。主な差は、昇っている又は沈んでいる太陽からの暖色の色合いである。
【００９８】
候補領域の２次元平面当てはめは、空の検証を行なうための他の方法である。孔のある領域については、孔の位置の重み係数をゼロに設定して空の色の画素のみが平面当てはめに寄与するようにすることができる。偽の行程の検出の潜在的な増加を制限するため、孔を明るい中立の対象（雲）だけによるものとすることが必要でありうる。
【００９９】
従って、本発明は、色分類、領域抽出、及び物理的空シグナチャ検証に基づく空検出のためのシステムを含む。本発明は、フィルム及びディジタルカメラを含むソースからの８ビット画像に対して予めバランス調整し、正しいダイナミックレンジ調整を行ったものに対して非常に良く作用する。検出された空領域は、近くされた空境界に対する非常によい空間的整合を示す。
【０１００】
上述のように、本発明は、空中の小さい粒子による光の散乱に基づく空の物理的モデルを使用する。（色又はテクスチャモデルではなく）物理的モデルを使用することにより、本発明は水、壁、玩具、服等の同じような色の他の被写体によってだまされる可能性が低い。更に、本発明による領域抽出プロセスは、空の色の信念マップのための適当な閾値を自動的に決定する。物理的モデルを色フィルタ及びテクスチャフィルタと共に用いることにより、本発明により従来のシステムよりも優った結果が得られる。
【０１０１】
【発明の効果】
本発明の１つの利点は、画像の向きを決定するために空気中の小さい粒子による光の散乱に基づく空の物理的モデルを使用することにある。（テクスチャモデルではなく）物理的モデルを用いることにより、本発明は水、壁、玩具、服等の同じような色の他の被写体によってだまされる可能性が低い。更に、本発明による領域抽出プロセスは、空の色の信念マップのための適当な閾値を自動的に決定する。物理的モデルを色フィルタ及びテクスチャフィルタと共に用いることにより、本発明により従来のシステムよりも優った結果が得られる。
【図面の簡単な説明】
【図１】本発明の１つの実施例を示す概略構成図である。
【図２】本発明の１つの実施例を示す概略構成図である。
【図３Ａ】晴れた空での昼光の色を示す概略図である。
【図３Ｂ】晴れた空での薄明の色を示す概略図である。
【図４Ａ】色空間中の青い空のクラスタを３次元グラフとして示す図である。
【図４Ｂ】クラスタを生成する１つの色平面を示す図である。
【図４Ｃ】クラスタを生成する他の色平面を示す図である。
【図４Ｄ】クラスタを生成する他の色平面を示す図である。
【図５】空の色の分類の受信器動作特徴（ＲＯＣ）を示すグラフ表現である。
【図６】本発明の領域抽出部を示す概略構成図である。
【図７】本発明による空の色の信念のための閾値決定を示すグラフ表現である。
【図８Ａ】空領域中の勾配の大きさの典型的な分布を示すグラフ表現である。
【図８Ｂ】空領域中の勾配の大きさの典型的な分布を示すグラフ表現である。
【図９】本発明によって実行されるトレース分析を示す概略構成図である。
【図１０Ａ】晴れた空の典型的なトレースを示す図である。
【図１０Ｂ】青い壁の典型的なトレースを示す図である。
【図１１Ａ】空と雲が混ざった典型的なトレースを示す図である。
【図１１Ｂ】水の典型的なトレースを示す図である。
【図１２Ａ】本発明によって処理される画像の１つの段階を示す図である。
【図１２Ｂ】本発明によって処理される画像の他の段階を示す図である。
【図１２Ｃ】本発明によって処理される画像の他の段階を示す図である。
【図１２Ｄ】本発明によって処理される画像の他の段階を示す図である。
【図１２Ｅ】本発明によって処理される画像の他の段階を示す図である。
【図１２Ｆ】本発明によって処理される画像の他の段階を示す図である。
【図１２Ｇ】本発明によって処理される画像の他の段階を示す図である。
【図１２Ｈ】本発明によって処理される画像の他の段階を示す図である。
【図１３Ａ】本発明によって処理される画像の１つの段階を示す図である。
【図１３Ｂ】本発明によって処理される画像の他の段階を示す図である。
【図１３Ｃ】本発明によって処理される画像の他の段階を示す図である。
【図１３Ｄ】本発明によって処理される画像の他の段階を示す図である。
【図１３Ｅ】本発明によって処理される画像の他の段階を示す図である。
【図１３Ｆ】本発明によって処理される画像の他の段階を示す図である。
【図１３Ｇ】本発明によって処理される画像の他の段階を示す図である。
【図１３Ｈ】本発明によって処理される画像の他の段階を示す図である。
【符号の説明】
１０ ディジタル画像
２０ 画像処理段階
３０ 結果
４０ 画像変更段階
５０ 変更された画像
Claims (3)
- 色によって画像中の空の画素を分類する段階と、
上記空の画素の飽和度低下勾配を計算する段階と、
上記空の画素の水平飽和度低下勾配の平均値及び垂直飽和度低下勾配の平均値に基づいて上記画像を肖像又は風景のいずれかとして分類する段階と、
上記平均水平飽和度低下勾配及び上記平均垂直飽和度低下勾配の極性に基づいて上記画像の向きを決定する段階とを含む、
画像の向きを決定する方法。 - 上記空の画素の空間的に連続する領域を識別する段階と、
上記空間的に連続する領域のうち、所定のテクスチャ閾値を越えるテクスチャを有する領域を除去することによって実際の空領域を識別する段階とを更に含む、請求項１記載の方法。 - 上記水平飽和度低下勾配及び上記垂直飽和度低下勾配を空についての所定の飽和度低下勾配と比較することによって上記実際の空領域が真の空領域であるかどうかを確認する段階を更に含む、請求項２記載の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US450366 | 1999-11-29 | ||
| US09/450,366 US6512846B1 (en) | 1999-11-29 | 1999-11-29 | Determining orientation of images containing blue sky |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001202525A JP2001202525A (ja) | 2001-07-27 |
| JP4477221B2 true JP4477221B2 (ja) | 2010-06-09 |
Family
ID=23787814
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000361906A Expired - Fee Related JP4477221B2 (ja) | 1999-11-29 | 2000-11-28 | 青い空を含む画像の向きを決定する方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US6512846B1 (ja) |
| EP (1) | EP1107182B1 (ja) |
| JP (1) | JP4477221B2 (ja) |
| DE (1) | DE60012859T2 (ja) |
Families Citing this family (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4124404B2 (ja) * | 2001-05-17 | 2008-07-23 | 富士フイルム株式会社 | 撮像装置、画像処理装置、画像処理方法、及びプログラム |
| FR2827060B1 (fr) * | 2001-07-05 | 2003-09-19 | Eastman Kodak Co | Procede d'identification du ciel dans une image et image obtenue grace a ce procede |
| US6977659B2 (en) * | 2001-10-11 | 2005-12-20 | At & T Corp. | Texture replacement in video sequences and images |
| US6922485B2 (en) * | 2001-12-06 | 2005-07-26 | Nec Corporation | Method of image segmentation for object-based image retrieval |
| US7215828B2 (en) * | 2002-02-13 | 2007-05-08 | Eastman Kodak Company | Method and system for determining image orientation |
| US7606435B1 (en) | 2002-02-21 | 2009-10-20 | At&T Intellectual Property Ii, L.P. | System and method for encoding and decoding using texture replacement |
| US6987881B2 (en) * | 2002-04-26 | 2006-01-17 | Keio University | Automatic visibility improvement method for digital image |
| ITMI20031449A1 (it) * | 2003-07-15 | 2005-01-16 | St Microelectronics Srl | Metodo per classificare una immagine digitale |
| US7336819B2 (en) * | 2003-12-29 | 2008-02-26 | Eastman Kodak Company | Detection of sky in digital color images |
| EP1608153B1 (en) | 2004-06-18 | 2008-08-06 | STMicroelectronics Limited | Orientation sensor |
| US20060033819A1 (en) * | 2004-08-12 | 2006-02-16 | Sony Corporation | Method and apparatus for automatic orientation correction of digital photographs |
| CA2479664A1 (en) * | 2004-09-24 | 2006-03-24 | Edythe P. Lefeuvre | Method and system for detecting image orientation |
| EP1939809A4 (en) * | 2005-09-07 | 2010-05-26 | Pioneer Corp | DEVICE AND METHOD FOR SCENE ANALYSIS |
| US7933454B2 (en) * | 2007-06-25 | 2011-04-26 | Xerox Corporation | Class-based image enhancement system |
| US8094971B2 (en) * | 2007-09-05 | 2012-01-10 | Seiko Epson Corporation | Method and system for automatically determining the orientation of a digital image |
| US8036417B2 (en) | 2008-06-11 | 2011-10-11 | Eastman Kodak Company | Finding orientation and date of hardcopy medium |
| US20090310189A1 (en) | 2008-06-11 | 2009-12-17 | Gallagher Andrew C | Determining the orientation of scanned hardcopy medium |
| US8463053B1 (en) | 2008-08-08 | 2013-06-11 | The Research Foundation Of State University Of New York | Enhanced max margin learning on multimodal data mining in a multimedia database |
| KR101599873B1 (ko) * | 2009-03-16 | 2016-03-04 | 삼성전자주식회사 | 히스토그램 분석을 이용한 하늘 영상 분류 방법 및 장치 |
| JP5310247B2 (ja) * | 2009-05-13 | 2013-10-09 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
| US8693769B2 (en) * | 2009-12-28 | 2014-04-08 | Industrial Technology Research Institute | Image classification methods and systems |
| US9460353B2 (en) * | 2010-09-16 | 2016-10-04 | California Institute Of Technology | Systems and methods for automated water detection using visible sensors |
| JP5652126B2 (ja) * | 2010-10-27 | 2015-01-14 | カシオ計算機株式会社 | 画像処理装置及び方法、並びにプログラム |
| JP5896661B2 (ja) * | 2011-09-14 | 2016-03-30 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
| US8923567B2 (en) | 2011-12-19 | 2014-12-30 | General Electric Company | Apparatus and method for predicting solar irradiance variation |
| US8750566B2 (en) | 2012-02-23 | 2014-06-10 | General Electric Company | Apparatus and method for spatially relating views of sky images acquired at spaced apart locations |
| EP2917874B1 (en) * | 2012-11-12 | 2017-09-27 | BAE SYSTEMS plc | Cloud feature detection |
| US9589349B2 (en) | 2013-09-25 | 2017-03-07 | Heartflow, Inc. | Systems and methods for controlling user repeatability and reproducibility of automated image annotation correction |
| US10319035B2 (en) | 2013-10-11 | 2019-06-11 | Ccc Information Services | Image capturing and automatic labeling system |
| EP3248138A1 (en) | 2015-01-20 | 2017-11-29 | BAE Systems PLC | Detecting and ranging cloud features |
| EP3248139A1 (en) * | 2015-01-20 | 2017-11-29 | BAE Systems PLC | Cloud feature detection |
| US9576204B2 (en) * | 2015-03-24 | 2017-02-21 | Qognify Ltd. | System and method for automatic calculation of scene geometry in crowded video scenes |
| US9800778B2 (en) * | 2015-07-21 | 2017-10-24 | Qualcomm Incorporated | Camera orientation notification system |
| US9792522B2 (en) * | 2015-12-01 | 2017-10-17 | Bloomsky, Inc. | Weather information extraction using sequential images |
| US10127685B2 (en) * | 2015-12-16 | 2018-11-13 | Objectvideo Labs, Llc | Profile matching of buildings and urban structures |
| CN106706132B (zh) * | 2016-12-05 | 2023-04-07 | 中国科学院云南天文台 | 一种用于海面太阳亮带内目标识别的红外探测装置及方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5889578A (en) | 1993-10-26 | 1999-03-30 | Eastman Kodak Company | Method and apparatus for using film scanning information to determine the type and category of an image |
| US6055335A (en) | 1994-09-14 | 2000-04-25 | Kabushiki Kaisha Toshiba | Method and apparatus for image representation and/or reorientation |
| US5642443A (en) | 1994-10-12 | 1997-06-24 | Eastman Kodak Company | Whole order orientation method and apparatus |
| US5901245A (en) | 1997-01-23 | 1999-05-04 | Eastman Kodak Company | Method and system for detection and characterization of open space in digital images |
| US6301440B1 (en) | 2000-04-13 | 2001-10-09 | International Business Machines Corp. | System and method for automatically setting image acquisition controls |
-
1999
- 1999-11-29 US US09/450,366 patent/US6512846B1/en not_active Expired - Lifetime
-
2000
- 2000-11-17 EP EP00204039A patent/EP1107182B1/en not_active Expired - Lifetime
- 2000-11-17 DE DE60012859T patent/DE60012859T2/de not_active Expired - Lifetime
- 2000-11-28 JP JP2000361906A patent/JP4477221B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| EP1107182A2 (en) | 2001-06-13 |
| DE60012859D1 (de) | 2004-09-16 |
| JP2001202525A (ja) | 2001-07-27 |
| DE60012859T2 (de) | 2005-09-08 |
| EP1107182B1 (en) | 2004-08-11 |
| US6512846B1 (en) | 2003-01-28 |
| EP1107182A3 (en) | 2002-11-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4477221B2 (ja) | 青い空を含む画像の向きを決定する方法 | |
| JP4477222B2 (ja) | 画像中の空を検出する方法 | |
| JP4234378B2 (ja) | 画像中で素材の領域を検出する方法 | |
| Gevers et al. | Classifying color edges in video into shadow-geometry, highlight, or material transitions | |
| Nadimi et al. | Physical models for moving shadow and object detection in video | |
| Lalonde et al. | Detecting ground shadows in outdoor consumer photographs | |
| JP4783795B2 (ja) | 照明および反射境界の区別 | |
| JP4559437B2 (ja) | デジタルカラー画像における空の検出 | |
| Luo et al. | A physical model-based approach to detecting sky in photographic images | |
| US20110268359A1 (en) | Foreground/Background Segmentation in Digital Images | |
| CN110807759B (zh) | 照片质量的评价方法及装置、电子设备、可读存储介质 | |
| EP2074557B1 (en) | Method and system for learning spatio-spectral features in an image | |
| US20090110322A1 (en) | Methods and systems for estimating illumination source characteristics from a single image | |
| CN111104943A (zh) | 基于决策级融合的彩色图像感兴趣区域提取方法 | |
| Murali et al. | A survey on shadow detection techniques in a single image | |
| McFeely et al. | Shadow identification for digital imagery using colour and texture cues | |
| Sasi et al. | Shadow detection and removal from real images: state of art | |
| JP7092616B2 (ja) | 物体検出装置、物体検出方法、及び物体検出プログラム | |
| CA2479664A1 (en) | Method and system for detecting image orientation | |
| Jiang et al. | Shadow-resistant tracking in video | |
| KR101648562B1 (ko) | 이동 물체 탐지 장치 | |
| Riaz et al. | Visibility restoration using generalized haze-lines | |
| You et al. | Saturation enhancement of blue sky for increasing preference of scenery images | |
| Luo et al. | A physics-motivated approach to detecting sky in photographs | |
| JPH11283036A (ja) | 対象物検出装置及び対象物検出方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071108 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100302 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100311 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4477221 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130319 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140319 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |