JP4487648B2 - 複合画像の色を変更する方法、システム及びそのコンピュータプログラム - Google Patents

Description

本発明は、一般に、デジタル画像処理に関連した発明であり、特に複数のソースからの画像の色の正規化に関する。すなわち、本発明は、複合画像の色を変更する方法、システム及びこれを実行するためのコンピュータプログラムに関する。

複数のデジタル画像を結合して拡張された画像モザイクにする、種々の方法及びシステムが存在する。これは、たとえば継ぎ目又は他の結合特徴のない、単一の画像のように見える複合画像又はモザイクを生じるように達成されることが望ましい。重複しているか又は重複に近い隣接している画像部分間の境界は、しばしばコントラスト、強度、解像度、及び色についてかなり差を有し、複合画像又はモザイクにおいて視認可能な継ぎ目として現れる。

マルチカメラビデオシステムは、典型的には色較正を必要とする。すべてのビデオカメラのカラーバランス及びシャッター速度を較正することには、時間の消費という欠点があり、マルチカメラシステムのダイナミックレンジを犠牲にする可能性がある。さらに、屋外の環境では、あるカメラの画像領域には直射日光があり、他のカメラの画像領域には種々の程度の陰があるという状況は避け難い。すべてのカメラが一定のシャッター速度を用いる場合には、直射日光のあるカメラの画像領域は露出過度になる傾向があり、他のカメラの画像領域は露出不足になる傾向がある。しかしながら、隣接するカメラの利得がかなり異なる場合には、大きいダイナミックシーン明暗度レンジを補償するために自動利得制御を使用すると、好ましくない画像の継ぎ目を生じる可能性がある。

特許文献１０では、たとえば、複合又はモザイク画像を形成する個々の画像間の重複する領域内の色彩間の比較に基づいて、カラー画像を組み合わせる。二つの重複する画像については、特許文献１０では、第二の画像の色を調整する、ＲＧＢ複合信号間の色空間アフィン変換を決定するために、画像重複領域に対して最小二乗のフィットを実行し、画像重複領域内の第二の画像の色は、第一の画像重複領域の色と最もよく調和する。結果として生じるアフィン変換は、次に第二の画像の全体に適用される。目的関数の二つよりも多い重複画像への拡張は、アフィン変換を一つを除くすべての画像に起因させることによって実行され、ここで、変換は未変換の又は参照の画像についてであり、次に二乗されたＲＧＢ色差をすべての重複領域内のすべてのピクセルへ加算することによって実行される。

たとえば、特許文献１５では、二つの画像の色を補正するために、カラー画像を組み合わせて画像間の重複領域内の情報を使用する。重複領域でのカラーバンドの望ましくないアーチファクトを補償するために、画像の色は重複領域からのピクセル情報に基づいて調節され、二つの画像を互いに整列させるようにする。重複領域内の明るさ、コントラスト及びガンマパラメータが、画像の色の強度を修正するために用いられる。特許文献１５では、フルカラー補正が重複領域内で実行されるように、色補正を次第に減少させる。重複する領域の外側では、補正の一部のみが実行され、この補正の一部は、重複領域からのピクセルの距離が増加するに従って、１００％から０％まで次第に減少することが望ましい。

たとえば、特許文献１３では、カラー画像を含む第一及び第二のデジタル画像を処理し、重複する画像の中身が、共通の画像データを含む重複領域を定義する。重複領域内のカラー画像のピクセルデータは処理されて、複合画像を生じる。

米国特許第４，９０７，０７５号 米国特許第５，０４７，８４２号 米国特許第５，１４０，４１２号 米国特許第５，４３２，７１２号 米国特許第５，５２８，２９０号 米国特許第５，６１１，０００号 米国特許第５，７４５，３０５号 米国特許第５，８３５，０９９号 米国特許第５，９９３，００１号 米国特許第６，０７５，９０５号 米国特許第６，１４８，１１８号 米国特許第６，２１５，９１４号 米国特許第６，２７８，４６３号 米国特許第６，３３１，８６０号 米国特許第６，３４９，１５３号 米国特許第６，３８５，３４９号 米国特許第６，３９６，９６０号 米国特許第６，４６３，１７２号 ジェイ．フット（Ｊ．Ｆｏｏｔｅ）及びディ．キンバー（Ｄ．Ｋｉｍｂｅｒ）著「フライカム：実用的なパノラマビデオ（ＦｌｙＣａｍ： Ｐｒａｃｔｉｃａｌ Ｐａｎｏｒａｍｉｃ Ｖｉｄｅｏ．）」マルチメディアについてのＩＥＥＥ国際会議及び博覧会の予稿集（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｌｔｉｍｅｄｉａ ａｎｄ Ｅｘｐｏ）、コラムＩＩＩ、Ｐ．１４１９〜１４２２、２０００年 ニコレスク、エム．（Ｎｉｃｏｌｅｓｃｕ，Ｍ）及びメディオーニ、ジー．（Ｍｅｄｉｏｎｉ，Ｇ）著「電子的パン−チルト−ズーム：インテリジェントルームシステムへのソリューション（Ａ Ｓｏｌｕｔｉｏｎ ｆｏｒ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｏｍ Ｓｙｓｔｅｍｓ）」マルチメディアについてのＩＥＥＥ国際会議及び博覧会の予稿集（ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｍｕｌｔｉｍｅｄｉａ ａｎｄ Ｅｘｐｏ）、第３巻、Ｐ．１５８１〜１５８４、２０００年 アイムーブ．コムプレスリリース（ｉＭｏｖｅ．ｃｏｍ ｐｒｅｓｓ ｒｅｌｅａｓｅ）「ｉＭｏｖｅが第二世代球形ビデオカメラを発表（ｉＭｏｖｅ Ｒｅｌｅａｓｅｓ ２ｎｄ Ｇｅｎｅｒａｔｉｏｎ Ｓｐｈｅｒｉｃａｌ Ｖｉｄｅｏ Ｃａｍｅｒａ」２０００年１２月１２日、ｈｔｔｐ：／／ｗｗｗ．ｉｍｏｖｅｉｎｃ．ｃｏｍ／０７／ｎｅｗｓ＿ａｎｄ＿ｅｖｅｎｔｓ／ＸＸｖｉｅｗ＿ｒｅｌｅａｓｅ．ａｓｐ？ｒｅｌｅａｓｅ＝ｉＭｏｖｅ＋Ｒｅｌｅａｓｅｓ＋２ｎｄ＋Ｇｅｎｅｒａｔｉｏｎ＋Ｓｐｈｅｒｉｃｈａｌ＋Ｖｉｄｅｏ＋Ｃａｍｅｒａ ラスカー、アール．（Ｒａｓｋａｒ，Ｒ．）、ウェルチ、ジー．（Ｗｅｌｃｈ，Ｇ）及びフッチ、エッチ．（Ｆｕｃｈｓ，Ｈ）「画像ワーピング及び強度混合を用いた、継ぎ目なしの撮影の重複（Ｓｅａｍｌｅｓｓ Ｐｒｏｊｅｃｔｉｏｎ Ｏｖｅｒｌａｐｓ Ｕｓｉｎｇ Ｉｍａｇｅ Ｗａｒｐｉｎｇ ａｎｄ Ｉｎｔｅｎｓｉｔｙ Ｂｌｅｎｄｉｎｇ）」仮想システム及びマルチメディアについての第４回国際会議、日本国岐阜県、１９９８年１１月、ｈｔｔｐ：／／ｗｗｗ．ｃｓ．ｕｎｃ．ｅｄｕ／〜ｓｔｃ／ｐｕｂｓ／ＶＳＭＭ＿ｓｅａｍｌｅｓｓ．ｐｄｆ アール．スゼリスキィ（Ｒ．Ｓｚｅｌｉｓｋｉ）著「テレリアリティへの応用のための画像モザイク（Ｉｍａｇｅ ｍｏｓａｉｃｉｎｇ ｆｏｒ ｔｅｌｅ−ｒｅａｌｉｔｙ ａｐｐｌｉｃａｔｉｏｎｓ）」、コンピュータビジョンの応用へのＩＥＥＥ研究会（ＩＥＥＥ Ｗｏｒｋｓｈｏｐ ｏｎ Ａｐｐｌｉｃａｔｉｏｎｓ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ（ＷＡＣＶ‘９４））、Ｐ．４４〜５３、フロリダ州サラソタ、１９９４年１２月、ＩＥＥＥコンピュータ学会（ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ） エス．チェン（Ｓ．Ｃｈｅｎ）著「クイックタイムＶＲ−仮想環境ナビゲーションへの画像ベースのアプローチ（ＱｕｉｃｋＴｉｍｅ ＶＲ−ａｎ ｉｍａｇｅ−ｂａｓｅｄ ａｐｐｒｏａｃｈ ｔｏ ｖｉｒｔｕａｌ ｅｎｖｉｒｏｎｍｅｎｔ ｎａｖｉｇａｔｉｏｎ）」コンピュータグラフィックス年次大会シリーズ、Ｐ．２９〜３８、ＡＣＭシーグラフ、１９９５年（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ，Ａｎｎｕａｌ Ｃｏｎｆｅｒｅｎｃｅ Ｓｅｒｉｅｓ，ｐｐ．２９−３８，ＡＣＭ ＳＩＧＧＡＰＨ，１９９５）

本発明によるシステム及び方法の種々の例示的な実施の形態では、マルチカメラ及び／又は多重表示された重複又は重複に近い画像同士の境界の両側で、色及び明るさの一貫性が向上される。

本発明によるシステム及び方法の種々の例示的な実施の形態では、複合及び／又はモザイク画像の重複する画像の継ぎ目における好ましくないアーティファクトを軽減する。

本発明によるシステム及び方法の種々の例示的な実施の形態では、複合及び／又はモザイク画像の重複する画像の継ぎ目のいずれかの側で色及び明るさ／強度を調節する。

本発明によるシステム及び方法の種々の例示的な実施の形態では、複合画像又はモザイク画像を構成するできる限り多くの画像について色補正を実行する。

本発明によるシステム及び方法の種々の例示的な実施の形態では、複合画像又はモザイク画像を構成する画像の色及び強度の不整合を軽減する。

本発明によるシステム及び方法の種々の例示的な実施の形態では、複合又はモザイク画像の画像継ぎ目についての色を段階的に変化させ、継ぎ目がより認識されにくいようにする。

本発明によるシステム及び方法の種々の例示的な実施の形態では、複合又はモザイク画像についての急激な色の変化を避けるために、重複領域の外側の色を変更させる。

本発明によるシステム及び方法の種々の例示的な実施の形態では、各ソース画像領域内のカラーピクセル値から、複合又はモザイク画像を形成する二つのソース画像間の色差を推定する。

本発明によるシステム及び方法の種々の例示的な実施の形態では、各ソース画像のピクセルによって形成された色空間内のクラスタの重心を決める。

本発明によるシステム及び方法の種々の例示的な実施の形態では、重複又は重複に近いソース画像領域について、領域間のベクトル色差の尺度として、クラスタの重心間の差を決める。

本発明によるシステム及び方法の種々の例示的な実施の形態では、少なくとも二つの重複するソース画像領域間のベクトル色差をこれらの画像について補間又はマッピングする。

本発明によるシステム及び方法の種々の例示的な実施の形態では、重複領域と重複領域の外側の領域とを調和させるために、カラークラスタの重心を移動させる。

本発明によるシステム及び方法の種々の例示的な実施の形態では、カメラの利得制御から得られるダイナミックレンジを保存しつつ、色差及び明度差を段階的にし、かつ好ましくない差を少なくするために、複数の画像の複合についてなだらかにする。

本発明の第１の態様は、複合画像を構成する少なくとも二つの個々のソース画像間の色差に基づいて、前記複合画像の色を変更する方法であって、第一のソース画像の色分布のクラスタを形成するために、前記第一のソース画像の色分布を決めるステップと、前記第一のソース画像に重複する第二のソース画像の色分布のクラスタを形成するために、前記第一のソース画像に重複する第二のソース画像の色分布を決めるステップと、各色分布のクラスタの重心のベクトルを決めるステップと、前記色差に相当する値として、前記第一のソース画像の重心のベクトルと前記第二のソース画像の重心のベクトルとの差を色空間内のベクトルとして決めるステップと、前記色空間内のベクトルの半分を前記第一のソース画像の前記重心のベクトルに加え、前記色空間内のベクトルの半分を前記第二のソース画像の前記重心のベクトルから減らすことにより、前記複合画像について各ソース画像の色を調節する調節ステップと、を備えた、方法である。

本発明の第２の態様は、上記第１の態様において、前記複合画像を構成する個々のソース画像の数が二つよりも多く、前記第一のソース画像及び前記第二のソース画像以外の他のソース画像と重複する各ソース画像の色分布を決めるステップをさらに備えたことを特徴とする。

本発明の第３の態様は、上記第２の態様において、前記他のソース画像と重複する各ソース画像の色分布の重心のベクトルを決めるステップをさらに備えたことを特徴とする。

本発明の第４の態様は、上記第１の態様において、前記複合画像を構成する重複する画像の数が二つよりも多いことを特徴とする。

本発明の第５の態様は、上記第１の態様において、前記色空間内のベクトルの半分を前記第一のソース画像の前記重心のベクトルに加え、前記色空間内のベクトルの半分を前記第二のソース画像の前記重心のベクトルから減らすことによる各ソース画像の色の調節が前記複合画像全体に渡ることを特徴とする。

本発明の第６の態様は、上記第１の態様において、前記色空間内のベクトルの半分を前記第一のソース画像の前記重心のベクトルに加え、前記色空間内のベクトルの半分を前記第二のソース画像の前記重心のベクトルから減らすことによる各ソース画像の色の調節が、画像の中間点を含む画像の少なくとも半分に渡ることを特徴とする。

本発明の第７の態様は、上記第１〜第６の態様において、前記調節ステップが、前記色空間内のベクトルの半分を前記第一のソース画像の前記重心のベクトルに加え、前記色空間内のベクトルの半分を前記第二のソース画像の前記重心のベクトルから減らすことによって予め得られた結果に相当する一対一のマッピングに基づいて、前記複合画像について各ソース画像の色を調節する、方法である。

本発明の第８の態様は、上記第１〜第７の態様において、前記調節ステップが、前記各ソース画像の色を調節するにあたり、調節対象ソース画像の各ピクセル値をそのうちの最大ピクセル値で除算して得られた各値に予め定められた最大許容ピクセル値を乗算することにより得られた各値を前記調査対象ソース画像のピクセル値として適用することによりピクセル値を正規化するステップを有する、方法である。

本発明の第９の態様は、複合画像を構成する少なくとも二つの個々のソース画像間の色差に基づいて、前記複合画像の色を変更するシステムであって、第一のソース画像の色分布のクラスタを形成するために、前記第一のソース画像の色分布を決めるための、第一分布決定要素と、前記第一のソース画像に重複する第二のソース画像の色分布のクラスタを形成するために、前記第一のソース画像に重複する第二のソース画像の色分布を決めるための、第二分布決定要素と、各色分布のクラスタの重心のベクトルを決めるための、重心決定要素と、前記色差に相当する値として、前記第一のソース画像の重心のベクトルと前記第二のソース画像の重心のベクトルとの差を色空間内のベクトルとして決めるための、差決定要素と、前記色空間内のベクトルの半分を前記第一のソース画像の前記重心のベクトルに加え、前記色空間内のベクトルの半分を前記第二のソース画像の前記重心のベクトルから減らすことにより、前記複合画像について各ソース画像の色を調節するための、調節要素と、備える、システムである。

本発明の第１０の態様は、上記第９の態様において、前記複合画像を構成する個々のソース画像の数が二つよりも多く、前記第一のソース画像及び前記第二のソース画像以外の他のソース画像と重複する各ソース画像の色分布を決めるための、第三分布決定要素をさらに備えることを特徴とする。

本発明の第１１の態様は、上記第１０の態様において、前記他のソース画像と重複する各ソース画像の色分布の重心のベクトルを決めることを特徴とする。

本発明の第１２の態様は、上記第９の態様において、前記複合画像を構成する重複する画像の数が二つよりも多いことを特徴とする。

本発明の第１３の態様は、上記第９の態様において、前記色空間内のベクトルの半分を前記第一のソース画像の前記重心のベクトルに加え、前記色空間内のベクトルの半分を前記第二のソース画像の前記重心のベクトルから減らすことによる各ソース画像の色の調節が前記複合画像全体に渡ることを特徴とする。

本発明の第１４の態様は、上記第９の態様において、前記色空間内のベクトルの半分を前記第一のソース画像の前記重心のベクトルに加え、前記色空間内のベクトルの半分を前記第二のソース画像の前記重心のベクトルから減らすことによる各ソース画像の色の調節が、画像の中間点を含む画像の少なくとも半分に渡ることを特徴とする。

本発明の第１５の態様は、上記第９〜第１４の何れか１つの態様において、前記調節要素が、前記色空間内のベクトルの半分を前記第一のソース画像の前記重心のベクトルに加え、前記色空間内のベクトルの半分を前記第二のソース画像の前記重心のベクトルから減らすことによって予め得られた結果に相当する一対一のマッピングに基づいて、前記複合画像について各ソース画像の色を調節する、システムである。

本発明の第１６の態様は、上記第９〜第１５の何れか１つの態様において、前記調節要素が、前記各ソース画像の色を調節するにあたり、調節対象ソース画像の各ピクセル値をそのうちの最大ピクセル値で除算して得られた各値に予め定められた最大許容ピクセル値を乗算することにより得られた各値を前記調査対象ソース画像のピクセル値として適用することによりピクセル値を正規化する要素を有することを特徴とする。

本発明の第１７の態様は、複合画像を構成する少なくとも二つの個々のソース画像間の色差に基づいて、前記複合画像の色を変更するためのコンピュータプログラムであって、コンピュータを、第一のソース画像の色分布のクラスタを形成するために、前記第一のソース画像の色分布を決めるための第一分布決定要素、前記第一のソース画像に重複する第二のソース画像の色分布のクラスタを形成するために、前記第一のソース画像に重複する第二のソース画像の色分布を決めるための第二分布決定要素、各色分布のクラスタの重心のベクトルを決めるための重心決定要素、前記色差に相当する値として、前記第一のソース画像の重心のベクトルと前記第二のソース画像の重心のベクトルとの差を色空間内のベクトルとして決めるための差決定要素、及び前記色空間内のベクトルの半分を前記第一のソース画像の前記重心のベクトルに加え、前記色空間内のベクトルの半分を前記第二のソース画像の前記重心のベクトルから減らすことにより、前記複合画像について各ソース画像の色を調節するための調節要素として機能させるためのコンピュータプログラムである。

本発明によるシステム及び方法の種々の他の特徴及び利点は、次の例示的な実施の形態の詳細な説明から明らかになるであろう。

マルチカメラのパノラマ的な結像システムは、次第に人気が高まっている。しかしながら、マルチカメラ又はマルチディスプレイの結像システムの重大な問題は、色及び明るさの画像境界についての一貫性である。複数のソースから画像を連結することによって画像を構成する場合には、光学的な形状寸法（ｇｅｏｍｅｔｒｙ）がほとんど完全であっても、色差及び強度差が好ましくない継ぎ目のアーティファクト（不自然なパターン）を引き起こす。マルチカメラシステムについては、異なるシーンの照度、自動利得制御、及びアナログビデオフォーマットに特有の色の変異性は、画像の継ぎ目についての強度差の原因となる。

図１は、二台のビデオカメラによって形成された二つの重複する画像の一例を示す。図１では、異なるカメラ間の利得制御の違いによって、白板が二つの画像内でかなり異なる色の強度を有する。さらに、カメラ及び／又はディスプレイのレンズは、それらの視野に渡って、特に広角では、一様でない明るさの反応を有する。

本発明によるシステム及び方法の種々の例示的な実施の形態では、目に見える不一致を軽減するために、画像の継ぎ目のいずれかの側における色及び強度を調整することによって、この問題を改善する。目は段階的な色の変化にはあまり敏感でないため、本発明による種々のシステム及び方法においては、実用的な数の画像について色補正を適用する。これにより、複合画像内の色及び光強度値の不整合の影響を大幅に減少する。

本発明によるシステム及び方法は、一つの重複する領域を有する二つの異なるソースからの少なくとも二つの画像に関連しているので、本発明のシステム及び方法の種々の例示的な実施の形態では、少なくとも二つの画像間の色差を推測でき、その色差を補正することができる。本発明のシステム及び方法によると、画像の位置合わせ、すなわち重複領域を判断することは、周知又は今後開発される任意の技術によって達成される。本発明によるシステム及び方法の種々の例示的な実施の形態では、画像領域が重複しない場合には、重複に近い領域を使用しても良い。

本発明によるシステム及び方法の種々の例示的な実施の形態では、典型的には色較正を必要とするマルチカメラビデオシステムを用いる。マルチカメラビデオシステムの色較正は、たとえばカラーバランスを較正してすべてのビデオカメラについてシャッター速度を同一に設定することによって実現されても良い。上述のように、これには欠点がある。

本発明によるシステム及び方法の種々の例示的な実施の形態では、マルチカメラシステムにおけるビデオカメラの制限されたダイナミックレンジを補償するために多くのカメラで見出される自動利得制御を使用しても良い。隣接するカメラでの利得が大幅に異なる場合には、好ましくない画像重複領域が生ずることがある。本発明によるシステム及び方法の種々の例示的な実施の形態では、全画像のパノラマについての利得の差をなだらかにし、カメラの利得制御から得られる増加したダイナミックレンジを維持しつつ、変化を段階的にし、好ましくない変化をより低減する。

上述したように、複合又はモザイク画像（パノラマ画像を含む）の重複領域は、一つよりも多い装置によって撮像された複合又はモザイク画像の一部として定義されている。一般的に、重複領域は継ぎ目線によって輪郭が描かれるか又は境界を定められるか又は定義され、複合又はモザイク画像を作り出すためにどの画像ピクセルが用いられるかを表す。画像領域が重複しない場合には、非常に近接した領域が用いられても良く、本発明によるシステム及び方法の種々の例示的な実施の形態の適用性は失われない。重複に近い状況では、継ぎ目線は重複に近い領域も定義する。

各重複領域は、特定の重複領域に相当するソース画像の領域である、一つよりも多いソース領域を有する。図１では、ソース領域は点線の輪郭を有する二つの四辺形によって示されている。図２は、画像とこれらの画像の領域との間の関係を示す。ソース画像は結合され、たとえば画像のワープ又は幾何学的な補正を用いることによって、最終的な「複合画像」又は「モザイク画像」になる。

本発明によるシステム及び方法の種々の例示的な実施の形態では、最初に二つの画像１１１と２２２の間の色差を推定することによって、複合画像内の色及び強度の不整合の影響を大幅に減少する。本発明によるシステム及び方法の一つの例示的な実施の形態では、重複領域３３３ＳＲ内のピクセルの色分布を観察することによって、二つの重複する画像間の色差を推定する。色差は、ソース領域１１１ＳＲ及び２２２ＳＲからのピクセルの統計値を比較することによって推定可能である。たとえば、ＲＧＢ又はＨＳＶのような色空間を考えると、ソース領域１１１ＳＲからのすべてのピクセルは、クラスタを形成する。二つのソース領域１１１ＳＲ及び２２２ＳＲからのクラスタの重心間の差は、補正されなければならない色差の尺度として用いられる。

図３は、ソース領域１１１ＳＲと２２２ＳＲからの二つのクラスタを示している。図３では、一つのクラスタは他のクラスタよりも明るくかつ赤い。重心は、算術平均又は幾何学的平均及び中央値のような、様々な方法を用いて決められる。本発明のシステム及び方法による一つの例示的な実施の形態では、クラスタ内の位置までの距離の平均二乗誤差を最小限にするように、算術平均が用いられている。ＲＢＧ色空間内では、カラー画像の重心は次のように定式化されても良く、ここではＮは画像のピクセルの数である。

他の式がカラー画像の重心を定式化するために用いられても良く、次の式である。

これらの式は計算処理上単純であるから、均一のテクスチャを有する画像に広く用いられる。その他の式が、本発明によるシステム及び方法に用いられても良い。さらに、任意の特定の色空間を使用できる。たとえば、ユークリッド距離が知覚上の差と良く相関している色空間は、ユークリッド距離が知覚上の色の距離と良く相関していない色空間よりも、良く機能することもある。

二つの重心間の差は、色空間内のベクトルである。この距離だけ一つの重心を移動させると、他の重心と一致する。同様に、このベクトルを第一のソース領域の各ピクセルに加えると、このピクセルは第二のソース領域の対応するピクセルの色により近くなる。このようにして、このオフセットを加えると、一つのソース領域の色は他のソース領域の色と調和するようになる。このアプローチは、一つのクラスタを他のクラスタの中に取り入れる特定のアフィン変換として一般化が可能である。アフィン変換の使用例が、特許文献８において見出される。その内容は、全体として参照することによって本明細書中に組み込まれている。

本発明によるシステム及び方法の種々の例示的な実施の形態は、重複領域内の色を単に調和させているのではない。本発明によるシステム及び方法の種々の例示的な実施の形態では、画像の継ぎ目について段階的に色を変化させ、これらの画像の継ぎ目がより知覚されにくくする。本発明によるシステム及び方法の一つの例示的な実施の形態では、重複領域の外側の色は、色の急激な変化を避けるために変更される。これを行なうために、本発明によるシステム及び方法の種々の例示的な実施の形態では、複合画像についてベクトル差を補間する。図４は、本発明によるシステム及び方法の一つの例示的な実施の形態では、二つの画像について色の補正をどのようにして補間するかを示している。重複領域は、重複領域を含むすべての列の中のすべてのピクセルに色補正ベクトルの半分を加える及び／又は減ずることによって、補正される。すなわち、色補正ベクトルの半分が一つのソース画像の重心に加えられ、色補正ベクトルの半分が他のソース画像の重心から減らされる。このようにして、両方のソース領域の重心が、図４において「Ｃ」と示されている二つの重心間の線の中間点まで動かされる。重複領域の外側のピクセルの列も、画像の中心からの距離と比例して補正される。丁度重複領域の境界にある列は、「ｃ」のオフセットだけ補正されても良い。このオフセットは、列が画像の中心に近づくにつれて、比例して０まで減少する。この線形の補間は、本技術分野における通常の知識を有する者によって良く理解されるように、たとえば図８で示されたように重心が追加されると、二次、双一次（バイリニア）、双三次（バイキュービック）、又はより高次の補間まで拡張可能である。

図４に関連して、本発明によるシステム及び方法の一つの例示的な実施の形態では、次のような方法で色補正のアルゴリズムを定式化する。これに関連して、Ｍ_A及びＭ_Bは、各ソース画像のピクセルの中間点である。画像ソース領域Ａの幅は、ピクセルにおいてＷ_A−Ｏとして定義されている。画像ソース領域Ｂの幅は、ピクセルにおいて（Ｗ_B−Ｗ_A）＋Ｏとして定義されている。複合画像の重複領域の幅は、ピクセルにおいてＷ_Oとして定義されている。色空間内では、Ａ及びＢは、それぞれソース領域Ａ及びＢからのピクセルの重心又は平均値である。Ｃは、Ａ及びＢの中間点又は平均値である。図４で示されている種々の幾何学的な関係は、二つの重複した画像の単純なケースについてである。この場合には、各ソース画像は三つの領域を有する。それは、一定の色補正を有する重複領域、重複領域と線形的に変化する色補正を有する画像の中間点との間にある領域、及びエッジにある補正されていない領域である。上述した定義を用いる、本発明によるシステム及び方法の一つの例示的な実施の形態では、ソース画像Ａの三つの領域内のあるピクセル列ｒに対する付加的な色のオフセットＯは、次の式を用いて計算可能である。

同様に、ソース画像Ｂ内のあるピクセル列ｒに対するオフセットＯは、次のようにして決定される。

本発明によるシステム及び方法の種々の例示的な実施の形態は、上述のように、次元に拘わらない任意の共通の色空間に有効であり、一次元のグレースケール画像にも有効である。さらに、本発明によるシステム及び方法の種々の例示的な実施の形態は、上述のように、並行移動（ｔｒａｎｓｌａｔｉｏｎ）というよりもむしろ、アフィン変換に一般化できる。アフィン変換は線形であるから、アフィン変換は補間及び反転が可能である。

図６は、上述した技術を用いた、色の正規化の結果を示す。色の変化はわずかであるから、画像の下半分は、比較のために補正されていないままにしてある。白板の対応する領域が、上側の補正された領域において良く色合わせされていることに注意すべきである。

本発明のシステム及び方法の種々の例示的な実施の形態によると、二つの画像のみが補正される場合には、補間が、中心から中心までの代わりに、画像の幅全体に渡って実行可能である。すなわち、上述の例示的な実施の形態では、Ｍ_A＝０であり、Ｍ_B＝Ｗ_Bである。本発明のシステム及び方法の種々の例示的な実施の形態によると、重複領域が特に広い場合には、補間は重複領域を超えて延長できる。すなわち、Ｗ_O＝０である。本発明のシステム及び方法の種々の例示的な実施の形態によると、色補正を実行するためには、画像は全く重複する必要がない。画像が全く重複しないところでは、ソース領域は、「近い（ｃｌｏｓｅ）」画像領域であっても良い。たとえば、ソース画像が左右に接しようとする場合には、ソース領域は左のソース画像の最も右の部分及び右のソース画像の最も左の部分であっても良い。

本発明によるシステム及び方法は、線形の補間に限定されない。たとえば、任意の一対一のマッピングもまた用いることができる。「一対一」とは任意の入力が唯一の出力を有することを意味することに注意すべきである。さらに、本発明によるシステム及び方法の種々の例示的な実施の形態が、線形的に連結された画像というよりもむしろ、任意に重複した画像に適用可能である。たとえば、図７で示されるように、任意の数の画像が、重複あり又はなしで連結できる。図７では、画像の中心間に網目が構成されている。任意の二つの画像間の変換が、上述したように計算できる。これにより、すべての網目の辺の中心点で多くの変換がなされる。任意の個々のピクセルに対する色補正は、たとえば、隣接する網目の辺の最も近い中心から補間することによって見出され得る。図７は、（１）〜（７）に示されたように、七つの重複領域を識別する。各重複領域は、継ぎ目１０によって定義される。複合画像／モザイク画像の重複領域（１）は、画像ソース領域Ａ、Ｂ、Ｄ及びＥから成る。複合画像／モザイク画像の重複領域（２）は、画像ソース領域Ｂ、Ｃ、Ｅ及びＦから成る。複合画像／モザイク画像の重複領域（３）は、画像ソース領域Ａ、Ｂ、Ｄ及びＥから成る。複合画像／モザイク画像の重複領域（４）は、画像ソース領域Ａ〜Ｆから成る。複合画像／モザイク画像の重複領域（５）は、画像ソース領域Ｂ、Ｃ、Ｅ及びＦから成る。複合画像／モザイク画像の重複領域（６）は、画像ソース領域Ａ、Ｂ、Ｄ及びＥから成る。複合画像／モザイク画像の重複領域（７）は、画像ソース領域Ｃ、Ｅ及びＦから成る。複数の画像ソースの正規化は、得られたピクセルが最大許容ピクセルレベルを超えないように、スケーリングすることによって実行しても良い。スケーリングの一つの例示的な方法は、すべてのピクセル値の最大値で各ピクセル値を除算し、それによってすべてのピクセルに対する値が０と１の間の値となり、次に最大許容ピクセル値を乗算することを含む。これによって、確実にピクセル値が最大値以下となる。

本発明によるシステム及び方法が重複領域内の白色で明るい継ぎ目を処理している場合には、色の補正が最適な色の位置合わせを実行することが推測可能である。たとえば、継ぎ目があまりにも暗いか又は単一の基調となる色相を有する場合には、補正係数は他の条件については不適切であるかも知れない。しかしながら、補正された画像はこれらの特定の照明条件についての色差を依然として最小にする。本発明によるシステム及び方法の一つの例示的な実施の形態では、パノラマ的なビデオシステムが用いられており、システムの起動時又は利用者コマンドによって色が一旦正規化される。大きい照明の変化がない場合は、この処理はほとんど最適である。あるいは、本発明によるシステム及び方法の他の実施の形態では、たとえば均一に照明された中位のグレーの継ぎ目のような較正の継ぎ目を結像する場合には、色補正が事前計算可能である。本発明のシステム及び方法の他の例示的な実施の形態によると、色補正の係数は、設定された時間間隔毎又はソース画像から検出された照明の変化に応じて、周期的に計算し直されても良い。

本発明による方法の一つの例示的な実施の形態が、図５（ａ）及び図５（ｂ）で概説されている。ステップＳ１０００で処理が始まる。制御は次にステップＳ１０１０に進み、ソース画像の色分布のクラスタを形成するために、たとえばピクセルの列を含む、第一のソース画像内のピクセル及び／又はピクセル群の色分布が決定される（第一分布決定要素）。次に、制御はステップＳ１０２０に進み、ソース画像の色分布のクラスタを形成するために、たとえばピクセルの列を含む、重複するソース画像内のピクセル及び／又はピクセル群の色分布が決定される（第二分布決定要素）。制御は次にステップＳ１０３０に進み、第一のソース画像の色分布のクラスタの重心が決定される。次に制御はステップＳ１０４０に進み、そこでは重複するソースのカラー画像の色分布のクラスタの重心が決定される（重心決定要素）。制御は次にステップＳ１０５０に進み、モザイク／複合画像内にさらに重複するソース画像領域があるかが判断される。重複するソース画像領域がなければ、制御はステップＳ１０８０に移る。重複するソース画像領域があれば、制御はステップＳ１０６０に進み、追加の重複する画像ソース領域の色分布のクラスタを形成するために、たとえばソースＣのような、追加の重複する画像ソース内のピクセルの色分布が決定される（第三分布決定要素）。次に、ステップＳ１０７０では、追加の重複する画像ソース領域の色分布のクラスタの重心が決定される（重心決定要素）。次に、制御はステップＳ１０５０に戻り、複合／モザイク画像を形成する別の重複するソース画像領域があるかを判断する。別の重複するソース画像領域がなければ、制御はステップ１０８０に進む。別の重複するソース画像領域があれば、処理はステップＳ１０６０とＳ１０７０を経てステップＳ１０５０に戻り、ステップＳ１０５０内の結果がＮＯになるまで繰り返し、ＮＯとなれば、上述したように、制御はステップＳ１０８０に移る。

ステップＳ１０８０では、色分布のクラスタのすべての重心間の差が決定される（差決定要素）。この差は、ΔＣとして表現されても良い。次に、制御はステップＳ１０９０に進み、複合画像についての重心のベクトルの差の補間によって、各ソース領域の色が調節される（調節要素）。ステップＳ１０９０は以下に詳細に説明される。制御は次にステップＳ１１００に進み、複合／モザイク画像の調節された色が許容可能かが判断される。許容可能であれば、制御はステップＳ１１１０に進み、ここで処理が終了する。許容可能でなければ、次に制御はステップＳ１０１０に戻る。

ステップＳ１０９０は、多くの異なる方法で実行されても良い。本発明による方法の一つの例示的な実施の形態においては、図４との関連で説明したように、ステップＳ１０９０は、一定の付加的な色補正のオフセットＯを決めることによって開始する。オフセットＯは、たとえば、重複領域Ｗ_O内のピクセル列、ピクセル行及び他のピクセルの幾何学的配列のような、ピクセル群についてのＣ−Ａに等しい。このとき、線形的に変動する付加的な補正のオフセット

は、重複領域と画像の中間点との間の領域内のピクセル行に対して決められる。次に、一定の付加的な色補正のオフセットＯ＝０が、画像の中間点と画像の遠いエッジ、すなわち重複領域を定義するのを補助するエッジと対向する画像のエッジ、との間の領域内でピクセル行に対して決められる。

本発明の方法による他の例示的な実施の形態では、重複していて補正が必要な二つのソース画像のみしかない場合には、重複領域と画像の中間点との間の領域での線形の補間が、重複領域と画像の遠いエッジとの間に適用されても良い。この例示的な実施の形態では、画像の中間点と画像の遠いエッジとの間の領域に関する、上述した一定の付加的な色補正は用いられない。

含まれている重心の数及び重心が決められているソース領域の重複面積のサイズに基づいて、図７で示された網目の配列内の重心には、種々の重み付けがされても良い。複数の重心については、補間された値は、たとえば双一次、双三次、又はより高次の補間技術を用いて決定できる。

図８は、マルチカメラ結像システムにおいて色を正規化するために用いられる、本発明によるシステムの例示的な実施の形態を示す。コミュニケーションバス１００には四つのカメラＣ１、Ｃ２、Ｃ３及びＣ４が接続されている。カメラの数は変更しても良い。コミュニケーションバス１００に更に接続されているのは、カラー画像検出器及び分析器３００、並びにユーザインタフェース／データプロセッサ４００であり、ユーザインタフェース／データプロセッサ４００はディスプレイ４０１、データプロセッサ４０２、メモリ４０３及び入力装置４０４を含んでいても良い。ユーザインタフェース／データプロセッサは、たとえばパーソナルコンピュータであっても良い。各カメラは、コントラスト制御、カラーバランス、明るさ及び／又は暗さ制御、利得制御、雑音低減等のための、従来の制御を有する。カラー画像検出器及び分析器は上述した補間並びにマッピング及びピクセルデータ処理を実行可能である。カメラの利得制御を含む、信号をカメラＣ１、Ｃ２、Ｃ３、Ｃ４等に帰還させるために、ユーザ入力が有る場合でも又は無い場合でもパーソナルコンピュータ又は他のデータプロセッサが使用可能であり、複合画像についての色を正規化する。尚、カラー画像検出器及び分析器３００においては、図５に示される処理について、コンピュータ・プログラムがメモリ４０３（記憶手段）に格納されて、プロセッサ４０２（処理手段）により実行されても良く、また、他の任意の記憶手段に格納されて、入力手段及び出力手段を含む、他の任意のコンピュータまたはデータプロセッサにより実行されても良く、また、複数のコンピュータまたはデータプロセッサが協働して実行されても良い。

本発明は上述の特定の実施の形態に関連して述べてきたが、多くの代替物、結合、修正及び変更が、本技術分野における当業者には自明のことであることは明らかである。したがって、上述したこの発明の例示的な実施の形態は、例示的であり、制限しないことを意図されている。本発明の精神及び範囲から逸脱せずに種々の変更が可能である。

異なるカラーバランスを有する二つの重複する画像の例示的な斜視図である。 複合又はモザイク画像を重ね合わせ（オーバレイ）して形成するために結合された二つの重複する画像の例示的な概略図である。 図２で示された二つの画像の三次元ＲＧＢ色空間内のカラーピクセルのクラスタの例示的な斜視図である。 一つの重複領域を含む複合画像内の任意の色空間における、図２の二つの画像のピクセルのクラスタの重心の相関関係を示す、例示的な説明図である。 本発明による色の正規化の例示的な方法のフローチャートである。 本発明による色の正規化の例示的な方法のフローチャートである。 図５のフローチャート内で記述された方法に従って、色補償された図１の二つの重複する画像の例示的な斜視図である。 複合又はモザイク画像を形成するために結合された任意の数のソース画像の例示的な概略図であり、各ソース画像の中心は他のソース画像の中心に網目によって結合されている。 本発明によるマルチカメラ結像系システムの色を正規化するために使用されるシステムの例示的な概略図である。

符号の説明

１１１、２２２：ソース画像
３３３：複合画像
３３３ＳＲ：重複領域

Claims (17)

1. 複合画像を構成する少なくとも二つの個々のソース画像間の色差に基づいて、前記複合画像の色を変更する方法であって、
   第一のソース画像の色分布のクラスタを形成するために、前記第一のソース画像の色分布を決めるステップと、
   前記第一のソース画像に重複する第二のソース画像の色分布のクラスタを形成するために、前記第一のソース画像に重複する第二のソース画像の色分布を決めるステップと、
   各色分布のクラスタの重心のベクトルを決めるステップと、
   前記色差に相当する値として、前記第一のソース画像の重心のベクトルと前記第二のソース画像の重心のベクトルとの差を色空間内のベクトルとして決めるステップと、
   前記色空間内のベクトルの半分を前記第一のソース画像の前記重心のベクトルに加え、前記色空間内のベクトルの半分を前記第二のソース画像の前記重心のベクトルから減らすことにより、前記複合画像について各ソース画像の色を調節する調節ステップと、を備えた、
   方法。
2. 前記複合画像を構成する個々のソース画像の数が二つよりも多く、前記第一のソース画像及び前記第二のソース画像以外の他のソース画像と重複する各ソース画像の色分布を決めるステップをさらに備えた、請求項１に記載の方法。
3. 前記他のソース画像と重複する各ソース画像の色分布の重心のベクトルを決めるステップをさらに備えた、請求項２に記載の方法。
4. 前記複合画像を構成する重複する画像の数が二つよりも多い、請求項１に記載の方法。
5. 前記色空間内のベクトルの半分を前記第一のソース画像の前記重心のベクトルに加え、前記色空間内のベクトルの半分を前記第二のソース画像の前記重心のベクトルから減らすことによる各ソース画像の色の調節が前記複合画像全体に渡る、請求項１に記載の方法。
6. 前記色空間内のベクトルの半分を前記第一のソース画像の前記重心のベクトルに加え、前記色空間内のベクトルの半分を前記第二のソース画像の前記重心のベクトルから減らすことによる各ソース画像の色の調節が、画像の中間点を含む画像の少なくとも半分に渡る、請求項１に記載の方法。
7. 前記調節ステップは、前記色空間内のベクトルの半分を前記第一のソース画像の前記重心のベクトルに加え、前記色空間内のベクトルの半分を前記第二のソース画像の前記重心のベクトルから減らすことによって予め得られた結果に相当する一対一のマッピングに基づいて、前記複合画像について各ソース画像の色を調節する
   請求項１〜請求項６の何れか１項に記載の方法。
8. 前記調節ステップは、前記各ソース画像の色を調節するにあたり、調節対象ソース画像の各ピクセル値をそのうちの最大ピクセル値で除算して得られた各値に予め定められた最大許容ピクセル値を乗算することにより得られた各値を前記調査対象ソース画像のピクセル値として適用することによりピクセル値を正規化するステップを有する
   請求項１〜請求項７の何れか１項に記載の方法。
9. 複合画像を構成する少なくとも二つの個々のソース画像間の色差に基づいて、前記複合画像の色を変更するシステムであって、
   第一のソース画像の色分布のクラスタを形成するために、前記第一のソース画像の色分布を決めるための、第一分布決定要素と、
   前記第一のソース画像に重複する第二のソース画像の色分布のクラスタを形成するために、前記第一のソース画像に重複する第二のソース画像の色分布を決めるための、第二分布決定要素と、
   各色分布のクラスタの重心のベクトルを決めるための、重心決定要素と、
   前記色差に相当する値として、前記第一のソース画像の重心のベクトルと前記第二のソース画像の重心のベクトルとの差を色空間内のベクトルとして決めるための、差決定要素と、
   前記色空間内のベクトルの半分を前記第一のソース画像の前記重心のベクトルに加え、前記色空間内のベクトルの半分を前記第二のソース画像の前記重心のベクトルから減らすことにより、前記複合画像について各ソース画像の色を調節するための、調節要素と、備える、
   システム。
10. 前記複合画像を構成する個々のソース画像の数が二つよりも多く、前記第一のソース画像及び前記第二のソース画像以外の他のソース画像と重複する各ソース画像の色分布を決めるための、第三分布決定要素をさらに備える、請求項９に記載のシステム。
11. 前記他のソース画像と重複する各ソース画像の色分布の重心のベクトルを決める、請求項１０に記載のシステム。
12. 前記複合画像を構成する重複する画像の数が二つよりも多い、請求項９に記載のシステム。
13. 前記色空間内のベクトルの半分を前記第一のソース画像の前記重心のベクトルに加え、前記色空間内のベクトルの半分を前記第二のソース画像の前記重心のベクトルから減らすことによる各ソース画像の色の調節が前記複合画像全体に渡る、請求項９に記載のシステム。
14. 前記色空間内のベクトルの半分を前記第一のソース画像の前記重心のベクトルに加え、前記色空間内のベクトルの半分を前記第二のソース画像の前記重心のベクトルから減らすことによる各ソース画像の色の調節が、画像の中間点を含む画像の少なくとも半分に渡る、請求項９に記載のシステム。
15. 前記調節要素は、前記色空間内のベクトルの半分を前記第一のソース画像の前記重心のベクトルに加え、前記色空間内のベクトルの半分を前記第二のソース画像の前記重心のベクトルから減らすことによって予め得られた結果に相当する一対一のマッピングに基づいて、前記複合画像について各ソース画像の色を調節する、請求項９〜請求項１４の何れか１項に記載のシステム。
16. 前記調節要素は、前記各ソース画像の色を調節するにあたり、調節対象ソース画像の各ピクセル値をそのうちの最大ピクセル値で除算して得られた各値に予め定められた最大許容ピクセル値を乗算することにより得られた各値を前記調査対象ソース画像のピクセル値として適用することによりピクセル値を正規化する要素を有する、請求項９〜請求項１５の何れか１項に記載のシステム。
17. 複合画像を構成する少なくとも二つの個々のソース画像間の色差に基づいて、前記複合画像の色を変更するためのコンピュータプログラムであって、
    コンピュータを、
    第一のソース画像の色分布のクラスタを形成するために、前記第一のソース画像の色分布を決めるための第一分布決定要素、
    前記第一のソース画像に重複する第二のソース画像の色分布のクラスタを形成するために、前記第一のソース画像に重複する第二のソース画像の色分布を決めるための第二分布決定要素、
    各色分布のクラスタの重心のベクトルを決めるための重心決定要素、
    前記色差に相当する値として、前記第一のソース画像の重心のベクトルと前記第二のソース画像の重心のベクトルとの差を色空間内のベクトルとして決めるための差決定要素、
    及び前記色空間内のベクトルの半分を前記第一のソース画像の前記重心のベクトルに加え、前記色空間内のベクトルの半分を前記第二のソース画像の前記重心のベクトルから減らすことにより、前記複合画像について各ソース画像の色を調節するための調節要素として機能させるためのコンピュータプログラム。

Images