JP6371835B2 - 画像品質を改善するための方法、システムおよびコンピュータプログラム製品 - Google Patents

Description

本発明は、画像品質を改善するため、そしてより具体的には、画像内部の明ゾーンと暗ゾーンを除去することにより画像を補正するための方法、システムおよびコンピュータプログラム製品に関する。

画像処理の分野において、画像品質の改善は、解決すべき周知の問題である。このような改善は、生物学的利用分野などの多くの技術的利用分野のために必要とされている。生物学的分析の分野では、生体試料中に潜在的に存在する微生物のタイプを同定するために、インビトロ分析（ｉｎ ｖｉｔｒｏ ａｎａｌｙｓｉｓ）が生体試料に対して実施される。このような分析は、特異的成長培地などの特異的環境と生体試料を結びつけることによって実施可能である。特異的環境は、例えばペトリ皿内に設置され得る。特異的環境は、微生物の成長を可能にするため、分析すべき生体試料に適応される。生体試料と特異的環境を含むペトリ皿は次にインキュベータ内に置かれて、微生物成長を生成する。

インキュベーションプロセスの後、特異的環境の表面の分析が実施されて、ペトリ皿内で成長した微生物のタイプを特定する。分析は、欧州特許出願公開第２５２０９２３号明細書中に記載の画像形成システムを用いたペトリ皿の表面の照明を含めた複数のステップを含む。画像形成システムは、生体試料の周囲に位置設定された複数の照明光源を含む。各照明光源は、生体試料を異なる方向から照明する。定位置カメラが、ペトリ皿の同一表面のさまざまな画像を撮影する。その後、さまざまな画像からキャプチャしたデータを組合せて、微生物などの物体を含むペトリ皿の表面の深度マップまたは隆起レリーフマップを提供するために、照度差ステレオ法（ｐｈｏｔｏｍｅｔｒｉｃ ｓｔｅｒｅｏ ｐｒｏｃｅｓｓ）が適用される。

さまざまな照明光源の異なる照明方向、および微生物の特異的性質に起因して、鏡面反射ゾーン（ｓｐｅｃｕｌａｒ ｚｏｎｅ）などの明ゾーンが出現することがある。明ゾーンは、一画像内のハイライトされたゾーン、または鏡面反射ゾーンと結びつけられた高強度画素に対応する。セグメンテーション、物体認識、または表面再構築などの画像処理手順の間、このような明ゾーンおよび暗ゾーンは、対応する出力マップ上に歪効果をひき起こすかもしれない。この歪効果は、深度マップ上の表面物体の不正確な表現を導く可能性がある。

類似の要領で、ペトリ皿の内容物以外の既定の高さを有する物体を考慮する場合、暗ゾーンが出現するかもしれない。画像処理手順の間、このような暗ゾーンは同様に、対応する深度マップ上で歪効果をひき起こし、こうして深度マップ上の物体の不正確な表現を導く可能性がある。

先行技術では、鏡面反射ゾーンを除去するための複数の方法が開示されている。これらの方法の一つは、同じ物体の複数の画像の内の鏡面反射ゾーンを識別し、次に鏡面反射ゾーンに関連する画素が補正済み画素値で置換されている物体の単一の補正済み画像を提供するためのステップを含んでいる。

しかしながら、この例においては、異なる照明方向下で撮られた物体の多数の画像を、明ゾーンまたは暗ゾーンを除去した後に削減してはならない。実際、物体の各画像は、微生物の性質を同定する目的で照度差ステレオ法中に物体の表面をさらに特定するために、物体上の光の分布に関する関連情報を提供するのである。

結果として、各画像がこのような画像内の明ゾーンおよび暗ゾーンによってひき起こされる画像の歪の発生を防止するために定位置カメラを用いて異なる照明条件の下で撮られ、画像の品質改善後も画像の多重度を保持すると同時に各画像について照明光源の強度分布を保持することを目的とした、物体の画像の品質改善の必要性が存在する。

本発明の目的は、先行技術に付随する問題の少なくとも一部を克服することにある。

本発明のさらなる目的は、照度差ステレオ法などの一つの物体の隆起レリーフマップを提供するためのプロセスにおいて、少なくとも使用すべき画像の品質を改善するための方法、システムおよびコンピュータプログラム製品を提供することにある。

本発明は、添付の請求の範囲中で提示されている物体の補正済み画像を提供するための方法、システム、およびコンピュータプログラム製品を提供している。本発明の第一の態様によると、物体の複数の画像からこの物体の一つ以上の画像を補正して物体の一つ以上の補正済みの画像を提供し、この画像を物体の表面の一表現を生成するプロセスにおいてさらに使用する方法が提供され、複数の画像の各々が一つ以上の画素を含み、各画素が一つの画素値を含み、一つ以上の照明光源が異なる照明方向で物体を照明し、各画像が一つの特定の照明方向と結びつけられている方法であって：
前記複数の画像のうち第一の画像の複数の画素のうちの各画素について：
ａ）第一の画像内の一つの画素を選択して、選択された画素の画素値を得るステップと；
ｂ）複数の画像の残りの画像のうちの少なくとも一つの画像内で少なくとも一つの対応する画素を選択して、少なくとも一つの選択された対応する画素の画素値を得るステップと；
ｃ）少なくとも一つの選択された対応する画素の各画素値に対する、第一の画像内の選択された画素の画素値の少なくとも一つの比率を計算するステップと；
ｄ）少なくとも一つの計算された比率に基づいて選択された画素の画素値補正のための要件を決定するステップと；
ｅ）少なくとも一つの計算された比率に基づいて値（Ｗ）を計算して、選択された画素の補正済み画素値を決定するステップと；
ｆ）選択された画素の画素値を第一の画像内の補正済み画素値と置換して、補正済みの第一の画像を提供するステップと；
を含む方法が提供されている。

好ましくは、方法には、残りの非補正画像のうちの少なくとも一つの画像についてステップａ）、ｂ）、ｃ）、ｄ）、ｅ）およびｆ）を反復して、少なくとも一つのさらなる補正済み画像を提供するステップがさらに含まれる。

好ましくは、補正済み画素値を決定するステップは、シグモイド関数（ｓｉｇｍｏｉｄ ｆｕｎｃｔｉｏｎ）を含む規定の数式を適用するステップをさらに含んでいる。

好ましくは、数式は、求められる画素値補正レベルを決定するパラメータを含む。

好ましくは、数式は、シグモイド関数の遷移の鮮明度を決定するパラメータを含む。

好ましくは、数式は、画素値補正レベルを適応させるためのパラメータを含む。

好ましくは、複数の画像は、異なるタイプのゾーン、例えば明ゾーンおよび／または暗ゾーンを含む。

好ましくは、選択された画素は、一つの画像の一つの明ゾーンと結びつけられる。

好ましくは、選択された画素は、一つの画像の一つの暗ゾーンと結びつけられる。

好ましくは、補正済み画素値を決定するステップは、選択された画素と結びつけられたゾーンのタイプに左右される。

好ましくは、一つ以上の初期画像の各々は、赤、緑、青の三つのカラーチャネルを含み、ステップａ）、ｂ）、ｃ）、ｄ）およびｅ）が、各画素、各画像および各カラーチャネルについて反復的に実施される。

本発明の第二の態様によると、コンピュータシステムにより実行された場合に本発明の方法を実施する、記憶されたコンピュータ実行可能命令を含むコンピュータプログラム製品が提供される。

本発明の第三の態様によると、一つの物体の複数の画像を補正してこの物体の補正済み画像を提供し、この画像を物体の一表現を生成するためのプロセスにおいてさらに使用するための画像形成システムであって、複数の画像の各画像が一つ以上の画素を含み、各画素が一つの画素値を含んでいる画像形成システムであって、
− 異なる照明方向で物体を照明するための一つ以上の照明光源であって、各画像が一つの特定の照明方向と結びつけられている照明光源と；
− 複数の画像の各画像内の各画素の画素値を得るための画像キャプチャデバイスと；
− 複数の画像の残りの画像内で選択された少なくとも一つの対応する画素の画素値に対する前記複数の画像の第一の画像内の一つの選択された画素の画素値の少なくとも一つの比率を計算すること、および選択された画素の比率の平均値を計算して選択された画素の画素値の画素値補正についての要件を決定しかつ選択された対応する画素の画素値の補正済み画素値を決定することを目的とするデータプロセッサであって、選択された画素の画素値を補正済み画素値で置換して補正済み画像を提供するデータプロセッサと；
を含む画像形成システムが提供される。

一例として、ここで添付図面を参照する。

本発明の一実施形態に係る、一つの物体のために使用されるさまざまなタイプの照明方向を示す画像形成システムの簡略図を示す。 本発明の一実施形態に係る、画像形成システムのモジュールを示す画像形成システムの簡略図を示す。 本発明の一実施形態に係る、各々異なる場所に明ゾーンを含む同一物体の複数の画像を示す。 本発明の一実施形態に係る、赤／緑／青空間内の図３の表現をそれぞれ示している。 本発明の一実施形態に係る、一つの特定のカラーチャネルに関する他の画像内の対応する画素についての他の画素値に対する一つの画像の選択された画素の画素値の比率を表わすグラフを示す。 本発明の一実施形態に係る、一つの画像から明ゾーンを除去するためのシグモイド関数の一表現を示す。 本発明の一実施形態に係る、一つの画像から明ゾーンおよび暗ゾーンを同時に除去するためのシグモイド関数の一表現を示す。 本発明の一態様に係る方法のフローチャートを示す。 本発明の一実施形態に係る、各明ゾーンが補正済みである、図３、４、５および６の同じ物体の複数の補正済み画像を示す。 本発明の一実施形態に係る、赤／緑／青空間内の図１４の表現をそれぞれ示す。 明ゾーンを含む物体の一表現を示す。 本発明の一実施形態に係る、複数の明ゾーンが表わされた、図２１に示されている物体の細部の一表現を示す。 本発明の一実施形態に係る、図２２に示された細部の補正済み画像の一表現を示す。 本発明の一実施形態に係る、特定の明ゾーンと暗ゾーンとを含む同じ物体の三つの異なる画像を示す。 それぞれ本発明の一実施形態に係る、図２４、２５および２６の補正済み画像に関するものである。 本発明の一実施形態に係る、図２５に示された画像の赤のカラーチャネルに関係づけされた初期画像Ｉ１の一表現を示す。 本発明の一実施形態に係る、図２６に示された画像の赤のカラーチャネルに関係づけされた基準画像Ｉ２の一表現を示す。 本発明の一実施形態に係る、図３０に示された初期画像Ｉ１についての問題の画素線に関係づけされた強度値または画素値を表わす実線と、図３１に示された基準画像Ｉ２についての問題の画素線に関係づけされた強度値または画素値を表わす破線とを含むグラフを示す。 本発明の一実施形態に係る、図３１に示された基準画像Ｉ２を用いた図３０に示された初期画像Ｉ１の補正済み画像Ｉ１ｃを示す。 本発明の一実施形態に係る、平均値Ｗを表わす実線と、図３０に示された初期画像Ｉ１および図３１に示された基準画像Ｉ２についての補正済み関数ｆ（Ｗ）を表わす破線とを含むグラフを示す。 本発明の一実施形態に係る、図３０に示された初期画像Ｉ１に関する問題の画素線についての強度値または画素値を表わす実線と、図３３に示された補正済み画像Ｉ１ｃに関する問題の画素線についての強度値または画素値を表わす破線とを含むグラフを示す。 本発明の一実施形態に係る、図３０に示された初期画像Ｉ１と図３１に示された基準画像Ｉ２の比率として推定された平均値Ｗを表わす実線と、図３３に示された補正済み画像Ｉ１ｃと図３１に示された基準画像Ｉ２の比率として推定された補正済み平均値Ｗｃを表わす破線とを含むグラフを示す。 本発明の一実施形態に係る、異なるタイプの点線と共に示された、ｋ＝０．７５そしてα＝１００が固定値であり、かつ閾値Ｖ＝１、１．２および１．５である、ｆ（Ｗ）の三つの表現を示す。 本発明の一実施形態に係る、異なるタイプの点線と共に示された、Ｖ＝１．２５そしてα＝１００が固定値であり、かつｋ＝１、０．７５および０．５である、ｆ（Ｗ）の三つの表現を示す。 本発明の一実施形態に係る、異なるタイプの点線と共に示された、Ｖ＝１．２５そしてｋ＝０．７５が固定値であり、かつα＝１０³、１０²および１０である、ｆ（Ｗ）の三つの表現を示す。 本発明の一実施形態に係る、異なる照明方向でキャプチャされた物体の人工表面を表わす。 本発明の一実施形態に係る、明ゾーンの補正が必要とされている初期画像の一つを表わす。 本発明の一実施形態に係る、均等に空間的に分布した７つの照明光源に対応する７つの画像の鏡面反射成分の重畳（ｓｕｐｅｒｉｍｐｏｓｉｔｉｏｎ）からなる人工画像を表わす。 本発明の一実施形態に係る、均等に空間的に分布した７つの照明光源から獲得した７つの基準画像を用いた、図４１の補正済み画像を表わす。 本発明の一実施形態に係る、拡散成分について、およびソフト補正の結果についての、図４３ａに示された水平白線に沿った画素強度分布を表わす。 本発明の一実施形態に係る、ランダムに空間的に分布した７つの照明光源に対応する７つの画像の鏡面反射成分の重畳からなる人工画像を表わす。 本発明の一実施形態に係る、ランダムに空間的に分布した７つの照明光源から獲得した７つの基準画像を用いた、図４１の補正済み画像を表わす。 本発明の一実施形態に係る、拡散成分についておよびソフト補正の結果についての、図４５ａに示された水平白線に沿った画素強度分布を表わす。 本発明の一実施形態に係る、密に位置設定された７つの照明光源に対応する７つの画像の鏡面反射成分の重畳からなる人工画像を表わす。 本発明の一実施形態に係る、密に位置設定された７つの照明光源から獲得した７つの基準画像を用いた、図４１の補正済み画像を表わす。 本発明の一実施形態に係る、拡散成分についておよびソフト補正の結果についての、図４７ａに示された水平白線に沿った画素強度分布を表わす。 本発明の一実施形態に係る、補正対象の鏡面反射ゾーンとは反対側の照明光源に対応する一つの画像の鏡面反射成分を表わす。 本発明の一実施形態に係る、補正対象の鏡面反射ゾーンとは反対側の一つの照明光源から獲得した一つの基準画像を用いた、図４１の補正済み画像を表わす。 本発明の一実施形態に係る、拡散成分についておよびソフト補正の結果についての、図４９ａに示された水平白線に沿った画素強度分布を表わす。 本発明の一実施形態に係る、ランダムに空間的に分布した９９個の照明光源に対応する９９個の画像の鏡面反射成分の重畳からなる人工画像を表わす。 本発明の一実施形態に係る、ランダムに空間的に分布した９９個の照明光源から獲得した９９個の基準画像を用いた図４１の補正済み画像を表わす。 本発明の一実施形態に係る、拡散成分についておよびソフト補正の結果についての、図５１ａに示された水平白線に沿った画素強度分布を表わす。 本発明の一実施形態に係る、いかなる重複ゾーンもない異なる場所の明ゾーンを含む円形物体の四つの初期画像を表わす。 本発明の一実施形態に係る、先行技術において周知の修復プロセスを用いて明ゾーンが補正された、図５２ａ、５２ｂ、５２ｃおよび５２ｄの円形物体の画像を表わす。 本発明の一実施形態に係る、ソフト補正に関係する本発明の方法の適用後の、図５２ａ、５２ｂ、５２ｃおよび５２ｄの円形物体の補正済み画像を表わす。 本発明の一実施形態に係る、明ゾーンのいかなる補正も無く表面再構築方法を用いて処理した後の、図５２ａ、５２ｂ、５２ｃおよび５２ｄの円形物体の表面の輪郭線の概略図を表わす。 本発明の一実施形態に係る、先行技術において周知の修復プロセスを伴って表面再構築方法を用いて処理した後の、図５２ａ、５２ｂ、５２ｃおよび５２ｄの円形物体の表面の輪郭線の概略図を示す。 本発明の一実施形態に係る、先行技術のＣｏｌｅｍａｎおよびＪａｉｎのアルゴリズムを用いた、図５２ａ、５２ｂ、５２ｃおよび５２ｄの円形物体の表面の輪郭線の概略図を示す。 本発明の一実施形態に係る、Ｖ＿ｈｉｇｈ、Ｖ＿ｌｏｗ、ｋ＿ｈｉｇｈ、ｋ＿ｌｏｗおよびα＿ｈｉｇｈ、α＿ｌｏｗの具体的な設定値を伴う、本発明の一実施形態に係る表面再構築方法を用いた処理の後の、物体の輪郭線の概略図を表わす。 本発明の一実施形態に係る、各画像が一つの鏡面反射ゾーンを含みかついかなる鏡面反射ゾーンも別の鏡面反射ゾーンと重複していない四つの画像の重畳の概略図を表わす。 本発明の一実施形態に係る、各画像が一つの鏡面反射ゾーンを含みかつ全ての鏡面反射ゾーンが少なくとも一つの別の鏡面反射ゾーンと部分的に重複している、四つの画像の重畳の概略図を表わす。 各画像が一つの鏡面反射ゾーンを含みかつ少なくとも一つの鏡面反射ゾーンが別の鏡面反射ゾーンと完全に重複している、四つの画像の重畳の概略図を表わす。 本再構築プロセスの一実施形態に係る、照度差ステレオ法をモデリングする数式を示す。 本再構築プロセスの別の実施形態に係る、照度差ステレオ法をモデリングする数式を示す。 本再構築プロセスの一実施形態に係る方法のフローチャートを示す。 本再構築プロセスの一実施形態に係る第一の物体の初期画像の一例を示す。 本再構築プロセスの一実施形態に係る第二の物体の初期画像の一例を示す。 本再構築プロセスの一実施形態に係る第三の物体の初期画像の一例を示す。 本再構築プロセスの一実施形態に係る第四の物体の初期画像の一例を示す。 本再構築プロセスの一実施形態に係る、図６５の第一の物体の隆起レリーフマップを示す。 本再構築プロセスの一実施形態に係る、図６６の第二の物体の隆起レリーフマップを示す。 本再構築プロセスの一実施形態に係る、図６７の第三の物体の隆起レリーフマップを示す。 本再構築プロセスの一実施形態に係る、図６８の第一の物体の隆起レリーフマップを示す。 本再構築プロセスの一実施形態に係る第五の物体の初期画像の一例を示す。 本再構築プロセスの一実施形態に係る、第五の物体の三つの初期画像を考慮した場合の、図７３の第五の物体の隆起レリーフマップを示す。 本再構築プロセスの一実施形態に係る、第五の物体の５つの初期画像を考慮した場合の、図７３の第五の物体の隆起レリーフマップを示す。 本再構築プロセスの一実施形態に係る、第五の物体の１０個の初期画像を考慮した場合の、図７３の第五の物体の隆起レリーフマップを示す。 本再構築プロセスの一実施形態に係る、各初期画像が異なる照明方向に関連している、第６の物体の四つの初期画像を示す。 本再構築プロセスの一実施形態に係る、図７７、７８、７９および８０の初期画像を考慮した場合の第６の物体の隆起レリーフマップの上面図を示す。 本再構築プロセスの一実施形態に係る、図８１に示された第６の物体の隆起レリーフマップの側面図を示す。 それぞれ、本再構築プロセスの一実施形態に係るさまざまな物体の隆起レリーフマップの側面図を示す。 本再構築プロセスの第一および第二の実施形態における本再構築プロセスの方法を用いて得られた異なる再構築済み表面を比較するための表を示す。 それぞれ初期画像、グランドトゥルース正像（ｇｒｏｕｎｄ ｔｒｕｔｈ ｎｏｒｍａｌ ｉｍａｇｅ）および深度画像マップに関する。 異なる初期化動作を考慮した場合の、本再構築プロセスの方法を用いて得られる異なる再構築済み表面を比較するための表を示す。 異なる終結条件を考慮した場合の、本再構築プロセスの方法を用いて得られる異なる再構築済み表面を比較するための表を示す。

以下の説明は、具体的な例に基づいて、十分に明確かつ完全な形で本発明を開示している。しかしながら、この説明は、保護の範囲を以下に記述する具体的実施形態および実施例に限定するものとして理解されるべきではない。

以下の説明において、「画素」という用語は、一つの画像内の一つの位置に関連し、「画素値」および「画素強度値」は、一つの画像内の一つの画素の値または対応するキャプチャされた強度を意味する。

以下の説明において、「初期画像」または「画像」という用語は、同じ物体のさまざまな画像を意味し、ここで物体の各画像は、一つ以上の照明光源により生成される特定の一照明方向に対応する。一つ以上の照明光源は、全てのＲＧＢ（赤、緑および青）カラーチャネルを生成し得る。さらに、各画像は、既定の場所において定位置カメラで撮影される。説明されている実施形態は、三つの画像、すなわち、定位置を有するカメラにより異なる照明方向下で撮られた三つの画像、すなわち画像１、２および３を含む。本発明は同様に、Ｎ個という複数の画像を処理するためにも好適であるということを理解すべきである。各画像はＭ個という複数の画素と、ＲＧＢ空間すなわち赤、緑および青の三つのカラーチャネルを含む。以下の計算では、一例として各画像内の画素１などの一つの画素のみが考慮されている。一つの画像のＭ個という複数の画素に対しても計算が適用可能であることを理解すべきである。

画像は、二つの成分の組合せとして定義されてよい。第一の成分は、いかなる優先的な方向もなく反射されている光の部分に対応する拡散成分である。第二の成分は、優先的な方向で反射されている光の部分に対応する鏡面反射成分である。本発明の目的は、鏡面反射成分を除去して、拡散成分を取り戻すことにある。

「シェーディング」という用語は、光の位置および物体の表面に起因する物体上の光の分布に対応する情報に関する。本画像のためには、この情報を用いて、さらなるステレオ照度差法で物体表面を再構築してもよい。

「不正確に高い」「不正確に低い」または「不正確な強度」という用語は、それぞれ画像内の他の画素の強度値との関係においてより高い、より低い、または不正確である画素強度値に関する。

以下の説明において、「明ゾーン」という用語は、一つの画像の鏡面反射ゾーン、すなわち鏡面性を含む画像の一ゾーンに関する。明ゾーンは、不正確な強度を有する一つ以上の明るい画素を含んでいてよい。多数の画像および画像内の異なる明ゾーンを考慮する場合、一つの画像内の明ゾーンは全ての他の画像内の明ゾーンと完全に重複すべきでない。

以下の説明において、「暗ゾーン」という用語は、物体の画像内の陰影ゾーンに関するものであり得、ここで暗ゾーンは、一つ以上の暗画素を含んでいてよい。暗画素は不正確な強度を有する。多数の画像および画像内の異なる暗ゾーンを考慮する場合、一つの画像内の暗ゾーンは、全ての他の画像内の暗ゾーンと完全に重複すべきではない。

さらに、以下の説明において、「物体」という用語は、さまざまな照明方向で照明されている任意の物体に関するものであり得、ここで物体の画像は定位置カメラで撮影される。物体は、微生物などの寸法の小さい一つ以上の物体に関するか、またはウオーターボトルなどのより大きい寸法の物体に関するものであってよい。

図１は、一つ以上のベースユニット１０２を含む画像形成システム１００を示す。各ベースユニット１０２は、赤（Ｒ）、緑（Ｇ）および青の照明を生成するための光学部品と制御回路１０３を含む。各ベースユニット１０２は、対応する赤、緑、青（Ｂ）の照明光源１０４、１０５、１０６を含み、これらの照明光源は全て独立して制御可能である。照明光源１０４、１０５、１０６は、環状照明、逆環状照明、または側方照明などを作り出す可能性がある。

画像形成システム１００は任意には、物体１０７を保持するための保持ユニット１０１を含んでいてよい。照明光源１０４、１０５、１０６が、物体の上方に位置設定される。

照明光源１０４、１０５、１０６の方向づけに関しては、照明光源１０４、１０５、１０６の光学軸は、照明光源が物体１０７に対して直交しないかまたは直交するものであり得る一つの方向に照明を適用するような形で配置される。

画像形成システム１００は同様に、保持ユニット１０１に向けられたカメラなどの画像キャプチャデバイス１０８をも含んでいる。ベースユニット１０２のいずれかからの照明光源１０４、１０５、１０６の任意の組合せからの照明を、物体１０７の方に向けることができる。画像キャプチャデバイス１０８は次に、照明を受けた保持ユニット１０６内の任意の物体１０７からの画像をキャプチャしてよい。

図１に示されているように、環状ビーム１０９が同様に物体１０７を照明してよく、これはベースユニット１０２の一つにより生成される。

照明光源１０４、１０５、１０６は、任意の好ましいタイプのもの、例えば赤（Ｒ）、緑（Ｇ）および青（Ｂ）の周波数で動作する発光ダイオード（ＬＥＤ）、単純な白色光源、紫外線（ＵＶ）源、または他の任意の適切な放射線源であってよい。任意の場所における光源の数は、本明細書中に示され説明されているものから変動し得る。各ＲＧＢ照明は、それぞれの各周波数で動作する三つのＬＥＤで構成されている。異なる照明光源について、例えばＲＧＢ ＬＥＤの異なる組合せが存在してよい。

各ユニット内でその機能を制御する制御回路および光学部品１０３に加えて、少なくとも一つのコンピュータ、ディスプレイユニット、処理モジュールおよび画像エンハンスアルゴリズム、画像処理および他の任意のプロセスまたは技術を含む全体的制御システム１１０が存在していてよい。

制御システム１１０は、特定のアプリケーション用にどの照明光源を使用するかを制御するために使用されてよい。さらに制御システムは、異なるアプリケーション用に異なる画像エンハンス技術、および画像処理手順を適用してよい。画像エンハンス技術は、初期画像の品質をエンハンスするため、または例えば可視領域内で画像のコンテンツを分析する専門家にとって、関連情報を可視的なものにするための方法および技術である。例としては、異なる画像の融合、例えば溶血反応の検出を改善するための異なる画像の融合、エッジ照明補正、露光時間補正などが含まれる。画像処理は、決定支援を提供するかまたは自動決定を可能にするための画像からの情報の抽出である。

制御システムは、画像形成システムのための他の任意の機能および／または制御動作を実施するために使用されてよい。これらには、以下のものが含まれるが、それらに限定されるわけではない：
− 輝度の制御；
− 赤、緑、青成分のバランス制御；
− 露出時間の制御；
− 照明組合せの制御；
− システムのテスト；
− システムの較正；および
− 分析の用途および目的に基づく他の任意の適切な制御。

本発明の目的は、明画素、より具体的にはハイライト画素、または鏡面反射画素、すなわち他の画像内の同じ画素の他の画素値と比べて不正確に高い強度を有する画素に対応する画素の画素値を補正すること、および暗画素、例えば陰影画素、すなわち他の画像内の同じ画素の他の画素値に比べて不正確に低い強度を有する画素に関係する画素値を補正することによって、画像の品質を改善することにある。

図２に示されているように、画像キャプチャデバイス１０８は、一つの画像内の各画素を選択し、その画素の対応する画素値または強度Ｉを決定するための強度検出デバイス１１２を含んでいる。強度検出デバイス１１２は、異なるカラーチャネルＲ、Ｇ、Ｂの各々について規定数の画像内で、各画素の強度を検出またはキャプチャする。

第一の実施形態において、強度検出デバイス１１２は、画像１などの一つの画像を選択する。強度検出デバイス１１２はこのとき、カラーチャネルＲなどの特定のカラーチャネルを選択する。強度検出デバイス１１２は、カラーチャネルＲについて画像１内の各画素の画素値を検出する。画像１内の画素１という具体的例を考慮した場合、検出された画素値はＩＲ１（画素１）を意味してよい。

強度検出デバイス１１２は、画像１についてカラーチャネルＧおよびＢでも同じ要領で続行する。同様にして、検出された画素値は例えば、カラーチャネルＧについてはＩＧ１（画素１）、そしてカラーチャネルＢについてはＩＢ１（画素１）を意味していてよい。

強度検出デバイス１１２は次に、画像２および３について同じステップを実施する。強度検出デバイス１１２は、他の全ての画像内の対応する画素をつねに選択して、全ての異なる画像内の同じ画素の対応する強度を決定する。「同じ画素」という文言は、画素が全ての画像内で同じ場所に位置設定されていることを意味すると理解すべきである。したがって、画像１中の画素１は、画像２および３内の画素１と同じ場所に位置設定される。

検出された画素値は、例えば画素１を考慮した場合、以下の表記を意味する：
− 画像２について：
ＩＲ２（画素１）
ＩＧ２（画素１）
ＩＢ２（画素１）；
− 画像３について：
ＩＲ３（画素１）
ＩＧ３（画素１）
ＩＢ３（画素１）。

強度検出デバイス１１２は、画像１、そして付随するカラーチャネルＲについての全ての画素値を表わす行列ＩＲ１などの対応する行列内に、検出された強度を記憶してよい。

類似の要領で、画像１の、カラーチャネルＧと結びつけられた全ての画素の画素値は、行列ＩＧ１の形に組織され、画像１の、カラーチャネルＢに関係づけされた画素値は、行列ＩＢ１の形に配置される。

画像１の画素に対応する画素値が行列ＩＲ１、ＩＧ１、およびＩＢ１の形に配置されるのと同じ要領で、全ての画像についての全ての画素の検出された画素値は、例えば、以下のものを示す対応する行列の形に配置される：
カラーチャネルＲおよび画像２について、ＩＲ２
カラーチャネルＲおよび画像３について、ＩＲ３

カラーチャネルＧおよび画像２について、ＩＧ２
カラーチャネルＧおよび画像３について、ＩＧ３

カラーチャネルＢおよび画像２について、ＩＢ２
カラーチャネルＢおよび画像３について、ＩＢ３

対応する行列に集められた画素値の量に起因して、強度検出デバイス１１２は、アンラップステップを処理して、行列を１本のデータラインを含むベクトルに変換してよく、こうして画素値に基づくさらなる計算が容易になる。

図３、４、５および６に示されている通り、明ゾーンは、同じ物体上の異なる場所で発生する可能性がある。図３は、物体の左側にある明ゾーンを示す。図４は、物体の右側にある明ゾーンを示す。図５は、物体の底部にある明ゾーンを示し、図６は物体の上部にある明ゾーンを示す。明ゾーンは同様に、ＲＧＢ空間内で考慮されてもよい。図７、８および９は、図３に示された明ゾーンの表現について、それぞれ赤チャネル、緑チャネルおよび青チャネルを示している。

図２に示されている通り、制御システム１１０は同様に、画素値および規定の数式に基づく特定の計算を実施するためのデータプロセッサ１１４を含んでいる。

データプロセッサ１１４は、上述の行列に基づいて、異なるカラーチャネルについての特定の画像内の画素の画素値と、対応するカラーチャネルについての他の画像内の対応する画素の画素値との間の比較に関連する特定の比率を計算してよい。１という比率は、同じ画素値を有する二つの画素の画素値との比較に対応する。こうして、比率が１と異なる場合、比率は、一つの画像内の一つの画素の第一の画素値と、一つ以上の他の画像内の同じ画素の第二の画素値との間の相違を決定する。実際、比率が１より大きい場合、これはすなわち、問題の画素がより明るい画素に対応することを意味する。例えば、比率は、これは１に等しい比率の２０％の増加を表わす１．２０であってもよい。比率が１より小さい場合、これはすなわち、問題の画素がより暗い画素に対応することを意味する。

画像１について：
比率には、カラーチャネルＲと結びつけられた画像１内において、同じカラーチャネルについての画像２と比べた場合の明ゾーンの存在を決定するために、例えばＩＲ１／ＩＲ２が含まれる。

結果として得られる比率値は、例えば、以下のような対応する比率行列の形に配置されてよく、ここで各ベクトルは、画素毎の画像１の全ての画素の比率に関係し、ここで行列の各列は、関連している画像内の特定の画素に対応する。

画像１について：
ＩＲｌ＿ｒａｔｉｏ＝（ＩＲ１／ＩＲ２；ＩＲ１／ＩＲ３）
ＩＲ２＿ｒａｔｉｏ＝（ＩＲ２／ＩＲ１；ＩＲ２／ＩＲ３）
ＩＲ３＿ｒａｔｉｏ＝（ＩＲ３／ＩＲ１；ＩＲ３／ＩＲ２）

画像２および画像３について：
データプロセッサ１１４は、画像２および３について、かつ、各画像１、２、３についてならびに画像２と画像３内の各画素についての他のカラーチャネルＧおよびＢについてそれぞれ、類似の比率行列を得るため、類似の比率計算を反復して実施する。

Ｎ個という多数の画像を考慮する場合、データプロセッサ１１４は、各カラーチャネルに関してＮ個の画像全ての画素全てについて、このような比率計算を反復的に実施する。

データプロセッサ１１４は同様に、以上で得られた比率行列に基づく平均値である重みづけ値Ｗを計算してもよい。

平均値は、統計的尺度に基づく一般化平均値に対応する。一般化平均は、一組のデータセットの値を集約して、結果として得られた、そのデータセットを特徴づけるかまたは表わすデータ値を提供する。結果として得られたデータ値は、データセットの任意のデータ値と同じタイプのものである。こうして、結果として得られるデータ値は、データセットの任意のデータ値と比較できる。一般化平均は、計算された比率の算術平均（すなわちアベレージ）、加重算術平均、幾何平均、または中央値などの中心傾向尺度（ｃｅｎｔｒａｌ ｔｅｎｄｅｎｃｙ ｍｅａｓｕｒｅ）を意味してよい。

第一の実施形態において、重みづけ値Ｗは、各画像の各画素について、および各カラーチャネルについて計算され、以下に記す通りに定義づけされてよい。

上記式中、ｃ_jは加重平均の計算を可能にする係数である。それは、算術平均の場合１／ｐに等しいものであってよく、ここでｐは基準画像の数であり；
Ｉ_refjは、ｐ個という複数の基準画像内のｊ番目の画像であり；
Ｉは、補正対象の画像である。

結果として得られた重みづけ値Ｗは、以下の通りの対応する重みづけ行列の形に配置されていてよい。

カラーチャネルＲについて：
ＷＲ１＝画像１内の全画素についての平均ＩＲ１＿ｒａｔｉｏ
ＷＲ２＝画像２内の全画素についての平均ＩＲ２＿ｒａｔｉｏ
ＷＲ３＝画像３内の全画素についての平均ＩＲ３＿ｒａｔｉｏ

上述の例において、ＷＲ１は、画像１の赤チャネルの全画素についてのＷの値を集める重みづけ行列である。

カラーチャネルＧおよびＢについて、類似の重みづけ行列が得られる。

Ｎ個という多数の画像を考慮した場合、データプロセッサ１１４は、各カラーチャネルについてのＮ個の画像全ての画素全てについて、このような重み行列計算を反復的に実施する。

図１０は、図１内のそのそれぞれの場所で識別されている６０００の画素を含む、図３に示されている画像１についての比率ＷＲ１の一表現を示す。この例において、算術平均は、図４、図５および図６に示されている基準画像として使用されている他の三つの画像に基づいて平均値ＷＲ１を計算するために使用される。こうして、ＷＲ１の高い値は、画素１５００から画素２０００の間に位置設定されている明ゾーンに対応する。

重みづけ値Ｗは、閾値Ｖと重みづけ値Ｗを比較して、どの状況において重みづけ値と結びつけられた画像が明ゾーンを含むかを決定するため、１に等しい閾値Ｖと結びつけられる。

重みづけ値Ｗが閾値１に等しい場合、これはすなわち、二つの考慮対象画像内の同じ画素の強度値が同じであることを意味している。

重みづけ値Ｗが閾値１よりも大きい場合、これはすなわち、画素が恐らく鏡面反射画素に関係していることを意味する。

重みづけ値Ｗが、特定の画素について１より小さい場合、これはすなわち、画素が鏡面反射画素に関係しないことを意味している。

重みづけ値Ｗが値０に接近した場合、これはすなわち、画素が恐らくは暗ゾーンに関係していることを意味する。

重みづけ値Ｗは、二つの対応する閾値間隔を定義するため、明ゾーンについてはＶｍ＿ｈｉｇｈ、そして暗ゾーンについてはＶｍ＿ｌｏｗなどの具体的な余裕値Ｖｍと結びつけられてよい。このような閾値間隔は、鏡面反射ゾーンまたは陰影ゾーンに無関係である場合がある特定の明ゾーンおよび暗ゾーンを画像内に保持することを可能にする。実際、このような特定の明ゾーンおよび暗ゾーンは、例えば特定の照明方向または物体の特定の性質によってひき起こされる照明光源と物体との相互作用に起因して発生するかもしれない。したがって、閾値間隔を考慮する場合、このような特定のゾーンは、本発明の方法を用いて補正されるべき明ゾーンまたは暗ゾーンとはみなされず、画像内で不変の状態にとどまる。Ｖｍ＿ｈｉｇｈおよびＶｍ＿ｌｏｗの値は、Ｖｍ＿ｈｉｇｈが０．２に等しく、Ｖｍ＿ｌｏｗが０．８に等しいといった定義値である。

第一の閾値間隔は、１という値に接近し明画素の不在を示す、より高いＷの値に関係する。余裕値Ｖｍ＿ｈｉｇｈの値に基づいて、第一の閾値間隔は、１からＶ＿ｈｉｇｈまでのＶの値に関係し、ここでＶ＿ｈｉｇｈは明画素についてのＶの既定値に対応する。Ｖｍ＿ｈｉｇｈが０．２に等しいこの例において、第一の閾値間隔は、１から１＋Ｖｍ＿ｈｉｇｈ、すなわち１．２までのＶの値に対応する。こうして、重みづけ値Ｗが１に等しくなく第一の閾値間隔内に含まれている場合、これは、関係づけされた画素が鏡面反射画素とみなされないことを暗示する。こうして、例えば物体の特定の性質などに起因する光の効果によって発生させられることのある高い強度を有する画素値が、画素補正のために考慮されるが、画素値の補正の後ほぼ不変の状態にとどまる。

第二の閾値間隔は、０という値に接近し暗画素の存在を示す、より低いＷの値に関係する。余裕値Ｖｍ＿ｌｏｗの値に基づいて、第二の閾値間隔は、Ｖ＿ｌｏｗから１までのＶの値に対応し、ここでＶ＿ｌｏｗは暗画素についてのＶの既定値に対応する。Ｖｍ＿ｌｏｗが０．８に等しいこの例において、第二の閾値間隔は、１から１−Ｖｍ＿ｌｏｗ、すなわち０．２までのＶの値に対応する。こうして、重みづけ値Ｗが１に等しくなく第二の閾値間隔内に含まれている場合、これは、関係づけされた画素が暗ゾーンに対応する任意の暗画素を含むものとみなされないことを暗示する。こうして、例えば物体またはペトリ皿材料の特定の性質などに起因する光の効果によって発生させられることのある低い強度を有する画素値が、画素値補正のために考慮されるが、画素の補正の後ほぼ不変の状態にとどまる。

閾値Ｖは、本発明の方法を用いた画素値補正が必要とされるか否かを決定するための一つの要件を表わしている。

データプロセッサ１１４は、上述の比率、重みづけ値Ｗおよび閾値Ｖに基づいて規定の式を計算して、補正済み画素値または補正済み強度Ｉｃを提供し、考慮中の画素の既定の画素値Ｉと置換させることができ、この式は、例えば以下の形態をとってよい。

式中、
ｉｍ＿ｎｕｍｂｅｒは、Ｎ個という複数の画像からの補正済み画像のための添え字つき（ｓｕｂｓｃｒｉｐｔｅｄ）リファレンスであり；
ｐ＿ｎｕｍｂｅｒは補正済み画素のための添え字つきリファレンスであり；
ｆ（Ｗ）は、補正されるべき明画像と暗画像に関する連続補正を提供する。シグモイド関数がこのような連続性を可能にする。

ｆ（Ｗ）は、以下のシグモイド関数のような関数であり、０より大きく１未満の値を表わしていてよい。

式中、
−ｋは、以下に定義されている補正レベルの変調に関係づけされる係数であり；
−Ｖは、閾値間隔に関して以上で説明した閾値であり；
−αは、シグモイド関数の遷移鮮明度を定義するパラメータであり；
−Ｗは、上述した重みづけ値である。

上記式中、ｋは、補正レベルを変調して、物体の補正済み画像上で問題の画素によりひき起こされた歪を変調するため、および画像内部の他の画素に対する画素補正の影響のレベルを変調するための既定の係数であり、ｋの値は０より大きく１未満である。ｋの高い値は、画素の有意な補正を提供する。明画素および暗画素についての図３８に示されているような例えばｋ＝０．７５などのｋの既定の値はそれぞれ、ｋ＿ｈｉｇｈおよびｋ＿ｌｏｗを意味していてよい。

上記の式に基づいて、重みづけ値Ｗが閾値Ｖに比べて相対的に高い場合、関数ｆ（Ｗ）は、関連する画素値の補正を提供するｋの値に接近する。

同様にして、重みづけ値Ｗが閾値Ｖよりも相対的に低い場合、関数ｆ（Ｗ）は、画素値を有意に変えない関連する画素値の補正を提供する値０に接近する。

上記式中、αは、シグモイド関数の遷移鮮明度を定義づけるパラメータである。これはすなわち、αが、図３９に示されている画像内の物体の補正済みゾーンと非補正ゾーンの間の可視的遷移を平滑化するように補正を変調するために変動可能であることを意味する。遷移の平滑性は、画像に対する補正の可視的効果を改善すると同時に、物体表面の再構築のためのさらなる照度差ステレオ法などのプロセスのための画像の品質を改善する。明画素および暗画素のためのαの既定値は、それぞれα＿ｈｉｇｈおよびα＿ｌｏｗと呼ばれる。

パラメータα、ｋおよびＶについての上述の区別に基づいて、ｆ（Ｗ）の上記一般式を、以下のように詳細な形で記すことができる。

図１１、３７、３８および３９は、パラメータｋ、ｆ（Ｗ）、Ｖ＿ｈｉｇｈおよびＶ＿ｌｏｗ、そしてαについての異なる値セットを含む異なる実施形態を示す。

図３７は、ｋ＝０．７５およびα＝１００が固定値であり、ｆ（Ｗ）に対するＶの影響を示すためＶ＝１、１．２および１．５である、ｆ（Ｗ）の一表現に各々関係づけされている３本の点線を表わす。

図３８は、Ｖ＝１．２５およびα＝１００が固定値であり、ｆ（Ｗ）に対するｋの影響を示すためｋ＝１、０．７５および０．５である、ｆ（Ｗ）の一表現に各々関係づけされている３本の点線を表わす。

図１１は、Ｖおよびｋが固定値であり、ｆ（Ｗ）に対するαの影響を示すためα＝１０³、１０²および１０である、ｆ（Ｗ）の一表現に各々関係づけされている３本の点線を表わす。

図３９は、Ｖ＝１．２５およびｋ＝０．７５が固定値であり、同様にｆ（Ｗ）に対するαの影響を示すためα＝１０³、１０²および１０である、ｆ（Ｗ）の一表現に各々関係づけされている３本の点線を表わす。

図１２は、α＿ｈｉｇｈ＝１００およびα＿ｌｏｗ＝５０およびｋ＿ｈｉｇｈ＝０．６およびｋ＿ｌｏｗ＝０．８である、明ゾーンおよび暗ゾーンと結びつけられたαおよびｋの異なる値を伴う、ｆ（Ｗ）の一表現を示す。

図１３に示されているように、本発明の方法は、以下で説明されている通りの複数のステップ１３０２、１３０４、１３０６および１３０８を含む。方法は、画像キャプチャデバイス１０８が、Ｎ個という複数の画像を獲得するステップ１３０２を含んでいる。説明された実施形態においては、異なる照明光源により、異なる照明方向で少なくとも二つの画像が撮影されなければならない。

ステップ１３０２では、強度検出デバイス１１２が異なる画像１、２および３を各々考慮し、各カラーチャネルについての各画素の強度を検出して、各画素、各画像および各カラーチャネルについての画素値ＩＲを得る。

ステップ１３０４では、データプロセッサ１１４は、一つの画像内で考慮中の画素の強度と他の画像内の対応する画素の強度との間の比率を同じ画素について計算し、同じカラーチャネルが、対応する比率値を得るようにする。

ステップ１３０６では、データプロセッサ１１４は、各画素、各画像および各カラーチャネルについて各々計算された比率の対応する平均値を計算する。

ステップ１３０８では、データプロセッサ１１４は、各画像上の各画素についておよび各カラーチャネルについて、上記式に基づいて、補正済み画素値Ｉｃを計算する。

図１４、図１５、図１６および図１７は、それぞれ図３、図４、図５および図６の物体の補正済み画像を示し、ここでは明ゾーンは、比率推定のための基準画像として他の三つの画像を用いて各画像内で補正されている。Ｗを計算するための平均値として、算術平均が使用された。図１８、１９および２０は、それぞれ赤、緑および青チャネル内で図１４の補正済み画像を示す。

図１８、１９および２０に示された補正例においては、上述のパラメータｋ＿ｈｉｇｈ、ｋ＿ｌｏｗ、Ｖ＿ｈｉｇｈ、Ｖ＿ｌｏｗおよびα＿ｈｉｇｈおよびα＿ｌｏｗは、以下で示す通りに決定され得る：
ｋ＿ｈｉｇｈ＝ｋ＿ｌｏｗ＝０．７５
Ｖ＿ｈｉｇｈ＝１．２およびＶ＿ｌｏｗ＝０．２
α＿ｈｉｇｈ＝１００およびα＿ｌｏｗ＝５０

厳密な補正のためには、パラメータＶ＿ｈｉｇｈは１．２に等しくてよい。

ソフト補正のためには、パラメータＶ＿ｈｉｇｈは１．２に等しくてよく、パラメータαは、異なるｋ値と組合せた形で１０に等しいかもしれない。ｋ＝１である場合、補正は最大になるように思われる。

ｋが０に接近した場合、いかなる補正も提供されない。

パラメータｋ＿ｈｉｇｈ、ｋ＿ｌｏｗ、Ｖ＿ｈｉｇｈ、Ｖ＿ｌｏｗおよびα＿ｈｉｇｈおよびα＿ｌｏｗのこれらの値は、比率の計算された平均値に基づいて経験的に決定される。本明細書の全ての実施例において、以上に記したパラメータセットが使用されている。

図２１〜２２および２４〜２６は、Ａ．Ｈｅｒｔｚｍａｎｎ、Ｓ．Ｍ．Ｓｅｉｔｚ、「Ｅｘａｍｐｌｅ−Ｂａｓｅｄ Ｐｈｏｔｏｍｅｔｒｉｃ Ｓｔｅｒｅｏ：Ｓｈａｐｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｗｉｔｈ Ｇｅｎｅｒａｌ Ｖａｒｙｉｎｇ ＢＲＤＦ」、ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｐａｔｔｅｒｎ ａｎａｌｙｓｉｓ ａｎｄ ｍａｃｈｉｎｅ ｉｎｔｅｌｌｉｇｅｎｃｅ、ｖｏｌ２７、８、ｐ．１２５４〜１２６３、２００５年中で言及されている公開データベースの中に記憶されている画像を示す。図２１は、公開データベース中で入手可能であるネコを表わす物体の８個の画像のうちの一つに対応する。図２４、２５および２６は、公開データベース中で入手可能である魚を表わす物体の１４個の画像のうちの三つに対応する。

図２１は、複数の明ゾーンを有するネコを表わす物体の画像を示す。

図２２は、ネコの目の周りおよび上に位置設定された特定の明ゾーンを示す。本発明の方法を用いて図２２に示された画像を処理した後、図２３に示された補正済み画像が得られる。補正済み画像を得るための方法は、基準画像としてネコの他の７個の画像を使用することによって実施される。算術平均は平均値Ｗを計算するために使用され、パラメータｋ＿ｈｉｇｈ、ｋ＿ｌｏｗ、Ｖ＿ｈｉｇｈ、Ｖ＿ｌｏｗおよびα＿ｈｉｇｈおよびα＿ｌｏｗのセットは、以上で言及されたものと同じである。目視により、図２２中に示された画像内に存在する明ゾーンが、図２３に示された画像内には現われないということが分かる。その上、さらに目視すると、ネコの目を表わす図２２の細部が、本発明に係る方法を適用した結果として改変されなかったことが分かる。

図２４、２５および２６に示された他の実施例では、複数の明ゾーンと暗ゾーンとを観察することができる。図２７、２８および２９に示されている通り、暗ゾーンおよび明ゾーンは、本発明に係る方法を適用することによって除去された。補正済み画像を得るために使用される方法は、基準画像として魚の他の１３個の画像を使用することからなり、ここで１３個の画像は、補正対象の画像と異なる。算術平均は平均値Ｗを計算するために使用され、パラメータｋ＿ｈｉｇｈ、ｋ＿ｌｏｗ、Ｖ＿ｈｉｇｈ、Ｖ＿ｌｏｗおよびα＿ｈｉｇｈおよびα＿ｌｏｗのセットは、以上で言及されたものと同じである。その上、目視すると、物体の細部が、本発明に係る方法を適用した結果として改変されなかったことが分かる。

初期画素値、Ｗ値、ｆ（Ｗ）値および補正済み画素値の値を表わす目的で、ここで図２５および図２６の画像に基づく一つの実施例について説明する。赤のカラーチャネルなどの一つのカラーチャネルが考慮される。図２５および図２６の画像の各赤カラーチャネルが、それぞれ図３０および図３１に表わされている。図３０および図３１は、Ｗおよびｆ（Ｗ）の値を例示するため、問題の画素線を表わす白線を示している。

図３２は、図３０に示されている初期画像Ｉ１および図３１に示されている基準画像Ｉ２についての問題の画素線についての、画素値または強度値を表わすグラフを示す。

図３３は、図３１上の基準画像Ｉ２を用いた、図３０内の初期画像Ｉ１の補正済み画像Ｉ１ｃを表わしている。平均値Ｗは、図３１に示された一つの基準画像を用いて計算される。こうして、平均値は、図３０に示された初期画像Ｉ１と図３１に示された基準画像Ｉ２の比率に等しい。

図３４は、平均値Ｗおよび補正済み関数ｆ（Ｗ）を表わすグラフを示す。ｆ（Ｗ）は、以上で言及したものと同じパラメータｋ＿ｈｉｇｈ、ｋ＿ｌｏｗ、Ｖ＿ｈｉｇｈ、Ｖ＿ｌｏｗおよびα＿ｈｉｇｈおよびα＿ｌｏｗを用いて計算される。図３４は、ｆ（Ｗ）の値をゼロに等しくないものとして示しており、これは補正対象の画素を示す。値は、明ゾーンすなわち比較的高いＷの値、および暗ゾーン、すなわち比較的低いＷの値の両方に対応している。

図３５は、図３０に示されている初期画像Ｉ１および図３３に示されている補正済み画像Ｉ１ｃについての問題の画素線についての画素値を表わすグラフを示す。

図３６は、図３０に示された初期画像Ｉ１と図３１に示された基準画像Ｉ２の比率として推定された平均値Ｗ、および図３３に示された補正済み画像Ｉ１ｃと図３１に示された基準画像Ｉ２の比率であるものとして推定された補正済み平均値Ｗｃを表わすグラフを示す。

図３５に示されているように、補正済み画像Ｉ１ｃ中の明ゾーンの強度値は、図３２に示された通りの画像Ｉ１中の明ゾーンの強度値よりも低い。同様にして、図３５に示されているように、補正済み画像Ｉ１ｃ中の暗ゾーンの強度値は、図３２中に示されている通りの画像Ｉ１中の暗ゾーンの強度値よりも高い。さらに、物体のテクスチャおよび表面を特徴づけする画素の強度値は、図３２に示されている画像Ｉ１内の一部の画素の強度値と比べた場合、図３５中の補正済み画像Ｉ１ｃについて不変の状態にとどまっている。

初期画像Ｉ１および基準画像Ｉ２両方の上の明ゾーンまたは暗ゾーンである一部のゾーンは検出されず、したがって補正されていないことを指摘することができる。その結果、これらのゾーンの強度値は、それぞれ異常なほどに高く、または低くとどまっている。しかしながら、互いに完全に重複していない明ゾーンまたは暗ゾーンを伴うより多くの基準画像を使用すると、本発明の方法は最適化され、この方法は少なくともこのような誤検出を回避するように導かれる。

代替的には、上述のパラメータについての具体的な値を決定する代りに、パラメータの値を適応させるための自動システムを実施してもよい。

各画像上の鏡面反射ゾーンの位置設定は、本発明に係る方法を用いて補正済み画像の品質を改善するために極めて重要である。実際、すでに言及した通り、各鏡面反射ゾーン、すなわち明ゾーンあるいは暗ゾーンは、改善された品質の補正済み画像を提供するために、別の鏡面反射ゾーンと完全に重複すべきではない。

こうして、図５９は、物体５８０の四つの画像の重畳の概略図を表わし、ここで画像１は、鏡面反射ゾーン５９０を含み、画像２は鏡面反射ゾーン５９１を含み、画像３は鏡面反射ゾーン５９２を含み、画像４は鏡面反射ゾーン５９３を含む。いかなる鏡面反射ゾーンも別の鏡面反射ゾーンと重複していない。本発明に係る方法は、鏡面反射ゾーンが図５９にある通りに位置設定されている状態で、最良の結果を提供する。

図６０は、物体５８０の四つの画像の重畳の概略図を表わし、ここで画像１は、鏡面反射ゾーン６０１を含み、画像２は鏡面反射ゾーン６０２を含み、画像３は鏡面反射ゾーン６０３を含み、画像４は鏡面反射ゾーン６０４を含む。鏡面反射ゾーン６０１、６０２、６０３および６０４の各々が、少なくとももう一つの鏡面反射ゾーンと部分的に重複している。

図６１は、物体５８０の四つの画像の重畳の概略図を表わし、ここで画像１は、鏡面反射ゾーン６１１を含み、画像２は鏡面反射ゾーン６１２を含み、画像３は鏡面反射ゾーン６１３を含み、画像４は鏡面反射ゾーン６１４を含む。少なくとも鏡面反射ゾーン６１１が、鏡面反射ゾーン６１２、６１３および６１４と完全に重複している。

図４０は、異なる照明方向でキャプチャされた物体の人工表面を表わす。

図４１は、明ゾーンの補正が必要とされている初期画像の一つを表わす。

図４２は、均等に空間的に分布した７つの照明光源に対応する７つの画像の鏡面反射成分の重畳からなる人工画像を表わす。

図４３ａは、均等に空間的に分布した７つの照明光源から獲得した７つの基準画像を用いた、図４１の補正済み画像を表わす。

図４３ｂは、実線で表わされた拡散成分について、および点線で表わされたソフト補正に基づく結果として得られた成分についての、図４３ａに示された水平白線に沿った画素強度分布を表わす。明ゾーンは均等に位置設定されていることから、補正済み画像の品質は満足のいくものである。これは、図４３ｂのグラフ上で拡散成分に続く結果としての成分により示されている。さらに、補正を必要としないゾーンに対する具体的な影響は全くない。

図４４は、ランダムに空間的に分布した７つの照明光源に対応する７つの画像の鏡面反射成分の重畳からなる人工画像を表わす。

図４５ａは、ランダムに空間的に分布した７つの照明光源から獲得した７つの基準画像を用いた、図４１の補正済み画像を表わす。

図４５ｂは、実線で表わされた拡散成分について、および点線で表わされたソフト補正に基づく結果として得られた成分についての、図４５ａに示された水平白線に沿った画素強度分布を表わす。照明光源がランダムに位置設定されている場合、補正済み画像の品質は同様に満足のいくものである。

図４６は、密に位置設定された７つの照明光源に対応する７つの画像の鏡面反射成分の重畳からなる人工画像を表わす。

図４７ａは、密に位置設定された７つの照明光源から獲得した７つの基準画像を用いた、図４１の補正済み画像を表わす。

図４７ｂは、実線で表わされた拡散成分について、および点線で表わされたソフト補正に基づく結果として得られた成分についての、図４７ａに示された水平白線に沿った画素強度分布を表わす。図４６に示された明ゾーンは重複することから、補正プロセスは完了していない可能性がある。実際、重複する明ゾーンは、不正確な強度を有するゾーンであるものとして検出されない可能性がある。

図４８は、補正対象の鏡面反射ゾーンとは反対側の照明光源に対応する一つの画像の鏡面反射成分を表わす。

図４９ａは、補正対象の鏡面反射ゾーンとは反対側の一つの照明光源から獲得した一つの基準画像を用いた、図４１の補正済み画像を表わす。

図４９ｂは、実線で表わされた拡散成分について、および点線で表わされたソフト補正に基づく結果として得られた成分についての、図４９ａに示された水平白線に沿った画素強度分布を表わす。物体の表面上での光の全体的分布は得られないものの、補正済み画像は優れた品質のものである。

図５０は、ランダムに空間的に分布した９９個の照明光源に対応する９９個の画像の鏡面反射成分の重畳からなる人工画像を表わす。

図５１ａは、ランダムに空間的に分布した９９個の照明光源から獲得した９９個の基準画像を用いた図４１の補正済み画像を表わす。

図５１ｂは、実線で表わされた拡散成分について、および点線で表わされたソフト補正に基づく結果として得られた成分についての、図５１ａに示された水平白線に沿った画素強度分布を表わす。補正済み画像は、改善された品質のものである。

こうして、画像補正の最良の結果は、ランダムにまたは均等に空間的に分布した有意な数の画像を考慮に入れた場合に得られる。

相対する光源方向で獲得した二つの初期画像を用いると、結果として互いに遠距離に位置設定された明ゾーンが得られる。したがって、先に定義した通りの重みづけ値Ｗが最適な形で適用され、補正済み画像は改善された品質のものである。

近い光源方向で獲得した１２個の画像などの複数の初期画像を使用した場合、アーチファクトおよび明ゾーンの全体的または部分的重複ゾーンが出現するかもしれない。こうして、先に定義した通りの重みづけ値Ｗが正しく明ゾーンを検出しないか、あるいはこのような明ゾーンを効率良く補正しない可能性がある。

図５２ａ、５２ｂ、５２ｃおよび５２ｄは、いかなる重複ゾーンもない異なる場所の明ゾーンを含む円形物体の四つの初期画像を表わす。

図５３ａ、５３ｂ、５３ｃおよび５３ｄは、周知の修復プロセスを用いて明ゾーンが補正された円形物体の画像を表わす。

図５４ａ、５４ｂ、５４ｃおよび５４ｄは、ソフト補正を用いた本発明の方法の適用後の円形物体の補正済み画像を表わす。図５４ａ、５４ｂ、５４ｃおよび５４ｄの補正済み画像は、周知の修復プロセスで得られた対応する補正済み画像５３ａ、５３ｂ、５３ｃおよび５３ｄと比較した場合、改善された品質のものであると思われる。

複数の円形線を含む物体の画像上の鏡面反射ゾーンを除去するための先行技術のプロセスを比較するために、図式的比較を提供することができる。

図５５は、明ゾーンの補正が全くない状態での表面再構築プロセスの後の、円形物体の表面の輪郭線の概略図を示す。一部の円形線は延伸しているように見える。

図５６は、先行技術において公知の修復プロセスを伴う再構築の後の、円形物体の表面の輪郭線の概略図を示す。一部の円形線はなおも延伸しているように見える。補正済み画像は品質の劣るものである。

図５７は、先行技術において公知のＣｏｌｅｍａｎおよびＪａｉｎのアルゴリズムを用いた、円形物体の表面の輪郭線の概略図を示す。円形線は延伸して、大幅に修正されている。補正済み画像は、品質の劣るものである。

図５８は、パラメータがＶ＿ｈｉｇｈ＝１．２、ｋ＿ｈｉｇｈ＝ｋ＿ｌｏｗ＝０．５そしてα＿ｈｉｇｈ＝α＿ｌｏｗ＝１０である、本発明の方法を用いて得られた再構築プロセスの後の、物体の輪郭線の概略図を示す。

図５８に示されているように、円形線は延伸しておらず、各円形線間の距離は一定にとどまっている。本発明に係る鏡面反射ゾーンを除去するための方法は、最良の結果を提供する。

および

を含む第一の実施形態は、以下のアルゴリズム内で動作する。

アルゴリズム１：ソフト鏡面性補正アルゴリズム。

上述の第一の実施形態は、ユーザーが基準画像セットに基づいて各パラメータｋ、Ｖおよびαについての適応された設定値を定義し得る状況下での、エンハンスされた品質を伴った結果を提供する。

第二の実施形態において、重みづけ値Ｗは、以下に定義される通りに計算される。

第二の実施形態において計算されているＷに基づいて、ｆ（Ｗ）はこのとき、パラメータαの値のみに基づく適応修正に関係する。

Ｉは、補正対象の画像の画素強度に関係する。第二の実施形態において画像数ｉｍ＿ｎｕｍｂｅｒ＝１であり、したがって以降の表記においては無視することができる。画像がアンラップされた、すなわちベクトル化された場合、画像Ｉ内の各画素はＩ（ｐ＿ｎｕｍｂｅｒ）と呼ばれる。さらに、第二の実施形態についてのこの説明において、画像Ｉおよび補正のために使用される画像は、グレースケール画像すなわちシングルチャネル画像であるものと仮定される。したがって、ＩＲ、ＩＧおよびＩＢの表記を使用する必要は全くない。画像Ｉは、アルゴリズム中で使用される唯一の可変的表現である。画像Ｉを補正するためには、ｐ個の基準画像のセットも同様に使用され、画像｛Ｉ_ref｝は同じ固定カメラ位置から異なる光源位置で撮影される。例えば、初期画像セットが三つの画像Ｉ₁、Ｉ₂、Ｉ₃を含む場合、画像Ｉの第一の補正＝Ｉ₁は、基準画像セット｛Ｉ_ref｝＝｛Ｉ₂、Ｉ₃｝と結びつけられる。同様にして、画像Ｉの第二の補正＝Ｉ₂は、基準画像セット｛Ｉ_ref｝＝｛Ｉ₁、Ｉ₃｝と結びつけられる。同様にして、画像Ｉの第三の補正＝Ｉ₃は、基準画像セット｛Ｉ_ref｝＝｛Ｉ₁、Ｉ₂｝と結びつけられる。基準画像は、補正対象の画像を除く初期シーケンスの他の全ての画像に対応してよい。各画像Ｉについての全体的光源分布または位置設定は、低周波数成分と見られ、追加の強度平面におおよそ近似され得る。平面および対応する並進運動の方向は、光源の位置および強度によって左右される。

画像Ｉが基本的シェーディングを有する場合には、各画像

の相対的シェーディングが、比率値

の行列の以下で詳述される通りのＬｉｎＡｐｐｒｏｘと呼ばれる線形近似として表現されてよく、式中の

はポイントツーポイント分割（ｐｏｉｎｔ−ｔｏ−ｐｏｉｎｔ ｄｉｖｉｓｉｏｎ）に関係する。

こうして、近似された平面をＩＲ＿ｒａｔｉｏの評価された値から減算する場合、全体的シェーディングは除去され、鏡面反射ゾーンが全くない場合、この減算の値はゼロに向かう方向にある。

ＬｉｎＡｐｐｒｏｘ（Ｉ、Ｉ^l _ref）は、線形またはロバスト回帰係数を用いた平面による比率値

の行列の近似である。ｃ_Iは一般化平均値についての画像比率の重みを表わす。線形近似の係数は、以下の誤差を最小化することによって得られる場合がある。

式中、α₀、α₁、α₂は近似された平面を定義する等式の係数である。

比率値と近似平面の間の剰余に対し１を加えることで、単比の場合のようにＷで演算することが可能になる。Ｗ（ｐ_-ｎｕｍｂｅｒ）の値が１に近づけば近づくほど、Ｉ（ｐ_-ｎｕｍｂｅｒ）とＩ^l _ref（ｐ_-ｎｕｍｂｅｒ）の間の差は小さくなる。

評価された適応比率の適用により、この第二の実施形態内で閾値Ｖを使用する必要はなくなる。得られた近似平面ＬｉｎＡｐｐｒｏｘ（Ｉ、Ｉ^l _ref）は、各画素（ｐ_-ｎｕｍｂｅｒ）に適しかつ各基準画像Ｉについての閾値行列として見られてよい。補正済み画像画素Ｉｃ（ｐ_-ｎｕｍｂｅｒ）を、以下のように評価することができる。

αは補正済みゾーンと非補正済みゾーンの間の遷移鮮明度を定義している。パラメータｋおよびαは、適応閾値なしのソフト鏡面性除去アルゴリズムの場合と同じ意味を有する。

第二の実施形態は、以下の対応する第二のアルゴリズムで動作する。

アルゴリズム２：適応ソフト鏡面性補正アルゴリズム

それぞれ一つの物体の補正済み画像を提供するために第一および第二の実施形態に関係づけされたアルゴリズム１およびアルゴリズム２の両方共が、同じ補正原理を有する。しかしながら、アルゴリズム１では、予め定義された閾値Ｖは予め補正関数評価の中に含み入れられていた（アルゴリズム１、８行目）。アルゴリズム２では、この値は、比率値の行列ＩＲの線形近似の演算（アルゴリズム２、７行目）、および比率値の初期行列からの減算（アルゴリズム２、８行目）の結果として、もはや減算されない（アルゴリズム２、１２行目）。これは、画像の全ての画素についての固定値Ｖの代りに、各画像画素について固有の閾値を有することと類似している。画像補正は、線形近似Ｓのために比率値の行列ＩＲの全ての値を識別する必要性に起因して（アルゴリズム２、７行目）、二つのループに分割される（アルゴリズム２、３〜９行目およびアルゴリズム２、１０〜１４行目）。他の演算は全て、アルゴリズム１については、画素と関係づけられたものにとどまっている。

第二の実施形態は、品質がエンハンスされた結果を提供し、補正対象の画像が関係する照明条件は基準画像の照明条件と著しく異なっている。

こうして、例えば物体の特定の性質に起因する光の効果によって発生させられる場合がある高い強度を有する画素値が画素補正のために考慮され、Ｖｍ＿ｈｉｇｈよりも高い重みづけ値Ｗを生成する画素値を有する画素に比べてその補正度は低い。

こうして、例えば物体またはペトリ皿の特定の性質に起因する光の効果により発生させられる場合がある低い強度を有する画素値が画素補正のために考慮され、Ｖｍ＿ｈｉｇｈよりも高い重みづけ値Ｗを生成する画素値を有する画素に比べてその補正度は低い。

本発明は、処理されつつある画像の全画素値を置換するための解決法を提供する。本発明は、鏡面反射画素などの明画素、および陰影画素などの暗画素を含む特定のゾーンまたは画像領域の画素値の同時補正を提供する。本発明は、照明光源の照明方向および／または位置設定に関する既定の情報を必要とすることなく、このようなゾーン内で対応する画素値を補正するための解決法を提供する。本発明は、全ての画像内の全ての画素を順次考慮することによる、多数の画像に基づく方法を提供する。このことは、鏡面反射画素または陰影画素に結びつけられているあらゆる画素に対して補正を提供するために、全ての画素からの画素情報が使用されることを暗示している。本発明は、特定の照明方向に関する画像と結びつけられた具体的情報を含む特定のゾーンの画素値が不変の状態にとどまることができるようにする。実際、このような特定のゾーンの各画素値は処理され、この画素値について異なる画素値が求められていないことから、同じ画素値で置換される。特定のゾーンの画素値は、関係づけされた画像のシェーディング情報に関係するかもしれない。したがって、本発明においては、画像内の全ての画素が考慮に入れられ、統合されて画素値の置換と同時に補正を提供する。この態様により、例えばこの方法のさらなる一ステップにおいて照度差ステレオ法を処理している場合に、物体の表面の方向づけを高い信頼性で推定することが可能となる。本発明は多数の初期画像に基づいて多数の補正済み画像を提供することから、さらなる照度差ステレオ法の処理も同様に改善される。一つの具体的実施形態においては、さらなる表面再構築プロセスが全く求められていない場合、物体の唯一つの画像の画素値を補正するために、物体の最低二つの画像が必要である。

さらに、本発明は、複雑な画素テクスチャを含み実質的なサイズを有するゾーンを考慮する場合でも、画像の強調表示ゾーンおよび陰影ゾーンを復元するのに好適である。

本発明の解決法を最適化するためには、有意な数の画像を使用してよく、有意な数の照明光源を物体の周りに均等に位置設定してよい。こうして、物体の画素値に関係づけされた大量の情報を考慮することが可能である。その結果、画素値の補正を改善することができる。その上、画素値の補正を最適化するために、問題のゾーンが、他の全ての画像内の別の問題のゾーンと完全に重複してはならない。

本発明の方法は、微生物の画像などの鏡面反射の半球形物体に関係づけされた画像に対して、最適な形で適用される。こうして、追加の照度差ステレオ再構築プロセスが、物体の表面の画像と物体の深度マップを提供し、上述の第一または第二の実施形態に係る補正済み画像を提供するための方法が実施された後で実行された場合、これらは両方共、改善された品質を有する。

照度差ステレオ再構築プロセスの目的は、物体を照明する照明光源の位置および／または方向に関する情報を全く使用することなく、かつ物体の表面の法線に関する情報を全く使用することなく、一つの物体の表面の隆起レリーフマップまたは表現を生成するための方法、システムおよびコンピュータプログラム製品を提供することにある。

再構築プロセスの一態様によると、物体の複数の画像から物体表面のモデルを得るための方法であって、物体が一つ以上の照明光源で照明され、
−各々一つの画素アレイを含み一つの物体の類似のビューを表わす画像セットを得るステップであって、類似のビューが異なる照明条件下で得られるステップと；
− ・複数の画像について同じであるアルベド値（ａｌｂｅｄｏ ｖａｌｕｅ）である、各画素の場所にある物体のアルベドを表わす第一のモデル成分；
・各画像の全ての画素について同じである照明光源強度値である、各画像についての照明強度を表わす第二のモデル成分；
・各画像について異なり各画像の全ての画素について同じである照明ベクトルである、特定の照明方向を表わす第三のモデル成分；
・全ての画像について同じである法線ベクトルである、各画素位置における物体表面の表面法線方向を表わす第四のモデル成分；
という未知のモデル成分の観点から、画像の公知の画素強度値を表現するモデル関数を定義づけするステップと；
− 画像セットから得られた画素値と、前記モデル関数を用いて計算された画素値との間の差分関数を最小化するために、一つ以上の最小化演算シーケンスを実施するステップであって、他のモデル成分が不変の状態にとどまっている間に前記モデル成分の一つが変動できるようにすることによって各々の最小化演算が実施される、ステップと；
− 物体表面の前記モデルとして第四のモデル成分を出力するステップと、
を含む方法が提供されている。

好ましくは、前記最小化演算シーケンスは、後続する反復の前に少なくとも一回前記モデル成分の各々が順番に変動させられる反復ループを含み、前記反復ループは、終結条件が満たされるまで反復される。

好ましくは、前記反復ループは、前記モデル成分の別のサブセットが変動させられる前に、前記モデル成分の一つのサブセットが多数回変動させられる一つ以上の内側ループを含む。

好ましくは、一つの内側ループは、前記第三のモデル成分および前記第四のモデル成分を多数回変動させるステップを含む。

好ましくは、一つの内側ループは、前記第一のモデル成分と前記第二のモデル成分を変動させるステップを含む。

好ましくは、最小化演算が実施されて前記第一のモデル成分と前記第二のモデル成分を変動させる前に、最小化演算が実施されて前記第三のモデル成分と前記第四のモデル成分が多数回変動させられる。

好ましくは、第一のモデル成分は、第一のモデルサブ成分と第一の構造化成分を含み、ここで第一の構造化成分は、物体の表面特性を再現するために第一のモデルサブ成分を適応させる。

好ましくは、第二のモデル成分は、第二のモデルサブ成分と第二の構造化成分とを含み、ここで第二の構造化成分は、照明光源の照明条件を再現するために第二のモデルサブ成分を適応させる。

好ましくは、第三のモデル成分は、第三のモデルサブ成分と第三の構造化成分とを含み、ここで第三の構造化成分は、照明光源の照明条件を再現するために第三のモデルサブ成分を適応させる。

好ましくは、第一の構造化成分は、複数の画像に関しての各画素についての同じアルベド値を含む複数の画像についての同じ係数を表わす。

好ましくは、第二の構造化成分は、複数の画像のうちの一つの画像の全ての画素についての同じ強度係数を表わす。

好ましくは、第三の構造化成分は、前記複数の画像のうちの一つの画像と結びつけられた一つの照明光源の照明方向を表わし、これは、複数の画像のうちの一つの画像の全ての画素について同じである。

好ましくは、一つ以上の照明光源は、赤、緑および青のカラーチャネルを含む。

好ましくは、第一のモデル成分は、複数の画像について、各画素および各カラーチャネルに関して同じであり、第二のモデル成分は、各画像の全ての画素について各カラーチャネルに関して同じである。

好ましくは、第一の構造化成分は、複数の画像について、各カラーチャネルに関して各画素について同じアルベド値を含む。

好ましくは、第二の構造化成分は、各画像の全ての画素に関して各カラーチャネルについての同じ強度係数を表わす。

好ましくは、モデル関数は修正モデル関数を含み、ここで、第一、第二、第三および第四のモデル成分に関係づけされたモデル関数は、第一、第二および第三のモデルサブ成分ならびに第四のモデル成分に関係づけされた修正モデル関数に等しい。

再構築プロセスの第二の態様によると、実行された時点で、対応する方法のステップをプログラマブルデータ処理装置に実施させることになる命令を含むコンピュータプログラム製品が提供される。

再構築プロセスの第三の態様によると、物体の複数の画像から一つの物体表面のモデルを得るための画像形成システムであって、
− 異なる照明方向で物体を照明するための一つ以上の照明光源であって、各画像が一つの特定の照明方向と結びつけられている照明光源と；
− 複数の画像の各画像内の各画素の画素値を検出するための画像キャプチャデバイスと；
− ・複数の画像について同じであるアルベド値である、各画素の場所にある物体のアルベドを表わす第一のモデル成分；
・各画像の全ての画素について同じである照明光源強度値である、各画像についての照明強度を表わす第二のモデル成分；
・各画像について異なり各画像の全ての画素について同じである照明ベクトルである、特定の照明方向を表わす第三のモデル成分；
・全ての画像について同じ法線ベクトルである、各画素位置における物体表面の表面法線方向を表わす第四のモデル成分；
という未知のモデル成分を記憶するための第一のメモリーコンポーネントを含むデータプロセッサと；
を含む画像形成システムであって、
データプロセッサが、画像セット上で受け取った画素値と、未知のモデル成分の観点から画像の既知の画素値を表現する定義済みのモデル関数を用いて計算された画素値との間の差分関数を最小化するために、一つ以上の最小化演算シーケンスを実施し、かつ
他のモデル成分が固定された状態にとどまっている間に、前記モデル成分の一つが変動できるようにすることによって、各々の最小化演算が実施され、
物体表面の前記モデルとして法線モデル成分を出力することを目的とする、
画像形成システムが提供されている。

好ましくは、データプロセッサはさらに、物体の表面特性および照明光源の照明条件を再現するようにモデルサブ成分の一つ以上を適応させるべく構造化成分を記憶するための第二のメモリーコンポーネントを含んでいる。

画像形成システム１００はさらに、四つのモデル成分を記憶するためのモデル成分データベースを記憶するための第一のメモリーコンポーネントを含む。

第一のモデル成分は、第一の行列Ａと結びつけられた初期画像の一つの画素のアルベド値を表わす。第一の行列Ａは、画素のアルベド値を含み、各アルベド値は物体の表面の各画素によって反射されている入射照明の比率に関係する。こうして、アルベド値は、物体表面の材料に左右される光学特性を表わす。第一の行列Ａは、３×ｎｉに等しい行数を有し、ここで各行は、特定のカラーチャネルに関する一つの初期画像の全ての画素についてのアルベド値を表わす。したがって、三つの行は、三つのカラーチャネルＲ、Ｇ、Ｂを表わす。第一の行列Ａは、初期画像内の画素数に等しい列数を含む。

第二のモデル成分は、各照明光源の強度を表わし、第二の行列Ｌと結びつけられる。各画像獲得について、一度に一つの照明光源のみが使用される。こうして、第二の行列Ｌは、非ゼロ値を伴う各行が、各初期画像について一意的である照明光源の強度値に関係している行列である。第二の行列Ｌは、各初期画像の各カラーチャネルについての強度値を表わすため３×ｎｉに等しい数の行を含む。第二の行列Ｌは、ｎｐという数の値と等しい数の列を含む。

第三のモデル成分Ｖは、各照明光源の照明方向を表わす。第三のモデル成分は、正規直交空間（ｘ、ｙ、ｚ）に関係づけされた三つの成分Ｖｘ、ＶｙおよびＶｚを含む第三の行列Ｖを含む。こうして、ベクトル（Ｖｘ、Ｖｙ、Ｖｚ）は、画像獲得プロセス中の照明光源の方向を表わす。第三の行列Ｖは、各初期画像のための全てのＲＧＢチャネルについて一つのみの特定の、または主要な照明方向を有するという条件を強制する。例えば、同じ画像について同じ照明方向を全てが有している三つのカラーチャネルＲ、Ｇ、Ｂのために、ＬＥＤなどの同じ照明光源を使用してよい。このとき、照明光源は、各カラーチャネルについて特定の波長を発出する。こうして、Ｖ^Tは、三つの行および３×ｎｉに等しい数の列を含む。この再構築プロセスにおいては、以下に示す数学関数ｆおよびｇに基づく計算上の制約条件に起因して、転置行列Ｖ^Tが使用されなければならない。その場合、転置行列Ｖ^Tの形態で、以下の関数ｆおよびgの中に第三のモデル成分Ｖが適用される。こうして第三の行列Ｖは、３×ｎｉに等しい数の行を有し、ここで一つの行は一つのカラーチャネルを表わし、三つのカラーチャネルがＲ、ＧおよびＢであるものとして初期画像が表わされることから、初期画像は３本の行を伴って表わされる。第三の行列Ｖは、３本の列を含み、ここで各列は、正規直交空間の１本の軸ｚ、ｙ、ｚに関係する。

第四のモデル成分は、一つの画像の一つの画素の３次元法線、つまり３Ｄ法線の位置を表わす。３Ｄ法線は、画素の接平面に直交するベクトルである。法線または表面方向づけは、表面の固有の特性に関係することから、このような特性は照明条件に左右されない。したがって、同じ画素を考慮する場合、法線ベクトルは全ての画像において同じである。第四のモデル成分は、第四の行列Ｎと結びつけられる。第四の行列Ｎは、正規直交空間の各軸ｘ、ｙ、ｚに関係づけされる３に等しい数の行を含む。第四の行列Ｎは、正規直交空間（ｘ、ｙ、ｚ）内の画素の各法線の座標を表わす列を含む。第四の行列Ｎは、ｎｐという数に等しい数の列を含む。

以下で示す通りの第一の数式（１）が、上述の四つのモデル成分Ａ、Ｌ、ＶおよびＮに基づく照度差ステレオモデルをモデリングする。

Ａ、Ｌ、ＶおよびＮを本再構築プロセスの方法を用いて取り出してｆ（Ａ、Ｌ、Ｖ、Ｎ）＝Ｉを得なくてはならない。

図６２は、各行列Ａ、Ｌ、ＶおよびＮの構造を概略的に示す。

数式（１）は、不均一な照明条件を有する大きなサイズの画像を考慮する場合に使用される任意の行列Ｃを含んでいてよい。このとき数式（１）は、任意の数式（１ａ）を意味してよい。

追加プロセスの一実施形態によると、初期画像は、光の分布が均一であるとみなしてよい小さなサイズの画像に関係するということが理解される。したがって、使用すべき数式は、任意の行列Ｃを含まず、数式（１）を意味する。

上述の数式（１）はさらに、四つのモデル成分のための全ての行列Ａ、Ｎ、ＬおよびＶ^Tの間で大量のデータが処理されていることに起因する計算時間の増加を回避するように、特定の計算最適化を含んでいてよい。

こうして、データプロセッサ１１４はさらに、計算を最適化する少なくとも三つの構造化成分を記憶するための構造化成分データベースを記憶するための第二のメモリーコンポーネントを含む。構造化成分Ｗは、物体の表面の特性および照明条件を考慮することによって初期画像の物理的特性および制約を考慮しモデリングすることで、数式（１）を適応させる。

第一の構造化成分Ｗ_Aは、複数の初期画像のための同じアルベド係数を表わし、０と１の値のみを含む。複数の初期画像の各画素は、同じカラーチャネルＲ、ＧまたはＢについて同じアルベド値を有することから、行列Ｗ_Aは、例えば以下で示す通りの３×ｎｉに等しい数の行を有する。

第二の構造化成分Ｗ_Lは、各カラーチャネルに関して複数の初期画像の全ての画素について同じまたは同一の強度を表わす。

したがって、各照明光源は等しい強度のものであることから、Ｗ_Lは例えば以下のようなｎｐという数に等しい長さを有するベクトルである。

第三の構造化成分Ｗ_Vは、各画素および各カラーチャネルについての複数の初期画像のうちの一つの画像と結びつけられた一つの照明光源の照明方向を表わす。

Ｗ_Vは、三つの初期画像を考慮した場合、以下に示す通りである。

最適化プロセスは、各行列Ａ、ＬおよびＶについて同一の行と列を反復させることを回避するために行なわれ、各行列を、それぞれ行列Ａ’、Ｌ’およびＶ’である多数のモデルサブ成分、および、それぞれＷ_A、Ｗ_VおよびＷ_Lである対応する構造化成分Ｗへと分解することによって実施される。

こうして、モデル成分は以下の通りである（２）：
行列Ａについて：Ａ＝Ｗ_A．Ａ’
行列Ｌについて：Ｌ＝Ｌ’．Ｗ_L
行列Ｖについて：Ｖ＝Ｗ_V．Ｖ’^T

行列Ａ’、Ｖ’およびＬ’は、一つの画像についての画素に関係づけされた一意的データセットを表わす。行列Ｗ_A、Ｗ_VおよびＷ_Lはそれぞれ、（２）中に示された乗算を計算するときに行列Ａ、ＶおよびＬのコンテンツを取り出すため、各行列Ａ’、Ｖ’およびＬ’について係数を提供する。

こうして、データプロセッサ１１４は同様に、以下の数式（３）に示されているように今や構造化成分およびモデルサブ成分を含む対応する関数ｇも演算する。

式中、ｆ（Ａ、Ｌ、Ｖ、Ｎ）＝ｇ（Ａ’、Ｌ’、Ｖ’、Ｎ）である。

追加の解決法の目的は、行列Ａ’、Ｌ’、Ｖ’およびＮの値を決定して、その結果としてのｇ（Ａ’、Ｌ’、Ｖ’、Ｎ）についての値を得ることにある。結果として得られる最良の値は、画像キャプチャデバイス１０８から撮られる初期画像の強度値を表わすＩの値に可能な限り近い値である。したがって、関数ｆまたはｇは、Ｉの値に等しい公知の結果を有する。関数ｇ（Ａ’、Ｌ’、Ｖ’、Ｎ）は、Ｗ_A、Ｗ_LおよびＷ_Vである公知の構造化成分を含む。モデル成分Ａ’、Ｌ’、Ｖ’およびＮは、観察された値Ｉに可能な限り近いｇについての結果としての値を得るように評価されなければならない。

図６３は、各々のモデル成分Ａ’、Ｌ’、Ｖ’、Ｎ、ならびに構造化成分Ｗ_A、Ｗ_LおよびＷ_Vの構造を概略的に示す。

本再構築プロセスの一実施形態として、図６４に係る方法の説明の中では、モデル成分Ａ’、Ｌ’、Ｖ’、Ｎおよび対応する構造化成分Ｗ_A、Ｗ_LおよびＷ_Vを含む関数ｇ（Ａ’、Ｌ’、Ｖ’、Ｎ）が使用されている。図６４に係る方法は、同様に、関数ｆ（Ａ、Ｌ、Ｖ、Ｎ）を使用してよい。

したがって追加のプロセスは、観察された強度Ｉと、対応する計算上の強度ｇまたはｆとの間の誤差を最小化するために、特定の要領でＡ’、Ｌ’、Ｖ’またはＡ、Ｌ、ＶおよびＮの値を決定するための方法を提供する。このとき第四のモデル成分に関係づけされた得られた行列Ｎを使用することによって、観察対象の物体の表面の隆起レリーフマップまたは表現を、作成することができる。

方法には、図６４に示されたステップに基づいてアルゴリズムを動作させることが含まれる。アルゴリズムは、参考文献［１］、［２］および［３］に開示されているものを除く全ての変数を連続的に設定することによって、目的関数を最小化することからなる既存の発見的アルゴリズムの一つに属する交互最適化に関係する。一部の条件下（例えば非負性）において観察行列の二つの行列への因数分解を目的とする場合に、ブラインドソースセパレーション（ｂｌｉｎｄ ｓｏｕｒｃｅ ｓｅｐａｒａｔｉｏｎ）を提供するために、多くの場合交互最適化の発見的アルゴリズムが使用される。

追加のプロセスによると、アルゴリズムは４成分行列表現（ｆｏｕｒ−ｃｏｍｐｏｎｅｎｔ ｍａｔｒｉｘ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）を包含し、各々のモデル成分についての追加の制約条件を含む。

アルゴリズムは、以下で説明され図６４に詳細に示されている二つのサブ最小化手順を含む。

アルゴリズムは、メインループ変数ｉおよび終結条件と結びつけられたメインループを含む。本実施形態において、メインループのための終結条件は、メインループの反復数ｎ＿ｉｔを含む。ｎ＿ｉｔの数は、例えば１０に等しいかもしれない。メインループは、第一のループおよび第二のループである内側ループを含む。第一のループは、第一のループ変数ｊと結びつけられ、第二のループは第二のループ変数ｋと結びつけられる。

ステップ５００において、方法の各々のモデル成分Ａ’、Ｌ’、Ｎは、対応する既定値Ａ’₀、Ｌ’ ₀、Ｎ ₀と等しくなるように初期化される。

ステップ５０２において、方法のメインループ変数を表わすｉの値は０に初期化される。

ステップ５０４において、ｎ＿ｉｔの値は、この値がメインループ変数ｉの値よりも大きいか否かを決定するためにメインループ変数ｉと比較される。

反復サイクル数ｎ＿ｉｔの値がメインループ変数ｉの値よりも大きい場合には、プロセスはステップ５０６で続行する。

ステップ５０６において、第一のループ変数ｊは０に初期化される。

ステップ５０８において、第一のループ変数ｊの値は、第一のループに結びつけられた既定の値ｐと比較されて、ｐ＝５などのｐの値がｊの値よりも大きいか否かを決定する。ｐの値がｊの値よりも大きい場合、方法はステップ５１０で続行する。こうして、ｊ＜ｐが終結条件を表わす。

以下のステップ５１０および５１２は、第一のサブ最小化手順を表わす。こうして、ｊ＜ｐが、第一の最小化方法のための終結条件である。

ステップ５１０では、最小化演算などの最適化プロセスが適用される。最小化演算には、二次損失関数などの最小二乗最小化技術の適用が含まれる。本実施形態において、関数ｇを使用することにより観察された強度Ｉと計算上の強度との間の二次誤差を得るために、二次損失関数が適用される。ステップ５１０において、二次損失関数は、モデル成分Ｖ’の値の変動に基づいている。ステップ５１０において、観察された強度Ｉと関数ｇの間の最小差を提供するように、Ｖ’の具体的値が評価される。モデル成分Ａ’、Ｌ’、Ｎは不変の状態にとどまる。Ｖ’の評価値が決定される。

ステップ５１２において、二次損失関数は、同様に、モデル成分Ｎの値の変動に基づいている。ステップ５１２において、観察された強度Ｉと関数ｇの間の最小差を提供するように、Ｎの具体的値が決定される。モデルサブ成分Ａ’、Ｌ’、Ｖ’は不変の状態にとどまる。値Ｖ’は、ステップ５１０由来のＶ’の評価値に対応する。Ｎの評価値が決定される。

ステップ５１４において、第一のループ変数ｊはｊからｊ＋１まで増大させられる。

ステップ５０８において、増大したｊの値はｐの値と比較される。第一のループは、ｊの値がｐの値より大きくなるまで演算する。ｊの値がｐの値よりも小さい場合は、ステップ５１０は第一のループの新たな反復において再び演算する。最小化演算によりＶ’の新たな評価値が決定されて、Ｉとｇの間の最小差を提供する最適な評価値Ｖ’を得、ここでｇは第一のループの先行する反復においてステップ５１２由来のＮの評価値を考慮する）。

ステップ５１２における第一のループの新たな反復では、ステップ５１２のＮの全ての先行する評価値とＮの新たな評価値が比較されて、Ｉとｇの間の最小差を提供する評価値Ｎが決定され、ここでｇは第一のループの先行する反復におけるステップ５１０由来のＶ’の評価値を考慮する。

第一のループは、Ｖ’およびＮについて最適な評価値を提供する。

ｊの値がｐの値よりも大きい場合、方法は、ステップ５１６で始まる第二のループで続行する。

ステップ５１６において、第二のループ変数ｋは、０に初期化される。ステップ５１８において、第二のループ変数ｋの値は、第二のループと結びつけられた既定の値ｐと比較されて、ｐ＝５などのｐの値がｋの値よりも大きいか否かが決定される。ｐの値がｋの値よりも大きい場合、方法はステップ５２０で続行する。

こうして、ｋ＜ｐが終結条件である。

以下のステップ５２０および５２２は、第二のサブ最小化手順を表わす。こうしてｋ＜ｐは、第二の最小化方法のための終結条件を表わす。

ステップ５２０において、二次損失関数はモデル成分Ｌ’で適用される。ステップ５２０において、観察された強度Ｉと関数ｇの間の最小差を提供するようにＬ’の具体的値が評価される。モデルサブ成分Ａ’、Ｖ’およびモデル成分Ｎは不変の状態にとどまる。Ｖ’とＮの値は、共にＩとｇの間の最小差を提供する第一のループ由来のＶ’の最適評価値に対応する。Ｌ’の評価値が決定される。

ステップ５２２において、二次損失関数はモデル成分Ａ’で適用される。ステップ５２２において、観察された強度Ｉと関数ｇの間の最小差を提供するようにＡ’の具体的値が評価される。モデルサブ成分Ｌ’、Ｖ’およびモデル成分Ｎは、不変の状態にとどまる。Ｌ’の値は、ステップ５２０由来のＬ’の評価値に対応し、Ｖ’とＮの値は、共にＩとｇの間の最小差を提供する第一のループ由来のＶ’およびＮの最適評価値に対応する。Ａ’の評価値が決定される。

ステップ５２４において、第二のループ変数ｋはｋ＋１まで増大させられる。

第二のループは、ｋの値がｐの値より大きくなるまで演算する。ｋの値がｐの値よりも小さい場合、ステップ５２０は第二のループの新たな反復において再び演算する。最小化演算によりＬ’の新たな評価値が決定されて、Ｉとｇの間の最小差を提供する最適な評価値Ｌ’を得、ここでｇは第二のループの先行する反復においてステップ５２０由来のＡ’の評価値を考慮する。

ｋの値がｐの値よりも大きい場合、方法は、ステップ５２６で続行し、ここで、メインループ変数ｉがｉ＋１まで増大させられる。

方法は次に、ステップ５０４で続行して、ループ反復数ｎ＿ｉｔをメインループ変数ｉの値と比較する。メインループは、反復数ｎ＿ｉｔがメインループ変数ｉの値より小さくなるまで演算する。メインループ変数ｉの値が反復数ｎ＿ｉｔの値よりも大きい場合には、方法は停止する。

ｎ＿ｉｔは、本方法のための具体的終結条件を表わす。

代替的終結条件には、観察された強度Ｉと計算上の強度ｆ（Ａ、Ｌ、Ｖ、Ｎ）またはｇ（Ａ’、Ｌ’、Ｖ’、Ｎ）の間に得られる差分値に結びつけられる閾値が含まれる場合がある。こうして、方法は、ＩとｆまたはＩとｇの間の計算上の差が、例えば閾値または差分閾値以下となった時点で停止する。

別の代替的終結条件は、差分閾値に基づいていてよい。差分閾値を使用する場合、方法は、二つの連続する反復に基づく同じモデル成分の二つの値の間の差が閾値以下となった場合に停止する。

方法の目的は、各々のモデル成分Ａ’、Ｌ’、Ｖ’およびＮについて、二次損失関数の計算において最小差を提供する値を別個にかつ反復的に考慮することにある。方法は、モデル成分Ａ’、Ｌ’、Ｖ’およびＮの値の決定を最適化するため、メインループ、第一および第二の反復的ループに基づいている。メインループ、第一のループおよび第二のループの反復の目的は、最良の収束に達することにある。こうして、各々のステップ５１０、５１２、５２０および５２２について、データプロセッサ１１４は、第一および第二のループの各反復において、かつ各モデル成分について、比較ステップを演算する。実際、データプロセッサ１１４が二次損失関数を計算して、特定のモデル成分を増大させた時点での差分値を得る毎に、データプロセッサ１１４は、先に得た既存の差分値と得られた差分値とを比較する。こうして、データプロセッサ１１４は、最小差分値を決定し、さらなる計算のための最小差分値を保持することができる。

反復数ｐの値は、ｊおよびｋについて同じであってよい規定数である。第一のループは、モデル成分ＶおよびＮに関係し、第二のループは、方法の改善された最適化のためモデル成分ＡおよびＬに関係する。

モデル成分Ｖ、Ｎは、物体の表面の方向と、照明光源１０４、１０５、１０６の方向の間の相互作用に関係する。このような相互作用が、これら二つの方向の間の角度を決定する。このような角度の決定に関係づけされた計算は、対応する行列のサイズに起因して実行するのが比較的複雑である。

こうして、第一のループは、第二のループと結びつけられた計算および計算時間を最適化するために、モデル成分ＶおよびＮまたはＶ’およびＮに関する計算を提供する。第二のループは、モデル成分ＡおよびＬに関する計算を提供する。Ａは、物体の表面と結びつけられた重みづけ係数に対応する。Ｌは、照明光源と結びつけられた重みづけ係数に対応する。したがって、このようなモデル成分に関係づけされた計算は、対応する行列のサイズに起因して比較的実行が容易である。

このような第一および第二のループ内でのモデル成分Ａ、Ｌ、Ｖ、ＮまたはＡ’、Ｌ’、Ｖ’、Ｎの配置は、方法のより優れた収束を提供する。こうして、最小化演算などの最適化プロセスを実施するためのモデル成分Ａ、Ｌ、Ｖ、Ｎ、またはＡ’、Ｌ’、Ｖ’、Ｎの異なる配置と比較した場合、計算時間が削減される。

代替的配置は、以下のようなものであってよい：Ｖ’、Ｎ、Ｌ’、Ａ’、またはＶ’、Ｎ、Ａ’、Ｌ’、またはＶ’、Ｌ’、Ａ’、Ｎ、またはＶ’、Ｌ’、Ｎ、Ａ’、またはＶ’、Ａ’、Ｎ、Ｌ’、またはＶ’、Ａ’、Ｌ’、Ｎ。

メインループ、第一のループおよび第二のループの全ての反復が処理された場合、方法は停止する。

データプロセッサ１１４は、再構築プロセスの方法から決定されたＮの値を取り出す。このとき、データプロセッサ１１４は、参考文献［４］、［５］、［６］および［７］の中で開示されているアルゴリズムの一つを適用することで各画素についてのＮの値を考慮することにより、画素毎に表面を構築する。

こうして、データプロセッサ１１４は、考慮対象の物体の表面の隆起レリーフマップを提供する。

図６５、６６、６７および６８は、各々第一の物体の初期画像を示す。図６９、７０、７１および７２は、図６５、６６、６７および６８の物体の表面の本再構築プロセスに係る隆起レリーフマップを示す。この実施形態において、ループ反復数はｎ＿ｉｔ＝１０であり、第一および第二のループ変数の値はｐ＝５である。

本方法は、有意な数の優れた品質の画像を考慮する場合に、モデル成分Ａ’、Ｌ’、Ｖ’およびＮのより優れた評価が提供されることを保証する。さらに、画像獲得中の照明光源の均等な空間的分布が、より良い結果を提供する。図７３は、ティーバッグである物体の初期画像を表わす。図７４は、図７３に示された物体の三つの初期画像を考慮した場合の、図７３の物体の隆起レリーフマップを示す。図７５は、図７３に示された物体の５つの初期画像を考慮した場合の、図７３の物体の隆起レリーフマップを示す。図７６は、図７３に示された物体の１０個の初期画像を考慮した場合の、図７３の物体の隆起レリーフマップを示す。目視によると、図７６中の隆起レリーフマップは、図７４および７５中の隆起レリーフマップに比べて物体のより多くの細部を含んでいる。隆起レリーフマップの表面の視覚的分析結果は、初期画像と比べて全体的表面形態に対する有意な影響が全く無い隆起レリーフマップの改善された品質を示している。

図７７、７８、７９および８０は、微生物である第一の物体の初期画像を示す。図８１は、図７７、７８、７９および８０の物体の表面の隆起レリーフマップの上面図を示す。

図８２は、図８１の物体の側面図を表わす。

図８３、８４、８５および８６は、追加のプロセスに係る、微生物などのさまざまな物体の隆起レリーフマップを表わす。

上述の最適化は、表面の法線を決定するため、および深度マップを再構築するための一つの解決法を提供する、本再構築プロセスの方法の第一の実施形態に関係する。

上述の第一の実施形態においては、最小化ステップ中に、値の制約条件および品質制約条件が考慮されていない。各モデル成分は、最小二乗法を用いて評価可能である。反復的手順の実行中、各サブ最小化後に得られた値を制約条件内に投影することが可能である。アルベド成分Ａ’については、ゼロ未満の全ての値がゼロと等しくされ、１より大きい全ての値は１に設定される。類似の演算を光源強度についても実施することができる。ゼロより小さいＬ’行列中の値は、ゼロまたは非常に低い値に設定される。照明方向Ｖ’、および表面法線Ｎは、第一の最小化ループの評価後に初めて正規化される。正規化の直後に品質平滑度制約条件を実行に移すため３×３のスライドウィンドウを伴う平均化フィルターにより、補足的表面法線をフィルタリングすることができる。このような評価後の制約条件の適用は、アルゴリズムの反復的性質に起因して可能になっている。以下の第二の実施形態中で説明されている、制約条件の評価に関係する追加のステップを、方法の終りに提供して、第一の照度差ステレオモデル成分近似を提供してもよい。

第二の実施形態において、本再構築プロセスは、最適化方法の実行中に照度差ステレオモデルについての値制約条件、および品質制約条件を考慮するための解決法を提供している。

照度差ステレオ成分のための値および品質制約条件を統合する目的で、アルベド値、光源強度、光源方向、および表面法線行列を発見するための最小化関数は、補足的等式および不等式制約条件を考慮に入れる。各モデル成分のための最小化演算について以下で説明する。

図６４において、ノルム制約条件を含む光源方向行列は、

を条件として、Ｖ’について示された式を用いて求められるべきである。

なおここで、ｋ＝１、…、ｎｉであり、ベクトル

は、ｋ番目の画像の獲得中に使用される照明方向に対応する。

値ノルム制約条件、および品質制約条件を伴う表面法線行列を得るためには、図６４中の行列Ｎのための最小化手順を、以下の条件で使用しなければならない。

式中、ｊ＝１、…、ｎｐであり、ｎ_jはｊ番目の画素の３Ｄ法線に対応し、ｎ_j ^(p,l)は、初期非ベクトル化画像内のｊ番目の画素隣接物を表わす。

光源強度ベクトルは、０より大きく、かつ画像の可能最大値Ｈ未満の値のみを含まなければならない。したがって、図６４に示された行列Ｌ’は、
ｌ_k＞０、かつｌ_k＜Ｈ
という条件で使用されなければならない。なお式中、ｋ＝１、…、３ｎｉであり、ｎｉは入力されたカラー画像数であり、ｌ_kはｋ番目の入力画像の獲得中に使用される光源の強度に対応する。

アルベド行列は、間隔［０；１］からの値のみを含んでいなければならない。したがって、図６４中のアルベド近似についての最小化関数Ａ’_iは、
ａ_kj≧０、かつａ_kj≦１
という条件で使用されなければならない。なお式中、ｋ＝１、…、３ｎｉ、ｊ＝１、…、ｎｐであり、ｎｉは入力カラー画像数であり、ｎｐは各入力画像内の画素数である。

不等式制約条件、すなわちアルベドＡ’および光源強度Ｌ’についての最小化問題は、ラグランジュ乗数（Ｌａｇｒａｎｇｅ ｍｕｌｔｉｐｌｉｅｒ）を含む最適化誤差関数［９］について、参考文献［８］に示されているカルーシュ・キューン・タッカー（ＫＫＴ）条件を分析することにより解明することができる。照明方向および表面法線についての等式制約条件が非線形性であることから、サブ最小化のための最良の解決法は、参考文献［１０］中に示されている、ラグランジュ乗数を含む損失関数のためのレーベンバーグ・マーカートアルゴリズムを使用して得ることができる。

照度差ステレオモデル解像度は、単位法線、すなわち各画素内の表面、方向づけを提供する。これらの法線から深度マップを得るためには、既存のアルゴリズムの一つを適用しなければならない。深度マップは、法線行列により提供されるものよりも容易な結果としての表面の視覚的分析を可能にする。実験中、参考文献［４］、［５］、［６］および［７］に提示されたアルゴリズムがテストされた。［４］で提示されている積分アルゴリズムは、所与の例全てについて最も速く最も効率の良いものであることが判明した。このアルゴリズムは、二つの観点からの、すなわち離散導関数（隣接する点の間の単純な差分）、および表面法線に基づいて計算された導関数としての、表面偏導関数表現に基づいている。このアルゴリズムはこうして、交互最適化の後に得られた法線と視覚化された深度マップのと間の遷移のために使用された。以下の実証の全てにおいて、深度マップを用いた再構築の品質が分析される。

図８７は、参考文献［１１］に示されている通りのＭＩＴ固有画像データセット由来の物体について、および単純な半球物体についての再構築結果の比較を示している。提示された実施例のためには、各々の最小化について１０個の包括的反復と５個の内部反復で、図６４由来の交互方法が使用された。得られた結果は、制約条件を実装する必要性を示している。半球形などの単純な物体については、いかなる変数値制約条件もない交互最適化で十分である。しかしながら、より複雑な表面には制約条件を使用することが求められる。図８７に示されているように、各最小化手順内に直接統合された制約条件、および制約条件のない各々の変数評価の後の制約条件の空間内投影という、制約条件の実装の異なる形態を、異なる処理時間ｔで比較することができる。第二の実施は、第一の実施に近い結果を提供するが、評価処理時間は著しく削減される。こうして、さらなる実験においては、第二の評価モードが優先された。Ｍａｔｌａｂ Ｒ２０１２ｂ環境を用いて、６４ビット、Ｉｎｔｅｌ（Ｒ）、Ｃｏｒｅ（ＴＭ）ｉ７−２６００、ＣＰＵ ３．４０ＧＨｚ、ＲＡＭ＝８Ｇｏのシステムについての評価時間が提示されている。

図６４において、ステップ５００は、Ａ’、Ｌ’およびＮについての規定値に基づく初期化ステップに関係する。

いかなる先行情報も入手可能でない場合、交互最適化アルゴリズムのために必要なモデル成分の初期化を、入力画像に基づいて行なわなければならない。実験から、一部の変数の初期化の影響が他のものよりも大きいことが分かった。最も重要であるのは、法線行列Ｎの初期化である。Ａ’およびＬ’などの初期値を必要とする他の全ての変数は、一つの値またはランダム値の行列として選択されてよい。図８８ａは、物体の初期画像に関係する。図８８ｂは、グランドトゥルース法線（ｇｒｏｕｎｄ ｔｒｕｔｈ ｎｏｒｍａｌ）の行列に基づく画像に関係する。図８８ｃは、深度マップに基づく画像に関係する。図８８ｄは、行列Ｎのための異なる初期化基準に基づき異なる画像を比較するための表の形に配置された複数の結果として得られた画像を含む表を示している。各々の初期化基準は、以下で説明する通り、表中の特定の行に関係する。

第一の行Ｎｏは、交互手順の第一のステップにおいて使用されるＮの初期値に関係する。Ｎｘは、表現のカラーチャネルＲに対応し、ＮｙはカラーチャネルＧに対応し、ＮｚはカラーチャネルＢに対応する。

第二の行は、Ｒ、Ｇ、Ｂチャネル内でコード化され行Ｎｏから異なる初期化を用いて得られた、法線の結果として得られた値に関係する。

第三の行「ＳＦ」は、結果として得られた物体表面に関係し、これは、行Ｎ由来の結果として得られた法線に基づいて得られた深度マップに対応する。

第一の列「Ｏｎｅｓ」は、単位行列に関係する。

第二の列「Ｒａｎｄｎ」は、ガウス分布にしたがった値の行列などの、正規分布したランダム値の行列に関係する。

第三の列「Ｒａｎｄ」は、均一に分布したランダム値の行列に関する。

第四の列「Ｍｅｄに対する３Ｄノーマル（ｎｏｒｍａｌ）」は、ノーマルのための異なる初期化タイプを含む行列に関係する。初期ノーマルは、各画素の中央強度値に対する３Ｄノーマルに等しい。第四の列の基準を組合せるアルゴリズムが最高品質の画像を提供すると思われる。

図８８ｄは、行列Ｎの異なる初期化についての再構築結果を含む。したがって、各画素中央強度値に対する３Ｄノーマルに等しい初期化されたノーマルを伴う再構築された表面は、他の初期化されたノーマルの場合よりも著しく優れたものである。

評価された例において、アルベド行列Ａ’は、適切なサイズ［３×ｎｐ］の単位行列として選択された。光源強度ベクトルＬ’は、全ての画像チャネルの３ｎｉ中央値のベクトルとして理解された。表面ノーマルの初期行列Ｎ’は、各行列中央強度値に対する３Ｄノーマルとして定義された。こうして、行列Ｎ’は、求められる［３×ｎｐ］のサイズを有する。説明された初期化は、唯一の考えられる選択肢ではないが、提案された交互方法と組合わせて、定性的表面を得るために効果的であることが分かっている。

図６４に示された好ましい実施形態において、メインループの終結条件は、定義された反復ループ数に基づく。代替的終結条件は、初期データと評価された変数との間の小さい二次誤差、および反復間の小さな変数変動（またはたった一つの最重要変数）を含んでいてよい。図８９は、異なる物体に関係する三つの異なる行を示す表を含み、ここで第一の列は、グランドトゥルース表面に関係し、第二の列は第一の終結条件に関係する。第三の列は、第二の終結条件に関係し、第四の列は、第三の終結条件および対応する処理時間ｔに関係する。結果は、言及された基準全てを使用して満足のいく表面を得ることが可能であることを示している。

再構築される表面の複雑性、初期画像のサイズ、および品質に応じて、モデル

および反復間のノーマル変動

の分析である、１０個のアルゴリズム反復に等しいｉｔ_max値で、類似の再構築結果が得られた。

このとき、ＥｒｒおよびＶａｒは、経験的に決定された閾値と比較される。所望される結果および評価時間制約条件に応じて、これらの基準の一つを使用することができる。

選択可能な最も単純な基準は、反復数である。メインループ内の反復の数は１０に等しく、サブ最小化の各々の中の反復数は５である。これらの値について、アルゴリズム収束が得られ、結果として得られた表面の品質は、さらなる分析のために十分なものである。

参考文献

１、２、３ 画像
１００ 画像形成システム
１０１ 保持ユニット
１０２ ベースユニット
１０４、１０５、１０６ 照明光源
１０７ 物体
１０８ 画像キャプチャデバイス
１０９ 環状ビーム
１１０ 制御システム
１１２ 強度検出デバイス
１１４ データプロセッサ
５８０ 物体
５９０〜５９３ 鏡面反射ゾーン
６０１〜６０４ 鏡面反射ゾーン
６１１〜６１３ 鏡面反射ゾーン

欧州特許出願公開第５２０９２３号明細書

Claims (13)

1. 物体（１０７）の複数の画像からこの物体（１０７）の一つ以上の画像を補正して、物体（１０７）の一つ以上の補正済みの画像を提供し、この画像を物体の表面の一表現を生成するプロセスにおいてさらに使用する方法であって、複数の画像の各々が一つ以上の画素を含み、各画素が一つの画素値を含み、一つ以上の照明光源（１０４、１０５、１０６）が物体を異なる照明方向で照明し、各画像が一つの特定の照明方向と結びつけられている方法であって：
   前記複数の画像のうち第一の画像の複数の画素のうちの各画素について：
   ａ）第一の画像内の一つの画素を選択して、選択された画素の画素値を得るステップと；
   ｂ）複数の画像の残りの画像のうちの少なくとも一つの画像内で、少なくとも一つの対応する画素を選択して、少なくとも一つの選択された対応する画素の画素値を得るステップと；
   ｃ）少なくとも一つの選択された対応する画素の各画素値に対する、第一の画像内の選択された画素の画素値の少なくとも一つの比率を計算するステップと；
   ｄ）少なくとも一つの計算された比率に基づいて選択された画素の画素値補正のための要件を決定するステップと；
   ｅ）少なくとも一つの計算された比率に基づいて値（Ｗ）を計算して、選択された画素の補正済み画素値を決定するステップと；
   ｆ）選択された画素の画素値を第一の画像内の補正済み画素値と置換して、補正済みの第一の画像を提供するステップと；
   を含む方法。
2. ｇ）残りの非補正画像のうちの少なくとも一つの画像について、ステップａ）、ｂ）、ｃ）、ｄ）、ｅ）およびｆ）を反復して、少なくとも一つのさらなる補正済み画像を提供するステップ；
   をさらに含む、請求項１に記載の方法。
3. 補正済み画素を決定するステップが、シグモイド関数を含む規定の数式を適用するステップをさらに含むことを特徴とする、請求項２に記載の方法。
4. 数式が、求められる画素値補正レベルを決定するパラメータを含むことを特徴とする、請求項３に記載の方法。
5. 数式が、シグモイド関数の遷移の鮮明度を決定するパラメータを含むことを特徴とする、請求項３または４に記載の方法。
6. 数式が、画素値補正レベルを適応させるためのパラメータを含むことを特徴とする、請求項３〜５のいずれか一つに記載の方法。
7. 複数の画像が、異なるタイプのゾーン、例えば明ゾーンおよび／または暗ゾーンを含むことを特徴とする、請求項１〜６のいずれか一つに記載の方法。
8. 選択された画素が、一つの画像の一つの明ゾーンと結びつけられることを特徴とする、請求項７に記載の方法。
9. 選択された画素が、一つの画像の一つの暗ゾーンと結びつけられることを特徴とする、請求項７に記載の方法。
10. 補正済み画素値を決定するステップが、選択された画素と結びつけられたゾーンのタイプに左右されることを特徴とする、請求項７〜９のいずれか一つに記載の方法。
11. 一つ以上の初期画像の各々が、赤、緑、青の三つのカラーチャネルを含み、ステップａ）、ｂ）、ｃ）、ｄ）およびｅ）が、各画素、各画像および各カラーチャネルについて反復的に実施されることを特徴とする、請求項１〜１０のいずれか一つに記載の方法。
12. コンピュータシステムにより実行された場合に、請求項１〜１１のいずれか一つに記載の方法を実施する記憶されたコンピュータ実行可能命令を含む、コンピュータプログラム。
    
13. 一つの物体（１０７）の複数の画像を補正してこの物体の補正済み画像を提供し、この画像を物体（１０７）の一表現を生成するためのプロセスにおいてさらに使用するための画像形成システム（１００）であって、複数の画像の各画像が一つ以上の画素を含み、各画素が一つの画素値を含んでいる画像形成システムであって：
    −異なる照明方向で物体を照明するための一つ以上の照明光源であって、各画像が一つの特定の照明方向と結びつけられている照明光源と；
    −複数の画像の各画像内の各画素の画素値を得るための画像キャプチャデバイス（１０８）と；
    −複数の画像の残りの画像内で選択された少なくとも一つの対応する画素の画素値に対する前記複数の画像の第一の画像の一つの選択された画素の画素値の少なくとも一つの比率を計算すること、および選択された画素の比率の平均値を計算して、選択された画素の画素値の画素値補正についての要件を決定し、かつ選択された対応する画素の画素値の補正済み画素値を決定することを目的とするデータプロセッサ（１１４）であって、選択された画素の画素値を補正済み画素値で置換して補正済み画像を提供するデータプロセッサ（１１４）と、
    を含む画像形成システム。

Images