JP2023531605A - デジタル画像におけるハローの補正およびその補正を実施するためのデバイス - Google Patents

Abstract

本発明の目的は、三次元モデリングスタジオで写真測量法を使用してキャプチャされたデジタル画像（１）内のハロー（Ｈ）を補正するための方法（４００）であり、ハローは、スタジオ内の光源（Ｌ３、Ｌ４、Ｌ５、Ｌ６）から発生する光と撮影デバイスの光学系との相互作用によって生成され、デジタル画像の局所的な明るさとして現れる。方法は、空間分布と光強度に関して、光源を特徴付ける光強度マップ（Ｍ）を生成するステップ（４１０）と、撮影デバイスに固有の畳み込みカーネルを提供するステップ（４２０）と、光強度マップとカーネルの畳み込み積を計算して、補正値マップ（ＣＶＭ）を取得するステップ（４３０）と、デジタル画像からピクセルごとに補正値マップを除去して、ハローが存在しない補正された画像（Ｉｃｏｒｒ）を生成するステップと、を含む。

Description

本発明は、写真またはビデオの撮影中にキャプチャされたデジタル画像に現れるハローを補正するための方法、および前記ハロー補正方法を実施するための画像キャプチャデバイスに関する。

特に、本発明は、撮影デバイスの観点から光源によって生成されるハロー効果を補正し、その明るさの不均一な変更によってこのデバイスによってキャプチャされた画像の品質を低下させることを意図した方法に関する。

良好な光条件でシーンのショットを撮るために、従来、このシーンを照らすために人工照明システムが使用されている。

これらの照明システムによって生成される光の強度と、これらの光と撮影デバイスとの相互作用により、これらのデバイスによってキャプチャされた画像にアーティファクトが生成され得、特に、それらのコントラストを低下させ、白化、フレア係数または回折図形などの明るさの不均一な変更を生成することによって、品質に悪影響を与える拡散または局所化された照明として現れる。

例えば、単一のカメラを撮影デバイスとして使用する従来の撮影の場合、光源は、一般にカメラのフィールドの外側に配置され、芸術的な目的でこのようなアーティファクトの生成を回避する。

さらに、コントラスト強化などの視覚的補正も、芸術的な目的のために、すなわち、主観的な基準に従って日常的に実施されている。

特許文献ＦＲ３０１６０２８Ｂ１およびＷＯ２０１９／１６６７４３Ａ１に記載されている多視点写真測量法による三次元シーンモデリングスタジオの場合、モデル化するシーンの周囲に光源とカメラが分散しており、一般的に、カメラのフィールド内に光源が存在することを回避することは不可能であり、これらのカメラによってキャプチャされた画像の品質が低下するという上記の問題につながる。

したがって、画像の三次元解析に基づく三次元シーンモデリングも、上述のアーティファクトによって悪影響を受ける。

本発明の１つの目的は、撮影中に使用された光源によって引き起こされたアーティファクトを補正することであり、これらのアーティファクトは、すべて用語「ハロー」によって指定され、撮影デバイスによってキャプチャされたデジタル画像を、ハローによって引き起こされる輝度歪がない場合とほぼ同じ状態にすることである。

この目的のために、本発明の目的は、写真測量法を使用して三次元モデリングスタジオでキャプチャされたシーンの補正すべきデジタル画像内のハローを、シーンの撮影フィールドを有する撮影デバイスによって補正するための方法であり、このハローは、光源によって放射された光と撮影デバイスの光学系との相互作用によって生成され、補正すべきデジタル画像のピクセルの明るさとして現れ、光源は、シーンの照明システムの一部を形成し、この方法は、撮影フィールドに対する空間分布に関して、および補正されるべき画像のキャプチャ中に撮影デバイスから知覚される光強度に関して、光源を特徴付けるデジタル光強度マップを生成し、このマップは、第１のデータ行列を形成し、撮影デバイスに固有の畳み込みカーネルを提供し、第２のデータ行列を形成し、第１の行列と第２の行列の畳み込み積を計算して、補正されるべきデジタル画像内のハローの補正値マップに対応する第３のデータ行列を取得し、補正されるべきデジタル画像から補正値マップをピクセルごとに除去して、ハローが存在しない補正された画像を取得するステップを含む。

本発明の第１の利点は、撮影デバイスによってキャプチャされた画像の明るさを不均一に変更するハローの補正であり、このハローは、補正されていない場合に画像内の１つまたは複数の局所的な明るさまたは白化によって現れる。

したがって、本発明に係る方法は、同じ画像内だけでなく、複数の撮影デバイスを含むスタジオの場合、これらの異なるデバイスによってキャプチャされた画像間のコントラストおよび色および光強度レベルの再現性を非常に大幅に改善する。

さらに、多視点写真測量法によるシーンの三次元モデリングの場合、モデリングは、とりわけ、あるシーンの特定の要素の色の同一性に基づいて、それを識別し、複数の撮影デバイスによってキャプチャされた画像からその動きを追跡する。

したがって、本発明に係る方法によって処理された画像における色のより良い評価は、シーンのより良い三次元モデリングを可能にする。

本発明に係る方法は、以下の特定の特徴を有し得る。
－デジタル光強度マップを生成するステップは、撮影フィールドに対する空間分布に関して、および前記光源が撮影デバイスに完全に見える場合に撮影デバイスから知覚される光強度に関して、前記光源を特徴付ける予備的なデジタル光強度マップを生成するステップと、補正すべきデジタル画像において撮影デバイスから隠されている予備的なデジタルマップ内の前記光源に属するピクセルを決定することにより、予備的なデジタルマップおよび補正すべきデジタル画像から前記デジタル光強度マップを生成するステップと、のステップを含み得る；
－畳み込みカーネルは、一定に減少するエンベロープを有し、カーネル散乱現象からの寄与を表す１次元関数と、カーネル回折図からの寄与を表す２次元関数との和から生成される行列であり得る；
－畳み込みカーネルは、一定に減少する等方性関数から生成される行列であり得る；
－畳み込みカーネルは、撮影デバイスによって、第１および第２のデジタルトレーニング画像を取得するステップであって、これら２つの画像は、スイッチオフされるトレーニング光源およびスイッチオンされる前記トレーニング光源をそれぞれ備える、ステップと、光源に含まれるこの第２のデジタル画像のピクセルに光強度値を割り当てることによって、第１のデジタルトレーニング画像からトレーニング光源のトレーニング光強度マップを生成するステップと、２つのデジタルトレーニング画像および光強度マップからカーネルを計算するステップと、のステップによって生成され得る。

本発明は、データ処理ユニットに機能的に接続された複数の撮影デバイスを備えた三次元モデリングスタジオ用の画像キャプチャデバイスにまで及び、データ処理ユニットは、本発明に係るハローを補正する方法を実施するように特に適合されている。

以下に簡単に説明する添付の図面を参照して例として取り上げた非限定的な実施形態の詳細な説明を読めば、本発明がよりよく理解され、他の利点が明らかになるであろう。

多視点写真測量法による三次元シーンモデリングスタジオの水平断面図を示している。 光強度マップを確立する方法を示している。 図２に示される方法の変形を示している。 画像のハローを補正するための方法を示す図である。 ハローを補正するための畳み込みカーネルを生成するための関数を示している。 畳み込みカーネルを行列の形で示している。 畳み込みカーネルの決定方法を示す図である。 図７の方法を示している。 図７とは異なる畳み込みカーネルの決定方法を示す図である。 図４、図７および図９の図の方法を実施するためのデバイスを示している。

この実施形態は、図１～図１０によって説明され、多視点写真測量法による三次元シーンモデリングスタジオへの本発明の適用に関する。

スタジオは、撮影デバイスとして使用されるカメラＣ１～Ｃ８を備え、これらのカメラによってキャプチャされたデジタル画像からモデル化されるシーンが配置される領域Ａの周囲に配置される。

スタジオはさらに、同じく領域Ａの周囲に規則的に配置された光源Ｌ１～Ｌ８を備える。

カメラＣ１のフィールドＶは、光源Ｌ４およびＬ５を取り囲み、これらは、それらの高い光強度およびカメラＣ１の光学要素（レンズ、場合によっては絞り）との相互作用により、カメラＣ１によってキャプチャされた画像を不均一に明るくするハローとして集合的に考えられる、キャプチャされた画像のアーティファクトの原因となる。

この実施形態は、カメラＣ１によってキャプチャされたシーンのデジタル画像を補正することにある。

画像補正
図４の図４００によって示される、本発明に係る画像を補正するための方法は、カメラＣ１によってキャプチャされた補正すべき画像において光源によって生成されたハローをモデル化し、次いで、この画像からそれを除去してハローのない補正画像を得ることからなる。

ここでは簡略化のため、グレースケールの画像の場合を考えるが、この方法は、カラー画像にも同様に適用でき、赤チャンネル、緑チャンネル、および青チャンネルといった異なる色チャンネルを並列に処理するだけでよいと考えている。

ステップ４０５は、カメラＣ１によって補正するべきデジタル画像Ｉをキャプチャし、それをコンピュータメモリに格納することからなり、ハローＨは、図２の図（ｂ）の斜線領域によって示されるように、画像の特定の領域を明るくする。

ステップ４１０は、カメラＣ１の視野に位置する光源の空間分布および強度を示すデジタル光強度マップＭを生成することからなる。

この実施形態の第１の例では、カメラＣ１によって直接見える光源Ｌ４およびＬ５の発光面によって生成されるハローのみが補正される。

カメラの各可視光源は、飽和ピクセルの形で補正される画像内でそれぞれ目に見える基本光源のセットと見なすことができる。

「飽和ピクセル」とは、最大値、デジタル画像の８ビットでコード化された明度の場合は、２５５の明るさのレベルを表示するピクセルを意味する。

図２の図（ｃ）は、カメラＣ１のフィールドＶに位置する光源Ｌ４およびＬ５を、補正すべき画像をピクセルごとにキャプチャする際にカメラＣ１によって見られるように示しており、光源Ｌ４は、図（ｂ）に示されるシーンのキャラクタＣＥによってカメラＣ１から部分的に隠されている。

ここで、この図（ｃ）は、カメラＣ１のフィールドの水平範囲Ｅに対応する水平範囲Ｅに従って、カメラＣ１のフィールドＶの画像に正確に対応する。

ステップ４１０は、サブステップ４１２、４１４、および４１６を含むことができる。

サブステップ４１２は、予備的なデジタル光強度マップＰＭに到達するように、光源Ｌ４およびＬ５のスイッチオンにした空のスタジオの画像の飽和ピクセルを決定し、次に、これらのピクセルに光源の光強度を割り当てることによって、空のスタジオ、すなわち、カメラＣ１から光源が完全に見える状態のデジタル光強度マップを生成することにある。

図２の図（ａ）は、カメラＣ１から見た光源Ｌ４およびＬ５のみを含むカメラＣ１の範囲ＥのフィールドＶの画像に対応する予備的なマップＰＭを示し、これらの光源は、ここでは長方形の照射面である。

この光強度マップは、補正されるデジタル画像Ｉのピクセルに位置に関して対応するピクセルの第１の行列であり、光源の輝度値は、カメラＣ１によって見られる発光面に属するマップのピクセルに割り当てられ、他のピクセルは、本質的にゼロの値を有する。

ここでの光強度は、補正される画像内の飽和ピクセルによって達成可能な最大輝度に関連している。

補正される画像のピクセルを飽和させるのにちょうど十分な光強度値として１を割り当てることからなる光度の任意の基準では、光源の輝度は、数千、例えば、１０，０００に達し、従来の手段で測定され得る。

例えば、カメラＣ１の光感度範囲を調整することにより、前記カメラは、ピクセルの飽和を回避しながら、ピクセルごとに光源の光強度を直接測定し、撮影デバイスのフィールドの基準デジタル画像を構成する光強度マップＰＭを生成することができる。

このように進行することにより、カメラＣ１のフィールドＶに位置する光源のみが考慮され、これらはまた、一般に、補正される画像を最も劣化させる光源でもある。

空のスタジオの光強度マップを生成するために、光源の位置と強度をコンピューター ファイルに手動で入力することもできる。

サブステップ４１４は、従来の画像処理手段によって、図２の図（ｂ）によって示される、補正される画像Ｉにおいて不飽和ピクセルとして見出される光源に属するマップＰＭのピクセルを識別することにある。

このステップにより、図２の図（ｂ）のキャラクタＣＥなどのシーンの要素によってカメラＣ１から隠されている予備的なマップＰＭの照明された表面のピクセルを識別することが可能になる。

サブステップ４１６は、補正される画像Ｉの取得中にカメラＣ１によって直接見られる光源を代表し、カメラのフィールドにおけるそれぞれの位置と光強度を示す、図２の図（ｃ）によって示される光強度マップＭを取得するように、ステップ４１４で識別されたピクセルに本質的にゼロ値を割り当てることにある。

光源は、例えば、ダイオードからの光を不完全に拡散するだけの拡散パネルの後ろに配置された非常に明るい発光ダイオードのパネルからなる光源の状況を反映するために、光強度マップＭで空間的に不均一な強度を有することができ、それらは、周囲よりも強い光強度を有する小さな局所的な表面の形で現れるようにすることができる。

図４００のステップ４２０は、カメラＣ１に適合された畳み込みカーネルＫを提供することにある。このカーネルは、カメラＣ１に固有のハロー生成カーネルと見なすことができ、このカーネルは、第２のデータ行列を形成する。

このカーネルは、カメラのデジタル画像センサによってキャプチャされ、補正される画像の各点の輝度に対する光源の点の影響を変換した行列である。

カメラの特徴は、光学系（レンズ、絞り）と、感光性ピクセルの行列によって形成されるセンサである。

カーネルは、以下で説明するように、補正されるデジタル画像のピクセルに対するデジタル光強度マップのピクセルの影響を各要素が変換する行列として定義され得る。

デジタル画像は、データ行列であり、各データ項目は、画像の対応するピクセルの光強度を表していることが想起される。

ハローは、主に、スタジオの光源の場合のように、画像がキャプチャされているシーンの光強度レベルに比べて光源が強い場合にのみ顕著に現れる。

さらに、光源に属する光強度マップの各ピクセルは、それ自体がハローを生成する基本的な光源と見なすことができる。

しかしながら、補正される画像の全体的なハローは、各光源または光源の各領域の効果が他の光源または光源の領域の効果に追加される付加的な現象から生じる。

したがって、補正されるデジタル画像のハローは、デジタルマップＭの各ピクセルに固有のすべてのハローの追加であり、光強度マップと、カメラによる画像のキャプチャに対する基本的な光源の影響をモデリングする畳み込みカーネルＫとの畳み込みまたは畳み込み積によって計算できる。

このため、光源の基本的な面によって生成されたハローが局所的でほとんど知覚できない場合でも、全体として考えられる光源によって生成されたハローは、はるかに大きな影響と範囲を有し、カーネルで考慮する必要がある。

したがって、発明者は、補正される画像内に配置された光源が、画像の幅の４分の１に相当する半径にわたって顕著なハロー現象を生成するという経験を持っているため、そのような状況では、カーネルは、通常サイズの２倍、したがって、画像のピクセルのサイズの半分に相当する大きさにしなければならない。

正方形のカーネルと幅２，０００ピクセルの画像の場合、カーネルは、１，０００×１，０００要素の二次元行列に対応し、ハローの効果は、人工照明システムの照らされた表面の画像のピクセルなど、考慮されている光源から半径５００ピクセルにわたって及ぶ。

補正しようとする効果を持つハローは、１つまたは複数の光源と、補正される画像をキャプチャするカメラの光学系、特に、レンズと絞りとの相互作用によって生成されるため、使用するカメラの光学系に固有のものである。

カメラ光学系のレンズによって受け取られた光の多重散乱によって生成された等方性ハローの単純ではあるが広く適用可能なケースを考えることができ、後者によってキャプチャされた画像の不均一な明るさをもたらす。

画像のピクセルに対する等方性ハローの効果は、光源の特定のピクセルからのこのピクセルの見かけの距離とともに急速に減少し、ここでは等方性効果に制限しているので、この距離のみに依存する。

この等方性ハローの影響を受ける画像を補正するのに適切なカーネルは、光源からのピクセルが補正される画像に与える局所的、等方的、かつ急速な減少の影響を変換する、最初は急速に減少し、次に漸近的に０に向かう傾向がある等方性パラメトリック関数に基づいて、経験的に決定することが可能である。

図５は、パラメータを使用して定義され、カーネルの場合、考慮される光源からの距離を表す半径ｒの関数として変化する、そのようなパラメトリック関数ＰＦを一般的に示している。

図６は、ハローが知覚可能な影響を有するカメラＣ１のセンサからの距離に対応する多数の点（上記の例では１，０００点）に対する空間的デジタル化によって図５の関数から得られる畳み込みカーネルＫ、すなわち、特定のカメラの画像に対する光源の影響をモデル化する行列を示している。

この行列の要素は、パラメトリック関数ＰＦに従って行列の中心からの距離に応じて値が変化するように定義されており、行列の各データは、ピクセルに対応し、カメラセンサのピクセルピッチに等しい距離だけその最近傍から離れているとみなされる。

図６のカーネルＫは、この構造を示しており、値のデータは、減少パラメトリック関数ＰＦに従って行列の中心に対するそれぞれの距離とともに減少する。

説明のために、ここではカーネルの中心データは、１の値を持ち、中心から最も離れたデータは、１０^－１５の値を持つが、もちろんこれは例として取り上げた特定のケースを表している。

このカーネルを以下に説明する画像補正に適用し、補正の結果を考慮してパラメトリック関数ＰＦのパラメータを手動で調整して、使用する撮影システムに適合させ、補正を改善することにより、カーネルは、満足のいくレベルの補正が得られるまで連続的な反復によって変更される。

各撮影システムによって表される特定の状況により、すべてのシステムに適用できる１つまたは複数の正確なパラメトリック関数を定義することは不可能であり、そのため、以下で説明するカーネルトレーニング方法が適用されない限り、上記の調整フェーズが不可欠である。

各専門家は、使用するカメラのタイプ、個人的な経験、および計算に関する好みに応じて、１つまたは複数のタイプのパラメトリック関数を選択し得る。

画像補正方法のステップ４３０は、図２の図（ｄ）の画像によって示される補正値マップＣＶＭを計算することからなり、その各ピクセルは、光強度マップＭと畳み込みカーネルＫとの畳み込み積を取得することによって、補正される画像のピクセルに対応し、このマップは、第３のデータ行列を形成する。

マップＣＶＭは、光パワーマップＭの光源によって生成されるハローに対応する非ゼロ値を有する補正領域Ｃｏｒｒを含み、マップＣＶＭの他の領域のピクセルは、ゼロの非補正値を有する。

この方法のステップ４４０は、補正される画像Ｉから補正値マップＣＶＭをピクセルごとに除去することによって、図２の図（ｅ）によって示される補正された画像Ｉｃｏｒｒを計算して、ハローが存在しない補正された画像を得ることからなる。

「ハローが存在しない補正された画像を得る」という表現は、実際には完全には達成できない理想的な目的を表現している、すなわち、ハローを完全になくすことが目的であるが、この方法の実施と利点は、補正される画像からハローを完全に除去する必要はないことが理解される。

この文書では、第２の画像から第１の画像を除去することは、各ピクセルについて、第２の画像のそれぞれの輝度値から第１の画像の輝度値を除去することに等しいとされている。

最後に、ステップ４５０は、ステップ４４０で計算された補正された画像をコンピュータメモリに記録することからなる。

図３は、光強度マップＭ’の確立における変形例を示しており、図２の方法とは異なり、光強度マップは、好ましくは、カメラＣ１のフィールドよりも広いフィールドをカバーする範囲Ｅ’の任意のサイズの画像であり、後者を取り囲むようにする。

例えば、カメラＣ１の視野に対してこの範囲Ｅに含まれる光源の位置を手動で入力し、それらを補正すべき画像を取り囲むピクセルの表面を有する画像に挿入し、これらの位置に、従来の方法で測定された光強度を割り当てて、図３の図（ａ）で示される予備的な光強度マップＰＭ’を取得することが可能である。

計算の便宜上、補正される画像Ｉの各ピクセルは、好ましくは、予備的なマップＰＭ’の１つのピクセルに正確に対応する。

実際的な観点から、マップＰＭ’は、カメラＣ１の向きを変更して、適切な範囲の光感度で範囲Ｅ’全体のビューをキャプチャし、次にこれらのビューを従来の方法で組み合わせて予備的なマップＰＭ’を形成することによっても取得できる。

次いで、サブステップ４１４および４１６を実施することによって、図２の図（ｂ）の補正される画像Ｉの補正に適合された、図３の図（ｂ）によって示される光強度マップＭ’を確立することが可能である。

このマップは、範囲Ｅよりも大きい範囲Ｅ’で、カメラＣ１のフィールド内に位置する光源Ｌ４とＬ５だけでなく、カメラＣ１のフィールドＶの外側に位置し、したがって、補正される画像Ｉでは見えないが、後者の品質を劣化させるハローに大きく寄与しやすい光源Ｌ３とＬ６も考慮される。

補正方法４００でこの光強度マップを使用することにより、補正される画像に含まれる光源だけでなく、補正される画像の外側に位置する光源によっても生成されるハローを補正することができ、したがって、補正の品質が向上する。

カーネル－トレーニング方法
上記の画像補正手順は、前に説明したように経験的に得られた畳み込みカーネルを使用するか、トレーニング手順による計算によって得られたカーネルを使用できる。

２つの可能なトレーニング手順の概要を説明する。それぞれが、この撮影デバイスによってキャプチャされ、スイッチがオンになっている光源とスイッチがオフになっている同じ光源をそれぞれ表す２つのトレーニング画像を使用して、特定の撮影デバイスのハローを生成するための畳み込みカーネルを計算することを可能にする。

これらの手順は、これらの２つの画像のいずれかによって上記で定義された光強度マップを決定することを可能にし、これらの画像の違いにより、考慮されている撮影デバイスと相互作用する光源によって作成されるハローを決定することを可能にする原理に基づいている。

これらのデータから、光パワーマップと目的の畳み込みカーネルからハローがどのように生成されるかがわかれば、従来の計算方法を使用してこのカーネルを見つけることができる。

第１のトレーニング手順は、図７の図７００および図８の図（ａ）～（ｆ）によって示され、逆畳み込みを実施する。

ステップ７１０は、ハロー生成カーネルを計算したい撮影システムを使用して、図８の図（ａ）でＳｏｆｆによって識別されるスイッチオフされた光源Ｓｏｆｆを包含する第１のトレーニングデジタル画像ＬＩ１をキャプチャすることからなる。

これは、補正される画像をキャプチャするために使用された撮影デバイス、または同じ光学系を搭載した同じモデルの別のデバイスであり得る。

ステップ７２０は、図８の図（ｂ）においてＳｏｎによって識別される、スイッチがオフにされたときにキャプチャされた画像と同じ条件下で、同じ光源を包含するが、今回はスイッチがオンにされた第２のトレーニングデジタル画像ＬＩ２をキャプチャすることからなる。

光源からの光によって引き起こされるハローのために、スイッチをオフにしたときよりもスイッチをオンにしたときにキャプチャされた画像で占める領域が大きくなることに留意されたい。

ステップ７３０は、第２の画像ＬＩ２から第１の画像ＬＩ１を除去することからなり、これにより、光源と撮影デバイスとの相互作用によって生成されるハローを表す部分を含む第３のデジタル画像ＬＩ３を得ることができる。

図８の図（ｃ）において、領域ＨｉｎｔおよびＨｅｘｔは、図８の図（ａ）のスイッチオフされた光源の内側および外側に位置するハロー領域をそれぞれ表す。

ステップ７４０は、第３の画像ＬＩ３から曲線ＬＣを抽出することからなり、この曲線ＬＣは、図８の図（ｄ）によって示されるように、光源を横切るセグメントＳｅｇに沿った画像ＬＩ１とＬＩ２との間の輝度の差ΔＬを表す。

次に、光源の外周に対応し、領域Ｈｅｘｔを横切り、曲線ＬＣの最大値を含む曲線ＬＣの部分Ｐは、ハローを表し、カーネルを見つけることを可能にすると考えられる。

逆に、領域Ｈｉｎｔは、カーネルを決定するために実際に使用できる情報を提供するとは見なされない。

ステップ７５０は、光源の一部であると考えられるピクセルに従来の方法で測定された光源の光強度値を割り当てることによって、例えば、第１の画像ＬＩ１から、図８の図（ｅ）によって示される光強度トレーニングマップＬＭを生成することからなる。

例えば、ピクセルが所与の光強度レベルを超えた場合、ピクセルは、光源の一部とみなすことができ、この所与の光強度レベルは、画像ＬＩ１のバックグラウンドからスイッチオフされた光源を区別するようにオペレータによって選択される。

トレーニング光強度マップＬＭは、予備的な光強度マップＰＭを取得するために上述したように手動で取得することもできる。

曲線ＬＣの部分Ｐとトレーニング光強度マップＬＭから、カーネル生成関数ＫＦを決定することが可能であり、次に、上で概説した画像補正方法において後で使用される行列の形式の所望の畳み込みカーネルＫＭ自体を決定できる。

より具体的には、領域Ｐの曲線ＬＣによって表される関数が、トレーニング光強度マップＬＭと取得しようとしているカーネルとの畳み込みの結果であることを考慮すると、マップＬＭによる曲線ＬＣの逆畳み込み演算７６０は、カーネル生成関数ＫＦを決定することを可能にし、逆畳み込みは、コンピュータプロセッサなどのデジタルデータ処理ユニットによって行われる。

最後に、ハローが知覚可能な影響を与える撮影デバイスのセンサからのピクセル単位の距離に対応するいくつかのポイントでの関数ＫＦの空間デジタル化のためのステップ７７０は、カーネル、すなわち、行列ＫＭの要素を決定することを可能にする。

行列ＫＭの要素は、図５の関数ＰＦから導出された図６のカーネルＫとして関数ＫＦから定義され、図８の図（ｇ）の行列ＫＭが得られるように、値ｂ～ｆを有するデータは、減少関数ＫＦに従って、要素ａが占める行列の中心に対してそれぞれの距離でこの順に減少していくようになっている。

第２のトレーニング手順は、図９の図９００によって示され、多項式回帰による近似などの回帰による近似の従来の数学的方法によってカーネル生成関数を近似することを可能にする。

図７００のステップと同じ識別子を有する図９００のステップについては、前述の説明を参照できる。

ステップ７３０から得られた画像ＬＩ３は、スイッチオンされた光源Ｓｏｎによって生成されたハローに対応すると考えられる。

しかしながら、このハローは、求められた畳み込みカーネルと、ステップ７５０の終わりに得られた光強度マップＬＭとの畳み込み積によってモデル化される。

したがって、畳み込み積の結果と画像ＬＩ３とを収束させることを目的としたカーネルの逐次近似によって求められる畳み込みカーネルを求めることができることが理解される。

具体的には、ステップ９１０で初期カーネルを提供し、ステップ９２０で光強度マップＬＭとのその畳み込み積を取得し、次に、テストステップ９３０で取得した畳み込み積を画像ＬＩ３と比較することが可能である。

実施者によって選択された基準に従って、ステップ７３０から得られた画像ＬＩ３とステップ９２０からの畳み込み積の結果とが離れすぎていることがテストステップ中に決定された場合、ステップ９４０中の従来の回帰方法に従ってデータ処理ユニットによって新しいカーネルが計算され、それがステップ９１０のカーネルの代わりに畳み込み積に再投入され、テストステップ９３０が畳み込み積の画像ＬＩ３への十分な収束を示すまで、ステップ９２０から９４０がループで繰り返される。

十分な収束が得られると、ステップ９５０で、最後に計算されたカーネルが、図７００および図７および図８によって示される方法によって得られるカーネルＫＭと同様に、所望の畳み込みカーネルとしてコンピュータメモリに記録される。

上記の例は、順に等方性であるカーネルによって生成された等方性ハローの場合に限定されており、カーネルは、半径方向という１つの方向のみの光強度変化を表す１次元関数によって計算され、ハローへの等方性の寄与を特徴付けるのに十分である。

このような等方性カーネルは、一般に十分である。なぜなら、例えば、大きな開口を使用する絞りでは事実上無視できる絞りの回折効果を無視することが多いからである。

絞りからの無視できない回折の場合、カーネルへの等方性の寄与を表す１次元関数に、絞りと同じ次数の対称性を持つ２次元関数を追加して、カーネルへのその回折の寄与を表し、経験的決定またはカーネルのトレーニングによる決定については、以前と同じ方法で行うことができる。

この原則は、補正される画像のハロー生成に関与するあらゆるタイプの光学効果に適用される。

一般に、畳み込みカーネルは、カーネルへの等方性の寄与を表す一定に減少するエンベロープを有する１次元関数と、カーネルへの異方性の寄与を表す２次元関数との和から生成できる。

カーネルへの等方性の寄与は、特に、考慮されている撮影デバイスのレンズによる散乱現象から生じ得る。

カーネルへの異方性の寄与は、特に、回折現象に由来し得、例えば、補正される画像の回折図の形で視覚化される。

そのような場合、２次元関数は、回折図を表し、この図と同じ次数の対称性を有する関数に対応し得、またはそのような関数の和に対応し得る。

図１０は、本発明に係るハロー補正方法を実施するように適合された三次元モデリングスタジオ用の画像キャプチャデバイス１００を示している。

このデバイスは、撮影デバイスとして使用される複数のカメラＣを備え、それぞれが、データ集中および計算ユニットＣＵと、データ集中ユニットＣＵと各カメラＣとの間のインターフェースを形成する分散ユニットＤＵとを備えるデジタルデータ処理ユニットＤＴＵに接続されている。

集中ユニットに接続された制御モニタＭＯＮは、システムによってキャプチャされた画像を見ることを可能にし、数字キーボードなどのデジタルデータ入力ユニットＫＢは、データ処理ユニットに命令を入力することを可能にする。

モニタＭＯＮとユニットＫＢは、例えば、画像におけるハロー補正の品質をオペレータが視覚的に推定し、このオペレータがカーネル生成関数のパラメータを手動で修正することによってカーネルを経験的に決定する場合、ハロー補正法が採用するカーネルの改良に用いることが可能である。

この例では、分散ユニットＤＵのそれぞれは、デバイスのカメラのモデルに適合された畳み込みカーネルが格納されるメモリを備える。

光強度マップもこれらの分散ユニットに格納され、それぞれがカメラに固有であり、デバイスが統合されているモデリングスタジオの構成に関連付けられ、関連するカメラと照明システムの配置に依存する。

これらの分散ユニットは、メモリに格納された光強度マップおよびカーネルを使用して、本発明に係るハロー補正方法によってキャプチャされた画像を処理するように構成される。

もちろん、このシステムは、畳み込みカーネルのトレーニング手順の実施にも適応できる。

この説明で言及されている画像は、例えば、コントラストや鮮明度を改善することを目的としたデジタル処理を施したものであっても、そうでなくてもよく、それぞれ、特定の瞬間にキャプチャされた単一のデジタル画像として、または異なる瞬間にキャプチャされた複数のデジタル画像の平均として理解され得ることに留意する必要がある。

なお、本発明は、上記実施形態に限定されるものではなく、本発明の範囲を逸脱しない範囲で変更可能であることは言うまでもない。

Claims (6)

1. シーンの撮影フィールド（Ｖ）を有する撮影デバイス（Ｃ１）によって、写真測量法を使用して、三次元モデリングスタジオでキャプチャされたシーンの補正すべきデジタル画像（Ｉ）におけるハロー（Ｈ）を補正するための方法（４００）であって、このハローは、光源（Ｌ３、Ｌ４、Ｌ５、Ｌ６）によって放射される光と撮影デバイスの光学系との相互作用によって生成され、補正すべきデジタル画像のピクセルの明るさとして現れ、前記光源は、シーンの照明システムの一部を形成し、
   －撮影フィールドに対する空間分布に関して、および補正すべき画像（Ｉ）のキャプチャ中に撮影デバイスから知覚される光強度に関して、前記光源を特徴付けるデジタル光強度マップ（Ｍ）を生成するステップ（４１０）であって、このマップは、第１のデータ行列を形成する、ステップと、
   －第２のデータ行列を形成する、前記撮影デバイスに固有の畳み込みカーネルを提供するステップ（４２０）と、
   －第１の行列と第２の行列の畳み込み積を計算して、補正すべきデジタル画像内のハローの補正値マップ（ＣＶＭ）に対応する第３のデータ行列を取得するステップ（４３０）と、
   －補正すべきデジタル画像から補正値マップをピクセルごとに除去して、ハローが存在しない補正された画像（Ｉｃｏｒｒ）を取得するステップ（４４０）と、
   からなるステップを含むことを特徴とする、
   ハローを補正するための方法。
2. デジタル光強度マップ（Ｍ）を生成するステップは、
   －撮影フィールドに対する空間分布に関して、および前記光源が撮影デバイスに完全に見える場合に撮影デバイスから知覚される光強度に関して、前記光源を特徴付ける予備的なデジタル光強度マップ（ＰＭ）を生成するステップ（４１２）と、
   －補正すべきデジタル画像（Ｉ）において撮影デバイスから隠されている予備的なデジタルマップ内の前記光源に属するピクセルを決定することにより、予備的なデジタルマップ（ＰＭ）および補正すべきデジタル画像（Ｉ）から前記デジタル光強度マップ（Ｍ）を生成するステップ（４１４、４１６）と、
   のステップを含むことを特徴とする、
   請求項１に記載のハローを補正するための方法（４００）。
3. 畳み込みカーネル（Ｋ）は、一定に減少するエンベロープを有し、カーネル散乱現象からの寄与を表す１次元関数と、カーネル回折図からの寄与を表す２次元関数との和から生成される行列であることを特徴とする、
   請求項１または２に記載のハローを補正するための方法。
4. 畳み込みカーネル（Ｋ）は、一定に減少する等方性関数（ＰＦ）から生成される行列であることを特徴とする、
   請求項１または２に記載のハローを補正するための方法。
5. 畳み込みカーネルは、
   －撮影デバイスによって、第１（ＬＩ１）および第２（ＬＩ２）のデジタルトレーニング画像を取得するステップ（７１０、７２０）であって、これら２つの画像は、スイッチオフされるトレーニング光源（Ｓｏｆｆ）およびスイッチオンされる前記トレーニング光源（Ｓｏｎ）をそれぞれ備える、ステップと、
   －光源に含まれるこの第２のデジタル画像のピクセルに光強度値を割り当てることによって、第１のデジタルトレーニング画像からトレーニング光源のトレーニング光強度マップ（ＬＭ）を生成するステップ（７５０）と、
   －２つのデジタルトレーニング画像および光強度マップからカーネル（ＫＭ）を計算するステップと、
   のステップによって生成されることを特徴とする、
   請求項１～４のうちいずれか１項に記載のハローを補正するための方法。
6. データ処理ユニット（ＤＴＵ）に機能的に接続された複数の撮影デバイス（Ｃ）を備える、三次元モデリングスタジオ用の画像キャプチャデバイス（１００）であって、前記データ処理ユニットは、請求項１に記載のハローを補正するための方法を実施するように特に適合されていることを特徴とする、三次元モデリングスタジオ用の画像キャプチャデバイス。

Images