JP2023531605A - デジタル画像におけるハローの補正およびその補正を実施するためのデバイス - Google Patents
デジタル画像におけるハローの補正およびその補正を実施するためのデバイス Download PDFInfo
- Publication number
- JP2023531605A JP2023531605A JP2022577282A JP2022577282A JP2023531605A JP 2023531605 A JP2023531605 A JP 2023531605A JP 2022577282 A JP2022577282 A JP 2022577282A JP 2022577282 A JP2022577282 A JP 2022577282A JP 2023531605 A JP2023531605 A JP 2023531605A
- Authority
- JP
- Japan
- Prior art keywords
- image
- digital
- light intensity
- halo
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 125000001475 halogen functional group Chemical group 0.000 title claims abstract description 66
- 238000012937 correction Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 47
- 238000003384 imaging method Methods 0.000 claims abstract description 29
- 230000003993 interaction Effects 0.000 claims abstract description 7
- 239000011159 matrix material Substances 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 29
- 238000012545 processing Methods 0.000 claims description 11
- 230000003247 decreasing effect Effects 0.000 claims description 7
- 238000005286 illumination Methods 0.000 claims description 5
- 230000003287 optical effect Effects 0.000 abstract description 6
- 230000006870 function Effects 0.000 description 29
- 238000010586 diagram Methods 0.000 description 22
- 230000000694 effects Effects 0.000 description 15
- 238000003702 image correction Methods 0.000 description 5
- 229920006395 saturated elastomer Polymers 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000002087 whitening effect Effects 0.000 description 2
- 206010034960 Photophobia Diseases 0.000 description 1
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 230000036211 photosensitivity Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N2013/40—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene
- H04N2013/405—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene the images being stereoscopic or three dimensional
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本発明の目的は、三次元モデリングスタジオで写真測量法を使用してキャプチャされたデジタル画像(1)内のハロー(H)を補正するための方法(400)であり、ハローは、スタジオ内の光源(L3、L4、L5、L6)から発生する光と撮影デバイスの光学系との相互作用によって生成され、デジタル画像の局所的な明るさとして現れる。方法は、空間分布と光強度に関して、光源を特徴付ける光強度マップ(M)を生成するステップ(410)と、撮影デバイスに固有の畳み込みカーネルを提供するステップ(420)と、光強度マップとカーネルの畳み込み積を計算して、補正値マップ(CVM)を取得するステップ(430)と、デジタル画像からピクセルごとに補正値マップを除去して、ハローが存在しない補正された画像(Icorr)を生成するステップと、を含む。
Description
本発明は、写真またはビデオの撮影中にキャプチャされたデジタル画像に現れるハローを補正するための方法、および前記ハロー補正方法を実施するための画像キャプチャデバイスに関する。
特に、本発明は、撮影デバイスの観点から光源によって生成されるハロー効果を補正し、その明るさの不均一な変更によってこのデバイスによってキャプチャされた画像の品質を低下させることを意図した方法に関する。
良好な光条件でシーンのショットを撮るために、従来、このシーンを照らすために人工照明システムが使用されている。
これらの照明システムによって生成される光の強度と、これらの光と撮影デバイスとの相互作用により、これらのデバイスによってキャプチャされた画像にアーティファクトが生成され得、特に、それらのコントラストを低下させ、白化、フレア係数または回折図形などの明るさの不均一な変更を生成することによって、品質に悪影響を与える拡散または局所化された照明として現れる。
例えば、単一のカメラを撮影デバイスとして使用する従来の撮影の場合、光源は、一般にカメラのフィールドの外側に配置され、芸術的な目的でこのようなアーティファクトの生成を回避する。
さらに、コントラスト強化などの視覚的補正も、芸術的な目的のために、すなわち、主観的な基準に従って日常的に実施されている。
特許文献FR3016028B1およびWO2019/166743A1に記載されている多視点写真測量法による三次元シーンモデリングスタジオの場合、モデル化するシーンの周囲に光源とカメラが分散しており、一般的に、カメラのフィールド内に光源が存在することを回避することは不可能であり、これらのカメラによってキャプチャされた画像の品質が低下するという上記の問題につながる。
したがって、画像の三次元解析に基づく三次元シーンモデリングも、上述のアーティファクトによって悪影響を受ける。
本発明の1つの目的は、撮影中に使用された光源によって引き起こされたアーティファクトを補正することであり、これらのアーティファクトは、すべて用語「ハロー」によって指定され、撮影デバイスによってキャプチャされたデジタル画像を、ハローによって引き起こされる輝度歪がない場合とほぼ同じ状態にすることである。
この目的のために、本発明の目的は、写真測量法を使用して三次元モデリングスタジオでキャプチャされたシーンの補正すべきデジタル画像内のハローを、シーンの撮影フィールドを有する撮影デバイスによって補正するための方法であり、このハローは、光源によって放射された光と撮影デバイスの光学系との相互作用によって生成され、補正すべきデジタル画像のピクセルの明るさとして現れ、光源は、シーンの照明システムの一部を形成し、この方法は、撮影フィールドに対する空間分布に関して、および補正されるべき画像のキャプチャ中に撮影デバイスから知覚される光強度に関して、光源を特徴付けるデジタル光強度マップを生成し、このマップは、第1のデータ行列を形成し、撮影デバイスに固有の畳み込みカーネルを提供し、第2のデータ行列を形成し、第1の行列と第2の行列の畳み込み積を計算して、補正されるべきデジタル画像内のハローの補正値マップに対応する第3のデータ行列を取得し、補正されるべきデジタル画像から補正値マップをピクセルごとに除去して、ハローが存在しない補正された画像を取得するステップを含む。
本発明の第1の利点は、撮影デバイスによってキャプチャされた画像の明るさを不均一に変更するハローの補正であり、このハローは、補正されていない場合に画像内の1つまたは複数の局所的な明るさまたは白化によって現れる。
したがって、本発明に係る方法は、同じ画像内だけでなく、複数の撮影デバイスを含むスタジオの場合、これらの異なるデバイスによってキャプチャされた画像間のコントラストおよび色および光強度レベルの再現性を非常に大幅に改善する。
さらに、多視点写真測量法によるシーンの三次元モデリングの場合、モデリングは、とりわけ、あるシーンの特定の要素の色の同一性に基づいて、それを識別し、複数の撮影デバイスによってキャプチャされた画像からその動きを追跡する。
したがって、本発明に係る方法によって処理された画像における色のより良い評価は、シーンのより良い三次元モデリングを可能にする。
本発明に係る方法は、以下の特定の特徴を有し得る。
-デジタル光強度マップを生成するステップは、撮影フィールドに対する空間分布に関して、および前記光源が撮影デバイスに完全に見える場合に撮影デバイスから知覚される光強度に関して、前記光源を特徴付ける予備的なデジタル光強度マップを生成するステップと、補正すべきデジタル画像において撮影デバイスから隠されている予備的なデジタルマップ内の前記光源に属するピクセルを決定することにより、予備的なデジタルマップおよび補正すべきデジタル画像から前記デジタル光強度マップを生成するステップと、のステップを含み得る;
-畳み込みカーネルは、一定に減少するエンベロープを有し、カーネル散乱現象からの寄与を表す1次元関数と、カーネル回折図からの寄与を表す2次元関数との和から生成される行列であり得る;
-畳み込みカーネルは、一定に減少する等方性関数から生成される行列であり得る;
-畳み込みカーネルは、撮影デバイスによって、第1および第2のデジタルトレーニング画像を取得するステップであって、これら2つの画像は、スイッチオフされるトレーニング光源およびスイッチオンされる前記トレーニング光源をそれぞれ備える、ステップと、光源に含まれるこの第2のデジタル画像のピクセルに光強度値を割り当てることによって、第1のデジタルトレーニング画像からトレーニング光源のトレーニング光強度マップを生成するステップと、2つのデジタルトレーニング画像および光強度マップからカーネルを計算するステップと、のステップによって生成され得る。
-デジタル光強度マップを生成するステップは、撮影フィールドに対する空間分布に関して、および前記光源が撮影デバイスに完全に見える場合に撮影デバイスから知覚される光強度に関して、前記光源を特徴付ける予備的なデジタル光強度マップを生成するステップと、補正すべきデジタル画像において撮影デバイスから隠されている予備的なデジタルマップ内の前記光源に属するピクセルを決定することにより、予備的なデジタルマップおよび補正すべきデジタル画像から前記デジタル光強度マップを生成するステップと、のステップを含み得る;
-畳み込みカーネルは、一定に減少するエンベロープを有し、カーネル散乱現象からの寄与を表す1次元関数と、カーネル回折図からの寄与を表す2次元関数との和から生成される行列であり得る;
-畳み込みカーネルは、一定に減少する等方性関数から生成される行列であり得る;
-畳み込みカーネルは、撮影デバイスによって、第1および第2のデジタルトレーニング画像を取得するステップであって、これら2つの画像は、スイッチオフされるトレーニング光源およびスイッチオンされる前記トレーニング光源をそれぞれ備える、ステップと、光源に含まれるこの第2のデジタル画像のピクセルに光強度値を割り当てることによって、第1のデジタルトレーニング画像からトレーニング光源のトレーニング光強度マップを生成するステップと、2つのデジタルトレーニング画像および光強度マップからカーネルを計算するステップと、のステップによって生成され得る。
本発明は、データ処理ユニットに機能的に接続された複数の撮影デバイスを備えた三次元モデリングスタジオ用の画像キャプチャデバイスにまで及び、データ処理ユニットは、本発明に係るハローを補正する方法を実施するように特に適合されている。
以下に簡単に説明する添付の図面を参照して例として取り上げた非限定的な実施形態の詳細な説明を読めば、本発明がよりよく理解され、他の利点が明らかになるであろう。
この実施形態は、図1~図10によって説明され、多視点写真測量法による三次元シーンモデリングスタジオへの本発明の適用に関する。
スタジオは、撮影デバイスとして使用されるカメラC1~C8を備え、これらのカメラによってキャプチャされたデジタル画像からモデル化されるシーンが配置される領域Aの周囲に配置される。
スタジオはさらに、同じく領域Aの周囲に規則的に配置された光源L1~L8を備える。
カメラC1のフィールドVは、光源L4およびL5を取り囲み、これらは、それらの高い光強度およびカメラC1の光学要素(レンズ、場合によっては絞り)との相互作用により、カメラC1によってキャプチャされた画像を不均一に明るくするハローとして集合的に考えられる、キャプチャされた画像のアーティファクトの原因となる。
この実施形態は、カメラC1によってキャプチャされたシーンのデジタル画像を補正することにある。
画像補正
図4の図400によって示される、本発明に係る画像を補正するための方法は、カメラC1によってキャプチャされた補正すべき画像において光源によって生成されたハローをモデル化し、次いで、この画像からそれを除去してハローのない補正画像を得ることからなる。
図4の図400によって示される、本発明に係る画像を補正するための方法は、カメラC1によってキャプチャされた補正すべき画像において光源によって生成されたハローをモデル化し、次いで、この画像からそれを除去してハローのない補正画像を得ることからなる。
ここでは簡略化のため、グレースケールの画像の場合を考えるが、この方法は、カラー画像にも同様に適用でき、赤チャンネル、緑チャンネル、および青チャンネルといった異なる色チャンネルを並列に処理するだけでよいと考えている。
ステップ405は、カメラC1によって補正するべきデジタル画像Iをキャプチャし、それをコンピュータメモリに格納することからなり、ハローHは、図2の図(b)の斜線領域によって示されるように、画像の特定の領域を明るくする。
ステップ410は、カメラC1の視野に位置する光源の空間分布および強度を示すデジタル光強度マップMを生成することからなる。
この実施形態の第1の例では、カメラC1によって直接見える光源L4およびL5の発光面によって生成されるハローのみが補正される。
カメラの各可視光源は、飽和ピクセルの形で補正される画像内でそれぞれ目に見える基本光源のセットと見なすことができる。
「飽和ピクセル」とは、最大値、デジタル画像の8ビットでコード化された明度の場合は、255の明るさのレベルを表示するピクセルを意味する。
図2の図(c)は、カメラC1のフィールドVに位置する光源L4およびL5を、補正すべき画像をピクセルごとにキャプチャする際にカメラC1によって見られるように示しており、光源L4は、図(b)に示されるシーンのキャラクタCEによってカメラC1から部分的に隠されている。
ここで、この図(c)は、カメラC1のフィールドの水平範囲Eに対応する水平範囲Eに従って、カメラC1のフィールドVの画像に正確に対応する。
ステップ410は、サブステップ412、414、および416を含むことができる。
サブステップ412は、予備的なデジタル光強度マップPMに到達するように、光源L4およびL5のスイッチオンにした空のスタジオの画像の飽和ピクセルを決定し、次に、これらのピクセルに光源の光強度を割り当てることによって、空のスタジオ、すなわち、カメラC1から光源が完全に見える状態のデジタル光強度マップを生成することにある。
図2の図(a)は、カメラC1から見た光源L4およびL5のみを含むカメラC1の範囲EのフィールドVの画像に対応する予備的なマップPMを示し、これらの光源は、ここでは長方形の照射面である。
この光強度マップは、補正されるデジタル画像Iのピクセルに位置に関して対応するピクセルの第1の行列であり、光源の輝度値は、カメラC1によって見られる発光面に属するマップのピクセルに割り当てられ、他のピクセルは、本質的にゼロの値を有する。
ここでの光強度は、補正される画像内の飽和ピクセルによって達成可能な最大輝度に関連している。
補正される画像のピクセルを飽和させるのにちょうど十分な光強度値として1を割り当てることからなる光度の任意の基準では、光源の輝度は、数千、例えば、10,000に達し、従来の手段で測定され得る。
例えば、カメラC1の光感度範囲を調整することにより、前記カメラは、ピクセルの飽和を回避しながら、ピクセルごとに光源の光強度を直接測定し、撮影デバイスのフィールドの基準デジタル画像を構成する光強度マップPMを生成することができる。
このように進行することにより、カメラC1のフィールドVに位置する光源のみが考慮され、これらはまた、一般に、補正される画像を最も劣化させる光源でもある。
空のスタジオの光強度マップを生成するために、光源の位置と強度をコンピューター ファイルに手動で入力することもできる。
サブステップ414は、従来の画像処理手段によって、図2の図(b)によって示される、補正される画像Iにおいて不飽和ピクセルとして見出される光源に属するマップPMのピクセルを識別することにある。
このステップにより、図2の図(b)のキャラクタCEなどのシーンの要素によってカメラC1から隠されている予備的なマップPMの照明された表面のピクセルを識別することが可能になる。
サブステップ416は、補正される画像Iの取得中にカメラC1によって直接見られる光源を代表し、カメラのフィールドにおけるそれぞれの位置と光強度を示す、図2の図(c)によって示される光強度マップMを取得するように、ステップ414で識別されたピクセルに本質的にゼロ値を割り当てることにある。
光源は、例えば、ダイオードからの光を不完全に拡散するだけの拡散パネルの後ろに配置された非常に明るい発光ダイオードのパネルからなる光源の状況を反映するために、光強度マップMで空間的に不均一な強度を有することができ、それらは、周囲よりも強い光強度を有する小さな局所的な表面の形で現れるようにすることができる。
図400のステップ420は、カメラC1に適合された畳み込みカーネルKを提供することにある。このカーネルは、カメラC1に固有のハロー生成カーネルと見なすことができ、このカーネルは、第2のデータ行列を形成する。
このカーネルは、カメラのデジタル画像センサによってキャプチャされ、補正される画像の各点の輝度に対する光源の点の影響を変換した行列である。
カメラの特徴は、光学系(レンズ、絞り)と、感光性ピクセルの行列によって形成されるセンサである。
カーネルは、以下で説明するように、補正されるデジタル画像のピクセルに対するデジタル光強度マップのピクセルの影響を各要素が変換する行列として定義され得る。
デジタル画像は、データ行列であり、各データ項目は、画像の対応するピクセルの光強度を表していることが想起される。
ハローは、主に、スタジオの光源の場合のように、画像がキャプチャされているシーンの光強度レベルに比べて光源が強い場合にのみ顕著に現れる。
さらに、光源に属する光強度マップの各ピクセルは、それ自体がハローを生成する基本的な光源と見なすことができる。
しかしながら、補正される画像の全体的なハローは、各光源または光源の各領域の効果が他の光源または光源の領域の効果に追加される付加的な現象から生じる。
したがって、補正されるデジタル画像のハローは、デジタルマップMの各ピクセルに固有のすべてのハローの追加であり、光強度マップと、カメラによる画像のキャプチャに対する基本的な光源の影響をモデリングする畳み込みカーネルKとの畳み込みまたは畳み込み積によって計算できる。
このため、光源の基本的な面によって生成されたハローが局所的でほとんど知覚できない場合でも、全体として考えられる光源によって生成されたハローは、はるかに大きな影響と範囲を有し、カーネルで考慮する必要がある。
したがって、発明者は、補正される画像内に配置された光源が、画像の幅の4分の1に相当する半径にわたって顕著なハロー現象を生成するという経験を持っているため、そのような状況では、カーネルは、通常サイズの2倍、したがって、画像のピクセルのサイズの半分に相当する大きさにしなければならない。
正方形のカーネルと幅2,000ピクセルの画像の場合、カーネルは、1,000×1,000要素の二次元行列に対応し、ハローの効果は、人工照明システムの照らされた表面の画像のピクセルなど、考慮されている光源から半径500ピクセルにわたって及ぶ。
補正しようとする効果を持つハローは、1つまたは複数の光源と、補正される画像をキャプチャするカメラの光学系、特に、レンズと絞りとの相互作用によって生成されるため、使用するカメラの光学系に固有のものである。
カメラ光学系のレンズによって受け取られた光の多重散乱によって生成された等方性ハローの単純ではあるが広く適用可能なケースを考えることができ、後者によってキャプチャされた画像の不均一な明るさをもたらす。
画像のピクセルに対する等方性ハローの効果は、光源の特定のピクセルからのこのピクセルの見かけの距離とともに急速に減少し、ここでは等方性効果に制限しているので、この距離のみに依存する。
この等方性ハローの影響を受ける画像を補正するのに適切なカーネルは、光源からのピクセルが補正される画像に与える局所的、等方的、かつ急速な減少の影響を変換する、最初は急速に減少し、次に漸近的に0に向かう傾向がある等方性パラメトリック関数に基づいて、経験的に決定することが可能である。
図5は、パラメータを使用して定義され、カーネルの場合、考慮される光源からの距離を表す半径rの関数として変化する、そのようなパラメトリック関数PFを一般的に示している。
図6は、ハローが知覚可能な影響を有するカメラC1のセンサからの距離に対応する多数の点(上記の例では1,000点)に対する空間的デジタル化によって図5の関数から得られる畳み込みカーネルK、すなわち、特定のカメラの画像に対する光源の影響をモデル化する行列を示している。
この行列の要素は、パラメトリック関数PFに従って行列の中心からの距離に応じて値が変化するように定義されており、行列の各データは、ピクセルに対応し、カメラセンサのピクセルピッチに等しい距離だけその最近傍から離れているとみなされる。
図6のカーネルKは、この構造を示しており、値のデータは、減少パラメトリック関数PFに従って行列の中心に対するそれぞれの距離とともに減少する。
説明のために、ここではカーネルの中心データは、1の値を持ち、中心から最も離れたデータは、10-15の値を持つが、もちろんこれは例として取り上げた特定のケースを表している。
このカーネルを以下に説明する画像補正に適用し、補正の結果を考慮してパラメトリック関数PFのパラメータを手動で調整して、使用する撮影システムに適合させ、補正を改善することにより、カーネルは、満足のいくレベルの補正が得られるまで連続的な反復によって変更される。
各撮影システムによって表される特定の状況により、すべてのシステムに適用できる1つまたは複数の正確なパラメトリック関数を定義することは不可能であり、そのため、以下で説明するカーネルトレーニング方法が適用されない限り、上記の調整フェーズが不可欠である。
各専門家は、使用するカメラのタイプ、個人的な経験、および計算に関する好みに応じて、1つまたは複数のタイプのパラメトリック関数を選択し得る。
画像補正方法のステップ430は、図2の図(d)の画像によって示される補正値マップCVMを計算することからなり、その各ピクセルは、光強度マップMと畳み込みカーネルKとの畳み込み積を取得することによって、補正される画像のピクセルに対応し、このマップは、第3のデータ行列を形成する。
マップCVMは、光パワーマップMの光源によって生成されるハローに対応する非ゼロ値を有する補正領域Corrを含み、マップCVMの他の領域のピクセルは、ゼロの非補正値を有する。
この方法のステップ440は、補正される画像Iから補正値マップCVMをピクセルごとに除去することによって、図2の図(e)によって示される補正された画像Icorrを計算して、ハローが存在しない補正された画像を得ることからなる。
「ハローが存在しない補正された画像を得る」という表現は、実際には完全には達成できない理想的な目的を表現している、すなわち、ハローを完全になくすことが目的であるが、この方法の実施と利点は、補正される画像からハローを完全に除去する必要はないことが理解される。
この文書では、第2の画像から第1の画像を除去することは、各ピクセルについて、第2の画像のそれぞれの輝度値から第1の画像の輝度値を除去することに等しいとされている。
最後に、ステップ450は、ステップ440で計算された補正された画像をコンピュータメモリに記録することからなる。
図3は、光強度マップM’の確立における変形例を示しており、図2の方法とは異なり、光強度マップは、好ましくは、カメラC1のフィールドよりも広いフィールドをカバーする範囲E’の任意のサイズの画像であり、後者を取り囲むようにする。
例えば、カメラC1の視野に対してこの範囲Eに含まれる光源の位置を手動で入力し、それらを補正すべき画像を取り囲むピクセルの表面を有する画像に挿入し、これらの位置に、従来の方法で測定された光強度を割り当てて、図3の図(a)で示される予備的な光強度マップPM’を取得することが可能である。
計算の便宜上、補正される画像Iの各ピクセルは、好ましくは、予備的なマップPM’の1つのピクセルに正確に対応する。
実際的な観点から、マップPM’は、カメラC1の向きを変更して、適切な範囲の光感度で範囲E’全体のビューをキャプチャし、次にこれらのビューを従来の方法で組み合わせて予備的なマップPM’を形成することによっても取得できる。
次いで、サブステップ414および416を実施することによって、図2の図(b)の補正される画像Iの補正に適合された、図3の図(b)によって示される光強度マップM’を確立することが可能である。
このマップは、範囲Eよりも大きい範囲E’で、カメラC1のフィールド内に位置する光源L4とL5だけでなく、カメラC1のフィールドVの外側に位置し、したがって、補正される画像Iでは見えないが、後者の品質を劣化させるハローに大きく寄与しやすい光源L3とL6も考慮される。
補正方法400でこの光強度マップを使用することにより、補正される画像に含まれる光源だけでなく、補正される画像の外側に位置する光源によっても生成されるハローを補正することができ、したがって、補正の品質が向上する。
カーネル-トレーニング方法
上記の画像補正手順は、前に説明したように経験的に得られた畳み込みカーネルを使用するか、トレーニング手順による計算によって得られたカーネルを使用できる。
上記の画像補正手順は、前に説明したように経験的に得られた畳み込みカーネルを使用するか、トレーニング手順による計算によって得られたカーネルを使用できる。
2つの可能なトレーニング手順の概要を説明する。それぞれが、この撮影デバイスによってキャプチャされ、スイッチがオンになっている光源とスイッチがオフになっている同じ光源をそれぞれ表す2つのトレーニング画像を使用して、特定の撮影デバイスのハローを生成するための畳み込みカーネルを計算することを可能にする。
これらの手順は、これらの2つの画像のいずれかによって上記で定義された光強度マップを決定することを可能にし、これらの画像の違いにより、考慮されている撮影デバイスと相互作用する光源によって作成されるハローを決定することを可能にする原理に基づいている。
これらのデータから、光パワーマップと目的の畳み込みカーネルからハローがどのように生成されるかがわかれば、従来の計算方法を使用してこのカーネルを見つけることができる。
第1のトレーニング手順は、図7の図700および図8の図(a)~(f)によって示され、逆畳み込みを実施する。
ステップ710は、ハロー生成カーネルを計算したい撮影システムを使用して、図8の図(a)でSoffによって識別されるスイッチオフされた光源Soffを包含する第1のトレーニングデジタル画像LI1をキャプチャすることからなる。
これは、補正される画像をキャプチャするために使用された撮影デバイス、または同じ光学系を搭載した同じモデルの別のデバイスであり得る。
ステップ720は、図8の図(b)においてSonによって識別される、スイッチがオフにされたときにキャプチャされた画像と同じ条件下で、同じ光源を包含するが、今回はスイッチがオンにされた第2のトレーニングデジタル画像LI2をキャプチャすることからなる。
光源からの光によって引き起こされるハローのために、スイッチをオフにしたときよりもスイッチをオンにしたときにキャプチャされた画像で占める領域が大きくなることに留意されたい。
ステップ730は、第2の画像LI2から第1の画像LI1を除去することからなり、これにより、光源と撮影デバイスとの相互作用によって生成されるハローを表す部分を含む第3のデジタル画像LI3を得ることができる。
図8の図(c)において、領域HintおよびHextは、図8の図(a)のスイッチオフされた光源の内側および外側に位置するハロー領域をそれぞれ表す。
ステップ740は、第3の画像LI3から曲線LCを抽出することからなり、この曲線LCは、図8の図(d)によって示されるように、光源を横切るセグメントSegに沿った画像LI1とLI2との間の輝度の差ΔLを表す。
次に、光源の外周に対応し、領域Hextを横切り、曲線LCの最大値を含む曲線LCの部分Pは、ハローを表し、カーネルを見つけることを可能にすると考えられる。
逆に、領域Hintは、カーネルを決定するために実際に使用できる情報を提供するとは見なされない。
ステップ750は、光源の一部であると考えられるピクセルに従来の方法で測定された光源の光強度値を割り当てることによって、例えば、第1の画像LI1から、図8の図(e)によって示される光強度トレーニングマップLMを生成することからなる。
例えば、ピクセルが所与の光強度レベルを超えた場合、ピクセルは、光源の一部とみなすことができ、この所与の光強度レベルは、画像LI1のバックグラウンドからスイッチオフされた光源を区別するようにオペレータによって選択される。
トレーニング光強度マップLMは、予備的な光強度マップPMを取得するために上述したように手動で取得することもできる。
曲線LCの部分Pとトレーニング光強度マップLMから、カーネル生成関数KFを決定することが可能であり、次に、上で概説した画像補正方法において後で使用される行列の形式の所望の畳み込みカーネルKM自体を決定できる。
より具体的には、領域Pの曲線LCによって表される関数が、トレーニング光強度マップLMと取得しようとしているカーネルとの畳み込みの結果であることを考慮すると、マップLMによる曲線LCの逆畳み込み演算760は、カーネル生成関数KFを決定することを可能にし、逆畳み込みは、コンピュータプロセッサなどのデジタルデータ処理ユニットによって行われる。
最後に、ハローが知覚可能な影響を与える撮影デバイスのセンサからのピクセル単位の距離に対応するいくつかのポイントでの関数KFの空間デジタル化のためのステップ770は、カーネル、すなわち、行列KMの要素を決定することを可能にする。
行列KMの要素は、図5の関数PFから導出された図6のカーネルKとして関数KFから定義され、図8の図(g)の行列KMが得られるように、値b~fを有するデータは、減少関数KFに従って、要素aが占める行列の中心に対してそれぞれの距離でこの順に減少していくようになっている。
第2のトレーニング手順は、図9の図900によって示され、多項式回帰による近似などの回帰による近似の従来の数学的方法によってカーネル生成関数を近似することを可能にする。
図700のステップと同じ識別子を有する図900のステップについては、前述の説明を参照できる。
ステップ730から得られた画像LI3は、スイッチオンされた光源Sonによって生成されたハローに対応すると考えられる。
しかしながら、このハローは、求められた畳み込みカーネルと、ステップ750の終わりに得られた光強度マップLMとの畳み込み積によってモデル化される。
したがって、畳み込み積の結果と画像LI3とを収束させることを目的としたカーネルの逐次近似によって求められる畳み込みカーネルを求めることができることが理解される。
具体的には、ステップ910で初期カーネルを提供し、ステップ920で光強度マップLMとのその畳み込み積を取得し、次に、テストステップ930で取得した畳み込み積を画像LI3と比較することが可能である。
実施者によって選択された基準に従って、ステップ730から得られた画像LI3とステップ920からの畳み込み積の結果とが離れすぎていることがテストステップ中に決定された場合、ステップ940中の従来の回帰方法に従ってデータ処理ユニットによって新しいカーネルが計算され、それがステップ910のカーネルの代わりに畳み込み積に再投入され、テストステップ930が畳み込み積の画像LI3への十分な収束を示すまで、ステップ920から940がループで繰り返される。
十分な収束が得られると、ステップ950で、最後に計算されたカーネルが、図700および図7および図8によって示される方法によって得られるカーネルKMと同様に、所望の畳み込みカーネルとしてコンピュータメモリに記録される。
上記の例は、順に等方性であるカーネルによって生成された等方性ハローの場合に限定されており、カーネルは、半径方向という1つの方向のみの光強度変化を表す1次元関数によって計算され、ハローへの等方性の寄与を特徴付けるのに十分である。
このような等方性カーネルは、一般に十分である。なぜなら、例えば、大きな開口を使用する絞りでは事実上無視できる絞りの回折効果を無視することが多いからである。
絞りからの無視できない回折の場合、カーネルへの等方性の寄与を表す1次元関数に、絞りと同じ次数の対称性を持つ2次元関数を追加して、カーネルへのその回折の寄与を表し、経験的決定またはカーネルのトレーニングによる決定については、以前と同じ方法で行うことができる。
この原則は、補正される画像のハロー生成に関与するあらゆるタイプの光学効果に適用される。
一般に、畳み込みカーネルは、カーネルへの等方性の寄与を表す一定に減少するエンベロープを有する1次元関数と、カーネルへの異方性の寄与を表す2次元関数との和から生成できる。
カーネルへの等方性の寄与は、特に、考慮されている撮影デバイスのレンズによる散乱現象から生じ得る。
カーネルへの異方性の寄与は、特に、回折現象に由来し得、例えば、補正される画像の回折図の形で視覚化される。
そのような場合、2次元関数は、回折図を表し、この図と同じ次数の対称性を有する関数に対応し得、またはそのような関数の和に対応し得る。
図10は、本発明に係るハロー補正方法を実施するように適合された三次元モデリングスタジオ用の画像キャプチャデバイス100を示している。
このデバイスは、撮影デバイスとして使用される複数のカメラCを備え、それぞれが、データ集中および計算ユニットCUと、データ集中ユニットCUと各カメラCとの間のインターフェースを形成する分散ユニットDUとを備えるデジタルデータ処理ユニットDTUに接続されている。
集中ユニットに接続された制御モニタMONは、システムによってキャプチャされた画像を見ることを可能にし、数字キーボードなどのデジタルデータ入力ユニットKBは、データ処理ユニットに命令を入力することを可能にする。
モニタMONとユニットKBは、例えば、画像におけるハロー補正の品質をオペレータが視覚的に推定し、このオペレータがカーネル生成関数のパラメータを手動で修正することによってカーネルを経験的に決定する場合、ハロー補正法が採用するカーネルの改良に用いることが可能である。
この例では、分散ユニットDUのそれぞれは、デバイスのカメラのモデルに適合された畳み込みカーネルが格納されるメモリを備える。
光強度マップもこれらの分散ユニットに格納され、それぞれがカメラに固有であり、デバイスが統合されているモデリングスタジオの構成に関連付けられ、関連するカメラと照明システムの配置に依存する。
これらの分散ユニットは、メモリに格納された光強度マップおよびカーネルを使用して、本発明に係るハロー補正方法によってキャプチャされた画像を処理するように構成される。
もちろん、このシステムは、畳み込みカーネルのトレーニング手順の実施にも適応できる。
この説明で言及されている画像は、例えば、コントラストや鮮明度を改善することを目的としたデジタル処理を施したものであっても、そうでなくてもよく、それぞれ、特定の瞬間にキャプチャされた単一のデジタル画像として、または異なる瞬間にキャプチャされた複数のデジタル画像の平均として理解され得ることに留意する必要がある。
なお、本発明は、上記実施形態に限定されるものではなく、本発明の範囲を逸脱しない範囲で変更可能であることは言うまでもない。
Claims (6)
- シーンの撮影フィールド(V)を有する撮影デバイス(C1)によって、写真測量法を使用して、三次元モデリングスタジオでキャプチャされたシーンの補正すべきデジタル画像(I)におけるハロー(H)を補正するための方法(400)であって、このハローは、光源(L3、L4、L5、L6)によって放射される光と撮影デバイスの光学系との相互作用によって生成され、補正すべきデジタル画像のピクセルの明るさとして現れ、前記光源は、シーンの照明システムの一部を形成し、
-撮影フィールドに対する空間分布に関して、および補正すべき画像(I)のキャプチャ中に撮影デバイスから知覚される光強度に関して、前記光源を特徴付けるデジタル光強度マップ(M)を生成するステップ(410)であって、このマップは、第1のデータ行列を形成する、ステップと、
-第2のデータ行列を形成する、前記撮影デバイスに固有の畳み込みカーネルを提供するステップ(420)と、
-第1の行列と第2の行列の畳み込み積を計算して、補正すべきデジタル画像内のハローの補正値マップ(CVM)に対応する第3のデータ行列を取得するステップ(430)と、
-補正すべきデジタル画像から補正値マップをピクセルごとに除去して、ハローが存在しない補正された画像(Icorr)を取得するステップ(440)と、
からなるステップを含むことを特徴とする、
ハローを補正するための方法。 - デジタル光強度マップ(M)を生成するステップは、
-撮影フィールドに対する空間分布に関して、および前記光源が撮影デバイスに完全に見える場合に撮影デバイスから知覚される光強度に関して、前記光源を特徴付ける予備的なデジタル光強度マップ(PM)を生成するステップ(412)と、
-補正すべきデジタル画像(I)において撮影デバイスから隠されている予備的なデジタルマップ内の前記光源に属するピクセルを決定することにより、予備的なデジタルマップ(PM)および補正すべきデジタル画像(I)から前記デジタル光強度マップ(M)を生成するステップ(414、416)と、
のステップを含むことを特徴とする、
請求項1に記載のハローを補正するための方法(400)。 - 畳み込みカーネル(K)は、一定に減少するエンベロープを有し、カーネル散乱現象からの寄与を表す1次元関数と、カーネル回折図からの寄与を表す2次元関数との和から生成される行列であることを特徴とする、
請求項1または2に記載のハローを補正するための方法。 - 畳み込みカーネル(K)は、一定に減少する等方性関数(PF)から生成される行列であることを特徴とする、
請求項1または2に記載のハローを補正するための方法。 - 畳み込みカーネルは、
-撮影デバイスによって、第1(LI1)および第2(LI2)のデジタルトレーニング画像を取得するステップ(710、720)であって、これら2つの画像は、スイッチオフされるトレーニング光源(Soff)およびスイッチオンされる前記トレーニング光源(Son)をそれぞれ備える、ステップと、
-光源に含まれるこの第2のデジタル画像のピクセルに光強度値を割り当てることによって、第1のデジタルトレーニング画像からトレーニング光源のトレーニング光強度マップ(LM)を生成するステップ(750)と、
-2つのデジタルトレーニング画像および光強度マップからカーネル(KM)を計算するステップと、
のステップによって生成されることを特徴とする、
請求項1~4のうちいずれか1項に記載のハローを補正するための方法。 - データ処理ユニット(DTU)に機能的に接続された複数の撮影デバイス(C)を備える、三次元モデリングスタジオ用の画像キャプチャデバイス(100)であって、前記データ処理ユニットは、請求項1に記載のハローを補正するための方法を実施するように特に適合されていることを特徴とする、三次元モデリングスタジオ用の画像キャプチャデバイス。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR2006252 | 2020-06-16 | ||
FR2006252A FR3111461B1 (fr) | 2020-06-16 | 2020-06-16 | Correction d’un halo dans une image numerique et dispositif de mise en œuvre de cette correction |
PCT/FR2021/050965 WO2021255361A1 (fr) | 2020-06-16 | 2021-05-27 | Correction d'un halo dans une image numerique et dispositif de mise en œuvre de cette correction |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023531605A true JP2023531605A (ja) | 2023-07-25 |
Family
ID=73038081
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022577282A Pending JP2023531605A (ja) | 2020-06-16 | 2021-05-27 | デジタル画像におけるハローの補正およびその補正を実施するためのデバイス |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230239448A1 (ja) |
EP (1) | EP4165591B1 (ja) |
JP (1) | JP2023531605A (ja) |
KR (1) | KR20230023617A (ja) |
FR (1) | FR3111461B1 (ja) |
WO (1) | WO2021255361A1 (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AT14166U1 (de) | 2013-12-27 | 2015-05-15 | Christof Kirschner | Mobiles Schnellbau-Visualisierungsstudio zur Generierung dreidimensionaler Abbilder von beweglichen Zielobjekten |
FR3078564B1 (fr) | 2018-03-01 | 2020-09-11 | 4D View Solutions | Systeme de modelisation tridimensionnelle d'une scene par photogrammetrie multi-vue |
-
2020
- 2020-06-16 FR FR2006252A patent/FR3111461B1/fr active Active
-
2021
- 2021-05-27 KR KR1020227039109A patent/KR20230023617A/ko unknown
- 2021-05-27 JP JP2022577282A patent/JP2023531605A/ja active Pending
- 2021-05-27 EP EP21734408.4A patent/EP4165591B1/fr active Active
- 2021-05-27 WO PCT/FR2021/050965 patent/WO2021255361A1/fr unknown
- 2021-05-27 US US17/919,013 patent/US20230239448A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
FR3111461A1 (fr) | 2021-12-17 |
US20230239448A1 (en) | 2023-07-27 |
KR20230023617A (ko) | 2023-02-17 |
FR3111461B1 (fr) | 2022-07-15 |
EP4165591B1 (fr) | 2024-07-03 |
EP4165591A1 (fr) | 2023-04-19 |
WO2021255361A1 (fr) | 2021-12-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107277356B (zh) | 逆光场景的人脸区域处理方法和装置 | |
US7027662B2 (en) | Method and apparatus for the removal of flash artifacts | |
US8902328B2 (en) | Method of selecting a subset from an image set for generating high dynamic range image | |
US6148113A (en) | System for stimulating the depth of field of an image in two dimensional space and method of operation | |
US11210839B2 (en) | Photometric image processing | |
RU2528590C2 (ru) | Устройство для захвата изображений, способ управления им и носитель записи | |
KR20150050450A (ko) | 장면의 깊이 맵을 생성하기 위한 방법 및 장치 | |
JP2001186325A (ja) | 画像処理方法、装置、記録媒体、及び伝送媒体 | |
US11022861B2 (en) | Lighting assembly for producing realistic photo images | |
JP6381404B2 (ja) | 画像処理装置及び方法、及び撮像装置 | |
JP6611576B2 (ja) | 画像処理装置および画像処理方法 | |
JP2015156615A (ja) | 画像処理装置、画像処理方法、制御プログラム、および記録媒体 | |
US20180025476A1 (en) | Apparatus and method for processing image, and storage medium | |
JP7114335B2 (ja) | 画像処理装置、画像処理装置の制御方法、及び、プログラム | |
JP2017152866A (ja) | 画像処理装置及び画像処理方法 | |
JP3938122B2 (ja) | 擬似3次元画像生成装置および生成方法並びにそのためのプログラムおよび記録媒体 | |
JP7307541B2 (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム | |
JP7059076B2 (ja) | 画像処理装置、その制御方法、プログラム、記録媒体 | |
JP7208823B2 (ja) | 映像補正装置及びそのプログラム | |
JP2023531605A (ja) | デジタル画像におけるハローの補正およびその補正を実施するためのデバイス | |
JP6196882B2 (ja) | マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置 | |
EP4090006A2 (en) | Image signal processing based on virtual superimposition | |
CN113436106B (zh) | 水下图像的增强方法、装置及计算机存储介质 | |
JP2018124281A (ja) | 3d記録の露光時間を判断する方法 | |
US20220343472A1 (en) | Selective image signal processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20230921 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240307 |