JP4399366B2

JP4399366B2 - デジタル画像内の影補整のための方法及び装置

Info

Publication number: JP4399366B2
Application number: JP2004547487A
Authority: JP
Inventors: ルッツアイゼンマン; カールステンコッホ; ジェオン・スクヨーン
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2002-10-31
Filing date: 2003-09-12
Publication date: 2010-01-13
Anticipated expiration: 2023-09-12
Also published as: US20050236555A1; EP1567982B1; EP1567982A1; WO2004040515A1; DE50311101D1; JP2006505838A; DE10250705A1; US7362882B2

Description

本発明は、第１照明源により第１照明角度のもと異なる照明強度で照明可能な場面の計算デジタル画像を生成するための方法に関し、この際、画像センサにより場面の多数の個別画像が異なる照明条件で記録され、データ処理装置内で結果画像の生成のために画素ごとに互いに清算処理される。

更に本発明は、計算デジタル画像を生成するための装置に関し、この装置は、記録すべき場面を第１照明角度のもと異なる照明強度で照明することのできる第１照明源と、照明された場面を画像形成検知するため及び多数の画素から構成される場面のデジタル個別画像を出力するための画像センサと、照明源と画像センサを協調コントロールするための制御手段とを含んでいて、それにより、場面の個別画像が異なる照明条件のもと記録可能であり、更にこの装置は、個別画像の少なくとも数個別画像を互いに画素ごとに清算処理するためのデータ処理装置を含んでいる。

この種の方法及び装置は、例えば、極めて異なるプロセスを画像支援式で監視又はコントロールするための適用において知られていて、それらの適用では場面の自動分析が望まれ、またそれらの適用の簡素化のためには所定の妨害作用を除去すべき画像前処理が実施される。

特許文献１からは、例えば、自動車両（モータビークル）の内部空間を監視するための方法及び装置が知られていて、そこでは赤外線（ＩＲ）感知式のＣＭＯＳデジタルカメラが、場面の個別画像、即ち自動車両内部空間の個別画像を記録する。更に自動車両内部空間内には場面を照明するための赤外線放射源が設けられている。結果画像の生成のためには、その都度、２つの個別画像が迅速な時間順番で記録される。この際、第１個別画像の記録中、場面は赤外線放射源により全出力で照らされる。第２個別画像の記録中、場面は赤外線放射源により減少出力で照明される、又は極端な場合には全く照明されない。その後、結果画像の生成のために、両方の個別画像が画素ごとに互いに減算され、その結果、結果画像の画素値が、赤外線放射源に依存しない背景放射線の部分、所謂オフセットの部分に関して修正されている。

自動車両の内部空間を監視する目的として、例えば特許文献１からは、権限のないアクセスに対する保護が知られている。他の目的として、例えば特許文献２からは、車両内にいる人物の位置を監視することが知られている。監視のこの動的形式は、例えばエアバックのようなパッシブ安全システムの制御のために用いられる。特に監視システムのこの形式では、興味対象である場面物体、即ち例えば自らの位置が検知されるべき人物が、それらの自身の影、又は、別の場面物体により投じられる影から、信頼性をもって区別され得ることが重要である。人間の脳にとって簡単なこの課題は自動システムにとって多大な困難性を意味し、この困難性は、膨大な計算手間、従って極めて時間のかかる計算手間を要求することになる。しかしながら正にこの時間因子は、動的システム、特にパッシブ安全システムにおいて非常に危険なものである。

独国特許出願公開第１００６２９７７Ａ１号明細書独国特許出願公開第１９９０８１６７Ａ１号明細書

従って本発明の課題は、場面物体の影作用が簡単に補整可能であるように、冒頭に掲げた形式の方法を構成することである。

本発明の他の課題は、本発明に従う方法の実施に適しているように、冒頭に掲げた形式の装置を構成することである。

最初の課題は、請求項１の前提部（所謂おいて部）に記載した構成要件と関連し、少なくとも１つの他の照明源が設けられていて、この照明源により、場面が、第１照明源の照明角度とは違った照明角度のもと異なる照明強度で照明可能であり、この際、個別画像の記録時、異なる照明条件が、第１照明源の照明強度と少なくとも１つの他の照明源の照明強度との異なる組み合わせにより達成されることにより解決される。

本発明に従う方法の効果は次のことにある。即ち、同じ場面物体の個別画像が生成され、しかしながら異なる照明条件が、物体が個別画像の各記録中に別に指向される影を投じる、即ち各個別画像内で別の画素の値が影投射により影響されることを引き起こすということである。これにより、個別画像の後続の互いの清算処理の枠内で影投射の影響を補整（相殺）すること、及び、実質的に影のない結果画像に到達することが可能である。

更なる説明の簡素化のために次の定義が取り入れられる。個別画像ｊ内の画素ｎの値Ｉ_j(ｎ)は、簡素化されて次のように表される：

ここで、ρ(ｎ)は、画素ｎ内において結像されている場面点の表面反射率（表面リフレクタンス）であり、Ｅ(ｎ)は、この場面点に提供されている照射強度であり、αは比例係数であり、この比例係数αは、使用されている検知器光学系（検知器レンズ）の明るさ、検知器の効率などのような影響を記し、簡素化のためにここでは、一般性を制限することなく、全画素にとって同じ１（α＝１）と想定される。

確かに様々な画像処理法が考慮可能であり、これらの画像処理法では、個別画像において影投射により影響されている画素がそのような画素として識別され、それらの値が結果画像の生成時に影作用を補整するために修正され得る。しかしながら、全ての画素位置を同等に処置する際に、結果画像の各々２つの画素であって、異なる照明源又は異なる数の照明源により直接的に照明される場面点であって少なくとも１つの照明源により照明されている場面点が結像される各々２つの画素が、各々の場面点の反射率を表すファクタを除いて実質的に同じ画素値を有するように、個別画像の互いの清算処理が行われると、特に有利である。

全ての画素位置の同等処置により、即ち、全画像に対して同じ数学的な操作を適用することにより、例えば輪郭線を認識するためのアルゴリズムなどのような、時間のかかる画像内の操作自体が回避され得る。そのような方法は、例えば、後続の場面の分析の枠内で必要であり得る。しかしながら、分析用の入力画像の準備生成において、即ちここで説明している本発明に従う方法の結果画像を分析するための入力画像の準備生成において、時間の理由から、その準備生成を回避することが有利である。個別画像の各々の画素の全ての画素の同等処置により、個別画像、及び場合により、それらの個別画像から算出される中間画像が、それらの各々の全体性において、数学的な操作の変数として観察され得て、これらの変数は、例えば特殊な画像処理プロセッサにより全画素又は少なくとも一部の画素に対して並行して適用され得る。それにより、物体に関して実際の画像内容を有する解釈法に比べ、遥かに有利な時間長所が達成される。

画像に対して適用すべき操作は、結果画像の画素ｎの各値が、実質的に、画素ｎ内において結像されている場面点の表面の反射率ρ(ｎ)を表すように選択されなくてはならない。このことは、影作用により影響されている場面領域、即ち、全ての照明源により直接的には照射されない場面領域が、本発明に従う画像処理により、互いに重なり合い且つ影のない場面領域に関して調整されることを意味する。他言すると、場面における理想的な且つ影のない照明がシミュレーションされる。この際、照明源により照明されない場面領域、即ち、重要な情報を提供し得ない場面領域は、好ましくは、無視され得て、或いは、後続の他の画像処理時にそれらの場面領域を無視可能なものと識別させる値に設定され得る。このマーキングも好ましくは全ての画素の同等処置のもとで行われるべきである。この関連で「実質的に」とは、他に理由付けられる照明強度の差、例えば、場面点と照明源及び／又は画像センサとの間隔差に基づく差異が考慮されずにあるということを意味する。

基本的に、画像記録及び照明における多数の適切なコントロールモードが想定可能である。しかしながら、結果画像を計算するために３つの個別画像が記録されることにより傑出する方法が特に有利であると示されていて、この際には２つの照明源が次のようにコントロールされる。即ち、第１個別画像の記録時には第１照明源が場面を第１照明強度で照明し且つ第２照明源が場面を第１照明強度とは違った第２照明強度で照明し、また第２個別画像の記録時には第１照明源が場面を第２照明強度で照明し且つ第２照明源が場面を第１照明強度で照明し、また第３個別画像の記録時には両方の照明源が場面を各々第２照明強度で照明するようにである。それにより個別画像の互いの清算処理が特に簡単である。一方では、少数だけの個別画像、即ち３つの個別画像だけが必要であり、他方では、第１個別画像内及び第２個別画像内の両方の照明源間の照明強度を本発明に従って交換することにより実質的に対称の照明パターンが生成され、これらの照明パターンはデータの更なる処理を容易にする。

個別画像の互いの清算処理時、好ましくは、僅かな計算手間で実行可能であり且つ画素ノイズの過剰な増加を導かないような操作を使用することが有利である。つまり、ノイズ負荷された値による除算はできるだけ回避されなくてはならない。それに対し、個別画像の互いの清算処理が、第１個別画像及び第２個別画像の画素ごとの差及び／又は合計の計算、及び／又は、第１個別画像及び第２個別画像の差の値及び合計の値からの画素ごとの合計の計算を含んでいると有利であると示されている。更に、第３画像の画素ごとの減算を実施することが有利であると示されている。

結果画像を計算するために数学的な操作の組み合わせが適用される、本発明に従う方法の実施形態は、特に有利とされ、その数学的な操作は次の式により表される：

ここで、Ｉ_outは、結果画像の画素の値であり、Ｉ₁は、第１個別画像の対応画素の値であり、Ｉ₂は、第２個別画像の対応画素の値であり、Ｉ₃は、第３個別画像の対応画素の値である。当然のことであるが、この数２は象徴的なものであり、この数２に従う操作の画像技術的な作用を本質的に変更させることのない追加的な修正項又は修正係数が同様に包括されていると理解すべきである。

前述の２番目に述べた課題は、請求項４の前提部（所謂おいて部）に記載した構成要件と関連し、少なくとも１つの他の照明源が設けられていて、この照明源により、場面が、第１照明角度とは違った第２照明角度のもと異なる照明強度で照明可能であり、それらの照明源が、制御手段により、異なる照明条件が、個別画像の記録時、第１照明源の照明強度と少なくとも１つの他の照明源の照明強度との異なる組み合わせにより達成可能であるようにコントロール可能であることにより解決される。このことは、上述の方法が実施可能であるための、基礎を成す装置技術的な前提である。本発明に従う方法が上述の有利な実施形態においても実施可能であるための前提は、制御手段並びにデータ処理設備における対応的に適切な装置である。制御手段並びにデータ処理設備における好ましくはプログラム技術的な装置が本発明に従う方法の実施を可能とすることから得られる長所は、方法自体の上述の長所から見てとれる。

本発明に従う方法は、基本的に、全ての種類の照明放射線、例えば、可視領域、ＵＶ領域、ＩＲ領域、Ｘ線領域、マイクロ波領域、無線波領域における電磁放射線、又は、任意の周波数領域内、特に超音波領域内の音響放射線に適しているが、近赤外領域内での適用が特に信頼性があり且つ低コストであると示されている。この周波数領域は、特に人物の周囲における適用において、人間の目に対する不可視性、操作可能な強度により比較的危険の少ないこと、及び、短い波長に基づく同時に良好な空間解像度のために特に適している。

本発明に従う方法及び本発明に従う装置の特に有利な適用範囲は、自動車両（モータビークル）の内部空間の監視である；例えば、盗難防止のため、又は例えばパッシブ保護システムをコントロールするための乗客位置検知のためである。

既述のように、上記の実施形は、場面点と照明源との間隔の影響を無視している。このことは、多くの場合、特に、場面点と照明源との間の間隔が２つの場面点間の間隔と比べて小さいことはない場合、正当なものである。即ち、他言すると、照明源は実質的に全ての場面点から同様に離隔して配設されているということである。この場合、直接的に照射される全ての場面点のための照明強度Ｅ(ｎ)が同じように各々の照明源の放射強度に依存するという、上段で暗示的に成された近似は正しいものである。更に、影作用が確かに完全には補整されないが遥かに減少されると、多くの適用にとっては充分である。

本発明の他の詳細は、以降の詳細な説明及び添付の図面から明らかであり、それらの図面には本発明の有利な実施形態が例として具現化されている。

図１は俯瞰図として自動車両（モータビークル）１を示していて、この自動車両１内には、ルーフライナにおける中央位置に画像センサ２が配設されていて、この画像センサ２は、車両１の内部空間を近赤外スペクトル領域内で少なくとも部分的に検知し、周知のようにそれからデジタル画像を生成する。画像センサ２は、非図示の制御手段によりコントロールされ、その画像データを、同様に非図示のデータ処理設備に提供する。これらの両方の装置は、例えば、現代車両において通常はいずれにせよ設けられているボードコンピュータ内に組み込まれ得る。当然のことであるが、独自の特殊なユニットの利用も可能である。

車両のＢピラーの領域で側方には各々発光ダイオード３、４又は発光ダイオードのグループが配設されていて、これらの発光ダイオード３、４は近赤外領域内の光５、６を車両の内部空間内に放射する。発光ダイオードは、場面（シーン；情景）により反射されたダイオードの照明光を検知する画像センサ２と同様に、非図示の制御手段により、それらの照明強度及びそれらの照明時間に関してコントロールされる。

図２は、概要として、場面物体８を有する場面７を示していて、この場面物体８は、照明源（光源）３、４の一方又は両方による照明に対し、所定の場面領域９、１０、１１を影にする。例としての後続の計算をより容易に理解することを目的とし、場面７においてそれらの影特性により異なる領域が追加的に大文字で特徴付けられていて、これらの大文字は図３にも使用される。この際、Ａは、両方の照明源３、４により直接的に照明される領域を示している。Ｂは、第１照明源３だけにより直接的に照明される領域を示している。Ｃは、第２照明源４だけにより直接的に照明される領域を示している。Ｄは、場面物体８の本影内に位置し且つ照明源３、４のいずれをもっても直接的に照明されない領域を示している。

図３は、照明された場面点の集合として各々把握することのできる２つの交差する集合円のグラフを示していて、この際、集合の表記は上記の説明に従って行われている。

次に、本発明に従う方法の特に有利な実施形態の個々のステップを詳細に説明する。

第１個別画像を記録するために、場面７は、第１光源３により照明強度Ｅ１で且つ第２光源４により照明強度Ｅ２（Ｅ２＜Ｅ１）で照射される。更に、全場面が、照明源３、４に依存しない拡散背景放射線Ｅ０により追加的に照明され、この背景放射線が全ての場面点にとって同じであることが想定される。この際、数１を用いて次の値が得られる：

Ａ：場面領域Ａからの場面点が結像される画素のためのもの

Ｂ：場面領域Ｂからの場面点が結像される画素のためのもの

Ｃ：場面領域Ｃからの場面点が結像される画素のためのもの

Ｄ：場面領域Ｄからの場面点が結像される画素のためのもの

第２個別画像を記録するために、有利な実施形態により、照明状況が対称的に交換される、即ち、場面７は、第１光源３により照明強度Ｅ２で且つ第２光源４により照明強度Ｅ１で照射される。この際、数１を用いて次の値が得られる：

第３個別画像を記録するために、場面７は、両方の光源３、４により照明強度Ｅ２で照射される。この際、数１を用いて次の値が得られる：

これらの３つの個別画像が、有利な実施形態に従い、数２に従う画素ごとの数学的な操作にふされる。この際、２つの中間ステップにおいて２つの中間画像Ｉ₄及びＩ₅が生成される。第１中間画像Ｉ₄は、最初の両方の個別画像Ｉ₁及びＩ₂の画素ごとの差の値（絶対値）を表す：

その際、画素値は異なる照明領域において次の形式を取得する。

第２中間画像Ｉ₅は、最初の両方の個別画像Ｉ₁及びＩ₂の画素ごとの合計を表す：

数２に従って得られる結果画像Ｉ_outは最終的に両方の中間画像Ｉ₄及びＩ₅を使用して次のように記される：

この結果は次のことを意味する。即ち、結果画像内では、少なくとも１つの照明源３、４により直接的に照明される場面領域を表す全ての画像領域において、影作用が補整（相殺）されていて、画素値が、実質的に、各々の場面点の反射率値によってのみ、即ち実際に興味対象である情報によってのみ区別されるということである。このことは、画像的に述べると、本発明に従う方法により照明強度２×（Ｅ１−Ｅ２）で影のない理想的な光源がシミュレーションされ得ることを意味する。照明源により直接的に照射されない場面領域だけが実質的にゼロに設定される。このことは画像のオフセット修正に対応し、重要な情報をもたない画素の却下を導く。

当然のことであるが、この有利な実施形態の詳細な説明は単に例として理解されるべきである。当業者は、例えば特に幾何学的形状の条件を反映する修正係数又は修正項の使用が本発明の核に触れないことも認識するであろう。

本発明に従う内部空間監視機構を備えた自動車両の概要図を示す図である。本発明に従う方法の適用の枠内の異なる影作用の概要図を示す図である。１つの場面の異なる照明領域を説明するためのグラフを示す図である。

符号の説明

１自動車両
２画像センサ
３発光ダイオード（照明源）
４発光ダイオード（照明源）
５近赤外光
６近赤外光
７場面
８場面物体
９所定の場面領域
１０所定の場面領域
１１所定の場面領域
Ａ両方の照明源３、４により直接的に照明される領域
Ｂ第１照明源３だけにより直接的に照明される領域
Ｃ第２照明源４だけにより直接的に照明される領域
Ｄ場面物体８の本影内に位置し且つ照明源３、４のいずれをもっても直接的に照明されない領域

Claims

第１照明源（３）により第１照明角度のもと異なる照明強度で照明可能な場面（７）の計算デジタル画像を生成するための方法であって、画像センサ（２）により場面（７）の多数の個別画像が異なる照明条件で記録され、データ処理装置内で結果画像の生成のために画素ごとに互いに清算処理される、前記方法において、
少なくとも１つの他の照明源（４）が設けられていて、この照明源（４）により、場面（７）が、第１照明源（３）の照明角度とは違った照明角度のもと異なる照明強度で照明可能であり、
更には、個別画像の記録時、異なる照明条件が、第１照明源（３）の照明強度と少なくとも１つの他の照明源（４）の照明強度との異なる組み合わせにより達成され、
結果画像を計算するために３つの個別画像が記録され、更には２つの照明源（３、４）が次のようにコントロールされる、即ち、第１個別画像の記録時には第１照明源（３）が場面（７）を第１照明強度で照明し且つ第２照明源（４）が場面（７）を第１照明強度とは違った第２照明強度で照明し、また第２個別画像の記録時には第１照明源（３）が場面（７）を第２照明強度で照明し且つ第２照明源（４）が場面（７）を第１照明強度で照明し、また第３個別画像の記録時には両方の照明源（３、４）が場面（７）を各々第２照明強度で照明するようにであり、
結果画像の画素値が、実質的にＩ_out＝｜Ｉ₁−Ｉ₂｜＋（Ｉ₁＋Ｉ₂）−２・Ｉ₃ として表され、ここで、Ｉ_outが、結果画像の画素の値であり、Ｉ₁が、第１個別画像の対応画素の値であり、Ｉ₂が、第２個別画像の対応画素の値であり、Ｉ₃が、第３個別画像の対応画素の値であることを特徴とする方法。
個別画像の互いの清算処理が次のように行われる、即ち、結果画像の各々２つの画素であって、異なる照明源（３、４）又は異なる数の照明源（３、４）により直接的に照明される場面点であって少なくとも１つの照明源（３、４）により照明されている場面点が結像される各々２つの画素が、各々の場面点の反射率を表すファクタを除いて実質的に同じ画素値を有するようにであることを特徴とする、請求項１に記載の方法。
結果画像が他の画像処理にふされ、その結果が、自動車両（１）の内部空間監視の枠内で自動化意思決定のために用いられることを特徴とする、請求項１又は２に記載の方法。
計算デジタル画像を生成するための装置であって、この装置が、
− 記録すべき場面（７）を第１照明角度のもと異なる照明強度で照明することのできる第１照明源（３）と、
− 照明された場面（７）を画像形成検知するため及び多数の画素から構成される場面（７）のデジタル個別画像を出力するための画像センサ（２）と、
− 照明源（３）と画像センサ（２）を協調コントロールするための制御手段とを含んでいて、それにより、場面（７）の個別画像が異なる照明条件のもと記録可能であり、
− 更にこの装置が、個別画像の少なくとも数個別画像を互いに画素ごとに清算処理するためのデータ処理装置を含んでいる、前記装置において、
− 少なくとも１つの他の照明源（４）が設けられていて、この照明源（４）により、場面（７）が、第１照明角度とは違った第２照明角度のもと異なる照明強度で照明可能であり、
− それらの照明源（３、４）が、制御手段により、異なる照明条件が、個別画像の記録時、第１照明源（３）の照明強度と少なくとも１つの他の照明源（４）の照明強度との異なる組み合わせにより達成可能であるようにコントロール可能であり、
結果画像を計算するために３つの個別画像が記録され、更には２つの照明源（３、４）が次のようにコントロールされる、即ち、第１個別画像の記録時には第１照明源（３）が場面（７）を第１照明強度で照明し且つ第２照明源（４）が場面（７）を第１照明強度とは違った第２照明強度で照明し、また第２個別画像の記録時には第１照明源（３）が場面（７）を第２照明強度で照明し且つ第２照明源（４）が場面（７）を第１照明強度で照明し、また第３個別画像の記録時には両方の照明源（３、４）が場面（７）を各々第２照明強度で照明するようにであり、
結果画像の画素値が、実質的にＩ_out＝｜Ｉ₁−Ｉ₂｜＋（Ｉ₁＋Ｉ₂）−２・Ｉ₃ として表され、ここで、Ｉ_outが、結果画像の画素の値であり、Ｉ₁が、第１個別画像の対応画素の値であり、Ｉ₂が、第２個別画像の対応画素の値であり、Ｉ₃が、第３個別画像の対応画素の値であることを特徴とする装置。
前記制御手段と前記データ処理装置とが、請求項１〜３のいずれか一項に記載の方法を実施することができるように調整されていることを特徴とする、請求項４に記載の装置。
当該装置が自動車両（１）の内部空間内の監視装置の一部として組み込まれていることを特徴とする、請求項４又は５に記載の装置。
照明源（３、４）が近赤外領域内の光を放射することを特徴とする、請求項４〜６のいずれか一項に記載の装置。
照明源（３、４）が、互いに相対的に且つ画像センサ（２）により検知される場面に対して相対的に、場面点と照明源との間の間隔が２つの場面点間の間隔と比べて小さいことはないように配設されていることを特徴とする、請求項４〜７のいずれか一項に記載の装置。