JP6701327B2

JP6701327B2 - グレア検出方法及び装置

Info

Publication number: JP6701327B2
Application number: JP2018511443A
Authority: JP
Inventors: ゲレイロ・ルイ
Original assignee: Continental Automotive GmbH
Current assignee: Continental Automotive GmbH
Priority date: 2015-09-03
Filing date: 2016-07-12
Publication date: 2020-05-27
Anticipated expiration: 2036-07-12
Also published as: EP3138721B1; US10846557B2; EP3138721A1; US20180197039A1; WO2017036645A1; JP2018526922A

Description

本発明は、カメラ、特に、運転支援システムのカメラにより提供される画像内におけるグレア検出方法及び装置に関する。

映像データを用いる自動システムにおいて、カメラで撮像された画像は、必ずしも実際の状況と一致するとは限らない。この発生要因として、レンズを完全に、又は、少なくとも部分的に遮るカメラレンズ上の媒体、又は、日光又は他物体のヘッドライトにより生じるグレアがある。

グレアによって、光源の周囲にハロのような効果が起こり、これにより、カメラでそのハロの背後にあるものを撮像できなくなる。グレアにより、接近してくる車両、歩行者、又は、物体が見えない場合、周囲状況の一部の領域が、撮像された画像に含まれないため、運転者又は運転支援システムは、注意しなければならない。また、撮像された画像におけるグレア領域により、運転支援システムの次の処理が行われなかったり、誤った検出がなされたりする恐れがある。

図１Ａ及び図１Ｂは、グレアありとなしの状況を示している。本例において、光源は、家の屋根の上空にある太陽である。図１Ａは、明るい光源（円形）によって周囲の細部が遮られていない、グレアなしの状況を示している。図１Ｂでは、家の細部を遮っている光源の周囲のグレアハロが示されている。

従来の方法では、グレアは、単に、最大飽和した画像画素として検出される。例えば、輝度を８ビットで表すカメラでは、輝度が２５５の画素が最大飽和し、撮像された画像内でグレアが形成されたと検出される。しかしながら、画像画素が最大飽和しない画像領域でもグレアが発生することもあるため、この従来の方法は、余り確実ではない。

したがって、本発明は、撮像された画像内のグレアを確実に検出できる方法及び装置を提供することを目的とする。

本目的は、請求項１の特徴を有するグレア検出方法によって達成される。

本発明の第１の側面に係るグレア検出方法は、画像内の少なくとも１個のグレア領域を検出するグレア検出方法であって、前記方法は、前記画像の、輝度値の高い画像画素を、前記画像内の明画像領域に集約することと、前記明画像領域の周囲の画像画素について、グレアである場合に予測される勾配と、実際の勾配とを、算出することと、前記明画像領域の周囲のグレア領域のグレア直径を、前記算出された実際の勾配と前記算出された予測される勾配とが一致している限り、増加させることとを有する。

本発明の第１の側面に係るグレア検出方法の一実施の形態において、前記算出された実際の勾配と前記算出された予測される勾配との類似度が計算される。

本発明の第１の側面に係るグレア検出方法の一実施の形態において、前記明画像領域の周囲の近傍画像領域に位置し、前記明画像領域から等距離の画像画素の前記計算された類似度値の平均類似度値が算出される。

本発明の第１の側面に係るグレア検出方法の一実施の形態において、前記平均類似度値は、前記算出された平均類似度値が所定の閾値を下回るまで、前記近傍画像領域の前記等距離画像画素と前記明画像領域との距離を段階的に増加させることにより、算出され、最後の増加段階の前記等距離画像画素により、前記画像内の前記グレア領域の外側境界が規定される。

本発明の第１の側面に係るグレア検出方法の一実施の形態において、前記画像は、カメラで撮像された一連の画像のうちの一部をなす。

本発明の第１の側面に係るグレア検出方法の一実施の形態において、前記カメラで撮像された前記一連の画像のうちの所定の枚数の画像において、前記明画像領域の周囲に前記グレア領域が検出される場合に、前記グレアが検出されたこととする。

本発明の第１の側面に係るグレア検出方法の一実施の形態において、前記画像は、車両の前記カメラにより提供される。

本発明の第１の側面に係るグレア検出方法の一実施の形態において、前記カメラにより提供される前記画像は、それぞれが輝度を持つ複数の画素を備えるデジタル画像である。

本発明の第１の側面に係るグレア検出方法の一実施の形態において、前記画像は、縮小され、前記縮小された画像は、走査されて、所定の輝度閾値を上回る高い輝度を持つ画像画素が検出される。

本発明の第１の側面に係るグレア検出方法の一実施の形態において、前記縮小された画像の、前記所定の輝度閾値を上回る高い輝度値を持つ前記画像画素が、前記画像の前記明画像領域と分類された結合領域として、集約される。

また、請求項１１の特徴を有するグレア検出装置が提供される。

本発明の第２の側面に係るグレア検出装置は、画像内の少なくとも１個のグレア領域を検出するグレア検出装置であって、前記装置は、前記画像の、輝度値の高い画像画素を、前記画像内の明画像領域に集約し、前記明画像領域の周囲の画像画素について、グレアである場合に予測される勾配と、実際の勾配とを、算出し、前記明画像領域の周囲のグレア領域のグレア直径を、前記算出された実際の勾配と前記算出された予測される勾配とが一致している限り、増加させる処理部を備える。

本発明の第２の側面に係るグレア検出装置の一実施の形態において、前記装置は、更に、前記算出された実際の勾配と前記算出された予測される勾配との類似度を計算し、前記明画像領域の周囲の近傍画像領域に位置し、前記明画像領域から等距離の画像画素の前記計算された類似度値の平均類似度値を算出する。

本発明の第２の側面に係るグレア検出装置の一実施の形態において、前記処理部は、前記平均類似度値を、前記算出された平均類似度値が所定の閾値を下回るまで、前記近傍画像領域の前記等距離画像画素と前記明画像領域との距離を段階的に増加させることにより、算出し、最後の増加段階の前記等距離画像画素により、前記画像内の前記グレア領域の外側境界が規定される。

本発明の第２の側面に係るグレア検出装置の一実施の形態において、前記装置は、更に、前記画像を縮小する縮小部を備え、前記縮小された画像は、処理部により走査されて、所定の輝度閾値を上回る高い輝度を持つ画像画素が検出され、前記縮小された画像の、前記所定の輝度閾値を上回る高い輝度値を持つ前記画像画素が、前記画像の前記明画像領域と分類された結合領域として、処理部によって、集約される。

更に、請求項１５の特徴を有する車両の運転支援システムが提供される。

本発明の第３の側面に係る車両の運転支援システムは、前記車両の周囲の画像を提供する少なくとも１個のカメラと、本発明の第２の側面に係るグレア検出装置とを備える。

本発明により解決される問題を示す図である。本発明により解決される問題を示す図である。本発明の第１の側面に係るグレア検出方法の一実施の形態を示すフローチャートである。本発明の第１の側面に係るグレア検出方法の一実施の形態を示す更なるフローチャートである。本発明の第２の側面に係るグレア検出装置の一実施の形態を示すブロック図である。本発明に係る方法及び装置の動作を示す図である。本発明に係る方法及び装置の一実施の形態を示す、角度の差の関数としての類似度を示す図である。本発明に係る方法及び装置の一実施の形態を示す図である。本発明に係る方法及び装置の一実施の形態を示す図である。

図２に示すように、本発明の第１の側面に係るグレア検出方法は、図２に示すステップＳＡ乃至ＳＣからなる。図２に示す本発明に係るグレア検出方法は、画像内の少なくとも１個のグレア領域を検出するために提供される。画像とは、例えば、システムのカメラで撮像されたデジタル画像である。一実施の形態において、画像は、運転支援システムの車両カメラで撮像されたデジタル画像である。一実施の形態において、カメラは、例えば、車両のサラウンドビューシステムの魚眼カメラである。画像は、例えば、車両の前方、後方、左側、又は、右側から、カメラで撮像される。

まず、ステップＳＡにおいて、撮像された画像の、輝度値の高い画像画素が、その画像内の明画像領域ＢＩＡに集約される。

次に、ステップＳＢにおいて、各明画像領域ＢＩＡの周囲の画像画素について、グレアである場合に予測される（輝度）勾配と、実際の勾配とが、算出される。

次に、ステップＳＣにおいて、各明画像領域ＢＩＡの周囲のグレア領域のグレア直径が、算出された実際の勾配と算出された予測される勾配とが一致している限り、増加される。

本グレア検出方法の一実施の形態において、ステップＳＣにおいて、算出された実際の勾配と算出された予測される勾配との類似度が計算される。また、各明画像領域ＢＩＡの周囲の近傍画像領域ＮＩＡに位置し、各明画像領域ＢＩＡから等距離の画像画素の計算された類似度値の平均類似度値を算出することもできる。この平均類似度値は、算出された平均類似度値が所定の閾値を下回るまで、近傍画像領域ＮＩＡの等距離画像画素ＩＰと各明画像領域ＢＩＡとの距離を段階的に増加させることにより、算出される。最後の増加段階の等距離画像画素ＩＰにより、撮像された画像内のグレア領域の外側境界が規定される。

図３は、本発明の第１の側面に係るグレア検出方法の一実施の形態を示すフローチャートである。

ステップＳ１において、カメラで画像が撮像される。画像は、例えば、１２８０×８００画像画素からなる。

ステップＳ２において、画像が縮小され、縮小された画像は、走査されて、所定の輝度閾値を上回る高い輝度を持つ画像画素が検出される。この縮小処理は、計算の複雑化を緩和し、画像ノイズの影響を低減させるために行われる。例えば、撮像された画像を、各方向で１／１５に縮小してもよい。すなわち、縮小された画像は、元の撮像画像よりも、各方向で１／１５の大きさとなる。図３に示すように、元の撮像画像が１２８０×８００画像画素からなる場合、縮小画像は、８５×５３画像画素からなる。

次に、ステップＳ３において、縮小画像が走査されて、例えば、０から始まる８ビットの輝度の画像で２５５のような、非常に輝度値の高い画素が検出される。

これらの高輝度値の画素は、その画像内の明画像領域ＢＩＡに集約される。一実施の形態において、縮小画像の、所定の輝度閾値を上回る高い輝度値を持つ画素が、その画像の明画像領域と分類された結合領域として、集約される。ステップＳ４において、各明画像領域ＢＩＡの中心画素が、例えば、各領域の画素の位置の単純平均法により、求められる。

図１Ｂの矢印で示すように、グレア領域内の勾配方向は、領域の平均画素と現在の画像画素とで形成される角度と等しいため、ステップＳ５において、明るい光源の近傍画像領域ＮＩＡにある予測される勾配角度の集合が計算される。図３に示すように、図３のフローチャートの別の分岐において、縮小画像が読み込まれ、画像に見られる実際の勾配が計算される。そして、ステップＳ５において、グレアである場合に予測される勾配の値と、撮像画像における実際の勾配の値との類似度が、明るい光源を中心とした円上で、その円を光源から徐々に離して、算出される。したがって、本発明に係る方法の本一実施の形態によれば、算出ステップＳ５において、各明画像領域ＢＩＡの周囲の画像画素ＩＰについて、グレアである場合に予測される勾配と、実際の勾配とが、算出される。

最後に、ステップＳ６において、各明画像領域の周囲のグレア領域のグレア直径が、算出された実際の勾配と算出された予測される勾配とが一致している限り、増加される。円形のグレアの場合、半径毎に、明るい光源の中心から徐々に離した各円における画像画素の平均類似度の値が算出される。類似度が極端に低くなった場合、グレア領域の他方の境界に達したことになる。この平均類似度値は、算出された平均類似度値が所定の閾値を下回るまで、近傍画像領域ＮＩＡの等距離画像画素ＩＰと各明画像領域ＢＩＡとの距離を段階的に増加させることにより、算出され、最後の増加段階の等距離画像画素ＩＰにより、画像内のグレア領域の外側境界が規定される。

より詳細には、図５に示すように、画素（ｘ_０，ｙ_０）が、計算された高輝度領域の中心であり、画素（ｘ，ｙ）が、近傍領域の画素である場合、グレア画素の場合に予測される画素（ｘ，ｙ）における勾配は、以下の通りである。

撮像画像の実際の勾配は、以下のように算出できる。

予測される角度と実際の角度との類似度の算出は、いくつかのサブステップからなってもよい。最初のサブステップにおいて、２つの角度の差が算出される。

その後、その角度の差を用いて、類似度ε［−１，１］が、以下のように、算出される。ここで、１は、２つの値が等しいことを意味し、−１は、２つの値が異なることを意味する。

図６に、２つの角度の差の関数としての考えられる類似度εの値を視覚的に示す。

図６に示すように、各予測される勾配と同方向の勾配のみが、明画像領域の中心から特定の半径の画像画素がグレアを構成するかどうかを評価するのに有効となる。

特定の半径ｒでの画像画素ＩＰがグレアを構成するかどうかを評価するために、以下のステップを行ってもよい。このとき、半径を１から徐々に大きくしていく。まず、明画像領域の中心（ｘ_０，ｙ_０）からある特定の距離の半径での画像画素ＩＰを特定する。図７は、中心画素（ｘ_０，ｙ_０）から半径ｒ＝５だけ離れた画像画素を示している。

半径ｒでの画像画素ＩＰの勾配方向と、予測される勾配方向との類似度を計算するために、それらの画像画素の全ての類似度を加算し、画素の個数で割ってもよい。すなわち、その半径ｒにおける平均の類似度を計算する。その平均類似度が、一定の閾値ＴＨを上回る場合、そこにはグレアがあると解釈され、半径ｒが増加され、その新たな半径が判定される。一実施の形態において、類似度閾値０．５を用いてもよい。平均類似度がこの閾値を下回る場合、グレア領域の外側境界に達したことになり、処理が終了する。時間経過とともに情報の伝達がないため、本発明に係るグレア検出方法における検出は、瞬時に行われる。一実施の形態において、カメラで撮像された一連の画像のうちの所定の枚数Ｎの画像において、明画像領域ＢＩＡの周囲にグレア領域が検出される場合にのみ、グレアが検出されたこととする。この実施の形態では、グレアが時間経過とともに継続的に検出される必要があるため、グレアがＮ枚のフレームの同一の領域に見られた場合のみ、グレアが検出されたこととする。

本発明に係るグレア検出方法では、円形のグレア領域を検出することができる。グレアが円形でない場合、同様だが応用した処理を行ってもよい。例えば、グレアが縦線状である場合も、明画像領域ＢＩＡの中心（ｘ_０，ｙ_０）の算出と、等距離点の検出方法とを、応用してもよい。’Ωが非常に明るい点すなわち画素の集合である場合、いかなる画素（ｘ，ｙ）に対しても、その画素（ｘ，ｙ）に最も近接した画素（ｘ_０，ｙ_０）∈’Ωを検出することができる。処理は、ここから開始された後、上述したように進められ、数式（１）を用いて予測される角度を計算し、数式（２）を用いて実際の角度を計算し、数式（３）及び（４）を用いて類似度を計算することができる。この処理の最後には、明領域の中心から所定の半径で類似度を集める代わりに、集合’Ωにおけるある点から半径ｒだけ離れた画素の類似度を集める。

図８は、このような、集合’Ωから距離ｒ＝５だけ離れた等距離画像点ＩＰを示している。所定の半径ｒでの類似度が閾値を上回る場合、その半径ｒが増加され、次の画素の集合が判定される。この処理は、類似度が所定の閾値を下回るまで継続される。

図４は、本発明の他の側面に係るグレア検出装置１の一実施の形態を示すブロック図である。本実施の形態において、本発明に係るグレア検出装置１は、縮小部２と処理部３とを備える。縮小部２は、図４に示す少なくとも１個のカメラ４から獲得した画像を縮小する。カメラ４は、車両のサラウンドビューシステムのカメラでもよい。カメラ４は、車両ＶＥＨの前方、後方、左側、又は、右側に設けられてもよい。縮小部２は、獲得したデジタル画像を縮小する。グレア検出装置１は、また、画像の、輝度値の高い画像画素を、その画像内の明画像領域ＢＩＡに集約する処理部３を備える。処理部３は、また、各明画像領域ＢＩＡの周囲の画像画素について、グレアである場合に予測される勾配と、実際の勾配とを、算出する。処理部３は、更に、各明画像領域ＢＩＡの周囲のグレア領域のグレア直径を、算出された実際の勾配と算出された予測される勾配とが一致している限り、増加させる。一実施の形態において、処理部３は、算出された実際の勾配と算出された予測される勾配との類似度を計算する。また、処理部３は、各明画像領域ＢＩＡの周囲の近傍画像領域ＮＩＡに位置し、各明画像領域ＢＩＡから等距離の画像画素の計算された類似度値の平均類似度値を算出する。一実施の形態において、装置１の処理部３は、平均類似度値を、算出された平均類似度値が所定の閾値を下回るまで、近傍画像領域ＮＩＡの等距離画像画素ＩＰと各明画像領域ＢＩＡとの距離を段階的に増加させることにより、算出する。最後の増加段階の等距離画像画素ＩＰにより、獲得された画像内のグレア領域の外側境界が規定される。

一実施の形態において、処理部３は、更に、撮像された画像内の検出されたグレア領域を処理する。一実施の形態において、検出されたグレア領域にフィルタリングが行われる。一実施の形態において、検出されたグレア領域について、他のアプリケーションプログラムに通知される。一実施の形態において、処理部３は、撮像画像にグレア領域が検出された場合、警告を出力する。

図４に示すグレア検出装置１は、車両ＶＥＨの運転支援システムの一部をなしてもよい。運転支援システムは、車両ＶＥＨの周囲状況の画像を提供する少なくとも１個のカメラ４と、図４に示すグレア検出装置１とを備える。

本方法及び装置は、他のシステム、特に、監視システム、製造システム、及び、家電装置にも、採用することができる。

Claims

画像内の少なくとも１個のグレア領域を検出するグレア検出方法であって、前記方法は、
（ａ）前記画像の、輝度値の高い画像画素を、前記画像内の明画像領域に集約すること（ＳＡ）と、
（ｂ）前記明画像領域の周囲の画像画素について、グレアである場合に予測される勾配の方向と、実際の勾配の方向とを、算出すること（ＳＢ）と、
（ｃ）前記明画像領域の周囲のグレア領域のグレア直径を、前記算出された実際の勾配の方向と前記算出された予測される勾配の方向とが一致している限り、増加させること（ＳＣ）とを有する、グレア検出方法。
前記算出された実際の勾配の方向と前記算出された予測される勾配の方向との類似度が計算されることを特徴とする請求項１に記載のグレア検出方法。
前記明画像領域の周囲の近傍画像領域に位置し、前記明画像領域から等距離の画像画素の前記計算された類似度値の平均類似度値が算出されることを特徴とする請求項２に記載のグレア検出方法。
平均類似度値は、前記算出された平均類似度値が所定の閾値を下回るまで、前記近傍画像領域の前記等距離画像画素と前記明画像領域との距離を段階的に増加させることにより、算出され、最後の増加段階の前記等距離画像画素により、前記画像内の前記グレア領域の外側境界が規定されることを特徴とする請求項３に記載のグレア検出方法。
前記画像は、カメラ（４）で撮像された一連の画像のうちの一部をなすことを特徴とする請求項１乃至４のいずれか１項に記載のグレア検出方法。
前記カメラ（４）で撮像された前記一連の画像のうちの所定の枚数Ｎの画像において、明画像領域の周囲にグレア領域が検出される場合に、グレアが検出されたこととすることを特徴とする請求項５に記載のグレア検出方法。
前記画像は、車両のカメラ（４）により提供されることを特徴とする請求項５又は６に記載のグレア検出方法。
前記カメラ（４）により提供される前記画像は、それぞれが輝度を持つ複数の画素を備えるデジタル画像であることを特徴とする請求項５乃至７のいずれか１項に記載のグレア検出方法。
前記画像は、縮小され（Ｓ２）、前記縮小された画像は、走査されて、所定の輝度閾値を上回る高い輝度を持つ画像画素が検出されることを特徴とする請求項１乃至８のいずれか１項に記載のグレア検出方法。
前記縮小された画像の、前記所定の輝度閾値を上回る高い輝度値を持つ前記画像画素が、前記画像の前記明画像領域と分類された結合領域として、集約されることを特徴とする請求項９に記載のグレア検出方法。
画像内の少なくとも１個のグレア領域を検出するグレア検出装置（１）であって、前記装置（１）は、
前記画像の、輝度値の高い画像画素を、前記画像内の明画像領域に集約し、前記明画像領域の周囲の画像画素について、グレアである場合に予測される勾配の方向と、実際の勾配の方向とを、算出し、前記明画像領域の周囲のグレア領域のグレア直径を、前記算出された実際の勾配の方向と前記算出された予測される勾配の方向とが一致している限り、増加させる処理部（３）を備える、グレア検出装置（１）。
前記処理部（３）は、更に、前記算出された実際の勾配の方向と前記算出された予測される勾配の方向との類似度を計算し、前記明画像領域の周囲の近傍画像領域に位置し、前記明画像領域から等距離の画像画素の前記計算された類似度値の平均類似度値を算出することを特徴とする請求項１１に記載のグレア検出装置。
前記処理部（３）は、平均類似度値を、前記算出された平均類似度値が所定の閾値を下回るまで、前記近傍画像領域の前記等距離画像画素と前記明画像領域との距離を段階的に増加させることにより、算出し、
最後の増加段階の前記等距離画像画素により、前記画像内の前記グレア領域の外側境界が規定されることを特徴とする請求項１２に記載のグレア検出装置。
更に、前記画像を縮小する縮小部（２）を備え、
前記縮小された画像は、処理部（３）により走査されて、所定の輝度閾値を上回る高い輝度を持つ画像画素が検出され、
前記縮小された画像の、前記所定の輝度閾値を上回る高い輝度値を持つ画像画素が、前記画像の明画像領域と分類された結合領域として、処理部（３）によって、集約される、ことを特徴とする請求項１１乃至１３のいずれか１項に記載のグレア検出装置。
車両の運転支援システムであって、
前記車両の周囲の画像を提供する少なくとも１個のカメラ（４）と、
請求項１１乃至１４のいずれか１項に記載のグレア検出装置（１）とを備える、運転支援システム。