JP6015257B2 - 偏光画像による車両位置検知方法及びシステム - Google Patents

Description

本発明は、偏光画像による車両位置検知方法及びシステムに関する。

車両検知、仮説生成、偏光、画像処理等の分野において、車両検知の重要なステップとしての、車両推定位置を効率よく生成する方法は、車両検知システム全体の検出率を大幅に向上し、誤識別率を低減することができる。

発明の名称が“A DEVICE FOR DETECTION OF SURFACE CONDITION DATA”である特許文献WO 2004/081897 A2には、水、雪、氷のような表面特性又は条件を検出する装置が提案されている。偏光が物体表面の氷又は水等により鏡面反射されても偏光性が保たれ得る現象、及び、他の種類の表面により乱反射されると偏光性が大幅に弱められ得る現象といった二つの現象は、２つの反射の判別に用いられる。その主な思想としては、偏光ビームを発射するとともに反射を検知し、反射光の偏光性に基づいて物体表面の条件を判定することができる。

発明の名称が“POLARAMETRIC BLIND SPOT DETECTOR WITH STEERABLE BEAM ”である特許文献US 2002/0011926 A1には、車両の盲点に円偏光の信号を発射する発射器と、反射された逆円偏光の信号を受信する受信器と、反射信号を検出すると、運転手に盲点領域に物体があることを通知する指示器を有するシステムが提案されている。その主な思想としては、盲点の方向に偏光を発射するとともに反射を検出しようと試み、反射が検出されれば盲点領域の物体が検知されているということである。

前述の二つの従来技術はともに偏光による物体検知に関するが、いずれも単に信号の発射及び受信に関し、また、自発的な偏光の発射及び反射の検出を要する。言い換えると、いずれも画像中の物体を直接検出することができないという問題がある。

従来の車両検知において可視光情報が主に用いられているが、可視光情報は照度条件、天気及び路面条件の変化に対してロバスト性が低い。しかし、偏光情報は、この面において優れている。

本発明の目的は、前述の従来技術の問題に鑑み、偏光技術を用いて偏光を受動的に検出することにより車両位置を検知及び生成する検知方法及びシステムを提供することにある。かかる検知方法及びシステムにより、車両推定位置を迅速に生成することができ、且つ前述の各種変化に対してのロバスト性が高くなる。

なお、本発明は、車載カメラに用いて他の車両との衝突を防止することができる機能を提供してもよく、また、道路監視や高度交通システムにおける車両の検知に用いてもよい。

前述の目的を達成するために、本発明の一側面によれば、偏光画像による車両位置検知方法が提供される。この偏光画像による車両位置検知方法は、偏光カメラにより路面の偏光画像を取得する段階と、取得された前記偏光画像中の路面及び路肩の違いに基づいて、前記偏光画像中の路肩を算出し、算出された路肩間の部分を路面部分と決定する段階と、前記偏光画像における車両の車輪の画素値と実際の路面の画素値との顕著な差に基づいて、決定された前記路面部分における少なくとも一つ以上の推定車両底部を識別する段階と、識別された前記推定車両底部の各々に対し、前記偏光画像における車両の輪郭の画素値と背景の画素値との差に基づいて、対応する推定車両底部による推定車両位置を取得する段階と、を含む。

また、本発明の他の側面によれば、偏光画像による車両位置検知システムが提供される。この車両位置検知システムは、路面の偏光画像を取得する偏光画像取得モジュールと、取得された前記偏光画像中の路面及び路肩の違いに基づいて、前記偏光画像中の路肩を算出する路肩検知モジュールと、算出された前記路肩間の部分を路面部分と決定する路肩検知モジュールと、前記偏光画像における車両の車輪の画素値と実際の路面の画素値との顕著な差に基づいて、決定された前記路面部分における少なくとも一つ以上の推定車両底部を識別する推定車両底部識別モジュールと、識別された前記推定車両底部の各々に対し、前記偏光画像における車両の輪郭の画素値と背景の画素値との差に基づいて、対応する推定車両底部による推定車両位置を取得する推定車両位置生成モジュールと、を含む。

車両及び背景を含む道路のグレースケール画像の例を示した図である。 対応する偏光画像を示した図である。 対応する路肩検知結果を示した図である。 路面分割を示した図である。 走査ウィンドウのスライディングを示した図である。 推定車両底部領域の検知結果を示した図である。 推定車両位置の検知結果を示した図である 推定車両位置の検知工程を示したフローチャートである。 推定車両位置の検知システムを示した図である。

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。

図１は、車両及び背景を含む道路のグレースケール画像の例を示した図である。図２は、対応する偏光画像を示した図であり、そのうち、太い実線で囲まれた部分は、異なる偏光特性を有する部分である。実際には、異なる偏光線は、異なる色で表すことができる。以下の詳細なステップは、いずれも図２の処理工程を例としたものである。

基本的なステップは、偏光画像のエッジに基づいて路肩を検知することである。

路肩検知の１つの方法としては、Canny法（Canny Edge Detection）があり、Canny法によりエッジ画素を取得し、ハフ（Hough）変換により線を検知し、それから、検知された線の長さ、方向及び信頼度を分析することにより、最終的な路肩位置を得ることができる。路肩と路面との方向が異なるため、偏光画像における両者の境界線は明らかであり、容易に検出することができる。Canny法は、以下の５つのステップ、即ち、画像への平滑化処理によりノイズ除去を行うステップと、勾配を見つけ出し、エッジのマーク付けを行うステップ（ここでいうエッジとは、対応する位置における画像の勾配が比較的大きな幅を有するエッジを指す）と、ローカル最大値だけにエッジとマーク付けられるよう非最大値抑制を行うステップと、二重閾値を用いて処理を行い、閾値により弱エッジを決定するステップと、エッジを追跡し、強エッジに接続しない全てのエッジを抑制することにより最終的なエッジの確定を実現するステップとを有する。

具体的には、Canny法は、以下のステップで行われる。

１．ノイズを除去する。いずれのエッジ検知法も、未処理の原データに良好に用いることができない。よって、先ずは、原データとガウシアンマスク（mask）との畳み込み積分を行うことによりガウシアン平滑化後の画像を取得し、取得された画像は、原画像に比べて若干ぼやけている（blurred）。このようにして、単独の１画素のノイズは、ガウシアン平滑化後の画像において殆ど何の影響もない。

２．画像中の輝度勾配を見つけ出す。画像中のエッジは、異なる向きになる場合があるので、Canny法では、４つのマスクを用いて、水平、垂直、及び対角線方向のエッジ検知を行う。原画像と各マスクとの畳み込み積分は、いずれも保存される。各点に関して、該点の最大値及び生成されたエッジ方向を該点にマーク付けられる。このようにして、原画像から、画像中の各点の輝度勾配図及び輝度勾配方向が生成される。

３．画像中でエッジを追跡する。輝度勾配が高いものがエッジである可能性があるが、エッジとなる輝度勾配を定義可能な適切な値がないため、Canny法においては、ヒステリシス閾値が用いられる。

４．ヒステリシス閾値は、高閾値及び低閾値の２つの閾値がある。画像中の重要なエッジがいずれも連続した曲線であるとすると、所定の曲線中のぼやけ部分を追跡することができ、且つ曲線をなさないノイズ画素をエッジと見なすのを避けることができる。このため、比較的大きな閾値からスタートすることにより、確かな真のエッジを識別することができる。前に得られた方向情報を用いて、これらの真のエッジからスタートし、画像中の全てのエッジを追跡する。追跡時は、比較的小さな閾値を用い、これにより、起点に戻るまで、曲線のぼやけ部分を追跡することができる。該工程が終了すると、２値画像が得られ、該画像の各点は、該点がエッジ点であるか否かを表す。

５．サブピクセル精度のエッジを取得する一つの改善された実現方法としては、微分エッジ検出(differential edge detection)がある。これは自動的にサブピクセルの正確さでエッジの位置を求めることができるもので、勾配方向の2次導関数のゼロ交差を検出する手法に基づいている。勾配方向の３次導関数は符号条件を満たす。ここで、Lx, Ly, ・・・, Lyyyは、元の画像をガウシアン平滑化したものから得た尺度空間表現Lから計算した偏導関数である。このようにして、エッジをサブピクセルの正確さで曲線として自動的に得ることができる。ヒステリシス閾値処理をこれに適用することもできる。微分エッジ検出については、例えば、http://en.wikipedia.org/wiki/Edge_detectionに記載の内容を参照する。

Canny法は、複数の調整可能なパラメータを含み、このようなパラメータ、例えば、ガウシアンフィルタのサイズや閾値などは、計算の時間及び実際の効果に影響を及ぼす。ガウシアンフィルタのサイズの場合、先ず、全ての平滑化フィルタは、Canny法の計算結果に影響を直接及ぼす。比較的小さいフィルタが生成するぼかし効果も比較的少ないため、比較的に小さい変化が明らかな細線の検知が可能になる。比較的大きいフィルタが生成するぼかし効果も比較的に多いため、比較的大きい画像領域を１つの特定の点の色で塗りつぶすことが可能になる。この結果、例えば、虹のエッジのような比較的大きく平滑なエッジの検知が容易となる。閾値の場合、２つの閾値を用いることは、１つの閾値を用いることよりも柔軟性があるが、閾値に存在する共通の問題が依然としてある。閾値が高すぎると、重要な情報が漏れる恐れがあり、閾値が低すぎると、重要でない情報を重要な情報と見なす恐れがある。言い換えると、全ての画像に適用可能な汎用閾値を設定することは困難であり、検証済みの実現方法が未だに存在しないのが実状である。

Canny法は、異なる場合に適用することができる。そのパラメータは、異なるエッジ特性を識別することができるよう、特定の要求に応じて調整することができる。PC上のリアルタイムの画像処理について言えば、Canny法は、処理速度が遅く、特に、大きなガウシアンフィルタを用いる場合は、使用できない可能性もある。しかし、計算能力について言及するときに、プロセッサの処理速度が絶え間なく向上していることを考慮すべきであり、何年後には、この問題を解決する見込みがある。

Hough変換は、形状のエッジ点により、形状パラメータを予測する方法である。例えば、式y=mx+bで表す直線を検知するために、Canny法により検知された各エッジ点に対応可能な全てのmとbに対して投票を行い、最後に投票数が最も多いmとbに対応する直線は、偏光画像中の路肩の位置を示すものになる。図３は、対応する路肩検知結果であり、そのうち、太い実線は、検知された路肩を表す。Hough変換については、例えば、http://en.wikipedia.org/wiki/Hough_transformに記載された内容を参照する。

路肩情報により路面の範囲を取得する。ここでは、路肩と、通常の場合、両側の路肩の間が路面となるような法則による先験知識とを用いる。簡単な場合は、最外側の２つの路肩を延長させて両者の交点を見つけ出してもよく、これにより、２つの路肩の間及びその下にある画素は、路面の画素となる。図４は、対応する結果を示した図である。

路面の範囲内において、推定車両底部領域を検知する。これは、偏光画像から車輪の顕著なパターンを検出することで実現することができる。本発明においては、重要なステップとして、共起マトリクスによる検知方法が提案されている。車輪及び路面は、偏光画像におけるパターンが全く異なるため、具体的には、２つの車輪は、路面とは画素値が大きく異なる２つの平行直線で表されるため、この方法を用いると、車輪及び路面を効率よく検知することができる。

共起マトリクスによる車両底部検知は、以下のステップにより行われる。

２値化により候補の車輪画素を分離する。ここで、閾値は、経験値や実験値で設定されてもよい。２値化に用いる閾値の選択は、車両底部の偏光値が路面とは大きく異なるため、比較的容易に行うことができる。車両を含む偏光画像から、車両底部の画素値及び路面の画素値の分布範囲を分析し、各自の重心を検出したうえ、両方の重心の平均値を閾値としてもよく、路面領域のヒストグラムにより、２つのピーク値の間の谷値を閾値としてもよい。

平滑化によりノイズの影響を低減する。ここで、平滑化には、中間値フィルタやガウシアン平滑化等の方式が用いられてもよい。例えば、走査ウィンドウにより、上から下へ、左から右へと路面領域全体を走査してもよい。走査ウィンドウは、一連の矩形ウィンドウであり、そのサイズ及びアスペクト比は、合理的な車両サイズの変化範囲（このような範囲は先験知識によるものであり、観察により得られる。）に合致する。また、下記式(1)により、共起マトリクスの要素が求められる。

ここで、
は、１つの共起マトリクスの要素を表し、即ち、水平間隔
の２つの画素値がともに１である画素対の数であり、mとnは、それぞれ、走査ウィンドウの長さと幅を表す。共起マトリクスについては、例えば、http://en.wikipedia.org/wiki/Co-occurrence_matrixにおける記載を参照する。
による値が所定の閾値（経験値）を超えた場合、２つの平行直線が検知され、１対の車輪が得られ、１つの推定車両底部領域が得られたことになり、この位置は現在の走査ウィンドウとなる。

前記ステップで検知された全ての推定車両底部領域に対して後処理を施し、即ち、グループ分け等の方法により、類似した領域を１つの領域に統合する。

なお、全ての操作は、路面の範囲内で行われる。「近い時は大きく遠い時は小さい」という「近大遠小」の規則を考慮すると、走査ウィンドウのサイズを上から下に向かって逓増することで走査速度を向上してもよい。走査ウィンドウのスライド軌跡は、図５に示されたようになり、そのうち、白領域は路面であり、各赤矩形は１つの走査ウィンドウを表し、矢印方向はスライド方向を表す。

図６は、得られた推定車両底部領域の例を示す図である。

推定車両底部領域及び他の情報により、推定車両領域を取得する。エッジ及び先験知識は、該目標の達成に用いられてもよく、例えば、先験知識により、得られた推定底部矩形領域は、左右の両辺が上方延伸していると、車両の両側となるべきであり、また、車両の両側及び背景（路面や建築物等の他の領域）の偏光性が異なるので、偏光画像中のこれらの間にはエッジが存在し、該エッジ（弱エッジと称する）は、車輪と路面との間のエッジ（強エッジと称する）のように鮮明ではないが、該エッジを追跡し底部領域の左右両辺を上方へ延長させることにより、車両の両側が得られる。また、車両上部及び背景の偏光性も異なることから、同様な弱エッジが得られるとともに、車両両側の弱エッジ及び底部領域の底辺と繋がることで、車両輪郭の矩形が構成される。

大半の車両のアスペクト比の範囲が分かるため、該先験知識により、ノイズによる他の弱エッジの車両輪郭線検知への影響を減らすことができる。底部が検知されると、車両の幅が決定され、車両の上エッジを検出することができれば、車両の輪郭が得られる。異なる車両は、異なるアスペクト比を有するが、推定可能な範囲が存在するため、該範囲と底部位置により、上エッジの推定範囲が得られる。例えば、車両のアスペクト比（長さ/幅）範囲が[r1,r2]であり、前に検出された車両底部の下エッジ幅がwであり、縦座標値の平均がyであるとすると、車両の上エッジの縦座標の範囲は、[r1*w+y, r2*w+y]となり、横座標は、底部と同一となる。このような比較的小さい範囲内において、水平の弱エッジを検知すると、車両上部を検知することができる。具体的には、例えば、Sobel演算子Gyによる上エッジの推定範囲のフィルタリングを行い、比較的低い閾値により２値化を行うことで水平エッジが得られ、次に、y軸に投影させ、エッジ点が最も集中している箇所に対応するy値は、車両の上エッジとなる。車両の上エッジ、底部及び底部両端を上方へ延伸させて得られた側辺で囲まれた矩形は、推定車両領域となる。

該ステップ後に、図７に示されたような車両の推定位置が得られる。

図８は、本発明の前述の処理のフローチャートである。車両検知システム全体について言えば、推定車両位置の生成後、検証ステップにより、推定位置が車両位置であるか否かの判定を行う必要がある。なお、検証ステップは、図８に示すフローチャートに含まれていない。

ステップＳ８０１において、偏光カメラ１７により、路面全体の偏光画像を取得する。次に、ステップＳ８０２において、路肩検知モジュール１２によりCannyエッジ検知及びHough変換を行い、偏光画像中の路肩位置を取得する。次に、ステップＳ８０３において、路面検知モジュール１３により、検知した路肩位置に応じて、先験知識により、偏光画像中の路面部分を取得する。次に、ステップＳ８０４において、車両底部検知モジュール１４により、先験知識から決定した閾値及び共起マトリクスにより車両底部を取得する。最後に、ステップＳ８０５において、推定車両位置生成モジュール１５は、前に行われた選択により、推定車両位置を取得する。

図９は、本発明の推定車両位置の検知システムを示した図である。１０は、車両検知システム全体であり、１１は、ソフトウェア部分１１とハードウェア部分１６の２つのサブシステムを含む車両推定位置生成システムである。ソフトウェアサブシステム１１は、路肩検知モジュール１２と、路面検知モジュール１３と、車両底部検知モジュール１４と、推定車両位置生成モジュール１５を有する。ソフトウェアサブシステム１１は、本発明で提案した方法により、推定車両位置を生成し、該システム１１の出力とし、推定車両位置情報は、検証システムに入力され、車両の判定や他の用途に用いられる。ハードウェアサブシステム１６は、偏光カメラ（イメージセンサー）１７と、内部メモリ１８と、入出力ユニット１９を有し、ソフトウェアサブシステム１１にデータ及び他のサポートを提供する。

本発明の上述の方法は、１つのコンピュータ（プロセッサ）で実行されてもよく、複数のコンピュータで分散実行されてもよい。なお、プログラムは、該プログラムを実行する遠隔コンピュータに移されてもよい。

以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の範囲に属する。

Claims (5)

1. 偏光カメラにより、路面の偏光画像を取得し、
   取得された前記偏光画像中の路面及び路肩の違いに基づいて、前記偏光画像中の路肩を算出し、算出された路肩間の部分を路面部分と決定し、
   前記偏光画像における車両の車輪の画素値と実際の路面の画素値との顕著な差に基づいて、決定された前記路面部分における少なくとも一つ以上の推定車両底部を識別し、及び
   識別された前記推定車両底部の各々に対し、前記偏光画像における車両の輪郭の画素値と背景の画素値との差に基づいて、対応する推定車両底部による推定車両位置を取得するステップを含み、
   前記路面部分における少なくとも一つ以上の推定車両底部を識別するステップは、
   所定の閾値に基づいて、前記偏光画像の前記路面部分に対して２値化処理を施し、候補車輪画素を分離し、
   分離された前記候補車輪画素に対して平滑化処理を施し、ノイズを低減し、及び
   サイズが前記偏光画像において上から下へ比例して逓増する走査ウィンドウを用いて、上から下へ、左から右へと、前記偏光画像の前記路面部分全体を走査し、各走査ウィンドウ内の共起マトリクスの要素を算出し、算出された前記共起マトリクスの要素のうち最大値が所定の閾値を超えた要素に対応する走査ウィンドウの所在位置を前記推定車両底部と決定するステップを含む、偏光画像による車両位置検知方法。
2. 前記偏光画像中の路肩を算出するステップは、
   Cannyエッジ算出法によりエッジ画素を取得し、及び
   Hough変換により前記路肩となるラインを取得するステップを含む、請求項１に記載の偏光画像による車両位置検知方法。
3. 前記推定車両底部による推定車両位置を取得するステップは、
   前記推定車両底部のエッジ及び車両に関する先験知識により、左右の両エッジに沿って上方へ延伸して車両の両側を取得し、及び
   車両上部と背景との異なる偏光性に基づいて、車両上部となる弱エッジを求め、車両の両側のエッジ及び車両底部領域の底辺とともに、車両輪郭の矩形を構成するステップを含む、請求項２に記載の偏光画像による車両位置検知方法。
4. 共起マトリクスの要素の算出及び閾値による２値化により、車両底部の検知を行う、請求項２に記載の偏光画像による車両位置検知方法。
5. 路面の偏光画像を取得する偏光画像取得モジュールと、
   取得された前記偏光画像中の路面及び路肩の違いに基づいて、前記偏光画像中の路肩を算出する路肩検知モジュールと、
   算出された前記路肩間の部分を路面部分と決定する路面検知モジュールと、
   前記偏光画像における車両の車輪の画素値と実際の路面の画素値との顕著な差に基づいて、決定された前記路面部分における少なくとも一つ以上の推定車両底部を識別する推定車両底部識別モジュールと、
   識別された前記推定車両底部の各々に対し、前記偏光画像における車両の輪郭の画素値と背景の画素値との差に基づいて、対応する推定車両底部による推定車両位置を取得する推定車両位置生成モジュールと、を含み、
   前記推定車両底部識別モジュールは、
   所定の閾値に基づいて、前記偏光画像の前記路面部分に対して２値化処理を施し、候補車輪画素を分離し、
   分離された前記候補車輪画素に対して平滑化処理を施し、ノイズを低減し、及び
   サイズが前記偏光画像において上から下へ比例して逓増する走査ウィンドウを用いて、上から下へ、左から右へと、前記偏光画像の前記路面部分全体を走査し、各走査ウィンドウ内の共起マトリクスの要素を算出し、算出された前記共起マトリクスの要素のうち最大値が所定の閾値を超えた要素に対応する走査ウィンドウの所在位置を前記推定車両底部と決定するように構成される、偏光画像による車両位置検知システム。