以下、図を参照して、本発明の実施の形態について説明する。
まず、図2を参照して、本発明の実施の形態の概要を説明する。なお、図2は、車両の前方を撮像した前方画像の例を示している。
前方画像を用いて所定の対象を検出する場合、前方画像の各領域において、存在が想定される対象の種類は異なる。例えば、車両の前方において検出された物体(例えば、前方の車両、歩行者など)を含む領域D1においては、前方の車両、通行者、落下物などの存在が想定され、車両が通行する路面を含む領域D2においては、車線、道路標示などの存在が想定され、車両が通行する範囲より左側の領域D3Lおよび右側の領域D3Rにおいては、植樹帯、植樹帯、歩道、分離帯などの存在が想定され、車両の前方に存在する物体より上の領域D4においては、線路、道路、橋などの高架、道路標識などの存在が想定される。
また、検出精度および処理時間の観点から、各対象の検出に適した画質は、それぞれ異なる。
従って、存在が想定される対象に基づいて、各領域ごとに画質を調整することにより、検出精度を保ちつつ、検出処理に要する時間の短縮を実現することができる。
本発明の実施の形態においては、以下に述べるように、レーダ装置などのセンサを用いて、車両の進行方向に存在する物体に関する情報、例えば、物体の有無、位置、数、大きさ、形状、物体の表面の連続性(以下、面連続性と称する)が検出され、検出結果に基づいて、検出処理に用いる画像(以下、処理画像と称する)において、所定の対象の存在が想定される領域(以下、分割領域と称する)が設定される。そして、存在が想定される対象の種類に基づいて、各領域ごとに画質を調整した処理画像が生成され、処理画像に基づいて、所定の対象の検出処理が行われる。
なお、ここでいう画質とは、画像の鮮鋭さ、色合い、明るさ、鮮やかさなど定性的なもの、および、画像の情報量、階調数、ダイナミックレンジ、輝度分解能、色数、波長帯、ノイズ量など定量的なものを含む。
次に、本発明の実施の形態の詳細について説明する。
図3は、本発明を適用した画像処理システムの第1の実施の形態を示すブロック図である。画像処理システム101は、車両に設置され、設置された車両(以下、自車とも称する)が走行している車線、および、自車の前方を走行している前方車両の検出処理を行う。画像処理システム101は、カメラ111、レーダ装置112、および、画像処理装置113を含むように構成される。また、画像処理装置113は、前処理部121および検出部122を含むように構成される。さらに、前処理部121は、領域設定部131および画像生成部132を含むように構成される。また、検出部122は、車線検出部141および車両検出部142を含むように構成される。
カメラ111は、例えば、CCD撮像素子、CMOS撮像素子、または、HDRC(High Dynamic Range CMOS(Complementary Metal Oxide Semiconductor)(登録商標))などの対数変換型撮像素子などを用いたカメラにより構成される。
カメラ111は、例えば、図4に示されるように、車内の図示せぬルームミラー付近に、自車の前方を撮像するように設置され、撮像した画像である前方画像を、画像処理装置113の領域設定部131に供給する。
レーダ装置112は、例えば、図4に示されるように、車両のボディの前端の中央下部付近に設置され、ミリ波、マイクロ波などの電波、または、レーザ光などの光を用いて、自車の前方に存在する車両、動物、通行人、障害物などの物体の有無、位置、物体の数、大きさ、形状、面連続性などを検出する。レーダ装置112は、検出結果を示す情報(以下、前方物体情報と称する)を画像処理装置113の領域設定部131に供給する。
画像処理装置113は、前方画像、前方物体情報、および、例えば、ECU(Electoronic Control Unit)などにより構成される車両制御装置102から供給される自車の状態および自車の周囲の状態などを示す情報(以下、自車情報とも称する)に基づいて、車線および前方車両の検出処理を行う。
前処理部121は、前方画像、前方物体情報、および、自車情報に基づいて、車線および前方車両の検出処理に用いる処理画像を生成する。
領域設定部131は、カメラ111から前方画像を取得し、レーダ装置112から前方物体情報を取得する。領域設定部131は、図5を参照して後述するように、前方物体情報に基づいて、処理画像において道路の区画線の存在が想定される路面領域、および、前方車両の存在が想定される障害物領域の2種類の分割領域を設定する。領域設定部131は、前方画像、および、各分割領域を示す情報を画像生成部132に供給する。
画像生成部132は、自車情報を車両制御装置102から取得する。画像生成部132は、図5を参照して後述するように、存在が想定される対象の種類(いまの場合、車線または前方車両)、および、自車の前方の明るさに基づいて、分割領域ごとに輝度分解能およびダイナミックレンジを調整した処理画像を生成する。画像生成部132は、処理画像、および、各分割領域を示す情報を車線検出部141および車両検出部142に供給する。
検出部122は、処理画像に基づいて、車線および前方車両の検出処理を行う。
車線検出部141は、所定の手法を用いて、処理画像の路面領域内の画像に基づいて、車線の検出処理を行う。車線検出部141は、検出結果を示す情報、例えば、走行中の道路の各車線の位置などを示す情報を車両制御装置102に供給する。
車両検出部142は、所定の手法を用いて、処理画像の障害物領域内の画像に基づいて、前方車両の検出処理を行う。車両検出部142は、検出結果を示す情報、例えば、前方車両の有無、位置、大きさ、形状、速度などを示す情報を車両制御装置102に供給する。
車両制御装置102は、車線および前方車両の検出結果に基づいて、所定の処理を行う。例えば、車両制御装置102は、前方車両との間の車間距離に応じて、車速またはブレーキを制御したり、ドライバへの警報を行うように車両の各部を制御する。また、例えば、車両制御装置102は、自車が走行中の車線をはみ出した場合、ドライバへの警告を行うように、車両の各部を制御する。
次に、図5のフローチャートを参照して、画像処理システム101により実行される画像処理を説明する。なお、この処理は、例えば、画像処理システム101の図示せぬ操作部を介して、ユーザにより画像処理の開始の指令が入力されたとき開始される。
ステップS1において、カメラ111は、撮像を開始する。カメラ111は、撮像した前方画像の領域設定部131への供給を開始する。
ステップS2において、レーダ装置112は、前方の物体の検出処理を開始する。具体的には、レーダ装置112は、車両の前方の所定の範囲内に所定の電波または光波を照射し、その範囲内に存在する物体により反射された反射波または反射光を受信する。レーダ装置112は、受信した反射波または反射光に基づいて、車両の前方の物体の有無、位置、数、大きさ、形状、面連続性などの検出を開始する。レーダ装置112は、検出結果を示す前方物体情報の領域設定部131への供給を開始する。
ステップS3において、領域設定部131は、分割領域を設定する。例えば、領域設定部131は、カメラ111により図6に示される前方画像が撮像された場合、自車の前方の車両251の下端を通る境界線L1、換言すれば、車両251と路面との境界を通る境界線L1より上の車両251を含む領域である障害物領域Do1、および、境界線L1より下の前方車両251により視界が遮られない領域である路面領域Dr1を設定する。領域設定部131は、前方画像、および、各分割領域を示す情報を画像生成部132に供給する。
ここで、境界線L1の設定方法の一例を説明する。
カメラ111の座標系(以下、カメラ座標系と称する)を表す座標をPc=(Xc,Yc,Zc)、レーダ装置112の座標系(以下、レーダ座標系と称する)を表す座標をPr=(Xr,Yr,Zr)、カメラ111の光軸とレーダ装置112の光軸との並進をT、回転をRとした場合、座標Pcと座標Prの関係は、以下の式(1)により表される。
Pc=R×Pr+T ・・・(1)
なお、並進Tおよび回転Rは、事前にキャリブレーションを行うことにより既知の値とすることができる。また、前方画像の座標系(以下、画像座標系と称する)を表す座標をPi=(x,y,1)とすると、座標Pcと座標Piの関係は、以下の式(2)により表される。
s×Pi=A×Pc ・・・(2)
ただし、sは定数、Aはカメラ111の内部パラメータ行列を表す。
計算を簡単にするため、前方画像の各画素が正方格子状に配置され、図7に示されるように、前方画像の中心Ciが、カメラ座標系の光軸(Zc軸)を通るものとし、カメラ111の焦点距離をfとした場合、内部パラメータ行列Aは、式(3)により表される。
式(2)および式(3)より、s=Zcとなり、式(2)および式(3)から以下の式(4)が導出される。
すなわち、式(1)および式(4)に基づいて、レーダ装置112により検出された物体のレーダ座標系における位置(座標)から、その物体の画像座標系における位置(座標)を求めることができる。
例えば、車両251の路面からの高さがレーダ座標系において0mであると仮定し、レーダ装置112により検出された車両251のレーダ座標系における位置がPr1=(Xr1,0,Zr1)である場合、式(1)および式(4)に基づいて、画像座標系における車両251の下端部のy座標を算出することができる。
領域設定部131は、例えば、車両251の下端部のy座標を通るほぼ水平な線を境界線L1に設定する。なお、車両251が確実に障害物領域Do1に含まれるように、車両251の下端部のy座標より所定の長さだけ下を通る線に境界線L1を設定するようにしてもよい。
なお、以上では、レーダ装置112により前方車両が検出された場合を例に挙げたが、車両以外の物体が検出された場合においても、同様の方法により、検出された物体と路面との境界に境界線L1が設定される。
また、レーダ装置112により自車の前方に物体が検出されなかった場合、領域設定部131は、例えば、障害物領域を設定せずに、前方画像の全ての領域を路面領域に設定する。
ステップS4において、画像生成部132は、前方が暗い状態であるかを判定する。領域設定部131は、例えば、車両制御装置102に設けられている、自車のヘッドライトの点灯および消灯を制御する照度センサから出力される信号に基づいて、前方が暗い状態であるかを判定する。車両制御装置102からヘッドライトの点灯を指示する信号が出力されていない場合、領域設定部131は、前方が暗い状態でないと判定し、処理はステップS5に進む。
ステップS5において、画像生成部132は、昼用の処理画像を生成する。画像生成部132は、生成した処理画像、および、各分割領域を示す情報を車線検出部141および車両検出部142に供給する。その後、処理はステップS7に進む。なお、処理画像の生成方法については後述する。
ステップS4において、車両制御装置102からヘッドライトの点灯を指示する信号が出力されている場合、領域設定部131は、前方が暗い状態であると判定し、処理はステップS6に進む。
ステップS6において、画像生成部132は、夜用の処理画像を生成する。画像生成部132は、生成した処理画像、および、各分割領域を示す情報を車線検出部141および車両検出部142に供給する。
ここで、図8乃至図14を参照して、処理画像の生成方法について説明する。
画像生成部132は、以下に述べる2つの方法のいずれかを用いて、各分割領域に対応する画像を生成する。
第1の方法においては、各画素の輝度値を表す10ビットのビット列のうち、下位の2ビットを切り捨て、上位の8ビットを抽出することにより、輝度値が8ビットのデータに変換される。すなわち、第1の方法において輝度値が変換された画素からなる画像では、元の画像と比較して、表示可能な輝度範囲は変更されずに、表示可能な階調数が減るため、1階調に割り当てられる輝度の範囲が大きくなる。すなわち、変換後の画像は、元の画像と比較して、ダイナミックレンジは変更されずに、輝度分解能が低下した画像となる。
第2の方法においては、各画素の輝度値を表す10ビットのビット列のうち、上位の2ビットを切り捨て、下位の8ビットを抽出することにより、輝度値が8ビットのデータに変換される。具体的には、10ビットのデータで表される輝度値の範囲を256階調ごとに分割し、そのうち1つの範囲内、例えば、2進数で0100000000から0111111111の範囲内において、輝度値を表す10ビットのビット列のうち、上位の2ビットを切り捨て、下位の8ビットを抽出することにより、輝度値が00000000から11111111までの8ビットのデータに変換され、その範囲内より小さい輝度値は00000000に変換され、その範囲内より大きい輝度値は11111111に変換される。すなわち、第2の方法において輝度値が変換された画素からなる画像では、元の画像と比較して、1階調に割り当てられる輝度の範囲は変更されずに、表示可能な輝度範囲が狭められた画像となる。すなわち、変換後の画像は、元の画像と比較して、輝度分解能は変更されずに、ダイナミックレンジが狭められた画像となる。
ところで、昼間の明るい状態において撮像された前方画像を用いて、車線または前方車両を検出する場合、各被写体のエッジ部分のコントラストが明確であるほど、検出精度は向上する。また、昼間の明るい状態において撮像された画像においては、異なる被写体間の輝度の差が大きくなる傾向、すなわち、被写体の違いによる明暗の差が大きくなる傾向にある。従って、第1の方法を用いて前方画像の輝度分解能を下げたとしても、各被写体のエッジ部分のコントラストは、ほとんど低下しない。
図8および図9は、昼間の明るい状態において撮像された前方画像内の一部の領域を、第1の方法を用いて変換した画像の例を示している。第1の方法を用いて画像の情報量を削減しても、図8の区画線のエッジ部分、および、図9の車両のエッジ部分のコントラストは、十分に確保されている。従って、第1の方法を用いて前方画像の輝度分解能を下げたとしても、車線および前方車両の検出精度はほとんど低下しない。
また、昼間の明るい状態において撮像された画像においては、例えば、直射日光が照射されている領域とトンネル内などの日陰の領域では、輝度値の範囲が大きく異なる。従って、第2の方法を用いて画像のダイナミックレンジを狭めた場合、いわゆる、黒潰れまたは白飛びが発生し、被写体のエッジ部分のコントラストが低下し、車線および前方車両の検出精度が大きく低下する可能性がある。
従って、ステップS5において、画像生成部132は、前方画像の全ての領域、すなわち、路面領域と障害物領域の両方の分割領域内の画素について、第1の方法を用いて輝度値を変換することにより、昼用の処理画像を生成する。すなわち、昼用の処理画像においては、元の前方画像の輝度分解能を下げることにより、画像の情報量が削減される。
一方、夜間の暗い状態において撮像された前方画像を用いて、車線または前方車両を検出する場合については、昼間の明るい状態において撮像された画像を用いる場合とは事情が異なる。
例えば、図10は、夜間の暗い状態において撮像された前方画像内の路面の区画線が写っている領域を、第1の方法を用いて変換した画像を示し、図11は、第2の方法を用いて変換した画像を示している。夜間の暗い路面においては、区画線と区画線以外の領域との輝度の差が小さくなるため、第1の方法を用いて画像を変換した場合、すなわち、輝度分解能を下げた場合、図10に示されるように、区画線のエッジ部分のコントラストが低下し、車線の検出精度の低下を招く恐れがある。
一方、夜間の路面においては、輝度が狭い範囲に集中するため、第2の方法を用いて画像を変換しても、すなわち、ダイナミックレンジを狭くしても、抽出する輝度範囲を適切に設定することにより、例えば、図11に示されるように、路面の区画線のエッジ部分のコントラストが確保される。従って、第2の方法により画像の情報量を削減しても、車線の検出精度の低下はほとんど生じない。
また、図12は、夜間の暗い状態において撮像された前方画像内の前方車両が写っている領域を、第1の方法を用いて変換した画像を示し、図13は、第2の方法を用いて変換した画像を示している。夜間における車両の検出処理においては、車両前方のヘッドライトや車両後方のテールランプを検出することにより、車両を検出する手法がよく用いられる。ヘッドライトやテールランプは周囲と比較して非常に明るく、かつ、ごく狭い範囲に輝度が集中する。また、ヘッドライトおよびテールランプ以外の領域の輝度は、自車のヘッドライトから照射される光により、ヘッドライトやテールランプの輝度より暗い範囲内で、大きく変化する。従って、例えば、図12と図13を比較して明らかなように、画像輝度分解能を下げることにより、前方車両のテールランプとその他の領域との輝度の差が強調され、車両の検出精度が向上する場合がある。
従って、ステップS6において、画像生成部132は、図14に模式図が示されるように、境界線L1より下の路面領域内の各画素について、第2の方法を用いて輝度値を変換し、境界線L1より上の障害物領域内の各画素について、第1の方法を用いて輝度値を変換することにより、夜用の処理画像を生成する。すなわち、夜用の処理画像においては、路面領域内では、ダイナミックレンジを狭め、障害物領域内では、輝度分解能を下げることにより、画像の情報量が削減される。
ステップS7において、検出部122は、検出処理を行う。具体的には、車線検出部141は、所定の手法を用いて、処理画像の路面領域内の画像に基づいて、車線の検出処理を行う。また、車両検出部142は、所定の手法を用いて、処理画像の障害物領域内の画像に基づいて、前方車両の検出処理を行う。
このように、対象ごとに検出処理を行う領域を限定することにより、検出処理の負荷が軽減される。また、路面領域および障害物領域内の画像は、輝度値が10ビットから8ビットのデータに変換されることにより情報量が削減されているため、前方画像をそのまま用いて検出処理を行う場合と比較して、検出処理の負荷が軽減される。さらに、上述したように、画像の情報量を削減することによる検出精度の低下はほとんど生じない。
車線検出部141および車両検出部142は、検出結果を示す情報を車両制御装置102に供給する。
なお、自車の前方において物体が検出されておらず、障害物領域が設定されていない場合、例えば、車両検出部142は、検出処理を行わない。
車両制御装置102は、車線検出部141および車両検出部142による検出結果に基づいて、所定の処理を行う。
ステップS8において、画像処理システム101は、画像処理の停止が指令されたかを判定する。画像処理の停止が指令されていないと判定された場合、処理はステップS3に戻り、ステップS8において、画像処理の停止が指令されたと判定されるまで、ステップS3乃至S8の処理が繰り返し実行される。
ステップS8において、例えば、画像処理システム101の図示せぬ操作部を介して、ユーザにより画像処理の停止の指令が入力された場合、画像処理システム101は、画像処理の停止が指令されたと判定し、画像処理は終了する。
このようにして、車線および前方車両の検出精度をほとんど低下させずに、検出処理の負荷を軽減することができる。従って、検出処理に用いるプロセッサなどを安価に抑えることができる。
なお、上述した前方画像の輝度値を表すビット数および変換後のビット数は、一例であり、上述した例に限定されるものではない。
また、より検出精度を高めるために、車線検出部141および車両検出部142が、処理画像の全ての領域について検出処理を行うようにしてもよい。この場合についても、処理画像は、元の前方画像から情報量が削減されているため、前方画像をそのまま用いた場合と比較して、検出処理の負荷が軽減される。
次に、図15乃至図19を参照して、本発明の第2の実施の形態について説明する。
図15は、本発明を適用した画像処理システムの第2の実施の形態を示すブロック図である。画像処理システム301は、カメラ311、レーダ装置112、および、画像処理装置312を含むように構成される。また、画像処理装置312は、前処理部321および検出部122を含むように構成される。さらに、前処理部321は、領域設定部331、および、画像生成部332を含むように構成される。また、検出部122は、車線検出部141および車両検出部142を含むように構成される。なお、図中、図3と対応する部分については同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。
カメラ311は、例えば、CCD撮像素子、CMOS撮像素子、または、対数変換型撮像素子などを用いたカメラにより構成される。カメラ311は、例えば、上述した図4に示されるカメラ111とほぼ同じ位置に設置され、前方画像を撮像する。また、カメラ311は、1フレーム毎にシャッタ時間を変更して撮像を行うことが可能である。すなわち、カメラ311は、自車の前方のほぼ同じ光景に対して、明るさが異なる複数の前方画像を撮像することが可能である。カメラ311は、撮像した前方画像を画像処理装置312の領域設定部331に供給する。
なお、以下の説明では、カメラ311は、2段階のシャッタ時間を交互に切換えながら、前方画像を撮像するものとする。すなわち、ほぼ同じ光景に対して、シャッタ時間を長くして撮像した明るい画像(以下、明画像と称する)と、シャッタ時間を短くして撮像した暗い画像(以下、暗画像と称する)の2種類の前方画像が撮像される。
画像処理装置312は、前方画像、前方物体情報、および、自車情報に基づいて、車線および前方車両の検出処理を行う。
前処理部321は、前方画像、前方物体情報、および、自車情報に基づいて、処理画像を生成する。
領域設定部331は、カメラ311から前方画像を取得し、レーダ装置112から前方物体情報を取得する。領域設定部331は、図16を参照して後述するように、前方物体情報に基づいて、路面領域と障害物領域の2種類の分割領域を設定する。領域設定部331は、明画像および暗画像の2種類の前方画像、および、各分割領域を示す情報を画像生成部332に供給する。
画像生成部332、自車情報を車両制御装置102から取得する。画像生成部332は、図16を参照して後述するように、存在が想定される物体の種類、および、自車の前方の明るさに基づいて、各分割領域に用いる前方画像を選択し、処理画像を生成する。画像生成部332は、処理画像、および、分割領域を示す情報を車線検出部141および車両検出部142に供給する。
車両制御装置102は、車線および前方車両の検出結果に基づいて、所定の処理を行う。例えば、車両制御装置102は、前方車両との間の車間距離に応じて、車速またはブレーキを制御したり、ドライバへの警報を行うように車両の各部を制御する。また、例えば、車両制御装置102は、自車が走行中の車線をはみ出した場合、ドライバへの警告を行うように、車両の各部を制御する。
次に、図16のフローチャートを参照して、画像処理システム301により実行される画像処理について説明する。なお、この処理は、例えば、画像処理システム301の図示せぬ操作部を介して、ユーザにより画像処理の開始の指令が入力されたとき開始される。
ステップS101において、カメラ311は、撮像を開始する。具体的には、カメラ311は、2段階のシャッタ時間を1フレーム毎に交互に切換えながら、明画像と暗画像の撮像し、撮像した明画像および暗画像の領域設定部331への供給を開始する。
ステップS102において、上述した図5のステップS2の処理と同様に、前方の物体の検出処理が開始される。レーダ装置112は、検出結果を示す前方物体情報の領域設定部331への供給を開始する。
ステップ103において、領域設定部331は、上述した図5のステップS3の処理と同様に、分割領域を設定する。領域設定部331は、フレームが互いに隣接する明画像および暗画像、並びに、各分割領域を示す情報を画像生成部332に供給する。
ステップS104において、画像生成部332は、上述した図5のステップS4の処理と同様に、前方が暗い状態であるかを判定する。前方が暗い状態でないと判定された場合、処理はステップS105に進む。
ステップS105において、画像生成部332は、処理画像を選択する。例えば、画像生成部332は、照度センサなどを用いて検出した自車の前方の明るさが所定の照度以上の場合には、暗画像を処理画像として選択し、所定の照度未満の場合には、明画像を処理画像として選択する。画像生成部332は、選択した処理画像、および、各分割領域を示す情報を車線検出部141および車両検出部142に供給する。
ステップS104において、前方が暗い状態であると判定された場合、処理はステップS106に進む。
ステップS106において、画像生成部332は、処理画像を生成する。ここで、処理画像の生成方法について説明する。
図17および図18は、夜間にカメラ311により、シャッタ速度を切換えながら連続して撮像された前方画像の例を模式的に表す図である。図17はシャッタ時間を長くして撮像された明画像、図18はシャッタ時間を短くして撮像された暗画像を示している。
上述したように、夜間において、車両のヘッドライトまたはテールランプは周囲と比較して非常に明るいため、例えば、図17と図18を比較して明らかなように、シャッタ時間を短くして撮像した暗画像の方が、前方車両のテールランプと周囲の領域との輝度の差が大きくなる。従って、暗画像を用いた方が、前方車両の検出精度が向上する。
一方、夜間の路面は暗いため、例えば、図17と図18を比較して明らかなように、シャッタ時間をなるべく長くして撮像し、画像を明るくした方が、路面の区画線のエッジ部分のコントラストが明確になる。従って、明画像を用いた方が、区画線の検出精度が向上し、その結果、車線の検出精度が向上する。
従って、画像生成部332は、図19に示されるように、境界線L1より上の障害物領域については、暗画像を用い、境界線L1より下の路面領域については、明画像を用いた処理画像を生成する。画像生成部332は、生成した処理画像、および、各分割領域を示す情報を車線検出部141および車両検出部142に供給する。
ステップS107およびS108の処理は、図5のステップS7およびS8の処理と同様であり、その説明は繰り返しになるので省略する。
このようにして、各分割領域において検出される対象、すなわち、車線または前方車両に応じて、明画像または暗画像を選択した処理画像を生成することにより、車線および車両の検出精度が向上する。
次に、図20乃至図22を参照して、本発明の第3の実施の形態について説明する。
図20は、本発明を適用した画像処理システムの第3の実施の形態を示すブロック図である。画像処理システム401は、カメラ411、レーダ装置112、および、画像処理装置412を含むように構成される。また、画像処理装置412は、前処理部421および検出部422を含むように構成される。さらに、前処理部421は、領域設定部431、および、画像生成部432を含むように構成される。また、検出部422は、車線検出部141、車両検出部142、および、標識検出部441を含むように構成される。なお、図中、図3と対応する部分については同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。
カメラ411は、例えば、CCD撮像素子、CMOS撮像素子、または、対数変換型撮像素子などを用いたカメラにより構成される。カメラ411は、例えば、上述した図4に示されるカメラ111とほぼ同じ位置に設置され、カラーの前方画像を撮像する。カメラ411は、撮像した前方画像を画像処理装置412の領域設定部431に供給する。
画像処理装置412は、前方画像および前方物体情報に基づいて、車線、前方車両、および、道路標識の検出処理を行う。
前処理部421は、前方画像および前方物体情報に基づいて、処理画像を生成する。
領域設定部431は、カメラ411から前方画像を取得し、レーダ装置112から前方物体情報を取得する。領域設定部431は、図21を参照して後述するように、前方物体情報に基づいて、処理画像において道路標識の存在が想定される空中領域、並びに、前方車両および道路の区画線の存在が想定される障害物領域の2種類の分割領域を設定する。領域設定部431は、前方画像、および、各分割領域を示す情報を画像生成部432に供給する。
画像生成部432は、図21を参照して後述するように、各分割領域において検出されることが想定されている対象の種類(いまの場合、車線、前方車両、または、道路標識)に基づいて、分割領域内の画像の色数を調整した処理画像を生成する。画像生成部432は、処理画像、および、各分割領域を示す情報を車線検出部141、車両検出部142、および、標識検出部441に供給する。
検出部422は、処理画像に基づいて、車線、前方車両、および、道路標識の検出処理を行う。
車線検出部141は、所定の手法を用いて、処理画像の障害物領域内の画像に基づいて、車線の検出処理を行う。車線検出部141は、検出結果を示す情報を車両制御装置102に供給する。
車両検出部142は、所定の手法を用いて、処理画像の障害物領域内の画像に基づいて、前方車両の検出処理を行う。車両検出部142は、検出結果を示す情報を車両制御装置102に供給する。
標識検出部441は、所定の手法を用いて、処理画像の空中領域内の画像に基づいて、道路標識の検出処理を行う。標識検出部441は、検出結果を示す情報、例えば、道路標識の有無、検出した道路標識の種類などを示す情報を車両制御装置102に供給する。
車両制御装置102は、前方車両および道路標識の検出結果に基づいて、所定の処理を行う。例えば、車両制御装置102は、前方車両との間の車間距離に応じて、車速またはブレーキを制御したり、ドライバへの警報を行うように車両の各部を制御する。また、例えば、車両制御装置102は、検出された道路標識をドライバに通知したり、制御速度の超過の警告を行うように、車両の各部を制御する。
次に、図21のフローチャートを参照して、画像処理システム401により実行される画像処理について説明する。なお、この処理は、例えば、画像処理システム401の図示せぬ操作部を介して、ユーザにより画像処理の開始の指令が入力されたとき開始される。
ステップS201において、カメラ411は、撮像を開始する。カメラ411は、撮像した前方画像の領域設定部431への供給を開始する。
ステップS202において、上述した図5のステップS2の処理と同様に、前方の物体の検出処理が開始される。レーダ装置112は、検出結果を示す前方物体情報の領域設定部431への供給を開始する。
ステップS203において、領域設定部431は、分割領域を設定する。例えば、領域設定部431は、カメラ411により図22に示される前方画像が撮像された場合、自車の前方の車両461と路面との境界を通る境界線L11から所定の高さだけ上にある境界線L12より下の車両461を含む領域である障害物領域Do11、および、境界線L12より上の道路標識462を含む領域である空中領域Da11を設定する。領域設定部431は、前方画像、および、各分割領域を示す情報を画像生成部432に供給する。
なお、領域設定部431は、例えば、図6の境界線L1を設定する場合と同様の方法により、境界線L11を設定する。また、領域設定部431は、車両461の車高を、実際の車高に関わらず、想定される車両の高さの最大値(以下、想定最大車高値と称する)であると仮定して、車両461の位置において、境界線L11から想定最大車高値だけ高い位置の画像座標系におけるy座標を算出する。領域設定部431は、算出したy座標を通るほぼ水平な線を境界線L12に設定する。
また、自車の前方において物体が検出されなかった場合、カメラ411の路面に対する取り付け角度に基づいて予め求められている、前方画像において路面が消失する位置のy座標を通るほぼ水平な線が境界線L12に設定される。
ステップS204において、画像生成部432は、処理画像を生成する。道路標識の検出処理においては、画像の色情報を用いることにより検出精度を向上させることができるが、車線および車両の検出処理においては、車両または区画線の色を検出する場合を除いて、画像の色情報を用いても、検出精度はあまり向上しない。そこで、画像生成部432は、障害物領域内の画像をモノクロの画像に変換することにより、処理画像を生成する。すなわち、処理画像は、空中領域がカラー、障害物領域がモノクロの画像となる。画像生成部432は、生成した処理画像、および、各分割領域を示す情報を車線検出部141、車両検出部142、および、標識検出部441に供給する。
ステップS205において、検出部422は、検出処理を行う。具体的には、車線検出部141は、所定の手法を用いて、処理画像の障害物領域内の画像に基づいて、車線の検出処理を行う。車両検出部142は、所定の手法を用いて、処理画像の障害物領域内の画像に基づいて、前方車両の検出処理を行う。標識検出部441は、所定の手法を用いて、処理画像の空中領域内の画像に基づいて、道路標識の検出処理を行う。
このように、対象ごとに検出処理を行う領域を限定することにより、検出処理の負荷が軽減される。また、上述したように、障害物領域内の画像は、モノクロの画像に変換されることにより情報量が削減されているため、前方画像をそのまま用いて検出処理を行う場合と比較して、検出処理の負荷が軽減される。さらに、上述したように、画像の情報量を削減することによる検出精度の低下もほとんど生じない。
車線検出部141、車両検出部142および標識検出部441は、検出結果を示す情報を車両制御装置102に供給する。
車両制御装置102は、車線検出部141、車両検出部142、および、標識検出部441による検出結果に基づいて、所定の動作を行う。
ステップS206において、上述した図5のステップS8の処理と同様に、画像処理の停止が指令されたか否かが判定される。画像処理の停止が指令されていないと判定された場合、処理はステップS203に戻り、ステップS206において画像処理の停止が指令されたと判定されるまで、ステップS203乃至S206の処理が繰り返し実行される。一方、ステップS206において、画像処理の停止が指令されたと判定された場合、画像処理は終了する。
このようにして、車線、前方車両および道路標識の検出精度をほとんど低下させずに、検出処理の負荷を軽減することができる。従って、検出処理に用いるプロセッサなどを安価に抑えることができる。
なお、以上の説明では、障害物領域の画像をカラーからモノクロに変換する例を示したが、障害物領域の色数を削減することにより、情報量を削減するようにしてもよい。
次に、図23乃至図26を参照して、本発明の第4の実施の形態について説明する。
図23は、本発明を適用した画像処理システムの第4の実施の形態を示すブロック図である。画像処理システム501は、カメラ511、レーダ装置112、および、画像処理装置512を含むように構成される。また、画像処理装置512は、前処理部521および検出部522を含むように構成される。さらに、前処理部521は、領域設定部531、および、画像生成部532を含むように構成される。また、検出部522は、車線検出部141、車両検出部142、および、通行者検出部541を含むように構成される。なお、図中、図3と対応する部分については同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。
カメラ511は、例えば、CCD撮像素子、CMOS撮像素子、または、対数変換型撮像素子などを用いたカメラにより構成される。カメラ511は、例えば、上述した図4に示されるカメラ111とほぼ同じ位置に設置され、前方画像を撮像する。カメラ511は、撮像した前方画像を画像処理装置512の領域設定部531に供給する。
画像処理装置512は、前方画像および前方物体情報に基づいて、車線、前方車両、および、通行者の検出処理を行う。
前処理部521は、前方画像および前方物体情報に基づいて、処理画像を生成する。
領域設定部531は、カメラ511から前方画像を取得し、レーダ装置112から前方物体情報を取得する。領域設定部531は、図24を参照して後述するように、前方物体情報に基づいて、処理画像において道路の区画線の存在が想定される路面領域、前方車両の存在が想定される障害物領域、および、通行者の存在が想定される路側領域の3種類の分割領域を設定する。領域設定部531は、前方画像、および、各分割領域を示す情報を画像生成部532に供給する。
画像生成部532は、図24を参照して後述するように、存在が想定される対象の種類(いまの場合、車線、前方車両、または、通行者)、および、分割領域の位置に基づいて、分割領域ごとに解像度を調整した処理画像を生成する。画像生成部532は、生成した処理画像、および、分割領域を示す情報を車線検出部141、車両検出部142、および、通行者検出部541に供給する。
検出部522は、処理画像に基づいて、車線、前方車両、および、通行者の検出処理を行う。
車線検出部141は、所定の手法を用いて、処理画像の路面領域内の画像に基づいて、車線の検出処理を行う。車線検出部141は、検出結果を示す情報を車両制御装置102に供給する。
車両検出部142は、所定の手法を用いて、処理画像の障害物領域内の画像に基づいて、前方車両の検出処理を行う。車両検出部142は、検出結果を示す情報を車両制御装置102に供給する。
通行者検出部541は、所定の手法を用いて、処理画像の障害物領域および路側領域内の画像に基づいて、車両の前方に存在する歩行者、自転車などの通行者の検出処理を行う。通行者検出部541は、検出結果を示す情報、例えば、通行者の人数、位置、進行方向、速度などを示す情報を車両制御装置102に供給する。
車両制御装置102は、車線、前方車両および通行者の検出結果に応じて、所定の処理を行う。例えば、車両制御装置102は、前方車両または通行者との間の車間距離に応じて、車速またはブレーキを制御したり、ドライバへの警報を行うように車両の各部を制御する。また、例えば、車両制御装置102は、自車が走行中の車線をはみ出した場合、ドライバへの警告を行うように、車両の各部を制御する。
次に、図24のフローチャートを参照して、画像処理システム501により実行される画像処理を説明する。なお、この処理は、例えば、画像処理システム501の図示せぬ操作部を介して、ユーザにより画像処理の開始の指令が入力されたとき開始される。
ステップS301において、カメラ511は、撮像を開始する。カメラ511は、撮像した前方画像の領域設定部531への供給を開始する。
ステップS302において、上述した図5のステップS2の処理と同様に、前方の物体の検出処理が開始される。レーダ装置112は、検出結果を示す前方物体情報の領域設定部531への供給を開始する。
ステップS303において、領域設定部531は、分割領域を設定する。例えば、領域設定部531は、カメラ511により図25に示される前方画像が撮像された場合、境界線L21、境界線L22、および、前方画像の端により囲まれた路面領域Dr21、境界線L22、境界線L23、および、前方画像の端により囲まれた路側領域DSL21、境界線L24、境界線L25、および、前方画像の端により囲まれた路側領域DSR21、並びに、境界線L21乃至境界線L25、および、前方画像の端により囲まれた障害物領域Do21の4種類の分割領域を設定する。領域設定部531は、前方画像、および、各分割領域を示す情報を画像生成部532に供給する。
ここで、境界線L21乃至L25の設定方法の一例を説明する。
領域設定部531は、図6の境界線L1を設定する場合と同様の方法により、レーダ装置112により検出された、自車の進行方向の所定の範囲内において自車から最も近い位置に存在する物体(図25の例の場合、人561)と路面の境界を通る境界線L21を設定する。
また、領域設定部531は、自車の進行方向の所定の範囲内において存在する物体(図25の例の場合、人561および車両562)が前方画像において存在するx軸方向の範囲を求め、求めた範囲より所定の長さだけ広い範囲を通る垂直方向の直線を境界線L23およびL25に設定する。
また、領域設定部531は、例えば、ガードレール、歩道と車道との間の段差部分など、走行中の車道の外側において、ほぼ車道に沿うように連続して存在する物体(以下、路側連続体と称する)がレーダ装置112により検出された場合、検出された路側連続体のエッジ部分を境界線L22およびL24に設定する。
図26は、レーダ装置112が所定の範囲内を走査することにより検出された、自車の前方の物体までの距離の分布の例を示すグラフである。なお、図26の横軸は、レーダ座標系のXr軸方向を示し、縦軸はZr軸方向を示している。
例えば、走行中の車道の両端にガードレールが設置されている場合、図26に示されるように、Xr軸方向において、自車の位置より左または右方向にずれた位置に、Zr軸方向に対してほぼ平行に連続して値が分布する領域A1および領域A2が現れる。レーダ装置112は、領域A1または領域A2に示されるような分布を検出した場合、路側連続体が存在すると判断し、路側連続体の存在を示す情報を領域設定部531に供給する。領域設定部531は、例えば、図7を参照して上述した方法に基づいて、路側連続体のレーダ座標系における座標を、画像座標系における座標に変換し、変換した座標を結ぶ直線を境界線L22およびL24に設定する。
なお、レーダ装置112により自車の進行方向の所定の範囲内において物体が検出されなかった場合、前方画像において路面が消失する位置のy座標を通るほぼ水平な線が境界線L21に設定され、境界線L23およびL25は設定されず、障害物領域と路側領域の2種類の分割領域が設定される。また、レーダ装置112により路側連続体が検出されなかった場合、境界線L22およびL24は設定されず、路面領域と障害物領域の2種類の分割領域が設定される。
ステップS304において、画像生成部532は、処理画像を生成する。障害物領域に存在する前方車両および通行者は、自車が衝突する可能性があり、高い検出精度が要求される。一方、路側領域に存在する通行者は、自車が衝突する可能性が低く、障害物領域に存在する車両および通行者ほど高い検出精度は要求されない。また、路面の区画線は単純な形状のものが多いため、画像の解像度を少々落としても、車線の検出精度はほとんど変化しない。
従って、画像生成部532は、前方画像の障害物領域以外の領域内の画像の解像度を落とすことにより、処理画像を生成する。画像生成部532は、処理画像、および、各分割領域を示す情報を車線検出部141、車両検出部142、および、通行者検出部541に供給する。
ステップS305において、検出部522は、検出処理を行う。具体的には、車線検出部141は、所定の手法を用いて、処理画像の路面領域内の画像に基づいて、車線の検出処理を行う。車両検出部142は、所定の手法を用いて、処理画像の障害物領域内の画像に基づいて、前方車両の検出処理を行う。通行者検出部541は、所定の手法を用いて、処理画像の障害物領域および路側領域内の画像に基づいて、通行者の検出処理を行う。
このように、対象ごとに検出処理を行う領域を限定することにより、検出処理の負荷が軽減される。また、路面領域および路側領域内の画像は、解像度を落とすことにより情報量が削減されているため、前方画像をそのまま用いて検出処理を行う場合と比較して、検出処理の負荷が軽減される。さらに、上述したように、情報量を削減しても、必要な検出精度が確保される。
車線検出部141、車両検出部142、および、通行者検出部541は、検出結果を示す情報を車両制御装置102に供給する。
車両制御装置102は、車線検出部141、車両検出部142、および、通行者検出部541による検出結果に基づいて、所定の動作を行う。
ステップS306において、上述した図5のステップS8の処理と同様に、画像処理の停止が指令されたか否かが判定される。画像処理の停止が指令されていないと判定された場合、処理はステップS303に戻り、ステップS306において画像処理の停止が指令されたと判定されるまで、ステップS303乃至S306の処理が繰り返し実行される。一方、ステップS306において、画像処理の停止が指令されたと判定された場合、画像処理は終了する。
このようにして、車線、前方車両および通行者の検出精度を必要なレベルに保ったまま、検出処理の負荷を軽減することができる。従って、検出処理に用いるプロセッサなどを安価に抑えることができる。
次に、図27乃至図29を参照して、本発明の第5の実施の形態について説明する。
図27は、本発明を適用した画像処理システムの第5の実施の形態を示すブロック図である。画像処理システム601は、カメラ511、レーダ装置112、カーナビゲーションシステム611、および、画像処理装置612を含むように構成される。また、画像処理装置612は、前処理部621および検出部522を含むように構成される。さらに、前処理部621は、領域設定部631、および、画像生成部532を含むように構成される。また、検出部522は、車線検出部141、車両検出部142、および、通行者検出部541を含むように構成される。なお、図中、図23と対応する部分については同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。
カーナビゲーションシステム611は、図示せぬGPS(Grobal Positionning System)受信装置により測地衛星からの電波を受信し、現在位置を測定するとともに、HDD(ハードディスク)、DVD(Digital Versatile Disc)などの記録媒体などに記録されている地図情報から、例えば、周辺の道路、施設、地名、道路標識、信号の位置など自車の現在位置の周辺の情報(以下、周辺情報と称する)を取得する。カーナビゲーションシステム611は、自車の現在位置を示す情報(以下、現在位置情報と称する)、および、取得した周辺情報のうち自車の周辺の道路および車線などに関する情報(以下、道路情報と称する)を領域設定部631に供給する。
画像処理装置612は、前方画像、前方物体情報、現在位置情報、および、道路情報に基づいて、車線、前方車両、および、通行者の検出処理を行う。
前処理部621は、前方画像、前方物体情報、現在位置情報、および、道路情報に基づいて、処理画像を生成する。
領域設定部631は、カメラ511から前方画像を取得し、レーダ装置112から前方物体情報を取得し、カーナビゲーションシステム611から現在位置情報および道路情報を取得する。領域設定部631は、図28を参照して後述するように、前方物体情報、現在位置情報および道路情報に基づいて、障害物領域、路面領域、および、路側領域の3種類の分割領域を設定する。領域設定部631は、前方画像、および、各分割領域を示す情報を画像生成部532に供給する。
次に、図28のフローチャートを参照して、画像処理システム601により実行される画像処理を説明する。なお、この処理は、例えば、画像処理システム601の図示せぬ操作部を介して、ユーザにより画像処理の開始の指令が入力されたとき開始される。
ステップS401において、上述した図24のステップS301の処理と同様に、撮像が開始される。カメラ511は、撮像した前方画像の領域設定部631への供給を開始する。
ステップS402において、上述した図5のステップS2の処理と同様に、前方の物体の検出処理が開始される。レーダ装置112は、検出結果を示す前方物体情報の領域設定部631への供給を開始する。
ステップS403において、カーナビゲーションシステム611は、周辺情報の収集を開始する。具体的には、カーナビゲーションシステム611は、図示せぬGPS受信装置により測地衛星からの電波を受信し、現在位置の測定を開始するとともに、記録媒体などに記録されている地図情報からの周辺情報の取得を開始する。カーナビゲーションシステム611は、現在位置情報、および、周辺情報のうち道路情報の領域設定部631への供給を開始する。
ステップS404において、領域設定部631は、分割領域を設定する。例えば、領域設定部631は、カメラ511により図25と同様の前方画像が撮像された場合、図29に示されるように、境界線L31、境界線L32、および、前方画像の端により囲まれた路面領域Dr31、境界線L32、境界線L33、および、前方画像の端により囲まれた路側領域DSL31、境界線L34、境界線L35、および、前方画像の端により囲まれた路側領域DSR31、並びに、境界線L31、境界線L33、境界線L34、境界線L35、および、前方画像の端により囲まれた障害物領域Do31の4種類の分割領域を設定する。領域設定部631は、前方画像、および、各分割領域を示す情報を画像生成部532に供給する。
なお、領域設定部631は、現在位置情報および道路情報に基づいて、自車の現在位置に対する走行中の道路の車線と歩道とを区画する区画線の3次元の座標系における位置を検出する。領域検出部631は、検出した区画線の3次元の座標系における位置を画像座標系の位置に変換する。そして、領域検出部631は、走行中の道路の車線と歩道とを区画する区画線のうち、左側の区画線の車線側のラインを通る線を境界線L32に設定し、右側の区画線の車線側のラインを通る線を境界線L34に設定する。このように、現在位置情報および道路情報を用いることにより、より正確に、路面領域または障害物領域と路側領域との境界線を設定することができる。
なお、境界線L31、境界線L33および境界線L35の設定方法は、上述した領域設定部531による設定方法と同様である。
ステップS405乃至S407の処理は、図24のステップS304乃至S306の処理と同様であり、その説明は繰り返しになるので省略する。
次に、図30乃至図32を参照して、本発明の第6の実施の形態について説明する。
図30は、本発明を適用した画像処理システムの第6の実施の形態を示すブロック図である。画像処理システム701は、カメラ511、レーダ装置112、および、画像処理装置711を含むように構成される。また、画像処理装置711は、前処理部721および検出部522を含むように構成される。さらに、前処理部721は、領域設定部731、および、画像生成部532を含むように構成される。また、検出部522は、車線検出部141、車両検出部142、および、通行者検出部541を含むように構成される。なお、図中、図23と対応する部分については同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。
カメラ511は、撮像した前方画像を、領域設定部731および車線検出部141に供給する。
画像処理装置711は、前方画像および前方物体情報に基づいて、車線、前方車両、および、通行者の検出処理を行う。
前処理部721は、前方画像、前方物体情報、および、車線検出部141による車線の検出結果に基づいて、処理画像を生成する。
領域設定部731は、カメラ511から前方画像を取得し、レーダ装置112から前方物体情報を取得し、車線検出部141から車線の検出結果を示す情報を取得する。領域設定部731は、図31を参照して後述するように、前方物体情報、および、車線の検出結果に基づいて、障害物領域、路面領域、および、路側領域の3種類の分割領域を設定する。領域設定部731は、前方画像、および、各分割領域を示す情報を画像生成部532に供給する。
車線検出部141は、所定の手法を用いて、前方画像に基づいて、車線の検出処理を行い、検出結果を示す情報を車両制御装置102に供給する。また、車線検出部141は、車線の検出処理において検出された、走行中の道路の車線と歩道とを区画する区画線の車線側のラインの位置を示す情報を領域設定部731に供給する。
次に、図31のフローチャートを参照して、画像処理システム701により実行される画像処理を説明する。なお、この処理は、例えば、画像処理システム701の図示せぬ操作部を介して、ユーザにより画像処理の開始の指令が入力されたとき開始される。
ステップS501において、上述した図24のステップS301の処理と同様に、撮像が開始される。カメラ511は、撮像した前方画像の車線検出部141および領域設定部731への供給を開始する。
ステップS502において、上述した図5のステップS2の処理と同様に、前方の物体の検出処理が開始される。レーダ装置112は、検出結果を示す前方物体情報の領域設定部731への供給を開始する。
ステップS503において、車線検出部141は、車線の検出処理を行う。具体的には、車線検出部141は、所定の手法を用いて、前方画像に基づいて、車線の検出処理を行う。車線検出部141は、検出結果を示す情報を車両制御装置102に供給する。また、車線検出部141は、走行中の道路の車線と歩道とを区画する区画線の車線側のラインの位置を示す情報を領域設定部731に供給する。
図32は、片側一車線の道路を撮像した前方画像の例を模式的に示した図である。例えば、車線検出部141は、車線の検出処理において、車道を区分する区画線751M、車道と歩道を区分する区画線751Lおよび751Rを検出し、区画線751Lの車道側のライン752Lおよび区画線751Rの車道側のライン752Rの前方画像上の位置を示す情報を領域設定部731に供給する。
ステップS504において、領域設定部731は、上述した図28のステップS404の処理と同様に、分割領域を設定する。ただし、領域設定部731は、路面領域または障害物領域と路側領域とを区分する境界線を、車線検出部141により検出された、走行中の道路の車線と歩道とを区画する区画線の車線側のラインの位置に基づいて設定する。このように、車線の検出結果を用いることにより、より正確に、路面領域または障害物領域と路側領域との境界線を設定することができる。領域設定部731は、前方画像、および、各分割領域を示す情報を画像生成部532に供給する。
ステップS505において、上述した図24のステップS304の処理と同様に、処理画像が生成される。画像生成部532は、生成した処理画像、および、各分割領域を示す情報を車両検出部142、および、通行者検出部541に供給する。
ステップS506において、検出部522は、車両および通行者の検出処理を行う。具体的には、車両検出部142は、所定の手法を用いて、処理画像の障害物領域内の画像に基づいて、前方車両の検出処理を行う。通行者検出部541は、所定の手法を用いて、処理画像の障害物領域および路側領域内の画像に基づいて、通行者の検出処理を行う。車両検出部142および通行者検出部541は、検出結果を示す情報を車両制御装置102に供給する。
車両制御装置102は、車線検出部141、車両検出部142、および、通行者検出部541による検出結果に基づいて、所定の動作を行う。
ステップS507において、上述した図5のステップS8の処理と同様に、画像処理の停止が指令されたか否かが判定される。画像処理の停止が指令されていないと判定された場合、処理はステップS503に戻り、ステップS507において画像処理の停止が指令されたと判定されるまで、ステップS503乃至S507の処理が繰り返し実行される。一方、ステップS507において、画像処理の停止が指令されたと判定された場合、画像処理は終了する。
次に、図33および図34を参照して、本発明の第7の実施の形態について説明する。
図33は、本発明を適用した画像処理システムの第7の実施の形態を示すブロック図である。画像処理システム801は、カメラ811、レーダ装置112、および、画像処理装置812を含むように構成される。また、画像処理装置812は、前処理部821および検出部522を含むように構成される。さらに、前処理部821は、領域設定部831、および、画像選択部832を含むように構成される。また、検出部522は、車線検出部141、車両検出部142、および、通行者検出部541を含むように構成される。なお、図中、図23と対応する部分については同じ符号を付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。
カメラ811は、例えば、CCD撮像素子、CMOS撮像素子、または、対数変換型撮像素子などを用いたカメラにより構成される。カメラ811は、例えば、上述した図4に示されるカメラ111とほぼ同じ位置に設置され、前方画像を撮像する。
また、カメラ811は、少なくとも可視光領域から近赤外光領域までの光に対して十分な感度を有しており、被写体に近赤外光を照射しながら撮像を行う。また、カメラ811は、可視光以外の波長帯域の光をカットするフィルタ、および、可視光の波長帯域の光をカットするフィルタの2種類のフィルタを有しており、2種類のフィルタを1フレーム毎に交互に切換えながら撮像を行う。すなわち、車両の前方のほぼ同じ光景に対して、可視光領域を撮像した前方画像(以下、可視光画像と称する)、および、近赤外光領域を撮像した前方画像(以下、近赤外光画像と称する)の2種類の前方画像が撮像される。カメラ811は、撮像した前方画像を領域設定部831に供給する。
画像処理装置812は、前方画像、および、前方物体情報に基づいて、車線、前方車両、および、通行者の検出処理を行う。
前処理部821は、前方画像、前方物体情報、および、自車情報に基づいて、処理画像を生成する。
領域設定部831は、カメラ811から前方画像を取得し、レーダ装置112から前方物体情報を取得する。領域設定部831は、前方物体情報に基づいて、路面領域、路側領域、および、障害物領域の3種類の分割領域を設定する。領域設定部831は、前方画像、および、各分割領域を示す情報を画像選択部832に供給する。
画像選択部832は、自車情報を車両制御装置102から取得する。画像選択部832は、図34を参照して後述するように、自車の前方の明るさに基づいて、可視光画像および近赤外光画像の中から処理画像を選択する。画像選択部832は、選択した処理画像、および、各分割領域を示す情報を車線検出部141、車両検出部142、および、通行者検出部541に供給する。
次に、図34のフローチャートを参照して、画像処理システム801により実行される画像処理について説明する。なお、この処理は、例えば、画像処理システム801の図示せぬ操作部を介して、ユーザにより画像処理の開始の指令が入力されたとき開始される。
ステップS601において、カメラ811は、撮像を開始する。具体的には、カメラ811は、2種類のフィルタを1フレーム毎に交互に切換えながら、可視光画像および近赤外光画像の撮像を開始し、撮像した可視光画像および近赤外光画像の領域設定部831への供給を開始する。
ステップS602において、上述した図5のステップS2の処理と同様に、前方の物体の検出処理が開始される。レーダ装置112は、検出結果を示す前方物体情報の領域設定部831への供給を開始する。
ステップS603において、領域設定部831は、分割領域を設定する。具体的には、領域設定部831は、上述した図24のステップS303の領域設定部531による処理と同様に、路面領域、路側領域、および、障害物領域を設定する。領域設定部831は、フレームが互いに隣接する可視光画像および近赤外光画像、並びに、各分割領域を示す情報を画像選択部832に供給する。
ステップS604において、画像選択部832は、上述した図5のステップS4の画像生成部131の処理と同様に、前方が暗い状態であるかを判定する。前方が暗い状態でないと判定された場合、処理はステップS605に進む。
ステップS605において、画像選択部832は、可視光画像を処理画像に選択する。画像選択部832は、可視光画像、および、各分割領域を示す情報を車線検出部141、車両検出部142、および、通行者検出部541に供給する。
ステップS606において、検出部522は、可視光画像に基づいて、検出処理を行う。具体的には、車線検出部141は、所定の手法を用いて、可視光画像の路面領域内の画像に基づいて、車線の検出処理を行う。車両検出部142は、所定の手法を用いて、可視光画像の障害物領域内の画像に基づいて、前方車両の検出処理を行う。通行者検出部541は、所定の手法を用いて、可視光画像の障害物領域および路側領域内の画像に基づいて、通行者の検出処理を行う。
車線検出部141、車両検出部142、および、通行者検出部541は、検出結果を示す情報を車両制御装置102に供給する。
車両制御装置102は、車線検出部141、車両検出部142、および、通行者検出部541による検出結果に基づいて、所定の動作を行う。
その後、処理はステップS608に進む。
ステップS604において、前方が暗い状態であると判定された場合、処理はステップS607に進む。
ステップS607において、画像選択部832は、可視光画像および近赤外光画像を処理画像に選択する。画像選択部832は、可視光画像、および、分割領域を示す情報を車線検出部141に供給する。また、画像選択部832は、可視光画像、近赤外光画像、および、各分割領域を示す情報を、車両検出部142および通行者検出部541に供給する。
ステップS608において、上述したステップS606の処理と同様に、可視光画像に基づいて、検出処理が行われる。
ステップS609において、検出部522は、近赤外光画像に基づいて、検出処理を行う。具体的には、車両検出部142は、所定の手法を用いて、近赤外光画像の障害物領域内の画像に基づいて、前方車両の検出処理を行う。通行者検出部541は、所定の手法を用いて、近赤外光画像の障害物領域内の画像に基づいて、通行者の検出処理を行う。車線検出部141、車両検出部142および通行者検出部541は、ステップS608およびS609の検出結果を示す情報を車両制御装置102に供給する。
車両制御装置102は、車線検出部141、車両検出部142、および、通行者検出部541による検出結果に基づいて、所定の動作を行う。
ステップS610において、上述した図5のステップS8の処理と同様に、画像処理の停止が指令されたか否かが判定される。画像処理の停止が指令されていないと判定された場合、処理はステップS603に戻り、ステップS610において画像処理の停止が指令されたと判定されるまで、ステップS603乃至S610の処理が繰り返し実行される。一方、ステップS610において、画像処理の停止が指令されたと判定された場合、画像処理は終了する。
このようにして、自車の前方が暗い状態において、近赤外光画像を用いることにより、前方車両および通行者の検出精度を向上させることができる。また、近赤外光画像に基づいて検出処理を行う場合、検出処理を行う領域を限定することにより、処理の負荷が軽減される。従って、検出処理に用いるプロセッサなどを安価に抑えることができる。
なお、以上の説明では、車両の前方に存在する物体を検出する例を示したが、本発明は、例えば、車両の後方など、前方以外の他の方向の物体を検出するようにする場合にも適用することが可能である。
また、各実施の形態において、各対象の検出処理を、1つのプロセッサを用いてシリアルに実行するようにしてもよいし、複数のプロセッサを用いてパラレルに実行するようにしてもよい。
さらに、本発明は、上述した車載用に限らず、画像を用いて複数の対象の検出を行う検出処理用の処理画像を生成する画像処理装置に適用できる。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図35は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータ900の構成の例を示すブロック図である。CPU(Central Processing Unit)901は、ROM(Read Only Memory)902、または記録部908に記憶されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)903には、CPU901が実行するプログラムやデータなどが適宜記憶される。これらのCPU901、ROM902、およびRAM903は、バス904により相互に接続されている。
CPU901にはまた、バス904を介して入出力インタフェース905が接続されている。入出力インタフェース905には、キーボード、マウス、マイクロホンなどよりなる入力部906、ディスプレイ、スピーカなどよりなる出力部907が接続されている。CPU901は、入力部906から入力される指令に対応して各種の処理を実行する。そして、CPU901は、処理の結果を出力部907に出力する。
入出力インタフェース905に接続されている記録部908は、例えばハードディスクからなり、CPU901が実行するプログラムや各種のデータを記憶する。通信部909は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。
また、通信部909を介してプログラムを取得し、記録部908に記憶してもよい。
入出力インタフェース905に接続されているドライブ910は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア911が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部908に転送され、記憶される。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図35に示すように、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む)、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア911、または、プログラムが一時的もしくは永続的に格納されるROM902や、記録部908を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部909を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。