JP3930268B2 - 接近車両検知及び車線位置検知を行う画像処理装置 - Google Patents
接近車両検知及び車線位置検知を行う画像処理装置 Download PDFInfo
- Publication number
- JP3930268B2 JP3930268B2 JP2001191968A JP2001191968A JP3930268B2 JP 3930268 B2 JP3930268 B2 JP 3930268B2 JP 2001191968 A JP2001191968 A JP 2001191968A JP 2001191968 A JP2001191968 A JP 2001191968A JP 3930268 B2 JP3930268 B2 JP 3930268B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- imaging
- lane
- imaging unit
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【０００１】
【産業上の利用分野】
本発明は、車両の左右前方における車線位置検知と接近車両の検知を行う画像処理装置に関する。
【０００２】
【従来の技術】
車両の検知を行う画像処理装置の従来の技術としては、例えば、特開平１１−５９２７２号公報に記載された技術がある。この公報記載の技術は、車両の先端に設けられた撮像手段により、山形ミラーに反射した車両左右前方の映像を撮影し、表示する。これにより、左右両方向の死角範囲を観察する事が可能である。
【０００３】
また、上記公報と同様の技術としては、例えば、特開平１１−３３８０７４号公報、特開平１１−３３１８３４号公報、特開平１０−１９６４３号公報に記載されたものがある。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述した従来技術によれば、車両の左右両方向の死角範囲を観察する事は可能であるが、前方方向の監視は行えない。
【０００５】
そこで、車両の左右両方向を監視するカメラと、車両の中央に配置し、前方方向を監視するカメラとを同時に用いることが考えられる。
【０００６】
ところが、車両の中央に配置されたカメラでは、その車両が先行車両に接近していると先行車両が障害となって走行路の車線が監視できなくなり、車線位置を検知することが困難になるという問題がある。
【０００７】
本発明の目的は、先行車両に接近した場合であっても、車線位置の検知と左右両方向の死角範囲の監視との両方を可能にする画像処理装置を実現することである。
【０００８】
【課題を解決するための手段】
上記目的を達成するため、本発明は次のように構成される。
（１）接近車両検知及び車線位置検知を行う画像処理装置において、自車両に配置され、この自車両の前方領域と一方の側方領域とを撮像領域とする第１の撮像部と、自車両に配置され、この自車両の前方領域と他方の側方領域とを撮像領域とする第２の撮像部とを備える。
【０００９】
（２）好ましくは、上記（１）において、第１の撮像部及び第２の撮像部のそれぞれは、上記自車両の前方の走行車線を撮像領域の一方の半分の領域内で撮像するとき、上記自車両の先端面の延長線を他方の半分の領域内で撮像する。
【００１０】
（３）また、好ましくは、上記（１）及び（２）において、自車両が所定の車両速度以下の場合には、自車両が交差点に位置するか否かを判定し、自車両が交差点内に位置するときには、接近する他車両が存在するか否かを判定する。
【００１１】
（４）また、好ましくは、上記（１）及び（２）において、第１の撮像部又は第２の撮像部のいずれか一方の撮像部の映像情報で車線位置検知ができないときには他方の撮像部の映像情報で車線位置検知を行う。
【００１２】
（５）また、好ましくは、上記（２）において、第１の撮像部及び第２の撮像部のそれぞれは、１つもしくは複数の撮像デバイスを有し、上記撮像デバイズにより水平方向に広い範囲を撮像する。
【００１３】
（６）また、好ましくは、上記（１）及び（２）において、撮像映像中の車線の消失点と車線の水平方向との位置関係に基づいて、車線位置関係および車線逸脱状況を判定する。
【００１４】
（７）また、好ましくは、上記（１）及び（２）において、第１の撮像部及び第２の撮像部のそれぞれは、ウインカランプ等と一体成形するときに、ウインカランプ等の光を遮断する手段を有する。
【００１５】
上述のように構成した本発明によれば、先行車に接近してもどちらかの撮像部により車線が検出され、車線位置検知が確実に実行され、自車両の左右両方向の監視も可能となる。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態について添付図面を参照して詳細に説明する。
図１は、本発明の一実施形態に係わる接近車両位置検知を行う画像処理装置のシステム構成を示す図である。
【００１７】
図１において、画像処理装置は、自車両の右前方を撮像する撮像部１（第１の撮像部）と、自車両の左前方を撮像する撮像部２（第２の撮像部）と、方向指示操作器３と、自車速度検出部４と、ナビ装置５と、警報器６と、モニタ７と、ステア制御器８と、処理部９とを備える。
【００１８】
処理部９は、ナビ装置５からの交差点情報と、自車速度検出部４からの自車速度情報と、方向指示操作器３からの右左折情報とにより、左右の撮像部１、２からの映像情報に対して車線位置検知処理、割込み車両検知処理、交差点接近車両検知処理を行う。
【００１９】
また、処理部９からの出力である車線位置検知結果は、ステア制御器８に出力され、このステア制御器８において、走行車線を基準にして、自車両の走行を安定維持する制御を行う。
【００２０】
また、処理部９は、割込み車両検知結果及び交差点接近車両検知結果と、自車速度情報と右左折情報等とから、自車両の危険度を推定し、警報器６を介して運転者に対して警報を行う。
【００２１】
さらに、処理部９は、推定した危険度に応じて、映像情報に加工を施し、モニタ７により運転者へ表示する。
例えば、モニタ７の表示では、自車両への接近車両を検知したときには、検知した車両を囲むような４角形を表示する。このとき、４角形を描画する線の色を危険度が高くなるにつれ、緑色から黄色、赤色の変化させ、運転者へ危険度を報知する。
【００２２】
次に、図２を参照して、撮像部１、２の自車両への取付け位置を説明する。 図２において、自車両１０の前方の両サイド(コーナー)の位置に撮像部１、２を取り付ける。
【００２３】
自車両１０の前方両サイドに撮像部１、２を取り付けた場合、撮像部１、２の撮像エリアは、それぞれ水平方向に１５０度の範囲を持っており、垂直方向には６０度の範囲を備えている。
【００２４】
また、撮像方向、つまり、撮像領域の中心点の撮影深度方向への延長線は、自車両１０の水平方向に関しては、自車両１０の進行方向から４５度傾いた方向に設定される。
【００２５】
これによって、撮像部１、２は、自車両１０の進行方向より、自車両１０の中心軸方向に３０度傾斜した領域までが撮像領域となる。同様に、撮像部１、２は、自車両１０の進行方向から９０度の方向より、自車両１０の後方側に３０度傾斜した領域までが撮像領域となる。
【００２６】
また、上記撮像深度方向への延長線は、自車両１０の垂直方向に関しては３度下向きに設定する。
【００２７】
上述のような取付位置及び姿勢で自車両１０に取り付けた撮像部１、２からの映像情報は、撮像部１による撮像画面は、図３に示すような車線マーカのとき、図４に示すようになり、また、撮像部２による撮像画面は、撮像部１による撮像画面を左右を反転したようになる。
【００２８】
なお、図３及び図４において、Ｌ２は、車両１０に関して左側路面に表された線、Ｒ１、Ｒ２は、車両１０に関して右側路面に表された線であり、Ｃ＿Ｘは、自車両１０が車線内を直進しているときの撮像画面上で車線の消失点のあるＸ方向(水平方向)位置であり、Ｈは地平線を示す。
【００２９】
また、図３において、横軸は車両１０の撮像部１を取り付けた位置を基準として、右方向をプラス、左方向をマイナスとした場合の距離を示し、縦軸は車両１０の撮像部１を取り付けた位置を基準として、図３の上方向をプラス、下方向をマイナスとした場合の距離を示す。
【００３０】
また、図４において、横軸及び縦軸は、撮像画面における基準座標（０，０）に対す座標位置を示す。
【００３１】
ここで、撮像部１、２の内部構成について図５を用いて説明する。
図５において、ＣＣＤもしくはＣＭＯＳセンサからなる撮像デバイス２１から出力されるデジタル画像データは、１画素ずつ転送デバイス２２のバッファ２２−１に取り込まれる。このバッファ２２−１に１ライン分のデータが転送されると、バッファ２２−１から送信用のバッファ２２−２にデータが転送され、これらのデータをまとめてＲＡＭ２５内の映像データ保存領域に転送される。
【００３２】
これらのデータの転送は、Ｔ／Ｇ(タイミングジェネレータ)２７から出力する同期信号に従い動作する。この同期信号とは、１画面の区切り、１ラインの区切り、１画素の区切りなどを表す信号である。
【００３３】
そして、１画面分の画像データがＲＡＭ２５内の映像データ保存領域に転送されると、ＲＯＭ２４に記述されているプログラムに従い、ＣＰＵ２３は画像処理、画像認識を行う。
【００３４】
このＣＰＵ２３による画像処理と画像認識とにより、車線マーカや車両を抽出する。抽出方法については、ここでは省略する。この抽出した情報がＣＡＮ２６から出力される。
【００３５】
また、ウインカランプ１１、１２の点滅信号が入出力ポート２８から入力され、プログラムに従いＣＰＵ２３は、ランプ点灯時には、撮像デバイス２１の露光制御において受光光量が少なくするように調整する。
【００３６】
例えば、ＣＰＵ２３は、シャッタ速度を１／６０から１／１２０と速くすることにより、受光光量を少なくする。逆に、ウインカランプ１１、１２消灯時には、撮像デバイス２１の露光制御により受光光量を大きくする。
【００３７】
さらに、ＣＰＵ２３は、抽出した車線マーカの情報から車線の曲率、車線と自車両１０との横方向距離、車線に対する自車両１０の進行方向角度を算出する。
【００３８】
また、自車両１０の前方両サイドに撮像部１、２を取り付けた場合、上述した説明では、撮像部１、２の各部で各々１つの撮像デバイス２１で撮像エリアを、水平方向には１５０度の範囲、垂直方向には６０度の範囲としていた。
【００３９】
しかしながら、１つの撮像部に２つの撮像デバイス２１−１、２１−２を備えたものでも良い。以下、図６、図７を参照して、１つの撮像部に２つの撮像デバイス２１−１、２１−２を備えた構成について説明する。
図６及び図７において、１つの撮像デバイス２１−１の撮像方向、つまり、撮像領域の中心点の撮影深度方向への延長線は、自車両１０の水平方向に関しては、自車両１０の進行方向に設定される。他方の撮像デバイス２１−２の撮像方向は、自車両１０の進行方向から７０度傾いた方向に設定される。
【００４０】
ここで、撮像デバイス２１−１、２１−２の撮像エリアは、互いに１０度のエリアを重ねて撮像することとなる。
【００４１】
これによって、撮像部１、２は、自車両１０の進行方向より、自車両１０の中心軸方向に３０度傾斜した領域までが撮像領域となる。同様に、撮像部１、２は、自車両１０の進行方向から９０度の方向より、自車両１０の後方側に３０度傾斜した領域までが撮像領域となる。
【００４２】
また、上記撮像深度方向への延長線は、自車両１０の垂直方向に関しては３度下向きに設定する。
【００４３】
ここで、撮像部１、２の内部構成について図７を用いて説明する。
図７において、ＣＣＤもしくはＣＭＯＳセンサからなる撮像デバイス２１−１、２１−２から出力されるデジタル画像データは、転送デバイス２２のバッファ２２−１、２２−３に１画素ずつ取り込まれる。１ライン分のデータがバッファ２２−１、２２−３に転送されると、まず、バッファ２２−１のデータが送信用のバッファ２２−２に転送され、これらのデータをまとめてＲＡＭ２５内の映像データ保存領域に転送する。
【００４４】
その後、バッファ２２−３のデータが送信用のバッファ２２−２に転送され、これらのデータがまとめられてＲＡＭ２５内の映像データ保存領域に転送される。これらのデータの転送は、Ｔ／Ｇ(タイミングジェネレータ)から出力する同期信号に従い、動作する。この同期信号とは、１画面の区切り、１ラインの区切り、１画素の区切りなどを表す信号である。
【００４５】
そして、２つの撮像デバイス２１−１、２１−２の各１画面分の画像データがＲＡＭ２５内の映像データ保存領域に転送されると、ＲＯＭ２４に格納されているプログラムに従い、ＣＰＵ２３は画像処理、画像認識を行う。
【００４６】
ＣＰＵ２３による画像処理と画像認識とにより、車線マーカや車両を抽出する。抽出方法については、ここでは省略する。この抽出した情報がＣＡＮ２６から出力される。
【００４７】
また、ウインカランプ１１、１２の点滅信号を入出力ポート２８から入力し、プログラムに従いＣＰＵ２３は、ランプ点灯時には、撮像デバイス２１−１、２１−２の露光制御により受光光量を少なくするように調整する。
【００４８】
例えば、ＣＰＵ２３は、シャッタ速度を１／６０から１／１２０と速くすることにより、受光光量を少なくする。逆に、ランプ消灯時には、撮像デバイス２１−１、２１−２の露光制御により受光光量を大きくする。
【００４９】
さらに、ＣＰＵ２３は、抽出した車線マーカの情報から車線の曲率、車線と自車両との横方向距離、車線に対する自車両の進行方向角度を算出する。
【００５０】
上述のような取付位置及び姿勢で自車両１０に取り付けた撮像部１からの映像情報は、図８に示すような状態の撮像デバイス２２−１、つまり、撮像デバイス２２−１が、線Ｌ２とＲ２との間にあり、Ｒ２の方に近いところに位置し、線Ｒ１は撮像領域には無い状態の場合には、図９に示すような撮像画面となる。
【００５１】
また、図１０に示すような状態の撮像デバイス２２−２、つまり、撮像デバイス２２−２が、線Ｌ２とＲ２との間にあり、Ｒ２の方に近いところに位置し、線Ｒ１、Ｒ２は撮像領域内にあるが線Ｌ１は無い状態の場合には、図１１に示すような撮像画面となる。
【００５２】
なお、図８、図９、図１０、図１１において、Ｌ１、Ｌ２は、車両１０に関して左側路面に表された線、Ｒ１、Ｒ２は、車両１０に関して右側路面に表された線であり、Ｃ＿Ｘは、自車両１０が車線内を直進しているときの撮像画面上での車線の消失点のあるＸ方向(水平方向)位置であり、Ｈは地平線を示す。
ここで、処理部９の内部構成について図１２を用いて説明する。
図１２において、ＲＯＭ２４に格納されているプログラムに従い、ＣＰＵ２３は車線位置検出、車両検出などの処理を行う。これらの処理行う上で必要な情報は、ＣＡＮ２５を介して接続されているさまざまな機器から入手する。さらに、処理の結果をＣＡＮ２６を介して、必要な機器に出力する。
【００５３】
次に、図１３を用いて、撮像部１、２及び処理部９における検出処理のメインとなる処理について詳細に説明する。なお、初期化処理、画像取込処理等の説明は、ここでは省略する。
【００５４】
図１３において、ｓｔｅｐ１では、左側の撮像部２において取込んだ上記２つの露光制御による映像情報に対して平均化する合成処理を行い、明るい領域と暗い領域との両方が適切な明るさとする。
【００５５】
次に、ｓｔｅｐ２では、ｓｔｅｐ１で合成された映像に対して、左側エッジ抽出処理を行い、このエッジ抽出処理に基づいて、ｓｔｅｐ３で、左側車線位置検知を行う。（処理結果として撮像画面上での白癬の位置座標を算出し、ＣＡＮ２６を介して処理部に出力する。
【００５６】
続いて、ｓｔｅｐ４では、（自車速度検出部から受け取った）自車両１０の車速が１０ｋｍ／ｈ以上であるか否かの判定を行う。そして、ｓｔｅｐ４において、自車両１０の車速が１０ｋｍ／ｈ以上であれば、ｓｔｅｐ１２に進み、ＣＡＮ２６を介して撮像部２に対して左側前側車両の検出処理を行うように指示する。
【００５７】
ｓｔｅｐ４において、車速が１０ｋｍ／ｈ未満であれば、ｓｔｅｐ１１に進み、処理部９において左側の交差点の判定を行う。
【００５８】
このｓｔｅｐ１１における交差点の判定には、車線の検出結果やナビからの情報を用いて行う。そして、ｓｔｅｐ１１において、交差点では無いと判定すれば、ｓｔｅｐ１２に進み、それ以降の処理を行う。
【００５９】
ｓｔｅｐ１１において、交差点であると判定すれば、ｓｔｅｐ１３に進み、自車両１０の左側側方接近車両の検出処理を行う。すなわち、自車両１０の走行車線に平行する車線内、さらには交差する車線内の車両の有無を検出する。そして、処理は、ｓｔｅｐ１４に進む。
【００６０】
ｓｔｅｐ１４においては、ｓｔｅｐ１２又はｓｔｅｐ１３における車両検出結果により、自車両の左側に対して、割込み車両あるいは対向車両との衝突の危険度を判定する。
【００６１】
次に、処理はｓｔｅｐ２１に進み、右側の撮像部１における取込んだ２つの露光制御による映像情報に対して平均化する合成処理を行い、明るい領域と暗い領域の両方を適切な明るさとする。
【００６２】
続いて、処理はｓｔｅｐ２２に進み、ｓｔｅｐ２１で得られた合成映像に対して、右側エッジ抽出処理を行い、ｓｔｅｐ２３で、エッジ抽出結果を用いて右側車線位置検知処理を行う。処理結果として、撮像画面上での白線の位置座標を算出し、ＣＡＮ２６を介して処理部９に出力する。
【００６３】
次に、ｓｔｅｐ２４で、自車速度検出器４から受け取った自車両１０の車速が１０ｋｍ／ｈ以上であるか否かの判定を行う。ｓｔｅｐ２４で車速が１０ｋｍ／ｈ以上であると判定すれば、ｓｔｅｐ３２において、ＣＡＮ２６を介して撮像部１に対して右側前側方車両の検出処理を行う。そして、処理はｓｔｅｐ３２からｓｔｅｐ３４に進む。
【００６４】
ｓｔｅｐ２４で、車速が１０ｋｍ／ｈ未満であると判定すれば、ｓｔｅｐ３１において、処理部９で右側の交差点の判定を行う。このｓｔｅｐ３１における交差点の判定には、車線の検出結果やナビからの情報を用いて行う。
【００６５】
ｓｔｅｐ３１において、交差点でないと判定すれば、ｓｔｅｐ３２以降の処理を行う。
【００６６】
ｓｔｅｐ３１において、交差点であると判定すれば、ｓｔｅｐ３３に進み、右側側方接近車両の検出処理を行う。すなわち、自車両１０の走行車線に平行する車線内、さらには交差する車線内の車両の有無を検出する。そして、処理はｓｔｅｐ３４に進む。
【００６７】
ｓｔｅｐ３４では、ｓｔｅｐ３２又はｓｔｅｐ３３の車両検出結果により、自車の右側に対して、割込み車両あるいは対向車両との衝突の危険度を判定する。そして、処理はステップｓｔｅｐ４１に進む。
【００６８】
ｓｔｅｐ４１では、ｓｔｅｐ３、ｓｔｅｐ２３にて処理された左右の車線位置検知結果から自車両と車線との位置関係を算出して、それを表す情報(車線位置検知結果)を出力する。
【００６９】
次に、車線と自車両１０との位置関係を、図３、図４、図１４〜図１７を用いて説明する。
図３は、撮像部１から右側に１ｍ離れた所に右側の白線があり、車線幅は３ｍの位置関係を示している。このとき撮像部１で撮像される映像は図４に示すようになる。
【００７０】
図１４は、撮像部１と同じ位置に右側の白線があるときの位置関係を示している。このとき撮像部１で撮像される映像は図１５となる。
【００７１】
図１６は、撮像部１から左側に１ｍ離れた所に右側の白線があり、車線幅は３ｍの位置関係を示している。このとき撮像部１で撮像される映像は図１７となる。
【００７２】
ここで、自車両１０は車線に対して直進している。このとき、撮像映像の図４、図１５、図１７において、車線の消失点の位置は変化しない。また、自車両１０が車線内を走行しているときは、図４に示すように、右側の白線は、消失点より右側にある。また、白線上に撮像部１、２が位置したときは、図１５に示すように、消失点の垂直線上にある。また、自車両１０が車線を逸脱しているときは、図１７に示すように右側の白線は、消失点より左側にある。
【００７３】
すなわち、消失点の水平方向の位置Ｃ＿Ｘを記憶しておき、検知された白線の延長線と車線位置判定線との交点の水平方向位置Ｊ＿Ｘを算出し、Ｃ＿Ｘ−Ｊ＿Ｘの値で車線位置を判断することができる。
【００７４】
また、自車両１０が車線に対して斜めに走行しているとき、消失点位置は、右斜めに走行時は左に、左斜めに走行時は、右に移動する。車線がカーブしているときも消失点が移動することとなる。そこで、この移動量から逸脱時間を推定することができる。
【００７５】
撮像部１、２が２つの撮像デバイス２１−１、２１−２から構成される場合は、図８、図９に示すように同様の手法を用いることができる。
【００７６】
そして、ｓｔｅｐ４２では、ｓｔｅｐ４１により得られた車線位置検知結果から自車両の車線逸脱度合いを判定処理する。
【００７７】
続いて、ｓｔｅｐ４３では、ｓｔｅｐ１４、３４で判定された危険度に基づいて、接近車両の存在の報知と、衝突の危険度に応じて警報とを行う。さらには、ｓｔｅｐ４２で判定された車線逸脱度合いに応じた警報を行う。
【００７８】
以上のｓｔｅｐ１〜ｓｔｅｐ４３の処理を繰り返し行うことで、警報や車線位置検知結果の出力を行う。
【００７９】
ここで、ｓｔｅｐ４１の処理を行う上で重要となる消失点の位置は、撮像部１、２の取り付け方向がずれると消失点位置もずれ、車線位置検出結果などに影響する。そこで、図１８を用いて、消失点位置の補正方法を示す。
【００８０】
図１８のｓｔｅｐ７１から７３において、自車両１０が直進走行中であるかを判定する。直進走行中であると判断したときには、ｓｔｅｐ７４で白線が検知されているか否かを判定し、白線が検知されている場合には、ｓｔｅｐ７５において、所定時間経過したか否かが判定される。
【００８１】
ｓｔｅｐ７５で所定時間が経過していないと判定された場合には、ｓｔｅｐ７６で消失点の時間的平均位置を算出する。
【００８２】
ｓｔｅｐ７５で、所定時間経過したと判定された場合は、ｓｔｅｐ７７に進み、算出した消失点の平均位置の分散が小さいか否かを判定する。このｓｔｅｐ７７において、消失点の平均位置の分散が小さいとき、すなわち、直線車線を直進走行したと判定したときには、ｓｔｅｐ７８に進み、消失点位置を算出した平均位置に更新する。
【００８３】
以上のように、本発明の一実施形態によれば、自車両１０の前方の両サイドの位置に、撮像エリアが、水平方向には１５０度の範囲を備え、垂直方向には６０度の範囲を備える撮像部１、２を取り付ける。そして、撮像部１、２の撮像領域の中心点の撮影深度方向への延長線は、自車両１０の水平方向に関しては、自車両１０の進行方向から４５度傾いた方向に設定される。また、上記撮像深度方向への延長線は、自車両１０の垂直方向に関しては３度下向きとなるように、撮像部１、２を設定する。
【００８４】
したがって、先行車両に接近した場合であっても、車線位置の検知と左右両方向の死角範囲に接近する車両等の監視との両方を可能にする画像処理装置を実現することができる。
【００８５】
なお、上記撮像部１、２は、単独で車両１０に取り付けられてもよく、さらには、防水構造のヘッドランプ、ウインカランプ等と一体成形することも可能である。この場合、撮像部１、２の光学系のレンズとして、ウインカランプの拡散板の一部に加工を施して、ウインカランプからの光は遮断し、外界からの光を集光するように使用することも可能である。
【００８６】
撮像部１、２をヘッドランプ等と一体成形した場合には、撮像部１、２の取付け方向調整や取付け性などを向上することができる。
【００８７】
さらには、撮像部１、２と一体成形したものの前方透過部分にヘッドランプと撮像部１、２についた雨などを拭き取るワイパーなどが装着されていれば、なお良い。
【００８８】
また、撮像部１、２には、ウインカランプ１１、１２あるいはターニングランプからの動作情報を入力し、ウインカランプ１１、１２の点滅などによる露光条件の悪化を防ぐように撮像部１、２が露光を制御して撮像対象物に確認性を向上する。
【００８９】
さらに、接近車両(対向車など)のヘッドライトの明かりを撮像部１、２が受けたときにも、撮像部１、２は、最適な露光条件となるよう露光を制御する。
【００９０】
すなわち、特に、夜間において、自車両１０のヘッドライトにより照らされた領域は明るく、それ以外の領域は暗い。
【００９１】
そこで、撮像部１、２は、明るい領域に適した露光制御と暗い領域に適した露光制御を交互に高速に行い、処理部９に映像情報を出力する。
【００９２】
そして、処理部９は、明るい領域に適した露光制御と暗い領域に適した露光制御との２つの露光制御による映像情報を取込み、この映像情報を用いて車線等の検出処理を行う。
【００９３】
さらに、ウインカランプ１１、１２あるいはターニングランプの点滅により明るさが変化する。
【００９４】
したがって、この点滅の周期に同期させて、明るい領域に適した露光制御と暗い領域に適した露光制御の制御量を若干修正して露光制御を交互に高速に行い、処理部９に映像情報を出力する。
【００９５】
処理部９においては、撮像部１、２のおけるこれらの露光制御による映像情報を取込み、この映像情報を用いて車線等の検出処理を行う。
【００９６】
【発明の効果】
本発明によれば、自車両の前方の両サイドの位置に、それぞれ、車両前方と側方とを撮像可能な２台の撮像部が配置される。
【００９７】
したがって、先行車両に接近した場合であっても、車線位置の検知と左右両方向の死角範囲に接近する車両等の監視との両方を可能にする画像処理装置を実現することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態である画像処理装置のシステム構成図である。
【図２】本発明の一実施形態である画像処理装置の車両への取り付け位置の説明図である。
【図３】本発明の一実施形態における撮像映像を説明する図である。
【図４】本発明の一実施形態における撮像映像を説明する図である。
【図５】本発明の一実施形態における撮像部の構成図である。
【図６】本発明の一実施形態である画像処理装置の車両への取り付け位置の説明図である。
【図７】本発明の一実施形態における撮像部の構成図である。
【図８】本発明の一実施形態における撮像映像を説明する図である。
【図９】本発明の一実施形態における撮像映像を説明する図である。
【図１０】本発明の一実施形態における撮像映像を説明する図である。
【図１１】本発明の一実施形態における撮像映像を説明する図である。
【図１２】本発明の一実施形態である画像処理装置の動作フローチャートである。
【図１３】本発明の一実施形態である処理部の構成図である。
【図１４】本発明の一実施形態における撮像映像を説明する図である。
【図１５】本発明の一実施形態における撮像映像を説明する図である。
【図１６】本発明の一実施形態における撮像映像を説明する図である。
【図１７】本発明の一実施形態における撮像映像を説明する図である。
【図１８】本発明の一実施形態である消失点位置の補正フローチャートである。
【符号の説明】
１、２ 撮像部
３ 方向指示操作部
４ 自車速度検出部
５ ナビ装置
６ 警報器
７ モニタ
８ ステア制御器
９ 処理部
１０ 自車両
１１、１２ ウインカランプ
２１ 撮像デバイス
２１−１、２１−２ 撮像デバイス
２２ 転送デバイス
２２−１、２２−２ バッファ
２２−３ バッファ
２３ ＣＰＵ
２４ ＲＯＭ
２５ ＲＡＭ
２６ ＣＡＮ
２７ Ｔ／Ｇ
２８ 入出力ポート
【産業上の利用分野】
本発明は、車両の左右前方における車線位置検知と接近車両の検知を行う画像処理装置に関する。
【０００２】
【従来の技術】
車両の検知を行う画像処理装置の従来の技術としては、例えば、特開平１１−５９２７２号公報に記載された技術がある。この公報記載の技術は、車両の先端に設けられた撮像手段により、山形ミラーに反射した車両左右前方の映像を撮影し、表示する。これにより、左右両方向の死角範囲を観察する事が可能である。
【０００３】
また、上記公報と同様の技術としては、例えば、特開平１１−３３８０７４号公報、特開平１１−３３１８３４号公報、特開平１０−１９６４３号公報に記載されたものがある。
【０００４】
【発明が解決しようとする課題】
しかしながら、上述した従来技術によれば、車両の左右両方向の死角範囲を観察する事は可能であるが、前方方向の監視は行えない。
【０００５】
そこで、車両の左右両方向を監視するカメラと、車両の中央に配置し、前方方向を監視するカメラとを同時に用いることが考えられる。
【０００６】
ところが、車両の中央に配置されたカメラでは、その車両が先行車両に接近していると先行車両が障害となって走行路の車線が監視できなくなり、車線位置を検知することが困難になるという問題がある。
【０００７】
本発明の目的は、先行車両に接近した場合であっても、車線位置の検知と左右両方向の死角範囲の監視との両方を可能にする画像処理装置を実現することである。
【０００８】
【課題を解決するための手段】
上記目的を達成するため、本発明は次のように構成される。
（１）接近車両検知及び車線位置検知を行う画像処理装置において、自車両に配置され、この自車両の前方領域と一方の側方領域とを撮像領域とする第１の撮像部と、自車両に配置され、この自車両の前方領域と他方の側方領域とを撮像領域とする第２の撮像部とを備える。
【０００９】
（２）好ましくは、上記（１）において、第１の撮像部及び第２の撮像部のそれぞれは、上記自車両の前方の走行車線を撮像領域の一方の半分の領域内で撮像するとき、上記自車両の先端面の延長線を他方の半分の領域内で撮像する。
【００１０】
（３）また、好ましくは、上記（１）及び（２）において、自車両が所定の車両速度以下の場合には、自車両が交差点に位置するか否かを判定し、自車両が交差点内に位置するときには、接近する他車両が存在するか否かを判定する。
【００１１】
（４）また、好ましくは、上記（１）及び（２）において、第１の撮像部又は第２の撮像部のいずれか一方の撮像部の映像情報で車線位置検知ができないときには他方の撮像部の映像情報で車線位置検知を行う。
【００１２】
（５）また、好ましくは、上記（２）において、第１の撮像部及び第２の撮像部のそれぞれは、１つもしくは複数の撮像デバイスを有し、上記撮像デバイズにより水平方向に広い範囲を撮像する。
【００１３】
（６）また、好ましくは、上記（１）及び（２）において、撮像映像中の車線の消失点と車線の水平方向との位置関係に基づいて、車線位置関係および車線逸脱状況を判定する。
【００１４】
（７）また、好ましくは、上記（１）及び（２）において、第１の撮像部及び第２の撮像部のそれぞれは、ウインカランプ等と一体成形するときに、ウインカランプ等の光を遮断する手段を有する。
【００１５】
上述のように構成した本発明によれば、先行車に接近してもどちらかの撮像部により車線が検出され、車線位置検知が確実に実行され、自車両の左右両方向の監視も可能となる。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態について添付図面を参照して詳細に説明する。
図１は、本発明の一実施形態に係わる接近車両位置検知を行う画像処理装置のシステム構成を示す図である。
【００１７】
図１において、画像処理装置は、自車両の右前方を撮像する撮像部１（第１の撮像部）と、自車両の左前方を撮像する撮像部２（第２の撮像部）と、方向指示操作器３と、自車速度検出部４と、ナビ装置５と、警報器６と、モニタ７と、ステア制御器８と、処理部９とを備える。
【００１８】
処理部９は、ナビ装置５からの交差点情報と、自車速度検出部４からの自車速度情報と、方向指示操作器３からの右左折情報とにより、左右の撮像部１、２からの映像情報に対して車線位置検知処理、割込み車両検知処理、交差点接近車両検知処理を行う。
【００１９】
また、処理部９からの出力である車線位置検知結果は、ステア制御器８に出力され、このステア制御器８において、走行車線を基準にして、自車両の走行を安定維持する制御を行う。
【００２０】
また、処理部９は、割込み車両検知結果及び交差点接近車両検知結果と、自車速度情報と右左折情報等とから、自車両の危険度を推定し、警報器６を介して運転者に対して警報を行う。
【００２１】
さらに、処理部９は、推定した危険度に応じて、映像情報に加工を施し、モニタ７により運転者へ表示する。
例えば、モニタ７の表示では、自車両への接近車両を検知したときには、検知した車両を囲むような４角形を表示する。このとき、４角形を描画する線の色を危険度が高くなるにつれ、緑色から黄色、赤色の変化させ、運転者へ危険度を報知する。
【００２２】
次に、図２を参照して、撮像部１、２の自車両への取付け位置を説明する。 図２において、自車両１０の前方の両サイド(コーナー)の位置に撮像部１、２を取り付ける。
【００２３】
自車両１０の前方両サイドに撮像部１、２を取り付けた場合、撮像部１、２の撮像エリアは、それぞれ水平方向に１５０度の範囲を持っており、垂直方向には６０度の範囲を備えている。
【００２４】
また、撮像方向、つまり、撮像領域の中心点の撮影深度方向への延長線は、自車両１０の水平方向に関しては、自車両１０の進行方向から４５度傾いた方向に設定される。
【００２５】
これによって、撮像部１、２は、自車両１０の進行方向より、自車両１０の中心軸方向に３０度傾斜した領域までが撮像領域となる。同様に、撮像部１、２は、自車両１０の進行方向から９０度の方向より、自車両１０の後方側に３０度傾斜した領域までが撮像領域となる。
【００２６】
また、上記撮像深度方向への延長線は、自車両１０の垂直方向に関しては３度下向きに設定する。
【００２７】
上述のような取付位置及び姿勢で自車両１０に取り付けた撮像部１、２からの映像情報は、撮像部１による撮像画面は、図３に示すような車線マーカのとき、図４に示すようになり、また、撮像部２による撮像画面は、撮像部１による撮像画面を左右を反転したようになる。
【００２８】
なお、図３及び図４において、Ｌ２は、車両１０に関して左側路面に表された線、Ｒ１、Ｒ２は、車両１０に関して右側路面に表された線であり、Ｃ＿Ｘは、自車両１０が車線内を直進しているときの撮像画面上で車線の消失点のあるＸ方向(水平方向)位置であり、Ｈは地平線を示す。
【００２９】
また、図３において、横軸は車両１０の撮像部１を取り付けた位置を基準として、右方向をプラス、左方向をマイナスとした場合の距離を示し、縦軸は車両１０の撮像部１を取り付けた位置を基準として、図３の上方向をプラス、下方向をマイナスとした場合の距離を示す。
【００３０】
また、図４において、横軸及び縦軸は、撮像画面における基準座標（０，０）に対す座標位置を示す。
【００３１】
ここで、撮像部１、２の内部構成について図５を用いて説明する。
図５において、ＣＣＤもしくはＣＭＯＳセンサからなる撮像デバイス２１から出力されるデジタル画像データは、１画素ずつ転送デバイス２２のバッファ２２−１に取り込まれる。このバッファ２２−１に１ライン分のデータが転送されると、バッファ２２−１から送信用のバッファ２２−２にデータが転送され、これらのデータをまとめてＲＡＭ２５内の映像データ保存領域に転送される。
【００３２】
これらのデータの転送は、Ｔ／Ｇ(タイミングジェネレータ)２７から出力する同期信号に従い動作する。この同期信号とは、１画面の区切り、１ラインの区切り、１画素の区切りなどを表す信号である。
【００３３】
そして、１画面分の画像データがＲＡＭ２５内の映像データ保存領域に転送されると、ＲＯＭ２４に記述されているプログラムに従い、ＣＰＵ２３は画像処理、画像認識を行う。
【００３４】
このＣＰＵ２３による画像処理と画像認識とにより、車線マーカや車両を抽出する。抽出方法については、ここでは省略する。この抽出した情報がＣＡＮ２６から出力される。
【００３５】
また、ウインカランプ１１、１２の点滅信号が入出力ポート２８から入力され、プログラムに従いＣＰＵ２３は、ランプ点灯時には、撮像デバイス２１の露光制御において受光光量が少なくするように調整する。
【００３６】
例えば、ＣＰＵ２３は、シャッタ速度を１／６０から１／１２０と速くすることにより、受光光量を少なくする。逆に、ウインカランプ１１、１２消灯時には、撮像デバイス２１の露光制御により受光光量を大きくする。
【００３７】
さらに、ＣＰＵ２３は、抽出した車線マーカの情報から車線の曲率、車線と自車両１０との横方向距離、車線に対する自車両１０の進行方向角度を算出する。
【００３８】
また、自車両１０の前方両サイドに撮像部１、２を取り付けた場合、上述した説明では、撮像部１、２の各部で各々１つの撮像デバイス２１で撮像エリアを、水平方向には１５０度の範囲、垂直方向には６０度の範囲としていた。
【００３９】
しかしながら、１つの撮像部に２つの撮像デバイス２１−１、２１−２を備えたものでも良い。以下、図６、図７を参照して、１つの撮像部に２つの撮像デバイス２１−１、２１−２を備えた構成について説明する。
図６及び図７において、１つの撮像デバイス２１−１の撮像方向、つまり、撮像領域の中心点の撮影深度方向への延長線は、自車両１０の水平方向に関しては、自車両１０の進行方向に設定される。他方の撮像デバイス２１−２の撮像方向は、自車両１０の進行方向から７０度傾いた方向に設定される。
【００４０】
ここで、撮像デバイス２１−１、２１−２の撮像エリアは、互いに１０度のエリアを重ねて撮像することとなる。
【００４１】
これによって、撮像部１、２は、自車両１０の進行方向より、自車両１０の中心軸方向に３０度傾斜した領域までが撮像領域となる。同様に、撮像部１、２は、自車両１０の進行方向から９０度の方向より、自車両１０の後方側に３０度傾斜した領域までが撮像領域となる。
【００４２】
また、上記撮像深度方向への延長線は、自車両１０の垂直方向に関しては３度下向きに設定する。
【００４３】
ここで、撮像部１、２の内部構成について図７を用いて説明する。
図７において、ＣＣＤもしくはＣＭＯＳセンサからなる撮像デバイス２１−１、２１−２から出力されるデジタル画像データは、転送デバイス２２のバッファ２２−１、２２−３に１画素ずつ取り込まれる。１ライン分のデータがバッファ２２−１、２２−３に転送されると、まず、バッファ２２−１のデータが送信用のバッファ２２−２に転送され、これらのデータをまとめてＲＡＭ２５内の映像データ保存領域に転送する。
【００４４】
その後、バッファ２２−３のデータが送信用のバッファ２２−２に転送され、これらのデータがまとめられてＲＡＭ２５内の映像データ保存領域に転送される。これらのデータの転送は、Ｔ／Ｇ(タイミングジェネレータ)から出力する同期信号に従い、動作する。この同期信号とは、１画面の区切り、１ラインの区切り、１画素の区切りなどを表す信号である。
【００４５】
そして、２つの撮像デバイス２１−１、２１−２の各１画面分の画像データがＲＡＭ２５内の映像データ保存領域に転送されると、ＲＯＭ２４に格納されているプログラムに従い、ＣＰＵ２３は画像処理、画像認識を行う。
【００４６】
ＣＰＵ２３による画像処理と画像認識とにより、車線マーカや車両を抽出する。抽出方法については、ここでは省略する。この抽出した情報がＣＡＮ２６から出力される。
【００４７】
また、ウインカランプ１１、１２の点滅信号を入出力ポート２８から入力し、プログラムに従いＣＰＵ２３は、ランプ点灯時には、撮像デバイス２１−１、２１−２の露光制御により受光光量を少なくするように調整する。
【００４８】
例えば、ＣＰＵ２３は、シャッタ速度を１／６０から１／１２０と速くすることにより、受光光量を少なくする。逆に、ランプ消灯時には、撮像デバイス２１−１、２１−２の露光制御により受光光量を大きくする。
【００４９】
さらに、ＣＰＵ２３は、抽出した車線マーカの情報から車線の曲率、車線と自車両との横方向距離、車線に対する自車両の進行方向角度を算出する。
【００５０】
上述のような取付位置及び姿勢で自車両１０に取り付けた撮像部１からの映像情報は、図８に示すような状態の撮像デバイス２２−１、つまり、撮像デバイス２２−１が、線Ｌ２とＲ２との間にあり、Ｒ２の方に近いところに位置し、線Ｒ１は撮像領域には無い状態の場合には、図９に示すような撮像画面となる。
【００５１】
また、図１０に示すような状態の撮像デバイス２２−２、つまり、撮像デバイス２２−２が、線Ｌ２とＲ２との間にあり、Ｒ２の方に近いところに位置し、線Ｒ１、Ｒ２は撮像領域内にあるが線Ｌ１は無い状態の場合には、図１１に示すような撮像画面となる。
【００５２】
なお、図８、図９、図１０、図１１において、Ｌ１、Ｌ２は、車両１０に関して左側路面に表された線、Ｒ１、Ｒ２は、車両１０に関して右側路面に表された線であり、Ｃ＿Ｘは、自車両１０が車線内を直進しているときの撮像画面上での車線の消失点のあるＸ方向(水平方向)位置であり、Ｈは地平線を示す。
ここで、処理部９の内部構成について図１２を用いて説明する。
図１２において、ＲＯＭ２４に格納されているプログラムに従い、ＣＰＵ２３は車線位置検出、車両検出などの処理を行う。これらの処理行う上で必要な情報は、ＣＡＮ２５を介して接続されているさまざまな機器から入手する。さらに、処理の結果をＣＡＮ２６を介して、必要な機器に出力する。
【００５３】
次に、図１３を用いて、撮像部１、２及び処理部９における検出処理のメインとなる処理について詳細に説明する。なお、初期化処理、画像取込処理等の説明は、ここでは省略する。
【００５４】
図１３において、ｓｔｅｐ１では、左側の撮像部２において取込んだ上記２つの露光制御による映像情報に対して平均化する合成処理を行い、明るい領域と暗い領域との両方が適切な明るさとする。
【００５５】
次に、ｓｔｅｐ２では、ｓｔｅｐ１で合成された映像に対して、左側エッジ抽出処理を行い、このエッジ抽出処理に基づいて、ｓｔｅｐ３で、左側車線位置検知を行う。（処理結果として撮像画面上での白癬の位置座標を算出し、ＣＡＮ２６を介して処理部に出力する。
【００５６】
続いて、ｓｔｅｐ４では、（自車速度検出部から受け取った）自車両１０の車速が１０ｋｍ／ｈ以上であるか否かの判定を行う。そして、ｓｔｅｐ４において、自車両１０の車速が１０ｋｍ／ｈ以上であれば、ｓｔｅｐ１２に進み、ＣＡＮ２６を介して撮像部２に対して左側前側車両の検出処理を行うように指示する。
【００５７】
ｓｔｅｐ４において、車速が１０ｋｍ／ｈ未満であれば、ｓｔｅｐ１１に進み、処理部９において左側の交差点の判定を行う。
【００５８】
このｓｔｅｐ１１における交差点の判定には、車線の検出結果やナビからの情報を用いて行う。そして、ｓｔｅｐ１１において、交差点では無いと判定すれば、ｓｔｅｐ１２に進み、それ以降の処理を行う。
【００５９】
ｓｔｅｐ１１において、交差点であると判定すれば、ｓｔｅｐ１３に進み、自車両１０の左側側方接近車両の検出処理を行う。すなわち、自車両１０の走行車線に平行する車線内、さらには交差する車線内の車両の有無を検出する。そして、処理は、ｓｔｅｐ１４に進む。
【００６０】
ｓｔｅｐ１４においては、ｓｔｅｐ１２又はｓｔｅｐ１３における車両検出結果により、自車両の左側に対して、割込み車両あるいは対向車両との衝突の危険度を判定する。
【００６１】
次に、処理はｓｔｅｐ２１に進み、右側の撮像部１における取込んだ２つの露光制御による映像情報に対して平均化する合成処理を行い、明るい領域と暗い領域の両方を適切な明るさとする。
【００６２】
続いて、処理はｓｔｅｐ２２に進み、ｓｔｅｐ２１で得られた合成映像に対して、右側エッジ抽出処理を行い、ｓｔｅｐ２３で、エッジ抽出結果を用いて右側車線位置検知処理を行う。処理結果として、撮像画面上での白線の位置座標を算出し、ＣＡＮ２６を介して処理部９に出力する。
【００６３】
次に、ｓｔｅｐ２４で、自車速度検出器４から受け取った自車両１０の車速が１０ｋｍ／ｈ以上であるか否かの判定を行う。ｓｔｅｐ２４で車速が１０ｋｍ／ｈ以上であると判定すれば、ｓｔｅｐ３２において、ＣＡＮ２６を介して撮像部１に対して右側前側方車両の検出処理を行う。そして、処理はｓｔｅｐ３２からｓｔｅｐ３４に進む。
【００６４】
ｓｔｅｐ２４で、車速が１０ｋｍ／ｈ未満であると判定すれば、ｓｔｅｐ３１において、処理部９で右側の交差点の判定を行う。このｓｔｅｐ３１における交差点の判定には、車線の検出結果やナビからの情報を用いて行う。
【００６５】
ｓｔｅｐ３１において、交差点でないと判定すれば、ｓｔｅｐ３２以降の処理を行う。
【００６６】
ｓｔｅｐ３１において、交差点であると判定すれば、ｓｔｅｐ３３に進み、右側側方接近車両の検出処理を行う。すなわち、自車両１０の走行車線に平行する車線内、さらには交差する車線内の車両の有無を検出する。そして、処理はｓｔｅｐ３４に進む。
【００６７】
ｓｔｅｐ３４では、ｓｔｅｐ３２又はｓｔｅｐ３３の車両検出結果により、自車の右側に対して、割込み車両あるいは対向車両との衝突の危険度を判定する。そして、処理はステップｓｔｅｐ４１に進む。
【００６８】
ｓｔｅｐ４１では、ｓｔｅｐ３、ｓｔｅｐ２３にて処理された左右の車線位置検知結果から自車両と車線との位置関係を算出して、それを表す情報(車線位置検知結果)を出力する。
【００６９】
次に、車線と自車両１０との位置関係を、図３、図４、図１４〜図１７を用いて説明する。
図３は、撮像部１から右側に１ｍ離れた所に右側の白線があり、車線幅は３ｍの位置関係を示している。このとき撮像部１で撮像される映像は図４に示すようになる。
【００７０】
図１４は、撮像部１と同じ位置に右側の白線があるときの位置関係を示している。このとき撮像部１で撮像される映像は図１５となる。
【００７１】
図１６は、撮像部１から左側に１ｍ離れた所に右側の白線があり、車線幅は３ｍの位置関係を示している。このとき撮像部１で撮像される映像は図１７となる。
【００７２】
ここで、自車両１０は車線に対して直進している。このとき、撮像映像の図４、図１５、図１７において、車線の消失点の位置は変化しない。また、自車両１０が車線内を走行しているときは、図４に示すように、右側の白線は、消失点より右側にある。また、白線上に撮像部１、２が位置したときは、図１５に示すように、消失点の垂直線上にある。また、自車両１０が車線を逸脱しているときは、図１７に示すように右側の白線は、消失点より左側にある。
【００７３】
すなわち、消失点の水平方向の位置Ｃ＿Ｘを記憶しておき、検知された白線の延長線と車線位置判定線との交点の水平方向位置Ｊ＿Ｘを算出し、Ｃ＿Ｘ−Ｊ＿Ｘの値で車線位置を判断することができる。
【００７４】
また、自車両１０が車線に対して斜めに走行しているとき、消失点位置は、右斜めに走行時は左に、左斜めに走行時は、右に移動する。車線がカーブしているときも消失点が移動することとなる。そこで、この移動量から逸脱時間を推定することができる。
【００７５】
撮像部１、２が２つの撮像デバイス２１−１、２１−２から構成される場合は、図８、図９に示すように同様の手法を用いることができる。
【００７６】
そして、ｓｔｅｐ４２では、ｓｔｅｐ４１により得られた車線位置検知結果から自車両の車線逸脱度合いを判定処理する。
【００７７】
続いて、ｓｔｅｐ４３では、ｓｔｅｐ１４、３４で判定された危険度に基づいて、接近車両の存在の報知と、衝突の危険度に応じて警報とを行う。さらには、ｓｔｅｐ４２で判定された車線逸脱度合いに応じた警報を行う。
【００７８】
以上のｓｔｅｐ１〜ｓｔｅｐ４３の処理を繰り返し行うことで、警報や車線位置検知結果の出力を行う。
【００７９】
ここで、ｓｔｅｐ４１の処理を行う上で重要となる消失点の位置は、撮像部１、２の取り付け方向がずれると消失点位置もずれ、車線位置検出結果などに影響する。そこで、図１８を用いて、消失点位置の補正方法を示す。
【００８０】
図１８のｓｔｅｐ７１から７３において、自車両１０が直進走行中であるかを判定する。直進走行中であると判断したときには、ｓｔｅｐ７４で白線が検知されているか否かを判定し、白線が検知されている場合には、ｓｔｅｐ７５において、所定時間経過したか否かが判定される。
【００８１】
ｓｔｅｐ７５で所定時間が経過していないと判定された場合には、ｓｔｅｐ７６で消失点の時間的平均位置を算出する。
【００８２】
ｓｔｅｐ７５で、所定時間経過したと判定された場合は、ｓｔｅｐ７７に進み、算出した消失点の平均位置の分散が小さいか否かを判定する。このｓｔｅｐ７７において、消失点の平均位置の分散が小さいとき、すなわち、直線車線を直進走行したと判定したときには、ｓｔｅｐ７８に進み、消失点位置を算出した平均位置に更新する。
【００８３】
以上のように、本発明の一実施形態によれば、自車両１０の前方の両サイドの位置に、撮像エリアが、水平方向には１５０度の範囲を備え、垂直方向には６０度の範囲を備える撮像部１、２を取り付ける。そして、撮像部１、２の撮像領域の中心点の撮影深度方向への延長線は、自車両１０の水平方向に関しては、自車両１０の進行方向から４５度傾いた方向に設定される。また、上記撮像深度方向への延長線は、自車両１０の垂直方向に関しては３度下向きとなるように、撮像部１、２を設定する。
【００８４】
したがって、先行車両に接近した場合であっても、車線位置の検知と左右両方向の死角範囲に接近する車両等の監視との両方を可能にする画像処理装置を実現することができる。
【００８５】
なお、上記撮像部１、２は、単独で車両１０に取り付けられてもよく、さらには、防水構造のヘッドランプ、ウインカランプ等と一体成形することも可能である。この場合、撮像部１、２の光学系のレンズとして、ウインカランプの拡散板の一部に加工を施して、ウインカランプからの光は遮断し、外界からの光を集光するように使用することも可能である。
【００８６】
撮像部１、２をヘッドランプ等と一体成形した場合には、撮像部１、２の取付け方向調整や取付け性などを向上することができる。
【００８７】
さらには、撮像部１、２と一体成形したものの前方透過部分にヘッドランプと撮像部１、２についた雨などを拭き取るワイパーなどが装着されていれば、なお良い。
【００８８】
また、撮像部１、２には、ウインカランプ１１、１２あるいはターニングランプからの動作情報を入力し、ウインカランプ１１、１２の点滅などによる露光条件の悪化を防ぐように撮像部１、２が露光を制御して撮像対象物に確認性を向上する。
【００８９】
さらに、接近車両(対向車など)のヘッドライトの明かりを撮像部１、２が受けたときにも、撮像部１、２は、最適な露光条件となるよう露光を制御する。
【００９０】
すなわち、特に、夜間において、自車両１０のヘッドライトにより照らされた領域は明るく、それ以外の領域は暗い。
【００９１】
そこで、撮像部１、２は、明るい領域に適した露光制御と暗い領域に適した露光制御を交互に高速に行い、処理部９に映像情報を出力する。
【００９２】
そして、処理部９は、明るい領域に適した露光制御と暗い領域に適した露光制御との２つの露光制御による映像情報を取込み、この映像情報を用いて車線等の検出処理を行う。
【００９３】
さらに、ウインカランプ１１、１２あるいはターニングランプの点滅により明るさが変化する。
【００９４】
したがって、この点滅の周期に同期させて、明るい領域に適した露光制御と暗い領域に適した露光制御の制御量を若干修正して露光制御を交互に高速に行い、処理部９に映像情報を出力する。
【００９５】
処理部９においては、撮像部１、２のおけるこれらの露光制御による映像情報を取込み、この映像情報を用いて車線等の検出処理を行う。
【００９６】
【発明の効果】
本発明によれば、自車両の前方の両サイドの位置に、それぞれ、車両前方と側方とを撮像可能な２台の撮像部が配置される。
【００９７】
したがって、先行車両に接近した場合であっても、車線位置の検知と左右両方向の死角範囲に接近する車両等の監視との両方を可能にする画像処理装置を実現することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態である画像処理装置のシステム構成図である。
【図２】本発明の一実施形態である画像処理装置の車両への取り付け位置の説明図である。
【図３】本発明の一実施形態における撮像映像を説明する図である。
【図４】本発明の一実施形態における撮像映像を説明する図である。
【図５】本発明の一実施形態における撮像部の構成図である。
【図６】本発明の一実施形態である画像処理装置の車両への取り付け位置の説明図である。
【図７】本発明の一実施形態における撮像部の構成図である。
【図８】本発明の一実施形態における撮像映像を説明する図である。
【図９】本発明の一実施形態における撮像映像を説明する図である。
【図１０】本発明の一実施形態における撮像映像を説明する図である。
【図１１】本発明の一実施形態における撮像映像を説明する図である。
【図１２】本発明の一実施形態である画像処理装置の動作フローチャートである。
【図１３】本発明の一実施形態である処理部の構成図である。
【図１４】本発明の一実施形態における撮像映像を説明する図である。
【図１５】本発明の一実施形態における撮像映像を説明する図である。
【図１６】本発明の一実施形態における撮像映像を説明する図である。
【図１７】本発明の一実施形態における撮像映像を説明する図である。
【図１８】本発明の一実施形態である消失点位置の補正フローチャートである。
【符号の説明】
１、２ 撮像部
３ 方向指示操作部
４ 自車速度検出部
５ ナビ装置
６ 警報器
７ モニタ
８ ステア制御器
９ 処理部
１０ 自車両
１１、１２ ウインカランプ
２１ 撮像デバイス
２１−１、２１−２ 撮像デバイス
２２ 転送デバイス
２２−１、２２−２ バッファ
２２−３ バッファ
２３ ＣＰＵ
２４ ＲＯＭ
２５ ＲＡＭ
２６ ＣＡＮ
２７ Ｔ／Ｇ
２８ 入出力ポート
Claims (8)
- 自車両に配置され、当該自車両の前方領域と一方の側方領域とを撮像領域とする第１の撮像部と、
上記自車両に配置され、当該自車両の前方領域と他方の側方領域とを撮像領域とする第２の撮像部とを備え、
上記第１の撮像部及び上記第２の撮像部は、ウインカランプの点滅信号の入力を受け、自己に隣接するウインカランプの点灯時には、当該ウインカランプの消灯時に比べて受光光量を小さくするように露光を制御することを特徴とする車載用画像処理装置。 - 請求項１において、上記露光の制御は、上記第１の撮像部及び上記第２の撮像部の撮像デバイスのシャッタ速度の変更により行われることを特徴とする車載用画像処理装置。
- 請求項１又は２において、上記第１の撮像部及び第２の撮像部のそれぞれは、上記自車両の前方の走行車線を上記撮像領域の一方の半分の領域内で撮像し、上記自車両の前面の延長線を他方の半分の領域内で撮像することを特徴とする車載用画像処理装置。
- 請求項１乃至３のいずれか一項において、上記自車両が所定の車両速度以下の場合には、自車両が交差点に位置するか否かを判定し、自車両が交差点内に位置するときには、接近する他車両が存在するか否かを判定することを特徴とする車載用画像像処理装置。
- 請求項１乃至３のいずれか一項において、上記第１の撮像部又は上記第２の撮像部のいずれか一方において、映像情報に基づく車線位置検知ができないときは、他方の撮像部の映像情報に基づいて車線位置検知を行うことを特徴とする車載用画像処理装置。
- 請求項１乃至３のいずれか一項において、上記第１の撮像部及び上記第２の撮像部は、それぞれ水平方向に配列された複数の撮像デバイスを有し、上記複数の撮像デバイスの撮像領域の一部は相互に重複することを特徴とする車載用画像処理装置。
- 請求項１乃至６のいずれか一項において、撮像映像中の車線の消失点と車線の水平方向との位置関係に基づいて、車線位置関係および車線逸脱状況を判定することを特徴とする車載用画像処理装置。
- 請求項１乃至６のいずれか一項において、上記第１の撮像部及び上記第２の撮像部はヘッドランプ若しくはウインカランプと一体成形されており、当該ヘッドランプ又はウインカランプの光を遮断する手段を有することを特徴とする車載用画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001191968A JP3930268B2 (ja) | 2000-06-26 | 2001-06-25 | 接近車両検知及び車線位置検知を行う画像処理装置 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000190397 | 2000-06-26 | ||
| JP2000-190397 | 2000-06-26 | ||
| JP2001191968A JP3930268B2 (ja) | 2000-06-26 | 2001-06-25 | 接近車両検知及び車線位置検知を行う画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002099908A JP2002099908A (ja) | 2002-04-05 |
| JP3930268B2 true JP3930268B2 (ja) | 2007-06-13 |
Family
ID=26594621
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001191968A Expired - Lifetime JP3930268B2 (ja) | 2000-06-26 | 2001-06-25 | 接近車両検知及び車線位置検知を行う画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3930268B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220004475A (ko) * | 2020-07-03 | 2022-01-11 | 현대모비스 주식회사 | 카메라 내장 램프의 비동기 제어 시스템 및 방법 |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6822563B2 (en) | 1997-09-22 | 2004-11-23 | Donnelly Corporation | Vehicle imaging system with accessory control |
| US5877897A (en) | 1993-02-26 | 1999-03-02 | Donnelly Corporation | Automatic rearview mirror, vehicle lighting control and vehicle interior monitoring system using a photosensor array |
| US6891563B2 (en) | 1996-05-22 | 2005-05-10 | Donnelly Corporation | Vehicular vision system |
| US7655894B2 (en) | 1996-03-25 | 2010-02-02 | Donnelly Corporation | Vehicular image sensing system |
| WO2003093857A2 (en) | 2002-05-03 | 2003-11-13 | Donnelly Corporation | Object detection system for vehicle |
| JP4258385B2 (ja) | 2004-01-14 | 2009-04-30 | 株式会社デンソー | 路面反射検出装置 |
| US7526103B2 (en) | 2004-04-15 | 2009-04-28 | Donnelly Corporation | Imaging system for vehicle |
| WO2008024639A2 (en) | 2006-08-11 | 2008-02-28 | Donnelly Corporation | Automatic headlamp control system |
| JP5759709B2 (ja) * | 2010-12-03 | 2015-08-05 | 富士通テン株式会社 | 画像認識装置 |
| JP5695405B2 (ja) * | 2010-12-10 | 2015-04-08 | 東芝アルパイン・オートモティブテクノロジー株式会社 | 車両用画像処理装置および車両用画像処理方法 |
| JP6537385B2 (ja) * | 2015-07-17 | 2019-07-03 | 日立オートモティブシステムズ株式会社 | 車載環境認識装置 |
| JP6759995B2 (ja) | 2016-11-11 | 2020-09-23 | 株式会社デンソー | 画像処理装置 |
-
2001
- 2001-06-25 JP JP2001191968A patent/JP3930268B2/ja not_active Expired - Lifetime
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20220004475A (ko) * | 2020-07-03 | 2022-01-11 | 현대모비스 주식회사 | 카메라 내장 램프의 비동기 제어 시스템 및 방법 |
| US11325525B2 (en) | 2020-07-03 | 2022-05-10 | Hyundai Mobis Co., Ltd. | Asynchronous control system in camera built-in lamp and method thereof |
| KR102435406B1 (ko) * | 2020-07-03 | 2022-08-24 | 현대모비스 주식회사 | 카메라 내장 램프의 비동기 제어 시스템 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002099908A (ja) | 2002-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11760255B2 (en) | Vehicular multi-sensor system using a camera and LIDAR sensor to detect objects | |
| US11308720B2 (en) | Vehicular imaging system | |
| JP5233583B2 (ja) | 車載用監視装置 | |
| KR100936558B1 (ko) | 차량용 주변 감시 장치 및 영상 표시 방법 | |
| US11831972B2 (en) | Vehicular vision system with adaptive field of view | |
| JP5022609B2 (ja) | 撮像環境認識装置 | |
| JP5399027B2 (ja) | 自動車の運転を支援するための、立体画像を捕捉することができるシステムを有するデバイス | |
| JP3930268B2 (ja) | 接近車両検知及び車線位置検知を行う画像処理装置 | |
| US8477191B2 (en) | On-vehicle image pickup apparatus | |
| JP2000259998A (ja) | 車両用後側方監視装置 | |
| JP5136071B2 (ja) | 車両用後方監視装置および車両後方監視方法 | |
| CN114572113B (zh) | 拍摄系统、拍摄装置及驾驶支援装置 | |
| JP2008225822A (ja) | 道路区画線検出装置 | |
| JP2009234344A (ja) | 撮像手段の調整装置および物体検出装置 | |
| JP4798576B2 (ja) | 付着物検出装置 | |
| JP2011253222A (ja) | 前方領域検出装置及び車両制御装置 | |
| JP2004051063A (ja) | 車両周辺視認装置 | |
| JP2003151096A (ja) | 進入警報装置 | |
| JP2013101432A (ja) | 障害物検出装置及びプログラム | |
| JP2001071790A (ja) | 車両の表示装置 | |
| JP4572826B2 (ja) | 道路区画線検出装置 | |
| KR101850030B1 (ko) | 조도를 이용한 차선 변경 보조 방법 및 장치 | |
| JP4598011B2 (ja) | 車両用表示装置 | |
| JP2006036048A (ja) | 車両ライト制御装置 | |
| JP3929420B2 (ja) | 車両用光量検出装置及び車両用照明制御装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060714 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060725 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060925 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061031 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061228 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070214 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20070219 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070306 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070308 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 3930268 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110316 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110316 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110316 Year of fee payment: 4 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110316 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120316 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130316 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130316 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140316 Year of fee payment: 7 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |