JP4538468B2

JP4538468B2 - 画像処理装置，画像処理方法、及び画像処理システム

Info

Publication number: JP4538468B2
Application number: JP2007046366A
Authority: JP
Inventors: 力也樫村; 勲古沢
Original assignee: Hitachi Automotive Systems Ltd
Current assignee: Hitachi Astemo Ltd
Priority date: 2007-02-27
Filing date: 2007-02-27
Publication date: 2010-09-08
Anticipated expiration: 2027-02-27
Also published as: US8170286B2; US20080205705A1; EP1964718A3; JP2008207677A; EP1964718A2; EP1964718B1

Description

本発明は、画像処理装置，画像処理方法、及び画像処理システムに関する。

より安全な交通車両を提供するために、車両に搭載される画像処理カメラの撮像結果から、他車両の位置を認識する技術が知られている（たとえば特許文献１）。

特開２００４−１８９２２９号公報

しかしながら、他車両のテールライトやヘッドライトの光源を用いて他車両を検出する場合に、街灯や路上反射体などが誤検出の原因となる場合があり、従来技術はこの問題について十分に考慮されていなかった。

本発明は、車載の撮像装置による他車両検知の精度をより高めることを目的とする。

上記目的を達成するために、車両の周囲を撮像するカメラからの撮像信号を入力する入力部と、車線と、ヘッドライト又はテールライトと、明るさと、を含む複数の検出対象に応じてカメラの露光タイミングを決定する露光タイミング決定部と、露光タイミング決定部で決定した露光タイミングに応じてカメラを露光する信号をカメラに出力するとともに、露光タイミングに応じて車両に搭載された照明の状態を変化させる信号を照明制御装置に出力する出力部と、露光タイミングに応じて撮像したカメラからの撮像信号を解析し、解析結果を出力部を介して他の制御装置に出力する画像解析部と、を有し、出力部は、照明を点灯する必要があると判断されている場合でも、検出対象がヘッドライト又はテールライトの場合は、露光タイミングに応じて照明を消灯する信号を照明制御装置に出力する構成とする。

車載の撮像装置による他車両検知の精度をより高めることができる。

本発明の一実施形態を図面を用いて説明する。

本実施形態は、車両に搭載され車両の周囲に存在する光源の状態や位置を検出する画像処理システムに関するものである。夜間、車両に搭載される画像処理カメラの撮像結果から、前方を走行する車両のテールランプや、対向車のヘッドライトを検出して、他車両の位置を認識する場合、テールライトやヘッドライト以外のノイズ光源の存在が問題となる。ノイズ光源の色や輝度値、あるいは位置関係等の特徴が、テールライトやヘッドライトの特徴に近い場合、それらノイズ光源を車両として誤認識してしまう可能性が高い。また、仮に誤認識には至らなかった場合であっても、撮像結果解析時に認識対象候補として扱われるため、無駄な演算が増大し、処理効率低下の原因となる。すなわち、画像処理カメラを用いて車両周辺に存在する自発光源の状態や位置等を検出する際に、検出対象以外の光源が存在することで発生する誤認識や処理効率低下が問題となる。特に、視線誘導標等の反射部材が、自車両の照明により反射光源となることで発生する。

そこで本実施形態では、自発光源の位置や状態を検出するために、車両の周囲を画像処理カメラで撮像する際に、自車両の照明を制御して照明光の反射部材への入射量を、一時的に無くす、あるいは、減少させ、その間に撮像した画像から、所定の輝度値以上の領域を抽出し解析することで、自発光源の位置や状態を検出する。

自発光源の位置や状態を検出する際に使用する撮像結果から、視線誘導標等の反射光源が無くなる、あるいは、反射光源の輝度値が減少するため、検出対象の自発光源を、効率的かつ高精度に検出することが可能となる。

図１は、本発明の実施例をなす配光制御システムの概略構成を示す。

画像処理カメラ１００は、イメージセンサとＣＰＵを中心に構成される電子回路であり、ＣＰＵが検出対象に応じて設定した露光量に従って、イメージセンサで車両周囲の状況を撮像する。撮像結果はＣＰＵで検出対象に応じて解析され、解析結果をヘッドライト制御コントローラ１１０に出力する。画像処理カメラ１００は、必要に応じてヘッドライト制御コントローラ１１０に露光タイミングを通知するために、同期信号をヘッドライト制御コントローラ１１０に出力する機能を有する。ヘッドライト制御コントローラ１１０は、マイクロコンピュータと配光可変ヘッドライト１２０を駆動するための駆動回路を中心に構成される電子回路であり、画像処理カメラ１００から出力される解析結果と、運転者が設定したヘッドライト点灯スイッチ１３０の状態に応じて、配光可変ヘッドライト120の点灯／消灯および配光パターンを制御する機能を有する。配光可変ヘッドライト１２０は、レンズおよびリフレクタと、複数のＬＥＤからなる前照灯であり、各ＬＥＤの点灯の有無を切り替えることで、配光パターンが変化する。ヘッドライト点灯スイッチ１３０は、運転者が決定した前照灯の点灯要求を検出するためのスイッチで、例えばＡＵＴＯと
ＨＩとＬＯ、および、ＯＦＦの４状態を有する。

図６は、図１の画像処理カメラ１００をより具体的に示した機能ブロック図を示す。

画像処理装置６０１は一つのユニットをなし、図示しないＣＰＵやメモリなどを備え、メモリに記憶されたプログラムに従って動作する。入力部６０２は、車両の周囲を撮像するカメラ６０７からの撮像信号を入力する。また入力部６０２は、先行車追従制御や衝突回避制御などの様々な走行制御を行う他の制御装置６０８から制御信号を入力する。露光タイミング決定部６０４は、カメラ６０７で検出する対象に従って、後述する処理によりカメラ６０７の露光タイミングを決定する。出力部６０５は、後述する処理に従って、露光タイミング決定部６０４で決定した露光タイミングに応じて、カメラ６０７を露光する信号をカメラ６０７に出力するとともに、露光タイミングに応じて車両に搭載された照明の状態を変化させる信号を照明制御装置６０６に出力する。画像解析部６０３は、当該露光タイミングに応じて撮像したカメラからの撮像信号を解析し、出力部６０５を介して他の制御装置６０８に解析結果を出力する。

ここで、図６のカメラ６０７と画像処理装置６０１の組み合わせが図１における画像処理カメラ１００に対応するが、カメラ６０７と画像処理装置６０１が一つの筐体に収められているかどうかは問わない。また照明制御装置６０６は図１のヘッドライト制御コントローラに対応するが、照明制御装置６０６は画像処理装置６０１の筐体内部に納められていても、外部に別装置として存在しても構わない。他の制御装置６０８についても同様である。

次に、画像処理カメラ１００とヘッドライト制御コントローラ１１０で実行される配光制御について具体的に説明する。

図２は、図１の画像処理カメラ１００で実行される処理の一例を示す。

まずステップ２１０およびステップ２２０において、今回の撮像で検出する対象のチェックを行う。ここで検出対象は、一連の検出対象を全て検出するように、予め検出対象の順番を定めていても良いし、図６の他の制御装置６０８からの制御信号に応じて切り替えても良い。例えば他の制御装置６０８が車線逸脱制御を行う場合には検出対象を「車線」とし、先行者追従制御や衝突回避制御を行う場合には検出対象を「ヘッドライト／テールライト」とし、車両周囲の明るさによりヘッドライトの点灯／消灯を制御する場合には検出対照を「明るさ」とするように、他の制御装置６０８が画像処理装置６０１に対して制御信号を出力しても良い。

検出対象が車線であると判断された場合（２１０：ＹＥＳ）は、車線と路面のコントラストが出るように露光時間を決定し（ステップ２１１）、続いて、決定した露光時間で撮像されるように設定処理を実行する（ステップ２１２）。露光時間設定終了後、イメージセンサによって露光が行われ（ステップ２１３）、その撮像結果は、エッジ検出等の車線検出用画像解析処理に掛けられる（ステップ２１４）。ここで検出された車線情報から、所定距離前方のカーブ形状推定が行われる（ステップ２１５）。

一方、検出対象が明るさであると判断された場合（２１０：ＮＯ，２２０：ＮＯ）は、明るさ判定用に予め決められている露光時間が設定される（ステップ２３１）。露光時間設定終了後、イメージセンサによって露光が行われ（ステップ２３２）、その撮像結果は、平均輝度値算出等の明るさ検出用画像解析処理に掛けられる（ステップ２３３）。ここで算出された明るさから、ヘッドライトを点灯する必要があるかどうかを判断する（ステップ２３４）。

また、検出対象がヘッドライト／テールライトであると判断された場合（２１０：ＮＯ，２２０：ＹＥＳ）は、ヘッドライト／テールライト露光時間が決定され(ステップ221)、続いて、決定した露光時間で撮像されるように設定処理を実行する（ステップ２２２）。次にヘッドライト制御コントローラ１１０に対して、ヘッドライト／テールライト検出用の露光開始を通知するために、同期信号が出力される（ステップ２２３）。同期信号出力処理実行後にイメージセンサによって露光が行われ（ステップ２２４）、その撮像結果は、濃度投影等のヘッドライト／テールライト検出用画像解析処理に掛けられる（ステップ２２６）。ここで算出されたヘッドライトやテールライトの位置や大きさから、前方に存在する車両の位置が推定される（ステップ２２７）。最後に、車線検出処理（ステップ２１１〜ステップ２１６），ヘッドライト／テールライト検出処理（ステップ２２１〜ステップ２２８），明るさ検出処理（ステップ２３１〜ステップ２３６）の処理結果を出力するために、各処理が実行される度に、演算結果が出力される（ステップ２４１）。各検出処理が終了後、次回の検出対象の更新が行われる（ステップ２４０）。そして、ステップ２１０からの処理に戻る。

図３は、図１のヘッドライト制御コントローラ１１０で実行される処理の一例を示す。

まず、画像処理カメラ１００から入力される同期信号との演算結果、および、ヘッドライト点灯スイッチ１３０の状態が、入力処理によりヘッドライト制御コントローラ１１０に取り込まれる（ステップ３１１〜ステップ３１３）。次に、運転者が設定したヘッドライト点灯スイッチの状態がチェックされる（ステップ３２０，ステップ３２１，ステップ３２４）。ヘッドライト点灯スイッチの状態がＯＦＦであると判断された場合（３２０：ＮＯ，３２１：ＮＯ，３２４：ＮＯ）は、配光可変ヘッドライト１２０を完全に消灯するために、全ＬＥＤ駆動信号をＯＦＦにする（ステップ３２７）。ヘッドライト点灯スイッチの状態がＬＯであると判断された場合（３２０：ＮＯ,３２１：ＮＯ,３２４：ＹＥＳ）は、ヘッドライト点灯スイッチ１３０の状態（ＬＯ）に応じた照射距離と、画像処理カメラ１００から入力された前方のカーブ形状に応じた配光パターンを算出し(ステップ325)、算出された配光パターンに応じて、配光可変ヘッドライト１２０を点灯させるために、点灯が必要なＬＥＤの駆動信号が出力される（ステップ３２６）。ヘッドライト点灯スイッチの状態がＨＩであると判断された場合（３２０：ＮＯ，３２１：ＹＥＳ）は、ヘッドライト点灯スイッチ１３０の状態（ＨＩ）に応じた照射距離と、画像処理カメラ１００から入力された前方のカーブ形状に応じた配光パターンを算出し（ステップ３２２）、算出された配光パターンに応じて、配光可変ヘッドライト１２０を点灯させるために、点灯が必要なＬＥＤの駆動信号が出力される（ステップ３２３）。ヘッドライト点灯スイッチの状態がＡＵＴＯであると判断された場合（３２０：ＹＥＳ）は、画像処理カメラ１００のヘッドライト点灯判定結果がチェックされる（ステップ３５０）。ここで、ヘッドライトを点灯する必要が無いと判断された場合（３５０：ＮＯ）には、配光可変ヘッドライト
１２０を完全に消灯するために、全ＬＥＤ駆動信号をＯＦＦにする（ステップ３５５）。一方、ヘッドライトを点灯する必要があると判断され（３５０：ＹＥＳ）、画像処理カメラ１００から同期信号が入力されていない場合（３５１：ＮＯ）には、画像処理カメラ
１００から入力された前方の車両位置情報と前方のカーブ形状に応じて配光パターンを算出し（ステップ３５３）、算出された配光パターンに応じて、配光可変ヘッドライト120を点灯させるために、点灯が必要なＬＥＤの駆動信号が出力される（ステップ３５４）。一方、ヘッドライトを点灯する必要があると判断されている場合でも（３５０：ＹＥＳ）、画像処理カメラ１００から同期信号が入力されている場合（３５１：ＹＥＳ）には、ヘッドライト／テールライト検出用の撮像が行われるので、配光可変ヘッドライト１２０を完全に消灯するために、全ＬＥＤ駆動信号をＯＦＦにする（ステップ３５２）。ステップ３１１以降の一連の処理が条件に応じて実行され終了すると、再度、ステップ３１１からの処理に戻る。

図４は、図１の実施例における露光と同期信号、および、ヘッドライト駆動信号のタイミングの関係例を示す。

図４（ａ）は画像処理カメラ１００から出力される同期信号の出力パターン例を示し、図４（ｂ）は画像処理カメラの露光状態例を示している。図４（ｃ）は、ヘッドライト制御コントローラ１１０から出力されるＬＥＤ駆動信号のうち代表的な駆動パターン例を示している。本実施例では前述したように、ヘッドライト／テールライト検出用の露光が行われる場合にのみ、ヘッドライトを一時的に消灯させるので、図４（ａ）同期信号は、ヘッドライト／テールライト検出用の露光前に出力される。同期信号が出力されると、図４（ｃ）ＬＥＤ駆動信号がＯＦＦとなり、その間に図４（ｂ）ヘッドライト／テールライト検出用の露光が実行される。またヘッドライト／テールライト検出用の露光が終了すると、同期信号の出力が停止される。同期信号の出力が停止すると、図４（ｃ）ＬＥＤ駆動信号がＯＮとなり、ヘッドライトが点灯する。

ここで図４に示す例では、ヘッドライト／テールライト検出用の露光開始よりも、図４（ａ）同期信号が早く出力されているが、場合によっては露光開始と同時、あるいは、露光開始後であっても良い。また、ヘッドライト／テールライト検出用の露光終了後に、図４（ａ）同期信号の出力が停止しているが、場合によっては露光終了と同時、あるいは、露光終了前であっても良い。ただし以上のような場合、露光中にヘッドライトが点灯している瞬間が存在することになる。そのため、ヘッドライトが反射部材で反射した光が、一時的に入射するので、撮像結果内に反射光源が含まれる。それら反射光源の輝度値は、露光中にヘッドライトが点灯していた時間に比例して大きくなるので、ヘッドライト／テールライトを精度良く検出するためには、反射光源の輝度値が、ヘッドライト／テールライトよりも小さくなるように、同期信号の出力開始および終了タイミングを決定する。

また図４に示す例では、画像処理カメラ１００から同期信号が出力されている間に配光可変ヘッドライト１２０を消灯させていたが、同期信号出力開始から所定期間だけ配光可変ヘッドライト１２０を消灯させても良い。こうすることで、画像処理カメラ１００において、同期信号の出力を終了させるタイミングを、厳格に管理する必要がなくなる。

図５は、図２および図３の処理を実行した場合の撮像例を示す。図の斜線部分は、実際には黒または輝度が非常に低く撮像されている。

図５（ａ）は、車両の前方の像（夜間）であり、左側に視線誘導標が設置された車線上を走行しているものである。道路上には先行車両と対向車両が１台ずつ存在している。図５（ｂ）は図５（ａ）の像を撮像する際に、自車両のヘッドライトが点灯していた場合の撮像結果の一例、図５（ｃ）は図５（ａ）の像を撮像する際に、自車両のヘッドライトを消灯した場合の撮像結果の一例であり、図５（ｂ）（ｃ）共に、光源のみを撮像することを目的として、露光時間を短く設定した場合の撮像結果である。図５（ｂ）と（ｃ）を比較すると、撮像する際に自車両のヘッドライトを消灯した場合は、視線誘導標が撮像されず、先行車のテールライトと、対向車のヘッドライトのみが撮像される。

ここで、本実施例において、図２ステップ２４０で検出対象を更新する際には、全ての検出対象を一定の順序で切り替える必要はない。切り替え順序を時間的に変化させる場合もある。切り替え順序を時間的に変化させることで、ヘッドライト／テールライト検出処理を実行する周期が変化して、結果、配光可変ヘッドライト１２０の消灯周期を変化させられ、仮に対向車両が本実施例と同一のシステムを搭載していた場合であっても、お互いのヘッドライト／テールライト検出処理が、毎回同一タイミングで実行されることはなくなる。毎回同一のタイミングで、お互いのヘッドライト／テールライト検出処理が実行された場合、対向車両のヘッドライトが消灯している間に露光することになるので、対向車両を検出できなくなってしまうが、消灯周期を変化させることで、それを防止することが可能となる。

また本実施例においては、配光可変ヘッドライト１２０として複数のＬＥＤを搭載するヘッドライトを取り上げたが、キセノンランプやハロゲンランプを搭載するヘッドライトや補助灯を使用しても構わない。その場合は、ＬＥＤのように高速点消灯ができないので、ヘッドライト／テールライト用露光時に、ランプを一時的に消灯するのではなく、減光させるだけでも良い。減光させることで、反射部材への入射量が減るので、同様の効果を得ることができる。さらに、レンズやリフレクタを稼動させてランプの光軸を変化させられる場合は、露光時に光軸を変化させても効果がある。また、ノイズとなり得る反射部材の位置が予め分かっている場合は、露光時にその領域への照射が減るように、複数のランプのうち一部を消灯させる、あるいは、一部を減光させる、あるいは、一部の光軸を変化させても効果がある。

本発明の実施例をなす配光制御システムの概略構成を示す。図１の画像処理カメラ１００で実行される処理の一例を示す。図１のヘッドライト制御コントローラ１１０で実行される処理の一例を示す。図１の実施例における露光と同期信号、および、ヘッドライト駆動信号のタイミングの関係例を示す。図２および図３の処理を実行した場合の撮像例を示す。図１の画像処理カメラ１００をより具体的に示した機能ブロック図を示す。

符号の説明

６０１画像処理装置
６０２入力部
６０３画像解析部
６０４露光タイミング決定部
６０５出力部
６０６照明制御装置
６０７カメラ
６０８他の制御装置

Claims

車両の周囲を撮像するカメラからの撮像信号を入力する入力部と、
車線と、ヘッドライト又はテールライトと、明るさと、を含む複数の検出対象に応じて前記カメラの露光タイミングを決定する露光タイミング決定部と、
前記露光タイミング決定部で決定した前記露光タイミングに応じて前記カメラを露光する信号を前記カメラに出力するとともに、前記露光タイミングに応じて車両に搭載された照明の状態を変化させる信号を照明制御装置に出力する出力部と、
前記露光タイミングに応じて撮像した前記カメラからの撮像信号を解析し、当該解析結果を前記出力部を介して他の制御装置に出力する画像解析部と、
を有し、
前記出力部は、前記照明を点灯する必要があると判断されている場合でも、前記検出対象がヘッドライト又はテールライトの場合は、前記露光タイミングに応じて前記照明を消灯する信号を照明制御装置に出力する画像処理装置。
請求項１記載の画像処理装置であって、
前記出力部は、前記露光タイミング決定部で決定した前記露光タイミングに応じて前記カメラを露光する信号を前記カメラに出力するとともに、前記照明を点灯する必要があると判断されている場合でも、前記検出対象がヘッドライト又はテールライトの場合は、前記露光タイミングに応じて前記照明を消灯するのではなく、前記照明の少なくとも一部を減光させる信号を照明制御装置に出力する画像処理装置。
請求項１記載の画像処理装置であって、
前記出力部は、前記露光タイミング決定部で決定した前記露光タイミングに応じて前記カメラを露光する信号を前記カメラに出力するとともに、前記照明を点灯する必要があると判断されている場合でも、前記検出対象がヘッドライト又はテールライトの場合は、前記露光タイミングに応じて前記照明を消灯するのではなく、前記照明の少なくとも一部の光軸を変更させる信号を照明制御装置に出力する画像処理装置。
請求項１記載の画像処理装置であって、
前記出力部は、前記露光タイミング決定部で決定した前記露光タイミングに応じて前記カメラを露光する信号を前記カメラに出力するとともに、露光開始タイミングで車両に搭載された照明の状態を変化させ、露光終了タイミングで前記照明の状態を変化前の状態に戻す信号を照明制御装置に出力する画像処理装置。
請求項１記載の画像処理装置であって、
前記露光タイミング決定部は、検出対象に応じた前記カメラの露光タイミングの周期を時間的に変化させる画像処理装置。
請求項１記載の画像処理装置であって、
前記画像解析部は、前記露光タイミングに応じて撮像した前記カメラからの撮像信号を解析し、前記出力部が出力した前記露光タイミングに応じて前記照明の状態が変化している間に前記カメラが撮影した撮像結果を解析し、当該撮像結果のうち所定以上の輝度値を示す画像領域を光源として特定し、当該特定結果を前記出力部を介して前記他の制御装置に出力する画像処理装置。
車線と、ヘッドライト又はテールライトと、明るさと、を含む複数の検出対象に応じて、車両の周囲を撮像するカメラの露光タイミングを決定し、
決定した前記露光タイミングに応じて前記カメラを露光する信号を前記カメラに出力するとともに、前記露光タイミングに応じて車両に搭載された照明の状態を変化させる信号を照明制御装置に出力し、前記照明を点灯する必要があると判断されている場合でも、前記検出対象がヘッドライト又はテールライトの場合は、前記露光タイミングに応じて前記照明を消灯する信号を照明制御装置に出力し、
前記露光タイミングに応じて撮像した前記カメラからの撮像信号を解析し、当該解析結果を前記出力部を介して他の制御装置に出力する画像処理方法。