JP3984863B2 - 発進報知装置 - Google Patents
発進報知装置 Download PDFInfo
- Publication number
- JP3984863B2 JP3984863B2 JP2002137684A JP2002137684A JP3984863B2 JP 3984863 B2 JP3984863 B2 JP 3984863B2 JP 2002137684 A JP2002137684 A JP 2002137684A JP 2002137684 A JP2002137684 A JP 2002137684A JP 3984863 B2 JP3984863 B2 JP 3984863B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- movement change
- change degree
- monitoring line
- monitoring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、道路の同じレーン上にある前車の発進を自動的に検知して、必要な情報を運転者に報知する発進報知装置に関する。
【０００２】
【従来の技術】
自動車などの車両を運転する際、自車両の前後左右に注意して、他車両と接触しないように、また、信号停止中や渋滞停止中には前車の発進に遅滞なく追従運転しなければならない。このような場合、常に前車の状況に注目し続けなければならないので運転者の疲労は大きくなる。前車の挙動に対して遅れなく反応することは、交通の流れをスムースにし、安全を確保する上で必要であるが、監視し続けることはかなり困難である。
そこで、例えばカメラで自車両周辺を撮影し、この画像を分析、処理して必要な注意情報を運転者に提供する装置が、例えば特開平７−２３９９９８号公報に車両用周辺監視装置として提案されている。この公報に記載の装置は自車両の周囲全方向を監視できる装置であるが、本発明は、特に運転上極めて重要な前車の発進に関する情報に重点を置くことにより、より信頼性、実用性を高めることを目指している。上記公報にも、前車の発進を確認するための前方監視装置が開示されているので、これについて以下に説明する。
【０００３】
図１７は上記公報に開示された従来の前方監視装置の構成を示す機能ブロック図、図１８は図１７内の前方動ベクトル演算手段２０３の具体的構成を示す機能ブロック図、図１９は図１７内の前車発進方向パターン抽出手段２０６の具体的構成を示す機能ブロック図である。
図１７において、２００は前方監視装置であり、以下の手段２０１〜２０９から構成されている。２０１はＣＣＤカメラ等のイメージセンサからなり前方の現画像Ｇｆを生成する前方撮影手段、２０２は現画像Ｇｆを次の撮影タイミングまで記憶して前画像Ｇｆ′を生成するための前画像記憶手段である。２０３は時系列的に異なる前画像Ｇｆ′および現画像Ｇｆに基づいて前方動ベクトルＶｆを算出する前方動ベクトル演算手段であり、図１８に示す手段２０３ａ〜２０３ｃから構成されている。図１８の詳細は後述する。
【０００４】
２０４は前方動ベクトル Ｖｆに基づいて前方動ベクトル方向、Ｄｆを検出する前方動ベクトル方向検出手段であり、前方動ベクトルＶｆのうち、前方演算領域Ｒｆ′およびＲｆ内で所定値以上（接近等の挙動を示す大きさに相当する）の大きさを持つ前方動ベクトル Ｖｆの方向 Ｄｆを出力する。
【０００５】
２０５は前方動ベクトル方向Ｄｆに基づいて自車両の停止状態または走行状態を示す判定結果ＰまたはＤを出力する自車両停止判定手段であり、たとえば、背景画像の発散方向パターンが存在しない場合に自車両停止状態の判定結果 Ｐを出力する。
【０００６】
２０６は自車両の停止状態を示す判定結果Ｐに応答して前方発進方向パターンＦＰを抽出する前車発進方向パターン抽出手段であり、図１８に示す手段２０６ａ〜２０６ｃから構成されている。図１９の説明は後述する。
【０００７】
２０７は図１９（前車発進方向パターン抽出手段２０６）と同様の機能構成からなる前方車両方向パターン抽出手段であり、走行状態を示す判定結果Ｄに応答して、自車両走行中の前方動ベクトルＶｆ等を参照し、前方接近車（前方割り込み車等を含む）の画像動きのパターンと同様の方向パターンを持つ前方ブロックの組み合わせを前方車両方向パターン ＦＤとして抽出する。このとき、走行速度に対応して高速に発散する背景パターン等は削除される。
【０００８】
２０８は自車両停止中の前車発進方向パターン ＦＰに基づいて前方発進車を検出する前車発進検出手段であり、前車発進方向パターンＦＰに含まれる前方ブロック内の前方動ベクトル Ｖｆから前車発進を検出する。２０９は自車両走行中の前方車両方向パターン ＦＤに基づいて前方接近車を検出する前方接近車検出手段である。
【０００９】
図１８において、２０３ａは各画像に対する前方演算領域Ｒｆ′およびＲｆを設定する前方演算領域設定手段である。２０３ｂは各前方演算領域を前方ブロックＢｆ′およびＢｆに分割する前方ブロック分割手段である。
【００１０】
図１９において、２０６ａは前車発進動ベクトル監視領域設定手段である。
２０６ｂは前車発進動ベクトル方向監視手段である。２０６ｃは停止状態を示す判定結果Ｐに応答して前車発進方向パターンＦＰを検出する前車発進方向パターン検出手段である。
【００１１】
次に、図２０のフローチャートを参照しながら、具体的な車両挙動の検出処理動作について説明する。
図２０において、各ステップ Ｓ１〜 Ｓ９は、図１７内の各手段２０１〜２０９の処理動作に対応している。
まず、前方撮影手段２０１により自車両の前方を撮影し（ステップＳｌ）、前画像記憶手段２０２を介して時系列的に異なる前画像Ｇｆ′および現画像Ｇｆを取得する（ステップ Ｓ２）。
【００１２】
次に、前方動ベクトル演算手段２０３は、各画像Ｇｆ′およびＧｆに基づいて前方動ベクトルＶｆ を演算する（ステップＳ３）。すなわち、前方演算領域設定手段２０３ａは、各画像Ｇｆ′およびＧｆ内の所定位置に前方演算領域Ｒｆ′およびＲｆを設定し、前方ブロック分割手段２０３ｂは、各前方演算領域をさらに複数の前方ブロックＢｆ′およびＢｆに分割し、前方動ベクトル検出手段２０３ｃは、各前方ブロック内の画像の前方動ベクトル Ｖｆを検出する（ステップ Ｓ３）。
【００１３】
続いて、前方動ベクトル方向検出手段２０４は、各前方ブロック内の前方動ベクトルＶｆのうち、各前方演算領域で所定値以上の大きさをもつ前方動ベクトルの方向 Ｄｆを検出し（ステップ Ｓ４）、自車両停止判定手段２０５は、自車両が停止中であるか否かを判定する（ステップＳ５）。
もし、ステップＳ５において自車両が停止中（すなわち、ＹＥＳ）と判定された場合、前車発進方向パターン抽出手段２０６は、停止状態を示す判定結果Ｐに応答して前車発進方向パターンＦＰを抽出する（ステップＳ６）。
【００１４】
すなわち、前車発進動ベクトル監視領域設定手段２０６ａは、各前方演算領域内の前方車およびその周辺位置に前車発進動ベクトル監視領域ＲＷｆ′およびＲＷｆを設定し、前車発進動ベクトル方向監視手段２０６ｂは、前車発進動ベクトル監視領域内で前方動ベクトル方向 Ｄｆを監視して、前車発進動ベクトル方向ＤＶｆを生成し、前車発進方向パターン検出手段２０６ｃは、前車発進動ベクトル方向 ＤＶｆに基づいて、前方発進車の画像動きと同様の方向パターンをもつ動ベクトルを含む前方ブロックを前車発進方向パターンＦＰとして検出する。
【００１５】
一方、ステップＳ５において自車両が走行中（すなわち、ＮＯ）と判定された場合、前方車両方向パターン抽出手段２０７は、走行状態を示す判定結果Ｄに応答して前方車両方向パターンＦＤを抽出する（ステップＳ７）。
すなわち、前方演算領域内の所定位置に１つ以上の前方動ベクトル監視領域を設定し、前方動ベクトル監視領域内で各前方動ベクトル方向Ｄｆを監視し、前方接近車または割り込み車が存在する場合に仮定される画像動きの方向パターンと同様の方向パターンをもつ前方動ベクトルを含む前方ブロックを前方車両方向パターンＦＤとして抽出する。
【００１６】
最後に、前車発進検出手段２０８は、前車発進方向パターンＦＰ内の前方動ベクトルに基づいて前方発進車を検出し（ステップ Ｓ８）、前方接近車検出手段２０９は、前方車両方向パターン ＦＤ内の前方動ベクトルに基づいて前方接近車を検出する（ステップＳ９）。こうして、前方車両の挙動（発進または接近）を検出することができる。
【００１７】
次に、図２１の説明図を参照しながら、前方画像Ｇｆに対して設定される前方演算領域Ｒｆおよび前方ブロック Ｂｆ等の具体的位置について説明する。図２１において、ＶおよびＨは画像Ｇｆの縦および横方向の各画素数、ＲＷｆ３は前方接近車（または、前方発進車）に対する前方動ベクトル監視領域（または、前方発進動ベクトル監視領域）である。
【００１８】
前方演算領域 Ｒｆは、画像縦方向Ｖの下から３／４までの領域を占め、割込車に対する前方動ベクトル監視領域ＲＷｆｌおよびＲＷｆ２は、画像縦方向Ｖの下から１／６の位置から上から１／４までの範囲内の領域を占め、接近車に対する前方動ベクトル監視領域ＲＷｆ３は、前方演算領域Ｒｆ内の画像横方向Ｈの中央１／２の領域を占めている。
【００１９】
前方動ベクトルを演算するために限定された前方ブロックＢｆは、１０×１０画素の大きさからなり、前方画像Ｃｆ内の前方演算領域Ｒｆを複数個に分割している。これらの前方ブロック Ｂｆ内で前方動ベクトルが算出される。また、上述した前方ブロックＢｆでの前方動ベクトル Ｖｆの検出（ステップ Ｓ３）においては、公知の全点マッチング法が使用されるものとする。
【００２０】
以上のように、従来の発進報知装置は前方を撮像する撮像手段を設け、その画像を連続的に取り込み、予め、この画像に２次元の処理領域（即ち、縦、横方向に広がりのある）を設定し、さらに、この処理領域を複数の２次元ブロック（同じく縦、横方向に広がりのある）に分割する。そして、各ブロックにおける動ベクトルを求め、まずブロック内の動ベクトルが自車停止状態を示すパターンが得られているブロックの組み合わせにより、自車の停止を検知し、さらにブロック内の前車の発進を示すベクトルと同じパターンが得られているブロックの組み合わせにより前車の発進を検知する。
【００２１】
【発明が解決しようする課題】
従来の発進報知装置は、前車の発進を検知するためにある程度の大きさの２次元画像領域を処理する必要があり、処理すべきデータ量が多いため処理装置の規模が大きくなる。処理速度が遅い、コストが高くなるという課題があった。また、例えば前車がいないときなど、画面内に前車の画像がない場合には誤報が発生する可能性があった。
【００２２】
【課題を解決するための手段】
この発明の発進報知装置は、自車両の前方を撮影して時系列的に異なる複数の画像を生成する撮影手段、
前記画像を含む画面上に、線状の監視ラインを複数設定する監視ライン設定手段、
前記監視ライン上の注目画素の前記監視ライン上での位置の移動変化度を算出する移動変化度演算手段、
前記移動変化度演算手段の演算結果を積算する移動変化度積算手段、
前記移動変化度積算手段により前記複数の監視ラインのそれぞれに算出した移動変化度が所定の条件を満たす監視ラインの総数が、予め定めた所定の値以上であるとき、前車が発進していると判断して発進検知信号を出力する前車発進検知手段、
前記発進検知信号を前記自車両の運転者に報知して、発進可能であることを通知する報知手段を備えたものである。
【００２３】
また、自車両の前方を撮影して時系列的に異なる複数の画像を生成する撮影手段、
前記画像を含む画面上に、線状の監視ラインを複数設定する監視ライン設定手段、
前記監視ライン上の注目画素の前記監視ライン上での位置の移動変化度を算出する移動変化度演算手段、
前記移動変化度演算手段の演算結果を積算する移動変化度積算手段、
各監視ラインごとに前記移動変化度積算手段により算出した移動変化度の積算値があらかじめ定めた所定の条件を越える画素の総計が、あらかじめ定めた所定の値以上である監視ラインの総数が、あらかじめ定めた所定の値以上であるとき、前車が発進していると判断する前車発進検知手段、
前記発進検知信号を前記自車両の運転者に報知して、発進可能であることを通知する報 知手段を備えたものである。
【００２４】
また、前記前車発進検知手段は、
前記移動変化度演算手段が演算した監視ライン上の各画素ごとの移動変化度を２値化する移動変化度２値化回路と、前記移動変化度２値化回路の出力が所定値である画素の総数を求める移動変化度画素積算回路とを備え、
前記移動変化度画素積算回路により算出した画素の総数が、あらかじめ定めた所定の値以上である監視ラインの総数が、あらかじめ定めた所定の値以上のとき、前車が発進していると判断するものである。
【００２５】
また、前記監視ライン設定手段は、前記監視ラインの延長線の少なくとも一方が前記画面の上辺または下辺に向かう縦監視ラインと、前記監視ラインの延長線の少なくとも一方が前記画面の左辺または右辺に向かう横監視ラインとを設定し、前記移動変化度検出手段は前記縦監視ライン又は前記横監視ラインに沿った前記前車の移動ベクトル成分を演算するものである。
【００２６】
【発明の実施の形態】
実施の形態１．
図１は、本発明の実施の形態１に係る発進報知装置の構成を示すブロック図である。図１において、１は車両に搭載され自車の前方を撮影するテレビカメラ（以下ＴＶカメラとも言う）、２はテレビカメラ１を制御するＴＶカメラ制御回路、３はテレビカメラ１が撮影した画面を記憶するフレームメモリ、４は記憶した画面内に監視ラインを設定する監視ライン設定回路（監視ライン設定手段ともいう）、５は監視ライン上の注目画素の位置の移動変化度を算出する移動変化度演算回路（移動変化度演算手段）、６は移動変化度演算回路５が出力した移動変化度を積算する移動変化度積算回路（移動変化度積算手段）、７は移動変化度積算結果を解析して前者の発進を検知する前車発進検知回路（前車発進検知手段）、８は前車の発進を音、光、振動、または画面の表示などで運転者に報知する発報装置（報知手段または報知装置とも言う）である。
【００２７】
次に動作について説明する。車両に搭載されたＴＶカメラ１はＴＶカメラ制御回路２に従って任意のフレーム間隔で、自車両の前方を撮像する。フレームメモリ３はＴＶカメラ１の撮像信号をデジタルに変換したデータを所定時間分（又は所定のフレーム数）だけ蓄積する。このデータは基本的には２次元の画像データであり、以後、水平方向をＸ方向、垂直方向をＹ方向として説明する。監視ライン設定回路４は、前車発進検知用の処理に用いる線状の画素群からなる監視ライン２１を前記２次元画像（画面）上に設定する。
なお、以後の説明は、上記のようにフレームメモリ３に一旦２次元画像を取り込むことを前提に進めるが、前記監視ラインの画素の値のみをフレームメモリに取り入れるように構成してもよい。
【００２８】
監視ライン設定回路４における監視ラインの設定例を図２〜図６に示す。図２〜図６は撮影した前車の画像を示す。図において、２０は画面内の前方車両の像（以下説明中には特に像とは断らない）、２１は前方車両の像２０に重ねて設定した監視ライン、２２は監視ライン２１の両側に設置した画像データ抽出領域である。監視ライン２１は、図のように、一定の長さをもつ線｛幅の狭い（例えば一画素の）直線または曲線｝であり、例えば図２のように、前方車両２０が停止時に、前方車両２０の車体にかかるであろうと予想される位置に予め設定しておく。図２はほぼ垂直方向になるように一本の監視ライン２１を設定した場合で、監視ライン２１上の注目画素の輝度値を使用して、後述の前車検知の判定を行う。監視ライン２１の設定は図３，図４のように複数本設定してもよい。複数本の監視ラインはなるべく図３のように互いに接しない位置に配置したほうがよく、この場合、後述の前車発進検知の判定方法の自由度を上げる効果がある。
【００２９】
移動変化度演算回路５の動作について、監視ライン２１を図２のように設定した場合について説明する。ある時刻tにおける監視ライン２１上の画素(x,y)（注目画素という）の輝度値をg(t,x,y)、tより過去の時刻p（ｐは時刻ｔよりも１ないし数フレーム（１フレーム＝1/30（秒））前の時刻）の同画素の輝度値をg(p,x,y)とすると、移動変化度Ovは次式で求められる。
Ov(x,y)=(g(t,x,y+1)-g(t,x,y-1))*(g(t,x,y)-g(p,x,y)) ・・（１）
Ovは、過去の時刻から所定時刻に至る過程において、画素の輝度値の変化が画面上で下から上に向かう方向で生じる場合には、負の値となり、逆に画素の輝度値の変化が画面上で上から下に向かう方向で生じる場合には正の値となる。移動変化度積算回路６は、監視ライン２１上の各画素ごとに求められた移動変化度演算回路５の出力値を積算する。(g(t,x,y)-g(p,x,y))は第１の差分値を求める手段という。(g(t,x,y+1)-g(t,x,y-1))は第２の差分値を求める手段という。
【００３０】
ここで、前車が発進した場合の輝度変化について図７を用いて説明する。図７において、３０は消失点、３１はオプティカルフロー(動ベクトル)である。カメラが自車両前方の道路を向いている場合、画面内の前方車両のオプティカルフロー３１は、１つの消失点３０に向かうように観測される。従って、前車が停止から前方へ発進した場合、消失点３０より下にある前車の部位の輝度の変化は、下方から上方へ向かい、逆に、消失点３０より上にある前車の部位の輝度の変化は、上方から下方へ向かう変化をする。一方、前車が後方へ発進（接近）する場合は、消失点より下にある前車の部位の輝度の変化は、上方から下方へと向かい、逆に、消失点より上にある前車の部位の輝度の変化は、下方から上方へ向かう。
【００３１】
上記を踏まえて、前車発進検知回路７の発進判定方法について示す。前車発進検知回路７は、監視ライン２１の設置位置と消失点３０との関連によって、前車発進検知の判定方法を決定する。例えば、監視ライン２１が消失点３０に対して、下に設置されている場合、式（１）の演算結果の出力値の移動変化度積算回路６による積算値の絶対値が所定値以下である状態が所定時間以上（ノイズなどにより停止中は必ず０になるとは限らない）である状態（自車および前車がともに停止している可能性が高い）から、負の値でありかつその絶対値が所定しきい値をこえる状態になった場合に、前車が発進したと判定する。
また、同じく移動変化度積算回路６による積算値が正の値であり、その絶対値が所定しきい値をこえる状態になった場合に、前車が後進した（接近）と判定する。
【００３２】
次に、監視ライン２１が消失点３０に対して、上に設置されている場合、式（１）の演算結果の積算値が正の値であり、その絶対値が所定しきい値をこえる状態になった場合に、前車が発進したと判定する。また、同じく移動変化度積算回路６による積算値が負の値であり、その絶対値が所定しきい値をこえる状態になった場合に、前車が後進した（接近）と判定する。
また、監視ライン２１の一部が消失点３０より下にあり、残りが消失点３０より上にある場合、消失点３０を境に、上記２つの判定方式をそれぞれ選択して行う。このように、消失点の位置と判定方式に関連があるため、予め、消失点３０の位置を手動にて設定する手段、もしくは、画像処理から自動的に検知する手段（両者ともに消失点設定手段という）を備え、その出力に基づいて、監視ライン２１の設定位置を決定したり、判定方式を決定するように構成することで、判定の信頼度を向上させることができる。
【００３３】
次に、監視ライン２１を図３のように２本設定した場合の判定方式について説明する。監視ライン２１を２本にしたことで、判定の自由度が拡がる。例えば、２つの監視ライン２１それぞれについて、上記判定条件を満たした場合に限り、前車発進検知ありとしてもよい。また、いずれか一方の監視ライン２１で判定条件を満たした場合に前車発進検知ありとしてもよい。前者は誤報知の発生を減らすことに効果があり、後者は検知漏れを減らす効果がある。また、２つの監視ラインを併せて１つのしきい値を設定して判定を行うようにしてもよい。なお、監視ラインが３つ以上の場合についても同様の組み合わせ方法をとることにより、それぞれ異なる効果が得られる。
【００３４】
監視ラインを図４のように複数本をクロスさせて設定した場合の判定方式について説明する。図４では、監視ライン２１は、垂直方向に対してある傾きを持って設置されている場合や、図５のように、たとえば消失点方向に向かう２本のラインを逆Ｖ字形に接続したような折れ線、広角レンズの収差による消失線のカーブに沿うようにするためなどの曲線の場合を含む。これは前車が発進した際に、オプティカルフローが斜めや横に発生する場合に対応するものである。このときの移動変化度演算回路５の動作は、ある時刻tにおける監視ライン上の画素に対応する１次元データ列の要素(n)の輝度値をg(t,n)、tより過去の時刻p（ｐは前述と同じ）の同要素の輝度値をg(p,n)とする。移動変化度Ov'を次式で求める。
Ov'(n)=(g(t,n+1)-g(t,n-1))*(g(t,n)-g(p,n)) ・・・・・（２）
以下の判定は図２、図３の場合と同じなので説明を省略する。
このように、複数方向の移動変化量を求めることが可能になる。さらに、監視ライン２１が図２、図３のように縦の場合には、前車の画像の縦方向に近いエッジ部分に監視ライン２１が掛かっていると移動変化度がうまく得られないが、斜めにすると縦横両方のエッジ部分のどちらからも移動変化度がうまく得られるという効果も得られる。縦方向の監視ラインを縦監視ライン、横方向の監視ラインを横監視ラインと呼び、縦監視ラインはその延長線の少なくとも一方が画面の上辺または下辺のいずれかに向かい、横監視ラインは左辺又は右辺のいずれかに向かっている。
【００３５】
次に、図６の判定方式について示す。図６は監視ライン２１の両隣に画像データ抽出領域２２（線状の領域）を設定する。これにより監視ライン２１の各画素に対して、図８に示すように監視ライン２１上の画素と画像データ抽出領域２２上の画素の輝度値を用いて、複数方向の移動変化度を求めることができ、移動変化度の大きい方向をその画素の移動変化方向と判定することが可能となる。
式（１）に示す監視ライン２１の方向以外の移動方向については、横方向の移動変化度をOｈ(x,y)、斜め方向の移動変化度をOc1(x,y)、Oc2(x,y)とすると
Oｈ(x,y)=(g(t,x+1,y)-g(t,x-1,y))*(g(t,x,y)-g(p,x,y)) ・・（３）
Oc1(x,y)=(g(t,x-1,y+1)-g(t,x+1,y-1))*(g(t,x,y)-g(p,x,y)) ・・（４）
Oc2(x,y)=(g(t,x+1,y+1)-g(t,x-1,y-1))*(g(t,x,y)-g(p,x,y)) ・・（５）
で示される。以上により、前車発進検知が可能となる。
【００３６】
発報装置８は、前車発進検知回路７にて前車の発進が検知された場合に、ドライバーに対して前車が発進したことを通知する。発報装置８は、例えば音や音声、振動で報知するものであってもよいし、また、ナビやＴＶ用のモニターが搭載されている場合は、モニター上に文字を表示させてもよい。この場合、画面に映像が表示されている場合には、映像の表示を消して文字だけを表示するようにしてもよいし、映像と文字を重畳表示させてもよい。
ＴＶカメラ１とＴＶカメラ制御装置２とフレームメモリ３はこの発明にいう撮影手段である。
【００３７】
関連技術説明１．
図９は、本発明の関連技術である発進報知装置の構成を示すブロック図である。図９において、５０は自車が走行しているか、停車しているかを本前車発進検知回路７とは別の手段により検知し、検知した信号を前車発進検知回路７に送信して、走行中には前車発進検知回路７の動作を停止し、停車したら前車発進検知回路７の動作を開始させる停止検知回路（自車両停止検知手段）、その他は、図１と同様である。
【００３８】
次に動作について説明する。
実施の形態１において、前車発進検知回路７は、自車両と前車がともに停止していることを移動変化度が所定時間以上０に近い値であることをもって判定していた。この場合、自車両と前車とが共に等速で運動している場合にも移動変化度が０になり、停止していると誤検知してしまうことがある。このような誤検知を回避するため、自車が停止中（または走行中）であることを検知する停止検知回路５０を備えるものである。
停止検知回路５０の動作方法には複数の方法があるので順次説明する。
第１の停止検知方法。
自車のスピードメータに利用されている車速パルスの信号を受信して、この信号から自車の車速が０になったことを検知する。この停止信号を前車発進検知回路７に送って検知動作を実行させる。
【００３９】
第２の停止検知方法。
停止検知回路５０は、サイドブレーキがＯＮになった信号を利用する。これによって自車の停止を検知する。以後は第１の方法の処理と同じである。
【００４０】
第３の停止検知方法。
停止検知回路５０は、車体に取付けた加速度センサまたは振動センサからの信号を受信して、進行方向の減速が一定時間連続した後、減速度又は加速度がほぼ０の時間が所定時間以上継続したことをもって自車両の停止を検知する。この場合、加速度センサの出力は、等速で運動している場合に０になるので、実施の形態１の場合と同様に誤認識の可能性が生じるが、画像の影響を受けないということ、また、車両側から他の情報を得る必要がなく、独立した構成とすることができるので装置の構成が簡単になるという効果がある。振動センサを用いる場合には車両が停車中及び走行中にそれぞれ得られる特有の振動形態を予め記憶し、検出した振動形態から走行中か停止中かを判定する。
以後は第１、第２の方法の処理と同じである。
【００４１】
関連技術説明２．
図１０は、本発明の関連技術である発進報知装置の構成を示すブロック図である。図１０において、６０は発進抑制情報検知回路、６１は発進抑制情報、６２は発進検知動作制御回路、その他は、図９と同様である。
次に動作について説明する。
発進抑制情報検知回路６０は、前車発進検知回路７により前車発進が検知された場合にでも、自車が発進してはならない状況であるという情報すなわち発進抑制情報６１を検知する。
ここで発進抑制情報６１の複数の実施形態について説明する。
【００４２】
第１の発進抑制情報。
自車および前車がともに停止状態になった後、ドライバーが発進報知装置の報知に従い、前方を確認することなく不注意に発進してしまうと、人や自転車または自動二輪車などが自車と前車の間に侵入してきた場合、侵入物と衝突する可能性がある。これを回避するために、侵入物ありという発進抑制情報６１が得られた場合には、前車発進検知の通報を抑制するか、通常の発進と異なることをドライバーに通知して不注意な発進を抑制する。
【００４３】
侵入物の検知は、前車発進検知用のカメラ１の画面上に侵入検知領域を設定し（侵入検知領域設定手段）、画像処理により検知する方法がある。画像処理手法としては、例えば、停止直後の画面を背景画面として保持し、以後に得られる画面との背景差分画像を求め抽出する。この変化分を表す領域が、予め想定している人などの大きさや形状に近く、なおかつ時間における領域の変位が、画面上で横への変化、即ち、画面の左から右へ、または、右から左へ変位している場合に侵入物ありと判定する（侵入検知手段という）。このようにして、発進抑制情報検知回路６０が所定の発進抑制情報６１を得た場合に、この信号を発進検知動作制御回路６２に出力する。
発進検知動作制御回路６２は、発進抑制情報が送信されてきた場合に、Ａ）前車発進検知回路７の動作を停止させるか、又は、Ｂ）発報装置８の発報動作を停止させるか、又は、Ｃ）発報の内容を通常の前車発進検知に関する発報とは異なる内容（音を変える、文字の表示内容を変える等）で発報する。侵入物の検知の別法としては、光送受信器を備え、光切断によって侵入物を検知することでもよい。
【００４４】
第２の発進抑制情報。
ドライバーが前方から目を離す可能性が高い場合として、車載ディスプレイを見る場合がある。すなわち、ナビ情報やインターネット情報を見ている場合である。発進報知装置は、ドライバーがこれらの情報に注意が向かい、前車が発進したことに気づくのが遅れることを回避することを目的とするものであるが、逆に、それ以外ではドライバーは前方を見ている場合が多く、発進報知は不要と考えられる。従って、発進抑制情報６１として、車載ディスプレイがオフであることを検知した場合には、発進検知動作制御回路６２に出力して、その動作を停止する。以後の動作は上記第１の発進抑制情報の説明と同じなので説明を省略する。言い換えると、車載ディスプレイがオンの時に限り発進報知を可能とするものである。また、予めドライバーが車載ディスプレイがオフであるときに、発進報知動作を抑制するかどうかを設定できる機能を用意し、選択可能としてもよい。
【００４５】
第３の発進抑制情報。
発進報知装置は、前車がいることが前提となる。しかし、交差点手前、先頭で停車している場合など、前車がいない場合がある。この場合、前車発進検知の出力は不要である（あっても誤報である）。従って、前方に車両が存在するかどうかを判定し（車両存在検知手段という）、車両が存在しない場合には、発進抑制情報６１として発進検知動作制御回路６２に出力し、発進報知装置の動作を停止する。以後の動作は上記に同じ。前車の有無を検知する方法は、カメラ１の画像を解析して車の後部が写っているのを検出してもよいが、その他にもレーザを用いる方法や超音波を用いる方法などいくつかの方法が公知であるので詳細な説明は省略する。
【００４６】
第４の発進抑制情報。
前車発進検知回路７は、実施の形態１で述べたように画像処理を用いて前車の発進を判定している。この場合、撮影画像自体に何らかの不良がある場合には、画像処理結果の信頼度が低下するため、発進報知も抑制する必要がある。このため、カメラが正常に動作しているかを判定する手段、例えばカメラの画像にスミア、ハレーションを生じている、又は、全体的に暗すぎる場合や全体的に明るすぎる場合など対象画像の不具合を画像の輝度情報から求める手段（画像処理可否判定手段という）をもうけ、画像処理不能が検知された場合には、発進抑制情報６１として、発進検知動作制御回路６２に出力して発進報知装置の動作を停止する。以後の動作は上記に同じ。
【００４７】
第５の発進抑制情報。
自車が右左折するために停止している場合、基本的には、発進報知の機能は不要と考えられる。従って、発進抑制情報６１として、左右のどちらかのウィンカがオンであることを検知した場合には、発進検知動作制御回路６２に出力し、する。以後の動作は上記第1の発進抑制情報の説明と同じなので説明を省略する。
【００４８】
第６の発進抑制情報。
ドライバー自身が、前車発進報知の発報動作を不要と判断した場合、発報装置８に装備されたスイッチもしくはタッチパネルなどによる車載ディスプレイにより、動作の停止を入力する。動作の停止が入力された場合、発進抑制情報６１として、発進検知動作制御回路６２に出力する。以後の動作は第１の発進抑制情報の説明と同じであるので説明を省略する。
このスイッチにより動作を停止させた場合、以後の動作パターンは次のいずれかを選択できる。１つ、このスイッチを押した後、使用していた車載ディスプレイの動作を停止したときは、このスイッチはリセットされ発報動作が再開される。２つ、このスイッチを押した後の最初の自車の発進により、このスイッチがリセットされて初報動作が再開され、以後、再びスイッチを押すまでは、通常の発進報知動作が継続される。
【００４９】
第７の発進抑制情報。
ドライバーがギアをドライブモードや後進モードに設定している場合は、発進検知動作を不要とすることが考えられる。また、ニュートラルに設定している時は発進報知動作を実施してもよいと考えられる。従って、発進抑制情報６１として、ギアの動作モードを発進検知動作制御回路６２に出力する。以後の動作は第１の発進抑制情報の説明と同じであるので説明を省略する。
【００５０】
関連技術説明３．
図１１は、関連技術である発進報知装置の構成を示すブロック図である。図において、７０は道路交通信号機の位置検出回路（以下、信号位置検出回路、または信号機位置検出手段という）、７１は道路交通信号表示状態判定回路（以下、信号判定回路という）、その他は、図９と同様である。
次に動作について説明する。信号位置検出回路７０は、画像上から信号位置を検出する。信号位置の検出方法について、以下に一例を示して説明する。画像に対して、ソーベルフィルタなどを用いてエッジを検出する。そして、エッジが所定の大きさの円状をなす部分を検出する。そして、３つの円が所定距離内に存在する場合もしくは、少なくとも１つの円が検出され、その後、その円の近辺に同様の円が検出された場合に信号ありと判定し、その位置を出力する。
【００５１】
なお、信号位置検出回路７０に関して、上記は画像より自動決定する方法を述べたが、ドライバーの指示で決定するものであってもよい。すなわち、車載ディスプレイが搭載されており、自車が停止したとき、前車検知用のカメラ１の画像が車内ディスプレイに表示されている状況において、ドライバーは、マウスもしくは指によるディスプレイタッチ（タッチパネル装着時）などのポインタ機能を用いて、信号の存在箇所を指定する。信号位置検出回路７０は、指定された位置を出力（すなわち記憶）する。
【００５２】
信号判定回路７１（信号判定手段）は、信号が赤から青、又は青矢印、黄色又は赤の点滅に変化（要は自車が走行可能の信号に変化）したことを判定する。ここで、信号判定回路７１の判定方法について一例を示す。信号は、左から（又は上から）、青、黄、赤の順に並んでいる。停止状態では、赤の輝度が他に比べて高いため、少なくとも赤の円が得られていると考えられる。従って、得られている円内の輝度の低下を検知することによって、信号が赤から青に変わったと判定できる。さらに、赤から左方向に一定距離離れているところに、円が存在する場合はその輝度が高くなったことを、もしくは、円が存在しなかった場合は、輝度が高くなって、円状の形状のあるエッジが発生したことをもって、信号が赤から青に変わったと判定するようにしてもよく、また、その両方をもって判定してもよい。矢印や点滅の場合もそれぞれに対処可能である。
【００５３】
上記のように、信号の変化が自車が走行可能な状態に変わったことを検知し、なおかつ、前車発進検知回路７にて、前車の発進が検知された場合に、発進報知装置８にて、ドライバーに発進を通知する。
なお、信号位置検出回路７０により、信号が検知されなかった場合には、実施の形態１と同様に、前車発進検知回路７にて、前車に発進が検知された場合に、発進報知装置８にて、ドライバーに発進を通知する。
【００５４】
関連技術説明４．
図１２は、関連技術である発進報知装置の構成を示すブロック図である。図において、８０は自車の前に前車が存在するかどうかを検知する車両存在検知回路、その他は、図１０、図１１と同様である。
次に動作について説明する。本実施の形態は、実施の形態４の構成に加えて、前車が存在するかどうかを検知する車両存在検知回路８０を追加し、実施の形態３の発報動作の抑制の機能を拡張するものである。
【００５５】
停止検知回路５０にて、車両存在検知回路８０にて前車の存在が検知されなかったにもかかわらず自車の停止が検知され、しかも、信号位置検出回路７０にて信号が検知されなかった場合は、信号検知もれなどの異常状態にあると想定される。従って、この場合には、発進抑制情報６１として、発進検知動作制御回路６２に出力して、実施の形態３の場合のように、報知手段８の発報を抑制する。
一方、信号位置検出回路７０にて信号が検知された場合は、交差点の先頭に停車している状態であるとして、信号判定回路７１により信号が青に変化したことが検知された時点で、発報手段８より自車が発進可能状態であるとして発報する。
【００５６】
関連技術説明５．
図１３は、本願の関連技術である発進報知装置の構成を示すブロック図である。図において、９０はカメラオンオフ制御回路（スイッチ手段という）、その他は、図９と同様である。
次に動作について説明する。前車に対する発進報知は、自車が停止状態の時にのみ動作されればよい。従って、カメラ自体も、自車が停止状態の時に限り、動作可能状態であればよい。従って、停止検知回路５０によって、自車の停止が検知された場合は、カメラオンオフ制御回路９０にて、カメラを動作状態にし、逆に自車が動いている場合は、カメラの動作を停止させる。
【００５７】
関連技術説明６．
図１４は、本願の関連技術である発進報知装置の構成を示すブロック図である。図において、１００は、遮光及び防塵機能を有するシャッター付きカメラ、１０１はカメラシャッター制御回路である。その他は、図９と同様である。
次に動作について説明する。前車に対する発進報知は、自車が停止状態の時にのみ動作されればよい。カメラは、常に前方に向けられており、太陽の直射日光による撮像素子やレンズの劣化、ほこりや排気ガスなどによるレンズの汚れなどが生じる。従って、停止検知回路５０によって、自車の停止が検知された場合は、カメラシャッター制御回路１０１にて、シャッターを開放し、逆に自車が動いている場合は、カメラシャッターを閉じる。なお、シャッターの代わりに、制御可能な絞りを用いてもよい。この場合、自車の停止が検知された場合は、絞りを適正な状態にし、逆に自車が動いている場合は、絞りを完全に閉じるように制御を行う。
【００５８】
実施の形態２．
図１５は、本願の実施の形態２に係る発進報知装置の構成を示すブロック図である。図において、１１０は移動変化度２値化回路、１１２は前車発進検知回路である。その他は、図１と同様である。
次に動作について説明する。実施の形態１と同様の手法にて、監視ライン上の各画素毎の移動変化度を算出する。移動変化度２値化回路１１０は、所定のしきい値により、監視ライン上の各画素ごとの移動変化度を２値化する。仮に、しきい値をこえるものを“１”、残りを“０”とすると、移動変化画素積算回路１１１は、“１”である画素の総数を求める。なお、しきい値が負の値である場合は、しきい値以下のものを“１”、残りを“０”とする。前車発進検知回路１１２は、前記移動変化画素積算回路１１１の画素の総数が所定のしきい値をこえる場合は、前車が発進したと判定する。このとき、実施の形態１で示したように、監視ライン２１の設置位置と消失点３０との関連によって、前車発進検知の判定方法が異なる。
【００５９】
すなわち、監視ライン２１が消失点３０に対して、下に設置されている場合、移動変化度２値化回路１１０のしきい値が負であるときは、前車は前進したことを検知したことになり、逆に正であるときは、前車が後進（接近）したことを検知したことになる。一方、監視ライン２１が消失点３０に対して、上に設置されている場合、移動変化度２値化回路１１０のしきい値が正であるときは、前車は前進したことを検知したことになり、逆に負であるときは、前車が後進（接近）したことを検知したことになる。
本実施の形態は、基本的に、実施の形態１において説明した、監視ラインの設定のバリエーション（図２〜図６）に対して、実施の形態１の場合と類似の考え方により判定が可能であり、従って同様の効果が得られる。
【００６０】
関連技術説明７．
図１６は、本願の関連技術である発進報知装置の構成を示すブロック図である。図において、１２０は発進検知可能性判定回路（発進動作検知可能度判定手段）である。その他は、図９と同様である。
次に動作について説明する。実施の形態１に基づく方法により、前車発進検知を判定する。ここで、前車発進検知回路７の検知の判定は、移動変化度により求めているが、基本的に前車の監視ライン上の輝度変化によって求めているため、もともと輝度変化が少ない車両に対しては、発進検知もれになる可能性が高くなる。従って、発進検知可能性判定回路１２０は、停止検知回路５０に自車の停車が検知された直後の監視ライン上のデータを取り込み、輝度パターンの内容によって、発進検知の可能性を判定する。判定方法は例えば、濃度の変化度が少ないものすなわちエッジが少ない場合は検知可能性が低いと判定することができる。また、別の判定方法として、自車の停止の直前におきる所定時間分の移動変化度を用いてもよい。すなわち、停止直前の場合は、発進の場合と比較して、接近と遠去と移動の向きは反対であるが、加減速度の度合いが似ている場合は、同じようなパターンになる。
【００６１】
従って、停止直前のパターンで接近が検知出来ている場合には、発進も検知できると考えられ、逆に、接近を検知出来なかった場合には、発進を検知できない可能性も高いと考えられる。以上から、発進検知可能性判定回路１２０は、自車の停止の直前におきる所定時間分の移動変化度を用い、発進検知と向きが異なるだけでその他は同様の方法により、前車の接近の検知処理を行い、検知可能性を判定する。そして、どちらかの方法により、発進検知の可能性が低いと判断される場合には、発進報知装置８よりドライバーに対して、検知もれの可能性があることを報知する。これにより、ドライバーは、予め検知もれに対する心づもりができるため、装置の信頼度を上げる効果が得られる。
【００６２】
【発明の効果】
以上のように、この発明の発進報知装置は、処理領域を幅が１画素の線分にしたこと、また移動変化度により、前車発進検知を可能にしたことにより、演算処理する領域面積が小さくなり、装置の規模を小さく、処理速度を早く、装置を安価に構成できる効果があるとともに、監視ラインを複数とし、移動変化度に基づいて前車発進の判定を行うので、前車発進の判定の信頼度が向上する。
【００６３】
また、監視ラインを複数とし、移動変化度の積算値に基づいて前車発進の判定を行うので、前車発進の判定の信頼度が向上する。
【００６４】
また、監視ライン設定手段は、縦、横の監視ラインを設定するので、前車発進の判定の信頼度が向上する。
【図面の簡単な説明】
【図１】 この発明の実施の形態１の発進報知装置の構成図である。
【図２】 図１の動作を説明するための監視ラインの説明図である。
【図３】 他の監視ラインの説明図である。
【図４】 他の監視ラインの説明図である。
【図５】 他の監視ラインの説明図である。
【図６】 他の監視ラインの説明図である。
【図７】 図１の動作を説明するための消失点の説明図である。
【図８】 隣接する画素を含む移動方向検出の説明図である。
【図９】 この発明の関連技術１の発進報知装置の構成図である。
【図１０】 この発明の関連技術２の発進報知装置の構成図である。
【図１１】 この発明の関連技術３の発進報知装置の構成図である。
【図１２】 この発明の関連技術４の発進報知装置の構成図である。
【図１３】 この発明の関連技術５の発進報知装置の構成図である。
【図１４】 この発明の関連技術６の発進報知装置の構成図である。
【図１５】 この発明の実施の形態２の発進報知装置の構成図である。
【図１６】 この発明の関連技術７の発進報知装置の構成図である。
【図１７】 従来の発進報知装置の構成図である。
【図１８】 図１７の部分詳細説明図である。
【図１９】 図１７の部分詳細説明図である。
【図２０】 図１７の動作を説明するフローチャートである。
【図２１】 図１７の動作を説明するための画面の領域説明図である。
【符号の説明】
１ テレビカメラ、 ２ テレビカメラ制御回路、 ３ フレームメモリ、 ４ 監視ライン設定回路 ５ 移動変化度演算回路、
６ 移動変化度積算回路、 ７ 前車発進検知回路、 ８ 発報装置、
２０ 画像、 ２１ 監視ライン、 ２２ 画像データ抽出領域、
５０ 停止検知回路、 ６０ 発進抑制情報検知回路、
６１ 発進抑制情報、 ６２ 発進検知動作制御回路、
７０ 信号位置検出回路、 ７１ 信号判定回路、
８０ 車両存在検知回路、 ９０ カメラＯＮ・ＯＦＦ制御回路、
１０１ カメラシャッター制御回路、 １１１ 移動変化度２値化回路、
１１２ 前車発進検知回路、 １２０ 発進検知可能性判定回路。
【発明の属する技術分野】
この発明は、道路の同じレーン上にある前車の発進を自動的に検知して、必要な情報を運転者に報知する発進報知装置に関する。
【０００２】
【従来の技術】
自動車などの車両を運転する際、自車両の前後左右に注意して、他車両と接触しないように、また、信号停止中や渋滞停止中には前車の発進に遅滞なく追従運転しなければならない。このような場合、常に前車の状況に注目し続けなければならないので運転者の疲労は大きくなる。前車の挙動に対して遅れなく反応することは、交通の流れをスムースにし、安全を確保する上で必要であるが、監視し続けることはかなり困難である。
そこで、例えばカメラで自車両周辺を撮影し、この画像を分析、処理して必要な注意情報を運転者に提供する装置が、例えば特開平７−２３９９９８号公報に車両用周辺監視装置として提案されている。この公報に記載の装置は自車両の周囲全方向を監視できる装置であるが、本発明は、特に運転上極めて重要な前車の発進に関する情報に重点を置くことにより、より信頼性、実用性を高めることを目指している。上記公報にも、前車の発進を確認するための前方監視装置が開示されているので、これについて以下に説明する。
【０００３】
図１７は上記公報に開示された従来の前方監視装置の構成を示す機能ブロック図、図１８は図１７内の前方動ベクトル演算手段２０３の具体的構成を示す機能ブロック図、図１９は図１７内の前車発進方向パターン抽出手段２０６の具体的構成を示す機能ブロック図である。
図１７において、２００は前方監視装置であり、以下の手段２０１〜２０９から構成されている。２０１はＣＣＤカメラ等のイメージセンサからなり前方の現画像Ｇｆを生成する前方撮影手段、２０２は現画像Ｇｆを次の撮影タイミングまで記憶して前画像Ｇｆ′を生成するための前画像記憶手段である。２０３は時系列的に異なる前画像Ｇｆ′および現画像Ｇｆに基づいて前方動ベクトルＶｆを算出する前方動ベクトル演算手段であり、図１８に示す手段２０３ａ〜２０３ｃから構成されている。図１８の詳細は後述する。
【０００４】
２０４は前方動ベクトル Ｖｆに基づいて前方動ベクトル方向、Ｄｆを検出する前方動ベクトル方向検出手段であり、前方動ベクトルＶｆのうち、前方演算領域Ｒｆ′およびＲｆ内で所定値以上（接近等の挙動を示す大きさに相当する）の大きさを持つ前方動ベクトル Ｖｆの方向 Ｄｆを出力する。
【０００５】
２０５は前方動ベクトル方向Ｄｆに基づいて自車両の停止状態または走行状態を示す判定結果ＰまたはＤを出力する自車両停止判定手段であり、たとえば、背景画像の発散方向パターンが存在しない場合に自車両停止状態の判定結果 Ｐを出力する。
【０００６】
２０６は自車両の停止状態を示す判定結果Ｐに応答して前方発進方向パターンＦＰを抽出する前車発進方向パターン抽出手段であり、図１８に示す手段２０６ａ〜２０６ｃから構成されている。図１９の説明は後述する。
【０００７】
２０７は図１９（前車発進方向パターン抽出手段２０６）と同様の機能構成からなる前方車両方向パターン抽出手段であり、走行状態を示す判定結果Ｄに応答して、自車両走行中の前方動ベクトルＶｆ等を参照し、前方接近車（前方割り込み車等を含む）の画像動きのパターンと同様の方向パターンを持つ前方ブロックの組み合わせを前方車両方向パターン ＦＤとして抽出する。このとき、走行速度に対応して高速に発散する背景パターン等は削除される。
【０００８】
２０８は自車両停止中の前車発進方向パターン ＦＰに基づいて前方発進車を検出する前車発進検出手段であり、前車発進方向パターンＦＰに含まれる前方ブロック内の前方動ベクトル Ｖｆから前車発進を検出する。２０９は自車両走行中の前方車両方向パターン ＦＤに基づいて前方接近車を検出する前方接近車検出手段である。
【０００９】
図１８において、２０３ａは各画像に対する前方演算領域Ｒｆ′およびＲｆを設定する前方演算領域設定手段である。２０３ｂは各前方演算領域を前方ブロックＢｆ′およびＢｆに分割する前方ブロック分割手段である。
【００１０】
図１９において、２０６ａは前車発進動ベクトル監視領域設定手段である。
２０６ｂは前車発進動ベクトル方向監視手段である。２０６ｃは停止状態を示す判定結果Ｐに応答して前車発進方向パターンＦＰを検出する前車発進方向パターン検出手段である。
【００１１】
次に、図２０のフローチャートを参照しながら、具体的な車両挙動の検出処理動作について説明する。
図２０において、各ステップ Ｓ１〜 Ｓ９は、図１７内の各手段２０１〜２０９の処理動作に対応している。
まず、前方撮影手段２０１により自車両の前方を撮影し（ステップＳｌ）、前画像記憶手段２０２を介して時系列的に異なる前画像Ｇｆ′および現画像Ｇｆを取得する（ステップ Ｓ２）。
【００１２】
次に、前方動ベクトル演算手段２０３は、各画像Ｇｆ′およびＧｆに基づいて前方動ベクトルＶｆ を演算する（ステップＳ３）。すなわち、前方演算領域設定手段２０３ａは、各画像Ｇｆ′およびＧｆ内の所定位置に前方演算領域Ｒｆ′およびＲｆを設定し、前方ブロック分割手段２０３ｂは、各前方演算領域をさらに複数の前方ブロックＢｆ′およびＢｆに分割し、前方動ベクトル検出手段２０３ｃは、各前方ブロック内の画像の前方動ベクトル Ｖｆを検出する（ステップ Ｓ３）。
【００１３】
続いて、前方動ベクトル方向検出手段２０４は、各前方ブロック内の前方動ベクトルＶｆのうち、各前方演算領域で所定値以上の大きさをもつ前方動ベクトルの方向 Ｄｆを検出し（ステップ Ｓ４）、自車両停止判定手段２０５は、自車両が停止中であるか否かを判定する（ステップＳ５）。
もし、ステップＳ５において自車両が停止中（すなわち、ＹＥＳ）と判定された場合、前車発進方向パターン抽出手段２０６は、停止状態を示す判定結果Ｐに応答して前車発進方向パターンＦＰを抽出する（ステップＳ６）。
【００１４】
すなわち、前車発進動ベクトル監視領域設定手段２０６ａは、各前方演算領域内の前方車およびその周辺位置に前車発進動ベクトル監視領域ＲＷｆ′およびＲＷｆを設定し、前車発進動ベクトル方向監視手段２０６ｂは、前車発進動ベクトル監視領域内で前方動ベクトル方向 Ｄｆを監視して、前車発進動ベクトル方向ＤＶｆを生成し、前車発進方向パターン検出手段２０６ｃは、前車発進動ベクトル方向 ＤＶｆに基づいて、前方発進車の画像動きと同様の方向パターンをもつ動ベクトルを含む前方ブロックを前車発進方向パターンＦＰとして検出する。
【００１５】
一方、ステップＳ５において自車両が走行中（すなわち、ＮＯ）と判定された場合、前方車両方向パターン抽出手段２０７は、走行状態を示す判定結果Ｄに応答して前方車両方向パターンＦＤを抽出する（ステップＳ７）。
すなわち、前方演算領域内の所定位置に１つ以上の前方動ベクトル監視領域を設定し、前方動ベクトル監視領域内で各前方動ベクトル方向Ｄｆを監視し、前方接近車または割り込み車が存在する場合に仮定される画像動きの方向パターンと同様の方向パターンをもつ前方動ベクトルを含む前方ブロックを前方車両方向パターンＦＤとして抽出する。
【００１６】
最後に、前車発進検出手段２０８は、前車発進方向パターンＦＰ内の前方動ベクトルに基づいて前方発進車を検出し（ステップ Ｓ８）、前方接近車検出手段２０９は、前方車両方向パターン ＦＤ内の前方動ベクトルに基づいて前方接近車を検出する（ステップＳ９）。こうして、前方車両の挙動（発進または接近）を検出することができる。
【００１７】
次に、図２１の説明図を参照しながら、前方画像Ｇｆに対して設定される前方演算領域Ｒｆおよび前方ブロック Ｂｆ等の具体的位置について説明する。図２１において、ＶおよびＨは画像Ｇｆの縦および横方向の各画素数、ＲＷｆ３は前方接近車（または、前方発進車）に対する前方動ベクトル監視領域（または、前方発進動ベクトル監視領域）である。
【００１８】
前方演算領域 Ｒｆは、画像縦方向Ｖの下から３／４までの領域を占め、割込車に対する前方動ベクトル監視領域ＲＷｆｌおよびＲＷｆ２は、画像縦方向Ｖの下から１／６の位置から上から１／４までの範囲内の領域を占め、接近車に対する前方動ベクトル監視領域ＲＷｆ３は、前方演算領域Ｒｆ内の画像横方向Ｈの中央１／２の領域を占めている。
【００１９】
前方動ベクトルを演算するために限定された前方ブロックＢｆは、１０×１０画素の大きさからなり、前方画像Ｃｆ内の前方演算領域Ｒｆを複数個に分割している。これらの前方ブロック Ｂｆ内で前方動ベクトルが算出される。また、上述した前方ブロックＢｆでの前方動ベクトル Ｖｆの検出（ステップ Ｓ３）においては、公知の全点マッチング法が使用されるものとする。
【００２０】
以上のように、従来の発進報知装置は前方を撮像する撮像手段を設け、その画像を連続的に取り込み、予め、この画像に２次元の処理領域（即ち、縦、横方向に広がりのある）を設定し、さらに、この処理領域を複数の２次元ブロック（同じく縦、横方向に広がりのある）に分割する。そして、各ブロックにおける動ベクトルを求め、まずブロック内の動ベクトルが自車停止状態を示すパターンが得られているブロックの組み合わせにより、自車の停止を検知し、さらにブロック内の前車の発進を示すベクトルと同じパターンが得られているブロックの組み合わせにより前車の発進を検知する。
【００２１】
【発明が解決しようする課題】
従来の発進報知装置は、前車の発進を検知するためにある程度の大きさの２次元画像領域を処理する必要があり、処理すべきデータ量が多いため処理装置の規模が大きくなる。処理速度が遅い、コストが高くなるという課題があった。また、例えば前車がいないときなど、画面内に前車の画像がない場合には誤報が発生する可能性があった。
【００２２】
【課題を解決するための手段】
この発明の発進報知装置は、自車両の前方を撮影して時系列的に異なる複数の画像を生成する撮影手段、
前記画像を含む画面上に、線状の監視ラインを複数設定する監視ライン設定手段、
前記監視ライン上の注目画素の前記監視ライン上での位置の移動変化度を算出する移動変化度演算手段、
前記移動変化度演算手段の演算結果を積算する移動変化度積算手段、
前記移動変化度積算手段により前記複数の監視ラインのそれぞれに算出した移動変化度が所定の条件を満たす監視ラインの総数が、予め定めた所定の値以上であるとき、前車が発進していると判断して発進検知信号を出力する前車発進検知手段、
前記発進検知信号を前記自車両の運転者に報知して、発進可能であることを通知する報知手段を備えたものである。
【００２３】
また、自車両の前方を撮影して時系列的に異なる複数の画像を生成する撮影手段、
前記画像を含む画面上に、線状の監視ラインを複数設定する監視ライン設定手段、
前記監視ライン上の注目画素の前記監視ライン上での位置の移動変化度を算出する移動変化度演算手段、
前記移動変化度演算手段の演算結果を積算する移動変化度積算手段、
各監視ラインごとに前記移動変化度積算手段により算出した移動変化度の積算値があらかじめ定めた所定の条件を越える画素の総計が、あらかじめ定めた所定の値以上である監視ラインの総数が、あらかじめ定めた所定の値以上であるとき、前車が発進していると判断する前車発進検知手段、
前記発進検知信号を前記自車両の運転者に報知して、発進可能であることを通知する報 知手段を備えたものである。
【００２４】
また、前記前車発進検知手段は、
前記移動変化度演算手段が演算した監視ライン上の各画素ごとの移動変化度を２値化する移動変化度２値化回路と、前記移動変化度２値化回路の出力が所定値である画素の総数を求める移動変化度画素積算回路とを備え、
前記移動変化度画素積算回路により算出した画素の総数が、あらかじめ定めた所定の値以上である監視ラインの総数が、あらかじめ定めた所定の値以上のとき、前車が発進していると判断するものである。
【００２５】
また、前記監視ライン設定手段は、前記監視ラインの延長線の少なくとも一方が前記画面の上辺または下辺に向かう縦監視ラインと、前記監視ラインの延長線の少なくとも一方が前記画面の左辺または右辺に向かう横監視ラインとを設定し、前記移動変化度検出手段は前記縦監視ライン又は前記横監視ラインに沿った前記前車の移動ベクトル成分を演算するものである。
【００２６】
【発明の実施の形態】
実施の形態１．
図１は、本発明の実施の形態１に係る発進報知装置の構成を示すブロック図である。図１において、１は車両に搭載され自車の前方を撮影するテレビカメラ（以下ＴＶカメラとも言う）、２はテレビカメラ１を制御するＴＶカメラ制御回路、３はテレビカメラ１が撮影した画面を記憶するフレームメモリ、４は記憶した画面内に監視ラインを設定する監視ライン設定回路（監視ライン設定手段ともいう）、５は監視ライン上の注目画素の位置の移動変化度を算出する移動変化度演算回路（移動変化度演算手段）、６は移動変化度演算回路５が出力した移動変化度を積算する移動変化度積算回路（移動変化度積算手段）、７は移動変化度積算結果を解析して前者の発進を検知する前車発進検知回路（前車発進検知手段）、８は前車の発進を音、光、振動、または画面の表示などで運転者に報知する発報装置（報知手段または報知装置とも言う）である。
【００２７】
次に動作について説明する。車両に搭載されたＴＶカメラ１はＴＶカメラ制御回路２に従って任意のフレーム間隔で、自車両の前方を撮像する。フレームメモリ３はＴＶカメラ１の撮像信号をデジタルに変換したデータを所定時間分（又は所定のフレーム数）だけ蓄積する。このデータは基本的には２次元の画像データであり、以後、水平方向をＸ方向、垂直方向をＹ方向として説明する。監視ライン設定回路４は、前車発進検知用の処理に用いる線状の画素群からなる監視ライン２１を前記２次元画像（画面）上に設定する。
なお、以後の説明は、上記のようにフレームメモリ３に一旦２次元画像を取り込むことを前提に進めるが、前記監視ラインの画素の値のみをフレームメモリに取り入れるように構成してもよい。
【００２８】
監視ライン設定回路４における監視ラインの設定例を図２〜図６に示す。図２〜図６は撮影した前車の画像を示す。図において、２０は画面内の前方車両の像（以下説明中には特に像とは断らない）、２１は前方車両の像２０に重ねて設定した監視ライン、２２は監視ライン２１の両側に設置した画像データ抽出領域である。監視ライン２１は、図のように、一定の長さをもつ線｛幅の狭い（例えば一画素の）直線または曲線｝であり、例えば図２のように、前方車両２０が停止時に、前方車両２０の車体にかかるであろうと予想される位置に予め設定しておく。図２はほぼ垂直方向になるように一本の監視ライン２１を設定した場合で、監視ライン２１上の注目画素の輝度値を使用して、後述の前車検知の判定を行う。監視ライン２１の設定は図３，図４のように複数本設定してもよい。複数本の監視ラインはなるべく図３のように互いに接しない位置に配置したほうがよく、この場合、後述の前車発進検知の判定方法の自由度を上げる効果がある。
【００２９】
移動変化度演算回路５の動作について、監視ライン２１を図２のように設定した場合について説明する。ある時刻tにおける監視ライン２１上の画素(x,y)（注目画素という）の輝度値をg(t,x,y)、tより過去の時刻p（ｐは時刻ｔよりも１ないし数フレーム（１フレーム＝1/30（秒））前の時刻）の同画素の輝度値をg(p,x,y)とすると、移動変化度Ovは次式で求められる。
Ov(x,y)=(g(t,x,y+1)-g(t,x,y-1))*(g(t,x,y)-g(p,x,y)) ・・（１）
Ovは、過去の時刻から所定時刻に至る過程において、画素の輝度値の変化が画面上で下から上に向かう方向で生じる場合には、負の値となり、逆に画素の輝度値の変化が画面上で上から下に向かう方向で生じる場合には正の値となる。移動変化度積算回路６は、監視ライン２１上の各画素ごとに求められた移動変化度演算回路５の出力値を積算する。(g(t,x,y)-g(p,x,y))は第１の差分値を求める手段という。(g(t,x,y+1)-g(t,x,y-1))は第２の差分値を求める手段という。
【００３０】
ここで、前車が発進した場合の輝度変化について図７を用いて説明する。図７において、３０は消失点、３１はオプティカルフロー(動ベクトル)である。カメラが自車両前方の道路を向いている場合、画面内の前方車両のオプティカルフロー３１は、１つの消失点３０に向かうように観測される。従って、前車が停止から前方へ発進した場合、消失点３０より下にある前車の部位の輝度の変化は、下方から上方へ向かい、逆に、消失点３０より上にある前車の部位の輝度の変化は、上方から下方へ向かう変化をする。一方、前車が後方へ発進（接近）する場合は、消失点より下にある前車の部位の輝度の変化は、上方から下方へと向かい、逆に、消失点より上にある前車の部位の輝度の変化は、下方から上方へ向かう。
【００３１】
上記を踏まえて、前車発進検知回路７の発進判定方法について示す。前車発進検知回路７は、監視ライン２１の設置位置と消失点３０との関連によって、前車発進検知の判定方法を決定する。例えば、監視ライン２１が消失点３０に対して、下に設置されている場合、式（１）の演算結果の出力値の移動変化度積算回路６による積算値の絶対値が所定値以下である状態が所定時間以上（ノイズなどにより停止中は必ず０になるとは限らない）である状態（自車および前車がともに停止している可能性が高い）から、負の値でありかつその絶対値が所定しきい値をこえる状態になった場合に、前車が発進したと判定する。
また、同じく移動変化度積算回路６による積算値が正の値であり、その絶対値が所定しきい値をこえる状態になった場合に、前車が後進した（接近）と判定する。
【００３２】
次に、監視ライン２１が消失点３０に対して、上に設置されている場合、式（１）の演算結果の積算値が正の値であり、その絶対値が所定しきい値をこえる状態になった場合に、前車が発進したと判定する。また、同じく移動変化度積算回路６による積算値が負の値であり、その絶対値が所定しきい値をこえる状態になった場合に、前車が後進した（接近）と判定する。
また、監視ライン２１の一部が消失点３０より下にあり、残りが消失点３０より上にある場合、消失点３０を境に、上記２つの判定方式をそれぞれ選択して行う。このように、消失点の位置と判定方式に関連があるため、予め、消失点３０の位置を手動にて設定する手段、もしくは、画像処理から自動的に検知する手段（両者ともに消失点設定手段という）を備え、その出力に基づいて、監視ライン２１の設定位置を決定したり、判定方式を決定するように構成することで、判定の信頼度を向上させることができる。
【００３３】
次に、監視ライン２１を図３のように２本設定した場合の判定方式について説明する。監視ライン２１を２本にしたことで、判定の自由度が拡がる。例えば、２つの監視ライン２１それぞれについて、上記判定条件を満たした場合に限り、前車発進検知ありとしてもよい。また、いずれか一方の監視ライン２１で判定条件を満たした場合に前車発進検知ありとしてもよい。前者は誤報知の発生を減らすことに効果があり、後者は検知漏れを減らす効果がある。また、２つの監視ラインを併せて１つのしきい値を設定して判定を行うようにしてもよい。なお、監視ラインが３つ以上の場合についても同様の組み合わせ方法をとることにより、それぞれ異なる効果が得られる。
【００３４】
監視ラインを図４のように複数本をクロスさせて設定した場合の判定方式について説明する。図４では、監視ライン２１は、垂直方向に対してある傾きを持って設置されている場合や、図５のように、たとえば消失点方向に向かう２本のラインを逆Ｖ字形に接続したような折れ線、広角レンズの収差による消失線のカーブに沿うようにするためなどの曲線の場合を含む。これは前車が発進した際に、オプティカルフローが斜めや横に発生する場合に対応するものである。このときの移動変化度演算回路５の動作は、ある時刻tにおける監視ライン上の画素に対応する１次元データ列の要素(n)の輝度値をg(t,n)、tより過去の時刻p（ｐは前述と同じ）の同要素の輝度値をg(p,n)とする。移動変化度Ov'を次式で求める。
Ov'(n)=(g(t,n+1)-g(t,n-1))*(g(t,n)-g(p,n)) ・・・・・（２）
以下の判定は図２、図３の場合と同じなので説明を省略する。
このように、複数方向の移動変化量を求めることが可能になる。さらに、監視ライン２１が図２、図３のように縦の場合には、前車の画像の縦方向に近いエッジ部分に監視ライン２１が掛かっていると移動変化度がうまく得られないが、斜めにすると縦横両方のエッジ部分のどちらからも移動変化度がうまく得られるという効果も得られる。縦方向の監視ラインを縦監視ライン、横方向の監視ラインを横監視ラインと呼び、縦監視ラインはその延長線の少なくとも一方が画面の上辺または下辺のいずれかに向かい、横監視ラインは左辺又は右辺のいずれかに向かっている。
【００３５】
次に、図６の判定方式について示す。図６は監視ライン２１の両隣に画像データ抽出領域２２（線状の領域）を設定する。これにより監視ライン２１の各画素に対して、図８に示すように監視ライン２１上の画素と画像データ抽出領域２２上の画素の輝度値を用いて、複数方向の移動変化度を求めることができ、移動変化度の大きい方向をその画素の移動変化方向と判定することが可能となる。
式（１）に示す監視ライン２１の方向以外の移動方向については、横方向の移動変化度をOｈ(x,y)、斜め方向の移動変化度をOc1(x,y)、Oc2(x,y)とすると
Oｈ(x,y)=(g(t,x+1,y)-g(t,x-1,y))*(g(t,x,y)-g(p,x,y)) ・・（３）
Oc1(x,y)=(g(t,x-1,y+1)-g(t,x+1,y-1))*(g(t,x,y)-g(p,x,y)) ・・（４）
Oc2(x,y)=(g(t,x+1,y+1)-g(t,x-1,y-1))*(g(t,x,y)-g(p,x,y)) ・・（５）
で示される。以上により、前車発進検知が可能となる。
【００３６】
発報装置８は、前車発進検知回路７にて前車の発進が検知された場合に、ドライバーに対して前車が発進したことを通知する。発報装置８は、例えば音や音声、振動で報知するものであってもよいし、また、ナビやＴＶ用のモニターが搭載されている場合は、モニター上に文字を表示させてもよい。この場合、画面に映像が表示されている場合には、映像の表示を消して文字だけを表示するようにしてもよいし、映像と文字を重畳表示させてもよい。
ＴＶカメラ１とＴＶカメラ制御装置２とフレームメモリ３はこの発明にいう撮影手段である。
【００３７】
関連技術説明１．
図９は、本発明の関連技術である発進報知装置の構成を示すブロック図である。図９において、５０は自車が走行しているか、停車しているかを本前車発進検知回路７とは別の手段により検知し、検知した信号を前車発進検知回路７に送信して、走行中には前車発進検知回路７の動作を停止し、停車したら前車発進検知回路７の動作を開始させる停止検知回路（自車両停止検知手段）、その他は、図１と同様である。
【００３８】
次に動作について説明する。
実施の形態１において、前車発進検知回路７は、自車両と前車がともに停止していることを移動変化度が所定時間以上０に近い値であることをもって判定していた。この場合、自車両と前車とが共に等速で運動している場合にも移動変化度が０になり、停止していると誤検知してしまうことがある。このような誤検知を回避するため、自車が停止中（または走行中）であることを検知する停止検知回路５０を備えるものである。
停止検知回路５０の動作方法には複数の方法があるので順次説明する。
第１の停止検知方法。
自車のスピードメータに利用されている車速パルスの信号を受信して、この信号から自車の車速が０になったことを検知する。この停止信号を前車発進検知回路７に送って検知動作を実行させる。
【００３９】
第２の停止検知方法。
停止検知回路５０は、サイドブレーキがＯＮになった信号を利用する。これによって自車の停止を検知する。以後は第１の方法の処理と同じである。
【００４０】
第３の停止検知方法。
停止検知回路５０は、車体に取付けた加速度センサまたは振動センサからの信号を受信して、進行方向の減速が一定時間連続した後、減速度又は加速度がほぼ０の時間が所定時間以上継続したことをもって自車両の停止を検知する。この場合、加速度センサの出力は、等速で運動している場合に０になるので、実施の形態１の場合と同様に誤認識の可能性が生じるが、画像の影響を受けないということ、また、車両側から他の情報を得る必要がなく、独立した構成とすることができるので装置の構成が簡単になるという効果がある。振動センサを用いる場合には車両が停車中及び走行中にそれぞれ得られる特有の振動形態を予め記憶し、検出した振動形態から走行中か停止中かを判定する。
以後は第１、第２の方法の処理と同じである。
【００４１】
関連技術説明２．
図１０は、本発明の関連技術である発進報知装置の構成を示すブロック図である。図１０において、６０は発進抑制情報検知回路、６１は発進抑制情報、６２は発進検知動作制御回路、その他は、図９と同様である。
次に動作について説明する。
発進抑制情報検知回路６０は、前車発進検知回路７により前車発進が検知された場合にでも、自車が発進してはならない状況であるという情報すなわち発進抑制情報６１を検知する。
ここで発進抑制情報６１の複数の実施形態について説明する。
【００４２】
第１の発進抑制情報。
自車および前車がともに停止状態になった後、ドライバーが発進報知装置の報知に従い、前方を確認することなく不注意に発進してしまうと、人や自転車または自動二輪車などが自車と前車の間に侵入してきた場合、侵入物と衝突する可能性がある。これを回避するために、侵入物ありという発進抑制情報６１が得られた場合には、前車発進検知の通報を抑制するか、通常の発進と異なることをドライバーに通知して不注意な発進を抑制する。
【００４３】
侵入物の検知は、前車発進検知用のカメラ１の画面上に侵入検知領域を設定し（侵入検知領域設定手段）、画像処理により検知する方法がある。画像処理手法としては、例えば、停止直後の画面を背景画面として保持し、以後に得られる画面との背景差分画像を求め抽出する。この変化分を表す領域が、予め想定している人などの大きさや形状に近く、なおかつ時間における領域の変位が、画面上で横への変化、即ち、画面の左から右へ、または、右から左へ変位している場合に侵入物ありと判定する（侵入検知手段という）。このようにして、発進抑制情報検知回路６０が所定の発進抑制情報６１を得た場合に、この信号を発進検知動作制御回路６２に出力する。
発進検知動作制御回路６２は、発進抑制情報が送信されてきた場合に、Ａ）前車発進検知回路７の動作を停止させるか、又は、Ｂ）発報装置８の発報動作を停止させるか、又は、Ｃ）発報の内容を通常の前車発進検知に関する発報とは異なる内容（音を変える、文字の表示内容を変える等）で発報する。侵入物の検知の別法としては、光送受信器を備え、光切断によって侵入物を検知することでもよい。
【００４４】
第２の発進抑制情報。
ドライバーが前方から目を離す可能性が高い場合として、車載ディスプレイを見る場合がある。すなわち、ナビ情報やインターネット情報を見ている場合である。発進報知装置は、ドライバーがこれらの情報に注意が向かい、前車が発進したことに気づくのが遅れることを回避することを目的とするものであるが、逆に、それ以外ではドライバーは前方を見ている場合が多く、発進報知は不要と考えられる。従って、発進抑制情報６１として、車載ディスプレイがオフであることを検知した場合には、発進検知動作制御回路６２に出力して、その動作を停止する。以後の動作は上記第１の発進抑制情報の説明と同じなので説明を省略する。言い換えると、車載ディスプレイがオンの時に限り発進報知を可能とするものである。また、予めドライバーが車載ディスプレイがオフであるときに、発進報知動作を抑制するかどうかを設定できる機能を用意し、選択可能としてもよい。
【００４５】
第３の発進抑制情報。
発進報知装置は、前車がいることが前提となる。しかし、交差点手前、先頭で停車している場合など、前車がいない場合がある。この場合、前車発進検知の出力は不要である（あっても誤報である）。従って、前方に車両が存在するかどうかを判定し（車両存在検知手段という）、車両が存在しない場合には、発進抑制情報６１として発進検知動作制御回路６２に出力し、発進報知装置の動作を停止する。以後の動作は上記に同じ。前車の有無を検知する方法は、カメラ１の画像を解析して車の後部が写っているのを検出してもよいが、その他にもレーザを用いる方法や超音波を用いる方法などいくつかの方法が公知であるので詳細な説明は省略する。
【００４６】
第４の発進抑制情報。
前車発進検知回路７は、実施の形態１で述べたように画像処理を用いて前車の発進を判定している。この場合、撮影画像自体に何らかの不良がある場合には、画像処理結果の信頼度が低下するため、発進報知も抑制する必要がある。このため、カメラが正常に動作しているかを判定する手段、例えばカメラの画像にスミア、ハレーションを生じている、又は、全体的に暗すぎる場合や全体的に明るすぎる場合など対象画像の不具合を画像の輝度情報から求める手段（画像処理可否判定手段という）をもうけ、画像処理不能が検知された場合には、発進抑制情報６１として、発進検知動作制御回路６２に出力して発進報知装置の動作を停止する。以後の動作は上記に同じ。
【００４７】
第５の発進抑制情報。
自車が右左折するために停止している場合、基本的には、発進報知の機能は不要と考えられる。従って、発進抑制情報６１として、左右のどちらかのウィンカがオンであることを検知した場合には、発進検知動作制御回路６２に出力し、する。以後の動作は上記第1の発進抑制情報の説明と同じなので説明を省略する。
【００４８】
第６の発進抑制情報。
ドライバー自身が、前車発進報知の発報動作を不要と判断した場合、発報装置８に装備されたスイッチもしくはタッチパネルなどによる車載ディスプレイにより、動作の停止を入力する。動作の停止が入力された場合、発進抑制情報６１として、発進検知動作制御回路６２に出力する。以後の動作は第１の発進抑制情報の説明と同じであるので説明を省略する。
このスイッチにより動作を停止させた場合、以後の動作パターンは次のいずれかを選択できる。１つ、このスイッチを押した後、使用していた車載ディスプレイの動作を停止したときは、このスイッチはリセットされ発報動作が再開される。２つ、このスイッチを押した後の最初の自車の発進により、このスイッチがリセットされて初報動作が再開され、以後、再びスイッチを押すまでは、通常の発進報知動作が継続される。
【００４９】
第７の発進抑制情報。
ドライバーがギアをドライブモードや後進モードに設定している場合は、発進検知動作を不要とすることが考えられる。また、ニュートラルに設定している時は発進報知動作を実施してもよいと考えられる。従って、発進抑制情報６１として、ギアの動作モードを発進検知動作制御回路６２に出力する。以後の動作は第１の発進抑制情報の説明と同じであるので説明を省略する。
【００５０】
関連技術説明３．
図１１は、関連技術である発進報知装置の構成を示すブロック図である。図において、７０は道路交通信号機の位置検出回路（以下、信号位置検出回路、または信号機位置検出手段という）、７１は道路交通信号表示状態判定回路（以下、信号判定回路という）、その他は、図９と同様である。
次に動作について説明する。信号位置検出回路７０は、画像上から信号位置を検出する。信号位置の検出方法について、以下に一例を示して説明する。画像に対して、ソーベルフィルタなどを用いてエッジを検出する。そして、エッジが所定の大きさの円状をなす部分を検出する。そして、３つの円が所定距離内に存在する場合もしくは、少なくとも１つの円が検出され、その後、その円の近辺に同様の円が検出された場合に信号ありと判定し、その位置を出力する。
【００５１】
なお、信号位置検出回路７０に関して、上記は画像より自動決定する方法を述べたが、ドライバーの指示で決定するものであってもよい。すなわち、車載ディスプレイが搭載されており、自車が停止したとき、前車検知用のカメラ１の画像が車内ディスプレイに表示されている状況において、ドライバーは、マウスもしくは指によるディスプレイタッチ（タッチパネル装着時）などのポインタ機能を用いて、信号の存在箇所を指定する。信号位置検出回路７０は、指定された位置を出力（すなわち記憶）する。
【００５２】
信号判定回路７１（信号判定手段）は、信号が赤から青、又は青矢印、黄色又は赤の点滅に変化（要は自車が走行可能の信号に変化）したことを判定する。ここで、信号判定回路７１の判定方法について一例を示す。信号は、左から（又は上から）、青、黄、赤の順に並んでいる。停止状態では、赤の輝度が他に比べて高いため、少なくとも赤の円が得られていると考えられる。従って、得られている円内の輝度の低下を検知することによって、信号が赤から青に変わったと判定できる。さらに、赤から左方向に一定距離離れているところに、円が存在する場合はその輝度が高くなったことを、もしくは、円が存在しなかった場合は、輝度が高くなって、円状の形状のあるエッジが発生したことをもって、信号が赤から青に変わったと判定するようにしてもよく、また、その両方をもって判定してもよい。矢印や点滅の場合もそれぞれに対処可能である。
【００５３】
上記のように、信号の変化が自車が走行可能な状態に変わったことを検知し、なおかつ、前車発進検知回路７にて、前車の発進が検知された場合に、発進報知装置８にて、ドライバーに発進を通知する。
なお、信号位置検出回路７０により、信号が検知されなかった場合には、実施の形態１と同様に、前車発進検知回路７にて、前車に発進が検知された場合に、発進報知装置８にて、ドライバーに発進を通知する。
【００５４】
関連技術説明４．
図１２は、関連技術である発進報知装置の構成を示すブロック図である。図において、８０は自車の前に前車が存在するかどうかを検知する車両存在検知回路、その他は、図１０、図１１と同様である。
次に動作について説明する。本実施の形態は、実施の形態４の構成に加えて、前車が存在するかどうかを検知する車両存在検知回路８０を追加し、実施の形態３の発報動作の抑制の機能を拡張するものである。
【００５５】
停止検知回路５０にて、車両存在検知回路８０にて前車の存在が検知されなかったにもかかわらず自車の停止が検知され、しかも、信号位置検出回路７０にて信号が検知されなかった場合は、信号検知もれなどの異常状態にあると想定される。従って、この場合には、発進抑制情報６１として、発進検知動作制御回路６２に出力して、実施の形態３の場合のように、報知手段８の発報を抑制する。
一方、信号位置検出回路７０にて信号が検知された場合は、交差点の先頭に停車している状態であるとして、信号判定回路７１により信号が青に変化したことが検知された時点で、発報手段８より自車が発進可能状態であるとして発報する。
【００５６】
関連技術説明５．
図１３は、本願の関連技術である発進報知装置の構成を示すブロック図である。図において、９０はカメラオンオフ制御回路（スイッチ手段という）、その他は、図９と同様である。
次に動作について説明する。前車に対する発進報知は、自車が停止状態の時にのみ動作されればよい。従って、カメラ自体も、自車が停止状態の時に限り、動作可能状態であればよい。従って、停止検知回路５０によって、自車の停止が検知された場合は、カメラオンオフ制御回路９０にて、カメラを動作状態にし、逆に自車が動いている場合は、カメラの動作を停止させる。
【００５７】
関連技術説明６．
図１４は、本願の関連技術である発進報知装置の構成を示すブロック図である。図において、１００は、遮光及び防塵機能を有するシャッター付きカメラ、１０１はカメラシャッター制御回路である。その他は、図９と同様である。
次に動作について説明する。前車に対する発進報知は、自車が停止状態の時にのみ動作されればよい。カメラは、常に前方に向けられており、太陽の直射日光による撮像素子やレンズの劣化、ほこりや排気ガスなどによるレンズの汚れなどが生じる。従って、停止検知回路５０によって、自車の停止が検知された場合は、カメラシャッター制御回路１０１にて、シャッターを開放し、逆に自車が動いている場合は、カメラシャッターを閉じる。なお、シャッターの代わりに、制御可能な絞りを用いてもよい。この場合、自車の停止が検知された場合は、絞りを適正な状態にし、逆に自車が動いている場合は、絞りを完全に閉じるように制御を行う。
【００５８】
実施の形態２．
図１５は、本願の実施の形態２に係る発進報知装置の構成を示すブロック図である。図において、１１０は移動変化度２値化回路、１１２は前車発進検知回路である。その他は、図１と同様である。
次に動作について説明する。実施の形態１と同様の手法にて、監視ライン上の各画素毎の移動変化度を算出する。移動変化度２値化回路１１０は、所定のしきい値により、監視ライン上の各画素ごとの移動変化度を２値化する。仮に、しきい値をこえるものを“１”、残りを“０”とすると、移動変化画素積算回路１１１は、“１”である画素の総数を求める。なお、しきい値が負の値である場合は、しきい値以下のものを“１”、残りを“０”とする。前車発進検知回路１１２は、前記移動変化画素積算回路１１１の画素の総数が所定のしきい値をこえる場合は、前車が発進したと判定する。このとき、実施の形態１で示したように、監視ライン２１の設置位置と消失点３０との関連によって、前車発進検知の判定方法が異なる。
【００５９】
すなわち、監視ライン２１が消失点３０に対して、下に設置されている場合、移動変化度２値化回路１１０のしきい値が負であるときは、前車は前進したことを検知したことになり、逆に正であるときは、前車が後進（接近）したことを検知したことになる。一方、監視ライン２１が消失点３０に対して、上に設置されている場合、移動変化度２値化回路１１０のしきい値が正であるときは、前車は前進したことを検知したことになり、逆に負であるときは、前車が後進（接近）したことを検知したことになる。
本実施の形態は、基本的に、実施の形態１において説明した、監視ラインの設定のバリエーション（図２〜図６）に対して、実施の形態１の場合と類似の考え方により判定が可能であり、従って同様の効果が得られる。
【００６０】
関連技術説明７．
図１６は、本願の関連技術である発進報知装置の構成を示すブロック図である。図において、１２０は発進検知可能性判定回路（発進動作検知可能度判定手段）である。その他は、図９と同様である。
次に動作について説明する。実施の形態１に基づく方法により、前車発進検知を判定する。ここで、前車発進検知回路７の検知の判定は、移動変化度により求めているが、基本的に前車の監視ライン上の輝度変化によって求めているため、もともと輝度変化が少ない車両に対しては、発進検知もれになる可能性が高くなる。従って、発進検知可能性判定回路１２０は、停止検知回路５０に自車の停車が検知された直後の監視ライン上のデータを取り込み、輝度パターンの内容によって、発進検知の可能性を判定する。判定方法は例えば、濃度の変化度が少ないものすなわちエッジが少ない場合は検知可能性が低いと判定することができる。また、別の判定方法として、自車の停止の直前におきる所定時間分の移動変化度を用いてもよい。すなわち、停止直前の場合は、発進の場合と比較して、接近と遠去と移動の向きは反対であるが、加減速度の度合いが似ている場合は、同じようなパターンになる。
【００６１】
従って、停止直前のパターンで接近が検知出来ている場合には、発進も検知できると考えられ、逆に、接近を検知出来なかった場合には、発進を検知できない可能性も高いと考えられる。以上から、発進検知可能性判定回路１２０は、自車の停止の直前におきる所定時間分の移動変化度を用い、発進検知と向きが異なるだけでその他は同様の方法により、前車の接近の検知処理を行い、検知可能性を判定する。そして、どちらかの方法により、発進検知の可能性が低いと判断される場合には、発進報知装置８よりドライバーに対して、検知もれの可能性があることを報知する。これにより、ドライバーは、予め検知もれに対する心づもりができるため、装置の信頼度を上げる効果が得られる。
【００６２】
【発明の効果】
以上のように、この発明の発進報知装置は、処理領域を幅が１画素の線分にしたこと、また移動変化度により、前車発進検知を可能にしたことにより、演算処理する領域面積が小さくなり、装置の規模を小さく、処理速度を早く、装置を安価に構成できる効果があるとともに、監視ラインを複数とし、移動変化度に基づいて前車発進の判定を行うので、前車発進の判定の信頼度が向上する。
【００６３】
また、監視ラインを複数とし、移動変化度の積算値に基づいて前車発進の判定を行うので、前車発進の判定の信頼度が向上する。
【００６４】
また、監視ライン設定手段は、縦、横の監視ラインを設定するので、前車発進の判定の信頼度が向上する。
【図面の簡単な説明】
【図１】 この発明の実施の形態１の発進報知装置の構成図である。
【図２】 図１の動作を説明するための監視ラインの説明図である。
【図３】 他の監視ラインの説明図である。
【図４】 他の監視ラインの説明図である。
【図５】 他の監視ラインの説明図である。
【図６】 他の監視ラインの説明図である。
【図７】 図１の動作を説明するための消失点の説明図である。
【図８】 隣接する画素を含む移動方向検出の説明図である。
【図９】 この発明の関連技術１の発進報知装置の構成図である。
【図１０】 この発明の関連技術２の発進報知装置の構成図である。
【図１１】 この発明の関連技術３の発進報知装置の構成図である。
【図１２】 この発明の関連技術４の発進報知装置の構成図である。
【図１３】 この発明の関連技術５の発進報知装置の構成図である。
【図１４】 この発明の関連技術６の発進報知装置の構成図である。
【図１５】 この発明の実施の形態２の発進報知装置の構成図である。
【図１６】 この発明の関連技術７の発進報知装置の構成図である。
【図１７】 従来の発進報知装置の構成図である。
【図１８】 図１７の部分詳細説明図である。
【図１９】 図１７の部分詳細説明図である。
【図２０】 図１７の動作を説明するフローチャートである。
【図２１】 図１７の動作を説明するための画面の領域説明図である。
【符号の説明】
１ テレビカメラ、 ２ テレビカメラ制御回路、 ３ フレームメモリ、 ４ 監視ライン設定回路 ５ 移動変化度演算回路、
６ 移動変化度積算回路、 ７ 前車発進検知回路、 ８ 発報装置、
２０ 画像、 ２１ 監視ライン、 ２２ 画像データ抽出領域、
５０ 停止検知回路、 ６０ 発進抑制情報検知回路、
６１ 発進抑制情報、 ６２ 発進検知動作制御回路、
７０ 信号位置検出回路、 ７１ 信号判定回路、
８０ 車両存在検知回路、 ９０ カメラＯＮ・ＯＦＦ制御回路、
１０１ カメラシャッター制御回路、 １１１ 移動変化度２値化回路、
１１２ 前車発進検知回路、 １２０ 発進検知可能性判定回路。
Claims (4)
- 自車両の前方を撮影して時系列的に異なる複数の画像を生成する撮影手段、
前記画像を含む画面上に、線状の監視ラインを複数設定する監視ライン設定手段、
前記監視ライン上の注目画素の前記監視ライン上での位置の移動変化度を算出する移動変化度演算手段、
前記移動変化度演算手段の演算結果を積算する移動変化度積算手段、
前記移動変化度積算手段により前記複数の監視ラインのそれぞれに算出した移動変化度が所定の条件を満たす監視ラインの総数が、予め定めた所定の値以上であるとき、前車が発進していると判断して発進検知信号を出力する前車発進検知手段、
前記発進検知信号を前記自車両の運転者に報知して、発進可能であることを通知する報知手段を備えたことを特徴とする発進報知装置。 - 自車両の前方を撮影して時系列的に異なる複数の画像を生成する撮影手段、
前記画像を含む画面上に、線状の監視ラインを複数設定する監視ライン設定手段、
前記監視ライン上の注目画素の前記監視ライン上での位置の移動変化度を算出する移動変化度演算手段、
前記移動変化度演算手段の演算結果を積算する移動変化度積算手段、
各監視ラインごとに前記移動変化度積算手段により算出した移動変化度の積算値があらかじめ定めた所定の条件を越える画素の総計が、あらかじめ定めた所定の値以上である監視ラインの総数が、あらかじめ定めた所定の値以上であるとき、前車が発進していると判断する前車発進検知手段、
前記発進検知信号を前記自車両の運転者に報知して、発進可能であることを通知する報知手段を備えたことを特徴とする発進報知装置。 - 前記前車発進検知手段は、
前記移動変化度演算手段が演算した監視ライン上の各画素ごとの移動変化度を２値化する移動変化度２値化回路と、前記移動変化度２値化回路の出力が所定値である画素の総数を求める移動変化度画素積算回路とを備え、
前記移動変化度画素積算回路により算出した画素の総数が、あらかじめ定めた所定の値以上である監視ラインの総数が、あらかじめ定めた所定の値以上のとき、前車が発進していると判断するものであることを特徴とする請求項第２項に記載の発進報知装置。 - 前記監視ライン設定手段は、前記監視ラインの延長線の少なくとも一方が前記画面の上辺または下辺に向かう縦監視ラインと、前記監視ラインの延長線の少なくとも一方が前記画面の左辺または右辺に向かう横監視ラインとを設定し、前記移動変化度検出手段は前記縦監視ライン又は前記横監視ラインに沿った前記前車の移動ベクトル成分を演算することを特徴とする請求項１から３のいずれか一項に記載の発進報知装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002137684A JP3984863B2 (ja) | 2002-05-13 | 2002-05-13 | 発進報知装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002137684A JP3984863B2 (ja) | 2002-05-13 | 2002-05-13 | 発進報知装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007113147A Division JP2007207274A (ja) | 2007-04-23 | 2007-04-23 | 発進報知装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003331397A JP2003331397A (ja) | 2003-11-21 |
| JP3984863B2 true JP3984863B2 (ja) | 2007-10-03 |
Family
ID=29699367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002137684A Expired - Fee Related JP3984863B2 (ja) | 2002-05-13 | 2002-05-13 | 発進報知装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3984863B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4379049B2 (ja) * | 2003-08-28 | 2009-12-09 | アイシン精機株式会社 | 車両用報知装置 |
| FR2863050B1 (fr) * | 2003-11-27 | 2006-03-10 | Peugeot Citroen Automobiles Sa | Dispositif de mesure de la distance entre deux vehicules. |
| JP3874356B2 (ja) | 2004-05-06 | 2007-01-31 | 株式会社ナビタイムジャパン | 携帯型案内装置 |
| JP4507939B2 (ja) * | 2005-03-28 | 2010-07-21 | カシオ計算機株式会社 | 撮影装置及びプログラム |
| JP2007004500A (ja) * | 2005-06-24 | 2007-01-11 | Alpine Electronics Inc | 車両周辺物体探知装置 |
| JP4715788B2 (ja) * | 2007-03-26 | 2011-07-06 | 住友電気工業株式会社 | 車両制御システム、車載装置及び車両 |
| US8396623B2 (en) | 2007-09-28 | 2013-03-12 | Fujitsu Ten Limited | Driver recorder and method for setting up the driver recorder |
| JP5459324B2 (ja) | 2012-01-17 | 2014-04-02 | 株式会社デンソー | 車両周辺監視装置 |
| JP6115278B2 (ja) | 2013-04-16 | 2017-04-19 | 株式会社デンソー | 車両用表示装置 |
| CN117115776A (zh) * | 2022-05-17 | 2023-11-24 | 华为技术有限公司 | 车辆起步行为的预测方法、装置、存储介质及程序产品 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08223566A (ja) * | 1995-02-10 | 1996-08-30 | Hitachi Ltd | 車両用周囲状況認識装置 |
| JP3589786B2 (ja) * | 1996-04-23 | 2004-11-17 | 三菱電機株式会社 | ロケータ装置 |
| JP3588666B2 (ja) * | 1996-07-30 | 2004-11-17 | 日産自動車株式会社 | 運転制御装置 |
| JP3405313B2 (ja) * | 2000-03-07 | 2003-05-12 | 株式会社エクォス・リサーチ | ナビゲーション装置 |
| JP3822417B2 (ja) * | 2000-05-30 | 2006-09-20 | 三菱電機株式会社 | 車両周辺監視装置 |
-
2002
- 2002-05-13 JP JP2002137684A patent/JP3984863B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003331397A (ja) | 2003-11-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4720386B2 (ja) | 運転支援装置 | |
| JP2007207274A (ja) | 発進報知装置 | |
| JP5171629B2 (ja) | 走行情報提供装置 | |
| JP6350145B2 (ja) | 顔向き検出装置及び車両用警告システム | |
| WO2010058821A1 (ja) | 接近物体検知システム | |
| JP5480925B2 (ja) | 車両周辺監視装置 | |
| JP2003123196A (ja) | 車両の周辺監視装置及びプログラム | |
| JP2005309797A (ja) | 歩行者警報装置 | |
| JP3984863B2 (ja) | 発進報知装置 | |
| JP2000127849A (ja) | 車両用後側方監視装置 | |
| KR20180065527A (ko) | 차량 후측방 경고 장치 및 이를 이용한 경고 방법 | |
| JP6805716B2 (ja) | 表示装置、表示方法、プログラム | |
| JP2005222424A (ja) | 移動体周辺監視装置、移動体周辺監視方法、制御プログラムおよび可読記録媒体 | |
| JP2994170B2 (ja) | 車両周辺監視装置 | |
| JP4826355B2 (ja) | 車両周囲表示装置 | |
| JP3012226B2 (ja) | 居眠り運転防止装置 | |
| JP2001101592A (ja) | 車両用衝突防止装置 | |
| JP5172482B2 (ja) | 車両周辺監視装置 | |
| KR100355993B1 (ko) | 차선 이탈 경보장치 및 방법 | |
| JP4534788B2 (ja) | 車両用運転支援装置 | |
| JP2000011298A (ja) | 車両用後側方監視装置 | |
| JP2940582B2 (ja) | 斜め後方走行車検出方法 | |
| JP6927787B2 (ja) | 車載器および運転支援装置 | |
| JP2004252550A (ja) | 運転支援装置 | |
| JP2005309660A (ja) | 車両用右左折支援装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041208 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070306 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070423 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070626 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070709 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100713 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100713 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100713 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110713 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110713 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120713 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120713 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130713 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |