JP3606223B2 - Vehicle side image generation method and vehicle side image generation device - Google Patents

Vehicle side image generation method and vehicle side image generation device Download PDF

Info

Publication number
JP3606223B2
JP3606223B2 JP2001130231A JP2001130231A JP3606223B2 JP 3606223 B2 JP3606223 B2 JP 3606223B2 JP 2001130231 A JP2001130231 A JP 2001130231A JP 2001130231 A JP2001130231 A JP 2001130231A JP 3606223 B2 JP3606223 B2 JP 3606223B2
Authority
JP
Japan
Prior art keywords
vehicle
side image
data
image generation
approaching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001130231A
Other languages
Japanese (ja)
Other versions
JP2002321579A (en
Inventor
健一 畑中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Electric Industries Ltd
Original Assignee
Sumitomo Electric Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Electric Industries Ltd filed Critical Sumitomo Electric Industries Ltd
Priority to JP2001130231A priority Critical patent/JP3606223B2/en
Publication of JP2002321579A publication Critical patent/JP2002321579A/en
Application granted granted Critical
Publication of JP3606223B2 publication Critical patent/JP3606223B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Editing Of Facsimile Originals (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、車両における左右両側方の映像に基づいて接近車両を検出し、検出した接近車両を容易に視認すべく、該接近車両を映す側方映像を拡大表示する映像を生成するための車両側方映像生成方法及び車両側方映像生成装置に関するものである。
【０００２】
【従来の技術】
従来、信号が設置されていない交差点へ車両を進入させる場合、ドライバは、車両の側方から接近してくる他の車両を車窓外に視線を投じて確認する必要があり、特に、ドライバからの視野範囲が狭小な場所などでは交差点への進入が困難となり、確認作業の煩瑣さ、及び危険性を伴うものであった。この問題に対処すべく、車両の側方を撮像して車両内部に備えたモニタに表示することにより、表示された映像を用いて接近車両等を把握し、交差点へ進入する場合の確認の煩瑣さ及び危険性を回避するための装置が開示されている（特開平６−１７１４２６号、特開平１０−２２９５１２号参照）。
【０００３】
前記装置によれば、車両前部にプリズムを突設させ、該プリズムを用いて車両の左右両側方映像を光学的に一つに合成した映像を、ＣＣＤカメラ等の撮像部を用いて撮像し、撮像した映像を車両内部に設置したモニタにて表示すべくなしてある。
【０００４】
ところで、前記モニタは、近年普及が激しいカーナビゲーションシステムにて用いられるモニタを併用することが考えられる。しかしながら前記装置では、ナビゲーション情報及び左右両側方映像の何れをモニタにて表示するかは、ドライバのスイッチ操作により決定される。従って、交差点へ進入する都度スイッチ操作を行うのは煩瑣である。
【０００５】
上記問題を解決することを目的とする装置が開示されている（特開平１１−５５６５６号、特開平１１−２４９５５６号参照）。該装置によれば、車速センサを用いることにより、停止時又は低速時に左右両側方映像をモニタにて表示し、又は、カーナビゲーションシステムを用いて交差点の位置を認識し、交差点へ接近した場合に左右両側方映像をモニタにて表示すべくなしてある。
【０００６】
【発明が解決しようとする課題】
しかしながら前記装置では、交差点へ接近する他の車両が存在するか否かに拘わらず、停止時、低速時、又は交差点への接近時に、モニタの表示は左右両側方映像に切り替わってしまう。また、車速センサとして用いられ、磁力に基づいて検出を行う車輪速センサ等では、略停止状態での速度を正確に検出することは困難である。
【０００７】
接近車両の存否を判定すべく、撮像部にて撮像した映像を画像処理し、モニタの隣り合う画素の輝度に基づきエッジ検出を行うことにより、接近車両の存否を判定し、接近車両が存在する場合に警告を行うものが開示されているが（特開平１１−３０６４９９号参照）、エッジ検出により接近車両の存否を判定するため、接近車両以外の静止物であっても映像上にて輝度差が大きい物体を車両として検出する場合がある。
【０００８】
更に、例えば左折すべく交差点へ進入した車両のドライバにとっては、進入車線における右側方から接近してくる他の車両が存在するか否かが問題であり、必ずしも左側方の映像を必要とはしない。しかしながら前記装置の何れにおいても、接近車両の存否に基づき何れか一側方の映像のみをモニタにて全画面表示する機能を有していない。
【０００９】
本発明は、上述したような事情に鑑みてなされたものであり、本発明に係る車両側方映像生成装置が備えられた車両（第１車両）に設置された撮像部によって撮像された左右両側方映像に関する映像データに基づき、前記左右両側方映像に表示される車両（第２車両）を検出し、該第２車両を検出した場合に該第２車両を表示する左右何れか一方の側方映像をモニタに拡大表示すべく表示データを生成することにより、第２車両が存在しない場合にモニタ表示せず、第２車両を検出した場合にのみモニタにて映像を表示することができ、更に、第２車両を表示する側の側方映像を拡大表示することができる車両側方映像生成方法及び車両側方映像生成装置を提供することを目的とする。
【００１０】
また例えば、第１車両が交差点へ進入する際に側方を視認するために停止したとき、又は低速になったときに第２車両の検出を行い、第２車両が接近してくる場合にモニタにて側方映像を表示することにより、停止時、低速時、又は交差点への接近時に、接近車両の存否に拘わらずモニタにて左右両側方映像が表示されることがない車両側方映像生成方法及び車両側方映像生成装置を提供することを目的とする。
【００１１】
また、所定時間を空けて取得した２つの映像データに基づき、夫々の映像データのうちモニタの各画素に対応する画素データの輝度に関する時間差分値を生成し、該時間差分値を所定の閾値（差分閾値）により２値化した２値データを生成し、該２値データにより第１車両の速度の検出、及び移動体の検出を行うことにより、略停止状態での速度をより正確に検出でき、また、静止物を移動体として誤検出することがない車両側方映像生成方法及び車両側方映像生成装置を提供することを目的とする。
【００１２】
更に、接近してくる第２車両が第１車両へ到達する到達予測時間を算出し、算出した到達予測時間が所定の閾値以下である場合に、警告情報を出力することにより、交差点への進入時等にドライバに対して接近車両の存在を認識させることができ、危険性を回避させることができる車両側方映像生成方法及び車両側方映像生成装置を提供することを目的とする。
【００１３】
【課題を解決するための手段】
第１発明に係る車両側方映像生成方法は、第１車両に設けた撮像部が撮像する左右両側方映像に関する映像データに基づき、接近する第２車両の存在を示す警告情報を生成して出力する車両側方映像生成方法において、前記映像データに基づき、前記左右両側方映像にて前記第１車両に接近する前記第２車両が存在するか否かを判定し、前記第２車両が存在すると判定した場合は該第２車両が前記第１車両に到達するまでの到達予測時間を算出し、該到達予測時間が所定の閾値以下であるか否かを判定し、前記到達予測時間が前記閾値以下であると判定した場合は警告情報を出力し、所定時間を空けて取得した２つの前記映像データに基づき、夫々の映像データのうち表示する複数の画素の夫々に対応する画素データに関して輝度の時間差分値を生成し、生成した時間差分値を所定の差分閾値に基づき２値化した２値データを生成し、生成した２値データに基づき前記第２車両を検出し、前記第１車両が具備する車外ライトの点灯状況を示すライト信号を受信し、受信したライト信号に基づき前記差分閾値を補正することを特徴とする。
【００１４】
第１発明に係る車両側方映像生成方法による場合は、左右両側方映像に関する映像データに基づき、接近してくる第２車両が存在すると判定した場合に、到達予測時間を算出し、該到達予測時間が所定の閾値以下である場合に警告情報を出力することにより、例えば、交差点へ第１車両が進入する場合に、第２車両が近傍に接近していることをドライバに認識させることができ、交差点への進入時の危険性を回避させることができる。
また、所定時間を空けて撮像された２つの映像データの夫々が有する画素データの輝度に関する差分値（時間差分値）を生成して２値化した２値データに基づいて移動体を検出することにより、前記所定時間中に移動した物体のみを検出することができ、静止物を車両と誤検出することを防止することができる。
さらに、第１車両が有する車外ライトの点灯状況を示すライト信号に基づいて、前記時間差分値を２値化する場合の差分閾値を補正することにより、ライトを点灯しない昼間に撮像する映像と、ライトを点灯する夜間に撮像する映像とのコントラストの差による移動体の検出誤差を抑制することができる。
【００１５】
第２発明に係る車両側方映像生成装置は、第１車両における左右両側方の映像である左右両側方映像に関する映像データに基づき、表示部にて表示すべく前記第１車両における側方の映像である側方映像に関する表示データを生成するために用いる車両側方映像生成装置において、前記映像データに基づき、前記左右両側方映像に表示される第２車両を検出する手段を備え、前記第２車両を検出する手段は、所定時間を空けて取得した２つの前記映像データに基づき、夫々の映像データのうち前記表示部が有する複数の画素の夫々に対応する画素データに関して輝度の時間差分値を生成する手段と、生成した時間差分値を所定の差分閾値に基づいて２値化した２値データを生成する手段と、生成した２値データに基づき移動体を検出する手段とを備え、前記第１車両が具備する車外ライトの点灯状況を示すライト信号を受信する手段と、受信したライト信号に基づき前記差分閾値を補正する手段とをさらに備えることを特徴とする。
【００１６】
第２発明に係る車両側方映像生成装置による場合は、接近する第２車両を検出し、第２車両が存在する側方の映像を拡大表示するための表示データを生成することにより、例えば、青信号時の交差点を直進して通過する場合など、不必要時に側方映像が表示されることを防止することができる。
また、所定時間を空けて撮像された２つの映像データの夫々が有する画素データの輝度に関する差分値（時間差分値）を生成して２値化した２値データに基づいて移動体を検出することにより、前記所定時間中に移動した物体のみを検出することができ、静止物を車両と誤検出することを防止することができる。
さらに、第１車両が有する車外ライトの点灯状況を示すライト信号に基づいて、前記時間差分値を２値化する場合の差分閾値を補正することにより、ライトを点灯しない昼間に撮像する映像と、ライトを点灯する夜間に撮像する映像とのコントラストの差による移動体の検出誤差を抑制することができる。
【００１９】
第３発明に係る車両側方映像生成装置は、第２発明に係る車両側方映像生成装置において、前記第１車両の移動速度を検出する手段と、検出した前記移動速度が所定の速度閾値以下であるか否かを判定する手段と、速度閾値以下であると判定した場合に前記第２車両の検出を行う手段とを更に備えることを特徴とする。
【００２０】
第３発明に係る車両側方映像生成装置による場合は、検出した第１車両の移動速度が所定の閾値（速度閾値）以下であると判定した場合に、移動体の検出を行うことにより、第１車両の移動速度に基づき、例えば第１車両が交差点へ進入して停止した場合に他の移動体の検出、及び側方映像のモニタでの表示を可能とすることができる。
【００２１】
第４発明に係る車両側方映像生成装置は、第３発明に係る車両側方映像生成装置において、前記第１車両の移動速度を検出する手段は、所定時間を空けて取得した２つの前記映像データに基づき、夫々の映像データのうち前記表示部が有する複数の画素の夫々に対応する画素データに関して輝度の時間差分値を生成する手段と、生成した時間差分値を所定の差分閾値に基づいて２値化した２値データを生成する手段と、生成した２値データに基づき移動速度を検出する手段とを備えることを特徴とする。
【００２２】
第４発明に係る車両側方映像生成装置による場合は、第１車両の移動速度を検出する際に、時間差分値を生成して２値化した２値データに基づき、移動速度を検出することにより、第１車両が停止しているか否かをより正確に判定することができる。
【００２５】
第５発明に係る車両側方映像生成装置は、第２乃至第４発明の何れかに係る車両側方映像生成装置において、同時的に取得した左右夫々の側方映像における隣接する画素に対する画素データに関する輝度の空間差分値を生成する手段と、生成した空間差分値に基づき前記差分閾値を補正する手段を更に備えることを特徴とする。
【００２６】
第５発明に係る車両側方映像生成装置による場合は、左右夫々の側方映像にて隣接画素の画素データの輝度に関する差分値（空間差分値）を生成し、該空間差分値に基づいて前記差分閾値を補正することにより、左右何れかの側方が逆光となるなどして左右夫々の側方映像におけるコントラストが比較的大きく異なる場合であっても、移動体の検出誤差を抑制することができる。
【００２７】
第６発明に係る車両側方映像生成装置は、第２乃至第５発明の何れかに係る車両側方映像生成装置において、検出された前記移動体の最下部が、予め設定された路面領域内に存在するか否かを判定する手段と、存在すると判定した場合に前記移動体を前記第２車両であると判定する手段とを更に備えることを特徴とする。
【００２８】
第６発明に係る車両側方映像生成装置による場合は、検出した移動体の最下部が、路面領域内に存在すると判定した場合に、前記移動体を第２車両と判断することにより、空中を浮遊する木の葉、高架上を走行する電車等を車両として誤検出することを防止することができる。
【００２９】
第７発明に係る車両側方映像生成装置は、第６発明に係る車両側方映像生成装置において、前記第１車両が具備するステアリングの回転角度に関する角度信号を受信する手段と、受信した角度信号に基づき前記路面領域を補正する手段とを更に備えることを特徴とする。
【００３０】
第７発明に係る車両側方映像生成装置による場合は、第１車両のステアリングの回転角度に基づき前記路面領域を補正することにより、交差点へ進入する場合等における第１車両の進入角度に応じて路面領域を補正でき、移動体の最下部位置に基づく車両の検出において誤検出を抑制することができる。
【００３１】
第８発明に係る車両側方映像生成装置は、第６又は第７発明に係る車両側方映像生成装置において、前記映像データにて前記左右両側方映像に含まれる車道及び歩道の境界を示す境界線に関する境界線データを検出する手段と、検出した境界線データに基づき前記路面領域を補正する手段とを更に備えることを特徴とする。
【００３２】
第８発明に係る車両側方映像生成装置による場合は、車道及び歩道の境界を示す境界線が左右両側方映像内に撮像されている場合は、前記境界線に基づいて路面領域を補正することにより、前記境界線を有する路面に関して路面領域をより正確に補正することができ、移動体の最下部位置に基づく車両の検出において誤検出を抑制することができる。
【００３３】
第９発明に係る車両側方映像生成装置は、第６乃至第８発明の何れかに係る車両側方映像生成装置において、前記左右両側方映像における色相に関する色相データを生成する手段と、生成した色相データに基づき前記路面領域を補正する手段とを更に備えることを特徴とする。
【００３４】
第９発明に係る車両側方映像生成装置による場合は、左右両側方映像における色相データに基づいて路面領域を補正することにより、色相が比較的均一な領域を路面領域として補正することができ、移動体の最下部位置に基づく車両の検出において誤検出を抑制することができる。
【００３５】
第１０発明に係る車両側方映像生成装置は、第２乃至第９発明の何れかに係る車両側方映像生成装置において、検出された前記移動体の移動方向を算出する手段と、算出した移動方向が所定の範囲内にあるか否かを判定する手段と、所定の範囲内にあると判定した場合に前記移動体を前記第２車両であると判定する手段とを更に備えることを特徴とする。
【００３６】
第１０発明に係る車両側方映像生成装置による場合は、検出した移動体の移動方向が所定範囲内にある場合に第２車両と判断することにより、車道を横断する方向に移動する移動体を車両として誤検出することを防止することができる。
【００３７】
第１１発明に係る車両側方映像生成装置は、第１０発明に係る車両側方映像生成装置において、前記移動方向に基づき、前記移動体が接近しているか否かを判定する手段と、接近していると判定した場合に、前記表示データを生成する手段とを更に備えることを特徴とする。
【００３８】
第１１発明に係る車両側方映像生成装置による場合は、移動体の移動方向に基づき、第２車両が接近しているか否かを判定することにより、接近する第２車両が存在する場合にのみ表示データを生成することができる。
【００３９】
第１２発明に係る車両側方映像生成装置は、第１１発明に係る車両側方映像生成装置において、接近していると判定した前記移動体に関し、到達予測時間を算出する手段を更に備えることを特徴とする。
【００４０】
第１２発明に係る車両側方映像生成装置による場合は、接近する第２車両が第１車両へ到達する時間に関する到達予測時間を算出することにより、交差点への進入時等における危険性を判定することができる。
【００４１】
第１３発明に係る車両側方映像生成装置は、第１１又は第１２発明に係る車両側方映像生成装置において、前記到達予測時間が所定の時間閾値以下であるか否かを判定する手段と、時間閾値以下であると判定した場合に警告信号を出力する手段とを備えることを特徴とする。
【００４２】
第１３発明に係る車両側方映像生成装置による場合は、到達予測時間が所定の閾値（時間閾値）以下である場合に警報信号を出力することにより、ドライバに対して危険を認識させることができる。
【００４３】
第１４発明に係る車両側方映像生成装置は、第１１乃至第１３発明の何れかに係る車両側方映像生成装置において、接近していると判定した前記移動体を前記表示部にて識別可能に表示するための識別データを生成する手段を更に備えることを特徴とする。
【００４４】
第１４発明に係る車両側方映像生成装置は、接近してくる第２車両を表示部にて識別可能に表示すべく識別データを生成することにより、例えば、接近してくる第２車両をデフォルメ表示し、又は、マーキングするなどしてドライバが認識しやすくさせることができる。
【００４５】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて詳述する。
図１は、本発明に係る車両側方映像生成装置１の構成を示すブロック図である。車両側方映像生成装置１はＡ／Ｄ変換器１１を備え、ＣＣＤカメラ等を用いて構成された撮像部２１との間にて通信可能に接続されている。また、Ｄ／Ａ変換器１７及び該Ｄ／Ａ変換器１７に接続された映像切替部１８を備え、該映像切替部１８は、液晶ディスプレイを用いて構成されたモニタ２２及びカーナビゲーションシステム等を実現する外部装置２３との間にて通信可能に接続されている。
【００４６】
なお、本実施の形態におけるモニタ２２は、前記カーナビゲーションシステムにて用いられる液晶ディスプレイを併用している場合について説明するが、専用のディスプレイを用いて構成してもよいことは言うまでもない。
【００４７】
撮像部２１とＡ／Ｄ変換器１１との間における信号の伝送にはアナログ信号が用いられており、この場合、Ａ／Ｄ変換器１１は、ＲＧＢデコーダ（例えば、三菱電機製Ｍ５２０４２）及び３チャンネルＡ／Ｄコンバータ（例えば、ＳＯＮＹ製ＣＸＤ２３０３）を組み合わせて構成する。また他に、ビデオデコーダ（例えば、沖電気製ＭＳＭ７６６４ＢＴＢ）１チップにより構成するなど、種々の構成にて実現することができる。
【００４８】
また、Ｄ／Ａ変換器１７から映像切替部１８を介してモニタ２２との間にて行われる信号の伝送もアナログ信号が用いられており、この場合、Ｄ／Ａ変換器１７は、３チャンネルＤ／Ａコンバータ（例えば、ＳＯＮＹ製ＣＸＤ２３０４）及びＲＧＢエンコーダ（例えば、富士通製ＭＢ３５１６Ａ）を組み合わせて構成する。また他に、ビデオエンコーダ（例えば、沖電気製ＭＳＭ７６５４ＧＡ）１チップにより構成するなど、種々の構成により実現することができる。なお、モニタ２２がＮＴＳＣコンポジット入力対応のものでなく、アナログＲＧＢ入力対応のものである場合、Ｄ／Ａ変換器１７はＲＧＢエンコーダを省略した構成にすることができる。
【００４９】
アナログ信号は、モニタ２２における走査ラインに対応する複数の画素にて表示すべきＲＧＢ値（赤、緑、青信号成分）又はＹＵＶ値（輝度信号成分、色信号成分）を有しており、モニタ２２にてインターレース表示できるようになっている。
【００５０】
Ａ／Ｄ変換器１１は停止判定部１２に接続されており、撮像部２１にて撮像されてＡ／Ｄ変換器１１へ入力された映像データは更に前記停止判定部１２へ入力される。停止判定部１２は本発明に係る車両側方映像生成装置１を搭載する車両（第１車両）の移動速度を検出し、停止しているか否かの判定を行う機能を有しており、入力された映像データを画像処理し、更に、車速センサから取得する車速信号、ブレーキのオン／オフを示すブレーキ信号等に基づき判定を行う。また、第１車両が停止状態であると判定した場合には映像切替部１８へその旨を示す信号を出力すべくなしてある。
【００５１】
また、Ａ／Ｄ変換器１１は接近車両検出部１３に接続されており、Ａ／Ｄ変換器１１から出力された映像データは接近車両検出部１３へ入力される。接近車両検出部１３は、入力された映像データを画像処理し、後述する路面領域の補正、フレーム間差分、２値化、移動体の移動方向判定等を行うことにより接近してくる車両（第２車両）の検出を行う。また、路面領域の補正に用いるため、車外ライトのオン／オフを示すライト信号、ステアリングの回転角度を示すステア信号が入力され、また、モニタ２２に表示する映像をドライバの要求に応じて切り替えるためのスイッチ信号が入力されるようになっている。更に、接近する第２車両を検出した場合に、ドライバへ報知するための警告信号を出力し、また、モニタ２２が外部装置２３に接続しているときにＤ／Ａ変換器１７の出力がモニタ２２にて表示されるべくその旨を示す信号が映像切替部１８へ出力されるようになっている。
【００５２】
更に、Ａ／Ｄ変換器１１は映像選択部１４に接続されており、Ａ／Ｄ変換器１１から出力された映像データは映像選択部１４へ入力される。また、該映像選択部１４へは、接近車両検出部１３が接近してくる第２車両を検出した場合に、撮像部２１にて撮像される左右両側方映像における左右何れの側方にて第２車両が検出されたかを示す信号が入力される。映像選択部１４は、接近車両検出部１３から入力された信号に基づき、Ａ／Ｄ変換器１１から入力された映像データにおいて、モニタ２２が有する複数の画素に対応する画素データの選択を行う。即ち、左右何れか側方に第２車両が検出された場合、第２車両が検出された側方の映像に関する画素データを選択し、選択した画素データを映像保持部１５へ出力する。
【００５３】
映像保持部１５は、入力された画素データのうち、モニタ２２における１ライン分の映像に相当する量のデータを保持することができ、入力された順序にてデータを出力するＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）構造になっている。
【００５４】
映像保持部１５から出力されたデータは、映像生成部１６へ入力される。また、映像生成部１６へは、接近車両検出部１３が接近してくる第２車両を検出した場合に、該第２車両に関するデータと、左右何れの側方に第２車両が検出されたかを示す信号とが入力される。映像生成部１６は、前記信号に基づき、第２車両が検出された側方の映像をモニタ２２にて拡大表示するため、映像保持部１５から入力された左右何れか側方の映像に関する画素データを補完する補完データを生成する。また、モニタ２２にて第２車両を識別しやすくするため、接近車両検出部１３から入力された第２車両に関するデータに基づき、該第２車両を映像上にてＣＧ表示、マーキング表示するための識別データを生成する。更に、前記画素データ、補完データ及び識別データを用い、モニタ２２上にて表示するための表示データを生成する。
【００５５】
映像生成部１６にて生成された表示データは、Ｄ／Ａ変換器１７及び映像切替部１８を介してモニタ２２へ出力される。映像切替部１８には、停止判定部１２から第１車両が停止状態であることを示す信号が入力され、接近車両検出部１３から接近してくる第２車両を検出したことを示す信号が入力される。映像切替部１８は、停止判定部１２及び／又は接近車両検出部１３から信号が入力された場合はＤ／Ａ変換器１７を介して入力される表示データをモニタ２２へ出力し、また、信号が入力されない場合は、カーナビゲーションシステム等の外部装置２３をモニタ２２に接続可能とすることにより、モニタ２２における表示モードを切り替える。
【００５６】
なお、上述した停止判定部１２及び接近車両検出部１３はＣＰＵ（ＳＨ７７５０）等により実現可能であり、また、映像選択部１４、映像保持部１５及び映像生成部１６は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｅｄ ＩＣ）又はＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等により容易に実現することができる。
【００５７】
また、上述した構成では、撮像部２１から送信する映像に関する信号としてアナログ信号を用いる場合について説明したが、前記Ａ／Ｄ変換器１１及びＤ／Ａ変換器１７に替えてディジタル入出力回路を備えることにより、撮像部２１が撮像した映像に関するディジタル信号をそのまま送信することができる。
【００５８】
この場合、撮像部２１、モニタ２２及びディジタル入出力回路のインタフェースには、例えば、物理層及びリンク層の規格としてＩＥＥＥ１３９４などのプロトコルを使用し、また、撮像部２１及びディジタル入出力回路の間でのデータの送受信では、１３９４−ｂａｓｅｄ Ｄｉｇｉｔａｌ Ｃａｍｅｒａ Ｓｐｅｃｉｆｉｃａｔｉｏｎ Ｖｅｒ．１．２に従ってＹＵＶ４：２：２フォーマットの映像信号を用いればよい。
【００５９】
次に、上述した構成をなす本発明に係る車両側方映像生成装置１の動作について、図２に示すフローチャートを用いて説明する。
初めに、スイッチ信号に基づくモニタ２２における表示状態、及び、外部装置２３とモニタ２２との接続状態等のモードチェックを行い（Ｓ１）、撮像部２１にて撮像した映像をＡ／Ｄ変換器１１へ取り込む（Ｓ２）。Ａ／Ｄ変換器１１へ取り込まれた映像に関する映像データを用い、接近車両検出部１３は、フレーム間差分で得られる差分映像を２値化する際の差分閾値の補正を行う（Ｓ３）。
【００６０】
差分閾値を補正する場合、第１車両に備えられた車外ライトが点灯しているか否かを示すライト信号を用いて補正を行う。即ち、車外ライトが点灯している場合は、夜間の標準の差分閾値を用い、また、車外ライトが点灯していない場合は、昼間の標準の差分閾値を用いるよう補正する。なお、夜間及び昼間の標準の差分閾値は予め算出しておいたものを用いる。
【００６１】
また、左右それぞれの側方映像において、一方が逆光等となっていることによりそれぞれの側方映像間にてコントラストに比較的大きな差が生じている場合は、統計処理に基づき差分閾値の補正を行う。即ち、入力された映像データ中にて隣接画素における輝度の差分値を算出し、該差分値を有する画素数をリストアップしたヒストグラムを作成する。該ヒストグラムにおいて画素数が最大である差分値Ｄｍ を基にし、標準の差分閾値Ｔ０ に対して補正された差分閾値Ｔ１ を以下の式（１）により算出する。
Ｔ１ ＝Ｔ０ ＋Ａ（Ｄｍ −Ｄ０ ） ・・・（１）
なお、式（１）中、Ａは定数、Ｄ０ は標準状態において作成したヒストグラムにて画素数が最大となる差分値である。
【００６２】
次に第１車両の速度の検出を行い（Ｓ４）、停止判定部１２にて第１車両が停止（速度Ｖ＝０）しているか否かを判定する（Ｓ５）。第１車両が停止していると判定した場合は、接近する第２車両の存否を判定すべく左右両側方映像にて路面領域の補正を行う（Ｓ６）。速度検出及び停止判定は、Ａ／Ｄ変換器１１から入力された映像データ、車速センサ、ブレーキ信号、ナビゲーション情報、レーンマーカ、路車間通信等を利用して行う。以下、これらを利用する場合について夫々説明する。
【００６３】
映像データに基づいて速度検出及び停止判定を行う場合について説明する。
第１車両が移動している場合、周辺の静止物は相対的に後方へ移動し、左側方映像では右から左へ平行移動し、右側方映像では左から右へ平行移動するように表示される。従って、時刻ｔ及び時刻ｔ＋ｎでの映像中の同一平行位置にある所定領域（ブロック）において、輝度値に関する情報の変化を検出することにより、第１車両が停止しているか否かを判定することができる。
【００６４】
初めに、時刻ｔにおいて左側方映像及び右側方映像の夫々について特徴点をブロック単位（例えば、８画素×８画素）で数点設定する。特徴点としては、輝度値の差に基づくエッジ抽出によりエッジ点を算出し、算出したエッジ点を特徴点とするが、この他、予め決められた位置に特徴点を設定してもよい。
【００６５】
次に、時刻ｔ＋ｎにおいて、時刻ｔにて設定した特徴点の探索を行う。即ち、時刻ｔにて設定した特徴点の位置から、左側方映像では左へ、右側方映像では右へ１画素ずつ所定画素数分だけ探索し、時刻ｔにて設定した特徴点が有する輝度値と、探索するブロックが有する輝度値との差分和を算出し、算出した差分和が最小となるブロックを、時刻ｔにて設定した特徴点が移動した場所とみなす。
【００６６】
時刻ｔから時刻ｔ＋ｎの間に前記特徴点が移動している場合は、第１車両が移動しているとみなす。また、前記特徴点が移動していない場合、即ち、時刻ｔにて設定した特徴点と同位置のブロックにおいて、時刻ｔ＋ｎにて輝度値の差分和が最小となった場合、第１車両は停止していると判定する。
【００６７】
車速センサから得られる車速信号に基づき速度検出及び停止判定を行う場合について説明する。
車速信号に基づき速度検出を行う場合、所定の速度（例えば、５ｋｍ／ｈ）以下であるか否かの詳細な判定を行うことができる。ただし、一般の車輪速センサを車速センサとして使用する場合、主として磁気検出により車速を算出するため、第１車両が略停止状態であるときなど極低速を検出することが困難である。従って、極低速を検出可能なホールＩＣ素子等を使用した車輪速センサを用いることにより停止判定を行う。
【００６８】
映像データ、車速信号、及びブレーキ信号に基づき速度検出及び停止判定を行う場合について説明する。
極低速までを車速センサからの車速信号により速度検出し、極低速以下において映像データに基づく速度検出を行うことにより、停止判定の信頼性を向上させることができる。この場合のセンサ信号としては、車輪速センサからの信号、又は、エンジンＥＣＵからの信号の何れでもよい。また、ブレーキ信号を組み合わせることにより、特に、停止状態から移動し始める場合の判定の信頼性を向上させることができる。
【００６９】
ナビゲーション情報を利用して速度検出及び停止判定を行う場合について説明する。
映像データ、車速信号、及びブレーキ信号に基づき車速検出及び停止判定を行う場合、例えば渋滞時などに交差点以外の単路部などにて停止した場合であっても、第２車両を検出すべく路面領域の補正（Ｓ６）が行われる可能性がある。従って、ナビゲーション情報に基づき交差点の検出を行った結果、第１車両が交差点に位置し、更に映像データ及び車速信号等により速度検出を行い第１車両が停止していると判定した場合にのみ、ステップ６での路面領域の補正を行う。
【００７０】
なお、ナビゲーション情報を提供するカーナビゲーションシステムに自立航法が備えられており、ナビゲーション情報から車速情報を取得できる場合は、該車速情報及び映像データに基づいて速度検出を行うこともできる。
【００７１】
レーンマーカを利用して速度検出及び停止判定を行う場合について説明する。交差点の手前に、電波マーカ又は磁気マーカ等のレーンマーカが敷設されており、第１車両がレーンマーカ検出器を備えている場合、前記レーンマーカを検出することにより第１車両が交差点に進入したことを検出することができる。従って、レーンマーカ検出器による交差点への進入を検出し、更に映像データ及び車速信号等により速度検出を行い第１車両が停止していると判定した場合にのみ、ステップ６での路面領域の補正を行う。
【００７２】
路車間通信を利用して速度検出及び停止判定を行う場合について説明する。
交差点の手前に、光ビーコン又はＤＳＲＣ等の路車間通信装置が設置されている場合、第１車両との間にて無線によって通信することにより、交差点への接近を検出することができる。従って、路車間通信により交差点への進入を検出し、更に映像データ及び車速信号等に基づき速度検出を行い第１車両が停止していると判定した場合にのみ、ステップ６での路面領域の補正を行う。
【００７３】
また上述したものの他に、映像データを利用し、左右両側方映像に「止まれ」の標識、交差点に設置されたミラー等が認識された場合に、第１車両が交差点へ接近していると判定することができる。従って、映像データを利用して「止まれ」の標識等を認識し、更に映像データ及び車速信号等に基づき速度検出を行い第１車両が停止していると判定した場合にのみ、ステップ６での路面領域の補正を行うようにしてもよい。
【００７４】
次にステップ６での路面領域の補正について説明する。
左右両側方映像中における路面領域は予め設定されているが、交差点への第１車両の進入角度により、左右両側方映像中の実際の路面領域との間で誤差が生じる。図３は、進入道路に対して直角に交差点へ進入した場合の左右両側方映像（ａ）及びその時の第１車両の交差点への進入状況（ｂ）を説明するための模式図である。また、図４は、進入道路に対して左へ傾いて交差点へ進入した場合の左右両側方映像（ａ）及びその時の第１車両の交差点への進入状況（ｂ）を説明するための模式図である。
【００７５】
直角に進入する場合と比較して左へ傾いて進入する場合、実際の路面領域は、右側方映像では進入道路の消失点が下方に位置し、左側方映像では進入道路の消失点が上方に位置する（図３（ａ）及び図４（ａ）参照）。また、進入道路に対して右へ傾いて進入する場合は逆に、右側方映像では消失点が上方に位置し、左側方映像では消失点が下方に位置する。従って、予め路面領域を設定した場合は、第１車両の姿勢により、実際の路面領域との間に誤差を生じる場合がある。
【００７６】
前記誤差を解消するために接近車両検出部１３にて路面領域の補正を行う。補正する方法としては、車線方向に対する車両の傾きとステアリングの回転角度との間に相関関係があると仮定してステア信号に基づき補正する方法、左右両側方映像にて白線（車道及び歩道の境界線）の位置を検出して該白線の傾きに基づき補正する方法、及び、カラー画像におけるＨＳＩ信号中の色相（Ｈ）により左右両側方映像中の路面領域を検出してこれに基づき補正する方法、等がある。
【００７７】
ステア信号に基づき路面領域を補正する場合について説明する。
交差点にて左折する場合、ドライバはステアリングを左へ回転させ、右折する場合はステアリングを右へ回転させ、これに伴い、第１車両の姿勢は進入道路に対して左向き、右向きとなる。この様に、ステアリングの回転角度と第１車両の姿勢との間には相関関係が成立する。
【００７８】
従って、ステア信号に基づき路面領域を補正することができる。ステア信号が示すステアリングの回転角度と補正量との関係は、予め実験での計測により、撮像された左右量側方映像における各画素位置と位置補正量との関係を示す変換テーブルとして作成しておき、該変換テーブルを参照することにより路面領域を補正する。
【００７９】
白線の位置に基づき路面領域を補正する場合について説明する。
市街地などでは車道及び歩道の境界を表す白線が整備されており、撮像部２１にて撮像した左右両側方映像に表示される白線を検出することにより、路面領域を補正することができる。
【００８０】
予め設定された路面領域の中央線上等に探索点を数点設定し、該探索点を起点として、撮像された左右両側方映像上を上下方向にエッジ探索を行う。即ち、上下画素間の輝度の差分値が最大となる画素であるエッジ点を探索する。探索の結果得られたエッジ点の位置に基づき、最小２乗法等の直線近似により白線位置を算出する。算出した白線位置を用いて、予め設定された路面領域を補正する。
【００８１】
色相に基づき路面領域を補正する場合について説明する。
路面、空などのように色相が均一的なものの場合、撮像される左右両側方映像に関するＲＧＢ値に基づいて色相値を算出することにより、実際の路面領域を推定することができる。以下の式（２）又は式（３）を用いることにより、ＲＧＢ値を用いて色相値（Ｈ）を算出する。
【００８２】
【数１】

Figure 0003606223
【００８３】
【数２】
Figure 0003606223
【００８４】
上記式（２）又は式（３）を用いて算出した色相値により、実際の路面領域を推定し、推定した路面領域に基づき、予め設定された路面領域を補正する。
【００８５】
ステップ６における路面領域の補正を行った後、左右両側方映像中の移動体を検出するために、時刻ｔ及び時刻ｔ＋ｎなど、所定時間（例えば、ｎ＝１００ｍｓ、２００ｍｓ）を空けて撮像した２つの左右両側方映像を用いて夫々のフレーム間にて輝度に関する差分値（時間差分値）を算出し、該時間差分値を所定の閾値（差分閾値）に基づき２値化する（Ｓ７）。
【００８６】
ステップ５にて第１車両は停止（Ｖ＝０）と判定されているため、所定の時間ｎの間に撮像される他の静止物の輝度はほとんど変化がない。これに対し、他の車両などの移動体が所定の時間ｎの間に存在する領域では輝度が比較的大きく変化する。従って、時刻ｔ及び時刻ｔ＋ｎにて撮像した夫々の左右両側方映像にて輝度の時間差分値を算出し、算出した時間差分値を所定の差分閾値に基づいて２値化することにより、時間ｎの間に移動体が移動した領域、即ち動領域を抽出する（Ｓ８）。
【００８７】
なお、既に説明したように、輝度に関する時間差分値は時間帯（昼間、夜間）、逆光などの日照状態により値が異なってくるため、ライト信号、及びコントラストに関する統計処理等を用いて適宜補正する。
【００８８】
ステップ８にて動領域の抽出を行うが、移動体が車両である場合、背景と車両との間では輝度に関する時間差分値が大きく異なるのに対し、時刻ｔでの車両の存在領域と時刻ｔ＋ｎでの前記車両の存在領域との間で重複する領域では、輝度に関する時間差分値が比較的小さくなる場合がある。図５は、時刻ｔ及び時刻ｔ＋ｎでの車両の存在領域（ａ）及び抽出された動領域（ｂ）を説明するための模式図である。図５（ａ）に示すように、時刻ｔでの車両の存在領域Ａ１と、時刻ｔ＋ｎでの車両の存在領域Ａ２との間における重複する領域Ａ３では、輝度に関する時間差分値が小さくなる。従って、２値化した場合は、図５（ｂ）に示すように重複していない存在領域Ａ４，Ａ４のみが動領域として抽出される。そこで、２値データを用い存在領域Ａ４，Ａ４近傍にて上下左右に値１の画素（輝度に関する時間差分値が差分閾値以上の画素）を探索することにより、重複する領域Ａ３を含む移動体の動領域Ａ５を抽出する。
【００８９】
ステップ８にて移動体の動領域を抽出した後、抽出した移動体のうち車両の可能性が低いものをノイズとして除去する（Ｓ９）。即ち、抽出した動領域における下端が、ステップ６にて補正した路面領域内に存在する移動体は車両と推定することができ、また、抽出した動領域における下端が、路面領域内に存在しない移動体は車両ではないと推定でき、ノイズとして除去することができる。
【００９０】
図６は、動領域の下端と路面領域との関係により行うノイズの除去を説明するための模式図である。図６における左右両側方映像では、左上に原点を有し、右方向にｘ軸、下方向にｙ軸が設定されている。また、左側方映像における路面領域は、路面上方境界線が、
ｙ＝ａ１ ｘ＋ｂ１
路面下方境界線が、
ｙ＝ａ２ ｘ＋ｂ２
となっており、右側方映像における路面領域は、路面上方境界線が、
ｙ＝ａ３ ｘ＋ｂ３
路面下方境界線が、
ｙ＝ａ４ ｘ＋ｂ４
となっている。
【００９１】
従って、左側方映像の場合は、移動体の動領域の下端座標（ｘ１ ，ｙ１ ）が下記不等式を共に満たす場合に、前記移動体を車両と判定する。
ｙ＞ａ１ ｘ＋ｂ１
ｙ＜ａ２ ｘ＋ｂ２
また、右側方映像の場合は、移動体の動領域の下端座標（ｘ２ ，ｙ２ ）が下記不等式を共に満たす場合に、前記移動体を車両と判定する。
ｙ＞ａ３ ｘ＋ｂ３
ｙ＜ａ４ ｘ＋ｂ４
【００９２】
次に、ステップ９にてノイズ除去を行った結果、残った動領域が示す移動体の輪郭を抽出する（Ｓ１０）。即ち、ステップ８にて抽出した移動体の動領域は、時刻ｔ及び時刻ｔ＋ｎの左右両側方映像に基づいて抽出しているため、最新の時刻である時刻ｔ＋ｎにおける実際の車両位置とは時間ｎだけ誤差が生じているため、時刻ｔ＋ｎでの移動体のより正確な輪郭を抽出する。図７は、移動体に関して抽出された動領域（ａ）と、移動体の実際の輪郭（ｂ）との一例を示す模式図である。
【００９３】
時刻ｔ＋ｎにおける左右両側方映像において、抽出された動領域Ａ５の近傍にてエッジ抽出を行うことにより移動体の輪郭をより正確に抽出することができる。具体的には、動領域Ａ５の垂直方向の輪郭上にて数点の輪郭代表点を設定し、設定した各輪郭代表点において左右方向に探索し（図７（ａ）参照）、隣接画素間の輝度の差分値が最大となるエッジ点を抽出する。抽出したエッジ点に基づき、最小２乗法を用いて移動体の垂直方向の輪郭線を算出することにより移動体の輪郭Ａ６を抽出する（図７（ｂ）参照）。なお、動領域の水平方向の輪郭上に輪郭代表点を設定し、上下方向にエッジ探索を行ってもよい。
【００９４】
次に、ステップ１０にて抽出した時刻ｔ＋ｎでの輪郭Ａ６に対応する移動体の移動方向を判定し、これに基づき車両である可能性が低い移動体をノイズとして更に除去する（Ｓ１１）。図８は、移動体の移動方向を予測してノイズを除去する処理を説明するための模式図である。時刻ｔ＋ｎにて移動体の輪郭Ａ６を抽出した場合と同様にして時刻ｔにおいても該移動体の輪郭を抽出している。従って、時刻ｔでの移動体の輪郭と、時刻ｔ＋ｎでの移動体の輪郭Ａ６とに基づき、時刻ｔ＋ｎでの移動体が有する速度ベクトルｖ７を予測し、該予測に基づき時刻ｔ＋２ｎでの前記移動体の位置Ａ７を予測する。
【００９５】
時刻ｔ＋２ｎに、予測した位置Ａ７近傍において前記移動体が存在するか否かを探索する。探索の結果、予測した位置Ａ７の近傍に移動体の輪郭Ａ８を抽出できた場合、輪郭Ａ８及び時刻ｔ＋ｎに抽出した輪郭Ａ６に基づき、速度ベクトルｖ８を算出する。
【００９６】
算出した速度ベクトルｖ８と、予測した速度ベクトルｖ７とにおいて絶対値、方向などを比較することにより、輪郭Ａ６が示す移動体と輪郭Ａ８が示す移動体とが同一のものか否かを判定する。また、輪郭Ａ６及び輪郭Ａ８の形状、サイズなどを比較して同一の移動体を示しているか否かを判定する。
【００９７】
予測した位置Ａ７に最も近い移動体であっても、輪郭Ａ６が示す移動体と同一のものではない場合があるため、前述した比較を行う際の夫々のパラメータについて評価関数を作成し、評価関数の値を最大とする移動体を、輪郭Ａ６が示す移動体と同一のものとする。
【００９８】
更に、算出した速度ベクトルｖ８が路面領域の方向、即ち、路面上方境界線及び路面下方境界線が有する夫々の方向ベクトルの範囲内であるか否かを判定し、範囲外である場合は、速度ベクトルｖ８を有する移動体をノイズとして除去する。範囲内にある移動体に関しては、速度ベクトルｖ８の向きにより接近しているか否かを判定し、接近している移動体のみ後述する警告・表示の対象とする。
【００９９】
なお、時刻ｔ＋２ｎにて抽出した輪郭Ａ８に対応する時刻ｔ＋ｎでの移動体が存在しない場合、時刻ｔ＋２ｎの段階では移動体としてリストアップするが、後述する警告・表示の対象とはせず、時刻ｔ＋３ｎにて対応する移動体が存在する場合に警告・表示の対象とする。
【０１００】
次に、車両として検出された移動体のうち接近してくる第２車両について、第１車両までの到達予測時間を算出する（Ｓ１２）。即ち、検出された車両のうち、速度ベクトルに基づき接近している第２車両であるか否かを判定し、左側方映像又は右側方映像の夫々において、撮像部２１の画角、設置高、俯角などに基づき、モニタ２２内座標を、第１車両を中心とした実座標へ変換し、第２車両と第１車両との距離、及び第２車両の速度を算出する。更に算出した距離及び速度に基づき、第２車両が第１車両へ到達するまでの到達予測時間を算出する。
【０１０１】
算出した到達予測時間が所定の閾値以下である場合は、接近車両検出部１３は、ドライバへの警告のため警告信号を出力すると共に、接近してくる第２車両をマーキングするための処理を行い（Ｓ１３）、モニタ２２にて表示する（Ｓ１４）。
【０１０２】
出力した警告信号は、ブザー、計器パネルに設置されたＬＥＤ、又は、オーディオ等へ入力される。ブザー又はオーディオへ入力された場合は警告音によりドライバへ報知し、計器パネルに設置されたＬＥＤへ入力された場合は該ＬＥＤの点灯によりドライバへ報知することができる。なお、オーディオへ入力された場合は、第２車両の接近側のスピーカから例えば「左方向（右方向）に注意して下さい」などのメッセージを出力するようにしてもよく、また、計器パネルに設置されたＬＥＤを点灯させる場合は、左右を夫々示すべくＬＥＤを設置し、第２車両の接近側を示すようにＬＥＤを点灯させてもよい。
【０１０３】
図９は、接近してくる第２車両をマーキングしたものをモニタ２２にて表示した映像の一例を示す模式図である。図９（ａ）は接近してくる第２車両を矩形枠にてマーキングしたものを示し、図９（ｂ）は接近してくる第２車両の上部にマーキングしたものを示している。
【０１０４】
接近してくる第２車両のマーキングとしては、図９に示したものの他、種々のものがある。例えば、前記第２車両をＣＧ化し、更に比較的大きく表示することにより、ドライバは第２車両を容易に識別することが可能となる。
【０１０５】
また、背景映像をモノクロに表示し、前記第２車両のみをカラー表示することによっても、ドライバは第２車両を容易に識別することができる。この場合、背景映像をモノクロ表示するには、映像保持部１５の出力、又は映像選択部１４の出力の何れかの映像データを用いてモノクロデータに変換する。モノクロデータへの変換は下式により行い、また、ＡＳＩＣ又はＦＰＧＡなどにより容易に実現することができる。
Ｒ１ ＝０．２９９Ｒ０ ＋０．５８７Ｇ０ ＋０．１１４Ｂ０
Ｇ１ ＝０．２９９Ｒ０ ＋０．５８７Ｇ０ ＋０．１１４Ｂ０
Ｂ１ ＝０．２９９Ｒ０ ＋０．５８７Ｇ０ ＋０．１１４Ｂ０
なお、上式中、Ｒ０ ，Ｇ０ ，Ｂ０ は変換前のＲＧＢ値であり、Ｒ１ ，Ｇ１ ，Ｂ１ は変換後のＲＧＢ値である。
【０１０６】
また、第２車両をカラー表示する場合は、接近車両検出部１３に入力される映像データに関するＲＧＢ値をグラフィックメモリに記録し、ステップ１１にて車両として残された移動体の輪郭内部に、グラフィックメモリに記録されたＲＧＢ値を書き込むことにより実現することができる。
【０１０７】
また、第２車両以外の背景映像の輝度を落とすことにより、第２車両を容易に識別可能とすることができる。この場合、背景映像に関する映像データにおけるＲＧＢ値をＹＣｂＣｒ値（Ｙは輝度値、Ｃｂ，Ｃｒは色信号）に変換し、Ｙの値をより小さい値Ｙ１に変換し、再度ＲＧＢ値に変換することにより、背景映像の輝度を落とすことができる。この輝度値の変換はモノクロデータの変換の場合と同様、映像保持部１５の出力、又は映像選択部１４の出力の何れかの映像データを用いて行う。
【０１０８】
なお、ＲＧＢ値からＹＣｂＣｒ値への変換は以下の式により行うことができ、ＡＳＩＣ又はＦＰＧＡなどにより容易に実現することができる。
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
Ｃｂ＝−０．２９９Ｒ−０．５８７Ｇ＋０．８８６Ｂ
Ｃｒ＝０．７０１Ｒ−０．５８７Ｇ−０．１１４Ｂ
【０１０９】
また他に、第２車両以外の背景映像を２値化して表示することにより、第２車両を容易に識別可能とすることができる。即ち、ＲＧＢ値に基づき輝度値（Ｙ値）を算出し、Ｙ値が所定の閾値以上である場合は、白色として（Ｒ，Ｂ，Ｇ）＝（２５５，２５５，２５５）に設定し、閾値より小さい場合は黒色として、（Ｒ，Ｂ，Ｇ）＝（０，０，０）に設定する。
【０１１０】
閾値の設定としては、左右両側方映像の輝度に関するヒストグラムを使用して行う。左右両側方映像の輝度に関してヒストグラムを算出した場合、空領域及び路面領域においてピークを得ることができるため、夫々のピークの間にて閾値を設定することにより、空領域と路面領域とを識別できる２値化された背景映像を表示することができる。
【０１１１】
なお、ヒストグラムの算出は、映像切替部１８にて外部装置２３の出力から左右両側方映像の出力へと切り替えられたときに１度行えばよい。また、ＲＧＢ値からのＹ値の算出、ヒストグラムの算出、及び閾値による背景映像の２値化は、映像保持部１５の出力、又は映像選択部１４の出力の何れかの映像データを用いて行えばよく、ＡＳＩＣ又はＦＰＧＡにより実現可能であり、ＣＰＵを用いて行えば更に容易に実現することができる。
【０１１２】
また、接近してくる第２車両をモニタ２２での映像によりドライバが識別可能であるマーキングであれば、上述したものの他、どのようなものであってもよい。
【０１１３】
更に、ステップ１４におけるモニタ２２での表示においては、接近してくる第２車両が撮像されている左右何れかの側方映像のみを拡大して全画面表示することも可能である。この場合、接近車両検出部１３から映像選択部１４へ、何れの側方映像に接近してくる第２車両が存在するかを示す信号が送信される。映像選択部１４は、受信した信号に示された側方映像に関する映像データを画素単位で選択する。即ち、左側方映像中に第２車両が表示されている場合であれば、Ａ／Ｄ変換器１１から入力された映像データのうち、各１ライン毎に１〜３２０画素に対応する画素データを選択し、右側方映像中に第２車両が表示されている場合であれば、３２１〜６４０画素に対応する画素データを選択する。
【０１１４】
次に、映像選択部１４は、選択した画素データを映像保持部１５へ出力する。映像保持部１５は、入力された画素データを１画素ずつ１ライン単位で映像生成部１６へ送信し、映像生成部１６は、左右何れかの側方映像を拡大した映像をモニタ２２にて表示すべく前記画素データを補完するための補完データを生成する。
【０１１５】
画素データ及び補完データにより、左右何れかの側方映像を拡大表示するための表示データを生成し、該表示データが示す映像に、前述したマーキングをオーバレイ表示する。図１０は、右側方から接近してくる第２車両にマーキングして拡大表示した映像の一例を示す模式図である。
【０１１６】
また、ステップ５にて第１車両が停止状態でないと判定した場合であり、更に第１車両の移動速度Ｖが、０＜Ｖ＜αであると判定した場合は（Ｓ１５）、ステップ６以降ステップ１３までの処理は行わず、左右両側方映像をモニタ２２にて表示する（Ｓ１４）。また、ステップ１５にて第１車両の移動速度Ｖが、Ｖ＞αであると判定した場合は、モニタ２２は外部装置２３に接続された状態を維持する。なお、速度αは、例えばα＝５ｋｍ／ｈなどと適宜値を予め設定しておく。
【０１１７】
本実施に係る警報情報生成方法及び車両側方映像生成装置１によれば、撮像した左右両側方映像に関する映像データに基づき、接近してくる第２車両を検出し、該第２車両の到達予測時間を算出し、該到達予測時間が所定の閾値以下であると判定した場合に、前記第２車両を容易に識別可能にモニタ２２にて表示し、オーディオ等の音声情報による警告を行い、また、前記第２車両が含まれている側方映像のみをモニタ２２にて拡大表示するため、例えば、交差点へ第１車両が進入する場合であり、更に、接近車両が近傍に存在する場合にのみ、即ち、ドライバが必要とする場合にのみモニタ２２にて側方映像を表示でき、視覚及び聴覚を通じて接近車両を容易に認識させることができ、第２車両との衝突等の危険性を回避することができる。
【０１１８】
また、第１車両の停止判定を行うため、特に、左右両側方映像に基づきフレーム間差分を行い２値化した２値データに基づき停止判定を行うため、更に正確に交差点での停止状態を検出することができ、不必要時にモニタ２２にて側方映像を表示することがない。
【０１１９】
また、接近する第２車両を検出するに際し、輝度に関して得たフレーム間差分値を２値化した２値データに基づいて検出するため、静止物を車両として誤検出することなく、従来に比してより正確に移動体のみを検出することができる。
【０１２０】
また、２値化する際に、ライト信号、輝度に関する空間差分値に基づき閾値を補正するため、夜間及び昼間でのコントラストの違い、又は、逆光時における左右夫々の側方映像のコントラストの違い等を補正でき、第２車両の誤検出を抑制することができる。
【０１２１】
また、検出した移動体の最下部が路面領域内に存在しない場合は、該移動体をノイズとして除去するため、第２車両の検出精度を向上させることができる。また、前記路面領域をステア信号、車道及び歩道の境界線、色相データ等に基づき補正するため、第１車両の姿勢に拘わらず比較的正確に路面領域を設定することができ、更に、移動体の速度ベクトルと路面領域の上下境界線の方向ベクトルとを用いた車両判定を行うため、ノイズの除去を的確に行うことが可能である。
【０１２２】
【発明の効果】
第１発明に係る車両側方映像生成方法による場合は、例えば、交差点へ第１車両が進入する場合に、第２車両が近傍に接近していることをドライバに認識させることができ、交差点への進入時の危険性を回避させることができる。
また、所定時間中に移動した物体のみを検出することができ、静止物を車両と誤検出することを防止することができる。
さらに、ライトを点灯しない昼間に撮像する映像と、ライトを点灯する夜間に撮像する映像とのコントラストの差による移動体の検出誤差を抑制することができる。
【０１２３】
第２発明に係る車両側方映像生成装置による場合は、例えば、青信号時の交差点を直進して通過する場合など、不必要時に側方映像が表示されることを防止することができる。
また、所定時間中に移動した物体のみを検出することができ、静止物を車両と誤検出することを防止することができる。
さらに、ライトを点灯しない昼間に撮像する映像と、ライトを点灯する夜間に撮像する映像とのコントラストの差による移動体の検出誤差を抑制することができる。
【０１２５】
第３発明に係る車両側方映像生成装置による場合は、第１車両の移動速度に基づき、例えば第１車両が交差点へ進入して停止した場合に他の移動体の検出、及び側方映像のモニタでの表示を可能とすることができる。
【０１２６】
第４発明に係る車両側方映像生成装置による場合は、第１車両が停止しているか否かをより正確に判定することができる。
【０１２８】
第５発明に係る車両側方映像生成装置による場合は、左右何れかの側方が逆光となるなどして左右夫々の側方映像におけるコントラストが比較的大きく異なる場合であっても、移動体の検出誤差を抑制することができる。
【０１２９】
第６発明に係る車両側方映像生成装置による場合は、空中を浮遊する木の葉、高架上を走行する電車等を車両として誤検出することを防止することができる。
【０１３０】
第７発明に係る車両側方映像生成装置による場合は、交差点へ進入する場合等における進入角度に応じて路面領域を補正でき、移動体の最下部位置に基づく車両の検出において誤検出を抑制することができる。
【０１３１】
第８発明に係る車両側方映像生成装置による場合は、前記境界線を有する路面に関して路面領域をより正確に補正することができ、移動体の最下部位置に基づく車両の検出において誤検出を抑制することができる。
【０１３２】
第９発明に係る車両側方映像生成装置による場合は、色相が比較的均一な領域を路面領域として補正することができ、移動体の最下部位置に基づく車両の検出において誤検出を抑制することができる。
【０１３３】
第１０発明に係る車両側方映像生成装置による場合は、車道を横断する方向に移動する移動体を車両として誤検出することを防止することができる。
【０１３４】
第１１発明に係る車両側方映像生成装置による場合は、接近する第２車両が存在する場合にのみ表示データを生成することができる。
【０１３５】
第１２発明に係る車両側方映像生成装置による場合は、交差点への進入時等における危険性を判定することができる。
【０１３６】
第１３発明に係る車両側方映像生成装置による場合は、ドライバに対して危険を認識させることができる。
【０１３７】
第１４発明に係る車両側方映像生成装置は、例えば、接近してくる第２車両をデフォルメ表示し、又は、マーキングするなどしてドライバが認識しやすくさせることができる。
【図面の簡単な説明】
【図１】本発明に係る車両側方映像生成装置の構成を示すブロック図である。
【図２】本発明に係る車両側方映像生成装置１の動作を説明するためのフローチャートである。
【図３】進入道路に対して直角に交差点へ進入した場合の左右両側方映像（ａ）及びその時の第１車両の交差点への進入状況（ｂ）を説明するための模式図である。
【図４】進入道路に対して左へ傾いて交差点へ進入した場合の左右両側方映像（ａ）及びその時の第１車両の交差点への進入状況（ｂ）を説明するための模式図である。
【図５】時刻ｔ及び時刻ｔ＋ｎでの車両の存在領域（ａ）及び抽出された動領域（ｂ）を説明するための模式図である。
【図６】動領域の下端と路面領域との関係により行うノイズの除去を説明するための模式図である。
【図７】移動体の抽出された動領域（ａ）と、移動体の実際の輪郭（ｂ）との一例を示す模式図である。
【図８】移動体の移動方向を予測してノイズを除去する処理を説明するための模式図である。
【図９】接近してくる第２車両をマーキングしたものをモニタにて表示した映像の一例を示す模式図である。
【図１０】右側方から接近してくる第２車両にマーキングして拡大表示した映像の一例を示す模式図である。
【符号の説明】
１ 車両側方映像生成装置
１１ Ａ／Ｄ変換器
１２ 停止判定部
１３ 接近車両検出部
１４ 映像選択部
１５ 映像保持部
１６ 映像生成部
１７ Ｄ／Ａ変換器
１８ 映像切替部[0001]
BACKGROUND OF THE INVENTION
The present invention detects an approaching vehicle based on left and right images of the vehicle.AndIn order to easily view the approaching vehicle that has been put out, it is necessary to generate an image for enlarging and displaying a side image showing the approaching vehicle.Vehicle side image generation method andThe present invention relates to a vehicle side image generation device.
[0002]
[Prior art]
Conventionally, when a vehicle enters an intersection where no signal is installed, it is necessary for the driver to check other vehicles approaching from the side of the vehicle by looking outside the vehicle window. In places where the field of view is narrow, it is difficult to enter the intersection, which is complicated and dangerous. In order to deal with this problem, the side of the vehicle is imaged and displayed on a monitor provided inside the vehicle, so that the approaching vehicle or the like is grasped using the displayed image, and confirmation troubles when entering the intersection An apparatus for avoiding the danger and danger is disclosed (refer to Japanese Patent Laid-Open Nos. 6-171426 and 10-229512).
[0003]
According to the apparatus, a prism is projected from the front of the vehicle, and an image obtained by optically combining the left and right side images of the vehicle using the prism is imaged using an imaging unit such as a CCD camera. The captured image should be displayed on a monitor installed inside the vehicle.
[0004]
By the way, it is conceivable that the monitor is used in combination with a monitor used in a car navigation system that has been popular in recent years. However, in the device, which of the navigation information and the left and right side images is displayed on the monitor is determined by the driver's switch operation. Therefore, it is troublesome to perform the switch operation every time the vehicle enters the intersection.
[0005]
An apparatus intended to solve the above problems has been disclosed (see JP-A-11-55656 and JP-A-11-249556). According to this device, when the vehicle speed sensor is used, the left and right side images are displayed on the monitor at the time of stopping or at a low speed, or the position of the intersection is recognized using the car navigation system and the vehicle approaches the intersection. The left and right side images should be displayed on the monitor.
[0006]
[Problems to be solved by the invention]
However, in the above apparatus, regardless of whether or not there is another vehicle approaching the intersection, the display on the monitor is switched to the left and right side images when stopped, at a low speed, or when approaching the intersection. Moreover, it is difficult to accurately detect the speed in a substantially stopped state with a wheel speed sensor or the like that is used as a vehicle speed sensor and detects based on a magnetic force.
[0007]
In order to determine the presence or absence of an approaching vehicle, the image captured by the imaging unit is subjected to image processing, and edge detection is performed based on the luminance of adjacent pixels on the monitor, thereby determining the presence or absence of an approaching vehicle and the presence of an approaching vehicle. In this case, a warning is disclosed (see Japanese Patent Application Laid-Open No. 11-306499). However, in order to determine the presence or absence of an approaching vehicle by edge detection, even if a stationary object other than an approaching vehicle is detected, a luminance difference is displayed on the image. There is a case where an object having a large is detected as a vehicle.
[0008]
Furthermore, for example, for a driver of a vehicle that has entered an intersection to make a left turn, there is a problem whether there is another vehicle approaching from the right side in the approach lane, and the left side image is not necessarily required. . However, none of the above devices has a function of displaying only one of the images on one side based on the presence or absence of an approaching vehicle on a full screen.
[0009]
The present invention has been made in view of the above-described circumstances, and both right and left sides imaged by an imaging unit installed in a vehicle (first vehicle) provided with the vehicle side image generation device according to the present invention. A vehicle (second vehicle) displayed in the left and right side images is detected based on video data relating to a side image, and when the second vehicle is detected, either the left or right side displaying the second vehicle By generating display data for enlarging and displaying the video on the monitor, the video can be displayed on the monitor only when the second vehicle is detected without displaying the monitor when the second vehicle does not exist. The side image of the side displaying the second vehicle can be enlarged and displayed.Vehicle side image generation methodAnd it aims at providing a vehicle side picture generation device.
[0010]
In addition, for example, when the first vehicle stops to visually recognize the side when entering the intersection, or when the vehicle becomes low speed, the second vehicle is detected and monitored when the second vehicle approaches. By displaying the side image at, the left and right side images will not be displayed on the monitor regardless of the presence or absence of an approaching vehicle when stopping, at low speed, or approaching an intersectionVehicle side image generation methodAnd it aims at providing a vehicle side picture generation device.
[0011]
Also, PlaceBased on the two pieces of video data acquired with a fixed time interval, a time difference value related to the luminance of pixel data corresponding to each pixel of the monitor is generated among the respective video data, and the time difference value is set to a predetermined threshold value (difference threshold value). ) To generate binarized binary data, and by detecting the speed of the first vehicle and the moving body based on the binary data, the speed in a substantially stopped state can be detected more accurately. , Stationary objects are not mistakenly detected as moving objectsVehicle side image generation methodAnd it aims at providing a vehicle side picture generation device.
[0012]
Furthermore, the arrival prediction time for the approaching second vehicle to reach the first vehicle is calculated, and when the calculated arrival prediction time is equal to or less than a predetermined threshold, warning information is output to enter the intersection. The driver can be made aware of the presence of an approaching vehicle at times, etc., and the danger can be avoided.Vehicle side image generation methodAnd it aims at providing a vehicle side picture generation device.
[0013]
[Means for Solving the Problems]
According to the first inventionThe vehicle side image generation method isAnd generating and outputting warning information indicating the presence of the approaching second vehicle based on the video data relating to the left and right side images captured by the imaging unit provided in the first vehicle.Vehicle side image generation methodAnd determining whether or not there is the second vehicle approaching the first vehicle in the left and right side images based on the video data, and if it is determined that the second vehicle is present, the second When a predicted arrival time until the vehicle reaches the first vehicle is calculated, it is determined whether or not the predicted arrival time is less than or equal to a predetermined threshold, and it is determined that the predicted arrival time is less than or equal to the threshold Outputs warning informationThen, based on the two pieces of video data acquired with a predetermined time interval, a luminance time difference value is generated for pixel data corresponding to each of a plurality of pixels to be displayed among the respective video data, and the generated time difference value Binary data is generated based on a predetermined difference threshold value, the second vehicle is detected based on the generated binary data, and a light signal indicating a lighting condition of an exterior light included in the first vehicle is generated. Receive and correct the difference threshold based on the received write signalIt is characterized by that.
[0014]
According to the first inventionVehicle side image generation methodIf it is determined that the predicted arrival time is calculated based on the video data relating to the left and right video images, and the predicted arrival time is calculated, and a warning is given if the predicted arrival time is equal to or less than a predetermined threshold. By outputting the information, for example, when the first vehicle enters the intersection, the driver can recognize that the second vehicle is approaching the vicinity, and avoid danger when entering the intersection. Can be made.
In addition, a moving object is detected based on binary data obtained by generating a difference value (time difference value) relating to luminance of pixel data included in each of two pieces of image data captured with a predetermined time interval. Thus, only the object that has moved during the predetermined time can be detected, and it can be prevented that the stationary object is erroneously detected as a vehicle.
Furthermore, based on a light signal indicating the lighting status of the external light of the first vehicle, by correcting the difference threshold in the case of binarizing the time difference value, an image captured in the daytime when the light is not turned on, The detection error of the moving object due to the difference in contrast with the image captured at night when the light is turned on can be suppressed.
[0015]
According to a second aspect of the present invention, there is provided a vehicle side image generating apparatus according to the present invention, wherein a side image in the first vehicle is displayed on a display unit based on image data relating to left and right side images that are images on both left and right sides in the first vehicle. Means for detecting a second vehicle displayed in the left and right side images based on the video data, in the vehicle side image generation device used for generating display data relating to the side image beingAnd the means for detecting the second vehicle relates to pixel data corresponding to each of a plurality of pixels included in the display portion of each video data based on the two video data acquired with a predetermined time interval. Means for generating a time difference value of luminance, means for generating binary data obtained by binarizing the generated time difference value based on a predetermined difference threshold, and means for detecting a moving object based on the generated binary data And means for receiving a light signal indicating a lighting condition of an external light provided in the first vehicle; and means for correcting the difference threshold based on the received light signal.It is characterized by providing.
[0016]
In the case of the vehicle side image generation apparatus according to the second invention, by detecting the approaching second vehicle and generating display data for enlarging and displaying the side image on which the second vehicle exists, for example, It is possible to prevent the side image from being displayed when it is unnecessary, such as when going straight through an intersection at the time of a green light.
In addition, a moving object is detected based on binary data obtained by generating a difference value (time difference value) relating to luminance of pixel data included in each of two pieces of image data captured with a predetermined time interval. Thus, only the object that has moved during the predetermined time can be detected, and it can be prevented that the stationary object is erroneously detected as a vehicle.
Furthermore, based on a light signal indicating the lighting status of the external light of the first vehicle, by correcting the difference threshold in the case of binarizing the time difference value, an image captured in the daytime when the light is not turned on, The detection error of the moving object due to the difference in contrast with the image captured at night when the light is turned on can be suppressed.
[0019]
First3A vehicle side image generating apparatus according to the invention is2 shotsIn the vehicle side image generation device according to the invention, the means for detecting the moving speed of the first vehicle, the means for determining whether or not the detected moving speed is equal to or less than a predetermined speed threshold, And a means for detecting the second vehicle when it is determined that the second vehicle is present.
[0020]
First3In the case of the vehicle side image generation device according to the invention, the first vehicle is detected by detecting the moving body when it is determined that the detected moving speed of the first vehicle is equal to or less than a predetermined threshold (speed threshold). For example, when the first vehicle enters the intersection and stops, it is possible to detect another moving body and display the side image on the monitor.
[0021]
First4A vehicle side image generating apparatus according to the invention is3In the vehicle side image generating apparatus according to the invention, the means for detecting the moving speed of the first vehicle has the display unit of each image data based on the two image data acquired with a predetermined time interval. Means for generating a time difference value of luminance for pixel data corresponding to each of a plurality of pixels, means for generating binary data obtained by binarizing the generated time difference value based on a predetermined difference threshold value, and And means for detecting a moving speed based on binary data.
[0022]
First4In the case of the vehicle side image generating device according to the invention, when detecting the moving speed of the first vehicle, by detecting the moving speed based on binary data generated by generating a time difference value, It can be determined more accurately whether or not the first vehicle is stopped.
[0025]
First5A vehicle side image generating apparatus according to the invention is2Thru4In the vehicle side image generation device according to any one of the inventions, means for generating a spatial difference value of luminance related to pixel data for adjacent pixels in the left and right side images acquired simultaneously, and the generated spatial difference value The apparatus further comprises means for correcting the difference threshold based on the above.
[0026]
First5In the case of the vehicle side image generation device according to the invention, a difference value (spatial difference value) relating to the luminance of the pixel data of the adjacent pixel is generated in each of the left and right side images, and the difference threshold value is based on the space difference value. By correcting this, even if the contrast in the left and right side images is relatively different due to backlighting on either the left or right side, it is possible to suppress the detection error of the moving body.
[0027]
First6A vehicle side image generating apparatus according to the invention is2Thru5In the vehicle side image generation device according to any one of the inventions, when it is determined that the detected lowermost part of the moving body is present within a preset road surface area and is present And a means for determining that the moving body is the second vehicle.
[0028]
First6In the case of the vehicle side image generation device according to the invention, when it is determined that the lowest part of the detected moving body is present in the road surface area, the moving body is determined to be the second vehicle, and thus floats in the air. It is possible to prevent erroneous detection of a leaf, a train traveling on an overpass, or the like as a vehicle.
[0029]
First7A vehicle side image generating apparatus according to the invention is6The vehicle side image generating apparatus according to the invention further includes means for receiving an angle signal related to a rotation angle of a steering included in the first vehicle, and means for correcting the road surface area based on the received angle signal. Features.
[0030]
First7In the case of the vehicle side image generation device according to the invention, the road surface area is corrected according to the approach angle of the first vehicle when entering the intersection by correcting the road surface area based on the rotation angle of the steering of the first vehicle. Can be corrected, and erroneous detection can be suppressed in vehicle detection based on the lowest position of the moving body.
[0031]
First8A vehicle side image generating apparatus according to the invention is6Or the second7In the vehicle side image generation device according to the invention, based on the detected boundary line data, means for detecting boundary line data relating to a boundary line indicating a boundary of a roadway and a sidewalk included in the left and right side images in the image data And a means for correcting the road surface area.
[0032]
First8In the case of the vehicle side image generation device according to the invention, when the boundary line indicating the boundary of the roadway and the sidewalk is imaged in the left and right side images, by correcting the road surface area based on the boundary line, The road surface area can be corrected more accurately with respect to the road surface having the boundary line, and erroneous detection can be suppressed in vehicle detection based on the lowest position of the moving body.
[0033]
First9A vehicle side image generating apparatus according to the invention is6Thru8The vehicle side image generation device according to any one of the inventions further comprises means for generating hue data relating to hues in the left and right side images, and means for correcting the road surface area based on the generated hue data. And
[0034]
First9In the case of the vehicle side image generation device according to the invention, by correcting the road surface area based on the hue data in the left and right side images, the area having a relatively uniform hue can be corrected as the road surface area. In the detection of the vehicle based on the lowermost position, erroneous detection can be suppressed.
[0035]
First10A vehicle side image generating apparatus according to the invention is2Thru9In the vehicle side image generation device according to any of the inventions, a means for calculating the detected moving direction of the moving body, a means for determining whether or not the calculated moving direction is within a predetermined range, and a predetermined And a means for determining that the moving body is the second vehicle when it is determined that the vehicle is within the range.
[0036]
First10In the case of the vehicle side image generation device according to the invention, when the detected moving direction of the moving body is within a predetermined range, the moving body moving in the direction crossing the roadway is determined as the vehicle by determining the second vehicle. It is possible to prevent erroneous detection.
[0037]
First11A vehicle side image generating apparatus according to the invention is10In the vehicle side image generating apparatus according to the invention, based on the moving direction, means for determining whether or not the moving body is approaching, and means for generating the display data when it is determined that the moving body is approaching And further comprising.
[0038]
First11In the case of the vehicle side image generation device according to the invention, the display data is displayed only when the approaching second vehicle exists by determining whether or not the second vehicle is approaching based on the moving direction of the moving body. Can be generated.
[0039]
First12A vehicle side image generating apparatus according to the invention is11The vehicle side image generating apparatus according to the invention is characterized by further comprising means for calculating a predicted arrival time for the moving body determined to be approaching.
[0040]
First12In the case of the vehicle side image generation device according to the invention, the danger at the time of entering the intersection can be determined by calculating the predicted arrival time related to the time for the approaching second vehicle to reach the first vehicle. it can.
[0041]
First13A vehicle side image generating apparatus according to the invention is11Or the second12In the vehicle side image generating apparatus according to the invention, means for determining whether or not the predicted arrival time is less than or equal to a predetermined time threshold, and means for outputting a warning signal when it is determined that it is less than or equal to the time threshold It is characterized by providing.
[0042]
First13In the case of the vehicle side image generation apparatus according to the invention, the driver can be made aware of the danger by outputting an alarm signal when the predicted arrival time is equal to or less than a predetermined threshold (time threshold).
[0043]
First14A vehicle side image generating apparatus according to the invention is11Thru13In the vehicle side image generation device according to any of the inventions, the vehicle side image generation device further includes means for generating identification data for displaying the moving body that is determined to be approaching the display unit in an identifiable manner. To do.
[0044]
First14The vehicle side image generating apparatus according to the invention generates the identification data so that the approaching second vehicle can be identified on the display unit, for example, the deformed display of the approaching second vehicle. Alternatively, it can be made easier for the driver to recognize by marking or the like.
[0045]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described in detail with reference to the drawings illustrating embodiments thereof.
FIG. 1 is a block diagram showing a configuration of a vehicle side image generation apparatus 1 according to the present invention. The vehicle side image generation device 1 includes an A / D converter 11 and is communicably connected to an imaging unit 21 configured using a CCD camera or the like. In addition, a D / A converter 17 and a video switching unit 18 connected to the D / A converter 17 are provided. The video switching unit 18 includes a monitor 22 and a car navigation system that are configured using a liquid crystal display. The external device 23 to be realized is connected to be communicable.
[0046]
In addition, although the monitor 22 in this Embodiment demonstrates the case where the liquid crystal display used with the said car navigation system is used together, it cannot be overemphasized that you may comprise using a dedicated display.
[0047]
An analog signal is used to transmit a signal between the imaging unit 21 and the A / D converter 11. In this case, the A / D converter 11 includes an RGB decoder (for example, M52042 manufactured by Mitsubishi Electric) and 3. A channel A / D converter (for example, SONY CXD2303) is combined. In addition, it can be realized by various configurations such as a single video decoder (for example, MSM7664BTB manufactured by Oki Electric Co., Ltd.).
[0048]
An analog signal is also used for signal transmission between the D / A converter 17 and the monitor 22 via the video switching unit 18, and in this case, the D / A converter 17 has three channels. A D / A converter (for example, CXD2304 manufactured by SONY) and an RGB encoder (for example, MB3516A manufactured by Fujitsu) are combined. In addition, it can be realized by various configurations such as a video encoder (for example, MSM7654GA manufactured by Oki Electric Co., Ltd.). When the monitor 22 is not compatible with NTSC composite input but compatible with analog RGB input, the D / A converter 17 can be configured without the RGB encoder.
[0049]
The analog signal has RGB values (red, green, blue signal components) or YUV values (luminance signal components, color signal components) to be displayed in a plurality of pixels corresponding to the scanning lines in the monitor 22. Can be displayed interlaced.
[0050]
The A / D converter 11 is connected to the stop determination unit 12, and the video data captured by the imaging unit 21 and input to the A / D converter 11 is further input to the stop determination unit 12. The stop determination unit 12 has a function of detecting the moving speed of a vehicle (first vehicle) on which the vehicle side image generation device 1 according to the present invention is mounted and determining whether or not the vehicle is stopped. The processed video data is subjected to image processing, and determination is further made based on a vehicle speed signal acquired from a vehicle speed sensor, a brake signal indicating on / off of the brake, and the like. Further, when it is determined that the first vehicle is in a stopped state, a signal indicating that is to be output to the video switching unit 18.
[0051]
The A / D converter 11 is connected to the approaching vehicle detection unit 13, and the video data output from the A / D converter 11 is input to the approaching vehicle detection unit 13. The approaching vehicle detection unit 13 performs image processing on the input video data, and corrects a road surface area, difference between frames, binarization, and determination of the moving direction of the moving body (to be described later) 2 vehicle) is detected. In addition, a light signal indicating ON / OFF of the vehicle exterior light and a steering signal indicating the steering rotation angle are input for use in correcting the road surface area, and the image displayed on the monitor 22 is switched according to the driver's request. The switch signal is input. Further, when the approaching second vehicle is detected, a warning signal for notifying the driver is output, and when the monitor 22 is connected to the external device 23, the output of the D / A converter 17 is monitored. In order to be displayed at 22, a signal indicating that is output to the video switching unit 18.
[0052]
Further, the A / D converter 11 is connected to the video selection unit 14, and the video data output from the A / D converter 11 is input to the video selection unit 14. In addition, when the approaching vehicle detection unit 13 detects the approaching second vehicle, the video selection unit 14 receives the first on either the left or right side in the left and right side images captured by the imaging unit 21. A signal indicating whether two vehicles have been detected is input. The video selection unit 14 selects pixel data corresponding to a plurality of pixels of the monitor 22 in the video data input from the A / D converter 11 based on the signal input from the approaching vehicle detection unit 13. That is, when the second vehicle is detected on either the left or right side, pixel data relating to the image on the side where the second vehicle is detected is selected, and the selected pixel data is output to the image holding unit 15.
[0053]
The video holding unit 15 can hold an amount of data corresponding to the video for one line on the monitor 22 among the input pixel data, and output the data in the order of input, FIFO (First In First). Out) structure.
[0054]
Data output from the video holding unit 15 is input to the video generation unit 16. In addition, when the approaching vehicle detection unit 13 detects the approaching second vehicle, the image generation unit 16 determines whether the second vehicle is detected on the left and right sides of the data related to the second vehicle. The signal shown is input. Based on the signal, the image generation unit 16 enlarges and displays the side image from which the second vehicle is detected on the monitor 22, so that the pixel data related to the left or right side image input from the image holding unit 15 is displayed. Generate complementary data that complements. Further, in order to make it easy to identify the second vehicle on the monitor 22, based on the data relating to the second vehicle input from the approaching vehicle detection unit 13, the second vehicle is displayed on the video by CG display and marking display. Generate identification data. Further, display data to be displayed on the monitor 22 is generated using the pixel data, complementary data, and identification data.
[0055]
Display data generated by the video generation unit 16 is output to the monitor 22 via the D / A converter 17 and the video switching unit 18. A signal indicating that the first vehicle is stopped is input from the stop determination unit 12 to the video switching unit 18, and a signal indicating that the second vehicle approaching is detected from the approaching vehicle detection unit 13. Is done. When a signal is input from the stop determination unit 12 and / or the approaching vehicle detection unit 13, the video switching unit 18 outputs display data input via the D / A converter 17 to the monitor 22. Is not input, the display mode on the monitor 22 is switched by enabling the external device 23 such as a car navigation system to be connected to the monitor 22.
[0056]
Note that the stop determination unit 12 and the approaching vehicle detection unit 13 described above can be realized by a CPU (SH7750) or the like, and the video selection unit 14, the video holding unit 15, and the video generation unit 16 are an ASIC (Application Specified IC). Alternatively, it can be easily realized by an FPGA (Field Programmable Gate Array) or the like.
[0057]
In the configuration described above, the case where an analog signal is used as a signal related to a video transmitted from the imaging unit 21 has been described. However, a digital input / output circuit is provided instead of the A / D converter 11 and the D / A converter 17. Thereby, the digital signal regarding the image | video which the imaging part 21 imaged can be transmitted as it is.
[0058]
In this case, the interface of the imaging unit 21, the monitor 22, and the digital input / output circuit uses, for example, a protocol such as IEEE 1394 as a standard for the physical layer and the link layer, and between the imaging unit 21 and the digital input / output circuit. In the transmission / reception of data of 1394-based Digital Camera Specification Ver. According to 1.2, a video signal in YUV 4: 2: 2 format may be used.
[0059]
Next, the operation of the vehicle side image generating apparatus 1 according to the present invention having the above-described configuration will be described with reference to the flowchart shown in FIG.
First, mode checks such as the display state on the monitor 22 based on the switch signal and the connection state between the external device 23 and the monitor 22 are performed (S1), and the video imaged by the imaging unit 21 is converted to the A / D converter 11. (S2). Using the video data regarding the video captured by the A / D converter 11, the approaching vehicle detection unit 13 corrects the difference threshold when binarizing the differential video obtained by the inter-frame difference (S3).
[0060]
When correcting the difference threshold, the correction is performed using a light signal indicating whether or not the vehicle exterior light provided in the first vehicle is lit. That is, when the outside light is on, the standard difference threshold value at night is used, and when the outside light is not on, the standard difference threshold value during daytime is used. Note that a standard difference threshold value at night and daytime is calculated in advance.
[0061]
In addition, if there is a relatively large difference in contrast between the side images in each of the left and right side images due to backlighting, etc., the difference threshold is corrected based on statistical processing. Do. That is, a difference value of luminance between adjacent pixels in the input video data is calculated, and a histogram listing the number of pixels having the difference value is created. Difference value D having the maximum number of pixels in the histogramm  Based on the standard difference threshold T0  Difference threshold T corrected for1  Is calculated by the following equation (1).
T1  = T0  + A (Dm  -D0  (1)
In the formula (1), A is a constant, D0  Is a difference value that maximizes the number of pixels in the histogram created in the standard state.
[0062]
Next, the speed of the first vehicle is detected (S4), and the stop determination unit 12 determines whether or not the first vehicle is stopped (speed V = 0) (S5). When it is determined that the first vehicle is stopped, the road surface area is corrected in the left and right side images to determine whether or not the second vehicle approaching is present (S6). The speed detection and stop determination are performed using video data, a vehicle speed sensor, a brake signal, navigation information, a lane marker, road-to-vehicle communication, and the like input from the A / D converter 11. Hereinafter, the case of using these will be described.
[0063]
A case where speed detection and stop determination are performed based on video data will be described.
When the first vehicle is moving, the surrounding stationary object moves relatively backward, and the left side image is displayed to translate from right to left, and the right side image is displayed to translate from left to right. The Therefore, it is determined whether or not the first vehicle is stopped by detecting a change in information regarding the luminance value in a predetermined region (block) at the same parallel position in the video at time t and time t + n. Can do.
[0064]
First, at time t, several feature points are set in block units (for example, 8 pixels × 8 pixels) for each of the left side video and the right side video. As the feature point, an edge point is calculated by edge extraction based on a difference in luminance value, and the calculated edge point is used as the feature point. Alternatively, the feature point may be set at a predetermined position.
[0065]
Next, at time t + n, the feature point set at time t is searched. In other words, from the position of the feature point set at time t, a search is performed for a predetermined number of pixels one pixel at a time in the left side image and to the right in the right side image, and the brightness value of the feature point set at time t And the difference sum with the luminance value which the block to search has is calculated, and the block where the calculated difference sum is the minimum is regarded as the place where the feature point set at time t has moved.
[0066]
When the feature point is moving between time t and time t + n, it is considered that the first vehicle is moving. In addition, when the feature point is not moved, that is, when the difference sum of the brightness values becomes minimum at time t + n in the block at the same position as the feature point set at time t, the first vehicle stops. It is determined that
[0067]
A case where speed detection and stop determination are performed based on a vehicle speed signal obtained from a vehicle speed sensor will be described.
When speed detection is performed based on the vehicle speed signal, it is possible to make a detailed determination as to whether or not the speed is a predetermined speed (for example, 5 km / h) or less. However, when a general wheel speed sensor is used as the vehicle speed sensor, the vehicle speed is calculated mainly by magnetic detection, so that it is difficult to detect an extremely low speed such as when the first vehicle is substantially stopped. Therefore, stop determination is performed by using a wheel speed sensor using a Hall IC element or the like that can detect extremely low speed.
[0068]
A case where speed detection and stop determination are performed based on video data, a vehicle speed signal, and a brake signal will be described.
By detecting the speed up to an extremely low speed using a vehicle speed signal from the vehicle speed sensor and detecting the speed based on the video data at an extremely low speed or less, the reliability of the stop determination can be improved. In this case, the sensor signal may be either a signal from a wheel speed sensor or a signal from an engine ECU. Further, by combining the brake signal, it is possible to improve the reliability of the determination particularly when the movement starts from the stop state.
[0069]
A case where speed detection and stop determination are performed using navigation information will be described.
When performing vehicle speed detection and stop determination based on video data, vehicle speed signal, and brake signal, for example, when the vehicle is stopped at a single road other than an intersection during traffic jams, the road surface is detected to detect the second vehicle. There is a possibility that area correction (S6) is performed. Therefore, as a result of detecting the intersection based on the navigation information, only when it is determined that the first vehicle is located at the intersection, and further the speed detection is performed based on the video data and the vehicle speed signal, etc., the first vehicle is stopped. In step 6, the road surface area is corrected.
[0070]
When the car navigation system that provides navigation information is provided with self-contained navigation and vehicle speed information can be acquired from the navigation information, speed detection can be performed based on the vehicle speed information and video data.
[0071]
A case where speed detection and stop determination are performed using a lane marker will be described. When a lane marker such as a radio wave marker or a magnetic marker is laid before the intersection, and the first vehicle has a lane marker detector, it detects that the first vehicle has entered the intersection by detecting the lane marker. can do. Therefore, only when the approach to the intersection is detected by the lane marker detector, the speed is detected by the video data and the vehicle speed signal, etc., and it is determined that the first vehicle is stopped, the correction of the road surface area in step 6 is performed. Do.
[0072]
A case where speed detection and stop determination are performed using road-to-vehicle communication will be described.
When a road-to-vehicle communication device such as an optical beacon or DSRC is installed in front of the intersection, it is possible to detect the approach to the intersection by communicating wirelessly with the first vehicle. Therefore, only when it is determined that the approach to the intersection is detected by road-to-vehicle communication and the speed is detected based on the video data and the vehicle speed signal, the first vehicle is stopped. I do.
[0073]
In addition to the above, if the video data is used and the "Stop" sign, the mirror installed at the intersection, etc. are recognized in the left and right side images, it is determined that the first vehicle is approaching the intersection can do. Therefore, only when the “stop” sign is recognized using the video data and the speed is detected based on the video data and the vehicle speed signal, it is determined that the first vehicle is stopped. The road surface area may be corrected.
[0074]
Next, the correction of the road surface area in step 6 will be described.
Although the road surface area in the left and right side images is set in advance, an error occurs between the road area and the actual road surface area in the left and right side images depending on the approach angle of the first vehicle to the intersection. FIG. 3 is a schematic diagram for explaining the left and right side images (a) when entering the intersection at right angles to the approach road, and the approach situation (b) to the intersection of the first vehicle at that time. FIG. 4 is a schematic diagram for explaining the left and right side images (a) when entering the intersection by leaning left with respect to the approach road and the approach situation (b) to the intersection of the first vehicle at that time. It is.
[0075]
When entering at a left angle compared to the case of entering at a right angle, the actual road surface area has the vanishing point of the approaching road located below in the right side image, and the vanishing point of the approaching road upward in the left side image. It is located (see FIG. 3 (a) and FIG. 4 (a)). On the other hand, when the vehicle is inclined to the right with respect to the approach road, the vanishing point is positioned above in the right side image and the vanishing point is positioned below in the left side image. Accordingly, when the road surface area is set in advance, an error may occur between the first road and the actual road surface area depending on the attitude of the first vehicle.
[0076]
In order to eliminate the error, the approaching vehicle detection unit 13 corrects the road surface area. As a correction method, assuming that there is a correlation between the tilt of the vehicle with respect to the lane direction and the rotation angle of the steering, the correction is based on the steering signal, and the white line (the boundary between the roadway and the sidewalk in the left and right side images) A method of detecting the position of the line) and correcting based on the slope of the white line, and a method of detecting the road surface area in the left and right side images based on the hue (H) in the HSI signal in the color image and correcting based on this , Etc.
[0077]
A case where the road surface area is corrected based on the steering signal will be described.
When making a left turn at an intersection, the driver turns the steering wheel to the left. When making a right turn, the driver turns the steering wheel to the right, and accordingly, the posture of the first vehicle turns left and right with respect to the approach road. Thus, a correlation is established between the rotation angle of the steering and the attitude of the first vehicle.
[0078]
Therefore, the road surface area can be corrected based on the steering signal. The relationship between the steering rotation angle indicated by the steer signal and the correction amount is created in advance as a conversion table indicating the relationship between each pixel position and the position correction amount in the captured left and right amount side image by measurement in an experiment. The road surface area is corrected by referring to the conversion table.
[0079]
A case where the road surface area is corrected based on the position of the white line will be described.
In an urban area or the like, a white line representing a boundary between a roadway and a sidewalk is provided, and the road surface area can be corrected by detecting the white line displayed on the left and right side images captured by the imaging unit 21.
[0080]
Several search points are set on the center line of a preset road surface area, and the edge search is performed in the vertical direction on the captured left and right side images starting from the search point. That is, an edge point that is a pixel having the maximum luminance difference value between the upper and lower pixels is searched. Based on the position of the edge point obtained as a result of the search, the position of the white line is calculated by linear approximation such as the least square method. A preset road surface area is corrected using the calculated white line position.
[0081]
A case where the road surface area is corrected based on the hue will be described.
In the case where the hue is uniform, such as the road surface and the sky, the actual road surface area can be estimated by calculating the hue value based on the RGB values related to the captured left and right side images. By using the following formula (2) or formula (3), the hue value (H) is calculated using the RGB values.
[0082]
[Expression 1]
Figure 0003606223
[0083]
[Expression 2]
Figure 0003606223
[0084]
The actual road surface area is estimated based on the hue value calculated using the above formula (2) or (3), and a preset road surface area is corrected based on the estimated road surface area.
[0085]
After the correction of the road surface area in Step 6, in order to detect the moving body in the left and right side images, images are taken with a predetermined time (for example, n = 100 ms, 200 ms) such as time t and time t + n. A difference value (time difference value) relating to luminance is calculated between each frame using two left and right side images, and the time difference value is binarized based on a predetermined threshold value (difference threshold value) (S7).
[0086]
Since it is determined in step 5 that the first vehicle is stopped (V = 0), the luminance of other stationary objects imaged during the predetermined time n hardly changes. On the other hand, in a region where a moving body such as another vehicle exists for a predetermined time n, the luminance changes relatively large. Accordingly, the time difference value of the luminance is calculated for each of the left and right side images captured at the time t and the time t + n, and the calculated time difference value is binarized based on a predetermined difference threshold value, so that the time n An area where the moving body has moved, that is, a moving area is extracted (S8).
[0087]
As described above, the time difference value related to the brightness varies depending on the time zone (daytime, nighttime), and the daylight condition such as backlight, and therefore is appropriately corrected using statistical processing related to the light signal and contrast. .
[0088]
In step 8, the moving region is extracted. When the moving body is a vehicle, the time difference value related to the brightness is greatly different between the background and the vehicle, whereas the vehicle existing region at time t and the time t + n. In the region overlapping with the vehicle existing region in the case, the time difference value related to the luminance may be relatively small. FIG. 5 is a schematic diagram for explaining the vehicle existence area (a) and the extracted movement area (b) at time t and time t + n. As shown in FIG. 5A, in the overlapping area A3 between the vehicle existing area A1 at time t and the vehicle existing area A2 at time t + n, the time difference value related to luminance is small. Therefore, when binarized, only non-overlapping existence areas A4 and A4 are extracted as moving areas, as shown in FIG. 5B. Therefore, by searching for pixels having a value of 1 (pixels having a time difference value related to luminance equal to or greater than the difference threshold) in the vicinity of the existing regions A4 and A4 using binary data, the moving object including the overlapping region A3 is searched. The moving area A5 is extracted.
[0089]
After extracting the moving area of the moving body in step 8, the extracted moving body having a low possibility of the vehicle is removed as noise (S9). That is, the moving body whose lower end in the extracted moving area exists in the road surface area corrected in step 6 can be estimated as a vehicle, and the lower end in the extracted moving area does not exist in the road surface area. It can be estimated that the body is not a vehicle and can be removed as noise.
[0090]
FIG. 6 is a schematic diagram for explaining the noise removal performed based on the relationship between the lower end of the moving region and the road surface region. In the left and right side images in FIG. 6, the origin is at the upper left, the x axis is set in the right direction, and the y axis is set in the lower direction. In addition, the road surface area in the left-side image has a road surface upper boundary line,
y = a1  x + b1
The lower boundary of the road surface
y = a2  x + b2
The road surface area in the right-side image is the upper boundary line of the road surface,
y = a3  x + b3
The lower boundary of the road surface
y = a4  x + b4
It has become.
[0091]
Therefore, in the case of the left-side image, the lower end coordinates (x1  , Y1  ) Satisfy both of the following inequalities, the moving body is determined to be a vehicle.
y> a1  x + b1
y <a2  x + b2
In the case of a right-side video, the lower end coordinates (x2  , Y2  ) Satisfy both of the following inequalities, the moving body is determined to be a vehicle.
y> a3  x + b3
y <a4  x + b4
[0092]
Next, as a result of performing noise removal in step 9, the contour of the moving body indicated by the remaining moving area is extracted (S10). That is, since the moving area of the moving body extracted in step 8 is extracted based on the left and right side images at time t and time t + n, the actual vehicle position at time t + n which is the latest time is the time n. Since only an error has occurred, a more accurate contour of the moving body at time t + n is extracted. FIG. 7 is a schematic diagram illustrating an example of a moving area (a) extracted with respect to a moving object and an actual outline (b) of the moving object.
[0093]
By performing edge extraction in the vicinity of the extracted moving area A5 in the left and right side images at time t + n, the contour of the moving object can be extracted more accurately. Specifically, several contour representative points are set on the contour in the vertical direction of the moving area A5, and search is performed in the left-right direction at each set contour representative point (see FIG. 7A). The edge point at which the difference value of the luminance is the maximum is extracted. Based on the extracted edge points, the contour A6 of the moving object is extracted by calculating the contour line in the vertical direction of the moving object using the least square method (see FIG. 7B). Note that a contour representative point may be set on the horizontal contour of the moving region, and edge search may be performed in the vertical direction.
[0094]
Next, the moving direction of the moving body corresponding to the contour A6 at time t + n extracted in step 10 is determined, and based on this, the moving body having a low possibility of being a vehicle is further removed as noise (S11). FIG. 8 is a schematic diagram for explaining the process of removing the noise by predicting the moving direction of the moving body. Similar to the case where the contour A6 of the moving object is extracted at time t + n, the contour of the moving object is also extracted at time t. Therefore, based on the contour of the moving object at time t and the contour A6 of the moving object at time t + n, the velocity vector v7 of the moving object at time t + n is predicted, and the movement at time t + 2n is based on the prediction. Predict body position A7.
[0095]
At time t + 2n, it is searched whether or not the moving object exists in the vicinity of the predicted position A7. As a result of the search, when the contour A8 of the moving object can be extracted in the vicinity of the predicted position A7, the velocity vector v8 is calculated based on the contour A8 and the contour A6 extracted at time t + n.
[0096]
By comparing the absolute value, the direction, and the like in the calculated velocity vector v8 and the predicted velocity vector v7, it is determined whether or not the moving object indicated by the contour A6 and the moving object indicated by the contour A8 are the same. Further, the shape and size of the contour A6 and the contour A8 are compared to determine whether or not the same moving object is shown.
[0097]
Even if the moving object is closest to the predicted position A7, it may not be the same as the moving object indicated by the contour A6. Therefore, an evaluation function is created for each parameter when the above-described comparison is performed. The moving object that maximizes the value of is the same as the moving object indicated by the contour A6.
[0098]
Further, it is determined whether or not the calculated speed vector v8 is within the direction of the road surface area, that is, within the range of the respective direction vectors of the road surface upper boundary line and the road surface lower boundary line. A moving object having the vector v8 is removed as noise. With respect to the moving body within the range, it is determined whether or not the moving body is approaching according to the direction of the velocity vector v8, and only the approaching moving body is set as a warning / display target described later.
[0099]
If there is no moving object at time t + n corresponding to the contour A8 extracted at time t + 2n, it will be listed as a moving object at the stage of time t + 2n. When a corresponding mobile object exists at t + 3n, it is set as a warning / display target.
[0100]
Next, the predicted arrival time to the first vehicle is calculated for the second vehicle approaching among the moving bodies detected as vehicles (S12). That is, it is determined whether the detected vehicle is the second vehicle approaching based on the speed vector, and the angle of view, the installation height of the imaging unit 21 in each of the left side video and the right side video, Based on the depression angle or the like, the coordinates in the monitor 22 are converted into actual coordinates centered on the first vehicle, and the distance between the second vehicle and the first vehicle and the speed of the second vehicle are calculated. Further, an estimated arrival time until the second vehicle reaches the first vehicle is calculated based on the calculated distance and speed.
[0101]
When the calculated estimated arrival time is equal to or less than a predetermined threshold, the approaching vehicle detection unit 13 outputs a warning signal for warning the driver and performs a process for marking the approaching second vehicle. (S13) and display on the monitor 22 (S14).
[0102]
The output warning signal is input to a buzzer, an LED installed on an instrument panel, or an audio. When the sound is input to the buzzer or the audio, the driver can be notified by a warning sound, and when it is input to the LED installed on the instrument panel, the driver can be notified by turning on the LED. When audio is input, a message such as “Please be careful about the left direction (right direction)” may be output from the speaker on the approaching side of the second vehicle. When the installed LED is turned on, the LED may be installed to indicate left and right, and the LED may be turned on to indicate the approaching side of the second vehicle.
[0103]
FIG. 9 is a schematic diagram illustrating an example of an image displayed on the monitor 22 by marking the approaching second vehicle. FIG. 9A shows the approaching second vehicle marked with a rectangular frame, and FIG. 9B shows the approaching second vehicle marked on the top.
[0104]
There are various markings for the approaching second vehicle other than those shown in FIG. For example, the driver can easily identify the second vehicle by converting the second vehicle to CG and displaying it relatively large.
[0105]
The driver can also easily identify the second vehicle by displaying the background image in monochrome and displaying only the second vehicle in color. In this case, in order to display the background video in monochrome, it is converted into monochrome data using video data output from the video holding unit 15 or output from the video selection unit 14. Conversion to monochrome data is performed by the following equation, and can be easily realized by ASIC or FPGA.
R1  = 0.299R0  + 0.587G0  + 0.114B0
G1  = 0.299R0  + 0.587G0  + 0.114B0
B1  = 0.299R0  + 0.587G0  + 0.114B0
In the above formula, R0  , G0  , B0  Is the RGB value before conversion and R1  , G1  , B1  Is the RGB value after conversion.
[0106]
When the second vehicle is displayed in color, the RGB values relating to the video data input to the approaching vehicle detection unit 13 are recorded in the graphic memory, and the graphic is displayed inside the outline of the moving object left as the vehicle in step 11. This can be realized by writing RGB values recorded in the memory.
[0107]
In addition, the second vehicle can be easily identified by reducing the brightness of the background image other than the second vehicle. In this case, the RGB value in the video data relating to the background video is converted into a YCbCr value (Y is a luminance value, Cb and Cr are color signals), and the Y value is converted to a smaller value Y.1The luminance of the background image can be lowered by converting the image into RGB and converting it into RGB values again. This luminance value conversion is performed using either the video data output from the video holding unit 15 or the video selection unit 14 as in the case of monochrome data conversion.
[0108]
The conversion from the RGB value to the YCbCr value can be performed by the following formula, and can be easily realized by ASIC or FPGA.
Y = 0.299R + 0.587G + 0.114B
Cb = −0.299R−0.587G + 0.886B
Cr = 0.701R-0.587G-0.114B
[0109]
In addition, the second vehicle can be easily identified by binarizing and displaying the background image other than the second vehicle. That is, a luminance value (Y value) is calculated based on the RGB value, and when the Y value is equal to or greater than a predetermined threshold, white is set as (R, B, G) = (255, 255, 255), and the threshold is set. If it is smaller, it is black and (R, B, G) = (0, 0, 0) is set.
[0110]
The threshold is set using a histogram relating to the luminance of the left and right side images. When the histogram is calculated for the luminance of the left and right side images, it is possible to obtain peaks in the sky region and the road surface region. Therefore, the sky region and the road surface region can be identified by setting a threshold value between the peaks. A binarized background image can be displayed.
[0111]
Note that the calculation of the histogram may be performed once when the video switching unit 18 switches from the output of the external device 23 to the output of the left and right video images. Further, the calculation of the Y value from the RGB values, the calculation of the histogram, and the binarization of the background video by the threshold value are performed using either video data output from the video holding unit 15 or the video selection unit 14. It can be realized by ASIC or FPGA, and can be realized more easily by using a CPU.
[0112]
Further, any marking other than those described above may be used as long as the driver can identify the approaching second vehicle by an image on the monitor 22.
[0113]
Furthermore, in the display on the monitor 22 in step 14, it is also possible to enlarge and display only the left and right side images in which the approaching second vehicle is imaged. In this case, the approaching vehicle detection unit 13 transmits to the video selection unit 14 a signal indicating which side image is approaching the second vehicle. The video selection unit 14 selects video data related to the side video indicated in the received signal in units of pixels. That is, if the second vehicle is displayed in the left side image, pixel data corresponding to 1 to 320 pixels for each line of the video data input from the A / D converter 11 is obtained. If it is selected and the second vehicle is displayed in the right side image, pixel data corresponding to 321 to 640 pixels is selected.
[0114]
Next, the video selection unit 14 outputs the selected pixel data to the video holding unit 15. The video holding unit 15 transmits the input pixel data pixel by pixel to the video generation unit 16, and the video generation unit 16 displays on the monitor 22 a video obtained by enlarging either the left or right side video. Therefore, complementary data for complementing the pixel data is generated.
[0115]
Display data for enlarging and displaying either the left or right side image is generated from the pixel data and the complementary data, and the above-described marking is overlaid on the image indicated by the display data. FIG. 10 is a schematic diagram showing an example of an enlarged image displayed by marking the second vehicle approaching from the right side.
[0116]
If it is determined in step 5 that the first vehicle is not in a stopped state, and if it is further determined that the moving speed V of the first vehicle is 0 <V <α (S15), step 6 and subsequent steps are performed. The processing up to 13 is not performed, and the left and right side images are displayed on the monitor 22 (S14). If it is determined in step 15 that the moving speed V of the first vehicle is V> α, the monitor 22 remains connected to the external device 23. Note that the speed α is set in advance as appropriate, for example, α = 5 km / h.
[0117]
According to the alarm information generation method and the vehicle side image generation device 1 according to the present embodiment, the approaching second vehicle is detected based on the image data regarding the captured left and right side images, and the arrival prediction of the second vehicle is performed. When the time is calculated and it is determined that the predicted arrival time is equal to or less than a predetermined threshold, the second vehicle is displayed on the monitor 22 so as to be easily identifiable, and a warning is given by audio information such as audio. In order to enlarge and display only the side image including the second vehicle on the monitor 22, for example, when the first vehicle enters an intersection and only when an approaching vehicle is present in the vicinity. That is, the side image can be displayed on the monitor 22 only when the driver needs it, the approaching vehicle can be easily recognized through vision and hearing, and the danger such as a collision with the second vehicle is avoided. be able to
[0118]
In addition, in order to make a stop determination of the first vehicle, in particular, to make a stop determination based on binary data obtained by binarizing the difference between frames based on the left and right side images, more accurately detecting the stop state at the intersection The side image is not displayed on the monitor 22 when it is unnecessary.
[0119]
In addition, when detecting the approaching second vehicle, the detection is performed based on binary data obtained by binarizing the inter-frame difference value obtained with respect to the luminance, so that a stationary object is not erroneously detected as a vehicle, compared to the conventional case. Thus, only the moving object can be detected more accurately.
[0120]
In addition, when binarizing, the threshold value is corrected based on the spatial difference value related to the light signal and the luminance, so the difference in contrast between night and day, or the difference in contrast between the left and right side images during backlighting, etc. Can be corrected, and erroneous detection of the second vehicle can be suppressed.
[0121]
Moreover, when the lowest part of the detected moving body does not exist in a road surface area | region, since this moving body is removed as noise, the detection accuracy of a 2nd vehicle can be improved. Further, since the road surface area is corrected based on the steering signal, the boundary line of the roadway and the sidewalk, the hue data, etc., the road surface area can be set relatively accurately regardless of the posture of the first vehicle. Since the vehicle determination is performed using the speed vector and the direction vector of the upper and lower boundary lines of the road surface area, it is possible to accurately remove noise.
[0122]
【The invention's effect】
According to the first inventionVehicle side image generation methodFor example, when the first vehicle enters the intersection, the driver can recognize that the second vehicle is approaching the vicinity, and can avoid danger when entering the intersection. it can.
In addition, only an object that has moved during a predetermined time can be detected, and it is possible to prevent a stationary object from being erroneously detected as a vehicle.
Furthermore, it is possible to suppress the detection error of the moving object due to the difference in contrast between the video imaged in the daytime when the light is not turned on and the video imaged at night when the light is turned on.
[0123]
In the case of the vehicle side image generation device according to the second aspect of the invention, it is possible to prevent the side image from being displayed when it is unnecessary, such as when going straight through an intersection at the time of a green light.
In addition, only an object that has moved during a predetermined time can be detected, and it is possible to prevent a stationary object from being erroneously detected as a vehicle.
Furthermore, it is possible to suppress the detection error of the moving object due to the difference in contrast between the video imaged in the daytime when the light is not turned on and the video imaged at night when the light is turned on.
[0125]
First3In the case of the vehicle side image generation device according to the invention, based on the moving speed of the first vehicle, for example, when the first vehicle enters the intersection and stops, it is possible to detect other moving bodies and monitor the side image. Can be displayed.
[0126]
First4In the case of the vehicle side image generation device according to the invention, it can be more accurately determined whether or not the first vehicle is stopped.
[0128]
First5In the case of the vehicle side image generation device according to the invention, even if the left and right side images are backlit, and the contrast in the left and right side images is relatively different, the detection error of the moving object Can be suppressed.
[0129]
First6In the case of the vehicle side image generation device according to the invention, it is possible to prevent erroneous detection of a leaf of a tree floating in the air, a train traveling on an overpass, or the like as a vehicle.
[0130]
First7In the case of the vehicle side image generation device according to the invention, the road surface area can be corrected according to the approach angle when entering an intersection or the like, and erroneous detection can be suppressed in detecting the vehicle based on the lowest position of the moving body it can.
[0131]
First8In the case of the vehicle side image generation device according to the invention, the road surface area can be more accurately corrected with respect to the road surface having the boundary line, and erroneous detection is suppressed in the detection of the vehicle based on the lowest position of the moving body. Can do.
[0132]
First9In the case of the vehicle side image generation device according to the invention, a region having a relatively uniform hue can be corrected as a road surface region, and erroneous detection can be suppressed in vehicle detection based on the lowest position of the moving body. .
[0133]
First10In the case of the vehicle side image generation device according to the invention, it is possible to prevent a mobile body moving in a direction crossing the roadway from being erroneously detected as a vehicle.
[0134]
First11In the case of the vehicle side image generation device according to the invention, display data can be generated only when there is a second vehicle approaching.
[0135]
First12In the case of using the vehicle side image generation device according to the invention, it is possible to determine the risk when entering an intersection.
[0136]
First13In the case of the vehicle side image generation device according to the invention, the driver can be made aware of the danger.
[0137]
First14The vehicle side image generating apparatus according to the invention can make the driver easy to recognize by, for example, deforming or marking the approaching second vehicle.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a vehicle side image generation apparatus according to the present invention.
FIG. 2 is a flowchart for explaining the operation of the vehicle side image generating apparatus 1 according to the present invention.
FIG. 3 is a schematic diagram for explaining the left and right side images (a) when entering the intersection at right angles to the approach road and the approach situation (b) to the intersection of the first vehicle at that time.
FIG. 4 is a schematic diagram for explaining the left and right side images (a) when entering the intersection by leaning left with respect to the approach road and the approach situation (b) to the intersection of the first vehicle at that time. .
FIG. 5 is a schematic diagram for explaining a vehicle existence area (a) and an extracted movement area (b) at time t and time t + n.
FIG. 6 is a schematic diagram for explaining noise removal performed based on a relationship between a lower end of a moving region and a road surface region.
FIG. 7 is a schematic diagram showing an example of an extracted moving area (a) of a moving object and an actual outline (b) of the moving object.
FIG. 8 is a schematic diagram for explaining a process of predicting a moving direction of a moving body and removing noise.
FIG. 9 is a schematic diagram showing an example of an image displayed on the monitor by marking a second vehicle approaching.
FIG. 10 is a schematic diagram showing an example of an enlarged image displayed by marking a second vehicle approaching from the right side.
[Explanation of symbols]
1 Vehicle side image generator
11 A / D converter
12 Stop determination unit
13 Approaching vehicle detection unit
14 Video selection part
15 Video holding part
16 Video generator
17 D / A converter
18 Video switching part

Claims (14)

第１車両に設けた撮像部が撮像する左右両側方映像に関する映像データに基づき、接近する第２車両の存在を示す警告情報を生成して出力する車両側方映像生成方法において、前記映像データに基づき、前記左右両側方映像にて前記第１車両に接近する前記第２車両が存在するか否かを判定し、前記第２車両が存在すると判定した場合は該第２車両が前記第１車両に到達するまでの到達予測時間を算出し、該到達予測時間が所定の閾値以下であるか否かを判定し、前記到達予測時間が前記閾値以下であると判定した場合は警告情報を出力し、
所定時間を空けて取得した２つの前記映像データに基づき、夫々の映像データのうち表示する複数の画素の夫々に対応する画素データに関して輝度の時間差分値を生成し、生成した時間差分値を所定の差分閾値に基づき２値化した２値データを生成し、生成した２値データに基づき前記第２車両を検出し、
前記第１車両が具備する車外ライトの点灯状況を示すライト信号を受信し、受信したライト信号に基づき前記差分閾値を補正することを特徴とする車両側方映像生成方法。In a vehicle side image generation method for generating and outputting warning information indicating the presence of a second vehicle approaching based on image data relating to left and right side images captured by an imaging unit provided in a first vehicle, the image data includes Based on the left and right side images, it is determined whether or not there is the second vehicle approaching the first vehicle. If it is determined that the second vehicle is present, the second vehicle is the first vehicle. calculates a predicted arrival time to reach the,該到we estimated time is equal to or less than a predetermined threshold value, if the predicted arrival time is equal to or less than the threshold value a warning information ,
Based on the two pieces of video data acquired with a predetermined time interval, a luminance time difference value is generated for pixel data corresponding to each of a plurality of pixels to be displayed among the respective video data, and the generated time difference value is set as a predetermined value. Generating binary data binarized based on the difference threshold, detecting the second vehicle based on the generated binary data,
A vehicle side image generation method, comprising: receiving a light signal indicating a lighting condition of an outside light included in the first vehicle; and correcting the difference threshold based on the received light signal . 第１車両における左右両側方の映像である左右両側方映像に関する映像データに基づき、表示部にて表示すべく前記第１車両における側方の映像である側方映像に関する表示データを生成するために用いる車両側方映像生成装置において、前記映像データに基づき、前記左右両側方映像に表示される第２車両を検出する手段を備え、
前記第２車両を検出する手段は、所定時間を空けて取得した２つの前記映像データに基づき、夫々の映像データのうち前記表示部が有する複数の画素の夫々に対応する画素データに関して輝度の時間差分値を生成する手段と、生成した時間差分値を所定の差分閾値に基づいて２値化した２値データを生成する手段と、生成した２値データに基づき移動体を検出する手段とを備え、
前記第１車両が具備する車外ライトの点灯状況を示すライト信号を受信する手段と、受信したライト信号に基づき前記差分閾値を補正する手段とを更に備えることを特徴とする車両側方映像生成装置。In order to generate display data related to the side image, which is a side image in the first vehicle, to be displayed on the display unit, based on the video data related to the left and right side images which are the images on the left and right sides in the first vehicle. In the vehicle side image generation apparatus to be used, the vehicle side image generation device includes means for detecting a second vehicle displayed in the left and right side images based on the image data ,
The means for detecting the second vehicle is a luminance time for pixel data corresponding to each of a plurality of pixels included in the display unit of each video data based on the two video data acquired with a predetermined time interval. Means for generating a difference value; means for generating binary data obtained by binarizing the generated time difference value based on a predetermined difference threshold; and means for detecting a moving body based on the generated binary data. ,
The vehicle side image generating apparatus , further comprising: means for receiving a light signal indicating a lighting condition of an external light included in the first vehicle; and means for correcting the difference threshold based on the received light signal. . 前記第１車両の移動速度を検出する手段と、検出した前記移動速度が所定の速度閾値以下であるか否かを判定する手段と、速度閾値以下であると判定した場合に前記第２車両の検出を行う手段とを更に備えることを特徴とする請求項２に記載の車両側方映像生成装置。 Means for detecting the moving speed of the first vehicle; means for determining whether the detected moving speed is equal to or lower than a predetermined speed threshold; and The vehicle side image generating apparatus according to claim 2, further comprising a detecting unit. 前記第１車両の移動速度を検出する手段は、所定時間を空けて取得した２つの前記映像データに基づき、夫々の映像データのうち前記表示部が有する複数の画素の夫々に対応する画素データに関して輝度の時間差分値を生成する手段と、生成した時間差分値を所定の差分閾値に基づいて２値化した２値データを生成する手段と、生成した２値データに基づき移動速度を検出する手段とを備えることを特徴とする請求項３に記載の車両側方映像生成装置。The means for detecting the moving speed of the first vehicle relates to pixel data corresponding to each of a plurality of pixels included in the display unit of each video data based on the two video data acquired with a predetermined time interval. Means for generating a luminance time difference value; means for generating binary data obtained by binarizing the generated time difference value based on a predetermined difference threshold; and means for detecting a moving speed based on the generated binary data The vehicle side image generation device according to claim 3, further comprising: 同時的に取得した左右夫々の側方映像における隣接する画素に対する画素データに関する輝度の空間差分値を生成する手段と、生成した空間差分値に基づき前記差分閾値を補正する手段を更に備えることを特徴とする請求項２乃至４の何れか一項に記載の車両側方映像生成装置。 The apparatus further comprises means for generating a spatial difference value of luminance related to pixel data for adjacent pixels in the left and right side images acquired simultaneously, and means for correcting the difference threshold based on the generated spatial difference value. The vehicle side image generation device according to any one of claims 2 to 4 . 検出された前記移動体の最下部が、予め設定された路面領域内に存在するか否かを判定する手段と、存在すると判定した場合に前記移動体を前記第２車両であると判定する手段とを更に備えることを特徴とする請求項２乃至５の何れか一項に記載の車両側方映像生成装置。 Means for determining whether or not the lowest part of the detected moving body exists within a preset road surface area, and means for determining that the moving body is the second vehicle when it is determined that it exists. The vehicle side image generation device according to any one of claims 2 to 5, further comprising: 前記第１車両が具備するステアリングの回転角度に関する角度信号を受信する手段と、受信した角度信号に基づき前記路面領域を補正する手段とを更に備えることを特徴とする請求項６に記載の車両側方映像生成装置。The vehicle side according to claim 6, further comprising: means for receiving an angle signal related to a rotation angle of a steering included in the first vehicle; and means for correcting the road surface area based on the received angle signal. Video image generator. 前記映像データにて前記左右両側方映像に含まれる車道及び歩道の境界を示す境界線に関する境界線データを検出する手段と、検出した境界線データに基づき前記路面領域を補正する手段とを更に備えることを特徴とする請求項６又は７に記載の車両側方映像生成装置。 The image data further includes means for detecting boundary line data related to a boundary line indicating a boundary between a roadway and a sidewalk included in the left and right side images, and means for correcting the road surface area based on the detected boundary line data. The vehicle side image generation device according to claim 6 or 7, characterized in that 前記左右両側方映像における色相に関する色相データを生成する手段と、生成した色相データに基づき前記路面領域を補正する手段とを更に備えることを特徴とする請求項６乃至８の何れか一項に記載の車両側方映像生成装置。 9. The apparatus according to claim 6, further comprising means for generating hue data relating to a hue in the left and right side images, and means for correcting the road surface area based on the generated hue data. Vehicle side image generation device. 検出された前記移動体の移動方向を算出する手段と、算出した移動方向が所定の範囲内にあるか否かを判定する手段と、所定の範囲内にあると判定した場合に前記移動体を前記第２車両であると判定する手段とを更に備えることを特徴とする請求項２乃至９の何れか一項に記載の車両側方映像生成装置。 Means for calculating the detected moving direction of the moving body; means for determining whether or not the calculated moving direction is within a predetermined range; and when the mobile body is determined to be within the predetermined range, The vehicle side image generation device according to any one of claims 2 to 9, further comprising means for determining that the vehicle is the second vehicle . 前記移動方向に基づき、前記移動体が接近しているか否かを判定する手段と、接近していると判定した場合に、前記表示データを生成する手段とを更に備えることを特徴とする請求項１０に記載の車両側方映像生成装置。 The apparatus further comprises: means for determining whether or not the moving body is approaching based on the moving direction; and means for generating the display data when it is determined that the moving body is approaching. vehicle side image generating apparatus according to 10. 接近していると判定した前記移動体に関し、到達予測時間を算出する手段を更に備えることを特徴とする請求項１１に記載の車両側方映像生成装置。The vehicle side image generation device according to claim 11, further comprising means for calculating a predicted arrival time for the moving body determined to be approaching . 前記到達予測時間が所定の時間閾値以下であるか否かを判定する手段と、時間閾値以下であると判定した場合に警告信号を出力する手段とを備えることを特徴とする請求項１１又は１２に記載の車両側方映像生成装置。 The means for determining whether or not the predicted arrival time is equal to or less than a predetermined time threshold value, and means for outputting a warning signal when it is determined that the predicted arrival time is equal to or less than the time threshold value. vehicle side image generating apparatus according to. 接近していると判定した前記移動体を前記表示部にて識別可能に表示するための識別データを生成する手段を更に備えることを特徴とする請求項１１乃至１３の何れか一項に記載の車両側方映像生成装置。 14. The apparatus according to claim 11, further comprising means for generating identification data for displaying the moving body determined to be approaching in an identifiable manner on the display unit. Vehicle side image generation device.
JP2001130231A 2001-04-26 2001-04-26 Vehicle side image generation method and vehicle side image generation device Expired - Fee Related JP3606223B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001130231A JP3606223B2 (en) 2001-04-26 2001-04-26 Vehicle side image generation method and vehicle side image generation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001130231A JP3606223B2 (en) 2001-04-26 2001-04-26 Vehicle side image generation method and vehicle side image generation device

Publications (2)

Publication Number Publication Date
JP2002321579A JP2002321579A (en) 2002-11-05
JP3606223B2 true JP3606223B2 (en) 2005-01-05

Family

ID=18978641

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001130231A Expired - Fee Related JP3606223B2 (en) 2001-04-26 2001-04-26 Vehicle side image generation method and vehicle side image generation device

Country Status (1)

Country Link
JP (1) JP3606223B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9569685B2 (en) 2014-07-10 2017-02-14 Kyungpook National University Industry-Academic Cooperation Foundation Image processing apparatus and method for detecting partially visible object approaching from side using equi-height peripheral mosaicking image, and driving assistance system employing the same

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4657765B2 (en) 2005-03-09 2011-03-23 三菱自動車工業株式会社 Nose view system
JP4739833B2 (en) * 2005-06-30 2011-08-03 クラリオン株式会社 Vehicle stop detection device, car navigation device
JP4892965B2 (en) * 2005-12-26 2012-03-07 住友電気工業株式会社 Moving object determination system, moving object determination method, and computer program
JP4800078B2 (en) * 2006-03-23 2011-10-26 本田技研工業株式会社 Vehicle perimeter monitoring system
JP4930046B2 (en) * 2006-12-26 2012-05-09 日産自動車株式会社 Road surface discrimination method and road surface discrimination device
JP2009105741A (en) * 2007-10-24 2009-05-14 Denso Corp In-vehicle perimeter monitoring system
JP2011118482A (en) 2009-11-30 2011-06-16 Fujitsu Ten Ltd In-vehicle device and recognition support system
JP5813944B2 (en) * 2010-12-06 2015-11-17 富士通テン株式会社 Image display system, image processing apparatus, and image display method
JP5794378B2 (en) * 2012-02-16 2015-10-14 日産自動車株式会社 Three-dimensional object detection apparatus and three-dimensional object detection method
JP6775285B2 (en) 2015-09-24 2020-10-28 アルパイン株式会社 Rear side vehicle detection alarm device
JP7122806B2 (en) * 2017-02-24 2022-08-22 コニカミノルタ株式会社 OBJECT APPROACH DETECTION DEVICE AND OBJECT APPROACH DETECTION METHOD
US11837084B2 (en) * 2019-05-13 2023-12-05 Nippon Telegraph And Telephone Corporation Traffic flow estimation apparatus, traffic flow estimation method, traffic flow estimation program, and storage medium storing traffic flow estimation program

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2995813B2 (en) * 1990-07-26 1999-12-27 オムロン株式会社 Traffic flow speed measurement method
JPH06341837A (en) * 1993-06-01 1994-12-13 Matsushita Electric Ind Co Ltd Distance-between-cars measuring apparatus, camera-position correction device and collision warning device
JPH0721488A (en) * 1993-07-02 1995-01-24 Omron Corp Traffic flow abnormality monitoring and supporting device
JP3044156B2 (en) * 1993-10-27 2000-05-22 シャープ株式会社 In-vehicle surveillance camera device
JPH08223566A (en) * 1995-02-10 1996-08-30 Hitachi Ltd Surrounding state recognition device for vehicle
JPH08329394A (en) * 1995-05-29 1996-12-13 Daihatsu Motor Co Ltd Detecting device for driving lane of preceding vehicle
JPH1024801A (en) * 1996-07-10 1998-01-27 Nec Eng Ltd Side confirmation device to be mounted on vehicle
JPH1196376A (en) * 1997-09-24 1999-04-09 Oki Electric Ind Co Ltd Device and method for tracking moving object
JP4723703B2 (en) * 1999-06-25 2011-07-13 富士通テン株式会社 Vehicle driving support device
JP2001039247A (en) * 1999-07-27 2001-02-13 Ichikoh Ind Ltd Confirmation device for vehicle
JP2001195699A (en) * 2000-01-14 2001-07-19 Yazaki Corp Vehicle circumference monitor device and recording medium for stored with vehicle collision danger judgement processing program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9569685B2 (en) 2014-07-10 2017-02-14 Kyungpook National University Industry-Academic Cooperation Foundation Image processing apparatus and method for detecting partially visible object approaching from side using equi-height peripheral mosaicking image, and driving assistance system employing the same

Also Published As

Publication number Publication date
JP2002321579A (en) 2002-11-05

Similar Documents

Publication Publication Date Title
JP4093208B2 (en) Vehicle runway determination device
JP4321821B2 (en) Image recognition apparatus and image recognition method
JP5316713B2 (en) Lane departure prevention support apparatus, lane departure prevention method, and storage medium
JP4832321B2 (en) Camera posture estimation apparatus, vehicle, and camera posture estimation method
JP3606223B2 (en) Vehicle side image generation method and vehicle side image generation device
WO2010134680A1 (en) Lane departure sensing method and apparatus using images that surround a vehicle
JP2007066305A (en) Pavement marking recognition system
JP4792948B2 (en) Inter-vehicle communication system
JP2008222153A (en) Merging support device
JP5937832B2 (en) In-vehicle camera exposure control system
JP2570378B2 (en) Vehicle sign recognition device
JP4802686B2 (en) Inter-vehicle communication system
JP2009139306A (en) Road surface marking recognition device
JP5226641B2 (en) Obstacle detection device for vehicle
JP4715479B2 (en) Inter-vehicle communication system
JP4725310B2 (en) Inter-vehicle communication system
JP4162868B2 (en) Object extraction device
JP4088288B2 (en) Vehicle periphery monitoring device
JP4899493B2 (en) Vehicle information providing device and lane keeping control device
JP2006078635A (en) Front road-display control unit and front road-display control program
JP2006024120A (en) Image processing system for vehicles and image processor
JP4710575B2 (en) Inter-vehicle communication system
JP2000003438A (en) Sign recognizing device
JPH09231379A (en) Device for recognizing traveling lane by picture processing
JP4263660B2 (en) Vehicle runway determination device

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040914

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040927

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071015

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081015

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091015

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101015

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111015

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121015

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees