JP4193740B2 - ノーズビューモニタ装置 - Google Patents
ノーズビューモニタ装置 Download PDFInfo
- Publication number
- JP4193740B2 JP4193740B2 JP2004091667A JP2004091667A JP4193740B2 JP 4193740 B2 JP4193740 B2 JP 4193740B2 JP 2004091667 A JP2004091667 A JP 2004091667A JP 2004091667 A JP2004091667 A JP 2004091667A JP 4193740 B2 JP4193740 B2 JP 4193740B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- vector
- flow vector
- flow
- turning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、ノーズビューカメラの撮像画像に基づいて、撮像画像のオプティカルフローベクトルを検出するノーズビューモニタ装置に関する。
従来より、車両のノーズ（前端）部に左右側方を撮像する撮像カメラを設け、撮像した画像（いわゆるノーズビュー画像）をモニタ装置等に表示して、乗員の肉眼目視の補助を行う技術が開発されている。このような技術においては、一般に、撮像画像を表示するモニタ装置がテレビ画像やカーナビゲーション画像（ナビ画像）等を表示する車載モニタと兼用されるようになっており、車両の走行時にはテレビ画像やナビ画像が表示され、車両が交差点やＴ字路に差し掛かって一時停止したときには自動的にノーズビュー画像の表示に切り換わるようになっている。
また、特許文献１には、車両前部に取り付けられて左右側方の画像を撮像しそれを車室内のモニタ装置（ディスプレイ）に表示する車両用カメラ装置において、車両の停止以前又は所定の低速度走行になる以前に、車速や減速度の大きさに応じて、装置を自動的にオン作動させる構成が記載されている。このような構成によれば、例えば、車両が交差点に差しかかり運転者が左右確認を行おうとしたときには、一時停止するより以前に装置をオン作動させてノーズ部からの左右側方の撮像画面をディスプレイに映し出すことができ、運転者は余裕を持ってスピーディかつスムーズに左右確認を行うことができ、一方、渋滞によるノロノロ運転時には装置をオン作動させず、テレビ画像やナビ画像等を妨げないようにすることができるようになっている。
一方、このようなモニタ装置の撮像画像において、撮像画像内における移動物体をオプティカルフローを利用して検出する技術も開発されている。オプティカルフローとは、画像上の２次元速度ベクトル場、すなわち、動画像中の運動物体の見かけの速度場のことである。このような技術では、例えば、所定周期で撮像された連続する２枚の画像間において、同一の対象物として認識可能な点を特徴点として設定（演算処理によって検出）し、この特徴点の移動（移動方向と移動距離）をベクトル（このベクトルがオプティカルフローベクトルであり、単にフローベクトルとも称され、また、このベクトルのことがオプティカルフローと称されることもある）として算出する。そして、撮像した画像内の全領域において、この特徴点とフローベクトルとを算出することで、画像内の移動物体の位置，移動方向等の情報を認識できるようになっている。
また、例えば、特許文献２には、車両の走行方向（車両の進行方向である前方）の撮像画像のオプティカルフローを求める演算処理において、画像上における道路外の風景に相当する領域を省いて演算を行う構成が記載されている。具体的には、画像上の無限遠点から画面の下方両隅部に引いた直線によって囲まれる下方部分と無限遠点の周辺の部分とを含む領域についてのみ、オプティカルフローを求めるようになっている。これにより、画像内の全領域においてオプティカルフローを求めるのに比較して、演算量を削減することができ、処理時間を短縮して高速化することができるようになっている。
ところで、車両の左右側方を撮像したノーズビュー画像から、オプティカルフローを利用して自車両へ接近する車両等の移動物体を認識することを考えた場合、自車両が停止した状態であれば、自車両に対する相対位置を変化させない対象（例えば、建造物や街路樹等といった画像中の背景の部分）にはフローベクトルが発生せず、実際に移動した物体にのみフローベクトルが発生することになる。つまり、フローベクトルの発生した場所に移動物体が存在するということになり、フローベクトルの有無によって正確に移動物体を検出することができる。
しかし、ステアリングを切った状態で車両を前進させた場合、ノーズビュー画像は画像全体が車両の旋回半径や旋回速度に応じて移動してしまう。つまり、撮像カメラ自体が移動することによって画像全体にフローベクトルが発生することになり、自車両の移動によって発生したオプティカルフローと実際の移動物体によるオプティカルフローとが混在した状態で検出されることになるため、これらを分けて検出することが困難になるという課題がある。
このような課題に対し、例えば、特許文献３には、車両前方を撮影した画像よりオプティカルフローを算出する移動体認識装置であって、車両旋回時に、自車両の運動方向データとオプティカルフローを検出した対象物までの距離とに基づいて、自車両の運動によって生じるみかけのオプティカルフローを算出し、自車両の運動がオプティカルフローに与える影響を補償して移動物体を検出する技術が開示されている。
特許第３２８７８１７号公報
特許第３３９８９３４号公報
特許第３２３９５２１号公報
しかし、特許文献３に記載の技術では、みかけのオプティカルフロー、すなわち、自車両の移動によって発生したオプティカルフローを算出するにあたって、自車両の走行速度やヨーレイトといった運動方向データのみならず、検出対象となる物体までの距離を把握する必要があり、構成が複雑となり、演算処理も煩雑になりかねない。
また、例えば、車両の前方や後方を撮像するカメラの撮像画像において、移動物体として検出したい対象物のみかけの移動速度は、自車両の走行速度とその対象物の走行速度との差（相対速度）として撮像されるため、実際の対象物の移動速度よりも小さい移動速度で撮像されることになり、撮像画像から検出される対象物のオプティカルフローの大きさも比較的小さくなることが多い。
また、例えば、車両の前方や後方を撮像するカメラの撮像画像において、移動物体として検出したい対象物のみかけの移動速度は、自車両の走行速度とその対象物の走行速度との差（相対速度）として撮像されるため、実際の対象物の移動速度よりも小さい移動速度で撮像されることになり、撮像画像から検出される対象物のオプティカルフローの大きさも比較的小さくなることが多い。
これに対して、車両側方を撮像するノーズビューカメラにおいては、自車両が停止又は徐行している状態で、通常走行している一般車両等を撮像対象とするものであるため、実際の対象物の移動速度とほぼ同等の移動速度で撮像されて（つまり、自車両の移動速度が小さいため、対象物の撮像画像上におけるみかけの移動速度があまり小さくならず）、比較的大きなオプティカルフローが検出されることが多く、オプティカルフローの演算において、その演算処理量が増加してしまう。そのため、ノーズビュー画像から、オプティカルフローを利用して自車両へ接近する車両等の移動物体を正確に認識するためには、処理能力の高い演算処理装置を搭載しなければならず、装置全体のコストアップを招くという課題がある。このように、ノーズビューカメラの撮像画像からオプティカルフローを利用して移動物体を検出する場合には、演算処理を軽減することが従来からの課題となっている。
本発明はこのような課題に鑑み案出されたもので、シンプルなロジックで、車両の旋回時における車両のノーズ部分の側方の接近物体を容易に精度よく検出できるようにして、乗員に接近物体情報を報知することができるようにした、ノーズビューモニタ装置を提供することを目的とする。
上記目的を達成するため、本発明のノーズビューモニタ装置（請求項１）は、車両のノーズ前面に設けられて車両側方の画像を撮像する撮像手段と、該画像に基づきオプティカルフローベクトルを算出するオプティカルフローベクトル算出手段と、該車両の旋回方向を検出する旋回方向検出手段と、該車両の旋回時において、該オプティカルフローベクトル算出手段によって算出されたオプティカルフローベクトルのうち、該旋回方向検出手段によって検出された該車両の旋回外側方向の側方領域に存在し且つ該画像中における該車両の進行方向へのベクトル成分を有するオプティカルフローベクトルに基づいて接近物体を検出し、また、該接近物体の検出に際し、該旋回方向検出手段によって検出された該車両の旋回内側方向の側方領域に存在するオプティカルフローベクトルを参照しない接近物体検出手段と、該画像を表示するとともに該接近物体の検出を報知する報知手段とを備えたことを特徴としている。
また、該報知手段は、該車両の進行方向へのベクトル成分を有するオプティカルフローベクトル大きさ又は数に応じた複数の報知態様を切り換えて、該画像を表示するとともに該接近物体の検出を報知することが好ましい（請求項２）。
また、該車両の操舵角又は操舵輪の舵角を検出する操舵角センサをさらに備え、該接近物体検出手段が、該操舵角センサで検出された該舵角の大きさが予め設定された基準値以上である場合に、該接近物体の検出を実施することが好ましい（請求項３）。
また、該車両の操舵角又は操舵輪の舵角を検出する操舵角センサをさらに備え、該接近物体検出手段が、該操舵角センサで検出された該舵角の大きさが予め設定された基準値以上である場合に、該接近物体の検出を実施することが好ましい（請求項３）。
本発明のノーズビューモニタ装置（請求項１）によれば、旋回時に自車両への接近物体を確実に検出できる方向に存在するオプティカルフローベクトルのみを参照することで、自車両の旋回にかかるオプティカルフローベクトルの補正演算を簡素にすることができる。また、接近物体の検出に際し、車両の旋回方向の内側の方向の側方領域に存在するオプティカルフローベクトルを参照しないため、接近物体の誤認識を削減することができ、接近物体の検出率を向上させることができる。
また、本発明のノーズビューモニタ装置（請求項２）によれば、オプティカルフローベクトルの大きさ，数に応じた複数の報知態様を切り換えることによって、自車両への接近物体の危険度を判定することができ、危険度に応じた効果的な報知を行うことができるようになり、安全性を向上させることができる。
また、本発明のノーズビューモニタ装置（請求項３）によれば、車両の旋回速度がやや大きいときに旋回方向の外側方向の側方領域におけるフローベクトルのみを参照して接近物体を検出するため、旋回によるフローベクトルとを区別して認識でき、誤認識を低減させることができる。一方、旋回速度が小さい場合には、左右両側方領域のフローベクトルを参照して、正確に移動物体を検出することができる。
また、本発明のノーズビューモニタ装置（請求項２）によれば、オプティカルフローベクトルの大きさ，数に応じた複数の報知態様を切り換えることによって、自車両への接近物体の危険度を判定することができ、危険度に応じた効果的な報知を行うことができるようになり、安全性を向上させることができる。
また、本発明のノーズビューモニタ装置（請求項３）によれば、車両の旋回速度がやや大きいときに旋回方向の外側方向の側方領域におけるフローベクトルのみを参照して接近物体を検出するため、旋回によるフローベクトルとを区別して認識でき、誤認識を低減させることができる。一方、旋回速度が小さい場合には、左右両側方領域のフローベクトルを参照して、正確に移動物体を検出することができる。
以下、図面により、本発明の実施の形態について説明する。
図１〜図７は、本発明の実施形態としてのノーズビューモニタ装置を示すもので、図１は本発明の第１実施形態としてのノーズビューモニタ装置を備えた車両を示す模式的構成図、図２は本装置によるモニタ表示例としての表示画面内容の模式図、図３（ａ）〜（ｆ）は本装置の接近物体検出手段における演算処理を説明するための模式図であって、いずれも左半分は車両の左側方のノーズビュー及びフローベクトル、右半分は車両の右側方のノーズビュー及びフローベクトルを示すものであり、また、図４は本装置における制御を説明するためのフローチャート、図５は本装置におけるノーズビューカメラの撮像領域を示す模式的平面図、図６は本発明の第２実施形態としてのノーズビューモニタ装置を備えた車両を示す模式的構成図、図７は本装置における制御を説明するためのフローチャートである。
［第１実施形態］
図１を参照すると、本発明の第１実施形態としてのノーズビューモニタ装置１を搭載した車両２が示されている。車両２は、車両の左右側方を撮像するノーズビューカメラ（撮像手段）３，車両２の走行速度信号を検出する車速センサ（旋回状態対応値検出手段）４，ノーズビューカメラ３の作動スイッチとしてのノーズカメラスイッチ６，乗員によるステアリングホイールの操舵角（又は操舵輪の舵角）信号を検出する操舵角センサ（旋回方向検出手段・旋回状態対応値検出手段）７，電子制御ユニット（ＥＣＵ）１０及びノーズビューカメラ３によって撮像された画像を表示するためのモニタ（報知手段）５を備えて構成されている。
図１〜図７は、本発明の実施形態としてのノーズビューモニタ装置を示すもので、図１は本発明の第１実施形態としてのノーズビューモニタ装置を備えた車両を示す模式的構成図、図２は本装置によるモニタ表示例としての表示画面内容の模式図、図３（ａ）〜（ｆ）は本装置の接近物体検出手段における演算処理を説明するための模式図であって、いずれも左半分は車両の左側方のノーズビュー及びフローベクトル、右半分は車両の右側方のノーズビュー及びフローベクトルを示すものであり、また、図４は本装置における制御を説明するためのフローチャート、図５は本装置におけるノーズビューカメラの撮像領域を示す模式的平面図、図６は本発明の第２実施形態としてのノーズビューモニタ装置を備えた車両を示す模式的構成図、図７は本装置における制御を説明するためのフローチャートである。
［第１実施形態］
図１を参照すると、本発明の第１実施形態としてのノーズビューモニタ装置１を搭載した車両２が示されている。車両２は、車両の左右側方を撮像するノーズビューカメラ（撮像手段）３，車両２の走行速度信号を検出する車速センサ（旋回状態対応値検出手段）４，ノーズビューカメラ３の作動スイッチとしてのノーズカメラスイッチ６，乗員によるステアリングホイールの操舵角（又は操舵輪の舵角）信号を検出する操舵角センサ（旋回方向検出手段・旋回状態対応値検出手段）７，電子制御ユニット（ＥＣＵ）１０及びノーズビューカメラ３によって撮像された画像を表示するためのモニタ（報知手段）５を備えて構成されている。
ノーズビューカメラ３は、車両２のノーズ（前端）部の左右端部に一対設けられており、車両の左側方と右側方とを同時に撮像することができるようになっている。
また、モニタ５は、ノーズビューカメラ３で撮像された左右側方の画像を表示するようになっている。本実施形態では、図２に示すように、車両２の右側方の画像をモニタ画面における右半分の領域に表示すると同時に、車両２の左側方の画像をモニタ画面における左半分の領域に表示するようになっている。これにより、乗員は車両の左右側方を同時に確認することができるようになっている。
また、モニタ５は、ノーズビューカメラ３で撮像された左右側方の画像を表示するようになっている。本実施形態では、図２に示すように、車両２の右側方の画像をモニタ画面における右半分の領域に表示すると同時に、車両２の左側方の画像をモニタ画面における左半分の領域に表示するようになっている。これにより、乗員は車両の左右側方を同時に確認することができるようになっている。
左右各々のノーズビューカメラ３によって撮像される領域は、本実施形態においては、図５に示すように、車両２の車幅方向の左右側方であって、車両２の進行方向に対して垂直な方向よりも僅かに前方を指向するようになっている。これにより、車両２の左側方の画像内においては、車両の進行方向が画像上の右側方向となり、一方、右側方の画像内においては、車両の進行方向が画像上の左側方向となる。また、図２に示すように、左側方の画像内において車両２の前方道路を車両２に接近しつつある車両２１は、画像上では右方向へ移動しながら拡大するように表示されることになり、一方、右側方の画像内において車両２の前方道路を車両２に接近しつつある車両２２は、画像上では左方向へ移動しながら拡大するように表示されることになる。
車速センサ４は、車輪の回転数情報を検出し、その回転数情報をＥＣＵ１０へ入力するようになっている。また同様に、操舵角センサ７は、乗員によって操舵されたステアリングホイールの操舵角情報を検出し、それをＥＣＵ１０へ入力するようになっている。なお、ＥＣＵ１０は、入力された車輪の回転数情報に基づいて車両２の走行速度Ｖを算出するとともに、操舵角情報に基づいて操舵輪の舵角θを算出するようになっている。そして、走行速度Ｖと舵角θとから、車両の旋回速度（例えば、旋回角速度）を算出するようになっている。
また、ＥＣＵ１０は、操舵輪の舵角θの符号に基づいて、車両２の旋回方向が右側方向であるか左側方向であるかを判定できるようになっている。例えば、ステアリングホイールが操舵されていないニュートラルの状態を基準にして、舵角θは右回転方向が正，左回転方向が負の値として算出されるようになっている。
ノーズカメラスイッチ６は、ノーズビューカメラ３の作動のオン／オフを切り換えるスイッチになっており、ノーズカメラスイッチ６がオフに操作されているときにはノーズビューカメラ３が作動しないようになっている。また、ノーズカメラスイッチ６がオンに操作されているときには、所定の条件（ノーズビューカメラ作動条件）が成立するとノーズビューカメラ３が作動するようになっている。
ノーズカメラスイッチ６は、ノーズビューカメラ３の作動のオン／オフを切り換えるスイッチになっており、ノーズカメラスイッチ６がオフに操作されているときにはノーズビューカメラ３が作動しないようになっている。また、ノーズカメラスイッチ６がオンに操作されているときには、所定の条件（ノーズビューカメラ作動条件）が成立するとノーズビューカメラ３が作動するようになっている。
ノーズビューカメラ作動条件とは、例えば、ＥＣＵ１０で算出された車両２の走行速度Ｖが予め設定された所定速度Ｖ0（低速の状態に対応する過度に大きくない速度であり、例えば５ｋｍ／ｈ）よりも小さく、かつ、操舵輪の舵角θが予め設定された所定角度θ0よりも小さい（すなわち、ハンドルの操舵状態が過度に大きく操舵されていない）こと、となっている。
なお、モニタ５は、ノーズビューカメラ３が作動しているときにはその撮像画像を表示するが、ノーズビューカメラ３が作動していないときには別の画像、例えばテレビ画像やカーナビゲーション画像を表示する、一般的な車載モニタとして機能するようになっている。
通常の走行時において、テレビ画像やカーナビゲーション画像を継続的に表示させた状態で、ノーズカメラスイッチ６がオンになっていれば、車両２が交差点やＴ字路へ進入しようとするとき、舵角θが所定角度θ0よりも小さく、且つ、所定速度Ｖ0より車両の速度が減速した時点で、自動的にノーズビューカメラ３が作動し、左右側方の画像がモニタ５に表示されるようになっている。つまり、乗員が意識しなくても、自動的に画像がテレビ画像やカーナビゲーション画像から左右側方の画像に切り換わるようになっている。また、舵角θが所定角度θ0以上のときや走行速度Ｖが所定速度Ｖ0以上のときには、ノーズビューカメラ３が作動せず、一般的な車載モニタとしてテレビ画像やカーナビゲーション画像の表示を継続するようになっている。
通常の走行時において、テレビ画像やカーナビゲーション画像を継続的に表示させた状態で、ノーズカメラスイッチ６がオンになっていれば、車両２が交差点やＴ字路へ進入しようとするとき、舵角θが所定角度θ0よりも小さく、且つ、所定速度Ｖ0より車両の速度が減速した時点で、自動的にノーズビューカメラ３が作動し、左右側方の画像がモニタ５に表示されるようになっている。つまり、乗員が意識しなくても、自動的に画像がテレビ画像やカーナビゲーション画像から左右側方の画像に切り換わるようになっている。また、舵角θが所定角度θ0以上のときや走行速度Ｖが所定速度Ｖ0以上のときには、ノーズビューカメラ３が作動せず、一般的な車載モニタとしてテレビ画像やカーナビゲーション画像の表示を継続するようになっている。
なお、所定速度Ｖ0及び所定角度θ0の大きさは、ノーズビューカメラ３の撮像画像における背景部分のフローベクトルの大きさとの兼ね合いで設定されるものであり、これについては後述する。
また、ノーズカメラスイッチ６をオフにしておけば、上述のノーズビューカメラ作動条件が成立したとしても、ノーズビューカメラ３を作動させないことができるようになっている。
また、ノーズカメラスイッチ６をオフにしておけば、上述のノーズビューカメラ作動条件が成立したとしても、ノーズビューカメラ３を作動させないことができるようになっている。
ＥＣＵ１０は、ノーズビューカメラ３で撮像された左右側方の各々の撮像画像のオプティカルフローを算出して、自車両へ接近する移動物体を検出することができるようになっている。まず、ＥＣＵ１０は、撮像画像のオプティカルフローベクトルを算出するオプティカルフロー算出部（オプティカルフローベクトル算出手段）１１と、車両２の旋回によって発生した旋回オプティカルフローベクトルを算出する旋回フローベクトル設定部（旋回オプティカルフローベクトル設定手段）１４と、オプティカルフロー算出部１１で算出されたオプティカルフローベクトルから、旋回フローベクトル設定部１４で設定された旋回オプティカルフローベクトルを減算して補正するフローベクトル補正部（オプティカルフローベクトル補正手段）１５と、フローベクトル補正部１５で補正されたオプティカルフローベクトルに基づいて自車両への接近物体を検出する接近物体検出部（接近物体検出手段）１２と、これらの算出，検出結果を出力する出力部１３とを備えて構成されている。なお、以下の説明では、各オプティカルフローベクトルについては、単にフローベクトルと呼び、これらのフローベクトルの集合体については、オプティカルフローと呼ぶことにする。
オプティカルフロー算出部１１は、ノーズビューカメラ３が撮像した左右側方の各々の画像のオプティカルフローを個別に算出することができるようになっており、左側方の画像（すなわち、図２における左半分の領域の画像）のオプティカルフローは左側方領域オプティカルフロー算出部１１Ａにおいて、右側方の画像（すなわち、図２における右半分の領域の画像）のオプティカルフローは右側方領域オプティカルフロー算出部１Ｂにおいて、それぞれ算出されるようになっている。なお、オプティカルフローの算出については、ノーズビューカメラ３が撮像した画像のうち連続する２枚の画像間において、同一の対象物に対応する点を特徴点として算出（演算処理によって検出）し、この特徴点の移動方向と移動距離とをフローベクトルとして算出する方法が用いられるようになっている。また、撮像した画像内の全領域においてフローベクトルが算出されて、画像内の移動物体の位置，移動方向等の情報を認識できるようになっている。
旋回フローベクトル設定部１４は、操舵輪の舵角θの符号に基づいて判定された車両２の旋回方向と、車両２の走行速度Ｖ及び操舵輪の舵角θとに基づき、車両の左右両側方の画像の各々において該車両の旋回によって発生した旋回フローベクトル（旋回オプティカルフローベクトル）を設定するようになっている。ここで設定される旋回フローベクトルは、車両２の旋回によるノーズビューカメラ３の撮像画像全体の移動によって発生するフローベクトルであり、例えば図３（ｅ）に示すように、画像の背景部分のフローベクトル（白抜き矢印）に相当するものである。
まず、ここで設定される旋回フローベクトルは、ノーズビューカメラ３の撮像画像において、オプティカルフロー算出部１１で算出された特徴点についてのみ設定されるようになっている。
次に、旋回フローベクトルの方向は、車両２の旋回方向の外側方向〔ここでは、画像上における水平方向（真横方向）〕に設定される。例えば、舵角θの符号が正のときには、車両２が右側へ旋回しているので、旋回フローベクトルの方向が撮像画像における左方向（左水平方向）に設定され、また、舵角θの符号が負のときには、車両２が左側へ旋回しているので、旋回フローベクトルの方向が撮像画像における右方向（右水平方向）に設定される。
次に、旋回フローベクトルの方向は、車両２の旋回方向の外側方向〔ここでは、画像上における水平方向（真横方向）〕に設定される。例えば、舵角θの符号が正のときには、車両２が右側へ旋回しているので、旋回フローベクトルの方向が撮像画像における左方向（左水平方向）に設定され、また、舵角θの符号が負のときには、車両２が左側へ旋回しているので、旋回フローベクトルの方向が撮像画像における右方向（右水平方向）に設定される。
また、旋回フローベクトルの大きさは、ノーズビューカメラ３の撮像画像の左側方領域及び右側方領域の各々に対して、走行速度Ｖと舵角θとから算出される車両の旋回速度（旋回角速度）に基づく一意的な設定がなされるようになっている。例えば、撮像画像の左側方領域においては、車両２の旋回によって発生する背景部分のフローベクトルが全て同じ大きさのベクトルとして設定され、そのベクトルの大きさは車両２の旋回速度に１対１に対応するように設定されるということである。
つまり、車両２の旋回によって発生する背景部分のフローベクトル（旋回フローベクトル）を正確に演算しようとすると、背景を構成するそれぞれの静止対象物までの距離やノーズビューカメラ３の撮像方向に対する角度を検出した上で、それぞれの静止対象物の旋回フローベクトルを演算しなければならない。しかし、本実施形態においては、上述のようなシンプルなロジックで旋回フローベクトルが設定されるようになっているのである。したがって、本実施形態において旋回フローベクトル設定部１４は、車両２の舵角θ及び走行速度Ｖさえ入力されれば、撮像画像の左側方領域及び右側方領域の各々に対して、背景に相当する部分の全ての旋回フローベクトルを一括して設定することができるようになっている。
フローベクトル補正部１５は、オプティカルフロー算出部１１で算出されたオプティカルフローから旋回フローベクトル設定部１４で算出された旋回フローベクトルを減算して、補正フローベクトル（以下、フローベクトル補正部１５による補正の結果算出されたフローベクトルのことを、補正フローベクトルという）を算出して設定するようになっている。つまりここでは、ノーズビューカメラ３の撮像画像において検出されたオプティカルフローのうち、背景部分に相当する旋回フローベクトルを除去するように機能している。
接近物体検出部１２は、フローベクトル補正部１５で設定された補正フローベクトルに基づいて、車両２へ接近する物体を検出するようになっている。具体的には、左右側方の画像中において、車両２の進行方向へのベクトル成分を有するフローベクトルに基づいて、自車両２への接近物体を検出するようになっている。例えば、左側方の画像では、画像上で右方向のベクトル成分を有する補正フローベクトルを抽出し、一方、右側方の画像では、画像上で左方向のベクトル成分を有する補正フローベクトルを抽出する。そして、抽出された補正フローベクトルが、車両２に接近する接近物体（すなわち、撮像画像においてフローベクトルを有するあらゆる移動物体のうち、背景ではなく、自車両２に接近する物体）によるフローベクトルであると判断し、接近物体を認識するようになっている。
つまり、単にオプティカルフローを利用して移動物体を認識しただけでは、その移動物体が自車両２に接近しているかどうかを判断することが困難であるが、本実施形態においては、接近物体検出部１２が、オプティカルフロー算出部１１で認識された移動物体のうち、自車両２へ接近する物体のフローベクトルを、それが存在する領域とその方向とに基づいて抽出，選別して認識することで、自車両２に対して接近している、ひいては、自車両２にとって危険である可能性のある移動物体を認識するようになっているのである。
なお、本実施形態においては、旋回フローベクトルを設定する旋回フローベクトル設定部１４における設定誤差を吸収するために、上述のロジックによって検出されたすべての補正フローベクトルを自車両２に接近する物体によるフローベクトルであると判断するのではなく、その補正フローベクトルの大きさが予め設定された所定量以上のものに対して、自車両２に接近する物体によるフローベクトルであると判断するようになっている。
また、出力部１３は、接近物体検出部１２が自車両２への接近物体を検出したときに、モニタ５上に接近物体が検出されたことを表示するとともに、音声等によって乗員へ報知するようになっている。ここで、出力部１３は、接近物体検出部１２で検出された車両２の進行方向側へのベクトル成分を有する補正フローベクトルの大きさと数とに基づいて、複数の報知態様を切り換えて、画像を表示するとともに接近物体の検出を報知するようになっている。
つまり、車両２の進行方向側へのベクトル成分を有する補正フローベクトルの大きさに着目すれば、その補正フローベクトルが大きい場合には、たとえその補正フローベクトルを発生させている接近物体が自車両２から離れた距離にあったとしても、高速で自車両２に接近していることになるため自車両２にとって危険である可能性が高く、一方、その移動物体がたとえ高速で自車両２に接近していなくても、自車両２にとって近い距離にあれば、その移動物体が危険である可能性が高いことに変わりはなく、この場合にも車両２の進行方向側へのベクトル成分を有する補正フローベクトルが大きくなる。
したがって、車両２の進行方向側へのベクトル成分を有する補正フローベクトルの大きさの増大に伴って、接近物体の車両２に対する危険度が上昇するものとして、その危険度に応じた複数の報知モードを切り換えて、画面表示，報知を実施するようになっているのである。
また同様に、自車両２への接近物体が多い、又は、自車両２と接近物体との距離が近いときには、車両２の進行方向側へのベクトル成分を有する補正フローベクトルの数が増大することになるため、補正フローベクトルの数の増大に伴って、接近物体の車両２に対する危険度が上昇するものとして、その危険度に応じた複数の報知モードを切り換えて、画面表示，報知を実施する。
また同様に、自車両２への接近物体が多い、又は、自車両２と接近物体との距離が近いときには、車両２の進行方向側へのベクトル成分を有する補正フローベクトルの数が増大することになるため、補正フローベクトルの数の増大に伴って、接近物体の車両２に対する危険度が上昇するものとして、その危険度に応じた複数の報知モードを切り換えて、画面表示，報知を実施する。
本実施形態においては、出力部１３は、「危険度小報知モード」，「危険度大報知モード」といった複数の報知モードを備えており、接近物体検出部１２が検出した接近物体のフローベクトルの大きさと数とに基づいて、これらの報知モードを切り換えるように構成されている。
すなわち、車両２の進行方向側へのベクトル成分を有する補正フローベクトルについて、その大きさが予め設定された所定の大きさよりも大きなものが検出された場合、又は、予め設定された所定数以上検出された場合には、出力部１３が「危険度大報知モード」に設定され、それ以外の場合には、出力部１３が「危険度小報知モード」に設定される。
すなわち、車両２の進行方向側へのベクトル成分を有する補正フローベクトルについて、その大きさが予め設定された所定の大きさよりも大きなものが検出された場合、又は、予め設定された所定数以上検出された場合には、出力部１３が「危険度大報知モード」に設定され、それ以外の場合には、出力部１３が「危険度小報知モード」に設定される。
「危険度小報知モード」において、出力部１３は、接近物体による補正フローベクトルのひとつを矢印で画面表示し、音声によって接近物体の検出を報知する（例えば、「周囲に注意してください」とアナウンスする等）ようになっている。
また、「危険度大報知モード」において、出力部１３は、接近物体検出部１２が検出した接近物体に対応する画面上の領域を強調表示（例えば、輝度や色調を変化させる等）するとともに、接近物体による全ての補正フローベクトルを矢印で画面表示し、さらに音声によって危険度が高いことを乗員へ報知する（例えば、「接近している車両がありますので注意してください」とアナウンスする等）ようになっている。
なお、出力部１３は、ノーズビューカメラ作動条件が成立しなくなった（Ｖ≧Ｖ0またはθ≧θ0）ときにも、その旨を乗員へ報知するようになっている。
また、「危険度大報知モード」において、出力部１３は、接近物体検出部１２が検出した接近物体に対応する画面上の領域を強調表示（例えば、輝度や色調を変化させる等）するとともに、接近物体による全ての補正フローベクトルを矢印で画面表示し、さらに音声によって危険度が高いことを乗員へ報知する（例えば、「接近している車両がありますので注意してください」とアナウンスする等）ようになっている。
なお、出力部１３は、ノーズビューカメラ作動条件が成立しなくなった（Ｖ≧Ｖ0またはθ≧θ0）ときにも、その旨を乗員へ報知するようになっている。
本第１実施形態にかかるノーズビューモニタ装置１は上述のように構成され、図４に示すフローチャートに従って、以下のように制御が行われる。なおこのフローは、常時ＥＣＵ１０において所定のサイクル（例えば、ノーズビューカメラ３の撮像サイクルに同期するサイクル）毎に実行されている。
ステップＡ１０からステップＡ３０は、オプティカルフローを算出するための前提として、ノーズビューカメラ３が作動しているか否かを判定するフローとなっている。
まず、ステップＡ１０では、ノーズカメラスイッチ６がオンになっているか否かが判定される。オンになっていればステップＡ２０へ進み、オフになっていればこのフローを終了する。次に、ステップＡ２０では、車両の走行速度Ｖが所定速度Ｖ0よりも小さいか否かが判定され、Ｖ＜Ｖ0の場合にはステップＡ３０へ進み、Ｖ≧Ｖ0の場合にはこのフローを終了する。続いて、ステップＡ３０では、操舵輪の舵角θが所定角度θ0よりも小さいか否かが判定され、θ＜θ0の場合にはステップＡ４０へ進み、θ≧θ0の場合にはこのフローを終了する。
まず、ステップＡ１０では、ノーズカメラスイッチ６がオンになっているか否かが判定される。オンになっていればステップＡ２０へ進み、オフになっていればこのフローを終了する。次に、ステップＡ２０では、車両の走行速度Ｖが所定速度Ｖ0よりも小さいか否かが判定され、Ｖ＜Ｖ0の場合にはステップＡ３０へ進み、Ｖ≧Ｖ0の場合にはこのフローを終了する。続いて、ステップＡ３０では、操舵輪の舵角θが所定角度θ0よりも小さいか否かが判定され、θ＜θ0の場合にはステップＡ４０へ進み、θ≧θ0の場合にはこのフローを終了する。
つまり、ノーズビューカメラ３が作動していない場合にはステップＡ４０以降へは進まずにフローを終了し、ノーズビューカメラ３が作動して初めてステップＡ４０以降へ進むことになる。
ステップＡ４０では、オプティカルフロー算出部１１において、ノーズビューカメラ３が撮像した左右側方の画像における特徴点を個別に算出し、ステップＡ５０で全ての特徴点についてのフローベクトルを算出する。つまりここでは、左右側方のの各々の画像内における移動物体が認識されることになる。
ステップＡ４０では、オプティカルフロー算出部１１において、ノーズビューカメラ３が撮像した左右側方の画像における特徴点を個別に算出し、ステップＡ５０で全ての特徴点についてのフローベクトルを算出する。つまりここでは、左右側方のの各々の画像内における移動物体が認識されることになる。
続いて、ステップＡ６０では、旋回フローベクトル設定部１４において、操舵輪の舵角θ及び走行速度Ｖに基づき、旋回フローベクトルを設定する。ここで設定される旋回フローベクトルは、ステップＡ５０で算出された特徴点のみについてのフローベクトルに限られている。そして、ステップＡ７０では、フローベクトル補正部１５において、ステップＡ５０で算出されたフローベクトルからステップＡ６０で設定された旋回フローベクトルを減算して、補正フローベクトルを算出する。つまり、ここでは、ステップＡ５０で算出された全ての特徴点についての補正フローベクトルが算出されていることになる。
続いてステップＡ８０では、接近物体検出部１２において、ステップＡ７０で算出された全ての補正フローベクトルについて、車両２の進行方向側へのベクトル成分を有するか否かが判定される。車両２の左側方の画像上の補正フローベクトルに対しては、画像上で右方向のベクトル成分を有するか否かが判定され、一方、車両２の右側方の画像上の補正フローベクトルに対しては、画像上で左方向のベクトル成分を有するか否かが判定される。つまり、ここでは、ステップＡ４０で認識された移動物体のうち、車両２に接近する移動物体（接近物体）を他と区別して認識することになる。
ここで、車両２の進行方向側へのベクトル成分を有する補正フローベクトルを検出しなかった場合（または、検出した補正フローベクトルの大きさが所定量未満であった場合）には、接近物体がない（あるいは検出誤差範囲の移動物体である）ということになるため、このフローを終了するが、上記のフローベクトルを検出した場合（かつ、検出した補正フローベクトルの大きさが所定量以上であった場合）には、ステップＡ９０へ進む。
ステップＡ９０では、出力部１３において、接近物体を認識したことがモニタ５に表示されるとともに、音声によって乗員へ報知される。ここで、出力部１３における乗員への報知は、ステップＡ７０で検出された車両２の進行方向側へのベクトル成分を有する補正フローベクトルの大きさと数に応じて、報知モードが切り換えられる。
ステップＡ６０で検出された接近物体の補正フローベクトルのうち、その大きさが予め設定された所定の大きさよりも大きいものが検出された場合、又は、予め設定された所定数以上の接近物体の補正フローベクトルが検出された場合には、出力部１３が「危険度大報知モード」に設定され、接近物体に対応する画面上の領域が強調表示されるとともに、接近物体による全ての補正フローベクトルが矢印で画面表示され、さらに音声によって危険度が高いことが、乗員へ報知され、このフローを終了する。
ステップＡ６０で検出された接近物体の補正フローベクトルのうち、その大きさが予め設定された所定の大きさよりも大きいものが検出された場合、又は、予め設定された所定数以上の接近物体の補正フローベクトルが検出された場合には、出力部１３が「危険度大報知モード」に設定され、接近物体に対応する画面上の領域が強調表示されるとともに、接近物体による全ての補正フローベクトルが矢印で画面表示され、さらに音声によって危険度が高いことが、乗員へ報知され、このフローを終了する。
また、ステップＡ６０で検出された接近物体の補正フローベクトルのうち、その大きさが予め設定された所定の大きさよりも大きいものが検出されず、かつ、予め設定された所定数以上の接近物体の補正フローベクトルが検出されなかった場合には、出力部１３が「危険度小報知モード」に設定され、接近物体による補正フローベクトルのひとつが矢印で画面表示されて、音声によって接近物体の検出が乗員へ報知され、このフローを終了する。
以上のような制御により、具体的には以下のような作用・効果を奏する。
図５に示すようなＴ字路において、車両２が左右確認しながら幹線道路へ進入しようとする場合、まず車両２のノーズカメラスイッチ６がオンに操作されていると、車両２が幹線道路の手前で走行速度を所定速度Ｖ0よりも小さくしたときに、自動的にノーズビューカメラ３が作動し、左右側方の画像がモニタ５に表示される。これにより、乗員にモニタ５の画像の切り換えを意識させることなく、自動的に左右側方の画像をモニタ５へ表示させることができる。また、ノーズビューカメラ３が作動すると、ＥＣＵ１０において、撮像した画像におけるオプティカルフローの算出を開始する。
図５に示すようなＴ字路において、車両２が左右確認しながら幹線道路へ進入しようとする場合、まず車両２のノーズカメラスイッチ６がオンに操作されていると、車両２が幹線道路の手前で走行速度を所定速度Ｖ0よりも小さくしたときに、自動的にノーズビューカメラ３が作動し、左右側方の画像がモニタ５に表示される。これにより、乗員にモニタ５の画像の切り換えを意識させることなく、自動的に左右側方の画像をモニタ５へ表示させることができる。また、ノーズビューカメラ３が作動すると、ＥＣＵ１０において、撮像した画像におけるオプティカルフローの算出を開始する。
［停止時］
ここで、車両２が図５に示す位置にステアリングがニュートラルの状態で停止している場合には、図３（ａ）に示すように、ノーズビューカメラ３の位置が固定されているため、撮像した画像中において背景部分（画像上において車両２１，２２の背景となっている部分であり、ここでは、道路や建物，ガードレール，空といった移動しない対象を指す）にはフローベクトルが発生せず、車両２に接近する接近物体としての車両２１，２２によるフローベクトル（図３（ａ）中における黒矢印）のみが発生することになる。なお、このとき、舵角θと走行速度Ｖとから算出される旋回速度は０であり車両２は旋回していないため、旋回フローベクトルの大きさが０に設定され、車両２に接近する接近物体としての車両２１，２２によるフローベクトルがそのまま補正フローベクトルとなる。
ここで、車両２が図５に示す位置にステアリングがニュートラルの状態で停止している場合には、図３（ａ）に示すように、ノーズビューカメラ３の位置が固定されているため、撮像した画像中において背景部分（画像上において車両２１，２２の背景となっている部分であり、ここでは、道路や建物，ガードレール，空といった移動しない対象を指す）にはフローベクトルが発生せず、車両２に接近する接近物体としての車両２１，２２によるフローベクトル（図３（ａ）中における黒矢印）のみが発生することになる。なお、このとき、舵角θと走行速度Ｖとから算出される旋回速度は０であり車両２は旋回していないため、旋回フローベクトルの大きさが０に設定され、車両２に接近する接近物体としての車両２１，２２によるフローベクトルがそのまま補正フローベクトルとなる。
このとき、補正フローベクトル（つまり、車両２１，２２によるフローベクトル）の方向は、車両２１は左側方の画像内において右方向へのベクトル成分を有し、すなわち、画像内における車両２の進行方向へのベクトル成分を持つことになる。一方、車両２２は、右側方の画面内において左方向へのベクトル成分を有し、画像内における車両２の進行方向へのベクトル成分を持つことになる。
したがって、接近物体検出部１２において、左右側方の画像中において、車両の進行方向側へのベクトル成分を有するフローベクトルに基づいて、接近物体としての車両２１，２２を検出することができる。
したがって、接近物体検出部１２において、左右側方の画像中において、車両の進行方向側へのベクトル成分を有するフローベクトルに基づいて、接近物体としての車両２１，２２を検出することができる。
［旋回時］
また、車両２が図５に示す位置から低速（走行速度Ｖ＜Ｖ0）で右旋回している場合、つまり、乗員が左右確認を行いながらゆっくりと車両２を前進させつつ、進行したい右方向へ操舵している場合には、図３（ｄ）に示すように、ノーズビューカメラ３の撮像位置の移動によって、撮像された画像中において背景部分にもフローベクトル（図３（ｄ）中における白抜き矢印）が発生することになる。そして、車両２１，２２によるフローベクトルは、車両２が停止している場合に発生するであろうフローベクトル（すなわち、図３（ａ）に示された黒矢印のフローベクトル）と、ノーズビューカメラ３の位置移動によって発生する背景部分のフローベクトル（白抜き矢印のフローベクトル）との和としてのフローベクトル（図３（ｄ）中における黒矢印）が発生することになる。また、背景部分のフローベクトルは、車両２が右旋回することによって、画像上において車両２の左方向へのベクトル成分を有するフローベクトルとして発生することになる。
また、車両２が図５に示す位置から低速（走行速度Ｖ＜Ｖ0）で右旋回している場合、つまり、乗員が左右確認を行いながらゆっくりと車両２を前進させつつ、進行したい右方向へ操舵している場合には、図３（ｄ）に示すように、ノーズビューカメラ３の撮像位置の移動によって、撮像された画像中において背景部分にもフローベクトル（図３（ｄ）中における白抜き矢印）が発生することになる。そして、車両２１，２２によるフローベクトルは、車両２が停止している場合に発生するであろうフローベクトル（すなわち、図３（ａ）に示された黒矢印のフローベクトル）と、ノーズビューカメラ３の位置移動によって発生する背景部分のフローベクトル（白抜き矢印のフローベクトル）との和としてのフローベクトル（図３（ｄ）中における黒矢印）が発生することになる。また、背景部分のフローベクトルは、車両２が右旋回することによって、画像上において車両２の左方向へのベクトル成分を有するフローベクトルとして発生することになる。
このとき、車両２は右旋回しているため、旋回フローベクトル設定部１４によって、旋回フローベクトルの方向が画像上において左方向に設定されるとともに、撮像画像の左側方領域及び右側方領域の各々に対して、舵角θと走行速度Ｖとから算出される旋回速度に基づいて旋回フローベクトルの大きさが一対一に設定される（図３（ｅ）における白矢印）。そして、フローベクトル補正部１５により、図３（ｄ）に示されたフローベクトルから図３（ｅ）に示された旋回フローベクトルが減算されて、図３（ｆ）に示された補正フローベクトルが算出される。
このとき、車両２１，２２による補正フローベクトルの方向は、図３（ｃ）に示すように、画像中において車両２の進行方向側のベクトル成分を有するベクトル方向であり、左側方領域においては右方向のベクトル成分を有する方向、右側方領域においては左方向のベクトル成分を有する方向である。換言すると、左側方領域においては鉛直方向から時計回りに１８０度の範囲の方向のフローベクトルであり、右側方領域においては鉛直方向から反時計回りに１８０度の範囲の方向のフローベクトルである。
したがって、接近物体検出部１２において、左右側方の画像中において、車両の進行方向側へのベクトル成分を有するフローベクトルに基づいて、接近物体としての車両２１，２２を検出することができる。また、接近物体を検出したことをＥＣＵ２の出力部１３がモニタ５に出力し、乗員への注意を促すことができる。
また、出力部１３は、接近物体の自車両２に対する危険度に応じて、報知モードを切り換えるようになっているため、危険度を乗員へ効果的に報知することができ、安全性を向上させることができる。
また、出力部１３は、接近物体の自車両２に対する危険度に応じて、報知モードを切り換えるようになっているため、危険度を乗員へ効果的に報知することができ、安全性を向上させることができる。
なお、車両２が過度に素早く前進した場合には、ノーズビューカメラ３の位置移動によって発生する背景部分のフローベクトルが大きくなるため、車両２１，２２によるフローベクトルの方向が、画像上において車両２の進行方向側へのベクトル成分を持たないようになることが考えられるが、本実施形態においては、車両２の走行速度Ｖが所定速度Ｖ0（０＜Ｖ0）以上になるとノーズビューカメラ３の作動が停止するようになっているため、接近物体を誤認識を防止することができる。また同様に、車両２の操舵角θが所定角度θ0（０＜θ0）以上になるとノーズビューカメラ３の作動が停止するようになっているため、旋回移動によって接近物体を誤認識することもない。そして結果的に、オプティカルフローによる接近物体の検出精度を向上させることができる。
また、ノーズビューカメラ作動条件が不成立となって、ノーズビューカメラ３の作動が停止した場合にも、出力部１３は、その旨を乗員へ報知するため、乗員への注意を促して、安全性を向上させることができる。
なお、所定速度Ｖ0及び所定角度θ0の大きさの設定については、実施の形態に応じて任意であるが、車両２が旋回したときに、その走行速度Ｖ，操舵角θが大きいほど、上記の背景部分のフローベクトルは大きくなる。したがって、接近速度の速い物体を検出するためには、所定速度Ｖ0及び所定角度θ0の設定値を大きくしても何ら問題はなく、一方、接近速度の遅い物体を検出するためには、車両２が停止していることが望ましいことになる。しかし、車両２が旋回している場合には、一般公道を走行する接近物体としての車両２１，２２によるフローベクトルと、背景部分に発生するフローベクトルとの方向性の相違を利用することによって（すなわち、上述のようなロジックによって）、接近物体としての車両２１，２２を背景部分と区別して認識できるのである。
なお、所定速度Ｖ0及び所定角度θ0の大きさの設定については、実施の形態に応じて任意であるが、車両２が旋回したときに、その走行速度Ｖ，操舵角θが大きいほど、上記の背景部分のフローベクトルは大きくなる。したがって、接近速度の速い物体を検出するためには、所定速度Ｖ0及び所定角度θ0の設定値を大きくしても何ら問題はなく、一方、接近速度の遅い物体を検出するためには、車両２が停止していることが望ましいことになる。しかし、車両２が旋回している場合には、一般公道を走行する接近物体としての車両２１，２２によるフローベクトルと、背景部分に発生するフローベクトルとの方向性の相違を利用することによって（すなわち、上述のようなロジックによって）、接近物体としての車両２１，２２を背景部分と区別して認識できるのである。
このように、第１実施形態としての本発明のノーズビューモニタ装置によれば、車両２が旋回している場合であっても、車両の旋回によって発生する旋回フローベクトルを、車両の旋回方向と旋回状態とに基づいて設定することができ、自車両の旋回に係る補正演算、すなわち、旋回フローベクトル設定部１４における演算を簡略化することができる。さらに、この旋回フローベクトルは、その方向が旋回方向の外側方向に設定され、その大きさが旋回状態に対応したパラメータ（舵角θ及び走行速度Ｖ）に基づいて一意的に設定されるため、演算処理がシンプルになり、演算量を削減することができる。
また、上述のようなロジックによって、車両旋回時の車両側方における接近物体を容易かつ確実に認識することができ、背景画像の移動を接近物体と誤認識することを防止でき、接近物体の検出精度を向上させることができる。さらに、オプティカルフローに基づいて認識される移動物体のうち、自車両２に対して危険である接近物体を認識するための構成もシンプルであり、接近物体の認識にかかるＥＣＵ１０の演算量をさらに減少させることができる。また、危険度に応じた報知により、安全性を向上させることができる。
なお、旋回フローベクトル設定部１４における旋回フローベクトルの設定方法について、上述の第１実施形態においては、旋回フローベクトルの方向が車両２の旋回方向の外側方向（画像上における真横方向）に、旋回フローベクトルの大きさが車両の旋回速度（旋回角速度）に基づく大きさに設定されるようになっているが、このような設定方法に限られたものではなく、例えば、車両の旋回速度の大きさに応じて旋回フローベクトルの方向を補正するように構成してもよいし、あるいは、撮像画像上における特徴点の位置に応じて所定のゲインが予め設定されるように構成し、車両の旋回速度に基づいて設定されるベクトルの大きさに所定のゲインを乗じたものを旋回フローベクトルとして設定してもよい。
また、上述の第１実施形態においては、撮像画像の左側方領域と右側方領域とで、各々同一の大きさの旋回フローベクトルが設定されるようになっているが、旋回フローベクトル設定部１４において設定される旋回フローベクトルの大きさは、撮像画像の左側方領域及び右側方領域の各々に対して、全て同一の大きさに設定されなくてもよく、例えば、撮像画像上の位置に応じて、走行速度Ｖと舵角θとから算出される車両の旋回速度（旋回角速度）に基づく設定がなされるように構成されてもよい。
また、上述の第１実施形態においては、車両２の旋回状態に対応したパラメータとして、車両２の走行速度Ｖと操舵輪の舵角θとが用いられているが、例えば車両２の旋回角速度を旋回状態に対応したパラメータとした構成にしてもよい。この場合、車両２の角速度を検出する角速度センサやジャイロ装置を備えた構成とする。また、これらのパラメータの組み合わせは任意である。
上述の通り、車両２の旋回方向と旋回状態に対応したパラメータに基づく設定方法は任意である。
また、上述の第１実施形態においては、接近物体検出部１２が補正フローベクトルのうち画像中における車両の進行方向へのベクトルを有するものに基づいて接近物体を検出するようになっているが、別のロジックによって接近物体を検出するような構成にしてもよく、接近物体の検出方法についても任意である。
また、上述の第１実施形態においては、接近物体検出部１２が補正フローベクトルのうち画像中における車両の進行方向へのベクトルを有するものに基づいて接近物体を検出するようになっているが、別のロジックによって接近物体を検出するような構成にしてもよく、接近物体の検出方法についても任意である。
［第２実施形態］
次に、本発明の第２実施形態としてのノーズビューモニタ装置２１を説明する。以下、第１実施形態と同一の構成要素については、説明を省略して同一の符号を付している。
図６には、本ノーズビューモニタ装置２１を搭載した車両２が示されており、車両２は、車両の左右側方を撮像するノーズビューカメラ（撮像手段）３，車両２の走行速度信号を検出する車速センサ４，ノーズビューカメラ３の作動スイッチとしてのノーズカメラスイッチ６，乗員によるステアリングホイールの操舵角（又は操舵輪の舵角）信号を検出する操舵角センサ（旋回方向検出手段）７，電子制御ユニット（ＥＣＵ）１０及びノーズビューカメラ３によって撮像された画像を表示するためのモニタ（報知手段）５を備えて構成されている。
次に、本発明の第２実施形態としてのノーズビューモニタ装置２１を説明する。以下、第１実施形態と同一の構成要素については、説明を省略して同一の符号を付している。
図６には、本ノーズビューモニタ装置２１を搭載した車両２が示されており、車両２は、車両の左右側方を撮像するノーズビューカメラ（撮像手段）３，車両２の走行速度信号を検出する車速センサ４，ノーズビューカメラ３の作動スイッチとしてのノーズカメラスイッチ６，乗員によるステアリングホイールの操舵角（又は操舵輪の舵角）信号を検出する操舵角センサ（旋回方向検出手段）７，電子制御ユニット（ＥＣＵ）１０及びノーズビューカメラ３によって撮像された画像を表示するためのモニタ（報知手段）５を備えて構成されている。
ＥＣＵ１０は、ノーズビューカメラ３で撮像された左右側方の各々の撮像画像のオプティカルフローを算出して、自車両へ接近する移動物体を検出することができるようになっており、撮像画像のオプティカルフローを算出するオプティカルフロー算出部（オプティカルフローベクトル算出手段）１１と、オプティカルフロー算出部１１で算出されたオプティカルフローベクトルに基づいて自車両への接近物体を検出する接近物体検出部（接近物体検出手段）３２と、これらの算出，検出結果を出力する出力部１３とを備えて構成されている。
接近物体検出部３２は、オプティカルフロー算出部１１で算出されたフローベクトルに基づいて、車両２へ接近する物体を検出するようになっている。ただし、ここで接近物体検出部１２は、操舵角センサによって検出された車両２の旋回方向の外側方向の側方領域におけるフローベクトルのみを参照して、接近する物体を検出するようになっている。
具体的には、まず、車両２の舵角θが正であり、予め設定された基準値θ1（ただし、θ1＜θ0）以上の場合（つまり、右方向への旋回速度がやや大きい場合）には、車両２の左側方領域におけるフローベクトルに基づいて、接近物体を検出する。つまり、左側方領域の画像上で、右方向のベクトル成分を有するフローベクトルを抽出し、その抽出されたフローベクトルが、車両２に接近する接近物体（すなわち、フローベクトルを有する移動物体のうち、自車両２に接近する物体）によるフローベクトルであると判断し、接近物体を認識する。このとき、車両２の右側方領域におけるフローベクトルを参照しない。つまり、右側方に関しては、接近物体の検出を行わない。
具体的には、まず、車両２の舵角θが正であり、予め設定された基準値θ1（ただし、θ1＜θ0）以上の場合（つまり、右方向への旋回速度がやや大きい場合）には、車両２の左側方領域におけるフローベクトルに基づいて、接近物体を検出する。つまり、左側方領域の画像上で、右方向のベクトル成分を有するフローベクトルを抽出し、その抽出されたフローベクトルが、車両２に接近する接近物体（すなわち、フローベクトルを有する移動物体のうち、自車両２に接近する物体）によるフローベクトルであると判断し、接近物体を認識する。このとき、車両２の右側方領域におけるフローベクトルを参照しない。つまり、右側方に関しては、接近物体の検出を行わない。
一方、車両２の舵角θが負であり、基準値−θ1以下の場合（つまり、左方向への旋回速度がやや大きい場合）には、車両２の右側方領域におけるフローベクトルに基づいて、接近物体を検出する。つまり、右側方領域の画像上で左方向のベクトル成分を有するフローベクトルを抽出し、その抽出されたフローベクトルが、車両２に接近する接近物体によるフローベクトルであると判断し、接近物体を認識する。このとき、車両２の左側方領域におけるフローベクトルを参照しない。つまり、左側方に関しては、接近物体の検出を行わない。
また、車両２の舵角θの大きさが基準値θ1未満の場合（つまり、旋回速度が小さい場合）には、車両２の左右両側方領域におけるフローベクトルに基づいて、接近物体を検出するようになっている。
このように接近物体検出部３２が構成されるのは、以下の理由による。すなわち、車両２の左右側方を撮像したノーズビュー画像から、オプティカルフローを利用して自車両２へ接近する車両等の移動物体を認識することを考えた場合、仮に、自車両２が停止した状態であれば、自車両２に対する相対位置を変化させない対象にはフローベクトルが発生しないため、フローベクトルが発生した位置が場所に移動物体が存在するということになり、フローベクトルの有無によって正確に移動物体を検出することができる。
このように接近物体検出部３２が構成されるのは、以下の理由による。すなわち、車両２の左右側方を撮像したノーズビュー画像から、オプティカルフローを利用して自車両２へ接近する車両等の移動物体を認識することを考えた場合、仮に、自車両２が停止した状態であれば、自車両２に対する相対位置を変化させない対象にはフローベクトルが発生しないため、フローベクトルが発生した位置が場所に移動物体が存在するということになり、フローベクトルの有無によって正確に移動物体を検出することができる。
しかし、車両２が旋回している場合、左右側方を撮像したノーズビュー画像は、そのアングル（構図）自体がともに旋回方向とは逆方向へ動いてしまう。例えば、車両２が右旋回している場合には、図３（ｄ）に示すように、ノーズビューカメラ３によって撮像された左右側方の画像がともに左方向へ動き、左方向を指向するフローベクトル（車両２の旋回によるフローベクトル、すなわち、図３（ｄ）における白矢印）が画面全体に検出されることになる。したがって、実際に車両２へ接近する車両等の移動物体が存在した場合、車両２の左側方画像においては、接近する車両によるフローベクトル（図３（ｄ）における左側方画像の黒矢印）と車両２の旋回によるフローベクトル（図３（ｄ）における左側方画像の白矢印）とは、ベクトルの方向性の相違に着目すれば、区別して認識することができるが、車両２の右側方画像においては、接近する車両によるフローベクトル（図３（ｄ）における右側方画像の黒矢印）と車両２の旋回によるフローベクトル（図３（ｄ）における右側方画像の白矢印）とは、ベクトルの方向が類似しており、区別して認識することが困難となる。そして、車両２の旋回舵角（又は、例えば旋回速度等）が大きいほど、車両２の旋回によるフローベクトルも大きくなり、上記の両ベクトルの方向の類似性が強くなって、両者を区別して認識することがより困難となる。
そこで、本第２実施形態においては、車両２が旋回しており、その旋回速度がやや大きいときには、接近物体検出部３２が旋回方向の外側方向の側方領域におけるフローベクトルのみを参照して接近物体を検出するように構成することで、ベクトルの方向性の相違に基づいて接近する車両によるフローベクトルと車両２の旋回によるフローベクトルとを区別して認識できるようにし、誤認識を低減させているのである。
本第２実施形態にかかるノーズビューモニタ装置２１は上述のように構成され、図４に示すフローチャートに従って、以下のように制御が行われる。なおこのフローは、常時ＥＣＵ１０において所定のサイクル（例えば、ノーズビューカメラ３の撮像サイクルに同期するサイクル）毎に実行されている。
ステップＢ１０からステップＢ３０は、オプティカルフローを算出するための前提として、ノーズビューカメラ３が作動しているか否かを判定するフローとなっている。
ステップＢ１０からステップＢ３０は、オプティカルフローを算出するための前提として、ノーズビューカメラ３が作動しているか否かを判定するフローとなっている。
まず、ステップＢ１０では、ノーズカメラスイッチ６がオンになっているか否かが判定される。オンになっていればステップＢ２０へ進み、オフになっていればこのフローを終了する。次に、ステップＢ２０では、車両の走行速度Ｖが所定速度Ｖ0よりも小さいか否かが判定され、Ｖ＜Ｖ0の場合にはステップＢ３０へ進み、Ｖ≧Ｖ0の場合にはこのフローを終了する。続いて、ステップＢ３０では、操舵輪の舵角θが所定角度θ0よりも小さいか否かが判定され、θ＜θ0の場合にはステップＢ４０へ進み、θ≧θ0の場合にはこのフローを終了する。
つまり、ノーズビューカメラ３が作動していない場合にはステップＢ４０以降へは進まずにフローを終了し、ノーズビューカメラ３が作動して初めてステップＢ４０以降へ進むことになる。
ステップＢ４０では、オプティカルフロー算出部１１において、ノーズビューカメラ３が撮像した左右側方の画像における特徴点を個別に算出し、ステップＢ５０で全ての特徴点についてのフローベクトルを算出する。つまりここでは、左右側方のの各々の画像内における移動物体が認識されることになる。
ステップＢ４０では、オプティカルフロー算出部１１において、ノーズビューカメラ３が撮像した左右側方の画像における特徴点を個別に算出し、ステップＢ５０で全ての特徴点についてのフローベクトルを算出する。つまりここでは、左右側方のの各々の画像内における移動物体が認識されることになる。
続いて、ステップＢ６０では、舵角θの大きさが、所定値θ0より小さい値として設定された基準値θ1（０＜θ1＜θ0）よりも小さいか否かが判定される。つまりここでは、舵角θの大きさによって、車両２の旋回によるフローベクトルと接近する車両によるフローベクトルとの類似の度合いを判定していることになる。
ここで、｜θ｜＜θ1の場合には、操舵角が小さいものとしてステップＢ７０へ進んで、接近物体検出部３２が、オプティカルフロー算出部１１で算出された左右両側方の画像のフローベクトルを抽出し、ステップＢ１１０へ進む。また、｜θ｜＜θ1の場合には、操舵角が左右いずれかの方向に対してやや大きいものとしてステップＢ８０の判定フローへ進む。
ここで、｜θ｜＜θ1の場合には、操舵角が小さいものとしてステップＢ７０へ進んで、接近物体検出部３２が、オプティカルフロー算出部１１で算出された左右両側方の画像のフローベクトルを抽出し、ステップＢ１１０へ進む。また、｜θ｜＜θ1の場合には、操舵角が左右いずれかの方向に対してやや大きいものとしてステップＢ８０の判定フローへ進む。
ステップＢ８０では、舵角θが基準値θ1以上であるか否かが判定される。ここで、θ≧θ1の場合には、操舵角が右方向へやや大きい（すなわち、車両２の右旋回が大きい）ものとしてステップＢ９０へ進んで、接近物体検出部３２が、オプティカルフロー算出部１１で算出された画像のフローベクトルのうち、左側方の画像のフローベクトルのみを抽出し、ステップＢ１１０へ進む。また、θ＜θ1の場合には、ステップＢ３０，Ｂ６０及びＢ８０の条件からθ≦−θ1であることになるから、操舵角が左方向へやや大きい（すなわち、車両２の左旋回が大きい）ものとしてステップＢ１００へ進んで、接近物体検出部３２が、オプティカルフロー算出部１１で算出された画像のフローベクトルのうち、右側方の画像のフローベクトルのみを抽出し、ステップＢ１１０へ進む。
ステップＢ１１０では、ステップＢ７０又はＢ９０又はＢ１００において抽出されたフローベクトルについて、車両２の進行方向側へのベクトル成分を有するか否かが判定される。ここで、車両２の左側方の画像上のフローベクトルに対しては、画像上で右方向のベクトル成分を有するか否かが判定され、一方、車両２の右側方の画像上のフローベクトルに対しては、画像上で左方向のベクトル成分を有するか否かが判定される。つまり、ここでは、ステップＢ５０で認識された移動物体のうち、車両２に接近する移動物体（接近物体）を他と区別して認識することになる。
ここで、車両２の進行方向側へのベクトル成分を有するフローベクトルを検出しなかった場合には、接近物体がないということになるため、このフローを終了するが、上記のフローベクトルを検出した場合には、ステップＢ１２０へ進む。
ステップＢ１２０では、出力部１３において、接近物体を認識したことがモニタ５に表示されるとともに、音声によって乗員へ報知される。ここで、出力部１３における乗員への報知は、ステップＢ１１０で検出された車両２の進行方向側へのベクトル成分を有するフローベクトルの大きさと数に応じて、報知モードが切り換えられる。
ステップＢ１２０では、出力部１３において、接近物体を認識したことがモニタ５に表示されるとともに、音声によって乗員へ報知される。ここで、出力部１３における乗員への報知は、ステップＢ１１０で検出された車両２の進行方向側へのベクトル成分を有するフローベクトルの大きさと数に応じて、報知モードが切り換えられる。
ステップＢ１１０で検出された接近物体のフローベクトルのうち、その大きさが予め設定された所定の大きさよりも大きいものが検出された場合、又は、予め設定された所定数以上の接近物体のフローベクトルが検出された場合には、出力部１３が「危険度大報知モード」に設定され、接近物体に対応する画面上の領域が強調表示されるとともに、接近物体による全てのフローベクトルが矢印で画面表示され、さらに音声によって危険度が高いことが、乗員へ報知される。
また、ステップＢ１１０で検出された接近物体のフローベクトルのうち、その大きさが予め設定された所定の大きさよりも大きいものが検出されず、かつ、予め設定された所定数以上の接近物体のフローベクトルが検出されなかった場合には、出力部１３が「危険度小報知モード」に設定され、接近物体によるフローベクトルのひとつが矢印で画面表示されて、音声によって接近物体の検出が乗員へ報知される。
以上のような制御により、具体的には以下のような作用・効果を奏する。
図５に示すようなＴ字路において、車両２が左右確認しながら幹線道路へ進入しようとする場合、まず車両２のノーズカメラスイッチ６がオンに操作されていると、車両２が幹線道路の手前で走行速度を所定速度Ｖ0よりも小さくしたときに、自動的にノーズビューカメラ３が作動し、左右側方の画像がモニタ５に表示される。これにより、乗員にモニタ５の画像の切り換えを意識させることなく、自動的に左右側方の画像をモニタ５へ表示させることができる。また、ノーズビューカメラ３が作動すると、ＥＣＵ１０において、撮像した画像におけるオプティカルフローの算出を開始する。
図５に示すようなＴ字路において、車両２が左右確認しながら幹線道路へ進入しようとする場合、まず車両２のノーズカメラスイッチ６がオンに操作されていると、車両２が幹線道路の手前で走行速度を所定速度Ｖ0よりも小さくしたときに、自動的にノーズビューカメラ３が作動し、左右側方の画像がモニタ５に表示される。これにより、乗員にモニタ５の画像の切り換えを意識させることなく、自動的に左右側方の画像をモニタ５へ表示させることができる。また、ノーズビューカメラ３が作動すると、ＥＣＵ１０において、撮像した画像におけるオプティカルフローの算出を開始する。
［停止時］
ここで、車両２が図５に示す位置に停止している場合には、図３（ａ）に示すように、ノーズビューカメラ３の位置が固定されているため、撮像した画像中において背景部分（画像上において車両２１，２２の背景となっている部分であり、ここでは、道路や建物，ガードレール，空といった移動しない対象を指す）にはフローベクトルが発生せず、車両２に接近する接近物体としての車両２１，２２によるフローベクトル（図３（ａ）中における黒矢印）のみが発生することになる。そして、このとき、車両２１，２２によるフローベクトルの方向は、車両２１は左側方の画像内において右方向へのベクトル成分を有し、すなわち、画像内における車両２の進行方向側へのベクトル成分を持つことになる。一方、車両２２は、右側方の画面内において左方向へのベクトル成分を有し、画像内における車両２の進行方向側へのベクトル成分を持つことになる。
したがって、接近物体検出部１２において、左右側方の画像中において、車両の進行方向側へのベクトル成分を有するフローベクトルに基づいて、接近物体としての車両２１，２２を検出することができる。
ここで、車両２が図５に示す位置に停止している場合には、図３（ａ）に示すように、ノーズビューカメラ３の位置が固定されているため、撮像した画像中において背景部分（画像上において車両２１，２２の背景となっている部分であり、ここでは、道路や建物，ガードレール，空といった移動しない対象を指す）にはフローベクトルが発生せず、車両２に接近する接近物体としての車両２１，２２によるフローベクトル（図３（ａ）中における黒矢印）のみが発生することになる。そして、このとき、車両２１，２２によるフローベクトルの方向は、車両２１は左側方の画像内において右方向へのベクトル成分を有し、すなわち、画像内における車両２の進行方向側へのベクトル成分を持つことになる。一方、車両２２は、右側方の画面内において左方向へのベクトル成分を有し、画像内における車両２の進行方向側へのベクトル成分を持つことになる。
したがって、接近物体検出部１２において、左右側方の画像中において、車両の進行方向側へのベクトル成分を有するフローベクトルに基づいて、接近物体としての車両２１，２２を検出することができる。
［前進時］
また、車両２が図５に示す位置を低速で（走行速度Ｖ＜Ｖ0で）走行している場合、つまり、乗員が左右確認を行いながらゆっくりと車両２を前進させている場合には、図３（ｂ）に示すように、ノーズビューカメラ３の撮像位置の移動によって、撮像された画像中において背景部分にもフローベクトル（図３（ｂ）中における白抜き矢印）が発生することになる。そして、車両２１，２２によるフローベクトルは、車両２が停止している場合に発生するであろうフローベクトル（すなわち、図３（ａ）に示された黒矢印のフローベクトル）と、ノーズビューカメラ３の位置移動によって発生する背景部分のフローベクトル（白抜き矢印のフローベクトル）との和としてのフローベクトル（図３（ｂ）中における黒矢印）が発生することになる。また、背景部分のフローベクトルは、車両２が前進することによって、画像上において車両２の前進方向と逆方向へのベクトル成分を有するフローベクトルとして発生することになる。
また、車両２が図５に示す位置を低速で（走行速度Ｖ＜Ｖ0で）走行している場合、つまり、乗員が左右確認を行いながらゆっくりと車両２を前進させている場合には、図３（ｂ）に示すように、ノーズビューカメラ３の撮像位置の移動によって、撮像された画像中において背景部分にもフローベクトル（図３（ｂ）中における白抜き矢印）が発生することになる。そして、車両２１，２２によるフローベクトルは、車両２が停止している場合に発生するであろうフローベクトル（すなわち、図３（ａ）に示された黒矢印のフローベクトル）と、ノーズビューカメラ３の位置移動によって発生する背景部分のフローベクトル（白抜き矢印のフローベクトル）との和としてのフローベクトル（図３（ｂ）中における黒矢印）が発生することになる。また、背景部分のフローベクトルは、車両２が前進することによって、画像上において車両２の前進方向と逆方向へのベクトル成分を有するフローベクトルとして発生することになる。
したがって、車両２をゆっくり前進させることによって、車両２１，２２によるフローベクトルの大きさと方向は変形を受けることになるが、車両２が低速で徐行している場合には大きな変形を受けず、画像上において車両２の進行方向側へのベクトル成分を持つことができる。また、たとえ、車両２１，２２によるフローベクトルのうち、車両の進行方向側へのベクトル成分と、背景部分のフローベクトルとが等しくなったとしても、車両２１，２２によるフローベクトルは、車両２への接近によって画像上において拡大するような方向、すなわち、画像上における上下方向へのベクトルをも有しているため、車両２１，２２によるフローベクトルが打ち消されることはない。
このとき、車両２１，２２によるフローベクトルの方向は、図３（ｃ）に示すように、画像中において車両２の進行方向側のベクトル成分を有するベクトル方向であり、左側方領域においては右方向のベクトル成分を有する方向、右側方領域においては左方向のベクトル成分を有する方向である。換言すると、左側方領域においては鉛直方向から時計回りに１８０度の範囲の方向のフローベクトルであり、右側方領域においては鉛直方向から反時計回りに１８０度の範囲の方向のフローベクトルである。
そして、接近物体検出部１２において、左右側方の画像中において、車両の進行方向側へのベクトル成分を有するフローベクトルに基づいて、接近物体としての車両２１，２２を検出することができる。したがって、接近物体を検出したことをＥＣＵ２の出力部１３がモニタ５に出力し、乗員への注意を促すことができる。
また、出力部１３は、接近物体の自車両２に対する危険度に応じて、報知モードを切り換えるようになっているため、危険度を乗員へ効果的に報知することができ、安全性を向上させることができる。
また、出力部１３は、接近物体の自車両２に対する危険度に応じて、報知モードを切り換えるようになっているため、危険度を乗員へ効果的に報知することができ、安全性を向上させることができる。
なお、車両２が素早く前進した場合には、ノーズビューカメラ３の位置移動によって発生する背景部分のフローベクトルが大きくなるため、車両２１，２２によるフローベクトルの方向が、画像上において車両２の進行方向側へのベクトル成分を持たないようになることが考えられるが、本実施形態においては、車両２の走行速度Ｖが所定速度Ｖ0以上になるとノーズビューカメラ３の作動が停止するようになっているため、接近物体を誤認識を防止することができる。また同様に、車両２の操舵角θが所定角度θ0以上になるとノーズビューカメラ３の作動が停止するようになっているため、旋回移動によって接近物体を誤認識することもない。そして結果的に、オプティカルフローによる接近物体の検出精度を向上させることができる。
また、ノーズビューカメラ３の作動が停止した場合にも、出力部１３は、その旨を乗員へ報知するため、乗員への注意を促して、安全性を向上させることができる。
なお、所定速度Ｖ0及び所定角度θ0の大きさの設定については、実施の形態に応じて任意であるが、車両２が移動したときに、その走行速度Ｖ，操舵角θが大きいほど、上記の背景部分のフローベクトルは大きくなる。したがって、接近速度の速い物体を検出するためには、所定速度Ｖ0及び所定角度θ0の設定値を大きくしても何ら問題はなく、一方、接近速度の遅い物体を検出するためには、車両２が停止していることが望ましいことになる。しかし、車両２が移動している場合には、一般公道を走行する接近物体としての車両２１，２２によるフローベクトルと、背景部分に発生するフローベクトルとの方向性の相違を利用することによって（すなわち、上述のようなロジックによって）、接近物体としての車両２１，２２を背景部分と区別して認識できるのである。
なお、所定速度Ｖ0及び所定角度θ0の大きさの設定については、実施の形態に応じて任意であるが、車両２が移動したときに、その走行速度Ｖ，操舵角θが大きいほど、上記の背景部分のフローベクトルは大きくなる。したがって、接近速度の速い物体を検出するためには、所定速度Ｖ0及び所定角度θ0の設定値を大きくしても何ら問題はなく、一方、接近速度の遅い物体を検出するためには、車両２が停止していることが望ましいことになる。しかし、車両２が移動している場合には、一般公道を走行する接近物体としての車両２１，２２によるフローベクトルと、背景部分に発生するフローベクトルとの方向性の相違を利用することによって（すなわち、上述のようなロジックによって）、接近物体としての車両２１，２２を背景部分と区別して認識できるのである。
［旋回時］
また、車両２が図５に示す位置から低速（走行速度Ｖ＜Ｖ0）で右旋回している場合、つまり、乗員が左右確認を行いながらゆっくりと車両２を前進させつつ、進行したい右方向へ操舵している場合には、図３（ｄ）に示すように、ノーズビューカメラ３の撮像位置の移動によって、撮像された画像中において背景部分にもフローベクトル（図３（ｄ）中における白抜き矢印）が発生することになる。そして、車両２１，２２によるフローベクトルは、車両２が停止している場合に発生するであろうフローベクトル（すなわち、図３（ａ）に示された黒矢印のフローベクトル）と、ノーズビューカメラ３の位置移動によって発生する背景部分のフローベクトル（白抜き矢印のフローベクトル）との和としてのフローベクトル（図３（ｄ）中における黒矢印）が発生することになる。また、背景部分のフローベクトルは、車両２が右旋回することによって、画像上において車両２の左方向へのベクトル成分を有するフローベクトルとして発生することになる。
また、車両２が図５に示す位置から低速（走行速度Ｖ＜Ｖ0）で右旋回している場合、つまり、乗員が左右確認を行いながらゆっくりと車両２を前進させつつ、進行したい右方向へ操舵している場合には、図３（ｄ）に示すように、ノーズビューカメラ３の撮像位置の移動によって、撮像された画像中において背景部分にもフローベクトル（図３（ｄ）中における白抜き矢印）が発生することになる。そして、車両２１，２２によるフローベクトルは、車両２が停止している場合に発生するであろうフローベクトル（すなわち、図３（ａ）に示された黒矢印のフローベクトル）と、ノーズビューカメラ３の位置移動によって発生する背景部分のフローベクトル（白抜き矢印のフローベクトル）との和としてのフローベクトル（図３（ｄ）中における黒矢印）が発生することになる。また、背景部分のフローベクトルは、車両２が右旋回することによって、画像上において車両２の左方向へのベクトル成分を有するフローベクトルとして発生することになる。
ここで、接近物体検出部３２は、車両２の舵角の大きさに応じて、参照するフローベクトルを選択する。すなわち、舵角θ≧θ1で右旋回している場合には、左側方領域におけるフローベクトルを抽出して、その中から接近物体を検出する。この場合、図３（ｄ）に示すフローベクトルのうち、左側方領域の画像上で、右方向のベクトル成分を有するフローベクトルを抽出し、その抽出されたフローベクトルが、車両２に接近する接近物体（すなわち、フローベクトルを有する移動物体のうち、自車両２に接近する物体）によるフローベクトルであると判断し、接近物体を認識する。したがって、正確に接近車両２１を検出することができる。
また、図３（ｄ）に示すフローベクトルのうち、右側方領域の画面上のフローベクトルは参照しない。したがって、車両２の旋回によるフローベクトル（図３（ｂ）における右側方画像の白矢印）を、接近する車両によるフローベクトル（図３（ｂ）における右側方画像の黒矢印）と誤って認識することを防止できるとともに、接近する車両の検出にかかる演算処理を半減させることができる。
また、舵角θ≦−θ1で左旋回している場合にも同様であり、接近物体検出部３２は右側方領域におけるフローベクトルを抽出して、その中から接近物体を検出する。この場合、右側方領域の画像上における左方向のベクトル成分を有するフローベクトルを抽出し、抽出されたフローベクトルが車両２に接近する接近物体によるフローベクトルであると判断し、接近物体を認識する。したがって、正確に接近車両２１を検出することができる。また、左側方領域の画面上のフローベクトルを参照しないため、誤認識を防止できるとともに、演算量を半減させることができるのである。
このように、第２実施形態としての本発明のノーズビューモニタ装置によれば、車両２が旋回している状態において、自車両への接近物体を確実に検出できる方向に存在するオプティカルフローベクトルのみを参照することで、接近物体の誤認識を削減することができ、接近物体の検出率を向上させることができる。また、車両２が停止している場合であっても、低速（Ｖ＜Ｖ0）で走行している場合でも、あるいは、操舵角が所定角度より小さい（θ＜θ0）状態において、車両側方における接近物体を容易かつ確実に認識することができ、背景画像の移動を接近物体と誤認識することを防止でき、接近物体の検出精度を向上させることができる。また、オプティカルフローに基づいて認識される移動物体のうち、自車両２に対して危険である接近物体を認識するための構成がシンプルであり、接近物体の認識にかかるＥＣＵ１０の演算量を減少させることができる。また、危険度に応じた報知により、安全性を向上させることができる。
以上、本発明の第１及び第２実施形態を説明したが、本発明はかかる実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。
例えば、上述の第１，第２実施形態では、撮像手段としてのノーズビューカメラ３が、車両２のノーズ部の左右端部に各々設けられているが、いずれか一方のみを備えた構成であってもよく、また、広範な撮像領域を有する広角カメラを用いて車両の左右側方を同時に撮像するように構成してもよい。
例えば、上述の第１，第２実施形態では、撮像手段としてのノーズビューカメラ３が、車両２のノーズ部の左右端部に各々設けられているが、いずれか一方のみを備えた構成であってもよく、また、広範な撮像領域を有する広角カメラを用いて車両の左右側方を同時に撮像するように構成してもよい。
また、ノーズビューカメラ３の撮像領域は、車両２の進行方向と進入したい幹線道路の方向とのなす角度に応じて、水平方向に調整されるように構成してもよく、あるいは、走行路面の傾斜に応じて、鉛直方向に調整されるように構成してもよい。
また、上述の第１，第２実施形態における所定速度Ｖ0及び所定角度θ0は、認識したい移動物体のフローベクトルの大きさに応じて任意に設定されるものである。例えば、車両２の走行速度Ｖが所定速度Ｖ0よりも大きくても、車両２（ノーズビューカメラ３）の位置移動によって発生する背景部分のフローベクトルよりも大きなフローベクトルを有して移動する移動物体については、上述の構成によって認識することができる。
また、上述の第１，第２実施形態における所定速度Ｖ0及び所定角度θ0は、認識したい移動物体のフローベクトルの大きさに応じて任意に設定されるものである。例えば、車両２の走行速度Ｖが所定速度Ｖ0よりも大きくても、車両２（ノーズビューカメラ３）の位置移動によって発生する背景部分のフローベクトルよりも大きなフローベクトルを有して移動する移動物体については、上述の構成によって認識することができる。
また、上述の第１，第２実施形態における出力部１３による報知方法は任意であり、例えば、モニタ５上の画像のうち接近物体を強調表示する場合、画像上の接近物体を拡大表示するように構成してもよく、あるいは、車両２の制動装置を作動させることによって乗員への報知を行うように構成してもよい。
また、危険度に応じた複数の報知モードが多段階的に設定されるように構成してもよい。例えば、接近物体検出部１２が検出した接近物体のフローベクトルの大きさ及び数に基づいて切り換える報知モードをさらに増やし、接近物体の自車両２への危険である可能性を多段階的に判定することで、よりきめの細かい報知を実施することができ、安全性を向上させることができるとともに、危険度判定にかかる装置自体の信頼性を向上させることができる。
また、危険度に応じた複数の報知モードが多段階的に設定されるように構成してもよい。例えば、接近物体検出部１２が検出した接近物体のフローベクトルの大きさ及び数に基づいて切り換える報知モードをさらに増やし、接近物体の自車両２への危険である可能性を多段階的に判定することで、よりきめの細かい報知を実施することができ、安全性を向上させることができるとともに、危険度判定にかかる装置自体の信頼性を向上させることができる。
１，２１ ノーズビューモニタ装置
２ 車両（自車両）
３ ノーズビューカメラ（撮像手段）
４ 車速センサ（旋回状態対応値検出手段）
５ モニタ（報知手段）
６ ノーズカメラスイッチ
７ 操舵角センサ（旋回方向検出手段・旋回状態対応値検出手段）
１０ 電子制御ユニット（ＥＣＵ）
１１ オプティカルフロー算出部（オプティカルフローベクトル算出手段）
１１Ａ 左側方領域オプティカルフロー算出部
１１Ｂ 右側方領域オプティカルフロー算出部
１２，３２ 接近物体検出部（接近物体検出手段）
１３ 出力部
１４ 旋回フローベクトル設定部（旋回オプティカルフローベクトル設定手段）
１５ フローベクトル補正部（オプティカルフローベクトル補正手段）
２ 車両（自車両）
３ ノーズビューカメラ（撮像手段）
４ 車速センサ（旋回状態対応値検出手段）
５ モニタ（報知手段）
６ ノーズカメラスイッチ
７ 操舵角センサ（旋回方向検出手段・旋回状態対応値検出手段）
１０ 電子制御ユニット（ＥＣＵ）
１１ オプティカルフロー算出部（オプティカルフローベクトル算出手段）
１１Ａ 左側方領域オプティカルフロー算出部
１１Ｂ 右側方領域オプティカルフロー算出部
１２，３２ 接近物体検出部（接近物体検出手段）
１３ 出力部
１４ 旋回フローベクトル設定部（旋回オプティカルフローベクトル設定手段）
１５ フローベクトル補正部（オプティカルフローベクトル補正手段）
Claims (3)
- 車両のノーズ前面に設けられて車両側方の画像を撮像する撮像手段と、
該画像に基づきオプティカルフローベクトルを算出するオプティカルフローベクトル算出手段と、
該車両の旋回方向を検出する旋回方向検出手段と、
該車両の旋回時において、該オプティカルフローベクトル算出手段によって算出されたオプティカルフローベクトルのうち、該旋回方向検出手段によって検出された該車両の旋回外側方向の側方領域に存在し且つ該画像中における該車両の進行方向へのベクトル成分を有するオプティカルフローベクトルに基づいて接近物体を検出し、また、該接近物体の検出に際し、該旋回方向検出手段によって検出された該車両の旋回内側方向の側方領域に存在するオプティカルフローベクトルを参照しない接近物体検出手段と、
該画像を表示するとともに該接近物体の検出を報知する報知手段とを備えた
ことを特徴とする、ノーズビューモニタ装置。 - 該報知手段は、該車両の進行方向へのベクトル成分を有するオプティカルフローベクトルの大きさ又は数に応じた複数の報知態様を切り換えて、該画像を表示するとともに該接近物体の検出を報知する
ことを特徴とする、請求項１項記載のノーズビューモニタ装置。 - 該車両の操舵角又は操舵輪の舵角を検出する操舵角センサをさらに備え、
該接近物体検出手段が、該操舵角センサで検出された該舵角の大きさが予め設定された基準値以上である場合に、該接近物体の検出を実施する
ことを特徴とする、請求項１又は２記載のノーズビューモニタ装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004091667A JP4193740B2 (ja) | 2004-03-26 | 2004-03-26 | ノーズビューモニタ装置 |
| US11/087,873 US7190282B2 (en) | 2004-03-26 | 2005-03-24 | Nose-view monitoring apparatus |
| DE102005013920A DE102005013920B4 (de) | 2004-03-26 | 2005-03-24 | Frontsicht-Überwachungsvorrichtung |
| CNB200510063703XA CN100471263C (zh) | 2004-03-26 | 2005-03-25 | 前视监视设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004091667A JP4193740B2 (ja) | 2004-03-26 | 2004-03-26 | ノーズビューモニタ装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005276057A JP2005276057A (ja) | 2005-10-06 |
| JP4193740B2 true JP4193740B2 (ja) | 2008-12-10 |
Family
ID=35175636
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004091667A Expired - Fee Related JP4193740B2 (ja) | 2004-03-26 | 2004-03-26 | ノーズビューモニタ装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4193740B2 (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4847779B2 (ja) * | 2006-04-13 | 2011-12-28 | 株式会社日立製作所 | 車載情報処理方法、車載情報処理プログラム、車載情報処理装置および車載情報処理システム |
| JP4676373B2 (ja) * | 2006-04-27 | 2011-04-27 | 株式会社デンソー | 周辺認識装置、周辺認識方法、プログラム |
| JP4847884B2 (ja) * | 2007-01-31 | 2011-12-28 | オプトレックス株式会社 | 障害物検出装置、車両用表示装置及び障害物検出方法 |
| WO2009005025A1 (ja) * | 2007-07-03 | 2009-01-08 | Konica Minolta Holdings, Inc. | 移動物体検出装置 |
| JP4966788B2 (ja) * | 2007-08-28 | 2012-07-04 | パイオニア株式会社 | 撮影方向判定装置及び撮影方向判定プログラム |
| JP5054612B2 (ja) * | 2008-05-15 | 2012-10-24 | 株式会社日立製作所 | 接近物検出装置および接近物検出方法 |
| JP5083142B2 (ja) * | 2008-09-19 | 2012-11-28 | 三菱自動車工業株式会社 | 車両周辺監視装置 |
| JP5743576B2 (ja) * | 2011-02-02 | 2015-07-01 | スタンレー電気株式会社 | 物体検出システム |
| JP5973843B2 (ja) * | 2012-08-24 | 2016-08-23 | 富士重工業株式会社 | 車外環境認識装置および車外環境認識方法 |
| JP2014071080A (ja) * | 2012-10-01 | 2014-04-21 | Denso Corp | 車両の移動方向検出装置、及びコンピュータプログラム |
| JP6189729B2 (ja) * | 2013-11-29 | 2017-08-30 | 富士通テン株式会社 | 物体検出装置、物体検出システム、物体検出方法及びプログラム |
| KR102234376B1 (ko) * | 2014-01-28 | 2021-03-31 | 엘지이노텍 주식회사 | 카메라 시스템, 캘리브레이션 장치 및 캘리브레이션 방법 |
| JP6201809B2 (ja) * | 2014-02-25 | 2017-09-27 | トヨタ自動車株式会社 | 周辺監視装置及び方法 |
| JP5949861B2 (ja) * | 2014-09-05 | 2016-07-13 | トヨタ自動車株式会社 | 車両の接近物体検出装置及び車両の接近物体検出方法 |
| JP7318562B2 (ja) * | 2020-02-26 | 2023-08-01 | いすゞ自動車株式会社 | 報知装置 |
| WO2022064641A1 (ja) * | 2020-09-25 | 2022-03-31 | 日本電気株式会社 | 車両行動推定装置、不安全運転検出装置、方法、及びコンピュータ可読媒体 |
-
2004
- 2004-03-26 JP JP2004091667A patent/JP4193740B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005276057A (ja) | 2005-10-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7190282B2 (en) | Nose-view monitoring apparatus | |
| US8896687B2 (en) | Lane departure prevention support apparatus, method of displaying a lane boundary line and program | |
| JP4259368B2 (ja) | ノーズビューモニタ装置 | |
| JP4193740B2 (ja) | ノーズビューモニタ装置 | |
| JP5345350B2 (ja) | 車両の運転支援装置 | |
| US10956757B2 (en) | Image processing device, outside recognition device | |
| JP4517393B2 (ja) | 運転支援装置 | |
| JP6485328B2 (ja) | 車両の運転支援装置 | |
| JP6307895B2 (ja) | 車両用周辺監視装置 | |
| JP4885793B2 (ja) | 障害物監視装置 | |
| JP2013191050A (ja) | 車両周辺監視装置 | |
| JP5210064B2 (ja) | 車両の衝突防止装置 | |
| JP2018081363A (ja) | 運転支援装置 | |
| JP2012045984A (ja) | 衝突軽減装置 | |
| JP4986070B2 (ja) | 車両用周囲監視装置 | |
| CN113895433B (zh) | 通过传感器角度调整的前向避撞系统及其方法 | |
| JP2006209637A (ja) | 車両用警報装置 | |
| KR20100021046A (ko) | 자동차용 표시장치 및 그 제어 방법 | |
| JP2009051346A (ja) | 周辺監視用表示制御装置及び画像表示制御システム | |
| JP4930432B2 (ja) | 車両用周辺監視装置 | |
| JP2005182753A (ja) | 車両運転支援装置 | |
| JP2004252550A (ja) | 運転支援装置 | |
| JP2005309660A (ja) | 車両用右左折支援装置 | |
| JP2005306320A (ja) | 制動制御装置 | |
| JP2005316746A (ja) | 接近物体報知装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060324 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080527 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080529 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080724 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080902 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080915 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4193740 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111003 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111003 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121003 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121003 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131003 Year of fee payment: 5 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |