JP6139465B2 - 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム - Google Patents

物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム Download PDF

Info

Publication number
JP6139465B2
JP6139465B2 JP2014110527A JP2014110527A JP6139465B2 JP 6139465 B2 JP6139465 B2 JP 6139465B2 JP 2014110527 A JP2014110527 A JP 2014110527A JP 2014110527 A JP2014110527 A JP 2014110527A JP 6139465 B2 JP6139465 B2 JP 6139465B2
Authority
JP
Japan
Prior art keywords
vehicle
feature
feature line
line
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014110527A
Other languages
English (en)
Other versions
JP2015225546A (ja
Inventor
忠彦 加納
忠彦 加納
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2014110527A priority Critical patent/JP6139465B2/ja
Publication of JP2015225546A publication Critical patent/JP2015225546A/ja
Application granted granted Critical
Publication of JP6139465B2 publication Critical patent/JP6139465B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、物体検出装置、運転支援装置、物体検出方法、および物体検出プログラムに関する。
自車に設置され、自車の前方の道路状況を撮影する撮影手段と、撮影手段により撮影された画像状況を基に、自車が走行している自車レーンと自車レーンに隣接した隣接レーンとの境界線を検出する境界線検出手段と、撮影手段により撮影された画像状況を基に、隣接レーンを走行している隣接先行車両を認識し、隣接先行車両の進行形態を検出する車両検出手段と、境界線検出手段と車両検出手段との検出結果を基に、境界線に対する隣接先行車両の進行方向の傾きを検出する傾き角検出手段と、境界線に対する隣接先行車両の進行方向の傾き角の大きさに基づいて、隣接先行車両は自車レーンに割り込もうとしている割込車であるか否かを判断する割込車判断手段を備えたことを特徴とする車両認識装置が知られている(例えば、特許文献1参照)。
特開平9−223235号公報
しかしながら、従来の装置では、自車両の走行車線への他車両の進入を精度良く認識することができない場合があった。境界線に対する隣接先行車両の進行方向の傾き角を監視するだけでは、他車両のふらつきのみでも割り込みと誤判定してしまう場合があるからである。
本発明は、このような事情を考慮してなされたものであり、自車両の走行車線への他車両の進入を精度良く認識することができる物体検出装置、運転支援装置、物体検出方法、および物体検出プログラムを提供することを目的の一つとする。
請求項1記載の発明は、自車両周辺を撮像する撮像部(10)と、前記撮像部により撮像された画像から、他車両の側方下端部を表すと推定され前記画像における消失点の方向に向かう傾きを有する第1の特徴線と、前記他車両の前端部を表すと推定される第2の特徴線であって前記第1の特徴線と画像上の傾きが異なり、前記画像における垂直方向の傾きを有する第2の特徴線とを抽出する特徴線抽出部(21、22、23、24、25、30、31)と、前記第1の特徴線と前記第2の特徴線との交点に基づいて、自車両の走行車線への他車両の進入を判定する判定部(40、41、42)と、を備える物体検出装置(5)である。
請求項2記載の発明は、請求項1記載の物体検出装置であって、前記判定部は、前記交点の位置が、前記撮像部により撮像された画像から認識可能な前記自車両の走行車線または進行予定軌跡に接近し、接触し、または進入するのに応じて、前記自車両の走行車線への他車両の進入を判定するものである。
請求項3記載の発明は、請求項1または2記載の物体検出装置であって、前記撮像部により撮像された画像から特徴点を抽出する特徴点抽出部(21)を備え、前記特徴線抽出部は、前記特徴点抽出部により異なる撮像フレームの画像から抽出された特徴点の間で、同一の物体を表すと推定される特徴点の組を抽出し、前記特徴点の組を結んで生成される直線と略同方向である特徴線を、前記第1の特徴線として選択するものである。
請求項4記載の発明は、請求項1から3のうちいずれか1項に記載の物体検出装置であって、前記特徴線抽出部は、複数の第2の特徴線候補が存在する場合、前記複数の第2の特徴線候補の中から、前記撮像部により撮像された画像から認識可能な前記自車両の走行車線に最も近い第2の特徴線候補を、前記第2の特徴線として選択するものである。
請求項5記載の発明は、請求項1から4のうちいずれか1項に記載の物体検出装置と、前記判定部の判定結果に基づいて前記車両の運転支援を行う運転支援部と、を備える運転支援装置(1)である。
請求項記載の発明は、物体検出装置が、自車両周辺を撮像し、前記撮像された画像から、他車両の側方下端部を表すと推定され前記画像における消失点の方向に向かう傾きを有する第1の特徴線と、前記他車両の前端部を表すと推定される第2の特徴線であって前記第1の特徴線と画像上の傾きが異なり、前記画像における垂直方向の傾きを有する第2の特徴線とを抽出し、前記第1の特徴線と前記第2の特徴線との交点に基づいて、自車両の走行車線への他車両の進入を判定する、物体検出方法である。
請求項記載の発明は、物体検出装置の制御コンピュータに、自車両周辺を撮像した画像から、他車両の側方下端部を表すと推定され前記画像における消失点の方向に向かう傾きを有する第1の特徴線と、前記他車両の前端部を表すと推定される第2の特徴線であって前記第1の特徴線と画像上の傾きが異なり、前記画像における垂直方向の傾きを有する第2の特徴線とを抽出させ、前記第1の特徴線と前記第2の特徴線との交点に基づいて、自車両の走行車線への他車両の進入を判定させる、物体検出プログラムである。
請求項1、6、7に記載の発明によれば、特徴線抽出部が、他車両の側方下端部を表すと推定され前記画像における消失点の方向に向かう傾きを有する第1の特徴線と、他車両の前端部を表すと推定される第2の特徴線であって第1の特徴線と画像上の傾きが異なり、前記画像における垂直方向の傾きを有する第2の特徴線とを抽出し、判定部が、第1の特徴線と前記第2の特徴線との交点に基づいて、自車両の走行車線への他車両の進入を判定するため、自車両の走行車線への他車両の進入を精度良く認識することができる。
請求項2に記載の発明によれば、判定部は、交点の位置が、撮像部により撮像された画像から認識可能な自車両の走行車線または進行予定軌跡に接近し、接触し、または進入するのに応じて、自車両の走行車線への他車両の進入を判定するため、自車両の走行車線への他車両の進入を、更に精度良く認識することができる。
請求項3に記載の発明によれば、特徴線抽出部は、特徴点抽出部により異なる撮像フレームの画像から抽出された特徴点の間で、同一の物体を表すと推定される特徴点の組を抽出し、特徴点の組を結んで生成される直線と略同方向である第1の特徴線を、他車両の側方下端部を表すものとして選択するため、より精度良く第1の特徴線を抽出することができる。これにより、自車両の走行車線への他車両の進入を、更に精度良く認識することができる。
請求項4に記載の発明によれば、特徴点抽出部は、複数の第2特徴線候補の中から、撮像部により撮像された画像から認識可能な自車両の走行車線に最も近い第2の特徴線候補を、第2の特徴線として選択することで、より精度良く第2の特徴線を抽出することができる。これにより、自車両の走行車線への他車両の進入を、更に精度良く認識することができる。
請求項5に記載の発明によれば、物体検出装置によって精度良く認識された自車両の走行車線への他車両の進入に基づいて、好適な運転支援を行うことができる。
本発明の一実施形態に係る物体検出装置5を含む運転支援装置1の構成の一例を模式的に示す図である。 物体検出装置5を含む運転支援装置1の機能構成例を示す図である。 撮像画像IM中の特徴点CPと消失点VPを例示した図である。 撮像画像IMを拡大して示す図であり、撮像画像IM中の隣接車両フローと、第1の特徴線と、第2の特徴線等を例示した図である。 複数の垂直エッジから隣接車両垂直エッジを選択する例を説明するための図である。 本実施形態の制御装置20により実行される処理の流れの一例を示すフローチャートである。
〔構成〕
以下、図面を参照し、本発明の一実施形態に係る物体検出装置5を含む運転支援装置1の実施形態について説明する。
図1は、本発明の一実施形態に係る物体検出装置5を含む運転支援装置1の構成の一例を模式的に示す図である。運転支援装置1は、例えば、自車両Mに搭載される装置であり、カメラ10と、制御装置20とを備える。以下、物体検出装置5が搭載される車両を「自車両」と称する。また、自車両の走行車線に対して隣接する車線を、自車両と同じ方向に走行している他車両を、「隣接車両」と称する。
カメラ10は、例えば、フロントウインドシールドの上部やルームミラーの裏面等に取り付けられている。カメラ10は、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子を利用したデジタルカメラである。カメラ10は、例えば、所定周期で車両の前方を繰り返し撮像し、撮像した画像のデータを制御装置20に出力する。また、カメラ10は、制御装置20により抽出された特徴点や特徴線などの移動に応じて、カメラ10の姿勢を推定する。
制御装置20は、例えば、CPU(Central Processing Unit)等のプロセッサ、ROM(Read Only Memory)やRAM(Random Access Memory)、HDD(Hard Disk Drive)、EEPROM(Electrically Erasable Programmable Read−Only Memory)、フラッシュメモリ等の記憶装置、車内で他装置と通信を行うための通信インターフェース等が内部バスによって接続されたコンピュータ装置である。
図2は、物体検出装置5を含む運転支援装置1の機能構成例を示す図である。物体検出装置5の制御装置20は、特徴点抽出部21と、特徴点対応判定部22と、姿勢推定処理部23と、隣接車両フロー抽出部24と、フローグループ化処理部25と、特徴線抽出部30と、隣接車両特徴線選択部31と、交点座標算出部40と、車両位置算出部41と、割り込み判定部42とを備える。また、これらの機能部は、例えば、プロセッサが記憶装置に格納されたプログラムを実行することにより機能するソフトウェア機能部である。これらの機能部は、適宜、統合または分割されてよい。プロセッサが実行するプログラムは、自車両Mの出荷時に予め記憶装置に格納されていてもよいし、可搬型記憶媒体に記憶されたプログラムが制御装置20の記憶装置にインストールされてもよい。また、プログラムは、車載インターネット設備によって他のコンピュータ装置からダウンロードされ、制御装置20の記憶装置にインストールされてもよい。また、上記機能部のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)等のハードウェア機能部であってもよい。また、制御装置20は、車両制御部50と警告表示制御部52に接続される。車両制御部50と警告表示制御部52は、制御装置20と同じコンピュータの別機能であってもよいし、制御装置20とは別体のコンピュータの機能であってもよい。
以下、図2を参照して、制御装置20の各機能部の機能について説明する。また、後述する図3、図4を参照して、特徴点、第1の特徴線、第2の特徴線、および、これらの交点について説明する。
特徴点抽出部21は、カメラ10により撮像された画像(以下、「撮像画像」と称する)から特徴点を抽出する。特徴点とは、例えば、上下左右に隣接する画素の間の輝度勾配の例えば平均値が所定値よりも大きい画素であり、物体の角や線の交わりなど、時系列に撮像した画像データを対比したときに対応の取りやすい点である。特徴点を抽出する手法としては、Harris作用素やSUSAN作用素などの公知手法、あるいは新規の手法を適宜利用することができる。なお、特徴点抽出部21に相当する機能部は、カメラ10に内蔵または付設されるコンピュータ装置によって実現されてもよい。図3は、撮像画像IM中の特徴点CPと消失点VPを例示した図である。図示するように、特徴点CPは、検出対象物である自車両の周辺を走行する隣接車両OBの車体における縁部やコーナー部などから抽出されやすい傾向にある。
特徴点対応判定部22は、複数の撮像画像間(例えば、連続する2フレームの撮像画像間)で、特徴点抽出部21により抽出された特徴点の対応関係を判定する。特徴点対応判定部22は、特徴点抽出部21が抽出した前フレームの特徴点と、現フレームの特徴点とを対応づける。特徴点の対応関係を判定する方法として、前回のフレームで抽出した特徴点の周辺(例えば特徴点を中心として5×5画素や7×7画素程度)の画素群の輝度分布を求め、次の画像の同じ位置の周辺に、その輝度分布と同じ分布を持った画素群が無いかを探し、最も輝度分布が一致する画素群の中心を今回の特徴点として抽出するブロックマッチング手法を利用できる。また、公知技術であるKLT(Kanade Lucas Tomasi)追跡手法や、新規の手法を適宜利用できる。また、特徴点対応判定部22は、複数フレームに亘る画像の特徴点の対応関係に基づいて、特徴点の三次元座標を算出する。
図4は、撮像画像IMを拡大して示す図であり、撮像画像IM中の隣接車両フローと、第1の特徴線と、第2の特徴線等を例示した図である。図4の例では、異なる時間に撮像された隣接車両OBを、便宜的に1つのフレームで表している。隣接車両OB0は、時刻T0のときに撮像されたものであり、隣接車両OB1は、時刻T0よりも後の時刻T1のときに撮像されたものである。
図4におけるCPa0とCPb0は、時刻T0のときに撮像された隣接車両OB0の異なる箇所を表す特徴点である。また、図4におけるCPa1とCPb1は、時刻T1のときに撮像された隣接車両OB1の異なる箇所を表す特徴点である。特徴点CPa0とCPa1、特徴点CPb0とCPb1は、それぞれ隣接車両OBの同じ箇所を表す特徴点である。特徴点対応判定部22は、異なる撮像フレームの画像から抽出した特徴点の間で、同一の物体(或いは物体における特定の箇所)を表すと推定される特徴点の組を抽出する。図4の例では、特徴点対応判定部22は、特徴点CPa0とCPa1、特徴点CPb0とCPb1をそれぞれ対応づけ、組とする。
姿勢推定処理部23は、複数の撮像画像間の特徴点の対応関係からカメラ10の姿勢(ピッチ角、パン角、ロール角等)を推定する。図4の例では、姿勢推定処理部23は、例えば、特徴点対応判定部22が対応づけた、特徴点CPa0とCPa1の関係、および特徴点CPb0とCPb1の関係からカメラ10の姿勢を推定する。
隣接車両フロー抽出部24は、特徴点対応判定部22により対応づけられた特徴点の組を結んで直線を生成する。この直線を、以下、「隣接車両フロー」と称する。ここで、隣接車両フローとは、複数の撮像画像間において、特徴点対応判定部22により対応づけられた特徴点を結び、空間上の有向線分としたものである。隣接車両フロー抽出部24は、例えば、特徴点を結んだ空間上の有向線分の中から、線分の傾きが、線分の位置から消失点VPに向かう方向に対して所定角度以内であり、且つ消失点VPよりも画像上で下側に存在する有向線分を、隣接車両フローとして抽出する。
図4の例では、隣接車両フロー抽出部24は、2つの撮像画像間において、特徴点対応判定部22により、対応づけされたそれぞれの特徴点「CPa0とCPa1」「CPb0とCPb1」を結び、空間上の有向線分とした「Fa」「Fb」を隣接車両フローとして抽出する。隣接車両フロー「Fa」「Fb」は、画像周辺から消失点に向かう方向であり、且つ消失点よりも画像上で下側に存在している。
フローグループ化処理部25は、隣接車両フロー抽出部24により抽出された各隣接車両フローをグループ化する。フローグループ化処理部25は、例えば、クラスタリング処理によって特徴点フローをグループ化する。フローグループ化処理部25は、隣接車両フロー抽出部24により抽出された各隣接車両フローの座標位置、長さ、傾き等から同一物体とみなせる隣接車両フローをクラスタリングすることによってグループ化する。これについては既に種々の手法が公知となっているため、説明を省略する。図4の例では、フローグループ化処理部25は、各隣接車両フロー「Fa」「Fb」を座標位置、長さ、傾きに基づき、クラスタリングすることによって、一つのグループとしてグループ化することができる。
特徴線抽出部30は、隣接車両フロー群に近いIMの範囲で、消失点VPに向かう方向に近い傾きを有する特徴線である「斜めエッジ」と、撮像画像IMにおける垂直方向に近い傾きを有する特徴線である「垂直エッジ」とをそれぞれ抽出する。「近い」とは、例えば方向と傾きのなす角度が所定の角度範囲内にあることをいう。斜めエッジと垂直エッジとしては、直線または曲率が一定以下の曲線が選択される。自車両と隣接車両の位置関係から、隣接車両の側方下端部は、斜めエッジとして抽出され、隣接車両の前端部は、垂直エッジとして抽出される可能性が高い。そして、斜めエッジと垂直エッジとは、傾きが異なる特徴線となる。斜めエッジとは、例えば、撮像画像IMにおける隣接車両フロー群に近い領域内で、消失点に向かう方向に直交する方向の輝度勾配が所定値よりも大きい画素を連ねた線である。また、垂直エッジとは、例えば、撮像画像IMにおける隣接車両フロー群に近い領域内で、画像の横方向(水平方向)の輝度勾配が所定値よりも大きい画素を連ねた線である。また、特徴線は、特徴点抽出部21により抽出される特徴点を連ねた線であってもよいし、その他の手法により画像から抽出される線であってもよい。特徴線を抽出する手法として、例えば、特徴点強調による線や輪郭線を検出する公知技術であるCanny手法や、新規の手法を適宜利用できる。
特徴線抽出部30は、隣接車両OBに対応するグループ化された隣接車両フロー群「Fa」「Fb」に近い領域内で、斜めエッジと垂直エッジを抽出する。なお、特徴線抽出部30は、すべてのグループ化された隣接車両フロー群を、順次、選択して、選択した隣接車両フロー群に近い領域内の斜めエッジと垂直エッジの抽出、および後述する処理を繰り返してもよい。
隣接車両特徴線選択部31は、特徴線抽出部30により抽出された斜めエッジから、隣接車両の側方下端部を表すと推定される斜めエッジである隣接車両斜めエッジ(第1の特徴線)を選択する。他車両の「下端」とは、例えば、ロッカーパネル部や、路面と他車両との接地面、他車両の影などが車両の側方下端部に相当する。図4の例では、隣接車両OBに対応するグループ化された隣接車両フロー「Fa」「Fb」に近い傾きを持ち、隣接車両の側方下端部を示すと推定される特徴線「A1」が、隣接車両斜めエッジとして選択される。
また、隣接車両特徴線選択部31は、特徴線抽出部30により抽出された垂直エッジから、隣接車両の前端部を表すと推定され、隣接車両斜めエッジと画像上の傾きが異なる垂直エッジである隣接車両垂直エッジ(第2の特徴線)を選択する。ここで、隣接車両OBの「前端部」とは、隣接車両OBのフロントグリル近傍、及び/又はフロントバンパー近傍が形成する部分である。図4の例では、隣接車両特徴線選択部31は、特徴線「B1」を、隣接車両垂直エッジとして選択する。
隣接車両特徴線選択部31は、垂直エッジが1つのみ抽出された場合には、その1つの垂直エッジを隣接車両垂直エッジとして選択するが、複数の垂直エッジが抽出された場合には、下記に例示する手法によって隣接車両垂直エッジを選択する。図5は、複数の垂直エッジから隣接車両垂直エッジを選択する例を説明するための図である。図中、A2は、隣接車両特徴線選択部31により選択された隣接車両斜めエッジであり、B2、B3は、特徴線抽出部30により抽出された垂直エッジである。この場合、隣接車両特徴線選択部31は、撮像部10により撮像された画像から認識可能な自車両の走行車線に最も近い垂直エッジB2を、隣接車両垂直エッジとして選択する。
ここで「自車両の走行車線に最も近い垂直エッジ」は、例えば、複数の垂直エッジ(ここでは長さを有する線分とする)B2、B3から自車両の走行車線を区画する区画線L1までの最短距離γ2、γ3を求め、最短距離が短い方(図5)では垂直エッジB2を選択することで決定される。また、これに限らず、撮像画像IM上で左右方向に関する中心線に最も近い点を含む垂直エッジを隣接車両垂直エッジとして選択してもよい。
交点座標算出部40は、隣接車両斜めエッジと隣接車両垂直エッジの交点を算出する。図4の例では、交点座標算出部40は、隣接車両斜めエッジA1と隣接車両垂直エッジB1の交点X1を算出する。
車両位置算出部41は、交点座標算出部40により算出された交点の画像上の位置と、姿勢推定処理部23で推定したカメラ10の姿勢とに基づいて、交点の三次元位置を算出する。
割り込み判定部42は、車両位置算出部41により算出された交点の三次元位置に基づいて、隣接車両OBが割り込み車両であるか否かを判定する。割り込み判定部42は、例えば、算出された交点の三次元位置と、自車両の進行予定軌跡(自車両の左右端から前方に延出する線で区画される領域)とが重なっているかどうか判断し、重なっている場合に隣接車両OBが割り込み車両であると判定する。また、割り込み判定部42は、自車両が走行している車線を区画する区画線L1(図4、5)を交点が跨いだ場合に、隣接車両OBが割り込み車両と判定しても良い。
割り込み判定部42は、上記の処理に代えて、隣接車両OBが割り込み車両であることの可能性を示す指標値(連続値または段階値)を算出してもよい。この場合、割り込み判定部は、距離(図4、α及び/又はβ)が短くなるのに応じて指標値を大きく算出する。また、割り込み判定部42は、例えば、距離αと距離βの差分(すなわち交点と区画線L1の距離の時間的変化)およびその変化程度、距離αと距離βとの比、交点の移動方向などを複合的に組み合わせて、自車両が走行する車線へ隣接車両OBが進入する可能性を判定してもよい。
また、割り込み判定部42が指標値等を算出する場合、割り込み判定部42は、種々の状態値に基づいて、指標値の補正を行ってもよい。割り込み判定部42は、例えば、自車両と隣接車両との進行方向の距離、または衝突時間(TTC;Time To Collision)が長い場合には、隣接車両の自車線への進入の可能性を大きく補正し、自車両と隣接車両との進行方向の距離、または衝突時間が短い場合には、隣接車両の自車線への進入の可能性を小さく補正してもよい。こうすれば、自車両と隣接車両が近い位置に相対し、緊急性が高い場合には、自車両が走行する車線へ隣接車両が進入する可能性を大きく補正することで、自車両の制御が必要であるか否かを考慮した隣接車両の車線変更を判定することができる。
車両制御部50は、割り込み判定部42により算出された隣接車両の位置情報に基づいて、車両のドライバーが安全に運転できるように種々の安全制御を行う。例えば、制御装置20によって検出された隣接車両の位置や速度に応じて、隣接車両との距離を一定に保つように、自車両の速度制御を行ってもよいし、検出対象物の位置に基づいて自車両の自動ブレーキ制御や自動操舵制御を行ってもよい。
警告表示制御部52は、割り込み判定部42により算出された隣接車両の位置情報に基づいて、車内に注意または警告喚起を示す情報を液晶ディスプレイ等の表示装置に表示させる。また、注意または警告喚起を示す情報は、シートベルトの締め付けやアラーム音、振動などによって運転者に伝えてもよい。
〔動作フロー〕
図6は、本実施形態の制御装置20により実行される処理の流れの一例を示すフローチャートである。図6を参照して、運転支援装置1が行う処理について説明する。
まず、特徴点抽出部21が、撮像画像から特徴点を抽出する(ステップS100)。次に、特徴点対応判定部22が、複数の撮像画像間で、特徴点抽出部21により抽出された特徴点の対応関係を判定する(ステップS102)。次に、姿勢推定処理部23が、複数の撮像画像間の特徴点の対応関係からカメラ10の姿勢(ピッチ角、パン角、ロール角等)を推定する。(ステップS104)。次に、隣接車両フロー抽出部24が、特徴点対応判定部22により対応づけられた特徴点の対応関係から隣接車両の隣接車両フローを抽出する。(ステップS106)。次に、フローグループ化処理部25が、隣接車両フロー抽出部24により抽出された各隣接車両フローをグループ化する。(ステップS108)。そして、特徴線抽出部30が、選択したグループの隣接車両フロー群に近い領域内で、撮像画像IMにおける消失点VPに向かう方向に近い傾きを有する特徴線である「斜めエッジ」と、撮像画像IMにおける垂直方向に近い傾きを有する特徴線である「垂直エッジ」とをそれぞれ抽出する(ステップS110)。
次に、隣接車両特徴線選択部31が、特徴線抽出部30により抽出された斜めエッジから隣接車両の側方下端部を表すと推定される斜めエッジである隣接車両斜めエッジ(第1の特徴線)を選択すると共に、特徴線抽出部30により抽出された垂直エッジから隣接車両の前端部を表すと推定される隣接車両垂直エッジ(第2の特徴線)を選択する(ステップS112)。次に、交点座標算出部40が、隣接車両斜めエッジと隣接車両垂直エッジの交点を算出する(ステップS114)。次に、車両位置算出部41が、交点座標値と、姿勢推定処理部23で推定したカメラ10姿勢とから、画像に対応する三次元座標における交点座標値を算出する(ステップS116)。次に、特徴線抽出部30が、未選択の隣接車両フロー群が存在するか否かを判定する(ステップS118)。他のグループ化された隣接車両フロー群が存在する場合には、ステップS110へ戻り、他の特徴点フロー群が存在しない場合には、ステップS120へ進む。
次に、割り込み判定部42が、隣接車両の交点の三次元座標値から割り込み車両であるか否かを判定する(ステップS120)。割り込み車両であると判定された場合は、車両制御部50が、割り込み判定部42により算出された隣接車両の位置情報に基づいて、車両のドライバーが安全に運転できるように種々の安全制御を行う(ステップS122)。これによって、本フローチャートの処理が終了する。
以上説明した本実施形態の物体検出装置5によれば、制御装置20が、他車両の側方下端部を表すと推定される隣接車両斜めエッジ(第1の特徴線)と、他車両の前端部を表すと推定される隣接車両垂直エッジ(第2の特徴線)であって、隣接車両斜めエッジ(第1の特徴線)と画像上の傾きが異なる垂直エッジ(第2の特徴線)とを抽出し、割り込み判定部42が、隣接車両斜めエッジ(第1の特徴線)と隣接車両垂直エッジ(第2の特徴線)との交点に基づいて、自車両の走行車線への他車両の接近や進入を判定するため、精度良く自車両の走行車線への他車両の進入を判定することができる。
また、本実施形態の運転支援装置1によれば、物体検出装置5によって精度良く認識された自車両の走行車線への他車両の進入に基づいて、好適な運転支援を行うことができる。この結果、安全運転に寄与することができる。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
1…運転支援装置、5…物体検出装置、10…カメラ、20…制御装置、21…特徴点抽出部、22…特徴点対応判定部、23…姿勢推定処理部、24…隣接車両フロー抽出部、25…フローグループ化処理部、30…特徴線抽出部、31…隣接車両特徴線選択部、40…交点座標算出部、41…車両位置算出部、42…割り込み判定部、50…車両制御部
52…警告表示制御部、M…自車両、IM…撮像画像、OB…隣接車両、CP…特徴点、VP…消失点、Fa、Fb…隣接車両フロー、A0、A1、A2…隣接車両斜めエッジ(第1の特徴線)、B0、B1…隣接車両垂直エッジ(第2の特徴線)、X0、X1…交点、L1…区画線、B2、B3…垂直エッジ(第2の特徴線候補)

Claims (7)

  1. 自車両周辺を撮像する撮像部と、
    前記撮像部により撮像された画像から、他車両の側方下端部を表すと推定され前記画像における消失点の方向に向かう傾きを有する第1の特徴線と、前記他車両の前端部を表すと推定される第2の特徴線であって前記第1の特徴線と画像上の傾きが異なり、前記画像における垂直方向の傾きを有する第2の特徴線とを抽出する特徴線抽出部と、
    前記第1の特徴線と前記第2の特徴線との交点に基づいて、自車両の走行車線への他車両の進入を判定する判定部と、
    を備える物体検出装置。
  2. 前記判定部は、前記交点の位置が、前記撮像部により撮像された画像から認識可能な前記自車両の走行車線または進行予定軌跡に接近し、接触し、または進入するのに応じて、前記自車両の走行車線への他車両の進入を判定する、
    請求項1記載の物体検出装置。
  3. 前記撮像部により撮像された画像から特徴点を抽出する特徴点抽出部を備え、
    前記特徴線抽出部は、前記特徴点抽出部により異なる撮像フレームの画像から抽出された特徴点の間で、同一の物体を表すと推定される特徴点の組を抽出し、前記特徴点の組を結んで生成される直線と略同方向である特徴線を、前記第1の特徴線として選択する、
    請求項1または2記載の物体検出装置。
  4. 前記特徴線抽出部は、複数の第2の特徴線候補が存在する場合、前記複数の第2の特徴線候補の中から、前記撮像部により撮像された画像から認識可能な前記自車両の走行車線に最も近い第2の特徴線候補を、前記第2の特徴線として選択する、
    請求項1から3のうちいずれか1項に記載の物体検出装置。
  5. 請求項1から4のうちいずれか1項に記載の物体検出装置と、
    前記判定部の判定結果に基づいて前記車両の運転支援を行う運転支援部と、
    を備える運転支援装置。
  6. 物体検出装置が、
    自車両周辺を撮像し、
    前記撮像された画像から、他車両の側方下端部を表すと推定され前記画像における消失点の方向に向かう傾きを有する第1の特徴線と、前記他車両の前端部を表すと推定される第2の特徴線であって前記第1の特徴線と画像上の傾きが異なり、前記画像における垂直方向の傾きを有する第2の特徴線とを抽出し、
    前記第1の特徴線と前記第2の特徴線との交点に基づいて、自車両の走行車線への他車両の進入を判定する、
    物体検出方法。
  7. 物体検出装置の制御コンピュータに、
    自車両周辺を撮像した画像から、他車両の側方下端部を表すと推定され前記画像における消失点の方向に向かう傾きを有する第1の特徴線と、前記他車両の前端部を表すと推定される第2の特徴線であって前記第1の特徴線と画像上の傾きが異なり、前記画像における垂直方向の傾きを有する第2の特徴線とを抽出させ、
    前記第1の特徴線と前記第2の特徴線との交点に基づいて、自車両の走行車線への他車両の進入を判定させる、
    物体検出プログラム。
JP2014110527A 2014-05-28 2014-05-28 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム Expired - Fee Related JP6139465B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014110527A JP6139465B2 (ja) 2014-05-28 2014-05-28 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014110527A JP6139465B2 (ja) 2014-05-28 2014-05-28 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム

Publications (2)

Publication Number Publication Date
JP2015225546A JP2015225546A (ja) 2015-12-14
JP6139465B2 true JP6139465B2 (ja) 2017-05-31

Family

ID=54842229

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014110527A Expired - Fee Related JP6139465B2 (ja) 2014-05-28 2014-05-28 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム

Country Status (1)

Country Link
JP (1) JP6139465B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101795270B1 (ko) * 2016-06-09 2017-11-07 현대자동차주식회사 장애물의 지면경계 정보를 이용한 물체 측면 검출 방법 및 장치
JP6738957B2 (ja) * 2017-03-01 2020-08-12 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
CN108801133B (zh) * 2018-04-25 2020-03-10 上汽大众汽车有限公司 车身特征线位置落差的检测方法
JP2019209701A (ja) * 2018-05-31 2019-12-12 マツダ株式会社 車両制御装置および車両制御方法
JP7380824B2 (ja) * 2020-02-20 2023-11-15 日本電信電話株式会社 車両状態推定方法、車両状態推定装置、及び車両状態推定プログラム
JP7331824B2 (ja) * 2020-11-19 2023-08-23 株式会社デンソー 走行支援装置
CN112446902B (zh) * 2020-11-24 2024-09-17 浙江大华技术股份有限公司 目标车辆异常的确定方法及装置、存储介质、电子装置
JP2022151314A (ja) * 2021-03-26 2022-10-07 パナソニックIpマネジメント株式会社 制御装置、警告制御方法およびプログラム
JP7324819B2 (ja) * 2021-10-12 2023-08-10 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3719029B2 (ja) * 1999-02-24 2005-11-24 三菱自動車工業株式会社 割り込み車両検出装置
JP3656056B2 (ja) * 2002-03-25 2005-06-02 株式会社東芝 割り込み車両検出装置及びその方法
JP3868915B2 (ja) * 2003-03-12 2007-01-17 株式会社東芝 前方監視装置及びその方法
JP2008117073A (ja) * 2006-11-01 2008-05-22 Fuji Heavy Ind Ltd 割り込み車両検出装置
JP2009012493A (ja) * 2007-06-29 2009-01-22 Hitachi Ltd 車両運転補助装置

Also Published As

Publication number Publication date
JP2015225546A (ja) 2015-12-14

Similar Documents

Publication Publication Date Title
JP6139465B2 (ja) 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム
US11320833B2 (en) Data processing method, apparatus and terminal
JP6163453B2 (ja) 物体検出装置、運転支援装置、物体検出方法、および物体検出プログラム
CN106663193B (zh) 用于路缘检测和行人危险评估的系统和方法
JP6477882B2 (ja) 自己位置推定装置及び自己位置推定方法
JP5267596B2 (ja) 移動体検出装置
US9734581B2 (en) On-vehicle control device
JP4702569B2 (ja) 車両用画像処理装置
JP7077910B2 (ja) 区画線検出装置及び区画線検出方法
JP2007300181A (ja) 周辺認識装置、周辺認識方法、プログラム
JP6693893B2 (ja) 走路認識装置
JP2015179368A (ja) 走行区画線認識装置及び走行区画線認識プログラム
CN106183979A (zh) 一种根据车距对车辆进行提醒的方法和装置
CN107004250B (zh) 图像生成装置及图像生成方法
JP7095559B2 (ja) 区画線検出装置及び区画線検出方法
JP2018048949A (ja) 物体識別装置
JP2011022995A (ja) 消失点推定装置およびプログラム
JP4721278B2 (ja) 車線逸脱判定装置、車線逸脱防止装置および車線追従支援装置
JP2012252501A (ja) 走行路認識装置及び走行路認識用プログラム
JP2015197794A (ja) レーン検出装置、車線維持支援システム、およびレーン検出方法
US10789727B2 (en) Information processing apparatus and non-transitory recording medium storing thereon a computer program
JP5345999B2 (ja) レーンマーク認識装置
JP5832850B2 (ja) 車線監視システム及び車線監視方法
US20170124880A1 (en) Apparatus for recognizing vehicle location
CN110570680A (zh) 利用地图信息确定对象位置的方法和系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161117

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161122

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170427

R150 Certificate of patent or registration of utility model

Ref document number: 6139465

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees