JP7268490B2 - 物体認識装置、運転支援システム - Google Patents

Description

本開示は、車両周辺の物体を認識する技術に関する。

特許文献１に記載の運転支援システムは、ステレオカメラにより撮影された撮影画像に基づいて、車両周辺の物体までの距離を算出し、算出した距離を用いて運転支援を行っている。ここで、物体が荷台付きトラックである場合、撮影画像に荷台の後あおりが入っているときには、物体までの距離として、後あおりまでの距離が算出される。しかしながら、撮影画像において荷台の後あおりが見切れているときには、物体までの距離として、荷台の前壁までの距離が算出される。そのため、荷台の後あおりが入っているフレームから、後あおりが入っていないフレームに変化した場合には、フレーム間で物体までの距離が大きく増加する距離飛びが発生する。

上記運転支援システムは、撮影画像に後あおりが入っていないと判定した場合には、過去フレームの統計情報を用いて、後あおりまでの距離を算出している。これにより、上記運転支援システムは、荷台の後あおりが入っているフレームから、後あおりが入っていないフレームに変化した場合であっても、物体が車両から遠くに移動したように検出されることを抑制し、制動制御が緩まることを抑制している。

特許第５４１１６７１号公報

上記運転支援システムは、荷台の後あおりが入っているフレームから後あおりが入っていないフレームに変化した場合において、運転支援制御の誤作動の発生を抑制している。しかしながら、本発明者は、物体までの距離に基づく物体端部位置の誤認識に伴う運転支援制御の誤作動は、フレーム間で物体が車両から遠ざかる方向に距離飛びが発生した場合以外でも、発生する可能性があるとの知見を得た。

本開示は、車両周辺の物体の端部位置の誤認識に伴う運転支援装置の誤作動を抑制することが可能な物体認識装置及び運転支援システムを提供する。

本開示の１つの局面は、運転支援装置（５０）を備えた車両（６０）に搭載された物体認識装置（１０）であって、距離検出部（３１，Ｓ２０）と、距離変化判定部（４０，Ｓ８０，Ｓ９０）と、抑制部（４０，Ｓ１００）と、を備える。距離検出部は、車両から車両の周辺に存在する物体までの瞬時距離を繰り返し検出するように構成される。距離変化判定部は、対象物体について、距離検出部により今回検出された瞬時距離が、距離検出部により前回検出された瞬時距離よりも近く、且つ、その瞬時距離の変化量が、設定された変化量閾値を超えているか否かの、瞬時距離に関する判定を実行するように構成される。抑制部は、距離変化判定部による判定結果が肯定的であった場合に、運転支援装置の作動を抑制する抑制信号を出力するように構成される。

本開示の１つの局面によれば、今回検出された瞬時距離が、同じ物体について前回検出された瞬時距離よりも近く、且つ、その瞬時距離の変化量が距離閾値を超えているか否か判定される。すなわち、連続するフレーム間で物体が車両に近づく方向に距離飛びが発生したか否か判定される。一般に、車両周辺の物体が車両に急激に接近した場合、運転支援装置が作動して、物体との衝突を回避するためのブレーキによる減速や物体との衝突回避操作を運転者に促すためのブザー鳴動が実行される。そのため、実際は物体と車両との衝突可能性が高くない状況においても、連続するフレーム間において、物体が車両に近づく方向に距離飛びが発生すると、運転支援装置が誤作動することがある。そこで、物体が車両に近づく方向に距離飛びが発生していると判定された場合には、運転支援装置の作動を抑制する抑制信号が出力される。これにより、物体までの距離に基づく物体端部位置の誤認識に伴って、連続するフレーム間において物体が車両に近づく方向に距離飛びが発生した場合であっても、運転支援装置の誤作動を抑制することができる。

本実施形態に係る運転支援システムの構成を示すブロック図である。 トラックの荷台部分が見切れたフレームから、トラックの荷台部分が画角内に入っているフレームへの変化を示す図である。 トランクの荷台部分が見切れた場合に検出される瞬時距離と、トラックの荷台部分が画角内にある場合に検出される瞬時距離とを示す図である。 本実施形態に係る物体認識処理の手順を示すフローチャートである。

以下、図面を参照しながら、本開示を実施するための形態を説明する。
＜１．構成＞
まず、本実施形態に係る運転支援システム１００の構成について、図１を参照して説明する。

運転支援システム１００は、物体認識装置１０と、運転支援装置５０と、を備え、車両６０の運転を支援する。
物体認識装置１０は、右カメラ２１ａと、左カメラ２１ｂと、露出部２２ａ，２２ｂと、視差算出部２３と、物体検出部２４と、物体追跡部２５と、認識部３０と、安定度判定部４０と、を備える。

右カメラ２１ａ及び左カメラ２１ｂは、互いに同期が取られたＣＣＤセンサやＣＭＯＳセンサ等のイメージセンサを備え、ステレオカメラを構成している。右カメラ２１ａ及び左カメラ２１ｂは、例えば、車両６０のフロントガラスの内側において、車幅方向に所定の間隔をあけて、路面から同じ高さに取り付けられている。露出部２２ａ，２２ｂは、右カメラ２１ａ及び左カメラ２１ｂのシャッターを繰り返し開いて、右カメラ２１ａ及び左カメラ２１ｂのイメージセンサに光を当てる。これにより、右カメラ２１ａ及び左カメラ２１ｂによる撮影が実行される。右カメラ２１ａ及び左カメラ２１ｂは、所定の周期（例えば、０．１秒間隔）で車両６０の周辺を繰り返し撮影する。

視差算出部２３は、例えば、イメージプロセッサにより実現される機能である。視差算出部２３は、右カメラ２１ａ及び左カメラ２１ｂにより撮影された都度、左右の撮影画像のアナログデータを、画素ごとに、所定の輝度階調のデジタルデータに変換する。そして、視差算出部２３は、左右のデジタル画像のステレオマッチングを行って視差を算出し、距離画像を生成する。

物体検出部２４、物体追跡部２５、認識部３０及び安定度判定部４０は、ＣＰＵ、ＲＯＭ、ＲＡＭ及びＩ／Ｏ等を備えたマイクロコンピュータにより実現される機能である。物体検出部２４は、視差算出部２３により生成された距離画像から、自車両の周囲に存在する物体を検出する。物体追跡部２５は、同じ物体を示す、今回検出された物体と前回検出された物体とを対応付ける。

認識部３０は、距離検出部３１と、速度検出部３２と、種別判定部３３と、を備え、車両６０から物体（詳しくは、物体の最後端と認識した部分）までの瞬時距離、車両６０に対する物体の絶対速度、物体の種別を繰り返し検出して認識する。安定度判定部４０は、認識部３０による認識結果を運転支援装置５０へ出力する。また、安定度判定部４０は、認識部３０による認識結果に基づいて、認識結果の安定度を判定し、認識結果の安定度が比較的低い場合には、運転支援装置５０の作動を抑制する抑制信号を、運転支援装置５０へ出力する。

例えば、安定度判定部４０は、今回のフレームにおいて検出された瞬時距離が、前回のフレームにおいて同じ物体について検出された瞬時距離よりも近く、且つ、連続する２つのフレーム間における瞬時距離の変化量Ｄｓｕｂが、予め設定された変化量閾値Ｄｔｈよりも大きいときに、認識結果の安定度が比較的低いと判定して、抑制信号を出力する。

このように、連続するフレーム間で、同じ物体までの瞬時距離が大きく減少する距離飛びは、物体が特定形状を有する場合に発生する。具体的には、特定形状は、車両の下側部分（すなわち路面に近い側の部分）が、車両の上側部分よりも後方に突出している形状である。すなわち、特定形状は、車両の後方から見て、車両の下側部分までの距離と、車両の上側部分までの距離とに差が存在する形状である。この特定形状を有する物体の一つとして、荷台付きトラックが挙げられる。

図２及び図３に示すように、荷台付きトラック８０（以下、トラック８０）の荷台の後あおりが、右カメラ２１ａ及び左カメラ２１ｂの画角ＰＡ内に入っていないフレームでは、車両６０から物体までの距離として、荷台の前壁又はキャブの背面までの距離Ｐ１が検出される。一方、トラック８０の荷台の後あおりが、右カメラ２１ａ及び左カメラ２１ｂの画角ＰＡ内に入っているフレームでは、車両６０から物体までの距離として、トラック８０の荷台の後あおりまでの距離Ｐ２が検出される。

この場合、運転支援装置５０は、トラック８０までの距離が距離Ｐ１から距離Ｐ２に変化したことにより、実際には急激に接近していないにもかかわらず、トラック８０が車両６０に急激に接近していると認識する。その結果、運転支援装置５０は、車両６０とトラック８０の衝突を回避するように、誤作動する可能性がある。そのため、安定度判定部４０は、連続するフレーム間において、同じ物体までの瞬時距離が大きく減少した場合に、運転支援装置５０の作動を抑制するための抑制信号を出力する。本実施形態では、安定度判定部４０が、距離変化判定部、抑制部、位置判定部、及び速度判定部に相当する。

なお、特定の特性を有する物体は、荷台付きトラック以外に、アームを後方に向けた重機が荷台に積まれたトラック、車両が積まれていないキャリアカー、車両の下側部分に積まれた木材などの積荷が後方に大きくはみ出した車両などが挙げられる。アームを後方に向けた重機が荷台に積まれている場合、アームが画角内に入っている場合は、物体までの距離として、アームまでの距離が検出され、アームが画角内に入っていない場合は、物体までの距離として、重機本体までの距離が検出される。

運転支援装置５０は、ＣＰＵ、ＲＯＭ、ＲＡＭ及びＩ／Ｏ等を備えたマイクロコンピュータと、ブザー５１及びブレーキ５２を備える。運転支援装置５０は、物体認識装置１０から出力された認識結果に基づいて、車両６０と物体との衝突危険度が第１閾値よりも高いと判定した場合に、作動する。具体的には、運転支援装置５０は、ブザー５１を鳴動させて、前方衝突警報（すなわち、Forward Collision Warning）を実行する。また、衝突危険度が第２閾値よりも高くなった場合には、運転支援装置５０は、ブレーキ５２を作動させて、自動緊急ブレーキ（すなわち、Autonomous Emergency Braking）による減速を実行する。第２閾値は、第１閾値よりも高い値である。

また、運転支援装置５０は、物体認識装置１０から抑制信号を受信した場合には、衝突危険性が比較的高いと判定した場合であっても、作動を抑制する。例えば、運転支援装置５０は、衝突危険度が第２閾値よりも高い場合であっても、ブレーキ５２を作動させず、ブザー５１を鳴動させるだけにする。また、運転支援装置５０は、衝突危険度が第１閾値よりも高い場合であっても、ブザー５１を鳴動させないようにする。

なお、車両６０が、一定速度（例えば、５０ｋｍ／ｈ）以上で先行車両に接近する場合、先行車両が特定形状を有していなくても、今回のフレームと前回のフレームとの間で大きく瞬時距離が減少する距離飛びが発生し得る。しかしながら、この場合、今回のフレームで運転支援装置５０の作動が抑制されても、前回のフレームの時点で運転支援装置５０が作動するため、支障が生じる可能性は低い。

＜２．処理＞
次に、物体認識装置１０が実行する物体認識処理の手順について、図４のフローチャートを参照して説明する。

まず、Ｓ１０では、物体検出部２４が、距離画像から物体を検出する。続いて、Ｓ２０では、距離検出部３１が、Ｓ１０において検出された物体の瞬時距離を検出する。続いて、Ｓ３０では、速度検出部３２が、Ｓ１０において検出された物体の絶対速度を、フレーム間の当該物体の移動量と車両６０の速度とを用いて算出する。続いて、Ｓ４０では、種別判定部３３が、テンプレートマッチング等を行い、Ｓ１０において検出された物体の種別を判定する。

続いて、Ｓ５０では、安定度判定部４０が、Ｓ４０において判定された種別が車両か否か判定する。Ｓ５０において、物体の種別が車両以外と判定された場合は、本処理を終了する。一方、Ｓ５０において、物体の種別が車両と判定された場合は、Ｓ６０の処理へ進む。

Ｓ６０では、安定度判定部４０が、Ｓ３０において検出された物体の絶対速度が、予め設定された速度閾値よりも大きいか否か判定する。この速度閾値は、物体が移動しているか否か判定するための閾値である。Ｓ６０において、物体の絶対速度が速度閾値以下と判定された場合は、本処理を終了する。一方、Ｓ６０において、物体の絶対速度が速度閾値よりも大きいと判定された場合は、Ｓ７０の処理へ進む。

Ｓ７０では、安定度判定部４０が、Ｓ２０において算出された物体の瞬時距離が、予め設定された下端見切れ位置ＰＰまでの見切れ距離未満か否か判定する。図３に示すように、下端見切れ位置ＰＰは、画角ＲＡに応じて決まる位置である。具体的には、下端見切れ位置ＰＰは、その位置の路面が画角ＲＡに入り、且つ、右カメラ２１ａ及び左カメラ２１ｂに最も近い位置である。下端見切れ位置ＰＰよりも前方に物体の後端部分が存在する場合、物体の後端部分が見切れることによる距離飛びは発生しない。すなわち、Ｓ７０では、連続するフレーム間で、大きく瞬時距離が減少する距離飛びが発生し得るか否か判定する。Ｓ７０において、物体の瞬時距離が見切れ距離以上と判定された場合には、本処理を終了する。一方、Ｓ７０において、物体の瞬時距離が見切れ距離未満と判定された場合には、Ｓ８０の処理へ進む。

Ｓ８０では、安定度判定部４０が、同じ物体について、前回のフレームにおいて算出された瞬時距離から、今回のフレームにおいて算出された瞬時距離を差し引いて、瞬時距離の変化量Ｄｓｕｂを算出する。

続いて、Ｓ９０では、安定度判定部４０が、Ｓ８０にいて算出された瞬時距離の変化量Ｄｓｕｂが、予め設定された変化量閾値Ｄｔｈよりも大きいか否か判定する。すなわち、Ｓ９０では、今回検出された瞬時距離が、前記同じ物体について検出された瞬時距離よりも近く、且つ、瞬時距離の変化量Ｄｔｈが変化量閾値Ｄｔｈを超えているか否か判定する。Ｓ９０において、瞬時距離の変化量Ｄｓｕｂが変化量閾値Ｄｔｈ以下と判定された場合は、本処理を終了する。一方、Ｓ９０において、瞬時距離の変化量Ｄｓｕｂが変化量閾値Ｄｔｈよりも大きいと判定された場合は、Ｓ１００の処理へ進む。なお、本実施形態では、Ｓ９０の処理が、瞬時距離に関する判定に相当する。

Ｓ１００では、安定度判定部４０が、ブレーキ５２の作動を抑制する抑制信号を、運転支援装置５０へ出力する。安定度判定部４０は、ブザー５１の鳴動を抑制する抑制信号を、運転支援装置５０へ出力してもよい。以上で本処理を終了する。

＜３．効果＞
以上説明した本実施形態によれば、以下の効果が得られる。
（１）今回取得されたフレームにおいて検出された瞬時距離が、前回取得されたフレームにおいて同じ物体について検出された瞬時距離よりも近く、且つ、瞬時距離の変化量Ｄｓｕｂが距離閾値Ｄｔｈよりも大きいか否か判定される。そして、当該判定の判定結果が肯定的であった場合には、物体認識装置１０から運転支援装置５０へ、運転支援装置５０の作動を抑制する抑制信号が出力される。これにより、物体端部位置の誤認識に伴い、フレーム間で物体が車両６０に近づく方向に距離飛びが発生した場合であっても、運転支援装置５０の誤作動を抑制することができる。

（２）今回検出された瞬時距離が、車両６０から下端見切れ位置ＰＰまでの見切れ距離未満か否か判定され、見切れ距離未満と判定された場合に、距離判定処理が実行される。これにより、運転支援装置５０の誤作動が発生する可能性がある場合に限って瞬時距離に関する判定が実行されるため、運転支援装置５０の作動が不必要に抑制されることを回避することができる。

（３）物体の絶対速度が検出され、検出された絶対速度が速度閾値以上であるか否か判定される。そして、絶対速度が速度閾値以上であると判定された場合に、瞬時距離に関する判定が実行される。これにより、運転支援装置５０の作動が不必要に抑制されることを回避することができる。
（４）物体の種別が取得され、取得された物体の種別が車両である場合に、瞬時距離に関する判定が実行される。これにより、運転支援装置５０の作動が不必要に抑制されることを回避することができる。

（５）運転支援装置５０は、物体認識装置１０から出力された抑制信号を受信した場合に、ブザー５１及び／又はブレーキ５２の作動を抑制する。これにより、車両６０の周辺の物体の端部位置の誤認識に伴うブザー５１及び又はブレーキ５２の誤作動を抑制することができる。

（他の実施形態）
以上、本開示を実施するための形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

（ａ）上記実施形態では、運転支援装置５０が、ブザー５１とブレーキ５２の両方を備えていたが、どちらか一方だけを備えていてもよい。
（ｂ）物体認識装置１０の各機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されていてもよい。

（ｃ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。

（ｄ）上述した物体認識装置の他、当該物体認識装置を構成要素とするシステム、当該物体認識装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、物体認識方法など、種々の形態で本開示を実現することもできる。

１０…物体認識装置、３１…距離検出部、３２…速度検出部、３３…種別判定部、４０…安定度判定部、５０…運転支援装置、１００…運転支援システム。

Claims (5)

1. 運転支援装置（５０）を備えた車両（６０）に搭載された物体認識装置（１０）であって、
   前記車両から前記車両の周辺に存在する物体までの瞬時距離を繰り返し検出するように構成された距離検出部（３１，Ｓ２０）と、
   対象物体について、前記距離検出部により今回検出された瞬時距離が、前記距離検出部により前回検出された瞬時距離よりも近く、且つ、その瞬時距離の変化量が、設定された変化量閾値を超えているか否かの、瞬時距離に関する判定を実行するように構成された距離変化判定部（４０，Ｓ８０，Ｓ９０）と、
   前記距離変化判定部による判定結果が肯定的であった場合に、前記運転支援装置が備えるブレーキの作動及び／又は前記運転支援装置が備えるブザーの鳴動を抑制する抑制信号を出力するように構成された抑制部（４０，Ｓ１００）と、を備える、
   物体認識装置。
2. 前記対象物体について前記距離検出部により今回検出された前記瞬時距離が、前記車両から設定された下端見切れ位置までの距離である見切れ距離未満か否か判定するように構成された位置判定部（４０，Ｓ７０）を更に備え、
   前記距離検出部は、車載カメラにより繰り返し撮影された撮影画像の各々から前記瞬時距離を検出するように構成されており、
   前記距離変化判定部は、前記位置判定部により前記瞬時距離が前記見切れ距離未満と判定された場合に、前記瞬時距離に関する判定を実行するように構成されており、
   前記下端見切れ位置は、前記車載カメラの画角にその位置の路面が入り、且つ、前記路面の前記車載カメラに最も近い位置である、
   請求項１に記載の物体認識装置。
3. 前記対象物体の絶対速度を検出するように構成された速度検出部（Ｓ３２，Ｓ３０）と、
   前記速度検出部により検出された前記対象物体の絶対速度が、設定された速度閾値よりも大きいか否か判定するように構成された速度判定部（４０，Ｓ６０）と、を備え、
   前記距離変化判定部は、前記速度判定部により前記絶対速度が前記速度閾値よりも大きいと判定された場合に、前記瞬時距離に関する判定を実行するように構成されている、
   請求項１又は２に記載の物体認識装置。
4. 前記対象物体の種別を判定するように構成された種別判定部（３３，Ｓ４０）と、
   前記距離変化判定部は、前記種別判定部により判定された前記対象物体の種別が車両である場合に、前記瞬時距離に関する判定を実行するように構成されている、
   請求項１～３のいずれか１項に記載の物体認識装置。
5. 請求項１～４のいずれか１項に記載の物体認識装置（１０）と、前記物体認識装置による認識結果を用いて運転支援制御を実行するように構成された運転支援装置（５０）と、を備える運転支援システム（１００）であって、
   前記運転支援装置は、前記抑制部から出力された前記抑制信号を受信した場合に、前記運転支援装置が備えるブレーキの作動及び／又は前記運転支援装置が備えるブザーの鳴動を抑制するように構成されている、
   運転支援システム。

Images