JP5177515B2 - 周辺認知支援システム - Google Patents

Description

本発明は、運転者の車両周辺への目視を促し、駐車等の後退運転時の安全性を高める周辺認知支援システムに関する。

従来、車両の駐車時に運転者の操作負担及び監視負担を軽減することができる技術が知られている。例えば、車両周辺の画像と車両周辺に存在する障害物までの距離とから障害物の立体的形状を高精度且つ高信頼性に取得する障害物検出装置があった（特許文献１参照）。この障害物検出装置によって得られた立体的形状を車両周辺の前記画像に重畳して運転者に示すことで、運転者は確実に障害物を認識でき、障害物への衝突を防止することができた。

また、距離センサから得た車両周辺に存在する物体の表面形状情報に基づいて前記物体の輪郭形状を認識する形状認識手段を備える物体認識装置があった（特許文献２参照）。この輪郭形状の認識結果と、前記距離センサにより同時に得られる車両と物体との距離情報とから両者の相対配置を演算することができ、その相対配置を車両周辺の撮影画像と重畳してディスプレイ等の報知手段に表示したり、音声や音響などにより運転者に報知することができた。したがって、障害物への衝突を防止することができ、運転者は安全に駐車運転することができた。

特開２００７−１１４０５７号公報 特開２００７−００４６９７号公報

上述の技術は、目標とする駐車スペースに隣接して駐車されている駐車車両や、車両の駐車運転軌道上及びその近辺にある障害物等の情報を運転者に報知し運転操作を支援する、いわゆる駐車支援装置である。このため、ディスプレイ等の表示画面で確認できない範囲、すなわち撮影装置の撮影範囲外に存在する物体は対象としていなかった。また、駐車運転中に運転者の注意力は表示画面に集中している。このため、前記撮影範囲外から車両に接近する物体、例えば、歩行者等に気付かない場合があった。

現在市販されている駐車支援装置においては、音声や表示画面への文言表示で運転者に撮影範囲外を目視確認するよう促すものがある。しかしながら、表示画面には障害物そのものが映っていないため、運転者が周辺を目視確認することを怠る場合があった。

上記実情に鑑み、本発明は車両の周辺への目視を運転者に自然に促す周辺認知支援システムを提供することを目的とする。

上記目的を達成するための本発明に係る周辺認知支援システムの第１特徴構成は、撮影装置による車両の周辺の撮影画像を受取って画像処理する画像処理部と、前記車両の周辺に存在する物体の位置を検知する物体位置検知手段と、その物体位置検知手段の検知結果に基づいて前記物体に係る情報を認定する物体認定部と、前記物体認定部により認定され前記撮影装置の撮影範囲外であって特定領域にある物体の存在を想像させる造形画像を生成する造形画像生成部と、前記画像処理後の撮影画像と前記造形画像とを合成処理して、前記車両内の表示装置へ出力する表示画像制御部とを備え、前記造形画像が前記物体の存在を想像させる仮想影であり、前記表示装置に前記仮想影を表示するとき、前記仮想影の周辺の明度を高める表示調整機能を有することにある。

本構成によれば、撮影画像を表示する表示装置に、撮影装置の撮影範囲外であって特定領域に存在する物体の存在を想像させる造形画像が表示される。このため、運転者はその造形画像が示唆する物体の存在を確認するべく、表示装置から車両の周辺の物体へ視線を向ける。したがって、運転者が表示装置に集中するあまりに車両の周辺の物体を見逃すことがなく、安全に運転をすることができる。
また、仮想影を表示画面に表示させて運転者に前記物体の存在を報知する。影はどのような物体にも付随しているもので、何らかの物体の存在を直感的に想起させるものである。このため、運転者に対して効果的に物体への注意を喚起させることができ、車両の周辺に視線を移すことを運転者に強く促すことができる。
また、表示画面の仮想影の周辺の明度を高くするため、仮想影が見易くなる。

本発明に係る周辺認知支援システムの第２特徴構成は、前記物体位置検知手段の検知結果により特定される前記物体の位置に基づいて、前記造形画像の前記表示装置における表示位置を決定することにある。

本構成によれば、表示装置において、物体の位置に基づいた位置に造形画像が表示されるため、運転者は物体の大凡の位置を把握でき、的確に物体のある方向を目視することができる。

本発明に係る周辺認知支援システムの第３特徴構成は、前記物体が移動物であるか、静止物であるかを判定する移動判定手段を備え、前記物体が移動物であると判定されたとき前記造形画像を生成することにある。

本構成によれば、撮影範囲外にある物体が移動物である場合にのみ、前記造形画像が前記表示装置に表示される。物体が静止している場合と比べて、物体が移動している場合は車両が前記物体に衝突する可能性が当然高い。つまり、衝突の可能性が高い場合にのみ運転者に車両の周辺を目視させることができる。

本発明に係る周辺認知支援システムの第４特徴構成は、前記撮影装置の撮影範囲と前記物体位置検知手段の検知範囲とに重複領域を設け、検知された前記物体が前記撮影装置の撮影範囲内に位置するか、撮影範囲外に位置するかを判定する位置判定手段を備え、前記物体が前記撮影範囲外に位置すると判定されたとき前記造形画像を生成することにある。

本構成によれば、検知範囲が広い物体位置検知手段を使用し、撮影範囲と検知範囲とに重複する領域を設けるような場合であっても、前記物体が前記撮影範囲内に位置するか、前記撮影範囲外に位置するかを的確に判定することができる。なお、撮影範囲外か否かは、撮影装置の設置位置、方向及び視野角が設計上既知であることから判断できる。このため、物体位置検知手段の選択の幅が広がり、また、その設置位置、設置方向もある程度自由に設定でき、車種などによる制約も少なくなる。

本発明に係る周辺認知支援システムの第５特徴構成は、前記物体と前記車両との衝突の可能性を判定する危険判定手段を備えたことにある。

本構成によれば、車両と物体との衝突の可能性を判断できるため、衝突の危険度に応じて造形画像の表示の有無、造形画像の色彩、濃淡等を自由に選択できる。このため、運転者に対して状況に応じた的確な報知を行うことができ、より高度な周辺認知支援システムを提供することができる。

以下、本発明の実施形態として、周辺認知支援システム１を車両Ｃに適応した例を図面に基づいて説明する。

（全体構成）
図１は、本発明に係る周辺認知支援システム１の構成を模式的に示すブロック図である。周辺認知支援システム１は、画像処理部３と、物体位置検知手段５としての超音波センサ５Ａと、物体認定部６と、造形画像生成部７と、表示画像制御部８とを備えている。

図２に示すごとく、車両後面ＣＢには、撮影装置としてのカメラ２が備えられており、車両Ｃの後方の情景を撮影できる。ここで、カメラ２は後方を広角撮影するいわゆるバックカメラである。その撮影範囲Ｍは、後退運転時に必要な最低限の情景を撮影できるよう設定されており、車内に搭載されている表示装置としてディスプレイ４に、この情景が映し出される。運転者は、駐車時等の後退運転を行うとき、車両Ｃの後方に障害物等がないかをディスプレイ４を見て確認しつつ、駐車等の後退運転を行う。ディスプレイ４に表示される情景に関しては、ディスプレイ４の下側から上側への方向が車両Ｃが後退する方向であり、ディスプレイ４の右側が車両Ｃの左側で、ディスプレイ４の左側が車両Ｃの右側を表している。

（画像処理部）
画像処理部３はカメラ２による撮影画像２１を受取り、人間の目に違和感なく自然に見えるよう画像処理する。この画像処理は公知の技術であるため、演算処理等の詳細はここでは説明しない。

（物体位置検知手段）
物体位置検知手段５としての超音波センサ５Ａが、図２に示すごとく、車両Ｃの側方から後方にかけて存在する物体Ｐの位置を検知できるよう車両側面ＣＳの両側に設置されている。超音波センサ５Ａは、物体Ｐの超音波センサ５Ａに対する物体Ｐの時系列毎の相対的な位置を検出する。

物体を検知するメカニズムを簡単に説明すると、超音波センサ５Ａから超音波が送信され、この超音波が物体Ｐに当たって反射波が生じ、この反射波を超音波センサ５Ａが受信する。超音波センサ５Ａは、この送信から受信までの時間に基づいて演算処理を行い、三角測量手法等を用いて物体Ｐの相対的な位置を検知する。このような超音波センサ５Ａは公知のものであるため、演算処理等の詳細については説明しない。

検知範囲Ｎ１は、車両Ｃの側方から後方にかけての範囲で設定する。特に運転者の死角となりやすい範囲を網羅すると良い。検知範囲Ｎ１の角度を１２０°以下に設定すれば、低出力の超音波センサ５Ａでも適用でき、９０°以下に設定すれば、低出力の超音波センサ５Ａでもさらに検知感度が向上する。本実施形態では、検知範囲Ｎ１角度を１２０°前後に設定している。

本実施形態では、撮影範囲Ｍの境界付近の物体Ｐを漏れなく検知するために、検知範囲Ｎ１と撮影範囲Ｍとは一部重複させている。

（物体認定部）
物体認定部６は、超音波センサ５Ａから検知結果を受取り、検知範囲Ｎ１内に存在する物体Ｐの情報を認定する。検知範囲Ｎ１の範囲内であって特に監視すべき範囲である特定領域が予め設定されており、物体認定部６は特定領域に存在する物体Ｐの情報のみを認定する。監視の重要度は、車両Ｃから物体Ｐまでの距離、検知範囲の角度等を基準として決定する。特定領域は、特に設定していなくても良い。

時系列毎の物体Ｐの相対的な位置データと時系列毎の車両Ｃの対地運動データとから物体Ｐの車両Ｃに対する相対的な動き及び相対的な速度を演算する。そして、物体Ｐが移動物であるか、静止物であるかを判定する。物体Ｐが移動物であると判定されたときは造形画像生成に係る処理は続き、静止物であると判定されたときは処理は終了される。この判定手段が本発明に係る移動判定手段９である。移動判定手段９は、物体認定部６にその機能を持たせても、別途設けても良い。

本構成によると、物体Ｐが衝突の可能性が比較的高い移動物である場合にのみ運転者へ物体の存在を視覚的に報知することができる。

物体認定部６は、カメラ２の仕様及び設置状態、例えば、視野角、設置位置、設置方向等から予め設定された撮影範囲Ｍに関するデータと、認定した物体Ｐの位置情報とに基づいて演算処理を行い、物体Ｐが撮影範囲Ｍの範囲内にあるのか、撮影範囲Ｍの範囲外にあるのかを判定する。物体Ｐが撮影範囲Ｍの範囲内にあると判定されたときは造形画像生成に係る処理は続き、撮影範囲Ｍの範囲外にあると判定されたときは処理は終了される。この判定手段が本発明に係る位置判定手段１０である。位置判定手段１０は、物体認定部６にその機能を持たせても、別途設けても良い。

本構成によれば、検知範囲Ｎ１が広い超音波センサ５Ａを使用し、検知範囲Ｎ１と撮影範囲Ｍとが重複するような場合であっても、物体Ｐが撮影範囲Ｍの範囲内に位置するか、撮影範囲Ｍの範囲外に位置するかを判定することができる。このため、物体位置検知手段５の選択の幅が広がり、また、その設置位置、設置方向もある程度自由に設定でき、車種などによる制約も少なくなる。

物体認定部６は、物体Ｐの車両Ｃに対する相対的な動き並びに相対的な速度とに基づいて、物体Ｐが車両Ｃに接近しつつあるのか、衝突の可能性があるのか、等の衝突の可能性を判定する。この判定手段が、本発明における危険判定手段１１である。本判定を行うに当たり、衝突の可能性の判定基準となる物体Ｐの車両Ｃに対する位置、接近方向、速度等の諸条件を予め設定してある。衝突の可能性があると判定されたときは造形画像生成に係る処理は続き、衝突の可能性がないと判定されたときは処理は終了される。危険判定手段１１は、物体認定部６にその機能を持たせても、別途設けても良い。

また、衝突する危険度に応じてレベル分けをしても良い。

（造形画像生成部）
造形画像生成部７は、物体認定部６において衝突の可能性があると判断された場合に、物体認定部６が認定した物体Ｐの位置情報に基づいて、造形画像としての仮想影Ｓを生成する。

影は、何らかの物体の存在を直感的に想起させることができるため、運転者に対して物体Ｐへの注意を効果的に喚起することができ、車両Ｃの周辺に視線を移すことを運転者に強く促すことができる。

仮想影Ｓは、長さ、形状、向きを含め、物体Ｐの現実の影に近似させる必要はない。本発明は、ディスプレイ４の表示に集中する運転者に対して、車両Ｃの側方から後方にわたるディスプレイ４で確認できない範囲に物体があることを報知し車外への注意を喚起することを目的としており、運転者が仮想影Ｓを見て物体の存在を認識し、その方向を目視すれば、その目的は十分達成されたと言えるからである。同様の理由より、複数の物体Ｐが検知された場合にも、生成される仮想影Ｓは一つで良い。

少なくとも、仮想影Ｓを見た運転者が物体Ｐのある方向を判断できれば良い。このため、特定された物体Ｐの位置に基づいて、ディスプレイ４における表示位置を決定しなければならない。つまり、造形画像生成部７は、車両Ｃの右側の超音波センサ５Ａが物体Ｐを検知した場合は、ディスプレイ４の左下に表示する仮想影Ｓを生成し、車両Ｃの左側の超音波センサ５Ａが物体Ｐを検知した場合は、ディスプレイ４の右下に表示する仮想影Ｓを生成する。

本構成によると、運転者は物体Ｐの大凡の位置を把握でき、的確に物体Ｐのある方向を目視することができる。

仮想影Ｓの形状は、図３に示すごとく、人間の影を模した形状であると、より効果的に注意喚起することができる。上述の理由により、仮想影Ｓは、向き、長さ、形状等において一定であって、ディスプレイ４の特定の位置に表示される。ただし、太陽又は光源の位置、物体Ｐの三次元形状等を検知し現実の影を演算して、その現実の影に相当する仮想影Ｓをディスプレイ４に表示することに関して何ら制約を設けるものではない。

また、造形画像は仮想影Ｓに限定するものではなく、撮影範囲Ｍの範囲外の特定領域に物体Ｐが存在することを運転者に想像させるものであれば他の造形画像であって良い。例えば、図４に示すごとく、ディスプレイ４の内側から物体Ｐの存在する方向を指し示す矢印３１であっても良い。

また、危険判定手段１１において危険度のレベル分けをした場合は、影の濃淡、大きさ等を変更し、危険度の大小に応じた仮想影Ｓを生成することもできる。この場合は、運転者に対して状況に応じた報知を行うことができ、より高度な周辺認知支援システム１を提供することができる。

（表示画像制御部）
表示画像制御部８は、画像処理部３による画像処理後の撮影画像２２と仮想影Ｓとを合成処理し、その合成画像２３をディスプレイ４に出力する。仮想影Ｓが生成されていない場合は、画像処理後の撮影画像２２をそのままディスプレイ４に出力する。

表示画像制御部８は表示調整機能１２を有しており、仮想影Ｓの周辺の明度を高めることができる。このため、仮想影Ｓを強調することができ、運転者は仮想影Ｓを認知しやすくなる。

表示調整機能１２は、明度だけでなく、輝度、彩度等も調整できるものであっても良い。この場合は、危険度のレベルに応じて仮想影Ｓに濃淡を付したときにも、運転者が確実に仮想影Ｓを認知できるよう演出することができる。

（周辺認知支援システムの処理の流れ）
周辺認知支援システム１の処理の流れを図１に基づいて説明する。駐車等の後退運転が始まると、カメラ２が車両Ｃの後方の撮影を開始すると同時に超音波センサ５Ａが検知を開始する。

画像処理部３はカメラ２で撮影された撮影画像２１を受取り、画像処理を行う（＃８）。画像処理された画像処理後の撮影画像２２は表示画像制御部８に出力される。

超音波センサ５Ａの検知範囲Ｎ１に物体Ｐが存在するとき、超音波センサ５Ａは物体Ｐの位置を検知する（＃１）。物体認定部６は、超音波センサ５Ａから検知結果を受取って、特定領域に存在する物体Ｐの位置情報のみを認定する（＃２）。

物体Ｐの位置データと車両Ｃの対地運動データとに基づいて、物体Ｐの車両Ｃに対する相対的な動き及び相対的な速度を演算する。これにより、移動判定手段９によって、物体Ｐが移動物であるか、静止物であるかを判定する（＃３）。物体Ｐが移動していると判定されたときは仮想影生成に係る処理は続き、物体Ｐが静止物であると判定されたときは処理は終了する。

位置判定手段１０により、移動物である物体Ｐが撮影範囲Ｍの範囲内にあるのか、撮影範囲Ｍの範囲外にあるのかを判定する（＃４）。物体Ｐが撮影範囲Ｍの範囲外にあると判定されたときは仮想影生成に係る処理は続き、物体が撮影範囲Ｍの範囲内にあると判定されたときは処理は終了する。

撮影範囲Ｍの範囲外にあって移動物である物体Ｐが車両Ｃへ衝突する可能性が、危険判定手段１１において判定される（＃５）。衝突の可能性が高いと判定された場合は仮想影生成に係る処理は続き、衝突の可能性が低いと判定された場合は処理は終了する。危険判定手段１１によって衝突の可能性が高いと判定された物体Ｐの情報は、造形画像生成部７に出力される（＃６）。

造形画像生成部７は、物体Ｐの情報を受取ると、物体Ｐの位置情報に基づいて、ディスプレイ４の右下に表示する仮想影Ｓ又は左下に表示する仮想影Ｓを生成する（＃７）。上述したように、一つの超音波センサ５Ａが複数の物体Ｐを検知した場合にも生成する仮想影Ｓは一つである。両方の超音波センサ５Ａが夫々物体Ｐを検知した場合は、ディスプレイ４の右下、左下の両方に表示する仮想影Ｓを夫々生成する。造形画像生成部７で生成された仮想影Ｓのデータは表示画面制御部に出力される。

表示画像制御部８は、画像処理後の撮影画像２２と仮想影Ｓのデータを受取って合成処理する（＃９）。また、表示調整機能１２によって、仮想影Ｓの周辺の明度を高める（＃１０）。合成画像２３はディスプレイ４に出力される。＃３乃至＃５で処理が終了し、仮想影Ｓが生成されなかった場合は、画像処理後の撮影画像２２をディスプレイ４に出力する。

撮影範囲Ｍの範囲内の事象に関して運転操作を支援する駐車支援装置が車両Ｃに搭載されている場合は、カメラ２、画像処理部３、ディスプレイ４を併用することができる。前記駐車支援装置用のセンサを物体位置検知手段５として利用できる場合もある。また、ハッチバック型のバックドアなどの開閉時において当該ドアに接触する可能性のある障害物の検出に利用されるセンサを物体位置検知手段５として転用することも可能である。これら場合には、既存の装置を利用することが可能となり、低コストで本発明を実現することが可能である。

本発明は、バックカメラによる撮影画像に対して適用する場合に限定されず、サイドカメラによる車両Ｃの側方の撮影画像に対して適用しても良い。

（別の実施形態）
物体位置検知手段５として指向性を有するソナー式の距離センサ５Ｂを用いた実施例を図面に基づいて説明する。図５は、本発明に係る周辺認知支援システム１の構成を模式的に示すブロック図である。この距離センサ５Ｂは、例えばポイントセンサなどである。距離センサ５Ｂは、車両Ｃの移動に応じて物体Ｐまでの距離を計測する。上述の実施形態と同様の構成については、説明は省略する。同じ構成の箇所には同じ符号を付すこととする。

距離センサ５Ｂは、図６に示すごとく、車両側面ＣＳの両側に車両Ｃのやや後方を向け、カメラ２の撮影範囲Ｍと検知範囲Ｎ２とが重複しない方向に向けて設置している。このため、物体Ｐが検知された場合、物体Ｐは撮影範囲Ｍの範囲外に存在すると判定できる。したがって、本実施形態において位置判定手段１０は設けていない。

また、車両Ｃが動いており、検知範囲Ｎ２の角度が狭いため、物体Ｐの検知時間が僅かであることが多い。このため、本実施形態では移動判定手段９は設けていない。

また、ポイントセンサ等の距離センサ５Ｂは、検知範囲Ｎ２の角度が狭く、検知可能な距離を限定することができるため、検知範囲自体を特定領域とすることができる。

物体認定部６は、検知された物体Ｐと車両Ｃとの距離と距離センサ５Ｂの設置方向に基づいて、物体Ｐの車両Ｃに対する相対的な位置を認定する。

また、危険判定手段１１により、例えば、距離を判定基準として、危険度のレベル分けをしても良い。

距離センサ５Ｂを複数設置すれば、上述の実施形態と同様に時系列毎の物体Ｐの相対的な動き及び速度を演算することができる。

距離センサ５Ｂとして、例えば、走行支援などに利用されるレーザレーダを用いても良い。

また、距離センサ５Ｂは、指向性のあるポイントセンサに限らず、スキャン型のものも利用することができる。この場合は、検知範囲Ｎ２を広く取ることができるが、衝突の可能性がある物体Ｐと車両Ｃとの相対速度、スキャンする角度範囲、検知距離等の諸条件を細かく設定しなければならない。

本発明に係る周辺認知支援システムの構成を模式的に示すブロック図 撮影範囲外であって特定領域に存在する物体を認定する例を示す図 物体の仮想影をディスプレイに表示する場合の表示例を示す図 物体をディスプレイに表示する場合の他の表示例を示す図 別実施形態に係る周辺認知支援システムの構成を模式的に示すブロック図 別実施形態に係る物体の認定例を示す図

１ 周辺認知支援システム
２ カメラ（撮影装置）
３ 画像処理部
４ ディスプレイ（表示装置）
５ 物体位置検知手段
６ 物体認定部
７ 造形画像生成部
８ 表示画像制御部
９ 移動判定手段
１０ 位置判定手段
１１ 危険判定手段
１２ 表示調整機能
２１ 撮影画像
２２ 画像処理後の撮影画像
Ｐ 物体
Ｃ 車両
Ｓ 仮想影（造形画像）
Ｍ 撮影範囲
Ｎ１ 検知範囲

Claims (5)

1. 撮影装置による車両の周辺の撮影画像を受取って画像処理する画像処理部と、
   前記車両の周辺に存在する物体の位置を検知する物体位置検知手段と、
   その物体位置検知手段の検知結果に基づいて前記物体に係る情報を認定する物体認定部と、
   前記物体認定部により認定され前記撮影装置の撮影範囲外であって特定領域にある物体の存在を想像させる造形画像を生成する造形画像生成部と、
   前記画像処理後の撮影画像と前記造形画像とを合成処理して、前記車両内の表示装置へ出力する表示画像制御部とを備え、
   前記造形画像が前記物体の存在を想像させる仮想影であり、
   前記表示装置に前記仮想影を表示するとき、前記仮想影の周辺の明度を高める表示調整機能を有する周辺認知支援システム。
2. 前記物体位置検知手段の検知結果により特定される前記物体の位置に基づいて、前記造形画像の前記表示装置における表示位置を決定する請求項１に記載の周辺認知支援システム。
3. 前記物体が移動物であるか、静止物であるかを判定する移動判定手段を備え、前記物体が移動物であると判定されたとき前記造形画像を生成する請求項１又は２に記載の周辺認知支援システム。
4. 前記撮影装置の撮影範囲と前記物体位置検知手段の検知範囲とに重複領域を設け、
   検知された前記物体が前記撮影装置の撮影範囲内に位置するか、撮影範囲外に位置するかを判定する位置判定手段を備え、
   前記物体が前記撮影範囲外に位置すると判定されたとき前記造形画像を生成する請求項１乃至３に記載の周辺認知支援システム。
5. 前記物体と前記車両との衝突の可能性を判定する危険判定手段を備えた請求項１乃至４
   に記載の周辺認知支援システム。

Images