JP7183549B2 - 運転支援装置、車両、システムおよび方法 - Google Patents

Description

本発明は、運転支援装置、車両、システムおよび方法に関する。

車両のフロントガラスにナビゲーション情報や交通情報などの画像を表示させるヘッドアップディスプレイ（Head-Up Display、以下「ＨＵＤ」として参照する）技術が開発されている。ＨＵＤ技術では、フロントガラスから見える光景に画像を重ねて表示できることから、運転手は視点を移動させることなく情報を得ることができ、安全な運転を行うことができる。

また、特開平９－３５１７７（特許文献１）では、車両の周囲を撮影し、車両の前方に接近物がある場合には、ＨＵＤにメッセージを表示して警告する技術が開示されている。その他、車両に備えられたスピーカを用いて、接近物が存在する方向をユーザに知らせることが記載されている。特許文献１によれば、運転手は前方を見ながら車両の周囲の状況を把握することが可能となる。

しかしながら、特許文献１では、スピーカが発する音場によって接近物が存在する方向を通知していることから、例えば、右後方から警告音が聞こえた場合に、運転手は右後方のどの位置に視点を移動させれば接近物を視認できるのかという判断が困難である。

そこで、運転手が接近物の位置を容易に特定でき、接近物を視認しやすくする技術が求められていた。

本発明は、上記従来技術における課題に鑑みてなされたものであり、車両周囲の接近物の視認を運転手に促す運転支援装置、車両、システムおよび方法を提供することを目的とする。

すなわち、本発明によれば、自車両の周囲を撮影した撮影データを取得する周囲画像取得部と、前記周囲画像取得部が取得した前記撮影データから、前記自車両の周囲に存在する物体を認識する物体認識部と、前記物体認識部が認識した前記物体が所定の条件を満たすか否かを評価する評価部と、前記評価部が評価した結果に基づいて、前記自車両の運転手が前記物体認識部によって認識された前記物体を視認できる場所を示す警告情報を表示する表示制御部とを含む、運転支援装置が提供される。

上述したように、本発明によれば、車両周囲の接近物の視認を運転手に促す運転支援装置、車両、システムおよび方法が提供される。

本発明の実施形態におけるシステム全体の概略構成を示す図。 本実施形態の運転支援装置に含まれるハードウェア構成を示す図。 本実施形態の運転支援装置に含まれるソフトウェアブロック図。 本実施形態における危険度評価管理テーブルの一例を示す図。 本実施形態において運転支援装置が実行する処理を示すフローチャート。 本実施形態において表示された警告情報を含む、運転手から見える視界の例を示す図。

以下、本発明を、実施形態をもって説明するが、本発明は後述する実施形態に限定されるものではない。なお、以下に参照する各図においては、共通する要素について同じ符号を用い、適宜その説明を省略するものとする。

図１は、本発明の実施形態におけるシステム全体の概略構成を示す図である。図１（ａ）では、例として、運転支援装置１を搭載した車両を示している。

図１（ａ）に示すように、運転手はフロントガラス１０越しに前方の光景を見ながら運転し、また車両に設けられているルームミラー１１やサイドミラー１２を見ることで後方の状況を把握することができる。車両に搭載される運転支援装置１には、ＨＵＤユニット２０６が備わっている。また、運転支援装置１は、周囲の画像を撮影するためのカメラ２０５を含んで構成される。なお、カメラ２０５は、図１に示す以外の位置に備えられてもよく、また、複数のカメラ２０５を含んでもよい。

ＨＵＤユニット２０６は、フロントガラス１０に画像を反射させ、画像を虚像１３としてフロントガラス１０に映し出す。運転手は、虚像１３を見ることで、画像情報があたかも前方の空中に存在しているかのように認識できる。これによって、運転手が車外を見ている状態から情報を見る状態に移行した際に生じる、目のピントを調節するための時間を短くすることができ、運転の安全性が向上できる。

図１（ｂ）は、運転手から見える視界の例を示す図であり、ＨＵＤユニット２０６によって、フロントガラス１０に虚像１３が表示されている例を示している。ＨＵＤユニット２０６が表示させる画像は、例として、運転手が運転している車両である自車両の速度情報１３ａやナビゲーション情報１３ｂなどが挙げられる。運転手は、種々の情報が前方の光景に重畳しているように見ることができるので、運転手は前方から視点を移動させずに情報を得ることができる。

次に、運転支援装置１のハードウェア構成について説明する。図２は、本実施形態の運転支援装置１に含まれるハードウェア構成を示す図である。運転支援装置１は、ＣＰＵ２０１と、ＲＡＭ２０２と、ＲＯＭ２０３と、記憶装置２０４と、カメラ２０５と、ＨＵＤユニット２０６とを含んで構成され、各ハードウェアはバスを介して接続されている。

ＣＰＵ２０１は、運転支援装置１の動作を制御するプログラムを実行し、所定の処理を行う装置である。ＲＡＭ２０２は、ＣＰＵ２０１が実行するプログラムの実行空間を提供するための揮発性の記憶装置であり、プログラムやデータの格納用、展開用として使用される。ＲＯＭ２０３は、ＣＰＵ２０１が実行するプログラムやファームウェアなどを記憶するための不揮発性の記憶装置である。記憶装置２０４は、運転支援装置１を機能させるＯＳ、設定情報、各種データなどを記憶する、読み書き可能な不揮発性の記憶装置である。

カメラ２０５は、レンズ光学系や個体撮像素子などを含む撮像装置であって、画像を撮影することができる。本実施形態における運転支援装置１は、車両周辺の画像を撮影するために複数のカメラ２０５を含んで構成されてもよい。また、カメラ２０５は、１つの装置で撮影地点の全周囲を撮影可能な、いわゆる全天球カメラであってもよい。

ＨＵＤユニット２０６は、フロントガラス１０を介して虚像１３を表示させる装置である。一般にＨＵＤは、光源から出力される画像を、コンバイナと呼ばれる反射体に反射させることで、虚像１３を表示する。本実施形態のＨＵＤユニット２０６は、フロントガラス１０をコンバイナとして利用することで、運転者の視野内に認識可能な虚像１３を表示できる。

以上、本実施形態の運転支援装置１に含まれるハードウェア構成について説明した。次に、本実施形態における各ハードウェアによって実行される機能手段について、図３を以て説明する。図３は、本実施形態の運転支援装置１に含まれるソフトウェアブロック図である。

運転支援装置１は、センシングを行う周囲画像取得部３０１を含んで構成される。また、運転支援装置１は、周囲状況を識別するための物体認識部３０２、物体位置算出部３０３、相対速度算出部３０４を含んで構成される。さらに、運転支援装置１は、安全上の問題を検出するための危険度評価部３０５、危険度評価管理テーブル３０６を含んで構成される。さらに、運転支援装置１は、ＨＭＩ（Human Machine Interface）として、ＨＵＤ表示制御部３０７を含んで構成される。図３に示す矢線は、データフローを例示している。以下に、各機能手段の詳細を説明する。

周囲画像取得部３０１は、カメラ２０５が撮影した画像を取得する手段である。取得した画像は、自車両の周囲の画像である。周囲画像取得部３０１は、取得した画像を、画像データとして物体認識部３０２に転送する。

物体認識部３０２は、周囲画像取得部３０１から取得した画像データを解析し、画像データに含まれる物体を認識する手段である。物体を認識する方法としては種々の方法を採用することができるが、一例として、取得した画像データからクラスタリングによって特徴を抽出する方法が挙げられる。抽出した特徴に基づいて、画像内の物体の特定を行う。また、物体認識部３０２は、認識した物体を自動車、二輪車、自転車、歩行者などの属性に分類することもできる。

物体位置算出部３０３は、物体認識部３０２によって認識された物体について、自車両に対する位置を算出する手段である。物体位置算出部３０３は、画像の撮影位置やカメラ２０５の画角などに基づいて、画像データを解析することで、物体の位置を算出する。物体の位置は、例えば、自車両の中心部の位置を原点とした座標系で特定され、物体の存在する方向や自車両との距離を示すデータとして出力される。なお、物体の位置を示すための座標系は、上記の例に限らず、自車両のハンドルの位置や、自車両の重心などを原点としてもよく、任意の点を原点としてもよい。

相対速度算出部３０４は、自車両の周囲の物体について、自車両に対する相対速度を算出する手段である。相対速度算出部３０４は、物体位置算出部３０３が算出した物体の位置の時間的な変化に基づいて、当該物体と自車両との相対速度を算出する。また、相対速度算出部３０４は、物体が接近しているか、離隔しているかを求めることもできる。

危険度評価部３０５は、自車両の周囲に存在する物体の危険度を評価する手段である。物体の危険度は、後述する危険度評価管理テーブル３０６を参照することで評価される。危険度評価部３０５は、例えば、周囲の物体の相対速度、方向、距離、当該物体が接近しているか否かなどの種々の条件に基づいて、当該物体が危険であるか否かを評価することができる。また、危険度評価部３０５は、物体の属性に基づいて評価してもよい。

危険度評価管理テーブル３０６は、危険度評価部３０５が自車両の周囲の物探の危険度を評価する条件を示すテーブルである。危険度評価管理テーブル３０６は、例えば、図４に示す形式で記憶装置２０４に記憶されている。図４は、本実施形態における危険度評価管理テーブル３０６の一例を示す図であり、後方から接近する物体の危険度を評価する場合の例を示している。

危険度評価管理テーブル３０６は、図４に示すように、相対速度と距離と危険度とが対応付けられて管理される。例えば、相対速度が２０ｋｍ／ｈで接近する物体が自車両との距離が１０ｍ以下の位置に存在している場合には、危険度評価部３０５は、当該物体の危険度が高いものとして評価する。また、相対速度が１０ｋｍ／ｈで接近する物体が自車両との距離が２０ｍ以上の位置に存在している場合には、危険度評価部３０５は、当該物体の危険度が低いものとして評価する。なお、図４に示す危険度評価管理テーブル３０６は一例であって本実施形態を限定するものではなく、物体の相対速度、位置、距離、属性などに応じて設定できる。また、危険度についても、図４に示すように３段階で評価する必要はなく、これ以外の評価であってもよい。

説明を図３に戻す。ＨＵＤ表示制御部３０７は、ＨＵＤユニット２０６を制御して、種々の情報を虚像１３として表示させる手段である。ＨＵＤ表示制御部３０７は、危険度評価部３０５が出力した評価結果に基づいて、自車両の周囲の物体の危険度を示す情報を表示する。また、情報は、運転手が当該物体の位置を認識しやすい位置に表示することができる。例えば、自車両の後方に危険度が高い物体が存在している場合には、ルームミラー１１に近接して情報を表示することで、運転手が当該物体を認識しやすくできる。

なお、上述したソフトウェアブロックは、ＣＰＵ２０１が本実施形態のプログラムを実行することで、各ハードウェアを機能させることにより、実現される機能手段に相当する。また、各実施形態に示した機能手段は、全部がソフトウェア的に実現されても良いし、その一部または全部を同等の機能を提供するハードウェアとして実装することもできる。

ここまで、本実施形態における運転支援装置１に含まれるソフトウェアブロックについて説明した。次に、上述した各ソフトウェアブロックが実行する処理について説明する。図５は、本実施形態において運転支援装置１が実行する処理を示すフローチャートである。

運転支援装置１は、ステップＳ５００から処理を開始する。ステップＳ５０１では、周囲画像取得部３０１が自車両の周囲の画像を取得する。取得した画像は、画像データとして物体認識部３０２に転送される。次に、ステップＳ５０２において、物体認識部３０２は、取得した画像に含まれる物体を認識する。

その後、ステップＳ５０３で、物体位置算出部３０３および相対速度算出部３０４は、画像に含まれる各物体の位置や相対速度などを算出する。

ステップＳ５０４では、危険度評価部３０５は、ステップＳ５０３において算出された各物体の位置や相対速度に基づいて、危険度評価管理テーブル３０６を参照して、各物体の危険度を評価する。

ステップＳ５０５では、ＨＵＤ表示制御部３０７は、物体の位置に応じて、運転手が当該物体を認識しやすい警告を位置に表示する。また、警告の表示に合わせて、警告音を発生させてもよい。なお、警告は、評価された危険度に応じて表示することができ、例えば、ステップＳ５０４において危険度が「中」や「低」と評価された物体に関する警告を表示しないこととしてもよい。ステップＳ５０５の後、運転支援装置１は、ステップＳ５０６で処理を終了する。

上述した処理によって、物体の位置に応じて、運転手が当該物体を認識しやすい警告を位置に表示することができるので、運転手に対して物体の視認を促すことができる。

次に、警告を表示する具体的な例について説明する。図６は、本実施形態において表示された警告情報１３ｃを含む、運転手から見える視界の例を示す図である。

図６（ａ）は、自車両の後方に危険度の高い物体が存在する場合を示している。運転者からは、図６（ａ）に示すようなイメージで、フロントガラス１０に反射した警告情報１３ｃが見える。図６（ａ）における警告情報１３ｃは、自車両の後方から接近している車両が存在する旨のメッセージと、警告を示すマークとを、後方の確認を運転手に対して促すために、ルームミラー１１に近接して表示している。また、警告情報１３ｃには、ルームミラー１１に運転手の注意が向きやすくするために、ルームミラー１１を指す矢印を表示してもよい。

このようにして警告を表示することで、運転手は、ルームミラー１１を見れば危険度の高い物体を視認できることが容易に把握できる。したがって、視点の移動に要する時間を短縮でき、運転の安全性を向上できる。

図６（ｂ）は、自車両の右後方に危険度の高い物体が存在する場合を示している。運転者からは、図６（ｂ）に示すようなイメージで、フロントガラス１０に反射した警告情報１３ｃが見える。図６（ｂ）における警告情報１３ｃは、自車両の右後方から接近している車両が存在する旨のメッセージと、警告を示すマークとを、右後方の確認を運転手に対して促すために、右サイドミラー１２Ｒに近接して表示している。また、警告情報１３ｃには、右サイドミラー１２Ｒに運転手の注意が向きやすくするために、右サイドミラー１２Ｒを指す矢印を表示してもよい。

このようにして警告を表示することで、運転手は、右サイドミラー１２Ｒを見れば危険度の高い物体を視認できることが容易に把握できる。したがって、視点の移動に要する時間を短縮でき、運転の安全性を向上できる。

図６（ｃ）は、自車両の左後方のルームミラー１１やサイドミラー１２の死角に当たる領域に危険度の高い物体が存在する場合を示している。運転者からは、図６（ｃ）に示すようなイメージで、フロントガラス１０に反射した警告情報１３ｃが見える。図６（ｃ）における警告情報１３ｃは、自車両の左後方の死角から接近している車両が存在する旨のメッセージと、警告を示すマークとを表示している。また、左後方の死角にあたる領域の確認を運転手に対して促すために、フロントガラス１０の左側に表示させることが好ましい。

このようにして警告を表示することで、運転手は、車両の左後方を目視すれば危険度の高い物体を視認できることが容易に把握できる。したがって、視点の移動に要する時間を短縮でき、運転の安全性を向上できる。

図６で説明したようにして警告を表示することで、運転手が各種ミラーや目視によって危険度の高い物体を視認しやすくできる。また、運転手に対して表示する警告は、図６に示したものに限らず、運転手が危険度の高い物体を容易に視認できるような、その他の警告を表示してもよい。

なお、ここまで説明した実施形態では、主に自車両の後方から接近する物体に対する警告を表示する場合について説明してきたが、実施形態を限定するものではない。例えば、自車両の前方や側方に危険度の高い物体がある場合には、当該物体に対して運転手の注意を向けるような警告を表示してもよい。

以上、説明した本発明の実施形態によれば、車両周囲の接近物の視認を運転手に促す運転支援装置、車両、システムおよび方法を提供することができる。

上述した本発明の実施形態の各機能は、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）等で記述された装置実行可能なプログラムにより実現でき、本実施形態のプログラムは、ハードディスク装置、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭ等の装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。

以上、本発明について実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、当業者が推考しうる実施態様の範囲内において、本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１…運転支援装置、１０…フロントガラス、１１…ルームミラー、１２…サイドミラー、１３…虚像、２０１…ＣＰＵ、２０２…ＲＡＭ、２０３…ＲＯＭ、２０４…記憶装置、２０５…カメラ、２０６…ＨＵＤユニット、３０１…周囲画像取得部、３０２…物体認識部、３０３…物体位置算出部、３０４…相対速度算出部、３０５…危険度評価部、３０６…危険度評価管理テーブル、３０７…ＨＵＤ表示制御部

特開平９－３５１７７

Claims (5)

1. 自車両の周囲を撮影した撮影データを取得する周囲画像取得部と、
   前記周囲画像取得部が取得した前記撮影データから、前記自車両の周囲に存在する物体を認識し、かつ、当該物体の属性を分類する物体認識部と、
   前記物体認識部が認識した前記物体が、前記属性に応じた所定の条件を満たすか否かを評価する評価部と、
   前記評価部が評価した結果に基づいて、前記自車両の運転手が前記物体認識部によって認識された前記物体を視認できる場所を示す警告情報を、前記自車両のフロントガラスに表示する表示制御部と
   を含み、
   前記表示制御部は、前記フロントガラスに、前記自車両のルームミラーまたはサイドミラーを指し示す画像を、前記警告情報と併せて表示することを特徴とする、
   運転支援装置。
2. 前記評価部は、前記自車両と前記物体を、当該物体の位置および前記自車両との相対速度に基づいて評価することを特徴とする、請求項１に記載の運転支援装置。
3. 請求項１に記載の運転支援装置を備える車両。
4. 自車両の周囲の物体を認識し、かつ、当該物体の属性を分類する物体認識部と、
   前記物体が、前記属性に応じた所定の条件を満たすか否かを評価する評価部と、
   前記評価部が評価した結果に基づく情報を、前記物体認識部によって認識された前記物体を視認できる場所を示す警告情報を、前記自車両のフロントガラスに表示する表示制御部と
   を含み、
   前記表示制御部は、前記フロントガラスに、前記自車両のルームミラーまたはサイドミラーを指し示す画像を、前記警告情報と併せて表示することを特徴とする、
   システム。
5. 車両に搭載される運転支援装置が実行する方法であって、
   自車両の周囲の物体を認識し、かつ、当該物体の属性を分類するするステップと、
   前記物体が、前記属性に応じた所定の条件を満たすか否かを評価するステップと、
   前記評価するステップにおいて評価した結果に基づく情報を、前記認識するステップにおいて認識された前記物体を視認できる場所を示す警告情報を、前記自車両のフロントガラスに表示するステップと
   を含み、
   前記表示するステップは、前記フロントガラスに、前記自車両のルームミラーまたはサイドミラーを指し示す画像を、前記警告情報と併せて表示することを特徴とする、
   方法。

Images