JP6661796B2 - 報知制御装置および報知制御方法 - Google Patents

Description

本発明は、自車両の周辺の状況をドライバに報知する報知制御装置および報知制御方法に関する。

従来、自車両の周辺に存在する物体または人物を検知し、検知した物体または人物を強調して表示することによって、自車両のドライバに注意を喚起する技術が開示されている（例えば、特許文献１，２，３参照）。

特開平１１−１１５６６０号公報 特開２００８−６２７６２号公報 特開２００８−３１０３７６号公報

例えば、走行中の自車両の前方にボールが存在している場合、この後、ボールを取るために子どもが自車両の前方に飛び出して来ることが考えられる。このような実際の状況の後に生じ得る状況を、実際の状況に加えてドライバに報知すれば、ドライバは今後生じ得る状況を考慮した適切な対応をとることができる。

特許文献１，２，３では、実際の状況をドライバに報知しているだけであり、実際の状況の後に生じ得る状況をドライバに報知していない。従って、特許文献１，２，３では、ドライバに対して適切な報知を行っているとはいえない。

本発明は、このような問題を解決するためになされたものであり、ドライバに対して適切な報知を行うことが可能な報知制御装置および報知制御方法を提供することを目的とする。

上記の課題を解決するために、本発明による報知制御装置は、少なくとも自車両の周辺の状況を示す周辺情報を取得する周辺情報取得部と、周辺情報取得部が取得した周辺情報から、自車両の周辺に存在する物体または人物の状況である第１次事象を認識する第１次事象認識部と、第１次事象認識部が認識した第１次事象の後に生じ得る状況であって、第１次事象の状況と因果関係を有する状況である第２次事象を、予め定められた規則により推定する第２次事象推定部と、第２次事象推定部が推定した第２次事象を報知する制御を行う報知制御部とを備え、第２次事象は、第１次事象認識部が第１次事象であると認識しない自車両の周辺に存在する物体または人物が自車両の走行に影響を及ぼす状況であり、第１次事象認識部が認識した第１次事象を示す第１次事象警報画像と、第２次事象推定部が推定した第２次事象を示す第２次事象警報画像とを生成する警報画像生成部をさらに備え、報知制御部は、警報画像生成部が生成した第１次事象警報画像および第２次事象警報画像を同時に報知する制御を行い、第１次事象警報画像は、第１次事象を強調する画像である。

また、本発明による報知制御方法は、少なくとも自車両の周辺の状況を示す周辺情報を取得し、取得した周辺情報から、自車両の周辺に存在する物体または人物の状況である第１次事象を認識し、認識した第１次事象の後に生じ得る状況であって、第１次事象の状況と因果関係を有する状況である第２次事象を、予め定められた規則により推定し、推定した第２次事象を報知する制御を行い、第２次事象は、第１次事象であると認識しない自車両の周辺に存在する物体または人物が自車両の走行に影響を及ぼす状況であり、認識した第１次事象を示す第１次事象警報画像と、推定した第２次事象を示す第２次事象警報画像とを生成し、生成した第１次事象警報画像および第２次事象警報画像を同時に報知する制御を行い、第１次事象警報画像は、第１次事象を強調する画像である。

本発明によると、報知制御装置は、少なくとも自車両の周辺の状況を示す周辺情報を取得する周辺情報取得部と、周辺情報取得部が取得した周辺情報から、自車両の周辺に存在する物体または人物の状況である第１次事象を認識する第１次事象認識部と、第１次事象認識部が認識した第１次事象の後に生じ得る状況であって、第１次事象の状況と因果関係を有する状況である第２次事象を、予め定められた規則により推定する第２次事象推定部と、第２次事象推定部が推定した第２次事象を報知する制御を行う報知制御部とを備え、第２次事象は、第１次事象認識部が第１次事象であると認識しない自車両の周辺に存在する物体または人物が自車両の走行に影響を及ぼす状況であり、第１次事象認識部が認識した第１次事象を示す第１次事象警報画像と、第２次事象推定部が推定した第２次事象を示す第２次事象警報画像とを生成する警報画像生成部をさらに備え、報知制御部は、警報画像生成部が生成した第１次事象警報画像および第２次事象警報画像を同時に報知する制御を行い、第１次事象警報画像は、第１次事象を強調する画像であるため、ドライバに対して適切な報知を行うことが可能となる。

また、報知制御方法は、少なくとも自車両の周辺の状況を示す周辺情報を取得し、取得した周辺情報から、自車両の周辺に存在する物体または人物の状況である第１次事象を認識し、認識した第１次事象の後に生じ得る状況であって、第１次事象の状況と因果関係を有する状況である第２次事象を、予め定められた規則により推定し、推定した第２次事象を報知する制御を行い、第２次事象は、第１次事象であると認識しない自車両の周辺に存在する物体または人物が自車両の走行に影響を及ぼす状況であり、認識した第１次事象を示す第１次事象警報画像と、推定した第２次事象を示す第２次事象警報画像とを生成し、生成した第１次事象警報画像および第２次事象警報画像を同時に報知する制御を行い、第１次事象警報画像は、第１次事象を強調する画像であるため、ドライバに対して適切な報知を行うことが可能となる。

本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。

本発明の実施の形態１による報知制御装置の構成の一例を示すブロック図である。 本発明の実施の形態１による報知制御装置の構成の一例を示すブロック図である。 本発明の実施の形態１による第１次事象および第２次事象の一例を示す図である。 本発明の実施の形態１による報知制御装置のハードウェア構成の一例を示すブロック図である。 本発明の実施の形態１による報知制御装置の動作の一例を示すフローチャートである。 本発明の実施の形態１による報知制御装置における表示の一例を示す図である。 本発明の実施の形態１による報知制御装置における表示の一例を示す図である。 本発明の実施の形態２による報知制御装置の構成の一例を示すブロック図である。 本発明の実施の形態２による報知制御装置の動作の一例を示すフローチャートである。 本発明の実施の形態２による報知制御装置における表示の一例を示す図である。 本発明の実施の形態３による報知制御装置の構成の一例を示すブロック図である。 本発明の実施の形態３による報知制御装置の動作の一例を示すフローチャートである。 本発明の実施の形態３による報知制御装置における認識範囲を説明するための図である。 本発明の実施の形態４による報知制御装置の構成の一例を示すブロック図である。 本発明の実施の形態４による報知制御装置の動作の一例を示すフローチャートである。 本発明の実施の形態４による外部サーバの動作の一例を示すフローチャートである。 本発明の実施の形態５による報知制御装置の構成の一例を示すブロック図である。 本発明の実施の形態５による報知制御装置の動作の一例を示すフローチャートである。 本発明の実施の形態による報知制御システムの構成の一例を示すブロック図である。 本発明の実施の形態による報知制御システムの構成の一例を示すブロック図である。

本発明の実施の形態について、図面に基づいて以下に説明する。

＜実施の形態１＞
＜構成＞
まず、本発明の実施の形態１による報知制御装置の構成について説明する。

図１は、本実施の形態１による報知制御装置１の構成の一例を示すブロック図である。なお、図１では、本実施の形態による報知制御装置を構成する必要最小限の構成要素を示している。

図１に示すように、報知制御装置１は、周辺情報取得部２と、第１次事象認識部３と、第２次事象推定部４と、報知制御部５とを備えている。周辺情報取得部２は、少なくとも自車両の周辺の状況を示す周辺情報を取得する。第１次事象認識部３は、周辺情報取得部２が取得した周辺情報から、自車両の周辺に存在する物体または人物の状況である第１次事象を認識する。第１次事象認識部が認識する第１次事象は、物体または人物が静止している状況であってもよく、物体または人物が動いている状況であってもよい。

第２次事象推定部４は、第１次事象認識部３が認識した第１次事象の後に生じ得る状況であって、第１次事象の状況と因果関係を有する状況である第２次事象を、予め定められた規則により推定する。報知制御部５は、第２次事象推定部４が推定した第２次事象を報知する制御を行う。

次に、図１に示す報知制御装置１を含む報知制御装置の他の構成について説明する。

図２は、他の構成に係る報知制御装置６の構成の一例を示すブロック図である。

図２に示すように、報知制御装置６は、周辺情報取得部２と、第１次事象認識部３と、第２次事象推定部４と、報知制御部５と、自車両情報取得部７と、地図情報取得部８と、警報画像生成部９とを備えている。周辺情報取得部２は、周辺認識装置１０に接続されている。報知制御部５は、ＨＵＤ（Head Up Display）１１に接続されている。

周辺認識装置１０は、少なくとも自車両の周辺の状況を認識し、認識した自車両の周辺の状況を周辺情報として周辺情報取得部２に出力する。周辺認識装置１０は、自車両に設置されており、例えばカメラ、ミリ波レーダ、またはこれらの組み合わせによって構成されている。なお、周辺認識装置１０は、カメラおよびミリ波レーダに限らず、自車両の周辺状況を認識するものであればよい。周辺情報取得部２は、周辺認識装置１０から出力された周辺情報を取得する。

自車両情報取得部７は、自車両内に設けられた車内ネットワークを介して、自車両に関する種々の情報である自車両情報を取得する。例えば、自車両情報取得部７は、ＧＰＳ（Global Positioning System）から自車両の現在の位置情報を自車両情報として取得する。

地図情報取得部８は、例えば、ハードディスク（HDD：Hard Disk Drive）または半導体メモリ等の記憶装置から構成されており、地図情報を取得して格納している。なお、地図情報取得部８は、外部から地図情報を取得してもよい。例えば、地図情報取得部８は、外部のサーバ等から通信ネットワークを介してダウンロードすることによって取得してもよく、メモリ等の記憶媒体から読み出すことによって取得してもよい。

第１次事象認識部３は、例えば周辺認識装置１０がカメラである場合、周辺情報取得部２が取得した周辺情報である画像から、物体または人物の状況である第１次事象を認識する。また、第１次事象認識部３は、自車両情報取得部７が取得した自車両の現在位置情報、および地図情報取得部８が取得した地図情報に基づいて第１次事象を認識してもよい。なお、第１次事象認識部３は、周辺情報、自車両情報、および地図情報を任意に組み合わせて第１次事象を認識してもよい。

第２次事象推定部４は、第１次事象認識部３が認識した第１次事象から第２次事象を予め定められた規則により推定する。予め定められた規則は、データ化されて第２次事象推定部４が保持しており、一例として図３に示すような第１次事象と第２次事象とを対応付けたデータである。

例えば、第１次事象認識部３が「ボールの飛び出し」を第１次事象として認識した場合、第２次事象推定部４は「子どもの飛び出し」を第２次事象として推定する。すなわち、第２次事象推定部４は、ボールが飛び出して来た場合、ボールを取るために子どもが飛び出して来ると推定する。この場合、第１次事象認識部３は、例えば周辺認識装置１０であるカメラが撮影した画像からボールを認識することができる。なお、第１次事象認識部３は、ボールの動きを第１次事象として認識することに限らず、ボールが静止していることを第１次事象として認識してもよい。

第１次事象認識部３が道路脇に停車中の「停車車両」を第１次事象として認識した場合、第２次事象推定部４は「車両の陰から人またはバイクの飛び出し」を第２次事象として推定する。すなわち、第２次事象推定部４は、停車車両が存在している場合、車両の陰から人またはバイクが飛び出して来ると推定する。この場合、第１次事象認識部３は、例えば周辺認識装置１０であるカメラが撮影した画像から停車車両を認識することができる。

第１次事象認識部３が「踏切」を第１次事象として認識した場合、第２次事象推定部４は「電車の通過」を第２次事象として推定する。すなわち、第２次事象推定部４は、踏切がある場合、電車が通過すると推定する。この場合、第１次事象認識部３は、例えば周辺認識装置１０であるカメラが撮影した画像から踏切を認識することができる。あるいは、第１次事象認識部３は、自車両情報取得部７が取得した自車両の現在位置情報、および地図情報取得部８が取得した地図情報に基づいて踏切を認識することができる。

第１次事象認識部３が「車両レーンの減少」を第１次事象として認識した場合、第２次事象推定部４は「割り込み車両」を第２次事象として推定する。すなわち、第２次事象推定部４は、自車両が走行する道路の車両レーンが減少する場合、自車両が走行中の車両レーンに他車両が割り込んでくると推定する。この場合、第１次事象認識部３は、例えば周辺認識装置１０であるカメラが撮影した画像から自車両が走行する道路の車両レーンが減少することを認識することができる。あるいは、第１次事象認識部３は、自車両情報取得部７が取得した自車両の現在位置情報、および地図情報取得部８が取得した地図情報に基づいて、自車両が走行する道路の車両レーンが減少することを認識することができる。なお、自車両が走行する道路の車両レーンが減少する場合としては、例えば、車両レーンが２車線から１車線に減少する場合などが挙げられる。また、第２次事象が「割り込み車両」とされる場合の第１次事象としては、車両レーンが減少する場合に限らず、例えば高速道路の合流点など、自車両が走行中の車両レーンに他車両が割り込んでくることが想定される状況を第１次事象としてもよい。

第１次事象認識部３が「交差する頭上道路上に、こちらを向いて物を持っている人物」を第１次事象として認識した場合、第２次事象推定部４は「物の落下」を第２次事象として推定する。交差する頭上道路とは、例えば歩道橋などが挙げられる。すなわち、第２次事象推定部４は、例えば自車両が走行中の道路を交差する歩道橋に物を持っている人物がいる場合、当該人物が持っている物が、自車両が走行中の道路に落下すると推定する。この場合、第１次事象認識部３は、例えば周辺認識装置１０であるカメラが撮影した画像から、交差する頭上道路上に、こちらを向いて物を持っている人物がいることを認識することができる。

警報画像生成部９は、第１次事象認識部３が認識した第１次事象を示す第１次事象警報画像を生成する。また、警報画像生成部９は、第２次事象推定部４が推定した第２次事象を示す第２次事象警報画像を生成する。

報知制御部５は、警報画像生成部９が生成した第１次事象警報画像または第２次事象警報画像をＨＵＤ１１に表示する制御を行う。ＨＵＤ１１には、ＡＲ（Augmented Reality）技術を用いて第１次事象警報画像または第２次事象警報画像が表示される。ドライバは、自車両のフロントガラス越しに見える景色に、第１次事象警報画像または第２次事象警報画像が重畳して表示されているように見ることができる。なお、報知制御部５は、第１次事象警報画像および第２次事象警報画像を同時にＨＵＤ１１に表示する制御を行ってもよい。

図４は、報知制御装置６のハードウェア構成の一例を示すブロック図である。なお、報知制御装置１についても同様である。

報知制御装置６における周辺情報取得部２、第１次事象認識部３、第２次事象推定部４、報知制御部５、自車両情報取得部７、地図情報取得部８、および警報画像生成部９の各機能は、処理回路により実現される。すなわち、報知制御装置６は、周辺情報を取得し、第１次事象を認識し、第２次事象を推定し、報知を制御し、自車両情報を取得し、地図情報を取得し、第１次事象警報画像および第２次事象警報画像を生成するための処理回路を備える。処理回路は、メモリ１３に格納されたプログラムを実行するプロセッサ１２（中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）ともいう）である。

報知制御装置６における周辺情報取得部２、第１次事象認識部３、第２次事象推定部４、報知制御部５、自車両情報取得部７、地図情報取得部８、および警報画像生成部９の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ１３に格納される。処理回路は、メモリ１３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、報知制御装置６は、周辺情報を取得するステップ、第１次事象を認識するステップ、第２次事象を推定するステップ、報知を制御するステップ、自車両情報を取得するステップ、地図情報を取得するステップ、第１次事象警報画像および第２次事象警報画像を生成するステップが結果的に実行されることになるプログラムを格納するためのメモリ１３を備える。また、これらのプログラムは、周辺情報取得部２、第１次事象認識部３、第２次事象推定部４、報知制御部５、自車両情報取得部７、地図情報取得部８、および警報画像生成部９の手順または方法をコンピュータに実行させるものであるともいえる。ここで、メモリとは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）等の不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）等、または、今後使用されるあらゆる記憶媒体であってもよい。

＜動作＞
次に、報知制御装置６の動作について説明する。

図５は、報知制御装置６の動作の一例を示すフローチャートである。なお、以下では、周辺認識装置１０はカメラであり、自車両の前方を撮影するものとする。

ステップＳ１１において、周辺情報取得部２は、周辺認識装置１０が撮影した画像を周辺情報として取得する。ステップＳ１２において、第１次事象認識部３は、周辺情報取得部２が取得した画像から第１次事象を認識する。ここでは、第１次事象認識部３は、自車両の前方に存在するボールを第１次事象として認識する。

ステップＳ１３において、警報画像生成部９は、第１次事象認識部３が認識した第１次事象を示す第１次事象警報画像を生成する。報知制御部５は、警報画像生成部９が生成した第１次事象警報画像をＨＵＤ１１に表示する制御を行う。

図６は、第１次事象警報画像をＨＵＤ１１に表示した場合の一例を示す図である。図６において、第１次事象警報画像１４は、ボール自体を強調するような画像である。第１次事象警報画像１５は、自車両の前方に走行を妨げるような物体が存在していること注意喚起する画像であり、図６の例ではボールが存在していることを注意喚起する画像である。なお、第１次事象警報画像１４および第１次事象警報画像１５は、図６に示すように一緒に表示することに限らず、いずれか一方を表示してもよい。

ステップＳ１４において、第２次事象推定部４は、第１次事象認識部３が認識した第１次事象から第２次事象を推定する。具体的には、第２次事象推定部４は、自身が有している図３に示すようなデータに基づいて第２次事象を推定する。ここでは、第２次事象推定部４は、「子どもの飛び出し」を第２次事象として推定する。

ステップＳ１５において、警報画像生成部９は、第２次事象推定部４が推定した第２次事象を示す第２次事象警報画像を生成する。報知制御部５は、警報画像生成部９が生成した第２次事象警報画像をＨＵＤ１１に表示する制御を行う。

図７は、第２次事象警報画像をＨＵＤ１１に表示した場合の一例を示す図である。図７において、第２次事象警報画像１６は、自車両の前方に子どもが飛び出して来るような画像である。なお、第２次事象警報画像１６は、予め定められた位置に表示される。第２次事象警報画像１６を表示する位置は、ユーザが任意に設定してもよい。

以上のことから、本実施の形態１によれば、報知制御装置１，６は、実際の状況である第１次事象だけでなく、第１次事象後に生じ得る状況である第２次事象も報知しているため、ドライバに対して適切な報知を行うことができる。従って、ドライバは、第２次事象を考慮した適切な対応をとることができる。

＜実施の形態２＞
＜構成＞
まず、本発明の実施の形態２による報知制御装置の構成について説明する。

図８は、本実施の形態２による報知制御装置１７の構成の一例を示すブロック図である。

図８に示すように、報知制御装置１７は、第２次事象位置推定部１８を備えることを特徴としている。その他の構成および動作は、実施の形態１と同様であるため、ここでは詳細な説明を省略する。

第２次事象位置推定部１８は、第１次事象認識部３が第１次事象を認識した位置に基づいて、第２次事象推定部４が推定した第２次事象の発生位置を推定する。警報画像生成部９は、第２次事象位置推定部１８が推定した発生位置に対応する第２次事象警報画像を生成する。

報知制御装置１７における第２次事象位置推定部１８の機能は、処理回路により実現される。すなわち、第２次事象位置推定部１８は、第２次事象の発生位置を推定するための処理回路を備える。処理回路は、例えば図４に示すような、メモリ１３に格納されるプログラムを実行するプロセッサ１２である。

報知制御装置１７における第２次事象位置推定部１８の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ１３に格納される。処理回路は、メモリ１３に記憶されたプログラムを読み出して実行することにより、第２次事象位置推定部１８の機能を実現する。すなわち、報知制御装置１７は、第２次事象の発生位置を推定するステップが結果的に実行されることになるプログラムを格納するためのメモリ１３を備える。また、このプログラムは、第２次事象位置推定部１８の手順または方法をコンピュータに実行させるものであるともいえる。

＜動作＞
次に、報知制御装置１７の動作について説明する。

図９は、報知制御装置１７の動作の一例を示すフローチャートである。なお、図９のステップＳ２１〜ステップＳ２４は、図５のステップＳ１１〜ステップＳ１４に対応しているため、ここでは説明を省略する。以下では、ステップＳ２５およびステップＳ２６について説明する。周辺認識装置１０はカメラであり、自車両の前方を撮影するものとする。

ステップＳ２５において、第２次事象位置推定部１８は、周辺情報取得部２が取得した画像における、第１次事象認識部３が第１次事象を認識した位置付近の予め定められた位置を、第２次事象の発生位置と推定する。

ステップＳ２６において、警報画像生成部９は、第２次事象位置推定部１８が推定した第２次事象の発生位置に対応する第２次事象警報画像を生成する。報知制御部５は、警報画像生成部９が生成した第２次事象警報画像をＨＵＤ１１に表示する制御を行う。

図１０は、第２次事象警報画像をＨＵＤ１１に表示した場合の一例を示す図である。図１０において、第２次事象警報画像１６は、第２次事象位置推定部１８が推定した発生位置に表示される。図１０の例では、子どもがボールを追って自車両の前方に飛び出して来る様子が表現されている。

以上のことから、本実施の形態２によれば、報知制御装置１７は、第２次事象が発生する可能性が高い位置に第２次事象を表示するため、ドライバは第２次事象を実施の形態１よりも正確に把握することができる。

＜実施の形態３＞
＜構成＞
まず、本発明の実施の形態３による報知制御装置の構成について説明する。

図１１は、本実施の形態３による報知制御装置１９の構成の一例を示すブロック図である。

図１１に示すように、報知制御装置１９は、認識範囲制限部２０を備えることを特徴としている。その他の構成および動作は、実施の形態２と同様であるため、ここでは詳細な説明を省略する。

認識範囲制限部２０は、第１次事象認識部３による認識範囲を、第２次事象位置推定部１８が推定した第２次事象の発生位置を含む予め定められた範囲に制限する。第１次事象認識部３は、認識範囲制限部２０によって制限された範囲内において第１次事象の認識を行う。例えば、第１次事象認識部３が画像から第１次事象を認識する場合、第１次事象認識部３は、認識範囲制限部２０によって制限された画像の範囲内において第１次事象の認識を行う。

報知制御装置１９における認識範囲制限部２０の機能は、処理回路により実現される。すなわち、認識範囲制限部２０は、第１次事象認識部３による認識範囲を、第２次事象位置推定部１８が推定した第２次事象の発生位置を含む予め定められた範囲に制限するための処理回路を備える。処理回路は、例えば図４に示すような、メモリ１３に格納されるプログラムを実行するプロセッサ１２である。

報知制御装置１９における認識範囲制限部２０の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ１３に格納される。処理回路は、メモリ１３に記憶されたプログラムを読み出して実行することにより、認識範囲制限部２０の機能を実現する。すなわち、報知制御装置１９は、第１次事象認識部３による認識範囲を、第２次事象位置推定部１８が推定した第２次事象の発生位置を含む予め定められた範囲に制限するステップが結果的に実行されることになるプログラムを格納するためのメモリ１３を備える。また、このプログラムは、認識範囲制限部２０の手順または方法をコンピュータに実行させるものであるともいえる。

＜動作＞
次に、報知制御装置１９の動作について説明する。

図１２は、報知制御装置１９の動作の一例を示すフローチャートである。なお、図１２のステップＳ３１〜ステップＳ３６は、図９のステップＳ２１〜ステップＳ２６に対応しているため、ここでは説明を省略する。以下では、ステップＳ３７およびステップＳ３８について説明する。周辺認識装置１０はカメラであり、自車両の前方を撮影するものとする。

ステップＳ３７において、報知制御装置１９は、第１次事象認識部３による認識範囲を制限するか否かの判断を行う。第１次事象認識部３による認識範囲を制限するか否かの判断は、周辺情報取得部２が取得した画像の解像度に応じて行ってもよい。具体的には、画像の解像度が高い場合は、第１次事象認識部３における処理負荷が大きくなるため、第１次事象認識部３による認識範囲を制限すると判断してもよい。画像の解像度が低い場合は、第１次事象認識部３における処理負荷が小さいため、第１次事象認識部３による認識範囲を制限しないと判断してもよい。なお、第１次事象認識部３による認識範囲を制限するか否かの判断は、ユーザが任意に設定してもよい。第１次事象認識部３による認識範囲を制限する場合は、ステップＳ３８に移行する。一方、第１次事象認識部３による認識範囲を制限しない場合は、ステップＳ３１に移行する。

ステップＳ３８において、認識範囲制限部２０は、第１次事象認識部３による認識範囲を、第２次事象位置推定部１８が推定した第２次事象の発生位置を含む予め定められた範囲に制限する。具体的には、認識範囲制限部２０は、第１次事象認識部３による認識範囲を、例えば図１３に示すような認識範囲２１に制限する。なお、図１３に示す認識範囲２１は、説明のために図示したものであり、実際にはＨＵＤ１１に表示されない。

以上のことから、本実施の形態３によれば、第１次事象認識部３による認識範囲を制限するため、第１次事象認識部３による第１次事象を認識する効率を向上させることができ、第２次事象を早く表示することができる。また、第１次事象認識部３によって第１次事象を認識するためのリソースが限られた場合であっても、第１次事象認識部３は第１次事象の認識をスムーズに行うことができる。

なお、図１２の例では、第１次事象認識部３が、周辺情報取得部２が取得する全ての画像に対して認識範囲制限部２０が制限した範囲内で第１次事象を認識する場合について説明したが、これに限るものではない。例えば、第１次事象認識部３は、認識範囲制限部２０が制限した範囲内については、全ての画像に対して第１次事象の認識を行い、認識範囲制限部２０が制限した範囲外については、予め定められた間隔ごとに周辺情報取得部２が取得した画像に対して第１次事象の認識を行うようにしてもよい。

＜実施の形態４＞
＜構成＞
まず、本発明の実施の形態４による報知制御装置の構成について説明する。

図１４は、本実施の形態４による報知制御装置２２の構成の一例を示すブロック図である。

図１４に示すように、報知制御装置２２は、通信部２３を備えることを特徴としている。その他の構成および動作は、実施の形態３と同様であるため、ここでは詳細な説明を省略する。

通信部２３は、報知制御装置２２の外部に設けられた画像認識学習サーバ２４および第２次事象推定データサーバ２５の各々と通信可能に接続されており、画像認識学習サーバ２４および第２次事象推定データサーバ２５の各々から後述するパラメータおよびデータを取得する。

画像認識学習サーバ２４は、第１次事象認識部３が画像から第１次事象を認識する際に使用するパラメータについて、第１次事象認識部３による第１次事象の認識精度が向上するような機械学習を行う。第２次事象推定データサーバ２５は、第２次事象推定部４が第２次事象を推定する際に使用するデータを蓄積する。なお、画像認識学習サーバ２４および第２次事象推定データサーバ２５は、別個に設けられてもよく、一体に設けられてもよい。

報知制御装置２２における通信部２３の機能は、処理回路により実現される。すなわち、通信部２３は、画像認識学習サーバ２４および第２次事象推定データサーバ２５の各々と通信するための処理回路を備える。処理回路は、例えば図４に示すような、メモリ１３に格納されるプログラムを実行するプロセッサ１２である。

報知制御装置２２における通信部２３の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ１３に格納される。処理回路は、メモリ１３に記憶されたプログラムを読み出して実行することにより、通信部２３の機能を実現する。すなわち、報知制御装置２２は、画像認識学習サーバ２４および第２次事象推定データサーバ２５の各々と通信するステップが結果的に実行されることになるプログラムを格納するためのメモリ１３を備える。また、このプログラムは、通信部２３の手順または方法をコンピュータに実行させるものであるともいえる。

＜動作＞
次に、報知制御装置２２の動作について説明する。

図１５は、報知制御装置２２の動作の一例を示すフローチャートである。なお、図１５のステップＳ４１〜ステップＳ４８は、図１２のステップＳ３１〜ステップＳ３８に対応しているため、ここでは説明を省略する。なお、図１５のステップＳ４７において、第１次事象認識部３による認識範囲を制限しない場合は、ステップＳ４９に移行する。以下では、ステップＳ４９について説明する。周辺認識装置１０はカメラであり、自車両の前方を撮影するものとする。

ステップＳ４９において、通信部２３は、第１次事象認識部３が画像から第１次事象を認識する際に使用するパラメータを画像認識学習サーバ２４から取得する。第１次事象認識部３が使用するパラメータは、通信部２３が取得したパラメータに更新される。また、通信部２３は、第２次事象推定部４が第２次事象を推定する際に使用するデータを第２次事象推定データサーバ２５から取得する。第２次事象推定部４が使用するデータは、通信部２３が取得したデータに更新される。なお、ステップＳ４９の処理は、ステップＳ４７またはステップＳ４８の後に行うことに限らず、任意のタイミングであってもよい。

次に、画像認識学習サーバ２４および第２次事象推定データサーバ２５の動作について説明する。

図１６は、画像認識学習サーバ２４および第２次事象推定データサーバ２５の動作の一例を示すフローチャートである。

ステップＳ５１において、画像認識学習サーバ２４は、第１次事象認識部３が画像から第１次事象を認識する際に使用するパラメータについて、第１次事象認識部３による第１次事象の認識精度が向上するような機械学習を行う。機械学習されたパラメータは更新される。

ステップＳ５２において、第２次事象推定データサーバ２５は、第２次事象推定部４が第２次事象を推定する際に使用するデータを蓄積する。具体的には、第２次事象推定データサーバ２５は、例えば図３に示すような第１次事象と第２次事象とを対応付けたデータを蓄積し、必要に応じて更新する。

ステップＳ５３において、画像認識学習サーバ２４は、第１次事象認識部３が画像から第１次事象を認識する際に使用するパラメータを、報知制御装置２２の通信部２３に送信する。また、第２次事象推定データサーバ２５は、第２次事象推定部４が第２次事象を推定する際に使用するデータを、報知制御装置２２の通信部２３に送信する。なお、画像認識学習サーバ２４および第２次事象推定データサーバ２５は、パラメータおよびデータを同時に送信してもよく、別々に送信してもよい。また、画像認識学習サーバ２４および第２次事象推定データサーバ２５がパラメータおよびデータを送信するタイミングは、予め定められたタイミングであってもよく、ユーザが設定した任意のタイミングであってもよい。

以上のことから、本実施の形態４によれば、第１次事象認識部３が画像から第１次事象を認識する際に使用するパラメータを更新することによって、第１次事象認識部３による第１次事象の認識精度を向上させることが可能となる。また、第２次事象推定部４が第２次事象を推定する際に使用するデータを更新することによって、第２次事象推定部４が第２次事象を推定する精度を向上させることができる。

なお、図１４では、図１１に示す報知制御装置１９に通信部２３をさらに備える場合について説明したが、これに限るものではない。例えば、図２に示す報知制御装置６、および図８に示す報知制御装置１７の各々に通信部２３を備えるようにしてもよい。

＜実施の形態５＞
＜構成＞
まず、本発明の実施の形態５による報知制御装置の構成について説明する。

図１７は、本実施の形態５による報知制御装置２６の構成の一例を示すブロック図である。

図１７に示すように、報知制御装置２６は、車両制御部２７を備えることを特徴としている。その他の構成および動作は、実施の形態１と同様であるため、ここでは詳細な説明を省略する。

車両制御部２７は、第２次事象推定部４による第２次事象の推定結果に基づいて自車両の運転操作を制御する。具体的には、車両制御部２７は、自車両のアクセル、ブレーキ、およびハンドルの各操作を制御する。

報知制御装置２６における車両制御部２７の機能は、処理回路により実現される。すなわち、車両制御部２７は、第２次事象推定部４による第２次事象の推定結果に基づいて自車両の運転を制御するための処理回路を備える。処理回路は、例えば図４に示すような、メモリ１３に格納されるプログラムを実行するプロセッサ１２である。

報知制御装置２６における車両制御部２７の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアは、プログラムとして記述され、メモリ１３に格納される。処理回路は、メモリ１３に記憶されたプログラムを読み出して実行することにより、車両制御部２７の機能を実現する。すなわち、車両制御部２７は、第２次事象推定部４による第２次事象の推定結果に基づいて自車両の運転を制御するステップが結果的に実行されることになるプログラムを格納するためのメモリ１３を備える。また、このプログラムは、車両制御部２７の手順または方法をコンピュータに実行させるものであるともいえる。

＜動作＞
次に、報知制御装置２６の動作について説明する。

図１８は、報知制御装置２６の動作の一例を示すフローチャートである。なお、図１８のステップＳ６１〜ステップＳ６５は、図５のステップＳ１１〜ステップＳ１５に対応しているため、ここでは説明を省略する。以下では、ステップＳ６６について説明する。周辺認識装置１０はカメラであり、自車両の前方を撮影するものとする。

ステップＳ６６において、車両制御部２７は、第２次事象推定部４による第２次事象の推定結果に基づいて自車両の運転操作を制御する。具体的には、車両制御部２７は、第２次事象を回避する方向のハンドルの反力を小さくする、第２次事象を回避する方向にハンドル操作する、ブレーキを早目にかける等といった自車両の運転操作を制御する。例えば図３を参照して、第２次事象が「割り込み車両」である場合、車両制御部２７は、自車両を減速する制御を行う。

なお、車両制御部２７は、第１次事象認識部３による認識結果に基づいて自車両の運転操作を制御してもよい。例えば図３を参照して、第１次事象が「ボールの飛び出し」である場合、車両制御部２７は、ボールを回避するようなハンドル操作となるように制御してもよい。

以上のことから、本実施の形態５によれば、第２次事象を表示するだけでなく、当該第２次事象を回避するように自車両の運転操作を制御している。従って、報知制御装置２６は、第２次事象を報知するだけでなく、自車両の運転操作を支援することができる。

なお、図１７では、図２に示す報知制御装置６に車両制御部２７をさらに備える場合について説明したが、これに限るものではない。例えば、図８に示す報知制御装置１７、図１１に示す報知制御装置１９、および図１４に示す報知制御装置２２の各々に車両制御部２７を備えるようにしてもよい。

実施の形態１〜５では、第１次事象認識部３が第１次事象を認識する場合について説明したが、これに限るものではない。例えば、他車両が認識した第１次事象を、当該他車両から車々間通信で取得してもよい。また、道路に設置されたカメラなどのインフラ設備が認識した第１次事象を、当該インフラ設備から路車間通信で取得してもよい。この場合、自車両では、当該自車両に設けられた周辺認識装置１０では撮影できない場所に関する第１次事象を用いて第２次事象を推定することができる。

実施の形態１〜５において、第２次事象推定部４が推定した第２次事象は、他車両に送信してもよい。

実施の形態１〜５では、周辺認識装置１０であるカメラが自車両の前方を撮影する場合について説明したが、これに限るものではない。周辺認識装置１０であるカメラは、自車両の周囲の全方向または任意の方向を撮影するようにしてもよい。

以上で説明した報知制御装置は、車載用ナビゲーション装置、すなわちカーナビゲーション装置だけでなく、車両に搭載可能なＰＮＤ（Portable Navigation Device）およびサーバなどを適宜に組み合わせてシステムとして構築されるナビゲーション装置あるいはナビゲーション装置以外の装置にも適用することができる。この場合、報知制御装置の各機能あるいは各構成要素は、上記システムを構築する各機能に分散して配置される。

具体的には、一例として、報知制御装置の機能をサーバに配置することができる。例えば、図１９に示すように、車両側に周辺認識装置１０およびＨＵＤ１１を備え、サーバ２８に周辺情報取得部２、第１次事象認識部３、第２次事象推定部４、報知制御部５、自車両情報取得部７、地図情報取得部８、および警報画像生成部９を備えることによって、報知制御システムを構築することができる。図８に示す報知制御装置１７、図１１に示す報知制御装置１９、図１４に示す報知制御装置２２、および図１７に示す報知制御装置２６についても同様である。

また、報知制御装置の機能をサーバおよび携帯通信端末３０に配置することができる。例えば、図２０に示すように、車両側に周辺認識装置１０およびＨＵＤ１１を備え、サーバ２９に周辺情報取得部２、第１次事象認識部３、第２次事象推定部４、自車両情報取得部７、地図情報取得部８、および警報画像生成部９を備え、携帯通信端末３０に報知制御部５を備えることによって、報知制御システムを構築することができる。図８に示す報知制御装置１７、図１１に示す報知制御装置１９、図１４に示す報知制御装置２２、および図１７に示す報知制御装置２６についても同様である。

上記の構成とした場合であっても、上記の実施の形態と同様の効果が得られる。

また、上記の実施の形態における動作を実行するソフトウェア（報知制御方法）を、例えばサーバまたは携帯通信端末に組み込んでもよい。

具体的には、一例として、上記の報知制御方法は、少なくとも自車両の周辺の状況を示す周辺情報を取得し、取得した周辺情報から、自車両の周辺に存在する物体または人物の状況である第１次事象を認識し、認識した第１次事象の後に生じ得る状況であって、第１次事象の状況と因果関係を有する状況である第２次事象を、予め定められた規則により推定し、推定した第２次事象を報知する制御を行う。

上記より、上記の実施の形態における動作を実行するソフトウェアをサーバまたは携帯通信端末に組み込んで動作させることによって、上記の実施の形態と同様の効果が得られる。

なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。

本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

１ 報知制御装置、２ 周辺情報取得部、３ 第１次事象認識部、４ 第２次事象推定部、５ 報知制御部、６ 報知制御装置、７ 自車両情報取得部、８ 地図情報取得部、９ 警報画像生成部、１０ 周辺認識装置、１１ ＨＵＤ、１２ プロセッサ、１３ メモリ、１４，１５ 第１次事象警報画像、１６ 第２次事象警報画像、１７ 報知制御装置、１８ 第２次事象位置推定部、１９ 報知制御装置、２０ 認識範囲制限部、２１ 認識範囲、２２ 報知制御装置、２３ 通信部、２４ 画像認識学習サーバ、２５ 第２次事象推定データサーバ、２６ 報知制御装置、２７ 車両制御部、２８，２９ サーバ、３０ 携帯通信端末。

Claims (8)

1. 少なくとも自車両の周辺の状況を示す周辺情報を取得する周辺情報取得部と、
   前記周辺情報取得部が取得した前記周辺情報から、前記自車両の周辺に存在する物体または人物の状況である第１次事象を認識する第１次事象認識部と、
   前記第１次事象認識部が認識した前記第１次事象の後に生じ得る状況であって、前記第１次事象の前記状況と因果関係を有する状況である第２次事象を、予め定められた規則により推定する第２次事象推定部と、
   前記第２次事象推定部が推定した前記第２次事象を報知する制御を行う報知制御部と、
   を備え、
   前記第２次事象は、前記第１次事象認識部が前記第１次事象であると認識しない前記自車両の周辺に存在する物体または人物が前記自車両の走行に影響を及ぼす状況であり、
   前記第１次事象認識部が認識した前記第１次事象を示す第１次事象警報画像と、前記第２次事象推定部が推定した前記第２次事象を示す第２次事象警報画像とを生成する警報画像生成部をさらに備え、
   前記報知制御部は、前記警報画像生成部が生成した前記第１次事象警報画像および前記第２次事象警報画像を同時に報知する制御を行い、
   前記第１次事象警報画像は、前記第１次事象を強調する画像であることを特徴とする、報知制御装置。
2. 前記第１次事象認識部が前記第１次事象を認識した位置に基づいて、前記第２次事象の発生位置を推定する第２次事象位置推定部をさらに備え、
   前記警報画像生成部は、前記第２次事象位置推定部が推定した前記発生位置に対応する前記第２次事象警報画像を生成することを特徴とする、請求項１に記載の報知制御装置。
3. 前記第１次事象認識部による認識範囲を、前記第２次事象位置推定部が推定した前記発生位置を含む予め定められた範囲に制限する認識範囲制限部をさらに備えることを特徴とする、請求項２に記載の報知制御装置。
4. 前記第１次事象認識部が前記第１次事象を認識する際に使用するパラメータは、更新可能であることを特徴とする、請求項１に記載の報知制御装置。
5. 前記予め定められた規則は、前記第１次事象と前記第２次事象とを対応付けたデータであることを特徴とする、請求項１に記載の報知制御装置。
6. 前記第２次事象推定部が前記第２次事象を推定する際に使用する前記データは、更新可能であることを特徴とする、請求項５に記載の報知制御装置。
7. 前記第２次事象推定部による前記第２次事象の推定結果に基づいて、前記自車両の運転操作を制御する車両制御部をさらに備えることを特徴とする、請求項１に記載の報知制御装置。
8. 少なくとも自車両の周辺の状況を示す周辺情報を取得し、
   前記取得した前記周辺情報から、前記自車両の周辺に存在する物体または人物の状況である第１次事象を認識し、
   前記認識した前記第１次事象の後に生じ得る状況であって、前記第１次事象の前記状況と因果関係を有する状況である第２次事象を、予め定められた規則により推定し、
   前記推定した前記第２次事象を報知する制御を行い、
   前記第２次事象は、前記第１次事象であると認識しない前記自車両の周辺に存在する物体または人物が前記自車両の走行に影響を及ぼす状況であり、
   認識した前記第１次事象を示す第１次事象警報画像と、推定した前記第２次事象を示す第２次事象警報画像とを生成し、
   生成した前記第１次事象警報画像および前記第２次事象警報画像を同時に報知する制御を行い、
   前記第１次事象警報画像は、前記第１次事象を強調する画像である、報知制御方法。

Images