JP7843630B2 - 通知装置、通知方法、およびプログラム - Google Patents

Description

本発明は、通知装置、通知方法、およびプログラムに関する。

車両の運転手は、車両の走行路に人物が飛び出したことを認識した場合、ブレーキを踏むなどの運転操作を行っている。関連する技術が特許文献１に開示されている。特許文献１には、歩行者が道路の横断開始から横断終了までに通過すると予測される横断予測エリアに接近している接近車両を特定し、接近車両が歩行者に衝突するか否かを予測し、接近車両が歩行者に衝突すると予測された場合は衝突の危険を通知する技術が開示されている。

特開２０２０－９８５３０号公報

上述のような、車両の走行している走行路に人物が飛び出す可能性がある場合等の警告の通知は、その人物の属性に応じて適切なタイミングで行うことが望ましい。

本発明は、このような事情を考慮してなされたものであり、車両の走行路に飛び出す可能性のある人物に対して適切なタイミングで警告を通知することのできる通知装置、通知方法、およびプログラムを提供することを目的の一つとする。

この発明に係る通知装置、通知方法、およびプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る通知装置は、移動体から所定の距離の範囲内に位置する人物に関する属性情報を取得する属性取得部と、前記属性情報に基づいて前記人物を分類する分類部と、前記分類の結果に基づいて前記人物に対する通知のタイミングを調整する調整部と、を備えるものである。

（２）：上記（１）の態様において、前記属性情報は少なくとも前記人物の年齢に関する情報を含み、前記分類部は、前記年齢に基づいて前記人物の年齢に関する前記分類の結果を出力するものである。

（３）：上記（１）または（２）の態様において、前記人物を認識する人物認識部と、前記人物の認識の結果に基づいて前記人物の属性情報を推定する属性推定部と、を備えるものである。

（４）：上記（１）から（３）のいずれかの態様において、前記人物の移動方向と移動速度を推定する移動状態推定部と、を備え、前記調整部は、さらに前記人物の移動方向と移動速度とに基づいて前記人物に対する前記通知のタイミングを調整するものである。

（５）：上記（１）から（３）のいずれかの態様において、前記人物の移動速度を検出する移動状態推定部と、を備え、前記調整部は、さらに前記人物の移動速度に基づいて前記人物に対する前記通知のタイミングを調整するものである。

（６）：上記（１）から（５）のいずれかの態様において、前記移動体の走行する走行路の他の走行路との交わり状態を認識する走行路認識部と、を備え、前記調整部は、前記交わり状態に基づいて、前記人物に対する前記通知のタイミングを調整するものである。

（７）：上記（１）から（５）のいずれかの態様において、前記移動体の走行する走行路の他の走行路との交わり状態を認識する走行路認識部と、を備え、前記調整部は、前記交わり状態と、前記人物の位置とに基づいて、前記人物に対する前記通知のタイミングを調整するものである。

（８）：上記（１）から（７）のいずれかの態様において、前記調整部は、前記人物を認識した時刻から所定時間以内に前記属性情報を取得できない場合、最も早く通知できるように前記タイミングを調整するものである。

（９）：上記（７）の態様において、前記調整部は、前記走行路の他の走行路との交わり状態を認識できない場合、最も早く通知できるように前記タイミングを調整するものである。

（１０）：上記（５）の態様において、前記調整部は、前記人物の移動速度を検出できない場合、最も早く通知できるように前記タイミングを調整するものである。

（１１）：上記（１）から（１０）のいずれかの態様において、前記調整部は、前記人物の分類の結果が示す複数の年代に応じた、当該人物が前記移動体の走行する走行路に出て前記移動体に衝突するまでの時間を示す衝突余裕時間を特定し、当該衝突余裕時間が確保できる時刻に前記通知のタイミングを調整するものである。

（１２）：上記（１）から（１１）のいずれかの態様において、前記調整部は、前記人物の移動速度の分類に基づいて、当該人物が前記移動体の走行する走行路に出て前記移動体に衝突するまでの時間を示す衝突余裕時間を特定し、当該衝突余裕時間が確保できる時刻に前記通知のタイミングを調整するものである。

（１３）：上記（６）、（７）、（９）のいずれかの態様において、前記調整部は、前記走行路の他の走行路との交わり状態と、前記人物の位置に基づいて、当該人物が前記移動体の走行する走行路に出て前記移動体に衝突するまでの時間を示す衝突余裕時間を特定し、当該衝突余裕時間が確保できる時刻に前記通知のタイミングを調整するものである。

（１４）：この発明の一態様に係る通知方法は、コンピュータが、移動体から所定の距離の範囲内に位置する人物に関する属性情報を取得し、前記属性情報に基づいて前記人物を分類し、前記分類の結果に基づいて前記人物に対する通知のタイミングを調整するものである。

（１５）：この発明の一態様に係るプログラムは、コンピュータに、移動体から所定の距離の範囲内に位置する人物に関する属性情報を取得する処理と、前記属性情報に基づいて前記人物を分類する処理と、前記分類の結果に基づいて前記人物に対する通知のタイミングを調整する処理と、を実行させるものである。

（１）～（１５）の態様によれば、移動体の走行している走行路に飛び出す等の可能性のある人物の分類に基づいて、当該人物に対する適切なタイミングでの警告等の通知をすることができる。

（２）の態様によれば、移動体の走行している走行路に飛び出す等の可能性のある人物の年齢による分類に基づいて、当該人物に対する適切なタイミングでの警告等の通知をすることができる。

（３）の態様によれば、人物を認識した結果に基づいて特定した人物の属性に応じて、適切なタイミングでの警告等の通知をすることができる。

（４）の態様によれば、移動体の走行している走行路に飛び出す等の可能性のある人物の移動方向と移動速度とに基づいて、当該人物に対する適切なタイミングでの警告等の通知をすることができる。

（５）の態様によれば、移動体の走行している走行路に飛び出す等の可能性のある人物の移動速度に基づいて、当該人物に対する適切なタイミングでの警告等の通知をすることができる。

（６）の態様によれば、移動体の走行する走行路の他の走行路との交わり状態に基づいて、当該走行路に飛び出す等の可能性のある人物に対する適切なタイミングでの警告等の通知をすることができる。

（７）の態様によれば、移動体の走行する走行路の他の走行路との交わり状態と、人物の位置に基づいて、当該走行路に飛び出す等の可能性のある人物に対する適切なタイミングでの警告等の通知をすることができる。

（８）の態様によれば、人物の認識ができない場合には、最も早い時刻で警告等の通知をすることができる。

（９）の態様によれば、移動体の走行する走行路の形状が認識できない場合には、最も早い時刻で警告等の通知をすることができる。

（１０）の態様によれば、人物の移動速度を検出できない場合には、最も早い時刻で警告等の通知をすることができる。

（１１）の態様によれば、人物の年代に応じて算出された衝突余裕時間が確保できる時刻に通知タイミングを調整することができる。

（１２）の態様によれば、人物の移動速度に基づいて算出された衝突余裕時間が確保できる時刻に通知タイミングを調整することができる。

（１３）の態様によれば、移動体の走行する走行路の他の走行路との交わり状態と、人物の位置とに基づいて算出された衝突余裕時間が確保できる時刻に通知タイミングを調整することができる。

本発明の実施形態に係る通知システムの概略を説明するである。 本発明の実施形態に係る通知システムの概略構成図である。 本発明の実施形態に係る通知装置のハードウェア構成図である。 本発明の実施形態に係る通知装置の機能ブロックを示す第一の図である。 本発明の実施形態に係る通知タイミングの調整手法に関する例を示す図である。 本発明の実施形態に係る通知装置の処理フローを示す図である。 本発明の実施形態に係る通知装置の機能ブロックを示す第二の図である。

以下、図面を参照し、本発明の通知装置、通知方法、およびプログラムの実施形態について説明する。通知装置は、移動体に設けられた装置である。移動体とは、三輪または四輪等の車両、二輪車、マイクロモビリティ等を含み、走行路の路面を移動可能なあらゆる移動体を含んでよい。以下の説明では、移動体は四輪車両であるものとし、通知装置が搭載された車両を車両Ｍと称する。

［概要］
図１は、本発明の実施形態に係る通知システムの概略を説明するである。図１に示すように、通知システム１００を構成する通知装置１は車両Ｍに搭載される。通知装置１は、走行路に飛び出す可能性のある歩行者Ｈを検知した場合、その歩行者Ｈの携帯する端末２などの通知先の装置に警告などの通知を行う。

図２は、本発明の実施形態に係る通知システムの概略構成図である。図１に示す通り、車両Ｍは、本実施形態の通知システム１００を構成するための装置として、カメラ１０と、通知装置１とを少なくとも備える。カメラ１０と通知装置１とは、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図１に示す構成はあくまで一例であり、更に、別の構成が追加されてもよい。

カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。本実施形態において、カメラ１０は、例えば、車両Ｍのフロントバンパーに設置されるが、カメラ１０は、車両の前方を１０ミリ秒などの所定間隔で撮影し、その撮影画像を通知装置１へ出力する。カメラ１０の画角は、例えば、走行路の進行方向左側の５ｍ先の歩道を歩行または走行する人物と、進行方向右側の５ｍ先の歩道を歩行または走行する人物とが映るように設定されていてよい。カメラ１０は、ステレオカメラであってもよい。

通知装置１は、走行路に飛び出す可能性のある歩行者Ｈの端末２と通信接続する。通知装置１は、端末２と通信接続することにより、その端末２を所持した歩行者Ｈが車両Ｍの前方に飛び出す可能性のある場合に、警告などの通知を行う。通知装置１は端末２と直接に通信接続してもよいし、サーバ装置３などの他の装置を介して通信接続するようにしてもよい。

［通知装置］
図３は、通知装置のハードウェア構成図である。
図３が示すように、通知装置１は、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、ＨＤＤ（Hard Disk Drive）１０４、通信モジュール１０５等の各ハードウェアを備えたコンピュータである。端末２やサーバ装置３も同様のハードウェア構成を備えてよい。

図４は、通知装置の機能ブロックを示す第一の図である。
通知装置１は、例えば、属性取得部１１、走行路認識部１２、移動状態推定部１３、位置検出部１４、分類部１５、調整部１６、通知部１７、人物認識部１８、制御部１９、記憶部１１１を備える。記憶部１１１は、例えば、学習済みモデルを記憶する。これらの要素は、例えば、ＣＰＵ１０１などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めＨＤＤ１０４やＲＯＭ１０２等の記憶装置に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。記憶部１１１は、例えば、ＲＯＭ１０２、ＲＡＭ１０３、フラッシュメモリ、ＳＤカード、ＨＤＤ１０４、レジスタ等によって実現される。

属性取得部１１は、車両Ｍから所定の距離の範囲内に位置する人物（歩行者Ｈ）に関する属性情報を取得する。
走行路認識部１２は、車両Ｍの走行する走行路の他の走行路との交わり状態を認識する。具体的には走行路認識部１２は、車両Ｍの進行方向の所定距離以内の走行路において、他の走行路との交わり状態が十字路か、または、他の走行路との交わりが無い直線路かを認識する。
移動状態推定部１３は、車両Ｍから所定の距離の範囲内に位置する歩行者Ｈが歩いているか、走っているかを判定する。
位置検出部１４は、走行路を走る車両Ｍの進行方向を基準とした歩行者Ｈの位置を検出する。
分類部１５は、車両Ｍから所定の距離の範囲内に位置する歩行者Ｈの属性情報に基づいて、その歩行者Ｈの年代が、第一年齢範囲（１２歳以下）か、第二年齢範囲（１３歳以上５９歳以下）か、第三年齢範囲（６０歳以上）の何れの年齢範囲に属するかを分類する。
調整部１６は、分類の結果に基づいて、歩行者Ｈに対する警告の通知タイミングを調整する。
通知部１７は、警告を通知する。
人物認識部１８は、撮影画像から歩行者Ｈなどの人物を認識する。
制御部１９は、上述の他の機能部以外の各種制御を行う。
記憶部１１１は、通知装置１の処理に必要各種情報を記憶する。

［通知タイミングの調整手法］
図５は、警告の通知タイミングの調整手法に関する例を示す図である。
調整部１６は、走行路認識部１２、移動状態推定部１３、位置検出部１４、分類部１５の処理結果に応じて、異なる通知タイミングを調整する。具体的には、調整部１６は、車両Ｍの走行する走行路の他の走行路との交わり状態が十字路か、直線路か、歩行者Ｈの年齢範囲が第一年齢範囲、第二年齢範囲、第三年齢範囲のどの年齢範囲に属するか、歩行者Ｈの移動が歩行か走行の何れであるか、歩行者Ｈの走行路を走る車両Ｍを基準とした位置が右側か左側かによって、通知タイミングを調整する。

例えば調整部１６は、走行路認識部１２の認識結果が十字路、移動状態推定部１３の推定結果が第一年齢範囲、歩行者Ｈの位置が進行方向に対して右側である場合、歩行者Ｈが歩いていても走っていても、歩道に位置する歩行者Ｈが車両Ｍの走行路に出て車両Ｍに衝突するまでの予想推定時間を示す衝突余裕時間（ＴＴＣ；Ｔｉｍｅ－Ｔｏ－Ｃｏｌｌｉｓｉｏｎ）を５．６秒と特定する。調整部１６は、走行路認識部１２の認識結果が十字路、移動状態推定部１３の推定結果が第二年齢範囲、歩行者Ｈの位置が進行方向に対して右側である場合、歩行者Ｈが歩いていても走っていても、歩道に位置する歩行者Ｈが車両Ｍの走行路に出て車両Ｍに衝突するまでの予想推定時間を示す衝突余裕時間を４．２秒と特定する。調整部１６は、走行路認識部１２の認識結果が十字路、移動状態推定部１３の推定結果が第三年齢範囲、歩行者Ｈの位置が進行方向に対して右側である場合、歩行者Ｈが歩いていても走っていても、歩道に位置する歩行者Ｈが車両Ｍの走行路に出て車両Ｍに衝突するまでの予想推定時間を示す衝突余裕時間を４．３秒と特定する。

また調整部１６は、走行路認識部１２の認識結果が十字路、移動状態推定部１３の推定結果が第一年齢範囲、歩行者Ｈの位置が進行方向に対して左側である場合、歩行者Ｈが歩いていても走っていても、歩道に位置する歩行者Ｈが車両Ｍの走行路に出て車両Ｍに衝突するまでの予想推定時間を示す衝突余裕時間を２．０秒と特定する。調整部１６は、走行路認識部１２の認識結果が十字路、移動状態推定部１３の推定結果が第二年齢範囲、歩行者Ｈの位置が進行方向に対して左側である場合、歩行者Ｈが歩いていても走っていても、歩道に位置する歩行者Ｈが車両Ｍの走行路に出て車両Ｍに衝突するまでの予想推定時間を示す衝突余裕時間を１．５秒と特定する。調整部１６は、走行路認識部１２の認識結果が十字路、移動状態推定部１３の推定結果が第三年齢範囲、歩行者Ｈの位置が進行方向に対して左側である場合、歩行者Ｈが歩いていても走っていても、歩道に位置する歩行者Ｈが車両Ｍの走行路に出て車両Ｍに衝突するまでの予想推定時間を示す衝突余裕時間を１．６秒と特定する。

例えば調整部１６は、走行路認識部１２の認識結果が直線路、移動状態推定部１３の推定結果が第一年齢範囲、歩行者Ｈの位置が進行方向に対して右側である場合、歩行者Ｈが歩いていても走っていても、歩道に位置する歩行者Ｈが車両Ｍの走行路に出て車両Ｍに衝突するまでの予想推定時間を示す衝突余裕時間を５．６秒と特定する。調整部１６は、走行路認識部１２の認識結果が直線路、移動状態推定部１３の推定結果が第二年齢範囲、歩行者Ｈの位置が進行方向に対して右側である場合、歩行者Ｈが歩いていても走っていても、歩道に位置する歩行者Ｈが車両Ｍの走行路に出て車両Ｍに衝突するまでの予想推定時間を示す衝突余裕時間を４．２秒と特定する。調整部１６は、走行路認識部１２の認識結果が直線路、移動状態推定部１３の推定結果が第三年齢範囲、歩行者Ｈの位置が進行方向に対して右側である場合、歩行者Ｈが歩いていても走っていても、歩道に位置する歩行者Ｈが車両Ｍの走行路に出て車両Ｍに衝突するまでの予想推定時間を示す衝突余裕時間を４．３秒と特定する。

例えば調整部１６は、走行路認識部１２の認識結果が直線路、移動状態推定部１３の推定結果が第一年齢範囲、歩行者Ｈの位置が進行方向に対して左側である場合であって、歩行者Ｈが歩いる場合には、歩道に位置する歩行者Ｈが車両Ｍの走行路に出て車両Ｍに衝突するまでの予想推定時間を示す衝突余裕時間を２．０秒と特定する。調整部１６は、走行路認識部１２の認識結果が直線路、移動状態推定部１３の推定結果が第一年齢範囲、歩行者Ｈの位置が進行方向に対して左側である場合であって、歩行者Ｈが走っている場合には、歩道に位置する歩行者Ｈが車両Ｍの走行路に出て車両Ｍに衝突するまでの予想推定時間を示す衝突余裕時間を３．６秒と特定する。調整部１６は、走行路認識部１２の認識結果が直線路、移動状態推定部１３の推定結果が第二年齢範囲、歩行者Ｈの位置が進行方向に対して左側である場合であって、歩行者Ｈが歩いる場合には、歩道に位置する歩行者Ｈが車両Ｍの走行路に出て車両Ｍに衝突するまでの予想推定時間を示す衝突余裕時間を１．５秒と特定する。調整部１６は、走行路認識部１２の認識結果が直線路、移動状態推定部１３の推定結果が第二年齢範囲、歩行者Ｈの位置が進行方向に対して左側である場合であって、歩行者Ｈが走っている場合には、歩道に位置する歩行者Ｈが車両Ｍの走行路に出て車両Ｍに衝突するまでの予想推定時間を示す衝突余裕時間を２．７秒と特定する。調整部１６は、走行路認識部１２の認識結果が直線路、移動状態推定部１３の推定結果が第三年齢範囲、歩行者Ｈの位置が進行方向に対して左側である場合であって、歩行者Ｈが歩いる場合には、歩道に位置する歩行者Ｈが車両Ｍの走行路に出て車両Ｍに衝突するまでの予想推定時間を示す衝突余裕時間を１．６秒と特定する。調整部１６は、走行路認識部１２の認識結果が直線路、移動状態推定部１３の推定結果が第三年齢範囲、歩行者Ｈの位置が進行方向に対して左側である場合であって、歩行者Ｈが走っている場合には、歩道に位置する歩行者Ｈが車両Ｍの走行路に出て車両Ｍに衝突するまでの予想推定時間を示す衝突余裕時間を２．８秒と特定する。

上述のような調整部１６の通知タイミングの調整によれば、歩行者Ｈが車両Ｍの進行方向右側にいる場合には、歩行者Ｈが車両Ｍの進行方法左側にいる場合と比較して、早いタイミングで、警告などの通知を行う通知タイミングを設定する。車両Ｍの進行方向左側にいる歩行者Ｈなどの人物は、車両Ｍのカメラ１０の画角内に位置する可能性が高く、カメラ１０の認識結果によって、十分に認識できている可能性がある。従って、本実施形態による通知装置１は、カメラ１０の画角内に位置しない可能性が高い、歩行者Ｈにより優先度高く、警告などの通知をすることができる。また上述の調整部１６の通知タイミングの調整によれば、歩行者Ｈが第一年齢範囲（１３歳以下の子供）である場合に、他の年齢範囲と比較して、早いタイミングで警告などの通知を行う通知タイミングを設定する。従って、本実施形態による通知装置１は、歩行者Ｈの年齢範囲が子供の年齢範囲である場合、優先度高く、警告などの通知をすることができる。

記憶部１１１は、歩行者Ｈの年齢範囲（第一年齢範囲～第三年齢範囲）、車両Ｍの走行する走行路の他の走行路との交わり状態（十字路、直線路）、車両Ｍの進行方向に対する歩行者Ｈの位置情報（右側、左側）、歩行者Ｈの移動状態（歩行、走行）の各情報の組み合わせに紐づけた、衝突余裕時間を、記憶部１１１の記憶するデータテーブルに記憶してもよい。調整部１６は、歩行者Ｈの年齢範囲（第一年齢範囲～第三年齢範囲）、車両Ｍの走行する走行路の他の走行路との交わり状態（十字路、直線路）、車両Ｍの進行方向に対する歩行者Ｈの位置情報（右側、左側）、歩行者Ｈの移動状態（歩行、走行）の各情報の組み合わせに紐づいて、データテーブルに記録される衝突余裕時間を取得して、当該時間を特定してもよい。

［属性検出処理］
属性取得部１１は端末２やサーバ装置３から取得した個人属性情報に含まれる歩行者Ｈの属性情報の中から、歩行者Ｈの年齢を取得する。属性取得部１１は、人物認識部１８が撮影画像から認識した年齢を取得してもよい。

［走行路認識処理］
走行路認識部１２は、走行路の前方をカメラ１０が撮影して生成した撮影画像を事前に機械学習することにより、学習モデルを生成している。走行路認識部１２は、この学習モデルを用いて、車両Ｍの走行する走行路の他の走行路との交わり状態を認識し、十字路か、直線路かを認識する。学習モデルは、学習装置が、撮影画像と、その撮影画像に写る走行路と他の走行路との交わり状態の正解情報と関係を多数用いて機械学習して学習モデルを生成する。通知装置１の記憶部１１１は、学習装置の生成した学習モデルを記憶する。通知装置１の走行路認識部１２は、例えば、学習モデルを用いて生成したニューラルネットワークに撮影画像を入力し、その結果、撮影画像に写る走行路と他の走行路の状態が十字路かどうかを判定する。十字路であると判定できた場合には、走行路認識部１２は十字路であることを示す情報を調整部１６に出力し、そうでない場合には、直線路であることを示す情報を調整部１６に出力する。走行路認識部１２は、撮影画像と、学習モデルとを用いて、走行路の前方が十字路か、直線路かを明確に判定するようにしてもよい。

または走行路認識部１２は、学習モデルを用いずに、走行路の３０ｍなどの所定距離前方の状態が直線路か、十字路かを認識してもよい。例えば、車両Ｍの通知装置１の制御部１９は、通知装置１や車両Ｍに別途備わる位置検出機能が、ＧＮＳＳ衛星からの信号を受信して算出した位置情報を取得する。制御部１９は、１秒間隔などの所定時間毎に、定期的にサーバ装置３にアクセスして、位置情報を含む情報取得要求を送信する。サーバ装置３は、複数回の連続する情報取得要求に含まれる位置情報に基づいて、その位置情報と車両Ｍの進行方向を特定し、車両Ｍの位置情報より進行方向の所定距離以内の走行路の状態の情報（十字路や直線路）の情報を特定する。サーバ装置３は、走行路の状態の情報を、情報取得要求を送信した通知装置１へ送信する。そして、走行路認識部１２は、サーバ装置３から受信した情報に基づいて、前方の走行路の状態を認識するようにしてよい。

走行路認識部１２は、端末２から受信する情報の中から、前方の走行路の状態を示す情報を取得してもよい。または走行路認識部１２は、車両Ｍが搭載されて地図やその地図中の現在位置を表示するナビゲーション装置から、車両Ｍの進行方向の所定距離先に位置する走行路の状態を示す情報を取得してもよい。

［移動状態推定処理］
移動状態推定部１３は、端末２やサーバ装置３から取得した個人属性情報に含まれる情報から歩行者Ｈの移動速度や移動方向を取得する。移動状態推定部１３は、連続する複数の撮影画像に写る人物の位置情報に基づいて、歩行者Ｈの移動方向や移動速度を算出するようにしてもよい。

［位置検出処理］
位置検出部１４は、個人属性情報に含まれる位置情報に基づいて、歩行者Ｈが車両Ｍの進行方向の右側に位置するか、左側に位置するかを判定する。位置検出部１４は、撮影画像に写る人物の位置に基づいて、歩行者Ｈが車両Ｍの進行方向の右側に位置するか、左側に位置するかを判定してもよい。位置検出部１４は、撮影画像から走行路を認識し、走行路の左側に人物が位置する場合には人物が左側に位置すると判定し、走行路の右側に人物を認識した場合には人物が右側に位置すると判定する。

［第一実施形態］
図６は通知装置の処理フローを示す図である。次に通知装置１の処理フローを順を追って説明する。端末２には予め、通知システム１００に接続するための専用アプリケーションプログラムがインストールされている。歩行者Ｈは、端末２の当該プログラムを実行させると、端末２に通知機能が備わる。以下、端末２の処理はこの通知機能の処理である。端末２は、位置情報を検出する。位置情報は、端末２に備わる位置検出機能が、ＧＮＳＳ衛星からの信号を受信して算出した位置情報であってよい。位置情報は端末２の緯度、経度、高度を示す情報であってよい。端末２は、位置情報の時間経過に基づいた遷移に基づいて、それら複数の位置情報から端末２の移動速度、移動方向を算出してもよい。端末２は、予め設定されて端末２が記憶する歩行者Ｈの性別、年齢を取得する。端末２は、端末２を識別するための端末ＩＤ、位置情報、移動速度、移動方向、歩行者Ｈの性別、年齢を含む個人属性情報を生成する。端末２は、個人属性情報をサーバ装置３へ送信する。サーバ装置３は、個人属性情報を記憶する。

車両Ｍの通知装置１の制御部１９は、通知装置１や車両Ｍに別途備わる位置検出機能が、ＧＮＳＳ（Global Navigation Satellite System）衛星からの信号を受信して算出した位置情報を取得する。制御部１９は、１秒間隔などの所定時間毎に定期的にサーバ装置３にアクセスして、位置情報を含む情報取得要求を送信する。サーバ装置３は、情報取得要求に含まれる位置情報に基づいて、その位置情報から所定距離以内の位置情報を含む個人属性情報を取得する。所定距離は例えば１００メートルや２００メートルなどの距離であってよい。サーバ装置３は、個人属性情報を、情報取得要求を送信した通知装置１へ送信する。通知装置１は個人属性情報を受信する。

通知装置１は、サーバ装置３を介さずに、直接、端末２から個人属性情報を取得してよい。例えば通知装置１の制御部１９は、所定の間隔で情報取得要求を送信する。この送信は、通信モジュール１０５により、無線信号によりブロードキャストされる。車両Ｍから所定の距離（１００メートルや２００メートル等）の範囲内に位置する歩行者Ｈの端末２は、情報取得要求の信号を受信することができる。端末２は、情報取得要求の信号を受信すると、生成した車両Ｍの通知装置１に宛てて個人属性情報を送信する。通知装置１は個人属性情報を取得することができる。

制御部１９は、カメラ１０から数十ミリ秒間隔などの所定の短い間隔で撮影画像を取得する。制御部１９は、撮影画像を人物認識部１８へ出力する。人物認識部１８は、撮影画像から人物を認識する。画像中の人物の認識は、例えば人の顔を認識する処理であってよい。顔を認識する処理は、公知の技術を用いてよい。人物認識部１８は、撮影画像から人物が認識できたか否かを示す情報を調整部１６へ出力する。

通知装置１の制御部１９は、個人属性情報を取得できたか否かを判定する（ステップＳ１０１）。制御部１９は、撮影画像に人の顔を認識した時刻から、所定時間以内に個人属性情報を取得できたかを判定する処理であってよい。制御部１９は、個人属性情報を取得できた場合には、通知タイミングを調整すると決定する。制御部１９は個人属性情報を取得できない場合には、通知タイミングを調整せずに通知すると決定する。

通知タイミングを調整する場合、属性取得部１１は個人属性情報を、制御部１９から取得する。属性取得部１１は、個人属性情報に含まれる歩行者Ｈの年齢を取得する。属性取得部１１は、歩行者Ｈの年齢を分類部１５へ出力する。分類部１５は、歩行者Ｈの年齢に基づいて、歩行者Ｈの年齢範囲を分類する（ステップＳ１０２）。これにより、分類部１５は、歩行者Ｈの年齢が、第一年齢範囲、第二年齢範囲、第三年齢範囲の何れに属するかを判定する。分類部１５は、歩行者Ｈの年齢範囲を調整部１６へ出力する。

走行路認識部１２はカメラ１０から撮影画像を取得する。走行路認識部１２は、撮影画像と学習モデルとを用いて、撮影画像を、学習モデルを用いたニューラルネットワーク等に入力する。走行路認識部１２はその結果、車両Ｍの走行する走行路の他の走行路との交わり状態が十字路か、直線路かの情報を出力する。この出力処理において、走行路認識部１２は、撮影画像に基づいて、車両Ｍの走行する走行路の他の走行路との交わり状態が十字路か、直線路かを認識できたかを判定する（ステップＳ１０３）。走行路認識部１２は走行路の他の走行路との交わり状態として十字路または直線路を示す情報を出力した場合、認識できたと判定し、その認識結果を調整部１６へ出力する。

位置検出部１４は、車両Ｍの位置情報の遷移に基づいて、３次元空間における車両Ｍの進行方向ベクトルを算出する。位置検出部１４は、車両Ｍの現在位置を基準とする進行方向ベクトルと、歩行者Ｈの位置情報とに基づいて、歩行者Ｈが進行方向の右側に位置するか、左側に位置するかを判定する（ステップＳ１０４）。位置検出部１４は、歩行者Ｈが進行方向の右側に位置する場合には右側の情報を、歩行者Ｈが進行方向の左側に位置する場合には左側の情報を、歩行者Ｈの位置情報として調整部１６へ出力する。

移動状態推定部１３は、歩行者Ｈの移動速度を取得したかを判定する（ステップＳ１０５）。移動状態推定部１３は、移動速度を、個人属性情報の中から検出して取得してよい。移動状態推定部１３は、端末２から所定間隔で連続して取得した個人属性情報に含まれる位置情報に基づいて、移動速度を算出してもよい。移動状態推定部１３は、撮影画像に写る人物の画像内位置の遷移と、オプティカルフロー等の技術を用いて、移動速度を推定するようにしてもよい。移動状態推定部１３は、歩行者Ｈの移動速度を取得できた場合には、その移動速度を調整部１６へ出力する。移動状態推定部１３は、個人属性情報に移動方向が含まれる場合には、移動方向の情報を調整部１６へ出力する。移動状態推定部１３は、移動速度と同様に、移動方向を算出してもよいし、撮影画像とオプティカルフローの技術を用いて歩行者Ｈの移動方向を推定するようにしてもよい。

調整部１６は、移動速度に基づいて、歩行者Ｈが走っているか、歩いているかを判定する（ステップＳ１０６）。例えば調整部１６は、歩行者Ｈの移動速度が１メートル毎秒などの所定の速度未満の場合には、歩行者Ｈが歩いていると判定し、１メートル毎秒以上である場合には走っていると判定してよい。

調整部１６は、歩行者Ｈの年齢範囲（第一年齢範囲～第三年齢範囲）、車両Ｍの走行する走行路の他の走行路との交わり状態（十字路、直線路）、車両Ｍの進行方向に対する歩行者Ｈの位置情報（右側、左側）、歩行者Ｈの移動状態（歩行、走行）の各情報に紐づいて、記憶部１１１の記憶するタイミングリストに記録されている衝突余裕時間（ＴＴＣ）を読み取って特定する（ステップＳ１０７）。調整部１６は、取得した衝突余裕時間と端末ＩＤとを通知部１７へ出力する。この処理は、通知装置１の調整部１６が、歩行者Ｈが車両Ｍの走行する走行路に出て車両Ｍに衝突するまでの時間を示す衝突余裕時間を特定し、当該衝突余裕時間が確保できる時刻に通知タイミングを調整する処理の一態様である。

通知部１７は、車両Ｍの現在位置と、車両Ｍの進行速度と、車両Ｍの進行ベクトルと、歩行者Ｈの現在位置と、歩行者Ｈの移動速度と移動ベクトルとに基づいて、衝突予想時刻を特定する（ステップＳ１０８）。衝突予想時刻の算出は、それらの情報を用いて、公知の技術を用いればよい。通知部１７は、衝突予想時刻から衝突余裕時間を減じた通知タイミングで、端末ＩＤを含む警告信号を送信する（ステップＳ１０９）。なお通知部１７は、現在時刻から衝突予想時刻までの時間が衝突余裕時間よりも短い場合には、直ちに警告信号を送信してもよい。

通知部１７は、現在時刻から衝突予想時刻までの時間が衝突余裕時間よりも長い場合には、警告信号を送信してから端末２でその信号を受信し警告音を発するまでの時間αを考慮して、衝突予想時刻から、衝突余裕時間に時間αを加えた時間を減じた通知タイミングに、警告信号を送信してもよい。または、通知部１７は、現在時刻から衝突予想時刻までの時間が衝突余裕時間よりも長い場合であっても、衝突予想時刻と、衝突余裕時間とを含む警告信号を、端末２に直ちに送信してもよい。この場合、端末２は、衝突予想時刻から衝突余裕時間を減じた警告の通知タイミングを算出し、その警告の通知タイミングに警告音を鳴動させる処理を行ってもよい。

上述の処理において、ステップＳ１０１で個人属性情報を取得できない場合、ステップＳ１０３で車両Ｍの走行する走行路の他の走行路との交わり状態が認識できない場合、ステップＳ１０６で歩行者Ｈの移動速度が検出できず、歩行者Ｈが走っているか歩いているかを判定できない場合などには、調整部１６は、データテーブルに記録されている、最も早い所定の通知タイミングを算出するための衝突余裕時間を取得する（ステップＳ１１０）。調整部１６は、その衝突余裕時間を用いて、上記と同様に警告信号を送信する。衝突余裕時間は上記の何れの時間よりも大きい時間である。これにより最も早く警告信号を送信することができる。

以上の処理によれば、通知装置１は、車両Ｍと歩行者Ｈが衝突すると推定できる衝突推定時刻より衝突余裕時間前の時刻に、車両Ｍに接近している歩行者Ｈに警告を通知することができる。また上述の処理によれば、通知装置１は、歩行者Ｈの年齢が属する年齢範囲や、車両Ｍの進行方向を基準とした位置に応じた衝突余裕時間を設定して警告の通知をすることができるため、意味なく早い時刻や、遅い時刻に警告が鳴動する可能性を排除して、適切な時刻に歩行者Ｈに警告を通知することができる。また上述の処理によれば、専用のアプリケーションプログラムを備えた端末２に対して、警告信号を送信するため、全ての歩行者Ｈに警告信号を送る必要はなく、専用のアプリケーションを端末にインストールした歩行者Ｈ（子供や、障碍者など）にのみ警告を通知することができる。

［第一変形例］
上述の処理において、端末２は、警告音を鳴動させる代わりに、または鳴動と組み合わせて、バイブレータを動作させる、警告表示をディスプレイに出力するなどの処理を行うようにしてもよい。上述の端末２は、スマートフォン以外の通知システム１００に利用できる専用の端末２であってもよいし、例えば小型の無線イヤホンや、スマートグラスなどであってもよい。

［第二変形例］
また、上述の処理では、調整部１６は、車両Ｍの現在位置と、車両Ｍの進行速度と、車両Ｍの進行ベクトルと、歩行者Ｈの現在位置と、歩行者Ｈの移動速度と移動ベクトルとに基づいて、データテーブルから衝突余裕時間を特定している。しかしながら、調整部１６は、車両Ｍの現在位置と、車両Ｍの進行速度と、車両Ｍの進行ベクトルと、歩行者Ｈの現在位置と、歩行者Ｈの移動速度と移動ベクトルとに基づいて、衝突余裕時間を算出するようにしてもよい。歩行者の位置に応じて、衝突余裕時間は異なる。従って、歩行者の位置に応じた衝突余裕時間を設定して、警告を通知することができる。

［第三変形例］
図７は、通知装置の機能ブロックを示す第二の図である。
上述の処理では、人物の属性情報である年齢が、個人属性情報に含まれる場合の例を用いて説明した。しかしながら、通知装置１は、属性推定部１１２を備え、属性推定部１１２が、撮影画像に写る人物の認識結果（推定年齢）に基づいて、第一年齢範囲から第三年齢範囲の何れの分類に属するかを推定してもよい。

［第四変形例］
上述の処理では、調整部１６は、歩行者Ｈの移動方向を用いずに、通知タイミングを特定している。しかしながら、調整部１６は、移動方向をさらに用いて通知タイミングを特定してよい。この場合、調整部１６は、歩行者Ｈの移動方向と、走行路を走行する車両の進行方向とが交わるかを判定する。調整部１６は、歩行者Ｈの移動方向と、走行路を走行する車両の進行方向とが交わる場合にのみ、歩行者Ｈの年齢範囲（第一年齢範囲～第三年齢範囲）、車両Ｍの走行する走行路の他の走行路との交わり状態（十字路、直線路）、車両Ｍの進行方向に対する歩行者Ｈの位置情報（右側、左側）、歩行者Ｈの移動状態（歩行、走行）の各情報に紐づいて、記憶部１１１の記憶するタイミングリストに記録されている衝突余裕時間を取得する。調整部１６は、歩行者Ｈの移動方向と、走行路を走行する車両の進行方向とが交わらない場合には、通知をしないと判定し、警告信号の送信を停止してもよい。調整部１６は、歩行者Ｈの年齢範囲（第一年齢範囲～第三年齢範囲）、車両Ｍの走行する走行路の他の走行路との交わり状態（十字路、直線路）、車両Ｍの進行方向に対する歩行者Ｈの位置情報（右側、左側）、歩行者Ｈの移動状態（歩行、走行）、歩行者Ｈの移動方向に基づいて、所定の算出式により衝突余裕時間を算出してもよい。

［第五変形例］
上述の処理では、調整部１６は、車両Ｍが走行する走行路と他の走行路との交わり状態と、歩行者Ｈの位置とに基づいて、通知タイミングを特定している。しかしながら、調整部１６は、歩行者Ｈの位置を用いずに、通知タイミングを特定してもよい。この場合、調整部１６は、歩行者Ｈの年齢範囲（第一年齢範囲～第三年齢範囲）、車両Ｍの走行する走行路の他の走行路との交わり状態（十字路、直線路）、歩行者Ｈの移動状態（歩行、走行）の各情報に紐づいて、記憶部１１１の記憶するタイミングリストに記録されている衝突余裕時間を取得してもよい。

［第六変形例］
上述の処理では、通知装置１は、端末２の位置情報を、端末２から受信した個人属性情報から特定している。しかしながら、端末２の位置情報は、通知装置１が検出してもよい。例えば通知装置１の通信モジュール１０５が、端末２から送信された無線信号の到来方向とその信号強度を検出し、それらの情報に基づいて、端末２の位置情報を検出してもよい。または通知装置１の通信モジュール１０５が端末２から発信される無線信号に基づいて、他の公知の手法により端末２の位置情報を検出してもよい。通知装置１の人物認識部１８は、検出した端末２の位置情報に対応する画像中の位置の歩行者Ｈの顔を認識して、移動状態推定部１３が複数の撮影画像に写る当該顔の移動の情報に基づいて当該歩行者Ｈの移動状態（進行方向や進行速度）を推定してもよいし、属性推定部１１２が撮影画像の当該顔の情報に基づいて人物の年齢を推定してもよい。

［第七変形例］
上述の処理では、通知装置１は、歩行者が携帯する端末２に警告信号を送信している。しかしながら、通知装置１は、歩行者の近傍にある通知先装置２に警告信号を送信してもよい。通知先装置２は、例えば、歩行者周辺に設定されている広告媒体用のディスプレイであってよい。この場合、通知装置１の制御部１９は、所定の間隔で自装置の位置情報を含む送信先情報要求をサーバ装置３へ送信する。サーバ装置３は、通知先装置の位置情報を取得し、その位置情報から１００ｍなどの所定距離に位置する通知先装置２のネットワークアドレス情報を取得する。ネットワークアドレス情報は、例えば、通知先装置に情報を送信するための通信ネットワークのアドレス情報である。サーバ装置３は、通信先装置のネットワークアドレス情報を通知装置１へ送信する。通知装置１は、通知先装置２のネットワークアドレス情報を取得する。または通知装置１は、予め自装置の記憶部１１１に記憶する通知先装置の位置情報とネットワークアドレスとを紐づけたデータテーブルの中から、端末２の位置情報を基準として所定距離範囲内に位置する通知先装置、またはそれら通知先装置のうち最も車両Ｍの位置情報に近い通知先装置のネットワークアドレスを取得してもよい。通知装置１は、上述の処理において警告信号を送信する際に、取得した通知先装置のネットワークアドレス情報を用いて、通知先装置へ警告信号を送信する。警告信号を受信した通知先装置は、警告の情報を表示する、または警告音などを出力するようにしてもよい。これにより、歩行者Ｈの近傍の広告媒体用のディスプレイ等の通知先装置に警告の情報を表示したり、警告音を出力したりすることができる。なお通知装置１は、端末２と他の通知先装置に同時に警告信号を送信してもよい。これにより歩行者Ｈに警告を伝えやすくなるという効果が得られる。

上記説明した実施形態は、以下のように表現することができる。
プログラムを記憶した記憶装置と、
ハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサが前記記憶装置に記憶されたプログラムを実行することにより、
移動体から所定の距離の範囲内に位置する人物に関する属性情報を取得し、
前記属性情報に基づいて前記人物を分類し、
前記分類の結果に基づいて前記人物に対する通知タイミングを調整する
ように構成されている通知装置。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１ 通知装置
２ 端末
３ サーバ装置
１０ カメラ
１１ 属性取得部
１２ 走行路認識部
１３ 移動状態推定部
１４ 位置検出部
１５ 分類部
１６ 調整部
１７ 通知部
１８ 人物認識部
１９ 制御部
１１１ 記憶部
１１２ 属性推定部
Ｈ 歩行者
Ｍ 車両

Claims (16)

1. 移動体から所定の距離の範囲内に位置する人物に関する属性情報を取得する属性取得部と、
   前記属性情報に基づいて前記人物を分類する分類部と、
   前記人物が前記移動体の走行する走行路に出て前記移動体に衝突するまでの時間を示す衝突余裕時間を特定し、前記分類の結果と前記衝突余裕時間とに基づいて、前記衝突余裕時間が確保できる時刻に前記人物に対する通知のタイミングを調整する調整部と、
   を備え、
   前記調整部は、前記人物を認識した時刻から所定時間以内に前記属性情報を取得できない場合、最も早く通知できるように前記タイミングを調整する
   通知装置。
2. 前記属性情報は少なくとも前記人物の年齢に関する情報を含み、
   前記分類部は、前記年齢に基づいて前記人物の年齢に関する前記分類の結果を出力する
   請求項１に記載の通知装置。
3. 前記人物を認識する人物認識部と、
   前記人物の認識の結果に基づいて前記人物の属性情報を推定する属性推定部と、
   を備える請求項１または２に記載の通知装置。
4. 前記人物の移動方向と移動速度を推定する移動状態推定部と、を備え、
   前記調整部は、さらに前記人物の移動方向と移動速度とに基づいて前記人物に対する前記通知のタイミングを調整する
   請求項１から請求項３の何れか一項に記載の通知装置。
5. 前記人物の移動速度を検出する移動状態推定部と、を備え、
   前記調整部は、さらに前記人物の移動速度に基づいて前記人物に対する前記通知のタイミングを調整する
   請求項１から請求項３の何れか一項に記載の通知装置。
6. 前記移動体の走行する走行路の他の走行路との交わり状態を認識する走行路認識部と、
   を備え、
   前記調整部は、前記交わり状態に基づいて、前記人物に対する前記通知のタイミングを調整する
   請求項１から請求項５の何れか一項に記載の通知装置。
7. 前記移動体の走行する走行路の他の走行路との交わり状態を認識する走行路認識部と、
   を備え、
   前記調整部は、前記交わり状態と、前記人物の位置とに基づいて、前記人物に対する前記通知のタイミングを調整する
   請求項１から請求項５の何れか一項に記載の通知装置。
8. 前記調整部は、前記走行路の他の走行路との交わり状態を認識できない場合、最も早く通知できるように前記タイミングを調整する
   請求項７に記載の通知装置。
9. 移動体から所定の距離の範囲内に位置する人物に関する属性情報を取得する属性取得部と、
   前記属性情報に基づいて前記人物を分類する分類部と、
   前記移動体の走行する走行路の他の走行路との交わり状態を認識する走行路認識部と、
   前記交わり状態と、前記人物の位置とに基づいて、前記人物が前記移動体の走行する走行路に出て前記移動体に衝突するまでの時間を示す衝突余裕時間を特定し、前記分類の結果と前記衝突余裕時間とに基づいて、前記衝突余裕時間が確保できる時刻に前記人物に対する通知のタイミングを調整する調整部と、
   を備え、
   前記調整部は、前記走行路の他の走行路との交わり状態を認識できない場合、最も早く通知できるように前記タイミングを調整する、
   通知装置。
10. 前記調整部は、前記人物の移動速度を検出できない場合、最も早く通知できるように前記タイミングを調整する
    請求項５に記載の通知装置。
11. 移動体から所定の距離の範囲内に位置する人物に関する属性情報を取得する属性取得部と、
    前記属性情報に基づいて前記人物を分類する分類部と、
    前記人物の移動速度を検出する移動状態推定部と、
    前記人物の移動速度に基づいて、前記人物が前記移動体の走行する走行路に出て前記移動体に衝突するまでの時間を示す衝突余裕時間を特定し、前記分類の結果と前記衝突余裕時間とに基づいて、前記衝突余裕時間が確保できる時刻に前記人物に対する通知のタイミングを調整する調整部と、を備え、
    前記調整部は、前記人物の移動速度を検出できない場合、最も早く通知できるように前記タイミングを調整する、
    通知装置。
12. 前記調整部は、前記人物の分類の結果が示す複数の年代に応じた、当該人物が前記移動体の走行する走行路に出て前記移動体に衝突するまでの時間を示す衝突余裕時間を特定し、当該衝突余裕時間が確保できる時刻に前記通知のタイミングを調整する
    請求項１から請求項１１の何れか一項に記載の通知装置。
13. 前記調整部は、前記人物の移動速度の分類に基づいて、当該人物が前記移動体の走行する走行路に出て前記移動体に衝突するまでの時間を示す衝突余裕時間を特定し、当該衝突余裕時間が確保できる時刻に前記通知のタイミングを調整する
    請求項１から請求項１２の何れか一項に記載の通知装置。
14. 前記調整部は、前記走行路の他の走行路との交わり状態と、前記人物の位置に基づいて、当該人物が前記移動体の走行する走行路に出て前記移動体に衝突するまでの時間を示す衝突余裕時間を特定し、当該衝突余裕時間が確保できる時刻に前記通知のタイミングを調整する
    請求項６、請求項７、請求項８の何れか一項に記載の通知装置。
15. コンピュータが、
    移動体から所定の距離の範囲内に位置する人物に関する属性情報を取得し、
    前記属性情報に基づいて前記人物を分類し、
    前記人物が前記移動体の走行する走行路に出て前記移動体に衝突するまでの時間を示す衝突余裕時間を特定し、前記分類の結果と前記衝突余裕時間とに基づいて、前記衝突余裕時間が確保できる時刻に前記人物に対する通知のタイミングを調整し、
    前記人物を認識した時刻から所定時間以内に前記属性情報を取得できない場合、最も早く通知できるように前記タイミングを調整する、
    通知方法。
16. コンピュータに、
    移動体から所定の距離の範囲内に位置する人物に関する属性情報を取得する処理と、
    前記属性情報に基づいて前記人物を分類する処理と、
    前記人物が前記移動体の走行する走行路に出て前記移動体に衝突するまでの時間を示す衝突余裕時間を特定し、前記分類の結果と前記衝突余裕時間とに基づいて、前記衝突余裕時間が確保できる時刻に前記人物に対する通知のタイミングを調整する処理と、
    前記人物を認識した時刻から所定時間以内に前記属性情報を取得できない場合、最も早く通知できるように前記タイミングを調整する処理と、
    を実行させるプログラム。