JP7234614B2 - 異常検出装置、異常検出システム及び異常検出プログラム - Google Patents

Description

本開示は、異常検出装置、異常検出システム及び異常検出プログラムに関する。

従来、車両の運転者の状態を監視する装置が知られている。例えば特許文献１には、ルームミラーカメラ等によって撮影された自車両内の映像から自車両の運転者の状態を把握し、自車両の運転者の状態に基づいて警告を発報する安全運転補助装置が開示されている。

特開２０１８－９２５５４号公報

自車両の安全な走行は、他車両の運転者の状態が異常になることによって妨げられることがある。車両が運転者の異常状態を検出する装置を搭載していない場合でも、その車両の運転者の異常状態を検出することが求められる。

かかる事情に鑑みてなされた本開示の目的は、車両が運転者の異常状態を検出する装置を搭載しているか否かにかかわらず、その車両の運転者の異常状態を検出することにある。

本開示の一実施形態に係る異常検出装置は、
少なくとも２台の第１車両のそれぞれの車載カメラによって前記第１車両とは異なる第２車両が撮影されている第１画像を取得し、
前記第１画像に含まれる前記第２車両の運転者の画像に基づいて、前記第２車両の運転者の異常状態を検出し、
前記第２車両の運転者の異常状態の検出結果を、前記第２車両の影響を受け得る歩行者又は車両の搭乗者に報知し、
前記第１車両及び前記第２車両のいずれにも設置されていない。

本開示の一実施形態に係る異常検出システムは、
少なくとも２台の第１車両と、異常検出装置とを備える異常検出システムであって、
前記異常検出装置は、
前記少なくとも２台の第１車両のそれぞれの車載カメラによって前記第１車両とは異なる第２車両が撮影されている第１画像を取得し、
前記第１画像に含まれる前記第２車両の運転者の画像に基づいて、前記第２車両の運転者の異常状態を検出し、
前記第２車両の運転者の異常状態の検出結果を、前記第２車両の影響を受け得る歩行者又は車両の搭乗者に報知し、
前記第１車両及び前記第２車両のいずれにも設置されていない。

本開示の一実施形態に係る異常検出プログラムは、
少なくとも２台の第１車両のそれぞれの車載カメラによって前記第１車両とは異なる第２車両が撮影されている第１画像を取得するステップと、
前記第１画像に含まれる前記第２車両の運転者の画像に基づいて、前記第２車両の運転者の異常状態を検出するステップと、
前記第２車両の運転者の異常状態の検出結果を、前記第２車両の影響を受け得る歩行者又は車両の搭乗者に報知するステップと
を、前記第１車両及び前記第２車両のいずれにも設置されていない異常検出装置のプロセッサに実行させる。

本開示の一実施形態に係る異常検出装置、異常検出システム及び異常検出プログラムによれば、車両が運転者の異常状態を検出する装置を搭載しているか否かにかかわらず、その車両の運転者の異常状態が検出されうる。

一実施形態に係る異常検出システムの構成例を示す模式図である。 一実施形態に係る異常検出システムの概略構成例を示すブロック図である。 異常検出装置を備える車両の構成例を示すブロック図である。 異常検出装置を備える車両を含む異常検出システムの構成例を示すブロック図である。 サーバが異常検出装置の機能を実現している異常検出システムの構成例を示すブロック図である。 異常検出方法の手順の一例を示すフローチャートである。

図１及び図２に示されるように、一実施形態に係る異常検出システム１００は、第１車両１を備える。異常検出システム１００は、複数の第１車両１を備えてもよい。複数の第１車両１は、互いに通信可能であるとする。各第１車両１は、ネットワーク６０を介して他の第１車両１と通信してもよいし、ネットワーク６０を介さずに直接、他の第１車両１と通信してもよい。異常検出システム１００は、サーバ５０をさらに備えてもよい。第１車両１は、サーバ５０と通信可能であるとする。第１車両１は、ネットワーク６０を介してサーバ５０と通信してもよい。

第１車両１は、車載カメラ２０を備える。車載カメラ２０は、第１車両１に搭載されているカメラであり、第１車両１の周囲に位置する対象物を撮影する。車載カメラ２０による撮影の対象物は、自車両以外の車両の運転者を含む。異常検出システム１００は、車載カメラ２０が撮影した自車両以外の車両の運転者の画像に基づいて、その運転者の異常状態を検出できる。異常検出システム１００による状態検出の対象となる運転者が運転している車両は、第２車両２と称されるとする。言い換えれば、異常検出システム１００は、監視対象として、車載カメラ２０に第２車両２を撮影させる。第１車両１は、車載カメラ２０が撮影した第２車両２の画像を、第１車両１の間で共有したり、サーバ５０に送信したりしてよい。第１車両１は、監視車両ともいう。第２車両２は、被監視車両ともいう。第１車両１及び第２車両２は、例えば自動車であるが、これに限られず任意の車両であってもよい。

異常検出システム１００は、異常検出装置１０を備える。異常検出装置１０は、１つ以上のプロセッサによって実現されてよい。異常検出装置１０は、１つ以上のプロセッサを含むコントローラを備えてもよい。本実施形態において「プロセッサ」は、汎用のプロセッサ、特定の処理に特化した専用のプロセッサ等であるが、これらに限られない。異常検出装置１０は、第１車両１に搭載されていてよい。異常検出装置１０は、第１車両１に搭載されている場合、第１車両１のＥＣＵ（Electronic Control Unit）の機能の一部として実現されてもよい。異常検出システム１００がサーバ５０を備える場合、異常検出装置１０は、サーバ５０の機能の一部として実現されてもよい。

異常検出装置１０を搭載している第１車両１は、第１車両１ａと称されるとする。第１車両１ａは、異常検出装置１０と、車載カメラ２０と、通信装置３０とを搭載している。異常検出装置１０を搭載していない第１車両１は、第１車両１ｂと称されるとする。第１車両１ｂは、車載カメラ２０と、通信装置３０とを搭載している。異常検出装置１０と、車載カメラ２０と、通信装置３０とは、例えばＣＡＮ（Controller Area Network）等の車載ネットワーク又は専用線を介して、互いに通信可能に接続されている。

通信装置３０は、他の第１車両１に搭載されている通信装置３０と通信する。通信装置３０は、ネットワーク６０を介して、他の第１車両１に搭載されている通信装置３０と通信してよい。本実施形態において、第１車両１は、ネットワーク６０を介して互いに通信すると仮定する。通信装置３０は、ネットワーク６０を介して、サーバ５０と通信してもよい。通信装置３０は、例えばＤＣＭ（Data Communication Module）等の車載通信機であってよい。通信装置３０は、ネットワーク６０に接続する通信モジュールを含んでよい。通信モジュールは、例えば４Ｇ（4th Generation）及び５Ｇ（5th Generation）等の移動体通信規格に対応する通信モジュールを含んでよいが、これらに限られない。

サーバ５０は、サーバ制御部５１と、サーバ通信部５２と、サーバ記憶部５３とを備える。サーバ制御部５１は、１つ以上のプロセッサを含んでよい。サーバ通信部５２は、通信モジュールを含み、第１車両１の通信装置３０と通信してよい。サーバ記憶部５３は、１つ以上のメモリを含んでよい。本実施形態において「メモリ」は、例えば半導体メモリ、磁気メモリ、又は光メモリ等であるが、これらに限られない。サーバ記憶部５３に含まれる各メモリは、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。サーバ記憶部５３は、磁気ディスク等の電磁記憶媒体を含んでもよい。サーバ記憶部５３は、サーバ５０の動作に用いられる任意の情報を記憶する。例えば、サーバ記憶部５３は、システムプログラム、又はアプリケーションプログラム等を記憶してもよい。

車載カメラ２０は、第１車両１の周囲又は車室内に位置する対象物を撮影する。車載カメラ２０が撮影した画像は、車載カメラ画像ともいう。車載カメラ画像は、静止画像を含んでよいし、動画を含んでもよい。

車載カメラ２０は、図３に例示されているように、前方カメラ２１、側方カメラ２２、後方カメラ２３及び車内カメラ２４のうち少なくとも１つを備えてよい。前方カメラ２１は、第１車両１の前方に位置する対象物を撮影する。前方カメラ２１が撮影した画像は、前方画像ともいう。側方カメラ２２は、第１車両１の側方に位置する対象物を撮影する。側方カメラ２２が撮影した画像は、側方画像ともいう。後方カメラ２３は、第１車両１の後方に位置する対象物を撮影する。後方カメラ２３が撮影した画像は、後方画像ともいう。車内カメラ２４は、第１車両１の車室内に位置する対象物及び第１車両１の後方に位置する対象物を撮影する。車内カメラ２４が撮影した画像は、車内画像ともいう。

車載カメラ２０は、車載カメラ画像を、自車両内の異常検出装置１０に出力してよい。車載カメラ２０は、車載カメラ画像を、通信装置３０を介して、他の第１車両１ａに搭載されている異常検出装置１０、又は、異常検出装置１０の機能を実現するサーバ５０に出力してもよい。

異常検出装置１０は、車載カメラ２０から取得した車載カメラ画像を解析する。異常検出装置１０は、車載カメラ画像から、監視対象とする第２車両２の画像を検出する。異常検出装置１０は、車載カメラ画像に含まれる車両の画像のうち、所定条件を満たす画像を、第２車両２の画像として検出してよい。所定条件は、監視対象判定条件ともいう。監視対象判定条件は、例えば、車両の位置若しくは動き、車両の形状若しくは色等の外観、又は、車両の登録ナンバー等の、車載カメラ画像に含まれる画像が第２車両２に該当するか判定するための条件を含んでよい。監視対象判定条件は、予め設定されていてもよいし、他の機器から取得されてもよい。第２車両２の画像を含んでいる車載カメラ画像は、第１画像と称されるとする。

異常検出装置１０は、前方画像から、対向車として走行している第２車両２の運転者を正面から見た画像を第１画像として検出してよい。異常検出装置１０は、前方画像から、自車両の前を走行している第２車両２の運転者を背後から見た画像を第１画像として検出してもよい。異常検出装置１０は、側方画像から、複数の車線で並走している第２車両２の運転者を側面から見た画像を第１画像として検出してよい。異常検出装置１０は、後方画像又は車内画像から、自車両の後ろを走行している第２車両２の運転者を正面から見た画像を第１画像として検出してよい。

異常検出装置１０は、第１画像に基づいて、第２車両２の運転者に関する情報を検出してよい。第２車両２の運転者に関する情報は、運転者情報ともいう。運転者情報は、第２車両２の運転者の顔、姿勢、又は行動に関する情報を含んでよい。異常検出装置１０は、複数の視点から第２車両２の運転者を見た第１画像に基づいて、運転者情報を検出してよい。

図３に例示されているように、第１車両１は、車載カメラ画像を解析する画像解析部４０を備えてよい。画像解析部４０は、１つ以上のプロセッサによって実現されてよい。画像解析部４０は、車載カメラ２０に含まれてもよい。画像解析部４０は、前方カメラ２１から前方画像を取得し、前方画像を解析する前方画像解析部４１を含んでよい。画像解析部４０は、側方カメラ２２から側方画像を取得し、側方画像を解析する側方画像解析部４２を含んでよい。画像解析部４０は、後方カメラ２３から後方画像を取得し、車内カメラ２４から車内画像を取得し、後方画像と、車内画像に含まれる第１車両１の後方の対象物の画像とを解析する後方画像解析部４３を含んでよい。

画像解析部４０は、車載カメラ画像から、第２車両２、又は、第２車両２とは異なる車両を含む画像を抽出し、出力してよい。画像解析部４０が抽出する、第２車両２、又は、第２車両２とは異なる車両を含む画像は、車両抽出画像ともいう。画像解析部４０は、監視対象判定条件に基づいて、車載カメラ画像から第２車両２を含む第１画像を抽出し、車両抽出画像として出力してもよい。画像解析部４０は、車両抽出画像を、自車両内の異常検出装置１０に出力してよい。画像解析部４０は、車両抽出画像を、通信装置３０を介して、他の第１車両１ａに搭載されている異常検出装置１０、又は、異常検出装置１０の機能を実現するサーバ５０に出力してもよい。異常検出装置１０が画像解析部４０から車両抽出画像として第２車両２又は第２車両２の運転者を含む画像を取得することによって、異常検出装置１０による画像解析処理の一部が省略されうる。その結果、異常検出装置１０の負荷が軽くなる。

画像解析部４０は、車載カメラ画像に基づいて運転者情報を検出してもよい。画像解析部４０は、運転者情報を、自車両内の異常検出装置１０に出力してよい。画像解析部４０は、運転者情報を、通信装置３０を介して、他の第１車両１ａに搭載されている異常検出装置１０、又は、異常検出装置１０の機能を実現するサーバ５０に出力してもよい。異常検出装置１０が画像解析部４０から運転者情報を取得することによって、異常検出装置１０による画像解析処理の一部が省略されうる。その結果、異常検出装置１０の負荷が軽くなる。

車載カメラ２０又は画像解析部４０は、異常検出装置１０とともに第１車両１ａに搭載されている場合、第１車両１ａの内部で異常検出装置１０に車載カメラ画像若しくは車両抽出画像又は運転者情報を出力してよい。つまり、異常検出装置１０は、第１車両１ａの内部で車載カメラ画像若しくは車両抽出画像又は運転者情報を取得してよい。一方で、第１車両１ａに搭載されている異常検出装置１０は、自装置を搭載している第１車両１ａとは異なる第１車両１から車載カメラ画像若しくは車両抽出画像又は運転者情報を取得してもよい。

第１車両１が車載カメラ２０と画像解析部４０とを備える場合、画像解析部４０は、車載カメラ画像又は車両抽出画像と運転者情報とを両方とも出力してよい。異常検出装置１０は、車載カメラ画像又は車両抽出画像と運転者情報とを両方とも取得した場合、車載カメラ画像又は車両抽出画像を解析して得られる運転者情報と、画像解析部４０から取得した運転者情報とを比較してよい。このようにすることで、運転者情報の解析精度が向上しうる。異常検出装置１０は、車載カメラ画像又は車両抽出画像と運転者情報とを両方とも取得した場合、運転者情報のうち、画像解析部４０で解析されていない事項を、車載カメラ画像又は車両抽出画像に基づいて検出してもよい。このようにすることで、より詳細な運転者情報が検出されうる。

第１車両１は、車載カメラ２０と画像解析部４０とを備える場合、画像解析部４０から運転者情報だけを出力してもよい。第１車両１が運転者情報だけを出力する場合、画像解析部４０から異常検出装置１０への通信負荷が軽くなりうる。また、異常検出装置１０における画像解析の負荷が軽くなりうる。

第１車両１は、上述のように画像解析部４０を備えない場合、車載カメラ２０から車載カメラ画像を出力する。異常検出装置１０は、車載カメラ画像を解析することによって、運転者情報を取得できる。第１車両１が画像解析部４０を備えないことによって、構成が簡易化される。

第１車両１は、車載カメラ２０で撮影した車載カメラ画像、画像解析部４０で車載カメラ画像から抽出した車両抽出画像、及び、画像解析部４０で解析した運転者情報の少なくとも一つを出力する。車載カメラ画像、車両抽出画像、及び、運転者情報の少なくとも一つを含む情報は、カメラ出力情報ともいう。異常検出装置１０を搭載している第１車両１ａは、カメラ出力情報を、自車両の内部で異常検出装置１０に出力してもよいし、サーバ５０に出力してもよい。異常検出装置１０を搭載していない第１車両１ｂは、カメラ出力情報を、第１車両１ａに搭載されている異常検出装置１０に出力してもよいし、サーバ５０に出力してもよい。

異常検出装置１０は、カメラ出力情報が車載カメラ画像又は車両抽出画像を含む場合、車載カメラ画像又は車両抽出画像に基づいて運転者情報を検出する。異常検出装置１０は、カメラ出力情報が運転者情報を含む場合、カメラ出力情報から運転者情報を抽出する。異常検出装置１０は、運転者情報に基づいて、第２車両２の運転者の異常状態を検出する。異常検出装置１０が第２車両２の運転者の異常状態を検出する構成は、後述される。

図４及び図５に、異常検出装置１０を備える異常検出システム１００のより詳細な構成例を表すブロック図が示されている。

図４に示されるように、第１車両１が異常検出装置１０を備えてよい。異常検出装置１０を備える第１車両１ａは、異常検出装置１０として、車両情報演算部１１と、危険度解析部１２とを備えてよい。第１車両１ａは、車載カメラ２０と、通信装置３０とをさらに備える。異常検出装置１０を備えない第１車両１ｂは、車載カメラ２０と、通信装置３０とを備える。第１車両１ａ又は１ｂは、画像解析部４０をさらに備えてよい。第１車両１ａ又は１ｂは、危険情報抽出部１３をさらに備えてよい。第１車両１ａ又は１ｂは、車両報知部１４をさらに備えてよい。

図５に示されるように、サーバ５０が異常検出装置１０の機能を実現してもよい。サーバ５０は、図２に示されるように、サーバ制御部５１と、サーバ通信部５２と、サーバ記憶部５３とを備える。サーバ制御部５１は、後述する危険度解析部１２の機能を実現してよい。サーバ通信部５２は、第１車両１にデータを送信する送信部５２１と、第１車両１からデータを受信する受信部５２２とを備えてよい。サーバ記憶部５３は、後述する、車両情報データベース５３１の機能と、危険度情報データベース５３２の機能とを実現してよい。

サーバ５０は、サーバ通信部５２を介して、端末７０と通信可能に接続されてもよい。端末７０は、例えばスマートフォン等の携帯端末であってよい。端末７０は、歩行者によって所持されていてよい。端末７０は、第１車両１の運転者又は同乗者によって所持されていてよい。端末７０は、危険情報抽出部１３として機能する端末制御部７２と、端末報知部７４とを備えてよい。

通信装置３０は、送信部３１と、受信部３２とを備えてよい。送信部３１は、他の第１車両１に対してデータを送信する。受信部３２は、他の第１車両１からデータを受信する。通信装置３０は、送信用データ処理部３３を備えてよい。送信用データ処理部３３は、車載カメラ２０又は画像解析部４０から取得したカメラ出力情報に基づいて、他の第１車両１に対して送信可能なデータを生成する。送信用データ処理部３３は、通信装置３０とは別の構成として第１車両１に含まれてもよい。通信装置３０は、受信データ解析部３４を備えてよい。受信データ解析部３４は、他の第１車両１から受信したデータからカメラ出力情報を抽出し、出力する。受信データ解析部３４は、通信装置３０とは別の構成として第１車両１に含まれてもよい。

図４に示されるように、第１車両１ａに搭載されている異常検出装置１０は、車両情報演算部１１と、危険度解析部１２とを備えるとする。図５に示されるように、異常検出装置１０を備えない第１車両１ｂは、異常検出装置１０と別の構成として車両情報演算部１１を備えるとする。

車両情報演算部１１は、車載カメラ２０若しくは画像解析部４０、又は、通信装置３０からカメラ出力情報を取得する。車両情報演算部１１は、カメラ出力情報が運転者情報を含む場合、カメラ出力情報から運転者情報を抽出する。車両情報演算部１１は、カメラ出力情報が運転者情報を含まない場合、カメラ出力情報に含まれている車載カメラ画像又は車両抽出画像に基づいて運転者情報を検出する。

車両情報演算部１１は、第２車両２の運転者の異常状態を判定する根拠となる可能性のある情報を運転者情報として検出してよい。車両情報演算部１１は、例えば、第２車両２の運転者の顔の位置若しくは向き、視線若しくは瞼の開閉状態、又は表情等の運転者の顔に関する情報を検出してよい。車両情報演算部１１は、第２車両２の運転者の手若しくは頭の動き、又は、第２車両２の運転者が手になにか持っているか等の運転者の行動に関する情報を検出してもよい。車両情報演算部１１は、第１画像が動画である場合に、運転者の行動に関する情報を検出してよい。車両情報演算部１１は、第１画像がそれぞれ異なる時刻に撮影された少なくとも２枚の静止画像を含む場合に、各静止画像の比較に基づいて、運転者の行動に関する情報を検出してもよい。車両情報演算部１１は、第２車両２の運転者の上体がまっすぐになっているか、又は、第２車両２の運転者の上体がハンドルに突っ伏しているか、若しくは、シートにもたれかかっているか等の、運転者の姿勢に関する情報を検出してもよい。

車両情報演算部１１は、カメラ出力情報から、第２車両２に関する情報を検出してもよい。第２車両２に関する情報は、車両情報ともいう。車両情報は、第２車両２の位置に関する情報を含んでよいし、第２車両２が進行する方角又は速度に関する情報を含んでよい。車両情報は、画像解析部４０によって検出されてもよい。

図４において、車両情報演算部１１は、運転者情報を危険度解析部１２に出力する。車両情報演算部１１は、車両情報を危険度解析部１２に出力してもよい。図５において、車両情報演算部１１は、運転者情報を通信装置３０の送信部３１に出力する。車両情報演算部１１は、車両情報を通信装置３０の送信部３１に出力してもよい。送信部３１は、運転者情報を、サーバ５０に送信する。送信部３１は、車両情報をサーバ５０に送信してもよい。サーバ５０は、運転者情報を、受信部５２２で受信し、車両情報データベース５３１として機能するサーバ記憶部５３に格納し、危険度解析部１２として機能するサーバ制御部５１に出力する。サーバ５０は、車両情報を受信部５２２で受信し、サーバ記憶部５３に格納し、サーバ制御部５１に出力してもよい。

危険度解析部１２は、運転者情報に基づいて、第２車両２の運転者の異常状態を検出する。危険度解析部１２は、運転者情報を解析し、運転者が危険運転を行う可能性を表すスコアを算出してよい。運転者が危険運転を行う可能性を表すスコアは、危険度ともいう。運転者が危険運転を行う可能性が高いほど、危険度の値が大きくなるように算出されてよい。運転者が危険運転を行う可能性が高いほど、危険度の値が小さくなるように算出されてもよい。運転者が危険運転を行う可能性が高いほど、危険度の絶対値が大きくなるように算出されてもよい。

本実施形態において、運転者が危険運転を行う可能性が高いほど、危険度は、大きい値で表されるとする。危険度解析部１２は、例えば、第２車両２の運転者の顔又は視線が第２車両２の進行方向を向いていないと判定した場合に、危険度を大きい値に算出してよい。危険度解析部１２は、例えば、第２車両２の運転者が手に携帯端末等の機器を持っていると判定した場合に、危険度を大きい値に算出してよい。危険度解析部１２は、これらの例に限られず、運転者情報に含まれる種々の情報に基づいて、危険度を算出してよい。危険度解析部１２は、算出した危険度が所定条件を満たす場合に、第２車両２の運転者の状態が異常であると判定してもよい。所定条件は、例えば、危険度が所定値以上であることを含んでよい。

図４において、危険度解析部１２は、第２車両２の運転者の異常状態に関する検出結果を危険情報抽出部１３に出力する。第２車両２の運転者の異常状態に関する検出結果は、運転者状態検出結果ともいう。第１車両１ａに搭載されている異常検出装置１０の危険度解析部１２は、運転者状態検出結果を、他の第１車両１に出力してもよいし、サーバ５０に出力してもよい。図５において、危険度解析部１２は、運転者状態検出結果を、危険度情報データベース５３２として機能するサーバ記憶部５３に格納する。サーバ５０は、運転者状態検出結果を、危険度情報データベース５３２から送信部５２１を介して、第１車両１ｂの危険情報抽出部１３、又は、端末７０の、危険情報抽出部１３として機能する端末制御部７２に出力する。運転者状態検出結果は、第２車両２の運転者の状態が異常であるか否かの検出結果を含んでよい。運転者状態検出結果は、危険度解析部１２が算出した危険度を含んでよい。

第１車両１の危険情報抽出部１３は、運転者状態検出結果に含まれる情報のうち、自車両に対して影響を及ぼしうる第２車両２に関する情報を抽出してよい。自車両に対して影響を及ぼしうる第２車両２に関する情報は、自車危険情報ともいう。危険情報抽出部１３は、抽出した自車危険情報を車両報知部１４に出力してよい。危険情報抽出部１３は、車両情報にさらに基づいて、自車危険情報を抽出してよい。危険情報抽出部１３は、第２車両２と自車両との位置関係に基づいて、自車危険情報を抽出してもよい。危険情報抽出部１３は、第２車両２と自車両との相対速度に基づいて、自車危険情報を抽出してもよい。危険情報抽出部１３は、これらの例に限られず、種々の条件に基づいて自車危険情報を抽出してよいし、複数の条件を組み合わせた条件に基づいて自車危険情報を抽出してもよい。危険情報抽出部１３は、例えば、第２車両２が自車両から所定距離以内に位置する場合、且つ、第２車両２が自車両に所定値以上の相対速度で接近してくる場合に、その第２車両２に関する情報を自車危険情報として抽出してよい。

端末７０において端末制御部７２が危険情報抽出部１３として機能してよい。以下、端末制御部７２が危険情報抽出部１３の機能を実現すると仮定する。端末制御部７２は、運転者状態検出結果に含まれる情報のうち、端末７０を所持している人物に対して影響を及ぼしうる第２車両２に関する情報を抽出してよい。端末７０を所持している人物は、端末所持者ともいう。端末所持者に対して影響を及ぼしうる第２車両２に関する情報は、端末所持者危険情報ともいう。端末制御部７２は、抽出した端末所持者危険情報を端末報知部７４に出力してよい。端末制御部７２は、第２車両２と端末所持者との位置関係に基づいて、端末所持者危険情報を抽出してもよい。端末制御部７２は、これらの例に限られず、種々の条件に基づいて端末所持者危険情報を抽出してよいし、複数の条件を組み合わせた条件に基づいて端末所持者危険情報を抽出してもよい。

車両報知部１４及び端末報知部７４は、危険情報抽出部１３で抽出された、自車危険情報及び端末所持者危険情報をそれぞれ取得する。車両報知部１４は、取得した自車危険情報に基づく警告を、自車両の運転者に報知する。端末報知部７４は、取得した端末所持者危険情報に基づく警告を、端末所持者に報知する。

車両報知部１４及び端末報知部７４は、表示デバイスを含んでよい。表示デバイスは、自車両の運転者又は端末所持者に対して報知する情報を表す、文字、図形又は画像等を表示してよい。表示デバイスは、ＬＥＤ（Light Emission Diode）等の発光デバイスを含んでよい。表示デバイスは、例えば、液晶ディスプレイ（ＬＣＤ:Liquid Crystal Display）であってよい。表示デバイスは、有機ＥＬ（Electro-Luminescence）ディスプレイ又は無機ＥＬディスプレイであってよい。表示デバイスは、プラズマディスプレイ（ＰＤＰ：Plasma Display Panel）であってよい。表示デバイスは、これらのディスプレイに限られず、他の種々の方式のディスプレイであってもよい。

車両報知部１４が第１車両１の運転者に対して情報を報知する場合において、ドライバーディストラクションの観点から、報知する情報の量が多い場合、報知する情報が要約されてよいし、短文化又は記号化されてもよい。

車両報知部１４及び端末報知部７４は、スピーカを含んでよい。スピーカは、自車両の運転者又は端末所持者に対して報知する情報を表す音声を出力してよい。車両報知部１４は、振動デバイスを含んでよい。振動デバイスは、自車両の運転者又は端末所持者に対して報知する情報を表す振動パターンを出力してよい。車両報知部１４及び端末報知部７４は、これらの例に限られず、他の種々のデバイスを含んでよい。

第１車両１の運転者は、車両報知部１４から報知される警告によって、危険の発生を予め想定できる。その結果、実際に危険な状況が発生した場合に、第１車両１の運転者がその状況を回避できる確率が高まる。端末所持者は、端末報知部７４から報知される警告によって、危険の発生を予め想定できる。例えば端末所持者が歩行者である場合、端末所持者は、第２車両２が歩道又は歩行者天国等に進入すること等による危険に巻き込まれうる。例えば端末所持者が第１車両１又は他の車両の搭乗者である場合、端末所持者は、第２車両２が自車両に接近することによる危険に巻き込まれうる。端末所持者が端末所持者危険情報に基づく警告を受けることによって、実際に危険な状況が発生した場合に端末所持者がその状況を回避できる確率が高まる。

以上説明してきたように、一実施形態に係る異常検出装置１０は、第２車両２が運転者の異常状態を検出する装置を搭載しているか否かにかかわらず、第２車両２の運転者の異常状態を検出できる。このようにすることで、第２車両２の運転者の状態が異常である場合に、その第２車両２の周囲又はその第２車両２の進入が想定される範囲に位置する第１車両１の運転者及び端末保持者が情報を受けることができる。その結果、運転者の状態が異常となっている第２車両２によって危険な状況が引き起こされた場合に、その状況における被害が低減されうる。

異常検出装置１０は、第１車両１ａに搭載されているか、サーバ制御部５１の機能の一部として実現されるかにかかわらず、図６に例示されるフローチャートの手順を含む異常検出方法を実行してよい。異常検出方法は、プロセッサに実行させる異常検出プログラムとして実現されてもよい。

異常検出装置１０は、車載カメラ２０又は画像解析部４０からカメラ出力情報を取得する（ステップＳ１）。カメラ出力情報は、第２車両２を含む第１画像に基づく情報を含んでよい。

異常検出装置１０は、カメラ出力情報から運転者情報を抽出する（ステップＳ２）。車両情報演算部１１は、カメラ出力情報が運転者情報を含む場合、カメラ出力情報から運転者情報を抽出する。車両情報演算部１１は、カメラ出力情報が運転者情報を含まない場合、カメラ出力情報に含まれている車載カメラ画像又は車両抽出画像に基づいて運転者情報を検出する。異常検出装置１０は、カメラ出力情報から車両情報を検出してもよい。

異常検出装置１０は、運転者情報に基づいて、運転者の危険度を算出する（ステップＳ３）。異常検出装置１０は、車両の危険度を算出してもよい。

異常検出装置１０は、危険度が判定値以上か判定する（ステップＳ４）。

異常検出装置１０は、危険度が判定値以上である場合（ステップＳ４：ＹＥＳ）、運転者が異常状態であることを検出する(ステップＳ５）。異常検出装置１０は、ステップＳ５の手順を実行した後、ステップＳ７の手順を実行する。

異常検出装置１０は、危険度が判定値以上でない場合（ステップＳ４：ＮＯ）、運転者が正常状態であることを検出する(ステップＳ６）。言い換えれば、異常検出装置１０は、危険度が判定値未満である場合、運転者が正常状態であることを検出する。異常検出装置１０は、ステップＳ６の手順を実行した後、ステップＳ７の手順を実行する。

異常検出装置１０は、運転者の異常状態に関する検出結果を、車両報知部１４又は端末報知部７４に報知させる（ステップＳ７）。異常検出装置１０は、第１車両１ａに搭載されている場合、運転者状態検出結果を、危険情報抽出部１３を介して車両報知部１４に出力することによって、車両報知部１４に自車危険情報に基づく警告を報知させてよい。異常検出装置１０は、サーバ５０の機能として実現されている場合、運転者状態検出結果を、第１車両１に出力することによって、車両報知部１４に自車危険情報に基づく警告を報知させてよい。異常検出装置１０は、サーバ５０の機能として実現されている場合、運転者状態検出結果を、端末７０に出力することによって、端末報知部７４に端末所持者危険情報に基づく警告を報知させてよい。異常検出装置１０は、ステップＳ７の手順を実行した後、図６のフローチャートに示されている手順の実行を終了する。

異常検出装置１０は、ステップＳ３及びステップＳ４の手順として示されている危険度を算出する手順を省略してもよい。この場合、異常検出装置１０は、危険度を算出せずに、運転者情報に基づいて運転者が異常状態か否か検出してもよい。

以上説明してきたように、一実施形態に係る異常検出方法によれば、第２車両２が運転者の異常状態を検出する装置を搭載しているか否かにかかわらず、第２車両２の運転者の状態が異常か否か検出されうる。

異常検出装置１０は、運転者情報として、第２車両２の運転者の行動を検出してもよい。異常検出装置１０は、第２車両２の運転者の顔の向きに基づいて、第２車両２の運転者の行動を検出してもよい。例えば、第２車両２の運転者の顔が第２車両２の進行方向に対して左又は右を向いている場合、異常検出装置１０は、第２車両２の運転者が脇見運転をしていると検出してよい。例えば、第２車両２の運転者の顔が下を向いている場合、異常検出装置１０は、第２車両２の運転者が居眠りをしている又は第２車両２の運転者が病気等に起因して意識を失っていると検出してもよい。

異常検出装置１０は、第２車両２の運転者の顔の周りに位置する物に基づいて、第２車両２の運転者の行動を検出してもよい。例えば、第２車両２の運転者の顔の周りに携帯電話又はスマートフォン等の機器がある場合、異常検出装置１０は、第２車両２の運転者が機器に注意をとられていると検出してもよい。

異常検出装置１０は、運転者情報として、第２車両２の運転者の目線又は表情を検出してもよい。異常検出装置１０は、第２車両２の運転者の目線に基づいて、第２車両２の運転者の異常状態を検出してもよい。例えば、第２車両２の運転者の目線が定まっていない場合、異常検出装置１０は、第２車両２の運転者の状態が異常状態であると検出してよい。例えば、異常検出装置１０は、第２車両２の運転者の表情に基づいて、第２車両２の運転者の異常状態を検出してもよい。異常検出装置１０は、第２車両２の運転者が怒り、焦り、又は苛立ち等の、運転に悪影響を及ぼす感情を抱いているか、表情に基づいて判定してよい。異常検出装置１０は、第２車両２の運転者の感情に関する判定結果に基づいて、第２車両２の運転者の状態が異常状態であるか検出してよい。

異常検出装置１０は、運転者情報として、第２車両２の運転者の姿勢を検出してもよい。異常検出装置１０は、第２車両２の運転者の姿勢が前後左右のいずれかの方向に傾いている場合に、第２車両２の運転者の状態が異常状態であると検出してよい。

異常検出装置１０は、少なくとも２枚の第１画像から抽出した運転者情報に基づいて、第２車両２の運転者の異常状態を検出してもよい。異常検出装置１０は、少なくとも２台の第１車両１それぞれから取得した第１画像から抽出した運転者情報に基づいて、第２車両２の運転者の異常状態を検出してもよい。複数の第１画像から抽出した運転者情報に基づいて第２車両２の運転者の異常状態を検出することで、運転者の異常状態の誤検出が起こりにくくなる。その結果、運転者の異常状態の検出精度が向上する。

異常検出装置１０は、少なくとも２つの異なる時刻それぞれに撮影された第１画像から抽出した運転者情報に基づいて、第２車両２の運転者の異常状態を検出してもよい。このようにすることで、第２車両２の運転者の異常状態が経時的に検出されうる。その結果、運転者の異常状態の検出精度が向上する。例えば、異常検出装置１０は、第２車両２の運転者の状態が一時的に異常状態と判定されたか、継続的に異常状態と判定されているか検出してよい。異常検出装置１０は、第２車両２の運転者の状態が所定時間以上にわたって異常状態と判定されている場合に、その運転者の危険度を高くしてよい。異常検出装置１０は、第２車両２の運転者の状態が異常状態と判定された回数が所定回数以上となった場合に、その運転者の危険度を高くしてよい。

異常検出システム１００は、移動可能な第１車両１の車載カメラ画像に基づいて第２車両２の運転者を監視できる。このようにすることで、移動する第２車両２が見失われにくくなる。

本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。したがって、これらの変形及び修正は本開示の範囲に含まれることに留意されたい。例えば、各手段又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段又はステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

１（１ａ、１ｂ） 第１車両（監視車両）
２ 第２車両（被監視車両）
１０ 異常検出装置
１１ 車両情報演算部
１２ 危険度解析部
１３ 危険情報抽出部
１４ 車両報知部
２０ 車載カメラ
２１ 前方カメラ
２２ 側方カメラ
２３ 後方カメラ
２４ 車内カメラ
３０ 通信装置
３１ 送信部
３２ 受信部
３３ 送信用データ処理部
３４ 受信データ解析部
４０ 画像解析部
４１ 前方画像解析部
４２ 側方画像解析部
４３ 後方画像解析部
５０ サーバ
５１ サーバ制御部
５２ サーバ通信部
５２１ 送信部
５２２ 受信部
５３ サーバ記憶部
５３１ 車両情報データベース
５３２ 危険度情報データベース
６０ ネットワーク
７０ 端末
７２ 端末制御部
７４ 端末報知部
１００ 異常検出システム

Claims (9)

1. 少なくとも２台の第１車両のそれぞれの車載カメラによって前記第１車両とは異なる第２車両が撮影されている第１画像を取得し、
   前記第１画像に含まれる前記第２車両の運転者の画像に基づいて、前記第２車両の運転者の異常状態を検出し、
   前記第２車両の運転者の異常状態の検出結果を、前記第２車両の影響を受け得る歩行者又は車両の搭乗者に報知し、
   前記第１車両及び前記第２車両のいずれにも設置されていない、異常検出装置。
2. 前記第２車両の運転者の異常状態の検出結果を、検出に用いられた画像を提供した車両以外の車両の搭乗者に報知する、請求項１に記載の異常検出装置。
3. 請求項１又は２に記載の異常検出装置であって、
   前記第２車両の運転者の画像に基づいて、前記第２車両の危険度を算出する、異常検出装置。
4. 請求項３に記載の異常検出装置であって、
   前記第２車両の危険度を出力する、異常検出装置。
5. 請求項１から４のいずれか一項に記載の異常検出装置であって、
   少なくとも２つの時刻に撮影された前記第１画像に基づいて、前記第２車両の運転者の異常状態を検出する、異常検出装置。
6. 請求項１から５のいずれか一項に記載の異常検出装置であって、
   前記第２車両の運転者の顔、姿勢及び行動のうちの少なくとも１つに関する情報に基づいて、前記第２車両の運転者の異常状態を検出する、異常検出装置。
7. 請求項１から６のいずれか一項に記載の異常検出装置であって、
   前記車載カメラは、前方カメラ、側方カメラ、後方カメラ及び車内カメラの少なくとも１つのカメラを含む、異常検出装置。
8. 少なくとも２台の第１車両と、異常検出装置とを備える異常検出システムであって、
   前記異常検出装置は、
   前記少なくとも２台の第１車両のそれぞれの車載カメラによって前記第１車両とは異なる第２車両が撮影されている第１画像を取得し、
   前記第１画像に含まれる前記第２車両の運転者の画像に基づいて、前記第２車両の運転者の異常状態を検出し、
   前記第２車両の運転者の異常状態の検出結果を、前記第２車両の影響を受け得る歩行者又は車両の搭乗者に報知し、
   前記第１車両及び前記第２車両のいずれにも設置されていない、異常検出システム。
9. 少なくとも２台の第１車両のそれぞれの車載カメラによって前記第１車両とは異なる第２車両が撮影されている第１画像を取得するステップと、
   前記第１画像に含まれる前記第２車両の運転者の画像に基づいて、前記第２車両の運転者の異常状態を検出するステップと、
   前記第２車両の運転者の異常状態の検出結果を、前記第２車両の影響を受け得る歩行者又は車両の搭乗者に報知するステップと
   を、前記第１車両及び前記第２車両のいずれにも設置されていない異常検出装置のプロセッサに実行させる、異常検出プログラム。

Images