JP7359099B2

JP7359099B2 - 移動体妨害検出装置、移動体妨害検出システム、及び移動体妨害検出プログラム

Info

Publication number: JP7359099B2
Application number: JP2020131224A
Authority: JP
Inventors: 健揮上田; 亮介立花; 伸一朗川端; 敬北川; 宗史大橋; 利弘安田; 哲生嶽本
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2020-07-31
Filing date: 2020-07-31
Publication date: 2023-10-11
Anticipated expiration: 2040-07-31
Also published as: US20220036099A1; JP2022027306A; CN114093023A

Description

本発明は、歩行者や、自転車等の各種移動体に対する妨害を検出する移動体妨害検出装置、移動体妨害検出システム、及び移動体妨害検出プログラムに関する。

特許文献１には、自車両の外界に存在する歩行者を検出し、検出した歩行者の状態を検出して、歩行者の状態のうち、歩行者の脚部の状態に基づき、自車両の進路内に歩行者が進入するか否かを判定する歩行者認識装置が開示されている。

特開２００７－２６４７７８号公報

特許文献１では、エッジ検出により歩行者の左右の脚部の開度を検出して移動状態を推定しているが、服装によっては脚部が隠れるため、正しく移動状態を推定できない場合がある。また、交差点で自車両が右左折する際に横断歩道の奥から歩行者が接近してくる場合、歩行者に対して正面の角度になるため、脚部の開度を正しく算出できず、移動状態を推定できない場合がある。さらには、自転車等の移動体の検出までは考慮していないため、改善の余地がある。

そこで、本発明は、歩行者の脚部の開度を検出して移動状態を推定する場合に比べて、移動体の横断を正確に判定可能な移動体妨害検出装置、移動体妨害検出システム、及び移動体妨害プログラムを提供することを目的とする。

上記目的を達成するために請求項１に記載の移動体妨害検出装置は、車両に設けられた撮影部によって撮影された画像中の予め定めた移動体を検出する検出部と、前記検出部によって検出した前記移動体を囲うバンディングボックスの位置に基づいて、前記移動体が横断歩道を横断中の移動状態、横断歩道で横断待ちの移動情報、及び横断歩道を横断する可能性がある移動状態を含む前記移動体の道路の横断歩道の横断に関する移動体状態を推定する推定部と、前記画像中の地平線を検出する地平線検出部と、前記地平線検出部の検出結果を用いて前記撮影部の取り付け誤差を補正して、前記バンディングボックスの位置に基づいて、自車両から前記移動体までの距離を推定する距離推定部と、前記車両の状態を表す車両情報に基づいて前記自車両の挙動を判定する挙動判定部と、前記推定部によって推定された前記移動体状態、前記距離推定部によって推定された前記距離、及び前記挙動判定部によって判定された前記自車両の挙動に基づいて、移動体への妨害を判定する判定部と、を含み、前記判定部は、横断歩道接近時の運転者の義務違反を判定する。

請求項１に記載の移動体妨害検出装置によれば、検出部では、車両に設けられた撮影部によって撮影された画像中の予め定めた移動体が検出される。

推定部では、検出部によって検出した前記移動体を囲うバンディングボックスの位置に基づいて、移動体が横断歩道を横断中の移動状態、横断歩道で横断待ちの移動情報、及び横断歩道を横断する可能性がある移動状態であるかを含む前記移動体の道路の横断歩道の横断に関する移動体状態が推定される。このように移動体を囲うバンディングボックスの位置に基づいて、移動体の横断に関する移動体状態を推定することで、歩行者の脚部の開度を検出することなく、移動体の横断を判定できるので、歩行者の脚部の開度を検出して移動状態を推定する場合に比べて、移動体の横断を正確に判定することが可能となる。
また、地平線検出部では、画像中の地平線が検出され、距離推定部では、地平線検出部の検出結果を用いて撮影部の取り付け誤差を補正して、バンディングボックスの位置に基づいて、自車両から移動体までの距離が推定され、挙動判定部では、車両の状態を表す車両情報に基づいて自車両の挙動が判定され、判定部では、推定部によって推定された移動体状態、距離推定部によって推定された距離、及び挙動判定部によって判定された自車両の挙動に基づいて、移動体への妨害が判定される。ここで、判定部は、横断歩道接近時の運転者の義務違反を判定する。

なお、前記推定部は、前記バンディングボックスの底辺の位置に基づいて、前記移動体の前記移動体状態を推定してもよい、このようにバンディングボックスの底辺の位置に基づいて移動体状態を推定することで、歩行者以外の自転車等の移動体を含めて移動状態を推定できるので、歩行者以外の移動体を含めて横断を判定することが可能となる。

また、自車両から前記移動体までの距離を推定する距離推定部と、前記車両の状態を表す車両情報に基づいて自車両の挙動を判定する挙動判定部と、前記推定部によって推定された前記移動体状態、前記距離推定部によって推定された前記距離、及び前記挙動判定部によって判定された前記自車両の挙動に基づいて、移動体への妨害を判定する判定部と、を更に含んでもよい。このように自車両から前記移動体までの距離を推定すると共に自車両の挙動を判定し、移動体状態、自車両から移動体までの距離、及び自車両の挙動に基づいて、移動体への妨害を判定することで、移動体への妨害の有無を判定することが可能となる。

なお、上記移動体妨害検出装置と、前記撮影部を備えた車両と、を含む移動体妨害検出システムとしてもよい。

或いは、コンピュータに、上記移動体妨害検出装置の各部として機能させるための移動体妨害検出プログラムとしてもよい。

以上説明したように本発明によれば、歩行者の脚部の開度を検出して移動状態を推定する場合に比べて、移動体の横断を正確に判定可能な移動体妨害検出装置、移動体妨害検出システム、及び移動体妨害プログラムを提供できる。

本実施形態に係る危険運転検出システムの概略構成を示す図である。本実施形態に係る危険運転検出システムにおける車載器及び危険運転データ収集サーバの機能構成を示す機能ブロック図である。制御部及び中央処理部の構成を示すブロック図である。本実施形態に係る危険運転検出システムにおける危険運転データ収集サーバの移動体妨害検出部の詳細な構成を示すブロック図である。対象物の移動体としての車両及び歩行者を囲うバンディングボックスの一例を示す図である。横断歩道接近時の運転者の義務例を説明するための図である。本実施形態に係る危険運転検出システムにおいて、危険運転データ収集サーバの移動体妨害検出部で行われる処理の流れの一例を示すフローチャートである。本実施形態に係る危険運転検出システムにおける車載器及び危険運転データ収集サーバの機能構成の変形例を示す機能ブロック図である。

以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。図１は、本実施形態に係る危険運転検出システムの概略構成を示す図である。

本実施形態に係る危険運転検出システム１０は、車両１４に搭載された車載器１６と、危険運転データ収集サーバ１２とが通信ネットワーク１８を介して接続されている。本実施形態に係る危険運転検出システム１０では、複数の車載器１６の撮影によって得られる画像情報及び各車両の状態を表す車両情報を危険運転データ収集サーバ１２に送信して、危険運転データ収集サーバ１２が画像情報及び車両情報を蓄積する。そして、危険運転データ収集サーバ１２が、蓄積した画像情報及び車両情報に基づいて、危険運転を検出する処理を行う。本実施形態では、検出する危険運転の一例として、急加速及び急減速の少なくとも一方の危険運転、車間距離不保持の危険運転、移動体妨害の危険運転、及び速度超過の危険運転等の危険運転を検出する。

図２は、本実施形態に係る危険運転検出システム１０における車載器１６及び危険運転データ収集サーバ１２の機能構成を示す機能ブロック図である。

車載器１６は、制御部２０、車両情報検出部２２、撮影部２４、通信部２６、及び表示部２８を備えている。

車両情報検出部２２は、車両１４に関する車両情報を検出する。車両情報の一例としては、例えば、車両１４の位置情報、車速、加速度、舵角、アクセル開度、車両周辺の障害物までの距離、経路等の車両情報を検出する。車両情報検出部２２は、具体的には、車両１４の周辺環境がどのような状況かを表す情報を取得する複数種のセンサや装置を適用できる。センサや装置の一例としては、車速センサ、及び加速度センサなどの車両１４に搭載されるセンサや、ＧＮＳＳ（Global Navigation Satellite System）装置、車載通信機、ナビゲーションシステム、及びレーダ装置などが挙げられる。ＧＮＳＳ装置は、複数のＧＮＳＳ衛星からＧＮＳＳ信号を受信して自車両１４の位置を測位する。ＧＮＳＳ装置は受信可能なＧＮＳＳ信号の数が多くなるに従って測位の精度が向上する。車載通信機は、通信部２６を介して他の車両１４との間の車車間通信及び路側機との間の路車間通信の少なくとも一方を行う通信装置である。ナビゲーションシステムは、地図情報を記憶する地図情報記憶部を含み、ＧＮＳＳ装置から得られる位置情報と地図情報記憶部に記憶された地図情報とに基づいて、自車両１４の位置を地図上で表示したり、目的地迄の経路を案内する処理を行う。また、レーダ装置は、検出範囲が互いに異なる複数のレーダを含み、自車両１４の周辺に存在する歩行者や他車両１４等の物体を検出し、検出した物体と自車両１４の相対位置及び相対速度を取得する。また、レーダ装置は周辺の物体の探知結果を処理する処理装置を内蔵している。当該処理装置は、直近の複数回の探知結果に含まれる個々の物体との相対位置や相対速度の変化等に基づき、ノイズやガードレール等の路側物等を監視対象から除外し、歩行者や、自転車、他車両１４等を監視対象物体として追従監視する。そしてレーダ装置は、個々の監視対象物体との相対位置や相対速度等の情報を出力する。

撮影部２４は、本実施形態では、車両に搭載されて車両の前方等の車両周辺を撮影し、動画像の撮影画像を表す画像データを生成する。撮影部２４としては、例えば、ドライブレコーダ等のカメラを適用することができる。なお、撮影部２４は、車両１４の側方及び後方の少なくとも一方の車両周辺を更に撮影してしてもよい。また、撮影部２４は、車室内を更に撮影してもよい。

通信部２６は、通信ネットワーク１８を介して危険運転データ収集サーバ１２と通信を確立して、撮影部２４の撮影によって得られる画像情報や車両情報検出部２２によって検出された車両情報等の情報の送受信を行う。

表示部２８は、情報を表示することにより、乗員に各種情報を提供する。本実施形態では、危険運転データ収集サーバ１２から提供される情報等を表示する。

制御部２０は、図３に示すように、ＣＰＵ（Central Processing Unit）２０Ａ、ＲＯＭ（Read Only Memory）２０Ｂ、ＲＡＭ（Random Access Memory）２０Ｃ、ストレージ２０Ｄ、インタフェース（Ｉ／Ｆ）２０Ｅ、及びバス２０Ｆ等を含む一般的なマイクロコンピュータで構成されている。また、制御部２０は、撮影部２４によって撮影された画像を表す画像情報、及び画像の撮影時に車両情報検出部２２によって検出された車両情報を危険運転データ収集サーバ１２にアップロードする制御等を行う。

一方、危険運転データ収集サーバ１２は、中央処理部３０、中央通信部３６、及びＤＢ（データベース）３８を備えている。

中央処理部３０は、図３に示すように、ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、及びＲＡＭ３０Ｃ、ストレージ３０Ｄ、インタフェース（Ｉ／Ｆ）３０Ｅ、及びバス３０Ｆ等を含む一般的なマイクロコンピュータで構成されている。中央処理部３０は、情報集約部４０、急加速・急減速検出部４２、車間距離不保持検出部４４、移動体妨害検出装置の一例としての移動体妨害検出部４６、速度超過検出部４８、及び危険運転検出集約部５０の機能を備えている。なお、中央処理部３０の各機能は、ＣＰＵ３０ＡがＲＯＭ３０Ｂ等に記憶されたプログラムを実行することにより実現される。

情報集約部４０は、車速、加速度、位置情報などの車両情報、及び撮影部２４によって撮影された画像情報としての動画フレームをＤＢ３８から取得して、車両情報と動画フレームの時刻合わせ等を行って車両情報と動画フレームを同期させて情報を集約する。なお、以下では、集約された情報を集約情報と称する場合がある。

急加速・急減速検出部４２は、情報集約部４０によって集約された集約情報に基づいて、急加速及び急減速の少なくとも一方の危険運転を検出する。例えば、画像情報及び車両情報に基づいて、車速または加速度が予め定めた危険運転に該当し、かつ車両周辺の状況が危険運転に対応する状況であるかを検出することにより、急加速及び急減速の少なくとも一方の危険運転を検出する。或いは、車両情報のみを用いて、予め定めた危険運転に該当する車速及び加速度を検出してもよい。

車間距離不保持検出部４４は、情報集約部４０によって集約された集約情報に基づいて、車間距離が予め定めた距離以内の車間距離不保持の危険運転を検出する。例えば、画像情報及び車両情報に基づいて、前方の車両を検出し、かつ前方の車両までの距離が予め定めた距離以内を検出することにより、車間距離不保持の危険運転を検出する。

移動体妨害検出部４６が、情報集約部４０によって集約された集約情報に基づいて、歩行者または自転車等の移動体を妨害する危険運転を検出する。例えば、画像情報及び車両情報に基づいて、前方に横断歩道、及び予め定めた条件を満たす歩行者を検出し、停車または徐行せずに通過したかを検出することにより、移動体妨害の危険運転を検出する。予め定めた条件を満たす歩行者は、例えば、横断歩道を横断中の歩行者、横断歩道付近の歩行者、または横断歩道を横断しようとしている歩行者を検出する。

速度超過検出部４８は、情報集約部４０によって集約された集約情報に基づいて、速度超過の危険運転を検出する。例えば、画像情報及び車両情報に基づいて、画像認識により標識を認識して認識した標識の制限速度から予め定めた速度以上の車速を検出することにより、速度超過の危険運転を検出する。或いは、位置情報から一般道路または高速道路であるかを判断してそれぞれの道路における予め定めた車速以上を検出してもよい。

危険運転検出集約部５０は、急加速・急減速検出部４２、車間距離不保持検出部４４、移動体妨害検出部４６、及び速度超過検出部４８のそれぞれで検出された危険運転を集約して、総合的に危険運転を判断する。例えば、各危険運転を検出する際に、危険度を０～１の範囲で演算し、各危険運転の危険度の平均を算出して平均値が予め定めた閾値以上を総合的に危険運転と判断してもよい。或いは、各危険運転の検出の有無を０（検出無し）、１（検出）で検出して検出結果の合計を総合的な危険度として導出してもよい。或いは、各危険運転を検出する際に、各危険運転のスコアを導出し、スコアの合計を算出して予め定めた閾値以上を総合的に危険運転と判断してもよい。或いは、各危険運転の検出について、検出無しを０、検出有りを１として検出し、各危険運転の検出結果を加算して、１以上または予め定めた閾値以上を危険運転と判断してもよい。

なお、４種類の各危険運転を検出する際には、集約情報から走行シーンを特定して、走行シーンに応じて危険運転の検出閾値や重み付けを変更して走行シーンに応じた危険運転を検出してもよい。例えば、高速道路を走行時は「車間距離不保持」の判定の重みをプラスし、危険度を高くしてもよい。また、雨が降っている場合、「速度超過」の判定の重み付けをプラスし、危険度を高くしてもよい。また、夜間や霧などの視界不良時での「歩行者妨害」の検出閾値を低くし（例えば、車速の閾値を２０ｋｍ／ｈ以下から１０ｋｍ／ｈ等）、検出し易くしてもよい。また、同走行地点での過去の事故発生率を基に、各危険運転の検出閾値を変更して、検出し易くしてもよい。また、各走行シーンを組み合わせた走行シーンの場合には、より重み付けを高くしてもよい。例えば、天候が雨で、かつ時間帯が夜間の場合には、危険運転の重み付けを重くしたり、危険運転の判定するための閾値を低くして検出し易くしてもよい。

中央通信部３６は、通信ネットワーク１８を介して車載器１６と通信を確立して、画像情報や車両情報等の情報の送受信を行う。

ＤＢ３８は、車載器１６から画像情報及び車両情報を受信し、受信した画像情報及び車両情報のそれぞれを対応付けて蓄積する。

上述のように構成された危険運転検出システム１０では、車載器１６の撮影部２４によって撮影された画像情報が、車両情報と共に危険運転データ収集サーバ１２に送信されてＤＢ３８に蓄積される。

危険運転データ収集サーバ１２は、ＤＢ３８に蓄積された画像情報及び車両情報に基づいて危険運転を検出する処理を行う。そして、危険運転データ収集サーバ１２は、危険運転の検出結果を運転者にフィードバックするサービスなどの各種サービスを提供する。

ここで、上述の移動体妨害検出部４６の詳細な構成について説明する。図４は、本実施形態に係る危険運転検出システム１０における危険運転データ収集サーバ１２の移動体妨害検出部４６の詳細な構成を示すブロック図である。

移動体妨害検出部４６は、図４に示すように、取得部５２、地平線検出部５４、検出部の一例としての対象物検出部５６、推定部の一例としての対象物状態推定部５８、距離推定部６０、挙動判定部の一例としての自車挙動検出部６２、及び判定部の一例としての移動体妨害判定部６４の機能を有する。また、危険運転データ収集サーバ１２のストレージやＤＢ３８に予め導出した回帰式（詳細は後述）が記憶されているものとする。

取得部５２は、情報集約部４０によって画像情報及び車両情報が集約された集約情報を取得し、画像情報は地平線検出部５４に出力し、車両情報は距離推定部６０及び自車挙動検出部６２に出力する。

地平線検出部５４は、集約情報中の画像情報を順次取得して、画像中の地平線を検出する。検出した地平線は、撮影画像中の対象物までの距離を推定する際に、撮影部２４の取り付け誤差となる車両前後方向の傾きの補正に用いる。

地平線検出部５４による地平線の検出方法としては、例えば、画像に存在する直線を全て抽出し、抽出した直線の中から道路に関する直線を抽出する。そして、抽出した直線の交点から消失点を導出し、消失点のｙ座標を地平線として検出する。なお、撮影部２４によって撮影した画像の水平方向をｘ軸とし、ｘ軸と直交する方向をｙ軸とする。

地平線検出部５４は、詳細には、画像前処理、画像内の直線抽出、地平線推定、及び時系列処理の処理ステップを有する。画像前処理の処理ステップでは、画像をグレースケール化してエッジ検出により輪郭線を抽出する。画像内の直線抽出の処理ステップでは、確率的ハフ変換により直線を抽出し、ビルや電線などの直線を抽出しないように、直線の傾きに閾値を設けることで道路の直線のみを抽出する。地平線推定の処理ステップでは、抽出した全ての直線の組み合わせから交点を導出し、交点の座標に閾値を設けることで外れ値を除去して全ての交点の平均値から地平線のｙ座標の値を算出する。時系列処理の処理ステップでは、過去の数フレームの地平線の値の最頻値を計算して現在フレームの地平線の値とする。

対象物検出部５６は、種々の周知の物体検出処理を用いて、画像中に存在する車両や人、自転車等の対象物を検出して、検出した対象物をバンディングボックスで囲う処理を行う。また、対象物を検出する際には、バンディングボックス内の対象物の種類を判別する。例えば、図５の点線で示すように、予め定めた条件を満たす塊（物体）を囲うバンディングボックス７０を生成し、バンディングボックス７０内の物体の種類を判断し、車両や人、自転車などの対象物の種類を判別して対象物の移動体を検出する。なお、図５は、対象物の移動体としての車両及び歩行者を囲うバンディングボックス７０の一例を示す図である。

対象物状態推定部５８は、対象物検出部５６が検出した移動体のバンディングボックス７０の底辺の位置に基づいて、移動体状態（例えば、横断歩道を横断中、横断歩道で横断待ち、横断歩道付近等の道路の横断に関する移動体状態）を推定する。対象物状態推定部５８は、バンディングボックスの位置及びその変化から、移動体が横断歩道を横断中であるか、横断歩道で横断待ちであるか、横断歩道付近であるか等の道路の横断に関する移動体状態を推定する。なお、横断歩道接近時の運転者の義務としては、例えば、図６に示す３つの場合がある。１つ目は横断歩道付近に人がいる場合には一時停止できるように減速する。２つ目は横断しようとしている人や横断中の人がいる場合には一時停止して道を譲る。３つ目は横断歩道手前で停止している車両がいる場合に追越し時に一時停止して確認する。そこで、対象物状態推定部５８は、バンディングボックス７０の底辺の位置及び変化に基づいて、横断中、横断待ち、横断歩道付近等の横断に関する移動体状態を推定する。例えば、バンディングボックス７０の底辺が横断歩道上を移動している場合は横断中と推定する。また、バンディングボックス７０の底辺の位置が、横断歩道から予め定めた距離範囲に停止した状態の場合は横断待ちと推定する。また、バンディングボックス７０の底辺の位置が横断歩道に向かって移動している場合は横断歩道付近の移動体が横断歩道を横断する可能性があると推定する。

また、対象物状態推定部５８は、歩行者等の移動体の動きや向きに基づいて、横断する意思があるかを推定する。

距離推定部６０は、自車両１４から対象物検出部５６によって検出された移動体までの距離を、撮影部２４によって撮影された画像から推定する。例えば、対象物検出部５６によって検出された移動体を囲うバンディングボックス７０の底辺の位置座標と、車両からの距離（または撮影部２４からの距離）の正解値のデータセットとを用いて予め導出した、バンディングボックス７０の底辺の位置座標から対象物の距離を推定するための対応関係を用いて、対象物までの距離を推定する。本実施形態では、対応関係の一例として回帰式を用いて、バンディングボックス７０の底辺の位置座標を入力として撮影部２４の撮影位置から移動体までの距離を推定する。すなわち、画像上のバンディングボックス７０の底辺の位置は、移動体までの距離に応じた位置となるので、バンディングボックス７０の底辺の位置から予め導出した回帰式により移動体までの距離を推定できる。なお、対象物のバンディングボックス７０の底辺の位置座標と、車両からの距離の正解値のデータセットとを用いて予め導出した回帰式としては、例えば、以下に示す回帰式を適用する。以下の回帰式をストレージやＤＢ３８等に予め格納し、以下の回帰式にバンディングボックス７０の位置座標のy座標を入力することで対象物までの距離を推定する。以下の回帰式では、地平線の位置座標を用いて、バンディングボックス７０の底辺の位置座標を補正しているので、撮影部２４の取り付け誤差となる撮影部２４の車両前後方向の傾きを補正できる。
height_cor=video_H/720
距離＝15.87*math.exp(-(0.021/height_cor)*(y-horizon*heitht_cor))
なお、video_Hは撮影部２４の縦ピクセル数、height_corは撮影部２４に応じた縦ピクセルの補正値、yはバンディングボックス７０の底辺のｙ座標、horizonは地平線のｙ座標とする。

さらに、距離推定部６０は、移動体までの到達時間を算出する。例えば、取得部５２が取得した車両情報に含まれる車速と、推定した距離とを用いて到達時間を算出する。

自車挙動検出部６２は、取得部５２が取得した車両情報（車速や、ブレーキ圧など）に基づいて、自車両１４が横断歩道手前で一時停止または徐行をしたか否か等を判定することにより、自車挙動を検出する。

移動体妨害判定部６４は、推定した移動体状態及び自車両１４の動き（自車挙動）に基づいて、移動体への妨害の有無を判定する。例えば、移動体が横断中に一時停止せずに直進した場合や、移動体が横断歩道付近に検出されているが減速せずに直進した場合に、妨害ありと判定する。

続いて、上述のように構成された本実施形態に係る危険運転検出システム１０において、危険運転データ収集サーバ１２の移動体妨害検出部４６で行われる具体的な処理について説明する。図７は、本実施形態に係る危険運転検出システム１０において、危険運転データ収集サーバ１２の移動体妨害検出部４６で行われる処理の流れの一例を示すフローチャートである。なお、図７の処理は、例えば、予め定めた期間毎、或いは、車載器１６から送信されてＤＢ３８に格納された車両情報及び画像情報が予め定めたデータ量以上になる毎に開始する。

ステップ１００では、取得部５２が、情報集約部４０が集約した集約情報から車両情報を取得してステップ１０２へ移行する。

ステップ１０２では、対象物検出部５６が、車両や歩行者、自転車等の移動体を検出してステップ１０４へ移行する。例えば、対象物検出部５６が、種々の周知の物体検出処理を用いて、画像中に存在する車両や人、自転車等の対象物を検出して、検出した対象物をバンディングボックス７０で囲う処理を行う。また、対象物を検出する際には、バンディングボックス７０内の対象物の種類を判別し、車両や歩行者、自転車などの対象物の種類を判別して対象物の移動体を検出する。

ステップ１０４では、対象物状態推定部５８が、検出した移動体の状態を推定してステップ１０６へ移行する。すなわち、対象物検出部５６が検出した移動体のバンディングボックス７０の底辺の位置及び変化に基づいて、移動体状態（例えば、横断中、横断待ち、横断歩道付近等の横断に関する移動体状態）を推定する。本実施形態では、歩行者または自転車の状態を推定する。

ステップ１０６では、対象物状態推定部５８が、横断歩道上または付近に移動体がいるか否かを判定する。該判定は、ステップ１０４の移動体状態（例えば、横断中、横断待ち、横断歩道付近等の横断に関する移動体状態）の推定結果に基づいて判定する。該判定が肯定された場合にはステップ１０８へ移行し、否定された場合には移動体妨害検出部４６の処理を終了する。

ステップ１０８では、対象物状態推定部５８が、移動体状態の推定結果から移動体が横断歩道上であるか否かを判定する。該判定が肯定された場合にはステップ１１０へ移行する。一方、移動体が横断歩道付近の場合には判定が否定されてステップ１２０へ移行する。

ステップ１１０では、距離推定部６０が、移動体までの距離を推定してステップ１１２へ移行する。すなわち、対象物検出部５６によって検出された移動体を囲うバンディングボックス７０の底辺の位置座標と、車両からの距離（または撮影部２４からの距離）の正解値のデータセットとを用いて予め導出した回帰式を用いて、移動体までの距離を推定する。

ステップ１１２では、距離推定部６０が、移動体及び横断歩道までの到達時間を推定してステップ１１４へ移行する。例えば、取得部５２が取得した車両情報に含まれる車速と、推定した距離とを用いて到達時間を算出する。

ステップ１１４では、自車挙動検出部６２が、推定した到達時間が予め定めた閾値以下であるか否かを判定する。該判定が肯定された場合にはステップ１１６へ移行し、否定された場合には移動体妨害検出部４６の処理を終了する。

ステップ１１６では、自車挙動検出部６２が、自車両１４が停車中であるか否かを判定する。該判定は取得部５２が取得した集約情報中の車両情報に基づいて判定する。該判定が否定された場合にはステップ１１８へ移行し、肯定された場合には移動体妨害検出部４６の処理を終了する。

ステップ１１８では、移動体妨害判定部６４が、移動体妨害の危険運転と判定して移動体妨害検出部４６の処理を終了する。

一方、ステップ１２０では、自車挙動検出部６２が、自車両１４が徐行中であるか否かを判定する。該判定は取得部５２が取得した集約情報中の車両情報に基づいて判定する。該判定が否定された場合にはステップ１１８へ移行し、肯定された場合には移動体妨害検出部４６の処理を終了する。

このように本実施形態では、移動体を囲うバンディングボックス７０の位置に基づいて、移動体の横断に関する移動体状態を推定する。これにより、歩行者の脚部の開度を検出することなく、移動体の横断を判定できるので、歩行者の脚部の開度を検出して移動状態を推定する場合に比べて、移動体の横断を正確に判定できる

また、本実施形態では、バンディングボックス７０の底辺の位置に基づいて移動体状態を推定するので、歩行者以外の自転車等の移動体を含めて移動状態を推定でき、歩行者以外の移動体を含めて道路の横断を判定することが可能となる。

なお、上記の実施形態では、危険運転を検出する処理を危険運転データ収集サーバ１２側で行う例を説明したが、これに限るものではない。例えば、図２の中央処理部３０の機能を、図８に示すように、車載器１６側の制御部２０に備えて、図７の処理を制御部２０が実行する形態としてもよい。すなわち、情報集約部４０、急加速・急減速検出部４２、車間距離不保持検出部４４、移動体妨害検出部４６、速度超過検出部４８、及び危険運転検出集約部５０の機能を制御部２０に備えてもよい。この場合、情報集約部４０は、車速、加速度、位置情報などの車両情報を車両情報検出部２２から取得し、動画フレームを撮影部２４から取得する。或いは、これらの機能を他の外部サーバ等に備える形態としてもよい。

また、上記の実施形態では、バンディングボックスの底辺の位置に基づいて、移動体の移動状態を推定したが、これに限るものではない。例えば、バンディングボックスの底辺以外の他の辺の位置に基づいて、移動体の移動状態を推定してもよい。

また、上記の実施形態では、複数種類の危険運転として、急加速・急減速、車間距離不保持、歩行者妨害、及び速度超過の４種類の危険運転を一例として説明したが、これに限るものではない。例えば、４種類のうち２種類でもよいし、３種類でもよい。或いは、４種類以外の他の危険運転を含んでもよい。他の危険運転の一例としては、例えば、一時不停止、信号無視、あおり運転、危険な幅寄せ、無理な割り込み、方向指示なしの進路変更または右左折、夜間の無灯火、逆走、進路妨害（追越し車線等）、駐車スペースはみ出し、障害者スペースへの駐車、路上駐車、わき見運転、居眠り運転、ながら運転などが挙げられる。

また、上記の実施形態では、バンディングボックス７０の底辺の位置座標から対象物の距離を推定するための対応関係の一例として回帰式を用いた例を説明したが、対応関係としては回帰式に限るものではなく、回帰式以外の対応関係を用いてもよい。例えば、回帰式から予め導出したテーブルを対応関係として用いてもよい。

また、上記の各実施形態における危険運転データ収集サーバ１２の移動体妨害検出部４６で行われる処理は、ＣＰＵ３０Ａによってプログラムを実行することにより行われるソフトウエア処理として説明したが、これに限るものではない。例えば、ＧＰＵ（Graphics Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、及びＦＰＧＡ（Field-Programmable Gate Array）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等のハードウエアで行う処理としてもよい。これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。或いは、ソフトウエア及びハードウエアの双方を組み合わせた処理としてもよい。また、ソフトウエアの処理とした場合には、プログラムをＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の各種記憶媒体に記憶して流通させるようにしてもよい。

さらに、本発明は、上記に限定されるものでなく、上記以外にも、その主旨を逸脱しない範囲内において種々変形して実施可能であることは勿論である。

１０危険運転検出システム
１２危険運転データ収集サーバ
１４車両
１６車載器
１８通信ネットワーク
２２車両情報検出部
２４撮影部
３０中央処理部
３８ＤＢ
４６移動体妨害検出部（移動体妨害検出装置）
５６対象物検出部（検出部）
５８対象物状態推定部（推定部）
６０距離推定部
６２自車挙動検出部（挙動判定部）
６４移動体妨害判定部（判定部）
７０バンディングボックス

Claims

車両に設けられた撮影部によって撮影された画像中の予め定めた移動体を検出する検出部と、
前記検出部によって検出した前記移動体を囲うバンディングボックスの位置に基づいて、前記移動体が横断歩道を横断中の移動状態、横断歩道で横断待ちの移動情報、及び横断歩道を横断する可能性がある移動状態を含む前記移動体の道路の横断歩道の横断に関する移動体状態を推定する推定部と、
前記画像中の地平線を検出する地平線検出部と、
前記地平線検出部の検出結果を用いて前記撮影部の取り付け誤差を補正して、前記バンディングボックスの位置に基づいて、自車両から前記移動体までの距離を推定する距離推定部と、
前記車両の状態を表す車両情報に基づいて前記自車両の挙動を判定する挙動判定部と、
前記推定部によって推定された前記移動体状態、前記距離推定部によって推定された前記距離、及び前記挙動判定部によって判定された前記自車両の挙動に基づいて、移動体への妨害を判定する判定部と、
を含み、
前記判定部は、横断歩道接近時の運転者の義務違反を判定する移動体妨害検出装置。
前記推定部は、前記バンディングボックスの位置が横断歩道上を移動している場合は前記移動体が横断歩道を横断中の移動状態と判定し、前記バンディングボックスの位置が横断歩道から予め定めた範囲に停止した状態の場合は前記横断歩道で横断待ちの移動状態と判定し、前記バンディングボックスの位置が横断歩道に向かって移動している場合は前記移動体が横断歩道を横断する可能性がある移動状態と判定する請求項１に記載の移動体妨害検出装置。
請求項１又は請求項２に記載の移動体妨害検出装置と、
前記撮影部を備えた車両と、
を含む移動体妨害検出システム。
コンピュータに、請求項１又は請求項２に記載の移動体妨害検出装置の各部として機能させるための移動体妨害検出プログラム。