JP6103265B2 - 車両用歩行者画像取得装置 - Google Patents

Description

本発明は、自車両前方を撮像可能な前方撮像手段を備えた車両用歩行者画像取得装置に関する。

従来より、車両と歩行者との事故を防止するために、自車両周辺に存在する歩行者の現在の状態を計測し、その計測結果から将来の歩行者の挙動（動作等）を予測し、その予測結果に基づいて運転者の車両操作を支援する運転支援（例えば、歩行者の急な飛び出しに対する自動緊急ブレーキ等）や運転者に歩行者の存在を報知する技術が提案されている。

特許文献１には、自車両周辺の歩行者の顔向きを検出する撮像手段と、歩行者の顔向きに基づいてその歩行者が自車両の存在を認識しているか否かを判断する判断手段とを備え、判断手段の判断結果に応じて歩行者に対する車間距離（回避領域）を変更する車両用走行支援装置が開示されている。

近年、車両用ナビゲーション装置が普及したことで走行ルートの選択肢が増加し、その結果、利用頻度が低い道路を走行する機会が増えている。また、歩行者の飛び出しが発生する地点は、同じような危険な状態、所謂ヒヤリハット事象が繰り返し発生する虞がある。
そこで、車両にドライブレコーダを搭載することにより、ヒヤリハット事象が発生したときの一定時間の撮像画像や位置情報等を管理センタで一元管理し、危険箇所の情報をナビゲーション用の地図に反映させたヒヤリハットマップを配信可能な安全指導システムが運用されている。

特開２００９−２０２６７６号公報

特許文献１の技術は、歩行者の現在の状態と将来の動作との関係をモデル化し、実際に計測された歩行者の現在の状態をそのモデルに当て嵌めることにより、歩行者の将来の動作を予測することが行われている。
一般に、自車両周辺に存在する歩行者の動作を予測するためには、歩行者の現在の状態とその状態から予測される将来の動作との関係性を明らかにする必要があり、この歩行者の現在の状態と将来の動作との関係は機械学習によって探求されている。
機械学習では、計測対象となる歩行者の状態と予測対象となるその後の動作等の識別結果とを関連付けた学習用サンプル（撮像された教師データ）を大量（例えば１００万件）に蓄積し、学習用サンプルの中から抽出した特徴量とその学習用サンプルにおける識別結果との間に存在する何らかの規則性を自動的に抽出することにより、歩行者の現在の状況から将来の動作等を予測している。

従って、機械学習を利用して歩行者の現在の状態から将来の動作等を正確に予測するためには大量の学習用サンプルを蓄積しなければならない。
特に、横断歩行者の飛び出し挙動について機械学習する場合、車両が急制動を必要とする状況、つまり、実際に道路に飛び出した横断歩行者の映像を撮影する必要がある。
しかし、実際に道路に飛び出した横断歩行者の映像を撮影することは容易ではない。
即ち、歩行者が横断歩道以外の地点で道路を横断する場合、殆どの歩行者は車両の通過を待って道路を横断するため、車両に装備された前方撮像手段によって撮像される横断歩行者の飛び出し挙動映像は絶対量が少なく、撮像できたとしても、機械学習に適さない遙か前方の小さな映像であることが多い。
従って、実際に道路に飛び出した横断歩行者の映像が少ないため、学習用サンプルが十分に蓄積されず、歩行者による将来の動作の予測精度が低下する虞がある。
また、これに伴い必要十分な危険箇所情報が蓄積されず、ヒヤリハットマップの精度向上が早期に行えない虞もある。

本発明の目的は、歩行者の安全性を損なうことなく、学習用サンプルの素材として実際に道路に飛び出した横断歩行者画像を容易に取得できる車両用歩行者画像取得装置等を提供することである。

請求項１の発明は、自車両前方を撮像可能な前方撮像手段を備えた車両用歩行者画像取得装置において、自車両後方を撮像可能な後方撮像手段と、前記前方撮像手段の撮像画像に基づき自車両の後方で道路を横断する可能性がある歩行者を予測する横断歩行者予測手段とを備え、前記後方撮像手段は、前記横断歩行者予測手段によって道路を横断する可能性があると予測された歩行者を撮像することを特徴としている。

請求項１の発明によれば、自車両後方を撮像可能な後方撮像手段を備えるため、歩行者の安全性を損なうことなく、自車両通過後に道路を横断する横断歩行者画像を取得することができる。後方撮像手段は、横断歩行者予測手段によって道路を横断する可能性があると予測された歩行者を撮像するため、制御系に処理負荷を掛けることなく、高精度の横断歩行者画像を取得することができる。これにより、学習用サンプルの素材として実際に道路に飛び出した横断歩行者画像を容易に取得することができる。

請求項２の発明は、請求項１の発明において、前記前方撮像手段の撮像画像に基づき自車両に対して反対方向に走行する対向車両を検出する対向車両検出手段と、前記後方撮像手段の撮像開始タイミングを設定する撮像開始タイミング設定手段とを有し、前記撮像開始タイミング設定手段は、対向車両が途切れたとき、前記後方撮像手段の撮像開始タイミングを設定することを特徴としている。
この構成によれば、横断歩行者画像の取得率を高くすることができる。

請求項３の発明は、請求項２の発明において、自車両の走行速度を制御する速度制御手段を備え、前記速度制御手段は、横断する可能性があると予測された歩行者の近傍位置で対向車両とすれ違うように自車両の走行速度を制御することを特徴としている。
この構成によれば、横断歩行者画像の取得率を一層高くすることができる。

請求項４の発明は、請求項１〜３の何れか１項の発明において、自車両の位置情報を取得する位置情報取得手段を備え、前記後方撮像手段が道路を横断する歩行者を撮像したとき、前記後方撮像手段が撮像した位置と歩行者画像とを対応付けて記憶することを特徴としている。
この構成によれば、横断歩行者画像とその位置情報とを対応付けすることができ、危険箇所情報を蓄積することができる。

本発明の車両用歩行者画像取得装置によれば、歩行者の安全性を損なうことなく、機械学習を行うための学習用サンプルの素材として実際に道路に飛び出した横断歩行者画像を容易に取得することができる。

実施例１に係る歩行者画像取得装置を備えた車両の全体概念図である。 歩行者画像取得装置のブロック図である。 横断歩行者予測部の説明図である。 速度制御部の説明図である。 歩行者画像取得処理を示すフローチャートである。 撮像開始タイミング設定処理を示すフローチャーである。

以下、本発明の実施形態を図面に基づいて詳細に説明する。
以下の説明は、本発明を車両に適用したものを例示したものであり、本発明、その適用物、或いは、その用途を制限するものではない。

以下、本発明の実施例１について図１〜図６に基づいて説明する。
図１，図２に示すように、車両（自車両ともいう）Ｖには、車両Ｖが走行している走行車線（道路）を横断歩道以外の地点で横断する歩行者（以下、横断歩行者Ｐという）の飛び出し挙動映像を撮像する歩行者画像取得装置１が搭載されている。
この歩行者画像取得装置１は、前方カメラ２（前方撮像手段）と、ナビゲーション装置３と、走行制御部４と、後方カメラ５（後方撮像手段）と、通信部６と、ＥＣＵ（Electronic Control Unit）７等を備えている。

前方カメラ２は、ルーフパネル前端側下面のバックミラー（図示略）近傍位置に装着され、フロントウインドガラスを介して車体前方を静止画または動画で撮像可能なＣＣＤ（Charge Coupled Device）カメラによって構成されている。
同様に、後方カメラ５は、ルーフパネル後端側下面に装着され、リヤウインドガラスを介して車体後方を静止画または動画で撮像可能なＣＣＤカメラによって構成されている。
これにより、カメラ２，５は、走行車線及びその周辺の歩道領域を撮像し、歩行者が存在する場合、その歩行者の挙動（歩行状態や小走り状態等）を撮像している。
尚、カメラ２，５は、各々、２台のカメラのレンズ機構とシャッタ機構を１台にしたステレオタイプカメラであり、単体で撮像対象までの離隔距離を検出することができる。

ナビゲーション装置３は、車両Ｖの経路案内を行うシステムである。
ナビゲーション装置３には、車両Ｖの現在位置を検出するためのＧＰＳ受信部（図示略）が接続され、複数のＧＰＳ衛星からの信号を受信することで車両Ｖの現在位置を検出する。また、ナビゲーション装置３は、道路地図データを記憶した地図データベースと、交通規則データを記憶した交通規則データベース（何れも図示略）とを備えている。
これにより、ナビゲーション装置３は、ＧＰＳ受信部による車両Ｖの現在位置データ、地図データベースの道路地図データ及び交通規則データベースの交通規則データを利用して運転者に目的地までの経路案内を行う。

走行制御部４は、運転者によって操作されたアクセルペダルの踏込量に基づきエンジンの目標出力を設定し、アクセルペダルの踏込量と車両Ｖの走行速度とに基づきシフトアクチュエータの目標作動量を設定し、舵角センサの出力に基づきステアリングアクチュエータの目標作動量を設定し、ブレーキペダルの踏込量に基づきブレーキアクチュエータの目標作動量を設定している（何れも図示略）。
また、この走行制御部４は、ＥＣＵ７からの目標速度指令に基づき車両Ｖの走行速度が所定の目標走行速度になるようにエンジンの目標出力及びシフトアクチュエータの目標作動量を設定可能に構成されている。

通信部６は、アンテナ（図示略）等を備え、管理センタ８と送受信可能に構成されている。この通信部６は、撮像された横断歩行者画像とその画像が撮像された位置情報とを管理センタ８に送信している。
管理センタ８は、受信した位置情報等に基づき危険箇所の情報をナビゲーション用の地図に反映させたヒヤリハットマップを作成し、このマップを安全指導情報として配信している。

次に、ＥＣＵ７について説明する。
図２に示すように、ＥＣＵ７は、第１処理部７ａと、第２処理部７ｂ等を備えている。
ＥＣＵ７は、ＣＰＵ、ＲＯＭ、ＲＡＭ等からなる電子制御ユニットであり、ＲＯＭに記憶されているアプリケーションプログラムをＲＡＭにロードし、ＣＰＵで実行することにより各種演算処理を行っている。

第１処理部７ａは、前方カメラ２が撮像した撮像画像から車両Ｖの後方で道路を横断する可能性がある横断歩行者Ｐを予測し、横断歩行者Ｐと予測された歩行者に歩行者ＩＤを付与した後、歩行者ＩＤが付与された歩行者を撮像させる指令を後方カメラ５に出力するように構成されている。前方カメラ２において撮像された映像は、ＥＣＵ７に画像信号として出力され、Ａ／Ｄ変換された後、ＲＡＭのワークメモリに一旦書き込まれている。
第１処理部７ａは、歩行者検出部１１と、横断歩行者予測部１２と、対向車両検出部１３と、速度制御部１４と、撮像開始タイミング設定部１５等を備えている。

歩行者検出部１１は、車両Ｖの前方を撮像した画像情報に基づき、その画像情報中から車両Ｖが走行している走行車線の周辺（側方の歩道等）に存在する歩行者を検出している。
この歩行者検出部１１では、前方カメラ２から出力された画像信号をデジタル処理して、撮像対象物のエッジを抽出して形状によるパターンマッチング等を用いることにより、撮像された対象物が車両Ｖの前側周辺に存在する歩行者であるかどうかを判定している。

横断歩行者予測部１２は、歩行者検出部１１によって判定された歩行者が車両Ｖの通過後、車両Ｖの後方で道路を横断する可能性がある横断歩行者Ｐであるか否かについて予測し、予測された横断歩行者Ｐに歩行者ＩＤを付与している。
この横断歩行者予測部１２では、視線方向（顔向き）、体の向き、脚部の開度、移動速度等の識別結果によって横断歩行者Ｐを予測している。
例えば、視線方向は、左右両目と口を結ぶ三角形を底面として鼻先端を頂点とした三角錐を想定し、底面から垂直に鼻先端を通る延長線方向によって判定している。
これにより、図３に示すように、横断歩道以外の地点において、視線が道路方向に向けられ且つ車両Ｖの通過を待っている歩行者、道路に向かって接近している歩行者、視線が道路方向に向けられ且つ体の向きが道路方向に向いている（半身）歩行者等を横断歩行者Ｐと予測し、視線が歩道に沿った方向に向けられて略一定速度で歩道の延設方向に沿って移動している歩行者や横断歩道で信号待ちをしている歩行者等は横断歩行者Ｐではないと判定する。

対向車両検出部１３は、車両Ｖの前方を撮像した画像情報に基づき、その画像情報中から車両Ｖの走行方向に対して反対方向に走行する対向車両ＶＡを検出している。
この対向車両検出部１３では、前方カメラ２から出力された画像信号をデジタル処理して、撮像対象物のエッジを抽出して形状によるパターンマッチング等を用いることにより、撮像された対象物が対向車両ＶＡであるかどうかを判定している。

速度制御部１４は、横断歩行者Ｐと対向車両ＶＡとを同時に検出したとき、横断歩行者Ｐの近傍位置で対向車両ＶＡとすれ違うように車両Ｖの走行速度を制御している。
これにより、横断歩行者Ｐに近い位置で横断歩行者Ｐの挙動を撮像することができる。
図４に示すように、車両Ｖの速度をｖ、対向車両ＶＡの速度をｖａ、車両Ｖから横断歩行者Ｐまでの距離をＬ、車両Ｖから対向車両ＶＡまでの距離をＬａとしたとき、車両Ｖが横断歩行者Ｐの最接近位置で対向車両ＶＡとすれ違う速度ｖは次式で表すことができる。
ｖ＝ｖａＬ／（Ｌａ−Ｌ） …（１）
速度制御部１４は、走行制御部４に式（１）で求めた速度ｖを目標速度として出力している。尚、対向車両ＶＡに連続する後続車両が存在する場合、速度制御部１４は、走行速度制御を中止している。

撮像開始タイミング設定部１５は、後方カメラ５の撮像開始タイミングを設定している。この撮像開始タイミング設定部１５は、車両Ｖが横断歩行者Ｐとすれ違った時点を撮像開始タイミング（第１タイミング）に設定し、所定時間横断歩行者Ｐの撮像を継続する。
また、対向車両ＶＡが存在することにより車両Ｖの速度制御を行っている場合、車両Ｖが横断歩行者Ｐ（対向車両ＶＡ）とすれ違う時点よりも余裕時間（例えば２ｓｅｃ）早い撮像開始タイミング（第２タイミング）を設定している。これは、横断歩行者Ｐが、車両Ｖと対向車両ＶＡとがすれ違った後、次の車両が接近するまでの僅かな期間で横断しようとするため、車両Ｖと対向車両ＶＡとがすれ違う前から横断準備動作を行うためである。
撮像開始タイミング設定部１５は、撮像開始タイミングを設定して後方カメラ５に撮像開始タイミング信号を出力する。

第２処理部７ｂは、後方カメラ５が撮像した撮像画像から歩行者ＩＤが付与された横断歩行者Ｐを検出し、横断歩行者Ｐによる実際の挙動（道路飛び出し前から飛び出し後にかけての動作）を撮像し、この撮像画像を挙動情報として保存するように構成されている。
後方カメラ５において撮像された映像は、ＥＣＵ７に画像信号として出力され、Ａ／Ｄ変換された後、ＲＡＭのワークメモリに一旦書き込まれている。
第２処理部７ｂは、横断歩行者検出部２１と、位置情報取得部２２と、画像保存部２３等を備えている。

横断歩行者検出部２１は、車両Ｖの後方を撮像した画像情報に基づき、その画像情報中から横断歩行者予測部１２によって歩行者ＩＤが付与された横断歩行者Ｐを検出している。
この横断歩行者検出部２１では、既存の画像解析手法により、フレーム画像から歩行者ＩＤが付与された横断歩行者Ｐを抽出する。
抽出された道路横断中の横断歩行者Ｐの撮像画像は、圧縮処理されて画像保存部２３に記憶される。

位置情報取得部２２は、横断歩行者Ｐの画像が取得されたときの位置情報及び時間情報を横断歩行者Ｐの撮像画像に対応付けしている。画像保存部２３に記憶された撮像画像には、撮像された位置情報と時間が合わせて保存されている。
記憶された横断歩行者Ｐの撮像画像は、画像保存部２３から通信部６を介して管理センタ８に送信されている。

次に、図５のフローチャートに基づき、歩行者画像取得処理について説明する。
尚、Ｓｉ（ｉ＝１，２…）は、各処理のためのステップを示す。
まず、前方カメラ２によって車両Ｖの前方を撮像し（Ｓ１）、Ｓ２へ移行する。
Ｓ２では、車両Ｖの前方に歩行者が存在するか否かを判定する。
Ｓ２の判定の結果、車両Ｖの前方に歩行者が存在する場合、Ｓ３に移行して、横断歩行者Ｐの条件に適合した歩行者が存在するか否かを判定する。Ｓ２の判定の結果、車両Ｖの前方に歩行者が存在しない場合、リターンする。

Ｓ３の判定の結果、横断歩行者Ｐの条件に適合した歩行者が存在する場合、横断歩行者Ｐに歩行者ＩＤを付与して、Ｓ４に移行する。Ｓ３の判定の結果、横断歩行者Ｐの条件に適合した歩行者が存在しない場合、リターンする。
Ｓ４では、後方カメラ５の撮像開始タイミングを設定する。
後方カメラ５の撮像開始タイミングの設定後、Ｓ５に移行して、後方カメラ５による撮像を実行するか否かを判定する。

Ｓ５の判定の結果、後方カメラ５による撮像を実行する場合、Ｓ６に移行して、撮像開始タイミングか否かを判定する。
Ｓ６の判定の結果、撮像開始タイミングである場合、Ｓ７に移行して、車両Ｖの後方を撮像する。Ｓ６の判定の結果、撮像開始タイミングでない場合、撮像開始タイミングになるまで待機する。
Ｓ８では、撮像された横断歩行者Ｐの道路横断直前から横断完了までの挙動映像を位置情報及び時間情報と関連付けた上で画像保存部２３に保存してリターンする。

次に、図６のフローチャートに基づき、撮像開始タイミング設定処理について説明する。
尚、Ｓｉ（ｉ＝１１，１２…）は、各処理のためのステップを示す。
まず、車両Ｖの走行方向に対して反対方向に走行する対向車両ＶＡが存在するか否かを判定する（Ｓ１１）。

Ｓ１１の判定の結果、対向車両ＶＡが存在する場合、Ｓ１２に移行して、対向車両ＶＡに連続する後続車両が存在するか否かを判定する。
Ｓ１２の判定の結果、後続車両が存在する場合、後方カメラ５による撮像を中止して（Ｓ１３）、終了する。これは、車両Ｖの速度制御の実行により、走行速度が遅くなりすぎるのを防止するためである。

Ｓ１２の判定の結果、後続車両が存在しない場合、横断歩行者Ｐの近傍位置で対向車両ＶＡとすれ違うように車両Ｖの走行速度を制御し（Ｓ１４）、撮像開始タイミングを第２タイミングに設定して（Ｓ１５）、終了する。
Ｓ１１の判定の結果、対向車両ＶＡが存在しない場合、撮像開始タイミングを第１タイミングに設定して（Ｓ１５）、終了する。

次に、本実施例の歩行者画像取得装置１における作用、効果について説明する。
この歩行者画像取得装置１によれば、車両Ｖの後方を撮像可能な後方カメラ５を備えるため、歩行者の安全性を損なうことなく、車両Ｖの通過後に道路を横断する横断歩行者Ｐの画像を取得することができる。後方カメラ５は、横断歩行者予測部１２によって道路を横断する可能性があると予測された歩行者を撮像するため、制御系に処理負荷を掛けることなく、高精度の横断歩行者Ｐの画像を取得することができる。これにより、自動緊急ブレーキ装置等の機械学習に用いる学習用サンプルの素材として実際に道路に飛び出した横断歩行者Ｐの画像を容易に取得することができる。

前方カメラ２の撮像画像に基づき車両Ｖに対して反対方向に走行する対向車両ＶＡを検出する対向車両検出部１３と、後方カメラ５の撮像開始タイミングを設定する撮像開始タイミング設定部１５とを有し、撮像開始タイミング設定部１５は、対向車両が途切れたとき、後方カメラ５の撮像開始タイミングを設定するため、横断歩行者Ｐの画像取得率を高くすることができる。

車両Ｖの走行速度を制御する速度制御部１４を備え、速度制御部１４は、横断する可能性があると予測された歩行者の近傍位置で対向車両ＶＡとすれ違うように車両Ｖの走行速度を制御するため、横断歩行者Ｐの画像取得率を一層高くすることができる。

車両Ｖの位置情報を取得する位置情報取得部２２を備え、後方カメラ５が道路を横断する歩行者を撮像したとき、後方カメラ５が撮像した位置と横断歩行者Ｐの画像とを対応付けて記憶するため、横断歩行者画像とその位置情報とを対応付けすることができ、危険箇所情報を蓄積することができる。

次に、前記実施形態を部分的に変更した変形例について説明する。
１〕前記実施形態においては、距離を検出可能なステレオタイプカメラの例を説明したが、汎用のＣＣＤカメラと距離センサとを併用しても良く、前方カメラのみに距離検出機能を持たせても良い。また、後方カメラにおいては、夜間の撮像時、後続車両が存在しないことを条件として、照明による照射を連動させるようにすることも可能である。

２〕前記実施形態においては、対向車両が存在するとき、自車両が横断歩行者の最接近位置で対向車両とすれ違う例を説明したが、自車両が横断歩行者の最接近位置よりも若干自車両方向側位置において対向車両とすれ違うようにしても良い。これにより、更に横断歩行者に近い位置で精度の良い横断歩行者画像を取得できる。

３〕前記実施形態においては、横断歩行者画像を自動緊急ブレーキ装置等の機械学習に用いる学習用サンプルやヒヤリハットマップ用情報に用いた例を説明したが、横断歩行者画像を取得した際、車車間通信装置を用いることにより、自車両の後続車両や対向車両や対向車両の後続車両等に横断歩行者の存在を横断歩行者画像と共に報知することも可能である。

４〕前記実施形態においては、対向車両に後続車両が続く場合、後方カメラの撮像を中止した例を説明したが、後続車両が存在する場合、自車両が横断歩行者の最接近位置で後続車両とすれ違うように速度制御しても良い。この場合、所定速度を判断条件として、自車両の速度が所定速度以下になるとき、後方カメラの撮像を中止する。

５〕その他、当業者であれば、本発明の趣旨を逸脱することなく、前記実施形態に種々の変更を付加した形態や各実施形態を組み合わせた形態で実施可能であり、本発明はそのような変更形態も包含するものである。

２ 前方カメラ
５ 後方カメラ
１２ 横断歩行者予測部
１３ 対向車両検出部
１４ 速度制御部
１５ 撮像開始タイミング設定部
２２ 位置情報取得部
２３ 画像保存部
Ｖ 車両
ＶＡ 対向車両

Claims (4)

1. 自車両前方を撮像可能な前方撮像手段を備えた車両用歩行者画像取得装置において、
   自車両後方を撮像可能な後方撮像手段と、
   前記前方撮像手段の撮像画像に基づき自車両の後方で道路を横断する可能性がある歩行者を予測する横断歩行者予測手段とを備え、
   前記後方撮像手段は、前記横断歩行者予測手段によって道路を横断する可能性があると予測された歩行者を撮像することを特徴とする車両用歩行者画像取得装置。
2. 前記前方撮像手段の撮像画像に基づき自車両に対して反対方向に走行する対向車両を検出する対向車両検出手段と、
   前記後方撮像手段の撮像開始タイミングを設定する撮像開始タイミング設定手段とを有し、
   前記撮像開始タイミング設定手段は、対向車両が途切れたとき、前記後方撮像手段の撮像開始タイミングを設定することを特徴とする請求項１に記載の車両用歩行者画像取得装置。
3. 自車両の走行速度を制御する速度制御手段を備え、
   前記速度制御手段は、横断する可能性があると予測された歩行者の近傍位置で対向車両とすれ違うように自車両の走行速度を制御することを特徴とする請求項２に記載の車両用歩行者画像取得装置。
4. 自車両の位置情報を取得する位置情報取得手段を備え、
   前記後方撮像手段が道路を横断する歩行者を撮像したとき、前記後方撮像手段が撮像した位置と歩行者画像とを対応付けて記憶することを特徴する請求項１〜３の何れか１項に記載の車両用歩行者画像取得装置。