JPWO2018078713A1 - 周辺情報判定装置 - Google Patents

Abstract

周辺情報判定装置（１０）において、周辺情報取得部（１１）は、自車両周辺の状況を検出する周辺情報検出装置（２０）から自車両周辺の状況を示す周辺情報を取得する。意思推定部（１２）は、周辺情報に含まれる、自車両周辺に存在する人物の動作または人物の動きを模擬した指示器の動作を示す情報である人物動作情報から、人物の意思または指示器の指示を推定する。制御部（１３）は、周辺情報および意思推定部（１２）による推定結果に基づいて、自車両の走行を制御する走行制御装置（３０）、または、自車両の外側へ情報を報知する車外報知装置（４０）を制御する。

Description

本発明は、車両の自動運転を制御するための周辺情報判定装置および周辺情報判定方法に関するものである。

近年、周辺の状況に応じて車両を自動運転（自動走行）させる自動運転技術の開発が進んでいる。また、下記の特許文献１には、車両が歩行者を検知したときに、運転者による運転操作から当該運転者の意思を推定して、推定した運転者の意思を歩行者へ通知することができる車載装置が提案されている。

特開２００５−３３２２９７号公報

歩行者が行き交う道路において車両の自動運転を実用化するためには、自動走行中の車両と歩行者との意思疎通が重要になる。例えば、自動走行中の車両が横断歩道の付近に立つ歩行者を検出して、横断歩道の手前で停止したものの、その歩行者に横断歩道を渡る意思が無いというような場合が考えられる。そのような場合、車両が歩行者の意思を認識できれば、自動的に走行を再開できるが、従来の車両は歩行者の意思を認識する手段を有していないため、横断歩道の手前で停止し続けて、交通渋滞を引き起こすおそれがある。

特許文献１の技術では、車両が運転者の意思を歩行者へ伝えることはできるが、歩行者の意思を車両が認識することはできない。

本発明は以上のような課題を解決するためになされたものであり、車両周辺に存在する人物の意思を反映した車両制御を行うための周辺情報判定装置および周辺情報判定方法を提供することを目的とする。

本発明に係る周辺情報判定装置は、自車両周辺の状況を検出する周辺情報検出装置から自車両周辺の状況を示す周辺情報を取得する周辺情報取得部と、周辺情報に含まれる、自車両周辺に存在する人物の動作または人物の動きを模擬した指示器の動作を示す情報である人物動作情報から、人物の意思または指示器の指示を推定する意思推定部と、周辺情報および意思推定部による推定結果に基づいて、自車両の走行を制御する走行制御装置、または、自車両の外側へ情報を報知する車外報知装置を制御する制御部と、を備えるものである。

本発明によれば、意思推定部が自車両周辺に存在する人物の意思を推定し、制御部がその推定結果に基づいて自車両の走行制御装置または車外報知装置を制御するため、当該人物の意思を反映した自車両の走行または自車両からの報知が可能になる。

この発明の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。

実施の形態１に係る車両制御システムの構成を示す図である。 意思推定実施場所と対象人物の例を示す図である。 周辺情報判定装置のハードウェア構成の例を示す図である。 周辺情報判定装置のハードウェア構成の例を示す図である。 実施の形態１に係る周辺情報判定装置の動作を示すフローチャートである。 自車両が横断歩道の手前に近づいたときの周辺情報判定装置の動作を説明するための図である。 自車両が横断歩道の手前に近づいたときの周辺情報判定装置の動作を説明するための図である。 自車両が横断歩道の手前に近づいたときの周辺情報判定装置の動作を説明するための図である。 自車両が横断歩道の手前に近づいたときの周辺情報判定装置の動作を説明するための図である。 歩行者への報知の例を示す図である。 歩行者への報知の例を示す図である。 実施の形態２に係る周辺情報判定装置の動作を示すフローチャートである。 実施の形態３に係る車両制御システムの構成を示す図である。 実施の形態４に係る車両制御システムの構成を示す図である。

＜実施の形態１＞
図１は、実施の形態１に係る車両制御システムの構成を示す図である。この車両制御システムは、車両の自動運転を行う周辺情報判定装置１０と、それに接続された周辺情報検出装置２０、走行制御装置３０および車外報知装置４０とを含んでいる。以下、当該周辺情報判定システムを搭載する車両を「自車両」といい、自車両意外の車両を「他車両」という。

周辺情報検出装置２０は、自車両に備え付けられたカメラ２１、センサ２２、マイク２３、通信装置２４、ナビゲーション装置２５などのセンシング装置の出力信号から、自車両周辺の状況を示す情報である「周辺情報」を検出する。周辺情報検出装置２０が検出した周辺情報は、周辺情報判定装置１０および走行制御装置３０に送信される。

走行制御装置３０は、周辺情報検出装置２０から受信した周辺情報および周辺情報判定装置１０が出力する制御信号に基づいて、自車両の制駆動機構３１および操舵機構３２を制御することにより、自車両の走行を制御する。制駆動機構３１は、自車両の走行速度の制御および前進と後退の切り替えを行うための機構であり、例えばアクセル、ブレーキ、シフト等を含む。操舵機構３２は、自車両の進行方向を左右に曲げるための機構であり、例えばステアリング等を含む。

図１に示すように、周辺情報判定装置１０は、周辺情報取得部１１、意思推定部１２および制御部１３を含んでいる。周辺情報取得部１１は、周辺情報検出装置２０から周辺情報を取得する。周辺情報には、カメラ２１が撮影した自車両周辺の映像、センサ２２が検出した自車両周辺の障害物（他車両、歩行者等を含む）、マイク２３（指向性マイクが好ましい）が取得した自車両周辺の音声、通信装置２４が通信で取得した情報、ナビゲーション装置２５が特定した自車両の地図上の位置や自車両周辺の地図情報、自車両の走行予定経路などが含まれる。

通信装置２４が取得する情報としては、例えば、車車間通信によって得られる自車両周辺の他車両の位置情報、歩行者の携帯端末（例えば腕時計型の通信端末）との通信によって得られる歩行者の位置情報、路車間通信によって得られる交通情報（工事区間情報、通行規制情報等）などがある。また、歩行者が携帯端末を操作して、自己が横断歩道を渡るかどうかといった情報を、積極的に周囲の車両の通信装置２４へ送信できるようにしてもよい。

なお、本明細書において「歩行者」とは、歩いている人物に限られず、例えばベビーカーを押している人物、車椅子や自転車に乗って通行している人物なども含む広い概念を指している。

また、意思推定部１２は、自車両が予め定められた条件を満たす特定の場所（「意思推定実施場所」）に近づいたときに、自車両の周辺に存在する人物の意思を推定する。意思推定実施場所は、自車両と車外の人物（例えば歩行者や交通整理を行う誘導員など）との意思疎通が必要となる場所であり、例えば、横断歩道の手前、車線規制区間の手前、目的地（または経由地）の駐車場の入口、駐車場内、駐車場の出口、信号の無い交差点の手前などが、意思推定実施場所として予め規定されている。

意思推定部１２は、カメラ２１が撮影した自車両周辺の映像や、センサ２２が取得した自車両周辺の障害物までの距離、ナビゲーション装置２５から得られる自車両の地図上の位置などから、自車両が意思推定実施場所に近づいたか否かを判定することができる。自車両が意思推定実施場所に近づいたか否かの判断は、自車両と意思推定実施場所との距離が予め定められた閾値以下になったか否かによって判断するとよい。

自車両が意思推定実施場所に近づくと、意思推定部１２は、周辺情報取得部１１が取得した周辺情報に基づいて、自車両の近傍に意思推定の対象となる人物（「対象人物」という）が存在するか否かを確認する。そして対象人物の存在が検出されると、意思推定部１２は、周辺情報から対象人物の動作を示す「人物動作情報」を抽出し、抽出した人物動作情報に基づいて対象人物の意思を推定する。人物動作情報として抽出される情報は、対象人物の意思を推定できるものであれば任意の情報でよい。例えば、カメラ２１が撮影した対象人物のポーズ、ジェスチャー、視線の向き、表情などを認識できる映像、マイク２３を通して取得された対象人物の声を認識できる音声データなどが考えられる。また、対象人物が、携帯端末を操作して、横断歩道を渡るかどうかといった情報を入力し、周囲の車両の通信装置２４へ送信した場合には、意思推定部１２は、その携帯端末の操作内容を人物動作情報として取得する。

ここで、対象人物の意思としては、「道路を横断する」、「道路を横断せず静止する」といった対象人物自らの行動を表す意思と、「車両に停止して欲しい」、「車両に通過して欲しい」といった対象人物から自車両への要望を表す意思との２種類がある。意思推定部１２は、その両方を推定することが好ましい。ただし、「道路を横断する」という意思は「車両に停止して欲しい」という意思の表れでもあり、「道路を横断せず静止する」という意思は「車両に通過して欲しい」という意思の表れでもあるため、意思推定部１２は、２種類の意思のいずれか片方を推定してもよい。

制御部１３は、周辺情報判定装置１０の全体を制御すると共に、走行制御装置３０へ制御情報や制御コマンドを送受することで自車両の自動運転制御を行う。また、制御部１３は、車外報知装置４０を制御して、自車両の外へ向けて情報（警告、警報を含む）を報知することができる。

特に、本実施の形態では、制御部１３は、走行制御装置３０が自車両を自動運転制御して意思推定実施場所を通過させるとき、その制御に、意思推定部１２が推定した対象人物の意思を反映させる。

ここで、意思推定の対象人物は、意思推定実施場所の種類に応じて変わる。図２は、意思推定実施場所の種類と対象人物との関係の例を示す図である。図２に示すように、自車両が横断歩道の手前に近づいた場合、意思推定部１２は、意思推定の対象人物を横断歩道周辺の歩行者にする。また、自車両が車線規制区間の手前に近づいた場合、自車両が目的地の駐車場の入口に近づいた場合、自車両が駐車場内を走行中の場合、ならびに、自車両が駐車場の出口に近づいた場合には、意思推定部１２は、意思推定の対象人物を、交通整理を行っている誘導員にする。駐車場内の歩行者を意思推定の対象人物に加えてもよい。また、自車両が信号の無い交差点の手前に近づいた場合には、意思推定部１２は、意思推定の対象人物を、その交差点に進入しようとしている他車両の運転者、または交通整理の誘導員にする。

また、車線規制区間、駐車場、信号のない交差点などにおいて、誘導員の代わりに、人物の動作を模擬した指示器（例えば、工事現場において自動でランプを振っている人物型の看板など)が設置されている場合がある。その場合には、指示器を対象人物とみなしてもよい。その場合、意思推定部１２は、指示器の形状、動きおよび出力音声を人物のポーズやジェスチャーおよび声とみなして、指示器が表している指示を推定する。すなわち、意思推定部１２は、指示器の形状や動きを示す情報を人物動作情報として抽出し、人物動作情報から指示器が表している指示を推定する。

また、制御部１３は、意思推定部１２が対象人物の意思推定を行ったとき、車外報知装置４０を制御して、その対象人物に対し、意思の推定結果に応じた報知を行う。車外報知装置４０は、自車両の外部へ向けた報知を行うものであり、自車両のクラクションやヘッドライトなどでよいが、例えば、車外へ音声を出力するスピーカ、路面に画像を投射する投射装置、対象人物の携帯端末（例えば腕時計型の通信端末）へ情報を送信する通信機などでもよい。

なお、周辺情報判定装置１０の構成要素（周辺情報取得部１１、意思推定部１２および制御部１３）の一部または全てが、周辺情報検出装置２０に内蔵されてもよい。また、ナビゲーション装置２５と周辺情報取得部１１は、周辺情報検出装置２０を介さずに直接通信を行ってもよい。

図３および図４は、それぞれ周辺情報判定装置１０のハードウェア構成の一例を示す図である。図１に示した周辺情報判定装置１０の各構成要素（周辺情報取得部１１、意思推定部１２および制御部１３）は、例えば図３に示す処理回路５０により実現される。すなわち、処理回路５０は、周辺情報検出装置２０から周辺情報を取得する周辺情報取得部１１と、周辺情報に含まれる、自車両周辺に存在する人物の動作または人物の動きを模擬した指示器の動作を示す情報である人物動作情報から人物の意思または指示器の指示を推定する意思推定部１２と、周辺情報および意思推定部による推定結果に基づいて走行制御装置３０または車外報知装置４０を制御する制御部と、を備える。処理回路５０には、専用のハードウェアが適用されてもよいし、メモリに格納されるプログラムを実行するプロセッサ（Central Processing Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、Digital Signal Processor）が適用されてもよい。意思推定部１２は必ずしも自車両に搭載されている必要はなく、通信装置を通じて周辺情報判定装置１０と接続されるクラウド上のサービスとして実現されていてもよい。

処理回路５０が専用のハードウェアである場合、処理回路５０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、またはこれらを組み合わせたものなどが該当する。周辺情報判定装置１０の各要素の機能のそれぞれは、複数の処理回路で実現されてもよいし、それらの機能がまとめて一つの処理回路で実現されてもよい。

図４は、処理回路５０がプロセッサを用いて構成されている場合における周辺情報判定装置１０のハードウェア構成を示している。この場合、周辺情報判定装置１０の各要素の機能は、ソフトウェア等（ソフトウェア、ファームウェア、またはソフトウェアとファームウェア）との組み合わせにより実現される。ソフトウェア等はプログラムとして記述され、メモリ５２に格納される。処理回路５０としてのプロセッサ５１は、メモリ５２に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、周辺情報判定装置１０は、処理回路５０により実行されるときに、自車両周辺に存在する人物の動作または人物の動きを模擬した指示器の動作を示す情報である人物動作情報を取得する処理と、人物動作情報から人物の意思または指示器の指示を推定する処理と、推定された人物の意思または指示器の指示に基づいて、自車両の走行を制御する走行制御装置３０、または、自車両の外側へ情報を報知する車外報知装置４０を制御する処理と、が結果的に実行されることになるプログラムを格納するためのメモリ５２を備える。換言すれば、このプログラムは、周辺情報判定装置１０の各要素の動作の手順や方法をコンピュータに実行させるものであるともいえる。

ここで、メモリ５２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリー、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）およびそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。

以上、周辺情報判定装置１０の各要素の機能が、ハードウェアおよびソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、周辺情報判定装置１０の一部の要素を専用のハードウェアで実現し、別の一部の要素をソフトウェア等で実現する構成であってもよい。例えば、一部の要素については専用のハードウェアとしての処理回路５０でその機能を実現し、他の一部の要素についてはプロセッサ５１としての処理回路５０がメモリ５２に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

以上のように、周辺情報判定装置１０は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。

図５は、周辺情報判定装置１０の動作を示すフローチャートである。また、図６〜図１１は、周辺情報判定装置１０の動作の具体例として、自車両が横断歩道の手前に近づいたときの動作を説明するための図である。以下、図５〜図１１に基づいて、周辺情報判定装置１０の動作を説明する。なお、図５のフローは、走行制御装置３０が自車両の自動運転を行っているときに実行される。

周辺情報判定装置１０の意思推定部１２は、自車両の自動運転を開始すると、周辺情報取得部１１が取得した周辺情報に基づいて、自車両が意思推定実施場所に近づいたか否かを確認する（ステップＳ１０１）。意思推定部１２は、自車両が意思推定実施場所に近づいていないと判断している間は（ステップＳ１０１でＮＯ）、ステップＳ１０１を繰り返し実行する。

意思推定部１２は、自車両が意思推定実施場所に近づいたと判断すると（ステップＳ１０１でＹＥＳ）、周辺情報取得部１１が取得した周辺情報に基づいて、自車両の周囲に意思推定の対象人物が存在するか否かを確認する（ステップＳ１０２）。例えば、図６のように、自車両１が意思推定実施場所である横断歩道の手前に近づいたとき、意思推定部１２は、横断歩道付近の歩行者２を意思推定の対象人物にする。

自車両の周辺に対象人物が存在しなければ（ステップＳ１０２でＮＯ）、ステップＳ１０１へと戻る。そのまま対象人物が現れない状態が続けば、ステップＳ１０１，Ｓ１０２が繰り返されている間に、自車両は意思推定実施場所を通過することになる。

自車両の周辺に対象人物が存在した場合（ステップＳ１０２でＹＥＳ）、制御部１３が走行制御装置３０を制御して、自車両を停止させる（ステップＳ１０３）。図６の例の場合、自車両１は、横断歩道の手前の停止線で停止する。

続いて、意思推定部１２が、周辺情報から抽出した人物動作情報に基づいて、対象人物の意思を推定する（ステップＳ１０４）。このとき、対象人物が何の意思表示も行っていなければ（ステップＳ１０５でＮＯ）、制御部１３が、車外報知装置４０を制御して、対象人物に対し、自車両が停止する意思を伝えると共に対象人物の意思表示を促すための報知を行い（ステップＳ１０６）、ステップＳ１０４へ戻る。ステップＳ１０６における報知としては、例えば、クラクションを鳴らしたり、ヘッドライトを点灯させたりするなどの方法が考えられる。

図６の例において、例えば、自車両１のカメラ２１から、周辺情報として図７のような映像が得られたとする。意思推定部１２は、図７の映像から、人物動作情報として、図８のような歩行者２の映像を抽出する。そして、意思推定部１２は、図９のように歩行者２の映像に対する画像解析を行い、歩行者２のポーズ、手の動きから分かるジェスチャー、視線の向き、表情などから、歩行者２の意思を推定する。例えば図８のように、歩行者２が笑顔で自車両の方を見ながら手を差し出している場合、意思推定部１２は、歩行者２が「お先にどうぞ」という意図のジェスチャーを行っていると判断し、歩行者２が自車両を停止させずに通過させようとしていると判断する。

また、歩行者２が手を上に挙げたポーズをとっていたり、実際に横断歩道を渡りはじめたりした場合などには、意思推定部１２は、歩行者２が自車両を停止させて横断歩道を渡ろうとする意思を持っていると推定する。

なお、人物のポーズまたはジェスチャーの種類とそれが表す意思との対応関係は、国によって異なる場合がある。そのため、周辺情報判定装置１０に、複数の国についての人物のポーズまたはジェスチャーの種類と意思との対応関係を記憶させておき、ユーザが国の設定を変更できるようにするとよい。あるいは、周辺情報判定装置１０が、自車両の位置情報に基づいて現在地の国を判定し、人物のポーズまたはジェスチャーの種類と意思との対応関係を国に応じて自動的に変更するようにしてもよい。

意思推定部１２により、対象人物が自車両を止めたいという意思を持っていると推定された場合（ステップＳ１０７でＹＥＳ）、制御部１３は、走行制御装置３０を制御して、自車両の停止を継続する（ステップＳ１０８）。逆に、意思推定部１２により、対象人物が自車両を通過させたいという意思を持っていると推定された場合（ステップＳ１０７でＮＯ）、制御部１３は、車外報知装置４０を制御して、対象人物に対し、自車両を走行させる旨を示す報知を行った上で（ステップＳ１０９）、自車両の走行を開始させる（ステップＳ１１０）。

ステップＳ１０９における報知も、ステップＳ１０６と同様にクラクションやヘッドライトを利用したものでよいが、例えば、図１０のように路面に進行方向を示す画像を投射する方法、またはヘッドライトのライティングパターンで進行方向を示す方法、図１１のように、歩行者２の携帯端末（例えば腕時計型の携帯端末）に、自車両が前進する旨の画像を送信して表示させる方法などが効果的である。

ステップＳ１０８またはステップＳ１１０の後は、再び自車両の周辺に対象人物が存在するか否かを確認する（ステップＳ１１１）。まだ対象人物が存在する場合は（ステップＳ１１１でＹＥＳ）、ステップＳ１０４に戻る。ステップＳ１０４〜Ｓ１１１のループによって、意思推定部１２は、推定した対象人物の意思に基づいて走行制御装置３０が自車両を走行させている間も、当該人物の意思の推定を継続して行うことになる。意思推定部１２が継続して対象人物の意思推定を行うことで、対象人物の意思が急に変わった場合や、先に行った意思推定の結果が誤っていた場合にも、適切に対処することができる。例えば、図８の例において、歩行者２が自車両１を止める意思（横断歩道を渡る意思）を示さずに、自車両１が前進し始めた後、歩行者２が横断歩道を渡り始めると、次のループのステップＳ１０７でＹＥＳと判断され、ステップＳ１０８で自車両１は停止する。

その後、自車両１が意思推定実施場所を通過した場合や、対象人物がいなくなった場合（例えば図８の例で、歩行者２が横断歩道を渡ってしまった場合など）には、ステップＳ１１１でＮＯと判断される。その場合、自車両を走行させて（ステップＳ１１２）、ステップＳ１０１へと戻る。

このように、本実施の形態の周辺情報判定装置１０によれば、意思推定部１２が、自車両周辺に存在する人物の意思を推定し、制御部１３が、その推定結果に基づいて自車両の走行を制御するため、当該人物の意思を反映した自車両の自動運転が可能になる。

上の説明では、意思推定実施場所が横断歩道の手前である場合についての具体例を示したが、図２に示したように、本発明は、意思推定実施場所が、車線規制区間の手前や、目的地の駐車場の入口、駐車場内、駐車場の出口、信号の無い交差点の手前などである場合にも適用される。

例えば、自車両が車線規制区間の手前に近づいたときに、自車両の周辺に誘導員がいれば、交通整理の誘導員のジェスチャー（例えば手旗信号）に合わせて自車両の停止と前進を切り替えることができる。

また、自車両が、目的地の駐車場の入口、駐車場内、駐車場の出口に近づいたときにも、駐車場の誘導員のジェスチャーに合わせて、自車両を自動走行させることができる。上の例では、意思推定部１２が、対象人物が自車両を止めたいか否かの意思のみを推定したが、対象人物である誘導員が自車両を移動させたい方向を示すジェスチャーを行った場合に、その方向を推定して、自車両の進行方向を制御してもよい。

さらに、自車両が信号の無い交差点の手前に近づいたときには、その交差点に侵入しようとしている他車両の運転者、または誘導員のジェスチャーに合わせて自車両の停止と走行を切り替えることができる。それにより、自車両と他車両がお互いに道を譲り合って動かなくなることが防止される。

＜実施の形態２＞
実施の形態１では、自車両が図２に例示したような意思推定実施場所に近づいたときに、意思推定部１２が対象人物の意思を推定し、制御部１３がその推定結果に応じて走行制御装置３０または車外報知装置４０を制御する構成とした。しかし、意思推定部１２が対象人物の意思推定を行う場所は、必ずしも制限されなくてもよい。実施の形態２では、意思推定部１２による対象人物の意思推定が行われる場所を制限せず、例えば、自車両が一般的な道路を走行している間などでも行われるようにする。

図１２は、実施の形態２に係る周辺情報判定装置の動作を示すフローチャートである。図１２のフローは、図５のフローのステップＳ１０１，Ｓ１０２を、それぞれステップＳ１０１ａ，Ｓ１０２ａに置き換えたものである。

周辺情報判定装置１０の意思推定部１２は、自車両の自動運転が行われている間、周辺情報取得部１１が取得した周辺情報に基づいて、自車両の周辺に対象人物が存在するか否かを確認する（ステップＳ１０１ａ）。実施の形態２では、対象人物を全ての歩行者としてもよいが、車道から離れた位置にいる歩行者の意思を推定する必要性は低いため、例えば、自車両前方の車道上または当該車道に面した位置にいる歩行者に対象人物を限定してもよい。

意思推定部１２は、自車両の周辺に対象人物が存在しないときは（ステップＳ１０１ａでＮＯ）、ステップＳ１０１ａを繰り返し実行する。

自車両の周辺に対象人物が現れると（ステップＳ１０１ａでＹＥＳ）、意思推定部１２は、周辺情報取得部１１が取得した周辺情報に基づいて、自車両を停止させるべき状況か否かを確認する（ステップＳ１０２ａ）。自車両を停止させるべき状況とは、例えば、対象人物である歩行者が自車両の進路上にいる場合や、自車両の進路に近づいている場合など、自車両を走行させ続けると歩行者に接触する恐れがある状況とすることが考えられる。

自車両を停止させるべき状況であれば（ステップＳ１０２ａでＹＥＳ）、ステップＳ１０３へ進む。ステップＳ１０３以降のフローは、図５と同じであるため、それらの説明は省略する。

自車両を停止させるべき状況でなければ（ステップＳ１０２ａでＮＯ）、ステップＳ１０１ａへと戻る。よって、対象人物が現れたとしても自車両を停止させるべき状況にならなければ、ステップＳ１０１ａ，Ｓ１０２ａが繰り返されるだけであり、自車両の走行は継続されることになる。

実施の形態２の周辺情報判定装置１０によれば、意思推定部１２による対象人物の意思推定およびその結果に基づく走行制御装置３０および車外報知装置４０の制御が、あらゆる場所で行われる。よって、例えば、横断歩道のない場所で道路を横断しようとする歩行者がいた場合にも、その歩行者の意思を反映した走行制御装置３０および車外報知装置４０の制御が可能になる。

＜実施の形態３＞
図１３は、実施の形態３に係る車両制御システムの構成を示す図である。この車両制御システムの構成は、図１の構成に対し、周辺情報判定装置１０に、意思推定履歴記録部１４を設けた構成となっている。意思推定履歴記録部１４は、意思推定部１２に入力された人物動作情報および意思推定部１２が人物の意思を推定した推定結果の履歴（意思推定履歴）を記録する記憶媒体である。なお、意思推定履歴記録部１４は、周辺情報判定装置１０に外付けされる別のハードウェアとして構成されていてもよい。また、意思推定履歴記録部１４は必ずしも自車両に搭載されている必要はなく、通信装置を通じて周辺情報判定装置１０と接続されるクラウド上のサービスとして実現されていてもよい。

意思推定履歴記録部１４に意思推定履歴が記録されることにより、例えば、意思推定部１２による対象人物との意思推定が正しかったか否かを後で検証することができる。

また、意思推定部１２が、意思推定履歴記録部１４に記録された情報に基づいて、人物の動作とそれが表す意思との対応関係を学習する学習機能を持たせてもよい。例えば、図５におけるステップＳ１０４〜Ｓ１１１のループにおいて、ステップＳ１０７での判定結果が途中で変わった場合は、対象人物が意思推定部１２による意思の推定結果と異なる行動をとったと推定され、意思推定部１２による推定結果が正しくなかった可能性が高い。そのような情報を意思推定部１２が学習することで、意思推定部１２による推定結果の精度を上げることができる。

さらに、意思推定履歴記録部１４に格納された情報が、周辺情報判定装置１０のメーカーが管理するサーバーにアップロードされる構成にすれば、その情報をメーカー側で解析でき、意思推定部１２による意思推定のアルゴリズムの改善に寄与できる。

＜実施の形態４＞
図１４は、実施の形態４に係る車両制御システムの構成を示す図である。この車両制御システムの構成は、図１の構成に対し、周辺情報判定装置１０に、意思伝達記録部１５を設けた構成となっている。意思伝達記録部１５は、対象人物のジェスチャー動作、自車両が車外報知装置４０を用いて報知した内容などのＨＭＩ（Human Machine Interface）シーケンスを、映像や音声の情報として記憶する記憶媒体である。意思伝達記録部１５も、周辺情報判定装置１０に外付けされる別のハードウェアとして構成されていてもよい。また、意思伝達記録部１５は必ずしも自車両に搭載されている必要はなく、通信装置を通じて周辺情報判定装置１０と接続されるクラウド上のサービスとして実現されていてもよい。

意思伝達記録部１５は、いわゆるドライブレコーダと同様の用途で用いることができ、例えば事故発生時などの証拠を保存することができる。

なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。

この発明は詳細に説明されたが、上記した説明は、すべての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

１０ 周辺情報判定装置、１１ 周辺情報取得部、１２ 意思推定部、１３ 制御部、１４ 意思推定履歴記録部、１５ 意思伝達記録部、２０ 周辺情報検出装置、２１ カメラ、２２ センサ、２３ マイク、２４ 通信装置、２５ ナビゲーション装置、３０ 走行制御装置、３１ 制駆動機構、３２ 操舵機構、４０ 車外報知装置、１ 自車両、２ 歩行者。

本発明に係る周辺情報判定装置は、自車両周辺の状況を検出する周辺情報検出装置から自車両周辺の状況を示す周辺情報を取得する周辺情報取得部と、周辺情報に含まれる、自車両周辺に存在する人物の動作または人物の動きを模擬した指示器の動作を示す情報である人物動作情報から、人物の意思または指示器の指示を推定する意思推定部と、周辺情報および意思推定部による推定結果に基づいて、自車両の走行を制御する走行制御装置、または、自車両の外側へ情報を報知する車外報知装置を制御する制御部と、を備え、意思推定部が推定する人物の意思または指示器の指示は、自車両に搭載されたマイクを通して取得された人物または指示器が発する音声の内容に対応する人物の意思または指示器の指示、あるいは、人物または指示器から自車両への要望を表す意思または指示、の少なくともいずれか片方を含むものである。

Claims (16)

1. 自車両周辺の状況を検出する周辺情報検出装置から前記自車両周辺の状況を示す周辺情報を取得する周辺情報取得部と、
   前記周辺情報に含まれる、前記自車両周辺に存在する人物の動作または人物の動きを模擬した指示器の動作を示す情報である人物動作情報から、前記人物の意思または前記指示器の指示を推定する意思推定部と、
   前記周辺情報および前記意思推定部による推定結果に基づいて、前記自車両の走行を制御する走行制御装置、または、前記自車両の外側へ情報を報知する車外報知装置を制御する制御部と、
   を備えることを特徴とする周辺情報判定装置。
2. 前記周辺情報取得部は、前記人物動作情報として、前記自車両に搭載されたカメラが撮影した前記人物のポーズ、ジェスチャー、視線の向きおよび表情、前記指示器の形状および動きのうちの少なくとも１つ以上の情報を取得する
   請求項１に記載の周辺情報判定装置。
3. 前記意思推定部は、人物のポーズまたはジェスチャーの種類とそれが表す意思との対応関係、または指示器の形状または動きとそれが表す指示との対応関係を国ごとに変化させる
   請求項２に記載の周辺情報判定装置。
4. 前記周辺情報取得部は、前記人物動作情報として、前記自車両に搭載されたマイクを通して取得された前記人物または前記指示器が発する音声を取得する
   請求項１に記載の周辺情報判定装置。
5. 前記周辺情報取得部は、前記人物動作情報として、前記人物が持つ携帯端末から前記人物による前記携帯端末の操作内容を取得する
   請求項１に記載の周辺情報判定装置。
6. 前記意思推定部が推定する前記人物の意思は、前記人物自らの行動を表す意思を含む
   請求項１に記載の周辺情報判定装置。
7. 前記意思推定部が推定する前記人物の意思は、前記人物が道路を横断するか否かの意思を含む
   請求項６に記載の周辺情報判定装置。
8. 前記意思推定部が推定する前記人物の意思または前記指示器の指示は、前記人物または前記指示器から自車両への要望を表す意思または指示を含む
   請求項１に記載の周辺情報判定装置。
9. 前記意思推定部が推定する前記人物の意思または前記指示器の指示は、前記人物または前記指示器が前記自車両を止めたいのか否かの意思または意思を含む
   請求項８に記載の周辺情報判定装置。
10. 前記意思推定部が推定する前記人物の意思または前記指示器の指示は、前記人物または前記指示器が前記自車両を移動させたい方向を示す意思または意思を含む
    請求項８に記載の周辺情報判定装置。
11. 前記車外報知装置を用いて、前記人物に対し、前記意思推定部による推定結果に応じた報知を行う
    請求項１に記載の周辺情報判定装置。
12. 前記意思推定部は、前記意思推定部により推定された前記人物の意思または前記指示器の指示に基づいて前記走行制御装置が前記自車両を走行させている間も、当該人物の意思または当該指示器の指示の推定を継続して行う
    請求項１に記載の周辺情報判定装置。
13. 前記意思推定部に入力された人物動作情報および前記意思推定部による推定結果の履歴を記録する意思推定履歴記録部をさらに備える
    請求項１に記載の周辺情報判定装置。
14. 前記意思推定部は、前記意思推定履歴記録部を記録された情報に基づいて、人物の動作と当該人物の動作が表す意思との対応関係を学習する学習機能を有する
    請求項１３に記載の周辺情報判定装置。
15. 前記人物または前記指示器の動作、または、前記車外報知装置を用いて報知した内容を記憶する意思伝達記録部をさらに備える
    請求項１に記載の周辺情報判定装置。
16. 周辺情報判定装置における周辺情報判定方法であって、
    前記周辺情報判定装置の周辺情報取得部が、自車両周辺に存在する人物の動作または人物の動きを模擬した指示器の動作を示す情報である人物動作情報を取得し、
    前記周辺情報判定装置の意思推定部が、前記人物動作情報から前記人物の意思または前記指示器の指示を推定し、
    前記周辺情報判定装置の制御部が、前記意思推定部が推定した前記人物の意思または前記指示器の指示に基づいて、前記自車両の走行を制御する走行制御装置、または、前記自車両の外側へ情報を報知する車外報知装置を制御する
    ことを特徴とする周辺情報判定方法。

Images