WO2021084618A1

WO2021084618A1 - 運転支援装置および運転支援方法

Info

Publication number: WO2021084618A1
Application number: PCT/JP2019/042380
Authority: WO
Inventors: 下谷　光生; 直志宮原; 義典上野; 圭作福田; 家田　邦代; 祐介荒井
Original assignee: 三菱電機株式会社
Priority date: 2019-10-29
Filing date: 2019-10-29
Publication date: 2021-05-06
Also published as: JP7313465B2; JPWO2021084618A1

Abstract

運転支援装置（１０）は、車両（１）に関係する人物である車両関係者を記憶する車両関係者記憶部（１１）と、車両（１）の周辺にいる人物である車外人物が車両関係者であるか否かを判断する車両関係者判断部（１２）と、車外人物のジェスチャーを認識するジェスチャー認識部（１３）と、車両関係者と判断された車外人物のジェスチャーに基づいて車両（１）を制御する車両制御部（１４）と、を備える。

Description

運転支援装置および運転支援方法

　本発明は、車両の運転支援装置に関するものであり、特に、人物のジェスチャーに応じて車両を制御する技術に関するものである。

　近年、車両と車外の人物（例えば歩行者）とのコミュニケーションを図る技術が種々提案されている。例えば下記の特許文献１には、タクシーである車両のジェスチャー検出部がタクシーの停車を要求するジェスチャーをしている人物を検出すると、当該車両の自動運転システムが当該車両をその人物の周辺に停車させる技術が提案されている。

特開２０１８－１８０９８７号公報

　特許文献１の技術は、タクシーのように不特定の乗客を送迎する車両には有効であるが、自家用車などの一般車両には不向きである。この技術を一般車両に適用すると、ジェスチャー検出部が車両とは無関係の人物のジェスチャーに反応してしまい、車両がむやみに停車させられるおそれがあるためである。

　本発明は以上のような課題を解決するためになされたものであり、車両に関係する人物のジェスチャーだけに反応して車両を制御することが可能な運転支援装置を提供することを目的とする。

　本発明に係る運転支援装置は、車両に関係する人物である車両関係者を記憶する車両関係者記憶部と、車両の周辺にいる人物である車外人物が車両関係者であるか否かを判断する車両関係者判断部と、車外人物のジェスチャーを認識するジェスチャー認識部と、車両関係者と判断された車外人物のジェスチャーに基づいて車両を制御する車両制御部と、を備える。

　本発明に係る運転支援装置によれば、車両関係者記憶部に記憶された車両関係者のジェスチャーだけに反応して車両が制御されるため、車両とは無関係の人物のジェスチャーに反応することが防止される。よって、本発明は一般車両を含む様々な車両への適用が可能である。

　本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。

実施の形態１に係る運転支援装置の構成を示す図である。実施の形態１に係る運転支援装置の動作を示すフローチャートである。運転支援装置のハードウェア構成例を示す図である。運転支援装置のハードウェア構成例を示す図である。実施の形態２に係る運転支援装置の構成を示す図である。実施の形態３に係る運転支援装置の構成を示す図である。実施の形態４に係る運転支援装置の構成を示す図である。実施の形態４に係る運転支援装置の動作を示すフローチャートである。実施の形態４に係る運転支援装置の動作を示すフローチャートである。実施の形態６に係る運転支援装置の構成を示す図である。

　＜実施の形態１＞
　図１は、実施の形態１に係る運転支援装置１０の構成を示す図である。運転支援装置１０は、車両１に搭載されており、車両１が備える車外撮影装置２１および走行制御装置２２に接続されている。車外撮影装置２１は、車両１の周辺を撮影するカメラであり、ここでは車両１の周辺にいる人物（以下「車外人物」という）を撮影する目的で用いられる。走行制御装置２２は、車両１の走行系の制御、すなわち車両１の制動、駆動および操舵の制御を行う制御装置である。

　図１に示すように、運転支援装置１０は、車両関係者記憶部１１、車両関係者判断部１２、ジェスチャー認識部１３および車両制御部１４を備えている。

　車両関係者記憶部１１は、車両１に関係する人物（以下「車両関係者」という）を記憶する記憶媒体である。車両関係者記憶部１１には、車両関係者を特定するための情報として、車両関係者の画像（例えば顔写真など）が記憶される。車両１の所有者は、車両関係者記憶部１１に任意の人物を記憶させることができる。例えば、車両１が自家用車である場合、車両関係者記憶部１１には、車両１の所有者の家族や友人などの画像が記憶されることが想定される。

　車両関係者判断部１２は、車外撮影装置２１が撮影した車外人物の画像と、車両関係者記憶部１１に記憶されている車両関係者の画像とを照合することで、車外人物が車両関係者であるか否かを判断する。

　ジェスチャー認識部１３は、車外撮影装置２１が撮影した車外人物の画像を解析することで、車外人物が行っているジェスチャーを認識する。ジェスチャー認識部１３には予め規定された幾つかのジェスチャーパターンが登録されており、ジェスチャー認識部１３は、車外撮影装置２１が撮影した画像から分かる車外人物のジェスチャーが、規定のジェスチャーパターンのうちのどれに一致するかを判断することにより、車外人物のジェスチャーがどのような意味を持つのかを認識する。例えば、車外人物のジェスチャーが「止まれ」を意味するジェスチャーパターン（例えば、両手を振るジェスチャーパターンなど）と一致した場合、ジェスチャー認識部１３は、当該ジェスチャーが「止まれ」の意味であると認識する。

　車両制御部１４は、車両関係者判断部１２により車外人物が車両関係者であると判断された場合に、ジェスチャー認識部１３が認識したその車外人物のジェスチャーに基づいて、走行制御装置２２を制御することで、車両１の走行を制御する。例えば、車両関係者と判断された車外人物のジェスチャーが「止まれ」を意味すると認識された場合、車両制御部１４は車両１を停止させる。以下、車両関係者判断部１２により車両関係者と判断された車外人物のことを、単に「車両関係者」ということもある。

　ここで、車両１が自家用車であり、運転支援装置１０の車両関係者記憶部１１に、車両１の所有者家族の画像が記憶されていると仮定する。例えば、夫である運転者が自宅の駐車場から車両１を発進させようとしているときに、妻が夫の忘れ物に気付き自宅の前で車両１に向かって「止まれ」のジェスチャーを行ったとする。この場合、車両関係者判断部１２は、車外撮影装置２１により撮影された妻の画像を、車両関係者記憶部１１に記憶されている車両関係者の画像と照合し、妻が車両関係者であると判断する。また、ジェスチャー認識部１３は、車外撮影装置２１が撮影した妻の画像を解析し、妻が「止まれ」のジェスチャーを行っていると認識する。この場合、車両制御部１４は、車両関係者である妻の「止まれ」のジェスチャーに応じて、走行制御装置２２を制御して車両１を停止させる。

　一方、車両１の所有者の家族でない車外人物が、車両１に対して「止まれ」のジェスチャーを行っても、その車外人物は車両関係者記憶部１１に記憶されていないため、車両制御部１４がそのジェスチャーに反応して車両１を停止させることはない。もちろん、車両１の運転者が、車外人物の「止まれ」のジェスチャーに気付いて、車両１を手動操作で停止させることは可能である。

　このように、実施の形態１に係る運転支援装置１０は、車両関係者記憶部１１に予め記憶された車両関係者のジェスチャーだけに反応して車両１を制御する。つまり、運転支援装置１０は、車両１とは無関係の人物のジェスチャーに反応して車両１が制御されることを防止することができる。従って、運転支援装置１０は一般車両を含む様々な車両へ適用可能である。

　ここで、運転支援装置１０の動作を図２に示すフローチャートに基づいて説明する。車両１が起動し、運転支援装置１０が動作を開始すると、ジェスチャー認識部１３は、車外撮影装置２１が撮影した画像を解析して、車外人物がジェスチャーを行っているか否かを判断する（ステップＳＴ１０１）。車外人物が存在しない場合、あるいは、車外人物が何のジェスチャーもしていない場合は（ステップＳＴ１０１でＮＯ）、ステップＳＴ１０１が繰り返される。

　ジェスチャー認識部１３は、車外人物のジェスチャーを検出すると（ステップＳＴ１０１でＹＥＳ）、その車外人物のジェスチャーが規定のジェスチャーパターンのいずれかに一致するか否かを判断する（ステップＳＴ１０２）。車外人物のジェスチャーがどのジェスチャーパターンにも一致しなければ（ステップＳＴ１０２でＮＯ）、ステップＳＴ１０１へ戻る。

　車外人物のジェスチャーがいずれかのジェスチャーパターンに一致すれば（ステップＳＴ１０２でＹＥＳ）、ジェスチャー認識部１３は、車外人物のジェスチャーを認識する（ステップＳＴ１０３）。また、車両関係者判断部１２は、そのジェスチャーを行った車外人物の画像と、車両関係者記憶部１１に記憶されている車両関係者の画像とを照合することで、当該車外人物が車両関係者であるか否かを判断する（ステップＳＴ１０４）。ジェスチャーを行った車外人物が車両関係者でなければ（ステップＳＴ１０４でＮＯ）、ステップＳＴ１０１へ戻る。

　ジェスチャーを行った車外人物が車両関係者であれば（ステップＳＴ１０４でＹＥＳ）、車両制御部１４は、ジェスチャー認識部１３が認識したその車外人物（車両関係者）のジェスチャーに基づいて、走行制御装置２２を制御することで、車両１の走行を制御する（ステップＳＴ１０５）。その後、ステップＳＴ１０１へ戻る。運転支援装置１０は、以上の動作を繰り返し実行する。

　なお、図２のフローチャートでは、ジェスチャー認識部１３が車外人物のジェスチャーを認識した後で、車両関係者判断部１２がその車外人物が車両関係者か否かを判断しているが、その順番は逆でもよい。つまり、先に車両関係者判断部１２が、車外人物が車両関係者か否かを判断し、その後、ジェスチャー認識部１３が、車両関係者と判断された車外人物のジェスチャーのみを認識してもよい（つまり、ジェスチャー認識部１３は、車両関係者でない車外人物のジェスチャーを認識しなくてよい）。

　また、上の説明では、車両関係者の「止まれ」のジェスチャーを行った場合に、車両制御部１４が、車両１を停止させたが、車両１を停止させずに減速させてもよい。例えば、車両１を一時的に減速させるだけでも、車両１の運転者に、「止まれ」のジェスチャーを行う車両関係者がいることを気付かせることができるという効果は得られる。

　近年、運転者がリモコンキー等を用いた遠隔操作により車両の自動運転（例えば自動駐車など）を行う技術の実用化が進んでいる。そのため、実施の形態１においても、車両１から降りた運転者が車両１の運転権限を有している場面も想定される。そのような場面では、車両１の運転者は車外人物の存在に容易に気付くことができるため、車外人物がジェスチャーで意思表示する必要性は低い。そのため、車両制御部１４は、車両１の運転権限が車両１内にある場合、すなわち、車両１内の運転者または自動運転装置が車両１の運転権限を有している場合に、車両関係者である車外人物のジェスチャーに基づいて車両１を制御してもよい。

　「自動運転装置が車両１の運転権限を有している場合」とは、自動運転装置が車両１のすべての運転操作を自動化している場合だけでなく、一部の運転操作だけを自動化している場合も含まれてもよい。ここで、自動車の自動運転の自動化レベル（自動運転レベル）の定義について説明する。ＳＡＥ（Society of Automotive Engineers）International のＪ３０１６（２０１６年９月）、および、その日本語参考訳であるＪＡＳＯ　ＴＰ１８００４（２０１８年２月）によると、自動運転システムの自動運転レベルは次のように定義されている。

　レベル０（運転自動化なし）：運転者が一部又は全ての動的運転タスクを実行
　レベル１（運転支援）：システムが縦方向又は横方向のいずれかの車両運動制御のサブタスクを限定領域において実行
　レベル２（部分運転自動化）：システムが縦方向及び横方向両方の車両運動制御のサブタスクを限定領域において実行
　レベル３（条件付運転自動化）：システムが全ての動的運転タスクを限定領域において実行するが、作動継続が困難な場合は、システムからの介入要求等に運転者が適切に応答
　レベル４（高度運転自動化）：システムが全ての動的運転タスク及び作動継続が困難な場合への応答を限定領域において実行
　レベル５（完全運転自動化）：システムが全ての動的運転タスク及び作動継続が困難な場合への応答を無制限に（すなわち限定領域内ではない）実行
　なお、「動的運転タスク」とは、道路交通において車両を操作する際にリアルタイムで行う必要がある全ての操作上及び戦術上の機能（行程計画並びに経由地の選択などの戦略上の機能は除く）をいう。また、「限定領域」とは、システム又はその機能が作動するように設計されている特定の条件（地理的制約、道路面の制約、環境的制約、交通の制約、速度上の制約、時間的な制約などを含む）をいう。

　自動運転レベルがこのように定義される場合、例えば自動運転レベルがレベル４以上の場合を、上記の「自動運転装置が車両１の運転権限を有している場合」として扱ってもよい。

　また、車外人物が車両１のリモコンキーを持っており、車両１の運転権限を有しているときは、その車外人物が車両１に対してジェスチャーで意思表示することは考えにくい。そのため、車両制御部１４は、ジェスチャーを行った車外人物が運転権限を有する場合は、たとえその車外人物が車両関係者であっても、当該車両関係者のジェスチャーに反応しなくてもよい。つまり、車両制御部１４は、車両関係者が運転権限を有さない場合に、当該車両関係者のジェスチャーに基づいて車両１を制御してもよい。

　ジェスチャー認識部１３が認識するジェスチャー、つまり、ジェスチャー認識部１３に登録されるジェスチャーパターンの種類や数に制約はない。上記した両手を振るジェスチャーのほか、両手をクロスするジェスチャー（両手で「Ｘ」マークを作るジェスチャー）、片手をゆっくり振るジェスチャー、片手を激しく振るジェスチャーなども、ジェスチャー認識部１３の認識対象としてもよい。例えば、両手を振るジェスチャー、両手をクロスするジェスチャー、片手をゆっくり振るジェスチャーを「止まれ」あるいは「待て」を意味するジェスチャーとして定義し、片手を激しく振るジェスチャーを「いってらっしゃい」を意味するジェスチャーとして定義することなどが想定される。これらのジェスチャーは、誰もがよく行う一般的なジェスチャーであるが、車両制御部１４は車両関係者のジェスチャー以外には反応しないため、そのようなジェスチャーを認識対象に含めたとしても、車両制御部１４がむやみに反応することは防止される。

　図３および図４は、それぞれ運転支援装置１０のハードウェア構成の例を示す図である。図１に示した運転支援装置１０の構成要素の各機能は、例えば図３に示す処理回路５０により実現される。すなわち、運転支援装置１０は、車両に関係する人物である車両関係者を記憶し、車両の周辺にいる人物である車外人物が車両関係者であるか否かを判断し、車外人物のジェスチャーを認識し、車両関係者と判断された車外人物のジェスチャーに基づいて車両を制御する、ための処理回路５０を備える。処理回路５０は、専用のハードウェアであってもよいし、メモリに格納されたプログラムを実行するプロセッサ（中央処理装置（ＣＰＵ：Central Processing Unit）、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）とも呼ばれる）を用いて構成されていてもよい。

　処理回路５０が専用のハードウェアである場合、処理回路５０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、またはこれらを組み合わせたものなどが該当する。運転支援装置１０の構成要素の各々の機能が個別の処理回路で実現されてもよいし、それらの機能がまとめて一つの処理回路で実現されてもよい。

　図４は、処理回路５０がプログラムを実行するプロセッサ５１を用いて構成されている場合における運転支援装置１０のハードウェア構成の例を示している。この場合、運転支援装置１０の構成要素の機能は、ソフトウェア等（ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせ）により実現される。ソフトウェア等はプログラムとして記述され、メモリ５２に格納される。プロセッサ５１は、メモリ５２に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、運転支援装置１０は、プロセッサ５１により実行されるときに、車両に関係する人物である車両関係者を記憶する処理と、車両の周辺にいる人物である車外人物が車両関係者であるか否かを判断する処理と、車外人物のジェスチャーを認識する処理と、車両関係者と判断された車外人物のジェスチャーに基づいて車両を制御する処理と、が結果的に実行されることになるプログラムを格納するためのメモリ５２を備える。換言すれば、このプログラムは、運転支援装置１０の構成要素の動作の手順や方法をコンピュータに実行させるものであるともいえる。

　ここで、メモリ５２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）およびそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。

　以上、運転支援装置１０の構成要素の機能が、ハードウェアおよびソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、運転支援装置１０の一部の構成要素を専用のハードウェアで実現し、別の一部の構成要素をソフトウェア等で実現する構成であってもよい。例えば、一部の構成要素については専用のハードウェアとしての処理回路５０でその機能を実現し、他の一部の構成要素についてはプロセッサ５１としての処理回路５０がメモリ５２に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

　以上のように、運転支援装置１０は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。

　＜実施の形態２＞
　図５は、実施の形態２に係る運転支援装置１０の構成を示す図である。図５の運転支援装置１０の構成は、図１の構成に対し、車内通知部１５を追加したものである。また、運転支援装置１０には、車両１が備える車内通知装置２３が接続されている。車内通知装置２３は、各種の情報を車両１の運転者に通知するための手段であり、例えば、情報を視覚的に出力する表示装置や、情報を聴覚的に出力するスピーカーなどで構成される。

　車内通知装置２３としての表示装置は、例えばインストルメントパネルやセンターパネルに配置される表示装置でもよいし、車両１のウィンドシールドを画面として利用することで、運転者の視野に画像を直接表示するヘッドアップディスプレイなどでもよい。また、車内通知装置２３としての表示装置は、運転支援装置１０専用のものでなくてよく、例えば、ナビゲーション装置や電子ミラーと共用されるものでもよい。

　車内通知部１５は、車両関係者と判断された車外人物のジェスチャーに基づいて、車内通知装置２３を通して車両１の運転者への通知を行う。例えば、車内通知部１５は、車両関係者のジェスチャーが認識されたときに、当該車両関係者の画像を車内通知装置２３の画面に表示したり、当該車両関係者が写った車内通知装置２３としての電子ミラーの画面にその車両関係者を強調するマークを重畳表示したり、当該車両関係者のジェスチャーの意味を説明する音声（例えば「止まってください」などのメッセージ）を車内通知装置２３のスピーカーから出力したりすることが想定される。なお、車内通知部１５が、車内通知装置２３に表示する車両関係者の画像は、車外撮影装置２１が撮影した実写画像でもよいし、車両関係者記憶部１１に記憶された画像でもよいし、予め登録された車両関係者のプロフィール画像（いわゆる「アバター」）でもよい。

　ジェスチャー認識部１３に規定のジェスチャーパターンが複数登録されている場合、車両関係者が行ったジェスチャーの種類に応じて、車両制御部１４および車内通知部１５の動作は変化する。例えば、両手を振るジェスチャー、両手をクロスするジェスチャー、片手をゆっくり振るジェスチャーが、「止まれ」あるいは「待て」を意味するジェスチャーとして定義され、片手を激しく振るジェスチャーを「いってらっしゃい」を意味するジェスチャーとして定義されていると仮定する。このとき、車両制御部１４および車内通知部１５は、
（ａ）車両関係者が両手を振るジェスチャーを行った場合、車両制御部１４が車両１を停止させ、車内通知部１５が運転者に「待ってください」などの音声通知を行う
（ｂ）車両関係者が両手をクロスするジェスチャーを行った場合、車両制御部１４が車両１を停止させ、車内通知部１５は何も行わない
（ｃ）車両関係者が片手をゆっくり振るジェスチャーを行った場合、車両制御部１４が車両１を停止させ、車内通知部１５が当該車両関係者の画像を表示する
（ｄ）車両関係者が片手を激しく振るジェスチャーを行った場合、車両制御部１４は何もせず（車両１の走行を維持）、車内通知部１５が運転者に「奥様が手を振っています」、「いってらっしゃい」などの音声通知を行う
といった動作を行ってもよい。

　また、車両関係者記憶部１１に記憶される車両関係者をその属性によって分類し、ジェスチャーを行った車両関係者の属性に応じて、車両制御部１４および車内通知部１５の動作が変化してもよい。例えば、車両関係者が「家族」、「知人」、「他人」という３つの属性に分類され、車両関係者が両手を振るジェスチャーを行った場合、車両制御部１４および車内通知部１５は、
（ａ）ジェスチャーを行った車両関係者の属性が「家族」である場合、車両制御部１４が車両１を停止させ、車内通知部１５が運転者に「待ってください」などの音声通知を行う
（ｂ）ジェスチャーを行った車両関係者の属性が「知人」である場合、車両制御部１４は何もせず、車内通知部１５が運転者に「ＸＸ（知人の名前）さんが手を振っています」などの音声通知を行う
（ｃ）ジェスチャーを行った車両関係者の属性が「他人」である場合、車両制御部１４は何もせず、車内通知部１５が、運転者に「誰かが手を振っています」などの音声通知を行うとともに、その車両関係者の画像を表示する
といった動作を行ってもよい。

　また、車両関係者の属性に応じて、ジェスチャー認識部１３が、認識対象とするジェスチャーの種類や、認識するジェスチャーの意味を変更してもよい。例えば、ジェスチャーを行った車両関係者の属性が「家族」である場合にジェスチャー認識部１３が認識するジェスチャーとして、家族間だけで通じる独自のジェスチャーパターンを定めてもよい。また、個々の車両関係者ごとに、独自のジェスチャーパターンを定めてもよい。

　また、車両１の状態に応じて、車両制御部１４および車内通知部１５の動作を変化させてもよい。例えば、車両関係者のジェスチャーが認識されたときに、車両１が停止中であれば、車両制御部１４は何もせず、車内通知部１５が運転者への通知を行い、車両１が走行中であれば、車内通知部１５は何もせず、車両制御部１４が車両１を停止させるようにしてもよい。

　＜実施の形態３＞
　図６は、実施の形態３に係る運転支援装置１０の構成を示す図である。図６の運転支援装置１０の構成は、図１の構成に対し、車外通知部１６を追加したものである。また、運転支援装置１０には、車両１が備える車外通知装置２４が接続されている。車外通知装置２４は、各種の情報を車外人物に通知するための手段であり、例えば、情報を視覚的に出力する表示装置や、情報を聴覚的に出力するスピーカーなどで構成される。車外通知装置２４は、ヘッドライトやハザードランプの点滅、ホーンの鳴動などを用いて車外人物への通知を行うものでもよい。

　車外通知部１６は、車両関係者と判断された車外人物のジェスチャーを車両制御部１４が受け付けたときに、その旨を車外通知装置２４を用いて当該車両関係者へ通知する。これにより、ジェスチャーを行った車両関係者は、自身が行ったジェスチャーの意図が運転支援装置１０に伝わったかどうかを知ることができる。本実施の形態は、実施の形態２と組み合わせてもよい。

　＜実施の形態４＞
　図７は、実施の形態４に係る運転支援装置１０の構成を示す図である。図７の運転支援装置１０の構成は図１と同様であるが、運転支援装置１０には車両１が備える車内撮影装置２５が接続されている。車内撮影装置２５は、車両１の車内を撮影するカメラであり、ここでは車両１の搭乗者を撮影する目的で用いられる。実施の形態４では、運転支援装置１０の車両関係者記憶部１１は、車内撮影装置２５により撮影された車両１の搭乗者を、車両関係者として記憶する。すなわち、車両関係者記憶部１１は、車内撮影装置２５が撮影した車両１の搭乗者の画像を、車両関係者の画像として記憶する。

　車両１の搭乗者は、車両１の所有者の家族や友人など、車両１の車両関係者である可能性が高い。車両１の搭乗者が、車両関係者として車両関係者記憶部１１に自動的に登録されることで、車両１の所有者が車両関係者記憶部１１に車両関係者を記憶させる手間を省くことができ、運転支援装置１０の利便性が向上する。

　実施の形態４に係る運転支援装置１０の動作は、実施の形態１（図２のフローチャート）と同様でもよいが、ここではより好ましい動作の例を示す。図８はその動作を示すフローチャートである。図８において、図２のフローチャートに示したものと同様の処理が行われるステップには、それと同一符号が付されている。

　車両１が起動して、運転支援装置１０が動作を開始すると、車両関係者記憶部１１は、車両１が発進した後の適当なタイミングで、車内撮影装置２５から搭乗者の画像を取得し、それを車両関係者の画像として記憶する（ステップＳＴ２０１）。その後、運転支援装置１０は、車両１が停止するまで待つ（ステップＳＴ２０２）。なお、ステップＳＴ１０１のタイミングは、例えば、搭乗者が車両１に乗り込んだ時、車両１が停止した時、搭乗者が車両１から降りる時など、任意のタイミングでよい（ステップＳＴ１０１が、車両１が停止した時または搭乗者が車両１から降りる時に行われる場合、ステップＳＴ１０２の後にステップＳＴ１０１が行われる）。

　車両１が停止すると（ステップＳＴ２０２でＹＥＳ）、運転支援装置１０は、予め定められた「ジェスチャー検出条件」が満たされているか否かを判断する（ステップＳＴ２０３）。ジェスチャー検出条件の例としては、例えば、
（Ａ）車両１が停止してから一定時間経過する前である
（Ｂ）車両１が再発進してから一定距離走行する前である
の片方または両方などが好ましい。条件（Ａ）の「一定時間」は１分程度が好ましく、条件（Ｂ）の「一定距離」は４０ｍ程度が好ましい。また、条件（Ｂ）の「一定距離」は、ジェスチャー認識部１３の処理および車両関係者判断部１２の処理を正常に行える解像度の画像を車外撮影装置２１が撮影可能な距離の最大値であってもよい。

　ジェスチャー検出条件が満たされていなければ（ステップＳＴ２０３でＮＯ）、車両１が発進（再発進）するのを待つ（ステップＳＴ２０４）。その後、車両１が再発進すれば（ステップＳＴ２０４でＹＥＳ）、ステップＳＴ２０１へ戻る。

　ジェスチャー検出条件が満たされていれば（ステップＳＴ２０３でＹＥＳ）、図２のフローチャートと同様の処理が行われる。すなわち、ジェスチャー認識部１３は、車外撮影装置２１が撮影した画像を解析して、車外人物がジェスチャーを行っているか否かを判断する（ステップＳＴ１０１）。車外人物が存在しない場合、あるいは、車外人物が何のジェスチャーもしていない場合は（ステップＳＴ１０１でＮＯ）、ステップＳＴ２０３へ戻る。

　ジェスチャー認識部１３は、車外人物のジェスチャーを検出すると（ステップＳＴ１０１でＹＥＳ）、その車外人物のジェスチャーが規定のジェスチャーパターンのいずれかに一致するか否かを判断する（ステップＳＴ１０２）。車外人物のジェスチャーがどのジェスチャーパターンにも一致しなければ（ステップＳＴ１０２でＮＯ）、ステップＳＴ２０３へ戻る。

　車外人物のジェスチャーがいずれかのジェスチャーパターンに一致すれば（ステップＳＴ１０２でＹＥＳ）、ジェスチャー認識部１３は、車外人物のジェスチャーを認識する（ステップＳＴ１０３）。また、車両関係者判断部１２は、そのジェスチャーを行った車外人物の画像と、車両関係者記憶部１１に記憶されている車両関係者の画像とを照合することで、当該車外人物が車両関係者であるか否かを判断する（ステップＳＴ１０４）。ジェスチャーを行った車外人物が車両関係者でなければ（ステップＳＴ１０４でＮＯ）、ステップＳＴ２０３へ戻る。

　ジェスチャーを行った車外人物が車両関係者であれば（ステップＳＴ１０４でＹＥＳ）、車両制御部１４は、ジェスチャー認識部１３が認識したその車外人物（車両関係者）のジェスチャーに基づいて、走行制御装置２２を制御することで、車両１の走行を制御する（ステップＳＴ１０５）。その後、ステップＳＴ２０３へ戻る。

　図８のフローにおいて、ジェスチャー認識部１３が車外人物のジェスチャーを検出する処理（ステップＳＴ１０１）が、車両１が停止するのを待ってから行われる理由は、車両１の搭乗者が車外人物となってジェスチャーによる意思表示を行うのは、車両１が停止して搭乗者が車両１から降りた後だからである。また、ジェスチャー認識部１３が車外人物のジェスチャーの検出を行うための条件として、ジェスチャー検出条件を設けた理由は、車両１の搭乗者が車外人物となってジェスチャーによる意思表示を行うタイミングは、搭乗者が車両１から降りた直後の一定期間内であることが殆どだからである。

　実施の形態４に係る運転支援装置１０は、例えば、車両１の所有者が車両関係者記憶部１１に記憶されていない友人を車両１に乗せ、その友人が車両１から降りた直後に、忘れ物や用事に気づいて車両１に手を振った場合などに有効である。

　上の説明では、車両関係者記憶部１１に記憶される車両１の搭乗者の画像は、車内撮影装置２５が撮影した画像としたが、例えば、運転支援装置１０が携帯端末（例えば携帯電話やスマートフォンなど）との通信機能を備える場合には、車両関係者記憶部１１が搭乗者の通信端末に記憶されている搭乗者の画像を通信により取得して記憶してもよい。

　図８のフローチャートでは、搭乗者が車両１から降りたか否かの判断は行っていないが、その判断を行ってもよい。例えば、ステップＳＴ２０３においてジェスチャー検出条件が満たされていても、車両１が停止してからドアの開閉が無ければ、搭乗者は車両１から降りていないと判断して、車外人物のジェスチャーを検出するステップＳＴ１０１へ移行しない（ドアの開閉があるまでステップＳＴ２０３が繰り返される）ようにしてもよい。さらに、ドアの開閉があっても、車内撮影装置２５に撮影された搭乗者の数に変化がない場合は、搭乗者は車両１から降りていないと判断してもよい。これらの判断が行われることで、ジェスチャー認識部１３が不要なジェスチャー認識の処理を行うことを防止できる。

　実施の形態４では、車両１の搭乗者が自動的に車両関係者として車両関係者記憶部１１に記憶されるため、車両１はバスやタクシーのように不特定の乗客を送迎することを目的とした車両でもよい。例えば、タクシーである車両１から降りた乗客が、その直後に忘れ物に気づいて車両１に手を振った場合などに有効である。

　ただし、タクシーである車両１が不特定な乗客の送迎を繰り返すと、車両関係者記憶部１１に非常に多くの人物が車両関係者として登録され、車両制御部１４が過去に搭乗者だった人物のジェスチャーに反応してしまい、車両１がむやみに停車させられるおそれがある。そのため、車両関係者記憶部１１は、予め定められた条件が満たされると、車両１から降りた搭乗者を車両関係者の登録から削除してもよい。例えば、ジェスチャー検出条件が満たされなくなったときに（ステップＳＴ２０３でＮＯとなったときに）、車両関係者記憶部１１が搭乗者の登録をすべて削除し、その後にステップＳＴ２０１が行われるときに、あらためて車両関係者記憶部１１がその時点の搭乗者を車両関係者として記憶すれば、過去の搭乗者を車両関係者の登録から削除することができる。

　また、車両関係者記憶部１１が、過去の搭乗者の情報を一定期間だけ保持し、車両１に繰り返し搭乗した人物を検出できるようにしてもよい。例えば、タクシーである車両１に初めて搭乗した人物は「乗客」という属性の車両関係者として記憶し、一定回数以上繰り返して搭乗した人物の属性は「乗客」から「お得意様」へ変更してもよい。

　この場合も、車両関係者の属性によって運転支援装置１０の動作を変更してもよい。例えば、タクシーである車両１から降りた乗客の属性が「お得意様」であれば、当該乗客を「家族」属性の車両関係者として扱い、属性が「乗客」の乗客は「知人」属性の車両関係者として扱うようにしてもよい。

　［変形例］
　図８のフローでは、車両１が停止した後に、ジェスチャー認識部１３が車外人物のジェスチャーを検出する処理（ステップＳＴ１０１）が行われたが、本変形例では、ステップＳＴ１０１が、車両１が停止して再発進した後に行われるようにする。

　以下、図９のフローチャートに基づいて、本変形例に係る運転支援装置１０の動作を説明する。図９においても、図２のフローチャートに示したものと同様の処理が行われるステップには、それと同一符号が付されている。

　運転支援装置１０が起動すると、車両関係者記憶部１１は、車両１が発進した後の適当なタイミングで、車内撮影装置２５から搭乗者の画像を取得し、それを車両関係者の画像として記憶する（ステップＳＴ３０１）。その後、運転支援装置１０は、車両１が停止するまで待つ（ステップＳＴ３０２）。車両１が停止すると（ステップＳＴ３０２でＹＥＳ）、運転支援装置１０は、車両１が発進（再発進）するのを待つ（ステップＳＴ３０３）。そして、車両１が再発進すると（ステップＳＴ３０３でＹＥＳ）、運転支援装置１０は、予め定められた「ジェスチャー検出条件」が満たされているか否かを判断する（ステップＳＴ３０４）。ジェスチャー検出条件の例としては、例えば、
（Ｃ）車両１が再発進してから一定距離走行する前である
などが好ましい。条件（Ｃ）の「一定距離」は４０ｍ程度が好ましい。また、条件（Ｃ）の「一定距離」は、ジェスチャー認識部１３の処理および車両関係者判断部１２の処理を正常に行える解像度の画像を車外撮影装置２１が撮影可能な距離の最大値であってもよい。

　ジェスチャー検出条件が満たされていなければ（ステップＳＴ３０４でＮＯ）、ステップＳＴ３０１へ戻る。

　ジェスチャー検出条件が満たされていれば（ステップＳＴ３０４でＹＥＳ）、図２のフローチャートと同様の処理が行われる。すなわち、ジェスチャー認識部１３は、車外撮影装置２１が撮影した画像を解析して、車外人物がジェスチャーを行っているか否かを判断する（ステップＳＴ１０１）。車外人物が存在しない場合、あるいは、車外人物が何のジェスチャーもしていない場合は（ステップＳＴ１０１でＮＯ）、ステップＳＴ３０４へ戻る。

　ジェスチャー認識部１３は、車外人物のジェスチャーを検出すると（ステップＳＴ１０１でＹＥＳ）、その車外人物のジェスチャーが規定のジェスチャーパターンのいずれかに一致するか否かを判断する（ステップＳＴ１０２）。車外人物のジェスチャーがどのジェスチャーパターンにも一致しなければ（ステップＳＴ１０２でＮＯ）、ステップＳＴ３０４へ戻る。

　車外人物のジェスチャーがいずれかのジェスチャーパターンに一致すれば（ステップＳＴ１０２でＹＥＳ）、ジェスチャー認識部１３は、車外人物のジェスチャーを認識する（ステップＳＴ１０３）。また、車両関係者判断部１２は、そのジェスチャーを行った車外人物の画像と、車両関係者記憶部１１に記憶されている車両関係者の画像とを照合することで、当該車外人物が車両関係者であるか否かを判断する（ステップＳＴ１０４）。ジェスチャーを行った車外人物が車両関係者でなければ（ステップＳＴ１０４でＮＯ）、ステップＳＴ３０４へ戻る。

　ジェスチャーを行った車外人物が車両関係者であれば（ステップＳＴ１０４でＹＥＳ）、車両制御部１４は、ジェスチャー認識部１３が認識したその車外人物のジェスチャーに基づいて、走行制御装置２２を制御することで、車両１の走行を制御する（ステップＳＴ１０５）。その後、ステップＳＴ３０４へ戻る。

　本変形例において、ジェスチャー認識部１３が車外人物のジェスチャーを検出する処理（ステップＳＴ１０１）が、車両１が再発進するのを待ってから行われるようにした理由は、車両１の搭乗者が車外人物となってジェスチャーによる意思表示を行うのは、主に、車両１が停止して搭乗者が車両１から降りて、車両１がその場を立ち去ろうとしたときだからである。

　＜実施の形態５＞
　実施の形態５では、運転支援装置１０を搭載した車両が複数存在し、運転支援装置１０の車両関係者記憶部１１が、予め定められた他の車両の運転支援装置１０と車両関係者の情報を共有する。複数の運転支援装置１０における車両関係者の情報の共有化は、車両間の無線通信（車車間通信）によって自動的に行われてもよい。

　ここで、運転支援装置１０を搭載した２台の車両Ａ，Ｂが存在し、車両Ａの運転支援装置１０の車両関係者記憶部１１には車両Ａの搭乗者が車両関係者として記憶されており、車両Ｂの運転支援装置１０の車両関係者記憶部１１には車両Ｂの搭乗者が車両関係者として記憶されており、車両Ａの運転支援装置１０と車両Ｂの運転支援装置１０とで車両関係者の情報が共有されたと仮定する。すなわち、車両Ａの運転支援装置１０は、車両Ａの車両関係者だけでなく車両Ｂの車両関係者のジェスチャーにも反応し、車両Ｂの運転支援装置１０は、車両Ｂの車両関係者だけでなく車両Ａの車両関係者のジェスチャーにも反応する。

　車両Ａと車両Ｂとがグループ走行するとき、車両Ａの搭乗者の荷物が車両Ｂに積まれることがある。このとき、車両Ａから降りた人物が、車両Ｂから自分の荷物を降ろす前に車両Ｂの運転者が車両Ｂを発進させようとすることが考えられる。実施の形態５によれば、このような場合でも、車両Ａから降りた人物が、車両Ｂに対して「止まれ」のジェスチャーを行えば、車両Ｂを停止させることができる。

　＜実施の形態６＞
　図１０は、実施の形態６に係る運転支援装置１０の構成を示す図である。実施の形態６では、運転支援装置１０を搭載する車両１は、無人運転車両である無人タクシー（いわゆる“ロボットタクシー”）であるものとする。すなわち、車両１は、無人タクシー管理サーバ３０から受信した走行計画に基づく自動運転により、乗客の送迎を行う。

　無人タクシー管理サーバ３０から送信される走行計画には、乗客の乗車地点および降車地点ならびに走行予定経路の情報などが含まれる。車両１は一度に複数の乗客を送迎することもあるため、走行計画に含まれる乗車地点および降車地点はそれぞれ複数あってもよい。また、車両１の走行計画には、乗客を降ろした後の計画も含まれていてもよい。乗客を降ろした後の計画としては、例えば、予め定められた待機場所に移動して無人タクシー管理サーバ３０からの新たな走行計画を待つ計画や、流しのタクシーのように予め定められた巡回ルートを走行しながら乗客を探す計画などがある。

　無人タクシー管理サーバ３０は、無人タクシーの利用者から、乗車地点（配車地点）および降車地点（目的地）の情報を受信し、乗車地点から降車地点までの経路を探索して走行予定経路を決定することで走行計画を策定し、策定した走行計画を通信網を通して車両１へ送信する。

　図１０のように、車両１は、無人タクシー管理サーバ３０から送信される走行計画を受信して記憶する走行計画記憶装置２６を備えている。また、車両１の走行制御装置２２は、走行計画記憶装置２６に記憶された走行計画に基づいて、運転レベル４以上の自動運転を実行し、それにより、車両１は乗客を乗車地点でピックアップして降車地点まで送り届ける。

　車両１に搭載された運転支援装置１０は、車両１が乗客をピックアップすると、図８または図９のフローチャートに示した動作を開始する。よって、車両１が停止して乗客が降りた後、ジェスチャー検出条件が満たされている間に、例えば、その乗客が忘れ物に気付き、車両１に対して「止まれ」のジェスチャーを行うと、運転支援装置１０がそのジェスチャーに応じて車両１を停止させる。

　本実施の形態の運転支援装置１０は、車両１のドアの開閉や座席および荷室の状況を監視する機能を有しており、車両１から降りた乗客のジェスチャーに応じて車両１を停止させた後、例えば、乗客が車両１から忘れ物を取り出したことなどを確認すると、車両１に自動運転を再開させる。また、運転支援装置１０は、車両１から降りた乗客のジェスチャーに応じて車両１を停止させた後の一定時間（例えば１０秒）内に、当該乗客が車両１に近づく素振りを見せない場合や、または、前のジェスチャーを取り消すジェスチャー（例えば、右手を左右に振るなどのジェスチャー）を検出した場合にも、車両１に自動運転を再開させる。

　なお、各ジェスチャーの意味は、国や民族の習慣によって異なる。そのため、運転支援装置１０は、無人タクシー管理サーバ３０や乗客の通信端末などから乗客の国籍や出身地などのプロファイルを取得し、乗客のプロファイルに合わせて、認識対象とするジェスチャーや認識するジェスチャーの意味を変更してもよい。

　本実施の形態では、車両１が無人タクシーである例を示したが、車両１は、個人が管理する車両（例えば自家用車）であってもよい。その場合、車両１の走行計画は、車両１の管理者個人のパーソナルコンピュータや携帯端末などで策定され、車両１へ送信される。

　なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。

　本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。

　１　車両、１０　運転支援装置、１１　車両関係者記憶部、１２　車両関係者判断部、１３　ジェスチャー認識部、１４　車両制御部、１５　車内通知部、１６　車外通知部、２１　車外撮影装置、２２　走行制御装置、２３　車内通知装置、２４　車外通知装置、２５　車内撮影装置、２６　走行計画記憶装置、３０　無人タクシー管理サーバ。

Claims

　車両に関係する人物である車両関係者を記憶する車両関係者記憶部と、
　前記車両の周辺にいる人物である車外人物が前記車両関係者であるか否かを判断する車両関係者判断部と、
　前記車外人物のジェスチャーを認識するジェスチャー認識部と、
　前記車両関係者と判断された前記車外人物のジェスチャーに基づいて前記車両を制御する車両制御部と、
を備える運転支援装置。
　車両制御部は、前記車両内の運転者または自動運転装置が前記車両の運転権限を有している場合に、前記車両関係者と判断された前記車外人物のジェスチャーに基づいて前記車両を制御する、
請求項１に記載の運転支援装置。
　車両制御部は、前記車両関係者と判断された前記車外人物が運転権限を有さない場合に、前記車両関係者と判断された前記車外人物のジェスチャーに基づいて前記車両を制御する、
請求項１に記載の運転支援装置。
　前記車両関係者記憶部は、前記車両の搭乗者を車両関係者として記憶する、
請求項１に記載の運転支援装置。
　前記車両関係者記憶部は、前記搭乗者が前記車両から降りた後、予め定められた条件が満たされると、前記車両から降りた前記搭乗者を前記車両関係者の登録から削除する、
請求項４に記載の運転支援装置。
　前記車両関係者記憶部は、前記車両関係者の属性を記憶し、
　前記車両関係者記憶部は、予め定められた条件が満たされると、前記車両関係者の属性を変更する、
請求項４に記載の運転支援装置。
　前記車両は乗客を送迎する車両であり、
　前記車両関係者記憶部は、前記乗客を前記車両関係者として記憶する、
請求項１に記載の運転支援装置。
　前記車両は無人運転車両である、
請求項７に記載の運転支援装置。
　前記車両制御部は、前記車両関係者と判断された前記車外人物のジェスチャーに基づいて前記車両の停止または減速を行う、
請求項１に記載の運転支援装置。
　前記車両関係者と判断された前記車外人物のジェスチャーに基づいて前記車両の運転者への通知を行う車内通知部をさらに備える
請求項１に記載の運転支援装置。
　前記車両関係者記憶部は、前記車両関係者の属性を記憶し、
　前記車内通知部は、前記車両関係者と判断された前記車外人物の属性に応じて、前記運転者への通知の内容を変更する
請求項１０に記載の運転支援装置。
　前記車両関係者記憶部は、前記車両関係者の属性を記憶し、
　前記ジェスチャー認識部は、前記車両関係者と判断された前記車外人物の属性に応じて、認識対象とするジェスチャーまたは認識するジェスチャーの意味を変更する
請求項１に記載の運転支援装置。
　前記車両関係者記憶部は、前記車両関係者の属性を記憶し、
　前記車両制御部は、前記車両関係者と判断された前記車外人物の属性に応じて、前記車両の制御内容を変更する
請求項１に記載の運転支援装置。
　前記車両関係者と判断された前記車外人物のジェスチャーを前記車両制御部が受け付けたことを前記車外人物へ通知する車外通知部をさらに備える、
請求項１に記載の運転支援装置。
　前記車両制御部は、前記車両が発進してからの経過時間または走行距離が一定の値を超えるまでの間、前記車両関係者と判断された前記車外人物のジェスチャーを受け付ける、
請求項１に記載の運転支援装置。
　前記車両関係者記憶部は、予め定められた他の車両の運転支援装置と前記車両関係者の情報を共有する、
請求項１に記載の運転支援装置。
　運転支援装置によって行われる運転支援方法であって、
　前記運転支援装置の車両関係者記憶部が、車両に関係する人物である車両関係者を記憶し、
　前記運転支援装置の車両関係者判断部が、前記車両の周辺にいる人物である車外人物が前記車両関係者であるか否かを判断し、
　前記運転支援装置のジェスチャー認識部が、前記車外人物のジェスチャーを認識し、
　前記運転支援装置の車両制御部が、前記車両関係者と判断された前記車外人物のジェスチャーに基づいて前記車両を制御する、
運転支援方法。