WO2018062477A1

WO2018062477A1 - 車載装置、制御方法及びプログラム

Info

Publication number: WO2018062477A1
Application number: PCT/JP2017/035455
Authority: WO
Inventors: 明後藤田; 誠倉橋; 宏永田
Original assignee: パイオニア株式会社
Priority date: 2016-09-30
Filing date: 2017-09-29
Publication date: 2018-04-05
Also published as: JP2023058521A; JPWO2018062477A1; US20200027351A1; EP3521124A4; EP3521124A1; JP2021020675A

Abstract

本発明では、車両に搭載されたセンサの出力に基づき、対象物の状態を判断する監視部（１１）と、状態に応じた処理を車両に実行させるための処理情報を生成する生成部（１２）と、処理の原因となった対象物及び状態のうち少なくとも一方を示す原因情報を出力装置に出力させる制御部（１３）と、原因情報で示される原因に起因する処理を変更するための入力を受付ける受付部（１４）と、を有し、生成部（１２）は受付部（１４）の受付け結果に基づき処理が変更された処理情報を生成する車載装置（１０）を提供する。

Description

車載装置、制御方法及びプログラム

　本発明は、車載装置、制御方法及びプログラムに関する。

　特許文献１は、車両の走行を制御するための走行制御装置を開示している。当該走行制御装置は、運転手や乗員が自動走行制御に対して感じる違和感や不安を軽減するよう構成されている。具体的には、当該走行制御装置は、外界センサ等から受信した外界認識情報と、自車両の位置及び走行速度を含む情報である自車両情報とに基づき、自車両が取るべき運転行動内容を決定する手段と、当該運転行動内容を決定する理由になった運転行動要因を特定する手段と、運転行動内容及び運転行動要因を出力する手段とを有する。

特開２０１５－１９９４３９号公報

　特許文献１に記載の技術により、車両の運転手は、自動走行制御により制御された内容（運転行動内容）及び当該制御の原因（運転行動要因）を把握することができる。しかし、特許文献１は、把握した後の処理に関する開示がない。

　例えば、制御の原因に問題（誤検知等）が存在し、その内容の制御が不要な場合が存在し得る。また、コンピュータによる制御の内容と原因に問題はないが、コンピュータで認識できない何らかの理由により、その原因に基づくその制御が不要になる場合がある。例えば、前方の横断歩道付近で立っている複数の歩行者を検出（原因）したため、当該横断歩道の手前で自車両を減速・停止させたが（制御内容）、その歩行者達はそこで会話をしているだけで、横断の意思を有さない場合がある。この場合、その歩行者達と運転手との間のコミュニケーション等により、運転手はその状況を把握できる。しかし、コンピュータがその状況を把握するのは難しい。

　このような場合の処理の一例として、自動運転から手動運転に切り替える例が考えられる。しかし、このような状況が生じる都度、手動運転への切り替えを要求されると、運転手の負担が大きくなり、自動運転のメリットが薄れてしまう。また、車両が完全自動運転車であり、運転手が運転技能を有しない場合は、自動運転から手動運転への移行が出来ない。

　本発明の課題の一例は、自動走行制御時の運転手の負担を軽減することである。

　請求項１に記載の本発明は、
　車両に搭載されたセンサの出力に基づき、対象物の状態を監視する監視部と、
　前記状態に応じた処理を前記車両に実行させるための処理情報を生成する生成部と、
　前記処理の原因となった前記対象物及び前記状態のうち少なくとも一方を示す原因情報を出力装置に出力させる制御部と、
　前記原因情報で示される前記原因に起因する前記処理を変更するための入力を受付ける受付部と、
を有し、
　前記生成部は、前記受付部の受付け結果に基づき、前記処理が変更された処理情報を生成する車載装置である。

　請求項１１に記載の発明は、
　コンピュータが、
　車両に搭載されたセンサの出力に基づき、対象物の状態を監視する監視工程と、
　前記状態に応じた処理を前記車両に実行させるための処理情報を生成する生成工程と、
　前記処理の原因となった前記対象物及び前記状態のうち少なくとも一方を示す原因情報を出力装置に出力させる制御工程と、
　前記原因情報で示される前記原因に起因する前記処理を変更するための入力を受付ける受付工程と、
を実行し、
　前記生成工程では、前記受付工程の受付け結果に基づき、前記処理が変更された処理情報を生成する制御方法である。

　請求項１２に記載の発明は、
　コンピュータを、
　車両に搭載されたセンサの出力に基づき、対象物の状態を監視する監視手段、
　前記状態に応じた処理を前記車両に実行させるための処理情報を生成する生成手段、
　前記処理の原因となった前記対象物及び前記状態のうち少なくとも一方を示す原因情報を出力装置に出力させる制御手段、
　前記原因情報で示される前記原因に起因する前記処理を変更するための入力を受付ける受付手段、
として機能させ、
　前記生成手段は、前記受付手段の受付け結果に基づき、前記処理が変更された処理情報を生成するプログラムである。

　上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

本実施形態の車窓装置の機能ブロック図の一例を示す図である。本実施形態の車載装置のハードウエア構成の一例を示すブロック図である。本実施形態の車載装置が処理するデータの一例を模式的に示す図である。本実施形態の車載装置により出力される画像の一例を模式的に示す図である。本実施形態の車載装置により出力される画像の一例を模式的に示す図である。本実施形態の車載装置により出力される画像の一例を模式的に示す図である。本実施形態の車載装置の処理の流れの一例を示すフローチャートである。本実施形態の車載装置により出力される画像の一例を模式的に示す図である。本実施形態の車載装置により出力される画像の一例を模式的に示す図である。本実施形態の車載装置が処理するデータの一例を模式的に示す図である。本実施形態の車載装置の処理の流れの一例を示すフローチャートである。本実施形態の車載装置が処理するデータの一例を模式的に示す図である。本実施形態の車載装置の処理の流れの一例を示すフローチャートである。

　以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。

　まず、本実施形態の概要を説明する。本実施形態の車載装置は、自車両に搭載されたセンサの出力に基づき、対象物（例：歩行者、前方車両等）の状態を監視する。そして、本実施形態の車載装置は、対象物の状態に応じた処理（例：減速、停止、後退、車線変更、加速、進路変更）を自車両に実行させる。

　また、本実施形態の車載装置は、処理の原因となった対象物及び状態のうち少なくとも一方を示す原因情報を出力装置に出力させる。さらに、本実施形態の車載装置は、当該原因情報で示される原因に起因する処理を変更する入力を受付ける。例えば、当該原因に起因する処理を解除する入力や、当該原因となった対象物やその状態の認識結果を変更する入力等を受付ける。そして、本実施形態の車載装置は、当該入力に従い自車両を制御する。

　本実施形態の概要の理解をより深めるため、一例を説明する。例えば、本実施形態の車載装置は、一または複数の歩行者が前方の横断歩道付近で立っていることを検出すると、それに応じて、当該横断歩道の手前で自車両を減速・停止させる。そして、本実施形態の車載装置は、実行中の「減速・停止」の原因として、「その歩行者達」、「その歩行者達が横断歩道付近で立っていること」、「歩行者が横断歩道付近で立っていること」等を通知する。当該通知により、運転手は、自車両が実行中の「減速・停止」の原因を把握できる。

　ここで、その後のその歩行者達と運転手との間のコミュニケーション等により、その歩行者達はそこで会話をしているだけで、横断の意思を有さないことを、運転手が把握したとする。

　この場合、運転手は、上記通知されている原因に起因する処理（減速・停止）を変更する入力を行うことができる。例えば、運転手は、上記原因に起因する上記処理を解除する入力や、原因に関連する認識結果（例：歩行者やその状態）を変更する入力等を行うことができる。すると、車載装置は、当該入力に応じた処理を実行する。例えば、上記原因に起因する上記処理（減速・停止）の解除や、認識結果の変更等により、上記処理（減速・停止）の原因がなくなった場合、上記処理（減速・停止）の実行を解除する。そして、車載装置は、解除後の状態に基づいて自車両を制御する。例えば、車載装置は自車両を発進又は加速させる。

　このように、本実施形態の車載装置によれば、上述のような状況下において、手動運転に切り替えさせることなく、所定の入力を行わせるのみで、自動走行制御による自車両の運行を継続することができる。結果、運転手の負担を軽減できる。

　次に、本実施形態の車載装置の構成を詳細に説明する。

　車載装置は、車両に搭載され、自車両を制御する装置である。車載装置は、例えば、ＥＣＵ（Electronic Control Unit）である。なお、以下の説明で用いる「自車両」は、車載装置の制御対象の車両を意味する。

　図１に、本実施形態の車載装置１０の機能ブロック図の一例を示す。図示するように、車載装置１０は、監視部１１と、生成部１２と、制御部１３と、受付部１４と、出力部１５とを有する。

　まず、これら機能部を実現する車載装置１０のハードウエア構成の一例を説明する。各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

　図２は、本実施形態の車載装置１０のハードウエア構成を例示するブロック図である。図２に示すように、車載装置１０は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。なお、周辺回路４Ａを有さなくてもよい。

　バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵやＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置（例：キーボード、マウス、マイク等）、外部装置、外部サーバ、外部センサ等から情報を取得するためのインターフェイスや、出力装置（例：ディスプレイ、スピーカ、プリンター、メーラ等）、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。

　次に、図１に示す各機能部の機能を詳細に説明する。

　監視部１１は、自車両に搭載されたセンサの出力に基づき、対象物の状態を監視する。監視部１１は、自車両の外部環境に関する情報を収集するセンサ、例えば、カメラ（例：自車両の外部を撮影するカメラ）、ライダー（レーザレーダ）、レーダ等からの出力を取得する。その他、監視部１１は、道路上に設置されたサンサーにより収集された情報を路車間通信で取得してもよい。

　そして、監視部１１は、センサの出力を解析し、対象物及び対象物の状態を認識する。例えば、監視部１１は、予め保持している複数の対象物各々の外観の特徴量を利用して、カメラが撮影した画像内から対象物を抽出してもよい。対象物は、自車両の制御に影響する物体であり、例えば、歩行者、他の車両、前方車両、対向車両、自転車、落下物、信号機、道路標識、横断歩道、ランドマーク等が例示されるが、これらに限定されない。

　そして、監視部１１は、抽出した対象物ごとに、その状態を認識する。例えば、予め対象物ごとに複数の状態が用意されており、監視部１１は、抽出した対象物がいずれの状態にあるかを判断してもよい。対象物の状態は、対象物の周囲の状況や、対象物そのものの状況等に基づき判断できる。

　対象物が歩行者の場合の状態としては、例えば、「前方の横断歩道を横断予定」、「前方の横断歩道を横断中」、「前方の横断歩道を横断済」、「歩道を歩行中」、「その他」等が例示されるが、これらに限定されない。監視部１１は、例えば歩行者の周囲の状況（例：横断歩道が存在するか否か）や、歩行者そのものの状況（例：横断歩道の方を向いているか否か、横断歩道の方に向かって移動しているか否か、どこを歩いているか等）等に基づき、歩行者の状態を判断できる。

　また、対象物が前方車両の場合の状態としては、例えば、「走行中」、「一時停車中」、「駐車中」、「減速中」、「その他」等が例示されるが、これらに限定されない。監視部１１は、例えば対象車両の周囲の状況（例：前方の信号が赤、前方を歩行者が横断している）や、対象車両そのものの状況（例：停止しているか否か、ブレーキランプが点灯しているか否か、エンジンがかかっているか否か）等に基づき、対象車両の状態を判断できる。

　また、監視部１１は、抽出した対象物ごとに、画像内の位置（フレーム内の位置）を特定することができる。さらに、監視部１１は、抽出した対象物ごとに、自車両（ライダーやレーダの位置）を基準にした相対的な位置を、ライダーやレーダ等の出力に基づき特定することができる。

　監視部１１は、上述のような処理の結果を登録することができる。図３及び図１０に、登録される内容の一例を模式的に示す。図３に示す例では、抽出された対象物の種類と、その位置と、その状態と、解除入力有無とを互いに対応付けている。図１０に示す例では、抽出された対象物の種類と、その位置と、その状態とを互いに対応付けている。

　対象物の欄には、抽出された複数の対象物各々の種類が記録される。例えば、歩行者、前方車両、自転車等が記録される。位置の欄には、抽出された複数の対象物各々の位置、例えば、カメラが撮影した画像内の位置や、ライダーやレーダ等で検出した自車両を基準にした相対的な位置等が記録される。状態の欄には、上記処理で認識した状態が記録される。例えば、前方の横断歩道を横断予定、前方の横断歩道を横断中等が記録される。解除入力有無の欄には、以下で説明する受付部１４が解除入力を受付けたか否かを示す情報が記録される。

　ここで、監視部１１が図３及び図１０の登録情報を登録・更新する処理の一例を、図７のフローチャートを用いて説明する。なお、説明する処理はあくまで一例であり、これに限定されない。

　まず、監視部１１は、カメラが撮影した動画像の中から、処理対象のフレームの画像（センサ情報）を取得する（Ｓ１０）。

　そして、監視部１１は、処理対象のフレームの画像（カメラが撮影した画像）に写る対象物を認識する（Ｓ１１）。その後、監視部１１は、認識した対象物各々がそれ以前のフレームの画像で認識した対象物（例：その時点で登録情報（例：図３、図１０の情報）に登録されている対象物）と同一の対象物であるか否かを判断する。当該判断は従来のあらゆる技術を利用して実現できる。

　それ以前のフレームの画像で認識した対象物と同一の対象物でない場合、監視部１１は、新たな識別情報（例：通番）を発行し、処理対象のフレームの画像内で認識したその対象物にその識別情報を対応づける。一方、それ以前のフレームの画像で認識した対象物と同一の対象物である場合、処理対象のフレームの画像内で認識したその対象物に、既に発行されているその対象物の識別情報を対応付ける。

　そして、監視部１１は、処理対象のフレームの画像から抽出した対象物の識別情報と、その対象物の画像内の位置とを互いに対応付ける。

　また、監視部１１は、処理対象のフレームの画像から抽出した対象物ごとに、各々の状態を判断する（Ｓ１２）。そして、監視部１１は、処理対象のフレームの画像内で認識した対象物の識別情報に、状態の認識結果を対応付ける。

　監視部１１は、以上のようにして、処理対象のフレームの画像から得られた認識結果に基づき、登録情報（例：図３、図１０の情報）を更新する（Ｓ１３）。

　処理対象のフレームの画像内で認識した対象物がそれ以前のフレームの画像内で認識した対象物と同一の対象物でない場合、監視部１１は、処理対象のフレームの画像内で認識した対象物の識別情報と、画像内の位置と、状態とを、登録情報（例：図３、図１０の情報）に新たに登録する。

　一方、処理対象のフレームの画像内で認識した対象物がそれ以前のフレームの画像内で認識した対象物と同一の対象物である場合、監視部１１は、処理対象のフレームの画像内で認識した対象物の識別情報と、画像内の位置と、状態の判断結果とに基づき、登録情報（例：図３、図１０の情報）に登録されているその対象物の情報を更新する。

　また、監視部１１は、所定条件を満たす情報を、登録情報（例：図３、図１０の情報）から削除することができる。例えば、監視部１１は、登録情報（例：図３、図１０の情報）に登録されている対象物のうち、処理対象のフレームの画像内で認識した対象物と一致しなかったもの、すなわち、処理対象のフレームの画像内で認識されなかった対象物に関する情報を、登録情報（例：図３、図１０の情報）から削除してもよい。

　監視部１１は、例えば上述のような処理を繰り返す。

　なお、上記処理はあくまで一例であり、同様の結果を実現できればその他の処理を採用してもよい。例えば、Ｓ１１の処理では、画像処理で広く知られている対象追跡機能を利用して、前のフレームの画像に写る対象物を処理対象のフレームの画像内で認識してもよい。また、予め登録されている対象物の外観の特徴量を利用して、前のフレームで抽出されていない新たな対象物を処理対象のフレームの画像内で認識してもよい。

　図１に戻り、制御部１３は、自車両が所定の処理（例：減速、停止、後退、車線変更）を実行中に、当該処理の原因となった対象物及び状態のうち少なくとも一方を示す原因情報を、出力装置に出力させる。

　制御部１３は、登録情報（例：図３、図１０の情報）に基づき、処理の原因となった対象物及び状態を把握し、その内容を示す原因情報を出力することができる。例えば、図３に示す登録情報の場合、制御部１３は、状態の欄において、自車両に所定の処理（例：減速、停止、後退、車線変更）を実行させる状態であることを示されており、かつ、解除入力有無の欄において、解除入力を受付けていないことを示されている対象物を特定する。そして、特定した対象物及びその対象物の状態を、処理の原因として把握する。一方、図１０に示す登録情報の場合、制御部１３は、状態の欄において、自車両に所定の処理（例：減速、停止、後退、車線変更）を実行させる状態であることを示されている対象物を特定する。そして、特定した対象物及びその対象物の状態を、処理の原因として把握する。

　なお、予め、対象物の複数の状態各々と、各々を検出した際に実行される処理とが互いに対応付けられていてもよい。制御部１３は、例えば、このような対応情報に基づき、登録情報（例：図３、図１０の情報）に登録されている情報の中から、各処理の原因となった対象物及び状態を把握してもよい。

　例えば、「（対象物）歩行者：（状態）前方の横断歩道を横断予定」、「（対象物）歩行者：（状態）前方の横断歩道を横断中」に対応して、「減速」、「停止」等の処理が定められていてもよい。

また、「（対象物）前方車両：（状態）一時停車中」に対応して、「減速」、「停止」、「車線変更」、「前方車両追従」等の処理が定められていてもよい。また、「（対象物）前方車両：（状態）駐車中」に対応して、「減速」、「停止」、「車線変更」、「後退」等の処理が定められていてもよい。また、「（対象物）運転を阻害する障害物：（状態）停止中」に対応して、「減速」、「停止」、「車線変更」、「後退」等の処理が定められていてもよい。

　出力装置の例としては、車両に設置されたディスプレイ装置、ヘッドアップディスプレイ装置、ヘッドマウントディスプレイ装置、投影装置、スマートフォン、タブレット、スピーカ等が例示されるが、これらに限定されない。車載装置１０が、当該出力装置を有してもよい。その他、出力装置は、車載装置１０と物理的及び／又は論理的に分かれて構成されてもよい。出力装置と車載装置１０とが物理的及び／又は論理的に分かれて構成される場合、出力装置と車載装置１０は有線及び／又は無線で互いに通信可能に構成される。

　図４に、制御部１３による出力例を示す。図示する例では、制御部１３は、カメラが撮影したリアルタイムな画像に、原因情報を重畳した画像を出力させている。図中、左の方に位置する２人の歩行者に対応付けて示されている「停止理由１」、「停止理由２」が、原因情報である。原因情報の画像内の表示位置は、２人の歩行者（対象物）の画像内の位置（図３参照）に基づき決定される。

　図４に示す画像によれば、運転手は、横断歩道付近に位置する２人の歩行者の存在のため、自車両が減速、停止したことを把握できる。

　図５に、制御部１３による他の出力例を示す。図示する例では、制御部１３は、カメラが撮影したリアルタイムな画像に、原因情報を重畳した画像を出力させている。図中、自車両の前方に位置する車両に対応付けて示されている「停止理由１」が、原因情報である。なお、前方車両は、道路の脇に寄せて停車している。原因情報の画像内の表示位置は、前方車両（対象物）の画像内の位置（図３、図１０参照）に基づき決定される。

　図５に示す画像によれば、運転手は、自車両と同一レーンに位置し、停車している前方車両の存在のため、自車両が減速、停止したことを把握できる。

　他の出力例として、図６に示すように、制御部１３は、「停止している前方車両を検出したため、減速、停止します」等のテキスト情報を、出力装置に出力させてもよい。スピーカで当該文章を出力してもよい。この場合、図８に示すように、テキスト情報と原因となった対象物とを関連付ける表示を行ってもよい。また、図示してないが、処理の原因が複数存在する場合、複数の原因各々に対応するテキスト情報を、出力装置に出力させてもよい。

　なお、制御部１３は、原因に起因する処理を車両が実行する前に、上述のような情報を出力させてもよい。この場合、図９に示すように、「停止している前方車両を検出したため、○秒後に、減速、停止します」と、処理を予告するテキスト情報を出力させてもよい。このようにすれば、運転手等は心の準備を行うことができる。また、このような予告情報に基づき、当該原因に起因する処理を変更する入力を受付けることで、無駄な処理（例：停止、原則など）の実行を回避できる。この場合も、図８に示すように、テキスト情報と原因となった対象物とを関連付ける表示を行ってもよい。

　また、ヘッドアップディスプレイ装置を利用する場合、自車両のフロントガラスの所定位置に、上述のような原因情報を表示してもよい。すなわち、運転手からみて、フロントガラス越しに見える対象物（実物）各々に対応するフロントガラス上の位置（例：運転手の目の位置と対象物（実物）の位置とを結ぶ直線と、フロントガラスとの交点）に、各対象物に対応した原因情報を表示することができる。このような表示を実現する手段は、従来技術に基づき実現できる。

　図１に戻り、受付部１４は、制御部１３が出力する原因情報で示される原因に起因する処理を変更する入力を受付ける。例えば、当該原因に起因する処理を解除する入力や、当該原因となった対象物やその状態を変更する入力等を受付ける。受付部１４は、タッチパネルディスプレイ装置、操作ボタン、カメラ、マイク、視線検出装置等のあらゆる入力装置を介して、上記入力を受付けることができる。

　例えば、図４乃至図６、図８及び図９に示すような画像が、タッチパネルディスプレイ装置を介して出力されてもよい。そして、受付部１４は、当該タッチパネルディスプレイ装置を介して、例えば図４及び図５に示されている「停止理由１」、「停止理由２」等の文字や、当該文字に対応する対象物をタッチする入力を受付けてもよい。そして、受付部１４は、当該入力を、タッチされた原因に起因する処理の実行を解除する入力として受付けてもよい。当該入力に応じて、例えば、図３に示す登録情報が更新される。すなわち、タッチされた原因（所定の対象物の所定の状態）に対応して、解除入力有無の欄に解除されたことが登録される。

　その他、「停止理由１」、「停止理由２」等の文字や、当該文字に対応する対象物をタッチする入力に応じて、制御部１３は、「当該原因に起因する処理（減速、停止）の実行を解除しますか？Ｙｅｓ　ｏｒ　ＮＯ」等の案内を出力装置に出力させてもよい。そして、受付部１４は、当該案内に対する「Ｙｅｓ」の入力を、その原因に起因する処理の実行を解除する入力として受付けてもよい。当該入力に応じて、例えば、図３に示す登録情報が更新される。すなわち、タッチされた原因（所定の対象物の所定の状態）に対応して、解除入力有無の欄に解除されたことが登録される。

　その他、「停止理由１」、「停止理由２」等の文字や、当該文字に対応する対象物をタッチする入力に応じて、制御部１３は、「認識結果を変更しますか？Ｙｅｓ　ｏｒ　ＮＯ」等の案内を出力装置に出力させてもよい。そして、受付部１４が「Ｙｅｓ」の入力を受付けると、制御部１３は、認識結果を変更するための情報を出力装置に出力させてもよい。

　例えば、制御部１３は、現時点の認識結果を出力させてもよい。認識結果には、対象物の認識結果及び状態の認識結果が含まれてもよい。具体的には、「横断予定の歩行者」、「横断中の歩行者」、「一時停車車両」等が例示されるが、これらに限定されない。

　また、制御部１３は、変更後の認識結果の候補の一覧を出力させてもよい。例えば、現時点の認識結果が「横断予定の歩行者」、「横断中の歩行者」等の場合、「待機している歩行者」、「交通整理の人」等が、変更後の認識結果の候補の一覧として出力されてもよい。また、現時点の認識結果が「一時停車車両」の場合、「駐車車両」、「故障車両」等が、変更後の認識結果の候補の一覧として出力されてもよい。

　そして、受付部１４は、出力されている候補の一覧の中から、変更後の認識結果を受付けてもよい。当該入力に応じて、例えば、図３や図１０に示す登録情報が更新される。すなわち、タッチされた原因（所定の対象物の所定の状態）に対応して、対象物の欄の情報や、状態の欄の情報等が更新される。

　他の例として、制御部１３は、現時点の認識結果を出力させるとともに、「いずれの認識結果を変更しますか？対象物　ｏｒ　状態」等の案内を出力装置に出力させてもよい。そして、受付部１４が「対象物」の入力を受付けると、変更後の対象物の候補の一覧を出力させてもよい。例えば、現時点の認識結果が「歩行者」の場合、「銅像」、「人形」、「交通整理の人」等が、変更後の対象物の候補の一覧として出力されてもよい。また、現時点の認識結果が「運転を阻害する障害物」の場合、「踏んでも大丈夫な障害物」等が、変更後の対象物の候補の一覧として出力されてもよい。一方、受付部１４が「状態」の入力を受付けた場合、変更後の対象物の候補の一覧を出力させてもよい。例えば、現時点の認識結果が「横断予定」の場合、「待機中」等が、変更後の対象物の候補の一覧として出力されてもよい。

　また、図６に示されている画像の場合、受付部１４は、タッチパネルディスプレイ装置を介して、「停止している前方車両を検出したため、減速、停止します」の案内、又は、それに対応するエリア（例：当該文字を囲む四角が表示されているエリア）をタッチする入力を受付けてもよい。そして、受付部１４は、当該入力を、タッチされた原因に起因する処理の実行を解除する入力として受付けてもよい。その他、受付部１４は、当該入力に応じて、「当該原因に起因する処理（減速、停止）の実行を解除しますか？Ｙｅｓ　ｏｒ　ＮＯ」等の案内を出力装置に出力させてもよい。そして、当該案内に対する「Ｙｅｓ」の入力を、その原因に起因する処理の実行を解除する入力として受付けてもよい。その他、受付部１４は、上記と同様にして、認識結果を変更する入力を受付けてもよい。

　その他、受付部１４は、操作ボタン及び画像に表示されたカーソルを利用して画像上の所定エリアを選択する入力を受付けることで、上記タッチパネルディスプレイ装置を利用する例と同様の入力を受付けてもよい。

　その他、ヘッドアップディスプレイ装置を用いて原因情報をフロントガラスに表示している場合、受付部１４は、カメラで運転手の所定の動作（例：フロントガラスに表示された原因情報をタッチする動作等）を検出することで、上記変更の入力を受付けてもよい。

　その他、タッチパネルディスプレイ装置に抽象化した地図を表示し、自車位置、検出した対象物（例：人、他車両等）のアイコンを配置して、停止理由を表現してもよい。そして、受付部１４は、アイコンをタッチ等する操作により、上記と同様にして、その原因に起因した処理を変更する入力を受付けてもよい。

　その他、受付部１４はマイクを用いて搭乗者の音声を取得し、取得した音声を解析することで所定の音声を検出し（すなわち、発言内容を特定し）、上記変更の入力を受付けてもよい。例えば、「減速解除」や「歩行者は横断の意図なし」などの音声を検出する。

　その他、受付部１４は視線検出装置を用いて搭乗者の視線を検出することで、認識結果を変更する対象物を選択してもよい。この場合、視線の先の対象物が、認識結果を変更する対象物として選択されてもよい。尚、変更の選択は、別のデバイスを利用しても良いし、視線検出装置の瞬き検出結果などを用いてもよい。

　なお、制御部１３は、図４乃至図６、図８及び図９に示すように、処理（例：減速、停止）の実行の原因となった１つ又は複数の原因情報を出力装置に出力させることができる。処理（例：減速、停止）の実行の原因が複数ある場合、すべての原因情報を出力装置に出力させることができる。

　そして、受付部１４は、１つ又は複数の原因情報各々に対応して、各々に起因する処理（例：減速、停止）を変更する入力を受付けることができる。すなわち、受付部１４は、個別に、複数の原因各々に起因する処理（例：減速、停止）を変更する入力を受付けることができる。

　図１に戻り、生成部１２は、対象物の状態に応じた処理を自車両に実行させるための処理情報を生成する。また、生成部１２は、受付部１４の受付け結果に基づき、処理が変更された処理情報を生成することができる。出力部１５は、車両を制御する車両制御装置に、生成部１２が生成した処理情報を出力する。

　生成部１２は、登録情報（例：図３、図１０の情報）、及び、その他の各種情報に基づき、自車両の制御内容を決定する。そして、生成部１２は、決定した内容で自車両を制御するための処理情報を生成する。当該処理情報に応じて、例えば、自車両の操舵、ブレーキ、アクセル等の要素が制御される。

　上記その他の各種情報は、自車両の位置を示す情報、地図情報、目的地に到達するまでの経路を示す経路情報、カメラ、ライダー及びレーダ等に基づき検出した自車両の外部及び周辺の状況を示す外界情報、及び、自車両に搭載された各種センサからのセンサ情報（例：速度等）等が例示されるが、これらに限定されない。

　例えば、生成部１２は、登録情報（例：図３、図１０の情報）において、自車両に所定の処理を実行させる状態の対象物が少なくとも１つ登録されている場合、その処理を自車両に実行させることを決定してもよい。

　「自車両に所定の処理を実行させる状態の対象物」は、例えば、図３の登録情報の状態の欄において、自車両に所定の処理（例：減速、停止、後退、車線変更）を実行させる状態であることを示されており、かつ、解除入力有無の欄において、解除入力を受付けていないことを示されている対象物である。その他、例えば、図１０の登録情報の状態の欄において、自車両に所定の処理（例：減速、停止、後退、車線変更）を実行させる状態であることを示されている対象物である。

　上述の通り、予め、対象物の複数の状態各々と、各々を検出した際に実行される処理とが互いに対応付けられていてもよい。そして、生成部１２は、例えば、このような対応情報に基づき、登録情報（例：図３、図１０の情報）に登録されている情報の中から、所定の処理（例：減速、停止）を実行させる原因（対象物の状態）を特定してもよい。

　生成部１２は、例えば、自車両に減速、停止を実行させる状態となっている対象物が少なくとも１つ登録されている場合、自車両に減速、停止させる処理情報を生成する。そして、受付部１４による入力の受付けにより、自車両の減速、停止の原因がなくなると、生成部１２は、自車両の減速、停止の実行を停止させる。これに応じて、例えば、生成部１２は、自車両を発進させたり、加速させたりする処理情報を生成する。

　上述の通り、例えば、「（対象物）前方車両：（状態）一時停車中」に対応して「減速」、「停止」、「車線変更」、「前方車両追従」等の処理が定められるように、対象物と状態のペア１つに複数の処理が定められる場合がある。この場合、制御部１３は、例えば、自車両の状態（例：走行中、停止中）や自車両の周囲の状態（例：変更する車線があるか否か、他の車線が車線変更可能な状態か否か）等に基づき、いずれの処理を実行するかを決定してもよい。

　なお、受付部１４による入力の受付けがあった場合であっても、自車両の減速、停止のその他の原因（その他の対象物の所定の状態によるもの）が残っている場合、生成部１２は、自車両の減速、停止の実行を継続させる。

　ここで、本実施形態の変形例を説明する。

　監視部１１は、受付部１４により対象物（第１の対象物）の状態に起因する所定の処理（第１の処理）の実行を解除する入力が受付けられた後、その後のセンサの出力を用いて当該対象物（第１の対象物）を監視し、当該対象物（第１の対象物）による所定の動作を検出してもよい。そして、監視部１１は、当該所定の動作の検出に応じて、「所定の処理（第１の処理）の実行の解除」を解除する。例えば、監視部１１は、当該検出に応じて、当該対象物（第１の対象物）に対応した登録情報（例：図３）の解除入力有無の欄の内容を、解除入力を受付けていないことを示す内容に変更する。

　また、監視部１１は、受付部１４により認識結果を変更する入力が受付けられた後、その後のセンサの出力を用いて当該対象物（第１の対象物）を監視し、当該対象物（第１の対象物）による所定の動作を検出してもよい。そして、監視部１１は、当該所定の動作の検出に応じて、受付部１４による受付けにより変更された後の認識結果を、監視部１１が新たに認識した認識結果に変更してもよい。これに応じて、登録情報（例：図３、図１０の情報）の内容（例：対象物の欄、状態の欄）が更新されてもよい。

　検出する所定の動作は、対象物ごと、又は、対象物の状態毎に予め定められていてもよい。例えば、対象物が歩行者である場合、移動を所定の動作としてもよい。また、対象物が車両である場合、発進、ウインカーの点灯、ハザードランプの消灯等を、所定の動作としてもよい。また、対象物が横断歩道付近に立っている歩行者である場合、当該横断歩道に向かう移動を所定の動作としてもよい。なお、ここでの例示はあくまで一例であり、これらに限定されない。

　生成部１２は、更新後の登録情報（例：図３、図１０の情報）に基づき、自車両を制御することができる。第１の対象物の状態に起因する第１の処理の実行を解除（第１の解除）した後、当該第１の解除を解除する上記例の場合、生成部１２は、第１の解除の前は第１の対象物の状態を第１の処理の原因として処理し、第１の解除の後は第１の対象物の状態を第１の処理の原因として処理せず、第１の解除を解除した後は第１の対象物の状態を再び第１の処理の原因として処理することとなる。

　ここで、他の具体例を説明する。なお、当該具体例はあくまで一例であり、これらに限定されない。

＜具体例１＞
　例えば、細い路地を走行中、監視部１１は、前方の駐車車両を検出したとする。そして、生成部１２は、当該検出結果や自車両の周囲の状態（例：前方車両の幅、道幅、空いている幅等）等に基づき、後退して他の道を進むことを決定したとする（すなわち、前方車両を避けて前進するのは不可と判断）。かかる場合、制御部１３は、その旨を示す情報を出力させる。すなわち、前方の駐車車両の存在のため、後退して他の道を進むことを示す情報を出力させる。

　ここで、自車両の運転手は、前方の駐車車両の運転手が戻ってきたことを確認し、もうすぐ前に進めると判断したとする。すると、自車両の運転手は、表示されている原因（前方の駐車車両）に起因する処理（後退）を変更するための入力を行う。例えば、前方車両の状態の認識結果を、「駐車中」から「一時停車中」に変更する入力等を行う。すると、生成部１２は、変更後の内容に基づき自車両に実行させる処理を再決定する。例えば、認識結果を「駐車中」から「一時停車中」に変更したこと伴い、処理が「後退」から「前方車両追従」に変更されてもよい。

　＜具体例２＞
　例えば、走行中、監視部１１は、前方の停止している運転を阻害する障害物を検出したとする。そして、生成部１２は、当該検出結果や自車両の周囲の状態（例：変更する車線があるか否か、他の車線が車線変更可能な状態か否か）等に基づき、車線変更を決定したとする。かかる場合、制御部１３は、車線変更前にその旨を示す情報を出力させる。すなわち、前方の運転を阻害する障害物の存在のため、これから○秒後に車線変更する予告を出力させる。

　ここで、自車両の運転手は、前方の運転を阻害すると判断された障害物は踏んでも大丈夫な障害物であると判断したとする。すると、自車両の運転手は、表示されている原因（前方の停止している運転を阻害する障害物）に起因する処理（車線変更）を変更するための入力を行う。例えば、「運転を阻害する障害物」の認識結果を「踏んでも大丈夫な障害物」に変更する入力等を行う。すると、生成部１２は、変更後の内容に基づき自車両に実行させる処理を再決定する。例えば、対象物の認識結果を「運転を阻害する障害物」から「踏んでも大丈夫な障害物」に変更したことに伴い、「車線変更」が解除されてもよい。

　＜具体例３＞
　例えば、片道２車線以上の道路を走行中、監視部１１は、低速走行中の前方車両を検出したとする。そして、生成部１２は、当該検出結果や自車両の周囲の状態（例：変更する車線があるか否か、他の車線が車線変更可能な状態か否か）等に基づき、車線変更を決定したとする。かかる場合、制御部１３は、車線変更前にその旨を示す情報を出力させる。すなわち、低速走行中の前方車両の存在のため、これから○秒後に車線変更する予告を出力させる。

　ここで、自車両の運転手は、渋滞中であるため、車線変更しても特に効果なしと判断したとする。すると、自車両の運転手は、表示されている原因（低速走行中の前方車両）に起因する処理（車線変更）を変更するための入力を行う。例えば、その原因に起因した車線変更を解除する入力等を行う。すると、生成部１２は、入力された内容に基づき自車両に実行させる処理を再決定する。例えば、「車線変更」が中止され、「前方車両追従」等の他の処理が決定されてもよい。

　以上説明した本実施形態の車載装置１０によれば、自車両が実行中の処理の原因を出力することで、運転手に処理の原因を通知することができる。そして、通知した原因に起因する処理を変更するための入力をユーザから受付け、受付けた内容に基づき自動走行制御を継続することができる。

　このような本実施形態の車載装置によれば、制御の原因に問題（誤検知等）が存在し、その内容の制御が不要な場合や、コンピュータによる制御の内容と原因に問題はないが、コンピュータで認識できない何らかの理由により、その原因に基づくその制御が不要になった場合等においても、手動運転に切り替えさせることなく、所定の入力を行わせるのみで、自動走行制御による自車両の運行を継続できる。結果、自動走行制御時の運転手の負担を軽減することができる。

　また、本実施形態の車載装置によれば、複数の制御原因が存在する場合、個別に、それらに基づく処理を変更する入力を受付けることができる。複数の原因各々に基づく処理の変更の入力をまとめて受付けることができる場合、複数の原因の中に埋もれている変更してはいけない原因を見落とす等の人為的ミスが発生し得る。結果、事故を引き起こす等の不都合が発生し得る。複数の制御原因が存在する場合、個別に、それらに基づく処理の変更の入力を受付けることができる本実施形態の場合、このような不都合を軽減できる。

　また、本実施形態の車載装置１０によれば、変更の入力を受付けた後であっても、その原因に関連する対象物の監視を継続することができる。そして、その対象物が所定の動作を行った場合には、例えばユーザ入力に基づく解除（所定の原因に起因する所定の処理の実行の解除）を解除したり、コンピュータによる新たな認識結果に基づいた処理を行ったりできる。

　かかる場合、例えば、運転手と他者（例：歩行者、他の車両の運転手等）との間の伝達ミス等により、運転手が誤って所定の処理（例：減速、停止）の変更入力を行った場合であっても、対象物が所定の動作を行うことに応じて、解除された処理（例：減速、停止）を再び自車両に実行させることができる。結果、運転手の人為的ミスに起因する事故発生を抑制できる。すなわち、安全なシステムを実現できる。

　また、監視部１１はセンサの出力を用いて対象物の状態を監視し、当該対象物の所定の動作を検出した場合、対象物の状態に起因する所定の処理の実行を解除する入力の受付を停止してもよい。図１１を用いて、当該処理の流れを説明する。

　具体的には、監視部１１はセンサの出力を用いて対象物の状態を監視する（Ｓ２０）。そして、判断部が監視精度を判断する（Ｓ２１）。なお、図１において判断部は不図示であるが、車載装置１０は判断部を有してもよい。

　Ｓ２１における監視精度は、例えば、対象物の状態が、「歩行者が横断歩道を歩行している」、「歩行者が横断歩道を確実に横断しない」、「前方に停車中の車両が発車しない（停車中の車の撮像画像からハザードやウインカー等を検出することで判断が可能）」等、対象物の状態が明確であり、自車両の取るべき処理の実行が明らかである場合であるほど監視精度は高くなる。予め、「監視精度が高いもの」に分類される対象物の状態が登録されていてもよい。そして、判断部は、当該登録内容に基づき、監視部１１により認識された対象物の状態が「監視精度が高いもの」であるか否かを判断してもよい。

　監視精度が高ければ（Ｓ２２のＹｅｓ）、自車両の処理の実行は変更する必要がないものとし、受付部１４の受付を停止する（Ｓ２３）。監視精度が高いものでなければ（Ｓ２２のＮｏ）、自車両の処理の実行は変更可能とし、受付部１４の受付を継続する（Ｓ２４）。結果、確実に停車や減速を行わなければならない場面で、運転手の人為的ミスに起因する事故発生を抑制できる。また、確実に停車や減速を行う必要がない場面で、装置内の処理を軽減できる。

　また、上記の監視精度に替えて、対象物の状態ごとに予め危険度を設定した登録情報（図１２参照）に基づき、対象物の状態の監視結果の危険度を判断部が判断してもよい。危険度は、例えば危険度１乃至５のように数値で表されてもよいし、大、中、小等のようにその他の表現で示されてもよい。この場合、判断部が対象物の状態が所定レベル以上の危険度であると判断した場合は、自車両の処理の実行の変更は危険であるものとし、受付部１４の受付を停止する。

　ここで、図１３のフローチャートを用いて、当該例における車載装置１０の処理の流れの一例を説明する。監視部１１はセンサの出力を用いて対象物の状態を監視する（Ｓ３０）。そして、判断部が対象物の状態ごとに予め危険度を設定した登録情報に基づき、対象物の状態の危険度を判断する（Ｓ３２）。

　例えば、「歩行者が横断歩道を歩行している」等、処理の実行を解除したときに自車両の運転者や対象物に危害が及ぶ可能性が高い対象物の状態ほど、登録情報において高い危険度を設定されている。そして、「歩行者が横断歩道を横断する可能性がある」等、処理の実行を解除しても自車両の運転者や対象物に危害が及ぶ可能性が低い対象物の状態ほど、登録情報において低い危険度を設定されている。判断部は、当該登録情報に基づき、監視部１１により認識された対象物の状態が「危険度が高いもの」であるか否かを判断してもよい。

　対象物の状態の危険度が高ければ（Ｓ３２のＹｅｓ）、自車両の処理の実行の変更は危険であるものとし、受付部１４の受付を停止する（Ｓ３３）。対象物の状態の危険度が高いものでなければ（Ｓ３２のＮｏ）、自車両の処理の実行の変更は可能とし、受付部１４の受付を継続する（Ｓ３４）。結果、確実に停車や減速を行わなければならない場面で、運転手の人為的ミスに起因する事故発生を抑制できる。また、確実に停車や減速を行う必要がない場面で、装置内の処理を軽減できる。

　また、外部のサーバが複数の車両から「所定の処理の実行の解除」を解除したときの対象物の種別、対象物の状態、車両位置等を受信してもよい。この場合、外部のサーバは統計処理により「所定の処理の実行の解除」が解除される条件を推定する。外部のサーバは推定した条件に基づいた地図データの更新や、推定した条件の車両への配信を行う。条件が配信された車両の車載装置は、当該条件に合致する対象物を検知したときには、受付部１４は、「所定の処理（第１の処理）の実行の解除」の入力を受付けなくする。

　また、対象物の状態に起因する所定の処理の実行を解除する入力が可能な領域の表示を制御（強調表示、マーカの重畳表示、色の変更等）してもよい。

　また、無人タクシーや無人バス等の無人車両と、当該無人車両野の走行を監視する監視センターと、から構成される場合において、出力部及び入力部は監視センターに、それ以外は無人車両にそれぞれ配置する。この場合、監視センターの入力部から「原因に起因する処理を変更するための入力を受付ける。

　以上、図面を参照して実施形態及び実施例について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

　この出願は、２０１６年９月３０日に出願された日本出願特願２０１６－１９３９３２号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims

　車両に搭載されたセンサの出力に基づき、対象物の状態を監視する監視部と、
　前記状態に応じた処理を前記車両に実行させるための処理情報を生成する生成部と、
　前記処理の原因となった前記対象物及び前記状態のうち少なくとも一方を示す原因情報を出力装置に出力させる制御部と、
　前記原因情報で示される前記原因に起因する前記処理を変更するための入力を受付ける受付部と、
を有し、
　前記生成部は、前記受付部の受付け結果に基づき、前記処理が変更された処理情報を生成する車載装置。
　請求項１に記載の車載装置は、
　前記車両を制御する車両制御装置に前記処理情報を出力する出力部を更に備える車載装置。
　請求項１又は２に記載の車載装置において、
　前記制御部は、前記処理の原因となった１つ又は複数の前記原因情報を前記出力装置に出力させ、
　前記受付部は、１つ又は複数の前記原因情報各々に対応して、各々に起因する前記処理を変更する入力を受付ける車載装置。
　請求項１から３のいずれか１項に記載の車載装置において、
　前記処理は、前記車両の移動の停止であり、
　前記制御部は、前記車両の停止の原因となった１つ又は複数の前記原因情報を前記出力装置に出力させ、
　前記受付部は、１つ又は複数の前記原因情報各々に対応して、各々に起因する前記車両の停止を解除する入力を受付ける車載装置。
　請求項１から４のいずれか１項に記載の車載装置において、
　前記生成部は、
　　前記受付部により第１の前記対象物の状態に起因する第１の前記処理を解除する入力が受付けられたことで前記第１の処理の原因がなくなると、前記第１の処理の実行を停止させるための処理情報を生成する車載装置。
　請求項５に記載の車載装置において、
　前記生成部は、
　　前記受付部により前記第１の対象物の前記第１の状態に起因する前記第１の処理を解除する入力が受付けられた後に、前記監視部により前記第１の対象物の所定の動作が検出されると、前記第１の処理を再び前記車両に実行させるための処理情報を生成する車載装置。
　請求項１から４のいずれか１項に記載の車載装置において、
　前記生成部は、
　　前記受付部により第１の前記対象物の状態に起因する第１の前記処理を解除する入力が受付けられた場合であっても、前記第１の処理の原因としてその他の前記対象物の状態が残っている場合、前記第１の処理を継続させる処理情報を生成する車載装置。
　請求項７に記載の車載装置において、
　前記生成部は、
　　前記受付部により前記第１の対象物の状態に起因する前記第１の処理を解除する入力が受付けられた後に、前記監視部により前記第１の対象物の所定の動作が検出されると、前記第１の対象物の状態を再び前記第１の処理の原因とする処理情報を生成する車載装置。
　請求項１から８のいずれか１項に記載の車載装置において、
　前記受付部は、前記監視部により判断された前記対象物の状態を変更する入力を受付け、
　前記生成部は、前記対象物の状態の変更の入力に基づいて、前記処理が変更された処理情報を生成することを特徴とする車載装置。
　請求項１に記載の車載装置において、
　前記監視部の監視精度を判断する判断部を更に備え、
　前記受付部は、前記監視精度が高い場合に前記処理を変更するための入力の受付けを停止することを特徴とする車載装置。
　コンピュータが、
　車両に搭載されたセンサの出力に基づき、対象物の状態を判断する監視工程と、
　前記状態に応じた処理を前記車両に実行させるための処理情報を生成する生成工程と、
　前記処理の原因となった前記対象物及び前記状態のうち少なくとも一方を示す原因情報を出力装置に出力させる制御工程と、
　前記原因情報で示される前記原因に起因する前記処理を変更するための入力を受付ける受付工程と、
を実行し、
　前記生成工程では、前記受付工程の受付け結果に基づき、前記処理が変更された処理情報を生成する制御方法。
　コンピュータを、
　車両に搭載されたセンサの出力に基づき、対象物の状態を判断する監視手段、
　前記状態に応じた処理を前記車両に実行させるための処理情報を生成する生成手段、
　前記処理の原因となった前記対象物及び前記状態のうち少なくとも一方を示す原因情報を出力装置に出力させる制御手段、
　前記原因情報で示される前記原因に起因する前記処理を変更するための入力を受付ける受付手段、
として機能させ、
　前記生成手段は、前記受付手段の受付け結果に基づき、前記処理が変更された処理情報を生成するプログラム。