JP7030000B2 - 情報処理方法、情報処理システム、および、プログラム - Google Patents

Description

本開示は、自動運転する車両等の移動体と通信する情報処理方法、情報処理システム、および、プログラムに関する。

近年、自動運転する車両などの移動体（以下、自動運転車両と呼称する）に関する技術が発展しつつある。また、自動運転車両の運転制御に関する情報を、当該自動運転車両に搭乗している搭乗者に通知する技術がある（例えば、特許文献１および特許文献２参照）。

特許文献１には、自動運転車両の搭乗者の指示に基づいて、予め自動運転車両に定められた走行制御に関する設定情報と、当該自動運転車両の走行制御の内容などとを関連付けて当該搭乗者に提示する技術が開示されている。

また、特許文献２には、自動運転車両が実行可能な走行制御の内容などを当該自動運転車両の搭乗者に提示する技術が開示されている。

特開２０１７－１４４１１０号公報 特開２０１６－２１６０２９号公報

しかしながら、従来技術では、人は走行制御の内容を把握できるが、当該走行制御にいたるまでの車両による認識処理の内容を把握することが困難であった。例えば、自動運転車両の自動運転を評価する評価者が、予め定められた確認すべき項目を実際に自動運転車両が確認したか否かを把握することが出来ないという問題がある。

そこで、本開示は、車両の運転に関する認識処理が適切に行われているか否かを人が把握することができる情報処理方法を提供する。

本開示の一態様に係る情報処理方法は、プロセッサを用いて、車両についての所定イベントを検出するためのイベント関連情報を取得し、前記イベント関連情報を用いて前記所定イベントを検出したか否かを判定し、前記所定イベントを検出したと判定された場合、前記所定イベントに関連付けられた第１方向を示す方向情報を取得し、前記車両の外部に位置する物体の、前記車両による認識処理により得られる第１認識結果情報を取得し、前記第１認識結果情報に前記第１方向の物体認識結果が含まれるか否かを判定し、前記第１認識結果情報を用いて、前記第１方向に前記車両の走行に影響を与える可能性のある特定物体が存在するか否かを判定し、前記第１方向に前記特定物体が存在しないと判定された場合であって、且つ、前記第１認識結果情報に前記第１方向の物体認識結果が含まれると判定された場合、前記車両が前記第１方向を認識処理済みであることを示す処理済み情報を生成し、生成された前記処理済み情報を出力する。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

本開示の一態様に係る情報処理方法は、車両の運転に関する認識処理が適切に行われているか否かを人が把握することができる。

図１は、実施の形態における情報処理システムを含むシステムの構成を説明するための図である。 図２は、実施の形態における情報処理システムの機能構成を示すブロック図である。 図３は、実施の形態における情報処理システムと通信する自動運転車両の機能構成を示すブロック図である。 図４は、実施の形態における情報処理システムが実行する処理手順を示すフローチャートである。 図５は、実施の形態における情報処理システムと通信する自動運転車両が実行する処理手順を示すフローチャートである。 図６Ａは、実施の形態における情報処理システムと通信する自動運転車両を含む画像の一例を示す図である。 図６Ｂは、実施の形態における情報処理システムと通信する自動運転車両と、当該自動運転車両から物体までの距離の一例を説明するための図である。 図７は、イベント関連情報の一例を示す図である。 図８Ａは、地図情報および経路情報の一例を示す図である。 図８Ｂは、図８Ａに示す地図情報の各地点の説明をするための図である。 図９Ａは、実施の形態における情報処理システムに表示される画像の第１例を示す図である。 図９Ｂは、実施の形態における情報処理システムに表示される画像の第２例を示す図である。 図１０は、実施の形態における情報処理システムに表示される画像の第３例を示す図である。 図１１Ａは、実施の形態における情報処理システムに表示される障害物を強調する表示の第１例を示す図である。 図１１Ｂは、実施の形態における情報処理システムに表示される障害物を強調する表示の第２例を示す図である。 図１２は、実施の形態における情報処理システムに表示される画像の第４例を示す図である。 図１３は、実施の形態における情報処理システムに表示される画像の第５例を示す図である。

（本開示の基礎となった知見）
本開示者は、上述したように、先行技術について、以下の問題が生じることを見出した。

近年、車両などの移動体において、自動運転に関する技術がある。以下、自動運転する移動体を、自動運転車両と呼称する。

自動運転車両は、発進、停止、左折、右折などの走行制御をする際に、自動運転しない車両を運転する運転手などが実行する安全確認と同様に、自動運転車両の周囲の環境をカメラなどのセンサを用いて取得し、取得した情報を用いて、走行制御を行う。

ここで、自動運転車両に公道を走行させる前には、自動運転車両が安全に公道を走行できるか否かを評価することが必要になる。例えば、自動運転車両は、適切に自動運転することができるか否かを、予め評価者によって評価される。

そこで、自動運転車両が安全に走行できるか否かを評価するために、自動車教習所などの試験コースを自動運転させて、評価者が自動運転車両の自動運転を評価することが検討されている。

ここで、評価者が自動運転車両の自動運転を評価する場合、手動運転の走行を評価する場合と同様に評価できることが望まれる。

この際に、自動運転車両が適切に自動運転することができていたとしても、当該自動運転車両の周囲の環境などの予め定められた確認すべき項目を全て確認しているか否かは判定することができない。そのため、自動運転車両の周囲の環境などの予め定められた確認すべき項目を全て確認せずに自動運転を行っている可能性があるという問題がある。

そこで、評価者に自動運転車両が当該自動運転車両の周囲にある物体を認識した結果を、ディスプレイなどに表示させることが考えられる。しかし、自動運転車両の周囲にある物体の認識結果を全て表示させた場合、例えば、遠くに離れた場所にある物体、ガードレールなどの安全確認する必要のない静的物などまで表示されてしまう。こうすると、評価者は、自動運転車両が適切に安全確認している、つまり、適切に予め定められた確認すべき項目を全て確認しているかどうかを評価し難いという問題がある。

このような問題を解決するために、本開示の一態様に係る情報処理方法は、プロセッサを用いて、車両についての所定イベントを検出するためのイベント関連情報を取得し、前記イベント関連情報を用いて前記所定イベントを検出したか否かを判定し、前記所定イベントを検出したと判定された場合、前記所定イベントに関連付けられた第１方向を示す方向情報を取得し、前記車両の外部に位置する物体の、前記車両による認識処理により得られる第１認識結果情報を取得し、前記第１認識結果情報に前記第１方向の物体認識結果が含まれるか否かを判定し、前記第１認識結果情報を用いて、前記第１方向に前記車両の走行に影響を与える可能性のある特定物体が存在するか否かを判定し、前記第１方向に前記特定物体が存在しないと判定された場合であって、且つ、前記第１認識結果情報に前記第１方向の物体認識結果が含まれると判定された場合、前記車両が前記第１方向を認識処理済みであることを示す処理済み情報を生成し、生成された前記処理済み情報を出力する。

また、このような問題を解決するために、本開示の一態様に係るプログラムは、上記情報処理方法をコンピュータに実行させる。

このような方法によれば、車両の運転に関する認識処理が適切に行われているか否かを人が把握することができる。例えば、自動運転車両の自動運転が適切に行われているか否かを評価する評価者に、自動運転車両の運転に関する認識処理が適切に行われているか否かを判定して出力できる。これにより、評価者は、所定イベント毎に、通常の自動運転の走行制御に加え、さらに、安全確認が必要となる地点において、自動運転車両が適切に安全確認できているかをチェックできる。

また、このような方法によれば、所定イベント毎に、安全確認する方向が予め設定されているために、安全確認が特に必要となる方向に対して、自動運転車両によって安全確認がなされているどうかを適切に評価することができる。

また、自動運転の障害となる障害物などを含む特定物体が自動運転車両に認識されなかった場合であっても、その旨を示す情報を表示するために、評価者は、自動運転車両によって適切に安全確認がなされたか否かを把握することができる。つまり、評価者は、自動運転車両によって自動運転のための認識処理が適切に行われているか否かを簡便に把握することができる。

また、このような方法によれば、自動運転車両が自動運転の走行制御をする際に、所定イベントに対する判定に用いた情報のみを出力することとなるために、出力処理をするための処理量を削減することができる。そのため、当該出力処理を効率的に高速化できる。

例えば、本開示の一態様に係る情報処理方法は、さらに、前記第１方向に前記特定物体が存在すると判定された場合は、前記第１方向に前記特定物体を認識した旨を示す第１情報を含む前記処理済み情報を生成し、前記第１方向に前記特定物体が存在しないと判定された場合は、前記第１方向に前記特定物体を認識しなかった旨を示す第２情報を含む前記処理済み情報を生成してもよい。

このような方法によれば、自動運転車両によって自動運転のための認識処理が適切に行われているか否かをより適切に評価することができる。

また、例えば、前記第１認識結果情報は、前記車両から前記第１方向を含む所定の範囲を撮影することで得られる画像を前記認識処理することにより取得される情報でもよい。

つまり、このような方法は、例えば、公道などに設置されたカメラなどから情報を取得する自動運転のシステムではなく、自動運転車両に搭載されたカメラを用いて走行制御を行う自動運転車両に適用され得る。そのため、このような方法は、公道などに配置される装置ではなく、自動運転車両が備えるカメラなどの装置を用いて制御される自動運転車両に対して、特に有効である。

また、例えば、本開示の一態様に係る情報処理方法は、さらに、前記車両の舵角および車速の少なくとも一方を含む前記車両の走行情報を取得し、前記所定の範囲は、前記車両の前記走行情報に応じて決定されてもよい。

このような方法によれば、自動運転車両の走行状態に応じて、自動運転車両によって自動運転のための認識処理が適切に行われているか否かをより簡便に評価者に把握させることができる。

また、例えば、本開示の一態様に係る情報処理方法は、さらに、取得した前記車両の前記走行情報を前記処理済み情報とともに出力してもよい。

このような方法によれば、自動運転車両によって自動運転のための認識処理が適切に行われているか否かを、評価者により分かりやすく把握させることができる。

また、例えば、前記所定イベントが検出された場合、さらに、検出された当該所定イベントが検出されなくなるか、又は所定の時間が経過するまで繰り返し前記処理済み情報を出力してもよい。

このような方法によれば、評価者は、自動運転車両が走行制御を変更してから、変更した走行制御の状態を維持し続けている間、常に自動運転車両が自動運転のための認識処理をしているか否かを評価者に簡便に把握させることができる。

また、例えば、本開示の一態様に係る情報処理方法は、さらに、前記第１方向に前記特定物体が存在すると判定された場合、前記特定物体が原因で前記車両が走行の制御を決定又は変更したか否かを判定し、前記車両が走行の制御を決定又は変更したか否かの判定結果を含む前記第１情報を生成してもよい。

このような方法によれば、自動運転車両によって自動運転のための認識処理が適切に行われているか否かを、評価者により分かりやすく把握させることができる。

また、例えば、本開示の一態様に係る情報処理方法は、さらに、前記第１認識結果情報を用いて、前記第１方向とは異なる第２方向に、前記特定物体が存在するか否かを判定し、前記第２方向に前記特定物体が存在すると判定された場合、前記第２方向を示す情報を含む前記処理済み情報を生成してもよい。

自動運転の走行制御は、例えば、自動運転車両に最も近い特定物体などの、すぐに走行を停止する必要があるような、緊急性が高い情報から処理される。また、自動運転車両から離れた物体などの、すぐに走行を停止する必要がないような、緊急性が低い情報に関しても、走行制御に影響を及ぼす情報の処理は実行する。そこで、プロセッサは、緊急性が高い方向以外の他の方向に、自動運転車両の走行に影響を与える障害物などの特定物体が存在するか否かを判定し、走行の制御内容を変更する必要性のある情報も出力する。こうすることで、評価者は、自動運転車両によって自動運転の認識処理が適切に行われているか否かを、より適切に把握することができる。

また、例えば、本開示の一態様に係る情報処理方法は、さらに、前記車両に搭載される撮影装置によって前記第１方向を撮影されることで生成された画像を取得し、取得した前記画像を前記処理済み情報とともに、検出された前記所定イベントに応じた態様で出力してもよい。

このような方法によれば、自動運転車両によって処理されている情報を、より適切に評価者に把握させることができる。

また、例えば、本開示の一態様に係る情報処理方法は、さらに、前記第１認識結果情報に前記第１方向の物体認識結果が含まれていないと判定された場合、前記車両が前記第１方向を認識処理できていないことを示す未処理情報を生成し、生成された前記未処理情報を出力してもよい。

このような方法によれば、自動運転車両によって適切に自動運転されていないことを、適切に評価者に把握させることができる。

また、本開示の一態様に係る情報処理システムは、車両についての所定イベントを検出するためのイベント関連情報を取得し、前記イベント関連情報を用いて前記所定イベントを検出したか否かを判定するイベント判定部と、前記イベント判定部によって前記所定イベントを検出したと判定された場合、前記所定イベントに関連付けられた第１方向を示す方向情報を取得する方向情報取得部と、前記車両の外部に位置する物体の、前記車両による認識処理により得られる第１認識結果情報を取得する車両処理情報取得部と、前記第１認識結果情報に前記第１方向の物体認識結果含まれるか否かを判定し、前記第１認識結果情報を用いて、前記第１方向に前記車両の走行に影響を与える可能性のある特定物体が存在するか否かを判定する車両認識判定部と、前記車両認識判定部によって前記特定物体が存在しないと判定された場合であって、且つ、前記第１認識結果に前記第１方向の物体認識結果が含まれると判定された場合、前記車両が前記第１方向を認識処理済みであることを示す処理済み情報を生成する表示情報生成部と、前記表示情報生成部によって生成された前記処理済み情報を表示装置に表示させる表示制御部と、を備える。

このような構成によれば、車両の運転に関する認識処理が適切に行われているか否かを人が把握することができる。例えば、自動運転車両の自動運転が適切に行われているか否かを評価する評価者に、自動運転車両の運転に関する認識処理が適切に行われているか否かを判定して出力できる。これにより、評価者は、所定イベント毎に、通常の自動運転の走行制御に加え、さらに、安全確認が必要となる地点において、自動運転車両が適切に認識処理できているかをチェックできる。

また、このような構成によれば、所定イベント毎に、安全確認する方向（つまり、確認方向）が予め設定されているために、安全確認が特に必要となる方向に対して、自動運転車両によって認識処理がなされているどうかを適切に評価することができる。

また、自動運転の障害となる障害物などを含む特定物体が自動運転車両によって認識されなかった場合であっても、その旨を示す情報を表示するために、評価者は、自動運転車両によって適切に認識処理がなされたか否かを把握することができる。つまり、評価者は、自動運転車両によって自動運転のための認識処理が適切に行われているか否かを簡便に把握することができる。

また、このような構成によれば、自動運転車両が自動運転の走行制御をする際に、所定イベントに対する判定に用いた情報のみを出力することとなるために、出力処理をするための処理量を削減することができる。そのため、当該出力処理を効率的に高速化できる。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

以下、本開示の実施の形態について、図面を参照しながら具体的に説明する。

なお、以下で説明する実施の形態は、いずれも本開示包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（実施の形態）
［概要］
まず、本開示の実施の形態に係る情報処理システムの概要について説明する。

図１は、実施の形態における情報処理システムを含むシステムの構成を説明するための図である。

図１には、自動運転車両２と、自動運転車両２と無線通信する端末１と、端末１を操作するユーザＵとを図示している。

端末１は、本開示の実施の形態に係る情報処理システムの一例であり、自動運転車両２と通信して、自動運転車両２から、自動運転車両の走行制御に関する情報などを受信する通信装置である。

自動運転車両２は、予め任意に定められた制御プログラムに基づいて自律的に運転する、つまり、自動運転する移動体である。図１には、自動運転車両２に一例として、自動車（つまり、車両）を例示している。なお、自動運転車両２は、自動運転する移動体であればよく、バイク、３輪自動車など、特に限定されない。

ユーザＵは、自動運転車両２が適切に自動運転できているか否かを、端末１を用いて評価する評価者である。例えば、ユーザＵは、自動運転車両２に搭乗して、自動運転車両２の動作を評価する。

なお、図１には、自動運転車両２と端末１とは、別体として図示しているが、ユーザＵが自動運転車両２に搭乗して自動運転車両２の動作を評価する場合、自動運転車両２と端末１とは一体的に形成されていてもよい。例えば、端末１は、有線通信するように通信線で自動運転車両２と接続され、自動運転車両２内に配置されていてもよい。また、ユーザＵは、自動運転車両２に搭乗しなくてもよい。

なお、以下の説明では、本開示の実施の形態に係る情報処理システムを端末１として説明する。また、以下の説明では、ユーザＵが端末１を持って、自動運転車両２内で利用する場合について説明する。

［構成］
続いて、本開示の実施の形態に係る端末１の構成について説明する。

図２は、実施の形態における情報処理システムの一例である端末１の機能構成を示すブロック図である。

端末１は、自動運転車両２が適切に自動運転できているか否かを評価するために用いる通信装置である。端末１は、例えば、スマートフォン、タブレット端末などの自動運転車両２と通信可能な通信装置である。なお、端末１は、本開示の実施の形態に係る情報処理システムを実現するための専用のコンピュータ、または、サーバ装置であってもよい。その場合、端末１の表示部１２及び位置測定部１３はユーザＵが有する端末に備えられ、端末１とユーザＵが有する端末とは通信を介して互いにデータを送受信する。

端末１は、通信部１１と、表示部１２と、位置測定部１３と、制御部１４と、記憶部１５と、を備える。

通信部１１は、自動運転車両２と通信する通信アダプタなどの通信インターフェースである。

表示部１２は、自動運転車両２から受信した情報、制御部１４が生成した画像などを表示する。表示部１２は、例えば、ディスプレイであり、本実施の形態においては、タッチパネルディスプレイである。

位置測定部１３は、端末１の位置を測定する。位置測定部１３は、例えば、ＧＰＳ（Ｇｒｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機などにより実現され、端末１の位置情報を取得する。

制御部１４は、自動運転車両２から受信した情報に基づいて、ユーザＵに自動運転車両２が適切に自動運転できているか否かを評価させるための情報を生成して表示部１２へ出力する。制御部１４は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により実現される。制御部１４は、機能的には、通信制御部１４１と、表示情報生成部１４２と、表示制御部１４３と、車両処理情報取得部１４４と、車両認識判定部１４５と、イベント判定部１４６と、方向情報取得部１４７と、を備える。

通信制御部１４１は、通信部１１を制御することで、端末１と自動運転車両２との通信を制御する。

イベント判定部１４６は、自動運転車両２についての所定イベントを検出するためのイベント関連情報１５２を取得し、取得したイベント関連情報１５２を用いて所定イベントを検出したか否かを判定する。具体的には、イベント判定部１４６は、イベント関連情報１５２を用いて、自動運転車両２に所定イベントが発生したか否かを判定する。イベント判定部１４６は、例えば、位置測定部１３が測定した位置と、イベント関連情報１５２と、地図情報１５３又は経路情報とから、自動運転車両２に所定イベントが発生したか否かを判定する。ここで、所定イベントとは、自動運転車両２の動作又は自動運転車両２の位置に関するイベントである。具体的には、所定イベントは、後述する図７に示すような、自動運転車両２が走行制御を変更すること又は自動運転車両２が所定の場所へ移動することである。例えば、自動運転車両２が走行制御を変更することとは、発進、停止、右折、左折などを含み、自動運転車両２が所定の場所へ移動することは、交差点への進入などを含む。

方向情報取得部１４７は、イベント判定部１４６が、自動運転車両２に所定イベントが発生したと判定した場合、つまり、所定イベントを検出した場合に、イベント関連情報１５２を用いて、検出した所定イベントに関連付けられた確認方向を示す方向情報を取得する。なお、確認方向は、第１方向の一例である。

車両処理情報取得部１４４は、通信部１１が自動運転車両２から受信した情報を取得する。具体的には、車両処理情報取得部１４４は、自動運転車両２の外部に位置する物体の、自動運転車両２による認識処理により得られる認識結果情報（第１認識結果情報）を取得する。認識結果情報は、物体認識処理が行われたか否かを判定することができる情報である。具体的には、認識結果情報は、物体認識処理の実行有無、物体認識処理の成否、又は認識した物体の情報の有無などである。認識した物体の情報としては、物体の種別、物体の形状若しくは物体を囲む矩形、又は撮影部２２（図３参照）若しくは自動運転車両２から物体までの方向若しくは距離などがある。認識結果情報は、例えば、自動運転車両２から確認方向を含む所定の範囲を撮影することで得られる撮影情報（つまり、画像）を、自動運転車両２が認識処理することにより取得される情報である。このような構成によれは、例えば、公道などに設置されたカメラなどから情報を取得する自動運転のシステムではなく、自動運転車両に搭載されたカメラを用いて走行制御を行う自動運転車両に適用され得る。

例えば、所定の範囲は、自動運転車両２の舵角および車速の少なくとも一方を含む自動運転車両２の走行情報を取得し、取得した走行情報に応じて決定されてもよい。このような方法によれば、自動運転車両２の走行状態に応じて、自動運転車両２によって自動運転のための認識処理が適切に行われているか否かをより簡便にユーザＵに把握させることができる。

例えば、イベント判定部１４６は、所定イベントを検出した場合、自動運転車両２へ、車速を含む走行情報を要求する信号を、通信部１１を介して送信する。また、イベント判定部１４６は、自動運転車両２から受信した走行情報に含まれる車速に基づいて、所定の範囲を決定して、決定した所定の範囲を含む確認方向の撮影情報を要求する信号を、自動運転車両２へ送信する。

車両認識判定部１４５は、車両処理情報取得部１４４によって取得された認識結果情報を用いて、確認方向について自動運転車両２により行われる認識処理を判定する。具体的には、車両認識判定部１４５は、車両処理情報取得部１４４が取得した認識結果情報に確認方向の物体認識結果が含まれるか否かを判定する。例えば、車両認識判定部１４５は、物体認識処理が確認方向において実行されたか否か、物体認識処理が確認方向において正常に実行されたか否か、又は認識した物体の情報が確認方向に対応する認識処理範囲に存在するか否か、を判定する。例えば、車両認識判定部１４５は、認識処理が画像認識処理である場合、物体認識処理の動作ログから確認方向に対応する画像上の範囲についての処理の実行有無を判定してもよい。また、車両認識判定部１４５は、確認方向に対応する画像上の範囲内に認識に失敗した領域が存在するか否かを判定してもよい。また、車両認識判定部１４５は、確認方向に対応する画像上の範囲内に位置している認識された物体を囲む矩形が存在するか否かを判定してもよい。

また、車両認識判定部１４５は、認識結果情報を用いて、確認方向に自動運転車両２の走行に影響を与える可能性のある特定物体が存在するか否かを判定する。具体的には、車両認識判定部１４５は、特定物体の認識について学習した機械学習モデルを用いて、確認方向に特定物体が存在するか否かを判定する。例えば、機械学習モデルは、ディープラーニングなどのニューラルネットワークを用いた学習モデルであってよく、辞書などのルール情報を用いた学習モデルであってもよい。また、車両認識判定部１４５は、特定物体以外の物体を含む一般的な物体の認識について学習した機械学習モデルを用いて、確認方向に物体が存在するか否かを判定し、後述する特定物体情報１５４を用いて、存在すると判定された物体が特定物体であるか否かを判定してもよい。以下では、この方式を用いて車両認識判定部１４５の処理が行われる例を説明する。ここで、特定物体は、任意に定められてよく、例えば、歩行者、対向車など、運転の障害となる可能性のある障害物であってもよく、信号機などの安全に走行するために確認すべき対象であってもよい。

表示情報生成部１４２は、表示部１２に表示させる情報を生成する。表示情報生成部１４２は、例えば、車両認識判定部１４５によって確認方向に特定物体が存在しないと判定された場合であって、且つ、認識結果情報に確認方向の物体認識結果が含まれると判定された場合、自動運転車両２が確認方向を認識処理済みであることを示す処理済み情報を生成する。

表示制御部１４３は、表示情報生成部１４２が生成した処理済み情報（具体的には、画像）を表示部１２へ出力して、表示部１２に当該情報を表示させる。表示制御部１４３は、例えば、表示情報生成部１４２によって生成された処理済み情報を表示部１２へ出力する。ユーザＵは、表示部１２に表示された処理済み情報を確認することで、自動運転車両２が適切に自動運転のための認識処理を行っているか否かを評価する。

また、例えば、イベント判定部１４６が自動運転車両２の走行情報を取得している場合、走行情報を表示部１２へ出力して、表示部１２に表示させてもよい。このような方法によれば、自動運転車両２によって自動運転のための認識処理が適切に行われているか否かを、ユーザＵにより分かりやすく把握させることができる。

また、例えば、表示制御部１４３は、イベント判定部１４６によって所定イベントが検出された場合、さらに、検出された当該所定イベントが検出されなくなるまで繰り返し処理済み情報を表示部１２へ出力し続け、表示部１２に当該処理済み情報を表示させ続けてもよい。例えば、表示制御部１４３は、自動運転車両２が左折する場合、左折し始めてから、つまり、イベント判定部１４６が所定イベントを検出してから、左折が終了するまで、つまり、イベント判定部１４６が当該所定イベントを検出しなくなるまで、処理済み情報を表示部１２へ出力し続ける。例えば、イベント判定部１４６は、所定イベントが終了したことを、位置測定部１３が測定した位置情報に基づいて判定してもよいし、自動運転車両２が走行を開始してからの走行距離、または、走行時間が所定の閾値を満たしたか否かにより判定してもよい。これにより、ユーザＵは、自動運転車両２が走行制御を変更してから、変更した走行制御の状態を維持し続けている間、常に自動運転車両２が自動運転のための認識処理をしているか否かをユーザＵに簡便に把握させることができる。

なお、表示情報生成部１４２は、さらに、確認方向に特定物体が存在すると車両認識判定部１４５によって判定された場合は、確認方向に特定物体を認識した旨を示す第１情報を含む処理済み情報を生成してもよい。一方、表示情報生成部１４２は、確認方向に特定物体が存在しないと判定された場合は、確認方向に特定物体を認識しなかった旨を示す第２情報を含む処理済み情報を生成してもよい。このように、表示情報生成部１４２は、特定物体の有無によって、異なる情報を生成して、生成した情報を、表示制御部１４３を用いて表示部１２に表示させる。こうすることで、自動運転車両２によって自動運転のための認識処理が適切に行われているか否かをより適切に評価することができる。

また、イベント判定部１４６は、車両認識判定部１４５によって確認方向に特定物体が存在すると判定された場合、特定物体が原因で自動運転車両２が走行の制御を決定又は変更したか否かを判定してもよい。例えば、イベント判定部１４６は、所定イベントを検出した場合、自動運転車両２へ、走行情報を要求する信号を、通信部１１を介して送信する。また、イベント判定部１４６は、自動運転車両２から受信した走行情報とイベント関連情報１５２とに基づいて、自動運転車両２がイベント関連情報１５２に基づく走行を実行しているか否かを判定する。この場合、表示情報生成部１４２は、自動運転車両２が走行の制御を、イベント関連情報１５２に基づく走行の制御内容から変更したか否かの判定結果を含む情報を生成し、表示部１２に表示させる。これにより、自動運転車両２によって自動運転のための認識処理が適切に行われているか否かを、ユーザＵにより分かりやすく把握させることができる。

なお、自動運転車両２は、イベント関連情報１５２に基づく確認方向の撮影のみではなく、自動運転車両２の周囲の複数の方向を撮影している場合がある。また、複数の方向のそれぞれの方向に対して撮影して生成した画像に関して、物体の認識処理を実行している場合がある。この場合、端末１は、確認方向とは異なる方向が撮影された画像を受信してもよい。この場合、例えば、車両処理情報取得部１４４は、さらに、確認方向とは異なる方向（第２方向）における、自動運転車両の外部に位置する、自動運転車両２による物体の認識処理により得られる認識結果情報（第２認識結果情報）を取得してもよい。また、車両認識判定部１４５は、第２認識結果情報を用いて、第２方向について自動運転車両２により行われる認識処理を判定してもよい。また、表示情報生成部１４２は、第２方向に障害物が存在すると車両認識判定部１４５によって判定された場合、当該障害物が存在する第２方向を示す情報を含む処理済み情報を生成してもよい。表示制御部１４３は、表示情報生成部１４２が生成した処理済み情報を、表示部１２に表示させてもよい。なお、上述の複数の方向は１つの画像上に含まれていてもよい。例えば、確認方向と第２方向とは同一画像上における異なる方向であってよい。また、認識処理の入力となる画像は、全天球カメラなどの撮影視野が広いカメラの撮影により得られるパノラマ画像であってもよい。

自動運転車両２の自動運転の走行制御は、例えば、自動運転車両２に最も近い特定物体などの、すぐに走行を停止する必要があるような、緊急性が高い情報から処理される。また、自動運転車両２から離れた物体などの、すぐに走行を停止する必要がないような、緊急性が低い情報に関しても、走行制御に影響を及ぼす情報の処理は実行する。そこで、緊急性が高い方向以外の他の方向に、自動運転車両２の走行に影響を与える障害物などの特定物体が存在するか否かを判定し、走行の制御内容を変更する必要性のある情報も出力する。こうすることで、ユーザＵは、自動運転車両２によって自動運転の認識処理が適切に行われているか否かを、より適切に把握することができる。

また、自動運転車両２は、同一の方向（例えば、確認方向）を、異なる位置から撮影する場合がある。例えば、自動運転車両２には、自動運転車両２の進行方向側と、当該進行方向とは反対側の後方側とのそれぞれにカメラが取り付けられる場合がある。このような場合に、自動運転車両２は、例えば、自動運転車両２の左方向を撮影する場合、進行方向側と後方側とにそれぞれ取付けられたカメラで左方向を撮影する場合がある。このような場合、表示情報生成部１４２は、認識結果情報に基づいて、複数のカメラから得られる画像から選択された少なくとも１つの画像を処理済み情報とともに表示制御部１４３に提供してよい。つまり、車両処理情報取得部１４４は、自動運転車両２によって複数の位置から確認方向を撮影されることで生成された複数の画像を取得してもよい。この場合、表示情報生成部１４２は、認識結果情報に基づいて、車両処理情報取得部１４４によって取得された複数の画像から選択された少なくとも１つの画像を、生成した処理済み情報とともに表示制御部１４３に表示部１２へ出力させてもよい。表示情報生成部１４２は、例えば、認識結果情報に基づいて、複数の画像のうち認識された物体が含まれる画像を処理済み情報とともに表示制御部１４３に出力してもよい。表示制御部１４３は、表示情報生成部１４２が生成した処理済み情報及び画像を、表示部１２に表示させてもよい。

また、表示制御部１４３は、表示情報生成部１４２から得た処理済み情報及び画像を、所定イベントに応じた態様で表示部１２に表示させてもよい。例えば、表示制御部１４３は、左折が検出された場合は、自動運転車両２を俯瞰するような態様で表示部１２に画像及び処理済み情報を表示させてもよい。また、表示制御部１４３は、交差点進入が検出された場合は、自動運転車両２の中から見たような態様で表示部１２に画像及び処理済み情報を表示させてもよい。これにより、自動運転車両２によって処理されている情報を、より適切にユーザＵに把握させることができる。

記憶部１５は、制御部１４が実行する制御プログラム、自動運転車両２から受信した情報などを記憶する記憶媒体である。記憶部１５は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリなどにより実現されるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの記憶媒体である。

記憶部１５には、自動運転評価プログラム１５１と、イベント関連情報１５２と、地図情報１５３と、特定物体情報１５４とが記憶されている。

自動運転評価プログラム１５１は、制御部１４が実行する、自動運転車両２が適切に自動運転できているか否かを判定するための制御プログラムである。

イベント関連情報１５２は、自動運転車両２が、所定イベントの種別と、当該所定イベントに対する確認方向とが関連付けられた情報である。なお、イベント関連情報１５２の詳細については、後述する。

地図情報１５３は、自動運転車両２が走行する道路、信号機、標識などの情報が含まれている地図を示す情報である。

特定物体情報１５４は、特定物体である物体を示す情報である。特定物体情報１５４には、例えば、歩行者、自転車などが含まれる。なお、特定物体情報１５４には、特定物体でない物体を示す情報が含まれてもよい。例えば、特定物体情報１５４には、ガードレールなどが特定物体でない物体として含まれてよい。

なお、特定物体情報１５４には、物体の態様が付属していてもよい。例えば、「歩行者」であっても、例えば、自動運転車両２に向かって歩行している場合と、立ち止まっている場合とで、特定物体として判定するか否かが異なっていてもよい。この場合、特定物体情報１５４は、「移動している」＋「歩行者」、「顔の向きが正面である」＋「歩行者」、又は「移動している」＋「顔の向きが正面である」＋「歩行者」などであってよい。また、同じ物体であっても、自動運転車両２と物体との距離に基づいて、特定物体であるか否かの判定は異なってもよい。例えば、物体は、任意に定められる基準距離よりも近い場合は特定物体であると判定され、当該基準距離よりも遠い場合は特定物体ではないと判定されてもよい。この場合、特定物体情報１５４は、「基準距離よりも近い」＋「歩行者」などであってよい。このように、特定物体情報１５４は、任意に定められてよい。

図３は、実施の形態における情報処理システムの一例である端末１と通信する自動運転車両２の機能構成を示すブロック図である。

自動運転車両２は、制御プログラムに基づいて自律的に運転（つまり、走行制御）を行う移動体である。自動運転車両２は、例えば、車両である。また、自動運転車両２が行う自動運転は、人が運転しない完全自動運転であってもよく、運転の一部を人が行う自動運転であってもよい。

自動運転車両２は、通信部２１と、撮影部２２と、位置測定部２３と、その他のセンサ２４と、駆動部２５と、制御部２６と、記憶部２７と、を備える。

通信部２１は、端末１と通信する通信アダプタなどの通信インターフェースである。

撮影部２２は、自動運転車両２の外部を撮影するためのカメラである。撮影部２２は、自動運転車両２の外部の全方向を撮影可能に可動な１つのカメラでもよいし、自動運転車両２の前後左右の１方向をそれぞれ撮像する複数のカメラでもよい。

位置測定部２３は、自動運転車両２の位置を測定する。位置測定部２３は、例えば、ＧＰＳ、及びＬＩＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）又はミリ波レーダなどの測距センサなどにより実現され、自動運転車両２および自動運転車両２からの距離が所定の範囲内に位置する物体の位置情報を取得する。さらに、位置測定部２３は、自動運転車両２と自動運転車両２の周囲に位置する物体との距離を測定してもよい。

その他のセンサ２４は、自動運転車両２の操舵角、車速などの走行状態を測定する各種センサである。その他のセンサ２４は、例えば、舵角センサ、速度センサなどにより実現される。

駆動部２５は、自動運転車両２の駆動に関するエンジン、バッテリ、ドライブトレーンなどの各種装置である。

制御部２６は、撮影部２２が撮影することで取得した情報、位置測定部２３が取得した情報、記憶部２７に記憶されている地図情報２７１および経路情報２７３に基づいて、駆動部２５を制御することで自動運転車両２の走行を制御する制御装置である。制御部２６は、例えば、ＣＰＵにより実現される。制御部２６は、機能的には、通信制御部２６１と、走行制御部２６２と、物体認識部２６３と、撮影情報取得部２６４と、認識物体情報取得部２６５と、を備える。

通信制御部２６１は、通信部２１を制御することで、端末１と自動運転車両２との通信を制御する。

走行制御部２６２は、地図情報２７１、経路情報２７３、及び物体認識部２６３から得られる認識結果情報に基づいて駆動部２５を制御することで、自動運転車両２の走行を制御する。

撮影情報取得部２６４は、撮影部２２を制御することで、自動運転車両２の外部の画像を撮影情報として取得する。

物体認識部２６３は、撮影情報取得部２６４が取得した撮影情報である画像を、物体認識プログラム２７４に基づいて解析することで、当該画像に含まれている物体を認識する。物体認識部２６３は、認識した物体の情報などの認識結果情報を生成する。生成された認識結果情報は、記憶部２７に記憶される。

認識物体情報取得部２６５は、物体認識部２６３により生成された認識結果情報を、通信部２１を介して端末１へ送信する。例えば、認識物体情報取得部２６５は、端末１から認識結果情報の要求が受信されると、記憶部２７から認識結果情報を取得し、通信制御部２６１に提供する。認識結果情報は、通信制御部２６１及び通信部２１を介して端末１へ送信される。

記憶部２７は、制御部２６が実行する制御プログラム、端末１から受信した情報などを記憶する記憶媒体である。記憶部２７は、例えば、ＨＤＤ、フラッシュメモリなどにより実現されるＲＯＭ、ＲＡＭなどの記憶媒体である。

記憶部２７には、地図情報２７１と、自動運転プログラム２７２と、経路情報２７３と、物体認識プログラム２７４とが記憶されている。

地図情報２７１は、自動運転車両２の走行制御に用いられる地図情報である。地図情報２７１は、例えば、図２に示す地図情報１５３と同様の情報を含んでもよい。

自動運転プログラム２７２は、走行制御部２６２が実行するプログラムであり、自動運転車両２の自動運転を制御するための制御プログラムである。

経路情報２７３は、自動運転車両２が走行する走行経路を示す情報である。

物体認識プログラム２７４は、物体認識部２６３が実行するプログラムであり、物体を認識するための制御プログラムである。

［処理手順］
続いて、本開示の実施の形態に係る端末１および自動運転車両２の処理手順について説明する。

なお、以下では、本開示の実施の形態に係る端末１の処理手順について説明する。

図４は、本開示の実施の形態における端末１が実行する処理手順を示すフローチャートである。

まず、ユーザＵは、端末１を携帯して、自動運転車両２に搭乗する。自動運転車両２は、自動運転を開始する。

ここで、端末１は、例えば、位置測定部１３が取得した端末１の位置情報と、地図情報１５３又は経路情報と、イベント関連情報１５２とに基づいて、所定イベントを検出する（ステップＳ１）。具体的には、ステップＳ１では、端末１は、位置測定部１３が取得した端末１の位置情報が示す位置の種別を地図情報１５３から取得し、取得された位置の種別がイベント関連情報１５２に示される位置の種別と合致するか否かを判定する。また、端末１は、経路情報の示す経路における位置測定部１３が取得した端末１の位置情報が示す位置以降の経路から自動運転車両２の走行制御の変更を判定し、判定された変更後の走行制御がイベント関連情報１５２に示される走行制御と合致するか否かを判定する。

なお、自動運転車両２の走行する経路が予め決定された固定ルートである場合は、走行距離から所定イベントのタイミングを判定することができるため、端末１は、例えば、位置測定部１３が取得した端末１の位置情報に基づいて、自動運転車両２の走行距離を算出し、算出した走行距離から、所定イベントが発生したか否かを判定してもよい。

次に、端末１は、イベント関連情報１５２から、ステップＳ１で検知した所定イベントに関連付けられた確認方向を取得する（ステップＳ２）。

次に、端末１は、自動運転車両２に確認方向を含む撮影情報と認識結果情報とを要求する信号を送信する（ステップＳ３）。なお、確認方向が含まれる撮影情報が取得できれば、自動運転車両２への要求は、撮影情報を、確認方向を含む撮影情報として指定する要求でなく、単なる撮影情報の要求であってもよい。

次に、端末１は、自動運転車両２から撮影情報と認識結果情報とを受信し、受信した認識結果情報に、確認方向の物体認識結果が含まれているか否かを判定する（ステップＳ４）。

端末１は、自動運転車両２から受信した認識結果情報に、確認方向の物体認識結果が含まれていると判定した場合（ステップＳ４でＹｅｓ）、受信した認識結果情報を用いて、確認方向に特定物体が存在するか否かを判定する（ステップＳ５）。

端末１は、特定物体が存在すると判定した場合（ステップＳ５でＹｅｓ）、撮影情報に特定物体を強調する強調情報を付加する（ステップＳ６）。

次に、端末１は、強調情報が付加された撮影情報と、確認方向に特定物体がある旨を示す情報（第１情報）すなわち処理済み情報とを含む表示情報を生成する（ステップＳ７）。

一方、端末１は、自動運転車両２から受信した情報に、確認方向の認識結果情報が含まれていないと判定した場合（ステップＳ４でＮｏ）、撮影情報と、自動運転車両２において確認方向を認識処理できていないことを示す未処理情報とを含む表示情報を生成する（ステップＳ８）。このような方法によれば、自動運転車両２によって適切に自動運転されていないことを、適切にユーザＵに把握させることができる。

また、端末１は、特定物体が存在しないと判定した場合（ステップＳ５でＮｏ）、撮影情報と、確認方向に障害物がない旨を示す情報（第２情報）すなわち処理済み情報とを含む表示情報を生成する（ステップＳ９）。

端末１は、ステップＳ７、ステップＳ８またはステップＳ９の次に、ユーザＵが、自動運転車両２が適切に認識処理をできているか否かの評価結果を入力するためのチェックボックスを表示情報に付与する（ステップＳ１０）。

次に、端末１は、ステップＳ１０で生成した表示情報を出力する（ステップＳ１１）。

以上のような方法によれば、自動運転車両２の自動運転するための認識処理が適切に行われているか否かを評価するユーザＵに、自動運転車両２の自動運転するための認識処理が適切に行われているか否かを出力できる。そのため、以上のような方法によれば、自動運転車両２の運転に関する認識処理が適切に行われているか否かをユーザが把握することができる。

図５は、実施の形態における情報処理システムの一例である端末１と通信する自動運転車両２が実行する処理手順を示すフローチャートである。

まず、ユーザＵは、端末１を携帯して、自動運転車両２に搭乗する。自動運転車両２は、自動運転を開始する。

自動運転車両２は、端末１から確認方向の撮影情報と、認識結果情報との要求を示す信号を受信したとする（ステップＳ２１）。つまり、ステップＳ２１は、図４に示すステップＳ３の次に行われるステップである。

次に、自動運転車両２は、確認方向の撮影情報を取得する（ステップＳ２２）。具体的には、自動運転車両２は、確認方向を撮影している撮影部２２を動作させて画像を撮影情報として取得する。

次に、自動運転車両２は、ステップＳ２２で取得した撮影情報を用いて（具体的には、撮影情報を用いて認識処理を行うことで）、撮影情報に含まれる物体を示す情報である認識結果情報を取得する（ステップＳ２３）。

次に、自動運転車両２は、ステップＳ２２で取得した撮影情報と、ステップＳ２３で取得した認識結果情報とを端末１に送信する（ステップＳ２４）。なお、撮影情報及び認識結果情報は要求の有無に関わらず、自動運転車両２の自動運転において取得されているので、要求に応じて既に取得済みの撮影情報及び認識結果情報が送信されてもよい。

ステップＳ２４の次に、端末１は、図４に示すステップＳ４を実行する。

図６Ａは、実施の形態における情報処理システムの一例である端末１と通信する自動運転車両２を含む撮影情報である画像の一例を示す図である。図６Ｂは、実施の形態における情報処理システムの一例である端末１と通信する自動運転車両２と、自動運転車両２から物体までの距離の一例を説明するための図である。つまり、図６Ａは、撮影情報の一例を示す図であり、図６Ｂは、認識結果情報の一例を示す図である。

自動運転車両２は、撮影情報として、例えば、自動運転車両２の周囲を撮影することで得られる撮影情報の一例である撮影画像３１を端末１に送信する。

また、自動運転車両２は、認識処理によって、自動運転車両２と物体との距離及び物体の種別を認識し、認識された距離及び種別を認識結果情報として端末１に送信する。図６Ｂには、図６Ａに示すように、自動運転車両２を上方から見た場合の自動運転車両２の中心を原点とし、原点を通過し且つ自動運転車両２の進行方向をＹ軸方向とし、Ｙ軸方向に直交し且つ原点を通過する方向をＸ軸方向とした場合における、物体の位置（つまり、座標）を示している。

図７は、イベント関連情報１５２の一例を示す図である。

端末１の記憶部１５には、図７に示すようなイベント関連情報１５２が記憶されている。

イベント関連情報１５２には、左折、右折などの自動運転車両２に発生する所定イベントのイベント種別と、当該所定イベントに対応する確認方向とが含まれている。端末１は、図７に示すようなイベント関連情報１５２を用いて、所定イベントを検出した際に、検出した所定イベントの種別に対応する確認方向を示す方向情報を取得する。

図８Ａは、地図情報２７１および経路情報２７３の一例を示す図である。図８Ｂは、図８Ａに示す地図情報２７１の各地点の説明をするための図である。

自動運転車両２は、図８Ａに示すような地図情報２７１および経路情報２７３に基づいて、走行を制御する。また、自動運転車両２は、例えば、図８Ａに示すＡ地点に到着した場合である交差点に進入する際には、図８Ｂに示すイベント種別のうちの「交差点進入」の所定イベントが発生したとして、図７に示すように自動運転車両２の左方向と右方向とを少なくとも撮影し、撮影することで得られた画像を用いた認識処理の結果に基づいて自動運転を行う。その際に、撮影情報及び認識結果情報が生成される。

端末１は、イベント関連情報１５２に基づいて、所定イベント（図７に示すイベント種別）に関連する確認方向を含む方向が撮影されて取得される撮影情報と、撮影情報を用いた認識処理により取得される認識結果情報とを自動運転車両２から取得して、自動運転車両２が、検出された所定イベントにおいて実行すべき認識処理を問題なく実行しているか否かを判定して、判定結果に応じて画像を表示する。ユーザＵは、当該画像を確認することで、自動運転車両２の自動運転に問題があるか否かを評価する。

［表示情報］
続いて、本開示の実施の形態に係る端末１が出力する表示情報について説明する。なお、以下では、端末１が出力する表示情報（つまり、図４のステップＳ１１で端末１が出力した表示情報）の具体例として、端末１の表示部１２に表示される画像であるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）について説明する。

＜第１例＞
図９Ａは、実施の形態における端末１に表示される画像の第１例を示す図である。画像３は、表示情報の一例である。

画像３には、自動運転車両２が撮影した撮影画像３１と、安全確認画像３３と、チェックボックス３４とが含まれている。安全確認画像３３は、自動運転車両２が確認方向に特定物体を認識した旨を示す第１情報を示す画像の一例である。

撮影画像３１は、端末１が自動運転車両２から取得した撮影情報を含む画像である。具体的には、撮影画像３１は、複数の撮像部２２によって撮影されたそれぞれの画像の合成画像であり、当該合成画像に自動運転車両２の俯瞰画像が重畳されている。図９Ａには、撮影画像３１に、自動運転車両２と、物体３２とが含まれている場合を例示している。

安全確認画像３３は、端末１が自動運転車両２から取得した認識結果情報に確認方向の認識結果情報が含まれているか否か、および、認識結果情報を用いた特定物体が存在するか否かの判定結果を含む画像である。図９Ａは、確認方向および当該確認方向の認識結果情報が含まれているか否かと、物体を認識したか否かを示す情報とが、「左後方ＯＫ：移動体あり」のように安全確認画像３３として表示されている例を示している。

ユーザＵは、安全確認画像３３を確認することで、自動運転車両２が適切に自動運転するための認識処理をしたか否かを把握し、チェックボックス３４を操作することで、自動運転車両２が、正しく物体３２の認識処理をしたか否かを評価する。

例えば、端末１は、自動運転車両２から、取得した認識結果情報に確認方向の認識結果情報が含まれる場合には、安全確認画像３３として、図９Ａに示すように、「左後方ＯＫ：移動体あり」を表示し、確認方向の認識結果情報が含まれていない場合には、安全確認画像３３として、「ＮＧ」のような未処理情報を示す画像を表示する。これにより、ユーザＵは、安全確認画像３３を確認することで、自動運転車両２が、適切に認識処理をしているか否を把握できる。つまり、ユーザＵは、自動運転車両２が、適切に自動運転できているか否かを簡便に把握できる。

チェックボックス３４には、例えば、Ｇｏｏｄ、Ｂａｄなどの表示が含まれている。ユーザＵは、物体３２が表示されており、且つ、安全確認画像３３に「左後方ＯＫ：移動体あり」などの表示を確認して、所定イベントに対して自動運転車両２が確認すべき確認方向の認識処理を正しく実行しているか否かを評価し、例えば、正しいと評価すればチェックボックス３４の「Ｇｏｏｄ」を選択し、正しくないと評価すれば「Ｂａｄ」を選択する。

このような操作を所定イベントごとに繰り返すことで、ユーザＵは、簡便に、自動運転車両２が適切に自動運転するための認識処理を行えているかどうかを把握できる。

＜第２例＞
図９Ｂは、実施の形態における端末１に表示される画像の第２例を示す図である。画像３０は、表示情報の一例である。

画像３０には、自動運転車両２が撮影した撮影画像３１と、安全確認画像３３１と、チェックボックス３４とが含まれている。安全確認画像３３１は、自動運転車両２が確認方向に特定物体を認識しなかった旨を示す第２情報を示す画像の一例である。

撮影画像３１には、図９Ａに示す画像３とは異なり、物体３２が含まれていない。この場合、端末１は、自動運転車両２から認識結果情報を取得したときであって、認識結果情報を用いて特定物体が存在しないと判定したとき、画像３０に、特定物体が含まれていないことを示す第２情報を示す安全確認画像３３１を表示させる。例えば、安全確認画像３３１には、「左後方ＯＫ：移動体なし」と表示される。

ユーザＵは、撮影画像３１に物体３２が表示されていない場合においても、「左後方ＯＫ：移動体なし」などのように表示される安全確認画像３３１を確認することで、自動運転車両２が、適切に自動運転するための認識処理をしていることを把握できる。

＜第３例＞
図１０は、実施の形態における端末１に表示される画像の第３例を示す図である。画像３００は、表示情報の一例である。

図１０に示す画像３００には、図９Ａに示す画像３に、さらに、確認エリア３５と、強調情報３６と、進行方向情報３７と、走行制御画像３３２とが含まれる。走行制御画像３３２は、自動運転車両２が、走行制御を予め定められた制御内容から変更した旨を示す画像の一例である。

確認エリア３５は、確認方向に対応する撮影画像３１上の範囲を示す画像であり、撮影画像３１に重畳される。こうすることで、ユーザＵは、自動運転車両２がどの方向および範囲に対して物体の認識処理を実行したかを簡便に把握できる。

強調情報３６は、撮影画像３１中の物体３２の位置を分かりやすくするために撮影画像３１に重畳された画像である。図１０には、強調情報３６として、撮影画像３１中の物体３２の周囲を囲む画像が示されている。こうすることで、撮影画像３１に物体３２が含まれているか否かがユーザＵにとって確認しやすくなる。

図１１Ａは、実施の形態における端末１に表示される物体３２の強調情報３６の第１例を示す図である。図１１Ｂは、実施の形態における端末１に表示される物体３２の強調情報３６１の第２例を示す図である。

強調情報は、自動運転車両２の走行制御に影響を与えるか否かに応じて異なる態様で表示される。例えば、図１１Ａに示す強調情報３６の第１例は、物体３２が移動している場合の表示の一例であり、図１１Ｂに示す強調情報３６１の第２例は、物体３２が移動していない場合の表示の一例である。

自動運転では、例えば、物体３２が自動運転車両２に向かって移動している場合と、物体３２が停止している場合とで、走行制御の内容を変更するか否かが異なる場合がある。そのため、自動運転車両２が、走行の制御を変更する場合、つまり、物体３２が特定物体である場合（例えば、図１１Ａ）と、変更しない場合、つまり、物体３２が特定物体ではない場合（例えば、図１１Ｂ）とで、強調情報３６または強調情報３６１のように、表示方法を変更することで、ユーザＵは、物体３２が特定物体であるか否かを一目で把握することができる。

なお、図１１Ａには、強調情報３６を実線で示し、図１１Ｂには、強調情報３６１を破線で示したが、強調情報３６と、強調情報３６１との違いがユーザＵに識別できればよく、例えば、強調情報３６と強調情報３６１とは、色が異なっていてもよい。

また、端末１は、例えば、図１０に示す進行方向情報３７のように、物体３２が移動している場合には、物体３２が移動している方向を、例えば、矢印のように表示してもよい。

また、端末１は、図１０に示す走行制御画像３３２のように、自動運転車両２の走行制御の内容を示す走行情報を表示してもよい。例えば、所定イベントから、自動運転車両２が実行する走行は、例えば、左折など、予め定められている。ここで、自動運転車両２が、物体３２を特定物体と判定した場合、停止するなど、自動運転車両２が走行制御の内容を変更する場合がある。そこで、端末１は、自動運転車両２の走行制御の内容を示す走行情報を取得し、取得した走行情報が所定イベントにおいて実行する走行制御の内容と一致するか否かを判定し、判定結果を走行制御画像３３２のように表示してもよい。

これらの表示により、自動運転車両２の走行制御の内容および走行制御の変化を、ユーザＵは、より簡便に把握することができる。

＜第４例＞
図１２は、実施の形態における端末１に表示される画像の第４例を示す図である。画像４は、表示情報の一例である。なお、図１２には、例えば、図９Ａに示す安全確認画像３３と同様に、認識結果情報が表示されてもよいが、図示を省略している。

図１２に示す画像４には、画像３に対してさらに、確認方向（第１方向）とは異なる方向（第２方向）が撮影されることで得られた撮影画像３１１が含まれている。

撮影画像３１１は、例えば、確認方向（第１方向）を含む撮影画像３１に含まれない方向（第２方向）を撮影して得られる画像である。このように、端末１は、確認方向を撮影して得られる画像だけでなく確認方向よりは優先度の低い第２方向を撮影して得られる画像も自動運転車両２から取得する。すなわち、自動運転車両２は、確認方向を撮影して得られる画像と第２方向を撮影して得られる画像を含む撮影情報および認識結果情報を端末１に送信する。端末１は、自動運転車両２から取得された認識結果情報を用いて第２方向に特定物体を自動運転車両２が認識したか否かを判定する。第２方向に特定物体を認識したと判定された場合、端末１は、自動運転車両２の走行制御が変化したかを判定する。走行制御が変化したと判定された場合、端末１は、第２方向を含む撮影情報と第２方向に特定物体を認識した旨を示す情報を表示情報に含めて、例えば、図１２に示す画像４のように表示する。なお、走行制御の変化は、自動運転車両２から取得される走行制御の内容を示す情報を用いて判定されてもよく、自動運転車両２から取得される撮影情報若しくは位置情報等から判定されてもよい。

このように、確認方向とは異なる方向で検出した特定物体が原因で、走行制御に変化が生じた場合には、端末１は、当該異なる方向の画像を表示してもよい。例えば、所定イベントが左折である場合には、端末１は、自動運転車両２の左方向の画像を表示する。さらに、端末１は、例えば、自動運転車両２の右方向の特定物体を自動運転車両２が認識した認識結果情報を取得し、自動運転車両２の走行制御に変化があったと判定された場合には、自動運転車両２の右方向の画像も表示する。こうすることで、ユーザＵは、確認方向以外についても、自動運転車両２によって自動運転の認識処理が適切に行われているか否かを、より適切に把握することができる。また、ユーザＵは、所定イベントにしたがった走行制御と異なる走行制御が行われた理由を知ることができる。

なお、確認エリア３５と同様に、確認エリア３５１は、撮影画像３１１にも第２方向に対応する撮影画像３１１上の範囲を示す画像であり、撮影画像３１１に重畳されてもよい。また、走行制御の変化の有無にかかわらず、特定物体が認識された第２方向の画像が表示されてもよい。

＜第５例＞
図１３は、実施の形態における端末１に表示される画像の第５例を示す図である。画像４０は、表示情報の一例である。

図９Ａ～図１２は、複数の撮影部２２によって撮影された画像に基づき生成された自動運転車両２の全周の撮影画像を端末１が表示する例を示したが、端末１は、撮影画像３１２のように、確認方向を示す画像のみを表示してもよい。端末１は、例えば、自動運転車両２から、自動運転車両２の全周の撮影画像を受信した場合に、認識結果情報に基づいて、確認方向を含む画像の範囲を選択して、表示してもよい。具体的には、端末１は、自動運転車両２から取得した画像を所定イベントに応じた態様で表示する。例えば、端末１は、発生したイベントのイベント種別が左折である場合、自動運転車両２の全周の撮影画像を表示し、発生したイベントのイベント種別が交差点進入である場合、自動運転車両２の前方の撮影画像を表示する。

こうすることで、ユーザＵは、自動運転車両２によって確認方向の認識処理が適切に実行されたか否かをより簡便に把握することができる。

また、例えば、図１０に示す確認エリア３５と同様に、確認エリア３５２は、撮影画像３１２にも確認方向に対応する撮影画像３１２上の範囲を示す画像であり、撮影画像３１２に重畳されてもよい。

ここで、撮影画像３１２のような画像を端末１が表示した場合、ユーザＵは、確認画像３１２から奥行きを把握しづらい。つまり、ユーザＵは、撮影画像３１２を確認することで、物体３２が存在するか否かは把握できるが、物体３２と自動運転車両２との距離物体３２の大きさから推定することになるので把握しづらい。そこで、端末１は、物体３２と自動運転車両２との距離に応じて、確認エリア３５２の表示の態様を変更してもよい。例えば、端末１は、物体３２と自動運転車両２との距離が、予め任意に定められた所定距離以上であれば、確認エリア３５２を黒色で表示し、所定距離未満であれば、確認エリア３５２を赤色で表示する。また、例えば、端末１は、物体３２と自動運転車両２との距離が、予め任意に定められた所定距離未満であれば、撮影画像３１２中の物体３２を点滅して表示する等、物体３２の表示の態様を変更してもよい。

このような構成によれば、ユーザＵは、物体３２の位置が、自動運転車両２からどの程度離れているかを把握することが容易となる。そのため、ユーザＵは、自動運転車両２の走行制御が適切に行われているか否かを把握することができる。

また、例えば、図９Ａに示す安全確認画像３３と同様に、端末１は、安全確認画像３３３に示す「前方ＯＫ：移動体あり」のように、自動運転車両２から取得した認識結果情報を用いた特定物体が存在するか否かの判定結果を含む画像を表示する。

（その他の実施の形態）
以上、本開示の一つまたは複数の態様に係るに情報処理方法または情報処理システムついて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の一つまたは複数の態様の範囲内に含まれてもよい。

例えば、上記実施の形態において、ユーザＵが自動運転車両２の認識結果とそれに基づく走行制御に対する評価を行う例を説明したが、端末１が当該評価を行ってもよい。例えば、端末１は、自動運転車両２から取得された認識結果情報に確認方向の物体認識結果が含まれると判定された場合、ポイントを加算し、走行終了後のポイントを集計して評価としてスコアを算出してもよい。また、自動運転車両２から取得された認識結果情報に確認方向の物体認識結果が含まれないと判定された場合、ポイントを減算してもよい。これにより、自動運転車両２の走行を自動的に評価することができる。

また、例えば、上記実施の形態において、端末１等の構成要素の全部または一部は、専用のハードウェアで構成されてもよく、あるいは、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサ等のプログラム実行部が、ＨＤＤまたは半導体メモリ等の記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記実施の形態の情報処理システムなどを実現するソフトウェアは、次のようなプログラムである。

すなわち、このプログラムは、コンピュータに、自動運転車両２についての所定イベントを検出するためのイベント関連情報１５２を取得し、イベント関連情報１５２を用いて所定イベントを検出したか否かを判定し、所定イベントを検出したと判定された場合、所定イベントに関連付けられた第１方向を示す方向情報を取得し、自動運転車両２の外部に位置する物体の、自動運転車両２による認識処理により得られる第１認識結果情報を取得し、第１認識結果情報に第１方向の物体認識結果が含まれるか否かを判定し、第１認識結果情報を用いて、第１方向に自動運転車両２の走行に影響を与える可能性のある特定物体が存在するか否かを判定し、第１方向に特定物体が存在しないと判定された場合であって、且つ、第１認識結果情報に第１方向の物体認識結果が含まれると判定された場合、自動運転車両２が第１方向を認識処理済みであることを示す処理済み情報を生成し、生成された処理済み情報を出力する処理を実行させる。

また、端末１等の構成要素は、１つまたは複数の電子回路で構成されてもよい。１つまたは複数の電子回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。

１つまたは複数の電子回路には、例えば、半導体装置、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）またはＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等が含まれてもよい。ＩＣまたはＬＳＩは、１つのチップに集積されてもよく、複数のチップに集積されてもよい。ここでは、ＩＣまたはＬＳＩと呼んでいるが、集積の度合いによって呼び方が変わり、システムＬＳＩ、ＶＬＳＩ（Ｖｅｒｙ Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）、または、ＵＬＳＩ（Ｕｌｔｒａ Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）と呼ばれるかもしれない。また、ＬＳＩの製造後にプログラムされるＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）も同じ目的で使うことができる。

また、本開示の全般的または具体的な態様は、システム、装置、方法、集積回路またはコンピュータプログラムで実現されてもよい。あるいは、当該コンピュータプログラムが記憶された光学ディスク、ＨＤＤもしくは半導体メモリ等のコンピュータ読み取り可能な非一時的記録媒体で実現されてもよい。また、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。

その他、各実施の形態に対して当業者が思いつく各種変形を施して得られる形態や、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素および機能を任意に組み合わせることで実現される形態も本開示に含まれる。

本開示の実施の形態に係る情報処理方法および情報処理システムは、車両の自動運転が適切に行われているか否かをユーザに適切に放置する装置またはシステムに利用可能である。

１ 端末
１１、２１ 通信部
１２ 表示部
１３、２３ 位置測定部
１４、２６ 制御部
１４１、２６１ 通信制御部
１４２ 表示情報生成部
１４３ 表示制御部
１４４ 車両処理情報取得部
１４５ 車両認識判定部
１４６ イベント判定部
１４７ 方向情報取得部
１５、２７ 記憶部
１５１ 自動運転評価プログラム
１５２ イベント関連情報
１５３、２７１ 地図情報
１５４ 特定物体情報
２ 自動運転車両
２２ 撮影部
２４ その他のセンサ
２５ 駆動部
２６２ 走行制御部
２６３ 物体認識部
２６４ 撮影情報取得部
２６５ 認識物体情報取得部
２７２ 自動運転プログラム
２７３ 経路情報
２７４ 物体認識プログラム
３、３０、３００、４、４０ 画像
３１、３１１、３１２ 撮影画像
３２ 物体
３３、３３１、３３３ 安全確認画像
３３２ 走行制御画像
３４ チェックボックス
３５、３５１、３５２ 確認エリア
３６、３６１ 強調情報
３７ 進行方向情報
Ｕ ユーザ

Claims (12)

1. プロセッサを用いて、
   車両についての所定イベントを検出するためのイベント関連情報を取得し、
   前記イベント関連情報を用いて前記所定イベントを検出したか否かを判定し、
   前記所定イベントを検出したと判定された場合、前記所定イベントに関連付けられた第１方向を示す方向情報を取得し、
   前記車両の外部に位置する物体の、前記車両による認識処理により得られる第１認識結果情報を取得し、
   前記第１認識結果情報に前記第１方向の物体認識結果が含まれるか否かを判定し、
   前記第１認識結果情報を用いて、前記第１方向に前記車両の走行に影響を与える可能性のある特定物体が存在するか否かを判定し、
   前記第１方向に前記特定物体が存在しないと判定された場合であって、且つ、前記第１認識結果情報に前記第１方向の物体認識結果が含まれると判定された場合、前記車両が前記第１方向を認識処理済みであることを示す処理済み情報を生成し、
   生成された前記処理済み情報を表示部に表示させる、
   情報処理方法。
2. さらに、
   前記第１方向に前記特定物体が存在すると判定された場合は、前記第１方向に前記特定物体を認識した旨を示す第１情報を含む前記処理済み情報を生成し、
   前記第１方向に前記特定物体が存在しないと判定された場合は、前記第１方向に前記特定物体を認識しなかった旨を示す第２情報を含む前記処理済み情報を生成する、
   請求項１に記載の情報処理方法。
3. 前記第１認識結果情報は、前記車両から前記第１方向を含む所定の範囲を撮影することで得られる画像を前記認識処理することにより取得される情報である、
   請求項１又は２に記載の情報処理方法。
4. さらに、
   前記車両の舵角および車速の少なくとも一方を含む前記車両の走行情報を取得し、
   前記所定の範囲は、前記車両の前記走行情報に応じて決定される、
   請求項３に記載の情報処理方法。
5. さらに、取得した前記車両の前記走行情報を前記処理済み情報とともに前記表示部に表示させる、
   請求項４に記載の情報処理方法。
6. 前記所定イベントが検出された場合、さらに、検出された当該所定イベントが検出されなくなるか、又は所定の時間が経過するまで繰り返し前記処理済み情報を前記表示部に表示させる、
   請求項１～５のいずれか１項に記載の情報処理方法。
7. さらに、前記第１方向に前記特定物体が存在すると判定された場合、前記特定物体が原因で前記車両が走行の制御を決定又は変更したか否かを判定し、
   前記車両が走行の制御を決定又は変更したか否かの判定結果を含む前記第１情報を生成する、
   請求項２に記載の情報処理方法。
8. さらに、
   前記第１認識結果情報を用いて、前記第１方向とは異なる第２方向に、前記特定物体が存在するか否かを判定し、
   前記第２方向に前記特定物体が存在すると判定された場合、前記第２方向を示す情報を含む前記処理済み情報を生成する、
   請求項１～７のいずれか１項に記載の情報処理方法。
9. さらに、
   前記車両に搭載される撮影装置によって前記第１方向を撮影されることで生成された画像を取得し、
   取得した前記画像を前記処理済み情報とともに、検出された前記所定イベントに応じた態様で前記表示部に表示させる、
   請求項１～８のいずれか１項に記載の情報処理方法。
10. さらに、
    前記第１認識結果情報に前記第１方向の物体認識結果が含まれていないと判定された場合、前記車両が前記第１方向を認識処理できていないことを示す未処理情報を生成し、
    生成された前記未処理情報を前記表示部に表示させる、
    請求項１～９のいずれか１項に記載の情報処理方法。
11. 請求項１～１０のいずれか１項に記載の情報処理方法をコンピュータに実行させるための、
    プログラム。
12. 車両についての所定イベントを検出するためのイベント関連情報を取得し、前記イベント関連情報を用いて前記所定イベントを検出したか否かを判定するイベント判定部と、
    前記イベント判定部によって前記所定イベントを検出したと判定された場合、前記所定イベントに関連付けられた第１方向を示す方向情報を取得する方向情報取得部と、
    前記車両の外部に位置する物体の、前記車両による認識処理により得られる第１認識結果情報を取得する車両処理情報取得部と、
    前記第１認識結果情報に前記第１方向の物体認識結果含まれるか否かを判定し、前記第１認識結果情報を用いて、前記第１方向に前記車両の走行に影響を与える可能性のある特定物体が存在するか否かを判定する車両認識判定部と、
    前記車両認識判定部によって前記特定物体が存在しないと判定された場合であって、且つ、前記第１認識結果に前記第１方向の物体認識結果が含まれると判定された場合、前記車両が前記第１方向を認識処理済みであることを示す処理済み情報を生成する表示情報生成部と、
    前記表示情報生成部によって生成された前記処理済み情報を表示部に表示させる表示制御部と、を備える、
    情報処理システム。

Images