JP7223758B2 - 車両の望ましくない動作を決定すること - Google Patents

Description

本発明は、車両の望ましくない動作を決定するための方法、車両動作決定器、コンピュータプログラムおよびコンピュータプログラム製品に関する。

現在、自律推進能力をもつ車両の分野において多くの研究および開発がある。適用例は、バスおよびタクシーサービスなど乗客輸送から、重量級車両によって実行される商品輸送に及ぶ。近年、多くの企業が実道路において自社の自律重量級車両を検証している。Ｇｏｏｇｌｅ無人車は、２０１２年以来、米国におけるいくつかのエリアにおいて運転している。２０１４年、Ｇｏｏｇｌｅは、自社の車がカリフォルニアにおいて自律モードで合計１１０万ｋｍを完走したことを報告した。さらに、ドローンなど、空中車両が自律車両であり得る。

時間経過に伴う運転能力を改善するために多くの自律車両において機械学習が使用される。そのような機械学習モデルの性能はフィードバックの量と質の両方から恩恵を受ける。しかしながら、フィードバックの量は常に限られ、フィードバックの新しいソースが機械学習ベースの運転の性能に大いに恩恵を与えるであろう。

本明細書で提示される実施形態の目的は、望ましくない動作を実行している車両に基づいて、自律車両に改善されたフィードバックを与えることである。

第１の態様によれば、第１の車両の望ましくない動作と、結果的に生じる動作とを決定するための方法が提示される。本方法は、車両動作決定器において実行され、第１のユーザが第１の車両に焦点を合わせていることを検出することによって、ユーザ焦点を検出するステップと、第１のユーザの脳活動データを収集するステップと、脳活動データに基づいて第１のユーザの否定的反応を決定するステップと、第１の車両に焦点を合わせている第１のユーザと第１のユーザの否定的反応とに基づいて、第１の車両が望ましくない動作を実行しているときを決定するステップと、望ましくない動作を実行している第１の車両に基づいて、自律車両によって取られるべき結果的に生じる動作を決定するステップと、結果的に生じる動作を実行するために自律車両をトリガするステップとを含む。

ユーザ焦点を検出するステップ、脳活動データを収集するステップは第２のユーザについて繰り返され得る。そのような場合、第１の車両が望ましくない動作を実行しているときを決定するステップはさらに、第１の車両に焦点を合わせている第２のユーザと第２のユーザの否定的反応とに基づく。

本方法はさらに、第１の車両の制御パラメータを収集するステップを含み得る。そのような場合、第１の車両が望ましくない動作を実行しているときを決定するステップはさらに第１の車両の制御パラメータに基づく。

制御パラメータは、第１の車両の現在の動きを記述する少なくとも１つのパラメータを含み得る。

制御パラメータは、第１の車両によって運転される道路の道路特性に関係する少なくとも１つのパラメータを含み得る。

結果的に生じる動作を決定するステップは、第１の車両の制御パラメータを考慮することを含み得る。

ユーザ焦点を検出するステップは注視追跡に基づき得る。

脳活動データを収集するステップにおいて、脳活動データは脳波記録（ＥＥＧ）に基づき得る。

ユーザ焦点を検出するステップは、第１のユーザからの特定の距離内の第１の車両のみを考慮することを含み得る。

第１の車両が望ましくない動作を実行しているときを決定するステップはさらに、第１の車両の現在の地理的ロケーションに基づき得る。

第１の車両が望ましくない動作を実行しているときを決定するステップはさらに、第１の車両の履歴運転データに基づき得る。

結果的に生じる動作を決定するステップにおいて、結果的に生じる動作は自律車両の修正制御動作であり得る。

本方法はさらに、第１の車両が望ましくない動作を実行していないとき、第１の車両が望ましくない動作を実行していないことを示すフィードバックを第１のユーザに与えるステップを含み得る。

第２の態様によれば、第１の車両の望ましくない動作と、結果的に生じる動作とを決定するための車両動作決定器が提示される。車両動作決定器は、プロセッサと、プロセッサによって実行されたとき、車両動作決定器に、第１のユーザが第１の車両に焦点を合わせていることを検出することによって、ユーザ焦点を検出することと、第１のユーザの脳活動データを収集することと、脳活動データに基づいて第１のユーザの否定的反応を決定することと、第１の車両に焦点を合わせている第１のユーザと第１のユーザの否定的反応とに基づいて、第１の車両が望ましくない動作を実行しているときを決定することと、望ましくない動作を実行している第１の車両に基づいて、自律車両によって取られるべき結果的に生じる動作を決定することと、結果的に生じる動作を実行するために自律車両をトリガすることとを行わせる命令を記憶するメモリとを備える。

ユーザ焦点を検出する命令、脳活動データを収集する命令は、第２のユーザについて繰り返され得る。そのような場合、第１の車両が望ましくない動作を実行しているときを決定する命令はさらに、第１の車両に焦点を合わせている第２のユーザと第２のユーザの否定的反応とに基づき得る。

車両動作決定器はさらに、プロセッサによって実行されたとき、車両動作決定器に、第１の車両の制御パラメータを収集することを行わせる命令を含み得る。そのような場合、第１の車両が望ましくない動作を実行しているときを決定する命令はさらに、第１の車両の制御パラメータに基づく。

制御パラメータは、第１の車両の現在の動きを記述する少なくとも１つのパラメータを含み得る。

制御パラメータは、第１の車両によって運転される道路の道路特性に関係する少なくとも１つのパラメータを含み得る。

結果的に生じる動作を決定する命令は、プロセッサによって実行されたとき、車両動作決定器に、第１の車両の制御パラメータを考慮することを行わせる命令を含み得る。

検出する命令は、プロセッサによって実行されたとき、車両動作決定器に、注視追跡に基づいてユーザ焦点を検出することを行わせる命令を含み得る。

脳活動データを収集する命令において、脳活動データは脳波記録（ＥＥＧ）に基づき得る。

ユーザ焦点を検出する命令は、プロセッサによって実行されたとき、車両動作決定器に、第１のユーザからの特定の距離内の第１の車両のみを考慮することを行わせる命令を含み得る。

第１の車両が望ましくない動作を実行しているときを決定する命令は、プロセッサによって実行されたとき、車両動作決定器に、さらに第１の車両の現在の地理的ロケーションに基づいて、第１の車両が望ましくない動作を実行していることを決定することを行わせる命令を含み得る。

第１の車両が望ましくない動作を実行しているときを決定する命令は、プロセッサによって実行されたとき、車両動作決定器に、さらに第１の車両の履歴運転データに基づいて、第１の車両が望ましくない動作を実行しているときを決定することを行わせる命令を含み得る。

結果的に生じる動作を決定する命令において、結果的に生じる動作は自律車両の修正制御動作であり得る。

車両動作決定器はさらに、プロセッサによって実行されたとき、車両動作決定器に、第１の車両が望ましくない動作を実行していないとき、第１の車両が望ましくない動作を実行していないことを示すフィードバックを第１のユーザに与えることを行わせる命令を含み得る。

第３の態様によれば、第１のユーザが第１の車両に焦点を合わせていることを検出することによって、ユーザ焦点を検出するための手段と、第１のユーザの脳活動データを収集するための手段と、脳活動データに基づいて第１のユーザの否定的反応を決定するための手段と、第１の車両に焦点を合わせている第１のユーザと、第１のユーザの否定的反応とに基づいて、第１の車両が望ましくない動作を実行しているときを決定するための手段と、望ましくない動作を実行している第１の車両に基づいて、自律車両によって取られるべき結果的に生じる動作を決定するための手段と、結果的に生じる動作を実行するために自律車両をトリガするための手段とを備える車両動作決定器が提示される。

第４の態様によれば、第１の車両の望ましくない動作と、結果的に生じる動作とを決定するためのコンピュータプログラムが提示される。コンピュータプログラムは、車両動作決定器上で実行されたとき、車両動作決定器に、第１のユーザが第１の車両に焦点を合わせていることを検出することによって、ユーザ焦点を検出することと、第１のユーザの脳活動データを収集することと、脳活動データに基づいて第１のユーザの否定的反応を決定することと、第１の車両に焦点を合わせている第１のユーザと、第１のユーザの否定的反応とに基づいて、第１の車両が望ましくない動作を実行しているときを決定することと、望ましくない動作を実行している第１の車両に基づいて、自律車両によって取られるべき結果的に生じる動作を決定することと、結果的に生じる動作を実行するために自律車両をトリガすることとを行わせるコンピュータプログラムコードを含む。

第５の態様によれば、第４の態様によるコンピュータプログラムと、コンピュータプログラムが記憶されるコンピュータ可読手段とを備えるコンピュータプログラム製品が提示される。

一般に、特許請求の範囲において使用されるすべての用語は、本明細書で別段に明記されていない限り、技術分野におけるそうした用語の通常の意味に従って解釈されるべきである。「要素、装置、構成要素、手段、ステップなど」へのすべての参照は、別段に明記されていない限り、要素、装置、構成要素、手段、ステップなどの少なくとも１つのインスタンスを参照するものとして、オープンに解釈されるべきである。本明細書で開示される方法のステップは、明記されていない限り、開示された厳密な順序で実行される必要はない。

次に、例として、添付の図面を参照しながら、本発明について説明する。

本明細書で提示される実施形態が適用され得る環境を示す概略図である。 本明細書で提示される実施形態が適用され得る環境を示す概略図である。 図１Ａ～図１Ｂの環境において適用され得る２つの実施形態による、脳活動感知を示す概略図である。 図１Ａ～図１Ｂの環境において使用され得る車両動作決定器の構成要素を示す概略図である。 図３の車両動作決定器がどのように実装され得るかの実施形態を示す概略図である。 第１の車両の望ましくない動作と、結果的に生じる動作とを決定するための方法であって、図３の車両動作決定器において実行される方法を示すフローチャートである。 第１の車両の望ましくない動作と、結果的に生じる動作とを決定するための方法であって、図３の車両動作決定器において実行される方法を示すフローチャートである。 第１の車両の望ましくない動作と、結果的に生じる動作とを決定するための方法であって、図３の車両動作決定器において実行される方法を示すフローチャートである。 一実施形態による、図３の車両動作決定器の機能モジュールを示す概略図である。 コンピュータ可読手段を備えるコンピュータプログラム製品の１つの例を示す図である。

次に、本発明のいくつかの実施形態が示されている添付の図面を参照しながら、本発明について以下でより十分に説明する。本発明は、しかしながら、多くの異なる形態において実施され得、本明細書に記載された実施形態に限定されるものと解釈されるべきでない。そうではなく、これらの実施形態は、本開示が徹底的で完全であり、本発明の範囲を当業者に十分に伝達するように、例として与えられる。同様の番号は説明全体にわたって同様の要素を指す。

本明細書で提示される実施形態は、車両動作に関するフィードバックを与えるためにユーザの反応が利用され得るという認識に基づく。特に、フィードバックは、ユーザが否定的反応を有するときを見つけ出すためにユーザからの脳活動データを検出することに基づく。これがユーザの焦点である車両に結合され、それによって、自律車両がその状況から学習するための否定的なフィードバックを与える。フィードバックは脳感知に基づくので、ユーザは、ユーザインターフェースを使用してフィードバックを与える必要がなく、それにより、システムは、自律車両のパフォーマンスについての大量の極めて有益なフィードバックデータを蓄積するためにユーザ入力なしに動作することができる。

図１Ａ～図１Ｂは、本明細書で提示される実施形態が適用され得る環境を示す概略図である。ここに４つの車両２ａ～２ｄがある（そのうちの３つが図１Ａに示されている）。少なくとも第１の車両２ａおよび第４の車両２ｄは、少なくとも一部の時間の間、自律推進が可能である自律車両である。第２の車両２ｂおよび第３の車両２ｃも自律車両であり得るか、または人間によって制御される車両であり得る。たとえば、自律車両は、自律運転能力をもつ車であり得るか、または自律飛行能力をもつ空中車両（たとえばドローン）であり得る。自律車両は、車両の環境を分析し、これに応じて車両を制御するために使用される１つまたは複数のカメラと他のセンサーとを備える。車両の制御は機械学習モデルに基づき得る。機械学習モデルは、結果的に生じる動作を含む適切なフィードバックをモデルに供給することによって改善され得る。機械学習モデルをトレーニングするために利用可能であるフィードバックが多いほど、パフォーマンスは良くなる。言い換えれば、入力（たとえば、下述の制御パラメータのうちの１つまたは複数）としての特徴の特定の集合の各インスタンス、および望ましくない動作から決定される結果的に生じる動作など、既知の出力が、機械学習モデルをさらにトレーニングするために使用され得る。ユーザ対話が必要とされないので、本明細書で提示される実施形態によって可能にされるように、入力と出力とのそのような組合せが多数蓄積するとき、これにより機械学習モデルが連続的に改善される。車両２ａ～２ｃはまた、オーディオ、車両の動き、車両速度、道路条件、空中ルート条件など、車両を制御するために関連がある制御パラメータを収集するための追加のセンサーを備えることができる。車両２ａ～２ｃはまた、近接する車両および／またはサーバと通信することによって、交通条件、道路事故／建設ゾーン、天候条件などの外部制御パラメータを収集することができる。車両２ａ～２ｃは、たとえば機械学習モデルに基づいて、車両が自律モードでどのように動作させられるべきであるかを定義する制御ユニットを収容する。

本明細書のシナリオにおいて、ローカル規制は右側交通を明記する。図１Ａのシナリオにおいて、ユーザ５が第１の自律車両２ａ中で移動している。第２の自律車両２ｂが反対方向に移動している。しかしながら、第３の車両２ｃが、第１の自律車両２ａ、したがってユーザ５にとって危険である形で、第２の自律車両２ｂを追い越している。第３の車両２ｃは、自律車両、または旧来の、人間によって制御される車両であり得る。本明細書で提示される実施形態によれば、ユーザ５は自律車両２ｃの動作に気づき、脳活動収集器が、ユーザ５の脳からのデータをキャプチャし、そのデータから、ユーザ５が否定的反応を有することが推論され得る。否定的反応は、検出され得るユーザの否定的情動反応である。人間が、エラーを犯す他の人間を観測するとき、彼らの脳は、これらのエラーに応答して、たとえば不安、怒り、嫌悪感などの感覚を反映し得る、特定のアクティブ化パターンを示す。これは、システムが状況から学習することを可能にするために使用され、このシナリオにおける第３の車両２ｃと同様に動作している自律車両の危険を低減する。

図１Ｂには、第４の自律車両２ｄのユーザ５も第３の車両２ｃの望ましくない動作に気づき、より多い重みを状況に与えるシナリオが示されている。

図２Ａ～図２Ｂは、図１Ａ～図１Ｂの環境において適用され得る２つの実施形態による脳活動感知を示す概略図である。

図２Ａには、自律車両、たとえば図１Ａ～図１Ｂの第１の自律車両２ａのシートに座っているユーザ５が示されている。ユーザは頭部装着型センサー構成の形態の脳活動収集器７を着用している。それ自体当技術分野で知られているように、カメラ４が、注視追跡を可能にするためにユーザの目に向けられる。注視追跡を使用して、ユーザ５が見ている場所、たとえば特定の車両などが決定され得る。

次に、脳センサーデバイス７を参照する。脳型コンピュータインターフェース（ＢＣＩ）としても知られる脳センサーデバイスは、一般に脳波記録（ＥＥＧ）によって、ユーザの脳活動を測定することが可能であるデバイスである。これらの脳センサーデバイス７は、ウェアラブル脳センサーデバイス７と考えられ得る外部装着型頭部装着型デバイス、外耳または内耳装着型デバイスの形態であり得る。脳センサーデバイス７はまた、ユーザ頭部に埋め込まれるデバイスであり得るであろう。

脳センサーデバイス７は、ユーザ脳活動の様々な態様を検出するために使用され得る。１つのそのような活動は、ユーザが否定的反応を体験するときを検出することである。脳活動検出の他の視覚的使用と比較すると、否定的反応検出は、今日利用可能な脳センサーデバイス７によって与えられるデータを使用して、はるかに簡単で、実現可能である。たとえば、本願の出願時点において、ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ｆｔｐ／ａｒｘｉｖ／ｐａｐｅｒｓ／１７０８／１７０８．０１４６５．ｐｄｆにおいて利用可能な、Ｗｅｌｋｅら、「Ｂｒａｉｎ Ｒｅｓｐｏｎｓｅｓ Ｄｕｒｉｎｇ Ｒｏｂｏｔ－Ｅｒｒｏｒ Ｏｂｓｅｒｖａｔｉｏｎ」には、人がロボットの正しい動作対誤った動作を観測するときを区別するために、ＥＥＧがどのように使用されるかが開示されている。

図２Ｂにおいて、脳センサーデバイス７は、ユーザ５のシートのヘッドレストの一部として実装される。このようにして、デバイスは、ユーザによって装着される必要がない。

図３は、図１Ａ～図１Ｂの環境において使用され得る車両動作決定器１の構成要素を示す概略図である。車両動作決定器がホストデバイスの一部として実装されるとき（図４Ａ～図４Ｃおよび以下の説明参照）、これらの構成要素のうちの１つまたは複数はホストデバイスと共有され得る。メモリ６４に記憶される、したがってコンピュータプログラム製品であり得るソフトウェア命令６７を実行することが可能な、好適な中央処理ユニット（ＣＰＵ）、マルチプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路などのうちの１つまたは複数の任意の組合せを使用して、プロセッサ６０が与えられる。プロセッサ６０は、以下で図５Ａ～図５Ｃに関して説明する方法を実行するように構成され得る。

メモリ６４はランダムアクセスメモリ（ＲＡＭ）と読取り専用メモリ（ＲＯＭ）との任意の組合せであり得る。メモリ６４はまた、持続性、すなわち非一時的ストレージを備え、これは、たとえば、磁気メモリ、光学メモリ、ソリッドステートメモリ、またはさらにはリモートに取り付けられたメモリのうちのいずれか１つまたは組合せであり得る。

プロセッサ６０におけるソフトウェア命令の実行中にデータを読み取り、および／または記憶するためのデータメモリ６６も与えられる。データメモリ６６はランダムアクセスメモリ（ＲＡＭ）と読取り専用メモリ（ＲＯＭ）の任意の組合せであり得る。

車両動作決定器１は、他の外部エンティティと通信するためのＩ／Ｏインターフェース６２をさらに備える。随意に、Ｉ／Ｏインターフェース６２はユーザインターフェースをさらに含む。

車両動作決定器１の他の構成要素は、本明細書で提示される概念を不明瞭にしないために省略される。

車両動作決定器１は脳センサーデバイス７に接続することができ、脳センサーデバイス７は、それぞれ図２Ａ～図２Ｂの脳センサーデバイス７のいずれかであり得る。車両動作決定器１はまた、サーバ８に接続することができる。

その上、車両動作決定器１は、ユーザがその中で移動している自律車両であり得る、自律車両２に接続することができる。車両動作決定器１はまた、ユーザの注視追跡を可能にするためにカメラ４に接続することができる。

図４Ａ～図４Ｄは、図３の車両動作決定器１がどのように実装され得るかの実施形態を示す概略図である。車両動作決定器１は、スタンドアロンデバイスとして実装され得るか、または図４Ａ～図４Ｃに示されているように、ホストデバイスの一部を形成し得る。

図４Ａにおいて、車両動作決定器１は、自律車両２中に実装されるように示されている。自律車両２は、したがって車両動作決定器１のためのホストデバイスである。この場合、自律車両は、ユーザがその時にその中で移動している自律車両であり得るが、そうである必要はない。

図４Ｂにおいて、車両動作決定器１は、脳センサーデバイス７中に実装されるように示されている。脳センサーデバイス７は、したがって車両動作決定器１のためのホストデバイスである。この実施形態では、脳センサーデバイスは、ユーザの焦点が検出され得るどこかにいるユーザの脳データを取得する。たとえば、ユーザは、ユーザ焦点を検出するために使用される外部カメラがある道路の側のそばに位置し得る。代替的に、脳センサーデバイスはまた、ユーザの視線を検出するためのカメラを備える。脳センサーデバイス７は、次いで、ユーザの脳データとユーザの視線とを使用して、観測される車両の望ましくない動作が行われるかどうかを決定する。

図４Ｃには、車両動作決定器１が、サーバ８中に実装されるように示されている。サーバ８は、したがって、車両動作決定器１のためのホストデバイスである。この実施形態では、サーバ８は、ユーザの焦点が検出され得るどこかにいるユーザの脳データを取得するための脳活動収集器に接続され得る。たとえば、ユーザは、ユーザ焦点を検出するために使用される外部カメラがある道路の側のそばに位置し得る。サーバは、次いで、ユーザの脳データとユーザの視線とを使用して、観測される車両の望ましくない動作が行われるかどうかを決定する。

図４Ｄには、スタンドアロンデバイスとして実装される車両動作決定器１が示されている。この実施形態では、車両動作決定器１のためのホストデバイスがない。

図５Ａ～図５Ｃは、第１の車両の望ましくない動作と、自律車両のための結果的に生じる動作とを決定するための方法であって、図３の車両動作決定器において実行される方法を示すフローチャートである。ユーザは自律車両中で移動している。第１の車両は、ユーザがその中で移動している自律車両と同じであり得る。代替的に、第１の車両は、ユーザがその中で移動している自律車両の外部にある。第１の車両は、自律車両または旧来の、人間によって制御される車両であり得る。

ユーザ焦点を検出するステップ４０において、車両動作決定器は、第１のユーザが第１の車両に焦点を合わせていることを検出することによってユーザ焦点を検出する。ここで第１のという用語は、以下のテキスト中の第１の車両の参照を可能にするために使用されるのみである。第１のという用語は、いかなる形でもいかなる順序または優先順位をも暗示しない。第１の車両に対するユーザ焦点は、たとえば（図２Ａ～図２Ｂに示されたカメラ４を使用する）注視追跡に基づき得る。また、ユーザが、それ自体の自律車両、すなわち、ユーザがその中で移動している自律車両に焦点を合わせているときが決定され得る。

随意に、遠くの車両は、ユーザが適切に分析することが困難であり得るので、第１のユーザからの特定の距離内の車両のみが第１の車両であり得ると考えられる。

ユーザが位置する車両の別のカメラ（たとえば、ダッシュボードカメラ）、ユーザに近いユーザデバイス（たとえば、自律車両によって使用される頭部装着型ディスプレイ）上のカメラ、代替または追加として、車両の外部のカメラが利用され得る。ユーザ視線は、既知であり得る（たとえば、ユーザがシートに座っており、高さＸを有する）か、またはサーバ８との通信を伴うオンライン様式で検出され得る（たとえば、車の内側を向いている別のカメラが、ユーザの頭と目が位置する場所を検出し、ユーザの目のロケーションとカメラとの間の位置と方向との変換を計算する）、カメラと現在のユーザロケーションとの間の相対位置を知ることによって、カメラによって収集された画像中で、識別される。

脳活動データを収集するステップ４２において、車両動作決定器は第１のユーザの脳活動データを収集する。これは、図２Ａ～図２Ｂに示された脳センサーデバイス７を使用して実行され得る。たとえば、脳活動データは脳波記録（ＥＥＧ）に基づき得る。

否定的反応を決定するステップ４４において、車両動作決定器は、脳活動データに基づいて第１のユーザの否定的反応を決定する。上述のように、脳活動検出の他の視覚的使用と比較すると、否定的反応検出は、今日利用可能な脳センサーデバイスによって与えられるデータを使用して、はるかに簡単で、実現可能である。否定的反応の決定は、たとえば、機械学習に基づき得る。

条件付きの望ましくない動作ステップ４６において、車両動作決定器は、第１の車両に焦点を合わせている第１のユーザと、第１のユーザの否定的反応とに基づいて、第１の車両が望ましくない動作を実行しているかどうかを決定する。言い換えれば、ユーザが特定の車両に焦点を合わせており、脳波が、ユーザが否定的反応を有していることを示すとき、これは、第１の車両が望ましくない動作を実行していることとして解釈される。

この決定は、随意に、第１の車両（または自律車両）の現在の地理的ロケーションに基づき得る。容認できる運転挙動は異なる国の間で著しく異なり得、これは、動作が望ましくないか否かを決定するときに考慮され得る。

さらに、決定は、随意に、第１の車両の履歴運転データに基づく。たとえば、履歴データが、多くの同様の動作が何万キロメートル間の望ましくない挙動に関連していないことを示す場合、これは、望ましくない動作であると考えられないように動作の重みをシフトする。

望ましくない動作が行われるとき、本方法は、結果的に生じる動作を決定するステップ４８に進む。他の場合、本方法は終了する。

結果的に生じる動作を決定するステップ４８において、車両動作決定器は、望ましくない動作を実行する第１の車両に基づいて、自律車両によって取られるべき結果的に生じる動作を決定する。結果的に生じる動作は、自律車両のための機械学習モデルをトレーニングするために使用され得、モデルの入力は１つまたは複数の制御パラメータを含んでおり、出力は、結果的に生じる動作またはその結果を含んでいる。機械学習モデルのそのようなトレーニングは、共有される学習の一部として使用され得、いくつかの車両のための機械学習モデルを改善することに広がる。たとえば、他の車両から学習するための許可を与える所有者をもつすべての自律車両は、そのような共有される学習を使用して、将来の同様のコンテキストにおける望ましくない動作を学習し、回避し得る。そのような共有される学習は、サーバを介してまたは直接車両動作決定器から当該の自律車両に通信され得る。

結果的に生じる動作は自律車両の修正制御動作であり得る。修正制御動作は、望ましくないと決定された、現在の状況における自律車両の挙動に影響を及ぼすリアルタイム制御動作であり得る。そのようなリアルタイム修正制御動作は、たとえば、第１の車両（すなわち観測される車両）もトレーニングされる車両であるときに適用され得る。代替または追加として、修正制御動作は、対応する望ましくない動作が、将来の同様のコンテキストにおいて回避され得るように、自律車両のメモリに記憶される。

一実施形態では、結果的に生じる動作は、自律車両が将来の同様の状況に備えて学習するために人間ドライバに追加の情報を要求することである。人間ドライバは、望ましくない動作の状況において機械学習モデルに入力を与えるために、自律車両内かまたはリモートに位置し得る。自律車両は、以前に記録された、望ましくない動作の状況に対応するデータを供給する。これにより、自律車両はそのような動作の補正のし方を学習することが可能になる。

一実施形態では、結果的に生じる動作は、自律車両が、たとえば、望ましくない動作が行われる状況をシミュレートするシミュレータから追加のトレーニングを受けることが義務づけられることである。随意に、このトレーニングは、そのような望ましくない動作の数があるしきい値を超えるときにのみトリガされ得る。この結果的に生じる動作は、望ましくない動作を実行する自律車両が、同様の状況が将来起きたときに、そのような動作を実行するという危険を低減する。

一実施形態では、結果的に生じる動作は、望ましくない動作として同様の状況が将来起きたときに、自律車両が支援のために人間ドライバに追加の情報を要求することである。自律車両は、次いで、自律車両がドライバから学習することができるように、（自律車両内かまたはリモートにいる）人間ドライバに、交代し、車両を運転するように求める。

一実施形態では、結果的に生じる動作は、自律車両が将来の望ましくない動作の状況に再び遭遇したときに、自律車両が望ましくない動作の代替動作を実行させられることである。例として、自律車両は、動作Ａおよび動作Ｂとして、状況において実行され得る２つの潜在的な動作を有し得、自律車両は、動作Ａが望ましくないとして報告された場合、動作Ｂを使用する。

一実施形態では、結果的に生じる動作は、自律車両が望ましくない動作発生を累積し、望ましくない動作発生の数が所与のしきい値を超える場合、追加の情報を要求することか、または望ましくない動作の状況において実行されるべき動作を変更することのいずれかによって、自律車両が状況に作用することを判断することである。同様に、自律車両のセットによって実行される同じ状況における動作のための望ましくない動作の発生が、所定のしきい値を超える望ましくない動作発生に累積するとき、同じブランド、所有者の残っている自律車両、またはある地理的ロケーションにある自律車両も、その状況における自身の動作を修正する。

一実施形態では、結果的に生じる動作は、自律車両が、自律車両の性能目標に重み付けされる、上述の結果的に生じる動作のうちの少なくとも１つを実行することである。例として、車両が、赤に変わる前の黄色の交通信号を横切るために加速されていないことが、望ましくないと決定され得る。しかしながら、そのような加速は、車両が所有者によってもしくは製造業者によって最適化するように設定されたより大きいエネルギー消費量を車両に費やさせるか、または所有者もしくは製造業者によって車両に課される最大加速度制限を超えるであろう。同様に、自律車両はまた、モーター状態、破損など、自身の物理的状態を最適化することを望み得る。したがって、すべてのこれらのファクタを考慮する重み付けされる機能は、結果的に生じる動作の修正が実行されるべきであるかどうかを判断するときに使用され得る。

結果的に生じる動作により、自律車両が経験から学習することになるとき、結果的に生じる動作のフィードバックはより多くの自律車両に共有され得、車両のそれぞれの機械学習モデルがトレーニングされることが可能になる。

結果的に生じる動作をトリガするステップ４９において、車両動作決定器は、結果的に生じる動作を実行するために自律車両をトリガする。

脳活動データを使用することによって、望ましくない動作の認識が明示的なユーザ入力の必要なしに達成される。これは、自律車両が望ましくない動作から学習するために使用され得る。ユーザからのフィードバックは、自律車両によって実行されている現在の活動に容易に相関させられ得る。

本明細書で提示される実施形態は、ユーザがその中で移動している自律車両のためだけでなく、いくつかの自律車両へのフィードバックを可能にする。これらの実施形態は、車両の望ましくない動作の迅速でロバストな決定を可能にする。フィードバックはユーザ対話なしに行われ得るので、大量のフィードバックデータが蓄積されて、自律車両の性能を大いに改善し得る。

次に、図５Ｂを参照しながら、図５Ａのステップと比較される新規のまたは変更されたステップのみについて説明する。

随意の、制御パラメータを収集するステップ４５において、車両動作決定器は第１の車両の制御パラメータを収集する。

制御パラメータは、第１の車両の現在の動きを記述する少なくとも１つのパラメータを備える。現在の動きは、ここでは、速度、加速度、方向などのいずれか１つまたは複数として解釈されるべきである。

代替または追加として、制御パラメータは、第１の車両によって運転される道路の道路特性に関係する少なくとも１つのパラメータを備える。道路特性は、たとえば、曲率、傾斜、レーンの数、幅、速度制限、交通規制、運転方向に沿った加速／減速に関する制限、横加速度など、道路の性質に関係するだけでなく、交通条件、道路閉鎖、雪、氷もしくは葉の量、ならびに／または温度、雨、雪、日光および太陽角などの天候条件など、道路の一時的条件にも関係し得る。さらに、第１の車両の活動識別は、直進、別の車両の追い越しおよび元の車線への戻り、黄色交通信号の通過など、制御パラメータの一部を形成し得る。随意に、制御パラメータはまた、自律車両によって収集され得るデータである、周囲についての情報、たとえば、他の車両、歩行者、自転車運転者などを備える。

制御パラメータが利用可能であるとき、条件付きの望ましくない動作ステップ４６はまた、第１の車両の制御パラメータのいずれか１つまたは複数に基づき得る。

制御パラメータが利用可能であるとき、結果的に生じる動作を決定するステップ４８はまた、第１の車両の制御パラメータのうちの１つまたは複数に基づき得る。

随意の、フィードバックを与えるステップ５４において、ステップ４６において決定される望ましくない動作がないとき、車両動作決定器は、第１の車両が望ましくない動作を実行していないことを示すフィードバックを第１のユーザに与える。

次に、図５Ｃを参照すると、ここに示されている方法は、図５Ａの方法に類似するが、少なくとも２人のユーザに基づく。

ここで、ステップ４０、４２および４４は、１つは第１のユーザのための、１つは第２のユーザのための、２つの別個の経路中で実行される。ここでは、両方のユーザが同じ第１の車両に焦点を合わせている。ステップ４４の各インスタンスでは、否定的反応があるか否かのバイナリ分類がある。否定的反応か否かは、上記でより詳細に説明したようにステップ４４の各インスタンスにおいて決定される。

条件付きの望ましくない動作ステップ４６において、両方のユーザからの否定的反応およびユーザ焦点は、第１の車両が望ましくない動作を実行しているかどうかを決定するために使用される。

したがって、少なくとも２人のユーザの脳活動データが分析され、ステップ４４における否定的反応か否かのバイナリ分類が得られる。これらのバイナリ分類は、第１の車両が望ましくない動作を実行しているか否かの決定において、ステップ４６において組み合わせられる。バイナリ分類は、いくつかの異なる方法において組み合わせられ得る。

一実施形態では、決定は、現在第１の車両に焦点を合わせているすべてのユーザから得られたバイナリ分類の平均に基づく。

一実施形態では、決定は、第１の車両から一定の距離よりも近くにいて、現在第１の車両に焦点を合わせているすべてのユーザから得られた分類の平均に基づく。

一実施形態では、決定は、現在第１の車両に焦点を合わせているユーザから得られた分類の平均に基づくが、現在の地理的エリア内のその土地の人であるこうしたユーザのみが考慮される。これは、ある挙動がある国では望ましくないが、別の国ではそうではないと考えられ得る、望ましくない動作の文化的（たとえば、欧州人対アジア人対アメリカ人、南欧州人対北欧州人）解釈および地理的解釈を考慮する。

一実施形態では、決定は、現在第１の車両に焦点を合わせているすべてのユーザから得られた分類の平均に基づき、記憶された同じ動作の以前の分類にも基づく。例として、第１の車両は様々なユーザの間で共有され得、こうした様々なユーザは、現在第１の車両によって実行されている同じ動作を以前に分類しており、記憶された結果は望ましくない挙動の決定のために使用される。

一実施形態では、決定は、現在第１の車両に焦点を合わせているすべてのユーザから得られた分類の平均に基づき、動作についての第１の車両からの以前の知識にも基づく。動作についての以前の知識は、たとえば、以前のトレーニング（実際の人間のドライバもしくはシミュレーション）によって、および／またはドライバのマニュアルによって得られ得る。例として、第１の車両は、そのような動作が以前の知識により望ましくないものではないという強い信念を有し得る。

一実施形態では、決定は、第１の車両に焦点を合わせているすべてのユーザから得られた分類の平均、ならびに運転コード規制から取り出され得る道路規制に基づく。

したがって、少なくとも２人のユーザからのＥＥＧ記録が与えられると、複数の車両によって実行されている現在の動作は、望ましくないものとして分類される。例として、複数の車両が望ましくない動作に関与する（たとえば、車両Ａと車両Ｂの両方に焦点を合わせているユーザが望ましくない動作を報告する）場合、望ましくない動作が特定の車両に自明に割り当てられないことがある。したがって、複数のユーザからの分類が考慮されなければならない。例として、車両ＡおよびＢが望ましくない動作に関与することについて考える。車両Ａまたは車両Ｂに焦点を合わせているユーザからの分類は、たとえば、より多数の望ましくない分類が車両Ｂよりも車両Ａに割り振られているかまたはその逆であるかを区別するために考慮される。この実施形態はサーバ（図３および図４Ｃの８）において実装され得る。

ステップ４６の後、本方法は、図５Ａおよび図５Ｂに示されたものと類似する形で実行される。

図６は、一実施形態による、図３の車両動作決定器１の機能モジュールを示す概略図である。モジュールは、車両動作決定器１において実行するコンピュータプログラムなど、ソフトウェア命令を使用して実装される。代替または追加として、モジュールは、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、またはディスクリート論理回路のうちのいずれか１つまたは複数など、ハードウェアを使用して実装される。モジュールは、図５Ａ～図５Ｃに示された方法におけるステップに対応する。

ユーザ焦点検出器７０はステップ４０に対応する。脳活動データ収集器７２はステップ４２に対応する。否定的反応決定器７４はステップ４４に対応する。制御データ収集器７５はステップ４５に対応する。望ましくない動作決定器７６はステップ４６に対応する。結果的に生じる動作決定器７８はステップ４８に対応する。動作トリガ７９はステップ４９に対応する。フィードバックプロバイダ８４はステップ５４に対応する。

図７は、コンピュータ可読手段を備えるコンピュータプログラム製品９０の１つの例を示す。このコンピュータ可読手段には、コンピュータプログラム９１が記憶され得、そのコンピュータプログラムは、プロセッサに、本明細書で説明する実施形態による方法を実行させ得る。この例では、コンピュータプログラム製品は、ＣＤ（コンパクトディスク）またはＤＶＤ（デジタルバーサタイルディスク）またはブルーレイディスクなど、光ディスクである。上記で説明したように、図３のコンピュータプログラム製品６７など、コンピュータプログラム製品はまた、デバイスのメモリ中で実施され得る。コンピュータプログラム９１は、ここでは、描かれている光ディスク上のトラックとして概略的に示されているが、コンピュータプログラムは、リムーバブルソリッドステートメモリ、たとえばユニバーサルシリアルバス（ＵＳＢ）ドライブなど、コンピュータプログラム製品のために好適である形で記憶され得る。

本発明について、主に、いくつかの実施形態に関して上記で説明した。しかしながら、当業者によって容易に諒解されるように、上記で開示した実施形態以外の実施形態が、添付の特許請求の範囲によって定義されているように、本発明の範囲内で等しく可能である。

Claims (22)

1. 第１の車両の望ましくない動作と、結果的に生じる動作とを決定するための方法であって、車両動作決定器（１）において実行され、
   自律車両中の第１のユーザ（５）が前記第１の車両に焦点を合わせていることを検出することによって、ユーザ焦点を検出するステップ（４０）と、
   前記第１のユーザ（５）の脳活動データを収集するステップ（４２）と、
   前記脳活動データに基づいて前記第１のユーザ（５）の否定的反応を決定するステップ（４４）と、
   前記第１の車両に焦点を合わせている前記第１のユーザ（５）と、前記第１のユーザ（５）の前記否定的反応とに基づいて、前記第１の車両が望ましくない動作を実行しているときを決定するステップ（４６）と、
   前記望ましくない動作を実行している前記第１の車両に基づいて、自律車両によって取られるべき前記結果的に生じる動作を決定するステップ（４８）と、
   前記結果的に生じる動作を実行するために前記自律車両をトリガするステップ（４９）と
   を含み、
   前記結果的に生じる動作を決定するステップ（４８）は、異なる自律車両中の前記第１のユーザ（５）の数に応じた重み付けを用いて、前記結果的に生じる動作を決定することを含む、方法。
2. ユーザ焦点を検出する前記ステップ（４０）、脳活動データを収集する前記ステップ（４２）が第２のユーザについて繰り返され、前記第１の車両が望ましくない動作を実行しているときを決定する前記ステップ（４６）がさらに、前記第１の車両に焦点を合わせている前記第２のユーザと前記第２のユーザの否定的反応とに基づく、請求項１に記載の方法。
3. 前記第１の車両の制御パラメータを収集するステップ（４５）をさらに含み、
   前記第１の車両が望ましくない動作を実行しているときを決定する前記ステップ（４６）がさらに、前記第１の車両の前記制御パラメータに基づく、請求項１または２に記載の方法。
4. 前記制御パラメータが、前記第１の車両の現在の動きを記述する少なくとも１つのパラメータを含む、請求項３に記載の方法。
5. 前記制御パラメータが、前記第１の車両によって運転される道路の道路特性に関係する少なくとも１つのパラメータを含む、請求項３または４に記載の方法。
6. 結果的に生じる動作を決定する前記ステップ（４８）が、前記第１の車両の制御パラメータを考慮することを含む、請求項３から５のいずれか一項に記載の前記方法。
7. ユーザ焦点を検出する前記ステップ（４０）が注視追跡に基づく、請求項１から６のいずれか一項に記載の方法。
8. 第１の車両の望ましくない動作と、結果的に生じる動作とを決定するための車両動作決定器（１）であって、
   プロセッサ（６０）と、
   前記プロセッサによって実行されたとき、前記車両動作決定器（１）に、
   自律車両中の第１のユーザ（５）が前記第１の車両に焦点を合わせていることを検出することによって、ユーザ焦点を検出することと、
   前記第１のユーザ（５）の脳活動データを収集することと、
   前記脳活動データに基づいて前記第１のユーザ（５）の否定的反応を決定することと、
   前記第１の車両に焦点を合わせている前記第１のユーザ（５）と、前記第１のユーザ（５）の前記否定的反応とに基づいて、前記第１の車両が望ましくない動作を実行しているときを決定することと、
   前記望ましくない動作を実行している前記第１の車両に基づいて、自律車両によって取られるべき前記結果的に生じる動作を決定することと、
   前記結果的に生じる動作を実行するために前記自律車両をトリガすることと
   を行わせる命令（６７）を記憶するメモリ（６４）と
   を含み、
   前記結果的に生じる動作を決定することは、異なる自律車両中の前記第１のユーザ（５）の数に応じた重み付けを用いて、前記結果的に生じる動作を決定することを含む、車両動作決定器（１）。
9. ユーザ焦点を検出するための前記命令、および脳活動データを収集するための前記命令が第２のユーザについて繰り返され、前記第１の車両が望ましくない動作を実行しているときを決定するための前記命令がさらに、前記第１の車両に焦点を合わせている前記第２のユーザと前記第２のユーザの否定的反応とに基づく、請求項８に記載の車両動作決定器（１）。
10. 前記プロセッサによって実行されたとき、前記車両動作決定器（１）に、
    前記第１の車両の制御パラメータを収集すること
    を行わせる命令（６７）をさらに含み、
    前記第１の車両が望ましくない動作を実行しているときを決定するための前記命令がさらに、前記第１の車両の前記制御パラメータに基づく、請求項８または９に記載の車両動作決定器（１）。
11. 前記制御パラメータが、前記第１の車両の現在の動きを記述する少なくとも１つのパラメータを含む、請求項１０に記載の車両動作決定器（１）。
12. 前記制御パラメータが、前記第１の車両によって運転される道路の道路特性に関係する少なくとも１つのパラメータを含む、請求項１０または１１に記載の車両動作決定器（１）。
13. 結果的に生じる動作を決定する前記命令が、前記プロセッサによって実行されたとき、前記車両動作決定器（１）に前記第１の車両の制御パラメータを考慮することを行わせる命令（６７）を含む、請求項１０から１２のいずれか一項に記載の車両動作決定器（１）。
14. 検出するための前記命令が、前記プロセッサによって実行されたとき、前記車両動作決定器（１）に、注視追跡に基づいてユーザ焦点を検出することを行わせる命令（６７）を含む、請求項８から１３のいずれか一項に記載の車両動作決定器（１）。
15. 脳活動データを収集する前記命令において、前記脳活動データが脳波記録（ＥＥＧ）に基づく、請求項８から１４のいずれか一項に記載の車両動作決定器（１）。
16. ユーザ焦点を検出する前記命令が、前記プロセッサによって実行されたとき、前記車両動作決定器（１）に、前記第１のユーザ（５）からの特定の距離内の第１の車両のみを考慮することを行わせる命令（６７）を含む、請求項８から１５のいずれか一項に記載の車両動作決定器（１）。
17. 前記第１の車両が望ましくない動作を実行しているときを決定する前記命令が、前記プロセッサによって実行されたとき、前記車両動作決定器（１）に、さらに前記第１の車両の現在の地理的ロケーションに基づいて、前記第１の車両が望ましくない動作を実行していることを決定することを行わせる命令（６７）を含む、請求項８から１６のいずれか一項に記載の車両動作決定器（１）。
18. 前記第１の車両が望ましくない動作を実行しているときを決定する前記命令が、前記プロセッサによって実行されたとき、前記車両動作決定器（１）に、さらに前記第１の車両の履歴運転データに基づいて、前記第１の車両が望ましくない動作を実行しているときを決定することを行わせる命令（６７）を含む、請求項８から１７のいずれか一項に記載の車両動作決定器（１）。
19. 結果的に生じる動作を決定する前記命令において、前記結果的に生じる動作が前記自律車両の修正制御動作である、請求項８から１８のいずれか一項に記載の車両動作決定器（１）。
20. 前記プロセッサによって実行されたとき、前記車両動作決定器（１）に、前記第１の車両が望ましくない動作を実行していないとき、前記第１の車両が望ましくない動作を実行していないことを示すフィードバックを前記第１のユーザ（５）に与えることを行わせる命令（６７）をさらに含む、請求項８から１９のいずれか一項に記載の車両動作決定器（１）。
21. 第１の車両の望ましくない動作と、結果的に生じる動作とを決定するためのコンピュータプログラム（６７、９１）であって、車両動作決定器（１）上で実行されたとき、前記車両動作決定器（１）に、
    自律車両中の第１のユーザ（５）が前記第１の車両に焦点を合わせていることを検出することによって、ユーザ焦点を検出することと、
    前記第１のユーザ（５）の脳活動データを収集することと、
    前記脳活動データに基づいて前記第１のユーザ（５）の否定的反応を決定することと、
    前記第１の車両に焦点を合わせている前記第１のユーザ（５）と、前記第１のユーザ（５）の前記否定的反応とに基づいて、前記第１の車両が望ましくない動作を実行しているときを決定することと、
    前記望ましくない動作を実行している前記第１の車両に基づいて、自律車両によって取られるべき前記結果的に生じる動作を決定することと、
    前記結果的に生じる動作を実行するために前記自律車両をトリガすることと
    を行わせるコンピュータプログラムコードを含み、
    前記結果的に生じる動作を決定するステップは、異なる自律車両中の前記第１のユーザ（５）の数に応じた重み付けを用いて、前記結果的に生じる動作を決定することを含む、コンピュータプログラム（６７、９１）。
22. 請求項２１に記載のコンピュータプログラムが記憶されたコンピュータ可読手段。

Images