JP6506805B2 - 自律走行車の決定の評価フレームワーク - Google Patents

Description

本発明の実施形態は、だいたい自律走行車の操作に関する。より具体的には、本発明の実施形態は自律走行車が行った運転決定を評価することに関する。

自律モード（例えば、自律運転）で走行している車両は、乗員（特に運転者）を、特定の運転に関連する責任から解放できる。自律モードで走行している場合、車両は車載センサーで様々な場所にナビゲートすることができ、それにより車両がヒューマンコンピュータインタラクションの最も少ない場合又はいくつかの乗客がない場合で運行することを可能にさせる。

自律運転で、運動計画及び制御は重要な操作である。人間運転者にとって、車両の計画及び制御は主観的な決定過程である。同じ運転状況に直面する２人の異なる人間運転者は、前記運転状況に対して異なる計画及び制御決定を行う可能性がある。自律走行車の運転決定は客観的なものであり、同じ運転状況で同じ運転決定を行うべきである。同じ運転状況に対して、客観的な自律走行車の運転決定と主観的な人間決定との間の違いを説明する評価フレームワークが必要とされる。

本発明の一態様によれば、コンピュータ実施方法を提供し、当該方法は、
複数の自律走行車ログを受信するステップと、
前記複数の自律走行車ログを利用し、自律走行車の運転決定に対応する人間の運転決定を抽出するステップと、
複数の評点指標に基づいて、前記人間の運転決定を評点するステップと、
少なくとも部分的に前記人間の運転決定の点数及び前記人間の運転決定と前記自律走行車の運転決定との比較に基づいて、その後の自律走行車運転のアルゴリズムを変更するための前記自律走行車の運転決定に対する点数を生成するステップと、を含む。

本発明の別の一態様によれば、命令が記憶された非一時的な機械可読媒体を提供し、
前記命令が、プロセッサにより実行される場合、前記プロセッサに操作を実行させ、前記操作は、
複数の自律走行車ログを受信するステップと、
前記複数の自律走行車ログを利用し、自律走行車の運転決定に対応する人間の運転決定を抽出するステップと、
複数の評点指標に基づいて、前記人間の運転決定を評点するステップと、
少なくとも部分的に前記人間の運転決定の点数及び前記人間の運転決定と前記自律走行車の運転決定との比較に基づいて、その後の自律走行車運転のアルゴリズムを変更するための前記自律走行車の運転決定に対する点数を生成するステップと、を含む。

本発明の別の一態様によれば、データ処理システムを提供し、このシステムは、プロセッサと、前記プロセッサに連結されて命令を記憶するメモリと、を備え、
前記命令が、前記プロセッサにより実行される場合、前記プロセッサに操作を実行させ、前記操作は、
複数の自律走行車ログを受信するステップと、
前記複数の自律走行車ログを利用し、自律走行車の運転決定に対応する人間の運転決定を抽出するステップと、
複数の評点指標に基づいて、前記人間の運転決定を評点するステップと、
少なくとも部分的に前記人間の運転決定の点数及び前記人間の運転決定と前記自律走行車の運転決定との比較に基づいて、その後の自律走行車運転のアルゴリズムを変更するための前記自律走行車の運転決定に対する点数を生成するステップと、を含む。

本発明の実施形態は、図面の図に限定されるのではなく例示的に示され、図面の同じ参照符号が同様の要素を示す。

本発明の一実施形態に係るネットワーク化されたシステムの概要を示すブロック図である。 本発明の一実施形態に係る自律走行車（ＡＤＶ）のセンサ及び制御モジュールの例を示すブロック図である。 本発明の一実施形態に係るＡＤＶの感知及び計画システムの例を示すブロック図である。 いくつかの実施形態に係る人間の運転決定及びＡＤＶの運転決定を評価する方法の概要をブロック形式で示す。 １つ以上の運転決定を行うことができる例示的な運転状況である。 いくつかの実施形態に係る人間及びＡＤＶの運転決定を評価する際に使用される情報を生成及び収集する方法をブロック形式で示す。 いくつかの実施形態に係る人間及びＡＤＶの運転決定を評価する方法をブロック形式で示す。 いくつかの実施形態に係る例示的な感知ログを示す。 いくつかの実施形態に係る例示的な運転記録を示す。 いくつかの実施形態に係る例示的なＡＤＶの運転決定記録を示す。 いくつかの実施形態に係る特定の時間にターゲットを参照とする人間の運転決定の点数を示す。 一実施形態に係るデータ処理システムを示すブロック図である。

以下、説明の詳細を参照しながら、本発明の様々な実施形態及び方法を説明し、図面は、前記様々な実施形態を示す。以下の説明及び図面は、本出願を説明するためのものであり、本出願を限定するものではない。本出願の様々な実施形態を完全に把握するために、多数の特定の詳細を説明する。なお、いくつかの例では、本発明の実施形態に対する簡単な説明を提供するために、周知又は従来技術の詳細について説明していない。

本明細書では「一つの実施形態」又は「実施形態」とは、当該実施形態について組み合わせて説明された特定特徴、構造又は特性が、本出願の少なくとも一つの実施形態に含まれてもよい。語句「一つの実施形態では」は、本明細書全体において同一実施形態を指すとは限らない。

いくつかの実施形態によれば、自律走行車は、自律運転計画及び制御機能をオフにするように配置することができる、これにより、人間運転者が前記自律走行車を操作することを可能にする。例えばルート、目的地又は交通タイプ（例えば、高速道路又は都市運転）の運転シーンを選択することができる。人間運転者又はＡＤＶロジックによって自律走行車を操作する場合、複数のセンサは自律走行車の外部のターゲットの位置、距離、速度及び方向を検出することができる。センサ出力は周期的に感知ログに記録され得る。実施形態では、センサ出力は記録前に処理され得る。運転制御入力、例えば運転者によるステアリングホイール、アクセル及びブレーキの使用も、周期的に運転ログに記録され得る。自律走行車の運転決定モジュールはセンサ出力及び制御入力に応答して運転決定を生成することができる。実施形態では、計画及び制御機能がオフされたため、運転決定を自律的に実行するのではなく、運転決定を生成してＡＤＶの運転決定ログに記録することができる。運転が終了した後に、センサ出力、制御入力及び自律走行車の運転決定の記録を終了することができる。実施形態では、感知ログ、運転ログ及びＡＤＶの運転決定ログをサーバにアップロードして分析に供することができる。

別の実施形態では、データ分析システムは、アップロードされた感知ログ、運転ログ及びＡＤＶの運転決定ログを用いて、人間の運転決定を抽出して評点することができる。自律走行車（ＡＤＶ）の運転決定ログは、１つ以上のＡＤＶセンサが検出した複数のターゲットのうちの各ターゲットに対して作成した運転決定のログを含む。しかし、ＡＤＶ計画及び制御モジュールがオフされる場合、ＡＤＶの運転決定を実行しないので、感知ログ及びＡＤＶの運転決定ログでＡＤＶの運転決定の結果を直接評点することができない。更に、人間がＡＤＶを運転する場合、人間運転者は、頭の中で運転決定を行う。したがって、感知ログにおけるターゲットについて、人間の運転決定のログが存在しない。しかし、ＡＤＶの運転決定ログ、感知ログ及び運転ログから人間の運転決定を推算して評点することができる。人間の運転決定は、ＡＤＶの決定が行われる時間とほぼ同じ時間で行われることが多い。実施形態では、人間による運転決定は、ＡＤＶによる運転決定の後に合理的で予測可能な人間反応時間（例えば０．７５秒）で遅延してもよい。したがって、ＡＤＶの運転決定ログ、感知ログ及び運転制御入力ログを用いて、評点られようとする人間の運転決定を抽出することができる。

ＡＤＶの運転決定ログにおいてＡＤＶの運転決定を認識することができる。ＡＤＶに接近する１つ以上のターゲットの速度、距離及び向きを検出し、及びそれらのターゲットの任意の運転制御入力に応答するように、認識されたＡＤＶの運転決定の前の感知ログ及び認識されたＡＤＶの運転決定の後の運転ログを検出することができる。当該情報から、ターゲットに対する人間の運転決定を抽出することができる。人間の運転決定の後の感知ログ及び運転ログを更に分析して、人間の運転決定を評点することができる。例えば、感知ログにおいて、ホーンが鳴るか否か、ＡＤＶがカー又は人などのターゲットに危険に接近するか否か、ＡＤＶを開始する運転者がターゲットを避けるために、黄信号を無視し、急に停止し又は運転車線から離れるか否かを決定することができる。実施形態では、例えば乗客の快適さ、決定安全性、運転規定及び時間効率に合致する指標に基づいて、人間の運転決定を評点することができる。評点られた人間の運転決定をＡＤＶの運転決定と比較することができる。評点られた人間の運転決定、感知ログ及び運転ログはＡＤＶの運転決定の点数を決定することに用いられることができる。

図１は本発明に係る一実施形態に係る自律走行車のネットワーク配置１００を示すブロック図である。図１を参照して、ネットワーク配置１００はネットワーク１０２によって１つ以上のサーバ１０３〜１０４に通信可能に接続することができる自律走行車１０１を含む。１つの自律走行車を示すが、ネットワーク１０２によって複数の自律走行車は互いに接続され、及び／又はサーバ１０３〜１０４に接続されることができる。ネットワーク１０２は、任意のタイプのネットワーク、例えば有線又は無線のローカルエリアネットワーク（ＬＡＮ）、例えばインターネット、セルラーネットワーク、衛星ネットワークの広域ネットワーク（ＷＡＮ）又はその組み合わせであってもよい。サーバ１０３〜１０４は任意のタイプのサーバ又はサーバクラスタ、例えばＷｅｂサーバ又はクラウドサーバ、アプリケーションサーバ、バックエンドサーバ又はその組み合わせであってもよい。サーバ１０３〜１０４は、データ分析サーバ、内容サーバ、交通情報サーバ、地図（マップ）及び興味のあるポイント（ＭＰＯＩ）サーバ又は位置サーバ等であってもよい。以下、図９を参照しながら、例示的なサーバシステムを説明する。

自律走行車１０１とは、自律モードになるように配置できる車両を指し、前記自律モードで車両が運転者からの制御入力が非常に少ない又はない場合にもナビゲーションして環境を通過する。このような自律走行車は１０１、センサーシステム１１５を含んでもよく、前記センサーシステムは車両走行環境に関連する情報を検出するように配置される１つ以上のセンサーを有する。前記車両及びその関連するコントローラは検出した情報を使用してナビゲーションし環境を通過する。自律走行車１０１は、手動モード、完全自律モード又は部分自律モードで運行することができる。

一実施形態において、自律走行車１０１は、感知及び計画システム１１０と、車両制御システム１１１と、無線通信システム１１２と、ユーザインターフェースシステム１１３と、センサーシステム１１５とを含むが、これらに制限されない。自律走行車１０１は、通常の車両に含まれるある一般的な構成要素（部材）、例えばエンジン、車輪、ハンドル、変速器等をさらに含んでもよく、前記構成要素は、車両制御システム１１１及び／又は感知及び計画システム１１０により多種の通信信号及び／又は命令（例えば加速度信号又は命令、減速信号又は命令、ステアリング信号又は命令、ブレーキ信号又は命令等）を使用して制御することができる。

サーバ１０３は、データ分析システムを含んでもよく、当該分析システムは、機器学習エンジン１０３Ａ、運転決定抽出モジュール１０３Ｂ、運転決定評点モジュール１０３Ｃを含む。当該モジュールはそれぞれソフトウェア、ハードウェア、又はこれらの組み合わせにおいて実現されることができる。一実施態様において、モジュール１０３Ａ、１０３Ｂ及び１０３Ｃは少なくとも一つのハードウェアプロセサーを含む。以下、図４、図７及び図８Ｄを参考しながら、運転決定抽出モジュール１０３Ｂと運転決定評点モジュール１０３Ｃの機能を説明する。

構成要素１１０〜１１５は、インターコネクト、バス、ネットワーク又はそれらの組み合わせを介して互いに通信可能に接続することができる。例えば、構成要素１１０〜１１５は、コントローラローカルエリアネットワーク（ＣＡＮ）バスを介して互いに通信可能に接続することができる。ＣＡＮバスは、マイクロコントローラ及び装置がホストコンピューターのない使用において互いに通信することを許可するような車両バス標準として設計される。それはメッセージに基づくプロトコルであり、最初に自動車内における複数の電線のために設計されたが、数多くのその他の環境（状況）にも用いられる。

図２は本発明の一実施形態に係る自律走行車（ＡＶ）のセンサ及び制御モジュールの例を示すブロック図である。

現在、図２を参照して、一実施形態において、センサーシステム１１５は、１つ以上のカメラ２１１と、全地球測位システム（ＧＰＳ）システムユニット２１２と、慣性計測ユニット（ＩＭＵ）２１３と、レーダーユニット２１４と、ＬＩＤＡＲ（光検出及び測距）ユニット２１５とを含むが、これらに制限されない。ＧＰＳユニット２１２は、送受信機を含んでもよく、前記送受信機は、自律走行車の位置に関する情報を提供するように動作することができる。ＩＭＵ２１３は、慣性加速度に基づいて自律走行車の位置及び方向変化を感知することができる。レーダーユニット２１４は、無線信号を利用して自律走行車のローカル環境内の対象を感知するシステムを示すことができる。いくつかの実施形態において、対象を感知する以外、レーダーユニット２１４は、さらに対象の速度及び／又は走行方向を感知することができる。ＬＩＤＡＲユニット２１５はレーザを使用して自律走行車の所在する環境における対象を感知することができる。その他のシステム構成要素以外、ＬＩＤＡＲユニット２１５は１つ以上のレーザ光源、レーザースキャナ及び１つ以上の検出器をさらに含んでもよい。カメラ２１１は、自律走行車の周辺環境の画像をキャプチャするための１つ以上の装置を含んでもよい。カメラ２１１は、スチルカメラ及び／又はビデオカメラであってもよい。カメラは、例えば回転及び／又は傾斜のプラットフォームに取り付けられる、機械的に移動可能なものであってもよい。

センサシステム１１５は、その他のセンサ、例えばソナーセンサ、赤外線センサ、ステアリングセンサ、スロットルセンサ、ブレーキセンサ、及びオーディオセンサ（例えばマイクロフォン）をさらに含んでもよい。オーディオセンサは、自律走行車周辺の環境から音をキャプチャするように配置されてもよい。ステアリングセンサは、ハンドル、車両の車輪又はその組み合わせのステアリング角を感知するように配置できる。スロットルセンサ及びブレーキセンサは、それぞれ車両のスロットル位置及びブレーキ位置を感知する。いくつかの場合、スロットルセンサ及びブレーキセンサは、集積型スロットル／ブレーキセンサに一体化されてもよい。スロットルセンサ、ステアリングセンサ及びブレーキセンサの出力値が運転制御入力ログに記憶されてもよい。センサにより観測された外部のターゲット及び自律走行車の速度、位置、方向がセンサ出力ログまたは「感知」ログに記憶されてもよい。

一実施形態において、車両制御システム１１１は、ステアリングユニット２０１と、スロットルユニット２０２（加速ユニットとも呼ばれる）と、ブレーキユニット２０３とを含むが、これらに制限されない。ステアリングユニット２０１は、車両の方向又は走行方向を調整することに用いられる。スロットルユニット２０２は、モーター又はエンジンの速度を制御して、続いて車両の速度及び加速度を制御することに用いられる。ブレーキユニット２０３は、摩擦を提供することによって車両の車輪又はタイヤをスローダウンして車両を減速させることに用いられる。注意すべきなのは、図２に示すような構成要素はハードウェア、ソフトウェア又はその組み合わせで実現されることができる。

図１を再び参照して、無線通信システム１１２は、自律走行車１０１と、例えば装置、センサ、その他の車両等の外部システムとの間に通信することを許可する。例えば、無線通信システム１１２は、１つ以上の装置に直接に又は通信ネットワークを介して無線通信し、例えばネットワーク１０２によってサーバ１０３〜１０４に通信することができる。無線通信システム１１２は、任意のセルラー通信ネットワーク又は無線ローカルエリアネットワーク（ＷＬＡＮ）（例えばＷｉＦｉ）を使用して他の構成要素やシステムに通信できる。無線通信システム１１２は、例えば赤外線リンク、ブルートゥース等を使用して装置（例えば、乗客の移動装置、表示装置、車両１０１内のスピーカー）に直接に通信できる。ユーザインターフェースシステム１１３は、車両１０１内で実行される周辺装置の一部であってもよく、例えばキーボード、タッチスクリーンディスプレイ装置、マイクロフォン、及びスピーカー等を含む。

自律走行車１０１の一部又は全ての機能は、特に自律運転モードで操作する場合、感知及び計画システム１１０により制御したり管理したりすることができる。感知及び計画システム１１０は、必要なハードウェア（例えば、プロセッサ、メモリ、メモリ）、及びソフトウェア（例えば、オペレーティングシステム、計画、及び経路プログラム）を含み、センサシステム１１５、車両制御システム１１１、無線通信システム１１２、及び／又はユーザインターフェースシステム１１３から情報を受信し、受信された情報を処理し、出発地から目的地までの経路やルートを計画し、そして計画及び制御情報に基づいて車両１０１を運転させる。あるいは、感知及び計画システム１１０と車両制御システム１１１とは一体化されてもよい。一実行態様において、感知及び計画システム１１０の計画部分を無効にさせてもよい。一実行態様において、制御システム１１１をオフしてもよい。感知及び計画モジュールがオフされた場合、自律走行車１０１が人間運転手によって運転されることができる。

例えば、乗客のユーザとして、例えばユーザインターフェースシステム１１３によって旅程の出発位置及び目的位置を指定することができる。感知及び計画システム１１０は旅関連データを取得する。例えば、感知及び計画システム１１０は、ＭＰＯＩサーバから位置及びルート情報を取得することができ、前記ＭＰＯＩサーバはサーバ１０３〜１０４の一部であってもよい。位置サーバは、位置サービスを提供し、かつＭＰＯＩサーバはマップサービス及びある位置のＰＯＩを提供する。あるいは、このような位置及びＭＰＯＩ情報は、感知及び計画システム１１０の永続記憶装置にローカルでキャッシュされることができる。

自律走行車１０１がルートに沿って移動する時に、感知及び計画システム１１０は、さらに交通情報システムやサーバ（ＴＩＳ）からリアルタイム交通情報を取得できる。注意すべきなのは、サーバ１０３〜１０４は、第三者エンティティにより動作されることができる。あるいは、サーバ１０３〜１０４の機能は、感知及び計画システム１１０と一体化されてもよい。リアルタイム交通情報、ＭＰＯＩ情報、位置情報、及びセンサシステム１１５が検出又は感知したリアルタイムなローカル環境データ（例えば、障害物、対象、付近車両）に基づいて、感知及び計画システム１１０は、安全で効果的に指定した目的地に到達するように、最適なルートを計画し、かつ計画したルートにより例えば車両制御システム１１１を介して車両１０１を運転することができる。

自律走行車１０１において、実際の又は物理的なウィンドウが存在しない場合がある。より正確に言えば、「ウィンドウ」（本明細書では仮想ウィンドウと呼ぶ）は、タッチスクリーンを選択的に有する表示装置、すなわち車窓の形に成形された平坦又は湾曲のスクリーン表示装置で表示又は置換されてもよい。表示装置は、適切なカメラによってリアルタイムで動的に捕捉した画像又は画像ストリーム（例えば、ビデオ）を表示して、ユーザが透明ウィンドウを介して実際の物理的な内容を観察したり見たりするようにである。「ウィンドウ」（例えば、表示装置）のそれぞれについて、リアルタイムに表示される対応する内容をストリーミングするための対応する表示チャネルが存在することができ、当該内容は、例えばデータ処理システム１１０の拡張現実システムで集中処理されてもよい。当該場合、拡張された画像が、データ処理システム１１０によってバーチャルリアリティーの方式（拡張現実方式とも呼ばれる）で表示される。

本明細書で記述された実施形態では、人間運転者が自律走行車１０１を運転する時に、計画及び制御モジュールがオフされる場合、センサシステム１１５における各センサからの出力を記録することができる。人間運転者は、制御システム１１１のユニットへの入力を設定することができる。人間が自律走行車１０１を運転する場合、ステアリングユニット２０１、スロットルユニット２０２及びブレーキユニット２０３への人間の入力は、人間運転者が取る動作を捕捉する「運転ログ」に記録され得る。センサログ及び運転ログがサーバ１０３にアップロードされることができる。実施形態では、センサ及び運転ログは、リアルタイムにアップロードされ又はほぼリアルタイムにアップロードされる。

図３は、本発明の一実施形態に係る自律走行車１０１と共に使用される感知及び計画システム１１０の例を示すブロック図である。システム３００は、図１の自律走行車１０１の一部（感知及び計画システム１１０、車両制御システム１１１及びセンサシステム１１５を含むが、これらに制限されない）となるように実現されることができる。図３を参照し、感知及び計画システム１１０は、位置決めモジュール３０１、感知モジュール３０２、決定モジュール３０３、計画モジュール３０４、制御モジュール３０５、記録モジュール３０６を含むが、これらに制限されない。

モジュール３０１〜３０６における一部又は全部は、ソフトウェア、ハードウェア又はその組み合わせで実現されてもよい。例えば、これらのモジュールは、永続記憶装置３５２に取り付けられ、メモリ３５１にロードされ、かつ１つ以上のプロセッサ（図示せず）により実行されてもよい。注意すべきなのは、これらのモジュールにおける一部又は全部は、図２の車両制御システム１１１の一部又は全部のモジュールに通信可能に接続されてもよく、一体化されてもよい。モジュール３０１〜３０６における一部は、一緒に集積モジュールとして一体化されてもよい。

位置決めモジュール３０１（地図及びルーティングモジュールとも言われる）は、ユーザの旅程又はルートに関連する任意のデータを管理する。ユーザは、例えばユーザインターフェースを介してログインするとともに旅程の出発位置及び目的位置を指定してもい。位置決めモジュール３０１は、旅程に関連するデータを取得するように、自律走行車（システム）３００のその他の構成要素（例えば地図及びルート情報３１１）と通信する。例えば、位置決めモジュール３０１は、位置サーバと、地図及びＰＯＩ（ＭＰＯＩ）サーバから位置及びルート情報を取得することができる。位置サーバは、位置サービスを提供し、かつＭＰＯＩサーバは、地図及びルート情報３１１の一部としてキャッシュされてもよい地図サービスと特定な位置のＰＯＩとを提供する。システム３００がルートに沿って移動する時に、位置決めモジュール３０１は、さらに交通情報システムやサーバからリアルタイム交通情報を取得することができる。

センサシステム１１５により提供されたセンサデータ、及び位置決めモジュール３０１により得られた位置決め情報に基づいて、感知モジュール３０２は周辺環境に対する感知を決定する。感知情報は、普通の運転者が自分で運転している車両周辺から感知したもの（状況）を示すことができる。感知情報は、例えば対象形式で現される車線配置（例えば、ストレート又はカーブ）、トラフィック信号、他の車両の相対位置、歩行者、建築物、横断歩道又はその他の交通関連標識（例えば、停止標識、譲り標識）などを含んでもよい。

感知モジュール３０２は、コンピュータビジョンシステム又はコンピュータビジョンシステムの機能を含んでもよく、自律走行車環境における対象及び／又は特徴を認識するように、１つ以上のカメラによりキャプチャされた画像を処理及び分析することに用いられる。前記対象は交通信号、車道の境界線、他の車両、歩行者及び／又は障害物等を含んでもよい。コンピュータビジョンシステムは、対象認識アルゴリズム、ビデオトラッキング及びその他のコンピュータビジョン技術を使用することができる。いくつかの実施形態において、コンピュータビジョンシステムは、環境をマッピングし、対象を追跡し、かつ対象の速度を推定することなどができる。感知モジュール３０２は、その他のセンサ（例えばレーダー及び／又はＬＩＤＡＲ）により提供されたその他のセンサデータに基づいて対象を検出することもできる。

それぞれの対象に対して、決定モジュール３０３は、如何に対象を処理する決定をすることができる。例えば、特定な対象（例えば、交差ルートにおける他の車両）及び対象を記述するメタデータ（例えば、速度、方向、ステアリング角）に対して、決定モジュール３０３は、遇う対象に如何に対応する（例えば、追い越し、道譲り、停止、通過）ことを決定する。決定モジュール３０３は、永続記憶装置３５２に記憶されてもよい１セットのルール（例えば交通ルール）に基づいてこのような決定をすることができる。

感知したそれぞれ対象に対する決定に基づいて、計画モジュール３０４は、自律走行車のために経路又はルート及び運転パラメータ（例えば、距離、速度及び／又はステアリング角）を計画する。すなわち、所定対象に対して、決定モジュール３０３は前記対象に対して如何に対応するかを決定し、計画モジュール３０４は如何に実行するかを決定する。例えば、所定対象に対して、決定モジュール３０３は、前記対象を追い越すことを決定することができ、計画モジュール３０４は、前記対象の左側に追い越すか、右側に追い越すかを決定することができる。計画モジュール３０４は、計画及び制御データを生成し、車両３００が次の移動周期（例えば、次のルート／経路セグメント）に如何に移動するかを記述する情報を含む。例えば、計画及び制御データは車両３００が毎時間３０マイル（ｍｐｈ）の速度で１０メートル移動し、次に２５ｍｐｈの速度で右車線まで変わることを指示することができる。

計画及び制御データに基づいて、制御モジュール３０５は計画及び制御データにより定義されたルート又は経路に基づいて、車両制御システム１１１へ適切な命令又は信号を送信することによって自律走行車を制御及び運転する。前記経路又はルートに沿って違う場所で適時に適切な車両設置又は運転パラメータ（例えば、スロットル、ブレーキ及びステアリング命令）を使用して自律走行車１０１を第１点から第２点まで運転するように、計画及び制御データは十分な情報を含む。

注意すべきなのは、決定モジュール３０３及び計画モジュール３０４は、集積モジュールに一体化されてもよい。決定モジュール３０３／計画モジュール３０４は、自律走行車の運転経路を決定するために、ナビゲーションシステム又はナビゲーションシステムの機能を含んでもよい。例えば、ナビゲーションシステムは、自律走行車が以下の経路に沿って移動することを実現するための一連の速度及びディレクショナ走行方向を決定することができ、前記経路は、自律走行車を総体的に最終目的位置を向けて通じる車線経路に進ませると同時に、基本的に感知された障害物を避けることができる。目的地はユーザインターフェースシステム１１３により実現されたユーザ入力に基づいて設置できる。ナビゲーションシステムは、自律走行車が走行していると同時に走行経路を動的に更新することができる。ナビゲーションシステムは、自律走行車用の走行経路を決定するように、ＧＰＳシステム及び１つ以上の地図からのデータを合併することができる。

決定モジュール３０３／計画モジュール３０４は、自律走行車環境における潜在障害物を、認識・評価・回避又はその他の方式で迂回するために、衝突回避システム又は衝突回避システムの機能をさらに含んでもよい。例えば、衝突回避システムは、以下の方式によって自律走行車のナビゲーションにおける変更を実現することができ、車両制御システム１１１のうちの１つ以上のサブシステムを動作してターン操縦、ステアリング操縦、ブレーキ操縦等を採る。衝突回避システムは、周辺の交通モード、道路状況等に基づいて障害物を回避可能な操縦を自動的に決定することができる。衝突回避システムは、その他のセンサシステムは、自律走行車がターンして入ろうとする隣接領域における車両、建築障害物等を検出する際にターン操縦を採らないように配置できる。衝突回避システムは、使用可能でありかつ自律走行車の乗員の安全性を最大化させる操縦を自動的に選択することができる。衝突回避システムは、自律走行車の乗員室内で最小の加速度を出現させることが予測された回避操縦を選択することができる。

記録モジュール３０６は、感知モジュール３０２からデータを受信し、決定モジュール３０３からＡＤＶ決定を受信し、及び制御システム１１１から制御システム入力を受信することができる。実施形態では、制御システム１１１からの制御入力は利用可能であり、代わりに又は加えに、制御モジュール３０５からの制御入力も利用可能である。記録モジュール３０６は、センサシステム１１５で検知されたターゲットの感知データを感知モジュール３０２を介して受信することができる。実施形態では、感知情報を記録モジュール３０６に伝送する前に、感知モジュール３０２は、センサシステム１１５からの１つ以上のセンサ出力を処理することができる。例えば、感知モジュール３０２は、ＬＩＤＡＲで決定された距離とＧＰＳ又はＲＡＤＡＲで決定された方向を結合することで、ターゲットの位置を決定することができる。ターゲットの位置は、生のセンサデータを記憶するのではなく、感知モジュール３０２を介して記録モジュール３０６へ伝送されて感知ログに記録される。記録モジュール３０６は、ＡＤＶ１０１における永続記憶装置３５２において感知ログデータを感知ログ３１２に書き込み且つ人間の運転制御入力を人間運転ログ３１３に書き込むことができる。

記録モジュール３０６は制御システム１１１から運転制御入力を受信することができる。運転制御入力は、ブレーキユニット２０３からのブレーキ入力量、ステアリングユニット２０１からのステアリング入力量及びスロットルユニット２０２からのスロットル入力量を含むことができる。実施形態では、これらの入力は、人間運転者への応答である。実施形態では、これらの入力は計画モジュール３０４及び制御モジュール３０５で決定される。実施形態では、人間がＡＤＶを運転する場合、計画モジュール３０４及び制御モジュール３０５がオフされることができる。

記録モジュール３０６は、決定モジュール３０３からＡＤＶの運転決定を受信することもできる。ＡＤＶの運転決定は各ターゲットに基づいてもよい。ＡＤＶの運転決定はターゲットを追い越すこと、ターゲットを譲ること、ＡＤＶを停止させること又はターゲットを無視することを含む。ＡＤＶの運転決定ログは永続記憶装置３５２におけるＡＤＶの運転決定ログ３１４に記憶できる。

人間運転ログ３１３、感知ログ３１２及びＡＤＶの運転決定ログ３１３は記録情報を含む。記録モジュール３０６は、ＡＤＶ１０１の永続記憶装置３５２にリアルタイム又はほぼリアルタイムに記録情報を記憶できる。更に、又は代わりに、記録モジュール３０６はネットワーク１０２を介してサーバ１０３へ記録情報を伝送できる。実施形態では、記録モジュール３０６はサーバ１０３へリアルタイム又はほぼリアルタイムに記録情報を伝送できる。実施形態では、運転シーンが完了した後又は別の時間に、記録モジュール３０６はサーバ１０３へ記録情報を伝送できる。

注意すべきなのは、前記の示されたとともに記述された一部又は全部の構成要素は、ソフトウェア、ハードウェア又はその組み合わせで実現されることができる。例えば、このような構成要素は、永続記憶装置にインストールされるとともに記憶されたソフトウェアとして実現されてもよく、前記ソフトウェアは、本出願にわたって記載の手順又は動作を実施するように、プロセッサ（図示せず）でメモリにロードして実行されてもよい。あるいは、このような構成要素は、集積回路（例えば特定用途向けＩＣ又はＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ））にプログラミングされ又は嵌め込みされた専用ハードウェアにおける実行可能なコードとして実現されてもよく、前記実行可能なコードは、アプリケーションからの対応するドライバープログラム及び／又はオペレーティングシステムによってアクセスされてもよい。なお、このような構成要素は、プロセッサ又はプロセッサコアにおける特定のハードウェアロジックとして実現されてもよく、ソフトウェア構成要素が１つ以上の特定命令によってアクセス可能な命令セットの一部とする。

図４はいくつかの実施形態に係る人間及びＡＤＶの運転決定を評価する方法４００の概要をブロック形式で示す。

操作４０５で、運転シーンを選択することができる。評価の目的で実際の世界のルートを選択することができる。運転シーンに対して選択した通り／道路は、例えば交通制御信号又は信号機等で制御されないパブリック通り／道路であってもよく、又は必要があれば、制御され又は部分的に制御された通りであってもよい。評価をより一般的にするために、異なるタイプの道路を有する１組のシーン、例えば高速道路、都市、郊外を推薦する。

操作４１０で、ユーザは自律走行車（ＡＤＶ）１０１の運転を開始する。人間のユーザは、計画及び制御機能をオフにする場合、ＡＤＶ１０１を運転することができる。ＡＤＶは、感知モジュール３０２が感知した各ターゲットに対する決定を記録するＡＤＶの運転決定ログ３１４と、ＡＤＶ１０１の車両速度、位置及び方向を含むことができる人間運転ログ３１３と、感知モジュール３０２が検知したターゲットと検知した各ターゲットの速度、位置及び方向の感知ログ３１２という３つのタイプの情報を記録することができる。

操作４１５で、記録モジュール３０６は人間運転ログ３１３を生成することができる。

操作４２０で、記録モジュール３０６は感知ログ３１２を生成することができる。

操作４３５で、記録モジュール３０６はＡＤＶの運転決定ログ３１４を生成することができる。

操作４２５で、人間の運転決定抽出モジュール１０３Ｂによって人間の運転決定を抽出することができる。人間の運転決定抽出モジュール１０３Ｂは人間運転ログ３１３及び感知ログ３１２に基づいて人間の運転決定を取得することができ、ＡＤＶの運転決定ログ３１４を取得することができる。

操作４３０で、人間運転評点モジュール１０３Ｃは人間運転ログ３１３、感知ログ３１２に基づいて人間の運転決定を評点することができる。人間運転評点モジュール１０３Ｃは、快適さ、交通ルールの遵守度、安全性及び時間効率の点で、各決定を自動的に評点することができる。

操作４４０で、人間の運転決定に対応するＡＤＶ決定を人間の運転決定と比較することができる。操作４４５で、ＡＤＶ決定は操作４４０での比較、運転ログ３１３及び感知ログ３１２に基づいて評点することができる。ＡＤＶ決定が人間決定と同じである場合、操作４５０で、人間の運転決定点数がＡＤＶの運転決定点数に用いられることができる。ＡＤＶ決定が人間決定と同じでない場合、操作４５０で、人間の運転決定点数とＡＤＶの運転決定点数との違いを利用してＡＤＶの運転決定点数を変更又は生成することができる。

図５は１つ以上の運転決定を行うことができる運転シーン５００の例である。以下の運転シーンでは、ターゲットの速度、距離及び方向はＡＤＶ１０１に対するものである。実施形態では、運転シーンにおけるターゲットの速度、距離及び方向は、例えばＧＰＳ又はマップ座標系の座標系に関して示すことができる。速度、距離及び方向がＡＤＶ１０１に対応するものである実施形態では、ＡＤＶ１０１の方向は、０°＝ＡＤＶ１０１の「直進」であってもよく、ＡＤＶの前方に左から右へ走行するターゲット（例えば自動車５１０）が正方向(例えば＋９０°又は→)を有することができる。ＡＤＶ１０１の前方に右から左へ走行するターゲット（例えば歩行者／犬５１２）は負方向(例えば〜９０°又は←)を有することができる。

このシーンで、ＡＤＶ１０１は、交差点の各コーナーに横断歩道５１３を有する４方向交差点に接近している。ＡＤＶ１０１は、ＡＤＶ１０１用のＡＤＶ決定ログ３１４、人間運転ログ３１３及び感知ログ３１２を収集できるサーバ１０３と通信する。更に、このシーンで、ＡＤＶ１０１に対して、各種のターゲットは検出され且つ感知ログ３１２に記録される。ターゲットは接近している自動車５１０、建物５１１、歩行者及び犬５１２、ＡＤＶ１０１と隣接する運転車線５１４の右側縁及び運転車線５１５の右側縁を含む。

ＡＤＶ１０１は、運転車線５１５ＡＤＶ１０１に対して、一定の速度、距離及び方向で交差点横断歩道５１３に接近している。時間ｔ０に、ＡＤＶ１０１は、２５ｍｐｈで、運転車線５１５ＡＤＶ１０１に対して０°（直進）の状態で走行してもよい。自動車５１０は、２５ｍｐｈで、ＡＤＶ１０１から１０１フィート離れる距離に位置し、ＡＤＶ１０１に対して-７５°となり、ＡＤＶ１０１に対して＋９０°に配向される状態で走行してもよい。簡単に言えば、自動車５１０は、ＡＤＶ１０１から約１００フィート離れ、２５ｍｐｈでＡＤＶ１０１の左側から交差点に接近する。時間ｔ０に、ＡＤＶ１０１は、自動車５１０を追い越すか否か、停止するか否か、自動車５１０を譲るか否か又は自動車５１０を無視するか否かという決定を行うことができる。

ＡＤＶ１０１は建築物５１１を感知することができる。建築物が固定ターゲットであるため、時間ｔ０に、建築物５１１の速度が０ｍｐｈである。時間ｔ０に、建築物５１１は、ＡＤＶ１０１に対して-２８°に位置し且つＡＤＶ１０１から１１１フィート離れる。建築物５１１は固定であるため、方向性を有しない。

更に、ＡＤＶ１０１は、異なる方向から交差点に接近している歩行者及び犬５１２（又は「歩行者」のみ）を感知することができる。時間ｔ０に、歩行者５１２は、３ｍｐｈで、ＡＤＶ１０１に対して＋３６°に位置し且つＡＤＶ１０１から４０′離れる位置に移動している。簡単に言えば、人及び彼の犬は、自動車５１０が固定の運転速度でＡＤＶ１０１の左側から交差点に接近する時間とほぼ同時に、歩行速度で右側から横断歩道５１３に接近する。ＡＤＶ１０１、自動車５１０及び歩行者５１２がそれぞれの現在の速度及び方向で走行し続ける場合、歩行者５１２は、自動車５１０が交差点を通過する時間とほぼ同時に、ＡＤＶ１０１が横断歩道５１３を横断し且つ交差点に入る時間とほぼ同時に、横断歩道５１３に入ることができる。ある場合、法律により、横断歩道に入る歩行者は横断歩道５１３を含む交差点に入る自動車より優先権を有する。ある場合、２つの自動車が同時に１つ交差点に接近する場合、右側の自動車（この場合、ＡＤＶ１０１）は、法律により左側の自動車（この場合、自動車５１０）を譲るべきである。本開示の評価フレームワークで、ＡＤＶ１０１及びＡＤＶ１０１の人間運転者は、いずれも、すべてのターゲットを配慮した運転決定を行う必要があり、前記ターゲットは、ＡＤＶ１０１、自動車５１０、建築物５１１、歩行者５１２及び横断歩道５１３である。各ターゲット５１０〜５１３に対して、ターゲットを追い越すこと、ターゲットを譲ること、停止すること又はターゲットを無視するという決定を行う。

人間決定は主観的であり、運転者によって変化する。一番最初に交差点を通過するために、第１運転者は、自動車５１０及び歩行者５１２を追い越し（したがって、横断歩道５１３を追い越す）且つ建築物５１１を無視することを決定することができる。この決定は、交差点を通過する最大速度、交差点にほかの車両を譲ること、及び横断歩道に歩行者のために停止することを含む１つ以上の交通ルールを違反する可能性があるが、運転時間を節約する。自動車５１０又は歩行者５１２を避けるように、前記決定は、同様に、車線位置での加速及び可能な揺れ又は急カーブを必要とする可能性がある。ＡＤＶ乗客が前方及び側面加速の両方を経験する時に、乗客の快適さを低下させる可能性がある。ＡＤＶ１０１の第２運転者は、減速を選択して自動車５１０のために交差点を譲り、歩行者５１２が横断歩道５１３内において通りを横断することを可能にするように、横断歩道５１３の前の５フィートの場所で停止する。この決定はすべての規則に従い、自動車５１０と可能な衝突又は歩行者５１２への損傷を避けることによって、安全性を向上させ、及び快適に減速する。しかしながら、決定は、時間効率を低下させる恐れがある。ＡＤＶ１０１の決定モジュール３０３は、異なる決定を行うことができ、例えば交差点に入った自動車５１０を譲るが、歩行者５１２を追い越すことによって横断歩道５１３を通過し、及び建築物５１１を無視する。後述するように、本明細書に開示される評価システムは、人間の運転決定及びＡＤＶの運転決定を比較して評点することができる。

図６はいくつかの実施形態に係る人間の運転決定及びＡＤＶの運転決定を評価する際に使用される情報を生成し収集する方法６００をブロック形式で示す。実施形態では、例えば人間運転者がＡＤＶ１０１を運転する場合、方法６００は、オンラインで、リアルタイム又はほぼリアルタイムに達成することができる。実施形態では、収集した情報は、例えばネットワーク１０２を介してサーバ１０３へ伝送されることができる。さらに、又は代わりに、人間運転者がＡＤＶ１０１を運転する場合、収集した情報は、例えばＡＤＶの永続記憶装置３５２に記憶されてもよい。

操作６０５で、評価用の運転シーンを選択できる。運転シーンは、具体的な目的地、交通タイプ（重型対軽型）、運転速度（高速道路対町）、一日の時間（通勤交通対週末交通対平日の正午の交通）、旅程の長さ（短い対長い）、人間運転者が運転地域に詳しいか否か、又は他の運転シーンを含む。

操作６１０で、ＡＤＶ計画モジュール３０４及び制御モジュール３０５をオフにすることができる。ＡＤＶの運転決定モジュール３０３が依然としてアクティブであり、ＡＤＶの運転決定を行って記録するが、ＡＤＶ１０１によってＡＤＶの運転決定を計画又は実行しない。変わりに、人間運転者はＡＤＶの加速、ブレーキ及びステアリングを制御する。

操作６１５で、人間のユーザはＡＤＶの運転を開始することができる。

操作６２０で、ＡＤＶ制御システム１１１は、人間運転者から１つ以上の運転制御入力を受信することができる。運転制御入力は、スロットル入力２０２（減速を含む）、ブレーキ入力２０３及びステアリング入力２０１（右、左又は中央の量）を含むことができる。運転制御入力１１１は、入力が印加されるレートなどの入力の派生物を含んでもよく、例えば人間運転者がスロットル又はブレーキの制御部を「強く踏み」、又は急激に左又は右へステアリングを「回す」。運転制御入力は記録モジュール３０６に伝送されることができる。

操作６２５で、記録モジュール３０６は、ＡＤＶセンサシステム１１５における複数のセンサから出力を受信することができる。複数のセンサの出力は１つ以上のターゲットの属性を検出し又は示すことができる。例えば、カメラ２１１は、移動ターゲット又は固定ターゲット、例えば自動車５１０、建物５１１又は歩行者５１２の存在を検出することができ、ＬＩＤＡＲユニット２１５はターゲットとＡＤＶ１０１との距離を検出することができる。ＲＡＤＡＲユニット２１４はターゲットの距離、方向及び速度を検出することができる。ＧＰＳユニット２１２はターゲットのＧＰＳ座標に対する位置を検出することができる。実施形態では、ターゲットの速度、位置又は方向の決定精度を向上させるために、１つ以上のセンサの出力をともに使用してもよい。

操作６３０で、記録モジュール３０６はＡＤＶの運転決定モジュール３０３が生成した１つ以上の運転決定を受信することができる。上記操作６１０ではＡＤＶ計画モジュール３０４及び制御モジュール３０５がオフされたため、ＡＤＶの運転決定を実行しない。ＡＤＶの運転決定は記録モジュール３０６に伝送されることができる。

操作６３５では、操作６２５で記録モジュール３０６がセンサ１１５から受信した出力は、周期的にタイムスタンプされ且つ感知ログ３１２に記憶され得る。以下、図８Ａを参照して例示的な感知ログ８００を説明する。記録モジュール３０６が操作６２０で受信した１つ以上の運転制御入力は、タイムスタンプされ且つ運転ログ３１３に書き込まれ得る。以下、図８Ｂを参照して例示的な運転ログを説明する。記録モジュール３０６が操作６３０で受信した１つ以上のＡＤＶの運転決定は、タイムスタンプされ且つＡＤＶの運転決定ログ３１４として記録され得る。以下、図８Ｃを参照して例示的なＡＤＶの運転決定ログを説明する。

操作６４０で、運転を継続するか否かを決定することができる。ＡＤＶが移動しているか否かに基づいて前記決定を推測することができる。そうであれば、運転を継続する。操作６０５で選択した運転シーンがルート及び／又は目的地を有する場合、ＡＤＶが目的地に到着することから、運転が終止する決定を推測することができ、且つ停止される。さもないと、ＡＤＶは、運転を終止する明示的な指示を受信するまで、運転を継続すると推測することができる。

操作６４０で運転を継続する場合、方法６００は、操作６２０に進む。さもないと、方法６００は、操作６４５に進む。

操作６４５で、ＡＤＶ決定モジュール３０３は、ＡＤＶの運転決定の生成を停止し、記録モジュール３０６は、感知ログ３１２、運転制御ログ３１３及びＡＤＶ決定ログ３１４の書き込みを停止し、方法６００は終了する。

図７はいくつかの実施形態に係る人間及びＡＤＶの運転決定を評価する方法７００をブロック形式で示す。実施形態では、例えばサーバ１０３のデータ分析システムによってオフラインで方法７００を実行することができる。実施形態では、リアルタイム又はほぼリアルタイムに方法７００を実行し、又は方法７００で使用されたデータが収集された直後に、方法７００を実行することができる。方法７００は、単一のＡＤＶに対して人間の運転決定及びＡＤＶの運転決定を評価するために用いられることができる。実施形態では、方法７００は大量のＡＤＶに対して人間の運転決定及びＡＤＶの運転決定を評価することができる。

操作７０５で、運転シーンを選択して、評価フレームワークの結果を特定の運転シーンに絞り込むことができる。

操作７１０で、時間範囲を用いて、方法７００用の記録情報を絞り込むことができ、又はすべての（ＡＬＬ）データを選択してもよい。記録情報は、操作７０５で選択されたシーン用の感知ログ３１２、運転ログ３１３及びＡＤＶの運転決定ログ３１４を含む。

操作７１５で、選択されたシーンに対して、ＡＤＶの運転決定ログ３１４においてＡＤＶの運転決定を認識することができ、且つ例えば操作７１０における時間範囲によって制限される。運転決定はターゲット専用である。例えば、図８Ｃの例示的な運転決定ログ８１０に記載されているように、時間ｔ０に自動車５１０に対するＡＤＶ１０１運転決定は、「自動車５１０を追い越す」ことであってもよい。時間ｔ２に、横断歩道５１３に対するほかの例示的なＡＤＶの運転決定は、「横断歩道５１３の前に停止する」ことであってもよい。

操作７２０で、感知ログ３１２及び運転ログ３１３でＡＤＶの運転決定に対応する人間の運転決定を抽出することができる。人間は、約０．７５秒の通常反応時間を有する。感知モジュール３０３におけるセンサから受信したデータに応答し、ＡＤＶの運転決定をほぼ瞬間的に行うことができる。したがって、例えば時間ｔ０に作成されたＡＤＶの運転決定は、時間ｔ１での人間の運転決定により密接に対応することができる。したがって、人間決定を抽出してＡＤＶの運転決定と比較することは、ＡＤＶの運転決定の直後にすぐ感知ログ３１２及び運転ログ３１３を検査することを含む。更に運転ログ３１３における運転入力から人間の運転決定を推測することができる。人間又はＡＤＶによって行われたターゲットに関する運転決定は、運転入力をもたらし、又は決定が「ターゲットを無視する」ことである場合、運転入力の欠如をもたらす。したがって、ＡＤＶが運転決定を行う場合、人間運転者も運転決定を行うことができ、人間決定は、ＡＤＶ決定の後に人間の反応時間に対応する時間に行われてもよい。

操作７２５で、例えばサーバ１０３の評点モジュール１０３Ｃで人間の運転決定を評点することができる。決定の点数は、安全性、ＡＤＶ内部の運転者及び／又は乗客の快適さ、運転ルール（法規）の遵守度及び時間効率に対する指標を含む。実施形態では、各指標に０〜１の点数を与えることができる。例えば、運転決定評点モジュール１０３Ｃは、接近している自動車に対して、人間が前記接近している自動車を譲り且つそれが通過することを可能にすることを決定することができる。減少したスロットル入力２０２、向上したブレーキ入力２０３を指示する運転ログ３１３、及び接近している自動車が安全であると考えられる距離に乗客の不快適を引き起こさない減速でブレーキしてＡＤＶ１０１の前方を通過することを指示する感知ログ３１２から、前記決定を推測することができ、前記譲り決定を実行する手順に、いずれかの交通ルールを違反しない。時間効率は、ＡＤＶが減速し且つ運転速度を回復することにかかる実際時間対例えば譲り決定を行っていない、経過した評価時間によって決定されることができる。

操作７３０で、運転決定評点モジュール１０３Ｃは、人間の運転決定をＡＤＶの運転決定と比較することができる。ＡＤＶの計画及び制御モジュールが運転シーンにおいてオフされ且つ人間がＡＤＶを運転するため、運転ログ３１３及び感知ログ３１２からＡＤＶの運転決定の影響を直接決定できない。ところが、依然として感知ログ３１２及び運転ログ３１３でＡＤＶの運転決定点数を評価することができる。以下、図８Ｄを参照して、人間決定及びＡＤＶ決定を比較した後にＡＤＶの運転決定の点数を評価する例を説明する。

操作７３５で、ＡＤＶの運転決定評点モジュール１０３Ｃは人間の運転決定、ＡＤＶの運転決定、人間の運転決定点数及び評価したＡＤＶの運転決定点数との比較に基づいて、ＡＤＶの運転決定点数を選択的に変更することができる。

操作７４０で、より多くの分析しようとするＡＤＶ決定が存在するか否かを決定することができる。そうであれば、方法７００は操作７１５で再開し、さもないと方法７００は終了する。

図８Ａはいくつかの実施形態に係る例示的な感知ログ８００を示す。感知ログ３１２（感知ログ８００がその例である）は、運転シーンの期間に記録される、センサが出力したログである。複数の時間増分に対して、感知ログ３１２はＡＤＶセンサが感知したターゲット、各ターゲットの速度、各ターゲットの位置及び各ターゲットの方向を認識する。例示的な感知ログ８００は、時間ｔ０、ｔ１及びｔ２に、ＡＤＶ１０１、自動車５１０、建築物５１１、人／犬５１２、横断歩道５１３、ＡＤＶ１０１車線の左側縁５１４及びＡＤＶ１０１車線の右側縁５１５というターゲットに対して記録した情報を示す。これらは単なる例である。記録した情報は、テーブル、スプレッドシート、データベーステーブル又はその他のフォーマットを含む複数種のフォーマットで示すことができる。各ターゲットに対して、各時間増分に、ターゲットの速度、ターゲットの位置及びターゲットの方向は、感知ログ３１２に記録され得る。実施形態では、２Ｄ又は３Ｄ座標において、当該位置を示すことができ、且つ当該位置との距離を計算することができる。実施形態では、位置、ＡＤＶ１０１との距離及び既知点の周りを回転する角度、例えばグリッド又はＡＤＶ１０１正方向の方向が極座標フォーマットで記憶されることができる。実施形態では、方向は、汎用標準、例えば北又はＧＰＳグリッドに対応するものであってもよい。実施形態では、方向は、ＡＤＶ１０１の正方向に対応するものであってもよい。実施形態では、感知ログ３１２は、感知ログ３１２のエントリに対応する１つ以上のターゲットの画像をさらに記録することができる。

実施形態では、生のセンサ出力を処理して所望の情報を取得することができる。例えば、センサシステム１１５における複数のセンサの出力でターゲット（例えば、自動車５１０）の方向を取得することができる。ＬＩＤＡＲは、自動車５１０とＡＤＶ１０１との距離（例えば、時間ｔ０に１０１フィートである）を決定することに用いられる。１つ以上のＲＡＤＡＲ読み取りで自動車５１０のＡＤＶ１０１に対する方向（時間ｔ０に-７５°である）を取得することができる。自動車５１０の時間ｔ０と時間ｔ１との位置差で自動車５１０の速度（例えばｔ１に２３ｍｐｈである）を決定することができる。

推定は、感知ログ３１２から取得されることができる。例えば、例示的な感知ログ８００で、ＡＤＶに対する１０１列を観察すれば、時間ｔ０と時間ｔ２との間に、ＡＤＶ１０１が停止するまで減速することがわかる。当該情報を取得し、５１２列の人／犬及び５１３列の横断歩道を観察すれば、人／犬５１２がＡＤＶ１０１の右側からＡＤＶ１０１に接近し、及びＡＤＶが横断歩道５１３に到達する前に停止することがわかる。人間の運転決定が横断歩道５１３の前に停止し且つ人／犬５１２が横断歩道５１３を使用することを可能にすることと推定される。類似に、自動車５１０列を観察すると、自動車５１０が左側からＡＤＶ１０１に接近し、人／犬５１２が横断歩道５１３を使用する時に、ＡＤＶ１０１の前方を横断するにつれてわずかに減速することがわかる。したがって、人間決定が接近している自動車５１０に対して譲る又は停止することと推定される。

図８Ｂはいくつかの実施形態に係る例示的な運転記録８０５を示す。運転ログ３１３（運転記録８０５がその一例である）は運転シーン中に、複数の時間増分に、人間運転者のＡＤＶ１０１への運転制御の運転制御入力を記録する。実施形態では、運転制御入力が記録される場合、運転制御入力データは、更にＡＤＶの速度、位置及び方位に関連してもよい。実施形態では、ＡＤＶ１０１の速度、位置及び方位が感知ログ３１２に記憶される場合、運転ログ３１３は、感知ログ３１２におけるこの情報へのポインタ又はその他の参照を含む。運転制御入力は、スロットル入力２０２の量、ブレーキ入力２０３の量及びステアリング入力２０１の量を含む。ステアリング入力２０１の量は、前記入力の方向（左へ又は右へ、時計回り又は反時計回り）を指示することができる。運転制御入力の変化レートを指示するように、運転制御入力は、これらの入力の派生物（図示せず）を含んでもよい。例えば、スロットル入力２０２の変化レートが高いことは、人間運転者がスロットルを「強く踏んで」迅速な加速を実現することを指示することができる。類似に、ブレーキ入力２０３の高い変化レートは、人間運転者がブレーキを「強く踏む」ことを指示することができ、ステアリング入力２０１の高い変化レートは、人間運転者がステアリングホイールを右へ又は左へ「回す」ことを指示することができる。運転決定を評点する場合、これらの高いレートの入力のうちのいずれかは乗客の快適さ、安全性及びルール遵守に悪影響を及ぼす可能性がある。

図８Ｃはいくつかの実施形態に係る例示的なＡＤＶの運転決定ログ８１０を示す。ＡＤＶの運転決定ログ３１４（運転決定ログ８１０がその例である）は、運転シーン中にＡＤＶの運転決定モジュール３０３が作成した運転決定の記録である。運転シーン中に、ＡＤＶ１０１の計画及び制御モジュールがオフされる。したがって、ＡＤＶの運転決定を実行しない。代わりに、人間運転者がＡＤＶを制御し、ＡＤＶ決定（計画及び制御モジュールがオンになると実行される）がＡＤＶの運転決定ログ３１４に記録される。

例示的なＡＤＶの運転決定ログ８１０に示すように、複数の時間増分に、ＡＤＶ１０１は各感知したターゲットに対して運転決定を行う。例示的なＡＤＶの運転決定ログ８１０は、時間ｔ０、ｔ１及びｔ２のそれぞれに、各ターゲットである自動車５１０、建築物５１１、人／犬５１２及び横断歩道５１３に対して作成したＡＤＶの運転決定を示す。人間のユーザによる運転の評価中に計画及び制御モジュールがオフされたため、人間運転者がＡＤＶ１０１を制御する。ターゲットに対して、ＡＤＶの運転決定は、対応する人間の運転決定と異なってもよい。したがって、ＡＤＶの運転決定ログ３１４は、人間運転者によって作成された決定と反対作用を有するＡＤＶの運転決定を含む。例えば、時間ｔ０に、ＡＤＶの運転決定は人／犬５１２及び自動車５１０を追い越すことであってもよい。更にｔ０に、人間の運転決定は、自動車５１０を譲り且つ横断歩道５１３及び人／犬５１２のために停止することであってもよい。人間決定を達成するために、人間は、スロットル入力２０２を減少させ且つブレーキ入力２０３を増大させてＡＤＶ１０１を減速させることができる。時間ｔ１に、ＡＤＶ１０１決定モジュール３０３は、感知モジュール３０２におけるデータ及び／又は感知ログ３１２における情報を用いて、現在のＡＤＶ１０１が接近している自動車５１０に接近し過ぎて自動車５１０を追い越すことができず、及び横断歩道５１３及び人／犬５１２に接近し過ぎて同様にそれらを追い越すことができないと決定することができる。したがって、時間ｔ１に、ＡＤＶ１０１を含む１つ以上のターゲットの速度、位置及び／又は方向の変化に基づいて、ＡＤＶの運転決定モジュール３０３は、各ターゲットに対する人間の運転決定と同様に、各ターゲットに対してその運転決定を変更することができる。

図８Ｄはいくつかの実施形態に係る時間ｔ０にターゲット自動車５１０を参照して人間の運転決定８１５の評点の例を示す。運転決定の点数は、例えばサーバ１０３の運転決定評点モジュール１０３Ｃで実現されることができる。上記したように、ＡＤＶの運転決定は、感知モジュール３０２が感知した及び／又は感知ログ３１２に記録した各ターゲットに対して作成されるものである。図８Ｄは、具体的な時間例えばｔ０に、１つの感知ターゲットに対する１つのＡＤＶ決定、１つの対応する人間の運転決定の点数の例を説明する。運転決定（人間又はＡＤＶ）の点数は、安全性８２０、乗客の快適さ８２５、ルール遵守８３０及び時間効率８３５を含む異なる指標で構成され得る。安全性指標８２０は、道路条件（濡れ、乾燥、氷、雪、光の強さ、暗さ等）、感知モジュール３０２が感知した他のターゲットとの距離、ＡＤＶ１０１に対する各ターゲットの速度及び方向、ＡＤＶの速度、ＡＤＶが上り坂又は下り坂を走行しているか、ＡＤＶ運転車線内において安全を維持する車線位置、上記１つ以上の組み合わせ及び他の要素を配慮することができる。乗客の快適さ指標８２５は、ＡＤＶの前後加速度、ＡＤＶの側面加速度、ＡＤＶの振動（曲がり）及び乗客の快適さに影響を与える他の要素を配慮することができる。ルール遵守指標８３０は、感知モジュール３０２で決定された運転条件及び制御システム１１１の運転制御入力２０１〜２０３で、車両を操作するための交通法及び推薦される安全実行の遵守を検出したり評価したりすることができる。ルール遵守は、運転法規及び安全実行の大きな及び小さな法則違反の計算を含む。時間効率指標８３５は、運転決定の運転シーンの一部の長さへの影響を配慮することができる。例えば、接近している自動車を譲ることがより安全であるが、接近している自動車を追い越すことが時間効率を有する。接近している自動車を追い越すことは、ある交通法規又は安全対策に違反する可能性がある。

例示的な評点比較８１５で、接近している自動車５１０を譲る人間の運転決定と接近している自動車５１０を追い越すＡＤＶの運転決定とを比較する。当該例では、接近している自動車を譲ることは、減速してＡＤＶ前方の黄信号に停止し、及び信号機がＡＤＶに向かって赤色になることを可能にすることを意味する。接近している自動車５１０は青信号を受信することができ、それにより接近している自動車５１０がＡＤＶの前方に交差点を横断することを可能にする。接近している自動車５１０を譲る人間決定は、１．０（最高）の安全値を有するが、ＡＤＶが運転シーンにおいて続行できる前に、ＡＤＶ１０１が信号機の全周期を待たなければならないため、時間効率が０．３である。逆に、黄信号を通過するＡＤＶの運転決定は低い安全性を有し、交通法に違反する可能性があり、例えば黄信号に加速し、又は信号機が赤くなる前に交差点から離れることができない。しかしながら、人間の運転決定のように信号機の全周期を待つことに比べて、ＡＤＶ１０１は運転シーンにおいて続行できるため、ＡＤＶの運転決定の時間効率がより高い。

サーバ１０３は多数の類似した運転シーン、ＡＤＶの運転決定対人間の運転決定、及びそれぞれの点数を分析することができる。次に、サーバ１０３は前記点数に基づいて機器学習エンジン１０３Ａを利用してＡＤＶの運転決定を改善することができる。

図９は、本出願の一実施形態と組み合わせて使用されるデータ処理システムを例示的に示すブロック図である。例えば、システム９００は、上記プロセス又は方法のいずれか（例えば、感知及び計画システム１１０、制御システム１１１などのような自律走行車１０１システム、及び図１のサーバ１０３〜１０４のいずれか）を実行する上記任意のデータ処理システムを示してもよい。システム９００は、多数の異なる構成要素を含んでもよい。これらの構成要素は、集積回路（ＩＣ）、集積回路の一部、分散型電子装置又は回路基板に適用された他のモジュール（例えばコンピュータシステムのマザーボード又はアドインカード）、又は他の方式でコンピュータシステムのシャシーに組み込まれた構成要素として実現されることができる。

さらに、システム９００は、コンピュータシステムの多数の構成要素の高レベルビューを示すことを目的とする。しかしながら、いくつかの実現形態では、付加的構成要素が存在する場合があることを理解すべきである。また、他の実現形態において示される構成要素が異なる配置を有してもよい。システム９００は、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、携帯電話、メディアプレーヤー、パーソナルディジタルアシスタント（ＰＤＡ）、内蔵された処理コントローラ、スマート腕時計、パーソナルコミュニケーター、ゲーム装置、ネットワークルータ又はハブ、無線アクセスポイント（ＡＰ）又はリピーター、セットトップボックス、又はそれらの組合せを示してもよい。また、単一の機器又はシステムのみを示したが、用語「機器」又は「システム」は、さらに、独立又は共同で１つ（又は複数）の命令セットを実行することにより本明細書に説明される任意の１種又は複数種の方法を実行する機器又はシステムの任意のセットを含むことを理解すべきである。

一実施形態において、システム９００は、バス又は相互接続部材９１０によって接続されたプロセッサ９０１、メモリ９０３及び装置９０５〜９０８を備える。プロセッサ９０１は、単一のプロセッサコア又は複数のプロセッサコアを含む単一のプロセッサ又は複数のプロセッサであってもよい。プロセッサ９０１は、マイクロプロセッサ、中央処理装置（ＣＰＵ）等のような１つ又は複数の汎用プロセッサであってもよい。より具体的には、プロセッサ９０１は、複雑命令セット計算（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピュータ（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、又は他の命令セットを実現するプロセッサ、又は命令セットの組合せを実現するプロセッサであってもよい。プロセッサ９０１は、さらに、専用集積回路（ＡＳＩＣ）、セルラ又はベースバンドプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサ、グラフィックプロセッサ、通信プロセッサ、暗号プロセッサ、コプロセッサ、組み込みプロセッサのような１つ又は複数の専用プロセッサ、あるいは命令処理可能な任意の他のタイプのロジックであってもよい。一実施形態において、プロセッサ９０１は、少なくとも一つのハードゥウェアプロセッサを含む。

プロセッサ９０１（超低電圧プロセッサのような低電力マルチコアプロセッサソケットであってもよい）は、前記システムの各種構成要素と通信するための主処理ユニット及び中央ハブとして用いられてもよい。このようなプロセッサは、システムオンチップ（ＳｏＣ）として実現されることができる。プロセッサ９０１は、命令を実行することにより本明細書に説明される動作及びステップを実行するための命令を実行するように構成される。また、システム９００は、選択可能なグラフィックサブシステム９０４と通信するグラフィックインターフェースをさらに含み、グラフィックサブシステム９０４は、表示コントローラ、グラフィックプロセッサ及び／又は表示装置をさらに備えてもよい。

プロセッサ９０１は、メモリ９０３と通信してもよく、メモリ９０３は、一実施形態において複数のメモリによって所定量のシステムメモリを提供する。メモリ９０３は、ランダムアクセスメモリ（ＲＡＭ）、動的ＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、静的ＲＡＭ（ＳＲＡＭ）又は他のタイプのメモリのような１つ又は複数の揮発性記憶装置（又はメモリ）を備えてもよい。メモリ９０３は、プロセッサ９０１又は任意の他の装置により実行される命令列を含む情報を記憶できる。例えば、複数種のオペレーティングシステム、装置ドライバー、ファームウェア（例えば、基本入出力システム又はＢＩＯＳ）及び／又はアプリケーションの実行可能なコード及び／又はデータはメモリ９０３にロードされてもよく、プロセッサ９０１により実行される。オペレーティングシステムは、ロボットオペレーティングシステム（ＲＯＳ）、Ｍｉｃｒｏｓｏｆｔ(R)会社からのＷｉｎｄｏｗｓ(R)オペレーティングシステム、アップル会社からのＭａｃ ＯＳ(R)／ｉＯＳ(R)、Ｇｏｏｇｌｅ(R)会社からのＡｎｄｒｏｉｄ(R)、Ｌｉｎｕｘ、Ｕｎｉｘ又は他のリアルタイム又は組み込みオペレーティングシステムのような任意のタイプのオペレーティングシステムであってもよい。

システム９００は、ＩＯ装置、例えば装置９０５〜９０８をさらに備えてもよく、ネットワークインターフェース装置９０５、選択可能な入力装置９０６及び他の選択可能なＩＯ装置９０７を備える。ネットワークインターフェース装置９０５は、無線送受信機及び／又はネットワークインターフェースカード（ＮＩＣ）を備えてもよい。前記無線送受信機は、ＷｉＦｉ送受信機、赤外送受信機、ブルートゥース送受信機、ＷｉＭａｘ送受信機、無線セルラーホン送受信機、衛星送受信機（例えば、全地球測位システム（ＧＰＳ）送受信機）又は他の無線周波数（ＲＦ）送受信機又はそれらの組合せであってもよい。ＮＩＣはイーサネットカードであってもよい。

入力装置９０６は、マウス、タッチパッド、タッチスクリーン（それは表示装置９０４と一体化されてもよい）、ポインタデバイス（例えばスタイラス）及び／又はキーボード（例えば、物理キーボード又はタッチスクリーンの一部として表示された仮想キーボード）を備えてもよい。例えば、入力装置９０６は、タッチスクリーンに接続されるタッチスクリーンコントローラを含んでもよい。タッチスクリーン及びタッチスクリーンコントローラは、例えば複数種のタッチ感度技術（容量、抵抗、赤外及び表面音波の技術を含むが、それらに限定されない）のいずれか、及びタッチスクリーンの１つ又は複数の接触点を決定するための他の近接センサアレイ又は他の素子を用いてそのタッチ点及び移動又は断続を検出することができる。

ＩＯ装置９０７は音声装置を備えてもよい。音声装置は、スピーカ及び／又はマイクロホンを含んでもよく、それにより音声認識、音声コピー、デジタル記録及び／又は電話機能のような音声サポートの機能を促進する。他のＩＯ装置９０７は、汎用シリアルバス（ＵＳＢ）ポート、パラレルポート、シリアルポート、印刷機、ネットワークインターフェース、バスブリッジ（例えば、ＰＣＩ〜ＰＣＩブリッジ）、センサ（例えば、加速度計、ジャイロスコープ、磁力計、光センサ、コンパス、近接センサ等のような動きセンサ）又はそれらの組合せをさらに備えてもよい。装置９０７は、結像処理サブシステム（例えば、カメラ）をさらに備えてもよく、前記結像処理サブシステムは、カメラ機能（例えば、写真及びビデオ断片の記録）を促進するための電荷カップリング装置（ＣＣＤ）又は相補型金属酸化物半導体（ＣＭＯＳ）光学センサのような光学センサを備えてもよい。あるセンサは、センサハブ（図示せず）によって相互接続部材９１０に接続されてもよく、キーボード又は熱センサのような他の装置は、組み込みコントローラ（図示せず）により制御されてもよく、これはシステム９００の特定配置又は設計により決められる。ＩＯ装置９０７は、さらに、ＲＡＤＡＲシステム（無線の検出と測距）、ＬＩＤＡＲシステム（光検出と測距）、ＧＰＳシステム（全地球測位システム）、セルタワー、マイクロフォウンによって検出及び三角測量を実施可能な携帯電話サブシステム、オーディオ及び/又はビデオ記録装置、位置、距離、時間、速度、加速度、水平と垂直レベル検出器、方位と方向のセンサと含んでもよい。

データ、アプリケーション、１つ又は複数のオペレーティングシステム等のような情報の永続記憶を提供するために、大容量メモリ（図示せず）は、プロセッサ９０１に接続されてもよい。様々な実施形態において、薄型化と軽量化のシステム設計を実現しかつシステムの応答能力を向上させるために、このような大容量メモリは、ソリッドステート装置（ＳＳＤ）によって実現されることができる。なお、他の実施形態において、大容量メモリは、主にハードディスクドライブ（ＨＤＤ）で実現されてもよく、少量のＳＳＤ記憶量は、ＳＳＤキャッシュとして停電イベント期間にコンテキスト状態及び他のこのような情報の不揮発性記憶を実現し、それによりシステム動作が再開する時に通電を速く実現することができる。さらに、フラッシュデバイスは、例えばシリアルペリフェラルインターフェース（ＳＰＩ）によってプロセッサ９０１に接続されてもよい。このようなフラッシュデバイスは、システムソフトウェアの不揮発性記憶に用いられてもよく、前記システムソフトウェアは、前記システムのＢＩＯＳ及び他のファームウェアを備える。

記憶装置９０８は、任意の１種又は複数種の本明細書に記載の方法又は機能を体現する１つ又は複数の命令セット又はソフトウェア（例えば、モジュール、ユニット及び／又はロジック９２８）が記憶されるコンピュータアクセス可能な記憶媒体９０９（機械可読記憶媒体又はコンピュータ可読媒体とも呼ばれる）を備えてもよい。処理モジュール／ユニット／ロジック９２８は、例えば、自律走行車１０１（ＡＶ）運転決定記録モジュール、センサ記録モジュール、運転制御入力記録モジュール、運転決定抽出モジュール、運転決定評点モジュール、センサデータを処理してＡＶ計画及び制御モジュールを駆動する一つ又は複数のモジュールのような上記構成要素のいずれかを示してもよい。

処理モジュール／ユニット／ロジック９２８は、さらにデータ処理システム９００により実行される期間にメモリ９０３内及び／又はプロセッサ９０１内に完全又は少なくとも部分的に存在してもよく、ここで、メモリ９０３及びプロセッサ９０１も、機器アクセス可能な記憶媒体を構成する。処理モジュール／ユニット／ロジック９２８は、さらにネットワークによってネットワークインターフェース装置９０５を経由して送受信されてもよい。

コンピュータ可読記憶媒体９０９は、以上に説明されたいくつかのソフトウェア機能の一部を永続的に記憶してもよい。コンピュータ可読記憶媒体９０９は、例示的な実施形態において単一の媒体として示されたが、用語「コンピュータ可読記憶媒体」は、前記１つ又は複数の命令セットが記憶される単一の媒体又は複数の媒体（例えば、集中型又は分散型データベース、及び／又は関連するキャッシュ及びサーバ）を備えることを理解すべきである。用語「コンピュータ可読記憶媒体」は、さらに命令セットを記憶又はコーディング可能な任意の媒体を備えることを理解すべきであり、前記命令セットは、機器により実行されかつ前記機器に本発明の任意の１種又は複数種の方法を実行させる。従って、用語「コンピュータ可読記憶媒体」は、ソリッドステートメモリ及び光学媒体と磁気媒体又は任意の他の非一時的機械可読媒体を備えるが、それらに限定されないことを理解すべきである。

本明細書に記載の処理モジュール／ユニット／ロジック９２８、構成要素及び他の特徴は、ディスクリートハードウェアコンポーネントとして実現されてもよく、又はハードウェアコンポーネント（例えばＡＳＩＣｓ、ＦＰＧＡ、ＤＳＰ又は類似装置）の機能に統合されてもよい。さらに、処理モジュール／ユニット／ロジック９２８は、ハードウェア装置内のファームウェア又は機能回路として実現されてもよい。また、処理モジュール／ユニット／ロジック９２８は、ハードウェア装置及びソフトウェアコンポーネントの任意の組合せで実現されてもよい。処理モジュール９２８は、サーバ１０３機器学習エンジン１０３Ａ、運転決定抽出モジュール１０３Ｂ、運転決定評点モジュール１０３Ｃを含んでもよい。処理モジュール９２８は、さらに、例えばＡＤＶ１０１位置決めモジュール３０１、感知モジュール３０２、決定モジュール３０３、計画モジュール３０４、制御モジュール３０５、記録モジュール３０６を含んでもよい。

なお、システム９００は、データ処理システムの各種の構成要素を有するように示されているが、構成要素に相互接続させる任意の具体的な構造又は方式を限定するものではないことに注意すべき、それは、このような詳細が本発明の実施形態に密接な関係がないためである。また、より少ない構成要素又はより多くの構成要素を有するネットワークコンピュータ、ハンドヘルドコンピュータ、携帯電話、サーバ及び／又は他のデータ処理システムは、本発明の実施形態と共に使用されてもよい。

上記詳細な説明の一部は、コンピュータメモリにおけるデータビットに対する演算のアルゴリズム及び記号表現で示される。これらのアルゴリズムの説明及び表現は、認知と計画分野における当業者によって使用される、それらの作業実質を所属分野の他の当業者に最も効果的に伝達する方法である。ここで、アルゴリズムは、通常、所望の結果につながる首尾一貫した動作列（ｓｅｑｕｅｎｃｅ ｏｆ ｏｐｅｒａｔｉｏｎｓ）と考えられる。これらの動作とは、物理量に対して物理的動作を行う必要となるステップを指す。

ただし、これらの全ての及び類似の用語は、いずれも適切な物理量に関連付けられ、かつただこれらの量に適用される適切なラベルであることに注意すべきである。特に断らない限り、本出願の全体にわたって用語（例えば、添付している特許請求の範囲に説明された用語）による説明とは、コンピュータシステム又は類似の電子計算装置の動作及び処理であり、前記コンピュータシステム又は電子計算装置は、コンピュータシステムのレジスタ及びメモリに物理（例えば、電子）量としてデータを示し、かつ前記データをコンピュータシステムメモリ又はレジスタ又は他のこのような情報メモリ、伝送又は表示装置内において類似に物理量として示される他のデータに変換する。

本発明の実施形態は、さらに本明細書における動作を実行するためのコンピュータプログラムに関する。このようなコンピュータプログラムは、非一時的コンピュータ可読媒体に記憶される。機器可読媒体は、機器（例えば、コンピュータ）可読な形態で情報を記憶する任意の機構を備える。例えば、機器可読（例えば、コンピュータ可読）媒体は、機器（例えば、コンピュータ）可読記憶媒体（例えば、読み出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリメモリ）を備える。

上記図面に示される手順又は方法は、ハードウェア（例えば、回路、専用ロジック等）、ソフトウェア（例えば、非一時的コンピュータ可読媒体に具現化される）、又は両方の組合せを含む処理ロジックにより実行されてもよい。前記手順又は方法は、本明細書において特定の順序に応じて説明されるが、説明された動作の一部は、異なる順序に応じて実行されてもよい。また、いくつかの動作は、順番ではなく並行に実行されてもよい。

本発明の実施形態は、いずれかの特定のプログラミング言語を参照して説明されていないが、複数種のプログラミング言語で本明細書に記載の本発明の実施形態の教示を実現できることを理解すべきである。

以上の明細書では、本発明の具体的な例示的な実施形態を参照してその実施形態を説明した。明らかなように、添付している特許請求の範囲に記載の本発明のより広い趣旨及び範囲を逸脱しない限り、様々な変形が可能である。従って、限定的なものではなく例示的なものとして本明細書及び図面を理解すべきである。

Claims (21)

1. 複数の自律走行車ログを受信するステップと、
   前記複数の自律走行車ログを利用し、自律走行車の運転決定に対応する人間の運転決定を抽出するステップと、
   複数の評点指標に基づいて、前記人間の運転決定を評点するステップと、
   少なくとも部分的に前記人間の運転決定の点数及び前記人間の運転決定と前記自律走行車の運転決定との比較に基づいて、その後の自律走行車運転のアルゴリズムを変更するための前記自律走行車の運転決定に対する点数を生成するステップと、を含み、
   前記複数の自律走行車ログは、前記自律走行車の決定モジュールで作成された複数の自律走行車の運転決定ログ、複数のターゲットセンサ出力ログを含む感知ログ、及び複数の運転制御入力ログを含む運転ログを含み、ここで、前記自律走行車がユーザにより運転される場合、前記自律走行車から複数の運転制御入力を取得し、
   ターゲットに対して自律走行車の運転決定に対応する人間の運転決定を抽出するステップには、
   前記自律走行車の運転決定が行われた時間を決定するステップ、
   前記自律走行車の運転決定の前後の前記感知ログを分析するステップ、又は
   前記自律走行車の運転決定の前後の前記運転ログを分析するステップ
   のうちの１つ以上を含んでおり、
   ここで、前記運転ログを分析するステップには、前記複数の運転制御入力のうちの１つ以上の運転制御入力間の関係を決定するステップと、前記自律走行車に対する前記ターゲットの位置又は距離を決定するステップと、を含む
   ことを特徴とするコンピュータ実施方法。
2. 前記自律走行車外部のターゲットに対して自律走行車の運転決定を専門的に作成し、前記自律走行車の運転決定は、前記ターゲットを追い越すこと、前記ターゲットを譲ること、前記自律走行車を前記ターゲットとの最小距離に停止させること、又は前記ターゲットを無視することを含む
   ことを特徴とする請求項１に記載の方法。
3. 前記運転制御入力は、加速制御の入力量、ブレーキ制御の入力量又はステアリング制御の入力量のうちの１つを含む
   ことを特徴とする請求項１に記載の方法。
4. 前記評点指標は、安全性指標、快適さ指標、ルール遵守指標又は時間効率指標を含む
   ことを特徴とする請求項１に記載の方法。
5. 前記ターゲットセンサはＬＩＤＡＲ、ＲＡＤＡＲ、ＧＰＳ又はカメラのうちの１つ以上を含み、前記ターゲットセンサ出力は、ターゲットと前記自律走行車との距離、前記自律走行車外部のターゲットの速度、前記自律走行車の速度、前記自律走行車に対する前記自律走行車外部のターゲットの方向、前記自律走行車外部のターゲットの方向、前記自律走行車の方向又は前記自律走行車の位置のうちの１つ以上を含む
   ことを特徴とする請求項１に記載の方法。
6. 前記人間の運転決定を評点するステップには、
   前記人間の運転決定の後に、１つ以上の運転入力又は１つ以上のターゲットセンサ出力を分析することにより、抽出した人間の運転決定の安全性指標、快適さ指標、ルール遵守指標又は時間効率指標を決定するステップを含む
   ことを特徴とする請求項１に記載の方法。
7. 前記自律走行車の運転決定を評点するステップには、
   前記自律走行車の運転決定の後に、１つ以上の運転入力又は１つ以上のターゲットセンサ出力を評価することにより、前記自律走行車の運転決定の安全性指標、快適さ指標、ルール遵守指標又は時間効率指標を決定するステップを含む
   ことを特徴とする請求項１に記載の方法。
8. 命令が記憶された非一時的な機械可読媒体であって、
   前記命令が、プロセッサにより実行される場合、前記プロセッサに操作を実行させ、前記操作は、
   複数の自律走行車ログを受信するステップと、
   前記複数の自律走行車ログを利用し、自律走行車の運転決定に対応する人間の運転決定を抽出するステップと、
   複数の評点指標に基づいて、前記人間の運転決定を評点するステップと、
   少なくとも部分的に前記人間の運転決定の点数及び前記人間の運転決定と前記自律走行車の運転決定との比較に基づいて、その後の自律走行車運転のアルゴリズムを変更するための前記自律走行車の運転決定に対する点数を生成するステップと、を含み、
   前記複数の自律走行車ログは、前記自律走行車の決定モジュールで作成された複数の自律走行車の運転決定ログ、複数のターゲットセンサ出力ログを含む感知ログ、及び複数の運転制御入力ログを含む運転ログを含み、ここで、前記自律走行車がユーザにより運転される場合、前記自律走行車から複数の運転制御入力を取得し、
   ターゲットに対して自律走行車の運転決定に対応する人間の運転決定を抽出するステップは、
   前記自律走行車の運転決定が行われた時間を決定するステップ、
   前記自律走行車の運転決定の前後の前記感知ログを分析するステップ、又は
   前記自律走行車の運転決定の前後の前記運転ログを分析するステップ
   のうちの１つ以上を含んでおり、
   ここで、前記運転ログを分析するステップには、前記複数の運転制御入力のうちの１つ以上の運転制御入力間の関係を決定するステップと、前記自律走行車に対する前記ターゲットの位置又は距離を決定するステップと、を含む
   ことを特徴とする非一時的な機械可読媒体。
9. 前記自律走行車外部のターゲットに対して自律走行車の運転決定を専門的に作成し、前記自律走行車の運転決定は、前記ターゲットを追い越すこと、前記ターゲットを譲ること、前記自律走行車を前記ターゲットとの最小距離に停止させること、又は前記ターゲットを無視することを含む
   ことを特徴とする請求項８に記載の媒体。
10. 前記運転制御入力は、加速制御の入力量、ブレーキ制御の入力量又はステアリング制御の入力量のうちの１つを含む
    ことを特徴とする請求項８に記載の媒体。
11. 前記評点指標は、安全性指標、快適さ指標、ルール遵守指標又は時間効率指標を含む
    ことを特徴とする請求項８に記載の媒体。
12. 前記ターゲットセンサはＬＩＤＡＲ、ＲＡＤＡＲ、ＧＰＳ又はカメラのうちの１つ以上を含み、前記ターゲットセンサ出力は、ターゲットと前記自律走行車との距離、前記自律走行車外部のターゲットの速度、前記自律走行車の速度、前記自律走行車に対する前記自律走行車外部のターゲットの方向、前記自律走行車外部のターゲットの方向、前記自律走行車の方向又は前記自律走行車の位置のうちの１つ以上を含む
    ことを特徴とする請求項８に記載の媒体。
13. 前記人間の運転決定を評点するステップには、
    前記人間の運転決定の後に、１つ以上の運転入力又は１つ以上のターゲットセンサ出力を分析することにより、抽出した人間の運転決定の安全性指標、快適さ指標、ルール遵守指標又は時間効率指標を決定するステップを含む
    ことを特徴とする請求項８に記載の媒体。
14. 前記自律走行車の運転決定を評点するステップには、
    前記自律走行車の運転決定の後に、１つ以上の運転入力又は１つ以上のターゲットセンサ出力を評価することにより、前記自律走行車の運転決定の安全性指標、快適さ指標、ルール遵守指標又は時間効率指標を決定するステップを含む
    ことを特徴とする請求項８に記載の媒体。
15. プロセッサと、
    前記プロセッサに連結されて命令を記憶するメモリと、を備え、
    前記命令が、前記プロセッサにより実行される場合、前記プロセッサに操作を実行させ、
    前記操作は、
    複数の自律走行車ログを受信するステップと、
    前記複数の自律走行車ログを利用し、自律走行車の運転決定に対応する人間の運転決定を抽出するステップと、
    複数の評点指標に基づいて、前記人間の運転決定を評点するステップと、
    少なくとも部分的に前記人間の運転決定の点数及び前記人間の運転決定と前記自律走行車の運転決定との比較に基づいて、その後の自律走行車運転のアルゴリズムを変更するための前記自律走行車の運転決定に対する点数を生成するステップと、を含み、
    前記複数の自律走行車ログは、前記自律走行車の決定モジュールで作成された複数の自律走行車の運転決定ログ、複数のターゲットセンサ出力ログを含む感知ログ、及び複数の運転制御入力ログを含む運転ログを含み、ここで、前記自律走行車がユーザにより運転される場合、前記自律走行車から複数の運転制御入力を取得し、
    ターゲットに対して自律走行車の運転決定に対応する人間の運転決定を抽出するステップは、
    前記自律走行車の運転決定が行われた時間を決定するステップ、
    前記自律走行車の運転決定の前後の前記感知ログを分析するステップ、又は
    前記自律走行車の運転決定の前後の前記運転ログを分析するステップ
    のうちの１つ以上を含んでおり、
    ここで、前記運転ログを分析するステップには、前記複数の運転制御入力のうちの１つ以上の運転制御入力間の関係を決定するステップと、前記自律走行車に対する前記ターゲットの位置又は距離を決定するステップと、を含む
    ことを特徴とするデータ処理システム。
16. 前記自律走行車外部のターゲットに対して自律走行車の運転決定を専門的に作成し、前記自律走行車の運転決定は、前記ターゲットを追い越すこと、前記ターゲットを譲ること、前記自律走行車を前記ターゲットとの最小距離に停止させること、又は前記ターゲットを無視することを含む
    ことを特徴とする請求項１５に記載のデータ処理システム。
17. 前記運転制御入力は、加速制御の入力量、ブレーキ制御の入力量又はステアリング制御の入力量のうちの１つを含む
    ことを特徴とする請求項１５に記載のデータ処理システム。
18. 前記評点指標は、安全性指標、快適さ指標、ルール遵守指標又は時間効率指標を含む
    ことを特徴とする請求項１５に記載のデータ処理システム。
19. 前記ターゲットセンサはＬＩＤＡＲ、ＲＡＤＡＲ、ＧＰＳ又はカメラのうちの１つ以上を含み、前記ターゲットセンサ出力は、ターゲットと前記自律走行車との距離、前記自律走行車外部のターゲットの速度、前記自律走行車の速度、前記自律走行車に対する前記自律走行車外部のターゲットの方向、前記自律走行車外部のターゲットの方向、前記自律走行車の方向又は前記自律走行車の位置のうちの１つ以上を含む
    ことを特徴とする請求項１５に記載のデータ処理システム。
20. 前記人間の運転決定を評点するステップには、
    前記人間の運転決定の後に、１つ以上の運転入力又は１つ以上のターゲットセンサ出力を分析することにより、抽出した人間の運転決定の安全性指標、快適さ指標、ルール遵守指標又は時間効率指標を決定するステップを含む
    ことを特徴とする請求項１５に記載のデータ処理システム。
21. 前記自律走行車の運転決定を評点するステップには、
    前記自律走行車の運転決定の後に、１つ以上の運転入力又は１つ以上のターゲットセンサ出力を評価することにより、前記自律走行車の運転決定の安全性指標、快適さ指標、ルール遵守指標又は時間効率指標を決定するステップを含む
    ことを特徴とする請求項１５に記載のデータ処理システム。