JP7199545B2 - 自律エージェントによる行動方針選択のための多視点システムおよび方法 - Google Patents

Description

関連出願への相互参照
［０００１］この出願は、この参照によりその全体が組み込まれる、２０１８年７月２０日に出願された米国仮出願第６２／７０１，０１４号の利益を主張するものである。

［０００２］本発明は、一般に車両自動化分野に関し、より具体的には、自律エージェントによる行動方針選択のための新規で有用なシステムおよび方法に関する。

［０００３］最先端の車両自動化は、現在、自動車などの一部の車両が実質的および／または時には完全に自律的な状態で動作することを可能にしている。ビジーあるいはアクティブな環境で効果的かつ安全に動作するそのような自律エージェントの能力は、自律エージェントがその動作環境を観察し、自律エージェントが安全な方法でルーティングまたは移動の目標を達成できるようにする動作決定を行う能力に依存することが多い。

［０００４］自律エージェントが関与する多くの動作環境で発生し得る技術的な問題は、特定の動作状況で複数の動作決定が可能な場合に、自律エージェントが最適な動作決定を選択または実行できないことに関連する場合がある。ルート計画と低レベルの制御命令は、特定の目的地を達成するために自律エージェントによる自己制御を実行するための基礎を提供し得るが、行動計画は通常、自律エージェントに搭載された１つ以上のセンサによって作成された動作環境のライブ観察にしたがって自律エージェントによるリアルタイムの決定を実行するための基礎を提供する。特に、行動方針を選択するためのリアルタイム環境についての自律エージェントの視点は、主に自律エージェントに搭載されたオンボードセンサによって形成される。このように、自律エージェントは、リアルタイムの動作環境における行動方針を最適に選択できるようにする動作環境の包括的な視点ではなく、動作環境の単一視点しか持たない場合があるため、技術的な問題が残っていた。

［０００５］したがって、車両自動化の分野において、自律エージェントの動作環境の多視点ビューを実現し、リアルタイムの動作環境で自律エージェントによる行動方針の最適な選択を可能にする要望があった。本明細書に記載の本出願の実施形態は、少なくとも上記の要望に対処する技術的解決策を提供する。

［０００６］図１は、本出願の１つまたは複数の実施形態による、自律エージェントを実装するシステムの概略図を示す。 ［０００７］図１Ａは、本出願の１つまたは複数の実施形態による、自律エージェントオペレーティングシステムの例示的な概略図を示す。 ［０００８］図２は、本出願の１つまたは複数の実施形態による、例示的な方法を示す。 ［０００９］図３は、本出願の１つまたは複数の実施形態による、自律エージェントの予想される行動方針を含む例示的な概略図を示す。 ［００１０］図４は、本出願の１つまたは複数の実施形態による、自律エージェントによる行動方針選択のための有益なインフラストラクチャデータを実装する例示的な概略図を示す。

［００１１］一実施形態において、自律エージェントをインテリジェントに実装するためのシステムは、自律エージェントから地理的に離れて配置され、自律エージェントの移動経路を取り巻く状況に関連する観測データを収集する複数のオフボードインフラストラクチャデバイスを具え、前記自律エージェントは：当該自律エージェントを前記複数のオフボードインフラストラクチャデバイスのそれぞれと通信可能にする通信インターフェースと；前記自律エージェント上に配置された複数の別個のセンサを具え、前記複数のオフボードインフラストラクチャデバイスの視点とは別個の視点で前記自律エージェントを取り巻く状況に関連する観測データを収集するオンボードセンサスイートと；前記オンボードセンサスイートからの観測データの第１のストリームおよび前記複数のオフボードインフラストラクチャデバイスからの観測データの第２のストリームを少なくとも格納する決定データバッファと；１以上のオンボードコンピューティングデバイスであって、前記データの第１のストリームおよびデータの第２のストリームに基づいて、前記自律エージェントを取り巻く状況内の１つまたは複数のエージェントの追跡（tracking）を実行し、前記データの第１のストリームとデータの第２のストリームに基づいて、前記１つまたは複数のエージェントのそれぞれの意思推定（intent estimation）を計算し、前記１つまたは複数のエージェントのそれぞれと前記自律エージェントの状態データを計算し、前記追跡および前記意図推定に基づいて前記自律エージェントの複数の候補行動方針(candidate behavioral policies）を同定するマルチポリシー意思決定モジュールを実装し、前記複数の候補行動方針のうちの１つを選択し、前記自律エージェントの自律動作を制御するために、前記複数の候補行動方針のうちの選択された１つを実行する、１以上のオンボードコンピューティングデバイスとを具える。

［００１２］一実施形態では、前記１以上のオンボードコンピューティングデバイスは：前記オンボードセンサスイートと自律エージェントとの間の第１の計算された通信遅延に基づいて、前記自律エージェントへの前記観測データの第１のストリームと；前記複数のオフボードインフラストラクチャデバイスと自律エージェントとの間の第２の計算された通信遅延に基づいて、前記自律エージェントへの前記観測データの第２のストリームとを同期させることによって、前記観測データの第１のストリームおよび前記観測データの第２のストリームを前記自律エージェントに同期させる時間同期モジュールを実装する。

［００１３］一実施形態では、前記１以上のオンボードコンピューティングデバイスはさらに、前記同期に基づいて、前記観測データの第１のストリームの位置を、前記決定データバッファ内の第１の位置から第２の位置に再配置し；前記同期に基づいて、前記観測データの第２のストリームの位置を、前記決定データバッファ内の第１の位置から第２の位置に再配置する。

［００１４］一実施形態では、前記１以上のオンボードコンピューティングデバイスは、前記自律エージェントの共通クロックに従って、前記自律エージェントの観測データの第１のストリームと、前記オフボードインフラストラクチャデバイスからの観測データの第２のストリームとを同期させる同期モジュールをさらに実装する。

［００１５］一実施形態では、前記１以上のオンボードコンピューティングデバイスにおいて：前記観測データの第１のストリームおよび前記観測データの第２のストリームの同期に応答して、前記観測データの第１のストリームからのデータおよび前記観測データの第２のストリームからのデータは、前記観測データの第１のストリームおよび第２のストリームからのデータを超えて配置されたデータと比較して、より早い時点に関連付けられた決定データバッファ内の履歴位置に再配置される。

［００１６］一実施形態では、前記１以上のオンボードコンピューティングデバイスは、前記複数のオフボードインフラストラクチャデバイスのそれぞれから得られたデータと、前記オンボードセンサスイートの複数の別個のセンサのそれぞれから得られたデータとを、メモリの他のトラックから独立したメモリの別個のトラック内に格納し、ここで前記複数のオフボードインフラストラクチャデバイスのそれぞれから得られたデータおよび前記複数の別個のセンサのそれぞれから得られたデータ内で同定された任意のエージェントの意図推定は、それぞれのオフボードインフラストラクチャデバイスまたはそれぞれの個別のセンサのためのメモリの個別のトラックに基づいて計算される。

［００１７］一実施形態では、前記複数のオフボードインフラストラクチャデバイスのそれぞれから得られたデータおよび前記複数の別個のセンサのそれぞれから得られたデータのためのメモリの個別のトラックが、メモリのマスタートラックへと結合され；前記１つまたは複数のエージェントのそれぞれの意思推定は、前記メモリのマスタートラックに基づく。

［００１８］一実施形態では、システムは、コンピューティングデバイスの分散ネットワークによって実装され、前記自律エージェントのそれぞれおよび前記複数のオフボードインフラストラクチャデバイスのそれぞれと通信可能なリモート自律エージェントサービスを含み、当該リモート自律エージェントサービスは、前記データの第１のストリームおよび前記データの第２のストリームに基づいた前記自律エージェントを取り巻く状況内の１つまたは複数のエージェントの追跡と、前記データの第１のストリームと前記データの第２のストリームに基づいた前記１つまたは複数のエージェントのそれぞれの意図推定との１以上を計算する。

［００１９］一実施形態では、自律エージェントによる自律的な決定および動作の方法は、決定データを収集するステップにおいて：前記自律エージェントの１以上のオンボードセンサによって取得された観測データを含むデータの第１のストリームを収集するステップであって、ここで１以上のオンボードセンサのそれぞれは、前記自律エージェント上に物理的に配置されているステップと、１以上のオフボードインフラストラクチャデバイスによって取得された観測データを含むデータの第２のストリームを収集するステップであって、前記１以上のオフボードインフラストラクチャデバイスは、前記自律エージェントの動作環境から地理的に離れて配置されているステップと、を含む決定データを収集するステップと；前記１以上のオンボードセンサからのデータの第１のストリームおよび前記オフボードセンサからのデータの第２のストリームを含む決定データバッファを実装するステップと；現在の状態データを生成するステップと；前記自律エージェントの動作環境内の１つまたは複数のエージェントのそれぞれの意図データを生成／推定するステップと；複数の候補行動方針を同定するステップと、当該複数の候補行動方針のうちの少なくとも１つを選択して実行するステップとを含む。

［００２０］一実施形態では、前記自律エージェントの動作環境は、前記自律エージェントの構造化または非構造化ルートに沿って動作しながら、前記自律エージェントの地理的位置からの所定の半径を含む。

［００２１］一実施形態では、前記データの第１のストリームは、前記１以上のオンボードセンサのそれぞれによって前記自律エージェントの視点から得られた自律エージェントを取り巻く状況の感知された観察に関連するデータを含み；前記データの第２のストリームは、前記オフボードインフラストラクチャデバイスのそれぞれによって作成される前記自律エージェントのルートに向けた外部の視点から取得された自律エージェントの動作環境内の状況の検知された観測に関連するデータを含む。

［００２２］一実施形態では、前記データの第２のストリームは、前記１以上のオフボードインフラストラクチャデバイスのうちの少なくとも１つの動作状態に関連するデータを含む。

［００２３］一実施形態では、前記１以上のオフボードインフラストラクチャデバイスの少なくとも１つの通信近接（communication proximity）に移動することに応答して、当該通信近接内の少なくとも１つまたは複数のオフボードインフラストラクチャデバイスから前記データの第２のストリームを自動的に収集するステップを含む。

［００２４］一実施形態では、前記１以上のオフボードインフラストラクチャデバイスの検知フィールド（field-of-sensing）は地理的に定義された領域を含み、前記１以上のオフボードインフラストラクチャデバイスは、前記地理的に定義された領域内のオブジェクトの意味的抽象化（semantic abstractions）を検知または収集するように構成され得る。

［００２５］一実施形態では、前記オフボードインフラストラクチャデバイスからのデータの第２のストリームは、シーンの意味的に密な状態データ（semantically dense state data of a scene）を含む。

［００２６］一実施形態では、前記決定データバッファを実装するステップは、前記データの第１のストリームおよびデータの第２のストリームのそれぞれが受信された時間に基づいて、当該データの第１のストリームおよびデータの第２のストリームから受信したデータを順次格納することを含む。

［００２７］一実施形態では、前記決定データバッファを実装するステップは、前記１以上のオフボードインフラストラクチャデバイスによって提供される前記データの第２のストリームに付されたタイムスタンプデータに基づいて、前記データの第１のストリームとデータの第２のストリームとの間のグローバル時間同期を計算するステップをさらに含み、当該グローバル時間同期を計算するステップは、前記データの第２のストリームが前記１以上のオフボードインフラストラクチャデバイスによって取得された第１の時間を示す第１のタイムスタンプデータと、前記データの第２のストリームが前記自律エージェントによって収集された第２の時間を示す第２のタイムスタンプデータとの間の差を計算することに基づいて、前記データの第２のストリームの遅延値を計算するステップを含む。

［００２８］一実施形態では、前記決定データバッファを実装するステップは、前記計算された遅延値に基づいて、第２のデータストリームからのデータを前記決定データバッファ内で再配置するステップを含み、この再配置は、前記第２のデータストリームからのデータを前記決定データバッファ内で第１の位置から履歴時間がより早い第２の位置にデータを移動するステップを含む。

［００２９］本出願の好ましい実施形態の以下の説明は、本発明をこれらの好ましい実施形態に限定することを意図するのではなく、むしろ当業者がこれらの発明の製造および使用を可能にすることを意図する。

１．概要
［００３０］背景技術欄で説明したように、自律エージェントの動作環境の把握が限定されるため、リアルタイム動作状況をナビゲートするための最適な行動方針を選択する自律エージェントの能力に不足があった。具体的には、現代の自律エージェントは、行動方針の決定に単一の視点（すなわち、自律エージェントの視点）のみを使用し、行動方針の選択の質を高め得る自分以外の視点を考慮に入れていない。自律エージェントによる最適でない行動方針選択の技術的問題は、自律エージェントの動作環境に多くの考えられる意図を持つ多くのアクティブまたは動的なエージェントが含まれる場合に生じ得る指数関数的な行動方針の選択肢のために、大幅に複雑化する可能性がある。したがって、ある動作環境におけるアクティブエージェントの考えられる多くの意図により、行動方針に手に負えないレベルのバリエーションが生じ得る。

［００３１］本書で提案される、自律エージェントによる実行に利用可能な一連の可能な行動方針の選択肢を扱いやすくする技術的解決手段は、自律エージェントによって生成されたオンボード知覚データを、オフボードデータソースから取得されたオフボード知覚データで増強することが含まれる。

［００３２］本出願の実施形態は、自律エージェントによる動作環境の把握を強化するために、多視点アプローチを使用して改善された行動方針選択を実現する、強化されたシステムおよび方法を提供する。すなわち、本出願の１つまたは複数の実施形態は、自律エージェントが、当該自律エージェント以外のまたは外部の複数の他者（actors）からのデータおよび／または視点を同化することを可能にする。したがって、自律エージェントは、そうでなければ搭載センサの限られた検出フィールドに基づいて自律車両が利用または認識できない行動方針データを決定または選択するための入力データとして利用することができる。

［００３３］したがって、本出願の１つまたは複数の実施形態は、自律エージェントの外部にあり、自律エージェントの動作環境に配置されて自律エージェントのオンボードセンサスイートの１以上の視点とは異なる、動作環境内のさまざまな視点からのデータを収集できる感知デバイス（例えば、オフボード感知デバイス、インフラストラクチャ感知デバイスなど）を提供する。そのような実施形態では、これらのオフボード感知デバイスは、自律エージェントによって行動方針を選択するための追加の決定入力データとして使用され得る、自律エージェントに感知されたデータの１つまたは複数のストリームを提供するように機能し得る。すなわち、本出願の１つまたは複数の実施形態は、リアルタイムまたはほぼリアルタイムの運用環境において行動方針の選択を行うに先立ち、自律エージェントのオンボードセンシングデータをオフボードセンシングデータで増強して、自律エージェントの動作環境の多視点理解を可能にする。

２．インフラストラクチャ感知データを使用した自律的意思決定システム
［００３４］図１－１Ａに示されるように、自律エージェントによるマルチポリシー決定を実現するシステム１００は、自律エージェント１１０、オンボードコンピューティングシステム１１５、複数のインフラストラクチャデバイス１２０、および通信インターフェース１３０を含む。

［００３５］自律エージェント１１０は、好ましくは完全自律車両である自律車両１１０を含むが、追加的または代替的に、ボート、無人航空機、自動運転車両などの任意の半自律または完全自律ビークルであり得る。追加的または代替的に、自律エージェント１１０は、半自律状態と完全自律状態（または完全有人状態）との間で切り替わる車両であってもよく、したがって自律エージェント１１０は、自律エージェント１１０の状態に応じて、半自律車両および完全自律車両の両方の属性を有し得る。本出願の実施形態のいくつかの部分は、自律エージェント１１０（例えば、自律車両（例えば、無人車）、半自律、無人航空機（例えば、ドローン）など）を介して実装されるものとして本明細書に記載されるが、任意の適切なコンピューティングデバイス（例えば、モバイルコンピューティングデバイスなどを含む任意のエッジデバイス）を実装して、自律エージェント１１０のセンサデータを処理してもよいことに留意されたい。自律エージェント１１０は、自律車両として一般に説明されているが、この自律エージェント１１０は、任意の種類の自律機械、自律デバイス、自律ロボットなどであってもよいことに留意されたい。

［００３６］好ましい実施形態では、自律エージェント１１０は、オンボードコンピューティングシステム１１５（例えば、自律エージェントと統合されたコンピュータ）または任意の適切な車両システムを含むが、追加的または代替的に、自律エージェント１１０から切り離されていてもよい（例えば、自律エージェントから独立して動作するユーザモバイルデバイス）。

［００３７］追加的または代替的に、オンボードコンピューティングシステム１１５はメモリだけでなく、処理システム（例えば、グラフィカル処理ユニットまたはＧＰＵ、中央処理ユニットまたはＣＰＵ、または任意の適切な処理回路）を含み得る。メモリは、短期（例えば、揮発性、不揮発性、ランダムアクセスメモリまたはＲＡＭなど）および／または長期（例えば、フラッシュメモリ、ハードディスクなど）メモリであり得る。後述するように、自律エージェント１１０は、無線通信システム（例えば、Ｗｉ－Ｆｉ、ブルートゥース、セルラー３Ｇ、セルラー４Ｇ、セルラー５Ｇ、多入力多出力またはＭＩＭＯ、１つまたは複数の無線機、またはその他の適切な無線通信システムまたはプロトコル）、有線通信システム（例えば、変調電力線データ転送、イーサネット、またはその他の適切な有線データ通信システムまたはプロトコル）、センサ、および／またはデータ転送バス（例えば、ＣＡＮ、ＦｌｅｘＲａｙ）を具える通信インターフェース１３０をさらに含み得る。好ましい実施形態では、オンボードコンピューティングシステム１１５は、本明細書に記載の同定されたコンポーネントまたはモジュールのいずれかまたは１つまたは複数と相互作用し、および／または動作可能に制御するように動作することができる。例えば、オンボードコンピューティングシステム１１５は、マルチポリシー決定モジュール、同期モジュールなどを実装するためのコンピュータ命令を実装および／または実行するように機能することができる。

［００３８］追加的または代替的に、自律エージェント１１０は、ユーザデバイス（例えば、携帯電話、ラップトップなど）、リモートサーバ、クラウドサーバ、または車両から離れた他の適切なローカルおよび／または分散コンピューティングシステムを含み得るリモートまたは別個のコンピューティングシステムと機能的に通信してもよい。リモートコンピューティングシステムは、好ましくは、１つまたは複数のデータ接続（例えば、チャネル）を介して自律エージェントの１つまたは複数のシステムに接続することができるが、代わりに、任意の適切な方法で車両システムと通信してもよい。

［００３９］オンボードコンピューティングシステム１１５は、好ましくは、自律エージェント１１０を制御し、自律エージェント１１０のセンサスイート（例えば、コンピュータービジョンシステム、ＬＩＤＡＲ、フラッシュＬＩＤＡＲ、ホイールスピードセンサ、ＧＰＳなど）および／または他の（インフラストラクチャデバイス１２０の）センサからの感知データを処理して、自律エージェント１１０の状態または当該自律エージェント１１０の動作環境内のエージェントの状態を特定するように機能する。自律エージェントおよび／または動作環境内のエージェントの状態およびプログラムされた命令に基づいて、オンボードコンピューティングシステム１１５は、好ましくは、自律エージェント１１０の動作を変更または制御する。追加的または代替的に、オンボードコンピューティングシステム１１５は好ましくは、行動方針を生成し、オンボードコンピューティングシステム１１５が自律エージェント１１０の行動を制御するために実行するように機能し得る行動方針を選択するように機能するマルチポリシー意思決定モジュール１１７を含む。

［００４０］オンボードコンピューティングシステム１１５は、好ましくは車両制御システムおよびセンサシステムとのＩ／Ｏ通信に適合された汎用コンピュータであるが、追加的または代替的に、任意の適切なコンピューティングデバイスであり得る。

［００４１］追加的または代替的に、オンボードコンピューティングシステム１１５は、好ましくは無線接続を介して（例えば、セルラーリンクまたは接続を介して）インターネットに接続される。追加的または代替的に、オンボードコンピューティングシステム１１５は、任意の数の無線または有線通信システムに接続してもよい。

［００４２］インフラストラクチャデバイス１２０は、好ましくは、環境の１つまたは複数の態様および／または特徴を観察し、環境の１つまたは複数の態様および／または特徴に関連する観察データを収集するように機能する。そのような好ましい実施形態では、インフラストラクチャデバイスは、観察に関連するデータを収集し、収集されたデータおよび／または収集されたデータの処理された派生物を自律エージェント１１０に送信するようにさらに機能する。いくつかの実装例では、インフラストラクチャデバイスは、収集された観測データを、自動運転車両サービスおよび／またはリモートプラットフォーム（例えば、分散コンピューティングシステムなどのネットワークを介して実装される）にさらに転送し、これらは相互に通信および／または自律エージェント１１０の１以上の機能を制御するように動作する。

［００４３］
いくつかの実施形態では、インフラストラクチャデバイス１２０は、本明細書では路側ユニットと呼ばれ得る。路側ユニットは、好ましくは、自律車両などの自律エージェント１１０の動作位置にすぐ近くおよび／または近接、または短距離通信範囲にあるデバイスを含み、自律エージェント１１０を取り巻く状況および自律エージェント１１０の動作ゾーンに近接するエリアに関するデータを収集するように機能し得る。いくつかの実施形態では、路側ユニットは、フラッシュＬＩＤＡＲ、熱画像装置（熱カメラ）、静止画または映像キャプチャデバイス（例えば、画像カメラおよび／またはビデオカメラなど）、グローバルポジショニングシステム、レーダーシステム、マイクロ波システム、慣性測定ユニット（ＩＭＵ）などを含む１つまたは複数のオフボード感知デバイスを含み得る。

［００４４］インフラストラクチャデバイス１２０は、追加的または代替的に、インフラストラクチャデバイス１２０が自律エージェント１１０と通信可能にする処理回路および通信インターフェースを介したコンピューティング機能を具え得る。自律エージェント１１０の動作ゾーンは、自律エージェント１１０の構造化および／または非構造化ルートに沿った事前定義された半径として定義することができる。例えば、構造化および／または事前定義された自律エージェントのルートの場合、自律エージェントの動作の近接ゾーンは、構造化ルートに沿った任意地点からまたはそれに沿った１００フィートであり得る。そのような実施形態では、動作ゾーンは、自律エージェントが配置され、および／または動作する（例えば、運転する）構造化ルートに沿った任意地点からある半径または事前定義された距離（例えば、１００フィート）として定義することができる。

［００４５］インフラストラクチャデバイス１２０の実装によって達成される技術的利点には、自律エージェント１１０の観察可能な範囲を超えて状況（例えば、角を曲がったところ、直角な通りを下るなど）を観察する能力が含まれる。すなわち、所定の時間の所定の場面において、所定の環境の１以上の側面（aspects）の観察が自律エージェント１１０によって行われ、所定の環境の１以上の異なるおよび／または重複する側面の観察が、所定の環境内に配置されて動作する１以上のインフラストラクチャデバイス１２０によって、異なる観点から行われてもよい。そのような実施形態では、そこからの観測データを含むインフラストラクチャデバイス１２０の視点は、自律エージェント１１０の視点からの観測データに拡張されて、自律エージェント１１０の動作環境の包括的な視点を生成することができる。このようにして、動作環境の改善された予測を行うことができ、その結果、改善された行動方針決定が、（人間のオペレータから）独立して動作環境内で安全に動作するために自律エージェント１１０によって選択および／または実行され得る。

［００４６］上記のように、自律エージェント１１０は、自律エージェント１１０による行動方針の選択を改善するために、それ自体のオンボードセンサスイートによって導出されたデータをインフラストラクチャデバイス１２０（例えば、路側ユニット１２０）による追加の観測と増強および／または融合するように機能し得る。

［００４７］追加的または代替的に、様々な実施形態において、インフラストラクチャデバイス１２０は、動作環境内の任意のタイプまたは種類のエージェントをビデオカメラまたはレーダーなどで検出し追跡することができる。そのような実施形態では、例示的なビデオカメラは、エージェントの検出、エージェントタイプの意味的分類、およびエージェントの可能な意図を、例えば道路を横断しようとしている歩行者、または左折しようとしている車、車のドアを開けて車を降りようとしている運転手、バイクレーンで運転している自転車運転者などのように提供するように機能し得る。

［００４８］追加的または代替的に、他のインフラストラクチャデバイス１２０は、インフラストラクチャデバイス１２０によって収集および／または感知されたデータに関して、インフラストラクチャデバイス１２０の動作状態（例えば、赤または青の信号機）などに関して、１つまたは複数の路側ユニット１２０と通信し、および／または自律エージェント１１０と直接通信するように機能し得る環境で動作する交通管理デバイス（例えば、交通センサ、信号機、歩行者用信号など）などを含んでもよい。例えば、自律エージェント１１０が自律車両である場合、信号機は、自律車両と直接通信するか、自律車両と通信可能な路側機と通信するように機能し得る、自律車両を取り巻く環境におけるインフラストラクチャデバイス１２０であり得る。この例では、信号機は、信号機が投影しているライトの色などの動作状態情報、または信号機によるライトの変化のタイミングなどの他の情報を共有および／または通信するように機能してもよい。

［００４９］通信インターフェース１３０は、好ましくは、自律エージェント１１０が、自律エージェント１１０の外部のシステム、ネットワーク、および／またはデバイスと通信および／またはデータ交換できるようにする。好ましくは、通信インターフェース１３０は、１つまたは複数のインフラストラクチャデバイス１２０が自律エージェント１１０と直接通信することを可能にする。通信インターフェース１３０は、好ましくは、セルラーシステム（または任意の適切な長距離通信システム）、直接短波無線、または任意の他の適切な短距離通信システムのうちの１つまたは複数を含む。

［００５０］いくつかの実施形態では、パワートレイン（または他の動きを実現するメカニズム）に加えて、自律エージェント１１０は、センサスイート（例えば、コンピュータービジョンシステム、ＬＩＤＡＲ、ＲＡＤＡＲ、車輪速度センサ、ＧＰＳ、カメラなど）またはオンボードコンピューティングシステム１１５と通信可能なオンボードセンサを含み得る。

［００５１］オンボードセンサスイートは、好ましくは、自律エージェントの動作（自律運転など）、自律エージェントを取り巻く状況に関するデータキャプチャ、ならびに自律エージェント１１０の動作に関するデータキャプチャを実行するために使用されるセンサを含むが、追加的または代替的に、自律エージェント１１０のメンテナンスニーズの検出専用のセンサを含み得る。例えば、センサスイートは、エンジン診断センサまたは外部圧力センサストリップを含み得る。別の例として、センサスイートは、例えば内部カメラ、アンモニアセンサ、メタンセンサ、アルコール蒸気センサなどの、自律エージェントの内装のきれいさに関連するメンテナンスニーズを特定するための専用センサを含み得る。

［００５２］
１つまたは複数の実施形態によれば、自律オペレーティングシステムは、一般に、自律エージェント１１０の自律操作および／または動作を制御するコントローラ１１６を含み得る。すなわち、コントローラ１１６の適切なソフトウェアおよび／またはハードウェアコンポーネント（例えば、プロセッサおよびコンピュータ可読ストレージデバイス）が、自律エージェント１１０のルーティング目標および自律エージェント１１０の選択された行動方針に従って自律エージェント１１０を制御するための制御信号を生成するために利用される。

［００５３］追加的または代替的に、自律エージェント１１０は、センサ融合システム１１７、位置決めシステム１１８、およびガイダンスシステム１１９を具える。理解できるように、様々な実施形態では、センサは任意の数のシステムに編成することができ（例えば、組み合わされ、さらに分割されるなど）、本開示は提示された実施例に限定されない。

［００５４］様々な実施形態において、センサ融合システム１１７は、センサデータを合成および処理し、マルチポリシー決定モジュールなどとともに、自律エージェント１１０の環境のオブジェクトや構造物の存在、位置、分類、および／または経路を予測する。様々な実施形態において、センサ融合システム１１７は、カメラ、ＬＩＤＡＲＳ、レーダー、インフラストラクチャデバイス１２０、リモートデータフィード（インターネットベースのデータフィード）、および／または他のタイプの任意数のセンサを含むがこれらに限定されない、複数のセンサおよび／またはデータソースからのデータを組み込むように機能し得る。

［００５５］位置決めシステム１１８は、センサデータを他のデータと共に処理して、自律エージェント１１０の環境に対する相対位置（例えば、地図に対する局所位置、道路の車線に対する正確な位置、車両の進行方向、速度など）を特定する。案内システム１１９が、センサデータを他のデータとともに処理して、車両１１０が辿る経路を決定する。

［００５６］様々な実施形態では、コントローラ１１６は、構造物検出／分類、障害軽減、ルートトラバーサル、マッピング、センサ統合、グラウンドトゥルース決定などのような、コントローラ１１６の機能を支援するための機械学習技術を実装するように機能し得る。

３．インフラストラクチャ感知データを使用した自律的意思決定方法
［００５７］図２に示すように、自律エージェントによる自律決定および制御のための方法２００は、決定データの収集Ｓ２１０、決定データを含むデータバッファの構築Ｓ２１５、（リアルタイムの）現在状態データの生成Ｓ２２０、同定されたそれぞれのエージェントの意思データの生成Ｓ２３０、可能性のある行動方針の識別Ｓ２４０、および複数の行動方針のうちの１つの選択Ｓ２５０を含む。この方法は、任意で、選択された行動方針の実行Ｓ２５５を含む。

［００５８］方法２００は、自律エージェントによる行動の選択を限定されたもっともらしい方針のセットに制限することによって、自律エージェントの扱いやすい意思決定を可能にするように好適に機能する。１つまたは複数の好ましい実施形態では、方法２００は、自律エージェントがインフラストラクチャデバイスから状況データ（環境データを含む）を収集し、環境で動作するエージェントのアクションを推測または予測することを可能にする。１つまたは複数のインフラストラクチャデバイスによって提供される観測データによって、自律エージェントが、自律エージェントの異なる行動について現在の環境によって生じ得る結果の特定を好適に実現することができる。

［００５９］決定データの収集を含むＳ２１０は、自律エージェントによる決定のための入力として使用され得る１つまたは複数のデータソースからデータのストリームを収集するように機能する。好ましくは、Ｓ２１０は、自律車両などの自律エージェントでデータのストリームを収集するように機能することができる。好ましい実施形態では、１つまたは複数のデータソースは、自律エージェントのデバイスおよび／またはシステム、自律エージェントに取り付けられたセンサ（例えば、オンボードセンサ）、および自律エージェントの近くのインフラストラクチャデバイスを含み得る。１つまたは複数のデータソースは、好ましくは自律エージェント、オンボードセンサ、およびインフラストラクチャデバイスのデバイスおよび／またはシステムを含むが、１つまたは複数のデータソースは追加的または代替的に、１つまたは複数のリモートデータフィード（気象フィード、トラフィックフィードなど）、リモート自律エージェントプラットフォーム（例えば、自律エージェントをリモートで管理および／または操作するためのリモートサーバ、クラウドサーバなど）、および自律エージェントがアクセスできるその他の適切なデータソースを含み得ることに留意されたい。

［００６０］１つの好ましい実施形態によれば、Ｓ２１０は、インフラストラクチャデバイスから決定データを収集するように機能し得る。そのような好ましい実施形態では、Ｓ２１０は、自律エージェントの動作中に決定データを収集するように機能するが、自律エージェントがアクティブ状態にない（例えば、運転していない、動作していない、駐車中など）期間中に決定データを収集するように機能することもできる。インフラストラクチャデバイスは、好ましくは、環境内にインテリジェントに構成および／または配置された１つまたは複数のセンサデバイスを含む。例えば、１つまたは複数のセンサデバイスが、自律エージェントの運転／操作（制御）命令を決定および／または生成するのに役立つように、また、複数の運転および／または操作命令が提示されたときに、どの命令を実行しどの命令を無視するかを自律エージェントが決定するのに役立つ可能性があるデータを収集するように構成され得る。したがって、１つまたは複数のインフラストラクチャセンサは、所定のルートプランまたは所与の自律エージェントの可能なルートプランに沿った道路データ、歩道データ、静的および／または動的オブジェクトデータの位置（例えば、エージェントデータ）、交通データなどを含む、運転環境におけるデータを収集するように機能し得る。１つまたは複数の実施形態では、１つまたは複数のインフラストラクチャデバイスは、自律エージェントおよび／または自律エージェントの計画ルートに向けて、外部および／または環境の観点から観測データを収集するように機能し得る。

［００６１］いくつかの実施形態では、インフラストラクチャデバイスは、１つまたは複数のインフラストラクチャセンサデバイスの固定された（または実質的に）座標（地理的）位置が既知であるように、（運転）環境内に固定的に取り付けられるか配置された１つまたは複数のセンサデバイスを含み得る。したがって、そのような固定的に配置されたインフラストラクチャデバイスは、固定された検出フィールドを有し得る。例えば、運転環境に固定されたカメラは、固定された視野を持ち得る。いくつかの実施形態では、インフラストラクチャデバイスは、１つまたは複数のセンサデバイスの座標位置が変化するように、環境内に移動可能に配置される１つまたは複数のセンサデバイスを含み得る。そのような実施形態では、インフラストラクチャデバイスは、可変の検出フィールドを有し、環境内の複数の軌道に沿ってデータを感知することができる。

［００６２］第１の実装例では、Ｓ２１０は、自律エージェントの通信近接（例えば、短距離通信を可能にする所定の距離）にある１つまたは複数のインフラストラクチャデバイスからデータのストリームを自動的に収集するように機能し得る。いくつかの実施形態では、インフラストラクチャデバイスは、短距離通信スキームまたはシステムを使用して自律エージェントと通信するように構成され得る。そのような実施形態では、自律エージェントが所与のインフラストラクチャデバイスの通信範囲または近接に入る（または移動する）と、自律エージェントがインフラストラクチャデバイスからの信号を自動的に検出し、インフラストラクチャデバイスから発信されるデータを自動的に収集するように機能し得る。

［００６３］第２の実装例では、Ｓ２１０は、動作中の自律エージェントから所定の距離にある１つまたは複数のインフラストラクチャデバイスからデータのストリームを自動的に収集するように機能することができる。すなわち、いくつかの実施形態では、自律エージェントの動作環境が複数のインフラストラクチャデバイスを含み得るが、自律エージェントは、自律エージェントから所定の距離内の複数のインフラストラクチャデバイスのサブセットのみからデータを自動的に収集し、場合によっては自律エージェントの所定の距離外にある他のインフラストラクチャデバイスから着信するデータを無視するように構成され得る。このようにして、自律エージェントは、保留中および／または即時の動作決定に対して、より即時またはより高い相対的重要性を有するデータを収集するように機能することができる。

［００６４］第２の実装例の変形例において、Ｓ２１０は、自律エージェントの所定の距離にある１つまたは複数のインフラストラクチャデバイスからデータのストリームを自動的に収集し、自律エージェントの移動経路内にないか含まれなくなったインフラストラクチャデバイスからのデータとは異なるように、自律エージェントのアクティブな軌道内または移動経路内の１つまたは複数のインフラストラクチャデバイスから収集されたデータを重み付けまたは考慮するように機能し得る。すなわち、いくつかの実施形態では、Ｓ２１０は、自律エージェントの位置と実質的に一致し、自律エージェントの移動経路の前方のインフラストラクチャデバイスからのデータに、自律エージェントの移動経路に沿った後ろの、または通過したインフラストラクチャデバイスからのデータに与えられるよりも、追加の（増加した）重みでデータの重み付けを行うように機能し得る。

［００６５］いくつかの実施形態では、１つまたは複数のインフラストラクチャデバイスから収集されたデータは、環境の１つまたは複数の特徴に関する圧縮されたおよび／または意味的に密なデータを含み得る。いくつかの実施形態では、所与のインフラストラクチャデバイスの検出フィールドは地理的に定義された領域を含み、この地理的に定義された領域内で、インフラストラクチャデバイスは、地理的に定義された領域内の特徴、オブジェクト、および／またはエージェントの意味的抽象化（例えば、一般的な形状またはサイズ、位置、速度（移動しているかどうか）を感知または収集するように構成され得る。

［００６６］追加的または代替的に、いくつかの実施形態では、１つまたは複数のインフラストラクチャデバイスは、地理的に定義された領域内のデータを感知または検出し、地理的に定義された形状内の状況に関する状態データを導出および／または計算するように構成され得る。例えば、地理的に定義された形状または感知領域が歩道または同様の歩行者経路を含む正方形である場合、第１のインフラストラクチャセンサデバイスが、歩道上に静的なエージェント（移動していない物体または人）および／または動的なエージェント（移動している物体または人）が存在するかどうかを識別し、状態データとして、歩道上に位置する静的エージェントまたは動的エージェントが認められた指標（例えば、地理的位置内で動作する静的または動的エージェントなどの座標データ）を自律エージェントに提供するように機能し得る。場合によっては、地理的に定義された検知領域内にエージェントが位置しない場合、状態データはエージェントがないことを示し得る（「クリア」など）。したがって、そのような実施形態では、地理的に定義された形状または感知領域内のシーンの完全な表現を送信するのではなく、インフラストラクチャデバイスは、意味的に密な状態データを自律エージェントに提供することができる。状態データのいくつかの例として、インフラストラクチャ感知デバイスは、エージェント有りまたはエージェント無し、静的エージェントまたは動的エージェント、クリアまたは非クリア、ビジー（アクティブ）または非ビジー（非アクティブ）、および／または自律エージェントに提供され得るインフラストラクチャデバイスの感知領域内の状況に関する任意の適切な簡略化および／または派生情報を示し得る。

［００６７］決定データを含むデータバッファの構築を含むＳ２１５は、１つまたは複数のデータソースからのデータのストリームをデータバッファ内に配置および／または格納するように機能し、このデータバッファは、本明細書では履歴および／またはグローバルデータバッファと呼ばれる。データバッファは、好ましくは、履歴データならびに現在収集されたデータ（例えば、リアルタイムデータまたはほぼリアルタイム）を格納するように機能する。いくつかの実施形態では、Ｓ２１５は、自律エージェントのデバイスおよび／またはコンポーネント、自律エージェントのオンボードセンサ、および／または１つまたは複数のインフラストラクチャデバイスからのデータからデータを収集するように機能し得る。したがって、好ましい実施形態では、バッファは、自律エージェントに搭載された様々な感知デバイスからデータを収集するとともに、自律エージェントに搭載されていないインフラストラクチャデバイスからデータを感知するように機能するグローバルデータバッファなどと見ることができ、これには他のリモートデータソース（例えば、インターネットベースのデータフィード）などからのデータも含まれる。

［００６８］Ｓ２１５は、自律エージェントによってデータが受信または収集された時間に基づいて、データバッファ内に（Ｓ２１０で）受信されたデータを順次格納することによってデータバッファを構築するように機能し得る。しかしながら、自律エージェントによって収集されたデータの１つまたは複数のストリームに付加されるタイムスタンプデータを分析できるため、Ｓ２１５は、データバッファ内の要素が、データの１つまたは複数のストリームのそれぞれに関連付けられたタイムスタンプデータに従って調整および／または並べ替えられるグローバル時間同期技術を用いてデータバッファを継続的および／または周期的に再構成するように機能し得る。

［００６９］したがって、データバッファは、データバッファに格納された履歴データを含むデータの第１の部分がグローバル時間同期され、最近（０～１５秒以内に）格納されたデータを含むデータの第２の部分および／またはリアルタイムのデータは、まだグローバル時間同期されていないデータであり得る。最近格納されたデータは、所定の時間閾値を超えて格納されていないデータ、および／または格納されているがデータバッファ内に以前に格納されたデータとまだグローバル時間同期されていないデータと見なされ得ることに留意されたい。

［００７０］好ましい実装例において、Ｓ２１５は、通信および／またはデータの１つまたは複数のストリームの収集における遅延（latencies）を考慮に入れるグローバル時間同期モジュールを実装し、すべてのデータソースから収集されたデータの１つまたは複数のストリームを同期するように機能する。いくつかの実施形態では、データソースの遅延は、通信方法および／またはデータストリームの受信時（あるいは、データストリームの送信時）の自律エージェントに対するデータソースのグローバル位置システム（ＧＰＳ）ベースの位置に基づいて既知である。インフラストラクチャデバイスに関して、インフラストラクチャデバイスは自律エージェントを取り巻く状況および／または環境において自律エージェントから離れて位置するため、インフラストラクチャデバイスによって収集、感知、および／または導出されたデータは、一般に何らかの無線通信システム（例えば、短波通信）などを使用して自律エージェントに通信される。したがって、自律エージェントにデータを通信する各インフラストラクチャデバイスに関して、Ｓ２１５は、それぞれのインフラストラクチャデバイスと自律エージェントとの間の通信における遅延値を計算または推定するように機能し得る。Ｓ２１５は、推定または計算された遅延値を用いて、自律エージェントにデータを通信する各インフラストラクチャデバイスに関連付けられたデータストリームの実際の発生時間および／または受信時間を調整するように機能し得る。例えば、各データストリームには、自律エージェントによる受信時間を同定するメタデータ（例えば、タイムスタンプ）が付加され、Ｓ２１５は、データの各ストリームの受信時間から、データのデータソース（インフラストラクチャデバイスなど）のストリームによる遅延値を差し引くか減算するように機能し得る。すなわち、遅延値は、データがインフラストラクチャデバイスによって感知、取得、および／または発信された時間を示すインフラストラクチャデバイスが提供するタイムスタンプに基づいて計算することができる。Ｓ２１５は、このタイムスタンプデータと、インフラストラクチャデータからのデータが受信された時刻を示す自律エージェントによる第２のタイムスタンプとの間の差に基づいて遅延値を計算するように機能し得る。

［００７１］Ｓ２１５の１つの変形例では、各タイプのインフラストラクチャデバイスについて（自律エージェントによって計算または推定されるのではなく）遅延値が事前に設定されるか既知であり、当該各タイプのインフラストラクチャデバイスについての所定および／または既知の遅延値をデータの各ストリームの受信時間から差し引くか減算して、所与のインフラストラクチャデバイスに関連付けられたデータストリームのグローバル同期時間を決定する。

［００７２］第２の実装例では、Ｓ２１５は、インフラストラクチャデバイスを含む各データソースによって生成された複数のデータストリームを、タイムスタンプデータに基づいてグローバル時間同期するように機能し得る。すなわち、この第２の実装例では、各データソースは、自律エージェントと共通のクロックか、同じに同期されたクロックで動作するように機能し得る。したがって、データを記録および／または感知するときに、インフラストラクチャデバイスの１つといった各データソースは、各オンボードセンサおよびオフボードインフラストラクチャデバイスからのデータストリームが自律エージェントに受信または収集された時間ではなく、オンボードセンサおよびオフボードインフラストラクチャデバイスによってデータストリーム内でデータが実際に観察された同期時間を示す共通クロックまたは同期クロックに基づいてタイムスタンプを記録するように機能する。Ｓ２１５は、自律エージェントでのデータストリームの受信に係るタイムスタンプの配置のタイムスタンプデータを使用して、１つまたは複数のデータソースから受信したデータストリームの連続順序を調整するように機能し得る。

［００７３］Ｓ２１５は、上記のグローバル時間同期スキームの１つまたは複数によれば、グローバルデータバッファ内の１つまたは複数のデータストリームの順序を並べ替えおよび／または再配置するように好適に機能する。そのような実施形態では、Ｓ２１５は、データソースからのデータストリームのデータ要素を、各データ要素のグローバル同期時間に基づいて、グローバルデータバッファ内の第１の（または初期の）位置からグローバルデータバッファ内の第２の（または後続の）位置に並べ替えおよび／または再配置するように好適に機能する。このように、Ｓ２１５は、１つまたは複数のインフラストラクチャデバイスから発信されたデータのストリームからのデータ要素をグローバルデータバッファ内の時間同期位置に挿入または再配置して、自律エージェントへの決定データの精度を高めるように機能し得る。

［００７４］収集された決定データの処理を含むＳ２２０は、自律エージェントによる行動方針を選択するための決定入力を導出するために、決定データに対して１つまたは複数のデータ処理技術を実行するように機能し得る。一実施形態では、Ｓ２２０は、１つまたは複数のデータ融合技術を実装するステップ（Ｓ２２２）と、自律エージェントの環境内の１つまたは複数のエージェントの（現在の）状態に関する１つまたは複数の仮説を生成するステップ（Ｓ２２４）とを含む。

エージェント追跡
［００７５］１つまたは複数のエージェントおよび／またはオブジェクトの追跡を含むＳ２２１は、自律エージェントおよび／またはインフラストラクチャデバイスによって識別され得る１つまたは複数のエージェントおよび／またはオブジェクトを追跡するように機能し得る。１つまたは複数の実施形態では、Ｓ２２１は、収集された決定データに基づいて、自律エージェントおよびインフラストラクチャデバイスのうちの１以上を取り巻く状況内で、１つまたは複数のエージェントおよび／またはオブジェクトを識別するように機能し得る。そのような実施形態では、収集された決定データは、自律エージェントおよびインフラストラクチャデバイスのうちの１以上からのセンサデータを含み得る。したがって、追跡される１つまたは複数のエージェントは、自律エージェントのセンサデータおよび／またはインフラストラクチャデバイスによって取得されたセンサデータに基づいて同定されたエージェントを含み得る。

［００７６］いくつかの実施形態では、Ｓ２２１は、自律エージェント、インフラストラクチャデバイス、および／またはリモート自律エージェントサービス（例えば、クラウドベースサーバ（分散コンピューティングネットワークなど））のうちの１以上を介して１つまたは複数のエージェントを追跡するように機能し得る。すなわち、いくつかの実施形態では、自律エージェント、インフラストラクチャデバイス、および／または自律エージェントサービスのそれぞれは、自律エージェントおよび／またはインフラストラクチャデバイスを取り巻く状況で同定されたエージェントの追跡機能を実行するように機能し得る。したがって、本明細書に記載の追跡機能は、自律エージェント、インフラストラクチャデバイス、および自律エージェントサービスのいずれかによって、またはそれらのいずれかで実行され得ることに留意されたい。エージェントおよび／またはオブジェクトの追跡機能が自律エージェントから遠隔の、おそらくインフラストラクチャデバイスおよび／または遠隔自律エージェントサービスで実行されるいくつかの実施形態では、結果として生じる追跡データは、追跡ソースから自律エージェントに送信される。

［００７７］好ましい実施形態では、Ｓ２２１は、自律エージェントおよび／またはインフラストラクチャデバイスのそれぞれのセンサから取得されたセンサデータのための専用トラック（すなわち、トラックレット）を識別および／または挿入するように機能し得る。すなわち、そのような実施形態では、Ｓ２２１は、自律エージェントおよび／またはインフラストラクチャデバイスのそれぞれ別個のセンサからのセンサデータを、決定データバッファおよび／または同様のデータバッファの専用メモリセクションおよび／または独立メモリセクションに挿入することができる。このようにして、Ｓ２２１は、それぞれの個別センサのエージェントを独立して追跡するように機能し得る。

［００７８］追加的または代替的に、いくつかの実施形態では、Ｓ２２１は、各センサの個別のトラックレット（例えば、センサトラックレット）をマスタートラッカーにマージするように機能し得る。マスタートラッカーは、いくつかの実施形態では、すべての決定データおよび／またはセンサデータの収束を含み、ここから１つまたは複数のエージェントの追跡および／または推定軌跡に関する１以上の仮説を計算することができる。個別のトラックレットをマスタートラッカーに収束させることにより、Ｓ２２１では、センサデータ内で識別されるそれぞれの個別エージェントおよび／またはオブジェクトの複数の視点からの融合トラッキングの複合を構築することができる。すなわち、対象エージェントの重複する検出および／または追跡を有する２以上の異なるセンサがある場合、これら２以上の異なるセンサのセンサデータ（すなわち、視点）を組み合わせて、対象エージェントの複合的または包括的な追跡を構築することができる。例えば、自律エージェントの第１のカメラが対象エージェント（例えば、歩行者）を感知および追跡するように機能し、インフラストラクチャデバイスの第２のカメラが別個の視点から対象エージェントを感知および追跡するように機能し得る。そのような場合、Ｓ２２１は、第１および第２のカメラのビデオデータを合成して、対象エージェントの複合トラッキングを構築するように機能し得る。いくつかの実施形態では、対象エージェントおよび／またはオブジェクトの複合トラッキングは、対象エージェントの軌跡および／または推定行動方針を推定するための入力として使用することができる。

エージェント分類
［００７９］１つまたは複数のエージェントおよび／またはオブジェクトを識別することを含むＳ２２２は、自律エージェントを取り巻く状況内で検出された１つまたは複数のエージェントおよび／またはオブジェクトのそれぞれを分類するように機能し得る。好ましい実施形態では、Ｓ２２２は、自律エージェントおよび／またはインフラストラクチャデバイスの１以上を取り巻く状況内で、識別された各エージェントおよび／またはオブジェクトを分類および／またはカテゴライズするように機能し得る。

［００８０］いくつかの実施形態では、Ｓ２２２は、センサデータに基づいて同定されたエージェントまたはオブジェクトの特徴抽出を実行し、特徴抽出データセットに基づいてエージェントおよび／またはオブジェクトの分類を実行するように機能し得る。そのような実施形態では、Ｓ２２２は、深層機械学習モデルなどを含む任意の適切な特徴抽出部を実装するように機能し得る。Ｓ２２２は、任意の適切なオブジェクトおよび／またはエージェントの分類技術、分類アルゴリズム（例えば、トレーニングされた機械学習ベースの分類アルゴリズム、分類モデルなど）、統計的分類モデル、および／または、エージェントおよび／またはオブジェクトを分類する目的の類似のものを実装するように機能し得ることに留意されたい。

融合
［００８１］Ｓ２２３は、１つまたは複数のデータ融合技術を実装することを含み、オンボードおよび／またはオフボードセンサまたはデータソースからデータのストリームを収集または集約し、このデータを融合システムまたは融合モジュールに提供して自律エージェントおよび当該自律エージェントの動作環境における特徴（例えば、エージェント、オブジェクト、エリアなど）に関する１以上の推定および／または分類を生成するように機能する。

［００８２］第１の実装例では、Ｓ２２３は、データ融合システムへの入力として、オフボードセンサデータとは別にオンボードセンサデータを提供するように機能し得る。すなわち、この第１の実装例では、自律エージェントのオンボードデータソースの一部または全部から収集されたセンサデータは、オフボードセンサデータなどの合成とは独立して、自律車両の融合システムを使用して集約および合成され得る。オンボードデータソースが自律エージェントの融合システムに近くにあると、オンボードセンサデータをオンボードデータソースから融合システムの処理システムに効率的に渡すことができ、ここで自律エージェントと１つまたは複数のインフラストラクチャデバイスおよび／またはリモートデータソースとの間で交換されるセンサデータに関する遅延がタイミングオフセットまたはタイミングミスアラインメントを含み、これによりオンボードおよびオフボードセンサデータを一緒に処理する融合システムの能力が制限される。

［００８３］追加的および／または代替的に、この第１の実装例において、オンボードセンサデータおよびオフボードセンサデータは、共通の融合システムまたはモジュールへの入力として提供され得る。追加的または代替的に、Ｓ２２３は、第１の融合システムへの入力としてオンボードセンサデータを提供し、第２の融合システムへの入力としてオフボードセンサデータを提供してもよい。そのような実施形態では、第１の融合システムはオンボードセンサデータを処理するように特別に構成され、第２の融合システムはオフボードセンサデータを処理するように特別に構成され得る。

［００８４］第２の実装例では、Ｓ２２３は、共通の融合システムを使用して、オンボードセンサデータとオフボードセンサデータを一緒に（例えば、同時にまたはほぼ同時に）処理するように機能し得る。すなわち、この第２の実装例では、自律エージェントと１以上のオフボードインフラストラクチャデバイスおよび／または１以上のオフボードデータソース（例えば、クラウドベースまたはインターネットベースのデータフィード、他の自律エージェントからの通信（車両間通信）、および／または類似のもの）との間の通信遅延に起因する同期の不一致を低減または排除するために、オンボードセンサデータとオフボードセンサデータを前処理してオンボードデータソースとオフボードデータソースから発生するデータストリームを時間同期させるようにしてもよい。したがって、オンボードデータソース（センサ）からのばらばらなデータストリームと、オフボードデータソース（インフラストラクチャデバイス、個別の自律エージェントなど）からのばらばらなデータストリームは、統合された（または単一の）データストリームに結合されて、処理のために融合システムに提供され得る。

仮説／意図の推定
［００８５］Ｓ２２４は、自律エージェントの環境内の１つまたは複数のエージェントの（現在の）状態に関する１つまたは複数の仮説と、自律エージェントの状態に関する１つまたは複数の仮説とを生成することを含み、融合システムおよび／または関連するデータ処理モジュールからそれぞれの自律エージェントと自律エージェントの外部にある識別されたエージェントとの仮説を出力するように機能し得る。好ましくは、それぞれの外部（環境エージェント）および自律エージェントについての仮説は、地理的位置（または三次元座標など）、速度、および／または加速度の推定を含む。追加的または代替的に、外部エージェントの仮説には、分散および共分散を伴う確率値を有する形状推定または記述および／または分類が含まれ得る。分類の出力は、好ましくは、自律エージェントのシーンまたは動作環境内の識別されたエージェントが静的であるか動的であるか、およびエージェントのタイプやクラス（例えば、人、車両、自転車、動物、静止物など）の分類を含む。融合システムは、状態推定および／または分類アルゴリズムと、単純なガウス関数、予測または推論機械学習モデル、機械学習分類部などを含むモデルのうちの１つまたは複数および／または組み合わせを実装するように機能し得る。

［００８６］自律エージェントを取り巻くおよび／またはインフラストラクチャデバイスを取り巻く状況内の各エージェントの推論を生成し、および／または意図を同定するＳ２３０は、この状況におけるエージェントの１つまたは複数の潜在的な意図（intents）、ならびに自律エージェントの意図推定を生成するために、Ｓ２２４で生成された１つまたは複数の仮説を入力として受け取るように機能し得る。エージェントの意図は、好ましくは、所与のエージェントによって実行される可能性が最も高い行動方針（behavioral policy）の推定（すなわち、エージェントがどう行動するか、１つまたは複数の期待される将来の行動など）に関する。各エージェントの意図は、生成された仮説データ（Ｓ２２０／Ｓ２２４で導出）およびグローバルデータバッファ（履歴データバッファなど）からのデータに基づいて好適にはグローバル時間同期された状態で各エージェントの行動方針を推定するように機能するマルチポリシー意思決定モジュールを使用して推定される。

［００８７］意図推定は、自律エージェントのオンボードで実行することが好ましく、意図推定は、自律エージェント、インフラストラクチャデバイス、リモート自律エージェントサービスなどのいずれかおよび／または組み合わせによって実行できることに留意されたい。一例の間接的な意図推定（例えば、対象の自律エージェント以外のエージェントによる意図推定）では、センサデータがインフラストラクチャデバイスで収集され、クラウドサービスなどを介して実装されるリモート自律エージェントサービスに送信され得る。リモート自律エージェントサービスは、インフラストラクチャデバイスによって識別された各エージェントの意図推定を計算するように機能し得る。追加的または代替的に、インフラストラクチャ自体が、インフラストラクチャデバイスによって取得されたセンサデータなどに基づいて意図推定を計算するように機能してもよい。

［００８８］好ましい実施形態では、Ｓ２３０は、環境内で動作しているエージェントおよび各エージェントの静的または動的分類を識別するように機能し得る。そのような実施形態では、Ｓ２３０は、自律エージェントの動作環境において動的（移動またはアクティブ）エージェントであると識別または分類されたエージェントのみをマルチポリシー意思決定モジュールへの入力として選択的に提供するように機能し、それによって動的エージェントへのマルチポリシー意思決定モジュールによる意図計算を制限する。マルチポリシー意思決定モジュールへの動的エージェントの選択的入力の技術的利点は、この手法が自律エージェントの（限られた）計算リソースを残し、これにより自律エージェントが自動運転車による行動方針の選択に最も大きな影響を与える環境内のアクターまたはエージェントの意図を、より高効率かつ高速に計算することができる。

［００８９］好ましくは、マルチポリシー意思決定モジュールは、参照によってその全体が本書に組み込まれる米国特許出願第１４／８１４，７６６号に記載されているように、自律エージェントによって実行される可能性のある潜在的な行動方針を含む、自律エージェントの動作環境において識別された各エージェントの将来の（すなわち、時間的に進めた）行動方針（動作またはアクション）を推定するように機能するシミュレータまたは類似の機械またはシステムを含む。シミュレーションは、各エージェントの現在の状態（例えば、現在の仮説）と、履歴データバッファ（好ましくは現時点までのデータを含む）から導出された各エージェントの過去のアクションまたは過去の行動に基づき得る。シミュレーションは、各エージェントの予測された行動方針と、自律エージェントによって実行され得る１以上の潜在的な行動方針との間の相互作用（例えば、相対位置、相対速度、相対加速度など）に関連するデータを提供してもよい。

方針の列挙
［００９０］マルチポリシー意思決定モジュールによるフォワードシミュレーションに基づいて、自律エージェントによって実行される可能性のある行動方針を列挙することを含むＳ２４０は、好ましくは、図３に例示するように、自律エージェントによって実行される可能性が最も高い複数の潜在的な行動方針を出力するように機能する。いくつかの実施形態では、Ｓ２４０は、自律エージェントによって最も安全に実行される可能性のある潜在的な行動方針を出力するように機能し得る。一実施形態では、Ｓ２４０は、自律エージェントを操作する安全性および効率性を含む複数の操作要素から最適化する潜在的な行動方針を出力するように機能してもよく、これは、動作環境において自律エージェントの妨害を制限することを含み得る。

［００９１］マルチポリシー意思決定モジュールによって考慮され得る行動方針および／または利用可能な行動方針のユニバースは、自律エージェントまたはリモート自律エージェントサービスのリモートオペレータ、事前定義された方針のセット、地理マップまたはルートマッピング内の異なる地理的位置に沿って実行可能な選択行動方針で補強された地理マップまたはルートマッピング、ユーザ／乗客のお気に入りなどを含むがこれらに限定されない、複数の別個の行動方針ソースに基づき得ることに留意されたい。したがって、任意の適切な行動方針ソースは、所与の自律エージェントのすべての可能な行動方針を含む行動方針データベースを登録するように機能し得る。

［００９２］追加的または代替的に、Ｓ２４０は、自律エージェントによる実行の確率に関連する１つまたは複数の所定の閾値に基づいて、自律エージェントによる実行のための潜在的な行動方針の範囲を定めるように機能し得る。すなわち、いくつかの実施形態では、Ｓ２３０は、所与の状況において自律エージェントによって実行されるための数百または数千の潜在的な行動方針をもたらす数百の、そうでない場合は数千のシミュレーションを生成するように機能し得る。したがって、Ｓ２４０は、所与の状況またはリアルタイムシナリオでの自律エージェントによる行動または動作を安全に実行するための１つまたは複数の最小確率値、または自律エージェントによる行動または動作を成功裏に実行するための１つまたは複数の最小確率値を識別する所定の閾値に従って、それらの生成された行動方針のサブセットのみを識別するように機能してもよい。

［００９３］複数の行動方針のうちの１つを選択することを含むＳ２５０は、１つまたは複数の所定の選択基準または動的な選択基準に基づいて、潜在的な行動方針のうちの１つを選択するように機能する。選択基準は、自律エージェントを操作する前に事前定義できる任意の適切な行動方針選択要因に基づいて、あるいは自律エージェントの動作環境または動作モードに関連する１つまたは複数の機能に動的に基づいて、自律エージェントを操作する前に予め定義できる任意の適切な行動方針の選択要因に基づくことができる。例えば、選択基準は、自律エージェントが安全に実行される可能性が最も高い行動方針を選択するように機能するように事前に定められてもよいし、および／または設定されてもよい。別の例では、自律車両の動作環境に緊急事態が含まれる場合、選択基準は、自律エージェントが動作効率と安全性等の間で（重み付けされた）バランスを必要とする抽出可能な行動方針のセットから行動方針を選択するように機能するように動的に設定されてもよい。

［００９４］いくつかの実施形態では、自律エージェントによる選択に利用可能な行動方針のセットは、１つまたは複数のインフラストラクチャデバイスから収集されたデータに基づいてさらに範囲が定められてもよい。例えば、いくつかの実施形態では、Ｓ２５０において、環境の１つまたは複数の特徴に関連する意味分類または他の分類データを、最適な行動方針を選択する際の入力として追加的に使用されてもよい。したがって、自律エージェントによる選択に利用可能な行動方針の範囲限定されたセットの各行動方針について、Ｓ２５０は、実行され得る操作または可能性のあるアクションを有効化または無効化するように機能し得る１つまたは複数のインフラストラクチャデバイスからのデータに対して機能し得る。例えば、Ｓ２５０は、自律エージェントの潜在的な方向転換方向の歩道が「クリア」（すなわち歩道にアクティブまたは動くエージェントがない）であることを示す、環境に設置されたカメラやレーダーなどのインフラストラクチャデバイスからの意味データを識別するように機能し得る。この例示的な意味データは、自律エージェントによる方向転換が与えられた状況において安全に実行できることを検証または確認する、感知領域内または観察可能なシーン内での否定的な観察（例えば、観察可能な領域におけるエージェントの欠如など）の推論を提供してもよい。これに対応して、１つまたは複数のインフラストラクチャデバイスからの意味データが、自律エージェントの考えられる方向転換方向の歩道上に複数の動くエージェントがいるなどのポジティブな観測データを提供し、歩道の方向への方向転換を必要とするいくつかの行動方針を無効にする場合がある。したがって、意味データおよび／または他の関連するインフラストラクチャセンサデータが、行動方針の決定または選択ステップで再適用されて、自律エージェントによる行動方針の最適な選択をさらに範囲限定および／または通知してもよい。

［００９５］さらに好ましくは、Ｓ２５０は、自律エージェントの動作環境の１つまたは複数の不感知領域に関連するインフラストラクチャ感知データを識別し、不感知オフボード感知データを使用して、自律エージェントによる行動方針の選択を通知するように機能し得る。例えば、自律エージェント（例えば、自律車両）が、単一車線の道路上で大型バスなどの静止物体の後ろのに配置されている場合、Ｓ２５０は、図４に例示されるように、自律エージェントが隣接する対向車線に対向車があるかどうかを認識できないことを識別するように機能してもよい。そのような例では、Ｓ２５０は、自律エージェントが感知できない感知領域内のインフラストラクチャ感知データを識別するように機能し、これが、行先目標に到達するために大型バスをかわすために隣接する対向車線へと切り替えるような行動方針が自律エージェントによって安全に実行できるか否かを通知してもよい。

［００９６］行動方針の選択に応答して、選択された行動方針を実行することを含むＳ２５５は、自律エージェントによって規定されたように、選択された行動方針を自動的に実行するように機能し得る。したがって、自律エージェントは、選択された行動方針に関連する命令のオンボードコンピュータなどによる実行に基づいて制御および／または操作され得る。

［００９７］好ましい実施形態およびその変形例のシステムおよび方法は、コンピュータ可読命令を格納するコンピュータ可読媒体を受けるように構成された機械として少なくとも部分的に実施および／または実装することができる。命令は、好ましくは、システムと、プロセッサおよび／またはコントローラの１つまたは複数の部分と統合されることが好ましいコンピュータ実行可能コンポーネントによって実行される。コンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＥＰＲＯＭ、光学デバイス（ＣＤまたはＤＶＤ）、ハードドライブ、フロッピードライブ、または任意の適切なデバイスなど、任意の適切なコンピュータ可読媒体に格納することができる。コンピュータ実行可能コンポーネントは、好ましくは、汎用またはアプリケーション固有のプロセッサであるが、任意の適切な専用ハードウェアまたはハードウェア／ファームウェアの組み合わせデバイスが、代替的または追加的に命令を実行してもよい。

［００９８］簡潔にするために省略されているが、好ましい実施形態は、本明細書に記載のシステムおよび方法の実装例のすべての組み合わせおよび順列を含む。

［００９９］当業者は、前述の詳細な説明および図面および特許請求の範囲から認識するように、特許請求の範囲に規定される本発明の範囲から逸脱することなく、本発明の好ましい実施形態に修正および変更を加えることができる。

Claims (18)

1. 自律エージェントをインテリジェントに実装するためのシステムにおいて、
   自律エージェントから地理的に離れて配置された複数のオフボードインフラストラクチャデバイスであって、
   前記自律エージェントの移動経路を取り巻く状況に関連する観測データを収集する複数のオフボードインフラストラクチャデバイスを具え、
   前記自律エージェントは：
   当該自律エージェントを前記複数のオフボードインフラストラクチャデバイスのそれぞれと通信可能にする通信インターフェースと；
   前記自律エージェント上に配置された複数の個別のセンサを具え、前記複数のオフボードインフラストラクチャデバイスの視点とは別個の視点で前記自律エージェントを取り巻く状況に関連する観測データを収集するオンボードセンサスイートと；
   前記オンボードセンサスイートからの観測データの第１のストリームおよび前記複数のオフボードインフラストラクチャデバイスからの観測データの第２のストリームを少なくとも格納する決定データバッファと；
   １以上のオンボードコンピューティングデバイスであって：
   前記観測データの第１のストリームおよび前記観測データの第２のストリームに基づいて、前記自律エージェントを取り巻く状況内の１つまたは複数のエージェントの追跡を実行し；
   前記観測データの第１のストリームと前記観測データの第２のストリームに基づいて、前記１つまたは複数のエージェントのそれぞれの意図推定を計算し；
   前記１つまたは複数のエージェントのそれぞれと前記自律エージェントの状態データを計算し；
   前記追跡および前記意図推定に基づいて前記自律エージェントの複数の候補行動方針を同定するマルチポリシー意思決定モジュールを実装し；
   前記複数の候補行動方針のうちの１つを選択し、前記自律エージェントの自律動作を制御するために、前記複数の候補行動方針のうちの選択された１つを実行する、
   １以上のオンボードコンピューティングデバイスとを具え、
   前記複数のオフボードインフラストラクチャデバイスが、道路に対して固定されて周囲の環境に設置されており、
   前記複数のオフボードインフラストラクチャデバイスが、道路の特徴と、エージェントの位置および速度とを収集することを特徴とするシステム。
2. 請求項１に記載のシステムにおいて、前記１以上のオンボードコンピューティングデバイスは：
   前記オンボードセンサスイートと自律エージェントとの間の第１の計算された通信遅延に基づいて、前記自律エージェントへの前記観測データの第１のストリームを同期し；
   前記複数のオフボードインフラストラクチャデバイスと自律エージェントとの間の第２の計算された通信遅延に基づいて、前記自律エージェントへの前記観測データの第２のストリームを同期することによって、
   前記観測データの第１のストリームおよび前記観測データの第２のストリームを前記自律エージェントに同期させる時間同期モジュールを実装することを特徴とするシステム。
3. 請求項２に記載のシステムにおいて、前記１以上のオンボードコンピューティングデバイスはさらに、
   前記同期に基づいて、前記観測データの第１のストリームの位置を、前記決定データバッファ内の第１の位置から第２の位置に再配置し；
   前記同期に基づいて、前記観測データの第２のストリームの位置を、前記決定データバッファ内の第１の位置から第２の位置に再配置することを特徴とするシステム。
4. 請求項１に記載のシステムにおいて、前記１以上のオンボードコンピューティングデバイスはさらに、
   前記自律エージェントの共通クロックに従って、前記自律エージェントの観測データの第１のストリームと、前記オフボードインフラストラクチャデバイスからの観測データの第２のストリームとを同期させる同期モジュールをさらに実装することを特徴とするシステム。
5. 請求項４に記載のシステムにおいて、前記１以上のオンボードコンピューティングデバイスにおいて、
   前記観測データの第１のストリームおよび前記観測データの第２のストリームの同期に応答して、前記観測データの第１のストリームからのデータおよび前記観測データの第２のストリームからのデータは、前記観測データの第１のストリームおよび第２のストリームからのデータを超えて配置されたデータに対してより早い時点に関連付けられた決定データバッファ内の履歴位置に再配置されることを特徴とするシステム。
6. 請求項１に記載のシステムにおいて、前記１以上のオンボードコンピューティングデバイスは、
   前記複数のオフボードインフラストラクチャデバイスのそれぞれから得られたデータと、前記オンボードセンサスイートの複数の別個のセンサのそれぞれから得られたデータとを、メモリの他のトラックから独立したメモリの別個のトラック内に格納し、
   ここで前記複数のオフボードインフラストラクチャデバイスのそれぞれから得られたデータおよび前記複数の個別のセンサのそれぞれから得られたデータ内で同定された任意のエージェントの意図推定は、それぞれのオフボードインフラストラクチャデバイスまたはそれぞれの個別のセンサのためのメモリの個別のトラックに基づいて計算されることを特徴とするシステム。
7. 請求項６に記載のシステムにおいて、
   前記複数のオフボードインフラストラクチャデバイスのそれぞれから得られたデータおよび前記複数の個別のセンサのそれぞれから得られたデータのためのメモリの個別のトラックが、メモリのマスタートラックへと結合され；
   前記１つまたは複数のエージェントのそれぞれの意思推定は、前記メモリのマスタートラックに基づくことを特徴とするシステム。
8. 請求項１に記載のシステムにおいて、さらに、
   コンピューティングデバイスの分散ネットワークによって実装され、前記自律エージェントのそれぞれおよび前記複数のオフボードインフラストラクチャデバイスのそれぞれと通信可能なリモート自律エージェントサービスを含み、当該リモート自律エージェントサービスは：
   前記観測データの第１のストリームおよび前記観測データの第２のストリームに基づいた前記自律エージェントを取り巻く状況内の１つまたは複数のエージェントの追跡と、
   前記観測データの第１のストリームと前記観測データの第２のストリームに基づいた前記１つまたは複数のエージェントのそれぞれの意図推定と、のうちの１以上を計算することを特徴とするシステム。
9. 自律エージェントによる自律的な決定および動作の方法であって、
   自律エージェントのオンボードコンピューティングデバイスによって、決定データを収集するステップにおいて：
   前記自律エージェントの１以上のオンボードセンサによって取得された観測データを含むデータの第１のストリームを収集するステップであって、前記１以上のオンボードセンサのそれぞれは、前記自律エージェント上に物理的に配置されているステップと；
   １以上のオフボードインフラストラクチャデバイスによって取得された観測データを含むデータの第２のストリームを収集するステップであって、前記１以上のオフボードインフラストラクチャデバイスは、前記自律エージェントの動作環境から地理的に離れて配置されているステップと；を含む決定データを収集するステップと；
   前記オンボードコンピューティングデバイスによって、前記１以上のオンボードセンサからのデータの第１のストリームおよび前記オフボードインフラストラクチャデバイスからのデータの第２のストリームを含む決定データバッファを実装するステップと；
   前記オンボードコンピューティングデバイスによって、現在の状態データを生成するステップと；
   前記オンボードコンピューティングデバイスによって、前記自律エージェントの動作環境内の１つまたは複数のエージェントのそれぞれの意図データを生成／推定するステップと；
   前記オンボードコンピューティングデバイスによって、複数の候補行動方針を同定するステップと；
   前記オンボードコンピューティングデバイスによって、当該複数の候補行動方針のうちの少なくとも１つを選択して実行するステップとを含み、
   前記１以上のオフボードインフラストラクチャデバイスが、道路に対して固定されて周囲の環境に設置されており、
   前記１以上のオフボードインフラストラクチャデバイスが、道路の特徴と、エージェントの位置および速度とを収集することを特徴とする方法。
10. 請求項９に記載の方法において、
    前記自律エージェントの動作環境は、前記自律エージェントの構造化または非構造化ルートに沿って動作する場合の前記自律エージェントの地理的位置からの所定の半径を含むことを特徴とする方法。
11. 請求項９に記載の方法において、
    前記データの第１のストリームは、前記１以上のオンボードセンサのそれぞれによって前記自律エージェントの視点から得られた自律エージェントを取り巻く状況の感知された観察に関連するデータを含み；
    前記データの第２のストリームは、前記オフボードインフラストラクチャデバイスのそれぞれによって作成される前記自律エージェントのルートに向けた外部の視点から取得された自律エージェントの動作環境内の状況の検知された観測に関連するデータを含むことを特徴とする方法。
12. 請求項１１に記載の方法において、
    前記データの第２のストリームは、前記１以上のオフボードインフラストラクチャデバイスのうちの少なくとも１つの動作状態に関連するデータを含むことを特徴とする方法。
13. 請求項９に記載の方法において、
    前記オンボードコンピューティングデバイスによって、前記１以上のオフボードインフラストラクチャデバイスの少なくとも１つの通信近接内に移動することに応答して、当該通信近接内の少なくとも１つまたは複数のオフボードインフラストラクチャデバイスから前記データの第２のストリームを自動的に収集するステップを含むことを特徴とする方法。
14. 請求項９に記載の方法において、
    前記１以上のオフボードインフラストラクチャデバイスの検知フィールドは地理的に定義された領域を含み、
    前記１以上のオフボードインフラストラクチャデバイスは、前記地理的に定義された領域内のオブジェクトの意味的抽象化を検知または収集するように構成され得ることを特徴とする方法。
15. 請求項９に記載の方法において、
    前記オフボードインフラストラクチャデバイスからのデータの第２のストリームは、エージェントの形状、サイズ、位置および速度を含むことを特徴とする方法。
16. 請求項９に記載の方法において、前記決定データバッファを実装するステップは：
    前記データの第１のストリームおよびデータの第２のストリームのそれぞれが受信された時間に基づいて、当該データの第１のストリームおよびデータの第２のストリームから受信したデータを順次格納することを含むことを特徴とする方法。
17. 請求項９に記載の方法において、前記決定データバッファを実装するステップは：
    前記１以上のオフボードインフラストラクチャデバイスによって提供される前記データの第２のストリームに付されたタイムスタンプデータに基づいて、前記データの第１のストリームとデータの第２のストリームとの間のグローバル時間同期を計算するステップをさらに含み、
    当該グローバル時間同期を計算するステップは、前記データの第２のストリームが前記１以上のオフボードインフラストラクチャデバイスによって取得された第１の時間を示す第１のタイムスタンプデータと、前記データの第２のストリームが前記自律エージェントによって収集された第２の時間を示す第２のタイムスタンプデータとの間の差を計算することに基づいて、前記データの第２のストリームの遅延値を計算することを含むことを特徴とする方法。
18. 請求項１７に記載の方法において、前記決定データバッファを実装するステップは、
    前記計算された遅延値に基づいて、前記データの第２のストリームからのデータを前記決定データバッファ内で再配置するステップを含み、
    この再配置するステップは、前記データの第２のストリームからのデータを前記決定データバッファ内で第１の位置から履歴時間がより早い第２の位置にデータを移動するステップを含むことを特徴とする方法。

Images