JP6720415B2 - 自律走行車のための帯域幅制約画像処理 - Google Patents

自律走行車のための帯域幅制約画像処理 Download PDF

Info

Publication number
JP6720415B2
JP6720415B2 JP2019529967A JP2019529967A JP6720415B2 JP 6720415 B2 JP6720415 B2 JP 6720415B2 JP 2019529967 A JP2019529967 A JP 2019529967A JP 2019529967 A JP2019529967 A JP 2019529967A JP 6720415 B2 JP6720415 B2 JP 6720415B2
Authority
JP
Japan
Prior art keywords
data
vehicle
sensor
image
sensors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019529967A
Other languages
English (en)
Other versions
JP2020514850A (ja
Inventor
リアム ペダーセン、
リアム ペダーセン、
マールテン シーアハイス、
マールテン シーアハイス、
ハンス ウッツ、
ハンス ウッツ、
マウロ デラ ペンナ、
マウロ デラ ペンナ、
テレンス フォング、
テレンス フォング、
マーク アラン、
マーク アラン、
マリア ブアラット、
マリア ブアラット、
エリック シェーファー、
エリック シェーファー、
Original Assignee
ニッサン ノース アメリカ，インク
ニッサン ノース アメリカ，インク
ザ・ユナイテッド・ステイツ・オブ・アメリカ・アズ・リプレゼンテッド・バイ・ジ・アドミニストレーター・オブ・ザ・ナショナル・エアロノーティクス・アンド・スペース・アドミニストレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ニッサン ノース アメリカ，インク, ニッサン ノース アメリカ，インク, ザ・ユナイテッド・ステイツ・オブ・アメリカ・アズ・リプレゼンテッド・バイ・ジ・アドミニストレーター・オブ・ザ・ナショナル・エアロノーティクス・アンド・スペース・アドミニストレーション filed Critical ニッサン ノース アメリカ，インク
Publication of JP2020514850A publication Critical patent/JP2020514850A/ja
Application granted granted Critical
Publication of JP6720415B2 publication Critical patent/JP6720415B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W28/00—Network traffic management; Network resource management
    • H04W28/02—Traffic management, e.g. flow control or congestion control
    • H04W28/06—Optimizing the usage of the radio link, e.g. header compression, information sizing, discarding information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level
    • H04L43/0894—Packet rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/16—Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Traffic Control Systems (AREA)

Description

本願は、一般には、データ処理に関し、より詳細には、自律走行車を含む車両のための帯域幅制約画像処理に関する。
自律走行車は、人間の車両オペレータを含むオペレータの案内なしで動作することができる。しかしながら、人間のオペレータが自律走行車を制御すること又は自律走行車から画像を含むデータを受信することが有益である場合がある。送信されたデータに基づく画像が遠隔で受信される場合、その有益性は、画像が送信された通信チャネルの品質に依存し得るその品質に関する場合が多い。しかしながら、低帯域幅によって通信チャネルが不安定であるか又は悪化している場合に支援を提供することは困難であり得る。
本明細書には、帯域幅制約画像処理のための態様、特徴、要素、及び実装が開示されている。
本開示の実装の１つの態様は、帯域幅制約画像処理のための方法を含み、この方法は、コントローラ装置の信号処理システムによって、車両から受信した複数の信号のデータ転送速度を決定するステップであって、前記複数の信号は前記車両の状態データを含むステップと、前記データ転送速度がデータ転送速度基準を満たすとの決定に応答して、前記信号処理システムによって、前記車両に関連付けられる前記状態データ及び外部データを使用して、前記車両の場所及び前記複数の信号の少なくとも１つを妨害する複数のオブジェクトの少なくとも１つの場所を決定するステップと、前記信号処理システムによって、前記状態データ及び前記外部データを使用して最適化状態データを生成するステップとを含む。
本開示の実装の１つの態様は、コントローラ装置を含み、このコントローラ装置は、メモリとプロセッサとを備え、前記プロセッサは、前記メモリに記憶されている命令を実行して、車両から受信した複数の信号のデータ転送速度を決定することであって、前記複数の信号は前記車両の状態データを含むこと、前記データ転送速度がデータ転送速度基準を満たすとの決定に応答して、前記車両に関連付けられる前記状態データ及び外部データを使用して、前記車両の場所及び前記複数の信号の少なくとも１つを妨害する複数のオブジェクトの少なくとも１つの場所を決定すること、及び前記状態データ及び前記外部データを使用して最適化状態データを生成することを行うように構成される。
本開示の実装の１つの態様は、コントローラ装置の１つ以上のプロセッサによって実行可能なプログラム命令を含む非一時的なコンピュータ可読記憶媒体を含み、前記プログラム命令は、実行されると、前記１つ以上のプロセッサに、車両から受信した複数の信号のデータ転送速度を決定することであって、前記複数の信号は前記車両の状態データを含むこと、前記データ転送速度がデータ転送速度基準を満たすとの決定に応答して、前記車両に関連付けられる前記状態データ及び外部データを使用して、前記車両の場所及び前記複数の信号の少なくとも１つを妨害する複数のオブジェクトの少なくとも１つの場所を決定すること、及び前記状態データ及び前記外部データを使用して最適化状態データを生成することを含む動作を行わせる。
本開示のこうした特徴及びその他の特徴は、以下の実施形態の詳細な説明、添付の請求項及び添付の図面に開示されている。
本開示の技術は、添付の図面と併せて読むと、以下の詳細な説明から最良に理解される。慣行により、図面の様々な特徴は正確な縮尺ではないことが強調される。対照的に、様々な特徴の寸法は、明確のため任意に拡大又は縮小されている。
本明細書に開示の態様、特徴及び要素が実装され得る車両の一部の例示の図面である。
本明細書に開示の態様、特徴及び要素が実装され得る車両交通及び通信システムの一部の例示の図面である。
本開示による帯域幅制約画像処理インターフェースの例を示す図である。
本開示による帯域幅制約画像処理に関する技術のフローチャートである。
本開示による帯域幅制約画像処理に関する技術のフローチャートである。
本開示による帯域幅制約画像処理に関する技術のフローチャートである。
本開示による帯域幅制約画像処理に関する方法を示す。
自律走行車管理センタを含む遠隔地から自律走行車を操作（例えば、遠隔操作）及び監視することは、多くの場合、コンピュータ及び通信リソース（例えば、無線又は有線ネットワーク帯域幅）の使用を伴う。ネットワーク帯域幅は、多くの場合、自律走行車の状態、自律走行車が動作する環境の状態（例えば、周囲の道路、都市、交通の更新情報等）、又は自律走行車の中の乗客の状態に関連付けられるデータを含む信号を交換（送信又は受信）するために使用される。
しかしながら、帯域幅は、多くの場合、様々な高ピーク時における帯域幅に対する過度の要求（例えば、朝の通勤時間の自律走行車の一隊による過度の要求）、及びネットワーク遮断、信号干渉又は信号の障害を含む外部要因（例えば、建物等の物理的構造物による信号の妨害物）を含む制約を受ける。そのため、帯域幅の制約時に通信及び他の動作の障害が低下するように、利用可能帯域幅をより効率的に使用するやり方に対する強い要請がある。さらに、（視覚画像を生成するために使用される）画像データが帯域幅制約条件下で処理されるやり方を改良することによって、視覚画像に依存する車両オペレータ及びその他が複数の車両に支援を提供する能力が促進される。
例えば、自律走行車又は自律走行車内の乗客が遠隔オペレータから支援を要求するときに、オペレータ（例えば、自律走行車管理センタの遠隔オペレータ）と自律走行車との間に通信チャネルが確立され得る。オペレータが自律走行車を効率的に支援する能力は、その周囲及び／又は主要な視覚援助に対して自律走行車の配置を正確に表す画像を受信及び／又は送信することに依存し得る。
しかしながら、低帯域幅によって通信チャネルが不安定であるか又は悪化している場合に支援を提供することは困難であり得る。不安定な又は悪化している通信チャネルに対処する既存のやり方は、自律走行車の遠隔操作を含む操作に対して適切な帯域幅を処理するのに効果的ではない。
本開示及び開示された技術の実装は、より効果的な帯域幅制約画像処理を提供し、これは自律走行車の操作を改善し得る。本開示の技術は、様々な帯域幅制約画像処理機能が行われ得るように、データ転送速度がデータ転送速度基準を満たさない（例えば、データ転送速度が、過度に悪化している及び／又は適切に配送／伝達されない画像データに基づく画像を生じる既定の閾値を下回るか又は十分に低い）場合を決定するためのやり方を提供する。例えば、本開示の技術によって行われる機能は、センサ位置及び受信命令に基づいて複数の車両のデータを優先順位付けすること、予測画像データを生成するために記憶装置及び記憶画像の再利用を提供すること、及び画像品質の改善のために受信信号（監視車両に関連付けられる画像及び状態データを含む信号を含む）のフィルタリングを提供することを含む。
本明細書で使用される場合、「運転者」又は「オペレータ」という用語は、同じ意味で使用されてもよい。本明細書で使用される場合、「ブレーキ」又は「減速」という用語は、同じ意味で使用されてもよい。本明細書で使用される場合、「コンピュータ」又は「コンピュータデバイス」という用語は、本明細書で開示の任意の方法を実行することができる任意のユニット又はユニットの組み合わせ、又はその任意の部分若しくは複数の部分を含む。
本明細書で使用される場合、「プロセッサ」という用語は、１つ以上の専用プロセッサ、１つ以上のデジタル信号プロセッサ、１つ以上のマイクロプロセッサ、１つ以上のコントローラ、１つ以上のマイクロコントローラ、１つ以上のアプリケーションプロセッサ、１つ以上の特定用途向け集積回路、１つ以上の特定用途向け汎用集積回路、１つ以上のフィールド・プログラマブル・ゲート・アレイ、任意の他のタイプ又は組み合わせの集積回路、１つ以上の状態機械、又はこれらの任意の組み合わせ等の１つ以上のプロセッサを示す。
本明細書で使用される場合、「メモリ」という用語は、任意のプロセッサによって使用され得る又はそれと関連している任意の信号又は情報を有形に保持、記憶、通信、又は搬送することができる任意のコンピュータ使用可能又はコンピュータ可読媒体又はデバイスを示す。例えば、メモリは、１つ以上の読み取り専用メモリ（ＲＯＭ）、１つ以上のランダムアクセスメモリ（ＲＡＭ）、１つ以上のレジスタ、低電力ＤＤＲ（ＬＰＤＤＲ）メモリ、１つ以上のキャッシュメモリ、１つ以上の半導体メモリデバイス、１つ以上の磁気媒体、１つ以上の光学媒体、１つ以上の磁気光学媒体、又はこれらの任意の組み合わせであってもよい。
本明細書で使用される場合、「命令」という用語は、本明細書に開示の任意の方法を実行するための指示若しくは表現、又はその任意の部分若しくは複数の部分を含んでもよく、ハードウェア、ソフトウェア又はこれらの任意の組み合わせで実現されてもよい。例えば、命令は、本明細書に記載の各方法、アルゴリズム、態様又はこれらの組み合わせのいずれかを行うためにプロセッサによって実行され得るメモリに記憶されたコンピュータプログラム等の情報として実装されてもよい。いくつかの実装では、命令又はその一部は、本明細書に記載の任意の方法、アルゴリズム、態様又はその組み合わせを行うための専用ハードウェアを含み得る専用プロセッサ又は回路として実装されてもよい。いくつかの実装では、命令の部分は、直接的に又はローカルエリアネットワーク、ワイドエリアネットワーク、インターネット又はこれらの組み合わせ等のネットワークを介して通信し得る複数のデバイス又は単一のデバイス上の複数のプロセッサに分散されてもよい。
本明細書で使用される場合、「例示」、「実施形態」、「実装」、「態様」、「特徴」又は「要素」という用語は、用例、例示又は実例としての役割を果たすことを示している。明示されない限り、任意の例示、実施形態、実装、態様、特徴又は要素が、互いの例示、実施形態、実装、態様、特徴又は要素から独立しており、任意の他の例示、実施形態、実装、態様、特徴又は要素と組み合わせて使用されてもよい。
本明細書で使用される場合、「決定」及び「識別」又はこれらの任意の変形の用語は、図示の及び本明細書に記載の１つ以上のデバイスを使用するいかなるやり方で選択、確認、計算、検索、受信、決定、確立、取得、又は他のやり方で識別又は決定することを含んでいる。
本明細書で使用される場合、「又は」という用語は、排他的な「又は」ではなく包含的な「又は」を意味することが意図されている。すなわち、他に特に定めがない限り、又は文脈から明確であれば、「ＸがＡ又はＢを含む」は、任意の当然の包含的な並べ替えを示すことが意図されている。ＸがＡを含む、ＸがＢを含む、又はＸがＡ及びＢの両方を含む場合、「ＸがＡ又はＢを含む」は、上記の例示のいずれかによって満たされる。さらに、本願及び添付の請求項の中で使用される“ａ”及び“ａｎ”という冠詞は、一般に、単数形を指していることが文脈から明確であるか又は他に特段の定めがない限り、「１つ以上の」を意味すると解釈されるべきである。
さらに、説明の簡潔のため、本明細書の図面及び説明は一連のステップ又は段階又はシーケンスを含み得るが、本明細書に開示の方法の要素は、様々な順番で又は同時に起こってもよい。さらに、本明細書に開示の方法の要素は、本明細書に明示的に提示及び開示されていない他の要素と共に起こってもよい。さらに、本明細書に記載の方法の全ての要素が、本開示による方法を実装することを要求されるとは限らない。態様、特徴及び要素は特定の組み合わせで本明細書に記載されているが、各態様、特徴又は要素は、他の態様、特徴及び要素と共に又はそれらなしで独立して又は様々な組み合わせで使用されてもよい。
本開示の実装は、特に、コンピュータネットワーク及び自律走行車管理、例えば、自律走行車と遠隔オペレータとの間の通信及び帯域幅制約画像処理のためのコンピュータネットワークコンポーネントの拡張に関する技術的な改善を提供する。例えば、信号のデータ転送速度を決定し、センサ位置及び帯域幅利用可能性に基づいて車両のセンサからのセンサデータの送信を優先順位付けするために帯域幅制約画像処理を行う新しいやり方の開発は、基本的に自律走行車の画像処理に関する技術を改善することに関する車両と通信システムとの間の命令又はデータの伝達を示す。
本開示の実装は、自律走行車等に関連付けられるデータの帯域幅制約画像及びデータ処理のためのシステム及び方法を少なくとも提供する。システムは、状態データ（例えば、自律走行車を含む車両の状態又は状況を示すデータ）を含み得る少なくとも１つ又は複数の信号のデータ転送速度を決定する信号処理システムを含む。また、状態データは、状況データとも呼ばれ得る。データ転送速度がデータ転送速度基準を満たす（例えば、速度が既定の又は所望の閾値レベル又はビットレートを下回っている）と決定することに応答して、少なくとも１つの信号を妨害する車両及び外部オブジェクト（例えば、建物）の場所が、限定されないが、他の車両、歩行者、及び建物等の物理的構造物のいずれかを含む複数の外部オブジェクトに関連付けられる状態データ及び外部データに基づいて決定され得る（すなわち、外部データは、監視されている車両の環境内にある又はそれを取り囲む複数の外部オブジェクトに関連付けられる）。システムは、複数の外部オブジェクト又は他のソース（例えば、電力線故障、内部システム問題、車両問題等）からの信号の干渉及び阻害のいずれかのために信号帯域幅が制約される場合に、円滑な映像を生成し、画像品質及び通信を改善するために使用され得る状態及び／又は外部データを使用して、最適化された状態データ（例えば、フィルタリングされた、ノイズが低減された又は予測データ及び他のタイプのデータを含む状態データ）を生成することができる。
いくつかの実装をより詳細に記載するために、以下の図面が参照される。
図１は、本明細書に開示の態様、特徴及び要素が実装され得る車両１０００の一例の図面である。車両１０００は、シャーシ１１００、パワートレイン１２００、コントローラ１３００、車輪１４００／１４１０／１４２０／１４３０、又は車両の任意の他の要素又は要素の組み合わせを含む。簡潔のため車両１０００は４つの車輪１４００／１４１０／１４２０／１４３０を含むように示されているが、プロペラ又はトレッド等の１つ又は複数の任意の他の推進デバイスが使用されてもよい。図１において、パワートレイン１２００、コントローラ１３００及び車輪１４００／１４１０／１４２０／１４３０等の要素を相互接続する線は、データ又は制御信号等の情報、電力又はトルク等の力、又は情報及び電力の両方が各要素間で伝達され得ることを示している。例えば、コントローラ１３００は、パワートレイン１２００から電力を受信して、パワートレイン１２００、車輪１４００／１４１０／１４２０／１４３０、又は両方と通信して、車両１０００を制御してもよい。これは、車両１０００を加速、減速、操縦又は他のやり方で制御することを含み得る。
パワートレイン１２００は、電源１２１０、トランスミッション１２２０、ステアリング装置１２３０、車両アクチュエータ１２４０、又はサスペンション、駆動シャフト、アクセル若しくは排気システム等のパワートレインの任意の他の要素又は要素の組み合わせを含む。別々に示されているが、車輪１４００／１４１０／１４２０／１４３０は、パワートレイン１２００に含まれてもよい。
電源１２１０は、電気エネルギ、熱エネルギ又は運動エネルギ等のエネルギを提供するように動作する任意のデバイス又はデバイスの組み合わせであってもよい。例えば、電源１２１０は、内燃エンジン、電気モータ又は内燃エンジン及び電気モータの組み合わせ等のエンジンを含み、車輪１４００／１４１０／１４２０／１４３０の１つ以上に原動力として運動エネルギを提供するように動作する。いくつかの実施形態では、電源１２１０は、ニッケルカドミウム（ＮｉＣｄ）、ニッケル亜鉛（ＮｉＺｎ）、ニッケル水素（ＮｉＭＨ）、リチウムイオン（Ｌｉ−ｉｏｎ）等の１つ以上の乾電池、太陽電池、燃料電池、又はエネルギを提供することが可能な任意の他のデバイス等のポテンシャルエネルギ装置を含む。
トランスミッション１２２０は、電源１２１０から運動エネルギ等のエネルギを受信して、原動力を提供するために車輪１４００／１４１０／１４２０／１４３０にエネルギを送る。トランスミッション１２２０は、コントローラ１３００、車両アクチュエータ１２４０又は両方によって制御されてもよい。ステアリング装置１２３０は、コントローラ１３００、車両アクチュエータ１２４０又は両方によって制御され、車両を操縦するために車輪１４００／１４１０／１４２０／１４３０を制御する。車両アクチュエータ１２４０は、コントローラ１３００から信号を受信してもよく、車両１０００を動作させるために電源１２１０、トランスミッション１２２０、ステアリング装置１２３０又はこれらの任意の組み合わせを作動又は制御してもよい。
いくつかの実施形態では、コントローラ１３００は、位置決め装置１３１０、電子通信装置１３２０、プロセッサ１３３０、メモリ１３４０、ユーザインターフェース１３５０、センサ１３６０、電子通信インターフェース１３７０又はこれらの任意の組み合わせを含む。単一の装置として示されているが、コントローラ１３００の任意の１つ以上の要素が任意の数の分離した物理装置に組み込まれてもよい。例えば、ユーザインターフェース１３５０及びプロセッサ１３３０は、第１の物理装置に組み込まれてもよく、メモリ１３４０は、第２の物理装置に組み込まれてもよい。図１には示されていないが、コントローラ１３００は、バッテリ等の電源１２１０を含んでもよい。別個の要素として示されているが、位置決め装置１３１０、電子通信装置１３２０、プロセッサ１３３０、メモリ１３４０、ユーザインターフェース１３５０、センサ１３６０、電子通信インターフェース１３７０、又はこれらの任意の組み合わせは、１つ以上の電子装置、回路又はチップに組み込まれ得る。
いくつかの実施形態では、プロセッサ１３３０は、光プロセッサ、量子プロセッサ、分子プロセッサ又はこれらの組み合わせを含む現存する又は今後開発される信号又は他の情報を操作又は処理することが可能な任意のデバイス又はデバイスの組み合わせを含む。例えば、プロセッサ１３３０は、１つ以上の専用プロセッサ、１つ以上のデジタル信号プロセッサ、１つ以上のマイクロプロセッサ、１つ以上のコントローラ、１つ以上のマイクロコントローラ、１つ以上の集積回路、１つ以上の特定用途向け集積回路、１つ以上のフィールド・プログラマブル・ゲート・アレイ、１つ以上のプログラマブル・ロジック・アレイ、１つ以上のプログラマブル・ロジック・コントローラ、１つ以上の状態機械、又はこれらの任意の組み合わせを含んでもよい。プロセッサ１３３０は、位置決め装置１３１０、メモリ１３４０、電子通信インターフェース１３７０、電子通信装置１３２０、ユーザインターフェース１３５０、センサ１３６０、パワートレイン１２００、又はこれらの任意の組み合わせと動作可能に結合されてもよい。例えば、プロセッサは、通信バス１３８０を介してメモリ１３４０と動作可能に結合されてもよい。
いくつかの実施形態では、プロセッサ１３３０は、オペレーションセンタを含む遠隔地から車両１０００を操作するために使用され得る遠隔操作のための命令を含む命令を実行するように構成されてもよい。遠隔操作のための命令は、車両１０００に記憶される又は交通管理センタ又はクラウド型サーバコンピュータデバイスを含むサーバコンピュータデバイス等の外部ソースから受信されてもよい。
メモリ１３４０は、プロセッサ１３３０によって使用される又はそれと接続される、機械可読命令又はそれに関連付けられる任意の情報を、例えば、保持、記憶、伝達又は搬送することが可能な任意の有形の非一時的コンピュータ使用可能又はコンピュータ可読媒体を含んでもよい。メモリ１３４０は、例えば、１つ以上の半導体ドライブ、１つ以上のメモリカード、１つ以上のリムーバブル媒体、１つ以上の読み取り専用メモリ、１つ以上のランダムアクセスメモリ、ハードディスク、フロッピーディスク、光学ディスクを含む１つ以上のディスク、磁気若しくは光学カード、又は電子情報を記憶するのに適した任意のタイプの非一時的な媒体、又はこれらの任意の組み合わせである。
電子通信インターフェース１３７０は、図示のような無線アンテナ、有線通信ポート、光学通信ポート、又は有線若しくは無線電子通信媒体１５００とインターフェース接続することが可能な任意の他の有線若しくは無線装置であってもよい。
電子通信装置１３２０は、電子通信インターフェース１３７０等を介して、有線又は無線電子通信媒体１５００を介して信号を送信又は受信するように構成されてもよい。図１に明示されていないが、電子通信装置１３２０は、無線周波数（ＲＦ）、紫外線（ＵＶ）、可視光、光ファイバ、有線回線、又はこれらの組み合わせ等の任意の有線又は無線通信媒体を介して送信、受信又は両方を行うように構成される。図１は、単一の電子通信装置１３２０及び単一の電子通信インターフェース１３７０を示しているが、任意の数の通信装置及び任意の数の通信インターフェースが使用されてもよい。いくつかの実施形態では、電子通信装置１３２０は、狭域通信（ＤＳＲＣ）装置、無線安全装置（ＷＳＵ）、ＩＥＥＥ８０２．１１ｐ（ＷｉＦｉ−Ｐ）、又はこれらの組み合わせを含み得る。
位置決め装置１３１０は、限定されないが、車両１０００の経度、緯度、高度、進行方向又は速さを含む地理情報を決定してもよい。例えば、位置決め装置は、広域補強システム（Ｗｉｄｅ Ａｒｅａ Ａｕｇｍｅｎｔａｔｉｏｎ Ｓｙｓｔｅｍ；ＷＡＡＳ）対応米国海洋電子機器協会（Ｎａｔｉｏｎａｌ Ｍａｒｉｎｅ−Ｅｌｅｃｔｒｏｎｉｃｓ Ａｓｓｏｃｉａｔｉｏｎ；ＮＭＥＡ）装置、無線三角測量装置、又はこれらの組み合わせ等の全地球測位システム（ＧＰＳ）装置を含む。位置決め装置１３１０は、例えば、車両１０００の現在の向き、２次元又は３次元での車両１０００の現在地、車両１０００の現在の角度方向、又はこれらの組み合わせを表す情報を取得するために使用され得る。
ユーザインターフェース１３５０は、仮想キーパッド、物理キーパッド、タッチパッド、ディスプレイ、タッチスクリーン、スピーカ、マイクロホン、ビデオカメラ、センサ、及びプリンタのいずれかを含む、人間がインターフェースとして使用することが可能な任意の装置を含んでもよい。ユーザインターフェース１３５０は、図示のようにプロセッサ１３３０と、又はコントローラ１３００の任意の他の要素と動作可能に結合されてもよい。単一の装置として示されているが、ユーザインターフェース１３５０は、１つ以上の物理装置を含み得る。例えば、ユーザインターフェース１３５０は、人物との音声通信を行うための音声インターフェース、及び人物との視覚及びタッチに基づく通信を行うためのタッチディスプレイを含む。
センサ１３６０は、車両を制御するために使用され得る情報を提供するように動作し得るセンサの配列等の１つ以上のセンサを含んでもよい。センサ１３６０は、車両の現在の動作特徴又はその周囲に関する情報を提供することができる。センサ１３６０は、例えば、速度センサ、加速度センサ、ステアリング角センサ、トラクション関連センサ、ブレーキ関連センサ、又は車両１０００の現在の動的状況の何らかの態様に関する情報を報告するように動作可能な任意のセンサ若しくはセンサの組み合わせを含む。
いくつかの実施形態では、センサ１３６０は、車両１０００の周囲の物理環境に関する情報を取得するように動作可能なセンサを含んでもよい。例えば、１つ以上のセンサが、道路形状、及び固定妨害物、車両、サイクリスト及び歩行者等の妨害物を検出する。いくつかの実施形態では、センサ１３６０は、既知の又は後に開発される、１つ以上のビデオカメラ、レーザ感知システム、赤外線感知システム、音響感知システム、又は任意の他の適切なタイプの車載環境感知デバイス、又はデバイスの組み合わせであるか又はこれらを含み得る。いくつかの実施形態では、センサ１３６０及び位置決め装置１３１０が結合される。
別に示されてはいないが、車両１０００は、軌道コントローラを含んでもよい。例えば、コントローラ１３００は、軌道コントローラを含んでもよい。軌道コントローラは、車両１０００の現在の状態及び車両１０００に対して計画された経路を記述する情報を取得し、この情報に基づいて、車両１０００に対する軌道を決定及び最適化するように動作可能であってもよい。いくつかの実施形態では、軌道コントローラは、車両１０００が軌道コントローラによって決定される軌道に従うように、車両１０００を制御するように動作可能な信号を出力する。例えば、軌道コントローラの出力は、パワートレイン１２００、車輪１４００／１４１０／１４２０／１４３０又は両方に供給され得る最適化された軌道であり得る。いくつかの実施形態では、最適化された軌道は、一組のステアリング角等の制御入力であってもよく、各ステアリング角は１つの時点又は位置に対応する。いくつかの実施形態では、最適化された軌道は、１つ以上の経路、線、曲線、又はこれらの組み合わせであり得る。
１つ以上の車輪１４００／１４１０／１４２０／１４３０は、ステアリング装置１２３０の制御下でステアリング角に枢動される操縦された車輪、トランスミッション１２２０の制御下で車両１０００を推進するためのトルクを与えられる推進された車輪、又は車両１０００を操縦及び推進する操縦及び推進された車輪であってもよい。
車両は、エンクロージャ、ブルートゥース（登録商標）モジュール、周波数変調（ＦＭ）ラジオ装置、近距離無線通信（ＮＦＣ）モジュール、液晶ディスプレイ（ＬＣＤ）ディスプレイ装置、有機発光ダイオード（ＯＬＥＤ）ディスプレイデバイス、スピーカ、又はこれらの任意の組み合わせ等の図１に示されていない装置又は要素を含んでもよい。
図２は、本明細書に開示の態様、特徴及び要素が実装され得る車両交通及び通信システム２０００の一部の例示の図面である。車両交通及び通信システム２０００は、図１に示された車両１０００等の車両２１００、及び図１に示された車両１０００、歩行者、サイクリスト等の任意の輸送手段の形態と共に建物等の任意の形態の構造を含み得る外部オブジェクト２１１０等の１つ以上の外部オブジェクトを含む。車両２１００は、交通ネットワーク２２００の１つ以上の部分を介して移動してもよく、１つ以上の電子通信ネットワーク２３００を介して外部オブジェクト２１１０と通信してもよい。図２には明示されていないが、車両は、オフロードエリア等の交通ネットワークに明示的に又は完全には含まれていないエリアを横断してもよい。いくつかの実施形態では、交通ネットワーク２２００は、誘導ループセンサ等の１つ以上の車両検出センサ２２０２を含んでもよく、これは交通ネットワーク２２００において車両の移動を検出するために使用されてもよい。
電子通信ネットワーク２３００は、車両２１００、外部オブジェクト２１１０及びオペレーションセンタ２４００の間の音声通信、データ通信、映像通信、メッセージング通信、又はこれらの組み合わせ等の通信を提供する多重アクセスシステムであってもよい。例えば、車両２１００又は外部オブジェクト２１１０は、電子通信ネットワーク２３００を介してオペレーションセンタ２４００から交通ネットワーク２２００を表す情報等の情報を受信してもよい。
オペレーションセンタ２４００は、図１に示されたコントローラ１３００の特徴の一部又は全てを含むコントローラ装置２４１０を含む。コントローラ装置２４１０は、自律走行車を含む車両の移動を監視及び調整することができる。コントローラ装置２４１０は、車両２１００等の車両及び外部オブジェクト２１１０等の外部オブジェクトの状態又は状況を監視してもよい。コントローラ装置２４１０は、車両速度、車両位置、車両動作状態、車両目的地、車両経路、車両センサデータ、外部オブジェクト速度、外部オブジェクト位置、外部オブジェクト動作状態、外部オブジェクト目的地、外部オブジェクト経路及び外部オブジェクトセンサデータのいずれかを含む車両データ及びインフラストラクチャデータを受信し得る。
さらに、コントローラ装置２４１０は、車両２１００等の１つ以上の車両又は外部オブジェクト２１１０等の外部オブジェクトに対する遠隔制御を確立し得る。このようにして、コントローラ装置２４１０は、遠隔地から車両又は外部オブジェクトを遠隔操作してもよい。コントローラ装置２４１０は、無線通信リンク２３８０等の無線通信リンク又は有線通信リンク２３９０等の有線通信リンクを介して、車両２１００、外部オブジェクト２１１０又はサーバコンピュータデバイス２５００等の車両、外部オブジェクト又はコンピュータデバイスと状態データを交換（送信又は受信）してもよい。
サーバコンピュータデバイス２５００は、電子通信ネットワーク２３００を介して、車両２１００、外部オブジェクト２１１０又はオペレーションセンタ２４００を含む１つ以上の車両又はコンピュータデバイスと状態信号データを交換（送信又は受信）し得る１つ以上のサーバコンピュータデバイスを含んでもよい。
いくつかの実施形態では、車両２１００又は外部オブジェクト２１１０は、有線通信リンク２３９０、無線通信リンク２３１０／２３２０／２３７０、又は任意の数若しくはタイプの有線若しくは無線通信リンクの組み合わせを介して通信を行ってもよい。例えば、図示のように、車両２１１０又は外部オブジェクト２１１０は、陸上無線通信リンク２３１０を介して、非陸上無線通信リンク２３２０を介して、又はこれらの組み合わせを介して通信を行う。いくつかの実装では、陸上無線通信リンク２３１０は、イーサネット（登録商標）リンク、シリアルリンク、ブルートゥースリンク、赤外線（ＩＲ）リンク、紫外線（ＵＶ）リンク、又は電子通信を提供可能な任意のリンクを含む。
車両２１００等の車両又は外部オブジェクト２１１０等の外部オブジェクトは、別の車両、外部オブジェクト又はオペレーションセンタ２４００と通信してもよい。例えば、ホスト又は対象の車両２１００が、直接通信リンク２３７０を介して又は電子通信ネットワーク２３００を介して、オペレーションセンタ２４００から基本安全メッセージ（ｂａｓｉｃ ｓａｆｅｔｙ ｍｅｓｓａｇｅ；ＢＳＭ）等の１つ以上の自動車両間メッセージを受信してもよい。例えば、オペレーションセンタ２４００は、３００メートル等の既定のブロードキャスト範囲内のホスト車両に又は定義された地理エリアにメッセージをブロードキャストしてもよい。いくつかの実施形態では、車両２１００は、信号リピータ（図示せず）又は別の遠隔車両（図示せず）等のサードパーティを介してメッセージを受信する。いくつかの実施形態では、車両２１００又は外部オブジェクト２１１０は、１００ミリ秒等の既定の間隔に基づいて周期的に１つ以上の自動車両間メッセージを送信する。
自動車両間メッセージは、車両識別情報、経度、緯度若しくは高度情報等の地理空間状態情報、地理空間位置精度情報、車両加速度情報、ヨーレート情報、速度情報、車両方位情報、ブレーキシステム状態データ、スロットル情報、ハンドル角度情報若しくは車両ルート情報等の運動状態情報、又は送信車両状態に関連する車両サイズ情報、ヘッドライト状態情報、方向指示器情報、ワイパ状態データ、トランスミッション情報若しくは任意の他の情報若しくは情報の組み合わせ等の車両動作状態情報を含んでもよい。例えば、トランスミッション状態情報は、送信車両のトランスミッションがニュートラル状態、パーキング状態、前進状態又は後退状態に有るかどうかを示す。
いくつかの実施形態では、車両２１００は、アクセスポイント２３３０を介して電子通信ネットワーク２３００と通信する。コンピュータデバイスを含み得るアクセスポイント２３３０は、無線又は有線通信リンク２３１０／２３４０を介して、車両２１００と、電子通信ネットワーク２３００と、オペレーションセンタ２４００と、又はこれらの組み合わせと通信するように構成されてもよい。例えば、アクセスポイント２３３０は、基地局、ＢＴＳ（ｂａｓｅ ｔｒａｎｓｃｅｉｖｅｒ ｓｔａｔｉｏｎ）、Ｎｏｄｅ−Ｂ、ｅＮｏｄｅ−Ｂ（ｅｎｈａｎｃｅｄ Ｎｏｄｅ−Ｂ）、ＨＮｏｄｅ−Ｂ（Ｈｏｍｅ Ｎｏｄｅ−Ｂ）、無線ルータ、有線ルータ、ハブ、リレー、スイッチ、又は任意の類似の有線若しくは無線デバイスである。単一の装置として示されているが、アクセスポイントは、任意の数の相互接続要素を含み得る。
車両２１００は、衛星２３５０又は他の非陸上通信デバイスを介して電子通信ネットワーク２３００と通信してもよい。コンピュータデバイスを含み得る衛星２３５０は、１つ以上の通信リンク２３２０／２３６０を介して、車両２１００と、電子通信ネットワーク２３００と、オペレーションセンタ２４００と、又はこれらの組み合わせと通信するように構成されてもよい。単一の装置として示されているが、衛星は、任意の数の相互接続要素を含み得る。
電子通信ネットワーク２３００は、音声、データ、又は任意の他のタイプの電子通信装置を提供するように構成される任意のタイプのネットワークであってもよい。例えば、電子通信ネットワーク２３００は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、仮想プライベートネットワーク（ＶＰＮ）、モバイル若しくはセルラ電話ネットワーク、インターネット、又は任意の他の電子通信システムを含む。電子通信ネットワーク２３００は、トランスミッション・コントロール・プロトコル（ＴＣＰ）、ユーザ・データグラム・プロトコル（ＵＤＰ）、インターネット・プロトコル（ＩＰ）、リアルタイム・トランスポート・プロトコル（ＲＴＰ）、ハイパー・テキスト・トランスポート・プロトコル（ＨＴＴＰ）、又はこれらの組み合わせ等の通信プロトコルを使用してもよい。単一の装置として示されているが、電子通信ネットワークは、任意の数の相互接続要素を含み得る。
いくつかの実施形態では、車両２１００は、電子通信ネットワーク２３００、アクセスポイント２３３０又は衛星２３５０を介して、オペレーションセンタ２４００と通信する。オペレーションセンタ２４００は、車両２１００等の車両、外部オブジェクト２１１０等の外部オブジェクト、又はサーバコンピュータデバイス２５００等のコンピュータデバイスからのデータを交換（送信又は受信）することができる１つ以上のコンピュータデバイスを含んでもよい。
いくつかの実施形態では、車両２１００は、交通ネットワーク２２００の一部又は状態を識別する。例えば、車両２１００は、速度センサ、車輪速度センサ、カメラ、ジャイロスコープ、光学センサ、レーザセンサ、レーダセンサ、音響センサ、又は交通ネットワーク２２００の一部若しくは状態を決定若しくは識別することが可能な任意の他のセンサ若しくはデバイス又はこれらの組み合わせを含む図１に示されたセンサ１３６０等の１つ以上の車載センサ２１０２を含んでもよい。
車両２１００は、交通ネットワーク２２００を表す情報、１つ以上の車載センサ２１０２、又はこれらの組み合わせ等の電子通信ネットワーク２３００を介して伝達される情報を使用して、交通ネットワーク２２００の１つ以上の部分を横断してもよい。外部オブジェクト２１１０は、車両２１００に関して先に記載された通信及びアクションの全て又は一部の能力を有してもよい。
簡潔のため、図２は、ホスト車両としての車両２１００、外部オブジェクト２１１０、交通ネットワーク２２００、電子通信ネットワーク２３００、及びオペレーションセンタ２４００を示している。しかしながら、任意の数の車両、ネットワーク又はコンピュータデバイスが使用されてもよい。いくつかの実施形態では、車両交通及び通信システム２０００は、図２に示されていないデバイス、装置又は要素を含む。車両２１００又は外部オブジェクト２１１０は単一の装置として示されているが、車両は、任意の数の相互接続要素を含み得る。
電子通信ネットワーク２３００を介してオペレーションセンタ２４００と通信する車両２１００が示されているが、車両２１００（及び外部オブジェクト２１１０）は、任意の数の直接又は間接通信リンクを介してオペレーションセンタ２４００と通信してもよい。例えば、車両２１００又は外部オブジェクト２１１０は、ブルートゥース通信リンク等の直接通信リンクを介してオペレーションセンタ２４００と通信してもよい。簡潔のため、図２は１つの交通ネットワーク２２００及び１つの電子通信ネットワーク２３００を示しているが、任意の数のネットワーク又は通信デバイスが使用されてもよい。
図３は、本開示による帯域幅制約画像処理インターフェース３０００の例を示す図である。帯域幅制約画像処理インターフェース３０００は、図２に示されたコントローラ装置２４１０を含むコンピュータ装置で実行可能であって、コントローラ装置２４１０を含むコンピュータ装置のメモリに記憶され得る１つ以上の命令に基づいて生成され得る。例えば、帯域幅制約画像処理インターフェース３０００は、コンピュータネットワークを介してコントローラ装置２４１０にアクセスするクライアントコンピュータデバイスによって解釈される命令に基づいて、コントローラ装置２４１０によって生成され得る。次に、クライアントコンピュータデバイスは、ディスプレイデバイスにおいて帯域幅制約画像処理インターフェース３０００の表現を生成し得る。
コントローラ装置２４１０は、限定されないが、信号処理システム、画像処理システム、フィルタリングモジュール（フィルタとも呼ばれる）、機械学習モジュール、及び電子通信装置（例えば、図１の電子通信装置１３２０）を含む複数のコンポーネント又はモジュールを含み得る。画像処理システムは、限定されないが、画像処理モジュール、グラフィカルユーザインターフェース（ＧＵＩ）、及びデータストア（すなわち、データベース）を含む複数のコンポーネントを備え得る。画像処理モジュールは、オペレータによって相互作用するためにＧＵＩを使用して表示され得る帯域幅制約画像処理インターフェース３０００を生成し得る。
帯域幅制約画像処理インターフェース３０００は、前方左ビュー部３０１０、前方中央部３０２０、前方右部３０３０、及びシミュレーションビュー３０４０を含み、これらはいずれも、支援されている又は遠隔操作されている車両及び車外の又は、限定されないが、他の車両、歩行者、道路及び建物を含むその周囲環境にあるオブジェクトのいずれかを含む物理オブジェクトの状態に関連付けられるデータに基づき得る。
前方左ビュー部３０１０、前方中央部３０２０及び前方右部３０３０を含むビュー部は、それぞれ車両の前方左、前方中央及び前方右に位置するセンサからの出力（例えば、画像又は映像ストリーム）を生成し得る。車両は、限定されないが、車両の後方左、後方中央、後方右、偏心位置、底部、及びこれらの任意の組み合わせを含む複数の他の場所に設けられる複数の他のセンサを含み得る。前方左ビュー部３０１０、前方中央部３０２０及び前方右部３０３０のコンテンツは、車両のセンサ（例えば、前方左ビュー部３０１０等において他の車を検出する車両のカメラ等の光学センサ）によって検出されるオブジェクトの表現を含み得る。
いくつかの実装では、ビュー部は、車両の外面及び車両の室内（例えば、客室、エンジン室、又は積荷空間）のいずれかを含む車両の任意の部分の上又は中に設けられるセンサに基づいている出力を表示し得る。例えば、前方左ビュー部３０１０は、車両の後方等の車両の異なる部分からの出力を生成するように構成され得る。帯域幅制約画像処理インターフェース３０００は、ディスプレイモニタ及びヘッドアップディスプレイ（例えば、車両フロントガラス等の表面に投写されるディスプレイ）のいずれかを含むディスプレイデバイスにおいて生成され得る。
シミュレーションビュー３０４０は、車両を含む既定の又は動的生成エリア（例えば、地理エリア）内の又は車両の既定の距離（例えば、１００フィート）からのオブジェクトの状態又は条件（例えば、外観、進行方向、音声シグネチャ）に関するデータに基づき得る。エリアは、交通状態及び付近の事故等の受信データに基づいて動的に生成され得る。例えば、図３に示されているように、シミュレーションビュー３０４０におけるオブジェクトは、図２に示される車両２１００等の車両を含み得る。シミュレーションビュー３０４０に表されるオブジェクトは、２次元オブジェクト（例えば、車両及び道路の上面図）又は図３に示されているように３次元オブジェクト等を含む異なる視点又は観点から生成され得る。さらに、シミュレーションビュー３０４０に表示されるオブジェクトは、限定されないが、静止画、ダイナミック画像、動画、画像又は映像のリアルタイムストリーミング、又はこれらの任意の組み合わせを含む様々な画像として生成され得る。例えば、車両の３次元モデルは、車両を取り囲む環境のリアルタイム映像ストリーミングに重畳され得る。
シミュレーションビュー３０４０に表されるエリア内のオブジェクトの機能及び特徴は、遠隔データソース又はセンサから取得又は受信され得る画像（例えば、衛星画像、車両センサ画像、交通信号機カメラ画像）に基づくオブジェクトの実際の外観に基づき得る。さらに、シミュレーションビュー３０４０に表されるエリア内のオブジェクトは、限定されないが、アイコン、テキスト、絵文字、又はこれらの任意の組み合わせを含む抽象的指示部又は他の記号表現を含む画像として表され得る。
帯域幅制約画像処理インターフェース３０００の任意の部分が、出力が生成されるセンサを変更する（例えば、ビュー部を前方ビューの表示から後方ビューの表示に変更する）ための入力を受信又は検出し得る。帯域幅制約画像処理インターフェース３０００の一部によって受信され得る入力のタイプは、視覚入力（例えば、カメラ又はモーションセンサデバイスによってキャプチャされるジェスチャ）、タッチ入力（例えば、抵抗ディスプレイ等のタッチスクリーンにタッチすること）、聴覚入力（例えば、マイクロホンに向かって話しかけられたコマンド）、及び入力デバイスからの入力（例えば、ボタンを押すこと又はノブを回すこと）のいずれかを含む。
受信又は検出された入力に基づいて、帯域幅制約画像処理インターフェース３０００は、限定されないが、画像の一部又は全ての拡大（例えば、外部オブジェクトのサブセットのサイズを増加させること又はビュー部３０１０の中に表示されるエリアを拡大すること）、表されているエリアを縮小することを含むオブジェクトの一部又は全ての縮小、オーバヘッドビュー（例えば、地図ビュー）に変更することを含む観察角度を変更すること、並びに画像のコントラスト、彩度及び色深度を含む画像の画像特性を変更することを含む、帯域幅制約画像処理インターフェース３０００内の画像の表現方法を修正し得る。
本明細書に開示の技術の実装に関連して記載される任意の方法、処理又はアルゴリズムのステップ又は動作は、ハードウェア、回路又はこれらの任意の組み合わせによって実行されるハードウェア、ファームウェア、ソフトウェアにおいて実装されてもよい。説明を容易にするために、一連の動作として図４−７に示された技術４０００−７０００が示されかつ記載されている。しかしながら、本開示による動作は、様々な順番で又は同時に起こり得る。さらに、本開示による動作は、本明細書に提示及び記載されていない他の動作と共に起こってもよい。
図４は、本開示による帯域幅制約画像処理に関する技術４０００のフローチャートである。技術４０００は、限定されないが、少なくとも１つの車隊マネージャ、車両マネージャ、及び先述の図３の帯域幅制約画像処理インターフェース３０００を含む車両監視システムによって利用され得る。遠隔サポートのための技術４０００の一部又は全ては、図１に示された車両１０００、図２に示された車両２１００を含む車両、又は図２に示されたコントローラ装置２４１０等のコントローラ装置を含むコンピュータ装置において実装されてもよい。コントローラ装置は、少なくとも信号処理システム、画像処理システム、フィルタ、及び電子通信システムを含み得る。１つの実装では、帯域幅制約画像処理のための技術４０００の一部又は全ての態様が、本明細書に記載の一部又は全ての特徴を結合したシステム（例えば、図２のコントローラ装置２４１０）において実装され得る。
動作４０１０において、車両の状態データを含む１つ以上の信号のデータ転送速度が、帯域幅制約画像処理システムによって決定される。いくつかの実装では、帯域幅制約画像処理システムは、コントローラ装置（例えば、コントローラ装置２４１０）である。動作４０１０は、コントローラ装置（例えば、コントローラ装置２４１０の信号処理システム）によって実行され得る。信号は、限定されないが、直接的に車両へ若しくは車両から、又は間接的に通信ネットワークを介して交換（送信又は受信）される電気信号（例えば、アナログ信号又はデジタル信号）を含む、車両と遠隔オペレーションセンタ（例えば、図２のオペレーションセンタ２４００）等の通信ネットワークとの間で伝送又は送信される任意のタイプの信号を含み得る。信号のデータ転送速度は、信号を送信し、信号を受信し、かつ信号強度、信号周波数、帯域幅、チャネル容量、及び信号対雑音比のいずれかを決定するように構成される通信装置を含む通信システムに基づいて決定され得る。
信号のデータ転送速度は、既定期間（例えば、１秒の期間）内に転送（送信又は受信）されるデータの数量又は量（例えば、ビット数）を含み得る。データの数量又は量は、ビット、バイト、キロバイト及びメガバイトのいずれかを含む単位で測定されてもよく、データ転送速度は、時間単位ごとに転送されるデータの量（例えば、毎秒１０００ビット、又は毎時１０テラバイト）を含み得る。
車両は、１以上の乗客及び積荷のいずれかを含むオブジェクトを搬送するために使用されるデバイス又は装置（例えば、輸送機関）を含み得る。さらに、車両は、データ（例えば、状態データ、画像データ、外部データ等）を含む信号を交換（送信又は受信）するための通信システムを含み得る。車両は、自律走行車、人間の運転者によって運転される車両、又は半自律走行車のいずれかを含み得る。
状態データは、限定されないが、車両の地理的場所（例えば、車両の緯度及び経度）等の車両の場所の画像、別のオブジェクトに対する車両の場所の画像、又はエリアのタイプ（例えば、住宅地、商業地域、私有地、公有地）に対する車両の場所の画像を含む場所データ；車両の方向及び傾斜（例えば、傾いている車両の傾斜）を示す画像を含む車両姿勢データ；及び、光学センサ（例えば、光検出及び距離センサ）、音声センサ及びモーションセンサを含む車両の一部、車両の上又は車両の中にあるセンサからの出力に基づくセンサデータであって、その出力は指示部（例えば、音又は動きを示すためのハッシュマーク）によって記号的に表されてもよく、センサデータは車両の中及び周囲の物理的環境の表現を生成するために使用され得るもの；車両の客室内の温度（例えば、暑い気温に対しては赤、涼しい気温に対しては青）、及び湿度（例えば、非常に高い湿度の状態を表すために雨滴指示部が使用され得る）を示す画像を含む内部状態データを含む、限定されないが、車両の状態又は状況（例えば、車両の室外及び車両の室内の様子に基づく画像）、及び車両が位置している外部環境（例えば、複数の外部オブジェクトを含む外部環境の様子に基づく画像）を表すために使用される画像及び他の媒体（例えば、映像）含み得る。
動作４０２０において、データ転送速度基準が満たされたかどうかに関する決定が行われる。動作４０２０は、コントローラ装置（例えば、図２のコントローラ装置する図２４１０の信号処理システム）によって実行され得る。データ転送速度基準は、データ転送速度閾値（例えば、最小データ転送速度）、データ転送速度閾値範囲（例えば、データ転送速度基準を満たす値を含み得るデータ転送速度値の範囲）、及び所定のシステム要件に適合する履歴データ速度のいずれかを含む基準に基づき得る。データ転送速度基準は、データ転送速度が提供データ転送速度基準を超えるか又は下回るかのいずれかの場合に満たされ得る。
例えば、データ転送速度基準が毎秒１００キロバイト以上のデータ転送速度閾値を維持していることに基づく場合（すなわち、これはシステムが対処しなければならない帯域幅制約が少ないことを意味する）、毎秒５０キロバイトのデータ転送速度はデータ転送速度基準を満たしておらず、システムはその比較に基づいて帯域幅制約を警告されるであろう。他方で、データ転送速度基準が、毎秒１００キロバイトより低い範囲に設定されていれば（これは潜在的な帯域幅制約を意味する）、毎秒５０キロバイトのデータ転送速度も、このデータ転送速度基準を満たすであろう。データ転送速度基準は、データ転送速度基準が満たされたかどうかを決定するために使用されるデータ転送速度が既定期間からサンプリングされるように、時間因子を含み得る。例えば、データ転送速度基準が評価されるデータ転送速度は、既定期間にわたる平均データ転送速度（例えば、１０秒の期間にわたる平均毎秒キロバイト）に基づき得る。
データ転送速度がデータ転送速度基準を満たすとの決定に応答して、技術４０００は動作４０３０に進む。データ転送速度がデータ転送速度基準を満たさないとの決定に応答して、１つ以上のアクションが行われ得る。いくつかの実装では、データ転送速度がデータ転送基準を満たさない場合、技術４０００は動作４０１０に戻され得る。いくつかの他の実装では、データ転送速度がデータ転送速度基準を満たさない場合、車両に命令データが送られる。命令データは、限定されないが、車両（例えば、自律走行車）又は車両の乗員（例えば、運転者）によって行われる命令を含み得る。
命令データは、限定されないが、車両の加速度、速度又は方向（例えば、ステアリング）を変更することを含む車両の動きを制御すること、機械制御システム及び電気制御システムを含む車両の制御システムをアクティブ化又は非アクティブ化すること（例えば、車両の一部又は全ての部分をオン又はオフにすること）、車両のセンサをアクティブ化又は非アクティブ化すること（例えば、車両の室内又は車外のエリアを観るためのカメラをアクティブ化すること）、内部通信システム（例えば、車両乗員に指向される内部スピーカ）及び外部通信システム（例えば、車外のオブジェクト又は個人に指向されるスピーカ）のいずれかを含む通信システムをアクティブ化又は非アクティブ化することのいずれかに関連付けられるデータを含み得る。
さらに、命令データは、限定されないが、車両が既定期間内にその移動を停止するための命令を含み得る。例えば、車両が遠隔操作を介して支援を受信していたが、車両からの画像ストリーミングが中断され、それにより遠隔オペレータが理解可能な画像ストリーミングをもはや受信していない場合、自律走行車であり得る車両は、駐車するための安全な場所（例えば、駐車場又は指定路上駐車エリア）を探すように命令され得る。このようにして、データ転送速度が増加し、車両からの画像ストリーミングが、遠隔オペレータが車両に支援を提供し続けるのに十分な品質を有するまで、車両は安全な場所で待機し得る。
動作４０３０において、電子通信システム（例えば、図２のコントローラ装置２４１０の電子通信システム）によって車両にメッセージが送信される。メッセージは、優先センサデータメッセージ等の様々なメッセージタイプを含み得る。優先センサデータメッセージは、車内のセンサからの優先センサデータに対する要求を含む。優先センサデータメッセージは、センサの優先順位付けを決定するのに使用され得るデータ転送速度（例えば、高解像度映像を送信するのに不十分なデータ転送速度が、静止画又は低解像度映像を送信することに高優先度を割り当てるために車両によって使用され得る）；推奨センサタイプ（例えば、夜を含む環境が暗い場合、可視光を検出する光学センサよりも赤外線センサが高く優先順位付けされる）；及び状態データのタイプの優先度ランク付けを含み得る推奨状態データタイプのいずれかを含んでもよく、例えば、外部環境の画像に関連付けられる外部環境データは、車両の室外の画像に関連付けられる車両室外データに対して優先されてもよく、これは同様に車内の気温又は湿度の記号指示部を含む画像に対して優先され得る。
動作４０４０において、動作４０３０からの要求に応答して、センサデータは、優先センサデータに基づく順番で電子通信システムによって受信される。車両のセンサは、車両の外側面、車両の客室、車両のエンジン室、及び車両の積荷エリア（例えば、自動車のトランク、フラットベッドトラックのフラットベッド）のいずれかを含む車両の任意の部分に配置され得る。車両は異なるタイプのセンサ（例えば、光及びモーションセンサ）を含んでもよく、各タイプのセンサは複数のセンサを含み得る。
優先センサデータは、限定されないが、データ転送速度及び要求されたセンサタイプのいずれかを含む優先センサデータメッセージ；車両上のセンサの場所（例えば、車内のセンサは、室内の乗客の状態に関連付けられる画像を生成するために高い優先度を有してもよく、又は車両の前方におけるセンサは、車両の前進方向に画像を生成するために車両の後方におけるセンサに対して優先され得る）；センサ優先度の１つ以上のリストを含み得る記憶されているセンサ優先順位付けシーケンスデータ（例えば、２つの光学センサの構成において、車両の前方における光学センサは、車両の後方における光学センサに対して優先され得る）；及び信号を妨害するオブジェクトに対する車両の位置に関するセンサ妨害データであって、妨害物に基づいてセンサの優先順位付けを動的に生成し得るもの（例えば、車両の後方が壁に面しておりかつ車両の前方が開放空間に面して駐車している車両は、車両の後方におけるセンサに対して車両の前方におけるセンサを動的に優先させ得る）のいずれかに基づくセンサの優先リストを含む。
いくつかの実装では、センサの優先順位付け及びセンサによって生成される関連画像データは、少ない割合の利用可能な帯域幅（例えば、低ビットレート）を割り当てられ得る低い優先度の画像データよりも高い優先度の画像データが多い部分の利用可能な帯域幅（例えば、高ビットレート）を割り当てられるように比例的に行われ得る。別の実装では、優先順位付けは、他の車両の遠隔操作の履歴データを利用する（例えば、図２のコントローラ装置２４１０の機械学習モジュールによって実行される）機械学習技術に基づく。
動作４０５０において、車両位置の場所及び車両によって受信されている信号を妨害する任意の潜在的オブジェクトの場所が、コントローラ装置によって、状態データ及び外部データに基づいて決定される。車両及びオブジェクトの場所は、センサからのセンサデータを含む状態データ（例えば、場所の画像）、及び状態データの場所データ（例えば、緯度及び経度）に基づいて決定され得る。外部データは、ローカルコンピュータデバイスを含むローカルデータソース、及び遠隔サーバコンピュータデバイスを含む遠隔データソースの任意の組み合わせからアクセスされ得る。
外部データは、限定されないが、自然地理的形成物、建物、道路、歩道、水路、他の車両、サイクリスト、及び歩行者のいずれかを含み得る車両の外部のオブジェクトの状態又は条件に関連付けられ得る。外部データは、限定されないが、オブジェクトの速度、方向、場所のいずれかに基づき得る（例えば、履歴データ、オペレータの入力又は命令、及び機械学習技術を使用して予測される）オブジェクトに関する予測経路又は過去に通った経路を含むオブジェクト移動経路データ；車両に対するオブジェクトの方向及びコンパス方向等の方向（例えば、オブジェクトが北に向かっていることの指示）のいずれかを含むオブジェクト方向データ；衛星（例えば、ＧＰＳ信号）又は他のナビゲーションデータに基づき得るオブジェクトの緯度及び経度を含むオブジェクト位置；光学センサ、音声センサ及びモーションセンサを含むオブジェクトにおけるセンサからの出力に基づくセンサデータを含むセンサデータであって、オブジェクトの中及び周囲の物理的環境の表現（例えば、画像）を生成するために使用され得るセンサデータ；及び電気信号を妨害又は干渉し得るオブジェクトの識別を含むオブジェクトタイプデータを含み得る。
外部データは、車両から送信又は受信される信号の強度を阻害、干渉又は減衰させ得る車両の既定エリア内にあるオブジェクトを決定するために使用され得る。例えば、一群の高層建築物、トンネル又は陸橋が車両から送信された信号を妨害する可能性があり、あるいは大量の電磁的活動を有する工場が車両から送信された信号に干渉する可能性がある。
動作４０６０において、最適化された状態データは、センサデータを含み得る、状態データ及び外部データに基づいてコントローラ装置によって生成される。最適化された状態データは、最適化された状態データを形成するために様々な割合で組み合わされ得る状態データ及び外部データの部分から生成され得る。例えば、外部データからの映像は、リアルタイムで又は小さな時間遅延で使用され得る同期された音声及び映像部分を含む最適化された状態データを形成するために、状態データからの音声と結合されてもよい。
最適化された状態データは、例えば、車両の状態データをフィルタリング又は強化することにより、データ転送速度基準を満たしていないデータ転送速度を補償するために使用され得る。例えば、（例えば、データ転送速度がデータ転送速度基準によって示される最小閾値を下回るために）帯域幅制約が検出された場合、最適化された状態データは、相対的に類似している場所又は期間の過去に記憶されている正面画像に基づく車両の正面画像又は帯域幅制約を受けていない付近の他の車両から集められる画像を遠隔オペレータに提供するように生成され得る。いくつかの実装では、最適化されたセンサデータは、センサデータからノイズを除去するためにフィルタリングを適用することに基づき得る。例えば、ウェーブレット変換、異方性フィルタリング、線形フィルタ、非線形フィルタ及び平滑化フィルタを含む技術を適用することにより画像内のノイズが減少させられ得る。フィルタリング技術は、コントローラ装置のフィルタによって実行され得る。さらに、最適化された状態データは、データ転送速度（例えば、データ転送速度に反比例する圧縮のレベル）に基づいて状態データの（例えば、異なる圧縮アルゴリズムを利用して）圧縮のタイプ又は（例えば、多量の不可逆又は可逆圧縮を提供して）圧縮の量を修正することを含む状態データの修正に基づいて生成され得る。
図５は、本開示による帯域幅制約画像処理に関する技術５０００のフローチャートである。技術５０００は、限定されないが、少なくとも１つの車隊マネージャ、車両マネージャ、及び先述の図３の帯域幅制約画像処理インターフェース３００を含む車両監視システムによって利用される。遠隔サポートのための技術５０００の一部又は全ては、図１に示された車両１０００、図２に示された車両２１００を含む車両、又は図２に示されたコントローラ装置２４１０等のコントローラ装置を含むコンピュータ装置において実装されてもよい。コントローラ装置は、少なくとも信号処理システム、画像処理システム、フィルタ、及び電子通信システムを含み得る。１つの実装では、帯域幅制約画像処理のための技術５０００の一部又は全ての態様が、本明細書に記載の一部又は全ての特徴を結合したシステム（例えば、図２のコントローラ装置２４１０）において実装され得る。
動作５０１０において、少なくとも１つの信号の受信が停止したとき及び少なくとも別の信号が後で受信されるときの間の時間間隔に基づいて、コントローラ装置によって、伝送遅延が決定される。時間間隔の開始は、信号の交換（受信又は送信）が停止するときに開始し、信号の交換（受信又は送信）が再開するときに終了し得る。例えば、車両からの信号を阻害していた妨害物に車両が遭遇した場合、期間は、車両からの信号がもはや受信されなくなったときに開始し、車両からの信号の受信が成功した時に終了するであろう。
いくつかの実装では、データが連続して受信されていても（そのため純粋遅延又はデータの流れの停止がない）、伝送遅延は、各信号強度閾値又はデータ転送速度閾値を下回る信号強度又はデータ転送速度に基づいている。このようにして、伝送遅延は、信号強度又はデータ転送速度がゼロではない場合でも起こると決定され得る。
動作５０２０において、伝送遅延が遅延基準を満たすこと（例えば、５秒間のデータ受信の遅延があること及び許可される最大２秒の遅延基準閾値よりも大きいこと）を決定することに応答して、技術５０００は動作５０３０に進む。遅延基準は、閾値ではなく値の範囲を含み得る。伝送遅延が遅延基準を満たしていないとの決定に応答して、技術５０００は動作５０１０に戻る。伝送遅延基準を満たすことは、限定されないが、伝送遅延時間が伝送遅延時間閾値を超えること（例えば、時間遅延が指定された伝送遅延時間よりも大きい場合に伝送遅延基準が満たされる）、及び既定期間の時間遅延の数が遅延発生閾値を超えることのいずれかを含み得る。
動作５０３０において、既定期間内に過去に受信された状態データ及び外部データのいずれかに基づいて、コントローラ装置によって、予測データが生成される。予測データは、限定されないが、付近の又は関連する場所における他の車両によって過去又は現在に受信されるデータを含み得る。状態データ及び外部データは、伝送遅延が発生する期間の間に予測データを生成するために使用され得る予測モデリング又は機械学習技術を使用してコントローラ装置の機械学習モジュールによって分析され得る。
例えば、車両が高速道路で時速１００キロメートルの一定速度で進んでおり、車両からの信号を阻害する山腹を通過する場合、予測データは、車両の速度（時速１００キロメートル）及び妨害前の車両の推定位置及び進行方向に基づいて、画像（例えば、車両の周囲環境の画像）を生成するために使用され得る。時速２キロメートルまで車両の速度を遅くする交通渋滞に車両が遭遇する場合、予測データは、新しい（時速２キロメートルの速度）に基づいて生成され得る。最後に知られていた速度（時速２キロメートル）で車両が２００メートルの長さのトンネルに入ることと伝送遅延が一致する場合、予測モデリングは、車両がいつトンネルを抜けるかの推定を含むトンネル内の車両位置を提供するように予測データを生成してもよく、これは車両の最後に知られていた速度及び車両が進行している方向にトンネルを抜けるオブジェクト（例えば、他の車両）の速度に基づき得る。
いくつかの実装では、画像データは、状態データ及び外部データのいずれかからのセンサデータに基づいて生成される。画像データは、例えば、通信ネットワーク又はコンピュータネットワークを介してアクセスされ得るローカル記憶装置又は遠隔記憶装置において将来使用するために記憶され得る。次に、記憶された画像データは、データ転送速度がデータ転送速度基準を満たしたときに取得され得る。例えば、画像データは、データ転送速度が場所の画像をリアルタイムで生成するのに十分ではない場合に場所の画像を再構築するために過去の場所に関連付けられる画像データを使用することにより予測データを生成するために使用され得る。
図６は、本開示による帯域幅制約画像処理に関する技術６０００のフローチャートである。技術６０００は、少なくとも１つの車隊マネージャ、車両マネージャ、及び先述のインターフェースを含む車両監視システムによって利用され得る。遠隔サポートのための技術６０００の一部又は全ては、図１に示された車両１０００、図２に示された車両２１００を含む車両、又は図２に示されたコントローラ装置２４１０等のコントローラ装置を含むコンピュータ装置において実装されてもよい。コントローラ装置は、少なくとも信号処理システム、画像処理システム、フィルタ、及び電子通信システムを含み得る。１つの実装では、帯域幅制約画像処理のための技術６０００の一部又は全ての態様が、本明細書に記載の一部又は全ての特徴を結合したシステム（例えば、図２のコントローラ装置２４１０）において実装され得る。
動作６０１０において、画像データに基づいて、コントローラ装置によって、画像が生成される。画像データは、状態データ又は外部データに基づいており、車両並びに歩行者、他の車両、道路及び建物を含むオブジェクトの表現を含み得る。画像データは、画像を出力することが可能なディスプレイデバイス（例えば、モニタ又はプロジェクタ）等の出力デバイスに出力され得る。例えば、画像データは、図３に示された帯域幅制約画像処理インターフェース３０００を含むインターフェースにおいて表され得る。
動作６０２０において、画像の一部を選択するための（例えば、遠隔オペレータ又は車両の運転者からの）入力が検出されたかどうかの決定が、コントローラ装置によって行われる。画像の一部を選択するための入力が検出されたかどうかの決定は、光学的入力（例えば、画像の一部を凝視すること）、聴覚入力（例えば、マイクロホンに話しかけてコマンドを発行すること）、モーション入力（例えば、手のジェスチャを行うこと）、及び触覚入力（例えば、画像が生成されているディスプレイの部分にタッチすること）のいずれかを決定することに基づき得る。入力を受信したことに応答して、技術６０００は動作６０３０に進む。入力を受信しなかったことに応答して、技術６０００は動作６０１０に戻る。
動作６０３０において、画像データは、（例えば、図３の帯域幅制約画像処理インターフェース３０００を使用する遠隔オペレータによって）修正又は更新又は変更され、コントローラ装置によって受信される。画像データを修正することは、選択された画像の一部の修正をもたらし得る。選択された画像の一部を修正することは、限定されないが、画像の輝度又は焦点又は色又は他のグラフィカル特性の向上、画像の欠落部分の生成、画像の一部の拡大、ノイズの低減、画像の一部のコントラストの増加、ヒストグラム平坦化、中央値フィルタリング、及びアンシャープマスクフィルタリングのいずれかを含む画像を変化させる画像データの任意の修正に基づき得る。
図７は、本開示による帯域幅制約画像処理に関する方法７０００を示す。方法７０００は、限定されないが、図２のコントローラ装置２４１０、又はコントローラ装置２４１０の様々なサブコンポーネント又はサブモジュール又はサブシステムを含むシステムによって実行され得る。方法７０００は、７０１０によって、車両の状態データを含む信号のデータ転送速度を決定することを含む。データ転送速度がデータ転送速度基準を満たす（例えば、データ転送速度が十分に高く、画像処理を行うのに必要な最小帯域幅を示すデータ転送速度基準閾値を上回っている）との決定に応答して、状態データ及び外部データ（例えば、交通データ、車両の周囲の複数の外部オブジェクトについての画像データ等）に基づいて、７０２０によって、少なくとも１つの信号を妨害するオブジェクトの場所及び車両の場所を決定する。７０３０によって、状態データ及び外部データに基づいて、最適化された状態データが生成される。状態データは、車両に関連付けられるセンサ（例えば、車両の中、上、下及び／又は周囲のセンサ）のセンサデータを含み、こうしたセンサは、光学センサ、光検出及び距離センサ、モーションセンサ、及び音声センサのいずれかを含む。１つの実装では、方法７０００は、センサから優先センサデータに対する要求を含むメッセージ（例えば、優先センサデータメッセージ）を送信することを含み、この優先センサデータは、車両に関連付けられるセンサの場所に基づくセンサの優先リストを含む。方法７０００は、優先センサデータに基づく順番でセンサデータを受信することをさらに含む。順番は、限定されないが、最高の優先度から最低の優先度へ又は最大量のデータから最小量のデータへを含む様々な特徴を使用してセンサデータをリスト化し得る。
１つの実装では、方法７０００は、フィルタ（限定されないが、線形平滑化フィルタ、非線形フィルタを含む）を使用して、センサデータ及び受信したすべての信号からノイズ及びアーチファクトを除去するためにセンサデータをフィルタリングすることを含み、最適化された状態データはフィルタリングされたセンサデータに基づいているか又はそれを含んでいる。方法７０００は、センサデータに基づいて画像データを生成及び記憶すること及びデータ転送速度がデータ転送速度基準を満たしたときに（又は所定の重要度レベルで印をつけられた要求を受信したときに）画像データを取得することを含み、最適化された状態データは画像データに基づくか又はそれを含む。
１つの実装では、方法７０００は、画像データに基づいて画像を生成することを含む。画像の一部を選択するための入力を受信することに応答して、方法７０００は、選択された画像の一部を修正又は更新することを含み、修正又は更新は、画像の一部を拡大（例えば、ズームイン、アウト）すること、画像の一部からノイズをフィルタリングすること、画像の一部のコントラストを高めること、又は任意の他のやり方で画像の一部を変更することを含む。
１つの実装では、方法７０００は、データ転送速度に基づいて状態データに適用される圧縮のタイプ及び圧縮の量のいずれかを修正することを含む。方法７０００は、受信している（現在の状態データを含む）複数の信号間の時間間隔に基づいて伝送遅延を決定することを含む。伝送遅延が遅延基準を満たすこと（例えば、３０分の閾値又は基準を超える１分の間隔で信号が受信されていること）を決定することに応答して、既定期間内に過去に受信した状態データに基づいて予想データを生成し、最適化された状態データは予測データに基づくか又はそれを含む。データ転送速度がデータ転送速度基準を満たすとの決定に応答して、車両に命令データを送信し、この命令データは、車両が停止するか又は所定の場所に行って停止するための命令、及び複数のオブジェクトの各々による少なくとも１つの信号の妨害を除去するために車両が場所を変更するための命令のいずれかを含む。
本開示の技術は、車両（例えば、自律走行車）から受信する状態データを含む、画像データをより効率的に最適化する帯域幅処理装置を提供する。本開示の技術は、妨害物（例えば、物理的構造物又は他の複数の外部オブジェクトによって引き起こされる車両への又は車両からの信号の妨害物）及び干渉（例えば、車両への又は車両からの信号に干渉する他の信号）を含む要因によって引き起こされる帯域幅制約のために利用できない又は低品質の画像からもたらされるダウンタイムを減少させることができる。
本開示の技術は所定の実施形態との関連で記載されているが、本開示の技術は、開示された実施形態に限定されず、それどころか添付の請求項の範囲内に含まれる様々な修正及び均等な構成をも含むことが意図されており、その範囲は法の下に認められる全てのこのような修正及び均等な構成を包含するように最も広い解釈に一致させられることが理解されるべきである。

Claims (20)

  1. コントローラ装置の信号処理システムによって、車両から受信した複数の信号のデータ転送速度を決定するステップであって、前記複数の信号は前記車両の状態データを含み、前記状態データは前記車両の光学センサのセンサデータを含むステップと、
    前記信号処理システムによって、前記データ転送速度が既定のデータ転送速度閾値より低いと決定するステップと、
    前記信号処理システムによって、前記車両に関連付けられる前記状態データ及び外部データを使用して、前記車両の場所及び前記複数の信号の少なくとも１つを妨害する複数のオブジェクトの少なくとも１つの場所を決定するステップと、
    前記コントローラ装置の画像処理システムによって、前記センサデータを使用して画像データを生成するステップと、
    前記画像処理システムによって、前記画像データを使用して画像を生成するステップと、
    前記画像処理システムによって、前記画像の一部を選択するための入力を受信するステップと、
    前記画像処理システムによって、選択された前記画像の一部を修正して最適化状態データを生成するステップであって、前記修正は、前記画像の少なくとも１つのグラフィカル特性を向上させるステップと、
    前記コントローラ装置の通信装置によって、前記最適化状態データを使用して前記車両に命令データを送信するステップと
    を含む、方法。
  2. 前記状態データは、前記車両に関連付けられる複数のセンサのセンサデータを含み、前記複数のセンサは、光検出及び距離センサ、モーションセンサ及び音声センサをさらに含む、請求項１に記載の方法。
  3. 前記コントローラ装置の通信装置によって、前記車両に優先センサデータメッセージを送信するステップであって、前記優先センサデータメッセージは、前記複数のセンサからの優先センサデータに対する要求を含み、前記優先センサデータは、前記優先センサデータメッセージ、前記データ転送速度、前記複数のセンサのセンサタイプ、前記複数のセンサの場所、記憶されているセンサ優先順位付けシーケンスデータ、及びセンサ妨害データを使用する前記複数のセンサの優先リストを含むステップと、
    前記通信装置によって、前記優先リストを使用する順番で前記車両から前記センサデータを受信するステップと
    をさらに含む、請求項２に記載の方法。
  4. 前記コントローラ装置のフィルタによって、前記センサデータからノイズを除去するために前記センサデータをフィルタリングするステップと、
    前記信号処理システムによって、フィルタリングされたセンサデータを使用して前記最適化状態データを生成するステップと
    をさらに含む、請求項２に記載の方法。
  5. 前記画像処理システムによって、前記画像データをデータベースに記憶するステップと、
    前記画像処理システムによって、前記データ転送速度が前記既定のデータ転送速度閾値より低い場合に前記画像データを取得するステップと、
    前記信号処理システムによって、取得した画像データを使用して前記最適化状態データを生成するステップと
    をさらに含む、請求項２に記載の方法。
  6. 前記修正は、前記画像の一部を拡大すること、前記画像の一部からノイズをフィルタリングすること、及び前記画像の一部のコントラストを高めることをさらに含むステップと
    をさらに含む、請求項５に記載の方法。
  7. 前記信号処理システムによって、前記データ転送速度を使用して前記状態データに適用される圧縮のタイプ及び圧縮の量を修正するステップ
    をさらに含む、請求項１に記載の方法。
  8. 前記信号処理システムによって、受信されている複数の信号間の時間間隔を使用して伝送遅延を決定するステップと、
    前記伝送遅延が既定の伝送遅延閾値を超えるとの決定に応答して、前記コントローラ装置の機械学習モジュールによって、既定期間内に過去に受信した状態データを使用して予測データを生成するステップと、
    前記信号処理システムによって、前記予測データを使用して前記最適化状態データを生成するステップと
    をさらに含む、請求項１に記載の方法。
  9. 前記命令データは、前記車両が停止するための命令、及び前記複数のオブジェクトの少なくとも１つによる前記複数の信号の少なくとも１つの妨害を除去するために前記車両が場所を変更するための命令を含むステップ
    をさらに含む、請求項１に記載の方法。
  10. メモリと、
    プロセッサと
    を備え、前記プロセッサは、前記メモリに記憶されている命令を実行して、
    車両から受信した複数の信号のデータ転送速度を決定することであって、前記複数の信号は前記車両の状態データを含み、前記状態データは前記車両の光学センサのセンサデータを含むこと、
    前記データ転送速度が既定のデータ転送速度閾値より低いと決定すること、
    前記車両に関連付けられる前記状態データ及び外部データを使用して、前記車両の場所及び前記複数の信号の少なくとも１つを妨害する複数のオブジェクトの少なくとも１つの場所を決定すること、
    前記センサデータを使用して画像データを生成すること、
    前記画像データを使用して画像を生成すること、
    前記画像の一部を選択するための入力を受信すること、
    選択された前記画像の一部を修正して最適化状態データを生成することであって、前記修正は、前記画像の少なくとも１つのグラフィカル特性を向上させること、及び
    前記最適化状態データを使用して前記車両に命令データを送信すること
    を行うように構成される、コントローラ装置。
  11. 前記状態データは、前記車両に関連付けられる複数のセンサのセンサデータを含み、前記複数のセンサは、光検出及び距離センサ、モーションセンサ及び音声センサをさらに含む、請求項１０に記載のコントローラ装置。
  12. 前記プロセッサは、前記メモリに記憶されている命令を実行して、
    前記車両に優先センサデータメッセージを送信することであって、前記優先センサデータメッセージは、前記複数のセンサからの優先センサデータに対する要求を含み、前記優先センサデータは、前記優先センサデータメッセージ、前記データ転送速度、前記複数のセンサのセンサタイプ、前記複数のセンサの場所、記憶されているセンサ優先順位付けシーケンスデータ、及びセンサ妨害データを使用する前記複数のセンサの優先リストを含むこと、及び
    前記優先リストを使用する順番で前記車両から前記センサデータを受信すること
    を行うようにさらに構成される、請求項１１に記載のコントローラ装置。
  13. 前記プロセッサは、前記メモリに記憶されている命令を実行して、
    受信されている複数の信号間の時間間隔を使用して伝送遅延を決定すること、及び
    前記伝送遅延が既定の伝送遅延閾値を超えるとの決定に応答して、既定期間内に過去に受信した状態データを使用して予測データを生成すること、及び
    前記予測データを使用して前記最適化状態データを生成すること
    を行うようにさらに構成される、請求項１１に記載のコントローラ装置。
  14. 前記プロセッサは、前記メモリに記憶されている命令を実行して、
    前記画像データをデータベースに記憶すること、
    前記データ転送速度が前記既定のデータ転送速度閾値より低い場合に前記画像データを取得すること、及び
    取得した画像データを使用して前記最適化状態データを生成すること
    を行うようにさらに構成される、請求項１１に記載のコントローラ装置。
  15. 前記修正は、前記画像の一部を拡大すること、前記画像の一部からノイズをフィルタリングすること、及び前記画像の一部のコントラストを高めることをさらに含む、請求項１４に記載のコントローラ装置。
  16. コントローラ装置の１つ以上のプロセッサによって実行可能なプログラム命令を含む非一時的なコンピュータ可読記憶媒体であって、前記プログラム命令は、実行されると、前記１つ以上のプロセッサに、
    車両から受信した複数の信号のデータ転送速度を決定することであって、前記複数の信号は前記車両の状態データを含み、前記状態データは前記車両の光学センサのセンサデータを含むこと、
    前記データ転送速度が既定のデータ転送速度閾値より低いと決定すること、
    前記車両に関連付けられる前記状態データ及び外部データを使用して、前記車両の場所及び前記複数の信号の少なくとも１つを妨害する複数のオブジェクトの少なくとも１つの場所を決定すること、
    前記センサデータを使用して画像データを生成すること、
    前記画像データを使用して画像を生成すること、
    前記画像の一部を選択するための入力を受信すること、
    選択された前記画像の一部を修正して最適化状態データを生成することであって、前記修正は、前記画像の少なくとも１つのグラフィカル特性を向上させること、及び
    前記最適化状態データを使用して前記車両に命令データを送信すること
    を含む動作を行わせる、非一時的なコンピュータ可読記憶媒体。
  17. 前記状態データは、前記車両に関連付けられる複数のセンサのセンサデータを含み、前記複数のセンサは、光検出及び距離センサ、モーションセンサ及び音声センサのいずれかをさらに含む、請求項１６に記載の非一時的なコンピュータ可読記憶媒体。
  18. 前記動作は、
    前記車両に優先センサデータメッセージを送信することであって、前記優先センサデータメッセージは、前記複数のセンサからの優先センサデータに対する要求を含み、前記優先センサデータは、前記優先センサデータメッセージ、前記データ転送速度、前記複数のセンサのセンサタイプ、前記複数のセンサの場所、記憶されているセンサ優先順位付けシーケンスデータ、及びセンサ妨害データを使用する前記複数のセンサの優先リストを含むこと、及び
    前記優先リストを使用する順番で前記車両から前記センサデータを受信すること
    をさらに含む、請求項１７に記載の非一時的なコンピュータ可読記憶媒体。
  19. 前記動作は、
    前記画像データをデータベースに記憶すること、
    前記データ転送速度が前記既定のデータ転送速度閾値より低い場合に前記画像データを取得すること、及び
    取得した画像データを使用して前記最適化状態データを生成すること
    をさらに含む、請求項１７に記載の非一時的なコンピュータ可読記憶媒体。
  20. 前記動作は、
    受信されている複数の信号間の時間間隔を使用して伝送遅延を決定すること、及び
    前記伝送遅延が既定の伝送遅延閾値を超えるとの決定に応答して、既定期間内に過去に受信した状態データを使用して予測データを生成する、及び
    前記予測データを使用して前記最適化状態データを生成すること
    をさらに含む、請求項１７に記載の非一時的なコンピュータ可読記憶媒体。
JP2019529967A 2016-12-06 2017-12-06 自律走行車のための帯域幅制約画像処理 Active JP6720415B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662430792P 2016-12-06 2016-12-06
US62/430,792 2016-12-06
PCT/US2017/064808 WO2018106752A1 (en) 2016-12-06 2017-12-06 Bandwidth constrained image processing for autonomous vehicles

Publications (2)

Publication Number Publication Date
JP2020514850A JP2020514850A (ja) 2020-05-21
JP6720415B2 true JP6720415B2 (ja) 2020-07-08

Family

ID=62492136

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019529967A Active JP6720415B2 (ja) 2016-12-06 2017-12-06 自律走行車のための帯域幅制約画像処理

Country Status (6)

Country Link
US (1) US10659991B2 (ja)
EP (1) EP3552358B1 (ja)
JP (1) JP6720415B2 (ja)
CN (1) CN110249609B (ja)
BR (1) BR112019011455A2 (ja)
WO (1) WO2018106752A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017115166A1 (en) * 2015-12-28 2017-07-06 Kriezman Omri Parking gate barrier rod projecting system
US10293818B2 (en) * 2017-03-07 2019-05-21 Uber Technologies, Inc. Teleassistance data prioritization for self-driving vehicles
US10922903B2 (en) * 2017-07-11 2021-02-16 Waymo Llc Methods and systems for providing remote assistance to a stopped vehicle
US20190187691A1 (en) 2017-12-18 2019-06-20 Steeringz, Inc. Safety of autonomous vehicles by remote support request
US11699207B2 (en) * 2018-08-20 2023-07-11 Waymo Llc Camera assessment techniques for autonomous vehicles
CN110972203B (zh) 2018-09-28 2023-09-01 苹果公司 基于无线通信信道带宽条件的电子设备内容提供调节
US11818419B2 (en) 2018-09-28 2023-11-14 Apple Inc. Mobile device content provisioning adjustments based on wireless communication channel bandwidth condition
US11137754B2 (en) * 2018-10-24 2021-10-05 Ford Global Technologies, Llc Intermittent delay mitigation for remote vehicle operation
US11281214B2 (en) 2018-12-19 2022-03-22 Zoox, Inc. Safe system operation using CPU usage information
EP3690852A1 (en) 2019-01-29 2020-08-05 Volkswagen Aktiengesellschaft System, vehicle, network component, apparatuses, methods, and computer programs for a vehicle and a network component
EP3702864B1 (en) * 2019-02-27 2021-10-27 Ree Technology GmbH Accounting for latency in teleoperated remote driving
US11003195B2 (en) * 2019-02-28 2021-05-11 GM Global Technology Operations LLC Method to prioritize the process of receiving for cooperative sensor sharing objects
US11507855B2 (en) * 2019-03-22 2022-11-22 Motorola Mobility Llc Generating action suggestions based on a change in user mood
JP2022529668A (ja) * 2019-04-24 2022-06-23 ソニーグループ株式会社 自動車用のセンシング機器および制御システム
WO2021151466A1 (en) * 2020-01-28 2021-08-05 Telefonaktiebolaget Lm Ericsson (Publ) Dynamic stream adaptation
US11830302B2 (en) 2020-03-24 2023-11-28 Uatc, Llc Computer system for utilizing ultrasonic signals to implement operations for autonomous vehicles
WO2021222715A1 (en) * 2020-05-01 2021-11-04 Kinze Manufacturing, Inc. Shared planter data
IT202000010300A1 (it) 2020-05-08 2021-11-08 Milano Politecnico Sistema e metodo di comunicazione tra un veicolo ed un altro agente
US11617074B2 (en) * 2020-06-15 2023-03-28 Toyota Motor North America, Inc. Secure boundary area communication systems and methods
CN115309482A (zh) * 2021-04-20 2022-11-08 福特全球技术公司 一种车辆交互系统以及相应的车辆和方法
WO2023007645A1 (ja) * 2021-07-29 2023-02-02 日本電気株式会社 データ配信システム、通信品質予測装置、データ送信装置及びデータ送信方法
JP2023064332A (ja) * 2021-10-26 2023-05-11 トヨタ自動車株式会社 車両制御装置、システム、方法、及びプログラム
DE102022200171A1 (de) 2022-01-10 2023-07-13 Volkswagen Aktiengesellschaft Verfahren zur adaptiven Bilddatenkompression in einem Fahrzeug, entsprechende Vorrichtung, Computerprogramm und Kraftfahrzeug
US12008681B2 (en) * 2022-04-07 2024-06-11 Gm Technology Operations Llc Systems and methods for testing vehicle systems
KR102641702B1 (ko) * 2022-05-12 2024-02-28 주식회사 엘지유플러스 자율 주행 시스템 및 자율 주행 시스템의 영상 처리 장치 및 방법
WO2023211119A1 (ko) * 2022-04-27 2023-11-02 주식회사 엘지유플러스 원격 주행 시스템에서의 사고 인식 및 예방 방법 및 그를 위한 장치 및 시스템
WO2024021083A1 (en) * 2022-07-29 2024-02-01 Apollo Intelligent Driving Technology (Beijing) Co., Ltd. Sensor data transfer with self adaptive configurations for autonomous driving vehicle

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4405943A (en) * 1981-08-19 1983-09-20 Harris Corporation Low bandwidth closed loop imagery control and communication system for remotely piloted vehicle
US4855822A (en) 1988-01-26 1989-08-08 Honeywell, Inc. Human engineered remote driving system
US6230097B1 (en) 1998-08-31 2001-05-08 Trimble Navigation Limited Accurate vehicle navigation
US6611755B1 (en) * 1999-12-19 2003-08-26 Trimble Navigation Ltd. Vehicle tracking, communication and fleet management system
US6549846B1 (en) 2000-11-21 2003-04-15 Trimble Navigation Limited Accurate vehicle navigation
IL147370A (en) * 2001-12-27 2007-07-24 Itzhak Florentin Method and system for guiding a remote vehicle via a retarded communication channel
JP4615317B2 (ja) * 2005-01-18 2011-01-19 株式会社リコー 符号化装置
JP2006208223A (ja) * 2005-01-28 2006-08-10 Aisin Aw Co Ltd 車両位置認識装置及び車両位置認識方法
US7616642B2 (en) * 2006-01-04 2009-11-10 Sap Ag Priority assignment and transmission of sensor data
US8594933B2 (en) * 2006-02-09 2013-11-26 Sap Ag Transmission of sensor data based on geographical navigation data
JP4312210B2 (ja) * 2006-05-10 2009-08-12 ユーリテクノス株式会社 モバイルウェブブラウザに対応する画像拡大／縮小方法およびプログラム、ならびにそれを利用した使用者インターフェイスおよび画像送信方法
US8355818B2 (en) * 2009-09-03 2013-01-15 Battelle Energy Alliance, Llc Robots, systems, and methods for hazard evaluation and visualization
JP2008236103A (ja) * 2007-03-19 2008-10-02 Clarion Co Ltd 映像配信システム、映像配信方法、映像配信サーバ及び映像配信プログラム
JP4973358B2 (ja) * 2007-07-23 2012-07-11 株式会社日立製作所 リモート操作システム
US8384762B2 (en) 2008-09-19 2013-02-26 Mbda Uk Limited Method and apparatus for displaying stereographic images of a region
IL201682A0 (en) 2009-10-22 2010-11-30 Bluebird Aero Systems Ltd Imaging system for uav
KR20110114957A (ko) * 2010-04-14 2011-10-20 삼성전기주식회사 데이터 송신 장치와 방법, 이를 이용한 네트워크 데이터 전송 시스템 및 방법
US8370392B1 (en) * 2010-10-07 2013-02-05 The Boeing Company Methods and systems for controlling storage and transmission of data
US8989089B2 (en) * 2011-08-18 2015-03-24 Ofinno Technologies, Llc Automobile data transmission
US20140309852A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Automatic vehicle diagnostic detection and communication
WO2013161345A1 (ja) * 2012-04-24 2013-10-31 日産自動車株式会社 監視システム及び監視方法
KR101384332B1 (ko) * 2012-09-06 2014-04-10 현대모비스 주식회사 차량 영상처리 장치 및 방법과 이를 이용한 차량 영상처리 시스템
JP2014071778A (ja) * 2012-09-28 2014-04-21 Equos Research Co Ltd 車両
CN103490842B (zh) 2013-09-26 2016-09-28 深圳市大疆创新科技有限公司 数据传输系统及方法
DK3050308T3 (en) * 2013-09-27 2018-10-29 Teleste Oyj Wireless data reading system
US9843647B2 (en) * 2014-02-25 2017-12-12 Here Global B.V. Method and apparatus for providing selection and prioritization of sensor data
US20160025497A1 (en) * 2014-07-24 2016-01-28 Harman International Industries, Incorporated Pre-caching of navigation content based on cellular network coverage
CN104135662B (zh) * 2014-08-19 2017-04-26 哈尔滨工业大学 用于在有限带宽和发射速率条件下对视频文件的改进型h.264压缩编码方法
US20160063332A1 (en) * 2014-08-27 2016-03-03 Toyota Jidosha Kabushiki Kaisha Communication of external sourced information to a driver
JP6657612B2 (ja) * 2015-01-26 2020-03-04 株式会社リコー 情報処理装置、情報処理システム、及びプログラム
CA3067177A1 (en) * 2015-02-10 2016-08-18 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
JP6496585B2 (ja) * 2015-03-24 2019-04-03 クラリオン株式会社 物体認識装置
US9690290B2 (en) * 2015-06-04 2017-06-27 Toyota Motor Engineering & Manufacturing North America, Inc. Situation-based transfer of vehicle sensor data during remote operation of autonomous vehicles
US9988056B2 (en) * 2015-12-15 2018-06-05 Octo Telematics Spa Systems and methods for controlling sensor-based data acquisition and signal processing in vehicles
CN105783936B (zh) * 2016-03-08 2019-09-24 武汉中海庭数据技术有限公司 用于自动驾驶中的道路标识制图及车辆定位方法及系统
CN106060553A (zh) * 2016-07-26 2016-10-26 公安部第研究所 基于感兴趣区域的时域可分级编码装置及其方法

Also Published As

Publication number Publication date
EP3552358B1 (en) 2021-05-26
CN110249609A (zh) 2019-09-17
EP3552358A1 (en) 2019-10-16
WO2018106752A1 (en) 2018-06-14
CN110249609B (zh) 2020-12-15
JP2020514850A (ja) 2020-05-21
US20200068434A1 (en) 2020-02-27
EP3552358A4 (en) 2020-03-11
US10659991B2 (en) 2020-05-19
BR112019011455A2 (pt) 2019-10-15

Similar Documents

Publication Publication Date Title
JP6720415B2 (ja) 自律走行車のための帯域幅制約画像処理
JP6902676B2 (ja) 自律走行車の意思決定のための交通ネットワークインフラストラクチャ
CN110431037B (zh) 包括运用部分可观察马尔可夫决策过程模型示例的自主车辆操作管理
JP6726363B2 (ja) 生成されたインターフェースを使用する自律走行車の監視
EP3948463B1 (en) Teleoperation for exception handling
US11927952B2 (en) Adaptive multi-network vehicle architecture
CN109690251B (zh) 使用交通信号信息优化自主汽车的驾驶时间和用户体验
JP6992182B2 (ja) 自律走行車両運行管理計画
JP2019537159A5 (ja)
US10935973B2 (en) Generation of solution data for autonomous vehicles to negotiate problem situations
US20220063660A1 (en) Drive Mode Selection
JP2020532801A (ja) リアルタイムで自律車両の目的地を変更するためのシステムおよび方法
JP2021512304A (ja) 自律走行車のバッチ経路指定のためのコンピュータフレームワーク
US11626012B2 (en) Hierarchical integrated traffic management system for managing vehicles
EP3757711A1 (en) A vehicle-platoons implementation under autonomous driving system designed for single vehicle
US20230029093A1 (en) Computing Framework for Vehicle Decision Making and Traffic Management
WO2024036618A1 (en) Dynamic signal transfer configuration for driverless vehicle remote monitoring

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190729

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190729

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190729

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20191015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191210

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200617

R150 Certificate of patent or registration of utility model

Ref document number: 6720415

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313117

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350