JP7308920B2 - 自律運転デバイス、システム、および方法、ならびに遠隔操縦車両 - Google Patents

自律運転デバイス、システム、および方法、ならびに遠隔操縦車両 Download PDF

Info

Publication number
JP7308920B2
JP7308920B2 JP2021500372A JP2021500372A JP7308920B2 JP 7308920 B2 JP7308920 B2 JP 7308920B2 JP 2021500372 A JP2021500372 A JP 2021500372A JP 2021500372 A JP2021500372 A JP 2021500372A JP 7308920 B2 JP7308920 B2 JP 7308920B2
Authority
JP
Japan
Prior art keywords
vehicle
remote
artificial intelligence
data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021500372A
Other languages
English (en)
Other versions
JP2021528790A (ja
Inventor
アルトマン,バルーク・ヨセフ
Original Assignee
ドライブユー・テック・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ドライブユー・テック・リミテッド filed Critical ドライブユー・テック・リミテッド
Publication of JP2021528790A publication Critical patent/JP2021528790A/ja
Application granted granted Critical
Publication of JP7308920B2 publication Critical patent/JP7308920B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0038Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/14Adaptive cruise control
    • B60W30/16Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205Diagnosing or detecting failures; Failure detection models
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04Monitoring the functioning of the control system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0059Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3453Special cost functions, i.e. other than distance or default speed limit of road segments
    • G01C21/3461Preferred or disfavoured areas, e.g. dangerous zones, toll or emission zones, intersections, manoeuvre types, segments such as motorways, toll roads, ferries
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0011Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
    • G05D1/0022Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the communication link
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0055Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot with safety arrangements
    • G05D1/0061Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • G05D1/0282Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal generated in a local control room
    • GPHYSICS
    • G08SIGNALLING
    • G08CTRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q9/00Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W72/00Local resource management
    • H04W72/04Wireless resource allocation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0063Manual parameter input, manual setting means, manual initialising or calibrating means
    • B60W2050/0064Manual parameter input, manual setting means, manual initialising or calibrating means using a remote, e.g. cordless, transmitter or receiver unit, e.g. remote keypad or mobile phone
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • B60W2420/408
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54Audio sensitive means, e.g. ultrasound
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle for navigation systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q2209/00Arrangements in telecontrol or telemetry systems
    • H04Q2209/40Arrangements in telecontrol or telemetry systems using a wireless architecture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W84/00Network topologies
    • H04W84/18Self-organising networks, e.g. ad-hoc networks or sensor networks

Description

[0001] この特許出願は、2018年3月18日に出願された米国特許出願第62/
644,510号の優先権および権利を主張する。この特許出願をここで引用したことにより、その内容全体が本願にも含まれるものとする。
[0002] 本発明は、車両の遠隔操縦(teleoperation)、即ち、遠隔運転(remote driving)の分野、ならびに自律車両および自己運転車両(陸上、空中、海洋)、人工知能、車両との通信、ワイヤレス通信、およびセルラ通信に関する。
[0003] 本発明のある実施形態は、自律運転デバイス、システム、および方法、ならびにおよび遠隔操縦車両を含む。例えば、車両用人口知能(AI:Artificial Intelligence)ユニットは、車両の複数の車両センサから入力を受信し、車両内において、少なくとも入力の第1部分をローカルに処理し、車両ワイヤレス送信機によって、少なくとも入力の第2部分を、車両の外部に位置するリモート遠隔運転プロセッサに、ワイヤレスで送信し、リモート人口知能(AI)ユニットから受信したリモート計算処理結果を、 車両ワイヤレス受信機によって、 リモート遠隔運転プロセッサからワイヤレスで受信し、リモート計算処理結果に基づいて、車両の自律運転ユニットによってまたは車両の遠隔運転ユニットによって、車両操縦コマンドを実施するように構成される。
[0004] 本発明は、他のおよび/または追加の便益または利点を提供することもできる。
図1は、本発明のある実証的実施形態によるシステムの模式図である。 図2は、本発明のある実証的実施形態による他のシステムの模式図である。 図3は、本発明のある実証的実施形態による方法のフロー・チャートである。 図4は、本発明のある実証的実施形態によるサブシステムのブロック図(block-diagram illustration)である。
[0009] 図1を参照する。これは、本発明のある実証的実施形態によるシステム100の模式図である。システム100は、主車両110(ドローンまたは他の機械であってもよい)、副車両150のような、「副」車両と呼んでもよい、1つ以上の他の車両、または周囲車両、または近隣車両、1つ以上のインフラストラクチャ・エレメント160(例えば、信号機、交通標識、バス停留所、道路標識、側壁デバイス(sidewall device)、道路埋め込みデバイス、移動体ネットワーク・インフラストラクチャ・デバイス、アクセス・ポイントまたはプロット・スポット(Plot Spot)またはホット・ポイント(Hot Point)デバイス、アンテナ、無線周波数(RF)送受信機またはモデムまたはリレー・ユニットまたは増幅器または中継器(repeater)、セルラ・アンテナまたはタワーまたはeNodeBまたは基地局)、そして特に車両および/または他のローカル・エンティティおよび/またはリモート・エンティティとワイヤレスで通信するように構成されたインフラストラクチャ・エレメント、または通信することができるインフラストラクチャ・エレメント)、ならびにリモート・サーバまたはリモート・ノードまたはエッジ・コンピューティング/エッジ・クラウド・ノード170を含むことができる。
[0010] 主車両110は、1つ以上のセンサ111を含むことができる。センサ111は、1つ以上の種類およびモデルのものであってもよく、例えば、撮像素子、カメラ、マイクロフォン、画像取得ユニット、ビデオ取得ユニット、距離検出器、LIDAR、近接センサ、RADAR等であってもよい。これらは連続的におよび/または間欠的に車両の周囲を検知することができる。車両記憶ユニット112(随意に分散することもできる)は、車両センサ111によってキャプチャまたは取得されるデータ、生データ、および/または部分的に処理されたデータ、および/または処理されたデータ、および/またはこのようなセンサ(1つまたは複数)によって取り込まれ、次いで車両データ・プロセッサ113(随意に分散することもできる)によってローカルに処理された(部分的または全体的に)データを格納する。
[0011] 尚、以上で説明したまたは本明細書において説明する種々の車両ユニットまたはモジュールは、種々の方法で実装することができ、例えば、ユニットまたはモジュール(または少なくともそれらの一部)が物理的に車両の屋根の上に配置されるように屋上筐体またはカプセル(capsule)または封入(encapsulation)を有する屋上サブシステムとして実装されてもよく、および/またはユニットまたはモジュール(または少なくともそれらの一部)が物理的に車両内、乗員室内、またはモータもしくはエンジンの近く、または車両のトランク内、および/または車両の下に配置されるような車両内サブシステムとして実装されてもよく、および/または車両に差し込むことができるアクセサリとして、および/または同じ車両の複数のエリアにまたがって(例えば、屋根上、フードの下、車両の下、モータまたはエンジンの近く、トラックの中、乗員室内、車両のダッシュボード内の埋め込み等)ユニットまたはモジュールが分散される分散型サブシステムとして実装されてもよいことを注記しておく。
[0012] 主車両10は、更に、人間運転ユニット(human driving unit)123も含むことができる。人間運転ユニット123は、人間の運転手または人間の車両内ユーザが車両110を運転および/または操縦および/または制御することを可能にすることができる。例えば、人間-機械インターフェース(HMI)によって、または運転インターフェースもしくは車両制御インターフェース( 例えば、ハンドル、アクセル・ペダル、ブレーキ・ペダル、ギア・シフト・スティックまたはボタンまたはインターフェース、車両の現在の速度および/または方向および/またはモータの1分当たりの回転数を示す車両ダッシュボードまたはスクリーン、通知UIエレメント等、またはジョイスティック、マウス、トラックボール、タッチ・スクリーン、タッチ-パッド、画面、ペダル、ハンドル、装着可能なギアもしくはヘッドギアもしくはゴーグルもしくはめがねもしくはヘルメット、接触(tactile)エレメント、触覚(haptic)エレメント等のような他のコンポーネントを利用するHMI)によって可能にするのでもよい。一方、人間-機械インターフェース(HMI)、または運転インターフェースもしくは車両制御インターフェースは、直接または間接的に、モータまたはエンジン、操縦(steering)サブシステム、加速サブシステム、ブレーキまたは制動サブシステム、ギア・サブシステム、電気サブシステムのような 種々の車両操縦ユニット124、および/またはガソリンもしくは燃料を転送する配管(tubes or pipes)、ピストン、弁、点火エレメント、車両作動および制御コンポーネント、スイッチ、コントローラ、車両運転プロセッサ等のような、車両の他の特定ユニットを制御するまたはトリガするまたは命令するまたは作動させるまたは連携させる(engage)。
[0013] 更に、主車両110は、随意に、自律運転ユニット120を備えることもできる。自律運転ユニット120は、検知されたデータを分析することができ、検知されたデータの分析に基づいて運転コマンドを生成し、それらの実行を行わせることができる。例えば、自律運転ユニット120は、他の車両が主車両110の前方に位置しており、主車両が減速しなければ、6秒以内にこの他の車両と衝突することが予期されると判断することができ、したがって、自律運転ユニット120は、例えば、エンジンに供給されるガソリンの量を減らすまたは供給を止める(例えば、人間の運転手がガソリン・ペダルを部分的にまたは全体的に放すのと同様)ため、および/またはブレーキをかけるおよび/または制動プロセスの力を増やすため(例えば、人間の運転手がブレーキ・ペダルを踏み始めるまたは踏み続けるのと同様)、または電気車両もしくはハイブリッド・エンジン車両への電力供給を減らすまたは止めるために、車両操縦ユニット124および/またはエンジンおよび/またはモータおよび/またはブレーキ、または任意のアクチュエータもしくはプロセッサのような、主車両110の他のユニットに適宜命令することができる。これらの動作(operation)は、車両自律運転プロセッサ121によって決定および命令することができ、車両自律運転メカニズム122(例えば、機械コンポーネント、レバー、ピストン、ポンプ、管、ガソリン配管の開口を開閉することができる機械エレメント、レバーまたはペダルを押すまたは放すことができる機械エレメント、人間の運転手がハンドルを回す結果と同様に操縦メカニズムを回転させることができる機械エレメント、電気機械ユニット、またはプロセッサ、電源、電源スイッチ、電力変換器、配電器等のような電子部品を使用して実装される)によって、実行(execute)または開始または遂行(perform)またはトリガすることができる。
[0014] 加えてまたは代わりに、主車両は、遠隔運転ユニット(tele-driving unit)130またはリモート運転ユニット(remote-driving unit)、または遠隔操縦もしくはリモート操縦ユニットを備えることもできる。これらは、リモート・オペレータ(remote operator)(例えば、人間、コンピュータ化、またはAIに基づく)が、リモート送信機から主車両110への運転コマンドおよび/または車両操縦コマンドのワイヤレス通信によって、またはその操縦におけるそれ以外のリモートな仲介によって、リモートで主車両110を運転するまたはリモートで操縦することを可能にすることができる。例えば、遠隔運転ユニット130の内部または遠隔運転ユニット130においてまたはその近くに配置されてもよい1つ以上の車両送受信機(1つまたは複数)132(例えば、セルラ送受信機、Wi-Fi送受信機)、および/または他の車両送受信機148もしくは車両内送受信機(例えば、車両110の一部であてもよいが、必ずしも自己運転ユニット130の一部である必要はない)が、データ、ならびに車両センサ111によって検知された特定のデータ、および/または車両データ・プロセッサ113によって処理された(部分的または完全に)データを、リモート・サーバ170のようなリモート受信側に送信またはアップロードしてもよい。尚、送受信機148および/または送受信機132の各々は、1つ以上のアンテナを備えてもよく、または結合されてもよく、または含んでもよく、または関連付けられてもよく、同様に、システム100の一部である任意の他の送受信機は、1つ以上のアンテナに結合されてもよく、または含んでもよく、または関連付けられてもよく、このようなアンテナは、内部にあってもよく、および/または外部にあってもよく、および/または一緒に配置されてもよく、および/または随意に同じデバイス内にある複数の送受信機または一緒に配置された送受信機によって共有されてもよい。このようなアンテナは、図面の過密を回避するために、図1には示されていないことを注記しておく。
[0015] 人間のテレオペレータは、遠隔操縦端末171または他のコンピューティング・デバイスを通じて、リモート・サーバ170と連携する(engage)ことができ、主車両110に対してリモートにそして外部で、車両運転または車両操縦コマンドを生成することができる。遠隔操縦端末171は、人間-機械インターフェース(HMI)を備えることができ、またはこれに結合もしくは関連付けることができる。人間-機械インターフェースは、例えば、タッチ・スクリーン、スクリーン、ジョイスティック、タッチパッド、コンピュータ・マウス、ハンドル、ペダル、ギア・シフト・デバイス、マイクロフォン、スピーカ、拡張現実(AR)または仮想現実(VR)機器(例えば、ウェアラブル・デバイス、ヘルメット、ヘッドギア、めがね、ゴーグル、手袋等)、触覚エレメント、接触エレメント、手袋、他のウェアラブル・エレメント、照明、アラーム等を含むことができる。
[0016] 加えてまたは代わり、リモート・サーバ170の一部であってもよく、またはリモート・サーバ170と通信できるのでもよい、リモート遠隔操縦プロセッサ172が、主車両110から受信したデータを処理することもでき、そして車両運転または車両操縦コマンド、または運転指針もしくは命令、または位置関係コマンド、または車両AIシステムまでの中間地点、またはAI計画経路に対する承認/確認(または逆に、拒否または取り消し)を、変更を加えてまたは加えずに、主車両110に対してリモートにそして外部で、生成することができる。リモート・テレオペレータは、人間かまたはコンピュータ化かには関係なく、必ずしも主車両110から検知または受信したとは限らない他のデータも考慮に入れることもできる。例えば、他の車両から検知および/または受信したデータ、インフラストラクチャ・エレメントから検知または受信したデータ(例えば、信号機が緑から赤に今から5秒後に主車両の前方40メートルにおいて変化しようとしていることを考慮に入れる)、天気データ、地震データ、車両通行データ等を考慮に入れることもでき、このようなデータは、データ取り込みユニット173を通じて入手または受信することができる。データ取り込みユニット173は、リモート・サーバの一部であってもよく、またはそれと関連付けられてももしくはそれによって制御されてもよい。随意に、リモート・サーバ170の遠隔操縦プロセッサ172は、連携/解除ユニット(Engagement / Disengagement Unit)193を備えてもよく、またはこれと関連付けられてもよい。連携/解除ユニット193は、リモート操縦または遠隔操縦を連携させるかもしくは解除するか、または車両110が強制的なリモート生成遠隔操縦もしくはコマンドなしに処理を進めることを許可するか否か、または車両110の車両内自律運転ユニット120を無視するか否か、またはこれら以外で主車両110に関して、連携プロセスもしくは解除プロセスをリモートで行わせる、もしくはトリガする、もしくは起動させる(activate)、もしくは無効にする(deactivate)、もしくは始動させる、もしくは停止させるか否かについて判断に達することを役割としてもよい。
[0017] リモート生成運転コマンドは、リモート・サーバ170から(またはそれと関連付けられたまたはそれによって制御される送信ユニットから)直接または間接的に、車両送受信機(1つまたは複数)132に送信される。車両遠隔運転プロセッサ133は、遠隔操縦コマンドの着信または受信信号もしくはメッセージを分析し、更に随意にこれらをローカルに実施可能なコマンド(locally-actionable command)に変換(convert or translate)する。すると、車両システムおよび種々の車両操縦ユニット124は、これらのコマンドがこの直接フォーマットで配信されなくても、これらのコマンドを実行することができる。随意に、このような変換(translation or conversion)は、コマンド変換器/コンパイラ/実行器(executor)125のような、専用コンポーネントまたは副プロセッサによって実行されてもよい。専用コンポーネントまたは副プロセッサは、遠隔運転ユニット130の一部として実装することもでき、または遠隔運転ユニット130の外部にあっても、またはこれに結合されても、またはこれと関連付けられてもよい。また、専用コンポーネントまたは副プロセッサは、遠隔運転ユニット130と、実際のコマンドを実現するためには実際に作動させる(actuate)または有効化する(activate)または無効化する(de-activate)または構成するまたは変更される必要がある、車両操縦ユニット124との間でコマンドまたは信号を変換(translates or converts)もしくは解釈する車両内コンポーネントであってもよい。また、コマンド変換器/コンパイラ/実行器125は、1つのリモート・コマンドまたは1つの遠隔運転コマンドを、種々の車両操縦ユニット124の動作を制御または変更する1組の特定の車両内コマンドに変換(convert or translate)することもできる。また、コマンド変換器/コンパイラ/実行器125は、1組のまたは一団の(batch)または一連のリモート・コマンドまたは遠隔運転コマンドを、種々の車両操縦ユニット124の操縦を制御または変更する、1つの特定の車両内コマンドに(または、異なる、変換された1組の複数の車両内コマンドに)変換(convert or translate)こともできる。コマンド変換器/コンパイラ/実行器125は、随意に、コントローラ・エリア・ネットワーク(CAN)またはCANバスを備えてもよく、または利用してもよく、またはそれと関連付けられてもよく、またはそれとともにもしくはそれによって、随意に、種々のマイクロコントローラおよび車両操縦ユニット124が互いに通信すること、および/またはコマンドおよび/またはデータおよび/または信号を互いに交換することを可能にするCANBUSプロトコルもしくは他の適したプロトコルによって実装されてもよい。
[0018] 受信した遠隔操縦コマンドが「メタ-コマンド」(即ち、本質的に包括的であり、「2秒以内に完全に停止する」または「直ちに60mphに加速する」というようないずれの車両でも解釈できるフォーマットで供給されるコマンド)、またはAlに基づく運転命令のような、車両において一連の操縦を生成するまたは開始するかもしれないコマンドである場合、車両遠隔運転プロセッサ133は、これらを関連するユニットまたはプロセッサ(1つまたは複数)(一緒に実装されていない場合)に分散し、このような他のユニットまたはプロセッサは、次いで、実際の運転および作動コマンドを車両機械システムまたはユニットに生成することができる。先に説明したように、車両遠隔運転プロセッサ133は、このようにして、エンジンおよび/またはブレーキのような、主車両110の他のユニットに適宜命令することができる。これらの動作は、車両遠隔運転メカニズム134によって実行または開始(initiate)または遂行(perform)またはトリガすることができる(例えば、機械コンポーネント、レバー、ピストン、ポンプ、管、ガソリン管の開口を開閉することができる機械エレメント、レバーまたはペダルを押すまたは放すことができる機械エレメント、人間の運転手がハンドルを回す結果と同様に操縦メカニズムを回転させることができる機械エレメント、電力処理エレメントまたは電子回路またはプロセッサ等を使用して実装される)。
[0019] ある実施形態では、車両自律運転プロセッサ121および車両遠隔運転プロセッサ133は、1つのプロセッサを使用して、または統一コンポーネントとして、または少なくともロジックの一部を共有する1組のコンポーネントとして実装されてもよい。ある実施形態では、車両自律運転プロセッサ121および車両遠隔運転メカニズム134は、1つの機械システムを使用して、または統一機械システムとして、または少なくとも一部の統一エレメントもしくは機能を共有する1組のコンポーネントとして実装されてもよい。
[0020] 更に、主車両110は、連携/解除ユニット114も備えることができる。連携/解除ユニット114は、前述した機能の内1つ以上を連携させるおよび/または解除する役割を果たすのでもよく、具体的には、自律運転ユニット120による車両の自律運転を連携させるまたは解除する、および/または遠隔運転ユニット130による車両の遠隔運転もしくは遠隔操縦を連携させるもしくは解除する、および/または車両内にいる人間の運転手もしくは人間の乗員のみによって手動で車両を制御させる、および/または車両自律運転ユニット120のみによって車両を制御させる、および/または着信コマンドに基づいて遠隔運転ユニット130にみによって車両を制御させる、および/または2つ以上の制御手段によって、既定の優先順位で車両を制御させる(例えば、車両が、優先し実行されるローカル自律運転コマンドと矛盾しなければ、車両は遠隔運転コマンドを実行する)、および/または電動車両への電力を切る、および/または他の場合では任意の車両において即座停止もしくは減速手順を開始するために、前述した機能の内1つ以上を連携させるおよび/または解除する役割を果たすのでもよい。連携/解除ユニット114は、検知されたデータ、および/または主車両内において把握した(known)他のデータのローカル分析に基づいて動作することができる(ある実施形態では、天気条件、地震状態、火山状態、交通状態、他の車両または道路脇インフラストラクチャからの情報等のような、外部ソースから主車両110が受信したデータに基づくことを含む)。加えてまたは代わりに、連携/解除ユニット114は、リモート遠隔操縦コマンドまたは入力に基づいて、または自律運転ユニット120によって生成されたローカル生成コマンドもしくは入力に基づいて動作することもできる。例えば、リモート・サーバ170(ノードまたはエッジ・ノードであってもよく、または含んでもよい)が、リモート・テレオペレータ(人間またはコンピュータ化)からの入力に基づいて、先に述べた連携/解除動作の内1つ以上を実行するように、連携/解除ユニット114にリモートに命令することもでき、または自律運転ユニット120が、先に述べた連携/解除動作の内1つ以上を実行するように、連携/解除ユニット114にローカルに命令することもできる。
[0021] 本発明によれば、1つ以上のインフラストラクチャ・エレメント160の各々が、1つ以上のセンサ161(例えば、カメラ、マイクロフォン、センサ、光検出および測距(LIDAR)センサ、RADARSまたはRADARセンサ等から)、1つ以上の送受信機(1つまたは複数)162(例えば、セルラ送受信機、Wi-Fi送受信機)、およびAIモジュール169(例えば、プロセッサおよびメモリ・ユニットを使用して実装される)を備えることができる。
[0022] 同様に、副車両150も、1つ以上のセンサ151(例えば、カメラ、マイクロフォン、センサ、光検出および測距(LIDAR)センサ、RADARSまたはRADARセンサ等から)、1つ以上の送受信機(1つまたは複数)152(例えば、セルラ送受信機、Wi-Fi送受信機)、およびAIモジュール159(例えば、プロセッサおよびメモリ・ユニットを使用して実装される)を備えることができる。
[0023] 加えて、主車両110がAIモジュール119を備えることもでき、リモート・サーバ170がリモートAIモジュール179を備えることもでき、またはこれを制御することもでき、またはこれと関連付けられてもよい。
[0024] 本発明によれば、主車両110の車両センサ111、および/または副車両150の車両センサ151、および/またはインフラストラクチャ・エレメント161のセンサ161のような、複数のセンサによってデータが検知される。検知されたデータは、システム内にあるエンティティ間において、送受信機(132、152、162、174)を通じて交換、送信、および/または受信され、検知されたデータ、生データ、部分的に処理されたデータ、完全に処理されたデータ、外部ソースからのデータ、および/またはデータの分析に基づいて生成されたコマンドもしくは信号を含む。本発明によれば、センサ(111、151、161)の各々は、検知したデータを供給することができ、これらのデータは、当該センサが配置された同じエンティティによって利用することができ、および/またはシステム内にある他のエンティティによって利用することもでき、同様に、各AIモジュール(119、159、169、179)が、連携/解除に関して、および/または主車両110の遠隔操縦に関して、および/または主車両の自律運転に関して、最も適した判断に到達するために、処理パワーおよびAIリソースを提供する(contribute)こともできる。
[0025] ある実施形態では、リモート・サーバ170が「クラウド・コンピューティング」サーバまたはエレメントとして実装されてもよく、または主車両110とリモート・サーバ170との間において必要とされる通信時間を短縮するために、主車両110に対して比較的近接して配置されてもよい(例えば、随意に、エッジ・ノードまたはセルラ・エッジ・ノードまたはワイヤレス・エッジ・ノード、またはクラウド・ベース・プラットフォームとして、またはこれらを使用して実装される)。例えば、アクセス・ポイント(AP)/V2Xエレメント181(例えば、Wi-Fiアクセス・ポイントまたは送受信機、衛星ベース通信ノードまたはエレメントまたは送受信機または端末、DSRCノードまたはエレメント、V2Xノードまたはエレメント等の内1つ以上を備える)が、主車両110を操縦する目的で、同様にAI分析を補助することができるAIモジュール182を備えてもよい。同様に、セルラ・インフラストラクチャ・エレメント(CNE)183(例えば、eNodeB、またはgNodeB、またはセルラ・エッジ・ユニットもしくはタワーもしくはサイト、セルラ基地局、固定または非移動セルラ送受信機または局または増幅器またはリピータまたはリレー・ノード等)が、主車両110を操縦する目的で、同様にAI分析を補助することができるAIモジュール184を備えてもよい。
[0026] 本出願人は、自律車両および自己運転車両が現実になることが期待され、車または車両(またはオートバイ、または列車、またはトラックもしくはバスもしくはドローンもしくはヘリコプタもしくは航空機もしくは船舶もしくは車椅子、または陸上、空中、または海上における任意の他の形態の移動機械、または他の輸送手段)のハンドルの前に物理的に着座する人間の運転手によって運転される車両を引き継ぐことさえもあり得ることを認識した。
[0027] 本出願人は、人工知能(AIまたはA.I.)システムが、車両内に存在しこのようなAIシステムまたはモジュールを実行するコンピュータによって、車両を自律的に運転させるために、開発される可能性があることを認識した。また、本出願人は、場合によっては、または国もしくは地理的位置によっては、離れたところにいる人間のドライバが、例えば、緊急の状況において、および/またはローカル(車両内)AIシステムもしくは車両コンピュータが学習していない、または訓練していない、または認識していない、または確証していない場合において、ローカル(車両または車両内)AI運転モジュールまたは車両コンピュータを引き継ぐこと、またはそうでなければ補助もしくは命令できることが望ましいこと、または義務づけられてもよいことも認識した。
[0028] また、本出願人は、想定状況(scenario)によっては、必要に応じてまたは必要であれば、人間の運転手が車両内に着座して、車両のローカル制御を行う準備ができているとよいことも認識した。この想定状況では、AI自己運転モジュールが、動的ドライバ(dynamic driver)として機能するのを停止しており、自己運転モジュールまたはシステムの「解除」(disengagement)と呼んでもよい。状況によっては、このような解除が実際の動的自己運転運転動作(actual dynamic self-driving driving operations)を実行するローカルAIモジュール(1つまたは複数)の部分的または完全な故障を仄めかし、一時的な故障、または長い時間期間にわたる故障、または永続的な故障である場合でさえもある。
[0029] 本出願人は、このような解除プロセスが、例えば、ローカルの人間の運転手が怠慢であるため、または自己満足に陥りもしくは受動的な監視作業に飽きて、非常に退屈で反意識状態から少しの間で突然慌てて行動に移る人間の本質のため、または人間の運転手が不注意であるかもしれないため、気が散るかもしれないため、もしくは他の作業に忙しい(例えば、彼のスマートフォンを利用している)かもしれないため、または他の理由のために、十分に円滑でない、または十分素早くない、または十分に機能が発揮されないでいる(just less so than possible)場合もある、または急激である場合もある、または問題がある場合もあることを認識した。
[0030] また、本出願人は、このような状況において、リモート・ドライバによる介入はなおも一層困難になり得ることを認識した。何故なら、このようなリモート・ドライバ(人間または自動化)、またはこのような人間のテレオペレータ、またはこのようなリモート・テレオペレータは、連続的にそしてローカルの車載ドライバまたはセンサと同じ品質で周囲を実際に見ることができないおそれがあるからであり、車両から離れた仲介ドライバへまたは遠隔操縦する人もしくはモジュールまでセンサ情報または検知した情報を中継するときに(例えば、カメラ、マイクロフォン、センサ、光検出および測距(LIDAR)センサ等から)レイテンシまたは遅延(delay)があるおそれがあるからである。
[0031] 本出願人は、車両からおよび/または車両へのワイヤレスまたはセルラ・ネットワーク・リンクもしくは接続には、実際のまたは潜在的な不安定性、または非信頼性があるかもしれず、その結果、テレオペレータにおいて受信されるセンサ情報に実際のまたは潜在的な不安定性、または非信頼性があるかもしれず、これによって、リモート・テレオペレータがリモート運転を監視すること、および/またはリモート運転を仲介するもしくはこれに対処する準備をするのが困難になる、またはときには不可能になるおそれがある(例えば、特に、テレオペレータの人間またはモジュールが1つよりも多い車両を監視および/または制御する必要があるかもしれない場合)ことを認識した。
[0032] また、本出願人は、ハードウェアおよびソフトウェア双方のシステム冗長性が、そして特にAIコンポーネントまたはモジュールの冗長性、および/または通信の冗長性が、自律運転および/または自己運転システムおよび/またはリモート運転システムの安全性およびサービス・レベルを高めるために、特にSAEレベル3、SAEレベル4、および/または5(自動車技術者協会によって定められるような)に到達し支援するためには、望まれるのはもっともであるまたは義務づけられるのであってもよいことも認識した。
[0033] 更に、本出願人は、AIシステムは、それらが実行する車両のみに役立つ(serve)ことを意図して開発されてもよいことも認識した。出願人は、AIシステムが、他の車両、他のサービス提供事業者、通信ネットワーク事業者、歩行者、都市運営、都市計画者、または道路もしくは地理的領域、またはリアル・タイムでおよび/またはオフラインでおよび/または過去を振り返って検知および/または処理されるデータの他のユーザもしくは利害関係者にも恩恵が得られるように、開発されてもよいことを認識した。
[0034] 本出願人は、例えば、車両内部の車両AIモジュールが、リモート・テレオペレータの設備またはそのようなもののプロキシもしくはエージェントにおける外部および/またはリモートAIレイヤもしくはAIモジュール(1つまたは複数)と通信する場合があり、今後の走行部分または今後の道路セグメント、または車両をリモート・エンティティと接続するワイヤレスおよび/またはセルラ通信接続(1つまたは複数)の可用性または品質またはコストについての、その判定または推定されたレベルの安全性または確度または予測を考慮して、または他の動的もしくは静的パラメータならびに考慮事項および条件を考慮に入れることによって、車両AIモジュールが各時点において決定しこのローカル車両が行うように、それに予め構成されたまたは予め定められた一部もしくは部分(例えば、条件毎の種類または部分)、または検知情報の適応動的部分もしくは学習部分のみを送信する場合があることを認識した。
[0035] 例えば、車両通信プロパティ推定器(vehicular Communications Properties Estimator)141は、主車両110に利用可能な通信チャネルの現在のまたは瞬間的なプロパティ(例えば、帯域幅、スループット、グッドプット(good-put)、誤り率、パケット誤り率、欠落または逸失パケット率、誤りパケット率、レイテンシ、遅延、時間差、または他のデータおよび性能に関係するパラメータ等)を連続的にまたは周期的に推定もしくは再計算するように動作してもよく、および/またはこのようなプロパティの最新の値または以前の(previous)値または過去の(past)値を考慮に入れてもよく(例えば、過去10または30または60または120秒における、もしくは過去3または5または10分における)、および/またはこのようなプロパティの予測値(例えば、車両が走行することが予期される経路を考慮に入れることによって、そして次の2分において車両がセルラ受信率が低い谷間を通過することが予期されるという指示を得ることによってというように、今後の30秒または60秒または120秒において、または今後の2分もしくは5分において予測される)を考慮にいれてもよい。
[0036] 車両データ・パッケージング・ユニット142は、通信プロパティ推定器141によって推定される通信プロパティを考慮に入れることができ、主車両110からリモート・サーバ170にまたは他のワイヤレス受信側(例えば、インフラストラクチャ・エレメント160、副車両150、近隣のeNodeBまたはgNodeB、セルラRANエレメントまたはセルラ・コア・エレメントまたはIP ISP(インターネット・サービス・プロバイダ)または近隣AP/V2X通信ノード181等)に送られるまたは送信されるまたはワイヤレスでアップロードされるデータ・パッケージを準備することができる。データ・パッケージング・ユニット142は、車両検知データ(例えば、生フォーマットで、または部分的に処理されたもしくは処理されたフォーマットで)のどの部分(1つまたは複数)または断片(part)(1つまたは複数)またはセグメント(1つまたは複数)を外部への送信に含ませるか、または省略もしくは破棄するか決定することができる。
[0037] 更に、車両動的エンコーダ/モディファイア(vehicular Dynamic Encoder/Modifier)143は、随意に、送信を意図するデータ・セグメントまたはデータ部分を、第1フォーマットまたはデータ構造から第2フォーマットまたはデータ構造に、特に縮小サイズ・フォーマットまたは圧縮フォーマットに、例えば、画像またはビデオ・セグメントの解像度を落とすことによって、および/または画像またはビデオ・セグメントの色深度(color-depth)を落とすことによって、および/または画像またはビデオの圧縮比を変更することによって、またはオーディオ・セグメントをステレオからモノに変更することによって、またはオーディオ・ストリーム(1つまたは複数)および/またはビデオ・ストリーム(1つまたは複数)のビットレートまたはサンプリング・レートまたはサンプリング頻度を変更することによって、および/またはフレームまたはパケットまたはビデオ・セグメントまたはオーディオ・セグメントを、破棄するまたは省略するまたは希釈するまたは飛ばすことによって(例えば、N番目毎のフレーム、または1つ置きのフレーム、または2つ置きのフレームを破棄する、オーディオ・データ、ビデオ・データ、または画像データをNミリ秒毎に破棄する)、および/または他の変更を実行することによって、エンコード(encode)またはトランスコード(transcode)または再エンコード(re-encode)または変換するように動作することができる。
[0038] 前述のように、パッケージ化されたデータ・セグメントは、次に、主車両110の車両送受信機(1つまたは複数)132によって、1つ以上の他のエンティティにワイヤレスで送信することができ、このような他のエンティティのAIモジュール(1つまたは複数)は、主車両110に、主車両の自律運転ユニット120によって、および/または主車両の遠隔運転ユニット130によって、および/または連携/解除ユニット114によって、および/または主車両110の他のユニットによって利用される入力および/またはコマンドを供給するために、このようなデータの処理を補助するように動作することができる。
[0039] ある実施形態では、本発明は、特に、多重リンク車両通信を使用する、および/または随意に、運転される車両の外部にあり、および/または運転される車両から離れた少なくとも1つのAIモジュールを含むことができる、分散型AIリソースを利用するというように、人口知能および広帯域ワイヤレス接続を使用する、および/またはAIモジュールを含むまたは含まない遠隔地(車両から外部であり、車両に関して離れている)からの人間の介入を用いる、車両または自律車両のリモート運転および/または遠隔操縦のデバイス、システム、ならびに方法を含む。本発明は、他のおよび/または追加の便益もしくは利点も提供することができる。
[0040] 本発明は、車両から共有されるデータの品質を高め、離れた介入に対してレイテンシを低減し、更に種々の道路および交通想定状況、種々の通信条件および性能、種々の車両条件、種々のリモート・テレオペレータ応答、ネットワーク展開および性能、またはその他を学習しこれらに応答する、教師無しで進行中のAI訓練(unsupervised ongoing AI training)に前記メカニズムを適応させるときに、通信におけるリモート遠隔操縦、人間およびAIベース双方のAI機能ならびにリモート・テレオペレータ、ならびにテレオペレータ・センタに冗長性、信頼性、および可用性を付加するためのデバイス、システム、および方法を含み、更に、同じまたは異なる車両の複数のリモート操縦を共有し同期させることを可能にすることができる。更に、本発明は、車両からのデータを生成、定式化(formatting)、希釈(diluting)、圧縮、またはそれ以外で処理し、更に、それらのコストおよび瞬時的な性能特性(characteristics)を考慮して、データを送り、利用可能な通信接続およびそれらの組み合わせにデータを分割するときに調和させる(match)ことを可能にすることもできる。更に、ある実施形態では、ネットワーク・エッジまたはその近くにおいて関連するまたは最適なAI補助を実行できるように、最適にまたは効率的に、AI処理タスクおよびエレメントを、多数の(例えば、数百または数千の)マイクロ・セルを配備する5Gを含む、上位の(overlaying)遠隔通信ネットワークを通じて分散させることができる。
[0041] 本発明は、様々な場所に分散することができ、その1つが少なくとも1つの車両である人工知能のマルチレイヤまたはマルチ・コンポーネントを使用するための装置、方法、およびシステムに関する。これらのAIレイヤまたはコンポーネントまたはモジュールは、1つ以上の適当な通信リンクまたは適した通信リンクを使用してそれらの間で通信する。通信リンクの少なくとも一部は、任意の適した種類のワイヤレスおよび/またはセルラ・リンクであり、車両AIコンポーネントをインフラストラクチャに接続し、中央リモートAIコンポーネントまたはレイヤに接続し、セルラ・インフラストラクチャRANまたはコアまたは高次IP通信レイヤにおけるアクセス・ポイントまたはeNodeB(eNB)または他のものというような、通信ネットワークのエッジにおいて実行する他のAIコンポーネントまたはレイヤに接続し、コア・ネットワーク内において実行するAIコンポーネントまたはレイヤ(XUFまたはXPFまたはPCFまたはAMFまたはXCFまたはSMFまたはRANまたはコア・ネットワーク・コンポーネントまたは専用機能、または3GPPセルラ・ネットワークにおける任意の他のコンポーネント等)または車両コンポーネントと任意の他の中央またはローカルコンポーネントとの間における通信ネットワークのアクセスに接続し、他の車両または輸送手段または歩行者において実行するAIコンポーネント、またはシステムの任意の他のコンポーネントもしくはレイヤに接続する。
[0042] AIコンポーネントまたはAIモジュール(1つまたは複数)(119、159、169、179)は、任意の適したメカニズムまたはアルゴリズムまたは枠組みまたは方法に基づいてもよく、例えば、ディープ・ラーニング、機械学習、ニューラル・ネットワーク(NN)、ディープ・ラーニング、教師付学習、教師なし学習、強化学習、発見に基づくまたは支援判断(heuristic based or assisted decisions)(AIとは全く呼ばれないこともある)、または人間が関与する判断を含む、これらおよびその他の決定方法の内任意のものの組み合わせを含む。
[0043] 随意に、AIリソース調整ユニット(AI Resources Coordinator Unit)178をシステム100内に、例えば、リモート・サーバ170の一部として、または単体ユニットとして、またはリモート・サーバ170によって制御されるユニットとして、または主車両110の外部ユニットとして、または主車両110から離れたユニットとして、または固定した静止ユニットとして、あるいは、代わりに主車両110内部の車両または車両内ユニットとして、含ませてもよい。AIリソース調整ユニット178は、利用可能なまたは関係するAIリソースもしくはAIモジュール間におけるAIタスクまたはリソースの分散を制御または変更することができる。第1の例では、AIリソース調整ユニット178は、主車両110が、AIモジュールを有するスマート・ワイヤレス信号機に近接して(例えば、4メートル離れて)位置することの指示を受信するとしてもよく、スマート信号機のAIモジュールがHDビデオ・ストリームをリアル・タイムでまたはほぼリアル・タイムで、そのスマート信号機の高速プロセッサおよび豊富なメモリを使用して処理するように、AIリソース調整ユニット178は、Wi-Fiを通じてライブ高品位ビデオ・ストリームを近隣のスマート信号機に送信するように、主車両110に指示することができる。第2の例では、AIリソース調整ユニット178は、物理的に近いeNodeBまたは他のセルラ・ネットワーク・エレメントもしくはエッジ・コンピューティング・プロセッサが、主車両のLIDARおよび近接センサのデータを効率的に処理することができると判断することができ、そのeNodeBにその特定の処理のタスクを割り当てることができる。更に、AIリソース調整ユニット178は、どのエンティティが生データおよび/または処理した結果を、システム100における他のどの1つまたは複数のエンティティに送るか制御することができ、更に、どの受信エンティティが、それが受信したデータまたは信号を処置するか制御することもできる。ある実施形態では、AIリソース調整ユニット178が学習機械であってもよく、学習した情報にしたがって、負荷、予測された負荷、推定された負荷、現在要求されているAIタスク、要求されているAIタスクに関連するデータの局在性および可用性、接続およびデータ交換のコスト、電力消費、または他のパラメータ、および/または経時的に検出する任意の他の相関について判断および制御する。相関は、特定のデータまたは信号またはAIタスクにとって最良の受信エンティティまたは最も効率的な受信エンティティを、決定または予測するために使用される。
[0044] ある実施形態では、車両AIモジュール119または他のコンポーネントが、センサ・データまたは他のデータを試験または分析し、その周囲にある物体、近くにある物体または離れた物体、静止物体または移動中の物体を、任意のX、Y、Z軸および/または時点において、それらの任意の表現で、即ち、スパースに(sparse)、コア・セットで、類別して(categoraized)、分類して(classified)、集計して、全体的に、部分的に、圧縮して、生で、またはその他の表現で判定する。AIモジュールは、このような各パラメータに重みを割り当て、この物体または表現またはパラメータ、またはこのようなパラメータの集合もしくは部分集合について有する確度(assurance)または確信度(certainty)のレベルを示すことができる。この確信度指標または重みまたはスコアは、1つの指標であってもよく、または物体の1組の異なる特性もしくは特徴についての1組の指標または係数であってもよい。例えば、1つの確度重み指標が、1つの物体が車、またはトラック、または歩行者、または車線である確率に対して割り当てられてもよく、第2保証重み指標が、そのXサイズ(例えば、その長さ寸法)が計算された通りである確率に対して割り当てられてもよく、第3指標が、そのYサイズ(例えば、その幅寸法)が計算された通りである確率に対して割り当てられてもよい等、このような物体毎に重要と思われてもっともな特性(characteristic)または特徴(1つまたは複数)毎に割り当てられてもよい。その場面にある他の物体またはそこにはない他の物体を考慮して重要である特徴を含み、更にその車両状態ならびに状態および特徴および動的パラメータの重要である特徴も含んで、各想定状況または時点において物体毎に識別される重要な特徴(Identifying which features)は、前もって分かっている、発見的に学習または適応される場合もあり、または本発明のAIのメカニズムによって、車両AIレベルで、またはリモートAIコンポーネントもしくはレイヤ・レベルの双方で学習または適応されてもよく、またはこれらの任意の組み合わせでもよく、または1つ以上の条件に依存してもよい。
[0045] 一旦確率または確度のこのような1組の指標または1つの概要指標が計算されたなら、AIモジュール119のようなローカルな車両内AIコンポーネントが、この計算された重みが、予め定められた静止閾値、または場面を考慮して、または車両状態の他の条件または要素(component)を考慮して動的に決定された(動的に変更される)閾値よりも低いか否かチェックし判定することができる。このような場合、車両AIモジュール119またはAIコンポーネントは、この分析、またはその一部、またはそれを生成した生データ、または部分的に処理されてそれを生成したデータ、またはその任意の表現、または他の関連するセンサ・データもしくは処理データの内任意のものを、車両から離れているおよび/または車両の外部にあってもよい他の1つ以上のAIレイヤ(1つまたは複数)またはコンポーネント(1つまたは複数)またはモジュール(1つまたは複数)と共有することを決定することもできる。このような共有の決定は、他の処理アルゴリズムまたは方法において行われてもよい。例えば、ある実施態様では、全てのセンサ・データを未圧縮または生のフォーマットで共有することもできる。
[0046] 更なる処理のためにデータを外部エンティティと共有するか否かの決定、ならびにどのデータまたはデータ・セグメントを共有するか、および/またはどのフォーマット(1つまたは複数)で、および/またはどの通信リンク(1つまたは複数)を通じて共有するかの決定は、データ共有決定ユニット144によって行うことができる。例えば、このような共有は、任意の適した理由のために必要とされる、または助言される、または選択されることもあり、例えば、他のAIコンポーネントまたはレイヤまたはモジュールとの協議(consultation)のためであってもよく、システムが追加のデータまたは付加的なもしくはより強いコンピューティング・パワーを有することができるように、または過去に収集もしくは分析されしたがってより良い確度指標(1つまたは複数)を有することができる、より多くのデータによって強化される(powered)ように、または「セカンド・オピニオン」または「クラウド・ベースの」もしくは「クラウド-ソース」オピニオンでさえも、車両から離れているおよび/または車両の外部にある1つの以上の単独AIモジュールから得る目的のためであってもよく、または車両またはAIシステムの販売業者もしくは規制側(regulator)によって、または任意の他の適した理由のために指示された(mandated)手順ステップとしてでもよい。他の種類の場合では、同じデータまたは異なる1組のデータのこのような共有は、例えば、他の車両または歩行者または他の物体に関してリアル・タイムの判断を行うことをこれらに可能にするため、および/または今後における全体的な性能および予測を向上させるためのオフライン訓練および学習のために、システムにおける1つ以上の他のAIコンポーネント(例えば、車両の外部にある、またはリモート・サーバ内もしくはクラウド・コンピューティング・サービス内に位置する、または他の車両内に位置するAIコンポーネント)を教育する、および教える、および訓練するときに、補助するために選択または実行されてもよい。
[0047] ある実施形態では、車両110から車両110の外部にある任意のエンティティに向かうデータのアップリンク送信またはアップストリーム送信またはアップロードは、近隣(例えば、近隣車両または近隣インフラストラクチャ・エレメント)であれ、またはリモート(例えば、リモート・サーバまたはリモートAIユニットまたはモジュールまたはプロセッサ)であれ、随意に、少なくとも部分的に仮想接合通信リンクまたは接合マルチリンクを通じて(over)あるいは介して(via)実行することができる。このリンクは、接合ユニット(bonding unit)149によって、例えば、動的に、このような送信またはアップロードまたはアップストリームのために利用可能な各送受信機またはモデムの現在のおよび/または瞬時的なおよび/または推定されたおよび/または予測された性能に基づいて、または性能を考慮に入れて、どの送受信機がアップロードを実行すべきか、そしてどのパケットを、このような各送受信機に、それによるアップロードのために動的に割り当てるべきか、動的に決定および/または変更するために、または複数の送受信機および/またはパケット割り当て方式の予め定められた組み合わせまたは予め設定された組み合わせを選択することによって、構築および/または実施および/または管理および/または構成および/または変更することができる。接合ユニット149は、各送受信機が特定のIP宛先アドレスにアップロードする必要がある全パケットの一部を並行に送信またはアップロードまたはストリーミングすることができるように、そして受信ユニットが、複数のワイヤレス・リンクから着信するパケットを、順番に並べられた正しいデータ・ストリームに再組み立てする組み立てエンジンまたは再組み立てエンジンを利用するように、複数のワイヤレス通信リンクを、特に、複数の車両送受信機あるいは複数の車両内または車両用(of-vehicle)送受信機によって、または前記車両による利用のために利用可能であるが必ずしも前記車両内に統合されていない複数の送受信機(例えば、人間の運転手または車両内にいる人間の運転手以外の乗員のスマートフォンもしくはタブレットの送受信機)によって提供される(served)複数のワイヤレスIP通信リンクで構成される接合(または集約(aggregated)、またはマルチリンク)仮想通信リンクを利用することができ、または一緒に集約することができる。随意に、接合ユニット149は、動的な方法で、どの通信リンク(1つまたは複数)を利用すべきか、および/またはどの送受信機をこのようなアップリンク送信のために利用すべきか、定める、決定する、構成する、および/または変更することができ、これによって、その場しのぎのまたは連続的な接合チャネルまたは接合マルチリンク接続を生成し、および/または利用可能な各リンクまたは送受信機またはモデムを通じてアップロードのためにどのパケットを割り当てるべきか、定める、決定する、構成する、および/または変更することができる。ある実施形態では、データ(例えば、車両からアップロードされる検知データ、および/または車両において準備された処理済みデータもしくは部分的処理済みデータ)を、ブロードキャストまたはユニキャストまたはマルチキャストによって、または1つの1対1通信リンクによって、または1つの2点間通信リンクによって、または1対多数通信リンクもしくはチャネルによって、または様々な1対1通信リンクもしくは様々な2点間通信リンクの集合またはグループまたはバッチによって、主車両と副車両および/またはインフラストラクチャ・エレメントおよび/または外部もしくはリモート・サーバまたはAIユニットの任意の部分集合との間(または間(among))で、いずれの方向にも(アップストリームおよび/またはダウンストリーム、アップリンクおよび/またはダウンリンク、アップロードおよび/またはダウンロード)というように、半二重通信を使用してまたは全二重通信を使用して、随意に追加の制御チャネルまたはメッセージング・チャネルまたはフィードバック・チャネルを用いて、またはこのような追加のチャネルを用いずに、送信することができる。ある実施形態では、必ずしも特定の宛先のアドレスを知らなくても、IP接続を利用することもでき、または1つの送信元から複数の受信機または同じIPネットワーク上で待ち受けることができる受信機のグループに、このような送信またはブロードキャストまたはマルチキャストまたはアップロードまたはアップリンクに対して実際に待ち受けているのか否か、および/またはどれくらい多くの受信ユニットが実際に待ち受けているのかについて、前もってまたは送信の時点において必ずしも知ることなく、データの送信を許容することができる。送信される情報の一部は、1つよりも多い宛先デバイス(または受信先、または車両、または道路使用者)に関連がある場合もあり、したがって、ある実施形態では、ブロードキャスティングおよび/またはマルチキャスティングを、より効率的なものとして、および/または閾値数よりも多いIP宛先または受信先または情報コンシューマまたはデータ・プロセッサにデータを配信するときに、遅延が少ないものとして利用することができる。
[0048] AIモジュール119またはAIコンポーネントが、情報またはデータを他のAIコンポーネントまたは任意の他のエンティティと共有すること、または情報もしくはデータを他のAIコンポーネントまたは任意の他のエンティティにアップロードまたはアップストリームすることを決定したとき、または命令されたとき、ある実施形態では、各情報片またはデータ、または1組のデータ項目もしくはデータの部分集合を共有する優先順位に関して、それ自体でまたは優先順位アロケータ145によって決定することもでき、および/または共有されるデータのフォーマット、またはデータ共有プロセスの任意の他の特徴もしくはプロパティ(property)に関して決定することもできる。例えば、車両の正面カメラ(front-facing)の1つからのカメラ・フィードが示す物体の分類または分析または処理または識別またはその移動ベクトルの識別または他のプロパティ(property)が、一般的にまたは特定の場面およびその状況下において望まれるまたは要求される確度確率レベル(assurance probability level)閾値よりも低い1つ以上の確度または確率指標を有すると判断し、更に、この現在の場面または予測された場面に対するこの特定の指標またはこれらの特定の指標に関して、もっと高い確度レベルまたはもっと高い確信度レベルを得ることが重要であると判断するとしてもよい。したがって、即座の共有、および/または高い詳細度および/または高いデータ品質の共有等に対しては、この情報の共有に高い優先順位を割り当てればよい。また、共有すべきこのデータに適したフォーマットは、カメラによっておよび/またはその最大視野で検知およびキャプチャされたままの生フォーマットであるので、リモートAIコンポーネントは、その判断の基準となるその最大または全体または完全なビュー(view)に対して、可能な限り高いレベルの品質(例えば、最大画素または解像度)、あるいは、十分に高い十分な品質したがって精度を有することができると判断することもできる。また、他の(外部)AIコンポーネントまたはレイヤがその物体または複数の物体または場面に対してより高いレベルの確度指標に達する確率を高めるために、そのカメラからのビデオの前の10秒を送ること(最初に、またはそれを再度送るため)に、高い優先度を有すると決定することもできる。現在のフィードだけを送ることに意味があり、一方他の場合では、そのフィードの前の数秒を付けずに、あるいは追加の異なるセンサ生データまたは処理済みデータを付けずに現在のフィードだけを送ることは、非常に優先度が低い場合もあるので、これら2種類のデータの集合は、1つの組み合わされた重要度指標を有することだけでなく、これらの各々は単独では異なる重要度指標を有すると判断することができる。
[0049] 次いで、AIモジュール119または主車両における他のコンポーネントは、その時点において送信することが好ましいとそれが判断した全てのデータを、それらの関連する重要度重みによって試験することができる。また、通信チャネルまたは接続の可用性および品質にしたがって、これらに優先順位を付けることもできる。何故なら、これはそれらを知っているからであり、またはその特定の時点においてそれはそれらを推定するからである。例えば、データ/チャネル・アロケータ146は、どのデータ・セグメントまたはデータ部分またはデータ・ストリームを、どの特定の送受信機(1つまたは複数)および/または通信リンク(1つまたは複数)および/または通信チャネル(1つまたは複数)によって送信するために、割り当てるか決定するように動作することができる。例えば、情報項目Aが、例えば、ビデオ圧縮プロセスのためにソースから遅延XIで比較的高いビットレートに圧縮された高品位ディジタル・ビデオ・ストリームであり、情報項目Bが、例えば、ソースからX2マイクロ秒の遅延におけるそのビデオ・フィードのスパース・オブジェクト表現(sparse object representation)のストリームであり、情報項目Cが、ソースからのレイテンシX3における前方LIDARセンサのスパース表現のストリームであり(例えば、それを分類しそれを処理するAIプロセスのために)、情報項目Dが、処理時間によるソースからのレイテンシX4におけるサイド・アングルLIDARスライスまたは角度をなす画像(例えば、90度または110度または45度)、および側面向きカメラのフィードのスパースな融合(sparse fusion)であり、これら4種類のデータが、他のリモートAIエージェントまたはコンポーネントもしくはレイヤもしくはテレオペレータ・プロセッサに送信されるために、その特定の場面についてまたは一般に、先の例においてこれらが掲示された優先度を有するように計算された場合、車両AIエージェントまたは他のプロセッサは、その特定の時点において、そして潜在的に予測前方時間枠(predictive forward time window)または前方時間間隔(forward time-interval)において利用可能な1つまたは複数の通信接続、およびそれらの性能(例えば、レイテンシ、帯域幅、グッドプット、スループット、誤り率、信頼性指標(1つまたは複数)等)も試験することができる。次いで、例えば、ストリームAを送信する重みがストリームBおよびCに対して「十分に高く」ない場合、ストリームAを単に送信する代わりに、1つまたは複数の一緒に接合されたまたは一斉に利用される通信接続から、十分に低いレイテンシおよび十分に高い信頼性で十分な帯域幅が得られないので、これらが1つまたは複数のIP宛先に到達することの方が確実であるからであり、ストリームBおよびCの双方を受信することの影響は、ストリームAだけを受信するよりも大きいからであり、または双方の理由のため、または任意他の適した理由のために、代わりにストリームBおよびCを送信することを優先すると決定してもよい。次いで、接合通信リンクを通じて、または2つ以上の特定のモデムもしくは送受信機(M1およびM4)から成る仮想接続を通じて、ストリームBを送信することができ、更に1つのモデムまたは送受信機M2を通じてストリームCを送信することができ、他のモデムまたは送受信機M3は、時間に厳しいデータまたは信頼性に厳しいデータのために、この時点では使用しないで残しておく。何故なら、その監視された性能は、情報型の一部または全てに対して不十分または不適当であるからである。次の瞬間、これが変化することもあり、車両モジュールは、ストリームAを送信するために、モデムおよび/または送受信機の異なる組み合わせ(M2+M3+M4等)を使用することを決定する場合もあり、引き続きモデムまたは送受信機の組み合わせM1+M2を通じてストリームBを送信できる場合もある(例えば、この例では、両方の型の情報を送信するために、モデムまたは送受信機M2が使用されている)。
[0050] ある実施形態では、次いで、通信プロパティ推定器141によって行われた推定または計算を考慮して、送信される全ての情報を現在の接続の容量および能力ならびにそれらの品質の中で収容できるか否か判断することができる。できない場合、データの一部または全部について異なるフォーマットが適当または十分であるか否か、AIモジュール119と協議する(consult with)ことができる。例えば、AIモジュール119は、現在のリアル・タイム・ビデオ・フィードおよび/または以前の数秒からのフィードをもっと高い圧縮率でもっと強く圧縮すること、または以前の数秒における画像をスパースに処理した表現を有し送信すること、あるいは関連する高優先度データの送信を既存の接続(1つまたは複数)およびそれらの現在のまたは推定されたまたは予測された品質で対処するために、任意の他の品質が低い送信選択肢によってデータを送信することを決定することができ、それに応じて、動的エンコーダ/モディファイア143は、このようなデータ圧縮またはデータ希釈またはデータ・サイズ縮小を実行するように動作することができる。例えば、あるデータは、非常に低いレイテンシで送られるべきまたは送られなければならないデータとして定められ、このようなデータの追加処理が部分的にまたは完全に不適当としてもよいようにしてもよく、またはこのような1つの処理方法がレイテンシを下げ、しかも利用可能な接続およびそれらの瞬時的または予測された性能の範囲内で対処できる十分に低い十分な帯域幅が得られるのであれば、このような処理を行い続けることができるようにしてもよい。
[0051] ある実施形態では、データの処理は、時間を節約するため、および/またはレイテンシを低減するために、今後の着信データのAIコンポーネントの決定または予測、およびその予期される重み付け確度確率(assurance probabilities)にしたがって、並列に行うことができる。AIモジュール119は、これらの学習された予測にしたがって追加の処理を開始または停止すること、特定の品質レベル(1つまたは複数)または1組のパラメータにしたがって追加の処理を行うこと、停止すること、圧縮またはエンコード等のためのパラメータを変更するために追加の処理を命令することができる。例えば、AIモジュール119が、特定の1組のまたは1つの確度または確率指標が低すぎる物体を識別した場合、あるいは関連する時間にわたって確率指標が低下する傾向、または関連する時間にわたってある程度不安定な指標もしくは変動する指標(絶対または相対)を識別した場合(微分または他の数学的方法)、もっと低いがなおも「十分によい」(good enough)または十分によい(sufficiently good)ビデオ・ストリームを意図した第2組のエンコード・パラメータを使用することによって、新たなエンコード方式を決定し、これを開始するようにビデオ・エンコーダに命令することができるので、利用可能な通信性能が低すぎる場合、この新たな品質が低いストリームを、圧縮が少ないストリームの代わりに、送信のために選択すればよい。次いで、例えば、物体または場面の確信度指標が十分に高く十分に安定になったときに、この第2エンコードを停止することを決定すればよい。
[0052] 他の例では、AIモジュール119が、ビデオ処理コンポーネントに、完全なまたは対象エリア内の画像またはビデオの、または何らかの特定の物体のスパース表現を供給するように命令してもよく、一方このような表現は、異なる数の画素集合、分類された物体の画素集合、特定のディジタル・シグネチャー、2Dまたは3D、異なる解像度、または他の表現によって生成されてもよい。各表現には、ビデオ処理または分析または表現プロセッサによって生成され、スパースのレベルまたは確度のレベルを示す指標を関連付けることができる。AIモジュール119は、前もって、十分に高い確率レベルで、特定のビデオ処理またはスパース表示(sparse presentation)が、特定の場面、または物体、またはベクトル、または移動には望まれるもしくは十分であることを学習または予測することができ、あるいは、ビデオ処理またはビデオのAI処理の結果が、生データ・レベルまたは処理データ・レベルあるいは結論または予測または確率レベルのいずれにおいても、他のセンサからの情報、他の物体の確度指標、その物体の場面全体、または動的な運転もしくは道路の危険性もしくは安全性のというような、手近かなタスクに対する重要度、または任意の他の適した情報もしくは関連する情報と組み合わせられるとき、任意の他の基準が、分類または識別または予測された物体、またはベクトル、または場面の重み付け確率、その項目に対してより高いレベルの確率に到達する重要性の重み付け確率、その項目の確度または確率を織り込むことができる。
[0053] ある実施形態では、AIおよび機械学習によって、機械が結論に到達する正確な判断アルゴリズムは、不明瞭および/または無関連でもよい。むしろ、予測は、その精度の確率または確信度の一定の指標によって与えられる。本発明は、この確率(または確信度)の指標、または他の閾値もしくは判断基準もしくはアルゴリズムを、追加の機械学習または決定プロセス(1つまたは複数)のパラメータとして使用する。これらのプロセスは、初期のものと並行して行うことができ、どの情報が、どの品質およびフォーマットで送信され、システムにおける他のどのAIコンポーネント(1つまたは複数)またはモジュール(1つまたは複数)と共有されるのか決定する。次いで、優先順位にしたがって関連情報またはデータ・セグメントを、該当する接続またはチャネルまたは通信リンク(1つまたは複数)上で、またはこれを通じて、選択的に送信しつつ、情報ストリームまたはバーストと各接続の実際の瞬時的性能または予測された性能との間で比較する(matching)。
[0054] これらの判断の全てまたは一部は、予め構成されているアルゴリズムに基づいて、および/または機械学習方法論を使用して、経験則を用いてまたは用いずに、局所的な人間の介入または離れた人間の介入を用いてあるいは用いずに、システムの他のAIコンポーネントまたはレイヤの学習および訓練の学習および/または結果と組み合わせて、経時的に学習するAIコンポーネントにしたがって、システムによって行うことができる。
[0055] ある実施形態では、車両AIコンポーネントまたはモジュール、および/またはリモートAIコンポーネントまたはコンポーネントまたはモジュール(1つまたは複数)が、どの情報型が決定に関連があるのか、および/またはどの情報型が、リモート遠隔操縦またはリモート遠隔運転手順あるいは補助運転に最も大きな影響を及ぼすのか、またはどの情報型が、離れた人間のまたは離れたAIテレオペレータがそのアイドル・モードから、離れた位置から車両をリモートで運転する完全な制御に、全体的にどの位素早くそして安全にそして最も効率的に移行できるかに、最も影響を及ぼすのか、 適応的に学習することができる。同様に、通信接続(1つまたは複数)またはそれらの内の複数と情報型またはストリームとの間の一致、ならびにそのディジタル表現、フォーマット、品質、スパースさ、および/またはメタデータとの間の一致(matching)が、車両のAIベース運転の解除を引き継ぐ人間またはAIリモート・テレオペレータの有効性または安全性またはレイテンシまたは他のパラメータに同様の影響を及ぼす可能性がある。種々の選択肢には重みが与えられまたは割り当てられ、これらは優先順位が付けられまたは整列され、選択肢の範囲全体(whole scale)を考慮できるように(特定のレベルまで上または下に)、これらは格付けされる。データのストリームの送信の重要性、影響、および有効性、ならびに1つまたは接合または二重またはその他のパラメトリック通信接続を通じて送信されることに対するこれらの相性(matching)を、場面、場面の種類、または場面における他の物体、または場面に関係する予測にしたがって、学習すること、発見的に与えること、または先験的に構成することができる。
[0056] 例えば、道路が空いており、対向する交通がない場合、道路内またはその脇における物体の一定の比較的低いレベルの確度または確率または確信度で十分である、および/または、例えば、同じ道路上において、多くの対向車または他の交通車両がある状況と比較すると、および/または当該車両または他の車両または物体の速度、移動ベクトルおよび方向、軌道、および/または1日の時間、夜間、視認性レベル、天気条件、雨または雪または霧の存在、周囲の光レベル、車両が現在走行している速度等というような、他の条件にも依存して、重要性は低いと判断してもよい。例えば、交通がない場合では、車両AIコンポーネントは、その低確率物体のスパースなまたは分量減少またはサイズ縮小または希釈したディジタル表現を、リモートAIコンポーネントおよび/またはリモート・テレオペレータまたは複数のそのようなものに、なおも送信し続けると判断することができ、一方交通量が多い、および/または分析すべき物体が多い第2の場合では、道路上にあり確率識別(probability identification)または他の特徴が低い物体には、この場合、高い重要度を割り当てるとよく、車両AIコンポーネントは、利用可能なモデム(または送受信機)M1およびM3を一緒に接合し、この接合した仮想接続上でまたはこれを通じて圧縮ビデオを送信またはアップロードすることを決定しつつ、更にLIDARでキャプチャしたデータまたは他のデータのスパース表現を、接合したモデム(または送受信機)M2およびM3上でストリーミングまたはアップロードすることができる。ある実施形態では、車両AIコンポーネントまたは他のAIコンポーネントは、このような場合の間で区別し、送信される情報、および他の型の情報または同じ情報の他の表現またはこのようなものの他のフォーマットを送信する選択肢にしたがって、関連する送信選択肢を選択することを学習することができる。このような学習は、離れた宛先のテレオペレータまたはAIコンポーネントが、後に入来するストリーム・データにしたがって、それが生センサ・データの完全な表現でなくても、その予測をチェックすることができるように、センサ情報の少なくとも一部が継続的に離れた宛先に送信されているときに可能になる。
[0057] AIモジュール119のようなAI車両エンティティまたはコンポーネントは、車両の動的運転の一部としてのその機能に加えて、どのセンサ情報を、および/またはどのフォーマットでおよび/またはどの型式の圧縮およびエンコードで、および/またはどのモデム(1つまたは複数)および送受信機(1つまたは複数)を通じて、送信またはアップロードすべきか決定し、更に、その部分的部分集合、その希釈されたスパース表現、それからの後処理されたデータ、それに基づいて処理された1つ以上の判断、または収集されたセンサ・データ、またはそれが計算した判断または予測またはメタデータの任意の部分または部分集合または全体(complete)または融合部分(fused poart)の任意の他の表現の送信またはアップロードに関して同様に、決定することができる。
[0058] ある実施形態では、センサ・データ(sensory data)または検知データ(sensed data)または測定データの内、車両によってまたは車両内において収集またはキャプチャまたは取得された部分集合を、ときの経過と共に、1つまたは複数のリモート・プロセッサ(またはリモートAIモジュール)と共有することもできる。これは、即時の確度(immediate assurance)または確率または確信度指標、またはそれらの品質、またはそれらの任意の他の機能の変化傾向に関係付けて、または関係付けずに、行うこともできる。また、このような共有の開始または停止または期間は、確度指標の品質には依存しないとして差し支えない。また、共有データの品質およびフォーマットも、確度指標の品質には依存しないとして差し支えない。これらのパラメータの各々は、時間の経過と共に動的に変化する場合もあり、または変化せず予め構成されている場合もある。車両内および/またはネットワークにおける任意の他のコンポーネント内にあるAIコンポーネントまたはモジュールは、これらのパラメータの各々がいつ変化するか、結果、確率レベル、場面、通信接続性能、ジオ-ロケーション、1日の時間、1週間の日(例えば、週末対平日)、通信のローカル処理またはリモート処理のコスト、天気条件、周囲の光条件、車両交通輻輳条件、視認性条件、手元にあるタスク、または使用目標もしくは他の目標機能もしくは最適化機能、または教師付機械学習もしくは教師なし機械学習がこの目的のために使用することができる任意の他のパラメータにしたがって学習および/または予測することができる。
[0059] 例えば、緊急時または未学習状況または確率が低い状況において、テレオペレータ(またはリモート・ドライバ、人間、またはAIベース)を使用して自律車両運転に潜在的に干渉し、動的運転の制御を部分的にまたは全体的に行う、またはコマンドもしくは中間地点もしくは他の誘導もしくは宛先もしくは運転命令をそれに送る、またはAI計画経路に対する承認/確認を、それに対する変更を加えてまたは加えずに(またはそれに対する修正を加えて)送ることができるとき、干渉のレイテンシ、干渉の精度、および「驚愕」係数(surprise” factor)、および/または特定の機械に関するリモート・ドライバの非覚醒および無意識状態の減少を低下させてしかるべきである。特に、このようなリモート・ドライバが様々なこのような自律車両を監視しているかもしれず、これらの内任意のものに干渉する準備ができていなければならないとき、または自律車両運転システムの解除によって起こる干渉の率が低くこのような干渉のいずれもこのようなリモート・ドライバにとって驚きとなるようなとき。つまり、本システムは、このようなテレオペレータが車両を引き継ぐかもしれないときにおけるレイテンシを極力抑えるために、少なくとも1つの通信接続を使用して、関連するセンサ・データの関連表現(relevant presentation)を送信する。要求された解除の時がきたときに、車両AIコンポーネントが関連表現を送信し始める代わりに、解除時点および離れた干渉の時点が来る前に、予測情報の潜在的に異なるまたは同じ感覚の潜在的に異なる1組の表現を送信する。例えば、比較的高いが最上位ではない優先順位を、情報のスパースなまたは希釈したまたは部分的な部分集合、またはそれらのベクトルに連続的に割り当て、したがって、優先順位が低い他の項目よりも先にそれを連続的に送信することができる。リモート・コンポーネントは、オペレータが確信度または確率または明確さの任意の選択レベルで車両の動的運転を引き継ぐことができるためには十分な方法で、このスパース表現を表示することができるはずである。
[0060] 例えば、車両AIコンポーネントは、高度にエンコードされた(強く圧縮されたという意味であり、その結果、ストリーミングされるビットレートの分量が少なくなる)正面カメラ(front camera)のビデオ・フィードだけを送信またはアップロードすることを決定してもよい。要求帯域幅は十分に低いので、任意のセルラまたはV2X接続を介して連続的にそれを送信することができる。それでもなお、リモート・テレオペレータには、任意の時点において、送信のレイテンシ(遅延)にエンコードまたはセンサ情報の他の処理のレイテンシ(遅延)を加算したものではなく、イベントの解除による送信のレイテンシ(遅延)で車両の動的運転を引き継ぐには十分であるとして差し支えない。実際に検知された車両の周囲または内部のスパース表現の送信情報は、グラフィックを用いてテレオペレータに提示することができるので、彼は、少なくともある程度までは、いずれの時点でも彼が運転手であるかのように感じることができる。他の方向から来る車の詳細は、この車の実際および「ブロック」サイズのスパース・ディジタル表現または高度に圧縮されたビデオよりも重要度が低いのはもっともであるので、テレオペレータは瞬時的に引き継ぎ、最小限のレイテンシで彼のリモート運転集合(remote driving set)(車輪、ブレーキ、ガソリン、および/または電力レベル・データ、または任意のその他)から運転コマンドを送り始めることができる。
[0061] ある実施形態では、リモート・ドライバまたはリモートAIモジュールが、車両内AIモジュールに、1つあるいは接合された通信リンク(1つまたは複数)またはチャネル(1つまたは複数)を通じて、ワイヤレス接続の内1つ以上を通じたユニキャストまたはマルチキャストまたはブロードキャストを使用して、運転命令を次々にまたは連続して、あるいは一団にしてまたは纏めて一緒に返送することができる。例えば、危険を回避または除去するために路肩へというように、第1中間地点または宛先が明白に識別される場合、この中間地点を車両に素早く送る。シーケンスにおける、またはシーケンス以外の後の時点は、後に、集合または一団として一緒に、あるいは再度次々に、伝達するまたは送るまたは送信することができる。中間地点または運転命令は、車両を停止させたときおよび/またはその運転中に、車両内AIによってまたはリモート・ドライバまたはリモートAIによって、またはその他の方法で送ることができる。ある実施形態では、随意に、1組の決定論的なコマンドではなく、様々な選択肢を車両に送ることができるので、車両内AIは、先の1組の供給された中間地点または他の命令から、各時点において、最も関連のある次の時点またはコマンドを、発生する(developing)または展開する(evolving)または動的な条件にしたがって動的に選択することができる。これら複数の命令は、リモート・ドライバまたはリモートAIユニットによって、優先順位を付けることも付けないことも可能であり、互いにまたは外部条件に依存することもしないことも可能である(例えば、「if」および「then」、または「when」および「then」のような演算子を使用して、ANDおよびORおよびNOT等のようなブール演算子を使用して、「ブレーキが応答する場合、直ちにブレーキをかける、そうでない場合、緊急時ハンド・ブレーキをトリガしギアを落とす」というように)。随意に、リモート・ドライバがリモートAIと相互作用することもでき、結果的に得られた命令を車両内AIモジュールに送ることができる。ある実施形態では、これらの動作は、ビデオ・アップリンク送信の品質または一般にアップリンク送信に依存するとして差し支えない。何故なら、例えば、より多くのカメラからの、またはより高い1秒当たりのフレーム・レートの、またはより高い解像度の、品質が高いビデオ程、高い信頼性レベルでリモートから実行するまたは車両内AIに実行するように命令することができるからであり、または危険性が高い作業を開始することを可能にすることができるからである。一方、通信またはビデオまたは画像の品質が低い程、一層限られた作業または運転コマンドしかシステムに強制または助言させることができない。品質は、全ての接合されたモデムまたは送受信機の全体の品質、または各々の任意の部分集合で構成することができ、品質指標は、利用可能な帯域幅、グッドプット、スループット、レイテンシ、遅延、誤り率、欠落または逸失パケット率、誤りパケット率等を含むことができる。
[0062] ある実施形態では、車両内またはリモートAIが、経路を計画することができるが、それに対する変更を含んでまたは含めずに、離れた人間のテレオペレータのそれの承認を必要とする。例えば、AIが計画した経路が、法律または規則違反を伴う場合がある。すると、リモート・テレオペレータはセンサを使用してAI計画経路の理解または信頼を得て、それを承認し、またはタッチ・スクリーン上で経路線を動かし、または新たな中間地点を印す/中間地点を削除する/中間地点を変更することによってというようにして、それに変更を加えることができ、またはそれを全て不承認とし、または条件がそれを許すまで待ち、次いで承認を発行し、またそうでなければそれと相互作用する、および/または車両システムとおよび/またはAIモジュールと相互作用することができる。接合されたモデムを使用することによって、センサ情報の品質が高くなり、したがって、リモート・テレオペレータの信頼度および状況の理解も高くなる。また、HEは、カメラのような車両センサに、障害物または対象エリアにもっと正しく照準を合わせるように指令することもできる。経路を計画したAIは、リモート・テレオペレータにそれが最良/最適なビューと見なすものを許可するために、センサに指令することができる。このビューは、動いているときのセンサまたは他の必要性のためのセンサのビュー/角度/方向とは異なってもよい。例えば、AIモジュールが、直接、脇の物体または側道または曲がり角を調べるように、側面カメラの照準を合わせるのでもよい。または、正面カメラ(front-looking camera)の内1つが、少ない角度変化であっても、横向きに、曲がり角または側道または分岐点を覗き込むようにする。または、ある物体を徐々に拡大する、または歩行者等というような障害物の動きに付き添う。
[0063] ある実施形態では、車両には、更に、複数の物理接続、あるいはモデムまたは送受信機が装備される、または関連付けられる。例えば、1人または2人または3人の異なる事業者(operator)によって動作可能な3つのセルラ・モデムと関連付けることもできる。これらの接続またはモデムの各々は、任意の時点において、例えば、利用可能なアップリンク帯域幅、アップリンク・レイテンシ、アップリング誤り率、これらの内任意のもののジッタ挙動、ダウンリンクの性能、帯域幅、グッドプット、スループット、総合的な誤り率、またはその他に関して、異なる性能を体験する可能性もある。また、V2XDSRC802.1ipモデムまたは送受信機または接続、または1つより多く、または他のV2Vモデムもしくは送受信機もしくは接続、または衛星モデムもしくは接続もしく送受信機、またはその他と関連付けることもできる。
[0064] AIモジュール119のような車両コンポーネントは、連続的に、またはできるだけ多く、または必要に応じて、複数のこれらのリンクまたは接続を使用して、前記センサ情報のスパース表現または希釈した表現、またはこのようなものの計算および処理の結果を送信することを決定することができる。このような使用は、例えば、以下の方法の内1つによって行うことができる。
[0065] (I)1つの選択した接続を通じて、スパース表現を送信することができる。選択は、性能のような硬い(rigid)パラメータにしたがって、または任意の時点およびその他の条件で送信する最良の接続のAI学習および訓練にしたがって、行うことができる。
[0066] (II)複数の接続の中の部分集合を通じて、スパースな情報の複製(replicated)またはコピー(duplicated)を送信することもできる。例えば、これらの接続のいずれの部分集合においても、送信すべき優先順位が高い情報がないとき、各パケットが通過する信頼性を高めるために行う。
[0067] (III)いずれの時点においても、利用可能な接続の複数の部分集合を通じて、異なる1組の情報を送信することができる。例えば、正面カメラ(front camera)からの強力にエンコードされたビデオ・フィードを、接合されて1つの仮想接続になった接続AおよびBおよびC間で動的に分割し、右側のカメラからの物体のスパース・ブロック表現を、接合された接続BおよびDを通じて分割する。どの情報のためにどの接続を使用するかは、システムによって動的に変更することができる。性能が十分でないとき、または十分でないことが予測されるとき、コンポーネントまたはAIモジュール119は、情報の一部を欠落させることによって、より強い場合(if stronger)プロセッサに希釈またはエンコードするように(例えば、もっと少ないビットに)命令することによって、キャプチャした画像および/またはキャプチャしたビデオの規模を調整する、サイズを変更する、またはサイズを縮小することによって、Kフレーム毎にビデオ・ストリームのフレームを飛ばすことによって、ビデオ・ストリームの各N番目のフレームを飛ばすことによって、ビデオ・エンコードおよび/またはオーディオ・エンコードにもっと低いビットレートを使用することによって、サンプリング周波数を低下させることによって、もっと小さいサイズのデータを生成するエンコーダまたはエンコード方式を利用することによって、または任意の他の変更を行うために、それが送信する情報を変更することができる。
[0068] (IV)もっと強力にエンコードされた表現または希釈された表現を1つの接続A上で送信し、この情報の同じまたは異なる部分集合の中程度にスパース表現を接合された接続BおよびC上で送信し、同じまたは異なる1組の情報の少なくともスパースな、更におそらくなおもスパースな(yet perhaps still sparse)表現、または予測を、接合された接続CおよびD上で(この例では、Cは意図的に互いに排他的でない)送信することができる。
[0069] (V)情報または予測または処理された情報またはこのようなものの表現の任意の部分集合を、様々な異なるIPアドレスに、複数の接続の任意の部分集合の任意の組み合わせを使用して送信することができる。どの情報の送信セグメント毎にどの接続を使用するかの選択、および送信方法(接合、複製、1つの接続、またはその他)も、動的に変更することができる。前記情報の送信と並列して、使用する接続の任意の部分集合上において、他の情報を送信または受信することができる。例えば、インフォテインメントまたは娯楽関係パケット、ジオロケーション・データ、遠隔測定法(telemetry)、マッピング情報、道路交通情報、経路案内情報、または他の重要性が低いパケットもしくは優先順位が低いパケットを送信または受信してもよい。
[0070] (VI)AおよびC接続の各々を通じて、同じまたは異なる1組のデータ、または処理されたデータを、同じIP宛先または異なるIP宛先に送信することができる。接続AおよびCを選択してもよい。何故なら、これらは、瞬時的なレイテンシが最も低い接続、または帯域幅が最も広い接続、または誤り率が最も低い接続、または最も安定している接続、または最もコストが低い接続、あるいはこれらまたは他のパラメータの任意の組み合わせを有する接続であるからである。また、これらの接続を通じて、他の型のデータ、互いに関係するまたは関係しないデータを送信することができる。その後の瞬間(moment)において、リンクの各々の性能の監視に基づいて、またはそれらの性能もしくはそれ以外のことを予測することによって、接続AおよびDに切り替える、あるいは同じ1組のデータまたは使用されている接続における任意の他の変化を複製するまたは異なる1組を送信する他の接続Eを追加することを決定することもできる。
[0071] (VII)接続Bと接合された接続Aを通じてスパースな分類表現を送信すること、更に側面カメラからのビデオの非常に低いビット圧縮表現を接続Cを通じて送信し、次いで後にそれらの変動または予測された変動性能にしたがって、接続利用度を変更することを決定することもできる。
[0072] ある実施形態では、情報をユニキャストで任意の特定のIP宛先またはアドレスまたは受信先に送信することができ、またはそれをマルチキャストするもしくはそれをブロードキャストすることもできる。例えば、スパースな情報またはスパースでない情報を、その近隣にあるAIコンポーネントと、および/またはインフラストラクチャと共有すること、および/または車両AI解除の場合潜在的に介入する可能性がある複数の潜在的なテレオペレータにそれらを送信することを望むとき、802.11p、またはDSRCもしくはV2X接続の他の風味(flavor)またはバージョンを通じて、特定のリモート・テレオペレータの特定のIPアドレスにそれをユニキャストするのと並行して、それをブロードキャストすることができる。
[0073] ある実施形態では、複数のリモート・テレオペレータおよび/または複数のリモートAIコンポーネントまたは階層またはレイヤがある場合もある。例えば、ある実施形態では、車両AIが、例えば、接続A+B+Cを使用する同じ接合仮想通信リンクを使用して、2つの異なるテレオペレータに送信することを決定する。これは、マルチキャストおよび/または仮想プライベート・ネットワーク(VPN)を使用して行うこともできる。あるいは、例えば、これは、送信されるデータまたは部分を、利用可能な通信リンクまたは接続の内2つ以上を通じて複製し、それを別個に異なる受信テレオペレータの異なる宛先IPアドレスにユニキャストすることによって行われてもよい。2つ(またはそれ以上)のリモート・テレオペレータは、多少低いまたは高いレイテンシのような、異なる性能特性の関連情報を受信することができる。例えば、第1テレオペレータは、第1レイテンシおよび第1誤り率でデータを受信するとしてもよく、一方第2テレオペレータは、第2(例えば、より小さい)レイテンシおよび/または第2(例えば、より小さい)誤り率でそのデータを受信するとしてもよい。加えてまたは代わりに、1つのテレオペレータが他のタスクを扱っており、または他の解除された車両の遠隔運転でさえも行っており、既に忙しい場合もある。前記テレオペレータの内任意の1つが、この解除された車両を引き継ぐこともできる。あるいは、リモートAIモジュールが人間のテレオペレータから引き継ぐこと、またはその逆もでき、あるいは、これら2つが相互作用して、リモートAIがテレオペレータに、それに対する代案または選択肢を助言する、あるいは、人間のオペレータが潜在的な危険性または制限を軽減して、リモートまたは車両内AIユニット(1つまたは複数)が次いで経路計画の代案または推奨または実際の運転を継続することができるようにしてもよい。その目的のために、テレオペレータ間および/またはテレオペレータと車両AIコンポーネントまたは車両プロセッサとの間における、および/または他のエンティティ(例えば、中央AIコンポーネントまたはレイヤ)を通じた、同期あるいは他の種類の調整(coordination)を、例えば、タイムスタンプ、ID、パケットID、制御チャネル、フィードバック・チャネル、フィードバック・ループ、コード、制御メッセージ、承認パケット(ACK)またはコードの送信および受信、否定承認(NACK)パケットまたはコードの送信および受信、衝突回避方式、優先順位または優勢規則(prevailing rules)の整列リスト、および/または他の手段によって、行ってもよい。車両AIは、許可されたリモート・テレオペレータの内どれがその指定テレオペレータになるのか識別することができ、次いで他のもの(1つまたは複数)から受信したコマンドを破棄または無視することができる。ある実施形態では、車両AIモジュール、または中央/リモート/外部AIモジュールが、2つ以上の可能なまたは関連するテレオペレータの内、どの特定のテレオペレータが、引き継いで、解除時に車両の実際の遠隔操縦を実行するのか(前もって、または解除プロセス中にリアル・タイムで)決定するモジュールであってもよい。この決定は、1つ以上のパラメータまたは条件を考慮に入れることによって、到達するのでもよい。例えば、各候補テレオペレータとの現在のまたは過去の(historic)または予測されたまたは推定されたまたは実際の通信品質(例えば、レイテンシ、遅延、誤り率、サービス品質(QoS)、帯域幅、グッドプット、スループット、接続の信頼性等)、各候補テレオペレータ(例えば、既に他の車両を遠隔運転しているテレオペレータが、現在他の車両を遠隔運転していない他のテレオペレータまたはリモートAIよりも好ましくないものとして定められることもある)の現在のまたは予測されたまたは推定された作業負荷、予め定められた優先順位(例えば、テレオペレータAおよびBおよびCが全て利用可能である場合、車両の所有者または車両の製造者またはシステム管理者が、テレオペレータBを選択することを定めていたことを定める)、および/または他の適した条件または基準またはパラメータを考慮に入れることによって、到達するのでもよい。ある実施形態では、潜在的なテレオペレータが、それらの間でこの決定を行うために、リアル・タイムで情報を交換することができる。ある実施形態では、任意の決定プロセスまたはデフォルトの決定プロセスを使用して制御するテレオペレータが、他のおよび/または中央エンティティまたは位置、車両プロセッサおよび/または他のエンティティに、通信、人間のUI手段、またはその他を使用して通知してもよく、このようなもとのと相互作用を続けてもよい。
[0074] ある実施形態では、リモート・テレオペレータまたは複数のそのようなテレオペレータが、学習機械、あるいは他のAIコンポーネントまたはAIレイヤまたはAI階層であってもよく、またはこれらを備えてもよい。これらの各々は、計算(computational)または接続またはコストまたは他のリソースに関して、ある程度密集するまたは占有されることもある。更に、これらの各々は、異なる方法またはアルゴリズムまたは調整パラメータを実装してもよく、あるいは、異なる体験または専門性を有してもよく(例えば、雨天を専門とする機械、夜間または低視認性条件を専門とする機械、道路危険物を専門とする機械等)、したがって、異なる訓練および判断結果を有してもよい。したがって、これらの各々は、状況に対して異なる反応を呈してもよく、あるものはある状況において性能が向上し、他のものは他の状況において性能が向上することもある。送信または受信された情報にしたがって、更にそれらの体験および専門性およびレベルおよび容量にしたがって、各AIコンポーネントは、それがどの程度状況にうまく対処できるか推定するために、それ自体を格付けする(rank)こともできる。車両AIコンポーネント、または他のAIコンポーネント、またはこれらの間で、関連するAIコンポーネントを、デフォルトで、または応答が最も素早いものから、リモート遠隔操縦(remote teleoperation)のために選択または予備選択することができる。例えば、テレオペレータAは、それが特に雨天時に車両をリモートで運転する体験があるまたは訓練されていることを示すのでもよく、一方テレオペレータBは、それが特に夜間に車両をリモートで運転する体験があるまたは訓練されていることを示すのでもよく、一方テレオペレータCは、それがとくに故障したブレーキを有する車両をリモートで運転する体験があるまたは訓練されていることを示すのでもよく、特定の遠隔操縦の選択は、これらの(または他の)パラメータまたは条件の内どれが、解除および遠隔運転を必要とする特定の車両に当てはまるか、考慮に入れるとよい。
[0075] ある実施形態では、各時点においてどの遠隔補助を提供するかの判断は、当該車両および/またはその近隣にある他の車両へまたはからの接続の品質にも依存するのはもっともである。例えば、接合リンクまたは単独リンク(例えば、5G通信における)のアップリンク・ビデオ品質が何らかの観点で制限されるまたは劣る場合、離れた人間のテレオペレータに警告し、この人間のテレオペレータが制御することができる。一方、ビデオまたはデータのアップリンク品質(例えば、レイテンシ、信頼性、誤り率、帯域幅、および/または他のパラメータを考慮に入れる)が十分に維持できる(supportive)場合、リモートAIが制御することができる。これは、階層型モデルにおいて動作することができ、(例えば、最初に、リモートAIが、車両によって報告された通信条件、または受信データの品質から導き出される通信条件を含む条件を検討して、それがその実例に役立つことができるか否か評価し、次いで、必要であれば、この事例を離れた人間のテレオペレータに引き継ぐようにしてもよい。通信条件が変化した場合、例えば、帯域幅が閾値未満に低下した場合、あるいは1秒当たりのビデオ・フレーム数、または解像度、または画像内詳細(details-in-the- image)が閾値未満に低下した場合、リモートAIが人間のテレオペレータに警告し、この事例を引き継ぐ(例えば、再度AIモジュールに)ことができる。通信条件が改善した場合、またはローカルもしくはリモートAIが事件(case)に対処するのを妨げていた重大な障害物が、離れた人間のテレオペレータによって除去されたまたは乗り越えられた場合、この状況をリモートAIまたは車両内AIに引き継ぐことができる。複数リンクの接合通信を使用することにより、信頼性、ビデオ品質、帯域幅、低レイテンシ、または安定した低ジッタ挙動が得られ、カメラ増設、他のセンサの増設等が可能になり、ループにおいてリモートAIが対処する事例が増え人手を減らすことによりスケール・メリット(economics of scale)が得られ、改善され一層効率的な(より短い、そしてより信頼性が高く効果的な)人間の扱いが可能になる。
[0076] 以上で述べた動作は、多重テレオペレータ処理ユニット(Multiple Tele- Operator Handling Unit)147によって制御または対処することができる。多重テレオペレータ処理ユニット147は、主車両110内にある車両ユニットであってもよく、またはリモート・サーバ170の一部であってもよく、または主車両110の外部に実装されてもよい。例えば、多重テレオペレータ処理ユニット147は、どのデータ・ストリームまたはデータ集合またはデータ・セグメントを複数のリモート・テレオペレータの各々に送るか、どのリモート・テレオペレータの方が、どの特定の状況または場面に対処するのに適しているか、または最も適しているか、どのテレオペレータまたはどの遠隔生成コマンドが、判断またはコマンドの間で、または予期される結果の間で、または2つ以上のテレオペレータから導き出される動作の間で、衝突または齟齬または異常(anomaly)または異常(abnormality)または矛盾または不一致または重複の場合に優勢なものであるか、および/または他の適した判定または判断というような、前述の動作の内1つ以上を決定および/または実行および/または命令することができる。判定または判断は、予め定められた1組の規則に基づいて、または予め定められた優先順位の参照表に基づいて、または(齟齬のあるコマンドの)複数のソースの各々がそのコマンドと関連する確信度レベルに基づいて(例えば、最も高いレベルの確信度が関連付けられたコマンドを選択する)、または車両AIユニットがこの目的のために利用できる他の考慮事項に基づいて行うことができる。
[0077] ある実施形態では、例えば、最も低いレイテンシおよび/または他の局所的利点を有するものであるAIの第1レイヤが、解除された車両動的運転を最初に引き継いでもよい。例えば、遠隔通信または移動体事業者のeNodeBまたはWi-Fiホットスポットによってエッジにおいて実行されるAIコンポーネント。このAIコンポーネントは、差し迫った災害危険事情に即座に対処するというような、「応急処置」または「初期対応」アクションを提供することができる。更に、これは、例えば、その過去に学習した体験および訓練にしたがって、それが受信したデータの追加のまたは他のAIの専門性および処理を提供することもできる。次いで、AIコンポーネントのもっと高いレイヤまたは異なるレイヤを「調べる」(consult)またはチェックすることができ、または追加の処理結果もしくは予測および確率を、このプロセスに関与する車両AIコンポーネントまたは任意の他のAIコンポーネントに受け渡すことができる。このような他のAIコンポーネントの方が、この状況を管理するのに一層適しており、または有能である場合もあり、同期してまたは同期せずに引き継ぎ、関連する命令を車両AIコンポーネントまたは車両運転プロセッサに送ることができる。このような学習は、教師なし機械またはモードまたは技術において行うとよい。何故なら、これは受信した入力をその判断、および後に来る新たな入力と突き合わせて連続的にチェックすることができるからであり、後に来る新たな入力を使用して、学習の妥当性を判断する、または無効にする、または強化する、あるいはそれ以外で積極的にまたは消極的に補強することができる。
[0078] ある実施形態では、遠隔通信または通信事業者が、それらのエッジ・ノードまたはそれらのコアAIコンポーネントにおいて、互いに相互作用するオーバーレイを実行させることができる。これらのAIノードは、生または処理済みの情報を、それらの物理的ジオロケーション・カバレッジ・エリア内にある車両から、これらのエリアに入ろうとしている車両から、信号機上のカメラというようなインフラストラクチャ・センサまたは他のソースから、受信することができる。次いで、「AI護衛」または「AI付き添い」を、それらのサービス下にある車両に、全てを管理または護衛するにはリソースが十分でないときには優先順に、連続的に提供することができる。セルラ・ネットワーク等のWi-Fiアクセス・ポイント(AP)またはeNodeBというようなエッジ・ノードにおいてAIコンポーネントが実装される場合、通信ハンドオーバーが実行されるとき、またはその直前もしくは直後に、車両のAI状態表現も、1つのこのような対処または護衛ノードから他方に引き渡すことができる。これを行えるのは、車両が遠隔操縦されていないとき、更にはノードAIコンポーネントまたはシステム内にある他のAIコンポーネントのいずれかによって遠隔操縦されている間である。このハンドオーバーは、信号および/またはデータおよび/または照会をデータ集計所(data aggregator)または中央エンティティまたは中央AIモジュールと交換することによって、行うことができる。AIノードのカバレッジのジオエリアは、ワイヤレス・ノードの遠隔通信または移動体-通信(mobile-com)カバレッジ・エリアと、部分的にまたは完全に、重複してもしなくてもよい。
[0079] 例えば、車両が1つのAIノードから他のAIノードに移動するとき、必ずしも通信接続を切り替える、または新たなものを確立する必要はないとして差し支えない。しかしながら、車両が通信ハンドオーバーを行うとき、AIエージェントまたはコンポーネントを含むその接続は、通常、新たな遠隔通信ノードによって、または古いおよび新しいノード双方によって、移行期間中維持することができる。しかしながら、これらの地点では、そしてセル・エッジまたは等級が低いサービスまたはより低いカバレッジまたはより多いユーザ等というような、他の通信困難地点では、リモート・テレオペレータあるいはリモートAIエージェントまたはレイヤへのデータ配信の間、性能低下が体験されるおそれがある。本発明のある実施形態では、階層状AI枠組みが、ローカル通信ノード、またはAIノードとしてそれを補助することができ、第1レベルの遠隔操縦またはAI処理を提供することができる。リモートの、潜在的にもっと強力なまたはもっと能力があるあるいはもっと経験があるまたは学習を積んだAIコンポーネントもしくは人間のテレオペレータが、部分的にまたは全体的に、二次的な方法で制御することもできる。
[0080] 車両が自己運転している正常動作において、そしてAIコンポーネントの第1レイヤがその運転の間引き表現を監視する場合、これを、予期されるまたは既知のジオ/道路経路における次のノードに引き渡すことができる。潜在的な危険を前もって識別し、車両AIおよび/またはより高い階層のAIコンポーネントもしくはエージェントに警告し、起こるかもしれないまたは起こらないかもしれない予測イベントよりも先にデータをそれに送信し始め、生または処理済みデータの配信を強化し、より多くの無線またはアクセスまたはQoSスライス、他の通信リソースを割り当てるように、車両AIエージェントに要求または命令し、あるいは、関連するネットワーク割り当てエレメントに、車両からの追加情報を安全にそしてより高いおよびより保証されたQoSで送信できるように、直ちに行うように要請することができる。
[0081] ある実施形態では、潜在的に許可され訓練されたAI機械または人間、または人間の群衆をも含む、多くの複数のリモート・テレオペレータを有すると、何が引き継ぐのか決定するためのアルゴリズムの一層の複雑化を伴うおそれがあり、それでもなお、車両AIエージェントまたは運転プロセッサが、どれがより素早く応答するか、または他の通信結果へ/からより多くの帯域幅を有するかにしたがって、テレオペレータ自身の基準または格付けを、一般的なあるいはこの特定の場面または場合に関連する容量および過去の振る舞い、あるいはその任意の組み合わせにしたがって、決定してもよい。
[0082] ある実施形態では、AIエージェントまたはコンポーネントまたはレイヤ、またはAIモジュール(1つまたは複数)の内任意のものが、それ自体で訓練することもでき、または車両からの送信データから学習することもできる。このような学習は、教師無しであるのはもっともである。何故なら、進行中のデータ・ストリームが現在の流れ、次いで今後の(実際になる)流れを示し、現在および過去に基づいて、これらを予測と比較することができるからである。これは、継続的に、または必ずしも緊急時のためだけでなく、行うことができる。何故なら、データ・ストリームは、分析のために、このようなAIモジュールに向かって流れ続けるからである。最適化および目標機能は、何らかの型および品質およびフォーマットのデータを送信し、次いで他のものを送信し、各送信が結果の品質に対して及ぼす影響を学習するとき等に、種々のAI判断および目標のための対象予測(object prediction)、ベクトル移動予測、通信予測、送信データ効率についてのものであってもよい。更に、場合によっては、同じ場面の様々な異なる型のデータおよび/または品質および/またはフォーマットを、並列に送信することもできる。これらは、接合または単体または複数の同じ通信接続(1つまたは複数)を使用して、あるいは全体的に同様の(または異なる)瞬時的性能特性を有する異なる接続を通じて送信することもできる。
[0083] 複数の通信リンクまたはモデムまたは送受信機の接合または集合体を使用するとき、送信の一部は、同じビューまたはデータの高品質/低圧縮(less compressed)/低スパース(less sparse)表現であってもよい。次いで、リモートAIコンポーネントまたはレイヤまたは階層は、異なる受信ストリームについて計算を実行することができ、その後に着信する実際のストリームと比較するときに、その結果の品質を比較することができる。進行中の教師無し訓練のためのこの方法は、連続的にそして素早く、AIコンポーネントの品質を促進および改善することができる。
[0084] ある実施形態では、情報またはそのスパースな部分を送信するプロセス、どのAIまたは人間のテレオペレータが引き継ぐかの選択、どのコマンドが送られているのか、またはこのプロセスの他の部分、または他の動作は、データを格納または記録するため、判断を行うため(現ブロックチェーンがマイクロ秒単位のリアル・タイムの約定のために設計されていないので、時間的制約がない場合)、データ保全性を確保するため、Alモジュールおよび/または機械学習モジュールおよび/または監査モジュールおよび/またはレギュレータ(regulator)にブロックチェーン・データ構造としてデータ(またはその一部)を利用可能にするため、改竄されていないデータの記録(logging)および/または遠隔操縦処理(transaction)を可能にするため、関与するコンポーネントを認証するため、検知データおよび/または処理データを認証するため、プロセスにおける共有およびプロセス対象地点(points-of-interest)を記録するため、リモート補助運転または自律運転データ処理または遠隔操縦プロセスのためのデータ収集の任意の部分を民主化(democratize)または商業化するため、および/または他の目的のために、随意に、ブロックチェーン制御ユニット177を通じて、ブロックチェーン技術を使用することができる。したがって、ブロックチェーン・ベースのデータ構造コンストラクタ(constructor)およびアップデータ(updater)が、車両においておよび/または車両の外部で(例えば、ブロックチェーン制御ユニット177の一部として)動作することができ、車両の自己運転、リモート運転、遠隔操縦、ローカルまたは分散型AIデータまたは判断に関するデータ、および/または他の関連データもしくはパラメータのこのようなブロックチェーンの構築、ならびにその後の更新を管理することができる。
[0085] ネットワーク内または中央AIモジュール内にあるAIモジュールもしくはコンポーネントは、ときとして、1つの車両が体験するよりも多いデータ・トラフィックを体験することもある。したがって、および/またはリソース可用性のような他の理由のために、ときとして、種々の特定の想定場面に対してより良くおよび/または一層精度高く応答することができる場合がある。車両AIとのマルチリンク接続を使用して、より高い速度で、最も進んだまたはより多く更新がなされたAI訓練を、走行中あるいは駐車されているときまたは移動していないときに(例えば、公衆Wi-Fiアクセス・ポイントを有する喫茶店の付近にある赤信号で待っている)、ダウンロードすることができる。使用されていないときまたは高い優先順位が付けられたときに、これらのダウンリンクを使用して、更に車両AIコンポーネントを訓練することができる。接合された複数のリンクは、このようなダウンロードまたは訓練が最も効果的および迅速であるために、帯域幅、ならびに信頼性および可用性の双方を提供することができるので、車両AIを最も素早い方法で、最新の状態に更新することができる。更に、ある実施形態では、レイヤにおける任意の許可されたAIコンポーネントまたはエージェントが、進行中の車両、または同じ方向に進んでいるがその車両の前にいる車両、または歩行者、またはインフラストラクチャ(例えば、信号機)、または他のAIエージェントによって処理されたものというような、システムにおける他の車両によって体験されたものとして、それに基づいて処理された判断の物理的表現(physical or representation of or processed decisions based on it)をダウンロードすることができ、または車両AIエージェントのビューに転送することができる。車両AIエージェントは、このダウンロードした、またはストリーミングされた、または受信したデータを使用して、それ自体の判断を補強するため、または新たな判断を下すことができる。
[0086] ある実施形態では、複数のノードを有するAIレイヤが、車両AIエージェントおよび運転プロセッサと、そして遠隔通信または移動体通信ネットワークと相互作用して、前もってまたはプロセス中に、リモート遠隔操縦のための該当するリソースを最良に調整することができる。
[0087] 本発明のある実施形態は、車両マルチレイヤ自律運転、車両のリモート遠隔操縦、ならびに車両の自己運転および自律運転のデバイス、システム、および方法を備え、随意に、分散型人工知能(AI)および/または複数のAIモジュールあるいは分散型AIアーキテクチャを利用する。例えば、車両(車両内)ユニットが、主に自律運転のためであるが、これだけのためではない、第1レイヤの人工知能を備え、実装する。人工知能のレイヤを有する第2ユニットが、随意に、ワイヤレスLAN(WLAN)ネットワークのアクセス・ポイントにおいて、4Gまたは4G-LTEまたは5Gまたは3Gセルラ・ネットワークのeNodeB、またはこのようなネットワークのコアにおいて、またはこのようなネットワークのアクセス・ノードにおいてというように、通信ネットワーク・インフラストラクチャのエッジ・ノードにおいて存在および動作することができる。人工知能の他のレイヤが、クラウド内において、コマンドおよび制御センタ内において、自宅において、または複数のこのような場所を含むその他において、というように、リモート・コンピューティング・デバイスにおいて随意に存在および動作することもできる。複数のAIレイヤが、第1車両および/またはその他の安全な連続および価格効率的な移動および/または動作のために、1つ以上の通信接続(1つまたは複数)を通じて供給または送信または受信または交換またはそれらの間で共有されるデータを互いに伝達し(communicate with each either)、前処理および後処理し、決定を交換紙、決定を示唆し、それらの間で予測および推定を行い、自律運転のために階層状ハードウェアおよびソフトウェアならびに動作上の冗長性を提供し、こうしてこのような自律運転の安全性、速度、効率、および可用性を高め、更に、希釈または圧縮ビデオ、あるいはそのようなもののAI表現というような、関連するセンサ・データおよび検知データを選択して配信することによって、ほぼ常時データ(例えば、ビデオを含む)がそれらに入手可能であるので、リモート・ドライバ、または複数のそのようなものが、瞬時的に自律車両の制御を行うことを可能にする。
[0088] ある実施形態では、自己運転車両または自律車両が、連続的または間欠的に、ワイヤレスでアップリンク方向の1つ以上の離れた受信先に、検知データおよび/またはキャプチャしたデータおよび/または取得したデータ(例えば、カメラ・フィード、オーディオ・フィード、マイクロフォン・フィード、ビデオ・フィード、位置情報、車両速度、車両の加速または減速データ、LIDARデータ、他のセンサによって収集または検知されたデータ等)を総じて連続的(しかしながら、ときには、潜在的な中断、分裂、停止および再開、または他の誤りまたは遅延もあり、これらは意図されることも、意図されないこともある)に、そして随意に圧縮またはエンコード・フォーマットで、または小型フォーマットもしくは希釈フォーマットで(例えばビデオのN番目毎のフレームを飛ばす)、または縮小サイズ・フォーマットで(例えば、アップリンク転送のためにより大きな画像をより小さな画像にサイズ変更またはクロップする)、アップロードまたは送信することができ、これによって、リモート遠隔操縦システムおよび/またはリモート遠隔操縦モジュールあるいは人が、解除イベントに対して迅速にそして効率的に応答し、このようなリモート・テレオペレータ(人間および/または機械ベース)の応答時間を短縮することを可能にする。何故なら、車両の操縦または運転を引き継ぐために直ちに関連する情報の少なくとも一部は、リモート・テレオペレータの場所において、このようなデータの以前の、進行中の、ワイヤレス・アップローディングから既に入手可能になっているからである。
[0089] ある実施形態では、エッジ・ノードまたはエッジ・ベースのサービスまたはエッジ付近(near-edge)は、IP-ベース接続(ホップが少なく、レイテンシが低い)に関して、またはセルラ通信ネットワークおよび/またはセルラ提供事業者および/または通信サービス提供事業者のジオロケーションに関して、車両が走行するときにこれを追従するまたは護衛するまたは付き添うことができ、特に車両が1つのセルラ通信セルから他のセルラ通信セルに横断するときに、このような走行中の車両にリモートAIサービスを提供することができ、これによって、走行中の車両に対する、総合的に中断がない、または中断が少ない、または中断を減少させたAI支援サービスの継続を確保し、このようなAIサービスの継続を確保および可能にするために、第1エッジ・ノードまたはセルが車両データまたは車両関係データを近隣のまたは後続のエッジ・ノードまたはセルに転送することができるようにする。ある実施形態では、複数のこのようなエッジ・ノードまたはエッジ付近のノードが、このようにして、それらの間で調整してまたは調整せずに、常時またはしかるべきときに、危険性分析または学習した体験またはリソースの可用性にしたがって、走行中の車両に事実上付き添うまたは事実上護衛することができ、これらは追加の信頼性冗長カバレッジおよびAIパワー、ならびに種々の条件および想定場面に対する体験を提供することができる。更に、これは、このようなエッジ・サービスのAIモジュールまたはエッジ・ノードの素早い応答および素早い介入も可能にすることができる。何故なら、アップロードされたデータ・パケットは離れた受信先に到達する必要があり、および/またはセルラ・ネットワークの長距離を横断する必要はなく、単に近隣のエッジ・サービス・ノードに到達しさえすればよいからであり、このようなエッジ・サービス・ノードが、解除イベントの際に、少なくとも初期において、および/または緊急性に基づいて、AI支援および遠隔操縦サービスを車両に提供することを可能にする。
[0090] ある実施形態では、特定の車両または自律車両または自己運転車両が、2つ以上のリモート遠隔操縦システムと関連付けられてもよく、ワイヤレス/セルラ通信リンク(1つまたは複数)を通じてこれらと(またはこれらの各々と)通信できてもよい。このような2つ以上のリモート遠隔操縦システム(機械ベースの車両オペレータおよび/または人間の車両オペレータを含んでもよい)は、車両を引き継ぎ、解除時に、または1つ以上の予め定められた条件に当てはまる場合に、それをリモート運転またはリモート操縦または遠隔操縦するための可能な候補として定めることができる。
[0091] 例えば、車両(車両内)選択モジュール、または車両外選択モジュール(例えば、中央サーバまたは中央通信ハブまたは中央AIモジュールにおけるというように、車両の外部にそして離れて位置する)が、特定の候補遠隔操縦システムの内、2つ以上のこのような候補の中から、どれが実際に選択されるか、そして必要とされるときまたはそうすることが望まれるときに、遠隔操縦のタスクが割り当てられる(assigned or allocated)のかという選択または決定を実行することができる。選択モジュールは、1組のパラメータ、条件、および/またはこの目的に対する基準を考慮に入れることができる。例えば、特定の車両とこのような候補の各々との間における通信の現在のまたは実際のまたは予測されたまたは推定されたまたは過去の特性(例えば、通信帯域幅、スループット、グッドプット、レイテンシ、遅延、誤り率、信頼性、信号強度、送信および/または受信のサービス品質(QoS))、現在の天気状態および環境状態(例えば、特定のテレオペレータが、雪または霧または降雨中に走行する車両を操縦する特定の体験を有するのでもよい)、現在のジオ空間パラメータ(現在の位置、速度、加速度)、現時点(例えば、特定のテレオペレータが、夜間またはラッシュ・アワー中に車両を支援する特定の体験を有するのでもよい)、現在の曜日または日付け(例えば、特定のテレオペレータが、週末の間または休日の間にリソースを増やしたまたはリソースを減らしたのでもよい)、道路データ(例えば、特定のテレオペレータが、山道または都市エリアまたは蛇行する道路において車両をリモートで操縦する特定の経験を有する、またはその経験に欠けるのでもよい)、このような候補の各テレオペレータにおける現在のあるいは推定された作業負荷または計算負荷、各候補テレオペレータによって現在遠隔操縦または監視されている他の車両の数、このような各候補テレオペレータによって示される現在のまたは最新の応答時間(1つまたは複数)、車両の所有者および/または車両の製作者またはシステム管理者によっておよび/または以上で述べたパラメータの一部の重み付け組み合わせを考慮に入れる重み付け式に基づいて予め定められたテレオペレータの予め定められた優先順位を考慮に入れることができる。
[0092] ある実施形態では、このような選択は、例えば、車両プロセッサに到達したコマンドを出した第1の許可されたテレオペレータを選択および/または利用することによって、受動的または半受動的に行われてもよい。随意に、遠隔操縦制御は、掲示されたパラメータまたはその他に基づく決定にしたがって、1つのエンティティまたはリモート・コントローラから、他の人間および/またはAIベースのものに操縦の間に引き渡されてもよい。このプロセスにリアル・タイムでまたは前もって影響を与えるために、人間の仲介を加えてもよい。このような遠隔操縦の引き渡しは、同期されまたは初期設定され(defaulted)てもよく、あるいは1つ以上の条件に該当する場合、自動的に実行されてもよい(例えば、夜になった場合、または雨もしくは雪が降り始めた場合、または車両がジオ領域Cからジオ領域Dに移動した場合、または遠隔操縦Aにおける計算負担または他の負担が予め定められた閾値または最大許容レベルに達した場合等に、テレオペレータAからテレオペレータBへの遠隔操縦の自動ハンドオーバー)。
[0093] ある実施形態では、車両コンピュータまたは車両プロセッサまたは車両AIモジュール119が、物体および道路関係項目(例えば、他の車両、信号機、交通標識、車線境界線、歩行者、道路封鎖物、道路障害物等)を識別する目的のためだけでなく、どの型のデータをリモートAIモジュールに送信またはアップロードするか、および/またはどの圧縮またはエンコードまたはデータ希釈またはスパース表現プロセスを利用するか、および/またはどの程度データまたはデータ項目を希釈するかまたはエンコードするかまたは圧縮するかまたは飛ばすか、および/またはどのデータ発信元(例えば、どのセンサまたはカメラまたはLIDAR)をこのようなデータ送信またはデータ・アップロードに含ませるかおよび/または除外するか決定するため、および/またはリモートAIモジュールが予め定められたまたはデファクトのレベルの確信度または確率または確度で決定に到達することを可能にするためには、どれ位の量のデータまたはどの型(1つまたは複数)のデータをアップロードまたは送信すれば十分か、および/または1つ以上の通信リンク(1つまたは複数)または1つ以上のモデムまたは送受信機の内どれを、このようなアップロードまたは送信に利用すればよいか(例えば、Wi-Fi、衛星、セルラ、3G、4G、4G-LTE、5G、セルラ、V2X等を含む、例えば、1つ以上の利用可能なモデムまたは送受信機から)、および/または2つ(以上)の異なる通信リンクを通じておよび/または2つ(以上)の異なる受信先に特定のデータ項目またはデータ・ストリームを送信またはアップロードするか否か、および/または2つ以上のモデムまたは送受信機または通信接続を跨いでアップロードすることを意図され、次いで異なる速度でおよび/または異なる性能特性(誤り率、レイテンシ、遅延、帯域幅、グッドプット、スループット、QoSパラメータ等)で、一斉にまたは並列に、アップロードまたは送信されるパケットを分割するか否か、そしてどのような特定の方法で分割するか、および/または 特定の1組のパラメータおよび/または判断が、予め定められた閾値レベルの確信度または確率または確度を超えた十分なAI判定を可能にするのに十分であるか否かについてもチェックおよび学習しつつ、時間をかけて深く学習しおよび/またはAIモジュールによって訓練することができる他の通信に関係する判断または決定について学習するためにも、AIおよび機械学習を利用することができる。このようなAIプロセスは、実際のデータ、予測されたデータ、推定されたデータ、生データ、処理されたデータ、希釈されたデータ、過去のデータ、現在測定中または現在検知中のデータ、最近測定されたまたは最近検知されたデータ、および/またはこのようなデータ型の適した組み合わせを利用することができる。
[0094] ある実施形態では、ローカルな車両内AIモジュール119、および/またはリモートな(車両外部の)AIモジュール(179、169、159)が、車両によってまたは車両から検知および/または送信および/またはアップロードされた着信データ・ストリームを継続的に分析し、次いで判断結果または識別結果を、1秒または3秒または6秒または10秒またはN秒だけ後に連続的に受信される新たな着信データ即ち新鮮なデータと比較することによって、連続的に学習および機械学習し、その物体識別を改善し、更にその決定を改善することができる。例えば、ローカルなまたは車両内AIモジュール、またはリモートAIモジュールが、道路上を走行中の車両から正面カメラ(front-side camera)のビデオ・ストリームの圧縮ストリームまたは希釈ストリームを連続的に受信することができ、3秒の期間に受信した28個の画像フレームを分析することができ、道路前方に位置する物体があると判定し、この物体が静止した油染み(80パーセントの確率)または動く猫(20パーセントの確率)のいずれかであると判定することができ、次いで、5秒後に、車両がこの物体に近づくに連れて、この車両の前側(または左側)のカメラが、物体の近接画像を送信し、この画像によって、AIモジュールが、99パーセントの確信度で、この物体が実際に静止した油染みであって、猫ではないと断定することを可能にし、こうすることによって、油染みまたは猫をより正確に識別するため、または物体間でより正確に区別するために、今後の検出について訓練および学習することができる。
[0095] 本発明のある実施形態は、種々の型式の総合的に自己運転する車または車両、自律車または車両、永続的または非永続的に無人の(driverless)車もしくは車両、無人車(un-manned car)または車両またはUAV、ロボット車または車両、ロボット・ベースの車または車両、スマート・カーまたはスマート車両、コネクテッド・カーまたはコネクテッド車両、特殊車または特殊車両、あるいは他の型式の陸上、空中、または海上車両と共に動作することができる。他の型式の陸上、空中、または海上車両は、その環境および動作(例えば、運転、飛行、航行、移動、ナビゲート)を、人間の入力なしに、検知することができ、および/または 緊急時あるいは確信度または確率が分からないもしくは低い状況において、または「最後の1マイル」もしくはオフハイウェイ(off-highways)のような予め設計された状況において、またはUAVのための着陸進入のとき、または無人船のためにポート内で、または任意の他の必要性もしくは要望があるときに、車両の制御を引き継ぐというような、何らかの種類の離れた人間の介入または局所的な人間の介入を伴ってあるいは伴わずに、コンピュータ補助運転および/またはリモート・コンピュータ補助運転および/またはコンピュータ補助操縦および/またはリモート・コンピュータ補助操縦および/または遠隔操縦および/または遠隔運転が可能である。
[0096] このような車両は、本明細書では、「自律車両」(autonomous vehicle)と呼ばれてもよく、それらの周囲および/または他のデータ(例えば、信号機、交通標識、車線、 道路封鎖物、道路障害物、誘導路、歩行者)を検知、検出、および/または識別するために種々のセンサおよび検出器を利用することができる。例えば、カメラ、撮像カメラ、ビデオ・カメラ、音響マイクロフォン、オーディオ・キャプチャ・デバイス、画像およびビデオ・キャプチャ・デバイス、レーダ・センサまたはデバイス、LIDARセンサまたはデバイス、レーザ・ベースのセンサまたはデバイス、磁気または磁石ベースのセンサおよびデバイス、超音波センサ、暗視モジュール、汎地球測位システム(GPS)ユニット、慣性測定ユニット(IMU)モジュール、立体視またはステレオ・ビジョン・モジュール、物体認識モジュール、深層学習モジュール、機械学習モジュール、加速度計、ジャイロスコープ、コンパス・ユニット、走行距離計、コンピュータ・ビジョン・モジュール、機械ビジョン・モジュール、人工知能(AI)モジュール、車両プロセッサ、車両コンピュータ、ダッシュボード・プロセッサ、ダッシュボード・コンピュータ、通信デバイス等がある。ある実施形態では、自律車両は、ベイジアン同時位置推定およびマッピング(SLAM:Bayesian simultaneous localization and mapping)モジュールまたはアルゴリズムを利用して、複数のセンサおよびオンライン/オフライン・マップからのデータを融合および処理することができ、および/または他の移動体(DATMO)検出および追跡モジュール、および/またはリアル・タイム位置情報管理システム(RTLS)ビーコン・モジュール、高解像度リアル・タイム・マップ(「HDマップ」)および/または他の適したモジュールを利用することができる。
[0097] ある実施形態では、車両プロセッサまたは車両コンピュータあるいは他の車両(車両内)コントローラが、車両の1つ以上の部品またはコンポーネントに、特定の動作を実行するように、検知したデータに基づいて、および/またはこのようなデータの処理に基づいて、および/またはこのような検知データから、またはリモート・センサからまたはインフラストラクチャもしくは他の車両外センサから、またはデータから導き出される知見に基づいて、命令することができる。例えば、自律車が、日中に都市街路に沿って走行し、高解像度マップ(「HDマップ」)を車両プロセッサに通信モジュールまたはデバイスによってダウンロードし、自律車のセンサがデータを収集し、車両のプロセッサが、キャプチャしたデータから、道路が空いていること、そして障害物も他の車両も歩行者も全くないことを判定し、更に、車が現在毎時10キロメートルの一定速度で走行していること、そしてこの道における速度制限が毎時30キロメートルであることを判定し、これに応じて、車両プロセッサは、車の速度を毎時10キロメートルから25キロメートルまで6秒の期間で徐々に上げるように、車の運転ユニット(1つまたは複数)にコマンドまたは信号を送る。車の運転ユニット(1つまたは複数)は、例えば、車両のガソリン・ペダルが、人間がガソリン・ペダルを踏むことに応答して動作するのと同様に、追加の燃料またはガソリンを車のエンジンに注入または供給する弁を開くまたは解放し、人間が車の車輪を制御するのと同様に、車輪の方向を制御する等によって、このコマンドを実行する。
[0098] 続いて、自律車が更に走行するに連れて、新たにキャプチャされたデータまたは新鮮な取得データが、前方約40メートルに位置すると推定される信号機を車両コンピュータが識別するのを可能にする。今緑光から赤光に変わり、このような検出に応答して、車両コンピュータは、車両運転ユニット(1つまたは複数)に、(i)ガソリンまたは燃料のエンジンへの注入または追加を、直ちにまたは急激に、または1.5秒の期間で徐々に停止する、(ii)2秒の期間ガソリンの追加を回避し、制動(減速)を回避する、次いで(iii)7秒の期間で徐々に完全停止まで減速または制動することを、
これらに命令するコマンドを送る。車両が更に走行し信号機に接近するに連れて、そして新たに検知されたデータが取得され、車両コンピュータに新たな情報を提供するに連れて、その以前のコマンドを維持するまたはこれらを変更するために、継続的にこれらのコマンドを更新することができる。車両運転ユニット(1つまたは複数)は、これらが受信したコマンドを、例えば、弁を閉じ、したがってガソリンまたは燃料のエンジンへの注入または追加を停止することによって、および/または電気エンジンまたは車両またはハイブリッド車両に対して、電力を減少または遮断させ、および/またはクラッチ(または同様の、または等価の)メカニズムを使用することによって、エンジンと車両のタイヤまたは車輪との間を一時的に切断することによって、および/または人間の運転手によるブレーキ・ペダルの人力での押下によって制動することが命令されたときに、制動システムが動作するのと同様にして、車両の制動システムを有効化することによって、実行する。
[0099] 続いて、車両プロセッサは、自律車両に対して予め定められた特定の宛先に到着するために、現在の道路交通状態を考慮して、そして車両の現在地を考慮して、次の信号交差点(traffic light junction)において左に曲がる必要があると判定する。これに応じて、車両プロセッサは、車両操縦ユニット(steering unit)(1つまたは複数)にコマンドを送り、道路の右車線から道路の左車線に徐々に車両を操縦する(steer)ことをこれらに命令し(左折を知らせながら、そして常にセンサによって周囲をチェックしながら)、更に次の信号機において毎時18キロメートルの速度に減速して90度左に曲がるように、車両を操縦することをこれらに命令する。車両操縦および運転ユニットは、例えば、車両の左折通知灯を有効化し後に無効化することによって、そして人間のオペレータによるハンドルの手動回転に応答して車両が実行する動作と同様に、車両の車輪またはタイヤを左側に操縦する(steer)ことによって、このようなコマンドを実行する。
[00100] 更(c)に、車両または自律車両には、車両のリモート運転または遠隔操縦を可能にする他のユニットも装備することができる。例えば、検知データまたはその一部、および/またはローカルに処理したデータまたはその一部、またはこのようなデータの希釈もしくは圧縮もしくはエンコードもしくはスパース・バージョンを、周期的におよび/または連続的におよび/または間欠的におよび/または必要なときに、リモート・サーバに1つ以上の通信リンク(例えば、セルラ、Wi-Fi、衛星、V2X等)を通じて送信する。リモート・サーバはこのデータを受信し、更にこのデータを必要に応じて処理することができ、AIモジュールまたはリモート人間テレオペレータを利用して、先に説明した決定と同様の、関連する決定、例えば、車両の速度を上げるまたは下げるリモート決定、車両のエンジンに供給される(supplied or provided)ガソリンまたは燃料の量を増大または減少させるリモート決定、車の制動システムまたはブレーキを有効化するリモート決定、エンジンと車輪との間で一時的に切断するリモート決定、車両を右または左または他の方向に操縦あるいは操作するリモート決定、急激なまたは即座のまたは緊急な制動あるいは停止を実行するリモート決定、あるいはテレオペレータ・システムおよび/または人間のテレオペレータにおいて実行される他のリモート決定に到達することができる。このようなコマンド(1つまたは複数)は、次いで、テレオペレータ・エンティティから車両に、IP接続または経路(route)またはパス(path)または複数の通信事業者およびネットワークおよびホップ(1つまたは複数)を通じて送信され、一方ネットワークおよび車両間の(from the network to/from the vehicle)最後のホップは、1つ以上のワイヤレス通信リンク(例えば、セルラ、Wi-Fi、衛星、V2X、V2V、V2I、DSRC等)を通じてもよい。更に、車両コンピュータは、このようなコマンドを受信し、対応する信号またはコマンドを、関連する車両ユニット(例えば、制動ユニット、操縦(steering)ユニット、運転ユニット、エンジン・ユニット、電気ユニット、油圧ユニット、空気ユニット、車輪、信号(signaling)、通信、ギア、制御、センサ、トレーラ・システム、トラック関係システム、バス関係システム、トラクタ関係システム、インフォテインメント、電力、空調、緊急システム、安全システム、または車両における任意の他のシステム、あるいはそれに接続されまたはそれと関連付けられまたはそれから制御され、ローカルにまたはリモートに変更または管理または変更または給電することができる任意の他のシステム)に送り、そしてこれらの車両ユニットは、受信したコマンドまたは信号に基づいて、要求された動作を実行する。
[00101] 尚、以上の説明は、自律車両または遠隔操縦車両のいくつかの実施形態の実証例であること、そして本発明は他の種類またはメカニズムの自律車両および/または遠隔操縦車両とでも共に利用できることを注記しておく。
[00102] 以上の例は、遠隔操縦あるいは「自律車両」のローカルまたはリモート操縦または遠隔操縦を実証する非限定的な例である。更に、同様のまたは追加の例も関連があり、車椅子、船、ボート、潜水艦、ドローン、UAV、またはその他というような、他の自律車両にも、そのままでまたは各システムの該当する改造を伴って、適用することができる。
[00103] ある実施形態では、本発明のシステムおよび方法は、ローカル人間オペレータおよび/またはリモート・テレオペレータの認知(cognitive)負荷または認知仕事量(workload)または認知作業負荷(task-load)を削減および/または改善することができる。ローカル人間オペレータおよび/またはリモート・テレオペレータは、忙しいまたは作業中である(occupied)または散漫であるまたは退屈であるまたは半ば意識不明であるまたは意識不明であることもときには可能性があり(例えば、手動運転中に意識を失うまたは身体が不自由になる人間の運転手)、車両内にいる人(1人または複数)、近隣に位置する人(1人または複数)(例えば、他の車両内、または歩行者)の安全性および健康な状態(well-being)に寄与する場合もあり、および/または輸送される商品または貨物の安全性に寄与する場合もある。
[00104] ある実施形態では、本システムは、通信ベース・マップを生成することができる(例えば、1つ以上の車両から受信したデータを、マッピング・アプリケーションと共に利用することによって)通信ベース・マップ生成器191を備えることができる。通信ベース・マップは、少なくとも(i)予め定められた閾値よりも低い実効ワイヤレス通信スループットを有する第1道路区分と、(ii)前記予め定められた閾値よりも高い実効ワイヤレス通信スループットを有する第2道路区分とを示す。通信ベース・マップ生成器191は、例えば、リモート・サーバの一部であるとして示されているが、しかしながら、車両またはその内部(at or within)、またはインフラストラクチャ・エレメント、セルラ・ノードまたはエレメント、ワイヤレス通信エレメントまたはノード等にまたはその内部に実装されてもよい。
[00105] ある実施形態では、車両は、少なくとも異なる経路区分において推定されるワイヤレス通信可用性レベルを考慮することによって、または少なくとも(i)異なる経路区分において推定されるワイヤレス通信可用性のレベルと、(ii)前記車両の乗員に対する安全性要件に関する1つ以上の制約とを考慮に入れることによって、あるいは予め定められた閾値よりも高いワイヤレス通信可用性を有する道路区分を含むように前記車両のために誘導経路(navigation route)を生成または修正することによって、あるいは、遠隔操縦車両である前記車両の走行安全性を高めるように構成され、前記車両の遠隔操縦が、予め定められた閾値レベルを超えて成功すると推定される道路区分を含むように前記車両のために誘導経路を生成または修正することによって、または安全性の考慮、運転手および/または乗員の人数または年齢または性別または性格、検知データをアップロードするために車両に利用可能なワイヤレス通信(1つまたは複数)の現在のおよび/または瞬時的なおよび/または予測されたおよび/または推定されたレベルもしくは品質、車両センサ(1つまたは複数)によって検知され、リモート処理のためにリモートAIユニットにアップロードされたビデオおよび/または画像および/またはオーディオおよび/または他のデータの現在のおよび/または瞬時的なおよび/または予測されたおよび/または推定されたレベルまたは品質を考慮して他の経路修正または経路決定処理を実行するように構成された、(例えば、従来の経路案内アプリケーションまたは誘導アプリケーションと合わせて)誘導経路を前記車両のために生成または修正することができる誘導経路生成器192を備えることができる。
[00106] 尚、ある実施形態では、特定の車両に対する、「リモート」AIユニットまたは「リモート」プロセッサは、必ずしも前記車両から地理的に離れている必要はなく、むしろ、例えば、車両の現在地から3メートル離れたところに現在位置するスマート道路標識の中に実際に配置されている「リモート」AIユニットまたはプロセッサ、または車両が近くを通過するときに、車両から偶然24メートル離れたところにあるeNodeBエレメントに実際に配置されている「リモート」AIユニットまたはプロセッサ、またはは前記特定の車両から偶然6メートル離れたところにある第2車両の内部に実際に配置されている「リモート」AIユニットまたはプロセッサ、またはクラウド・ベースでありその車両から物理的に離れているかもしれない、またはその特定の時点においてその特定の車両の近隣に実際にいるかもしれない、他のこのような「リモート」AIユニットまたはプロセッサというように、その車両の外部にあり、および/または前記車両に物理的に接続されておらず、および/または前記車両に物理的に接触していない任意の適したAIユニットまたはプロセッサであればよいことを注記しておく。ある実施形態では、「リモート」AIユニットまたはプロセッサは、固定されているまたは移動体ではないまたは移動しない(一時的に、または固定的に)ものであるが、他の実施形態では、「リモート」AIユニットまたはプロセッサは移動することができる(例えば、近隣の第2車両内、上空または近隣を飛行するドローン等)。
[00107] 図2を参照すると、これは、本発明のある実証的実施形態によるシステム200の模式図である。システム200は、図1のシステム100の実証的実施態様であってもよく、システム200のコンポーネントは、図1に示したコンポーネントまたはモジュールの内1つ以上、いくつか、または全部を含んでもよい。
[00108] システム200は、1つ以上の車両、例えば、車両210(「主」車両と呼んでもよい)と、他の車両211および212(「副」車両と呼んでもよい)とを含むことができる。車両210~212は、同じ経路に沿ってまたは異なる経路上、または同じ道路もしくは道路区分上または異なる道路、または同じ方向もしくは反対方向もしくは直交する方向、または他の同一でない方向に走行していてもよい。歩行者、サイクリスト、オートバイ運転者、スクータ、動物、ボールのような移動体または非移動体、窪み等、道路の危険物、飛行中のドローン、自己運転車両、自律車両、遠隔操縦車両、電気車両等というような、他のデバイス、エンティティ、および/またはユーザも現れても良く、またはシステム200の近隣にあってもよく、またはシステム200の一部であってもよい。そして、歩行者またはオードバイ運転者またはサイクリストというような、これらのいくつかも、これらがその場だけの方法または他の方法で主車両に動作可能に接続される場合、またはワイヤレス通信信号を主車両および/またはリモート・サーバおよび/またはシステム200の他のエンティティまたはユニットに送るおよび/または受信する能力が装備されている場合には、「副車両」と呼んでもよい。
[00109] システム200におけるユニットの各々は、データおよび/またはパケットを送受信することができる1つ以上の送受信機と、主車両210によって検知または収集されたデータの一部または全部を(部分的にまたは全体的に)処理することができるAIユニットまたはAIプロセッサまたはAIモジュールとを備えることもできる。
[00110] 外部またはリモート・サーバ/AIユニット270が、車両210~212の1つ以上、特に、主車両210と通信することができる(直接または間接的に)。外部またはリモート・サーバ/AIユニット270は、車両210~212の各々の外部にあり、車両210~212の各々から離れており、距離が離れていてもよく(例えば、車両210~212から100メートルまたは5,000メートルのところに位置してもよい)、または極端に距離が離れていてもよく(例えば、他の都市または他の州または他の国に位置し、セルラ通信リンクを含むIP通信ネットワークを通じてアクセス可能なリモート・クラウド・コンピューティング・サーバとして実装されてもよい)、または車両210~212もしくはこれらの一部に対して物理的に近隣にあってもよい。各車両210~212は、このような車両の1つ以上のセンサによって収集または検知されたデータを、外部またはリモート・サーバ/AIユニット270にアップロードする(またはリアル・タイムでもしくはほぼリアル・タイムで、または遅延ストリーミングもしくは後続ストリーミングによって、またはファイル・アップロードによって、またはデータ・アップロードによってストリーミングする)またそうでなければ送信することができ、このようなデータは、外部またはリモート・サーバ/AIユニット270によって処理することができる。一方外部またはリモート・サーバ/AIユニット270は、遠隔操縦コマンドを車両210~212の1つ以上に供給することができる。
[00111] 人間のテレオペレータのためのテレオペレータ端末/人間-機械インターフェース(HMI)255も、主車両210のような、車両の1つ以上と通信することができ(直接または間接的に)、人間のテレオペレータまたは機械ベースのテレオペレータが、リモートで主車両210と相互作用する、仲介する、操縦する、運転する、または制御する、またはリモート・コマンドもしくはリモート提案によって、またはリモートで得られたデータもしくはリモートで生成されたコマンドによって、その操縦に作用することを可能にすることができる。テレオペレータ端末/HMI255のHMIユニットは、例えば、タッチ・スクリーン、画面、ジョイスティック、タッチパッド、コンピュータ・マウス、ハンドル、ペダル、ギア・シフト・デバイス、マイクロフォン、スピーカ、拡張現実(AR)または仮想現実(VR)機器(例えば、ウェアラブル・デバイス、ヘルメット、ヘッドギア、めがね、ゴーグル、手袋等)、触覚エレメント(haptic element)、触覚エレメント(tactile element)、手袋、他のウェアラブル・エレメント、照明、アラーム等を含むことができる。
[00112] 随意に、テレオペレータ端末/HMI255は、外部またはリモート・サーバ/AIユニット270と通信することができる(または関連付けることができる)。例えば、1つ以上の条件に該当する場合、外部またはリモート・サーバ/AIユニット270は車両210の遠隔操縦制御を人間のテレオペレータに移すことができ、または車両210の遠隔操縦制御を人間のテレオペレータから剥奪することができ、または人間のテレオペレータが更に承認もしくは拒否するために、提案または推奨遠隔操縦コマンドを付与すること等ができる。
[00113] eNodeBまたはgNodeBまたは他の3Gまたは4GまたはLTEあたは4G-LTEまたは5Gネットワーク・エレメント、またはセルラ・タワーもしくはセルラ基地局もしくは固定セルラ送受信機のようなセルラ・ネットワーク・エレメント283が、更に、車両210と(そして、随意に、他の車両と、および/またはシステム200の他のユニットと)通信することもでき、車両210から、車両210の車両センサによって収集された検知データを受信することもでき、随意に、このようなデータのAI処理を、ローカルにセルラ・ネットワーク・エレメント283内部で、および/またはデータおよび/またはクエリを外部またはリモート・サーバ/AIユニット270に送ることによってリモートで実行することもでき、次いで遠隔操縦コマンドまたは遠隔操縦提案または他の遠隔操縦データを車両210に送信することもできる。
[00114] 同様に、同じ型または異なる型の1つ以上の送受信機を備えることができる、Wi-FI/V2X/衛星ベース/その他の(例えば、固定またはその場限りの)アクセス・ポイントまたは通信ノードであってもよい、アクセス・ポイント(AP)281が、更に、車両210と(そして、随意に、他の車両と、および/またはシステム200の他のユニットと)通信することもでき、車両210から、車両210の車両センサによって収集された検知データを受信することもでき、随意に、このようなデータのAI処理を、ローカルにAP281内部で実行することもでき、および/またはデータおよび/またはクエリを外部またはリモート・サーバ/AIユニット270に送ることによってリモートで実行することもでき、次いで遠隔操縦コマンドまたは遠隔操縦提案または他の遠隔操縦データを車両210に送信することもできる。
[00115] 同様に、1つ以上の道路脇または道路内または道路上インフラストラクチャ・エレメント(1つまたは複数)260が、更に、車両210と通信することもできる。このようなインフラストラクチャ・エレメント(1つまたは複数)260は、例えば、信号機、交通標識、道路標識、橋、トンネル、もののインターネット(IoT)デバイス、またはIP接続センサ等であってもよい。これらは、車両210から、車両210の車両センサによって収集された検知データを受信することができ、このようなデータのAI処理を、インフラストラクチャ・エレメント(1つまたは複数)260の内部でローカルに、および/またはデータおよび/またはクエリを外部またはリモート・サーバ/AIユニット270に送ることによってリモートに実行することができ、次いで遠隔操縦コマンドを車両210に送信することができる。
[00116] 随意に、他の車両211~212が、1つ以上のその場限りのネットワーク、DSRC、V2V、ピア・ツー・ピア通信、またはその他のプロトコルおよびトポロジによってというようにして、主車両210と直接および/または間接的に通信することもでき、車両210から検知データを受信することもでき、このようなデータのAI処理の一部または全部を、このような車両211~212の内部においてローカルに実行することもでき、および/またはデータおよび/またはクエリを外部またはリモート・サーバ/AIユニット270に送ることによってリモートに実行することもでき、次いで遠隔操縦コマンドを車両210に送信することもできる。
[00117] ある実施形態では、随意に、車両211~212は、更に、車両210の車両センサによって検知または収集されたデータを外部またはリモート・サーバ/AIユニット270および/またはシステム200の他のユニットにアップロードおよび/またはストリーミングするときに、主車両210を補助することができる。例えば、車両210は、ビデオを車両ビデオ・カメラによってキャプチャすることができ、このキャプチャしたビデオおよび/またはリアル・タイム・ストリーミング・ビデオを近隣の車両211に、これら2台の車両間の直接アドホックWi-Fiリンクを通じて送信することができる。更に、車両211は、テレオペレータ端末/HMI225のためまたはにおいてまたはによって使用されてもよい、このようなビデオを、外部またはリモート・サーバ/AIユニット270または他のプロセッサに、4G-LTE通信リンクまたは5G通信リンクを通じて、このデータは実際には主車両210によって検知された(そしてこれに属す)のであり中継車両211にではないという指示、およびこのデータに基づく遠隔操縦コマンドは主車両210に送信されるべきである(例えば、直接、またはこのようなコマンドが、これらは主車両210に向けられるという指示を含む間は、中継車両211を通じて間接的に)という指示と一緒に、中継するまたは送るまたは送信するまたはアップロードするまたはストリーミングすることができる。
[00118] ある実施形態では、随意に、副車両211自体も、例えば、このようなデータが、主車両210に影響を及ぼし、車両211のような副車両(1つまたは複数)にも影響を及ぼすと推定される道路の危険物または環境条件(例えば、霧、雪等)についての情報を含む場合、車両210から他のユニットに中継しているデータの一部または全部を利用することもできる。
[00119] ある実施形態では、データ(例えば、車両からアップロードされた検知データ、および/または車両に向けてダウンロードされたまたは送られた処理済みデータまたはコマンド)は、ブロードキャストまたはユニキャストまたはマルチキャストによって、または主車両と副車両および/またはインフラストラクチャ・エレメントおよび/または外部またはリモート・サーバもしくはAIユニットの内任意の部分集合との間にあるような、1つの1対1通信リンクによって、または1つの2点間通信リンクによって、または1対多点通信リンクもしくはチャネルによって、または様々な1対1通信リンク、または様々な2点間通信リンクの集合(set)もしくは一群(group)もしくは一団(batch)によって、いずれかの方向(上流および/または下流、アップリンクおよび/またはダウンリンク、アップロードおよび/またはダウンロード)に、半二重通信を使用してまたは全二重通信を使用して、随意に、追加の制御チャネルまたはメッセージ・チャネルまたはフィードバック・チャネルを用いて、あるいはこのような追加のチャネルを用いずに、送信することもできる。ある実施形態は、必ずしも特定の宛先のアドレスを知らなくても、IP接続を利用することができ、または1つの発信元から同じIPネットワーク上で待ち受けているかもしれない複数の受信先もしくは受信先の集合体へのデータの送信を、多くの受信ユニットが実際にこのような送信またはブロードキャストまたはマルチキャストまたはアップロードまたはアップリンクを待ち受けているのか否か、および/またはどのようにして待ち受けているのかについて、必ずしも前もってまたは送信の時点において知らなくても、許可してもよい。送信された情報の一部は、1つよりも多い宛先デバイス(または受信先、または車両、または道路ユーザ)に関連がある場合もあり、したがって、ある実施形態は、閾値数よりも多いIP宛先または受信先または情報コンシューマまたはデータ・プロセッサにデータを配信するときに、ブロードキャストおよび/またはマルチキャストを、一層効率的および/または遅延が少ないものとして利用することができる。
[00120] 図3を参照すると、これは本発明のある実証的実施形態による方法のフロー・チャートである。この方法は、システム100またはシステム200のユニットの1つ以上、または一部、または全て、またはは他の適したシステムもしくはデバイスによって実装することができる。
[00121] ある実施形態では、主車両が車両センサによってデータを検知し収集する(ブロック310)。各送受信機が、並行に、特定のIP宛先アドレスにアップロードする必要がある全パケットの一部を送信またはアップロードまたはストリーミングできるように、更に受信ユニットが、複数のワイヤレス・リンクから着信しているパケットを、整列された正しいデータ・ストリームに再組み立てする組み立てエンジンまたは再組み立てエンジンを利用するように、検知されたデータは、1つ以上のワイヤレス通信リンクを通じて、そして特に複数の車両送受信機が受け持つ複数のワイヤレスIP通信リンクで構成される接合(または集合、またはマルチリンク)仮想通信リンクを通じて、外部AIユニットにアップロードまたは送信される(ブロック320)。
[00122] 外部AIユニットは、随意に、他のソースからAIユニットに入手可能な他のデータ(例えば、天気データ、地震データ、交通データ等)と一緒に、車両検知データのAI処理を実行する(ブロック330)。
[00123] 外部AIユニット(および/またはテレオペレータ端末/HMI255を使用する人間のテレオペレータ)は、1つ以上の遠隔操縦コマンドを生成し、随意に、解除コマンドと共に、または車両が今外部AIユニットによって遠隔操縦されるように切り替えられるという信号と共に、これらを車両に返送する(ブロック340)。車両に送られる信号は、例えば、(a)遠隔操縦コマンド、(b)および/または更なる変換(conversion)または再フォーマットまたは変換(translation)をせずに、特定の受信先車両によって直ちに実行することができる直接遠隔操縦コマンド、および/または(c)特定の受信先車両が、特定の実行可能な車両内コマンドに変換(translate or convert)または再フォーマットする間接遠隔操縦コマンド、および/または(d)条件文および/または条件付きコマンドとして、および/またはブール演算子またはブール・ロジックを使用することによって表現される、車両への入力(例えば、「3秒以内に完全な停止に達することができる場合、そうしなさい。できない場合、車線を右車線に変更し、速度を40から20mphに下げなさい」)、および/または(e)車両のシステムが、車両内判断に達するためにこのような追加データ(例えば、天気データ、車両交通データ、地震データ、法執行システムからのデータ、他の車両(1つまたは複数)によっておよび/またはインフラストラクチャ・エレメントによって、および/またはIP接続センサまたはデバイスによって最近または以前に検知されたまたはアップロードされたまたはアップ・ストリーミングされたデータ)を利用できるように、リモートAIユニットまたはリモート・テレオペレータによって検知および/または処理および/または収集および/または取得されたデータを含む、車両への入力、および/または(f)制御データまたはメッセージング・データまたはフィードバック・データまたは他のメタデータ(例えば、タイムスタンプ/デートスタンプ、この送信が意図される車両の一意の識別子、データを供給または送信したリモートAIユニットまたはリモート・テレオペレータの一意の識別子、送られたデータが、従わなければならない厳しいコマンドか否かの指示、または受信先車両が受け入れるまたは拒否するまたは修正することができるまたはできないことは、選択肢または提案または推奨に過ぎないのか否かの指示等)、および/または他の型のデータまたは信号を表すことができる、または搬送することができる。
[00124] 加えてまたは代わりに、外部AIユニットまたはテレオペレータ端末/HMI255を使用する人間のテレオペレータは、車両の遠隔操縦を、他の人間のテレオペレータおよび/または他の機械ベースのテレオペレータに照会する(refer)または中継するまたは切り替えるまたは方向転換するまたは割り当てるまたは提出する(ブロック350)。すると、他の人間のテレオペレータおよび/または他の機械ベースのテレオペレータは、遠隔操縦コマンドを車両に供給する処理を進め、または更に他のエンティティに中継するもしくは方向転換する処理を進める。
[00125] 図4を参照すると、これは本発明のある実証的実施形態によるサブシステム400のブロック図(block-diagram illustration)である。サブシステム400は、車両の一部であってもよく、または車両内部にあってもよく、または車両のアドオン・ユニット(add-on unit)であってもよく、または車両上もしくは車両内に装着されてもよく、または車両内(in)もしくは車両内部(within)、または車両の下もしくは直下に埋め込まれてもまたは統合されてもよく、および/または車両コンポーネントとしてまたは車両のダッシュボードもしくは車両の通信ユニットの一部として実装されてもよく、またはそれ以外で車両と関連付けられてもよく、またはユーザもしくは運転手もしくは車両の乗員によって使用されてもよい。サブシステム400は、先に説明したシステム100またはシステム200の任意の車両、または本発明による他のデバイスもしくは装置の一部であってもよい。
[00126] サブシステム400は、複数の入力コネクタ401またはソケットまたはポートまたは出口または入口またはオス部またはメス部、あるいは他の入力インターフェースを備えることができ、サブシステム400が、機械的におよび/または物理的におよび/または電子的におよび/またはワイヤもしくはケーブルを通じて、および/または他の種類の接続を介して、1つ以上の車両センサ451(例えば、カメラ、撮像装置、ビデオ・カメラ、マイクロフォン、LIDARセンサ、RADARセンサ、近接センサ、温度センサ、湿度センサ等)に接続することを可能にし、更にサブシステム400がこのような車両センサから更には他の車両ユニット452(例えば、車両コンピュータ、車両プロセッサ、自己運転プロセッサ、自律運転プロセッサ、電気制御ユニット(ECU)454または電気制御モジュール、または電子制御ユニットもしくはモジュール、車両マッピング・システム、車両誘導サブシステム455、車両経路案内システム、汎地球測位ユニット(GPS)エレメントまたはシステム等)からデータを受信することを可能にする。
[00127] 随意に、メモリ・ユニット402(例えば、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)等)および/または記憶ユニット403(例えば、フラッシュ・メモリ、ソリッド・ステート・ドライブ(SSD)、ハード・ディスク・ドライブ(HDD)等)が、車両センサによって検知された(または車両センサから収集された)このようなデータを格納することができる。
[00128] 随意に、プロセッサ404は、特に、このようなデータを効率的に外部受信先またはリモート受信先に、1つ以上のワイヤレス通信リンクを通じてアップロードする目的のために、このようなデータを部分的にまたは完全に処理することができ、またはそれを再フォーマットもしくは変換することができ、それをエンコードまたは再エンコードまたはトランスコードすることができる。
[00129] サブシステム400は、随意に、AIプロセッサ415も備えることができ、AIプロセッサ415は、コマンドおよび/または信号を生成するために、検知データおよび/またはその他の既知の条件(例えば、車両の速度、位置等)のAI処理の一部または全てを実行することができる。生成されたコマンドおよび/または信号は、車両の自己運転または自律運転ユニットによって実行または利用される。他の実施形態では、このようなAIプロセッサが必ずしもサブシステム400に備えられる必要はなく、むしろ、それに接続されてもよく、またはサブシステム400に結合される(または動作可能に関連付けられる)車両AIユニット452の一部であってもよい。
[00130] パケット・アロケータ405は、各送受信機が、アップロードされるまたは送出されることを意図された、異なる一団または1組または1群の全パケットを送出または送信するように、リモート・エンティティまたは外部エンティティへの送信に意図されたパケットを、1つ以上の送受信機に割り当てることができる。随意に、リンク接合ユニット406は、動的な方法で、どの通信リンク(1つまたは複数)を利用するか、および/またはこのようなアップリンク送信のためにどの送受信機を利用するか、定める、決定する、構成する、および/または変更することができ、これによって、その場限りのまたは連続的な接合チャネルまたは接合マルチリンク接続を生成する。
[00131] パケット・アロケータ405および/またはリンク接合ユニット406は、このような複数の送受信機と協働して動作することができる。これらの送受信機は、サブシステム400の統合部分または内部部分または一体化部分または埋め込み部分である送受信機408であってもよく、および/またはサブシステム400の外部にあるが、このようなデータまたはパケットを送信に適した送受信機に転送することができる出力コネクタ407またはソケットまたはケーブルまたはワイヤ(または他の出力インターフェース)を通じてアクセス可能な送受信機453であってもよい。
[00132] ある実施形態では、随意に、サブシステム400が、車両の自己運転/自律運転/遠隔操縦ユニット456からデータを受信するため、および/またはこのようなユニットに車両の操縦または遠隔操縦のためにローカルで生成したコマンドおよび/またはリモートで生成されたコマンドを転送するため等で、車両の自己運転/自律運転/遠隔操縦ユニット456に接続されるまたは関連付けられるまたは結合されるのでもよく、あるいは通信してもよい。
[00133] 本発明のある実施形態は、“Remote transmission system”(リモート送信システム)と題する米国特許第7,948,933号に開示されている1つ以上のコンポーネント、ユニット、デバイス、システム、および/または方法を含むこともでき、または利用することもできる。この特許をここで引用したことにより、その内容全体が本願にも含まれるものとする。
[00134] 本発明のある実施形態は、“Broadband transmitter, broadband receiver, and methods thereof”(広帯域送信機、広帯域受信機、およびその方法)と題する米国特許第9,826565号に開示されている1つ以上のコンポーネント、ユニット、デバイス、システム、および/または方法を含むこともでき、または利用することもできる。この特許をここで引用したことにより、その内容全体が本願にも含まれるものとする。
[00135] 本発明のある実施形態は、“Device, system, and method of pre-processing and data delivery for multi-link communications and for media content”(マルチリンク通信およびメディア・コンテンツのための前処理およびデータ配信デバイス、システム、ならびに方法)と題し、国際公開第WO2018/203336A1号として公開されている、PCT国際出願第PCT/IL2018/050484号に開示されている1つ以上のコンポーネント、ユニット、デバイス、システム、および/または方法を含むこともでき、または利用することもできる。この特許をここで引用したことにより、その内容全体が本願にも含まれるものとする。
[00136] 本発明のある実施形態は、“Device, system, and method of wireless multiple-link vehicular communication”(ワイヤレス・マルチリンク車両通信のデバイス、システム、および方法)と題し、国際公開第WO2018/211488A1号として公開されている、PCT国際出願第PCT/IL2017/051331号に開示されている1つ以上のコンポーネント、ユニット、デバイス、システム、および/または方法を含むこともでき、または利用することもできる。この特許をここで引用したことにより、その内容全体が本願にも含まれるものとする。
[00137] ある実施形態では、システムは、車両用人工知能(AI)ユニットと関連付けられた車両プロセッサを備える。このシステムは、(a)車両の複数の車両センサから入力を受信し、(b)前記車両内部において前記入力の少なくとも第1部分をローカルに処理し、(c)車両ワイヤレス送信機によって、前記入力の少なくとも第2部分を、前記車両の外部に位置するリモート遠隔運転プロセッサにワイヤレスで送信し、(d)車両ワイヤレス受信機によって、前記リモート遠隔運転プロセッサから、リモート・ノードから受信したリモート計算処理結果をワイヤレスで受信し、(e)前記リモート計算処理結果に基づいて、(i)前記車両の自律運転ユニット、(ii)前記車両の遠隔運転ユニット、(iii)車両運転プロセッサ、(iv)車両コマンド変換ユニットの内少なくとも1つによって、車両操縦コマンドを実施するように構成される。
[00138] ある実施形態では、前記車両AIユニットと関連付けられた車両プロセッサが、前記車両操縦コマンドを前記車両の自律運転ユニットに転送し、次いで前記自律運転ユニットが、前記車両操縦コマンドに基づいて、前記車両を自律的に操縦する。ある実施形態では、前記車両AIユニットと関連付けられた車両プロセッサが、前記車両操縦コマンドを前記車両の遠隔運転ユニットに転送し、遠隔運転ユニットが前記車両操縦コマンドに基づいて前記車両を自律的に操縦する。
[00139] ある実施形態では、このシステムは、車両自律運転ユニットを備え、この車両自律運転ユニットが、(I)前記車両内において前記AIユニットによってローカルに生成された入力、および(II)前記リモート遠隔運転プロセッサから受信した前記車両操縦コマンドの双方に基づいて、前記車両を自律的に操縦するように構成される。
[00140] ある実施形態では、このシステムは、前記リモート遠隔運転プロセッサへの送信に先立って、前記入力の前記第2部分を縮小サイズ表現に動的にエンコードするダイナミック・エンコーダを備える。ある実施形態では、前記データ共有決定ユニットが、前記車両AIユニットによって前記車両内でローカルに計算されたローカル計算処理結果における前記車両AIユニットの確信度レベルを少なくとも考慮に入れることによって動作する。
[00141] ある実施形態では、このシステムは、通信チャネル・アロケータを備える。この通信チャネル・アロケータは、第1組の1つ以上の車両ワイヤレス送信機によるワイヤレス送信のために、第1車両センサからのデータを有する第1組のパケットを割り当て、更に第2組の1つ以上の車両ワイヤレス送信機によるワイヤレス送信のために、第2車両センサからのデータを有する第2組のパケットを割り当てる。
[00142] ある実施形態では、通信チャネル・アロケータが、1つ以上の車両送信機の内どれを第1組の送信機に含ませるか、そして1つ以上の車両送信機の内どれを第2組の送信機に含ませるか動的に決定する。
[00143] ある実施形態では、通信チャネル・アロケータが、1つ以上の車両送信機の内どれを第1組の送信機に含ませるか、そして1つ以上の車両送信機の内どれを第2組の送信機に含ませるか動的に決定し、第1組の送信機および第2組の送信機が、前記組の双方に共通である少なくとも1つの特定送信機を含む。
[00144] ある実施形態では、このシステムは、通信チャネル・アロケータを備える。この通信チャネル・アロケータは、第1リモート・プロセッサにおける処理のために、第1車両センサによって収集されたデータの前記第1リモート・プロセッサへのワイヤレス送信に第1ワイヤレス通信チャネルを割り当て、そして第2リモート・プロセッサにおける処理のために、第2車両センサから前記第2リモート・プロセッサへのデータのワイヤレス送信に第2ワイヤレス通信チャネルを割り当てる。
[00145] ある実施形態では、このシステムは、車両複合テレオペレータ操作ユニット(vehicular multiple tele-operators handling unit)を備え、この車両複合テレオペレータ操作ユニットが、(A)第1遠隔運転プロセッサから第1遠隔運転コマンドをワイヤレスで受信し、(B)第2遠隔運転プロセッサから第2遠隔運転コマンドをワイヤレスで受信し、(C)第1および第2遠隔運転コマンド間における不一致(inconsistency)を検出し、前記不一致が、矛盾(contradiction)、不釣り合いな組み合わせ(mismatch)、複製(duplication)、悪影響、矛盾する結果の内少なくとも1つを含み、(D)予め定められた規則に基づいて、または車両AIユニットを使用することにより、どの遠隔操縦コマンドを破棄し、どの遠隔操縦コマンドを前記車両において実行するか決定する。
[00146] ある実施形態では、前記リモート遠隔運転プロセッサが、副車両内に位置する移動遠隔運転プロセッサであり、車両AIユニットが、入力の前記第2部分を、前記副車両内に位置する遠隔運転プロセッサにワイヤレスで送信し、車両AIユニットが、前記副車両から、リモート計算処理結果をワイヤレスで受信し、車両AIユニットが、前記副車両からワイヤレスで受信した前記リモート計算処理結果に基づいて、前記車両操縦コマンドを生成する。
[00147] ある実施形態では、前記リモート遠隔運転プロセッサが、前記車両の外部にあり、非移動体交通インフラストラクチャ・エレメント内に位置する遠隔運転プロセッサであり、車両AIユニットが、前記非移動体交通インフラストラクチャ・エレメント内に位置する遠隔運転プロセッサに、入力の前記第2部分をワイヤレスで送信し、車両AIユニットが、前記非移動体交通インフラストラクチャ・エレメントから、外部計算処理結果をワイヤレスで受信し、車両AIユニットが、前記非移動体交通インフラストラクチャ・エレメントからワイヤレスで受信した前記リモート計算処理結果に基づいて、前記車両操縦コマンドを生成する。
[00148] ある実施形態では、このシステムは、通信ベース・マップ生成器を備える。この通信ベース・マップ生成器は、少なくとも(i)予め定められた閾値よりも低い実効ワイヤレス通信スループットを有する第1道路区分と、(ii)前記予め定められた閾値よりも高い実効ワイヤレス通信スループットを有する第2道路区分とを示す通信ベース・マップを生成する。
[00149] ある実施形態では、このシステムは、誘導経路生成器を備える。この誘導経路生成器は、少なくとも異なる経路区分において推定されたワイヤレス通信サービスの可用性レベルを考慮に入れることによって、前記車両のために誘導経路を生成または修正する。
[00150] ある実施形態では、このシステムは、誘導経路生成器を備える。この誘導経路生成器は、少なくとも(i)異なる経路区分において推定されたワイヤレス通信の可用性レベル、および(ii)前記車両の乗員に対する安全性要件に関する1つ以上の制約を考慮に入れることによって、前記車両のために誘導経路を生成または修正する。
[00151] ある実施形態では、このシステムは、誘導経路生成器を備える。この誘導経路生成器は、予め定められた閾値よりも高いワイヤレス通信可用性を有する道路区分を含むように、前記車両のために誘導経路を生成または修正することによって、自己運転車両である前記車両の走行の安全性を高める。
[00152] ある実施形態では、このシステムは、誘導経路生成器を備える。この誘導経路生成器は、前記車両の遠隔操縦が成功すると推定される道路区分を含むように、前記車両のために誘導経路を生成または修正することによって、遠隔操縦されることを支援する前記車両の走行の安全性を高める。
[00153] ある実施形態では、前記車両の自己運転ユニットが、1つ以上の特定の経路区分におけるワイヤレス通信の可用性に基づいて、前記車両の1つ以上の運転パラメータを動的に修正する。
[00154] ある実施形態では、前記車両の自己運転ユニットが、リモート機械ベースのテレオペレータまたは人間のテレオペレータから、あるいはリモートAI処理ユニットから受信した遠隔操縦コマンドに基づく前記車両のリモート遠隔操縦の推定成功レベルに基づいて、前記車両の1つ以上の運転パラメータを動的に修正する。
[00155] ある実施形態では、前記車両の自己運転ユニットが、特定の経路区分におけるワイヤレス通信可用性の低下に基づいて、前記車両の運転速度を動的に低下させる、または近隣車両からの距離を動的に広げる。
[00156] ある実施形態では、前記車両の自己運転ユニットが、特定の経路区分における前記車両のリモート遠隔操縦の推定成功レベルの低下に基づいて、前記車両の運転速度を動的に低下させる、または近隣車両からの距離を動的に広げる。
[00157] ある実施形態では、前記車両の自己運転ユニットが、前記車両から、リモート遠隔操縦端末またはリモートAI処理ユニットを含むリモート受信先へのワイヤレス・ビデオ・アップロードのスループット低下に基づいて、特定の経路区分において、前記車両の運転速度を動的に低下させる、または近隣車両からの距離を動的に広げる。
[00158] ある実施形態では、前記車両の外部に位置する外部AIモジュールが、前記車両AIユニットの代わりに、または車両内の人間の運転手の代わりに、前記車両の運転を引き継ぐ。
[00159] ある実施形態では、前記車両の外部に位置する外部AIモジュールが、前記車両AIユニットの代わりに、または車両内の人間の運転手の代わりに、前記車両の運転を引き継ぎ、前記外部AIモジュールが、リモートの人間のテレオペレータに、前記車両の遠隔操縦を選択的に照会する。
[00160] ある実施形態では、前記車両の外部に位置する外部AIモジュールが、前記車両AIユニットの代わりに、または車両内の人間の運転手の代わりに、前記車両の運転を引き継ぎ、前記外部AIモジュールが、(i)前記車両から受信したワイヤレス通信の品質、および(ii)前記車両の車両センサによって検知され前記外部AIモジュールにアップロードされた検知データの品質に基づいて、リモート遠隔操縦動作における信頼性レベルを調節する。
[00161] ある実施形態では、前記車両の1つの車両センサによって検知されたデータが、接合通信アップリンクを通じて、前記車両の外部に位置する外部AIユニットに送信され、(i)前記車両と関連付けられた第1ワイヤレス送信機によって第1ワイヤレス通信リンクを通じてアップロードされる第1組のパケットを割り当て、(ii)前記車両と関連付けられた第2ワイヤレス送信機によって第2ワイヤレス通信リンクを通じてアップロードされる第2組のパケットを割り当てることによって、前記車両の前記1つのセンサによって検知されたデータに対応するパケットが前記車両からアップロードされる。
[00162] ある実施形態では、前記接合通信アップリンクが、前記車両によって検知され前記1つ以上のリモートAIモジュールにアップロードされたデータに基づいて、前記車両のために遠隔操縦コマンドを生成する1つ以上のAIモジュールの信頼性レベルを高めるために、前記車両によって利用される。
[00163] ある実施形態では、前記接合通信アップリンクが、セルラ通信リンク、Wi-Fi通信リンク、V2X通信リンク、衛星ベース通信リンク、直接短距離通信(DSRC:Direct Short-Range Communication)通信リンクの任意の組み合わせの内2つ以上を選択することによって、前記車両と関連付けられた前記リンク接合ユニットによって動的に構築される。
[00164] ある実施形態では、車両送信機または車両と関連付けられた送信機が、前記車両の外部にある外部AIモジュールに、前記車両の1つ以上の車両センサによって検知されたデータをアップロードし、車両AIユニットが、前記外部AIモジュールから、前記車両に対する2つ以上の条件付き遠隔操縦コマンドの一団を受信し、特定の信頼性レベルで第1条件に該当する場合、第1遠隔操縦コマンドを実行し、特定の信頼性レベルで第2条件に該当する場合、第2遠隔操縦コマンドを実行する。
[00165] ある実施形態では、前記車両と関連付けられたワイヤレス送信機が、前記車両の外部にある外部AIモジュールに、前記車両の1つ以上の車両センサによって検知されたデータをアップロードし、車両AIユニットが、前記外部ALユニットから、前記検知データの車両内処理を実行する許可を受け、着信する遠隔操縦コマンドを待つのを回避する。
[00166] ある実施形態では、前記車両と関連付けられた送信機が、前記車両の外部にある外部AIモジュールに、前記車両の1つ以上の車両センサによって検知されたデータをアップロードし、複数のワイヤレス送受信機を使用して、前記車両に現在利用可能な実効ワイヤレス通信リソースに基づいて、前記外部AIモジュールへの前記データの有効なアップロードを可能にするために、前記データが前記車両内において少なくとも部分的に処理される。
[00167] ある実施形態では、前記車両と関連付けられた送信機が、前記車両の外部にある外部AIモジュールに、前記車両の1つ以上の車両センサによって検知されたデータをアップロードし、前記アップロードのために前記車両に現在利用可能な実効ワイヤレス通信リソースの品質指標が、予め定められた閾値よりも高い場合、外部AIモジュールが、外部AIモジュールによって生成された遠隔操縦コマンドに対して、第1確信度レベルを判定し、前記アップロードのために前記車両に現在利用可能な実効ワイヤレス通信リソースの品質指標が、前記予め定められた閾値よりも低い場合、外部AIモジュールが、外部AIモジュールによって生成された遠隔操縦コマンドに対して、第2の低下した確信度レベルを判定する。
[00168] ある実施形態では、前記車両と関連付けられた送信機が、前記車両の外部にある外部AIモジュールに、前記車両の1つ以上の車両センサによって検知されたデータをアップロードし、前記送信機が2つ以上の送信ユニットを備え、前記アップロードが、異なるパケットを互いに並列に処理およびアップロードする2つ以上のそれぞれのワイヤレス送信ユニットが同時に受け持つ2つ以上のワイヤレス通信リンクを備える接合ワイヤレス通信リンクを通じて、実行される。
[00169] ある実施形態では、前記車両と関連付けられた2つ以上の送信機が、前記車両の外部にある外部AIモジュールに、前記車両の1つ以上の車両センサによって検知されたデータをアップロードし、第1送信機が、前記外部AIモジュールに、前記車両の第1車両センサによって検知されたデータをワイヤレスで送信し、第2送信機が、前記外部AIモジュールに、前記車両の第2車両センサによって検知されたデータを同時にワイヤレスで送信する。
[00170] ある実施形態では、前記車両と関連付けられた2つ以上の送信機が、前記車両の外部にある外部AIモジュールに、前記車両の1つの車両センサによって検知されたデータをアップロードし、第1送信機が、前記外部AIモジュールに、前記車両の前記1つの車両センサによって検知されたデータのパケットの第1団をワイヤレスで送信し、第2送信機が、前記外部AIモジュールに、前記車両の前記1つの車両のセンサによって検知されたデータのパケットの第2団を、同時にワイヤレスで送信する。
[00171] ある実施形態では、前記車両と関連付けられた送信機が、前記車両の外部にある外部AIモジュールに、前記車両の1つ以上の車両センサによって検知されたデータをアップロードし、前記アップロードが、前記車両と関連付けられた2つ以上のそれぞれのワイヤレス送信機が受け持つ2つ以上のワイヤレス通信リンクの集合体を備える接合ワイヤレス通信リンクを通じて、実行される。
[00172] ある実施形態では、前記接合ワイヤレス通信アップリンクが、前記車両と関連付けられたリンク接合ユニットによって、セルラ通信リンク、Wi-Fi通信リンク、V2X通信リンク、衛星ベース通信リンク、直接短距離通信(DSRC:Direct Short-Range Communication)通信リンクの内任意の組み合わせで、2つ以上の通信リンクを選択することによって、動的に構築され、2つ以上の通信リンクが、異なるパケットを互いに並列に同時に処理およびアップロードする。
[00173] ある実施形態では、前記車両の車両AIユニットが、複数の車両と全ての車両の外部にある少なくとも1つのAIユニットとの間で分散されたAIユニットの多重ピア・ネットワークの一部であり、前記AIユニットの多重ピア・ネットワークが、AI遠隔操縦コマンドを前記AIユニットの多重ピア・ネットワークの少なくとも1つの車両に供給する。
[00174] ある実施形態では、前記車両の車両AIユニットが、(I)他の車両のセンサによって検知されたデータのAI処理を実行し、および(II)前記他の車両に適したAIベース遠隔操縦コマンドに到達し、(III)前記遠隔操縦コマンドを前記他の車両に送信するように動作する。
[00175] ある実施形態では、リモート遠隔操縦端末から前記車両の前記車両プロセッサに送られるコマンドが、前記車両プロセッサと関連付けられた複数のワイヤレス通信送受信機を通じて送信される。
[00176] ある実施形態では、前記車両プロセッサが、(i)同じ送受信機または異なる送受信機を通じて着信する2つ以上の繰り返し遠隔操縦コマンドを識別するように動作し、(ii)前記繰り返し遠隔操縦コマンドの内第1コマンドを実行し、(iii)繰り返し遠隔操縦コマンドの内1つ以上の他のコマンドを破棄する。
[00177] ある実施形態では、前記車両と関連付けられ、異なる瞬時性能特性を有する2つ以上のワイヤレス送受信機が、前記車両からリモート遠隔操縦端末にデータをアップロードするため、または前記リモート遠隔操縦端末から前記車両にデータをダウンロードするために、同時に利用される。
[00178] ある実施形態では、前記車両と関連付けられた2つ以上のワイヤレス送受信機が、スループット、グッドプット、実効アップロード帯域幅、実効ダウンロード帯域幅、レイテンシ、遅延、誤り率、誤りパケット率、欠落パケット率の内少なくとも1つの異なる瞬時的性能特性を有する。
[00179] ある実施形態では、前記車両と関連付けられたリンク接合ユニットが、前記車両に利用可能な複数のワイヤレス通信送受信機を跨いだアップロードのために、パケットを一緒に接合し割り当てることによって、前記車両に向けられたリモート生成遠隔操縦コマンドの安全性または精度または確信度レベルを高めるように動作する。
[00180] ある実施形態では、1つ以上の車両センサによって検知されたデータを表すパケットの少なくとも一部が、前記車両からリモート遠隔操縦端末またはリモートAIモジュールに、前記車両の運転手ではない乗員のスマートフォンまたはタブレットの送受信機を通じてアップロードされる。ある実施形態では、前記システムが前記車両を備える。
[00181] ある実施形態では、装置がセルラ・インフラストラクチャ・エレメントを含み、このセルラ・インフラストラクチャ・エレメントが、(a)1つ以上の車両センサの入力に対応するパケットを、車両の車両送信機からワイヤレスで受信するセルラ受信機と、(b)前記セルラ・インフラストラクチャ・エレメントの一部をなし、前記パケットを処理し車両操縦コマンドを生成するデータ・プロセッサと、(c)前記車両のワイヤレス受信機に、前記セルラ・インフラストラクチャ・エレメントによって生成された前記車両操縦コマンドを示す信号を、ワイヤレスで送信するワイヤレス送信機とを備える。ある実施形態では、セルラ・インフラストラクチャ・エレメントが、セルラ基地局、セルラ送信タワー、eNodeBエレメント、gNodeBエレメント、固定非移動セルラ送受信ノード、セルラ・エッジ・インフラストラクチャ・エレメント、エッジ・コンピューティング・エレメントの内少なくとも1つを備える。
[00182] ある実施形態では、デバイスがWi-Fiアクセス・ポイントを含み、このWi-Fiアクセス・ポイントが、(a)1つ以上の車両センサの入力に対応するパケットを、車両の車両送信機からワイヤレスで受信するWi-Fi受信機と、(b)前記Wi-Fiアクセス・ポイントの一部をなし、前記パケットを処理し車両操縦コマンドを生成するデータ・プロセッサと、(c) 前記車両のワイヤレス受信機に、前記Wi-Fiアクセス・ポイントによって生成された前記車両操縦コマンドを示す信号を、ワイヤレスで送信するワイヤレス送信機とを備える。ある実施形態では、前記Wi-Fiアクセス・ポイントが、前記パケットの第1部分をローカルに処理し、リモート遠隔運転プロセッサまたはリモート遠隔操縦端末によるリモート処理のために、前記パケットの第2部分を転送する。
[00183] ある実施形態では、デバイスが衛星ベース・アクセス・ポイントを含み、この衛星ベース・アクセス・ポイントが、(a)1つ以上の車両センサの入力に対応するパケットを、車両の車両送信機からワイヤレスで受信するワイヤレス受信機と、(b)前記衛星ベース・アクセス・ポイントの一部をなし、前記パケットを処理し車両操縦コマンドを生成するデータ・プロセッサと、(c)前記車両のワイヤレス受信機に、前記衛星ベース・アクセス・ポイントによって生成された前記車両操縦コマンドを示す信号をワイヤレスで送信する衛星ベース・ワイヤレス送信機とを備える。ある実施形態では、前記衛星ベース・アクセス・ポイントが、前記パケットの第1部分をローカルに処理し、リモート遠隔運転プロセッサまたはリモート遠隔操縦端末によるリモート処理のために、前記パケットの第2部分を転送する。
[00184] ある実施形態では、デバイスがDSRCまたはV2Xアクセス・ポイントを含み、このDSRCまたはV2Xアクセス・ポイントが、(a)1つ以上の車両センサの入力に対応するパケットを、車両の車両送信機からワイヤレスで受信するワイヤレス受信機と、(b) 前記アクセス・ポイントの一部をなし、前記パケットを処理し車両操縦コマンドを生成するデータ・プロセッサと、(c)前記車両のワイヤレス受信機に、前記衛星ベース・アクセス・ポイントによって生成された前記車両操縦コマンドを示す信号をワイヤレスで送信するワイヤレス送信機とを備える。ある実施形態では、前記DSRCまたはV2Xアクセス・ポイントが、前記パケットの第1部分をローカルに処理し、リモート遠隔運転プロセッサまたはリモート遠隔操縦端末によるリモート処理のために、前記パケットの第2部分を転送する。
[00185] 本発明の実施形態によれば、計算、処理(operations)、および/または判定は、1つのデバイスの内部においてローカルに実行されてもよく、または複数のデバイスによってもしくは複数のデバイスに跨がって実行されてもよく、または生データおよび/または処理されたデータおよび/または処理結果を交換するために通信チャネルを随意に利用することによって、部分的にローカルにそして部分的にリモートに(例えば、リモート・サーバにおいて)実行されてもよい。
[00186] 本明細書における論述には、実証を目的とするために、有線リンクおよび/または有線通信に関するものがあるが、実施形態にはこれに関して限定されないものもあり、逆に、優先通信および/またはワイヤレス通信を利用してもよく、1つ以上の優先および/またはワイヤレス・リンクを含んでもよく、優先通信および/またはワイヤレス通信の1つ以上のコンポーネントを利用してもよく、および/またはワイヤレス通信の1つ以上の方法またはプロトコルまたは規格を利用してもよい。
[00187] ある実施形態は、汎用コンピュータではない特殊目的機械または特殊目的デバイスを使用することによって、あるいは汎用でない(non-generic)コンピュータまたは一般的でない(non-general)コンピュータもしくは機械を使用することによって実施されてもよい。このようなシステムまたはデバイスは、「汎用コンピュータ」(generic computer)の一部でなく、そして「一般目的用コンピュータ」(general purpose computer)の一部でない1つ以上のコンポーネントまたはユニットまたはモジュール、例えば、セルラ送受信機、セルラ送信機、セルラ受信機、GPSユニット、位置判定ユニット、加速度計(1つまたは複数)、ジャイロスコープ(1つまたは複数)、デバイス方位検出器またはセンサ、デバイス測位検出器またはセンサ等を利用してもよく、または備えてもよい。
[00188] ある実施形態は、自動方法または自動プロセス、または機械実装方法もしくはプロセスとして、またはこれらを利用することによって実施されてもよく、または半自動もしくは部分的自動方法、または半自動もしくは部分的自動プロセスとして、またはコンピュータもしくは機械もしくはシステムもしくは他のデバイスによって実行(executed or performed)することができる1組のステップまたは動作として実施されてもよい。
[00189] ある実施形態は、コードまたはプログラム・コードまたは機械読み取り可能命令または機械読み取り可能コードを使用することによって実施されてもよい。これらのプログラムまたはコードまたは命令は、これらがプロセッサまたは機械またはコンピュータによって実行されると、このようなプロセッサまたは機械またはコンピュータに、本明細書において説明したように方法またはプロセッサを実行させるように、非一時的記憶媒体または非一時的記憶製品(storage article)(例えば、CD-ROM、DVD-ROM、物理メモリ・ユニット、物理記憶ユニット)に格納されてもよい。このようなコードまたは命令は、例えば、ソフトウェア、ソフトウェア・モジュール、アプリケーション、プログラム、サブルーチン、命令、命令集合、コンピューティング・コード、ワード、値、シンボル、文字列、変数、ソース・コード、コンパイル・コード(compiled code)、インタプリタ・コード(interpreted code)、実行可能コード、スタティック・コード、ダイナミック・コードの内1つ以上であってもよく、あるいは含んでもよく、高度プログラミング言語、低度プログラミング言語、オブジェクト指向プログラミング言語、ビジュアル・プログラミング言語、コンパイル・プログラミング言語、インタプリタ・プログラミング・言語、C、C++、C#、Java、JavaScript、SQL、Ruby on Rails、Go、Cobol、Fortran、ActionScript、AJAX、XML、JSON、Lisp、Eiffel、Verilog、ハードウェア記述言語(HDL、BASIC、VisualBASIC、Matlab、Pascal、HTML、HTML5、CSS、Perl、Python、PHP、機械言語、機械コード、アセンブリ言語等で書かれたコードまたは命令を含む(がこれらに限定されるのではない)。
[00190] 本明細書において、例えば、「処理する」、「計算する」(computing)、「計算する」(calculating)、「決定する」、「確立する」(establishing)、「分析する」、「チェックする」、「検出する」、「測定する」等のような用語を利用する論述は、レジスタおよび/またはアキュミュレータおよび/またはメモリ・ユニットおよび/または記憶ユニット内において物理(例えば、電子)量として表現されるデータを自動的および/または自律的に操作し、および/または他のデータに変換することができる、あるいは他の適した動作を実行することができる、プロセッサ、コンピュータ、コンピューティング・プラットフォーム、コンピューティング・システム、あるいは他の電子デバイスまたはコンピューティング・デバイスの動作(1つまたは複数)および/またはプロセス(1つまたは複数)を指すとしてもよい。
[00191] 「複数」(plurality)および「複数の」(a plurality)という用語は、本明細書において使用する場合、例えば、「複数」(multiple)または「2つ以上」(two or more)を含む。例えば、「複数の項目」は2つ以上の項目を含む。
[00192] 「一実施形態」(one embodiment)、「実施形態」(an embodiment)、「実証的実施形態」(demonstrative embodiment)、「種々の実施形態」(various embodiments)、「ある実施形態」(some embodiments)、および/または同様の用語は、そのように記述される実施形態(1つまたは複数)が、随意に、特定の特徴、構造、または特性(characteristic)を含んでもよいが、あらゆる実施形態が必ずしもこの特定の特徴、構造、または特性(characteristic)を含む訳ではない。更に、「一実施形態では」(in one embodiment)という語句の反復使用は、必ずしも同じ実施形態を指す訳ではないが、同じ実施形態を指す場合もある。同様に、「ある実施形態では」(in some embodiments)という語句の反復使用は、必ずしも同じ1組または一群の実施形態を指す訳ではないが、同じ1組または一群の実施形態を指す場合もある。
[00193] 本明細書において使用する場合、そして特に指定しない限り、項目または物体を記述するための「第1」、「第2」、「第3」、「第4」等というような序数形容詞の利用は、単に、このような同様の項目または物体の異なる実例が引用されていることを示すに過ぎず、そのように記述された項目または物体が、時間的に、空間的に、格付けにおいて、または任意の他の整列方法においても、まるで特定の所与の順序でなければならないかのように暗示することを意図するのではない。
[00194] ある実施形態は、種々のデバイスおよびシステムにおいて、またはそれらと共に使用されてもよく、例えば、パーソナル・コンピュータ(PC)、デスクトップ・コンピュータ、移動体コンピュータ、ラップトップ・コンピュータ、ノートブック・コンピュータ、タブレット・コンピュータ、サーバ・コンピュータ、ハンドヘルド・コンピュータ、ハンドヘルド・デバイス、パーソナル・ディジタル・アシスタント(PDA)デバイス、ハンドヘルドPDAデバイス、タブレット、機内搭載デバイス、機外デバイス、ハイブリッド・デバイス、車両用デバイス、車両用以外のデバイス、移動体または可搬型デバイス、コンシューマ・デバイス、非移動体または非可搬型デバイス、アプライアンス、ワイヤレス通信局、ワイヤレス通信デバイス、ワイヤレス・アクセス・ポイント(AP)、有線あるいはワイヤレス・ルータまたはゲートウェイまたはスイッチまたはハブ、有線またはワイヤレス・モデム、ビデオ・デバイス、オーディオ・デバイス、オーディオ-ビデオ(A/V)デバイス、有線またはワイヤレス・ネットワーク、ワイヤレス・エリア・ネットワーク、ワイヤレス・ビデオ・エリア・ネットワーク(WVAN)、ローカル・エリア・ネットワーク(LAN)、ワイヤレスLAN(WLAN)、パーソナル・エリア・ネットワーク(PAN)、ワイヤレスPAN(WPAN)等において、またはそれらと共に使用されてもよい。
[00195] ある実施形態は、一方向および/または双方向無線通信システム、セルラ無線-電話通信システム、移動体フォン、セルラ電話機、ワイヤレス電話機、個人通信システム(PCS)デバイス、ワイヤレス通信能力を組み込んだPDAまたはハンドヘルド・デバイス、移動体または可搬型汎地球測位システム(GPS)デバイス、GPS受信機または送受信機またはチップを組み込んだデバイス、RFIDエレメントまたはチップを組み込んだデバイス、多入力多出力(MIMO)送受信機またはデバイス、単一入力多出力(SIMO)送受信機またはデバイス、多入力単一出力(MISO)送受信機またはデバイス、1つ以上の内部アンテナおよび/または外部アンテナを有するデバイス、ディジタル・ビデオ・ブロードキャスト(DVB)デバイスまたはシステム、多標準無線デバイスまたはシステム、有線またはワイヤレス・ハンドヘルド・デバイス、例えば、スマートフォン、ワイヤレス・アプリケーション・プロトコル(WAP)デバイス等と共に使用されてもよい。
[00196] ある実施形態は、「アプリ」またはアプリケーションを備えてもよく、またはこれを使用することによって実施されてもよい。「アプリ」またはアプリケーションは、「アプリ・ストア」または「アプリケーション・ストア」から、無料でまたは有料で、ダウンロードまたは入手することができ、あるいは、コンピューティング・デバイスまたは電子デバイス上に予めインストールされている場合もあり、あるいは、それ以外ではこのようなコンピューティング・デバイスまたは電子デバイスに輸送されおよび/またはインストールすることもできる。
[00197] 本発明の1つ以上の実施形態を参照して本明細書において説明した機能、動作、コンポーネント、および/または特徴は、本明細書の1つ以上の他の実施形態を参照して本明細書において説明した1つ以上の他の機能、動作、コンポーネント、および/または特徴と組み合わせてもよく、あるいはこれらと組み合わせて利用されてもよい。このように、本発明は、任意の可能なあるいは適した組み合わせ、再構成、組み立て、再組み立て、または本明細書において説明されたモジュールまたは機能またはコンポーネントの一部あるいは全部のその他の利用を、これらが以上の論述の異なる場所または異なる章において論じられたのであっても、またはこれらが異なる図面もしくは複数の図面に跨がって示されたのであっても、含んでもよい。
[00198] 以上、本明細書では本発明のいくつかの実証的実施形態の特定の要点について図示および説明したが、種々の修正、置換、変更、または均等が当業者には想起されよう。したがって、特許請求の範囲は、このような修正、置換、変更、および均等の全てに適用されることを意図するものとする。

Claims (47)

  1. 車両人工知能ユニットと関連付けられた車両プロセッサを備えるシステムであって、
    車両の複数の車両センサから入力を受信し、
    前記車両内部において前記入力の少なくとも第1部分をローカルに処理し、
    車両ワイヤレス送信機によって、前記入力の少なくとも第2部分を、前記車両の外部に位置するリモート遠隔運転プロセッサにワイヤレスで送信し、
    車両ワイヤレス受信機によって、前記リモート遠隔運転プロセッサから、リモート・ノードから受信したリモート計算処理結果をワイヤレスで受信し、
    前記リモート計算処理結果に基づいて、(i)前記車両の自律運転ユニット、(ii)前記車両の遠隔運転ユニット、(iii)車両運転プロセッサ、(iv)車両コマンド変換ユニットの内少なくとも1つによって、車両操縦コマンドを実施し、
    前記車両の自己運転ユニットが、リモート機械ベースのテレオペレータ、または人間のテレオペレータ、またはリモート人工知能処理ユニットから受信した遠隔操縦コマンドに基づく、前記車両の成功した遠隔操縦の予め定められた閾値レベルを基準とした前記車両のリモート遠隔操縦の推定成功レベルに基づいて、前記車両の1つ以上の運転パラメータを動的に修正する、
    ように構成される、システム。
  2. 請求項1記載のシステムにおいて、前記車両人工知能ユニットと関連付けられた前記車両プロセッサが、前記車両操縦コマンドを前記車両の自律運転ユニットに転送し、次いで前記自律運転ユニットが、前記車両操縦コマンドに基づいて、前記車両を自律的に操縦する、システム。
  3. 請求項1~2のいずれか1項記載のシステムにおいて、
    前記車両人工知能ユニットと関連付けられた前記車両プロセッサが、前記車両操縦コマンドを前記車両の遠隔運転ユニットに転送し、次いで前記遠隔運転ユニットが前記車両操縦コマンドに基づいて前記車両を自律的に操縦する、システム。
  4. 請求項1~3のいずれか1項記載のシステムであって、更に、
    車両自律運転ユニットを備え、前記車両自律運転ユニットが、(I)前記車両内において前記車両人工知能ユニットによってローカルに生成された入力、および(II)前記リモート遠隔運転プロセッサから受信した前記車両操縦コマンドの双方に基づいて、前記車両を自律的に操縦するように構成される、システム。
  5. 請求項1~4のいずれか1項記載のシステムであって、
    前記リモート遠隔運転プロセッサへの送信に先立って、前記入力の前記第2部分を縮小サイズ表現に動的にエンコードするダイナミック・エンコーダを備える、システム。
  6. 請求項1~5のいずれか1項記載のシステムであって、
    前記入力のどの部分を前記リモート遠隔運転プロセッサに送信するか、更に前記入力のどの他の部分を前記車両人工知能ユニット内部でローカルに処理するか動的に決定するデータ共有決定ユニットを備える、システム。
  7. 請求項1~5のいずれか1項記載のシステムであって、
    前記入力のどの部分を前記リモート遠隔運転プロセッサに送信するか、更に前記入力のどの他の部分を前記車両人工知能ユニット内部でローカルに処理するか動的に決定するデータ共有決定ユニットを備え、
    前記データ共有決定ユニットが、前記車両人工知能ユニットによって前記車両内でローカルに計算されたローカル計算処理結果における前記車両人工知能ユニットの確信度レベルを少なくとも考慮に入れることによって動作する、システム。
  8. 請求項1~7のいずれか1項記載のシステムであって、
    通信チャネル・アロケータを備え、
    第1組の1つ以上の車両ワイヤレス送信機によるワイヤレス送信のために、第1車両センサからのデータを有する第1組のパケットを割り当て、
    第2組の1つ以上の車両ワイヤレス送信機によるワイヤレス送信のために、第2車両センサからのデータを有する第2組のパケットを割り当てる、システム。
  9. 請求項8記載のシステムにおいて、
    前記通信チャネル・アロケータが、1つ以上の車両送信機の内どれを第1組の送信機に含ませるか、そして1つ以上の車両送信機の内どれを第2組の送信機に含ませるか動的に決定する、システム。
  10. 請求項8記載のシステムにおいて、
    前記通信チャネル・アロケータが、1つ以上の車両送信機の内どれを第1組の送信機に含ませるか、そして1つ以上の車両送信機の内どれを第2組の送信機に含ませるか動的に決定し、
    第1組の送信機および第2組の送信機が、前記組の双方に共通である少なくとも1つの特定送信機を含む、システム。
  11. 請求項1~10のいずれか1項記載のシステムであって、
    通信チャネル・アロケータを備え、
    第1リモート・プロセッサにおける処理のために、第1車両センサによって収集されたデータの前記第1リモート・プロセッサへのワイヤレス送信に第1ワイヤレス通信チャネルを割り当て、
    第2リモート・プロセッサにおける処理のために、第2車両センサから前記第2リモート・プロセッサへのデータのワイヤレス送信に第2ワイヤレス通信チャネルを割り当てる、システム。
  12. 請求項1~11のいずれか1項記載のシステムであって、
    車両複合テレオペレータ操作ユニットを備え、
    第1遠隔運転プロセッサから第1遠隔運転コマンドをワイヤレスで受信し、
    第2遠隔運転プロセッサから第2遠隔運転コマンドをワイヤレスで受信し、
    第1および第2遠隔運転コマンド間における不一致を検出し、前記不一致が、矛盾、不釣り合いな組み合わせ、複製、悪影響、矛盾する結果の内少なくとも1つを含み、
    予め定められた規則に基づいて、または車両人工知能ユニットを使用することにより、どの遠隔運転コマンドを破棄し、どの遠隔運転コマンドを前記車両において実行するか決定する、システム。
  13. 請求項1~12のいずれか1項記載のシステムにおいて、
    前記リモート遠隔運転プロセッサが、副車両内に位置する移動遠隔運転プロセッサであり、
    前記車両人工知能ユニットが、入力の前記第2部分を、前記副車両内に位置する前記移動遠隔運転プロセッサにワイヤレスで送信し、
    前記車両人工知能ユニットが、前記副車両から、リモート計算処理結果をワイヤレスで受信し、
    前記車両人工知能ユニットが、前記副車両からワイヤレスで受信した前記リモート計算処理結果に基づいて、前記車両操縦コマンドを生成する、システム。
  14. 請求項1~13のいずれか1項記載のシステムにおいて、
    前記リモート遠隔運転プロセッサが、前記車両の外部にあり、非移動体交通インフラストラクチャ・エレメント内に位置する遠隔運転プロセッサであり、
    前記車両人工知能ユニットが、前記非移動体交通インフラストラクチャ・エレメント内に位置する前記遠隔運転プロセッサに、入力の前記第2部分をワイヤレスで送信し、
    前記車両人工知能ユニットが、前記非移動体交通インフラストラクチャ・エレメントから、外部計算処理結果をワイヤレスで受信し、
    前記車両人工知能ユニットが、前記非移動体交通インフラストラクチャ・エレメントからワイヤレスで受信した前記リモート計算処理結果に基づいて、前記車両操縦コマンドを生成する、システム。
  15. 請求項1~14のいずれか1項記載のシステムであって、更に、
    少なくとも(i)予め定められた閾値よりも低い実効ワイヤレス通信スループットを有する第1道路区分と、(ii)前記予め定められた閾値よりも高い実効ワイヤレス通信スループットを有する第2道路区分とを示す通信ベース・マップを生成する、通信ベース・マップ生成器を備える、システム。
  16. 請求項1~15のいずれか1項記載のシステムであって、更に、
    少なくとも異なる経路区分において推定されたワイヤレス通信サービスの可用性レベルを考慮に入れることによって、前記車両のために誘導経路を生成または修正する、誘導経路生成器を備える、システム。
  17. 請求項1~16のいずれか1項記載のシステムであって、更に、
    少なくとも(i)異なる経路区分において推定されたワイヤレス通信の可用性レベル、および(ii)前記車両の乗員に対する安全性要件に関する1つ以上の制約を考慮に入れることによって、前記車両のために誘導経路を生成または修正する、誘導経路生成器を備える、システム。
  18. 請求項1~17のいずれか1項記載のシステムであって、更に、
    予め定められた閾値よりも高いワイヤレス通信可用性を有する道路区分を含むように、前記車両のために誘導経路を生成または修正することによって、自己運転車両である前記車両の走行の安全性を高める、誘導経路生成器を備える、システム。
  19. 請求項1~18のいずれか1項記載のシステムであって、
    前記車両の成功した遠隔操縦の予め定められた閾値レベルを基準として前記車両の遠隔操縦が成功すると推定される道路区分を含むように、前記車両のために誘導経路を生成または修正することによって、遠隔操縦されることを支援する前記車両の走行の安全性を高める、誘導経路生成器を備える、システム。
  20. 請求項1~19のいずれか1項記載のシステムにおいて、
    前記車両の自己運転ユニットが、1つ以上の特定の経路区分におけるワイヤレス通信の可用性に基づいて、前記車両の1つ以上の運転パラメータを動的に修正する、システム。
  21. 請求項1~20のいずれか1項記載のシステムにおいて、
    前記車両の自己運転ユニットが、特定の経路区分におけるワイヤレス通信可用性の低下に基づいて、前記車両の運転速度を動的に低下させる、または近隣車両からの距離を動的に広げる、システム。
  22. 請求項1~21のいずれか1項記載のシステムにおいて、
    前記車両の自己運転ユニットが、特定の経路区分における前記車両のリモート遠隔操縦の推定成功レベルの低下に基づいて、前記車両の運転速度を動的に低下させる、または近隣車両からの距離を動的に広げる、システム。
  23. 請求項1~22のいずれか1項記載のシステムにおいて、
    前記車両の自己運転ユニットが、前記車両からリモート遠隔操縦端末またはリモート人工知能処理ユニットを含むリモート受信先へのワイヤレス・ビデオ・アップロードのスループット低下に基づいて、特定の経路区分において、前記車両の運転速度を動的に低下させる、または近隣車両からの距離を動的に広げる、システム。
  24. 請求項1~23のいずれか1項記載のシステムにおいて、
    前記車両の外部に位置する外部人工知能モジュールが、前記車両人工知能ユニットの代わりに、または車両内の人間の運転手の代わりに、前記車両の運転を引き継ぐ、システム。
  25. 請求項1~24のいずれか1項記載のシステムにおいて、
    前記車両の外部に位置する外部人工知能モジュールが、前記車両人工知能ユニットの代わりに、または車両内の人間の運転手の代わりに、前記車両の運転を引き継ぎ、
    前記外部人工知能モジュールが、リモートの人間のテレオペレータに、前記車両の遠隔操縦を選択的に照会する、システム。
  26. 請求項1~25のいずれか1項記載のシステムにおいて、
    前記車両の外部に位置する外部人工知能モジュールが、前記車両人工知能ユニットの代わりに、または車両内の人間の運転手の代わりに、前記車両の運転を引き継ぎ、
    前記外部人工知能モジュールが、(i)前記車両から受信したワイヤレス通信の品質、および(ii)前記車両の車両センサによって検知され前記外部人工知能モジュールにアップロードされた検知データの品質に基づいて、リモート遠隔操縦動作における信頼性レベルを調節する、システム。
  27. 請求項1~26のいずれか1項記載のシステムにおいて、
    前記車両の1つの車両センサによって検知されたデータが、接合通信アップリンクを通じて、前記車両の外部に位置する外部人工知能ユニットに送信され、
    (i)前記車両と関連付けられた第1ワイヤレス送信機によって第1ワイヤレス通信リンクを通じてアップロードされる第1組のパケットを割り当て、(ii)前記車両と関連付けられた第2ワイヤレス送信機によって第2ワイヤレス通信リンクを通じてアップロードされる第2組のパケットを割り当てることによって、前記車両の前記1つの車両センサによって検知されたデータに対応するパケットが、前記車両からアップロードされる、システム。
  28. 請求項1~27のいずれか1項記載のシステムにおいて、
    前記接合通信アップリンクが、前記車両によって検知され前記1つ以上のリモート人工知能モジュールにアップロードされたデータに基づいて、前記車両のために遠隔操縦コマンドを生成する1つ以上の人工知能モジュールの信頼性レベルを高めるために、前記車両によって利用される、システム。
  29. 請求項1~28のいずれか1項記載のシステムにおいて、
    前記接合通信アップリンクが、
    セルラ通信リンク、
    Wi-Fi通信リンク、
    V2X通信リンク、
    衛星ベース通信リンク、
    直接短距離通信(DSRC)通信リンク、
    の任意の組み合わせの内2つ以上を選択することによって、前記車両と関連付けられたリンク接合ユニットによって動的に構築される、システム。
  30. 請求項1~29のいずれか1項記載のシステムにおいて、
    前記車両送信機が、前記車両の外部にある外部人工知能モジュールに、前記車両の1つ以上の車両センサによって検知されたデータをアップロードし、
    前記車両人工知能ユニットが、前記外部人工知能モジュールから、前記車両に対する2つ以上の条件付き遠隔操縦コマンドの一団を受信し、特定の信頼性レベルで第1条件に該当する場合、第1遠隔操縦コマンドを実行し、特定の信頼性レベルで第2条件に該当する場合、第2遠隔操縦コマンドを実行する、システム。
  31. 請求項1~30のいずれか1項記載のシステムにおいて、
    前記車両と関連付けられたワイヤレス送信機が、前記車両の外部にある外部人工知能モジュールに、前記車両の1つ以上の車両センサによって検知されたデータをアップロードし、
    前記車両人工知能ユニットが、前記外部人工知能モジュールから、前記検知データの車両内処理を実行する許可を受け、着信する遠隔操縦コマンドを待つのを回避する、システム。
  32. 請求項1~31のいずれか1項記載のシステムにおいて、
    前記車両と関連付けられた送信機が、前記車両の外部にある外部人工知能モジュールに、前記車両の1つ以上の車両センサによって検知されたデータをアップロードし、複数のワイヤレス送受信機を使用して、前記車両に現在利用可能な実効ワイヤレス通信リソースに基づいて、前記外部人工知能モジュールへの前記データの有効なアップロードを可能にするために、前記データが前記車両内において少なくとも部分的に処理される、システム。
  33. 請求項1~32のいずれか1項記載のシステムにおいて、
    前記車両と関連付けられた送信機が、前記車両の外部にある外部人工知能モジュールに、前記車両の1つ以上の車両センサによって検知されたデータをアップロードし、
    前記アップロードのために前記車両に現在利用可能な実効ワイヤレス通信リソースの品質指標が、予め定められた閾値よりも高い場合、前記外部人工知能モジュールが、当該外部人工知能モジュールによって生成された遠隔操縦コマンドに対して第1確信度レベルを判定し、
    前記アップロードのために前記車両に現在利用可能な実効ワイヤレス通信リソースの品質指標が、前記予め定められた閾値よりも低い場合、前記外部人工知能モジュールが、外部人工知能モジュールによって生成された遠隔操縦コマンドに対して、第2の低下した確信度レベルを判定する、システム。
  34. 請求項1~33のいずれか1項記載のシステムにおいて、
    前記車両と関連付けられた送信機が、前記車両の外部にある外部人工知能モジュールに、前記車両の1つ以上の車両センサによって検知されたデータをアップロードし、
    前記送信機が2つ以上の送信ユニットを備え、
    前記アップロードが、異なるパケットを互いに並列に処理およびアップロードする2つ以上のそれぞれのワイヤレス送信ユニットが同時に受け持つ2つ以上のワイヤレス通信リンクを備える接合ワイヤレス通信リンクを通じて実行される、システム。
  35. 請求項1~34のいずれか1項記載のシステムにおいて、
    前記車両と関連付けられた2つ以上の送信機が、前記車両の外部にある外部人工知能モジュールに、前記車両の1つ以上の車両センサによって検知されたデータをアップロードし、
    第1送信機が、前記外部人工知能モジュールに、前記車両の第1車両センサによって検知されたデータをワイヤレスで送信し、
    第2送信機が、前記外部人工知能モジュールに、前記車両の第2車両センサによって検知されたデータを同時にワイヤレスで送信する、システム。
  36. 請求項1~35のいずれか1項記載のシステムにおいて、
    前記車両と関連付けられた2つ以上の送信機が、前記車両の外部にある外部人工知能モジュールに、前記車両の1つの車両センサによって検知されたデータをアップロードし、
    第1送信機が、前記外部人工知能モジュールに、前記車両の前記1つの車両センサによって検知されたデータのパケットの第1団をワイヤレスで送信し、
    第2送信機が、前記外部人工知能モジュールに、前記車両の前記1つの車両センサによって検知されたデータのパケットの第2団を、同時にワイヤレスで送信する、システム。
  37. 請求項1~36のいずれか1項記載のシステムにおいて、
    前記車両と関連付けられた送信機が、前記車両の外部にある外部人工知能モジュールに、前記車両の1つ以上のセンサによって検知されたデータをアップロードし、
    前記アップロードが、前記車両と関連付けられた2つ以上のそれぞれのワイヤレス送信機が受け持つ2つ以上のワイヤレス通信リンクの集合体を備える接合ワイヤレス通信リンクを通じて実行される、システム。
  38. 請求項37記載のシステムにおいて、
    前記接合ワイヤレス通信リンクが、
    セルラ通信リンク、
    Wi-Fi通信リンク、
    V2X通信リンク、
    衛星ベース通信リンク、
    直接短距離通信(DSRC)通信リンク、
    の内任意の組み合わせで2つ以上の通信リンクを選択することによって、前記車両と関連付けられたリンク接合ユニットによって、動的に構築され、
    2つ以上の通信リンクが、異なるパケットを互いに並列に同時に処理およびアップロードする、システム。
  39. 請求項1~38のいずれか1項記載のシステムにおいて、
    前記車両の前記車両人工知能ユニットが、複数の車両と全ての車両の外部にある少なくとも1つの人工知能ユニットとの間で分散された人工知能ユニットの多重ピア・ネットワークの一部であり、
    前記人工知能ユニットの多重ピア・ネットワークが、人工知能遠隔操縦コマンドを前記人工知能ユニットの多重ピア・ネットワークの少なくとも1つの車両に供給する、システム。
  40. 請求項1~39のいずれか1項記載のシステムにおいて、
    前記車両の前記車両人工知能ユニットが、(I)他の車両のセンサによって検知されたデータの人工知能処理を実行し、(II)前記他の車両に適した人工知能ベース遠隔操縦コマンドに到達し、(III)前記遠隔操縦コマンドを前記他の車両に送信するように動作する、システム。
  41. 請求項1~40のいずれか1項記載のシステムにおいて、
    リモート遠隔操縦端末から前記車両の前記車両プロセッサに送られるコマンドが、前記車両プロセッサと関連付けられた複数のワイヤレス通信送受信機を通じて送信される、システム。
  42. 請求項41記載のシステムにおいて、
    前記車両プロセッサが、(i)同じ送受信機または異なる送受信機を通じて着信する2つ以上の繰り返し遠隔操縦コマンドを識別するように動作し、(ii)前記繰り返し遠隔操縦コマンドの内第1コマンドを実行し、(iii)繰り返し遠隔操縦コマンドの内1つ以上の他のコマンドを破棄する、システム。
  43. 請求項1~42のいずれか1項記載システムにおいて、
    前記車両と関連付けられ、異なる瞬時性能特性を有する2つ以上のワイヤレス送受信機が、前記車両からリモート遠隔操縦端末にデータをアップロードするため、または前記リモート遠隔操縦端末から前記車両にデータをダウンロードするために、同時に利用される、システム。
  44. 請求項1~43のいずれか1項記載システムにおいて、
    前記車両と関連付けられた2つ以上のワイヤレス送受信機が、スループット、グッドプット、実効アップロード帯域幅、実効ダウンロード帯域幅、レイテンシ、遅延、誤り率、誤りパケット率、欠落パケット率の内少なくとも1つの異なる瞬時的性能特性を有する、システム。
  45. 請求項1~44のいずれか1項記載システムにおいて、
    前記車両と関連付けられたリンク接合ユニットが、前記車両に利用可能な複数のワイヤレス通信送受信機を跨いだアップロードのためにパケットを一緒に接合し割り当てることによって、前記車両に向けられたリモート生成遠隔操縦コマンドの安全性または精度または確信度レベルを高めるように動作する、システム。
  46. 請求項1~45のいずれか1項記載システムにおいて、
    1つ以上の車両センサによって検知されたデータを表すパケットの少なくとも一部が、前記車両からリモート遠隔操縦端末またはリモート人工知能モジュールに、前記車両の運転手ではない乗員のスマートフォンまたはタブレットの送受信機を通じてアップロードされる、システム。
  47. 請求項1~46のいずれか1項記載システムにおいて、
    前記システムが前記車両を備える、システム。
JP2021500372A 2018-03-18 2019-03-17 自律運転デバイス、システム、および方法、ならびに遠隔操縦車両 Active JP7308920B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862644510P 2018-03-18 2018-03-18
US62/644,510 2018-03-18
PCT/IL2019/050295 WO2019180700A1 (en) 2018-03-18 2019-03-17 Device, system, and method of autonomous driving and tele-operated vehicles

Publications (2)

Publication Number Publication Date
JP2021528790A JP2021528790A (ja) 2021-10-21
JP7308920B2 true JP7308920B2 (ja) 2023-07-14

Family

ID=67986911

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021500372A Active JP7308920B2 (ja) 2018-03-18 2019-03-17 自律運転デバイス、システム、および方法、ならびに遠隔操縦車両

Country Status (7)

Country Link
US (1) US20210116907A1 (ja)
EP (1) EP3746854B1 (ja)
JP (1) JP7308920B2 (ja)
KR (1) KR20200132952A (ja)
CN (1) CN112074790A (ja)
IL (2) IL277233B2 (ja)
WO (1) WO2019180700A1 (ja)

Families Citing this family (116)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7069456B2 (ja) 2017-03-17 2022-05-18 ザ・リージェンツ・オブ・ザ・ユニバーシティ・オブ・ミシガン マルチポリシー意思決定を導くための有益な結果を構築するための方法および装置
US11531864B2 (en) * 2018-03-21 2022-12-20 Lg Electronics Inc. Artificial intelligence server
JP7063672B2 (ja) * 2018-03-27 2022-05-09 本田技研工業株式会社 情報処理装置及びプログラム
WO2019204931A1 (en) * 2018-04-25 2019-10-31 Flir Unmanned Aerial Systems Ulc Systems and methods for communicating with payload on an unmanned vehicle
CN109004972B (zh) * 2018-07-13 2020-09-15 深圳市道通智能航空技术有限公司 无人机系统的数据传输方法、装置、系统和地面图传模块
EP3824404A4 (en) 2018-07-20 2022-04-27 May Mobility, Inc. MULTI-PERSPECTIVE SYSTEM AND BEHAVIORAL POLICY SELECTION PROCESS BY AN AUTONOMOUS AGENT
US20200081431A1 (en) * 2018-09-07 2020-03-12 DoorDash, Inc. Video system with frame synthesis
CN112689586B (zh) * 2018-09-13 2024-04-16 图森有限公司 远程安全驾驶方法和系统
GB2613509B (en) * 2018-10-30 2023-11-22 Motional Ad Llc Redundancy in autonomous vehicles
WO2020149414A1 (ja) * 2019-01-18 2020-07-23 株式会社安川電機 ロボット制御システム及びロボット制御方法
US11726495B2 (en) * 2019-02-14 2023-08-15 Viavi Solutions Inc. Wireless communication coverage based vehicle routing
US11700270B2 (en) * 2019-02-19 2023-07-11 The Aerospace Corporation Systems and methods for detecting a communication anomaly
US11561547B2 (en) * 2019-02-20 2023-01-24 Gm Cruise Holdings Llc Autonomous vehicle routing based upon spatiotemporal factors
FR3093267B1 (fr) * 2019-02-25 2022-04-01 Transdev Group Dispositif électronique de bridage, dispositif de surveillance, véhicule automobile autonome, système de transport, procédé de bridage et produit programme ordinateur associés
US11325591B2 (en) * 2019-03-07 2022-05-10 Honda Motor Co., Ltd. System and method for teleoperation service for vehicle
JP7369767B2 (ja) * 2019-03-29 2023-10-26 本田技研工業株式会社 制御装置、制御方法及びプログラム
JP7285918B2 (ja) * 2019-03-29 2023-06-02 本田技研工業株式会社 端末装置、通信システム、通信方法、及びプログラム
US11623671B2 (en) * 2019-04-11 2023-04-11 Progress Rail Locomotive Inc. Blockchain remote command verification
US11618439B2 (en) * 2019-04-11 2023-04-04 Phantom Auto Inc. Automatic imposition of vehicle speed restrictions depending on road situation analysis
FR3095310B1 (fr) * 2019-04-16 2021-04-30 Transdev Group Dispositif électronique de transmission d’un flux vidéo, véhicule, système électronique de surveillance et procédé associé
KR102283022B1 (ko) * 2019-06-07 2021-07-28 엘지전자 주식회사 외부 영상에 기반한 로봇의 주행 방법과, 이를 구현하는 로봇 및 서버
US11768493B2 (en) * 2019-06-28 2023-09-26 Zoox, Inc. Remote vehicle guidance
JP7226150B2 (ja) * 2019-07-05 2023-02-21 トヨタ自動車株式会社 情報処理装置、及び、情報処理方法
US11249479B2 (en) * 2019-07-18 2022-02-15 Nissan North America, Inc. System to recommend sensor view for quick situational awareness
JP7200867B2 (ja) * 2019-07-23 2023-01-10 トヨタ自動車株式会社 車両制御システム及び車両制御方法
WO2021025250A1 (ko) * 2019-08-05 2021-02-11 엘지전자 주식회사 주변 차량 상태 정보 공유 방법 및 장치
JP7131505B2 (ja) * 2019-08-06 2022-09-06 トヨタ自動車株式会社 運転引継制御装置
JP7312054B2 (ja) * 2019-08-06 2023-07-20 株式会社Subaru 車両の走行制御システム
US11966840B2 (en) * 2019-08-15 2024-04-23 Noodle Analytics, Inc. Deep probabilistic decision machines
US11422570B2 (en) * 2019-08-27 2022-08-23 Ford Global Technologies, Llc Systems and methods for managing a transportation device fleet using teleoperation commands
US11846940B2 (en) * 2019-08-31 2023-12-19 Deere & Company Methods and apparatus for vehicle control
US11643072B2 (en) * 2019-09-27 2023-05-09 Zoox, Inc. Planning accommodations for particulate matter
US20210097436A1 (en) * 2019-10-01 2021-04-01 Kelley S. Weiland Automated system for generating properly tagged training data for and verifying the efficacy of artificial intelligence algorithms
JP7264789B2 (ja) * 2019-10-15 2023-04-25 トヨタ自動車株式会社 車両及び遠隔操作システム
US20210116908A1 (en) * 2019-10-21 2021-04-22 Daniel Kee Young Kim Method and Apparatus for Remote Operation of Motorized Two-Wheeled Vehicle
US11640170B1 (en) 2019-10-29 2023-05-02 Zoox, Inc. Identification of particulate matter in sensor data
US11961262B2 (en) * 2019-11-01 2024-04-16 Lg Electronics Inc. Signal processing apparatus and image display apparatus including same
KR20210059980A (ko) * 2019-11-18 2021-05-26 엘지전자 주식회사 차량의 원격 제어방법 및 이를 위한 혼합현실 디바이스 및 차량
CN112835351B (zh) * 2019-11-22 2023-05-16 华为技术有限公司 一种控制方法及相关设备
US11875617B2 (en) * 2019-12-23 2024-01-16 Robert Bosch Gmbh Cloud connectivity for in-vehicle sensing modules
WO2021128110A1 (zh) * 2019-12-25 2021-07-01 华为技术有限公司 通信方法及装置
CN111208762B (zh) * 2020-01-13 2023-03-21 临沂大学 一种机械装置渐停控制方法、系统及设备
KR20210096493A (ko) * 2020-01-28 2021-08-05 엘지전자 주식회사 인공지능형 로봇 디바이스를 제어하는 방법
EP3869843A1 (en) * 2020-02-19 2021-08-25 Volkswagen Ag Method for invoking a teleoperated driving session, apparatus for performing the steps of the method, vehicle and computer program
DE102020202133A1 (de) * 2020-02-19 2021-08-19 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Ermitteln einer eine Paketverlustrate charakterisierenden ersten Größe
EP3872786A1 (en) * 2020-02-27 2021-09-01 Volkswagen Aktiengesellschaft Automatic vehicle and method for operating the same
US11740628B2 (en) * 2020-03-18 2023-08-29 Baidu Usa Llc Scenario based control of autonomous driving vehicle
EP3882729A1 (en) 2020-03-20 2021-09-22 Volkswagen AG Method, computer program, apparatus, vehicle and network component for determining a speed limit for a tele-operated vehicle
EP3883273A1 (en) 2020-03-20 2021-09-22 Volkswagen Ag Method, apparatus and computer program for predicting a future quality of service of a wireless communication link
US11644846B2 (en) * 2020-03-31 2023-05-09 GM Cruise Holdings LLC. System and method for real-time lane validation
JP7177115B2 (ja) * 2020-04-07 2022-11-22 矢崎総業株式会社 車両通信装置
US20230142923A1 (en) * 2020-04-10 2023-05-11 Oqab Dietrich Induction Inc. Systems and methods for a control station
US20210319281A1 (en) * 2020-04-13 2021-10-14 Motorola Mobility Llc Subtask Assignment for an Artificial Intelligence Task
CN111409643B (zh) * 2020-04-15 2021-10-26 新石器慧通(北京)科技有限公司 远程驾驶方法、远程驾驶装置及远程驾驶系统
KR102328320B1 (ko) * 2020-04-21 2021-11-19 주식회사 가린시스템 이더넷 기반 차량 제어 시스템 및 방법
US11518415B2 (en) * 2020-04-22 2022-12-06 Toyota Research Institute, Inc. Driver-initiated disengagement of autonomous vehicle controls
EP3913597A1 (en) * 2020-05-21 2021-11-24 Deutsche Telekom AG Vehicle operation with a central digital traffic model
US11595619B1 (en) * 2020-06-02 2023-02-28 Aurora Operations, Inc. Autonomous vehicle teleoperations system
US11644830B1 (en) 2020-06-02 2023-05-09 Aurora Operations, Inc. Autonomous vehicle remote teleoperations system with scenario selection
US11560154B1 (en) 2020-06-02 2023-01-24 Aurora Operations, Inc. Autonomous vehicle remote teleoperations system
US20210380380A1 (en) * 2020-06-03 2021-12-09 Primetals Technologies USA LLC Autonomous coil handling system
US20210405185A1 (en) * 2020-06-30 2021-12-30 Tusimple, Inc. System and method providing truck-mounted sensors to detect trailer following vehicles and trailer conditions
US11352023B2 (en) 2020-07-01 2022-06-07 May Mobility, Inc. Method and system for dynamically curating autonomous vehicle policies
EP3936960A1 (en) * 2020-07-08 2022-01-12 Continental Automotive GmbH Control method and control system to guide a malfunctional autonomous vehicle
US11589264B2 (en) * 2020-07-31 2023-02-21 Charter Communications Operating, Llc System and method for leveraging access customer premise equipment (CPE) gateway resources to provide 5G edge computing services
US11570257B1 (en) * 2020-08-25 2023-01-31 Neureality Ltd. Communication protocol, and a method thereof for accelerating artificial intelligence processing tasks
DE102020211216B3 (de) 2020-09-07 2021-10-28 Volkswagen Aktiengesellschaft Verfahren, Computerprogramm und Vorrichtung für eine Netzwerkkomponente zur Auflösung einer ungeplanten Verkehrssituation für ein selbstfahrendes Fahrzeug.
EP3965442A1 (en) 2020-09-08 2022-03-09 Volkswagen Ag Methods, computer programs, apparatuses, vehicle and control center for resolving a deadlock traffic situation of a vehicle
JP7465769B2 (ja) 2020-09-09 2024-04-11 株式会社フジタ 代行車両の遠隔制御システム
US11713060B2 (en) 2020-09-18 2023-08-01 Guident Ltd. Systems and methods for remote monitoring of a vehicle, robot or drone
DE102020213721A1 (de) 2020-11-02 2022-05-05 Volkswagen Aktiengesellschaft Verfahren zum Steuern eines Kraftfahrzeugs sowie Kraftfahrzeug, Verfahren zum Betreiben eines Systems aus einem Kraftfahrzeug und einer Fernsteuervorrichtung sowie System aus Kraftfahrzeug und Fernsteuervorrichtung
EP3992743B1 (en) * 2020-11-03 2023-08-30 Volkswagen Aktiengesellschaft Vehicle, apparatus for a vehicle, computer program, and method for processing information for communication in a tele-operated driving session
CN116438587A (zh) * 2020-11-06 2023-07-14 三菱电机株式会社 车辆控制系统
EP4002044A1 (en) * 2020-11-13 2022-05-25 Volkswagen Ag Vehicle, methods, computer programs, and apparatuses for tele-operated driving
EP4002894A1 (en) * 2020-11-16 2022-05-25 Volkswagen Ag Method, computer program and apparatus for invoking a tele-operated driving session
EP4002819A1 (en) * 2020-11-24 2022-05-25 Volkswagen Ag Vehicle, network node, apparatus, computer program, and method for selecting a mobile communications system for a mobile communications service
EP4002045A1 (en) 2020-11-24 2022-05-25 Volkswagen Ag Method and command center for a tele-operated driving of a vehicle and corresponding system with a command center and a vehicle
EP4260009A1 (en) 2020-12-14 2023-10-18 May Mobility, Inc. Autonomous vehicle safety platform system and method
EP4264181A1 (en) 2020-12-17 2023-10-25 May Mobility, Inc. Method and system for dynamically updating an environmental representation of an autonomous agent
JP7174748B2 (ja) * 2020-12-18 2022-11-17 楽天グループ株式会社 走行制御システム、制御方法、及び制御装置
US20220194424A1 (en) * 2020-12-22 2022-06-23 Waymo Llc Autonomous vehicle trajectory computed using box-based probabilistic overlap model
CN112687122B (zh) * 2020-12-22 2022-10-28 北京百度网讯科技有限公司 自动驾驶过程中的信息传输方法、车辆、云端和驾驶舱
US11910368B2 (en) * 2021-01-07 2024-02-20 Hewlett Packard Enterprise Development Lp Dynamically capturing location at networks in motion
US11953896B2 (en) 2021-02-15 2024-04-09 Argo AI, LLC System and method for a modular and continually learning remote guidance system for autonomous vehicles
EP4050450B1 (en) 2021-02-24 2024-04-10 Volkswagen Ag Methods, computer programs and apparatus for performing a tele-operated driving session
KR20220124313A (ko) * 2021-03-02 2022-09-14 삼성전자주식회사 차량 기능의 제어를 위한 전자 장치, 및 이에 의한 방법
EP4314708A1 (en) 2021-04-02 2024-02-07 May Mobility, Inc. Method and system for operating an autonomous agent with incomplete environmental information
CN112995217B (zh) * 2021-04-29 2021-08-17 深圳华锐金融技术股份有限公司 数据发送方法、系统
CN113285993B (zh) * 2021-05-17 2022-09-06 科大讯飞股份有限公司 远程辅助驾驶接入匹配方法、装置以及设备
US11565717B2 (en) * 2021-06-02 2023-01-31 May Mobility, Inc. Method and system for remote assistance of an autonomous agent
CN113222295B (zh) * 2021-06-07 2022-05-27 吉林大学 一种面向l3级自动驾驶汽车控制权切换状态下的接管时间预测方法
DE102021206169A1 (de) * 2021-06-16 2022-12-22 Volkswagen Aktiengesellschaft Verfahren zum Entwickeln von Fahrzeugfunktionen und Kraftfahrzeug
US20220415179A1 (en) * 2021-06-23 2022-12-29 Qualcomm Incorporated Sub-platoons within vehicle-to-everything technology
CN113392804B (zh) * 2021-07-02 2022-08-16 昆明理工大学 一种基于多角度的交警目标数据集的场景化构建方法及系统
US11875548B2 (en) * 2021-07-22 2024-01-16 GM Global Technology Operations LLC System and method for region of interest window generation for attention based perception
CN117916787A (zh) * 2021-08-06 2024-04-19 交互数字专利控股公司 用于UAV通信的蜂窝连接以及QoS监测和预测
CN113353093B (zh) * 2021-08-10 2021-12-10 北汽福田汽车股份有限公司 车辆的控制方法、装置和车辆
CN113821010B (zh) * 2021-08-11 2023-03-31 安途智行(北京)科技有限公司 自动驾驶车辆路测的监控方法
CN113596779A (zh) * 2021-08-18 2021-11-02 英华达(南京)科技有限公司 路侧单元装置、车联网系统及算力分配方法
US20230058508A1 (en) * 2021-08-19 2023-02-23 GM Global Technology Operations LLC System amd method for providing situational awareness interfaces for a vehicle occupant
CN113934196A (zh) * 2021-09-30 2022-01-14 中睿智能交通技术有限公司 一种车辆远程插值拟合顺畅控制方法及装置
WO2023074394A1 (ja) * 2021-10-29 2023-05-04 住友電気工業株式会社 車載装置、路側装置、制御方法およびコンピュータプログラム
US20230150478A1 (en) * 2021-11-16 2023-05-18 Ford Global Technologies, Llc System for identifying road type
EP4187342A1 (en) * 2021-11-30 2023-05-31 Hitachi, Ltd. Teleoperable vehicle and system
DE102021006280B4 (de) * 2021-12-21 2023-09-21 Mercedes-Benz Group AG Verfahren zur Prognostizierung des Energiebedarfs eines Kraftfahrzeugs
CN114328352A (zh) * 2021-12-24 2022-04-12 中汽创智科技有限公司 一种数据处理方法、装置、系统及存储介质
CN114104007B (zh) * 2022-01-28 2022-04-15 交通运输部公路科学研究所 一种自动驾驶车辆最小风险控制策略
WO2023147202A1 (en) * 2022-01-30 2023-08-03 Xtend Ai Inc. Method of offline operation of an intelligent, multi-function robot
SE2250118A1 (en) * 2022-02-08 2023-08-09 Einride Ab Method for controlling a remotely operated vehicle
US11814072B2 (en) 2022-02-14 2023-11-14 May Mobility, Inc. Method and system for conditional operation of an autonomous agent
JP2024008343A (ja) * 2022-07-08 2024-01-19 トヨタ自動車株式会社 車両用情報処理システムならびに方法およびプログラム
EP4325315A1 (en) * 2022-08-18 2024-02-21 Einride Autonomous Technologies AB Validation of connection of a remotely operable vehicle
FR3139688A1 (fr) * 2022-09-08 2024-03-15 Thales Procédé et dispositif de configuration adaptative de télécommunications sans fil
GB2622577A (en) * 2022-09-13 2024-03-27 Oxa Autonomy Ltd System, processor assembly, remote device, and method
DE102022125794A1 (de) * 2022-10-06 2024-04-11 Valeo Schalter Und Sensoren Gmbh Verfahren zum ferngesteuerten Durchführen eines Fahrmanövers mit fahrzeugexternen Sensorinformationen für einen Fernsteuerer, sowie elektronisches Fernsteuerungssystem
CN117421700B (zh) * 2023-12-19 2024-03-19 湖南仕博测试技术有限公司 一种用于自动驾驶中的传感器数据过滤及融合方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012048655A (ja) 2010-08-30 2012-03-08 Toyota Motor Corp 運転支援装置
US20160255531A1 (en) 2013-03-14 2016-09-01 Liveu Ltd. Apparatus For Cooperating With a Mobile Device
JP2016210355A (ja) 2015-05-12 2016-12-15 株式会社日立ソリューションズ 車載用通信基盤装置
US20170192423A1 (en) 2016-01-04 2017-07-06 Cruise Automation, Inc. System and method for remotely assisting autonomous vehicle operation
JP2017133976A (ja) 2016-01-28 2017-08-03 株式会社トヨタマップマスター ナビゲーション装置、ナビゲーション方法、コンピュータプログラム及びコンピュータプログラムを記録した記録媒体
US20170221362A1 (en) 2016-01-29 2017-08-03 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for driving hazard estimation using vehicle-to-vehicle communication

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070011495A (ko) 2004-04-22 2007-01-24 프론트라인 로보틱스 자율 이동 시스템을 위한 개방형 제어 시스템 아키텍처
CN101584157B (zh) 2006-09-26 2013-12-11 利弗有限公司 远程传输系统
DE102010004292A1 (de) * 2010-01-11 2011-07-14 Continental Automotive GmbH, 30165 Verfahren zum Bestimmen einer Route und elektronisches Navigationssystem
KR20120069510A (ko) * 2010-12-20 2012-06-28 한국전자통신연구원 무인 장치 및 그의 주행 방법
WO2012140655A2 (en) 2011-04-12 2012-10-18 Baryakar Dan Robotic system controlled by multi participants, considering administrator's criteria
DE102011116637B4 (de) * 2011-10-20 2015-02-19 Audi Ag Car-2-X-Kommunikationssystem, Teilnehmer in einem solchen System und Verfahren zum Empfangen von Funksignalen in einem solchen System
US9043135B2 (en) * 2012-08-31 2015-05-26 Apple Inc. Navigation system acquisition and use of cellular coverage map data
US9369921B2 (en) * 2013-05-31 2016-06-14 Liveu Ltd. Network assisted bonding
JP6421481B2 (ja) * 2014-07-18 2018-11-14 株式会社デンソー 遠隔制御装置およびそれを用いた遠隔制御システム
US9494935B2 (en) * 2014-11-13 2016-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Remote operation of autonomous vehicle in unexpected environment
US9690290B2 (en) * 2015-06-04 2017-06-27 Toyota Motor Engineering & Manufacturing North America, Inc. Situation-based transfer of vehicle sensor data during remote operation of autonomous vehicles
US9507346B1 (en) * 2015-11-04 2016-11-29 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
US9776638B1 (en) * 2016-04-20 2017-10-03 GM Global Technology Operations LLC Remote interrogation and override for automated driving system
US10331141B2 (en) * 2016-06-30 2019-06-25 GM Global Technology Operations LLC Systems for autonomous vehicle route selection and execution
US10656640B2 (en) * 2016-07-07 2020-05-19 Applied Minds, Llc Systems and methods for centralized control of autonomous vehicles
MX2019006183A (es) * 2016-11-30 2019-09-11 Nissan North America Inc Interfaz de mapeo de soporte remoto de vehiculos autonomos.
WO2018203336A1 (en) 2017-05-04 2018-11-08 Liveu Ltd. Device, system, and method of pre-processing and data delivery for multi-link communications and for media content
IL269277B2 (en) 2017-05-18 2023-09-01 Liveu Ltd Device, system and method for multi-channel wireless communication for a vehicle

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012048655A (ja) 2010-08-30 2012-03-08 Toyota Motor Corp 運転支援装置
US20160255531A1 (en) 2013-03-14 2016-09-01 Liveu Ltd. Apparatus For Cooperating With a Mobile Device
JP2016210355A (ja) 2015-05-12 2016-12-15 株式会社日立ソリューションズ 車載用通信基盤装置
US20170192423A1 (en) 2016-01-04 2017-07-06 Cruise Automation, Inc. System and method for remotely assisting autonomous vehicle operation
JP2017133976A (ja) 2016-01-28 2017-08-03 株式会社トヨタマップマスター ナビゲーション装置、ナビゲーション方法、コンピュータプログラム及びコンピュータプログラムを記録した記録媒体
US20170221362A1 (en) 2016-01-29 2017-08-03 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for driving hazard estimation using vehicle-to-vehicle communication

Also Published As

Publication number Publication date
IL277233A (en) 2020-10-29
IL308640A (en) 2024-01-01
EP3746854B1 (en) 2024-02-14
CN112074790A (zh) 2020-12-11
IL277233B1 (en) 2023-12-01
IL277233B2 (en) 2024-04-01
KR20200132952A (ko) 2020-11-25
EP3746854A1 (en) 2020-12-09
EP3746854A4 (en) 2022-03-02
US20210116907A1 (en) 2021-04-22
WO2019180700A1 (en) 2019-09-26
JP2021528790A (ja) 2021-10-21

Similar Documents

Publication Publication Date Title
JP7308920B2 (ja) 自律運転デバイス、システム、および方法、ならびに遠隔操縦車両
EP3552358B1 (en) Bandwidth constrained image processing for autonomous vehicles
CN109389832B (zh) 使用v2x通信系统提高障碍意识的系统和方法
CN110876147B (zh) 预测通信的服务质量的方法、装置、车辆、后台服务器
US20210163021A1 (en) Redundancy in autonomous vehicles
JP6726363B2 (ja) 生成されたインターフェースを使用する自律走行車の監視
EP3679710B1 (en) Systems and methods for a vehicle application programming interface
US20210132604A1 (en) Autonomous passenger vehicle system
US11927952B2 (en) Adaptive multi-network vehicle architecture
JP2019537159A5 (ja)
US11895566B2 (en) Methods of operating a wireless data bus in vehicle platoons
CN111216724B (zh) 用于控制自动驾驶车辆的系统及方法
EP4156729A1 (en) Occupancy grid map computation, v2x complementary sensing, and coordination of cooperative perception data transmission in wireless networks
US20200014620A1 (en) Vehicle network apparatus and operation method thereof
CN110968091A (zh) 用于自动控制车辆的系统和方法
CN113306568A (zh) 自动车辆和操作自动车辆的方法
CN117083578A (zh) 执行遥控驾驶会话的方法、计算机程序和设备
Papadakis et al. Automated Vehicle Operational Scenarios and 5G Based Experimental Trials in the City of Trikala, Greece

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220701

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230605

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230704

R150 Certificate of patent or registration of utility model

Ref document number: 7308920

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150