KR20200132952A - 자율 주행 및 원격 작동 차량의 장치, 시스템 및 방법 - Google Patents
자율 주행 및 원격 작동 차량의 장치, 시스템 및 방법 Download PDFInfo
- Publication number
- KR20200132952A KR20200132952A KR1020207029686A KR20207029686A KR20200132952A KR 20200132952 A KR20200132952 A KR 20200132952A KR 1020207029686 A KR1020207029686 A KR 1020207029686A KR 20207029686 A KR20207029686 A KR 20207029686A KR 20200132952 A KR20200132952 A KR 20200132952A
- Authority
- KR
- South Korea
- Prior art keywords
- vehicle
- remote
- data
- unit
- module
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 126
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 410
- 238000012545 processing Methods 0.000 claims abstract description 82
- 230000008569 process Effects 0.000 claims abstract description 44
- 238000004891 communication Methods 0.000 claims description 206
- 230000001413 cellular effect Effects 0.000 claims description 54
- 230000005540 biological transmission Effects 0.000 claims description 52
- 230000002829 reductive effect Effects 0.000 claims description 18
- 230000010267 cellular communication Effects 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 9
- 238000012546 transfer Methods 0.000 claims description 9
- 230000007423 decrease Effects 0.000 claims description 5
- 230000000694 effects Effects 0.000 claims description 5
- 238000007667 floating Methods 0.000 claims description 4
- 230000008093 supporting effect Effects 0.000 claims description 4
- 230000002411 adverse Effects 0.000 claims description 2
- 230000008094 contradictory effect Effects 0.000 claims description 2
- 230000002708 enhancing effect Effects 0.000 claims 2
- 230000006870 function Effects 0.000 description 16
- 230000001953 sensory effect Effects 0.000 description 16
- 239000003795 chemical substances by application Substances 0.000 description 15
- 230000008859 change Effects 0.000 description 11
- 230000007246 mechanism Effects 0.000 description 10
- 230000004044 response Effects 0.000 description 9
- 238000012549 training Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 230000003068 static effect Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 6
- 238000010168 coupling process Methods 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 230000008878 coupling Effects 0.000 description 5
- 238000005859 coupling reaction Methods 0.000 description 5
- 238000010790 dilution Methods 0.000 description 5
- 239000012895 dilution Substances 0.000 description 5
- 239000000446 fuel Substances 0.000 description 5
- 238000011144 upstream manufacturing Methods 0.000 description 5
- 241000282412 Homo Species 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000001149 cognitive effect Effects 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 208000003443 Unconsciousness Diseases 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000000881 depressing effect Effects 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 239000003607 modifier Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 230000003362 replicative effect Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- HLXHCNWEVQNNKA-UHFFFAOYSA-N 5-methoxy-2,3-dihydro-1h-inden-2-amine Chemical compound COC1=CC=C2CC(N)CC2=C1 HLXHCNWEVQNNKA-UHFFFAOYSA-N 0.000 description 1
- 206010012373 Depressed level of consciousness Diseases 0.000 description 1
- 101000741965 Homo sapiens Inactive tyrosine-protein kinase PRAG1 Proteins 0.000 description 1
- 235000008694 Humulus lupulus Nutrition 0.000 description 1
- 102100038659 Inactive tyrosine-protein kinase PRAG1 Human genes 0.000 description 1
- 206010024264 Lethargy Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000005266 casting Methods 0.000 description 1
- CEZCCHQBSQPRMU-UHFFFAOYSA-L chembl174821 Chemical compound [Na+].[Na+].COC1=CC(S([O-])(=O)=O)=C(C)C=C1N=NC1=C(O)C=CC2=CC(S([O-])(=O)=O)=CC=C12 CEZCCHQBSQPRMU-UHFFFAOYSA-L 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000010076 replication Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 239000010979 ruby Substances 0.000 description 1
- 229910001750 ruby Inorganic materials 0.000 description 1
- 230000011664 signaling Effects 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000036642 wellbeing Effects 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W84/00—Network topologies
- H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/14—Adaptive cruise control
- B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
- B60W50/0205—Diagnosing or detecting failures; Failure detection models
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/04—Monitoring the functioning of the control system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0059—Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
- G01C21/3461—Preferred or disfavoured areas, e.g. dangerous zones, toll or emission zones, intersections, manoeuvre types, segments such as motorways, toll roads, ferries
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
- G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
- G05D1/0282—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal generated in a local control room
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0287—Control of position or course in two dimensions specially adapted to land vehicles involving a plurality of land vehicles, e.g. fleet or convoy travelling
- G05D1/0291—Fleet control
- G05D1/0297—Fleet control by controlling means in a control room
-
- G—PHYSICS
- G08—SIGNALLING
- G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
- G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
- G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W72/00—Local resource management
- H04W72/04—Wireless resource allocation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/0063—Manual parameter input, manual setting means, manual initialising or calibrating means
- B60W2050/0064—Manual parameter input, manual setting means, manual initialising or calibrating means using a remote, e.g. cordless, transmitter or receiver unit, e.g. remote keypad or mobile phone
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/54—Audio sensitive means, e.g. ultrasound
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
-
- G05D2201/0213—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q2209/00—Arrangements in telecontrol or telemetry systems
- H04Q2209/40—Arrangements in telecontrol or telemetry systems using a wireless architecture
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Computer Networks & Wireless Communication (AREA)
- Human Computer Interaction (AREA)
- Aviation & Aerospace Engineering (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Game Theory and Decision Science (AREA)
- Medical Informatics (AREA)
- Traffic Control Systems (AREA)
- Mobile Radio Communication Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
자율 주행 및 원격 작동 차량의 장치, 시스템 및 방법. 차량 인공 지능(AI) 유닛은 차량의 복수의 차량 센서로부터 입력을 수신하도록, 차량 내에서 입력의 적어도 제1 부분을 국부적으로 처리하도록, 입력의 적어도 제2 부분을 차량 외부에 위치된 원격 원거리 운전 프로세서로 차량 무선 송신기를 통해 무선으로 전송하도록, 원격 원거리 운전 프로세서로부터 차량 무선 수신기를 통해 원격 인공 지능(AI)로부터 수신된 원격 계산된 처리 결과를 무선으로 수신하도록, 그리고 차량의 자율 주행 유닛 또는 차량의 원격 주행 유닛을 통해 원격 계산된 처리 결과에 기초하여 차량 작동 명령을 구현하도록 구성된다.
Description
[0001] 본 특허 출원은 2018 년 3 월 18 일자로 출원된 미국 특허 출원 번호 US 62/644,510 호로부터 우선권 및 이득을 주장하며, 그 전체가 원용에 의해 본 출원에 포함된다.
[0002] 본 발명은 차량의 원격 작동 또는 원격 주행뿐만 아니라, 자율 차량 및 자율 주행 차량 (육상, 항공, 해상), 인공 지능, 차량과의 통신, 무선 통신 및 셀룰러 통신(cellular communication)의 분야에 관한 것이다.
[0003] 본 발명의 일부 실시예들은 자율 주행 및 원격 작동 차량의 장치, 시스템 및 방법을 포함한다. 예를 들어, 차량 인공 지능(AI) 유닛(unit)은 차량의 복수의 차량 센서(sensor)로부터 입력을 수신하고; 입력의 적어도 제1 부분을 차량 내에서 국부적으로 처리하고; 차량 외부에 위치된 원격 원거리 운전 프로세서(processor)에 입력의 적어도 제2 부분을 차량 무선 송신기를 통해 무선으로 전송하고; 원격 원거리 운전 프로세서로부터 차량 무선 수신기를 통해 원격 인공 지능(AI) 유닛으로부터 수신된 원격으로 계산된 처리 결과를 무선으로 수신하고; 차량의 자율 주행 유닛 또는 차량의 원격 주행 유닛을 통해 원격으로 계산된 처리 결과에 기반하여 차량 작동 명령을 구현하도록 구성된다.
[0004] 본 발명은 다른 및/또는 추가의 이점 또는 장점을 제공할 수 있다.
[0005] 도 1은 본 발명의 일부 예시적인 실시예들에 따른 시스템의 개략도이다.
[0006] 도 2는 본 발명의 일부 예시적인 실시예들에 따른 다른 시스템의 개략도이다.
[0007] 도 3은 본 발명의 일부 예시적인 실시예들에 따른 방법의 흐름도이다.
[0008] 도 4는 본 발명의 일부 예시적인 실시예들에 따른 서브-시스템(sub-system)의 블록도이다.
[0006] 도 2는 본 발명의 일부 예시적인 실시예들에 따른 다른 시스템의 개략도이다.
[0007] 도 3은 본 발명의 일부 예시적인 실시예들에 따른 방법의 흐름도이다.
[0008] 도 4는 본 발명의 일부 예시적인 실시예들에 따른 서브-시스템(sub-system)의 블록도이다.
[0009] 본 발명의 일부 예시적인 실시예들에 따른 시스템(100)의 개략도인 도 1이 참조된다. 시스템(100)은 (드론(drone) 또는 다른 기계일 수 있는)1차 차량(110); 2차 차량(150)과 같은 "2차(secondary)" 차량으로 지칭될 수 있는 하나 이상의 다른 차량 또는 주변 차량 또는 인근 차량; 하나 이상의 인프라(infrastructure) 요소들(160)(예를 들어, 신호등; 교통 표지; 버스 정류장; 도로 표지판; 측벽 장치; 도로 내장 장치; 모바일 네트워크 인프라 장치; 액세스 포인트(Access Point) 또는 플롯 스팟(Plot Spot) 또는 핫 포인트(Hot Point) 장치; 안테나, 무선 주파수(RF) 송수신기 또는 모뎀 또는 중계 유닛 또는 증폭기 또는 중계기; 셀룰러 안테나 또는 타워(tower) 또는 eNodeB 또는 기지국) 및 특히 차량 및/또는 다른 로컬 엔티티들(local entities) 및/또는 원격 엔티티들로 구성되거나 이들과 무선으로 통신할 수 있는 인프라 요소; 및 원격 서버(server) 또는 원격 노드(node) 또는 에지 컴퓨팅(edge computing)/에지 클라우드 노드(edge cloud node)(170)를 포함한다.
[0010] 1차 차량(110)은 하나 이상의 유형 및 모델, 예를 들어 이미저, 카메라, 마이크, 이미지 획득 유닛, 비디오 획득 유닛, 거리 검출기, LIDAR, 근접 센서, RADAR 등일 수 있는 하나 이상의 센서들(111)을 포함할 수 있으며, 이들은 차량 주변을 지속적으로 및/또는 간헐적으로 감지할 수 있다. (선택적으로 분포될 수 있는)차량 저장 유닛(112)은 차량 센서(111)에 의해 캡처되거나 획득되고 후에 (선택적으로 분포될 수 있는)차량 데이터 프로세서(113)에 의해 국부적으로(부분적으로 또는 완전히)처리되는 데이터, 원시 데이터, 부분적으로 처리된 데이터 및/또는 처리된 데이터를 저장한다.
[0011] 위에서 설명되거나 본 명세서에서 설명되는 다양한 차량 유닛들 또는 모듈들은 다양한 방식들; 예를 들어 유닛이나 모듈(또는 이들 중 적어도 일부)이 차량 지붕 위에 물리적으로 위치되는 루프-탑 하우징이나 캡슐 또는 캡슐화 기능(encapsulation)을 갖는 루프-탑 서브-시스템(roof-top sub-system); 및/또는 유닛 또는 모듈(또는 이들 중 적어도 일부)이 차량 내부, 객실 내부, 모터 또는 엔진 근처, 또는 차량 트렁크 내, 및/또는 차량 아래에 물리적으로 위치되는 차내 서브-시스템; 및/또는 차량에 꽂을 수 있는 액세서리; 및/또는 유닛 또는 모듈이 동일한 차량의 다중 구역들(예를 들어, 지붕, 후드 아래, 차량 아래, 모터 또는 엔진 근처, 트렁크, 객실, 차량 대시보드 등에 내장)에 분산되는 분산형 서브-시스템으로서 구현될 수 있다는 점에 유의한다.
[0012] 1차 차량(110)은 예를 들어, HMI(Human-Machine Interface: 인간-기계 인터페이스) 또는 운전 인터페이스 또는 차량 제어 인터페이스(예를 들어, 스티어링 휠, 가속 페달, 브레이크 페달, 기어 변속 스틱 또는 버튼 또는 인터페이스, 차량 대시보드 또는 전류, 속도 및/또는 차량 방향 및/또는 모터의 분당 라운드 수, 신호 UI 요소 등을 나타내는 화면; 조이스틱, 마우스, 트랙볼, 터치스크린, 터치 패드, 화면, 페달, 스티어링 휠, 웨어러블 기어 또는 헤드 기어 또는 고글 또는 안경이나 헬멧, 촉각 요소, 햅틱 요소 등과 같은 기타 구성요소를 활용하는 HMI)를 통해서 인간 운전자 또는 인간 차내 사용자가 차량(110)을 운전 및/또는 작동 및/또는 제어할 수 있게 하고; 차례로, 모터 또는 엔진, 스티어링 서브-시스템, 가속 서브-시스템, 브레이크 또는 브레이크 서브-시스템, 기어 서브-시스템과 같은 다양한 차량 작동 유닛(124), 및/또는 가스 또는 연료를 전달하는 튜브 또는 파이프, 피스톤, 밸브, 점화 요소, 차량 작동 및 제어 구성요소, 스위치, 제어기, 차량 운전 프로세서 등과 같은 차량의 기타 특정 유닛과 직접 또는 간접적으로 제어하거나 트리거하거나 명령하거나 작동시키거나 결합시킬 수 있는 인간 주행 유닛(123)을 더 포함할 수 있다.
[0013] 1차 차량(110)은 선택적으로, 자율 주행 유닛(120)을 더 포함할 수 있으며; 이는 감지된 데이터를 분석할 수 있고, 감지된 데이터의 분석을 기반으로 하여 운전 명령을 생성하고 그의 실행을 유발할 수 있다. 예를 들어, 자율 주행 유닛(120)은 1차 차량(110)의 전방에 다른 차량이 위치되는 것을 결정할 수 있고, 1차 차량이 감속하지 않는 한 1차 차량(110)이 6 초 내에 다른 차량과 충돌할 것을 예상할 수 있으며; 따라서 자율 주행 유닛(120)은 차량 작동 유닛(124) 및/또는 엔진 및/또는 모터 및/또는 브레이크 또는 임의의 작동기 또는 프로세서와 같은 1차 차량(110)의 다른 유닛에 명령, 예를 들어 엔진에 공급되는 가스의 양을 감소 또는 중지하고/하거나(예를 들어, 가스 페달을 부분적으로 또는 전체적으로 놓는 인간 운전자와 유사함), 브레이크를 체결하고/하거나, 제동 과정의 힘을 높이거나(예를 들어, 브레이크 페달 밟는 것을 시작하거나 지속하는 인간 운전자와 유사함), 전기 또는 하이브리드 엔진 차량의 전력 공급을 감소 또는 차단할 수 있다. 이들 작동은 차량 자율 주행 프로세서(121)에 의해 결정되거나 명령될 수 있으며; 차량 자율 주행 메커니즘(122)에 의해 실행되거나 개시되거나 수행되거나 트리거될 수 있다(예를 들어, 기계 부품, 레버, 피스톤, 펌프, 튜브, 가스 튜브의 개구를 개폐할 수 있는 기계 요소, 레버 또는 페달을 누르거나 놓을 수 있는 기계 요소, 운전자가 스티어링 휠을 회전시키는 결과와 유사한 조향 메커니즘을 회전할 수 있는 기계 요소, 프로세서, 전원, 전원 스위치, 전원 변환기, 전원 분배기 등과 같은 전자기계 유닛 또는 전자기기를 사용하여 구현될 수 있다).
[0014] 추가적으로 또는 대안적으로, 1차 차량은 원거리 구동 유닛 또는 원격 구동 유닛(130), 또는 원거리 작동 또는 원격 작동 유닛을 포함할 수 있으며, 이는 원거리 운영자(예를 들어, 인간 또는 컴퓨터 또는 AI-기반)가 원격 송신기로부터 1차 차량(110)으로 운전 명령 및/또는 차량 작동 명령의 무선 통신을 통해 아니면 그의 작동에 원격 개입으로 1차 차량(110)을 원격으로 운전하거나 원격으로 작동할 수 있게 한다. 예를 들어, (예를 들어, 차량(110)의 일부일 수 있지만 반드시 원격 구동 유닛(130)의 일부일 필요는 없는)원격 구동 유닛(130), 및/또는 다른 차량 송수신기(148) 또는 차내 송수신기에 또는 그 근처에 위치될 수 있는 하나 이상의 차량 송수신기(들)(132)(예를 들어, 셀룰러 송수신기, Wi-Fi 송수신기)는 차량 센서(111)에 의해 감지된 특정 데이터 및/또는 차량 데이터 프로세서(113)에 의해 (부분적으로 또는 완전히)처리된 데이터를 원격 서버(170)와 같은 원격 수신자에게 전송하거나 업로드할 수 있다. 송수신기(148) 및/또는 송수신기(132) 각각은 하나 이상의 안테나를 포함하거나 이에 그 결합될 수 있거나 이를 포함할 수 있거나 이와 연관될 수 있으며; 유사하게, 시스템(100)의 일부인 임의의 다른 송수신기는 하나 이상의 안테나에 결합되거나 이를 포함할 수 있거나 이와 연관될 수 있으며; 그러한 안테나는 내부 및/또는 외부 및/또는 같은 위치에 있을 수 있고/있거나 선택적으로 동일한 장치의 여러 위치 또는 동일한 위치에 있는 송수신기에 의해 공유될 수 있으며, 그러한 안테나는 도면의 혼잡을 피하기 위해서 도 1에 도시되지 않았다.
[0015] 인간 원거리 운영자는 원격 작동 단말기(171) 또는 다른 컴퓨팅 장치를 통해 원격 서버(170)와 결합될 수 있으며, 1차 차량(110)에 대해 원격 및 외부에서 차량 운전 또는 차량 작동 명령을 생성할 수 있다. 원격 작동 단말기(171)는 예를 들어, 터치 스크린, 스크린, 조이스틱, 터치 패드, 컴퓨터 마우스, 스티어링 휠, 페달, 기어 변속 장치, 마이크, 스피커, 증강 현실(AR) 또는 가상 현실(VR) 장비(예를 들어, 웨어러블 장치, 헬멧, 헤드기어, 안경, 고글, 글러브 등), 햅틱 요소, 촉각 요소, 글러브, 기타 웨어러블 요소, 조명, 알람 등을 포함할 수 있는 HMI(Human-Machine Interface: 인간-기계 인터페이스)를 포함하거나 이에 결합되거나 이와 관련될 수 있다.
[0016] 추가적으로 또는 대안적으로, 원격 서버(170)의 일부일 수 있거나 원격 서버(170)와 통신할 수 있는 원격 원거리 작동 프로세서(172)는 1차 차량(110)으로부터 수신된 데이터를 처리할 수 있고, 차량 운전 또는 차량 작동 명령, 운전 지침 또는 지시, 위치 관련 명령, 차량 AI 시스템에 대한 웨이포인트(waypoint), 또는 1차 차량(110)에 대해 원격 및 외부적으로 변경하거나 변경하지 않고 AI-계획된 경로에 대한 승인/확인(또는 반대로, 거부 또는 취소)을 생성할 수 있다. 인간이든 컴퓨터이든 상관없이 원격 원거리 운영자는 1차 차량(110)으로부터 반드시 감지되거나 수신되지 않은 다른 데이터; 예를 들어, 다른 차량에서 감지 및/또는 수신된 데이터, 인프라 요소에서 감지 또는 수신된 데이터(예를 들어, 신호등이 지금부터 5 초 내에 1차 차량보다 40 미터 앞에서 녹색에서 적색으로 변경될 예정임을 고려함), 날씨 데이터, 지진 데이터, 차량 교통 데이터 등을 고려할 수 있으며; 그러한 데이터는 원격 서버의 일부일 수 있거나 그와 연관되거나 그에 의해 제어될 수 있는 데이터 페칭 유닛(data fetching unit)(173)을 통해 획득되거나 수신될 수 있다. 선택적으로, 원격 서버(170)의 원격 작동 프로세서(172)는 원격 작동 또는 원거리 작동을 결합 또는 해제할지, 또는 차량(110)이 강제로 원격으로 생성된 원거리 조작 또는 명령없이 진행하도록 허용할지, 또는 차량(110)의 차내 자율 주행 유닛(120)을 오버-라이드(over-ride)할지, 또는 1차 차량(110)에 대해 결합 프로세스 또는 해제 프로세스를 달리 원격으로 유발, 트리거, 활성화, 비활성화, 시작 또는 중지할지에 관한 결정에 도달할 책임이 있을 수 있는 결합/해제 유닛(193)을 포함하거나 이와 연관될 수 있다.
[0017] 원격으로 생성된 운전 명령은 원격 서버(170)로부터(또는 그와 연관되거나 그에 의해 제어되는 전송 유닛으로부터) 차량 송수신기(들)(132)로 직접 또는 간접적으로 전송된다. 차량 원거리 운전 프로세서(133)는 원거리 운전 명령의 입력 또는 수신 신호 또는 메시지를 분석하고, 선택적으로 이들이 직접 포맷으로 제공되지 않는 경우에 이를 차량 시스템 및 다양한 차량 주행 유닛(124)이 실행할 수 있는 로컬 실행 가능한 명령으로 변환하거나 번역한다. 선택적으로, 그러한 번역 또는 변환은 전용 구성요소 또는 명령 번역기/컴파일러(Compiler)/실행기(125)와 같은 보조 프로세서에 의해 수행될 수 있으며, 이는 원격 구동 유닛(130)의 일부로서 구현될 수 있거나 원격 구동 유닛(130)의 외부에 있거나 이에 결합되거나 이와 연될 수 있으며, 또한 이는 실제 명령을 실현하기 위해 실제로 작동 또는 활성화 또는 비활성화되거나 구성 또는 수정될 필요가 있는 원격 구동 유닛(130)과 차량 작동 유닛(124) 사이의 명령 또는 신호를 번역하거나 변환하거나 해석하는 차내 구성요소일 수 있다. 명령 번역기/컴파일러/실행기(125)는 또한, 단일 원격 명령 또는 단일 원거리 운전 명령을, 다양한 차량 작동 유닛(124)의 작동을 제어 또는 수정하는 특정 차내 명령 세트로 변환하거나 번역할 수 있다. 명령 번역기/컴파일러/실행기(125)는 또한, 세트 또는 배치(batch) 또는 일련의 원격 명령 또는 원거리 운전 명령을, 다양한 차량 작동 유닛(124)의 작동을 제어하거나 수정하는 하나의 특정 차내 명령으로(또는 다른 변환된 다중 차내 명령 세트로) 변환하거나 번역할 수 있다. 명령 번역기/컴파일러/실행기(125)는 다양한 마이크로 컨트롤러 및 차량 작동 유닛(124)이 서로 통신하고/하거나 명령 및/또는 데이터 및/또는 신호를 서로 교환하게 하는 CAN(Controller Area Network: 제어기 영역 네트워크) 또는 CAN 버스를 선택적으로 포함하거나 활용할 수 있으며, 이들로 또는 이들에 의해, 선택적으로 CANBUS 프로토콜 또는 다른 적합한 프로토콜을 통해 구현될 수 있다.
[0018] 수신된 원거리 작동 명령이 "메타 명령(meta-command)"(또는 그 특성이 일반적이거나 "2 초 내에 완전히 정지한다" 또는 "지금 60 mph로 가속한다"와 같이 임의의 차량이 해석할 수 있는 포맷으로 제공되는 명령), 또는 AI 기반 운전 지시와 같이 차량에서 일련의 작업을 생성하거나 개시할 수 있는 명령이면, 차량 원거리 운전 프로세서(133)는 그들을 관련 유닛 또는 프로세서(들)(공동 구현되지 않은 경우)에 분배할 수 있고 그런 다른 유닛 또는 프로세서는 차량 기계 시스템 또는 유닛에 대한 실제 운전 및 작동 명령을 생성한다. 따라서, 차량 원거리 운전 프로세서(133)는 전술한 바와 같이 엔진 및/또는 브레이크와 같은 1차 차량(110)의 다른 유닛에 명령할 수 있다. 이들 작동은 차량 원거리 구동 메커니즘(134)에 의해 실행되거나 개시되거나 수행되거나 트리거될 수 있다(예를 들어, 기계적 구성 요소, 레버, 피스톤, 펌프, 튜브, 가스 튜브의 개구를 개폐할 수 있는 기계 요소, 레버 또는 페달을 밟거나 뗄 수 있는 기계 요소, 인간 운전자가 스티어링 휠을 회전시킨 결과와 유사한 조향 메커니즘을 회전시킬 수 있는 기계 요소, 전력 처리 요소 또는 전자기기 또는 프로세서 등을 사용하여 구현될 수 있다).
[0019] 일부 실시예들에서, 차량 자율 주행 프로세서(121) 및 차량 원거리 운전 프로세서(133)는 단일 프로세서를 사용하여, 또는 통합 구성요소로서, 또는 로직(logic)의 적어도 일부를 공유하는 구성요소 세트로서 구현될 수 있다. 일부 실시예들에서, 차량 자율 주행 메커니즘(122) 및 차량 원거리 구동 메커니즘(134)은 단일 기계 시스템을 사용하여, 또는 통합된 기계 시스템으로서, 또는 적어도 일부 통합된 요소 또는 기능을 공유하는 구성요소 세트로서 구현될 수 있다.
[0020] 1차 차량(110)은 위에서 언급된 기능 중 하나 이상을 결합 및/또는 해제할 책임이 있을 수 있는, 특히 자율 주행 유닛(120)에 의한 차량의 자율 주행을 결합 또는 해제하고/하거나, 원격 구동 유닛(130)을 통한 차량의 원거리 운전 또는 원거리 작동을 결합 또는 해제하고/하거나, 차량이 차내에 위치된 인간 운전자 또는 승객에 의해 수동으로 그리고 독점적으로 제어되게 강제하고/하거나, 차량이 차량 자율 주행 유닛(120)을 통해 독점적으로 제어되게 강제하고/하거나, 입력 명령에 기반하여 원격 구동 유닛(130)을 통해 차량이 독점적으로 제어되게 강제하고/하거나, 미리 정해진 우선순위에 따라 2 이상의 제어 수단에 의해 차량이 제어되게 강제할 책임이 있을 수 있는 결합/해제 유닛(114)을 더 포함할 수 있다(예를 들어, 차량은 우세하고 실행될 로컬 자율 주행 명령과 충돌하지 않는 한 원거리 운전 명령을 수행하고/하거나 전기 차량의 전력을 차단하고/하거나 모든 차량의 정지 또는 실속 절차를 달리 개시하도록 실행될 수 있다). 결합/해제 유닛(114)은 감지된 데이터 및/또는 1차 차량 내에서 알려진 다른 데이터의 로컬 분석을 기반으로 하여(일부 실시예들에서, 1차 차량(110)이 외부 소스로부터 수신된 데이터, 예컨대 기상 조건, 지진 상태, 화산 상태, 교통 상황, 다른 차량 또는 도로변 인프라로부터의 정보 등의 데이터를 기반하는 것을 포함하여) 작동할 수 있다. 추가적으로 또는 대안적으로, 결합/해제 유닛(114)은 원격 원거리 작동 명령 또는 입력에 기반하여, 또는 자율 주행 유닛(120)에 의해 생성된 국부적으로 생성된 명령 또는 입력에 기반하여 작동할 수 있다. 예를 들어, (노드 또는 에지 노드(edge node)일 수 있거나 이를 포함할 수 있는)원격 서버(170)는 원격 원거리 운영자(인간 또는 컴퓨터)로부터의 입력에 기반하여 전술한 결합/해제 작동들 중 하나 이상을 수행하도록 결합/해제 유닛(114)에 원격으로 명령할 수 있거나; 자율 주행 유닛(120)은 전술한 결합/해제 작동들 중 하나 이상을 수행하도록 결합/해제 유닛(114)에 국부적으로 명령할 수 있다.
[0021] 본 발명에 따르면, 하나 이상의 인프라 요소(160) 중 각각의 하나는 하나 이상의 센서들(161)(예를 들어, 카메라, 마이크, 센서, LIDAR(Light Detection and Ranging: 광 검출 및 범위지정) 센서, RADARS 또는 RADAR 센서 등), 하나 이상의 송수신기(들)(162)(예를 들어, 셀룰러 송수신기, Wi-Fi 송수신기), 및 AI 모듈(169)(예를 들어, 프로세서 및 메모리 유닛을 사용하여 구현됨)을 포함할 수 있다.
[0022] 유사하게, 2차 차량(150)은 하나 이상의 센서들(151)(예를 들어, 카메라, 마이크, 센서들, LIDAR 센서들, RADAR 등), 하나 이상의 송수신기(들)(152)(예를 들어, 셀룰러 송수신기, Wi-Fi 송수신기), 및 AI 모듈(159)(예를 들어, 프로세서 및 메모리 유닛을 사용하여 구현됨)을 포함할 수 있다.
[0023] 추가적으로, 1차 차량(110)은 AI 모듈(119)을 포함할 수 있으며; 원격 서버(170)는 원격 AI 모듈(179)을 포함하거나 이를 제어할 수 있거나 이와 연관될 수 있다.
[0024] 본 발명에 따르면, 데이터는 1차 차량(110)의 차량 센서(111) 및/또는 2차 차량(150)의 차량 센서(151) 및/또는 인프라 요소(161)의 센서(161)와 같은 다중 센서들에 의해 감지된다. 감지된 데이터, 원시 데이터, 부분 처리된 데이터, 완전 처리된 데이터, 외부 소스로부터의 데이터 및/또는 데이터 분석을 기반으로 하여 생성된 명령 또는 신호를 포함한 감지된 데이터는 송수신기(132, 152, 162, 174)를 통해 시스템의 엔티티들 사이에 교환, 전송 및/또는 수신된다. 본 발명에 따르면, 센서들(111, 151, 161) 중 각각의 하나는 센서가 위치되는 동일한 엔티티 및/또는 시스템 내의 다른 엔티티에 의해 활용될 수 있는 감지된 데이터를 제공할 수 있으며; 유사하게, 각각의 AI 모듈(119, 159, 169, 179)은 1차 차량(110)의 결합/해제 및/또는 원거리 작동과 관련하여 및/또는 1차 차량의 자율 주행과 관련하여 가장 적합한 결정에 도달하기 위해서 처리 능력 및 AI 리소스에 기여할 수 있다.
[0025] 일부 실시예에서, 원격 서버(170)는 "클라우드 컴퓨팅(cloud computing)" 서버 또는 요소로서 구현될 수 있거나; 1차 차량(110)과 원격 서버(170) 사이에 필요한 통신 시간을 단축하기 위해서 1차 차량(110)에 상대적으로 근접하게 위치될 수 있다(예를 들어, 에지 노드 또는 셀룰러 에지 노드 또는 무선 에지 노드 또는 클라우드 기반 플랫폼로서 또는 이를 사용함으로써 선택적으로 구현될 수 있다). 예를 들어, 액세스 포인트(AP)/V2X 요소(181)(예를 들어, Wi-Fi 액세스 포인트(Access Point) 또는 송수신기; 위성 기반 통신 노드 또는 요소 또는 송수신기 또는 단말기; DSRC 노드 또는 요소; V2X 노드 또는 요소 등 중에서 하나 이상을 포함함)는 1차 차량(110)을 작동시킬 목적으로 AI 분석을 유사하게 지원할 수 있는 AI 모듈(182)을 포함할 수 있다. 유사하게, CNE(Cellular Infrastructure Element: 셀룰러 인프라 요소)(183)(예를 들어, eNodeB 또는 gNodeB, 또는 셀룰러 에지 유닛 또는 타워 또는 사이트, 셀룰러 기지국, 고정 또는 부동 셀룰러 송수신기 또는 스테이션 또는 증폭기 또는 중계기 또는 릴레이 노드 등)는 1차 차량(110)을 작동시킬 목적으로 AI 분석을 유사하게 지원할 수 있는 AI 모듈(184)을 포함할 수 있다.
[0026] 출원인들은 자율 주행 차량과 자가 주행 차량이 현실이 될 것으로 예상하고 자동차 또는 차량(또는 오토바이, 기차, 트럭, 버스, 드론, 헬리콥터, 항공기, 선박, 휠체어 또는 기타 모든 형태의 이동 기계 또는 육상, 항공 또는 해상 운송 수단)의 휠에 물리적으로 앉아있는 인간 운전자에 의해 구동되는 차량을 인수 할 수도 있음을 깨달았다.
[0027] 출원들인은 인공 지능(AI 또는 A.I.) 시스템이 차량에 상주하고 이러한 AI 시스템 또는 모듈을 실행하는 컴퓨터에 의해 차량이 자율적으로 주행하게 하도록 개발될 수 있음을 깨달았다. 출원인들은 또한, 일부 경우 및 국가 또는 지리적 위치에서 예를 들어, 비상 상황에서 및/또는 로컬(차내) AI 시스템 또는 차량 컴퓨터에 의해 학습되지 않거나 훈련되지 않거나 인식되지 않거나 보증되지 않는 경우에 원격 인간 운전자가 로컬(차량 또는 차내) AI 운전 모듈을 인수하거나 다른 방식으로 보조 또는 지시할 수 있도록 하는 것이 바람직하거나 심지어 의무화될 수 있음을 깨달았다.
[0028] 출원인들은 또한, 일부 시나리오들에서 필요에 따라 또는 필요하다면 차량의 로컬 제어를 취할 준비가 된 차량에 인간 운전자가 앉아 있을 수 있음을 깨달았다. AI 자가 주행 모듈이 동적 드라이버로서 기능을 하기 위해서 멈추는 이러한 시나리오는 자가 주행 모듈 또는 시스템의 "해제"로서 지칭될 수 있다. 일부 상황들에서, 그러한 해제는 로컬 AI 모듈(들)이 일시적으로 또는 장기간 또는 심지어 영구적으로 실제 동적 자가 주행 운전 작업을 수행하는데 부분적인 또는 전체적인 실패를 의미한다.
[0029] 출원인들은 그러한 해제 과정이 충분히 원활하지 않거나 충분히 빠르지 않거나 가능한 것보다 적을 수 있거나, 갑작스럽거나 문제가 될 수 있는데, 이는 예를 들어, 로컬 인간 운전자가 태만하거나, 인간의 본성이 매우 지루하고 반-인식 상태에서 벗어나는 순간 틈틈이 안주하거나 수동적인 모니터링 작업에 지루하거나 갑자기 행동에 놀라거나, 인간 운전자가 주의를 기울이지 않거나 주의가 산만 해 지거나 다른 작업(예를 들어, 스마트폰 사용)에 몰두하거나, 다른 이유들로 인한 것임을 깨달았다.
[0030] 출원인들은 또한, 그러한 상황에서 원격 운전자(인간 또는 자동) 또는 그러한 인간 원거리 운영자 또는 그러한 원격 원거리 운영자가 지속적으로 그리고 차량으로부터(예를 들어, 카메라, 마이크, 센서, LIDAR 센서 등으로부터) 원격 개입 운전자 또는 원거리 운영자 또는 모듈에 이르기까지 감각 정보 또는 감지된 정보를 전달하는데 대기시간 또는 지연이 있을 수 있으므로 로컬 탑재 운전자 또는 센서와 동일한 품질로 주변을 실제로 볼 수 없기 때문에 원격 운전자의 개입이 훨씬 더 어려울 수 있음을 깨달았다.
[0031] 출원인들은 무선 또는 셀룰러 네트워크 링크 또는 차량으로부터 및/또는 차량으로의 연결에 실제 또는 잠재적인 불안정성 또는 비-신뢰성, 그리고 결과적으로 원거리 운영자에서 수신된 감각 정보의 실제 또는 잠재적인 불안정성 또는 비-신뢰성이 있을 수 있음으로써, 원격 원거리 운영자가 원격 운전을 모니터링 및/또는 개입하거나 처리할 준비를 하는 것을 어렵거나 때로는 불가능하게 만들 수 있음(예를 들어, 특히 원거리 운영자 또는 모듈이 한 대 초과의 차량을 모니터링하고/하거나 제어할 필요가 있는 경우)을 깨달았다.
[0032] 출원인들은 또한, 하드웨어 및 소프트웨어, 특히 AI 구성요소 또는 모듈 및/또는 통신의 시스템 중복이 바람직할 수 있거나 특히, SAE 수준 3, SAE 수준 4 및/또는 SAE 수준 5에 도달하고 지원하기 위한 (자동차 공학 협회에서 정의된 대로의)자율 주행 및/또는 자가 주행 시스템 및/또는 원격 운전 시스템의 안정성 및 서비스 수준을 높이기 위해 심지어 의무화될 수 있음을 깨달았다.
[0033] 출원인들은 AI 시스템들이 그들이 실행하는 차량에만 서비스를 제공 할 의도로 개발될 수 있다는 사실을 추가로 깨달았다. 출원인들은 AI 시스템들이 다른 차량, 기타 서비스 운영자, 통신 네트워크 운영자, 보행자, 도시 운영, 도시 계획자, 또는 도로의 또는 지리적 영역의 또는 실시간 및/또는 오프라인 및/또는 회고에서(in retrospect) 감지 및/또는 처리될 데이터의 다른 사용자 또는 이해 관계자에게 또한 이득을 주도록 개발될 수 있음을 깨달았다.
[0034] 출원인들은 예를 들어, 차내의 차량 AI 모듈이 원격 원거리 운영자 시설의 외부 및/또는 원격 AI 계층 또는 AI 모듈(들) 또는 그의 프록시(proxy) 또는 에이전트와 통신할 수 있으며, 예컨대, 다가오는 여행 장면 또는 다가오는 도로 세그먼트에 대한 결정 또는 추정된 안전 또는 보증 또는 예측 수준을 고려하거나 차량을 원격 엔티티와 연결하는 무선 및/또는 셀룰러 통신 연결(들)의 가용성 또는 품질 또는 비용을 고려하여, 또는 기타 동적 또는 정적 매개변수와 고려 사항 및 조건을 고려함으로써, 차량 AI 모듈이 모든 시점에서 수행하기로 결정한 이러한 로컬 차량으로서 미리 구성된 또는 미리 정의된 부분 또는 일부분(예를 들어, 조건별 유형 또는 일부분) 또는 감각 정보의 적응형 동적 부분 또는 학습 부분만을 전송할 수 있음을 깨달았다.
[0035] 예를 들어, 차량 통신 특성 추정기(141)는 1차 차량(110)에 이용 가능한 통신 채널들의 현재 또는 순간 특성들(예를 들어, 대역폭, 처리량, 굿-풋(good-put), 오류율, 패킷 오류율, 누락되거나 손실된 패킷 비율, 오류 패킷 비율, 대기시간, 지연, 지연 시간, 또는 기타 데이터 및 성능 관련 매개변수 등)을 지속적으로 또는 주기적으로 추정하거나 재계산하도록 작동할 수 있고/있거나, 그러한 특성들의 최근 또는 이전 또는 과거 값들(예를 들어, 지난 10 초 또는 30 초 또는 60 초 또는 120 초, 또는 지난 3 분 또는 5 분 또는 10 분)을 고려할 수 있고/있거나, 그러한 특성들의 예상 값들(예컨대, 차량이 이동할 것으로 예상되는 경로를 고려하고 다음 2 분 내에 차량이 셀룰러 수신이 낮은 계곡을 통과할 것으로 예상된다는 표시를 획득함으로써, 예를 들어, 향후 30 초 또는 60 초 또는 120 초, 또는 향후 2 분 또는 5 분 내에 있을 것으로 예상되는 값들)을 고려할 수 있다.
[0036] 차량 데이터 패키징 유닛(142)은 통신 특성 추정기(141)에 의해 추정되는 통신 특성을 고려할 수 있고; 1차 차량(110)으로부터 원격 서버(170) 또는 다른 무선 수신자에게로 무선으로 송신 또는 전송 또는 업로드될 데이터 패키지(예를 들어, 인프라 요소(160), 2차 차량(150), 근처의 eNodeB 또는 gNodeB, 셀룰러 RAN 요소 또는 셀룰러 코어 요소 또는 IP ISP(Internet Service Provider: 인터넷 서비스 제공자) 또는 근처의 AP/V2X 통신 노드(181) 등)를 준비할 수 있다. 데이터 패키징 유닛(142)은 차량 감지 데이터(예를 들어, 원시 포맷 또는 부분 처리 또는 처리된 포맷)의 어느 일부분(들), 부분(들) 또는 세그먼트(들)를 발신 전송에 포함, 생략 또는 폐기할지 결정할 수 있다.
[0037] 또한, 차량용 동적 인코더/변경자(143)는 예를 들어, 이미지 또는 비디오 세그먼트의 해상도를 줄이고/줄이거나, 이미지 또는 비디오 세그먼트의 색상 깊이를 줄이고/줄이거나, 이미지 또는 비디오의 압축 비율을 수정하거나, 오디오 세그먼트를 스테레오로부터 모노로 변경하거나, 오디오 스트림(들) 및/또는 비디오 스트림(들)의 비트 전송률 또는 샘플링 속도 또는 샘플링 주파수를 변경하고/하거나, 프레임 또는 패킷 또는 비디오 세그먼트 또는 오디오 세그먼트를 폐기 또는 생략 또는 희석 또는 건너 뛰고/뛰거나(예를 들어, 매 N 번째 프레임, 매 두 번째 프레임 또는 매 세 번째 프레임을 폐기하고; 오디오 데이터 또는 비디오 데이터 또는 이미지 데이터의 N 번째 밀리 초마다 폐기하고); 다른 수정을 수행함으로써; 제1 포맷 또는 데이터 구조로부터 제2 포맷 또는 데이터 구조, 특히 축소된 크기의 포맷 또는 압축 포맷으로 전송하기 위해 의도된 데이터 세그먼트 또는 데이터 부분을 인코딩 또는 트랜스코딩 또는 재-인코딩하거나 변환하도록 선택적으로 작동할 수 있다.
[0038] 패키징된 데이터-세그먼트는 전술한 바와 같이, 1차 차량(110)의 차량 송수신기(들)(132)에 의해 하나 이상의 다른 엔티티로 무선으로 전송될 수 있으며; 그러한 다른 엔티티의 AI 모듈(들)은 1차 차량의 원격 구동 유닛(130) 및/또는 결합/해제 유닛(114) 및/또는 1차 차량(110)의 다른 유닛에 의해서 1차 차량(110)에 입력을 제공하고/하거나 1차 차량의 자율 주행 유닛(120)에 의해 활용될 명령을 제공하기 위해서 그러한 데이터의 처리를 보조하도록 작동할 수 있다.
[0039] 일부 실시예들에서, 본 발명은 특히, 다중 링크 차량 통신을 사용하는 것과 같이 인공 지능 및 광대역 무선 연결을 사용하고/하거나, 선택적으로 운전 중인 차량 외부에 있고/있거나 운전 중인 차량과 멀리 떨어져 있는 적어도 하나의 AI 모듈을 포함할 수 있는 분산된 AI 리소스를 활용하고/하거나, AI 모듈들을 사용하거나 사용하지 않고 원격 위치(차량의 외부 위치 및 차량에 대해 멀리 떨어진 위치)로부터 인간의 개입에 의해서 차량 또는 자율 차량의 원격 운전 및/또는 원거리 작동 장치, 시스템 및 방법을 포함한다. 본 발명은 다른 및/또는 추가의 이점들 또는 장점들을 제공할 수 있다.
[0040] 본 발명은 통신에서 원격 원거리 운용, AI 기능 및 원격 원거리 운영자 - 인간 및 AI 기반 모두 -, 원거리 운영자 센터에 중복성, 신뢰성 및 가용성을 추가하면서, 차량에서 공유되는 데이터의 품질을 높이고 원격 개입을 위한 지연 시간을 줄이며, 다양한 도로 및 교통 시나리오, 다양한 통신 조건 및 성능, 다양한 차량 조건, 다양한 원격 원거리 운영자 응답, 네트워크 전개 및 성능 또는 기타 등을 학습하고 이에 대응하는 감독 없이 진행중인 AI 교육에 상기 메커니즘을 적용 할 때, 동일하거나 상이한 차량의 다중 원격 원거리 작동을 추가로 공유하고 동기화할 수 있는 장치, 시스템 및 방법을 포함한다. 본 발명은 또한, 비용 및 순간적인 성능 특징을 고려하여 차량으로부터 데이터를 송신하고 이용 가능한 통신 연결 로 분할하고 이들의 조합뿐만 아니라 생성, 포맷, 희석, 압축 또는 다른 처리를 일치시킬 수 있다. 더욱이, 일부 실시예들은 다수(예를 들어, 수백 또는 수천)의 마이크로 셀 전개를 갖는 5G를 포함한 오버레이 텔레콤 네트워크(overlaying telecom network)를 통해 또는 이를 경유하여 AI 처리 작업 및 요소를 최적으로 또는 효율적으로 분배하여, 관련성 있거나 최적의 AI 지원이 네트워크 에지 또는 그에 가까운 곳에서 실행될 수 있다.
[0041] 본 발명은 그중 하나가 적어도 하나의 차량인 여러 위치에 분산될 수 있는 인공 지능의 다중 계층 또는 다중 구성요소를 사용하기 위한 장치, 방법 및 시스템을 포함한다. 이들 AI 계층 또는 구성요소 또는 모듈은 하나 이상의 적절하거나 적합한 통신 링크들을 그들 사이 또는 그들 중에서 상호 통신하며, 이들 중 적어도 일부는 차량 AI 구성요소를 인프라에, 중앙 원격 AI 구성요소 또는 계층에, 액세스 포인트 또는 eNodeB(eNB) 또는 셀룰러 인프라구조 RAN 또는 Core 또는 상위 IP 통신 계층의 다른 것과 같은 통신 네트워크의 에지에서 실행되는 다른 AI 구성요소 또는 계층에, 핵심 네트워크 내에서 실행되는 AI 구성요소 또는 계층(예컨대, XUF 또는 XPF 또는 PCF 또는 AMF 또는 XCF 또는 SMF 또는 RAN 또는 핵심 네트워크 구성요소 또는 전용 기능 또는 3GPP 셀룰러 네트워크의 기타 구성 요소) 또는 차량 구성 요소와 임의의 다른 중앙 또는 지역 구성요소 사이의 통신 네트워크의 액세스에, 다른 차량, 운송 수단 또는 보행자에서 실행되는 AI 구성 요소에, 또는 시스템의 임의의 다른 구성요소 또는 계층에 연결하는 임의의 적절한 유형의 무선 및/또는 셀룰러 링크이다.
[0042] AI 구성요소 또는 AI 모듈(들)(119, 159, 169, 179)은 예를 들어, 딥 러닝(deep learning), 머신 러닝, 신경망(NN), 딥 러닝, 지도 학습, 비지도 학습(unsupervised learning), 강화 학습, 휴리스틱 기반(heuristic based) 또는 보조 결정(때로는 전혀 AI라고 지칭되지 않음) 또는 인간이 관여하는 결정을 포함한, 이들 또는 다른 결정을 하는 방법들의 어느 하나의 조합을 포함하는 임의의 적합한 메커니즘 또는 알고리즘 또는 패러다임 또는 방법을 기반으로 할 수 있다.
[0043] 선택적으로, AI 리소스 코디네이터 유닛(Resources Coordinator Unit)(178)은 예를 들어, 원격 서버(170)의 일부로서, 또는 독립형 유닛으로서, 또는 원격 서버(170)에 의해 제어되는 유닛으로서, 또는 1차 차량(110) 외부의 유닛으로서, 또는 1차 차량(110)으로부터 떨어진 유닛으로서, 또는 고정된 부동 유닛으로서, 또는 1차 차량(110) 내의 차량 또는 차내 유닛으로서 시스템(100)에 포함될 수 있다. AI 리소스 코디네이터 유닛(178)은 이용 가능하거나 참여하는 AI 리소스 또는 AI 모듈들 사이에서 AI 작업 또는 리소스의 분배를 제어하거나 수정할 수 있다. 제1 예에서, AI 리소스 코디네이터 유닛(178)은 1차 차량(110)이 AI 모듈을 갖는 스마트 무선 교통 표지판에 매우 근접하게(예를 들어, 그로부터 4 미터 떨어진) 위치된다는 표시를 수신할 수 있으며; AI 리소스 코디네이터 유닛(178)은 Wi-Fi를 통해 라이브 고화질 비디오 스트림을 근처의 스마트 교통 표지판으로 전송하도록 1차 차량(110)에 지시할 수 있어서, 스마트 교통 표지판의 AI 모듈은 스마트 교통 표지판의 빠른 프로세서와 풍부한 메모리를 사용하여 실시간 또는 거의 실시간으로 HD 비디오 스트림을 처리할 것이다. 제2 예에서, AI 리소스 코디네이터 유닛(178)은 물리적으로 가까운 eNodeB 또는 다른 셀룰러 네트워크 요소 또는 에지 컴퓨팅 프로세서가 1차 차량의 LIDAR 및 근접 센서의 데이터를 효율적으로 처리할 수 있다고 결정할 수 있고, 특정 처리의 작업 해당 eNodeB에 할당할 수 있다. AI 리소스 코디네이터 유닛(178)은 어떤 엔티티가 시스템(100)의 다른 엔티티 또는 엔티티들에게 원시 데이터 및/또는 처리 결과를 송신하는지를 추가로 제어할 수 있고, 수신 엔티티가 수신하는 데이터 또는 신호들로 무엇을 해야하는지 추가로 제어할 수 있다. 일부 실시예들에서, AI 리소스 코디네이터 유닛(178)은 학습 머신일 수 있으며, 이는 로드, 예측 로드, 추정 로드, 요청된 현재 AI 작업, 요청된 AI 작업과 관련된 데이터의 위치 및 가용성, 연결 및 데이터 교환 비용, 전력 소비 또는 기타 매개변수, 및/또는 시간이 지남에 따라 검출되는 임의의 다른 상관관계에 관한 학습 정보에 따라서 결정되고 제어되어, 특정 데이터 또는 신호 또는 AI 작업에 대한 최상의 또는 가장 효율적인 수신자 엔터티를 결정하거나 예측하는데 사용된다.
[0044] 일부 실시예들에서, 차량 AI 모듈(119) 또는 다른 구성요소는 감각 또는 다른 데이터를 검사하거나 분석하고 희소, 코어 세트, 범주, 분류, 집계, 전체, 부분, 압축, 원시 또는 기타 중에서 어느 하나의 표현으로 임의의 X, Y, Z 축 및/또는 시간에서 물체가 주변, 근처 또는 떨어져 있거나, 정적 상태이거나 이동 중인지를 결정한다. AI 모듈은 그러한 각각의 매개변수에 가중치를 할당하여, 이러한 객체 또는 표현 또는 매개변수 또는 그러한 매개변수의 세트 또는 서브-세트에 대한 보증 또는 확신의 수준을 나타낼 수 있다. 이러한 확신 지표 또는 가중치 또는 점수는 단일 지표일 수 있거나 객체의 상이한 특징 또는 특성 세트에 대한 지표 또는 계수 세트일 수 있다. 예를 들어, 하나의 객체가 자동차, 트럭, 보행자 또는 차선일 확률에 대한 하나의 보증 가중치 지표가 할당될 수 있으며; 제2 보증 가중치 지표는 그의 X 크기(예를 들어, 그의 길이 치수)가 계산된 것과 같을 확률에 대해 할당될 수 있으며; 제3 지표가 그의 Y 크기(예를 들어, 그의 폭 치수)가 계산된 것과 같을 확률에 대해 할당될 수 있으며; 모든 특징이나 특성(들)이 각각의 그러한 객체에 대해 중요하다고 간주될 수 있다. 장면에서 객체가 보이거나 보이지 않는 것을 포함하고 차량 조건과 상태, 특징 및 동적 매개변수를 포함한, 각각의 시나리오 또는 시점에서 각각의 객체에 대해 어느 특징이 중요한지를 식별하는 것은 미리 알려지거나 경험적으로 학습하거나 적응될 수 있거나, 차량 AI 수준 또는 원격 AI 구성요소 또는 계층 수준 모두에서 본 발명 AI의 메커니즘을 통해 학습되거나 적응될 수 있거나, 이들의 임의의 조합일 수 있거나, 하나 이상의 조건에 의존할 수 있다.
[0045] 확률 또는 보증의 그러한 지표 세트 또는 단일 요약 지표가 계산되면, AI 모듈(119)과 같은 로컬 차내 AI 구성요소는 이러한 계산된 가중치가 미리 정해진 정적 임계 값 또는 장면의 관점에서 또는 다른 조건이나 구성요소 또는 차량의 관점에서 동적으로 결정된(동적으로 수정된) 임계 값 미만인지 여부를 체크하고 결정할 수 있다. 그러한 경우, 차량 AI 모듈(119) 또는 AI 구성요소는 이러한 분석 또는 그 일부, 또는 이를 산출한 원시 데이터, 또는 이를 산출한 부분 처리된 데이터, 또는 이의 임의의 표현, 또는 차량에 대해 원격 및/또는 외부에 있을 수 있는 다른 하나 이상의 AI 계층(들) 또는 구성요소(들) 또는 모듈(들)과 함께 다른 관련 감각 데이터 또는 처리된 데이터를 공유하도록 결정할 수 있다. 그러한 공유 결정은 다른 처리 알고리즘 또는 방법들에서 취할 수 있을 뿐만 아니라, 예를 들어 일부 구현예들에서 압축되지 않거나 원시 포맷으로 모든 감각 데이터를 공유할 수 있다.
[0046] 추가 처리를 위해 데이터를 외부 엔티티와 공유할지 여부뿐만 아니라, 어느 데이터 또는 데이터 세그먼트를 공유할지 및/또는 어느 포맷(들) 및/또는 어느 통신 링크(들)를 통할지의 결정은 데이터 공유 결정 유닛(144)에 의해 수행될 수 있다. 예를 들어, 그러한 공유는 임의의 적합한 이유, 예를 들어 다른 AI 구성요소 또는 계층 또는 모듈과의 협의에 대해 필요하거나 조언되거나 선택될 수 있어서, 시스템은 추가 데이터 또는 추가 또는 더 강력한 컴퓨팅 성능을 가질 수 있거나 과거에 수집 또는 분석된 더 많은 데이터에 의해 구동될 수 있으며, 따라서 차량에서 멀리 떨어지고/지거나 차량의 외부에 있는 하나 이상의 AI 모듈로부터의 "2차 의견" 또는 심지어 "군중 기반" 또는 "군중 소스(crowd-source)" 의견을 얻기 위한 목적으로, 또는 차량이나 AI 시스템 공급업체 또는 규제 기관에 의해 규정된 절차적 단계로서, 또는 임의의 다른 적합한 이유로, 더 나은 보증 지표(들)을 가질 수 있다. 다른 유형의 경우, 동일한 데이터 또는 상이한 데이터 세트의 공유는 시스템(예를 들어, 차량 외부에; 또는 원격 서버 또는 클라우드 컴퓨팅 서비스에 위치되거나, 다른 차량에 위치됨)에서 하나 이상의 다른 AI 구성요소를 교육하고 교시하고 훈련하는 것을 보조하기 위해서, 예를 들어 다른 차량 또는 보행자 또는 기타 객체에 관한 실시간 결정을 내리고/내리거나 오프라인 훈련이나 학습을 위해 미래의 전반적인 성능과 예측을 개선하기 위해서 선택되거나 수행될 수 있다.
[0047] 일부 실시예들에서, 근처(예를 들어, 근처 차량 또는 근처 인프라 요소) 또는 원거리(예를 들어, 원격 서버 또는 원격 AI 유닛 또는 모듈 또는 프로세서)에 있건 간에, 차량(110) 외부에 있는 임의의 엔티티를 향해 차량(110)으로부터의 데이터의 업링크 전송(uplink transmission) 또는 업스트림 전송(upstream transmission) 또는 업로드는 가상 결합된 통신 링크 또는 결합된 다중 링크를 통해 또는 이를 경유하여 적어도 부분적으로 선택적으로 수행될 수 있으며, 이는 예를 들어, 동적으로, 또는 그러한 전송, 업로드 또는 업스트림에 이용 가능한 각각의 송수신기 또는 모뎀의 전류 및/또는 순간적 및/또는 추정 및/또는 예측 성능을 기반으로 하거나 이를 고려하여, 결합 유닛(149)에 의해 구성 및/또는 구현 및/또는 관리 및/또는 구성 및/또는 수정될 수 있어서, 송수신기가 업로드를 수행하고 그에 의해서 또는 다중 송수신기 및/또는 패킷 할당 방식의 사전 정의 또는 사전 설정된 조합을 선택함으로써 업로드를 위해 각각의 그러한 송수신기에 패킷이 동적으로 할당하도록 동적으로 결정 및/또는 수정한다. 결합 유닛(149)은 다중 무선 통신 링크, 특히 다중 차량 송수신기 또는 다중 차내 또는 차중 송수신기에 의해서, 또는 상기 차량에 의해 이용 가능하지만 반드시 상기 차량 내에 통합될 필요는 없는 다중 송수신기(예를 들어, 스마트폰 또는 인간 운전자의 태블릿 또는 그 차량 내에 있는 인간 비-운전자 승객의 송수신기)에 의해서 서비스되는 다중 무선 IP 통신 링크로 구성된 결합된(또는 집합된 또는 다중 링크) 가상 통신 링크를 활용하거나 함께 통합할 수 있어서; 각각의 송수신기는 특정 IP 목적지 주소에 업로드해야 하는 총 패킷의 일부를 병렬로 전송, 업로드 또는 스트리밍할 수 있으며, 수신자 유닛은 다중 무선 링크로부터 들어오는 패킷을 순서 있고 올바른 데이터 스트림으로 재조립하는 조립 엔진 또는 재조립 엔진을 사용한다. 선택적으로, 결합 유닛(149)은 어떤 통신 링크(들)를 사용할 것인지; 및/또는 그러한 업링크 전송을 위해 어떤 송수신기를 사용하여 애드 혹(ad hoc) 또는 연속 결합된 채널 또는 결합된 다중 링크 연결을 생성할 것인지; 및/또는 각각 이용 가능한 링크 또는 송수신기 또는 모뎀을 통해 업로드하도록 어떤 패킷을 할당할 것인지를 동적 방식으로 정의, 결정, 구성 및/또는 수정할 수 있다. 일부 실시예들에서, 데이터(예를 들어, 차량에서 업로드 된 감지된 데이터 및/또는 차량에서 준비된 처리되거나 부분적으로 처리된 데이터)는 브로드 캐스트(broadcast) 또는 유니캐스트(unicast) 또는 멀티캐스트를 통해, 또는 단일 일대일 통신 링크를 통해, 또는 단일 지점 간 통신 링크를 통해, 일대 다 통신 링크 또는 채널을 통해, 또는 여러 일대일 통신 링크의 또는 여러 지점 간, 예컨대 1차 차량과 2차 차량 및/또는 인프라 요소 및/또는 외부 또는 원격 서버 또는 AI 유닛의 임의의 서브-세트 사이에서(또는 그 가운데서) 어느 한 방향(상류 및/또는 하류; 업 링크 및/또는 다운 링크; 업로드 및/또는 다운로드)으로, 하프-듀플렉스(half duplex)를 사용하거나 풀-듀플렉스를 사용하거나; 선택적으로 추가 제어 채널 또는 메시징 채널 또는 피드백 채널을 통하거나 그러한 추가 채널을 통하지 않고 통신 링크의 세트 또는 그룹 또는 배치를 통해 전송될 수 있다. 일부 실시예들은 특정 목적지의 주소를 반드시 알 필요없이 IP 연결을 활용할 수 있거나, 하나의 송신기로부터 다중 수신기 또는 수신자 그룹으로 데이터의 송신을 허용할 수 있으며, 수신기는 동일한 IP 네트워크에서 청취할 수 있고 그러한 전송 또는 브로드캐스트 또는 멀티캐스트 또는 업로드 또는 업링크를 실제로 청취하는 수신자 단위가 실제로 있는지 및/또는 수신자 단위가 얼마인지를 반드시 사전에 또는 전송시 알 필요가 없다. 전송된 정보 중 일부는 2 이상의 목적지 장치(또는 수신자, 차량 또는 도로 사용자)와 관련될 수 있으며, 일부 실시예는 임계 수 초과의 IP 목적지 또는 수신자 또는 정보 소비자 또는 데이터 프로세서로 데이터를 전달하는데 있어서 브로드캐스팅 및/또는 멀티캐스팅을 더 효율적이고/이거나 낮은 지연을 갖도록 사용할 수 있다.
[0048] AI 모듈(119) 또는 AI 구성요소가 정보 또는 데이터를 다른 AI 구성요소 또는 임의의 다른 엔티티와 공유 또는 업로드 또는 업스트림하도록 결정하거나 명령을 받는 경우, 일부 실시예들에서 이는 정보 또는 데이터의 각각의 부분, 또는 데이터-항목들의 세트 또는 데이터의 서브-세트를 공유하는 우선순위 수준과 관련하여 그 자체로 또는 우선순위 수준 할당기(145)를 통해 또한 결정할 수 있고/있거나 공유할 데이터의 포맷이나 데이터 공유 프로세스의 임의의 다른 기능 또는 특성과 관련하여 결정할 수 있다. 예를 들어, 차량의 전면 카메라들 중 하나로부터의 카메라 피드(feed)가 객체를 분류, 분석 또는 처리 또는 식별하거나 그의 운동 벡터 또는 다른 특성을 확인하는 것이 일반적으로 또는 특정 장면 및 상황에서 원하는 또는 필요한 보증 확률 수준 임계 값보다 더 낮은 하나 이상의 보증 또는 확률 지표를 갖는 것을 보여주는 것으로 결정할 수 있고, 이러한 특정 지표 또는 이러한 현재 장면 또는 예측 장면에 대한 이들 특정 지표에 관해 더 높은 보증 수준 또는 더 높은 확신 수준을 얻는 것이 중요하며; 따라서 이는 높은 수준의 세부사항 및/또는 높은 품질 데이터의 즉각적인 공유 및/또는 공유와 같은 높은 우선순위 수준을 이러한 정보의 공유에 할당할 수 있다. 또한, 공유할 이러한 데이터에 적합한 포맷이 카메라 및/또는 그의 전체 시야에 의해 감지되고 캡처된 대로의 원시 포맷이라고 결정할 수 있어서, 그 결정을 기반으로 하여 원격 AI 구성요소가 가능한 최고 수준의 품질(예를 들어, 최대 픽셀 또는 해상도)을 갖거나 충분히 높은 품질을 가질 수 있으며, 따라서 가득 또는 전체 또는 완전 보기에 대한 정확성을 가질 수 있다. 또한, 해당 카메라에서 이전 10 초의 비디오를 송신(처음으로 또는 이를 다시 전송)하는 것이 높은 우선순위를 갖는 것으로 결정할 수 있어서 해당 객체 또는 객체들 또는 장면에 대한 더 높은 수준의 보증 표시에 도달하기 위해 다른(외부) AI 구성요소 또는 계층의 확률을 높인다. 이들 두 가지 유형의 데이터 세트가 하나의 조합된 중요도 표시가 있다고 결정할 수 있으며, 또한 현재 피드만 송신하는 의미가 있기 때문에 이들 각각의 상이한 중요 지표만을 가지는 반면에, 다른 경우에는 피드의 이전 초 없이 또는 추가의 상이한 감각 원시 또는 처리 데이터 없이 현재 피드만을 송신하는 것이 우선순위가 매우 낮을 수 있다.
[0049] 그 후, 1차 차량의 AI 모듈(119) 또는 다른 구성요소는 그들의 관련 중요 가중치와 함께 해당 시점에서 전송하는 것이 바람직하다고 결정한 모든 데이터를 조사할 수 있다. 또한, 이들을 알고 있기 때문에 또는 이들이 특정 시점에 있을 것으로 예상하기 때문에, 통신 채널 또는 연결의 가용성과 품질에 따라서 이들의 우선 순위를 또한 지정할 수 있다. 예를 들어, 데이터/채널 할당기(146)는 특정 송수신기(들) 및/또는 통신 링크(들) 및/또는 통신 채널(들)에 의해 전송되도록 어느 데이터 세그먼트 또는 데이터 부분 또는 데이터 스트림을 할당할지를 결정하도록 작동할 수 있다. 예를 들어, 정보 항목(A)이 예를 들어, 비디오 압축 프로세스로 인해 소스로부터의 지연(XI)에서 비교적 높은 비트율로 압축된 고화질 디지털 비디오 스트림이고, 정보 항목(B)가 예를 들어, 소스로부터의 마이크로 초 지연(X2)에서 비디오 피드의 희소 객체 표현의 스트림이고, 정보 항목(C)이 소스로부터의 (예를 들어, 이를 분류하고 처리하는 AI 프로세스로 인한)지연 시간(X3)에서 전면 LIDAR 센서의 희소 표현의 스트림이고, 정보 항목(D)이 처리 시간으로 인해 소스로부터의 지연 시간(X4)에서 측면 각도 LIDAR 슬라이스 또는 각도 이미지(예를 들어, 90도 또는 110도 또는 45도) 및 측면을 향하는 카메라 피드의 희소 융합이고, 이들 데이터가 특정 장면에 대해 위의 예에서 나열되는 우선순위를 갖거나 일반적으로 다른 원격 AI 에이전트 또는 구성요소 또는 계층 또는 원거리 운영자 프로세서로 전송되도록 이들 네 가지 유형의 데이터가 계산되면, 차량 AI 에이전트 또는 기타 프로세서는 또한, 해당 특정 시간 지점에서 그리고 잠재적으로 예측 가능한 정방향 시간 창 또는 정방향 시간 간격에서 이용 가능한 통신 연결 또는 연결 및 성능(예를 들어, 대기 시간, 대역폭, 굿-풋(good-put), 처리량, 오류율, 신뢰성 지표(들) 등)을 검사할 수 있다. 그런 다음, 예를 들어 스트림(A)을 전송하는 가중치가 스트림(B 및 C)을 통해 "충분히 높지" 않은 지의 여부를 스트림(A)만을 전송하는 대신에 결정할 수 있는데, 이는 대신 스트림(B 및 C)을 전송하는 것을 선호하는, 함께 결합되거나 함께 사용되는 하나 또는 다중 통신 연결로부터의 충분히 낮은 대기 시간 및 충분히 높은 신뢰성에서 충분한 대역폭이 없기 때문이며, 그들이 IP 목적지 또는 목적지들에 도착할 것이 더 확실하기 때문이며, 스트림(B 및 C)을 모두 수신하는 영향이 스트림(A)만을 수신하는 것보다 더 높거나 두 가지 이유 또는 다른 적합한 이유 때문이다. 그런 다음 결합된 통신 링크 또는 두 개 이상의 특정 모뎀 또는 송수신기(M1 및 M4)로 구성된 가상 연결을 통해 스트림(B)을 전송할 수 있으며 단일 모뎀 또는 송수신기(M2)를 통해 스트림(C)을 전송하여 다른 모뎀 또는 송수신기(M3)을 이러한 시점에서 시간 임계 데이터 또는 신뢰성 임계 데이터에 사용하지 않게 할 수 있는데, 이는 그의 모니터링된 성능이 일부 또는 모든 정보 유형들에 대해 불충분하거나 부적절하기 때문이다. 다음 순간에 이것이 변경될 수 있으며, 차량 모듈은 스트림(A)을 전송하기 위해 모뎀 및/또는 송수신기의 상이한 조합(예를 들어, M2 + M3 + M4)을 사용하도록 결정할 수 있으며 또한 모뎀 또는 송수신기(M1 + M2)의 조합을 통해 스트림(B)을 계속 전송할 수 있다(예를 들어, 모뎀 또는 송수신기(M2)가 두 유형의 정보를 전송하기 위해 이러한 예에서 사용된다).
[0050] 일부 실시예들에서, 통신 특성 추정기(141)에 의해 수행된 추정 또는 계산의 관점에서, 현재 연결의 용량 및 능력 그리고 그들의 품질 내에서 전송될 모든 정보를 수용할 수 있는 지의 여부를 결정할 수 있다. 그렇지 않다면, 데이터의 일부 또는 전부에 대해 다른 포맷이 적절하거나 충분한지를 AI 모듈(119)과 상의할 수 있다. 예를 들어, AI 모듈(119)은 현재 실시간 비디오 피드 및/또는 이전 초로부터의 피드를 더 높은 압축으로 더 강력하게 압축하거나, 이전 몇 초 내의 이미지의 희소 처리된 표현을 갖고 이를 전송하거나, 기존 연결(들)을 통해 우선순위가 높은 관련 데이터 및 그들의 전류 또는 추정되거나 예측된 품질의 전송을 수용하기 위해 임의의 다른 낮은 품질의 전송 옵션으로 데이터를 전송하도록 결정할 수 있으며, 따라서 동적 인코더(Dynamic Encoder)/변경자(Modifier)(143)는 그러한 데이터 압축 또는 데이터 희석 또는 데이터 크기 감소를 수행하도록 작동할 수 있다. 예를 들어, 그러한 데이터의 추가 처리가 부분적으로 또는 완전히 관련이 없을 수 있도록, 또는 그러한 한 가지 처리 방법이 더 낮은 대기 시간을 소요하지만 이용 가능한 연결과 그들의 순간 성능 또는 예측 성능 내에서 수용되는데 충분히 낮은 충분한 대역폭을 초래하는 경우에 그러한 처리가 여전히 수행될 수 있도록 일부 데이터는 매우 짧은 대기 시간 내에 전송해야 하거나 꼭 전송해야 하는 데이터로 정의될 수 있다.
[0051] 일부 실시예들에서, 데이터의 처리는 AI 구성요소 결정 또는 미래의 다가오는 데이터의 예측 및 그의 예상되는 가중치 보증 확률에 따라서 시간을 절약하고/하거나 대기시간을 줄이기 위해 병렬로 수행될 수 있다. AI 모듈(119)은 이들 학습된 예측에 따라서 시작 또는 중지하거나, 특정 품질 수준(들) 또는 매개변수 세트에 따라 수행하거나, 압축 또는 인코딩을 위한 매개변수를 중지 또는 변경하는 등의 추가 처리를 명령할 수 있다. 예를 들어, AI 모듈(119)이 너무 낮은 특정 세트 또는 단일 보증 또는 확률 지표로, 또는 관련 시간에 걸쳐 감소된 확률 지표의 경향으로, 또는 관련 시간에 걸쳐 불안정하거나 변동하는 일정 수준(절대 또는 상대) 지표(미분 또는 다른 수학적 방법)로 객체를 식별할 때, 이용 가능한 통신 성능이 너무 낮은 경우에 덜 압축된 스트림 대신 이러한 새로운 낮은 품질의 스트림이 전송을 위해 선택될 수 있도록 더 낮지만 "충분히 양호한" 또는 충분하게 좋은 비디오 스트림을 위해 의도된 인코딩 매개변수의 제2 세트를 사용하여 새로운 인코딩 체계를 시작할 것을 비디오 인코더가 결정하고 비디오 인코더에게 명령할 수 있다. 그런 다음, 예를 들어 객체 또는 장면 확실성 지표가 충분히 높고 충분히 안정되면 이러한 제2 인코더를 중지하도록 결정할 수 있다.
[0052] 다른 예에서, AI 모듈(119)은 전체 또는 관심 영역 또는 일부 특정 객체의 이미지 또는 비디오의 희소 표현(sparse representation)을 제공하도록 비디오 처리 구성요소에 지시할 수 있는 반면에, 그러한 표현은 서로 다른 수의 픽셀, 분류된 객체, 특정 디지털 서명, 2D 또는 3D, 서로 다른 해상도 또는 기타 표현의 세트들에 의해 생성될 수 있다. 각각의 표현은 희소성 또는 보증 수준을 나타내는 비디오 처리 또는 분석 또는 표현 프로세서에 의해 생성된, 그와 관련된 표시기가 있을 수 있다. AI 모듈(119)은 특정 비디오 처리 또는 희소 프리젠테이션(sparse presentation)이 특정 장면, 객체, 벡터, 운동 또는 임의의 다른 기준에 대해 바람직하거나 충분한 충분히 높은 확률 수준에서 사전에 학습하거나 예측할 수 있으며, 분류되거나 식별되거나 예측된 객체, 벡터 또는 장면의 확률, 해당 항목에 대한 더 높은 수준의 확률에 도달할 중요성에 대한 가중치 확률, 비디오 처리 또는 비디오의 AI 처리 결과가 다른 센서로부터의 정보와 조합될 때 해당 항목의 보증 또는 확률, 원시 데이터 수준에서 또는 처리된 데이터 수준에서 또는 결론 또는 예측 또는 확률 수준에서 다른 객체의 보증 지표, 전체 장면 또는 가까운 작업, 예컨대 동적 운전(dynamic driving) 또는 도로 위험 또는 안전에 대한 해당 객체의 중요성, 또는 기타 적합한 또는 관련 정보를 인자화할 수 있다.
[0053] 일부 실시예들에서, AI 및 기계 학습에서 기계가 결론에 도달하는 정확한 결정 알고리즘은 불분명하고/하거나 관련이 없을 수 있다. 오히려, 예측은 정확도의 확률 또는 확신도에 대한 특정 지표로 제공된다. 본 발명은 추가적인 기계 학습 또는 의사 결정 프로세스(들)를 위한 매개변수로서 확률(또는 확신도) 또는 다른 임계치 또는 결정 기준 또는 알고리즘에 대한 이러한 지표를 사용하며, 이는 어떤 정보와 어떤 품질 및 포맷으로 전송되고 어떤 다른 AI 구성요소(들) 또는 모듈(들) 또는 시스템과 공유되어야 하는지를 결정하는 초기 정보와 병렬로 발생할 수 있다. 그런 다음, 우선순위에 따라 관련 연결 또는 채널 또는 통신 링크(들)를 통해 관련 정보 또는 데이터 세그먼트를 선택적으로 전송하고 정보 스트림 또는 버스트(burst)와 각각의 연결의 실제 순간 성능 또는 예상 성능을 일치시킬 수 있다.
[0054] 이들 결정의 전부 또는 일부는 사전 구성된 알고리즘을 기반으로 시스템에 의해서, 및/또는 휴리스틱(heuristic)이 있거나 없는, 로컬 인간 개입 또는 원격 인간 개입 유무에 따라, 학습 및/또는 시스템의 다른 AI 구성요소 또는 계층의 학습과 훈련 결과와 조합으로 기계 학습 방법론을 사용하여 시간이 지남에 따라 AI 구성요소 학습에 따라 이루어질 수 있다.
[0055] 일부 실시예들에서, 차량 AI 구성요소 또는 모듈, 및/또는 원격 AI 구성요소 또는 구성요소들 또는 모듈(들)은 어떤 정보 유형이 의사 결정에 관련되는지 및/또는 원격 원거리 작동 또는 원격 원거리 운전 절차 또는 보조 운전에 가장 큰 영향을 미치거나, 원격 인간 또는 원격 AI 원거리 운영자가 그의 유휴 모드로부터 차량을 원격 위치에서 원격으로 운전하는 완전 제어로 얼마나 빨리 그리고 안전하고 가장 효율적으로 전환할 수 있을지를 적응적으로 학습할 수 있다. 유사하게, 정보 유형 또는 스트림과, 그리고 그의 디지털 표현, 포맷, 품질, 희소성 및/또는 메타데이터와의 통신 연결(들) 또는 이들의 다중성 사이의 일치는 효율성 또는 안전성 또는 대기시간 또는 해제된 차량 AI 기반 운전을 인수한 인간이나 AI 원격 원거리 운영자의 다른 매개변수에 유사한 영향을 미칠 수 있다. 다양한 옵션에 가중치가 부여되거나 할당되고 우선순위가 지정되거나 정렬되고 전체 옵션 척도를 고려할 수 있도록 순위가 지정된다(또는 특정 수준까지 또는 그 아래로 지정된다). 데이터 스트림 전송의 중요성, 영향 및 효과, 그리고 매개변수 통신 연결을 통해 전송되는 것과 그들의 일치(단일 또는 결합 또는 복제 또는 기타)는 장면, 장면 유형, 또는 장면의 다른 객체나 장면과 관련된 예측에 따라 휴리스틱으로 학습되거나 제공되거나 선험적으로 구성될 수 있다.
[0056] 예를 들어, 도로가 깨끗하고 다가오는 차량이 없는 경우 도로 또는 도로의 측면에 있는 객체에 대해 상대적으로 낮은 수준의 보증이나 확률 또는 확실성은 예를 들어, 동일한 도로에 다가오는 차량이나 다른 차량이 많은 상황에 비해서, 및/또는 차량 또는 기타 차량 또는 객체 속도, 운동 벡터 및 방향, 궤적에 또한 따라서, 및/또는 낮시간, 야간 시간, 가시성 수준, 기상 조건, 비 또는 눈 또는 안개의 존재, 주변 밝기 수준, 차량이 현재 이동하는 속도 등과 같은 기타 조건을 충분하고/하거나 덜 중요한 것으로 결정될 수 있다. 예를 들어, 트래픽이 없는 경우, 차량 AI 구성요소는 저 확률 객체의 희박하거나 감소된 볼륨 또는 감소된 크기 또는 희석된 디지털 표현을 원격 AI 구성요소 및/또는 원격 원거리 운영자 또는 그러한 여러 가지로 여전히 계속 전송하기로 결정할 수 있는 반면에; 두 번째 경우에, 교통량이 많거나 분석할 객체가 많으면, 식별 가능성이 낮은 도로상의 객체 또는 기타 특징이 이제 높은 중요도를 할당받을 수 있고 차량 AI 구성요소는 이용 가능한 모뎀(또는 송수신기)(M1 및 M3)을 함께 결합하고 이러한 결합된 가상 연결을 통해 또는 가상 연결에 압축된 비디오를 전송 또는 업로드하는 동시에, LIDAR 캡처 데이터 또는 결합된 모뎀(또는 송수신기)(M2 및 M3)의 기타 데이터에 대한 희소 표현을 스트리밍하거나 업로드할 수 있다. 일부 실시예들에서, 차량 또는 다른 AI 구성요소는 전송될 정보에 따른 관련 전송 옵션 및 다른 유형의 정보의 전송 옵션 또는 동일한 정보 또는 그의 다른 포맷에 관한 다른 표현을 선택하기 위해 그러한 경우들 사이를 구별하는 것을 학습할 수 있다. 그러한 학습은 원시 감각 데이터의 전체 표현이 아니더라도 원격 목적지 원거리 운영자 또는 AI 구성요소가 들어오는 나중 스트림 데이터에 따라 그의 예측을 확인할 수 있도록 감각 정보 중 적어도 일부가 원격 목적지로 지속적으로 전송될 때 가능해 진다.
[0057] AI 모듈(119)과 같은 AI 차량 엔티티 또는 구성요소는 차량의 동적 주행의 일부로서의 그의 기능에 추가하여, 어떤 감각 정보를 전송 또는 업로드할지 및/또는 어느 포맷으로 할지 및/또는 어느 유형의 압축 및 인코딩으로 할지 및/또는 어느 모뎀(들) 및 송수신기를 통해 수행할지를 또한 결정할 수 있을 뿐만 아니라, 그의 부분적인 서브 세트의 전송 또는 업로드, 그의 희석된 희소 표현, 그로부터 사후 처리된 데이터, 그에 기초한 하나 이상의 처리된 결정, 또는 감각 수집된 데이터 또는 계산된 결정이나 예측 또는 메타데이터의 임의의 일부 또는 서브-세트 또는 완전하거나 융합된 부분의 임의의 기타 표현과 관련하여 유사하게 결정할 수 있다.
[0058] 일부 실시예에서, 차량에 의해 또는 차량에서 수집되거나 캡처되거나 획득되는 감각 데이터 또는 감지된 데이터 또는 측정된 데이터의 서브 세트는 시간이 지남에 따라 원격 프로세서 또는 프로세서들(또는 원격 AI 모듈들)과 공유될 수 있다. 이는 즉각적인 보증, 확률 또는 확실성 지표 또는 그들의 품질 또는 그들의 기타 기능의 변화 추세를 고려하거나 고려하지 않고 수행할 수 있다. 그러한 공유의 시작 또는 중지 또는 지속기간은 보증 지표 품질과 무관할 수 있다. 공유 데이터의 품질 및 포맷은 보증 지표 품질과는 독립적일 수도 있다. 이들 각각의 매개변수는 시간이 지남에 따라 동적으로 변경되거나 정적이고 사전 구성될 수 있다. 차량 내의 및/또는 네트워크의 임의의 다른 구성요소 내의 AI 구성요소 또는 모듈은 결과, 확률 수준, 장면, 통신 연결 성능, 지리적 위치, 하루의 시간, 요일(예를 들어, 주말 대 평일), 로컬 처리 또는 원격 처리 또는 통신의 비용, 기상 조건, 주변 조명 조건, 차량 교통 혼잡 상태, 가시성 상태, 당면한 작업, 사용 목표 또는 기타 목표 기능 또는 최적화 기능, 또는 감독되거나 감독되지 않은 기계 학습이 이러한 목적을 위해 사용할 수 있는 기타 매개변수에 따라 이들 매개변수 각각을 언제 변경할지 학습 및/또는 예측할 수 있다.
[0059] 예를 들어, 원거리 운영자(또는 원격 운전자, 인간 또는 AI 기반)가 자율 주행 차량에 잠재적으로 개입하여 동적 주행을 부분적으로 또는 전체적으로 제어하거나 명령, 웨이포인트 또는 기타 내비게이션 또는 목적지 또는 그에 관한 운전 지침 또는 그에 관한 변경이 있거나 없는(또는 그에 관한 변경을 포함하는) AI 계획 경로에 대한 승인/확인을 송신하는데 사용될 수 있으며, 응급 상황 또는 학습되지 않은 상황 또는 낮은 확률 상황에서, 개입 지연, 개입의 정확성, 그리고 특정 기계와 관련하여 원격 운전자의“놀람”요인 및/또는 비-경계 및 무의식 상태가 감소되어야 한다. 특히 그러한 원격 운전자가 여러 그러한 자율 주행 차량을 감독할 수 있고 그들 어느 것에 개입할 준비가 되어 있어야 할 때, 또는 자율 차량 주행 시스템의 해제로 유발된 개입 비율이 낮을 때 임의의 그러한 개입은 그러한 원격 운전자에게 놀라운 일이다. 따라서 시스템은 그러한 원거리 운영자가 차량을 인수할 수 있는 대기시간을 최소화하기 위해서 관련 감각 데이터의 관련 프리젠테이션을 전송하도록 적어도 하나의 통신 연결을 사용한다. 필요한 해제 순간이 되었을 때 차량 AI 구성요소가 관련 표현을 전송하기 시작하는 대신에, 해제 및 원격 개입의 순간이 오기 전에 예측 정보의 잠재적으로 상이하거나 동일한 감각의 잠재적으로 다른 표현 세트를 전송한다. 예를 들어, 정보 또는 그 벡터의 희소 또는 희석 또는 부분 서브 세트에 최상위 우선순위가 아닌 상대적으로 높은 우선순위를 지속적으로 할당할 수 있으며, 따라서 다른 덜 우선순위 항목에 대해 이를 계속 전송할 수 있다. 원격 구성요소는 운영자가 임의의 선택된 수준의 확실성 또는 확률 또는 명확성에서 차량의 동적 주행을 인수할 수 있도록 충분한 방식으로 이러한 희소 표현을 표시할 수 있어야 한다.
[0060] 예를 들어, 차량 AI 구성요소는 전면 카메라의 고도로 인코딩된(강하게 압축되어, 스트리밍된 비트 전송률이 낮아진) 비디오 피드만을 전송하거나 업로드하기로 결정할 수 있다. 필요한 대역폭이 충분히 낮기 때문에, 임의의 셀룰러 또는 V2X 연결을 통해 이를 지속적으로 전송할 수 있다. 그럼에도 불구하고, 원격 원거리 운영자가 전송의 대기시간(지연)에서가 아닌, 해제로부터 전송 또는 이벤트의 대기시간(지연)에서 그리고 감각 정보의 인코딩 또는 기타 처리의 대기시간(지연)에서 어느 시점에서든 차량 동적 주행을 인수하는데 충분할 수 있다. 실제로 감지된 차량의 주변 또는 내부의 희박한 표현에 관한 전송된 정보는 원거리 운영자에게 그래픽으로 제공될 수 있으며, 따라서 그는 어느 시점에서든 적어도 어느 정도는 그가 운전자인 것처럼 느낄 수 있다. 다른 방향에서 오는 자동차의 세부사항은 실제와 "블록" 크기의 희소 디지털 표현 또는 이러한 자동차의 고도로 압축된 비디오보다 덜 중요할 수 있으며, 따라서 원거리 운전자는 순간적으로 인수받아 최소한의 대기시간으로 원격 운전 세트(휠, 브레이크, 가스 및/또는 전력 수준 데이터 또는 임의의 다른 것)에서 운전 명령을 송신하기 시작할 수 있다.
[0061] 일부 실시예들에서, 원격 운전자 또는 원격 AI 모듈은 차례로 또는 직렬로 일괄적으로 또는 함께 그룹화된 무선 연결, 운전 지침 중 하나 이상에 대해 유니캐스트 또는 멀티캐스트 브로드캐스트를 사용하여 단일 또는 결합된 통신 링크(들) 또는 채널(들)을 통해 차내 AI 모듈로 다시 송신할 수 있다. 예를 들어, 위험을 피하거나 제거하기 위해 갓길과 같이 첫 번째 웨이포인트 또는 목적지가 명확하게 식별되면, 이러한 웨이포인트는 차량으로 신속하게 송신될 것이다. 시퀀스의 나중 지점 또는 시퀀스가 맞지 않는 지점은 그룹 또는 일괄 처리 또는 차례로 함께 나중에 통신 또는 송신 또는 전송될 수 있다. 웨이포인트 또는 운전 지침은 차량이 정지할 때 및/또는 차량의 운전 중에 차내 AI 또는 원격 운전자 또는 원격 AI, 또는 다른 방법으로 송신될 수 있다. 일부 실시예들에서, 선택적으로, 단일 결정론적 명령 세트가 아니라 여러 옵션들이 차량에 송신될 수 있으며; 따라서 차내 AI는 제공된 웨이포인트 또는 기타 지시 세트, 개발 또는 진화 또는 동적 조건에 따른 가장 관련성이 높은 다음 지점 또는 명령으로부터의 각각의 시점에서 동적으로 선택할 수 있다. 이들 다중 명령은 원격 운전자 또는 원격 AI 유닛에 의해 우선 순위가 결정될 수 있거나 그렇지 않을 수 있으며; 서로에 또는 외부 조건(예를 들어, "브레이크가 반응하면 즉시 브레이크를 밟으시오; 그렇지 않으면 비상 핸드 브레이크를 작동하고 기어를 내린다”와 같이, "if"와 "then" 또는 "when"과 "then"과 같은 연산자 사용하고, AND 및 OR 및 NOT 등과 같은 부울 연산자(Boolean operator)를 사용함)에 의존하거나 의존하지 않을 수 있다. 선택적으로, 원격 운전자는 원격 AI와 상호 작용할 수 있으며 결과적인 명령은 차내 AI 모듈로 송신될 수 있다. 일부 실시예들에서, 이들 작동은 비디오 업링크 전송의 품질 또는 전반적인 업링크 전송에 의존할 수 있는데, 이는 예를 들어, 더 많은 카메라 또는 초당 더 높은 프레임 속도 또는 더 높은 해상도에서 더 나은 품질의 비디오가 원격에서 수행하거나 차내 AI에 수행하도록 명령하기 위한 더 높은 신뢰 수준을 초래할 수 있거나, 더 높은 위험 조작을 개시할 수 있기 때문인 반면에; 낮은 품질의 통신 또는 비디오 또는 이미지가 시스템으로 하여금 더욱 제한된 조작 또는 운전 명령만을 시행하거나 조언할 수 있게 할 수 있다. 품질은 결합된 모든 모뎀 또는 송수신기의 전체 품질 또는 각각의 임의의 서브-세트로 구성될 수 있으며; 품질 지표는 가용 대역폭, 굿-풋, 처리량, 대기시간, 지연, 오류율, 누락 또는 손실된 패킷 비율, 오류 패킷 비율 등을 포함할 수 있다.
[0062] 일부 실시예들에서 차내 또는 원격 AI는 경로를 계획할 수 있지만 그에 대한 경로를 변경하거나 변경하지 않고 원격 인간 원거리 운영자 승인을 요구할 수 있다. 예를 들어, AI가 계획한 경로가 법률 또는 규정 위반을 포함하면, 원격 원거리 운영자는 센서를 사용하여 AI가 계획한 경로를 이해하거나 확신할 수 있거나, 이를 승인하거나 예컨대, 터치 스크린에서 루트 라인을 이동하거나 웨이포인트를 새로 표시/삭제/변경하거나 이를 모두 비 승인함으로써 변경을 수행하거나, 조건이 허용될 때까지 기다린 다음 승인을 발행하거나 다른 방식으로 이것과 및/또는 차량 시스템과 및/또는 AI 모듈과 상호 작용한다. 결합된 모뎀을 사용하면 감각 정보의 품질이 향상되므로, 원격 원거리 운영자의 신뢰도와 상황에 관한 이해가 높아진다. 그는 또한, 카메라와 같은 차량 센서가 장애물이나 관심 영역을 더 잘 가리키도록 지시할 수 있다. 경로를 계획한 AI는 원격 원거리 운영자가 최선/최적 보기로 간주하는 것을 허용하기 위해서 센서를 지시할 수 있으며, 이는 이동 중이거나 다른 필요에 따라 센서의 보기/각도/방향과 다를 수 있다. 예를 들어, AI 모듈은 측면 카메라를 가리켜 측면 물체, 측면 거리 또는 회전을 직접 볼 수 있다. 또는 전면 카메라 중 하나는 작은 각도 변화에서도 옆으로 돌거나 옆길 또는 교차로를 볼 수 있다. 또는 장애물을 확대하거나 보행자 또는 다른 인간과 같은 장애물의 이동을 호위한다.
[0063] 일부 실시예들에서, 차량은 다중 물리적 연결, 또는 모뎀 또는 송수신기를 추가로 장착하거나 이와 연관된다. 예를 들어, 1 개 또는 2 개 또는 3 개의 다른 운영자를 통해 작동할 수 있는 3 개의 셀룰러 모뎀과 연관될 수 있다. 이들 각각의 연결 또는 모뎀은 예를 들어, 이용 가능한 업링크 대역폭, 업링크 대기시간, 업링크 오류율, 이들 중 어느 하나의 지터 거동(jittery behavior), 다운링크 성능, 대역폭, 굿-풋, 처리량, 일반적인 오류 늦음 또는 기타의 관점에서 어느 시점에서든 다른 성능을 경험할 수 있다. 또한, 이는 V2X DSRC 802.l1p 모뎀 또는 송수신기 또는 연결과 연관될 수 있거나, 하나 이상의 다른 V2V 모뎀 또는 송수신기 또는 연결, 또는 위성 모뎀 또는 연결 또는 송수신기, 또는 다른 것과 연관될 수 있다.
[0064] AI 모듈(119)과 같은 차량 구성요소는 다수의 이들 링크 또는 연결을 사용하여 상기 감각 정보 또는 그에 관한 계산 및 처리의 결과의 희소 또는 희석 표현을 연속적으로 또는 가능한 한 많이 또는 필요에 따라 전송하도록 결정할 수 있다. 그러한 사용은 예를 들어 다음 방법들 중 하나로 수행될 수 있다.
[0065] (I) 하나의 선택된 연결을 통해 희소 표현을 전송할 수 있다. 선택은 성능과 같은 엄격한 매개변수에 따라, 또는 어떤 시점 및 기타 조건에서 전송하기 위한 최상의 연결에 관한 AI 학습 및 훈련에 따라 수행될 수 있다.
[0066] (II) 예를 들어, 이들 연결의 임의의 서브-세트에서 전송될 더 높은 우선순위 정보가 없을 때 모든 패킷이 통과하는 안정성을 높이기 위해서, 연결의 서브-세트 다중성을 통해 복제되거나 복사된 희소 정보를 전송할 수 있다.
[0067] (III) 어느 시점에서든 이용 가능한 연결의 다중 서브-세트를 통해 다른 정보 세트를 전송할 수 있다. 예를 들어, 전면 카메라로부터 강력하게 인코딩된 비디오 피드는 단일 가상 연결로 함께 결합된 연결(A와 B와 C) 사이에서 동적으로 분할되고 우측 카메라로부터 객체에 관한 희소 블록 표현은 결합된 연결(B와 D)로 분할된다. 어떤 정보에 어떤 연결을 사용하면 시스템에 의해 동적으로 변경될 수 있다. 성능이 불충분하거나 불충분할 것으로 예상되면, 구성요소 또는 AI 모듈(119)은 정보의 일부를 드롭함으로써, 더 강할 경우 희석하거나 인코딩할 것을 (예를 들어, 더 적은 비트로)프로세서에 명령함으로써, 캡처한 이미지 및/또는 캡처한 비디오의 크기를 조정하거나 크기를 재조정하거나 축소함으로써, K 프레임마다 비디오 스트림의 프레임을 건너뜀으로써, 비디오 스트림의 N 번째 프레임마다 건너뜀으로써, 비디오 인코딩 및/또는 오디오 인코딩에 더 낮은 비트 전송률을 사용함으로써, 샘플링 주파수를 감소시킴으로써, 더 작은 데이터 크기를 생성하거나 임의의 다른 변경을 수행하는 인코더 또는 인코딩 체계를 사용함으로써, 정보를 변경하여 이를 전송할 수 있다.
[0068] (IV) 단일 연결(A)에서 더 강하게 인코딩되거나 희석된 표현, 및 결합된 연결(B + C)에 대한 정보의 동일하거나 다른 서브-세트의 중간 희소 표현, 결합된 연결(C + D)(C는 이러한 예에서 의도적으로 상호 배타적이지 않음)에 대한 정보 또는 예측의 동일하거나 다른 세트의 최소 희소 표면, 하지만 여전히 희소 표현인 표현을 전송할 수 있다.
[0069] (V) 정보 또는 예측 또는 처리된 정보 또는 그 표현의 임의의 서브-세트를 다중 연결의 임의의 서브-세트의 조합을 사용하여 여러 다른 IP 주소로 전송할 수 있다. 정보가 동적으로 변경될 수 있는 각각의 전송 세그먼트에 사용되는 연결의 선택뿐만 아니라 전송 방법(결합, 복제, 단일 연결 또는 기타). 상기 정보의 전송과 병행하여, 사용된 연결의 임의의 서브 세트에서 다른 정보; 예를 들어, 인포테인먼트(infotainment) 또는 엔터테인먼트 관련 패킷, 지리적 위치 데이터, 원격 측정, 매핑 정보, 도로 교통 정보, 경로 안내 정보 또는 기타 덜 중요하거나 우선순위가 낮은 패킷이 전송되거나 수신될 수 있다.
[0070] (VI) A 및 C 연결 각각을 통해 동일하거나 다른 데이터 세트 또는 처리된 데이터를 동일한 IP 목적지 또는 다른 대상으로 전송할 수 있다. 연결(A와 C)은 순간 대기 시간이 가장 짧거나, 대역폭이 가장 낮거나 오류율이 가장 낮거나, 가장 안정적이거나, 비용이 가장 낮거나, 이들 또는 다른 매개변수의 조합이기 때문에 선택할 수 있다. 또한 이들 연결을 통해 서로 관련되거나 관련되지 않은 다른 유형의 데이터를 전송할 수 있다. 후속 순간에, 각각의 링크의 성능은 모니터링을 기초로 하거나 그들 성능을 예측하거나 다른 방식으로, 연결(A와 D)로 전환하거나 동일한 데이터 세트를 복제하거나 다른 세트를 전송하거나 사용중인 연결의 임의의 다른 변경 사항을 전송할 다른 연결(E)를 추가하기로 결정할 수 있다.
[0071] (VII) 연결(B)에 결합된 연결(A)을 통해 희소 분류 표현을 전송하고 연결(C)을 통해 측면 카메라 비디오의 매우 낮은 비트 압축 표현을 또한 전송하고 나서, 후에 결정할 수 있다. 그들의 변동하거나 예상되는 변동 성능에 따른 연결 사용율을 변경하기로 결정할 수 있다.
[0072] 일부 실시예들에서, 임의의 특정 IP 목적지 또는 주소 또는 수신자에게 유니캐스트로 정보를 전송하거나, 이를 멀티캐스트하거나 이를 브로드캐스트할 수 있다. 예를 들어, 근처의 AI 구성요소 및/또는 인프라와 희소 정보를 공유하거나 희소 정보를 공유하지 않고/않거나 차량 AI가 해제된 경우 잠재적으로 개입할 수 있는 다수의 잠재적인 원거리 운영자에게 전송하려는 경우, 802.1lp 또는 DSRC 또는 V2X 연결의 다른 선호 버전을 통해 이를 브로드캐스트하여 특정 원격 원거리 운영자의 특정 IP 주소로 유니캐스트하는 것에 병행할 수 있다.
[0073] 일부 실시예들에서, 다수의 원격 원거리 운영자 및/또는 다수의 원격 AI 구성요소 또는 계층 또는 층이 있을 수 있다. 예를 들어, 일부 실시예들에서, 차량 AI는 예를 들어, 연결(A + B + C)을 사용하여 동일한 결합된 가상 통신 링크를 사용하여 두 개의 다른 원거리 운영자에게 전송하기로 결정한다. 이는 멀티캐스트 및/또는 가상 사설망(VPN)을 사용하여 수행될 수 있거나; 예를 들어, 이는 전송된 데이터 또는 일부를 이용 가능한 통신 링크 또는 연결 중 두 개 이상을 통해 복제하여 다른 수신 원거리 운영자의 다른 목적지 IP 주소로 별도로 유니캐스트함으로써 수행될 수 있다. 2 명의(또는 더 많은) 원격 원거리 운영자는 약간 더 낮거나 더 높은 대기시간과 같은 다른 성능 특성들에서 관련 정보를 수신할 수 있으며; 예를 들어, 제1 원거리 운영자는 제1 대기시간 및 제1 오류율로 데이터를 수신할 수 있는 반면에; 제2 원거리 운영자는 제2(예를 들어, 더 작은) 대기시간 및/또는 제2(예를 들어, 더 작은) 오류율로 데이터를 수신할 수 있다. 추가적으로 또는 대안적으로, 한 명의 원거리 운영자는 이미 다른 작업을 처리하거나 심지어 다른 해체된 차량을 원격 운전하느라 바쁠 수 있다. 상기 원거리 운영자 중 어느 하나가 해제된 차량을 인수할 수 있다. 대안적으로, 원격 AI 모듈이 인간 원거리 운영자로부터 인계받거나 그 반대일 수 있거나, 둘이 상호 작용할 수 있으며 원격 AI는 원거리 운영자에게 대안에 대해 조언하거나 그에 대한 옵션을 추천하거나, 인간 운영자는 원격 또는 차내 AI 유닛(들)이 경로 계획 대안이나 권장 사항 또는 실제 운전을 계속할 수 있도록 잠재적인 위험이나 제한을 완화한다. 이러한 목적을 위해서, 원거리 운영자 사이에 및/또는 원거리 운영자와 차량 AI 구성요소 또는 차량 프로세서 사이에 및/또는 다른 엔티티(예를 들어, 중앙 AI 구성요소 또는 계층)를 통해 동기화 또는 다른 유형의 조정이 예를 들어, 타임스탬프, ID, 패킷 ID, 제어 채널, 피드백 채널, 피드백 루프, 코드, 제어 메시지, 승인(ACK) 패킷 또는 코드의 전송 및 수신, NACK(Negative Acknowledgment: 부정 응답) 패킷 또는 코드의 전송 및 수신, 충돌 방지 계획, 우선순위 목록 또는 우세한 규칙 및/또는 기타 수단을 통해 수행될 수 있다. 차량 AI는 허용된 원격 원거리 운영자들 중 어느 운영자가 지정된 원거리 운영자가 되는지 식별할 수 있고, 그러면 다른 명령(들)에서 받은 명령을 버리거나 무시할 수 있다. 일부 실시예들에서, 차량용 AI 모듈, 또는 중앙/원격/외부 AI 모듈은 2 이상의 가능한 원거리 운영자 중 특정 원거리 운영자 또는 관련 원거리 운영자가 해제시 차량의 실제 원격 운영을 인수하고 수행할 수 있는 (사전에 또는 해제 프로세스 동안 실시간으로)결정을 하는 모듈일 수 있다. 결정은 하나 이상의 매개변수 또는 조건, 예를 들어 각각의 후보 원거리 운영자와의 현재 또는 과거 또는 예측 또는 추정 또는 실제 통신 품질(예를 들어, 대기시간, 지연, 오류율, 서비스 품질(QoS), 대역폭, 굿-풋, 처리량, 연결 신뢰성 등), 각각의 후보 원거리 운영자(예를 들어, 이미 다른 차량을 원격 운전하는 원거리 운영자는 현재 원격 운전을 하지 않는 다른 차량인 다른 원거리 운영자 또는 원격 AI보다 덜 선호되는 것으로 정의될 수 있다)의 현재 또는 예상 또는 추정된 작업량, (예를 들어, 원거리 운영자(A와 B와 C)가 모두 이용 가능한 경우, 원거리 운영자(B)가 선택될 것이라고 차량 소유자 또는 차량 제조업체 또는 시스템 관리자가 정의했음을 정의하는)사전 정의된 우선 순위, 및/또는 다른 적합한 조건이나 기준 또는 매개변수를 고려하여 도달할 수 있다. 일부 실시예들에서, 잠재적인 원거리 운영자들은 그들 사이에서 또는 그들 중에서 이러한 결정을 내리기 위해 실시간으로 정보를 교환할 수 있다. 일부 실시예들에서, 임의의 의사 결정 프로세스 또는 디폴트 의사 결정 프로세스를 사용하여 제어하는 원거리 운영자는 통신, 인간 UI 수단, 또는 다른 것을 사용하여 다른 객체 및/또는 중앙 엔티티 또는 위치, 차량 프로세서 및/또는 다른 엔티티에 알릴 수 있고, 그와의 상호 작용을 계속할 수 있다.
[0074] 일부 실시예들에서, 원격 원거리 운영자 또는 그러한 다수의 원거리 운영자는 학습 기계, 또는 다른 AI 구성요소 또는 AI 층 또는 AI 계층일 수 있거나 이를 포함할 수 있다. 그들 각각은 계산 또는 연결성 또는 비용 또는 기타 리소스의 측면에서 어느 정도 혼잡하거나 점유될 수 있다. 또한, 그들 각각의 하나는 다른 방법이나 알고리즘 또는 튜닝 매개변수를 구현할 수 있거나, 다른 경험이나 전문지식(예를 들어, 비가 오는 조건에 전문인 기계; 야간 또는 낮은 가시성 조건에 전문인 기계; 도로 위험에 전문인 기계; 등)을 가질 수 있으며, 따라서 다른 훈련 및 결정 결과를 가질 수 있다. 따라서 그들 각각의 하나는 상황에 다르게 반응할 수 있으며; 일부는 일부 상황에서 더 잘 수행하고 다른 일부는 다른 상황에서 더 잘 수행할 수 있다. 전송되고 수신된 정보, 및 그들의 경험, 전문성, 수준 및 능력에 따라서, 각각의 AI 구성요소는 상황을 처리할 수 있다고 추정하는 정도에 따라 순위를 매길 수 있다. 차량 AI 구성요소, 또는 다른 AI 구성요소 또는 그 사이에서 관련 AI 구성요소가 원격 원거리 작동을 위해서 디폴트에 의해 또는 가장 빠르게 응답할 수 있게 선택되거나 사전 선택될 수 있다. 예를 들어, 원거리 운영자(A)는 비오는 조건에서 차량을 원격으로 운전하는데 특히 경험이 있거나 훈련을 받았음을 나타낼 수 있는 반면에; 원거리 운영자(B)는 야간에 차량을 원격으로 운전하는데 특히 경험이 있거나 훈련을 받았음을 나타낼 수 있는 반면에; 원거리 운영자(C)는 브레이크가 오작동하는 차량을 원격으로 운전하는데 특히 경험이 있거나 훈련을 받았음을 나타낼 수 있으며; 특정 원거리 운영자의 선택은 이들(또는 다른) 매개변수 또는 조건들 중 하나가 해제 및 원격 운전을 요구하는 특정 차량에 대해 참인 것을 고려할 수 있다.
[0075] 일부 실시예들에서, 각각의 시점에서 제공되는 원격 지원의 결정은 또한, 차량 및/또는 그 부근의 다른 차량과의 연결 품질에 따라 달라질 수 있다. 예를 들어, 결합된 링크 또는 단일 링크(예를 들어, 5G 통신)의 업링크 비디오 품질이 제한적이거나 어떤 측면에서 더 나쁘면, 원격 원거리 인간 운영자가 경고를 받고 제어할 수 있다. 반면에, (예를 들어, 지연시간, 신뢰성, 오류율, 대역폭 및/또는 기타 매개변수를 고려한)비디오 또는 데이터 업링크 품질이 충분히 지원된다면, 원격 AI가 제어할 수 있다. 이는 계층형 모델에서 작동할 수 있으며; 따라서 예를 들어, 먼저 원격 AI가 해당 인스턴스를 서비스할 수 있는지 평가하여, 차량에 의해 보고되거나 수신된 데이터의 품질에서 파생된 통신 조건을 포함한 조건을 검토하며, 그런 다음 필요하다면 원격 원거리 인간 운영자에게 그 케이스를 넘긴다. 통신 조건이 변경되는 경우에, 예를 들어 대역폭이 임계 값 또는 초당 비디오 프레임 아래로 떨어지거나 해상도 또는 이미지의 세부사항이 임계 값 아래로 떨어지는 경우에, 원격 AI는 인간 원거리 운영자에게 경고하고 케이스를 넘겨 줄 수 있다(예를 들어, AI 모듈로 반환할 수 있다). 통신 상태가 개선되거나 로컬 또는 원격 AI가 케이스를 처리하는데 방해를 받는 중요한 장애물이 제거되거나 인간 원격 원거리 운영자에 의해 통과되는 경우에, 상황은 원격 AI 또는 차내 AI로 전달될 수 있다. 다중 링크의 결합된 통신을 사용하면 신뢰성, 비디오 품질, 대역폭, 낮은 대기시간 또는 안정한 낮은 지터 거동, 더 많은 카메라, 더 많은 기타 센서 등을 제공하며, 이는 더 많은 원격 AI 처리 케이스와 더 적은 수의 인간을 루프에 투입하거나 개선하고 더 효율적인(더 짧고 더 신뢰성 있고 효과적인)인간 처리에 규모 경제를 허용한다.
[0076] 전술한 작동은 1차 차량(110) 내의 차량 유닛일 수 있거나, 원격 서버(170)의 일부일 수 있거나, 1차 차량(110)의 외부에서 구현될 수 있는 다중 원거리 운영자 처리 유닛(147)에 의해 제어 또는 처리될 수 있다. 예를 들어, 다중 원거리 운영자 처리 유닛(147)은 상기 언급된 작동들, 예컨대 다중 원격 원거리 운영자들 중 각각의 하나에 어느 데이터 스트림 또는 데이터 세트 또는 데이터 세그먼트를 송신할지; 어느 원격 원거리 운영자가 특정 상황이나 시나리오를 처리하는데 더 적합하거나 최선인지; 어느 원거리 운영자 또는 어는 원격 생성된 명령이 결정 또는 명령들 간에 또는 예상 결과들 간에 또는 두 개 이상의 원격 작업에서 파생된 작업 간에 충돌 또는 불일치 또는 이상 또는 비정상 또는 모순 또는 불일치 또는 중복의 경우에 우세한 명령이 될 것인지; 및/또는 미리 정의된 규칙 세트에 기초하여, 또는 우선순위의 미리 정의된 룩업 테이블에 기초하여, 또는 다중 소스(일관되지 않은 명령) 중 각각의 하나가 (예를 들어, 가장 높은 수준의 확실성을 가진 명령을 선택하는)그의 명령과 연관된 확실성 수준에 기초하여, 또는 차량 AI 유닛이 이러한 목적을 위해 사용될 수 있는 다른 고려사항에 기초하여 수행될 수 있는 다른 적합한 결심이나 결정 중 하나 이상을 결정 및/또는 수행 및/또는 지시할 수 있다.
[0077] 일부 실시예들에서, 예를 들어 가장 낮은 대기시간 및/또는 다른 국부적 이점을 갖는 AI의 제1 계층이 먼저, 해제된 차량 동적 주행을 인수할 수 있다. 예를 들어, 통신사 또는 이동 통신사 eNodeB 또는 Wi-Fi 핫스팟(hotspot)에 의해 에지에서 실행하는 AI 구성요소이다. 이러한 AI 구성요소는 즉각적인 사고 위험의 즉각적인 처리와 같은 "응급 처치(first aid)" 또는 "제1 대응(first response)" 조치를 제공할 수 있다. 또한, 예를 들어, 과거에 배운 그의 경험 및 훈련에 따라서 추가 또는 다른 AI 전문지식 및 그에 의해 수신되는 데이터의 처리를 제공할 수 있다. 그런 다음 AI 구성요소의 상위 또는 다른 계층과 "문의"하거나 체크하거나, 추가 처리 결과 또는 예측 및 확률을 차량 AI 구성요소 또는 이러한 프로세스에 연관된 임의의 다른 AI 구성요소에 전달할 수 있다. 그러한 다른 AI 구성요소는 상황을 관리하는데 더 적절하거나 능력이 있을 수 있으며 동기화되거나 동기화되지 않은 방식으로 관련 명령을 인수하여 차량 AI 구성요소 또는 차량 운전 프로세서로 전송할 수 있다. 그러한 학습은 감독되지 않은 기계 또는 모드 또는 기술에서 수행될 수 있는데, 이는 수신된 입력을 그의 결정과 나중에 오는 새로운 입력에 대해 지속적으로 체크하여, 확인하거나 무효화하거나 강화하거나 그렇지 않으면 긍정적 또는 부정적으로 학습을 강화하는데 사용될 수 있기 때문이다.
[0078] 일부 실시예들에서, 이동통신 또는 통신 운영자는 서로 상호 작용하는 그들의 에지 노드 또는 그들의 코어 AI 구성요소 오버레이에서 실행할 수 있다. 이들 AI 노드는 그들의 물리적 지리적 위치 커버리지 영역 내의 차량으로부터, 이들 영역에 진입하려는 차량으로부터, 신호등의 카메라 또는 다른 소스와 같은 인프라 센서로부터 원시 정보 또는 처리된 정보를 수신할 수 있다. 그런 다음 이들은 리소스가 모두를 관리하거나 호위하는데 불충분한 경우의 우선순위에 따라서 서비스중인 차량에 "AI 에스코트(AI escort)" 또는 "AI 샤페론(AI chaperon)"을 지속적으로 제공할 수 있다. Wi-Fi 액세스 포인트(AP) 또는 셀룰러 네트워크의 eNodeB 또는 다른 것과 같은 AI 구성요소가 에지 노드에서 구현되는 경우; 그런 다음 통신 핸드오버가 수행될 때, 또는 그 전후에 차량의 AI 상태 표현이 그러한 핸들링 또는 에스코팅 노드 중 하나로부터 다른 노드로 인계될 수 있다. 이는 차량이 원거리 작동되지 않을 때뿐만 아니라 노드 AI 구성요소에 의해 또는 시스템의 다른 AI 구성요소에 의해 원거리 작동되는 동안 발생할 수 있다. 이러한 인계는 신호 및/또는 데이터 교환 및/또는 데이터 수집기로 또는 중앙 엔티티 또는 중앙 AI 모듈로의 보내기를 통해 수행될 수 있다. AI 노드의 커버리지의 지리적 영역은 무선 노드의 텔레콤 또는 모바일-콘 커버리지(mobile-corn coverage) 영역과 부분적으로 또는 전체적으로 중첩되거나 중첩되지 않을 수 있다.
[0079] 예를 들어, 차량이 한 AI 노드에서 다른 AI 노드로 이동할 때, 반드시 통신 연결을 전환하거나 새로운 것을 설정할 필요는 없다. 그러나, 차량이 통신 인계(communication handover)를 겪을 때, AI 에이전트 또는 구성요소를 포함한 연결은 일반적으로 전환 기간 동안 새로운 통신 노드를 통해 또는 이전 및 새로운 노드 모두를 통해 유지될 수 있다. 그러나 이들 지점에서뿐만 아니라, 셀 에지 또는 낮은 등급 서비스, 낮은 커버리지 또는 더 많은 사용자 또는 다른 것과 같은 다른 어려운 통신 지점에서, 원격 원거리 운영자 또는 원격 AI 에이전트 또는 계층에 데이터를 전달하는데 낮은 성능을 경험할 수 있다. 본 발명의 일부 실시예들에서, 계층화된 AI 패러다임은 로컬 통신 노드 또는 AI 노드가 제1 수준의 원격 작동 또는 AI 처리를 제공할 수 있다는 점에서 도움이 될 수 있다. 원격, 잠재적으로 더 강하거나 더 유능하거나 더 경험이 많거나 학습된 AI 구성요소 또는 인간 원거리 운영자는 보조 방식으로, 부분적으로 또는 전체적으로 제어할 수 있다.
[0080] 차량이 자율 주행 중이고 AI 구성요소의 제1 계층이 그의 주행의 얇아진 표현을 모니터링하는 정상적인 작동에서, 예상되거나 알려진 지리적/도로 경로의 다음 노드로 이를 인계할 수 있다. 잠재적 위험을 미리 식별하고 차량 AI 및/또는 상위 계층 AI 구성요소 또는 에이전트에 경고하여 발생할 수 있거나 발생하지 않을 수 있는 예측된 이벤트에 앞서 데이터를 전송하고, 원시 또는 처리된 데이터 전달을 향상시키기 위해 차량 AI 에이전트를 요청하거나 지시하고, 더 많은 무선 또는 액세스 또는 QoS 슬라이스 다른 통신 리소스를 할당하거나 차량으로부터의 추가 정보가 안전하고 더 높고 더 보장된 QoS로 전송될 수 있도록 관련 네트워크 할당 요소에 신속히 요청하기 시작할 수 있다.
[0081] 일부 실시예들에서, 잠재적으로 승인되고 훈련된 AI 기계 또는 인간 또는 심지어 인간 군중을 포함한 많은 다중 원격 원거리 운영자는 인수를 결정하는 알고리즘의 더 높은 복잡성을 포함할 수 있거나, 또한 차량 AI 에이전트 또는 구동 프로세서는 어느 쪽이 더 빨리 응답하는지를 결정할 수 있거나 일반적으로 용량 및 과거 성능에 따라 또는 이러한 특정 장면이나 사례, 또는 이의 임의의 조합과 관련된 원거리 운영자 자신의 순위 또는 기타 통신 결과 기준 또는 원거리 운영자의 더 많은 대역폭을 가진다.
[0082] 일부 실시예들에서, AI 에이전트 또는 구성요소 또는 계층 또는 AI 모듈(들) 중 어느 하나는 스스로 훈련하거나 차량으로부터 전송된 데이터로부터 학습할 수 있다. 그러한 학습은 진행중인 데이터 흐름이 현재 흐름 그리고 다음에 (실제가 되는)미래 흐름을 보여줘서, 현재와 과거를 기초로 한 예측과 비교될 수 있기 때문에 감독되지 않을 수 있다. 이는 데이터 스트림이 분석을 위해 그러한 AI 모듈 쪽으로 계속 흐르기 때문에, 지속적인 기반에 따라 수행되거나 반드시 긴급 상황에만 수행되는 것은 아니다. 최적화 및 목표 기능은 객체 예측, 벡터 운동 예측, 통신 예측, 데이터의 일부 유형 및 품질 및 포맷을 전송하고 나서 다른 것들을 전송하고 각각의 전송이 결과의 품질에 미치는 영향을 학습할 때와 같이 다양한 AI 결정 또는 목표에 관한 전송된 데이터 효율성을 위한 것일 수 있다. 또한, 일부 경우에서, 여러 다른 유형의 데이터 및/또는 품질 및/또는 포맷이 동일한 장면에서 병렬로 전송될 수 있다. 이들은 동일한 통신 연결(들), 결합되거나 단일 또는 다중 연결을 사용하여 전송되거나 일반적으로 유사한(또는 다른) 순간 성능 특성을 가진 다른 것들을 통해 전송될 수 있다.
[0083] 다중 통신 링크 또는 모뎀 또는 송수신기의 결합 또는 집합을 사용하는 경우, 일부 전송은 동일한 뷰 또는 데이터의 고품질/덜 압축/덜 희소 표현일 수 있다. 그런 다음, 원격 AI 구성요소 또는 층 또는 계층은 다른 수신된 스트림에 대해 계산을 수행할 수 있고 나중에 들어오는 실제 스트림과 비교할 때 결과의 품질을 비교할 수 있다. 지속적인 감시하지 않는 훈련을 위한 이러한 방법은 AI 구성요소의 품질을 지속적이고 빠르게 확장하고 개선할 수 있다.
[0084] 일부 실시예들에서, 정보 또는 그의 희소 부분을 전송하는 프로세스, AI 또는 인간 원거리 운영자가 인수하는 선택, 송신되는 명령 또는 프로세스의 다른 부분, 또는 기타 작업은 데이터를 저장하거나 기록하고, (현재 블록체인이 마이크로 초 실시간 계약을 위해 설계되지 않았기 때문에 시간이 압박되지 않는 경우)결정을 처리하고, 데이터 무결성을 보장하고, 데이터(또는 그의 일부)를 AI 모듈 및/또는 기계 학습 모듈 및/또는 감사 모듈 및/또는 규제 기관에서 블록체인 데이터 구조로 이용 가능하게 하고, 데이터 및/또는 원격 작동 거래의 변조되지 않은 로깅(logging)을 가능하게 하고, 참여 구성요소를 인증하고, 감지된 데이터 및/또는 처리된 데이터를 인증하고, 프로세스의 관심 지점을 기록하고 공유하고 처리하고, 원격 보조 운전 또는 자율 주행 데이터 처리 또는 원격 운전 프로세스 및/또는 기타 목적을 위한 데이터 수집의 일부를 대중화하거나 상업화하기 위해 블록체인 제어 유닛(177)을 통해 블록체인 기술을 선택적으로 사용할 수 있다. 따라서, 블록 체인 기반 데이터 구조 생성자 및 업데이터는 차량 내부 및/또는 차량 외부에서(예를 들어, 블록체인 제어 유닛(177)의 일부로서) 작동할 수 있고, 자율 주행, 원격 운전, 차량의 원격 운행, 로컬 또는 분산 AI 데이터 또는 결정, 및/또는 기타 관련 데이터 또는 매개변수와 관련된 데이터의 그러한 블록체인의 구성 및 후속 업데이트를 관리할 수 있다.
[0085] 네트워크 또는 중앙 AI 모듈의 AI 모듈 또는 구성요소는 때때로 단일 차량이 경험하는 것보다 더 많은 데이터 트래픽을 경험할 수 있다. 따라서 및/또는 리소스 가용성과 같은 다른 이유로 인해서, 다양한 특정 시나리오에 더 양호하고/하거나 더 정확하게 응답할 수 있다. 차량 AI와의 멀티링크 연결을 사용하여 이동 중이거나 주차하거나 움직이지 않을 때(예를 들어, 공용 Wi-Fi 액세스 포인트를 갖는 커피숍 근처의 적색 등에서 대기할 때) 가장 발전된 또는 더 업데이트된 AI 교육을 더 높은 속도로 다운로드할 수 있다. 차량 AI 구성요소를 추가로 훈련하기 위해서 사용하지 않거나 더 높은 우선순위를 지정할 때 이들 다운링크를 사용할 수 있다. 결합된 다중 링크는 대역폭과, 가장 효과적이고 가장 빠른 속도에 관한 그러한 다운로드 또는 교육의 신뢰성 및 가용성을 모두 제공할 수 있어서, 차량 AI는 가장 빠르게 업데이트될 수 있다. 또한, 일부 실시예들에서, 계층 내의 임의의 승인된 AI 구성요소 또는 에이전트는 다가오는 차량과 같은 시스템의 다른 차량, 동일한 방향이지만 차량보다 앞선 차량, 보행자 또는 인프라(예를 들어, 교통 신호)에 의해 경험되거나, 다른 AI 에이전트에 의해 처리되는 것과 같이, 그것에 기초한 물리적 또는 표현 또는 처리된 결정의 뷰를 다운로드하거나 차량 AI 에이전트로 전송할 수 있다. 차량 AI 에이전트는 다운로드 또는 스트리밍 또는 수신된 데이터를 사용하여 그의 자체 결정을 강화하거나 새로운 결정을 내릴 수 있다.
[0086] 일부 실시예들에서, 다중 노드를 갖는 AI 계층은 사전에 또는 원격 원거리 작동을 위한 관련 리소스를 처리하는 동안 가장 잘 조정하기 위해서 차량 AI 에이전트 및 구동 프로세서와 상호 작용하고 통신 또는 이동통신 네트워크와 상호 작용할 수 있다.
[0087] 본 발명의 일부 실시예들은 선택적으로, 분산 인공 지능(AI) 및/또는 다중 AI 모듈 또는 분산 AI 아키텍처(distributed AI architecture)를 활용하는 차량의 다층 자율 주행, 차량의 원격 원거리 작동, 및 차량의 자가 주행과 자율 주행시키는 장치, 시스템 및 방법을 포함한다. 예를 들어, 차량(차내) 유닛은 자율 주행을 위해 주로 그러나 전적으로는 아닌 인공 지능의 제1 계층을 구현하는 것을 포함한다. 인공 지능 계층이 있는 제2 유닛은 무선 LAN(WLAN) 네트워크 또는 4G 또는 4G-LTE 또는 5G 또는 3G 셀룰러 네트워크의 eNodeB의 액세스 포인트에서, 또는 그러한 네트워크의 코어에서, 또는 그러한 네트워크의 액세스 노드에서와 같은 통신 네트워크 인프라의 에지 노드에서 선택적으로 존재하고 작동할 수 있다. 인공 지능의 다른 계층은 클라우드, 명령 및 제어 센터, 가정 또는 그러한 여러 위치를 포함한 다른 곳에서와 같은 원격 컴퓨팅 장치에서 선택적으로 존재하고 작동할 수 있다. 다중 AI 계층은 그들 사이의 하나 이상의 통신 연결(들)을 통해 공급되거나 전송되거나 수신되거나 교환되거나 공유되는 각각의 전처리 및 후처리 데이터와 서로 통신하고, 제1 차량 및/또는 다른 차량의 안전하고 지속적이고 비용 효율적인 이동 및/또는 작동을 위해 결정을 교환하고, 결정을 제안하고, 예측을 수행하고 그들 사이의 추정을 수행하여, 자율 주행을 위한 계층화된 하드웨어 및 소프트웨어 및 운영 중복성을 제공함으로써 자율 주행의 안전성, 속도, 효율성 및 가용성을 높이고 관련 선택된 감각 데이터 또는 감지된 데이터, 예컨대 희석되거나 압축된 비디오 또는 그의 AI 표현을 제공하며, 또한 데이터(예를 들어, 비디오 포함)가 대부분의 시간에 그들에게 이용 가능하므로 원격 운전자 또는 그의 다수가 자율 주행 차량을 즉시 제어하게 허용한다.
[0088] 일부 실시예들에서, 자가 주행 차량 또는 자율 차량은 지속적으로 또는 간헐적으로 업로드하거나, 업링크 방향으로 무선으로 하나 이상의 원격 수신자, 감지된 데이터 및/또는 캡처된 데이터 및/또는 획득된 데이터(예를 들어, 카메라 피드(camera feed), 오디오 피드, 마이크 피드, 비디오 피드, 위치 정보, 차량 속도, 차량 가속 또는 감속 데이터, LIDAR 데이터, 다른 센서에 의해 수집되거나 감지된 정보 등)를 일반적으로 지속적인 기반으로(하지만 때때로 잠재적인 중단, 방해, 정지 및 재개, 또는 의도되거나 의도하지 않은 다른 오류 또는 지연이 있음), 그리고 선택적으로 압축 또는 인코딩된 포맷으로 또는 작은 크기의 포맷 또는 희석된 포맷(예를 들어, 비디오의 N 번째 프레임마다 건너뛰기 포맷)으로 또는 축소 포맷(예를 들어, 업링크 전송을 위해 큰 이미지를 작은 이미지로 크기조정 또는 자르기 포맷)으로 전송할 수 있음으로써, 원격 원거리 운영 시스템 및/또는 원격 원거리 운영 모듈 또는 인간이 해제 이벤트에 빠르고 효율적으로 대응할 수 있고, 차량의 작동 또는 운전을 인계하는데 즉각적인 관련이 있는 정보 중 적어도 일부가 그러한 이전의 지속적인 무선 데이터 업로드로부터의 원격 원거리 운영자 위치에서 이미 이용 가능하기 때문에 그러한 원격 원거리 운영자(인간 및/또는 기계 기반)의 응답 시간을 단축할 수 있다.
[0089] 일부 실시예들에서, IP 기반 연결(더 적은 홉(hop), 더 낮은 대기시간)의 관점에서 또는 셀룰러 통신 네트워크 및/또는 셀룰러 공급자 및/또는 통신 서비스 공급자의 지리적 위치 관점에서 에지 노드 또는 에지 기반 서비스 또는 근거리 에지는 차량이 여행할 때 차량을 따라가거나 호위하거나 보호자를 따라갈 수 있고, 특히 차량이 하나의 셀룰러 통신 셀로부터 다른 셀룰러 통신 셀로 이동할 때 원격 AI 서비스를 그러한 이동 차량에 제공할 수 있음으로써; 일반적으로 중단되지 않거나 작게 중단되거나 중단이 감소된 AI 지원 서비스의 연속성을 이동 차량에 보장하며; 그러한 AI 서비스의 연속성을 보장하고 가능하게 하기 위해서 제1 에지 노드 또는 셀이 차량 데이터 또는 차량 관련 데이터를 근처 또는 후속 에지 노드 또는 셀로 전송할 수 있다. 일부 실시예들에서, 다수의 그러한 에지 또는 근처 에지 노드는 따라서 항상 또는 적절할 때 위험 분석 또는 학습된 경험 또는 리소스의 가용성에 따라서 차량들 중에서 조정되거나 조정되지 않은 이동 차량을 사실상 보호자로서 또는 가상으로 호위할 수 있으며, 이들은 다양한 조건과 시나리오에 대한 추가적인 신뢰성 있는 중복 범위와 AI 성능 및 경험을 제공할 수 있다. 이는 또한, 업로드된 데이터 패킷이 원격 수신자에게 도달해야 하고/하거나 셀룰러 네트워크의 장거리를 이동할 필요가 없고 단순히 근처 에지 서비스 노드에 도달해야 하기 때문에, 그러한 에지 서비스 또는 에지 노드의 AI 모듈에 의한 신속한 응답 및 신속한 개입을 가능하게 할 수 있으며, 그러한 에지 서비스 노드가 적어도 초기에 및/또는 긴급 기반으로 해제 이벤트에서 AI 지원 및 원격 운영 서비스를 차량에 제공할 수 있게 할 수 있다.
[0090] 일부 실시예들에서, 특정 차량 또는 자율 차량 또는 자가 주행 차량은 2 이상의 원격 원거리 작동 시스템과 연관될 수 있고 무선/셀룰러 통신 링크(들)를 통해 그들과(또는 그들 각각과) 통신할 수 있으며; 그러한 2 이상의 원격 원거리 작동 시스템(기계 기반 차량 운영자 및/또는 인간 차량 운영자 포함)은 차량을 인수하고 연결 해제시 또는 하나 이상의 사전 정의된 조건이 참이면 원격 운전 또는 원격 작동 또는 원거리 작동할 수 있는 가능한 후보로 정의될 수 있다.
[0091] 예를 들어, 차량(차내) 선택기 모듈 또는 차외 선택기 모듈(예를 들어, 중앙 서버 또는 중앙 통신 허브 또는 중앙 AI 모듈과 같이 차량 외부 및 차량 원격에 위치됨)은 두 개 이상의 그러한 후보 중에서 어느 특정 후보 원격 작동 시스템이 실제로 선택되고 필요할 때 또는 원할 때 원격 작동 작업을 양도하거나 할당하는 선택 또는 결정을 수행할 수 있다. 선택기 모듈은 이러한 목적을 위해 매개변수, 조건 및/또는 기준 세트를 고려할 수 있으며; 예를 들어, 특정 차량과 각각의 그러한 후보 간의 통신의 현재 또는 실제 또는 예측 또는 추정 또는 과거 특징(예를 들어, 통신 대역폭, 처리량, 굿-풋, 대기시간, 지연, 오류율, 신뢰성, 신호 강도, 전송 및/또는 수신의 서비스 품질(QoS)), 현재 기상 조건 및 환경 조건(예를 들어, 특정 원거리 운영자가 눈, 안개 또는 빗 속에서 주행하는 차량을 작동하는 특정 경험을 가질 수 있음), 현재 지리 공간 매개변수(현재 위치, 속도, 가속도), 현재 시간(예를 들어, 특정 원거리 운영자가 야간 또는 러시아워에 차량을 지원하는 특정 경험을 가질 수 있음), 현재 요일 또는 날짜(예를 들어, 특정 원거리 운영자가 주말 또는 휴일 동안 리소스를 늘리거나 리소스를 줄일 수 있음), 도로 데이터(예를 들어, 특정 원거리 운영자가 산악 도로, 도시 지역 또는 구불구불한 도로에서 차량을 원격으로 작동하기 위한 특정 경험을 가질 수 있거나 부족할 수 있음), 각각의 후보 원거리 운영자의 현재 또는 예상 작업 부하 또는 계산 부하, 각각의 후보 원거리 운영자가 현재 원격으로 운영하거나 모니터링하고 있는 다른 차량의 수, 각각의 후보 원거리 운영자에 의해 표시되는 현재 또는 최근 응답 시간, 차량 소유자 및/또는 차량 제조업체가 사전에 정의한 원거리 운영자의 사전 정의된 우선순위 시스템 관리자, 및/또는 전술한 일부 매개변수의 가중치 조합을 고려한 가중치 공식을 기반으로 한다.
[0092] 일부 실시예들에서, 그러한 선택은 예를 들어, 명령이 차량 프로세서에 도착하는 제1 승인된 원격 작동기를 선택 및/또는 활용함으로써 수동적으로 또는 반수동적으로 수행될 수 있다. 선택적으로, 원격 작동 제어는 작동 과정에서 나열된 매개변수 또는 다른 것에 기초한 결정에 따라서, 하나의 엔티티 또는 원격 제어기로부터 다른 인간 및/또는 AI 기반으로 인계될 수 있다. 이러한 프로세스에 실시간 또는 사전에 영향을 미치기 위해서 인간 개입이 적용될 수 있다. 원격 작동의 그러한 인계는 동기화되거나 디폴트될 수 있거나, 하나 이상의 조건이 참인 경우(예를 들어, 야간에 도달하거나, 비 또는 눈이 오기 시작하거나, 차량이 지역(C)으로부터 지역(D)으로 이동되거나, 원격 작동(A)의 계산 또는 다른 부담이 사전 정의된 임계 값 또는 최대 허용 수준에 도달하는 경우 등)에 자동으로 수행될 수 있다.
[0093] 일부 실시예들에서, 차량용 컴퓨터 또는 차량용 프로세서 또는 차량 AI 모듈(119)은 물체 및 경로 관련 항목(예를 들어, 다른 자동차, 신호등, 교통 표지판, 차선 경계, 보행자, 도로 블록, 도로 장애물 등)을 식별할 목적뿐만 아니라; 원격 AI 모듈로 전송하거나 업로드할 데이터 유형, 및/또는 활용할 압축 또는 인코딩 또는 데이터 희석 또는 희소 표현 프로세스, 및/또는 데이터 또는 데이터 항목을 희석하거나 인코딩하거나 압축하거나 건너뛸 범위를 학습하고/하거나 어떤 데이터 발신자(예를 들어, 어떤 센서 또는 카메라 또는 LIDAR)가 그러한 데이터 전송 또는 데이터 업로드를 포함 및/또는 제외할 것인지 결정하고/하거나, 원격 AI 모듈이 사전 정의되거나 사실상의 확실성 또는 확률 또는 보증 수준에서 결정에 도달할 수 있도록 업로드 또는 전송하는데 충분한 데이터의 양 및 데이터 유형, 및/또는 (예를 들어, Wi-Fi, 위성, 셀룰러, 3G, 4G, 4G-LTE, 5G, 셀룰러, V2X 등을 포함한 하나 이상의 이용 가능한 모뎀 또는 송수신기로부터)그러한 업로드 또는 전송하기 위해 활용하는 하나 이상의 통신 링크(들) 및 하나 이상의 모뎀 또는 송수신기, 및/또는 특정 데이터 항목 또는 데이터 스트림을 2 개(또는 그 초과)의 다른 통신 링크 및/또는 2 개(또는 그 초과)의 다른 수신자에게 전송하거나 업로드할지의 여부, 및/또는 두 개 이상의 모뎀이나 송수신기 또는 통신 연결을 통해 업로드하도록 의도된 패킷을 분할하고 나서 다른 속도 및/또는 다른 성능 특징(오류율, 대기시간, 지연, 대역폭, 굿-풋, 처리량, QoS 매개변수 등)에서 동시에 또는 병렬로 업로드 또는 전송할지 여부 및 분할할 특정 방식, 및/또는 시간이 지남에 따라 심층 학습되고/되거나 AI 모듈에 의해 훈련될 수 있는 다른 커뮤니케이션 관련 결심 또는 결정과 동시에, 특정 매개변수 및/또는 결정이 사전 결정된 확실성 또는 확률 또는 보증의 정의된 임계 수준을 넘어서 충분한 AI 결정을 가능하게 하는데 충분한지를 확인하고 학습하기 위해서 AI 및 기계 학습을 활용할 수 있다. 그러한 AI 프로세스는 실제 데이터, 예측 데이터, 추정 데이터, 원시 데이터, 처리된 데이터, 희석된 데이터, 과거 데이터, 현재 측정된 데이터 또는 현재 감지된 데이터, 최근에 측정된 데이터 또는 최근에 감지된 데이터 및/또는 그러한 데이터 유형의 적절한 조합을 활용할 수 있다.
[0094] 일부 실시예들에서, 로컬 차내 AI 모듈(119) 및/또는 원격(차외) AI 모듈(179, 169, 159)은 차량에 의해 또는 차량으로부터 감지 및/또는 전송 또는 업로드된 수신 데이터 스트림을 지속적으로 분석하고 나서, 결정 결과 또는 식별 결과를 단지 1 초 또는 3 초 또는 6 초 또는 10 초 또는 N 초 후의 지속적 방식으로 수신되는 새로 수신되거나 새로운 데이터와 비교함으로써 지속적으로 학습하고 기계 학습하고 객체의 식별을 개선하고 그의 의사 결정을 개선할 수 있다. 예를 들어, 로컬 또는 차내 AI 모듈, 또는 원격 AI 모듈은 도로를 주행하는 차량으로부터 전면 카메라 비디오 스트림의 압축 또는 희석 스트림을 지속적으로 수신할 수 있고; 3 초 동안 수신된 28 개의 이미지 프레임을 분석할 수 있고; 도로 앞에 위치된 물체가 있고 물체가 정적 기름얼룩(확률 80%) 또는 움직이는 고양이(확률 20%)인지를 판단할 수 있고; 그런 다음 5 초 후에 차량이 물체에 접근하면서, 차량의 전면(또는 좌측) 카메라가 물체의 더 가까운 이미지를 전송하므로, 물체가 실제로 고양이가 아닌 정적 기름얼룩인지 AI 모듈이 99% 확실성으로 결정할 수 있음으로써, 기름얼룩이나 고양이를 더 잘 식별하거나 물체들 사이를 더 잘 구별하기 위해 후속 검출에 대한 훈련과 학습을 할 수 있다.
[0095] 본 발명의 일부 실시예들은 일반적으로 자가 주행 자동차 또는 차량, 자율 자동차 또는 차량, 영구 또는 비-영구 무인 자동차 또는 차량, 무인 자동차 또는 차량 또는 UAV, 로봇 자동차 또는 차량, 로봇 기반 자동차 또는 차량, 스마트 자동차 또는 스마트 차량, 커넥티드(connected) 자동차 또는 커넥티드 차량, 특수 자동차 또는 특수 차량의 다양한 유형, 또는 긴급 상황 또는 알 수 없거나 낮은 확실성 또는 확률 상황 또는 "라스트 마일(last mile)" 또는 오프 하이웨이(off-highway)와 같은 사전 설계된 상황에서 또는 UAV의 착륙에 접근할 때 또는 무인 선박의 항구 내에서 또는 임의의 다른 필요나 희망 시, 차량 제어 인수와 같은 어떤 종류의 또는 국부적 인간 개입 여부에 관계없이 인간의 입력 없이 주변 환경을 감지하고 작동(예를 들어, 운전, 비행, 항해, 이동, 내비게이션)할 수 있고/있거나 컴퓨터 보조 운전 및/또는 원격 컴퓨터 보조 운전 및/또는 컴퓨터 보조 작동 및/또는 원격 컴퓨터 보조 작동 및/또는 원격 작동 및/또는 원격 운전을 할 수 있는 다른 유형의 지상 기반 또는 항공 기반 또는 해상 기반 차량과 함께 작동할 수 있다.
[0096] 그러한 차량은 본 명세서에서 "자율 차량"으로 지칭될 수 있으며, 그들의 주변 및/또는 다른 데이터(예를 들어, 신호등, 교통 표지판, 차선, 도로 블록, 도로 장애물, 내비게이션 경로, 보행자)를 감지, 검출 및/또는 식별하기 위해서 다양한 센서 및 검출기; 예를 들어, 카메라, 이미지 카메라, 비디오 카메라, 음향 마이크, 오디오 캡처 장치, 이미지 및 비디오 캡처 장치, 레이더 센서 또는 장치, LIDAR 센서 또는 장치, 레이저 기반 센서 또는 장치, 자기 또는 자석 기반 센서 및 장치, 초음파 센서, 야간 투시 모듈, GPS(Global Positioning System: 위성 위치 확인 시스템) 장치, IMU(Inertial Measurement Unit: 관성 측정 장치) 모듈, 입체 비전 또는 스테레오 비전 모듈, 물체 인식 모듈, 딥 러닝 모듈, 머신 러닝 모듈, 가속도계, 자이로스코프, 나침반 유닛, 주행 거리 측정기, 컴퓨터 비전 모듈, 머신 비전 모듈, 인공 지능(AI) 모듈, 차량 프로세서, 차량 컴퓨터, 대시보드 프로세서, 대시보드 컴퓨터, 통신 장치 등을 사용할 수 있다. 일부 실시예들에서, 자율 차량은 다중 센서 및 온라인/오프라인 지도로부터 데이터를 융합하고 처리하기 위해 베이지안(Bayesian) 동시 위치 파악 및 매핑(SLAM) 모듈 또는 알고리즘; 및/또는 다른 이동 물체(DATMO) 모듈의 검출 및 추적; 및/또는 실시간 위치 확인 시스템(RTLS) 비콘 모듈(beacon module), 고해상도 실시간 지도("HD 맵") 및/또는 다른 적합한 모듈을 사용할 수 있다.
[0097] 일부 실시예들에서, 차량 프로세서 또는 차량 컴퓨터 또는 다른 차량 (차내)제어기는 감지된 데이터를 기반으로 하고/하거나 그러한 데이터의 처리를 기반으로 하고/하거나 그러한 감지된 데이터로부터 또는 원격 센서로부터 또는 인프라나 다른 차량 센서 또는 데이터로부터 파생된 통찰력을 기반으로 하여 특정 작업을 수행하도록 차량의 하나 이상의 부품 또는 구성요소에 명령할 수 있다. 예를 들어, 자율 주행 자동차는 낮에 도시의 거리를 따라 이동하며; 고해상도 지도("HD지도")는 통신 모듈 또는 장치를 통해 차량 프로세서로 다운로드되며; 자율 주행 자동차의 센서는 데이터를 수집하고, 차량 프로세서는 캡처된 데이터에서 도로가 깨끗하고 장애물이나 임의의 다른 차량이나 보행자가 없는지, 차량이 현재 시속 10 km의 일정한 속도로 주행하고 있는지, 이러한 거리의 제한 속도가 시속 30km인지를 결정하며; 따라서 차량 프로세서는 6 초의 기간에 걸쳐 자동차의 속도를 시속 10 km 내지 25 km로 점진적으로 증가시키기 위해 차량의 구동 유닛(들)에 명령 또는 신호를 송신한다. 자동차의 구동 유닛(들)은 예를 들어, 인간이 자동차 등의 휠을 제어하는 것과 유사하게 휠의 방향을 제어하는, 인간이 가속 페달을 밟는 것에 응답하여 차량 가스 페달이 작동하는 방식과 유사하게, 자동차의 엔진에 추가 연료 또는 가스를 분사하거나 제공하는 밸브를 개방하거나 해제함으로써 이러한 명령을 수행한다.
[0098] 그 후, 자율 주행 차가 더 멀리 이동할 때, 새로 캡처된 데이터 또는 새로 획득된 데이터를 통해 차량 컴퓨터는 신호등이 이제 녹색 등에서 적색 등으로 바뀔, 약 40 m 전방에 위치된 것으로 추정되는 신호등을 식별할 수 있으며; 그러한 검출에 응답하여, 차량용 컴퓨터는 (i) 엔진에 대한 가스 또는 연료의 분사 또는 추가를 1.5 초 동안 즉시 또는 갑작스럽게 또는 점진적으로 중지하고, (ii) 2 초 동안 가스 추가를 방지하고 제동(저속)을 방지하고, 그런 다음 (iii) 7 초 동안 천천히 감속하거나 완전히 정지하도록 제동하기 위해서 이들을 지시하는 명령을 차량 구동 유닛(들)으로 송신한다. 이들 명령은 차량이 더 멀리 이동하여 신호등에 접근하고 새로 감지된 데이터가 획득되고 차량 컴퓨터에 그의 이전 명령을 유지하거나 이를 수정하기 위한 새로운 정보를 제공함에 따라서 지속적으로 업데이트될 수 있다. 차량 구동 유닛(들)은 예를 들어, 엔진에 대한 가스 또는 연료의 분사 또는 추가를 중단하고/하거나 전기 엔진 차량 또는 하이브리드 차량의 전원 공급을 줄이거나 차단함으로써, 및/또는 클러치(또는 유사하거나 동등한) 메커니즘을 사용하여 엔진과 차량의 타이어 또는 휠 사이를 일시적으로 분리함으로써, 및/또는 인간 운전자가 수동으로 브레이크 페달을 밟아 제동하도록 명령을 받았을 때 제동 시스템이 작동하는 방식과 유사하게 차량의 제동 시스템을 활성화함으로써 수신된 명령을 실행한다.
[0099] 그 후, 차량 프로세서는 현재 도로 교통 상황을 고려하고 차량의 현재 위치를 고려하여 자율 주행 차량에 미리 정의된 특정 목적지에 도달하기 위해서 다음 신호등 교차로에서 좌회전할 필요가 있다고 결정한다. 따라서 차량 프로세서는 차량 조향 유닛(들)에 명령을 송신하여 도로의 우측 차선으로부터 도로의 좌측 차선으로 점진적으로 차량을 (좌측으로 신호를 보내면서 그리고 센서를 통해 주변을 지속적으로 확인하면서)조향하도록 지시하며; 또한 다음 신호등에서 차량을 조향하여 시속 18 km의 감속으로 90도 좌회전하도록 지시한다. 차량 조향 및 구동 유닛은 예를 들어, 차량의 좌회전 신호등을 활성화하고 나서 이를 비활성화함으로써, 그리고 인간 운전자에 의한 핸들의 수동 회전에 응답하여 차량이 수행하는 작동과 유사하게 차량의 휠 또는 타이어를 좌측으로 조향함으로써 이러한 명령을 실행한다.
[00100] 또한, 차량 또는 자율 주행 차량에는 차량의 원격 운전 또는 원격 작동을 가능하게 하는 추가 유닛이 장착될 수 있다. 예를 들어, 감지된 데이터 또는 그의 일부, 및/또는 국부적으로 처리된 데이터 또는 그 일부, 또는 그러한 데이터의 희석 또는 압축 또는 인코딩 또는 희소 버전은 주기적으로 및/또는 연속적으로 및/또는 간헐적으로 및/또는 원격 서버에 필요할 때 하나 이상의 통신 링크(예를 들어, 셀룰러, Wi-Fi, 위성, V2X 등)를 통해 전송되며; 원격 서버는 데이터를 수신하고, 필요에 따라 데이터를 추가로 처리할 수 있으며, AI 모듈 또는 원격 인간 원거리 운영자를 활용하여 전술한 결정과 유사한 관련 결정, 예를 들어 차량의 속도를 높이거나 낮추는 원격 결정, 차량의 엔진에 공급 또는 제공되는 가스 또는 연료의 양을 늘리거나 줄이는 원격 결정, 자동차의 제동 시스템 또는 브레이크를 활성화하기 위한 원격 결정, 엔진과 휠 사이를 일시적으로 분리하기 위한 원격 결정, 차량을 우측 또는 좌측 또는 다른 방향으로 조종 또는 조작하기위한 원격 결정, 갑작스럽거나 즉각적인 또는 비상 제동 또는 정지를 수행하기 위한 원격 결정, 또는 원거리 운영자 시스템 및/또는 인간 원거리 운영자에서 수행되는 다른 원격 결정에 도달할 수 있다. 그런 다음 그러한 명령(들)은 IP 연결 또는 루트 또는 경로 또는 다중 통신 사업자와 네트워크 및 홉(들)을 통해 원거리 운영자 엔티티로부터 차량으로 전송되는 반면에, 네트워크에서 차량으로/차량으로부터의 마지막 홉은 하나 이상의 무선 통신 링크(예를 들어, 셀룰러, Wi-Fi, 위성, V2X, V2V, V2I, DSRC 등)를 통해 있을 수 있으며; 차량 컴퓨터는 그러한 명령을 수신하고 해당 신호 또는 명령을 관련 차량 유닛(예를 들어, 브레이크 유닛, 조향 유닛, 구동 유닛, 엔진 유닛, 전기 유닛, 유압 유닛, 공압 유닛, 휠, 신호, 통신, 기어, 제어, 센서, 트레일러 시스템, 트럭 관련 시스템, 버스 관련 시스템, 트랙터 관련 시스템, 인포테인먼트, 전력, 에어컨, 비상 시스템, 안전 시스템, 또는 국부적으로 또는 원격으로 수정되거나 관리되거나 변경되거나 전원이 공급될 수 있는 차량 내에 있거나 차량에 연결되거나 차량과 연관되거나 차량으로부터 제어되는 임의의 다른 시스템으로 송신하며; 이들 차량 유닛은 수신된 명령 또는 신호에 따라 필요한 작동을 수행한다.
[00101] 위의 설명은 자율 차량 또는 원격 운전 차량의 일부 실시예들의 예시적인 예임에 주목하며; 본 발명은 자율 차량 및/또는 원격 작동 차량의 다른 유형 또는 메커니즘과 함께 사용될 수 있다.
[00102] 위의 예는 원격 작동 또는 "자율 차량" 로컬 또는 원격 작동 또는 원거리 작동을 보여주는 비-제한적인 예이다. 또한, 유사하거나 추가의 예는 있는 그대로 또는 각각의 시스템의 관련 적응으로, 휠체어, 선박, 보트, 잠수함, 무인 항공기, UAV 등과 같은 다른 자율 차량에 속하고 적용되거나 각각의 시스템의 관련 적응에 적용될 수 있다.
[00103] 일부 실시예들에서, 본 발명의 시스템 및 방법은 때때로 바쁘거나 점유하거나 산만하거나 지루하거나 반의식적이거나 심지어 무의식적일 수 있는 로컬 인간 운영자 및/또는 원격 원거리 운영자(예를 들어, 수동 운전 중에 기절하거나 무기력하게 되는 인간 운전자)의 인지 부하 또는 인지 작업 부하 또는 인지 작업 부하를 감소 및/또는 개선할 수 있으며; 차량 내부에 있는 인간(들), (예를 들어, 다른 차량 또는 보행자)근처에 있는 인간(들)의 안전과 웰빙에 기여할 수 있고/있거나 운송된 상품 또는 화물의 안전에 기여할 수 있다.
[00104] 일부 실시예들에서, 시스템은 (예를 들어, 매핑 애플리케이션과 함께, 하나 이상의 차량으로부터 수신된 데이터를 활용함으로써)통신 기반 지도를 생성할 수 있는 통신 기반 지도 생성기(191)를 포함할 수 있으며, 지도는 적어도 (i) 사전 정의된 임계 값 미만인 유효 무선 통신 처리량을 갖는 제1 도로 세그먼트, 및 (ii) 상기 사전 정의된 임계 값보다 초과의 유효 무선 통신 처리량을 갖는 제2 도로 세그먼트를 나타낸다. 통신 기반 지도 생성기(191)는 예를 들어, 원격 서버의 일부인 것으로 도시되지만, 이는 차량에서 또는 차량 내부에서, 또는 인프라 요소, 셀룰러 노드 또는 요소, 무선 통신 요소 또는 노드 등에서 또는 그 내부에서 구현될 수 있다.
[00105] 일부 실시예들에서, 차량은 적어도, 상이한 경로 세그먼트에서 추정된 수준의 무선 통신 가용성을 고려함으로써; 또는 적어도 (i) 다른 경로 구간에서 추정된 수준의 무선 통신 가용성, 및 (ii) 상기 차량의 승객에 대한 안전 요건에 관한 하나 이상의 제약을 고려함으로써; 또는 미리 정의된 임계 값을 초과하는 무선 통신 가용성을 갖는 도로 세그먼트를 포함하도록 상기 차량에 대한 내비게이션 경로를 생성하거나 수정함으로써; (예를 들어, 종래의 경로 안내 애플리케이션 또는 내비게이션 애플리케이션과 함께)상기 차량에 대한 내비게이션 경로를 생성하거나 수정할 수 있거나; 상기 차량의 원격 작동이 미리 정의된 임계 수준을 넘어 성공한 것으로 추정되는 도로 세그먼트를 포함하도록 상기 차량에 대한 내비게이션 경로를 생성 또는 수정함으로써 원격 작동 차량인 상기 차량의 여행 안전성을 증가시키도록 구성되거나; 안전 고려 사항, 운전자 및/또는 승객의 수 또는 연령 또는 성별 또는 특징, 감지된 데이터를 업로드하기 위해 차량에 이용 가능한 무선 통신(들)의 현재 및/또는 순간적 및/또는 예측 및/또는 예상되는 수준 또는 품질, 차량 센서(들)에 의해 송신되고 원격 처리용 원격 AI 유닛으로 업로드되는 비디오 및/또는 이미지 및/또는 오디오 및/또는 다른 데이터의 현재 및/또는 순간적 및/또는 예측 및/또는 예상되는 수준 또는 품질을 고려하여 다른 경로 수정 또는 경로 결정 작업을 수행하도록 구성되는 내비게이션 경로 생성기(192)를 포함할 수 있다.
[00106] 일부 실시예들에서, 특정 차량에 대한 "원격" AI 유닛 또는 "원격" 프로세서는 반드시 상기 차량에 대한 지리적 거리에서 멀리 떨어져 있을 필요는 없으며; 오히려, 예를 들어, 차량의 현재 위치에서 3 미터 떨어진 곳에 현재 위치된 스마트 도로 표지판에 실제로 위치된 "원격" AI 유닛 또는 프로세서; 또는 차량이 근처를 지나갈 때 차량에서 24 미터 떨어져 있는 eNodeB 요소에 실제로 위치된 "원격" AI 유닛 또는 프로세서; 또는 상기 특정 차량에서 6 미터 떨어진 제2 차량 내에 실제로 위치된 "원격" AI 유닛 또는 프로세서; 또는 클라우드 기반이고 차량에서 물리적으로 멀리 떨어져 있을 수 있거나 특정 시점에서 그 특정 차량에 실제로 가까이 있을 수 있는 다른 그러한 "원격" AI 유닛 또는 프로세서와 같은; 그 차량 외부에 있고/있거나 상기 차량에 물리적으로 연결되지 않고/않거나 상기 차량에 물리적으로 접촉하지 않는 임의의 적합한 AI 유닛 또는 프로세서일 수 있다. 일부 실시예들에서, "원격" AI 유닛 또는 프로세서는 (일시적으로 또는 고정적으로)고정되거나 이동하지 않거나 움직이지 않는 반면에; 다른 실시예들에서, "원격" AI 유닛 또는 프로세서는 (예를 들어, 근처의 제2 차량 내에서, 위 또는 근처에서 비행하는 드론 내에서 등에서)움직일 수 있다.
[00107] 본 발명의 일부 예시적인 실시예에 따른 시스템(200)의 개략도인 도 2를 참조한다. 시스템(200)은 도 1의 시스템(100)의 예시적인 구현예일 수 있으며; 시스템(200)의 구성요소는 도 1에 도시된 구성요소 또는 모듈 중 하나 이상, 또는 일부 또는 전부를 포함할 수 있다.
[00108] 시스템(200)은 하나 이상의 차량, 예를 들어 차량(210)("1차 "차량으로 지칭될 수 있음) 및 다른 차량(211 및 212)("2차" 차량으로 지칭될 수 있음)을 포함할 수 있다. 차량(210 내지 212)은 동일한 경로 또는 다른 경로를 따라서, 또는 동일한 도로 또는 도로 세그먼트 또는 다른 도로에서, 또는 동일한 방향 또는 반대 방향으로 또는 수직 방향 또는 다른 동일하지 않은 방향으로 이동할 수 있다. 다른 장치, 엔티티 및/또는 사용자가 또한 나타나거나 근처에 있을 수 있거나 시스템(200)의 일부; 예컨대, 보행자, 자전거 타는 인간, 오토바이 타는 인간, 스쿠터, 동물, 공, 움푹 들어간 곳 등과 같은 움직이거나 움직이지 않는 물체; 도로 위험물, 비행 드론, 자가 주행 차량, 자율 주행 차량, 원격 작동 차량, 전기 차량 등일 수 있으며; 이들 중 일부는 이들이 1차 차량에 임시 방식 또는 다른 방식으로 작동 가능하게 연결되거나, 이들이 1차 차량 및/또는 원격 서버 및/또는 시스템(200)의 다른 엔티티 또는 유닛에 무선 통신 신호를 송신 및/또는 수신할 수 있는 기능이 장착된 경우에, 보행자, 오토바이 또는 자전거 타는 인간과 같은 "2차 차량"으로서 또한 지칭될 수 있다.
[00109] 시스템(200)의 유닛들 각각은 데이터 및/또는 패킷을 송수신할 수 있는 하나 이상의 송수신기뿐만 아니라; 1차 차량(210)에 의해 감지되거나 수집된 데이터의 일부 또는 전부를 (부분적으로 또는 전체적으로)처리 할 수 있는 AI 유닛 또는 AI 프로세서 또는 AI 모듈을 포함할 수 있다.
[00110] 외부 또는 원격 서버/AI 유닛(270)은 차량(210 내지 212) 중 하나 이상, 특히 1차 차량(210)과 (직접적으로 또는 간접적으로)통신할 수 있다. 외부 또는 원격 서버/AI 유닛(270)은 차량(210 내지 212) 각각의 외부에 있고, 차량(210 내지 212) 각각과 분리되어 있으며; 멀리 떨어져 있을 수 있거나(예를 들어, 차량(210 내지 212)에서 100 미터 또는 5,000 미터 떨어져 있을 수 있음), 외부로 멀리 떨어져 있을 수 있거나(예를 들어, 다른 도시 또는 다른 주 또는 다른 국가에 위치되고 셀룰러 통신 링크를 포함한 IP 통신 네트워크를 통해 액세스할 수 있는 원격 클라우드 컴퓨팅 서버로 구현될 수 있거나); 차량(210 내지 212) 또는 차량 중 일부에 대해 물리적으로 근처에 있을 수 있다. 각각의 차량(210 내지 212)은 (또는 실시간 또는 거의 실시간으로 스트리밍, 또는 지연된 스트리밍 또는 후속 스트리밍을 통해, 또는 파일 업로드 또는 데이터 업로드를 통해) 업로드하거나 그렇지 않으면 외부 또는 원격 서버/AI 유닛(270)으로 그러한 차량의 하나 이상의 센서에 의해 수집되거나 감지된 데이터를 전송할 수 있고; 그러한 데이터는 외부 또는 원격 서버/AI 유닛(270)에 의해 처리될 수 있으며, 이는 차례로 하나 이상의 차량(210 내지 212)에 원격 작동 명령을 제공할 수 있다.
[00111] 인간 원거리 운영자를 위한 원거리 운영자 단말기/HMI(Human-Machine Interface: 인간-기계 인터페이스)(255)는 또한, 1차 차량(210)과 같은 하나 이상의 차량과 (직접적으로 또는 간접적으로)통신할 수 있으며; 인간 원거리 운영자 또는 기계 기반 원거리 운영자가 1차 차량(210)을 원격으로 상호 작용, 개입, 작동 또는 운전 또는 제어할 수 있게 하거나 원격 명령 또는 원격 제안 또는 원격으로 획득한 데이터 또는 원격 생성 명령을 통해 그의 작동에 영향을 미칠 수 있다. 원격 운영자 단말기/HMI(255)의 HMI 유닛은 예를 들어, 터치 스크린, 스크린, 조이스틱, 터치 패드, 컴퓨터 마우스, 스티어링 휠, 페달, 기어 변속 장치, 마이크, 스피커, 증강 현실(AR) 또는 가상 현실(VR) 장비(예를 들어, 웨어러블 장치, 헬멧, 헤드기어, 안경, 구글, 장갑 등), 햅틱 요소, 촉각 요소, 장갑, 기타 웨어러블 요소, 조명, 알람 등을 포함할 수 있다.
[00112] 선택적으로, 원거리 운영자 단말기/HMI(255)는 외부 또는 원격 서버/AI 유닛(270)과 통신할 수 있으며(또는 이와 연관될 수 있으며); 예를 들어, 하나 이상의 조건이 참이면, 외부 또는 원격 서버/AI 유닛(270)은 차량(210)의 원격 작동 제어를 인간 원거리 운영자에게 전달할 수 있거나, 인간 원거리 운영자로부터 차량(210)의 원격 작동 제어를 제거할 수 있거나, 추가 승인 또는 거부 등을 위해 인간 원거리 운영자에게 제안 또는 권장된 원격 작동 명령을 제공할 수 있다.
[00113] eNodeB 또는 gNodeB 또는 다른 3G 또는 4G 또는 LTE 또는 4G-LTE 또는 5G 네트워크 요소, 또는 셀룰러 타워 또는 셀룰러 기지국 또는 고정 셀룰러 송수신기와 같은 셀룰러 네트워크 요소(283)는 또한 차량(210)과(선택적으로 다른 차량 및/또는 시스템(200)의 다른 유닛과) 통신할 수 있고; 차량(210)의 차량 센서에 의해 수집된 감지 데이터를 차량(210)으로부터 수신할 수 있고; 외부 또는 원격 서버/AI 유닛(270)으로 데이터 및/또는 질의를 송신함으로써 셀룰러 네트워크 요소(283) 내에서 국부적으로 및/또는 원격으로 그러한 데이터의 AI 처리를 선택적으로 수행할 수 있고; 그 다음에, 원격 작동 명령 또는 원격 작동 제안 또는 다른 원격 작동 데이터를 차량(210)에 전송할 수 있다.
[00114] 유사하게, 동일한 유형 또는 상이한 유형의 하나 이상의 송수신기를 포함할 수 있는 Wi-Fi/V2X/위성 기반/다른(예를 들어, 고정 또는 임시의) 액세스 포인트 또는 통신 노드일 수 있는 액세스 포인트(AP)(281)는 차량(210)(그리고 선택적으로 다른 차량 및/또는 시스템(200)의 다른 유닛)과 추가로 통신할 수 있고; 차량(210)의 차량 센서에 의해 수집된 감지 데이터를 차량(210)으로부터 수신할 수 있고; 외부 또는 원격 서버/AI 유닛(270)으로 데이터 및/또는 질의를 전송함으로써 AP(281) 내에서 국부적으로 및/또는 원격으로 그러한 데이터의 AI 처리를 선택적으로 수행할 수 있고; 그 후 원격 작동 명령 또는 원격 작동 제안 또는 다른 원격 작동 데이터를 차량(210)으로 전송할 수 있다.
[00115] 유사하게, 하나 이상의 도로 측면 또는 도로 내 또는 도로 위의 인프라 요소(들)(260)는 차량(210)과 추가로 통신할 수 있고; 그러한 인프라 요소(들)(260)는 예를 들어, 신호등, 교통 표지판, 도로 표지판, 다리, 터널, 사물 인터넷(IoT) 장치 또는 IP 연결 센서 등일 수 있고; 이들은 차량(210)으로부터 차량(210)의 차량 센서에 의해 수집된 감지 데이터를 수신할 수 있고; 데이터 및/또는 질의를 외부 또는 원격 서버/AI 유닛(270)으로 전송함으로써 인프라 요소(들)(260) 내에서 국부적으로 및/또는 원격으로 그러한 데이터의 AI 처리를 수행할 수 있고; 그 다음 원격 작동 명령을 차량(210)으로 전송할 수 있다.
[00116] 선택적으로, 다른 차량(211 내지 212)은 예컨대, 하나 이상의 애드-혹 네트워크(ad-hoc network), DSRC, V2V, 피어-투-피어 통신, 또는 다른 프로토콜 및 토폴로지를 통해 직접 및/또는 간접적으로 1차 차량(210)과 통신할 수 있고; 차량(210)으로부터 감지된 데이터를 수신할 수 있고; 데이터 및/또는 질의를 외부 또는 원격 서버/AI 유닛(270)에 전송함으로써 그러한 차량(211 내지 212) 내에서 국부적으로 및/또는 원격으로 그러한 데이터의 AI 처리의 일부 또는 전부를 수행할 수 있고; 그 다음 원격 작동 명령을 차량(210)으로 전송할 수 있다.
[00117] 일부 실시예들에서, 선택적으로, 차량(211 내지 212)은 차량(210)의 차량 센서에 의해 감지되거나 수집된 데이터를 외부 또는 원격 서버/AI 유닛(270)으로 및/또는 시스템(200)의 다른 유닛으로 업로드 및/또는 스트리밍할 때 1차 차량(210)을 추가로 지원할 수 있다. 예를 들어, 차량(210)은 차량 비디오 카메라를 통해 비디오를 캡처할 수 있고, 캡처된 비디오 및/또는 실시간 스트리밍 비디오를 이들 두 차량 사이의 직접적인 애드-혹 Wi-Fi 링크를 통해 인근 차량(211)으로 전송할 수 있으며; 차량(211)은 그러한 비디오를 외부 또는 원격 서버/AI 유닛(270) 또는 다른 프로세서로 중계, 송신, 전송 또는 업로드 또는 스트리밍할 수 있고, 여기서 다른 프로세서는 이러한 데이터가 중계 차량(211)이 아닌 1차 차량(210)에 의해 실제로 감지되었다는(그리고 그에 속하는) 표시와 함께, 4G-LTE 통신 링크 또는 5G 통신 링크를 통해 원거리 운영자 단말기/F1MI(255)용으로, 또는 그 내부에 또는 그에 의해서 사용될 수 있으며, 이러한 데이터에 기초한 원격 작동 명령은 1차 차량(210)으로 전송되어야 한다(예를 들어, 직접 또는 간접적으로 중계 차량(211)을 통해, 그러한 명령은 1차 차량(210)으로 향한다는 표시를 포함한다).
[00118] 일부 실시예들에서, 예를 들어, 그러한 데이터가 1차 차량(210)에 영향을 미치고 또한 차량(211)과 같은 2차 차량(들)에 영향을 미치는 것으로 추정되는 도로 위험 또는 환경 조건(예를 들어, 안개, 눈 등)에 대한 정보를 포함하는 경우에, 선택적으로, 2차 차량(211) 자체는 차량(210)으로부터 다른 유닛으로 중계하는 데이터의 일부 또는 전부를 또한 이용할 수 있다.
[00119] 일부 실시예들에서, 데이터(예를 들어, 차량으로부터 업로드된 감지된 데이터, 및/또는 다운로드되거나 차량으로 전송되는 처리된 데이터 또는 명령)는 브로드캐스트 또는 유니캐스트 또는 멀티캐스트를 통해, 또는 단일의 일대일 통신 링크를 통해, 또는 단일 지점-대-지점 통신 링크를 통해, 일대다 통신 링크 또는 채널을 통해, 또는 여러 일대일 통신 링크 또는 여러 지점-대-지점 통신 링크의 세트 또는 그룹 또는 배치를 통해; 예컨대, 1차 차량과 2차 차량 및/또는 인프라 요소 및/또는 외부 또는 원격 서버 또는 AI 유닛의 임의의 서브-세트 사이에서(이들 중에서) 어느 방향으로 든(상류 및/또는 하류; 업링크 및/또는 다운링크; 업로드 및/또는 다운로드); 반-이중 또는 완전-이중 통신을 사용하여; 선택적으로 추가 제어 채널 또는 메시징 채널 또는 피드백 채널이 있거나 그러한 추가 채널이 없이; 전송될 수 있다. 일부 실시예들은 특정 목적지의 주소를 반드시 알 필요없이 IP 연결을 활용할 수 있거나, 하나의 송신기로부터 동일한 IP 네트워크에서 청취할 수 있는 다중 수신기 또는 수신기 그룹으로 데이터 수신을 허용할 수 있으며 얼마나 많은 수신기 유닛이 그러한 전송, 브로드캐스트, 멀티캐스트, 업로드 또는 업링크를 실제로 듣고 있는 지는 사전에 또는 전송시 반드시 알 필요가 없다. 전송된 정보 중 일부는 2 이상의 목적지 장치(또는 수신자, 차량 또는 도로 사용자)와 관련 될 수 있으며, 따라서 일부 실시예들은 임계 수 초과의 IP 목적지 또는 수신자 또는 정보 소비자 또는 데이터 프로세서로 데이터를 전달하는데 더 효율적이고/이거나 더 낮은 지연을 갖는 것으로 브로드캐스팅 및/또는 멀티캐스팅을 이용할 수 있다.
[00120] 본 발명의 일부 예시적인 실시예에 따른 방법의 흐름도인 도 3을 참조한다. 방법은 시스템(100) 또는 시스템(200)의 유닛 중 하나 이상, 또는 일부 또는 전부에 의해, 또는 다른 적합한 시스템 또는 장치에 의해 구현될 수 있다.
[00121] 일부 실시예에서, 1차 차량은 차량 센서를 통해 데이터를 감지하고 수집한다(블록 310). 감지된 데이터는 하나 이상의 무선 통신 링크를 통해, 특히 다중 차량 송수신기에 의해 서비스되는 다중 무선 IP 통신 링크로 구성된 결합된(또는 집합된 또는 다중 링크) 가상 통신 링크를 통해 외부 AI 유닛에 업로드되거나 전송되어서(블록 320), 각각의 송수신기는 특정 IP 목적지 주소에 업로드해야 하는 총 패킷의 일부를 병렬로 전송, 업로드 또는 스트리밍 할 수 있고, 수신자 유닛은 다중 무선 링크에서 들어오는 패킷을 순서대로 올바른 데이터 스트림으로 재조립하는 조립 엔진 또는 재조립 엔진을 사용한다.
[00122] 외부 AI 유닛은 선택적으로, 다른 소스(예를 들어, 날씨 데이터, 지진 데이터, 교통 데이터 등)로부터 AI 유닛에 이용 가능한 다른 데이터와 조합하여 차량 감지 데이터의 AI 처리를 수행한다(블록 330).
[00123] 외부 AI 유닛(및/또는 원거리 운영자 단말기/HMI(255)을 사용하는 인간 원거리 운영자)은 선택적으로, 해제 명령을 사용하거나 차량이 이제 외부 AI 유닛에 의해 원격 작동으로 전환된다는 신호를 사용하여, 하나 이상의 원격 작동 명령을 생성하고 이를 차량으로 다시 전송한다(블록 340). 차량으로 송신되는 신호는 예를 들어, (a) 원격 작동 명령, (b) 추가 변환이나 재-포맷 또는 번역 없이 특정 수신 차량에 의해 즉시 실행될 수 있는 직접적인 원격 작동 명령, 및/또는 (c) 특정 수신 차량이 특정 실행 가능한 차내 명령으로 해석 또는 변환 또는 재-포맷하는 간접적인 원격 작동 명령, 및/또는 (d) 조건문 및/또는 조건부 명령 및/또는 부울 연산자 또는 부울 논리를 사용하여 표현되는 차량에 대한 입력(예를 들어, "3 초 이내에 완전히 정지할 수 있으면, 그렇게 하고 그렇지 않으면 그 다음에 차선을 우측 차선으로 변경하고 속도를 40 mph에서 20 mph로 줄임”), 및/또는 (e) 차량의 시스템이 그러한 추가 데이터를 활용하여 차내 결정에 도달하도록 원격 AI 유닛 또는 원격 원거리 운영자에 의해 감지 및/또는 처리되고/되거나 수집 및/또는 획득된 데이터를 포함한 차량에 대한 입력(예를 들어, 기상 데이터, 차량 교통 데이터, 지진 데이터, 법 집행 시스템으로부터의 데이터, 다른 차량(들)에 의해 및/또는 인프라 요소에 의해 및/또는 IP에 의해 최근 또는 이전에 감지되거나 업로드 또는 업스트림된 데이터), 및/또는 (f) 제어 데이터 또는 메시징 데이터 또는 피드백 데이터 또는 다른 메타 데이터(예를 들어, 타임 스탬프/날짜-스탬프, 이러한 전송이 의도된 차량의 고유 식별자, 데이터를 제공하거나 전송하는 원격 AI 또는 원격 원거리 운영자의 고유 식별자, 송신된 데이터가 따라야만 하는 엄격한 명령인지 여부 또는 수신 차량이 수락 또는 거부 또는 수정할 수 있는 옵션 또는 제안 또는 권장 사항인지 여부 표시 등) 및/또는 다른 유형의 데이터 또는 신호를 나타내거나 전달할 수 있다.
[00124] 추가적으로 또는 대안적으로, 원격 운용자 단말기/HMI(255)를 사용하는 외부 AI 유닛 또는 인간 원격 운용자는 다른 인간 원격 운용자 및/또는 다른 기계 기반 원거리 운영자에게 차량의 원격 작동을 참조하거나 중계하거나 전환하거나 재지시하거나 할당하거나 제출할 수 있으며(블록 350), 이는 차례로, 원격 작동 명령을 차량에 제공하도록 진행하거나, 차례로 다른 엔티티로 추가로 중계 또는 재지시하도록 진행한다.
[00125] 본 발명의 일부 예시적인 실시예들에 따른 서브-시스템(400)의 블록 다이어그램 예시인 도 4를 참조한다. 서브-시스템(400)은 차량의 일부일 수 있거나, 차내에 있을 수 있거나, 차량 추가 유닛일 수 있거나, 차량 상에 또는 차량 내에 장착될 수 있거나, 차량에 또는 차량 내에 또는 차량 아래 또는 밑에 내장 또는 통합될 수 있고/있거나, 차량 구성요소로서 또는 차량 대시보드 또는 차량 통신 유닛의 일부로서 구현될 수 있거나, 그렇지 않으면 차량과 연관될 수 있거나, 차량의 사용자 또는 운전자 또는 승객에 의해 사용될 수 있다. 서브-시스템(400)은 전술 한 시스템(100) 또는 시스템(200)의 임의의 차량, 또는 본 발명에 따른 다른 기기 또는 장치의 일부일 수 있다.
[00126] 서브-시스템(400)은 서브-시스템(400)이 기계적으로 및/또는 물리적으로 및/또는 전자적으로 및/또는 와이어 또는 케이블을 통해 및/또는 다른 유형의 연결을 통해 하나 이상의 차량 센서(451)(예를 들어, 카메라, 이미저, 비디오 카메라, 마이크, LIDAR 센서, RADAR 센서, 근접 센서, 온도 센서, 습도 센서 등)에 연결할 수 있게 하고/하거나, 서브-시스템(400)이 그러한 차량 센서로부터 뿐만 아니라 다른 차량 유닛(452)(예를 들어, 차량 컴퓨터, 차량 프로세서, 자가 주행 프로세서, 자율 주행 프로세서; 전기 제어 유닛(ECU)(454) 또는 전기 제어 모듈, 또는 전자 제어 유닛 또는 모듈; 차량 매핑 시스템, 차량 내비게이션 서브-시스템(455), 차량 경로 안내 시스템; GPS 요소 또는 시스템 등)으로부터 데이터를 수신할 수 있게 하는, 다중 입력 커넥터(401) 또는 소켓 또는 포트 또는 출구 또는 입구 또는 수형-부품 또는 암형-부품, 또는 다른 입력 인터페이스를 포함할 수 있다.
[00127] 선택적으로, 메모리 유닛(402)(예를 들어, 플래시 메모리, RAM 등) 및/또는 저장 유닛(403)(예를 들어, 플래시 메모리, 솔리드 스테이트 드라이브(SSD), 하드 디스크 드라이브(HDD) 등)은 차량 센서에 의해 감지된(또는 그로부터 수집된) 그러한 데이터를 저장할 수 있다.
[00128] 선택적으로, 프로세서(404)는 그러한 데이터를 부분적으로 또는 완전히 처리할 수 있거나, 데이터를 재-포맷하거나 변환할 수 있거나, 이를 인코딩 또는 재-인코딩 또는 트랜스-코딩할 수 있으며, 특히 그러한 데이터를 하나 이상의 무선 통신 링크를 통해 외부 또는 원격 수신자에게 효율적으로 업로드할 목적으로 사용된다.
[00129] 서브-시스템(400)은 또한, 차량의 자가 주행 또는 자율 주행 유닛에 의해 후에 수행되거나 활용되는 명령 및/또는 신호를 생성하기 위해서 감지된 데이터 및/또는 다른 알려진 조건(예를 들어, 차량의 속도, 위치 등)의 일부 또는 전부의 AI 처리를 수행할 수 있는 AI 프로세서(415)를 선택적으로 포함할 수 있다. 다른 실시예에서, 그러한 AI 프로세서는 반드시 서브-시스템(400)에 포함될 필요는 없으며, 오히려 그에 연결될 수 있거나, 시스템(400)에 결합된(또는 그에 작동 가능하게 연관된) 차량 AI 유닛(452)의 일부일 수 있다.
[00130] 패킷 할당기(405)는 원격 또는 외부 엔티티로의 전송을 위한 패킷을 하나 이상의 송수신기에 할당할 수 있어서; 각각의 송수신기는 업로드 또는 송신될 총 패킷의 상이한 배치 또는 세트 또는 그룹을 송신하거나 전송한다. 선택적으로, 링크 결합 유닛(406)은 어떤 통신 링크(들)를 사용할지 및/또는 어떤 송수신기가 그러한 업링크 전송을 위해 사용할지를 동적 방식으로 정의, 결정, 구성 및/또는 수정할 수 있음으로써, 애드-혹 또는 연속 결합된 채널 또는 결합된 다중 링크 연결을 생성한다.
[00131] 패킷 할당기(405) 및/또는 링크 결합 유닛(406)은 서브-시스템(400)의 통합 또는 내부 또는 통합 또는 내장된 부분인 송수신기(408)일 수 있고/있거나, 서브-시스템(400)의 외부에 있지만, 그러한 데이터 또는 패킷을 전송을 위해 적합한 송수신기로 전송할 수 있는 출력 커넥터(407) 또는 소켓 또는 케이블 또는 와이어(또는 다른 출력 인터페이스)를 통해 액세스할 수 있는 그러한 다중 송수신기와 협력하여 작동할 수 있다.
[00132] 일부 실시예들에서, 선택적으로, 서브-시스템(400)은 예컨대, 그러한 유닛으로부터 데이터를 수신하기 위해서 및/또는 차량의 작동 또는 원격 작동을 위해 국부적으로 생성된 명령 및/또는 원격으로 생성된 명령을 그러한 유닛으로 전송하기 위해서 차량의 자가 주행/자율 주행/원격 작동 유닛(456)에 연결되거나 그에 연관되거나 그에 결합되거나 그에 조합될 수 있다.
[00133] 본 발명의 일부 실시예들은 그 전체가 원용에 의해 본 명세서에 포함되는, 발명의 명칭이 "원격 전송 시스템"인 미국 특허 제 7,948,933 호에 개시된 하나 이상의 구성요소, 유닛, 장치, 시스템 및/또는 방법을 포함하거나 이용할 수 있다.
[00134] 본 발명의 일부 실시예들은 그 전체가 원용에 의해 본 명세서에 포함되는, 발명의 명칭이 "광대역 송신기, 광대역 수신기 및 그 방법"인 미국 특허 제 9,826,565 호에 개시된 하나 이상의 구성요소, 유닛, 장치, 시스템 및/또는 방법을 포함하거나 이용할 수 있다.
[00135] 본 발명의 일부 실시예들은 그 전체가 원용에 의해 본 명세서에 포함되는, PCT 국제 공개 번호 WO 2018/203336 A1 호로 공개되고 발명의 명칭이 "다중-링크 통신 및 미디어 콘텐츠를 위한 전처리 및 데이터 전달의 장치, 시스템 및 방법"인 PCT 국제 출원 번호 PCT/IL2018/050484 호에 개시된 하나 이상의 구성요소, 유닛, 장치, 시스템 및/또는 방법을 포함하거나 이용할 수 있다.
[00136] 본 발명의 일부 실시예들은 그 전체가 원용에 의해 본 명세서에 포함되는, PCT 국제 공개 번호 WO 2018/211488 A1 호로 공개되고 발명의 명칭이 "무선 다중-링크 차량 통신의 장치, 시스템 및 방법"인 PCT 국제 출원 번호 PCT/IL2017/051331 호에 개시된 하나 이상의 구성요소, 유닛, 장치, 시스템 및/또는 방법을 포함하거나 이용할 수 있다.
[00137] 일부 실시예들에서, 시스템은 (a) 차량의 복수의 차량 센서로부터 입력을 수신하도록, (b) 상기 차량 내에서 상기 입력의 적어도 제1 부분을 국부적으로 처리하도록, (c) 상기 입력의 적어도 제2 부분을 차량 무선 송신기를 통해 상기 차량 외부에 위치된 원격 원거리 운전 프로세서로 무선으로 전송하도록, (d) 상기 원격 원거리 운전 프로세서로부터 차량 무선 수신기를 통해 원격 노드로부터 수신된 원격 계산된 처리 결과를 무선으로 수신하도록, 그리고 (e) (i) 상기 차량의 자율 주행 유닛, (ii) 상기 차량의 원격 주행 유닛, (iii) 차량 주행 프로세서, (iv) 차량 명령 번역기 유닛 중 적어도 하나를 통해 상기 원격 계산된 처리 결과에 기초하여 차량 작동 명령을 구현하도록 구성되는 차량 인공 지능(AI) 유닛과 연관된 차량 프로세서를 포함한다.
[00138] 일부 실시예들에서, 상기 차량 AI 유닛과 연관된 차량 프로세서는 상기 차량 작동 명령에 기초하여 상기 차량을 자율적으로 작동시키는 상기 차량의 자율 주행 유닛으로 상기 차량 작동 명령을 전송한다. 일부 실시예들에서, 상기 차량 AI 유닛과 연관된 차량 프로세서는 상기 차량 작동 명령에 기초하여 상기 차량을 자율적으로 작동시키는 상기 차량의 원격 주행 유닛으로 상기 차량 작동 명령을 전송한다.
[00139] 일부 실시예들에서, (I) 상기 AI 유닛에 의해 상기 차량 내에서 국부적으로 생성된 입력 및 (II) 상기 원격 원거리 운전 프로세서로부터 수신된 상기 차량 작동 명령 모두에 기초하여 상기 차량을 자율적으로 작동하도록 구성된 차량 자율 주행 유닛을 더 포함한다.
[00140] 일부 실시예들에서, 상기 시스템은 상기 원격 원거리 운전 프로세서로의 전송 이전에 상기 입력의 상기 제2 부분을 축소된 크기 표현으로 동적으로 인코딩하는 동적 인코더를 포함한다. 일부 실시예들에서, 상기 데이터 공유 결정 유닛은 상기 차량 AI 유닛에 의해 상기 차량에서 국부적으로 계산된 국부적으로 계산된 처리 결과에서 상기 차량 AI 유닛의 적어도 확실성의 수준을 고려함으로써 작동한다.
[00141] 일부 실시예들에서, 상기 시스템은 하나 이상의 차량 무선 송신기의 제1 세트를 통한 무선 전송을 위해, 제1 차량 센서로부터의 데이터를 갖는 패킷의 제1 세트를 할당하고, 하나 이상의 차량 무선 송신기의 제2 세트를 통한 무선 전송을 위해, 제2 차량 센서로부터의 데이터를 갖는 패킷의 제2 세트를 할당하기 위한 통신 채널 할당기를 포함한다.
[00142] 일부 실시예들에서, 통신 채널 할당기는 어느 하나 이상의 차량 송신기가 송신기의 제1 세트에 포함될 것인지, 그리고 어느 하나 이상의 차량 송신기가 송신기의 제2 세트에 포함될 것인지를 동적으로 결정한다.
[00143] 일부 실시예들에서, 통신 채널 할당기는 어느 하나 이상의 차량 송신기가 송신기의 제1 세트에 포함될 것인지, 그리고 어느 하나 이상의 차량 송신기가 송신기의 제2 세트에 포함될 것인지를 동적으로 결정하며; 송신기의 제1 세트 및 송신기의 제2 세트는 상기 세트 모두에 공통인 적어도 하나의 특정 송신기를 포함한다.
[00144] 일부 실시예들에서, 상기 시스템은 제1 차량 센서에 의해 수집된 데이터의 무선 전송을 위한 제1 무선 통신 채널을 상기 제1 원격 프로세서에서 처리하기 위해 제1 원격 프로세서로 할당하고, 제2 차량 센서로부터의 데이터의 무선 전송을 위한 제2 무선 통신 채널을 상기 제2 원격 프로세서에서 처리하기 위해 제2 원격 프로세서로 할당하기 위한 통신 채널 할당기를 포함한다.
[00145] 상기 시스템은 (A) 제1 원거리 운전 프로세서로부터 제1 원격 운전 명령을 무선으로 수신하고, (B) 제2 원거리 운전 프로세서로부터 제2 원격 운전 명령을 무선으로 수신하고, (C) 제1 원격 운전 명령과 제2 원격 운전 명령 사이에서, 모순, 불일치, 중복, 역효과, 모순된 결과 중 적어도 하나를 포함하는 불일치를 검출하고, 그리고 (D) 미리 정의된 규칙에 기초하여 또는 차량 AI 유닛을 사용하여, 폐기할 원격 작동 명령 및 상기 차량에서 실행할 원격 작동 명령을 결정하기 위한 차량 다중 원거리 운영자 처리 유닛을 포함한다.
[00146] 일부 실시예들에서, 상기 원거리 운전 프로세서는 2차 차량에 위치된 이동 원거리 운전 프로세서이며; 차량 AI 유닛은 입력의 상기 제2 부분을 상기 보조 차량에 위치된 원거리 운전 프로세서로 무선으로 전송하며; 차량 AI 유닛은 원격으로 계산된 처리 결과를 상기 2차 차량으로부터 무선으로 수신하며; 차량 AI 유닛은 상기 2 차 차량으로부터 무선으로 수신된 상기 원격 계산된 처리 결과에 기초하여 상기 차량 작동 명령을 생성한다.
[00147] 일부 실시예들에서, 상기 원격 원거리 운전 프로세서는 상기 차량 외부에 있고 비-모바일 트래픽 인프라 요소에 위치되는 원거리 운전 프로세서이며; 차량 AI 유닛은 입력의 상기 제2 부분을 상기 비-모바일 트래픽 인프라 요소에 위치된 원거리 운전 프로세서에 무선으로 전송하며; 차량 AI 유닛은 외부에서 계산된 처리 결과를 상기 비-모바일 트래픽 인프라 요소로부터 무선으로 수신하며; 차량 AI 유닛은 상기 비-모바일 트래픽 인프라 요소로부터 무선으로 수신된 상기 원격 계산된 처리 결과에 기초하여 상기 차량 작동 명령을 생성한다.
[00148] 일부 실시예들에서, 상기 시스템은 적어도 (i) 사전 정의된 임계 값 미만인 유효 무선 통신 처리량을 갖는 제1 도로 세그먼트, 및 (ii) 상기 미리 정의된 임계 값을 초과하는 효과적인 무선 통신 처리량을 갖는 제2 도로 세그먼트를 나타내는 통신 기반 지도를 생성하는 통신 기반 지도 생성기를 포함한다.
[00149] 일부 실시예들에서, 상기 시스템은 적어도 상이한 경로 세그먼트에서 추정된 수준의 무선 통신 서비스 가용성을 고려함으로써 상기 차량에 대한 내비게이션 경로를 생성하거나 수정하기 위한 내비게이션 경로 생성기를 포함한다.
[00150] 일부 실시예들에서, 상기 시스템은 적어도 (i) 서로 다른 경로 세그먼트에서 추정된 수준의 무선 통신 가용성 및 (ii) 상기 차량의 승객을 위한 안전 요건에 관한 하나 이상의 제약을 고려함으로써 상기 차량에 대한 내비게이션 경로를 생성하거나 수정하기 위한 내비게이션 경로 생성기를 포함한다.
[00151] 일부 실시예들에서, 상기 시스템은 사전 정의된 임계 값을 초과하는 무선 통신 가용성을 갖는 도로 세그먼트를 포함하도록 상기 차량에 대한 내비게이션 경로를 생성 또는 수정함으로써, 자율 주행 차량인 상기 차량의 여행의 안전성을 높이기 위한 내비게이션 경로 생성기를 포함한다.
[00152] 일부 실시예들에서, 상기 시스템은 상기 차량의 원격 작동이 성공할 것으로 추정되는 도로 세그먼트를 포함하도록 상기 차량에 대한 내비게이션 경로를 생성 또는 수정함으로써, 원격 작동을 지원하는 상기 차량의 여행의 안전성을 높이기 위한 내비게이션 경로 생성기를 포함한다.
[00153] 일부 실시예들에서, 상기 차량의 자율 주행 유닛은 하나 이상의 특정 경로 세그먼트에서 무선 통신의 가용성에 기초하여 상기 차량의 하나 이상의 주행 매개변수를 동적으로 수정한다.
[00154] 일부 실시예들에서, 상기 차량의 자율 주행 유닛은 원격 기계 기반 또는 인간 원거리 운영자 또는 원격 AI 처리 유닛으로부터 수신된 원격 작동 명령에 기초하여 상기 차량의 원격 원거리 작동의 추정된 성공 수준에 기초하여 상기 차량의 하나 이상의 운전 매개변수를 동적으로 수정한다.
[00155] 일부 실시예들에서, 상기 차량의 자율 주행 유닛은 특정 경로 세그먼트에서 무선 통신의 감소된 가용성에 기초하여 상기 차량의 주행 속도를 동적으로 감소시키거나 근처 차량으로부터의 거리를 동적으로 증가시킨다.
[00156] 일부 실시예들에서, 상기 차량의 자율 주행 유닛은 특정 경로 세그먼트에서 상기 차량의 원격 원거리 작동 성공의 감소된 예상 수준에 기초하여 상기 차량의 주행 속도를 동적으로 감소시키거나 근처 차량으로부터의 거리를 동적으로 증가시킨다.
[00157] 일부 실시예들에서, 상기 차량의 자율 주행 유닛은 상기 차량으로부터 원격 원거리 작동 단말기 또는 원격 AI 처리 유닛을 포함하는 원격 수신자로 무선 비디오 업로드의 감소된 처리량에 기초하여 특정 경로 세그먼트에서 상기 차량의 주행 속도를 동적으로 감소시키거나 인근 차량으로부터의 거리를 동적으로 증가시킨다.
[00158] 일부 실시예들에서, 상기 차량의 외부에 위치되는 외부 AI 모듈은 상기 차량 AI 유닛 대신에 또는 차내 인간 운전자 대신에 상기 차량의 운전을 인수한다.
[00159] 일부 실시예들에서, 상기 차량의 외부에 위치되는 외부 AI 모듈은 상기 차량 AI 유닛 대신에 또는 차내 인간 운전자 대신에 상기 차량의 운전을 인수하며; 상기 외부 AI 모듈은 상기 차량의 원격 작동을 원격 인간 원거리 운영자에게 선택적으로 참조한다.
[00160] 일부 실시예들에서, 상기 차량의 외부에 위치되는 외부 AI 모듈은 상기 차량 AI 유닛 대신에 또는 차내 인간 운전자 대신에 상기 차량의 운전을 인수하며; 상기 외부 AI 모듈은 (i) 상기 차량으로부터 수신된 무선 통신의 품질 및 (ii) 상기 차량의 차량 센서에 의해 감지되고 상기 외부 AI 모듈에 업로드되는 감지된 데이터의 품질에 기초하여 원격 원거리 작동 작업의 신뢰 수준을 조정한다.
[00161] 일부 실시예들에서, 상기 차량의 단일 차량 센서에 의해 감지된 데이터는 결합된 통신 업링크를 통해 상기 차량 외부에 위치된 외부 AI 유닛으로 전송되며, 상기 차량의 상기 단일 센서에 의해 감지된 데이터에 대응하는 패킷은 (i) 상기 차량과 연관된 제1 무선 송신기에 의해 제1 무선 통신 링크를 통해 업로드될 패킷의 제1 세트를 할당하고, (ii) 상기 차량과 연관된 제2 무선 송신기에 의해 제2 무선 통신 링크를 통해 업로드될 패킷의 제2 세트를 할당함으로써 상기 차량으로부터 업로드된다.
[00162] 일부 실시예들에서, 상기 결합된 통신 업링크는 상기 차량에 의해 감지되고 상기 하나 이상의 원격 AI 모듈에 업로드된 데이터에 기초하여 상기 차량에 대한 원격 작동 명령을 생성하는 하나 이상의 원격 AI 모듈의 신뢰 수준을 증가시키기 위해 상기 차량에 의해 이용된다.
[00163] 일부 실시예들에서, 상기 결합된 통신 업링크는 셀룰러 통신 링크, Wi-Fi 통신 링크, V2X 통신 링크, 위성 기반 통신 링크, DSRC(Direct Short-Range Communication: 직접 단거리 통신) 링크의 임의의 조합 중 둘 이상을 선택함으로써, 상기 차량과 연관된 상기 링크 결합 유닛에 의해 동적으로 구성된다.
[00164] 일부 실시예들에서, 차량 송신기는 상기 차량의 하나 이상의 차량 센서에 의해 감지된 데이터를 상기 차량 외부의 외부 AI 모듈로 업로드하며; 상기 차량 AI 유닛은 상기 외부 AI 모듈로부터 상기 차량에 대한 2 개 이상의 조건부 원격 작동 명령의 배치를 수신하고, 제1 조건이 특정 신뢰 수준에서 참일 경우 제1 원격 작동 명령을 수행하고, 제2 조건이 특정 신뢰 수준에서 참일 경우 제2 원격 작동 명령을 수행한다.
[00165] 일부 실시예들에서, 상기 차량과 연관된 무선 송신기는 상기 차량의 하나 이상의 차량 센서에 의해 감지된 데이터를 상기 차량 외부에 있는 외부 AI 모듈로 업로드하며, 차량 AI 유닛은 상기 외부 AI 모듈로부터 상기 감지된 데이터의 차내 처리를 수행하고 들어오는 원격 작동 명령을 기다리는 것을 피하기 위한 권한을 수신한다.
[00166] 일부 실시예들에서, 상기 차량과 연관된 송신기는 상기 차량의 하나 이상의 차량 센서에 의해 감지된 데이터를 상기 차량 외부에 있는 외부 AI 모듈로 업로드하며, 상기 데이터는 다수의 무선 송수신기를 사용하여 상기 차량에 현재 이용 가능한 효과적인 무선 통신 리소스에 기초하여 상기 데이터를 상기 외부 AI 모듈로 효과적으로 업로드할 수 있도록 상기 차량 내에서 적어도 부분적으로 처리된다.
[00167] 일부 실시예들에서, 상기 차량과 연관된 송신기는 상기 차량의 하나 이상의 차량 센서에 의해 감지된 데이터를 상기 차량 외부에 있는 외부 AI 모듈로 업로드하며; 상기 업로드를 위해 상기 차량에서 현재 이용 가능한 효과적인 무선 통신 리소스의 품질 지표가 미리 정의된 임계 값보다 큰 더 경우, 외부 AI 모듈은 외부 AI 모듈에 의해 생성된 원격 작동 명령에 대한 제1 수준의 확실성을 결정하며; 상기 업로드를 위해 상기 차량에 현재 이용 가능한 효과적인 무선 통신 리소스의 품질 지표가 상기 사전 정의된 임계 값보다 더 작으면, 외부 AI 모듈은 외부 AI 모듈에 의해 생성된 상기 원격 작동 명령에 대한 감소된 제2 확실성 수준을 결정한다.
[00168] 일부 실시예들에서, 상기 차량과 연관된 송신기는 상기 차량 외부에 있는 외부 AI 모듈에 상기 차량의 하나 이상의 차량 센서에 의해 감지된 데이터를 업로드하며, 상기 송신기는 2 개 이상의 전송 유닛을 포함하며, 상기 업로드는 상이한 패킷을 서로 병렬로 작동시키고 업로드하는 2 이상의 각각의 무선 전송 유닛에 의해 동시에 서비스되는 2 이상의 무선 통신 링크를 포함하는 결합된 무선 통신 링크를 통해 수행된다.
[00169] 일부 실시예들에서, 상기 차량과 연관된 2 이상의 송신기는 상기 차량의 하나 이상의 차량 센서에 의해 감지된 데이터를 상기 차량 외부에 있는 외부 AI 모듈로 업로드하며; 제1 송신기는 상기 차량의 제1 차량 센서에 의해 감지된 데이터를 상기 외부 AI 모듈로 무선으로 전송하며; 제2 송신기는 상기 차량의 제2 차량 센서에 의해 감지된 데이터를 상기 외부 AI 모듈로 동시에 무선으로 전송한다.
[00170] 일부 실시예들에서, 상기 차량과 연관된 2 이상의 송신기는 상기 차량의 단일 차량 센서에 의해 감지된 데이터를 상기 차량 외부에 있는 외부 AI 모듈로 업로드하며; 제1 송신기는 상기 차량의 상기 단일 차량 센서에 의해 감지된 데이터 패킷의 제1 배치를 상기 외부 AI 모듈로 무선으로 전송하며; 제2 송신기는 상기 차량의 상기 단일 차량 센서에 의해 감지된 데이터 패킷의 제2 배치를 상기 외부 AI 모듈에 동시에 무선으로 전송한다.
[00171] 일부 실시예들에서, 상기 차량과 관련된 송신기는 상기 차량의 외부에 있는 외부 AI 모듈로 상기 차량의 하나 이상의 차량 센서에 의해 감지된 데이터를 업로드하며, 상기 업로드는 상기 차량과 연관된 2 개 이상의 각각의 무선 송신기에 의해 서비스되는 2 개 이상의 무선 통신 링크의 집합을 포함하는 결합된 무선 통신 링크를 통해 수행된다.
[00172] 일부 실시예들에서, 상기 결합된 무선 통신 업링크는 셀룰러 통신 링크, Wi-Fi 통신 링크, 위성 기반 통신 링크, V2X 통신 링크, DSRC 통신 링크 중 임의의 조합으로 2 이상의 통신 링크를 선택함으로써 상기 차량과 연관된 링크 결합 유닛에 의해 동적으로 구성되며; 두 개 이상의 통신 링크가 동시에 작동하고 상이한 패킷을 서로 병렬로 업로드한다.
[00173] 일부 실시예들에서, 상기 차량의 차량 AI 유닛은 다수의 차량과 모든 차량 외부에 있는 적어도 하나의 AI 유닛 사이에 분산된 AI 유닛의 다중 피어 네트워크(multiple -peers network)의 일부이며; 상기 AI 유닛의 다중 피어 네트워크는 상기 AI 유닛의 다중 피어 네트워크 중 적어도 하나의 차량에 AI 원격 작동 명령을 제공한다.
[00174] 일부 실시예들에서, 상기 차량의 차량 AI 유닛은 (I) 다른 차량의 센서에 의해 감지된 데이터의 AI 처리를 수행하고, (II) 상기 다른 차량에 적합한 AI 기반 원격 작동 명령에 도달하고, (III) 상기 원격 작동 명령을 상기 다른 차량으로 전송하도록 작동한다.
[00175] 일부 실시예들에서, 원격 원거리 작동 단말기로부터 상기 차량의 상기 차량 프로세서로 송신되는 명령은 상기 차량 프로세서와 연관되는 다수의 무선 통신 송수신기를 통해 전송된다.
[00176] 일부 실시예들에서, 상기 차량 프로세서 (i)는 동일한 송수신기 또는 상이한 송수신기를 통해 들어오는 두 개 이상의 반복된 원격 작동 명령을 식별하며, (ii) 상기 반복된 원격 작동 명령의 제1 명령을 실행하며, (iii) 반복된 원격 작동 명령의 하나 이상의 다른 명령을 폐기하도록 작동한다.
[00177] 일부 실시예들에서, 상기 차량과 연관되고 상이한 순간 성능 특성을 갖는 2 이상의 무선 송수신기는 상기 차량으로부터 원격 원거리 작동 단말기로 데이터를 업로드하거나 상기 원격 원거리 작동 단말기로부터 상기 차량으로 데이터를 다운로드하도록 동시에 사용된다.
[00178] 일부 실시예들에서, 상기 차량과 연관된 2 이상의 무선 송수신기는 처리량, 굿-풋(good-put), 유효 업로드 대역폭, 유효 다운로드 대역폭, 대기시간, 지연, 오류율, 잘못된 패킷 속도, 누락된 패킷 속도 중 적어도 하나의 상이한 순간 성능 특성을 가진다.
[00179] 일부 실시예들에서, 상기 차량과 연관되는 링크 결합 유닛은 상기 차량에 이용 가능한 다수의 무선 통신 송수신기에 걸쳐 업로드를 위한 패킷을 함께 결합하고 할당함으로써 상기 차량으로 지시되는 원격 생성된 원격 작동 명령의 안전성 또는 정확성 또는 확실성 수준을 높이도록 작동한다.
[00180] 일부 실시예들에서, 하나 이상의 차량 센서에 의해 감지된 데이터를 나타내는 패킷의 적어도 일부분은 스마트폰의 송수신기 또는 상기 차량의 비-운전자 승객의 태블릿을 통해 상기 차량으로부터 원격 원거리 작동 단말기 또는 원격 AI 모듈로 업로드된다. 일부 실시예들에서, 상기 시스템은 상기 차량을 포함한다.
[00181] 일부 실시예들에서, 장치는 (a) 하나 이상의 차량 센서의 입력에 대응하는 차량 패킷의 차량 송신기로부터 무선으로 수신하는 셀룰러 수신기; (b) 상기 패킷을 처리하고 차량 작동 명령을 생성하기 위해서 상기 셀룰러 인프라 요소에 통합된 데이터 프로세서; (c) 상기 셀룰러 인프라 요소에 의해 생성된 상기 차량 작동 명령을 나타내는 신호를 상기 차량의 무선 수신기로 무선으로 전송하는 무선 송신기를 포함하는 셀룰러 인프라 요소를 포함한다. 일부 실시예들에서, 셀룰러 인프라 요소는 셀룰러 기지국, 셀룰러 전송 타워, eNodeB 요소, gNodeB 요소, 고정된 부동 셀룰러 송수신기 노드, 셀룰러 에지 인프라 요소, 에지 컴퓨팅 요소 중 적어도 하나를 포함한다.
[00182] 일부 실시예들에서, 장치는 (a) 하나 이상의 차량 센서의 입력에 대응하는 차량 패킷의 차량 송신기로부터 무선으로 수신하는 Wi-Fi 수신기; (b) 상기 패킷을 처리하고 차량 작동 명령을 생성하기 위해서 상기 Wi-Fi 액세스 포인트에 통합된 데이터 프로세서; (c) 상기 Wi-Fi 액세스 포인트에 의해 생성된 차량 작동 명령을 나타내는 신호를 상기 차량의 무선 수신기로 무선으로 전송하는 무선 송신기를 포함하는 Wi-Fi 액세스 포인트를 포함한다. 일부 실시예들에서, 상기 Wi-Fi 액세스 포인트는 상기 패킷의 제1 부분을 국부적으로 처리하고, 원격 원거리 구동 프로세서에 의한 원격 처리를 위해 상기 패킷의 제2 부분을 전달한다.
[00183] 일부 실시예들에서, 장치는 (a) 하나 이상의 차량 센서의 입력에 대응하는 차량 패킷의 차량 송신기로부터 무선으로 수신하는 무선 수신기; (b) 상기 위성 기반 액세스 포인트에 통합되어 상기 패킷을 처리하고 차량 작동 명령을 생성하는 데이터 프로세서; (c) 상기 위성 기반 액세스 포인트에 의해 생성된 차량 작동 명령을 나타내는 신호를 상기 차량의 무선 수신기로 무선으로 전송하는 위성 기반 무선 송신기를 포함하는 위성 기반 액세스 포인트를 포함한다. 일부 실시예들에서, 상기 위성 기반 액세스 포인트는 상기 패킷의 제1 부분을 국부적으로 처리하고, 원격 원거리 구동 프로세서 또는 원격 원거리 작동 단말기에 의한 원격 처리를 위해 상기 패킷의 제2 부분을 전달한다.
[00184] 일부 실시예들에서, 장치는 (a) 하나 이상의 차량 센서의 입력에 대응하는 차량 패킷의 차량 송신기로부터 무선으로 수신하는 무선 수신기; (b) 상기 액세스 포인트에 통합되어 상기 패킷을 처리하고 차량 작동 명령을 생성하는 데이터 프로세서; (c) 상기 위성 기반 액세스 포인트에 의해 생성된 상기 차량 작동 명령을 나타내는 신호를 상기 차량의 무선 수신기로 무선으로 전송하는 무선 송신기를 포함하는 DSRC 또는 V2X 액세스 포인트를 포함한다. 일부 실시예들에서, 상기 DSRC 또는 V2X 액세스 포인트는 상기 패킷의 제1 부분을 국부적으로 처리하고, 원격 원거리 구동 프로세서 또는 원격 원거리 작동 단말기에 의한 원격 처리를 위해 상기 패킷의 제2 부분을 전달한다.
[00185] 본 발명의 실시예에 따르면, 계산, 작동 및/또는 결정은 단일 장치 내에서 국부적으로 수행될 수 있거나, 다중 장치에 의해 또는 다중 장치에서 수행될 수 있거나, 원시 데이터 및/또는 처리된 데이터 및/또는 처리 결과를 교환하기 위해 통신 채널을 선택적으로 사용함으로써 부분적으로 국부적으로 그리고 부분적으로 원격으로 (예를 들어, 원격 서버에서)수행될 수 있다.
[00186] 설명의 목적으로 본 명세서에서 논의된 일부분이 유선 링크 및/또는 유선 통신에 관한 것이지만, 일부 실시예들은 이와 관련하여 제한되지 않고, 오히려 유선 통신 및/또는 무선 통신을 사용할 수 있고/있거나, 하나 이상의 유선 및/또는 무선 링크를 포함할 수 있고/있거나, 유선 통신 및/또는 무선 통신의 하나 이상의 구성요소를 사용할 수 있고/있거나 무선 통신의 하나 이상의 방법 또는 프로토콜 또는 표준을 사용할 수 있다.
[00187] 일부 실시예들은 일반 컴퓨터가 아닌 특수 목적 기계 또는 특정 목적 장치를 사용하거나, 비-일반 컴퓨터 또는 비-일반 컴퓨터 또는 기계를 사용하여 구현될 수 있다. 그러한 시스템 또는 장치는 "일반 컴퓨터"의 일부가 아니고 "범용 컴퓨터"의 일부가 아닌 하나 이상의 구성요소 또는 유닛 또는 모듈, 예를 들어, 셀룰러 송수신기, 셀룰러 송신기, 셀룰러 수신기, GPS 유닛, 위치 결정 유닛, 가속도계(들), 자이로스코프(들), 장치 방위 검출기 또는 센서, 장치 위치 검출기 또는 센서 등을 사용하거나 포함할 수 있다.
[00188] 일부 실시예들은 자동화 방법이나 자동화 프로세스, 또는 기계로 구현된 방법 또는 프로세스로서, 또는 이를 사용하여 구현될 수 있거나, 반자동 또는 부분 자동화 방법이나 프로세스로서, 또는 컴퓨터, 기계, 시스템 또는 다른 장치에 의해 실행되거나 수행될 수 있는 일련의 단계나 작업으로서 구현될 수 있다.
[00189] 일부 실시예들은 비-일시적 저장 매체 또는 비-일시적 저장 물품(예를 들어, CD-ROM, DVD-ROM, 물리적 메모리 유닛, 물리적 저장 유닛)에 저장될 수 있는, 코드 또는 프로그램 코드 또는 기계 판독 가능한 명령어 또는 기계 판독 가능한 코드를 사용하여 구현될 수 있어서, 프로그램 또는 코드 또는 명령어는 프로세서, 기계 또는 컴퓨터에 의해 실행될 때 그러한 프로세서 또는 기계 또는 컴퓨터가 본 명세서에서 설명된 바와 같은 방법 또는 프로세스를 수행하게 한다. 그러한 코드 또는 명령어는 고급 프로그래밍 언어, 저수준 프로그래밍 언어, 객체 지향 프로그래밍 언어, 시각적 프로그래밍 언어, 컴파일된 프로그래밍 언어, 해석된 프로그래밍 언어, C, C ++, C#, Java, JavaScript, SQL, Ruby on Rails, Go, Cobol, Fortran, ActionScript, AJAX, XML, JSON, Lisp, Eiffel, Verilog, 하드웨어 설명 언어(HDL, BASIC, Visual BASIC, Matlab, Pascal, HTML, HTML5, CSS, Perl, Python, PHP, 기계어, 기계어 코드, 어셈블리 언어 등의 코드 또는 명령어 포함하는(그러나, 이에 제한되지 않음) 예를 들어, 소프트웨어, 소프트웨어 모듈, 애플리케이션, 프로그램, 서브루틴, 명령어, 명령어 세트, 컴퓨팅 코드, 단어, 값, 기호, 문자열, 변수, 소스 코드, 컴파일된 코드, 해석된 코드, 실행 코드, 정적 코드, 동적 코드 중 하나 이상이거나 이를 포함할 수 있다.
[00190] 예를 들어, "프로세싱(processing)", "컴퓨팅(computing)", "계산", "결정", "설정", "분석", "체킹(checking)", "검출", "측정" 등과 같은 용어를 사용하는 본 명세서의 논의는 레지스터 및/또는 누산기 및/또는 메모리 유닛 및/또는 저장 유닛 내의 물리적(예를 들어, 전자적) 수량으로서 다른 데이터로 표현되거나 다른 적합한 작동을 수행할 수 있는 데이터를 자동 및/또는 자율적으로 조작 및/또는 변환할 수 있는 프로세서, 컴퓨터, 컴퓨팅 플랫폼, 컴퓨팅 시스템, 또는 다른 전자 장치 또는 컴퓨팅 장치의 작동 및/또는 프로세스를 지칭할 수 있다.
[00191] 본 명세서에서 사용되는 바와 같이, 용어 "복수" 및 "다수"는 예를 들어, "다중" 또는 "둘 이상"을 포함한다. 예를 들어, "복수의 항목"은 둘 이상의 항목을 포함한다.
[00192] "일 실시예", "실시예", "예시적 실시예", "다양한 실시예", "일부 실시예" 및/또는 유사한 용어에 관한 언급은 그렇게 설명된 실시예(들)가 선택적으로 특정 특징, 구조 또는 특성을 포함할 수 있지만, 모든 실시예가 반드시 특정 특징, 구조 또는 특성을 포함하는 것은 아니다. 더욱이, "일 실시예에서"라는 문구의 반복된 사용은 반드시 동일한 실시예를 지칭하는 것은 아니지만, 그럴 수도 있다. 유사하게, "일부 실시예에서"라는 문구의 반복된 사용은 반드시 동일한 세트 또는 그룹의 실시예를 지칭하는 것은 아니지만, 그럴 수도 있다.
[00193] 본 명세서에서 사용된 바와 같이, 그리고 달리 명시되지 않는 한, 항목 또는 객체를 설명하기 위해서 "제1", "제2", "제3", "제4" 등과 같은 서수 형용사의 사용은 그러한 유사한 항목이나 개체의 상이한 예가 참조됨을 나타낼 뿐이며; 그렇게 설명된 항목이나 객체가 시간, 공간, 순위 또는 임의의 다른 순서 방식으로 주어진 특정 순서에 있어야 함을 의미하지 않는다.
[00194] 일부 실시예들은 다양한 장치 및 시스템, 예를 들어 개인 컴퓨터(PC), 데스크탑 컴퓨터, 모바일 컴퓨터, 랩톱 컴퓨터, 노트북 컴퓨터, 태블릿 컴퓨터, 서버 컴퓨터, 핸드헬드 컴퓨터, 핸드헬드 장치, PDA(Personal Digital Assistant: 개인 휴대 정보 단말기) 장치, 핸드헬드 PDA 장치, 태블릿, 온-보드 장치(on-board device), 오프-보드 장치, 하이브리드 장치, 차량 장치, 비-차량 장치, 모바일 또는 휴대용 장치, 소비자 장치, 비-모바일 또는 비-휴대용 장치, 어플라이언스(appliance), 무선 통신 스테이션, 무선 통신 장치, 무선 액세스 포인트(AP), 유선 또는 무선 라우터(router) 또는 게이트웨이 또는 스위치 또는 허브(hub), 유선 또는 무선 모뎀, 비디오 장치, 오디오 장치, 오디오-비디오(A/V) 장치, 유선 또는 무선 네트워크, 무선 영역 네트워크, 무선 비디오 영역 네트워크(WVAN), 근거리 영역 네트워크(LAN), 무선 LAN(WLAN), 개인 영역 네트워크(PAN), 무선 PAN(WPAN) 등에서 또는 이와 함께 사용될 수 있다.
[00195] 일부 실시예들은 단방향 및/또는 양방향 무선 통신 시스템, 셀룰러 무선 전화 통신 시스템, 이동 전화, 셀룰러 전화, 무선 전화, 개인 통신 시스템(PCS) 장치, PDA 또는 무선 통신 기능을 통합한 핸드헬드 장치, 모바일 또는 휴대용 GPS 장치, GPS 수신기 또는 송수신기 또는 칩이 통합된 장치, RFID 요소 또는 칩이 통합된 장치, MIMO(Multiple Input Multiple Output: 다중 입력 다중 출력) 송수신기 또는 장치, SIMO(Single Input Multiple Output: 단일 입력 다중 출력) 송수신기 또는 장치, 다중 입력 단일 출력(MISO) 송수신기 또는 장치, 하나 이상의 내부 안테나 및/또는 외부 안테나를 갖는 장치, DVB(Digital Video Broadcast: 디지털 비디오 방송) 장치 또는 시스템, 다중 표준 무선 장치 또는 시스템, 유선 또는 무선 핸드헬드 장치, 예를 들어 스마트폰, WAP(Wireless Application Protocol: 무선 애플리케이션 프로토콜) 장치 등과 함께 사용될 수 있다.
[00196] 일부 실시예들은 "앱 스토어" 또는 "애플리케이션 스토어"에서 무료 또는 유료로 다운로드 또는 획득할 수 있거나, 컴퓨팅 장치 또는 전자 장치에 미리 설치될 수 있거나, 그러한 컴퓨팅 장치 또는 전자 장치로 달리 운반 및/또는 설치될 수 있는 "앱" 또는 애플리케이션을 포함하거나 이를 사용하여 구현할 수 있다.
[00197] 본 발명의 하나 이상의 실시예를 참조하여 본 명세서에서 설명된 기능, 작동, 구성요소 및/또는 특징은 본 발명의 하나 이상의 다른 실시예를 참조하여 본 명세서에서 설명된 하나 이상의 다른 기능, 작동, 구성요소 및/또는 특징과 조합되거나 그와 함께 사용될 수 있다. 따라서, 본 발명은 위에서 논의된 다른 위치 또는 챕터에서 논의되거나, 상이한 도면이나 여러 도면에 걸쳐 도시되더라도, 본 명세서에서 설명되는 모듈 또는 기능 또는 구성요소의 일부 또는 전부에 대한 임의의 가능한 또는 적합한 조합, 재배열, 조립, 재-조립 또는 다른 활용을 포함할 수 있다.
[00198] 본 발명의 일부 예시적인 실시예의 특정 특징이 본 명세서에서 예시되고 설명되었지만, 다양한 수정, 대체, 변경 및 등가물이 당업자에게 발생할 수 있다. 따라서, 청구범위는 그러한 모든 수정, 대체, 변경 및 등가물을 포함하도록 의도된다.
Claims (52)
- 시스템으로서,
차량의 복수의 차량 센서로부터 입력을 수신하도록,
상기 차량 내에서 상기 입력의 적어도 제1 부분을 국부적으로 처리하도록,
상기 입력의 적어도 제2 부분을 차량 무선 송신기를 통해 상기 차량 외부에 위치된 원격 원거리 운전 프로세서로 무선으로 전송하도록,
상기 원격 원거리 운전 프로세서로부터 차량 무선 수신기를 통해 원격 노드로부터 수신된 원격 계산된 처리 결과를 무선으로 수신하도록, 그리고
(i) 상기 차량의 자율 주행 유닛, (ii) 상기 차량의 원격 주행 유닛, (iii) 차량 주행 프로세서, (iv) 차량 명령 번역기 유닛 중 적어도 하나를 통해 상기 원격 계산된 처리 결과에 기초하여 차량 작동 명령을 구현하도록 구성되는 차량 인공 지능(AI) 유닛과 연관된 차량 프로세서를 포함하는,
시스템. - 제1 항에 있어서,
상기 차량 AI 유닛과 연관된 차량 프로세서는 상기 차량 작동 명령에 기초하여 상기 차량을 자율적으로 작동시키는 상기 차량의 자율 주행 유닛으로 상기 차량 작동 명령을 전송하는,
시스템. - 제1 항 또는 제2 항에 있어서,
상기 차량 AI 유닛과 연관된 차량 프로세서는 상기 차량 작동 명령에 기초하여 상기 차량을 자율적으로 작동시키는 상기 차량의 원격 주행 유닛으로 상기 차량 작동 명령을 전송하는,
시스템. - 제1 항 내지 제3 항 중 어느 한 항에 있어서,
(I) 상기 AI 유닛에 의해 상기 차량 내에서 국부적으로 생성된 입력 및 (II) 상기 원격 원거리 운전 프로세서로부터 수신된 상기 차량 작동 명령 모두에 기초하여 상기 차량을 자율적으로 작동하도록 구성된 차량 자율 주행 유닛을 더 포함하는,
시스템. - 제1 항 내지 제4 항 중 어느 한 항에 있어서,
상기 원격 원거리 운전 프로세서로의 전송 이전에 상기 입력의 상기 제2 부분을 축소된 크기 표현으로 동적으로 인코딩하는 동적 인코더를 포함하는,
시스템. - 제1 항 내지 제5 항 중 어느 한 항에 있어서,
상기 입력의 어느 부분이 상기 원격 원거리 운전 프로세서로 전송될 것인지 그리고 상기 입력의 다른 부분이 상기 차량 AI 유닛에서 국부적으로 처리될 것인지를 동적으로 결정하는 데이터 공유 결정 유닛을 포함하는,
시스템. - 제1 항 내지 제5 항 중 어느 한 항에 있어서,
상기 입력의 어느 부분이 상기 원격 원거리 운전 프로세서로 전송될 것인지 그리고 상기 입력의 다른 부분이 상기 차량 AI 유닛에서 국부적으로 처리될 것인지를 동적으로 결정하는 데이터 공유 결정 유닛을 포함하며;
상기 데이터 공유 결정 유닛은 상기 차량 AI 유닛에 의해 상기 차량에서 국부적으로 계산된 국부적으로 계산된 처리 결과에서 상기 차량 AI 유닛의 적어도 확실성의 수준을 고려함으로써 작동하는,
시스템. - 제1 항 내지 제7 항 중 어느 한 항에 있어서,
하나 이상의 차량 무선 송신기의 제1 세트를 통한 무선 전송을 위해, 제1 차량 센서로부터의 데이터를 갖는 패킷의 제1 세트를 할당하고,
하나 이상의 차량 무선 송신기의 제2 세트를 통한 무선 전송을 위해, 제2 차량 센서로부터의 데이터를 갖는 패킷의 제2 세트를 할당하는,
통신 채널 할당기를 포함하는,
시스템. - 제8 항에 있어서,
통신 채널 할당기는 어느 하나 이상의 차량 송신기가 송신기의 제1 세트에 포함될 것인지, 그리고 어느 하나 이상의 차량 송신기가 송신기의 제2 세트에 포함될 것인지를 동적으로 결정하는,
시스템. - 제8 항에 있어서,
통신 채널 할당기는 어느 하나 이상의 차량 송신기가 송신기의 제1 세트에 포함될 것인지, 그리고 어느 하나 이상의 차량 송신기가 송신기의 제2 세트에 포함될 것인지를 동적으로 결정하며;
송신기의 제1 세트 및 송신기의 제2 세트는 상기 세트 모두에 공통인 적어도 하나의 특정 송신기를 포함하는,
시스템. - 제1 항 내지 제10 항 중 어느 한 항에 있어서,
제1 차량 센서에 의해 수집된 데이터의 무선 전송을 위한 제1 무선 통신 채널을 상기 제1 원격 프로세서에서 처리하기 위해 제1 원격 프로세서로 할당하고,
제2 차량 센서로부터의 데이터의 무선 전송을 위한 제2 무선 통신 채널을 상기 제2 원격 프로세서에서 처리하기 위해 제2 원격 프로세서로 할당하기 위한 통신 채널 할당기를 포함하는,
시스템. - 제1 항 내지 제11 항 중 어느 한 항에 있어서,
제1 원거리 운전 프로세서로부터 제1 원격 운전 명령을 무선으로 수신하고,
제2 원거리 운전 프로세서로부터 제2 원격 운전 명령을 무선으로 수신하고,
제1 원격 운전 명령과 제2 원격 운전 명령 사이에서, 모순, 불일치, 중복, 역효과, 모순된 결과 중 적어도 하나를 포함하는 불일치를 검출하고,
미리 정의된 규칙에 기초하여 또는 차량 AI 유닛을 사용하여, 폐기할 원격 작동 명령 및 상기 차량에서 실행할 원격 작동 명령을 결정하는,
차량 다중 원거리 운영자 처리 유닛을 포함하는,
시스템. - 제1 항 내지 제12 항 중 어느 한 항에 있어서,
상기 원거리 운전 프로세서는 2차 차량에 위치된 이동 원거리 운전 프로세서이며;
차량 AI 유닛은 입력의 상기 제2 부분을 상기 보조 차량에 위치된 원거리 운전 프로세서로 무선으로 전송하며;
차량 AI 유닛은 원격으로 계산된 처리 결과를 상기 2차 차량으로부터 무선으로 수신하며;
차량 AI 유닛은 상기 2 차 차량으로부터 무선으로 수신된 상기 원격 계산된 처리 결과에 기초하여 상기 차량 작동 명령을 생성하며,
시스템. - 제1 항 내지 제13 항 중 어느 한 항에 있어서,
상기 원격 원거리 운전 프로세서는 상기 차량 외부에 있고 비-모바일 트래픽 인프라 요소에 위치되는 원거리 운전 프로세서이며;
차량 AI 유닛은 입력의 상기 제2 부분을 상기 비-모바일 트래픽 인프라 요소에 위치된 원거리 운전 프로세서에 무선으로 전송하며;
차량 AI 유닛은 외부에서 계산된 처리 결과를 상기 비-모바일 트래픽 인프라 요소로부터 무선으로 수신하며;
차량 AI 유닛은 상기 비-모바일 트래픽 인프라 요소로부터 무선으로 수신된 상기 원격 계산된 처리 결과에 기초하여 상기 차량 작동 명령을 생성하며,
시스템. - 제1 항 내지 제14 항 중 어느 한 항에 있어서,
적어도 (i) 사전 정의된 임계 값 미만인 유효 무선 통신 처리량을 갖는 제1 도로 세그먼트, 및 (ii) 상기 미리 정의된 임계 값을 초과하는 효과적인 무선 통신 처리량을 갖는 제2 도로 세그먼트를 나타내는 통신 기반 지도를 생성하는 통신 기반 지도 생성기를 더 포함하는,
시스템. - 제1 항 내지 제15 항 중 어느 한 항에 있어서,
적어도 상이한 경로 세그먼트에서 추정된 수준의 무선 통신 서비스 가용성을 고려함으로써 상기 차량에 대한 내비게이션 경로를 생성하거나 수정하기 위한 내비게이션 경로 생성기를 더 포함하는,
시스템. - 제1 항 내지 제16 항 중 어느 한 항에 있어서,
적어도 (i) 서로 다른 경로 세그먼트에서 추정된 수준의 무선 통신 가용성 및 (ii) 상기 차량의 승객을 위한 안전 요건에 관한 하나 이상의 제약을 고려함으로써 상기 차량에 대한 내비게이션 경로를 생성하거나 수정하기 위한 내비게이션 경로 생성기를 더 포함하는,
시스템. - 제1 항 내지 제17 항 중 어느 한 항에 있어서,
사전 정의된 임계 값을 초과하는 무선 통신 가용성을 갖는 도로 세그먼트를 포함하도록 상기 차량에 대한 내비게이션 경로를 생성 또는 수정함으로써, 자율 주행 차량인 상기 차량의 여행의 안전성을 높이기 위한 내비게이션 경로 생성기를 더 포함하는,
시스템. - 제1 항 내지 제18 항 중 어느 한 항에 있어서,
상기 차량의 원격 작동이 성공할 것으로 추정되는 도로 세그먼트를 포함하도록 상기 차량에 대한 내비게이션 경로를 생성 또는 수정함으로써, 원격 작동을 지원하는 상기 차량의 여행의 안전성을 높이기 위한 내비게이션 경로 생성기를 더 포함하는,
시스템. - 제1 항 내지 제19 항 중 어느 한 항에 있어서,
상기 차량의 자율 주행 유닛은 하나 이상의 특정 경로 세그먼트에서 무선 통신의 가용성에 기초하여 상기 차량의 하나 이상의 주행 매개변수를 동적으로 수정하며,
시스템. - 제1 항 내지 제20 항 중 어느 한 항에 있어서,
상기 차량의 자율 주행 유닛은 원격 기계 기반 또는 인간 원거리 운영자 또는 원격 AI 처리 유닛으로부터 수신된 원격 작동 명령에 기초하여 상기 차량의 원격 원거리 작동의 추정된 성공 수준에 기초하여 상기 차량의 하나 이상의 운전 매개변수를 동적으로 수정하며,
시스템. - 제1 항 내지 제21 항 중 어느 한 항에 있어서,
상기 차량의 자율 주행 유닛은 특정 경로 세그먼트에서 무선 통신의 감소된 가용성에 기초하여 상기 차량의 주행 속도를 동적으로 감소시키거나 근처 차량으로부터의 거리를 동적으로 증가시키며,
시스템. - 제1 항 내지 제22 항 중 어느 한 항에 있어서,
상기 차량의 자율 주행 유닛은 특정 경로 세그먼트에서 상기 차량의 원격 원거리 작동 성공의 감소된 예상 수준에 기초하여 상기 차량의 주행 속도를 동적으로 감소시키거나 근처 차량으로부터의 거리를 동적으로 증가시키며,
시스템. - 제1 항 내지 제23 항 중 어느 한 항에 있어서,
상기 차량의 자율 주행 유닛은 상기 차량으로부터 원격 원거리 작동 단말기 또는 원격 AI 처리 유닛을 포함하는 원격 수신자로 무선 비디오 업로드의 감소된 처리량에 기초하여 특정 경로 세그먼트에서 상기 차량의 주행 속도를 동적으로 감소시키거나 인근 차량으로부터의 거리를 동적으로 증가시키는,
시스템. - 제1 항 내지 제24 항 중 어느 한 항에 있어서,
상기 차량의 외부에 위치되는 외부 AI 모듈은 상기 차량 AI 유닛 대신에 또는 차내 인간 운전자 대신에 상기 차량의 운전을 인수하며,
시스템. - 제1 항 내지 제25 항 중 어느 한 항에 있어서,
상기 차량의 외부에 위치되는 외부 AI 모듈은 상기 차량 AI 유닛 대신에 또는 차내 인간 운전자 대신에 상기 차량의 운전을 인수하며;
상기 외부 AI 모듈은 상기 차량의 원격 작동을 원격 인간 원거리 운영자에게 선택적으로 참조하는,
시스템. - 제1 항 내지 제26 항 중 어느 한 항에 있어서,
상기 차량의 외부에 위치되는 외부 AI 모듈은 상기 차량 AI 유닛 대신에 또는 차내 인간 운전자 대신에 상기 차량의 운전을 인수하며;
상기 외부 AI 모듈은 (i) 상기 차량으로부터 수신된 무선 통신의 품질 및 (ii) 상기 차량의 차량 센서에 의해 감지되고 상기 외부 AI 모듈에 업로드되는 감지된 데이터의 품질에 기초하여 원격 원거리 작동 작업의 신뢰 수준을 조정하는,
시스템. - 제1 항 내지 제27 항 중 어느 한 항에 있어서,
상기 차량의 단일 차량 센서에 의해 감지된 데이터는 결합된 통신 업링크를 통해 상기 차량 외부에 위치된 외부 AI 유닛으로 전송되며,
상기 차량의 상기 단일 센서에 의해 감지된 데이터에 대응하는 패킷은 (i) 상기 차량과 연관된 제1 무선 송신기에 의해 제1 무선 통신 링크를 통해 업로드될 패킷의 제1 세트를 할당하고, (ii) 상기 차량과 연관된 제2 무선 송신기에 의해 제2 무선 통신 링크를 통해 업로드될 패킷의 제2 세트를 할당함으로써 상기 차량으로부터 업로드되는,
시스템. - 제1 항 내지 제28 항 중 어느 한 항에 있어서,
상기 결합된 통신 업링크는 상기 차량에 의해 감지되고 상기 하나 이상의 원격 AI 모듈에 업로드된 데이터에 기초하여 상기 차량에 대한 원격 작동 명령을 생성하는 하나 이상의 원격 AI 모듈의 신뢰 수준을 증가시키기 위해 상기 차량에 의해 이용되는,
시스템. - 제1 항 내지 제29 항 중 어느 한 항에 있어서,
상기 결합된 통신 업링크는:
셀룰러 통신 링크,
Wi-Fi 통신 링크,
V2X 통신 링크,
위성 기반 통신 링크,
DSRC(Direct Short-Range Communication: 직접 단거리 통신) 링크의 임의의 조합 중 둘 이상을 선택함으로써, 상기 차량과 연관된 상기 링크 결합 유닛에 의해 동적으로 구성되는,
시스템. - 제1 항 내지 제30 항 중 어느 한 항에 있어서,
차량 송신기는 상기 차량의 하나 이상의 차량 센서에 의해 감지된 데이터를 상기 차량 외부의 외부 AI 모듈로 업로드하며;
상기 차량 AI 유닛은 상기 외부 AI 모듈로부터 상기 차량에 대한 2 개 이상의 조건부 원격 작동 명령의 배치를 수신하고, 제1 조건이 특정 신뢰 수준에서 참일 경우 제1 원격 작동 명령을 수행하고, 제2 조건이 특정 신뢰 수준에서 참일 경우 제2 원격 작동 명령을 수행하는,
시스템. - 제1 항 내지 제31 항 중 어느 한 항에 있어서,
상기 차량과 연관된 무선 송신기는 상기 차량의 하나 이상의 차량 센서에 의해 감지된 데이터를 상기 차량 외부에 있는 외부 AI 모듈로 업로드하며,
차량 AI 유닛은 상기 외부 AI 모듈로부터 상기 감지된 데이터의 차내 처리를 수행하고 들어오는 원격 작동 명령을 기다리는 것을 피하기 위한 권한을 수신하는,
시스템. - 제1 항 내지 제32 항 중 어느 한 항에 있어서,
상기 차량과 연관된 송신기는 상기 차량의 하나 이상의 차량 센서에 의해 감지된 데이터를 상기 차량 외부에 있는 외부 AI 모듈로 업로드하며,
상기 데이터는 다수의 무선 송수신기를 사용하여 상기 차량에 현재 이용 가능한 효과적인 무선 통신 리소스에 기초하여 상기 데이터를 상기 외부 AI 모듈로 효과적으로 업로드할 수 있도록 상기 차량 내에서 적어도 부분적으로 처리되는,
시스템. - 제1 항 내지 제33 항 중 어느 한 항에 있어서,
상기 차량과 연관된 송신기는 상기 차량의 하나 이상의 차량 센서에 의해 감지된 데이터를 상기 차량 외부에 있는 외부 AI 모듈로 업로드하며;
상기 업로드를 위해 상기 차량에서 현재 이용 가능한 효과적인 무선 통신 리소스의 품질 지표가 미리 정의된 임계 값보다 큰 더 경우, 외부 AI 모듈은 외부 AI 모듈에 의해 생성된 원격 작동 명령에 대한 제1 수준의 확실성을 결정하며;
상기 업로드를 위해 상기 차량에 현재 이용 가능한 효과적인 무선 통신 리소스의 품질 지표가 상기 사전 정의된 임계 값보다 더 작으면, 외부 AI 모듈은 외부 AI 모듈에 의해 생성된 상기 원격 작동 명령에 대한 감소된 제2 확실성 수준을 결정하는,
시스템. - 제1 항 내지 제34 항 중 어느 한 항에 있어서,
상기 차량과 연관된 송신기는 상기 차량 외부에 있는 외부 AI 모듈에 상기 차량의 하나 이상의 차량 센서에 의해 감지된 데이터를 업로드하며,
상기 송신기는 2 개 이상의 전송 유닛을 포함하며,
상기 업로드는 상이한 패킷을 서로 병렬로 작동시키고 업로드하는 2 이상의 각각의 무선 전송 유닛에 의해 동시에 서비스되는 2 이상의 무선 통신 링크를 포함하는 결합된 무선 통신 링크를 통해 수행되는,
시스템. - 제1 항 내지 제35 항 중 어느 한 항에 있어서,
상기 차량과 연관된 2 이상의 송신기는 상기 차량의 하나 이상의 차량 센서에 의해 감지된 데이터를 상기 차량 외부에 있는 외부 AI 모듈로 업로드하며;
제1 송신기는 상기 차량의 제1 차량 센서에 의해 감지된 데이터를 상기 외부 AI 모듈로 무선으로 전송하며;
제2 송신기는 상기 차량의 제2 차량 센서에 의해 감지된 데이터를 상기 외부 AI 모듈로 동시에 무선으로 전송하는,
시스템. - 제1 항 내지 제36 항 중 어느 한 항에 있어서,
상기 차량과 연관된 2 이상의 송신기는 상기 차량의 단일 차량 센서에 의해 감지된 데이터를 상기 차량 외부에 있는 외부 AI 모듈로 업로드하며;
제1 송신기는 상기 차량의 상기 단일 차량 센서에 의해 감지된 데이터 패킷의 제1 배치를 상기 외부 AI 모듈로 무선으로 전송하며;
제2 송신기는 상기 차량의 상기 단일 차량 센서에 의해 감지된 데이터 패킷의 제2 배치를 상기 외부 AI 모듈에 동시에 무선으로 전송하는,
시스템. - 제1 항 내지 제37 항 중 어느 한 항에 있어서,
상기 차량과 관련된 송신기는 상기 차량의 외부에 있는 외부 AI 모듈로 상기 차량의 하나 이상의 차량 센서에 의해 감지된 데이터를 업로드하며,
상기 업로드는 상기 차량과 연관된 2 개 이상의 각각의 무선 송신기에 의해 서비스되는 2 개 이상의 무선 통신 링크의 집합을 포함하는 결합된 무선 통신 링크를 통해 수행되는,
시스템. - 제38 항에 있어서,
상기 결합된 무선 통신 업링크는
셀룰러 통신 링크,
Wi-Fi 통신 링크,
위성 기반 통신 링크,
V2X 통신 링크,
DSRC 통신 링크 중 임의의 조합으로 2 이상의 통신 링크를 선택함으로써 상기 차량과 연관된 링크 결합 유닛에 의해 동적으로 구성되며;
두 개 이상의 통신 링크가 동시에 작동하고 상이한 패킷을 서로 병렬로 업로드하는,
시스템. - 제1 항 내지 제39 항 중 어느 한 항에 있어서,
상기 차량의 차량 AI 유닛은 다수의 차량과 모든 차량 외부에 있는 적어도 하나의 AI 유닛 사이에 분산된 AI 유닛의 다중 피어 네트워크(multiple -peers network)의 일부이며;
상기 AI 유닛의 다중 피어 네트워크는 상기 AI 유닛의 다중 피어 네트워크 중 적어도 하나의 차량에 AI 원격 작동 명령을 제공하는,
시스템. - 제1 항 내지 제40 항 중 어느 한 항에 있어서,
상기 차량의 차량 AI 유닛은 (I) 다른 차량의 센서에 의해 감지된 데이터의 AI 처리를 수행하고, (II) 상기 다른 차량에 적합한 AI 기반 원격 작동 명령에 도달하고, (III) 상기 원격 작동 명령을 상기 다른 차량으로 전송하도록 작동하는,
시스템. - 제1 항 내지 제41 항 중 어느 한 항에 있어서,
원격 원거리 작동 단말기로부터 상기 차량의 상기 차량 프로세서로 송신되는 명령은 상기 차량 프로세서와 연관되는 다수의 무선 통신 송수신기를 통해 전송되는,
시스템. - 제42 항에 있어서,
상기 차량 프로세서 (i)는 동일한 송수신기 또는 상이한 송수신기를 통해 들어오는 두 개 이상의 반복된 원격 작동 명령을 식별하며, (ii) 상기 반복된 원격 작동 명령의 제1 명령을 실행하며, (iii) 반복된 원격 작동 명령의 하나 이상의 다른 명령을 폐기하도록 작동하는,
시스템. - 제1 항 내지 제43 항 중 어느 한 항에 있어서,
상기 차량과 연관되고 상이한 순간 성능 특성을 갖는 2 이상의 무선 송수신기는 상기 차량으로부터 원격 원거리 작동 단말기로 데이터를 업로드하거나 상기 원격 원거리 작동 단말기로부터 상기 차량으로 데이터를 다운로드하도록 동시에 사용되는,
시스템. - 제1 항 내지 제44 항 중 어느 한 항에 있어서,
상기 차량과 연관된 2 이상의 무선 송수신기는 처리량, 굿-풋(good-put), 유효 업로드 대역폭, 유효 다운로드 대역폭, 대기시간, 지연, 오류율, 잘못된 패킷 속도, 누락된 패킷 속도 중 적어도 하나의 상이한 순간 성능 특성을 가지는,
시스템. - 제1 항 내지 제45 항 중 어느 한 항에 있어서,
상기 차량과 연관되는 링크 결합 유닛은 상기 차량에 이용 가능한 다수의 무선 통신 송수신기에 걸쳐 업로드를 위한 패킷을 함께 결합하고 할당함으로써 상기 차량으로 지시되는 원격 생성된 원격 작동 명령의 안전성 또는 정확성 또는 확실성 수준을 높이도록 작동하는,
시스템. - 제1 항 내지 제46 항 중 어느 한 항에 있어서,
하나 이상의 차량 센서에 의해 감지된 데이터를 나타내는 패킷의 적어도 일부분은 스마트폰의 송수신기 또는 상기 차량의 비-운전자 승객의 태블릿을 통해 상기 차량으로부터 원격 원거리 작동 단말기 또는 원격 AI 모듈로 업로드되는,
시스템. - 제1 항 내지 제47 항 중 어느 한 항에 있어서,
상기 시스템은 상기 차량을 포함하는,
시스템. - 장치로서,
(a) 하나 이상의 차량 센서의 입력에 대응하는 차량 패킷의 차량 송신기로부터 무선으로 수신하는 셀룰러 수신기;
(b) 상기 패킷을 처리하고 차량 작동 명령을 생성하기 위해서 상기 셀룰러 인프라 요소에 통합된 데이터 프로세서;
(c) 상기 셀룰러 인프라 요소에 의해 생성된 상기 차량 작동 명령을 나타내는 신호를 상기 차량의 무선 수신기로 무선으로 전송하는 무선 송신기를 포함하는 셀룰러 인프라 요소를 포함하는,
장치. - 제49 항에 있어서,
셀룰러 인프라 요소는
셀룰러 기지국,
셀룰러 전송 타워,
eNodeB 요소,
gNodeB 요소,
고정된 부동 셀룰러 송수신기 노드,
셀룰러 에지 인프라 요소,
에지 컴퓨팅 요소 중 적어도 하나를 포함하는,
장치. - 장치로서,
(a) 하나 이상의 차량 센서의 입력에 대응하는 차량 패킷의 차량 송신기로부터 무선으로 수신하는 Wi-Fi 수신기;
(b) 상기 패킷을 처리하고 차량 작동 명령을 생성하기 위해서 상기 Wi-Fi 액세스 포인트에 통합된 데이터 프로세서;
(c) 상기 Wi-Fi 액세스 포인트에 의해 생성된 차량 작동 명령을 나타내는 신호를 상기 차량의 무선 수신기로 무선으로 전송하는 무선 송신기를 포함하는 Wi-Fi 액세스 포인트를 포함하는,
장치. - 제51 항에 있어서,
상기 Wi-Fi 액세스 포인트는 상기 패킷의 제1 부분을 국부적으로 처리하고, 원격 원거리 구동 프로세서에 의한 원격 처리를 위해 상기 패킷의 제2 부분을 전달하는,
장치.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862644510P | 2018-03-18 | 2018-03-18 | |
| US62/644,510 | 2018-03-18 | ||
| PCT/IL2019/050295 WO2019180700A1 (en) | 2018-03-18 | 2019-03-17 | Device, system, and method of autonomous driving and tele-operated vehicles |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20200132952A true KR20200132952A (ko) | 2020-11-25 |
Family
ID=67986911
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020207029686A KR20200132952A (ko) | 2018-03-18 | 2019-03-17 | 자율 주행 및 원격 작동 차량의 장치, 시스템 및 방법 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US20210116907A1 (ko) |
| EP (1) | EP3746854B1 (ko) |
| JP (1) | JP7308920B2 (ko) |
| KR (1) | KR20200132952A (ko) |
| CN (1) | CN112074790B (ko) |
| IL (2) | IL277233B2 (ko) |
| WO (1) | WO2019180700A1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022173883A1 (en) * | 2021-02-15 | 2022-08-18 | Argo AI, LLC | System and method for a modular and continually learning remote guidance system for autonomous vehicles |
| WO2022186555A1 (ko) * | 2021-03-02 | 2022-09-09 | 삼성전자 주식회사 | 차량 기능의 제어를 위한 전자 장치, 및 이에 의한 방법 |
| WO2024162743A1 (ko) * | 2023-02-03 | 2024-08-08 | 엘지전자 주식회사 | 무선 통신 시스템에서 네트워크가 메시지를 전송하는 방법 및 이를 위한 장치 |
Families Citing this family (139)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7069456B2 (ja) | 2017-03-17 | 2022-05-18 | ザ・リージェンツ・オブ・ザ・ユニバーシティ・オブ・ミシガン | マルチポリシー意思決定を導くための有益な結果を構築するための方法および装置 |
| WO2019182378A1 (en) * | 2018-03-21 | 2019-09-26 | Lg Electronics Inc. | Artificial intelligence server |
| JP7063672B2 (ja) * | 2018-03-27 | 2022-05-09 | 本田技研工業株式会社 | 情報処理装置及びプログラム |
| WO2019204931A1 (en) * | 2018-04-25 | 2019-10-31 | Flir Unmanned Aerial Systems Ulc | Systems and methods for communicating with payload on an unmanned vehicle |
| CN109004972B (zh) * | 2018-07-13 | 2020-09-15 | 深圳市道通智能航空技术有限公司 | 无人机系统的数据传输方法、装置、系统和地面图传模块 |
| JP7199545B2 (ja) | 2018-07-20 | 2023-01-05 | メイ モビリティー，インコーポレイテッド | 自律エージェントによる行動方針選択のための多視点システムおよび方法 |
| US12050461B2 (en) * | 2018-09-07 | 2024-07-30 | DoorDash, Inc. | Video system with frame synthesis |
| EP3849868A4 (en) * | 2018-09-13 | 2022-10-12 | Tusimple, Inc. | REMOTE SAFE DRIVING PROCESSES AND SYSTEMS |
| KR20210006926A (ko) * | 2018-10-30 | 2021-01-19 | 모셔널 에이디 엘엘씨 | 자율 주행 차량에서의 리던던시 |
| CN113329850A (zh) * | 2019-01-18 | 2021-08-31 | 株式会社安川电机 | 机器人控制系统和机器人控制方法 |
| US11726495B2 (en) * | 2019-02-14 | 2023-08-15 | Viavi Solutions Inc. | Wireless communication coverage based vehicle routing |
| US10969470B2 (en) | 2019-02-15 | 2021-04-06 | May Mobility, Inc. | Systems and methods for intelligently calibrating infrastructure devices using onboard sensors of an autonomous agent |
| US11700270B2 (en) * | 2019-02-19 | 2023-07-11 | The Aerospace Corporation | Systems and methods for detecting a communication anomaly |
| US11561547B2 (en) * | 2019-02-20 | 2023-01-24 | Gm Cruise Holdings Llc | Autonomous vehicle routing based upon spatiotemporal factors |
| FR3093267B1 (fr) * | 2019-02-25 | 2022-04-01 | Transdev Group | Dispositif électronique de bridage, dispositif de surveillance, véhicule automobile autonome, système de transport, procédé de bridage et produit programme ordinateur associés |
| US11325591B2 (en) * | 2019-03-07 | 2022-05-10 | Honda Motor Co., Ltd. | System and method for teleoperation service for vehicle |
| WO2020202382A1 (ja) * | 2019-03-29 | 2020-10-08 | 本田技研工業株式会社 | 端末装置、通信システム、通信方法、及びプログラム |
| JP7369767B2 (ja) * | 2019-03-29 | 2023-10-26 | 本田技研工業株式会社 | 制御装置、制御方法及びプログラム |
| DE112019007132T5 (de) * | 2019-03-29 | 2021-12-23 | Honda Motor Co., Ltd. | Entfernte Betriebsvorrichtung, entferntes Betriebsverfahren und Programm |
| DE102019204943A1 (de) * | 2019-04-05 | 2020-10-08 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum teleoperierten Fahren eines Fahrzeuges |
| US11618439B2 (en) * | 2019-04-11 | 2023-04-04 | Phantom Auto Inc. | Automatic imposition of vehicle speed restrictions depending on road situation analysis |
| US11623671B2 (en) * | 2019-04-11 | 2023-04-11 | Progress Rail Locomotive Inc. | Blockchain remote command verification |
| FR3095310B1 (fr) * | 2019-04-16 | 2021-04-30 | Transdev Group | Dispositif électronique de transmission d’un flux vidéo, véhicule, système électronique de surveillance et procédé associé |
| KR102283022B1 (ko) * | 2019-06-07 | 2021-07-28 | 엘지전자 주식회사 | 외부 영상에 기반한 로봇의 주행 방법과, 이를 구현하는 로봇 및 서버 |
| US11768493B2 (en) * | 2019-06-28 | 2023-09-26 | Zoox, Inc. | Remote vehicle guidance |
| JP7226150B2 (ja) * | 2019-07-05 | 2023-02-21 | トヨタ自動車株式会社 | 情報処理装置、及び、情報処理方法 |
| US11249479B2 (en) * | 2019-07-18 | 2022-02-15 | Nissan North America, Inc. | System to recommend sensor view for quick situational awareness |
| JP7200867B2 (ja) * | 2019-07-23 | 2023-01-10 | トヨタ自動車株式会社 | 車両制御システム及び車両制御方法 |
| US20220258729A1 (en) * | 2019-08-05 | 2022-08-18 | Lg Electronics Inc. | Method and device for sharing adjacent vehicle state information |
| JP7131505B2 (ja) * | 2019-08-06 | 2022-09-06 | トヨタ自動車株式会社 | 運転引継制御装置 |
| JP7312054B2 (ja) * | 2019-08-06 | 2023-07-20 | 株式会社Subaru | 車両の走行制御システム |
| US11966840B2 (en) * | 2019-08-15 | 2024-04-23 | Noodle Analytics, Inc. | Deep probabilistic decision machines |
| US11422570B2 (en) * | 2019-08-27 | 2022-08-23 | Ford Global Technologies, Llc | Systems and methods for managing a transportation device fleet using teleoperation commands |
| US11846940B2 (en) * | 2019-08-31 | 2023-12-19 | Deere & Company | Methods and apparatus for vehicle control |
| JP7276023B2 (ja) | 2019-09-06 | 2023-05-18 | トヨタ自動車株式会社 | 車両遠隔指示システム、及び自動運転車両 |
| US11643072B2 (en) * | 2019-09-27 | 2023-05-09 | Zoox, Inc. | Planning accommodations for particulate matter |
| US20210097436A1 (en) * | 2019-10-01 | 2021-04-01 | Kelley S. Weiland | Automated system for generating properly tagged training data for and verifying the efficacy of artificial intelligence algorithms |
| JP7264789B2 (ja) * | 2019-10-15 | 2023-04-25 | トヨタ自動車株式会社 | 車両及び遠隔操作システム |
| US20210116908A1 (en) * | 2019-10-21 | 2021-04-22 | Daniel Kee Young Kim | Method and Apparatus for Remote Operation of Motorized Two-Wheeled Vehicle |
| US11640170B1 (en) | 2019-10-29 | 2023-05-02 | Zoox, Inc. | Identification of particulate matter in sensor data |
| WO2021085693A1 (ko) * | 2019-11-01 | 2021-05-06 | 엘지전자 주식회사 | 신호처리장치 및 이를 구비하는 영상표시장치 |
| KR20210059980A (ko) * | 2019-11-18 | 2021-05-26 | 엘지전자 주식회사 | 차량의 원격 제어방법 및 이를 위한 혼합현실 디바이스 및 차량 |
| CN112835351B (zh) * | 2019-11-22 | 2023-05-16 | 华为技术有限公司 | 一种控制方法及相关设备 |
| US11875617B2 (en) * | 2019-12-23 | 2024-01-16 | Robert Bosch Gmbh | Cloud connectivity for in-vehicle sensing modules |
| WO2021128110A1 (zh) * | 2019-12-25 | 2021-07-01 | 华为技术有限公司 | 通信方法及装置 |
| CN111208762B (zh) * | 2020-01-13 | 2023-03-21 | 临沂大学 | 一种机械装置渐停控制方法、系统及设备 |
| KR20210096493A (ko) * | 2020-01-28 | 2021-08-05 | 엘지전자 주식회사 | 인공지능형 로봇 디바이스를 제어하는 방법 |
| DE102020202133A1 (de) * | 2020-02-19 | 2021-08-19 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren und Vorrichtung zum Ermitteln einer eine Paketverlustrate charakterisierenden ersten Größe |
| EP3869843B1 (en) * | 2020-02-19 | 2024-06-19 | Volkswagen Ag | Method for invoking a teleoperated driving session, apparatus for performing the steps of the method, vehicle and computer program |
| US20230073112A1 (en) * | 2020-02-24 | 2023-03-09 | Telefonaktiebolaget Lm Ericsson (Publ) | Adaptive virtual dead man's switch for safe operation of autonomous systems |
| EP3872786A1 (en) | 2020-02-27 | 2021-09-01 | Volkswagen Aktiengesellschaft | Automatic vehicle and method for operating the same |
| US20230138112A1 (en) | 2020-03-05 | 2023-05-04 | Guident, Ltd. | Artificial intelligence methods and systems for remote monitoring and control of autonomous vehicles |
| US11740628B2 (en) * | 2020-03-18 | 2023-08-29 | Baidu Usa Llc | Scenario based control of autonomous driving vehicle |
| EP3882729A1 (en) | 2020-03-20 | 2021-09-22 | Volkswagen AG | Method, computer program, apparatus, vehicle and network component for determining a speed limit for a tele-operated vehicle |
| EP3883273A1 (en) | 2020-03-20 | 2021-09-22 | Volkswagen Ag | Method, apparatus and computer program for predicting a future quality of service of a wireless communication link |
| US11644846B2 (en) * | 2020-03-31 | 2023-05-09 | GM Cruise Holdings LLC. | System and method for real-time lane validation |
| JP7177115B2 (ja) * | 2020-04-07 | 2022-11-22 | 矢崎総業株式会社 | 車両通信装置 |
| CA3175187A1 (en) * | 2020-04-10 | 2021-10-14 | Haroon B. OQAB | Systems and methods for a control station |
| US20210319281A1 (en) * | 2020-04-13 | 2021-10-14 | Motorola Mobility Llc | Subtask Assignment for an Artificial Intelligence Task |
| CN111409643B (zh) * | 2020-04-15 | 2021-10-26 | 新石器慧通（北京）科技有限公司 | 远程驾驶方法、远程驾驶装置及远程驾驶系统 |
| KR102328320B1 (ko) * | 2020-04-21 | 2021-11-19 | 주식회사 가린시스템 | 이더넷 기반 차량 제어 시스템 및 방법 |
| US11518415B2 (en) * | 2020-04-22 | 2022-12-06 | Toyota Research Institute, Inc. | Driver-initiated disengagement of autonomous vehicle controls |
| US20230158887A1 (en) * | 2020-04-30 | 2023-05-25 | Bae Systems Plc | Video processing |
| EP3913597B1 (en) * | 2020-05-21 | 2024-07-24 | Deutsche Telekom AG | Vehicle operation with a central digital traffic model |
| US11560154B1 (en) * | 2020-06-02 | 2023-01-24 | Aurora Operations, Inc. | Autonomous vehicle remote teleoperations system |
| US11595619B1 (en) * | 2020-06-02 | 2023-02-28 | Aurora Operations, Inc. | Autonomous vehicle teleoperations system |
| US11644830B1 (en) | 2020-06-02 | 2023-05-09 | Aurora Operations, Inc. | Autonomous vehicle remote teleoperations system with scenario selection |
| US20210380380A1 (en) * | 2020-06-03 | 2021-12-09 | Primetals Technologies USA LLC | Autonomous coil handling system |
| EP4174818A4 (en) * | 2020-06-26 | 2023-11-01 | Panasonic Intellectual Property Management Co., Ltd. | INFORMATION PROCESSING METHOD, INFORMATION PROCESSING TERMINAL AND INFORMATION PROCESSING SYSTEM |
| US20210405185A1 (en) * | 2020-06-30 | 2021-12-30 | Tusimple, Inc. | System and method providing truck-mounted sensors to detect trailer following vehicles and trailer conditions |
| WO2022006418A1 (en) | 2020-07-01 | 2022-01-06 | May Mobility, Inc. | Method and system for dynamically curating autonomous vehicle policies |
| EP3936960A1 (en) * | 2020-07-08 | 2022-01-12 | Continental Automotive GmbH | Control method and control system to guide a malfunctional autonomous vehicle |
| US11589264B2 (en) * | 2020-07-31 | 2023-02-21 | Charter Communications Operating, Llc | System and method for leveraging access customer premise equipment (CPE) gateway resources to provide 5G edge computing services |
| JP7497250B2 (ja) | 2020-08-21 | 2024-06-10 | 株式会社日立製作所 | データ処理方法、エッジ装置、および、データ処理システム |
| US11570257B1 (en) * | 2020-08-25 | 2023-01-31 | Neureality Ltd. | Communication protocol, and a method thereof for accelerating artificial intelligence processing tasks |
| DE102020211216B3 (de) | 2020-09-07 | 2021-10-28 | Volkswagen Aktiengesellschaft | Verfahren, Computerprogramm und Vorrichtung für eine Netzwerkkomponente zur Auflösung einer ungeplanten Verkehrssituation für ein selbstfahrendes Fahrzeug. |
| EP3965442A1 (en) | 2020-09-08 | 2022-03-09 | Volkswagen Ag | Methods, computer programs, apparatuses, vehicle and control center for resolving a deadlock traffic situation of a vehicle |
| JP7465769B2 (ja) | 2020-09-09 | 2024-04-11 | 株式会社フジタ | 代行車両の遠隔制御システム |
| JP7526621B2 (ja) | 2020-09-09 | 2024-08-01 | 株式会社フジタ | 貸渡車両の遠隔制御システム |
| US11713060B2 (en) * | 2020-09-18 | 2023-08-01 | Guident Ltd. | Systems and methods for remote monitoring of a vehicle, robot or drone |
| DE102020213721A1 (de) | 2020-11-02 | 2022-05-05 | Volkswagen Aktiengesellschaft | Verfahren zum Steuern eines Kraftfahrzeugs sowie Kraftfahrzeug, Verfahren zum Betreiben eines Systems aus einem Kraftfahrzeug und einer Fernsteuervorrichtung sowie System aus Kraftfahrzeug und Fernsteuervorrichtung |
| EP3992743B1 (en) * | 2020-11-03 | 2023-08-30 | Volkswagen Aktiengesellschaft | Vehicle, apparatus for a vehicle, computer program, and method for processing information for communication in a tele-operated driving session |
| EP4242999A4 (en) * | 2020-11-06 | 2023-11-29 | Mitsubishi Electric Corporation | VEHICLE CONTROL SYSTEM |
| EP4002044B1 (en) * | 2020-11-13 | 2024-05-22 | Volkswagen Ag | Methods, computer programs, and apparatuses for tele-operated driving |
| EP4002894A1 (en) * | 2020-11-16 | 2022-05-25 | Volkswagen Ag | Method, computer program and apparatus for invoking a tele-operated driving session |
| EP4002819B1 (en) * | 2020-11-24 | 2024-07-24 | Volkswagen Ag | Vehicle, network node, apparatus, computer program, and method for selecting a mobile communications system for a mobile communications service |
| EP4002045A1 (en) | 2020-11-24 | 2022-05-25 | Volkswagen Ag | Method and command center for a tele-operated driving of a vehicle and corresponding system with a command center and a vehicle |
| WO2022132774A1 (en) | 2020-12-14 | 2022-06-23 | May Mobility, Inc. | Autonomous vehicle safety platform system and method |
| EP4264181A1 (en) | 2020-12-17 | 2023-10-25 | May Mobility, Inc. | Method and system for dynamically updating an environmental representation of an autonomous agent |
| JP7174748B2 (ja) * | 2020-12-18 | 2022-11-17 | 楽天グループ株式会社 | 走行制御システム、制御方法、及び制御装置 |
| US20220194424A1 (en) * | 2020-12-22 | 2022-06-23 | Waymo Llc | Autonomous vehicle trajectory computed using box-based probabilistic overlap model |
| CN112687122B (zh) * | 2020-12-22 | 2022-10-28 | 北京百度网讯科技有限公司 | 自动驾驶过程中的信息传输方法、车辆、云端和驾驶舱 |
| US11910368B2 (en) * | 2021-01-07 | 2024-02-20 | Hewlett Packard Enterprise Development Lp | Dynamically capturing location at networks in motion |
| EP4050450B1 (en) | 2021-02-24 | 2024-04-10 | Volkswagen Ag | Methods, computer programs and apparatus for performing a tele-operated driving session |
| EP4265499A4 (en) * | 2021-03-02 | 2024-06-26 | Samsung Electronics Co., Ltd. | ELECTRONIC DEVICE FOR CONTROLLING FUNCTIONS OF A VEHICLE, AND ASSOCIATED METHOD |
| JP2022157441A (ja) * | 2021-03-31 | 2022-10-14 | 本田技研工業株式会社 | 情報処理装置、車両、プログラム、及び情報処理方法 |
| JP2024512980A (ja) | 2021-04-02 | 2024-03-21 | メイ モビリティー，インコーポレイテッド | 不完全な環境情報で自律エージェントを動作させる方法及びシステム |
| CN112995217B (zh) * | 2021-04-29 | 2021-08-17 | 深圳华锐金融技术股份有限公司 | 数据发送方法、系统 |
| CN113285993B (zh) * | 2021-05-17 | 2022-09-06 | 科大讯飞股份有限公司 | 远程辅助驾驶接入匹配方法、装置以及设备 |
| JP2024526037A (ja) * | 2021-06-02 | 2024-07-17 | メイ モビリティー，インコーポレイテッド | 自律エージェントの遠隔支援のための方法及びシステム |
| CN113222295B (zh) * | 2021-06-07 | 2022-05-27 | 吉林大学 | 一种面向l3级自动驾驶汽车控制权切换状态下的接管时间预测方法 |
| DE102021206169A1 (de) * | 2021-06-16 | 2022-12-22 | Volkswagen Aktiengesellschaft | Verfahren zum Entwickeln von Fahrzeugfunktionen und Kraftfahrzeug |
| US20220415179A1 (en) * | 2021-06-23 | 2022-12-29 | Qualcomm Incorporated | Sub-platoons within vehicle-to-everything technology |
| CN113365245B (zh) * | 2021-07-01 | 2024-03-22 | 腾讯科技（深圳）有限公司 | 应用于远程驾驶的通信方法、装置、介质及电子设备 |
| CN113392804B (zh) * | 2021-07-02 | 2022-08-16 | 昆明理工大学 | 一种基于多角度的交警目标数据集的场景化构建方法及系统 |
| JP7548149B2 (ja) * | 2021-07-21 | 2024-09-10 | トヨタ自動車株式会社 | 遠隔運転タクシーシステム、モビリティサービス管理方法、及び遠隔運転タクシー管理装置 |
| US11875548B2 (en) * | 2021-07-22 | 2024-01-16 | GM Global Technology Operations LLC | System and method for region of interest window generation for attention based perception |
| KR20240040790A (ko) * | 2021-08-06 | 2024-03-28 | 인터디지탈 패튼 홀딩스, 인크 | UAV 통신에 대한 셀룰러 연결성 및 QoS 모니터링 및 예측 |
| CN113353093B (zh) * | 2021-08-10 | 2021-12-10 | 北汽福田汽车股份有限公司 | 车辆的控制方法、装置和车辆 |
| CN113821010B (zh) * | 2021-08-11 | 2023-03-31 | 安途智行(北京)科技有限公司 | 自动驾驶车辆路测的监控方法 |
| CN113596779A (zh) * | 2021-08-18 | 2021-11-02 | 英华达（南京）科技有限公司 | 路侧单元装置、车联网系统及算力分配方法 |
| US20230058508A1 (en) * | 2021-08-19 | 2023-02-23 | GM Global Technology Operations LLC | System amd method for providing situational awareness interfaces for a vehicle occupant |
| JP7521505B2 (ja) * | 2021-08-31 | 2024-07-24 | トヨタ自動車株式会社 | 遠隔運転の引き継ぎ方法、遠隔運転システム、及びプログラム |
| EP4152282A1 (en) * | 2021-09-21 | 2023-03-22 | Zenseact AB | Method and system for evaluation and development of automated driving system features or functions |
| CN113934196A (zh) * | 2021-09-30 | 2022-01-14 | 中睿智能交通技术有限公司 | 一种车辆远程插值拟合顺畅控制方法及装置 |
| WO2023074394A1 (ja) * | 2021-10-29 | 2023-05-04 | 住友電気工業株式会社 | 車載装置、路側装置、制御方法およびコンピュータプログラム |
| US12017637B2 (en) * | 2021-11-16 | 2024-06-25 | Ford Global Technologies, Llc | System for identifying road type |
| EP4187342B1 (en) * | 2021-11-30 | 2024-07-17 | Hitachi, Ltd. | Teleoperable vehicle and system |
| WO2023102098A1 (en) | 2021-12-01 | 2023-06-08 | May Mobility, Inc. | Method and system for impact-based operation of an autonomous agent |
| WO2023107441A1 (en) * | 2021-12-06 | 2023-06-15 | Gatik Ai Inc. | Method and system for operating an autonomous agent with a remote operator |
| CN114168864A (zh) * | 2021-12-06 | 2022-03-11 | 智道网联科技(北京)有限公司 | 确定车辆存活状态的方法、云端服务器、设备及存储介质 |
| DE102021006280B4 (de) * | 2021-12-21 | 2023-09-21 | Mercedes-Benz Group AG | Verfahren zur Prognostizierung des Energiebedarfs eines Kraftfahrzeugs |
| CN114328352B (zh) * | 2021-12-24 | 2024-05-24 | 中汽创智科技有限公司 | 一种数据处理方法、装置、系统及存储介质 |
| CN114104007B (zh) * | 2022-01-28 | 2022-04-15 | 交通运输部公路科学研究所 | 一种自动驾驶车辆最小风险控制策略 |
| US11815895B2 (en) * | 2022-01-30 | 2023-11-14 | Xtend Ai Inc. | Method of offline operation of an intelligent, multi-function robot |
| SE2250118A1 (en) * | 2022-02-08 | 2023-08-09 | Einride Ab | Method for controlling a remotely operated vehicle |
| WO2023154568A1 (en) | 2022-02-14 | 2023-08-17 | May Mobility, Inc. | Method and system for conditional operation of an autonomous agent |
| CN116939688A (zh) * | 2022-04-08 | 2023-10-24 | 腾讯科技（深圳）有限公司 | 远程驾驶的控制方法、装置、设备以及存储介质 |
| EP4270903A1 (en) * | 2022-04-28 | 2023-11-01 | Airbus Operations GmbH | Onboard multimedia distribution network for an aircraft and method for distributing multimedia content on board of an aircraft |
| JP2024008343A (ja) * | 2022-07-08 | 2024-01-19 | トヨタ自動車株式会社 | 車両用情報処理システムならびに方法およびプログラム |
| EP4325315A1 (en) * | 2022-08-18 | 2024-02-21 | Einride Autonomous Technologies AB | Validation of connection of a remotely operable vehicle |
| FR3139688A1 (fr) * | 2022-09-08 | 2024-03-15 | Thales | Procédé et dispositif de configuration adaptative de télécommunications sans fil |
| GB2622577B (en) * | 2022-09-13 | 2024-10-02 | Oxa Autonomy Ltd | System, processor assembly, remote device, and method |
| DE102022125794A1 (de) * | 2022-10-06 | 2024-04-11 | Valeo Schalter Und Sensoren Gmbh | Verfahren zum ferngesteuerten Durchführen eines Fahrmanövers mit fahrzeugexternen Sensorinformationen für einen Fernsteuerer, sowie elektronisches Fernsteuerungssystem |
| US20240174254A1 (en) * | 2022-11-28 | 2024-05-30 | Toyota Motor Engineering & Manufacturing North America, Inc. | Systems and methods for communication-aware federated learning |
| WO2024129832A1 (en) | 2022-12-13 | 2024-06-20 | May Mobility, Inc. | Method and system for assessing and mitigating risks encounterable by an autonomous vehicle |
| US20240199082A1 (en) * | 2022-12-15 | 2024-06-20 | Toyota Research Institute, Inc. | Attention-based agent interaction system |
| JP7485139B1 (ja) | 2023-03-30 | 2024-05-16 | トヨタ自動車株式会社 | 制御装置、遠隔操作装置、遠隔操作システム、および、遠隔操作方法 |
| CN117421700B (zh) * | 2023-12-19 | 2024-03-19 | 湖南仕博测试技术有限公司 | 一种用于自动驾驶中的传感器数据过滤及融合方法及装置 |
Family Cites Families (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4007450A (en) * | 1975-06-30 | 1977-02-08 | International Business Machines Corporation | Data sharing computer network |
| CA2563909A1 (en) | 2004-04-22 | 2005-11-03 | Albert Den Haan | Open control system architecture for mobile autonomous systems |
| KR101223950B1 (ko) | 2006-09-26 | 2013-01-18 | 리베우 리미티드 | 원격 송신 시스템 |
| DE102010004292A1 (de) | 2010-01-11 | 2011-07-14 | Continental Automotive GmbH, 30165 | Verfahren zum Bestimmen einer Route und elektronisches Navigationssystem |
| FR2960680B1 (fr) * | 2010-05-28 | 2013-05-17 | Airbus Operations Sas | Systeme embarque a bord d'un aeronef |
| JP5625629B2 (ja) * | 2010-08-30 | 2014-11-19 | トヨタ自動車株式会社 | 運転支援装置 |
| KR20120069510A (ko) * | 2010-12-20 | 2012-06-28 | 한국전자통신연구원 | 무인 장치 및 그의 주행 방법 |
| WO2012140655A2 (en) | 2011-04-12 | 2012-10-18 | Baryakar Dan | Robotic system controlled by multi participants, considering administrator's criteria |
| DE102011116637B4 (de) * | 2011-10-20 | 2015-02-19 | Audi Ag | Car-2-X-Kommunikationssystem, Teilnehmer in einem solchen System und Verfahren zum Empfangen von Funksignalen in einem solchen System |
| US9043135B2 (en) * | 2012-08-31 | 2015-05-26 | Apple Inc. | Navigation system acquisition and use of cellular coverage map data |
| US9980171B2 (en) * | 2013-03-14 | 2018-05-22 | Liveu Ltd. | Apparatus for cooperating with a mobile device |
| US9369921B2 (en) * | 2013-05-31 | 2016-06-14 | Liveu Ltd. | Network assisted bonding |
| US10037689B2 (en) * | 2015-03-24 | 2018-07-31 | Donald Warren Taylor | Apparatus and system to manage monitored vehicular flow rate |
| SE540268C2 (sv) * | 2013-03-19 | 2018-05-22 | Scania Cv Ab | Kommunikationsenhet och metod för kommunikation med ett autonomt fordon |
| JP6421481B2 (ja) * | 2014-07-18 | 2018-11-14 | 株式会社デンソー | 遠隔制御装置およびそれを用いた遠隔制御システム |
| US9494935B2 (en) * | 2014-11-13 | 2016-11-15 | Toyota Motor Engineering & Manufacturing North America, Inc. | Remote operation of autonomous vehicle in unexpected environment |
| CN104486395B (zh) * | 2014-12-10 | 2018-09-21 | 深圳一智信息技术有限公司 | 一种商用车载云服务信息终端 |
| JP6368277B2 (ja) * | 2015-05-12 | 2018-08-01 | 株式会社日立ソリューションズ | 車載用通信基盤装置 |
| US9690290B2 (en) * | 2015-06-04 | 2017-06-27 | Toyota Motor Engineering & Manufacturing North America, Inc. | Situation-based transfer of vehicle sensor data during remote operation of autonomous vehicles |
| US9507346B1 (en) | 2015-11-04 | 2016-11-29 | Zoox, Inc. | Teleoperation system and method for trajectory modification of autonomous vehicles |
| US10386835B2 (en) * | 2016-01-04 | 2019-08-20 | GM Global Technology Operations LLC | System and method for externally interfacing with an autonomous vehicle |
| JP2017133976A (ja) * | 2016-01-28 | 2017-08-03 | 株式会社トヨタマップマスター | ナビゲーション装置、ナビゲーション方法、コンピュータプログラム及びコンピュータプログラムを記録した記録媒体 |
| US10424203B2 (en) * | 2016-01-29 | 2019-09-24 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for driving hazard estimation using vehicle-to-vehicle communication |
| CN205670260U (zh) * | 2016-03-07 | 2016-11-02 | 谭圆圆 | 一种无人飞行器 |
| US9776638B1 (en) * | 2016-04-20 | 2017-10-03 | GM Global Technology Operations LLC | Remote interrogation and override for automated driving system |
| US10331141B2 (en) * | 2016-06-30 | 2019-06-25 | GM Global Technology Operations LLC | Systems for autonomous vehicle route selection and execution |
| US10656640B2 (en) * | 2016-07-07 | 2020-05-19 | Applied Minds, Llc | Systems and methods for centralized control of autonomous vehicles |
| CN107656538A (zh) * | 2016-07-26 | 2018-02-02 | 杭州海康机器人技术有限公司 | 一种无人机飞行控制方法、装置及系统 |
| EP3548843B1 (en) * | 2016-11-30 | 2021-01-20 | Nissan North America, Inc. | Interface for mapping remote support to autonomous vehicles |
| US11088947B2 (en) | 2017-05-04 | 2021-08-10 | Liveu Ltd | Device, system, and method of pre-processing and data delivery for multi-link communications and for media content |
| US11873005B2 (en) | 2017-05-18 | 2024-01-16 | Driveu Tech Ltd. | Device, system, and method of wireless multiple-link vehicular communication |
-
2019
- 2019-03-17 IL IL277233A patent/IL277233B2/en unknown
- 2019-03-17 IL IL308640A patent/IL308640B1/en unknown
- 2019-03-17 KR KR1020207029686A patent/KR20200132952A/ko not_active Application Discontinuation
- 2019-03-17 JP JP2021500372A patent/JP7308920B2/ja active Active
- 2019-03-17 WO PCT/IL2019/050295 patent/WO2019180700A1/en unknown
- 2019-03-17 EP EP19770946.2A patent/EP3746854B1/en active Active
- 2019-03-17 CN CN201980030282.0A patent/CN112074790B/zh active Active
- 2019-03-17 US US16/981,313 patent/US20210116907A1/en active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022173883A1 (en) * | 2021-02-15 | 2022-08-18 | Argo AI, LLC | System and method for a modular and continually learning remote guidance system for autonomous vehicles |
| US11953896B2 (en) | 2021-02-15 | 2024-04-09 | Argo AI, LLC | System and method for a modular and continually learning remote guidance system for autonomous vehicles |
| WO2022186555A1 (ko) * | 2021-03-02 | 2022-09-09 | 삼성전자 주식회사 | 차량 기능의 제어를 위한 전자 장치, 및 이에 의한 방법 |
| WO2024162743A1 (ko) * | 2023-02-03 | 2024-08-08 | 엘지전자 주식회사 | 무선 통신 시스템에서 네트워크가 메시지를 전송하는 방법 및 이를 위한 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| IL308640B1 (en) | 2024-09-01 |
| JP2021528790A (ja) | 2021-10-21 |
| IL308640A (en) | 2024-01-01 |
| EP3746854A1 (en) | 2020-12-09 |
| EP3746854B1 (en) | 2024-02-14 |
| IL277233B1 (en) | 2023-12-01 |
| CN112074790A (zh) | 2020-12-11 |
| WO2019180700A1 (en) | 2019-09-26 |
| IL277233A (en) | 2020-10-29 |
| IL277233B2 (en) | 2024-04-01 |
| JP7308920B2 (ja) | 2023-07-14 |
| US20210116907A1 (en) | 2021-04-22 |
| CN112074790B (zh) | 2024-09-06 |
| EP3746854A4 (en) | 2022-03-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112074790B (zh) | 自主驾驶的设备、系统和方法和远距操作的载具 | |
| US10659991B2 (en) | Bandwidth constrained image processing for autonomous vehicles | |
| CN115294787B (zh) | 交叉路口处的远程车辆控制 | |
| CN110235070B (zh) | 用以解决问题情况的自主车辆的遥操作 | |
| CN109389832B (zh) | 使用v2x通信系统提高障碍意识的系统和方法 | |
| JP6726363B2 (ja) | 生成されたインターフェースを使用する自律走行車の監視 | |
| EP3679710B1 (en) | Systems and methods for a vehicle application programming interface | |
| CN111788532B (zh) | 用于自主运载工具决策的运输网络基础设施 | |
| EP3548843B1 (en) | Interface for mapping remote support to autonomous vehicles | |
| US10613547B2 (en) | System and method for improved obstacle awareness in using a V2X communications system | |
| US20210132604A1 (en) | Autonomous passenger vehicle system | |
| JP2019537159A5 (ko) | ||
| US11927952B2 (en) | Adaptive multi-network vehicle architecture | |
| EP4156729A1 (en) | Occupancy grid map computation, v2x complementary sensing, and coordination of cooperative perception data transmission in wireless networks | |
| US20220369083A1 (en) | Methods of Operating A Wireless Data Bus In Vehicle Platoons |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal |