KR20220147136A - 자율 주행 차량의 원격 모니터링 및 제어를 위한 인공 지능 방법 및 시스템 - Google Patents
자율 주행 차량의 원격 모니터링 및 제어를 위한 인공 지능 방법 및 시스템 Download PDFInfo
- Publication number
- KR20220147136A KR20220147136A KR1020227034516A KR20227034516A KR20220147136A KR 20220147136 A KR20220147136 A KR 20220147136A KR 1020227034516 A KR1020227034516 A KR 1020227034516A KR 20227034516 A KR20227034516 A KR 20227034516A KR 20220147136 A KR20220147136 A KR 20220147136A
- Authority
- KR
- South Korea
- Prior art keywords
- vehicles
- vehicle
- rmcc
- event
- event risk
- Prior art date
Links
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 102
- 238000000034 method Methods 0.000 title claims abstract description 86
- 238000012544 monitoring process Methods 0.000 title claims description 38
- 230000004044 response Effects 0.000 claims abstract description 55
- 238000000926 separation method Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims description 53
- 230000006378 damage Effects 0.000 claims description 39
- 241001465754 Metazoa Species 0.000 claims description 30
- 231100001261 hazardous Toxicity 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 2
- 230000015654 memory Effects 0.000 description 36
- 238000005516 engineering process Methods 0.000 description 26
- 230000006870 function Effects 0.000 description 25
- 230000008569 process Effects 0.000 description 24
- 238000004891 communication Methods 0.000 description 22
- 238000001514 detection method Methods 0.000 description 21
- 208000027418 Wounds and injury Diseases 0.000 description 20
- 208000014674 injury Diseases 0.000 description 20
- 238000010586 diagram Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 17
- 230000004927 fusion Effects 0.000 description 17
- 230000000007 visual effect Effects 0.000 description 16
- 230000001276 controlling effect Effects 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 10
- 230000009471 action Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 230000000750 progressive effect Effects 0.000 description 8
- 238000012546 transfer Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 230000002829 reductive effect Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000007906 compression Methods 0.000 description 5
- 230000006835 compression Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000036961 partial effect Effects 0.000 description 5
- 101150110932 US19 gene Proteins 0.000 description 4
- 230000006399 behavior Effects 0.000 description 4
- 241000282412 Homo Species 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 238000007405 data analysis Methods 0.000 description 3
- 230000034994 death Effects 0.000 description 3
- 231100000517 death Toxicity 0.000 description 3
- 230000001934 delay Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000000116 mitigating effect Effects 0.000 description 3
- 230000035484 reaction time Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000003278 mimic effect Effects 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000003449 preventive effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000026676 system process Effects 0.000 description 2
- 101100479616 Mus musculus Iars1 gene Proteins 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 230000009118 appropriate response Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000012517 data analytics Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000006266 hibernation Effects 0.000 description 1
- 238000009533 lab test Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000007958 sleep Effects 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
- G05D1/0027—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
- B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/06—Automatic manoeuvring for parking
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
- B60W60/0015—Planning or execution of driving tasks specially adapted for safety
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
- G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/048—Fuzzy inferencing
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
- G08G1/0133—Traffic data processing for classifying traffic situation
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
- G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/164—Centralised systems, e.g. external to vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/20—Static objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
- B60W2554/404—Characteristics
- B60W2554/4042—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/80—Spatial relation or speed relative to objects
- B60W2554/802—Longitudinal distance
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
Abstract
장치 및 방법은 제어기로부터 원격으로 동시에 독립적으로 관리되는 다수의 자율 주행 차량들의 사건 위험 레벨을 모니터링하고; 및 하나 이상의 차량들에 대한 안전하지 않은 사건 위험 레벨에 응답하여, 안전하지 않은 사건 위험 레벨을 가진 차량들을 제어하여 안전한 사건 위험 레벨을 복원하고; 및 사건 위험이 안전 레벨로 복원되었다고 결정하는 것에 응답하여 자율 주행 차량에 제어를 반환하도록 구성된 제어기에 관한 것이다. 사건 위험은 다수의 차량들에 분산된 센서들의 데이터를 기초로 개별적으로 또는 그룹으로 다수의 차량들에 대해 결정될 수 있다. 다수의 차량들의 센서 데이터가 융합되어 차량 그룹에 대한 정확한 사건 위험이 결정될 수 있다. 안전 조치는 개별 차량 또는 차량 그룹에 인공 지능을 적용하여 차량 간 분리를 늘리거나 차량 속도를 줄여 사건 위험을 줄일 수 있다.
Description
본 개시는 자율 주행 차량(autonomous vehicle)의 지능형, 원격 모니터링 및 제어를 위한 방법 및 시스템에 관한 것이다. 보다 구체적으로, 본 개시는 다수의 독립적으로 동작하는 자율 주행 차량들을 원격으로 모니터링하여 차량들 각각에 대한 사건 위험 레벨을 동시에 결정하고, 안전하지 않은 사건 위험 레벨이 결정될 때 안전한 위험 마진을 복원하기 위해 자율 주행 차량들 중 하나 이상을 제어하고, 사건 위험 레벨이 안전한 마진으로 복원되면 자율 주행 차량으로 제어를 반환하기 위해 분산 센서 융합(distributed sensor fusion) 및 인공 지능 기술을 사용하는 방법 및 시스템에 관한 것이다.
차량 사고 관련 사망자들, 특히 인적 오류로 인한 사망자들은 전 세계적으로 매년 백만 명 이상을 초과한다. 이러한 통계에 대응하여, 다양한 안전 조치들이 제안되었다. 특히, 미국에서는, 미국 교통부(USDOT)가 국가 차원의 DOT 및 전국 전문가들과 협력하여 DSRC(Dedicated ShortRange Communications) 기술 및 관련 표준 개발을 추진해 왔으며, 이는 차량 대 보행자(V2P), 차량 대 차량(V2V) 및 차량 대 인프라(V2I) 통신을 통해 안전 조치를 크게 개선하도록 설계되었다. USDOT 파일럿 테스트 프로그램은 DSRC가 차량 관련 사고를 크게 줄일 수 있다고 결론지었다. USDOT는 또한 가까운 장래에 모든 신형 경차에 DSRC 기술을 의무화해야 한다는 권고를 발표하였다.
차량 관련 사고의 한 가지 중요한 카테고리는 보행자-차량 충돌을 포함한다. 2015년 미국에서 차량 사고로 인한 보행자 사망자 수는 5,376명으로 2009년보다 23% 증가하였다. 보행자의 사망률은 지난 몇 년 동안 증가를 경험한 몇 안 되는 카테고리들 중 하나이다. 또한 보행자 사고의 대부분은 도시 지역에서 발생한다.
보행자와 관련된 많은 사고 시나리오들 중 하나는 정지하는 차량이 횡단하는 보행자를 다른 차량이 보지 못하도록 막는 경우이다. 두 번째 추월 차량의 운전자는 도 6과 같이 보행자가 두 번째 차량에 매우 근접한 후에 횡단 보행자의 존재를 인지한다. 이러한 시나리오에서, 추월하는 차량 운전자는 보행자와의 근접성으로 인해 적시에 차량을 정지시키지 못할 수 있으며, 이는 보행자에게 잠재적인 부상 또는 사망을 초래할 수 있다.
사고의 더 넓은 카테고리는 보행자 외에 자전거와 오토바이 운전자를 포함하며 개선된 통신 기술이 또한 이러한 취약한 도로 사용자(VRU)의 사고를 줄일 수 있다.
다양한 신차 모델은 일반적으로 보행자 및 기타 형태의 사고를 예방하는 첨단 운전자 지원 시스템(ADAS)을 포함한다. 그러한 시스템의 성공은 일반적으로 움직이는 차량과 보행자 사이의 거리와 차량 속도에 달려 있다.
자율 주행 차량(AV)은 차량의 동작을 제어하기 위해 다양한 컴퓨터 처리 시스템을 사용한다. 자율 주행 차량은 자율 주행 운영 시스템에 참여하기 위해 파일럿, 운전자 또는 승객과 같은 운영자의 초기 입력이 필요할 수 있으며, 그런 다음 레벨 3에서 레벨 4 또는 5 자율 주행 모드(차량이 본질적으로 스스로 운전하는 경우) 범위에 이르는 다양한 수준의 인간 입력이 있는 모드에서 동작하여 인간 운전자가 자율 주행 모드를 완전히 무시하고 차량에 대한 완전한 수동 제어를 허용하고 간헐적인 인간 입력 및 제어 가능성과 함께 두 극단 사이의 전체 모드 범위를 허용한다. 자율 주행 차량은 자동차, 보행자, 그들의 개별 근접성 및 특성을 검출하기 위한 센서, 카메라, 소나 및 레이더를 포함할 수 있다. 그들은 또한 네비게이션(navigation)을 위한 GPS(Global Positioning System) 및 두 개의 NFC 지원 디바이스들이 서로 통신하여 최대 20 내지 30cm의 거리에서 임시 방식(ad hoc fashion)으로 정보를 교환할 수 있는 NFC 피어 투 피어를 포함하여 센서 또는 근거리 통신(NFC)를 기반으로 하는 다른 형태의 통신 기술에 의존할 수 있다. 오브젝트의 검출 및 식별, 오브젝트와 관련된 정보 및 내비게이션 기능은 자율 주행 차량의 안전한 동작에 매우 중요하다.
레벨 4 또는 레벨 5 AV의 대량 적용을 방해하는 AI를 사용하는 AV의 안전성에 대한 불확실성이 높다. 일부 관할 구역의 규정 요구 사항에 따라 사고나 작은 사고(mishap)가 발생한 경우 백업 인간 운영자가 AV를 제어하도록 의무화하였다. 이러한 운영자는 차량에 있거나 원격에 있을 수 있다.
자율 주행 차량 동작에 관한 방법 및 시스템이 존재해 왔다. 예를 들어, 미국 특허 번호 제9,475,496호는 무엇보다도 도로 상태, 환경 조건, 차량의 탑승자, 탑승자 중 한 명이 운전자인지 여부를 모니터링하도록 구성될 수 있는 자율 주행 센서에 대해 설명한다.
미국 특허 제9,120,484호는 하나 이상의 센서들로부터 유효한 데이터를 얻고 있는지 여부, 자율 주행 차량의 방향이나 속도를 부분적으로 또는 완전히 제어하는지 여부, 또는 오류가 있는지 여부와 같이, 둘 모두를 표시하기 위해, 시각 또는 청각 신호(cue)를 사용할 수 있는 자율 주행 컴퓨터 시스템을 설명한다. 또한, 자율 주행 컴퓨터 시스템은 현재 인간 또는 자동화 시스템이 차량을 제어하고 있는지 여부를 나타내는 사람이나 다른 컴퓨터 또는 둘 모두에 의해 판독 가능한 외부 표시기(indicator)를 가질 수 있다.
자율 주행 차량을 동작하기 위한 일부 방법 및 시스템 구현예는 충돌을 피하려고 하는 동안 운전과 관련된 순간순간의 의사 결정으로부터 운전자를 완화하도록 구성된 충돌 회피 시스템(collision avoidance system)을 포함한다. 예를 들어, 전체 개시 내용이 참조로 본 명세서에 통합된 플로리다 A&M 대학이 출원한 미국 특허 번호 제9,429,943제에는 인지 및 제어 기술을 기반으로 차량을 제어하는 데 적용된 인공 지능 발렛(AIV) 시스템 및 방법이 설명되어 있다. 인공 지능 발렛(AIV) 시스템은 현재의 모바일 기술, 퍼지 로직 및 차량이 차량 사용자에게 길을 찾을 수 있도록 하는 신경망을 포함할 수 있다. 자율 주행차가 AIV 통제하에 동작하는 동안, AIV 시스템은 예측할 수 없는 상황으로 인해 인간, 동물, 다른 자동차 또는 이들의 조합과 같은 오브젝트와의 충돌이 불가피한 경우 이를 인식할 수 있다. 이러한 결정에 대한 응답으로, 충돌을 지능적으로 회피하거나, 최악의 경우 피할 수 없는 충돌에 직면했을 때 충돌할 오브젝트를 결정하기 위해 회피 조치(evasive action)가 개시될 수 있다. 충돌 후, 충돌 회피 시스템은 긴급 서비스에 전화를 걸고 차량을 안전하게 주차할 수 있다. 일부 구현예에서는, 부상이 발생하지 않은 경우 긴급 서비스에 연락하지 않고 차량이 주차될 수 있다. 그러나 미국 특허 제9,429,943호는 다수의 독립적인 자율 주행 차량들의 모니터링하는 것, 차량의 동작을 제어하기 위해 독립적인 자율 주행 차량들의 하나 이상을 제어하는 것, 및 안전한 동작이 복원되면 하나 이상의 독립적인 자율 주행 차량들에 제어를 반환하는 것을 지정하지 않는다.
자율 주행 차량 동작의 안전성이 향상되었지만, 위험한 자율 주행 차량 안전 부족의 가능성은 여전히 남아 있다. 일부 자율 주행 차량 시나리오에서는, 안전하지 않은 상태는 센서의 오작동 또는 소프트웨어가 예상치 못한 상황(예를 들어, 혼합 사용 거리(mixed-use street)에서 보행자와 관련된 교착 상태(dead-lock) 상황)을 해결할 수 없음, 운전자 부재로 인한 보안 문제, 및 승객이 운전자나 승무원에게 정보나 도움을 요청할 수 있는 옵션의 부재로 인해 발생할 수 있다.
일부 자율 주행 차량 구현예는 자율 주행 차량에 대한 안전성 및 소비자 만족도를 높이고 완전한 자율성을 향한 격차를 해소하는 데 도움이 되는 방법 및 시스템을 포함된다. 예를 들어, 전체 개시 내용이 참조로 본 명세서에 통합된 플로리다 국제 대학 이사회가 출원한 미국 특허 번호 제9,964,948호에는 자율 주행 차량을 지원하는 방법 및 시스템이 설명되어 있습니다. 자율 주행 차량을 지원하는 방법은 센서 입력을 갖는 자율 주행 차량을 제공하는 것 및 자율 주행 차량과 양방향 통신을 갖는 원격 제어 센터를 제공하는 것을 포함할 수 있다. 자율 주행 차량은 센서 입력 정보를 제어 센터로 발송할 수 있고, 제어 센터는 자율 주행 차량으로 제어 정보를 발송할 수 있다. 그러나 미국 특허 제9,964,948호는 다수의 독립적인 자율 주행 차량들을 모니터링하는 것, 위험한 동작 안전 조건이 검출될 때 차량의 동작을 제어하기 위해 독립적인 자율 주행 차량들의 하나 이상을 제어하는 것, 및 안전한 동작이 복원되면 하나 이상의 독립적인 자율 주행 차량들에 제어를 반환하는 것을 지정하지 않는다.
자율 주행 차량이 안전하게 운행될 수 있도록 설계에 많은 노력을 기울이고 있음에도 불구하고 충돌, 사고 및 기타 긴급 상황과 같은 사건이 발생하는 경우가 있다. 충돌, 사고 및 기타 긴급 상황은 차량이 자율적으로 동작할 때 추가적인 문제를 초래할 수 있다.
자동화 차량 시스템은 또한 안전 셧다운(safe shut down), 긴급 대응 및 사고 보고 모드를 포함한다. 예를 들어, 미국 특허 제8,874,301호는 설정 모드, 능동 주행 모드, 안전 셧다운 모드 및 긴급 대응 모드를 갖는 자율 주행 제어가 구비된 차량을 설명한다.
이러한 충돌 방지 및 사고 보고 시스템은 관련된 차량, 승객, 보행자, 동물 및 오브젝트의 수와 부상 및 손상의 특성에 대한 보다 정확한 평가를 포함하는 사건 이후 발생한 부상 및 피해의 특성을 보다 정밀하게 평가함으로써 개선될 수 있다.
일부 자동화된 차량의 예는 사고 또는 긴급 상황이 발생한 경우 자동화된 차량의 제어를 승객 또는 긴급 대응자에게 이전하기 위한 방법 및 시스템을 포함한다. 예를 들어, Guident, Ltd.에 의해 출원된 미국 특허 출원 번호 제16/386,530호는 사고 또는 긴급 상황에서 자동화된 차량의 제어를 승객 또는 긴급 대응자에게 이전하기 위한 방법 및 시스템을 설명한다. 이 시스템은 충돌 또는 사건 회피, 개선된 사고 또는 긴급 보고와 함께 동작하는 자동화된 차량 인공 지능 시스템과 함께 사용될 수 있다. 분산 정보 시스템(DISS)은 하나의 자율 주행 차량의 복수의 분산 센서들로부터 정보를 수신하고, 복수의 분산 센서들로부터 수신된 정보를 기반으로 사건의 존재를 결정하고, 센서들로부터 수신된 정보를 기초로 사고에 관련된 차량, 승객, 보행자, 동물 및 오브젝트, 사고에 관련된 차량, 승객, 보행자, 동물 및 오브젝트에 대한 부상 및 피해의 특정을 결정하고, 자율 주행 차량이 사고가 발생한 위치에서 제2 위치로 자율적으로 안전하게 이동할 수 있는지 결정하고, 자율 주행 차량이 제2 위치로 안전하게 이동할 수 있는 경우, 자율적으로 제2 위치로 차량을 이동시키고 차량을 주차시킨다. 미국 특허 출원 번호 제16/386,530호에 의해 설명된 방법 및 시스템은 사건의 존재를 결정하고, 관련된 차량, 사람, 동물 또는 오브젝트를 결정하고 단일 자율 주행 차량이 안전하게 이동할 수 있는지 결정하기 위해 새로운 센서 융합 기술을 사용하여 서로 다른 센서 유형들로부터 수신된 서로 다른 정보 유형들을 통합할 수 있다. 그러나 미국 특허 출원 번호 제16/386,530호는 다수의 독립적인 자율 주행 차량들을 모니터링하는 것, 위험한 동작 안전 상태가 검출될 때 차량의 동작을 제어하기 위해 독립적인 자율 주행 차량들의 하나 이상을 제어하는 것, 및 안전한 동작이 복원되면 하나 이상의 독립적인 자율 주행 차량들에 제어를 반환하는 것을 지정하지 않는다.
자동화된 차량이 자율적으로 안전하게 주차될 수 없는 경우가 있을 수 있으며 긴급 대응자에게 이를 알려야 할 수도 있다. 예를 들어, 자율 주행 차량이 다른 자동차가 주행할 혼잡한 교차로나 고속도로에서 사고를 당한 경우, 자율 주행 차량은 추가 손상이나 부상을 방지하기 위해 셧다운되어야 할 수 있다. 자율 주행 차량은 교통이 원활하게 진행되고 자율 주행 차량 승객, 다른 운전자 및 보행자의 안전을 보장하기 위해 자율 또는 수동으로 방해가 되지 않도록 이동해야 할 수도 있다.
미국 특허 번호 제9,475,496호는 차량의 자동화된 제어를 오버라이드(override)하기 위한 방법 및 시스템을 설명한다. 예를 들어 탑승자 중 한 명이 긴급 서비스를 필요로 하는 경우 오버라이드가 자동으로 발생할 수 있다. 긴급 서비스 오버라이드 동안, 차량은 자율적으로 또는 비자율적으로 경찰서, 소방서, 병원, 주유소 등으로 이동하도록 허용될 수 있다. 또한 일부 경우에 911 교환원과 같은 긴급 서비스 제공자가 차량이 한 명 이상의 탑승자가 긴급 서비스를 찾는 것을 허용하지 않는 하나 이상의 운전 제한을 원격으로 오버라이드할 수 있음을 설명한다. 예를 들어 탑승자들 중 한 명이 긴급 서비스를 필요로 하는 경우 오버라이드가 자동으로 발생할 수 있다. 긴급 서비스 오버라이드 동안, 차량은 경찰서, 소방서, 병원, 주유소 등으로 자율적 또는 비자율적으로 이동하는 것이 허용될 수 있지만 미국 특허 번호 제9,475,496호에는 해당 오버라이드가 구현되는 방법이 명시되어 있지 않다. 이는 예를 들어 오버라이드가 소유자의 휴대 전화 또는 이메일 주소로 송신될 수 있으며 소유자의 휴대 전화 또는 이메일 주소로부터 오버라이드의 요청을 허용하거나 거부하는 응답을 받을 수 있음을 제공한다. 허용되는 경우, 처리 디바이스는 하나 이상의 운전 제한을 일시적으로 비활성화할 수 있다. 오버라이드의 요청이 거부되면, 처리 디바이스는 예를 들어 사용자 인터페이스 디바이스를 통해 점유자에게 오버라이드의 요청이 거부되었음을 나타내는 메시지를 출력할 수 있다. 처리 디바이스는 선택된 프로파일과 관련된 운전 제한에 따라 차량의 동작을 제어할 수 있다. 소유자는 점유자에 대한 보상 또는 기타 인센티브로 케이스별로 오버라이드의 요청을 승인하기를 원할 수 있다.
비록 미국 특허 번호 제9,475,496호는 예를 들어 소유자의 휴대 전화 또는 이메일 주소로 송신되는 오버라이드의 요청과 오버라이드의 요청을 허용하거나 거부하는 소유자의 휴대 전화 또는 이메일 주소로부터 응답을 수신하는 것을 설명한다. 그러나 소유자가 없거나, 신속하게 대응할 수 없거나, 무능력한 경우, 소유자의 승인 없이 자동화된 차량의 제어를 긴급 대응자에게 이전하거나 이양할 수 있어야 한다. 소유자의 승인을 기다리면 부상당한 사람이 적시에 주의와 치료를 받지 못할 수 있다. 또한 차량이 교통 체증에서 신속하게 이동할 수 없는 추가 사고 및 부상의 위험이 발생할 수 있다.
정차하는 차량이 횡단 보행자(crossing pedestrian)를 다른 차량이 볼 수 없도록 막는 경우 보행자와 관련된 사고 시나리오가 있을 수 있다. 이러한 시나리오에서 두 번째 추월 차량의 운전자는 보행자가 두 번째 차량에 매우 근접한 후에 횡단 보행자의 존재를 인지한다.
일부 자율 주행 차량 구현예는 오브젝트가 가려진 상황의 자율 주행 차량을 제시하는 시나리오에서 개선된 안전성을 위해 차량들에 걸쳐 데이터를 공유하는 방법 및 시스템을 포함한다. 예를 들어, 그 개시 내용이 참조로 본 명세서에 통합된 미시간 주립대학교 이사회에 의해 출원된 PCT 특허 출원 PCT/US19/14547은 센서 융합 기술을 사용하여 여러 자율 주행 차량들에서 공유되는 센서 데이터를 기반으로 하는 분산 오브젝트 검출을 설명한다. PCT/US19/14547은 또한 오브젝트 검출을 기반으로 여러 자율 주행 차량들 중 하나 이상을 자동으로 제동하도록 구성된 충돌 회피 시스템을 설명한다. 그러나 PCT/US19/14547은 다수의 독립적인 자율 주행 차량들을 모니터링하는 것, 위험한 동작 안전 상태가 검출될 때 차량의 동작을 제어하기 위해 독립적인 자율 주행 차량들의 하나 이상을 제어하는 것, 및 안전한 작동이 복원되면 하나 이상의 독립적인 자율 주행 차량에 제어권을 반환하는 것을 지정하지 않는다.
위험한 동작 안전 상태가 검출되면 독립적인 자율 주행 차량들의 하나 이상을 제어하여 차량의 동작을 제어하고 안전한 동작이 복원되면 하나 이상의 독립적인 자율 주행 차량들에 제어를 반환하기 위한 자동화된 차량 인공 지능 시스템, 충돌 또는 사고 회피 동작, 개선된 사고 또는 긴급 보고와 함께 사용될 수 있는 다수의 독립적인 자율 주행 차량들을 모니터링하기 위한 개선된 방법 및 시스템이 필요하다.
이 섹션은 반드시 선행 기술일 필요는 없는 본 개시와 관련된 배경 정보를 제공한다.
장치 및 관련 방법은 제어기로부터 원격으로 독립적으로 관리되는 다수의 자율 주행 차량들의 사건 위험 레벨을 동시에 모니터링하고; 제어기에 의해 결정된 하나 이상의 차량들에 대한 안전하지 않은 사건 위험 레벨에 응답하여, 안전하지 않은 사건 위험 레벨을 갖는 하나 이상의 자율 주행 차량을 제어하여 안전한 사건 위험 레벨을 복원하고; 사건 위험이 안전한 레벨로 복원되었다는 결정에 응답하여, 자율 주행 차량에 제어를 반환하도록 제어기를 구성하는 것에 관한 것이다. 예시적인 예에서, 사건 위험은 다수의 차량들에 걸쳐 분산된 센서들로부터의 데이터에 기초하여 개별적으로, 그리고 그룹으로서 다수의 차량들 각각에 대해 결정될 수 있다. 다수의 차량들의 센서 데이터를 융합하여 차량 그룹에 대한 정확한 사건 위험을 결정할 수 있다. 일부 예에서, 안전 조치는 차량들 간의 분리 증가 또는 차량 속도 감소에 기초하여 사건 위험을 안전한 수준으로 감소시키기 위해 개별 차량 또는 차량 그룹에 인공 지능에 의해 타겟화될 수 있다.
본 개시에 따른 다양한 실시예는 하나 이상의 차량들에 대한 사건 위험 레벨을 동시에 결정하기 위해 독립적으로 동작하는 다수의 자율 주행 차량들을 원격으로 모니터링하고, 자율 주행 차량들 중 적어도 하나의 사건 위험 레벨이 안전 사건 위험 레벨을 적어도 미리 결정된 안전 위험 마진만큼 초과하는 것으로 결정할 때 하나 이상의 자율 주행 차량들을 제어하고, 및 사건 위험 레벨이 안전한 마진으로 복원되면 자율 주행 차량에 제어를 반환하기 위한분산 센서 융합 및 인공 지능 기술을 사용하는 방법 및 시스템을 제공한다. 예시적인 예에서, 일부 실시예 구현예는 인공 지능, 시각 센서 융합에 기반하여 독립적으로 동작하는 자율 주행 차량들의 원격 모니터링 및 제어, 그리고 차량과 차량에서 멀리 떨어진 모니터링 및 제어 센터 사이에서 인공 지능을 기반으로 한 안전성 향상, 사고 대응 지연 감소, 응답자 인식 및 가용성 향상을 위한 데이터 공유를 포함한다.
특히, 본 개시는 인공 지능, 시각 센서 융합에 기초하여 독립적으로 동작하는 자율 주행 차량들의 다중 그룹들을 모니터링하는 네트워크화된 원격 모니터링 및 제어 센터 및 원격 모니터링 및 제어 센터가 차량에 근접하여 모니터링 및 제어 대기 시간이 감소하여 안전성을 향상시키기 위한 차량과 차량 근처의 하나 이상의 네트워크 모니터링 및 제어 센터 사이의 데이터 공유에 관한 것이다.
일 양태에서, 자율 주행 차량 원격 모니터링 및 제어 센터(RMCC) 장치가 제공되며, 이는 적어도 하나의 처리 디바이스를 포함하고, 상기 RMCC는: 상기 RMCC로부터 원격으로 동작하는 복수의 독립적으로 관리되는 자율 주행 차량들에 분산된 복수의 센서들에 의해 캡처된 센서 데이터를 수신하고-여기서, 상기 센서 데이터는 상기 RMCC의 제어 하에 동작하지 않는 차량들의 데이터를 포함함-; 상기 RMCC로부터 원격으로 동작하는 상기 복수의 독립적으로 관리되는 자율 주행 차량들의 각각의 사건 위험 레벨을 동시에 결정하고; 상기 복수의 독립적인 차량들 중 하나 이상에 대해 상기 RMCC에 의해 안전하지 않은 것으로 결정된 상기 사건 위험 레벨에 응답하여, 안전하지 않은 상기 사건 위험 레벨에서 동작하는 상기 차량들을 안전한 사건 위험 레벨로 복원하기 위해 안전하지 않은 상기 사건 위험 레벨에서 동작하는 상기 복수의 자율 주행 차량들 중 상기 하나 이상을 제어하고; 및 상기 사건 위험이 상기 안전한 사건 위험 레벨로 복원되었다고 결정한 것에 응답하여, 안전하지 않은 상기 사건 위험 레벨에서 동작하고 있던 상기 하나 이상의 자율 주행 차량들로 제어를 반환하도록 프로그래밍되고 구성된다.
다른 실시예에서, RMCC는 복수의 자율 주행 차량들로부터 수신된 센서 데이터의 함수로서 구성된 인공 지능에 기초하여 사건 위험 레벨을 결정하도록 프로그래밍되고 구성된다.
다른 실시예에서, 사건 위험 레벨은 적어도 두 상이한 차량들로부터 독립적으로 캡처된 센서 데이터의 함수로서 RMCC에 의해 결정된다.
다른 실시예에서, RMCC는 적어도 두 상이한 차량들로부터 독립적으로 캡처된 센서 데이터를 융합하도록 프로그래밍되고 구성된다.
다른 실시예에서, RMCC는 사건 위험 레벨을 미리 결정된 최소 안전 위험 레벨 임계치와 비교하는 함수로서 계산된 사건 위험 마진을 결정하도록 프로그래밍되고 구성된다.
다른 실시예에서, RMCC는 사건 위험 마진이 미리 결정된 안전 최소 위험 마진 미만이라는 결정에 기초하여 사건 위험 레벨이 안전하지 않다고 결정하도록 프로그래밍되고 구성된다.
다른 실시예에서, RMCC는 미리 결정된 기간 동안 샘플링된 사건 위험 마진의 기울기가 음수인 것으로 결정하는 것에 기초하여 사건 위험 레벨이 위험하다고 결정하도록 프로그래밍되고 구성된다.
다른 실시예에서, RMCC는 사건 위험 마진이 미리 결정된 안전 최소 위험 마진 이상이라는 결정에 기초하여 사건 위험 레벨이 안전하다고 결정하도록 프로그래밍되고 구성된다.
다른 양태에서, 자율 주행 차량 원격 모니터링 및 제어 센터(RMCC) 장치가 제공되고, 이는 적어도 하나의 처리 디바이스를 포함하고, 상기 RMCC는: 상기 RMCC로부터 원격으로 동작하는 복수의 독립적으로 관리되는 자율 주행 차량들에 분산된 복수의 센서들에 의해 캡처된 센서 데이터를 수신하고-여기서, 상기 센서 데이터는 상기 RMCC의 제어 하에 동작하지 않는 차량들의 데이터를 포함함-; 상기 RMCC로부터 원격으로 동작하는 복수의 독립적으로 관리되는 자율 주행 차량들의 각각에 대한 사건 위험 레벨을 결정하고-여기서, 상기 사건 위험 레벨은 상기 복수의 자율 주행 차량들에 걸쳐 분산된 복수의 센서들에 의해 캡처된 수신된 융합 센서 데이터의 함수로서 훈련된 인공 지능에 기초하여 결정됨-; 상기 사건 위험 레벨을 미리 결정된 최소 안전 위험 레벨 임계치와 비교하는 함수로서 계산된 사건 위험 마진을 결정하고; 상기 사건 위험 마진이 상기 미리 결정된 안전 최소 위험 마진보다 작다고 결정하는 것에 응답하여: 적어도 하나의 차량에 하나 이상의 안전 조치를 구현함으로써 안전한 사건 위험 레벨을 복원하기 위해 상기 미리 결정된 안전 최소 위험 마진보다 작은 상기 사건 위험 마진으로 동작하는 상기 복수의 자율 주행 차량들의 하나 이상을 제어하고; 및 상기 사고 위험을 상기 미리 결정된 안전 최소 위험 마진과 비교하는 것에 기초하여 상기 사고 위험이 안전한 사건 위험 레벨로 복원되었다고 결정하는 것에 응답하여, 상기 미리 결정된 안전 최소 위험 마진보다 작은 상기 사건 위험 마진으로 동작하는 상기 하나 이상의 자율 주행 차량들에 제어를 반환하고; 및 상기 사건 위험 마진이 미리 결정된 안전 최소 위험 마진 이상이라고 결정하는 것에 응답하여, 상기 사건 위험 레벨이 안전하다고 결정하도록 프로그래밍되고 구성된다.
다른 실시예에서, 융합된 센서 데이터는 RMCC 하에서 동작하지 않는 다른 차량으로부터 캡처된 시야 이미지에 부과된 복수의 자율 주행 차량들 중 적어도 하나로부터 캡처된 오브젝트 이미지를 인코딩하는 데이터를 더 포함한다.
다른 실시예에서, 융합된 센서 데이터는 위치를 인코딩하는 데이터를 더 포함한다.
다른 실시예에서, 융합된 센서 데이터는 복수의 차량들 중 하나의 차량과 복수의 차량들 중 적어도 하나의 다른 차량 사이의 이격 거리를 인코딩하는 데이터를 더 포함한다.
다른 실시예에서, 융합된 센서 데이터는 복수의 차량들 중 하나의 차량과 고정된 오브젝트 사이의 거리를 인코딩하는 데이터를 더 포함한다.
다른 실시예에서, 안전 조치는 복수의 차량들 중 적어도 하나의 차량의 속도 변화에 기초하여 적어도 두 차량들 사이의 이격 거리를 증가시키는 것을 더 포함한다.
다른 실시예에서, 안전 조치는 충돌을 피하기 위해 적어도 하나의 차량의 방향을 변경하는 것을 더 포함한다.
다른 양태에서, 자율 주행 차량 원격 모니터링 및 제어 센터(RMCC) 장치가 제공되며, 이는 적어도 하나의 처리 디바이스를 포함하고, 상기 RMCC는: 상기 RMCC로부터 원격으로 동작하는 독립적으로 관리되는 복수의 자율 주행 차량들에 걸쳐 분산된 복수의 센서들에 의해 캡처된 센서 데이터를 수신하고-여기서, 상기 센서 데이터는 상기 RMCC의 제어 하에 동작하지 않는 차량들의 데이터를 포함함-; 상기 RMCC로부터 원격의 복수의 독립적으로 관리되는 자율 주행 차량들의 사건 위험 레벨을 결정하고-여기서, 상기 사고 위험 레벨은 상기 복수의 자율 주행 차량들에 걸쳐 분산된 복수의 센서들에 의해 캡처된 수신된 융합 이미지 센서 데이터의 함수로서 훈련된 인공 지능에 기초하여 결정되고, 및 상기 사건 위험 레벨은 하나의 차량으로부터 캡처된 이미지 센서 데이터에 의해 시각적으로 인코딩된 오브젝트가 상기 차량들 중 적어도 다른 차량에 관심이 있는지 여부를 결정하는 기준에 기초하여 결정됨-; 상기 사건 위험 레벨을 미리 결정된 안전 위험 수준 임계치와 비교하는 함수로서 계산된 사건 위험 마진을 결정하고-여기서, 상기 안전 위험 레벨 임계치는 테스트 차량 센서에 의해 캡처된 이력 훈련 데이터의 함수로서 구성된 인공 지능에 의해 미리 결정됨-; 상기 사건 위험 마진이 미리 결정된 안전 최소 위험 마진보다 작다고 결정하는 것에 응답하여: 상기 복수의 자율 주행 차량들의 적어도 하나의 차량의 속도 벡터를 변경하는 것에 기초하여 적어도 두 차량들 사이의 이격 거리를 증가시키기 위해 상기 복수의 차량들의 동작을 관리하는 것에 기초하여 상기 차량들에 대한 안전 사건 위험 레벨을 복원하기 위해 상기 미리 결정된 안전 최소 위험 마진보다 작은 상기 사건 위험 마진에서 동작하는 상기 복수의 자율 주행 차량들의 하나 이상을 제어하고; 및 상기 사건 위험을 상기 미리 결정된 안전 최소 위험 마진과 비교하는 것에 기초하여 상기 사건 위험이 안전한 레벨로 복원되었다고 결정하는 것에 응답하여, 상기 복수의 자율 주행 차량들의 하나 이상에 제어를 반환하고; 및 상기 사건 위험 마진이 미리 결정된 안전 최소 위험 마진 이상이라고 결정하는 것에 응답하여, 상기 사건 위험 레벨이 안전하다고 결정하고; 상기 복수의 분산된 센서들로부터 수신된 상기 정보에 기초하여 사건의 존재를 결정하는 것에 응답하여: 상기 센서들로부터 수신된 정보에 기초하여 상기 사건과 관련된 차량, 승객, 보행자, 동물 및 오브젝트와 상기 사건과 관련된 차량, 승객, 보행자, 동물 및 오브젝트에 대한 부상 및 손상의 특성을 결정하고; 상기 자율 주행 차량이 상기 사건이 발생한 위치로부터 제2 위치로 자율적으로 안전하게 이동될 수 있는지 여부를 결정하고; 및 상기 자율 주행 차량이 상기 제2 위치로 자율적으로 안전하게 이동될 수 있다고 결정하는 것에 응답하여, 상기 차량을 상기 제2 위치로 이동시키고 차량을 상기 주차시키도록 프로그래밍되고 구성된다.
다른 실시예에서, RMCC는 사건 위험 레벨이 안전하다고 결정하는 것에 응답하여 RMCC 모니터에 사람이 볼 수 있는 녹색 표시기를 표시하기 위해 프로그래밍되고 구성된다.
다른 실시예에서, RMCC는 사건 위험 레벨이 위험하다는 결정에 응답하여 RMCC 모니터에 사람이 볼 수 있는 노란색 표시기를 표시하기 위해 프로그래밍되고 구성됩니다.
다른 실시예에서, RMCC는 사건 위험 레벨이 안전하지 않다는 결정에 응답하여 RMCC 모니터에 사람이 볼 수 있는 적색 표시기를 표시하도록 프로그래밍되고 구성됩니다.
또한 본 명세서에서 아래에 상세히 설명되어 있는 바와 같이, 충돌 회피 및 개선된 사고 또는 긴급 보고와 함께 동작하는 자동화된 차량 인공 지능 시스템과 함께 사용될 수 있는 사고 또는 긴급 사태의 경우에 자동화 차량의 제어를 승객 또는 비상 대응자에게 이전하기 위한 개선된 신규 방법 및 시스템이 제공된다.
다른 양태에서, 원격 모니터링 및 제어 센터(RMCC)가 제공되며, 이는 적어도 하나의 처리 디바이스를 포함하고, 상기 RMCC는 복수의 자율 주행 차량의 복수의 분산 센서로부터 정보를 수신하고; 복수의 분산 센서들로부터 수신된 정보에 기초하여 사건의 존재를 결정하고; 센서로부터 수신된 정보에 기초하여 사건과 관련된 차량, 승객, 보행자, 동물 및 오브젝트 및 사고와 관련된 차량, 승객, 보행자, 동물 및 오브젝트에 대한 부상 및 손상의 특성을 결정하고; 자율 주행 차량이 사건이 발생한 위치에서 제2 위치로 자율적으로 안전하게 이동할 수 있는지 여부를 결정하고; 자율 주행 차량이 안전하게 제2 위치로 이동할 수 있으면 자동으로 제2 위치로 차량을 이동시키고 차량을 주차하도록 프로그래밍되고 구성된다.
본 개시에 따른 다양한 구현 실시예는 인공 지능, 센서 및 참고로 본 명세서에 포함된 2019년 4월 17일 Guident, Ltd.가 출원한 "자율 주행 차량의 긴급 핸드오프를 위한 방법 및 시스템"이라는 명칭의 미국 특허 출원 번호 제16/386,530호의 도 1 내지 5를 참조하여 설명된 바와 같은, 분산 정보 공유 기술에 기초하여 자율 주행 차량 동작을 제어하도록 구성될 수 있다.
본 개시에 따른 다양한 구현 실시예는 참고로 본 명세서에 포함된 2019년 1월 22일 미시간 주립대학교 이사회에 의해 출원된 "능동적 안전을 위한 커넥티드 차량 전반의 시각 센서 융합 및 데이터 공유"라는 명칭의 PCT 특허 출원 PCT/US19/14547의 도 1 내지 10을 참조하여 설명된 바와 같은, 분산 시각 센서 융합 및 데이터 공유 기술에 기초하여 자율 주행 차량 사고 회피를 개선하도록 구성될 수 있다.
일부 실시예에서, RMCC는 자율 주행 차량이 사건이 발생한 위치로부터 제2 위치로 안전하게 이동될 수 없다고 RMCC가 결정하는 경우 복수의 자동화된 차량들 중 하나 이상을 셧다운하도록 더 프로그래밍 및 구성된다.
일부 실시예에서, RMCC는 긴급 대응자와 접촉하도록 더 프로그래밍 및 구성된다.
일부 실시예에서, RMCC는 사고와 관련된 차량, 승객, 보행자, 동물 및 오브젝트의 수와 사고와 관련된 차량, 승객, 보행자, 동물 및 오브젝트에 대한 부상 및 손상의 특성을 갖는 긴급 대응자를 제공하도록 프로그래밍 및 구성된다.
일부 실시예에서, RMCC는 복수의 분산된 센서들로부터 수신된 정보에 기초하여 긴급 대응자가 자동화된 차량에 도착할 때를 결정하도록 더 프로그래밍 및 구성된다.
일부 실시예에서, RMCC는 긴급 대응자 사용자 디바이스로부터 복수의 차량들 중 하나 이상의 차량의 제어를 이전하라는 요청을 수신하고; 긴급 대응자 사용자 디바이스로부터의 요청에 응답하여, 차량 소유자의 승인 없이 자동화된 차량 제어를 긴급 대응자에게 이전하도록 프로그래밍되고 구성된다.
일부 실시예에서, RMCC는 고유 식별 번호를 포함하고 암호화 기술을 사용하여 긴급 대응자 사용자 디바이스로부터 통신되도록 긴급 대응자로부터의 요청을 요구하도록 더 프로그래밍 및 구성된다.
일부 실시예에서, 긴급 대응자의 고유 식별 번호는 신뢰된 것으로 RMCC에 저장된다.
일부 실시예에서, RMCC는 긴급 대응자 사용자 디바이스로부터의 요청이 RMCC와의 핸드셰이크를 사용하여 통신되거나 소유자가 전송을 방지하도록 허용하도록 더 프로그래밍 및 구성된다.
일부 실시예에서, RMCC는 사건과 관련된 정보를 차량 소유자 또는 다른 이해 당사자에게 전달하도록 더 프로그래밍 및 구성됩니다.
다른 양태에서, 하나 이상의 자율 주행 차량과 관련된 사건에 대한 응답을 결정하기 위한 방법이 제공되며, 이 방법은: 복수의 자율 주행 차량들과 전자 통신하는 분산 정보 시스템(RMCC)에서 복수의 자율 주행 차량들에 구성된 복수의 분산 센서들로부터 정보를 수신하는 단계; 상기 복수의 분산 센서들로부터 수신된 정보에 기초하여 상기 복수의 차량들 중 적어도 하나의 차량과 관련된 사건의 존재를 결정하는 단계; 센서로부터 수신된 정보에 기초하여 사건과 관련된 차량, 승객, 보행자, 동물 및 오브젝트 및 사건과 관련된 차량, 승객, 보행자, 동물 및 오브젝트에 대한 부상 및 손상의 특성을 결정하는 단계; 적어도 하나의 자율 주행 차량이 사건이 발생한 위치에서 제2 위치로 자율적으로 안전하게 이동할 수 있는지 여부를 결정하는 단계; 및 적어도 하나의 자율 주행 차량이 자동으로 제2 위치로 안전하게 이동할 수 있는 경우, 적어도 하나의 차량을 제2 위치로 이동하고 적어도 하나의 차량을 주차하는 단계를 포함한다.
일부 실시예에서, 방법은 적어도 하나의 자율 주행 차량이 사고가 발생한 위치로부터 제2 위치로 안전하게 이동할 수 없다고 RMCC가 결정하는 경우 적어도 하나의 자율 주행 차량을 정지시키는 단계를 더 포함한다.
일부 실시예에서, 방법은 RMCC가 긴급 대응자와 접촉하는 단계를 더 포함한다.
일부 실시예에서, 상기 방법은 사고와 관련된 차량, 승객, 보행자, 동물 및 오브젝트의 수, 사고와 관련된 차량, 승객, 보행자, 동물 및 오브젝트에 대한 부상 및 손상의 특성을 갖는 긴급 대응자를 제공하는 단계를 더 포함한다.
일부 실시예에서, 방법은 RMCC가 복수의 분산 센서들로부터 수신된 정보에 기초하여 긴급 대응자가 적어도 하나의 자동화된 차량에 도착할 때를 결정하는 단계를 더 포함한다.
일부 실시예에서, 방법은 차량의 제어를 긴급 대응자 사용자 디바이스로 이전하라는 요청을 긴급 대응 사용자 디바이스로부터 수신하는 단계; 긴급 대응자 사용자 디바이스로부터의 요청에 응답하여, 차량 소유자의 승인 없이 자율 주행 차량의 제어를 긴급 대응자에게 이전하는 단계를 더 포함한다.
일부 실시예에서, 긴급 대응자로부터의 요청은 고유한 식별 번호를 포함하고 암호화 기술을 사용하여 긴급 응답자 사용자 디바이스로부터 RMCC로 통신되도록 요구된다.
일부 실시예에서, 긴급 대응자의 고유 식별 번호는 신뢰된 것으로 RMCC에 저장된다.
일부 실시예들에서, 긴급 대응자 사용자 디바이스로부터의 요청은 RMCC와의 핸드셰이크를 사용하여 통신된다.
일부 실시예에서, RMCC는 사건과 관련된 정보를 적어도 하나의 차량의 소유자 또는 다른 이해 당사자에게 통신한다.
본 발명의 목적은 인공 지능(AI), 사이버 보안 및 데이터 분석을 적용하는 자율 주행 차량 및 육상 기반 드론을 위한 실시예의 원격 원격 모니터링 및 제어 센터(RMCC)를 제공하는 것을 기초로 자율 주행 차량 보급에 대한 진입장벽을 낮추고 AV 기술 사용에 대한 신뢰를 높이는 데 있다.
본 발명의 목적은 제어기로부터 원격의 독립적으로 관리되는 다수의 자율 주행 차량들의 사건 위험 레벨을 모니터링하고; 및 제어기가 결정한 안전하지 않은 사건 위험 레벨에 대응하여 자율 주행 차량을 제어하여 안전한 사건 위험 레벨을 복원하고; 및 사건 위험이 안전 레벨로 복원되었다는 결정에 응답하여 자율 주행 차량에 제어를 반환하기 위한 향상된 인공 지능으로 제어기 구성을 기반으로 사고 가능성이 높은 상황을 파악하여 사고가 발생하지 않도록 하는 데 있다.
본 개시내용의 목적은 가능한 경우 원격 제어를 통해 최초 대응자가 지원하고 차량을 원하는 위치로 재배치함으로써 사고 후 차량을 지원하는 RMCC를 제공하는 것이다.
본 발명의 목적은 일 실시예 RMCC에 의해 결정된 불안전한 상태에 응답하여 AV 그룹이 안전 조치를 구현하는 데 필요한 반응 시간을 줄이는 것이다. 안전 조치를 구현하기 위한 이러한 감소된 반응 시간은 모니터링되는 영역에 매우 근접한 다중 RMCC 네트워크의 결과일 수 있으며, 감소된 통신 대기 시간의 결과로 개선된 반응 시간을 허용한다.
본 개시내용의 목적은 긴급 대응 시간을 최소화하고, 인명을 구하고, 부상의 심각성을 감소시키면서, 긴급 대응자와 RMCC 운영자의 작업량을 최소화하는 것이다. 이러한 촉진은 모니터링되는 모든 차량에 실시간으로 사고 위험을 할당하도록 구성된 향상된 인공 지능을 제공한 결과일 수 있다.
본 발명의 목적은 자율 주행 차량 사고의 빈도 및 심각성을 줄이는 것이다. 이처럼 자율 주행 차량 사고의 빈도와 심각도가 감소한 것은 속도를 줄이거나 위험 레벨이 안전한 마진으로 줄어들 때까지 경로를 변경한 후 제어이 차량으로 다시 넘어가도록 사고 발생 가능성이 높은 차량을 제어하도록 조정된 인공 지능 모델이 개선된 결과일 수 있다.
본 개시내용의 목적은 인간 원격 조작자가 사고 후 및 작은 사고 후 AV/ADD(Autonomous Delivery Drones)의 제어를 인수할 필요가 있을 때 응답 시간을 줄이는 것이다. 이러한 감소된 응답 시간은 사고가 발생하기 전에 예방 조치 및 작업을 취하는 것을 목표로 하는 자율 주행 차량(AV) 및 자율 배송 드론(ADD)을 위한 고급 인공 지능(AI) 지원 RMCC에서 데이터 분석 툴 및 사이버 보안 소프트웨어를 활용하여 새로운 AI 소프트웨어를 제공한 결과일 수 있다.
본 발명의 목적은 도움이 필요한 AV에 대한 원격 대응자의 응답 시간을 줄이는 데 있다. 이러한 촉진은 수십만 AV를 원격으로 모니터링하도록 확장할 수 있는 AV/ADD용 AI 지원 원격 모니터링 및 제어 센터를 제공한 결과일 수 있다.
본 발명의 목적은 AV 그룹들을 관리하는 AV 운영자의 노력을 줄이는 것이다. 이러한 감소된 AV 운영자 노력은 차량 모니터링 및 제어를 위한 최첨단 운영 콘솔을 제공하는 결과일 수 있으며, 이는 시청할 고위험 후보를 선험적으로 식별하는 특수 목적 AI 소프트웨어 알고리즘과 결합된다. 예시적인 예에서, 위험은 다른 입력들 중에서 다른 오브젝트까지의 차량 거리, 차량 속도, 도로 상태, 교통 혼잡 및 기상 조건의 조합으로부터 계산될 수 있다.
일부 RMCC 실시예 구현에서, 데이터는 클라우드 기반, 피어-투-피어 센서 및 다른 이동성 네트워크 실시간 정보 세트로부터 스트리밍 및 분석될 수 있다. 다양한 설계에서 데이터를 결합하여 모니터링되는 각 차량에 할당된 실시간 위험 요소를 제공할 수 있으므로 시스템이 문제 발생 가능성이 높은 AV의 우선 순위를 지정할 수 있다.
다른 실시예에서, 일부 AV 차량 구현예는 사고를 보고하고 지원을 요청할 수 있다.
다른 실시예에서, 일부 AV 차량 구현예는 AV가 스스로 주차하도록 구성될 수 있다.
다른 실시예에서, 일부 AV 차량 구현예는 모바일 디바이스 앱을 통해 AV 픽업/드롭오프를 허용하도록 구성될 수 있다.
다른 실시예에서, 일부 AV 차량 구현예는 AV 배터리를 충전하기 위해 AV를 배터리 충전 시설로 안내하도록 구성될 수 있다.
적용 가능성의 추가 영역은 본 명세서에 제공된 설명으로부터 명백해질 것이다. 이 요약의 설명 및 특정 예는 단지 예시를 위한 것이며 본 개시의 범위를 제한하도록 의도되지 않는다.
이 섹션은 본 개시의 일반적인 요약을 제공하며, 그것의 전체 범위 또는 그의 피쳐의 전부에 대한 포괄적인 개시가 아니다.
본 명세서에 설명된 도면은 모든 가능한 구현예가 아니라 선택된 실시예의 예시를 위한 것이며, 본 개시의 범위를 제한하도록 의도되지 않는다.
도 1은 RMCC로부터 원격의 독립적으로 관리되는 자율 주행 차량들의 동작 안전을 감독하고 RMCC에 의해 인식된 불안전한 동작에 대응하여 안전한 동작을 복원하기 위해 자율 주행 차량들을 제어하고, 안전한 차량 동작이 복원되었다고 결정되면 자율 주행 차량들로 제어를 반환하도록 구성된 인공 지능(AI) 자율 주행 차량(AV) 원격 모니터링 및 제어 센터(RMCC) 시스템의 다양한 컴포넌트의 그래픽 표현이다. RMCC는 데이터 분석 툴, 사이버 보안 소프트웨어, 데이터 처리 기능 및 주문형 동작(on-demand operation)을 위한 고급 인공 지능(AI) 소프트웨어 계층과 같은 컴포넌트들을 포함한다.
도 2는 본 개시내용의 다양한 실시예에 따라 도 1의 시스템에서 구현될 수 있는 사고 회피 시스템의 예를 도시하는 흐름도이다.
도 3은 본 개시내용의 다양한 실시예에 따라 도 1의 AI 시스템에서 구현될 수 있는 사고 보고 시스템의 예를 도시하는 흐름도이다.
도 4는 도 1의 AI 시스템에서 구현될 수 있는, 사고의 경우에 긴급 대응자 또는 인간 운전자에게 자율 주행 차량의 제어를 이전하기 위한 시스템 및 방법의 예를 도시하는 흐름도이다.
도 5는 본 개시내용의 다양한 실시예에 따라 도 1의 AI 시스템에 채용된 처리 디바이스의 일례의 예시를 제공하는 개략적인 블록도이다.
도 6은 예시적인 보행자 충돌 시나리오를 도시한다.
도 7은 예시적인 충돌 회피 시스템의 다이어그램이다.
도 8은 송신 차량에 의한 데이터 공유를 위한 예시적인 프로세스를 도시하는 흐름도이다.
도 9는 수신 차량에 의한 데이터 융합을 위한 예시적인 프로세스를 도시하는 흐름도이다.
도 10은 예시적인 충돌 시나리오의 개략도이다.
도 11은 예시적인 핀홀 모델 및 이미지 트랜스포즈 계산(transpose calculation)을 도시하는 다이어그램이다.
도 12는 2개의 DSRC 유닛들 사이의 예시적인 대역폭을 나타내는 그래프이다.
도 13은 2개의 DSRC 유닛들 사이의 예시적인 패킷 지연을 나타내는 그래프이다.
도 14는 제안된 충돌 회피 시스템의 예시적인 지연을 나타내는 그래프이다.
도 15a 내지 도 15f는 충돌 회피 시스템의 운전자에게 보여지는 예시적인 융합 이미지를 함께 도시한다.
도 16은 예시적인 RMCC에 의해 다수의 자율 주행 차량들을 감독하고 사건 위험을 모니터링하기 위한 예시적인 프로세스를 도시하는 흐름도이다.
도 17은 예시적인 RMCC에 의해 다수의 자율 주행 차량들에 대한 사건 위험을 완화하기 위한 예시적인 프로세스를 도시하는 흐름도이다.
도 1은 RMCC로부터 원격의 독립적으로 관리되는 자율 주행 차량들의 동작 안전을 감독하고 RMCC에 의해 인식된 불안전한 동작에 대응하여 안전한 동작을 복원하기 위해 자율 주행 차량들을 제어하고, 안전한 차량 동작이 복원되었다고 결정되면 자율 주행 차량들로 제어를 반환하도록 구성된 인공 지능(AI) 자율 주행 차량(AV) 원격 모니터링 및 제어 센터(RMCC) 시스템의 다양한 컴포넌트의 그래픽 표현이다. RMCC는 데이터 분석 툴, 사이버 보안 소프트웨어, 데이터 처리 기능 및 주문형 동작(on-demand operation)을 위한 고급 인공 지능(AI) 소프트웨어 계층과 같은 컴포넌트들을 포함한다.
도 2는 본 개시내용의 다양한 실시예에 따라 도 1의 시스템에서 구현될 수 있는 사고 회피 시스템의 예를 도시하는 흐름도이다.
도 3은 본 개시내용의 다양한 실시예에 따라 도 1의 AI 시스템에서 구현될 수 있는 사고 보고 시스템의 예를 도시하는 흐름도이다.
도 4는 도 1의 AI 시스템에서 구현될 수 있는, 사고의 경우에 긴급 대응자 또는 인간 운전자에게 자율 주행 차량의 제어를 이전하기 위한 시스템 및 방법의 예를 도시하는 흐름도이다.
도 5는 본 개시내용의 다양한 실시예에 따라 도 1의 AI 시스템에 채용된 처리 디바이스의 일례의 예시를 제공하는 개략적인 블록도이다.
도 6은 예시적인 보행자 충돌 시나리오를 도시한다.
도 7은 예시적인 충돌 회피 시스템의 다이어그램이다.
도 8은 송신 차량에 의한 데이터 공유를 위한 예시적인 프로세스를 도시하는 흐름도이다.
도 9는 수신 차량에 의한 데이터 융합을 위한 예시적인 프로세스를 도시하는 흐름도이다.
도 10은 예시적인 충돌 시나리오의 개략도이다.
도 11은 예시적인 핀홀 모델 및 이미지 트랜스포즈 계산(transpose calculation)을 도시하는 다이어그램이다.
도 12는 2개의 DSRC 유닛들 사이의 예시적인 대역폭을 나타내는 그래프이다.
도 13은 2개의 DSRC 유닛들 사이의 예시적인 패킷 지연을 나타내는 그래프이다.
도 14는 제안된 충돌 회피 시스템의 예시적인 지연을 나타내는 그래프이다.
도 15a 내지 도 15f는 충돌 회피 시스템의 운전자에게 보여지는 예시적인 융합 이미지를 함께 도시한다.
도 16은 예시적인 RMCC에 의해 다수의 자율 주행 차량들을 감독하고 사건 위험을 모니터링하기 위한 예시적인 프로세스를 도시하는 흐름도이다.
도 17은 예시적인 RMCC에 의해 다수의 자율 주행 차량들에 대한 사건 위험을 완화하기 위한 예시적인 프로세스를 도시하는 흐름도이다.
본 명세서에서는 인공지능, 시각 센서 융합, 자율 주행 차량의 안전성 향상을 위해 차량들 및 차량들과 원격의 모니터링 및 제어 센터 사이의 데이터 공유 등을 기반으로 독립적으로 동작하는 자율 주행 차량들의 원격 모니터링 및 제어와 관련된 다양한 실시예들이 개시된다. 이제 도면에 예시된 바와 같은 실시예의 설명을 상세히 참조할 것이며, 여기서 유사한 참조 번호는 여러 도면들에 걸쳐 유사한 부분을 나타낸다.
자동화된 인지 및 제어 기술은 운전과 관련된 일상적인 순간순간의 의사결정으로부터 운전자를 경감시키기 위해 사용될 수 있다. 자율 주행 차량의 경우, 자동 승하차 서비스, 보행자 검출 및 회피 등의 피쳐가 차량 사용자에게 편의성과 안전성을 제공한다. 자율 주행 차량용 AI 시스템은 차량이 사용자에게로 이동할 수 있도록 하는 최신 모바일 기술, 퍼지 로직 및 신경망을 포함할 수 있다. 자율 주행 차량이 AI 제어 하에 동작하는 동안, AI 시스템은 예측할 수 없는 상황으로 인해 인간, 동물, 다른 자동차, 오브젝트 또는 이들의 조합과 같은 오브젝트와의 충돌이 불가피한 경우를 인식할 수 있다. 이러한 결정에 대한 응답으로, 회피 조치가 개시되어 충돌을 지능적으로 피하거나, 최악의 시나리오에서는 피할 수 없는 충돌에 직면한 경우 충돌할 오브젝트를 결정할 수 있다. 이 시스템은 선반(shelf)에서 또는 개조(retrofit) 판매 프로세스를 통해 "플러그 인 앤 플레이(plug in and play)" 항목으로 구현되거나 새 차량이나 기존 차량에 내장될 수 있다. 이 시스템은 차량을 주차하는 것으로 확장될 수 있을 뿐만 아니라 사용자가 차량에 탑승했는지 여부에 관계없이 사용자가 목적지로의 길을 찾는 데 사용될 수 있으며 차량은 사용자의 도움 없이 그렇게 할 수 있다. 특정 차량의 경우 패키지 배송 및 기타 실용적인 서비스로 제한될 수 있으므로 승객이나 운전자가 없을 수 있다.
추가적으로, 자율 주행 차량은 경로를 매핑하기 위해 GPS 기술을 사용할 수 있다. AI 시스템은 차량이 사용자의 운전 패턴을 점진적으로 학습할 수 있도록 한다. AI 시스템은 인공 지능 기술을 사용하여 사용자의 운전 거동을 지속적으로 학습하여, 차량이 자율 주행할 때, 예를 들어, 선호하는 속도, 연석과의 근접성, 중앙 페인트 라인에 대한 근접성, 움푹 들어간 곳이나 기타 장애물의 회피 및/또는 정기적으로 이동하는 경로와 같은 사용자의 운전 패턴을 모방할 수 있도록 한다. 또한 상황 인식(context-aware) 웹 서비스를 사용하여 운전자가 차량에 커맨드를 통신하고 정보를 전달하여 차량의 성능을 향상시킬 수 있다. 이 정보는 AI 시스템의 다른 차량 및 사용자에 의해 사용될 수 있다. AI 시스템을 사용하는 임의의 차량은 경로 계획을 돕기 위해 횡단하는 도로에 대한 정보를 전달할 수 있다.
도 1을 참조하면, AI 시스템에 포함된 다양한 요소들의 그래픽 표현이 도시되어 있다. 예를 들어, AI 시스템(100)은 자율 주행 차량들(103a, 103b, 103c), 사용자 디바이스(106), 긴급 대응자 사용자 디바이스(106a), 및 원격 모니터링 및 제어 센터(RMCC)(109)를 포함할 수 있으며, 이는 AI 시스템의 다양한 피쳐들을 구현하는 처리 회로부 및 어플리케이션 소프트웨어를 포함한다. 예시된 예에서, RMCC(109)는 AI 기반 AV 원격 모니터링 및 제어 서비스를 위한 주문형 동작을 제공하는 사이버 보안 및 데이터 처리 구현과 통합된 데이터 분석 및 AI 소프트웨어 모듈을 포함한다. 설명을 단순화하기 위해, 도 1에 도시된 예는 3개의 자율 주행 차량들(103a, 103b, 103c)을 도시하지만, 일부 실시예에서 AI 시스템(100) 및 RMCC(109)는 유리하게는 더 많은 수의 유사한 자율 주행 차량들을 원격으로 모니터링 및 제어할 수 있다. 다양한 실시예에서, 처리 회로부는 마이크로프로세서의 적어도 일부로서 구현된다. 처리 회로부는 하나 이상의 회로, 하나 이상의 마이크로프로세서, 마이크로제어기, 주문형 집적 회로, 전용 하드웨어, 디지털 신호 프로세서, 마이크로컴퓨터, 중앙 처리 디바이스, 필드 프로그래밍가능 게이트 어레이, 프로그래밍 가능 로직 디바이스, 상태 머신, 슈퍼 컴퓨터 또는 이들의 조합을 사용하여 구현될 수 있다. 또 다른 실시예에서, 처리 회로부는 하나 이상의 처리 회로들 내에서 실행 가능한 하나 이상의 소프트웨어 모듈들을 포함할 수 있다. 처리 회로부는 처리 회로부로 하여금 데이터 통신 기능을 실행하게 하는 명령어 및/또는 코드를 저장하도록 구성된 메모리를 더 포함할 수 있다.
차량들(103a, 103b, 103c), 및 사용자 디바이스들(106, 106a)는 예를 들어 무선 근거리 통신망(WLAN) 및/또는 셀룰러 네트워크와 같은 무선 네트워크(112)를 통해 통신할 수 있다. 차량들(103a, 103b, 103c)은 무선 통신을 지원하기 위한 처리 회로부(예를 들어, 송신기, 수신기, 및/또는 송수신기)를 포함할 수 있다. 사용자 디바이스들(106, 106a)은 예를 들어, 셀룰러 전화, 태블릿 컴퓨터, e-리더, mp3 플레이어, 및 예를 들어 iPod 터치 및 iPad와 같은 휴대용 미디어 플레이어와 같은 모바일 처리 시스템을 포함할 수 있다. 예를 들어, 차량들(103a, 103b, 103c) 및/또는 사용자 디바이스들(106, 106a)은 예를 들어, 3세대(3G), 4세대(4G), 롱텀 에볼루션(LTE), 5세대(5G) 또는 기타 데이터 통신 표준과 같은 셀룰러 데이터 연결과 같은 셀룰러 통신을 지원할 수 있다. 차량들(103a, 103b, 103c), 및/또는 디바이스들(106, 106a)은 예를 들어 IEEE 802.11a/b/g/n 및 Wi-Fi 6(802.11ax라고도 함)과 같은 무선 통신을 지원할 수 있다. 차량들(103a, 103b, 103c) 및 사용자 디바이스들(106, 106a)의 처리 회로부는 또한 그들의 지리적 위치를 결정하기 위한 GPS 능력을 지원할 수 있다. AI 시스템(100)은 사용자 디바이스 플랫폼 또는 운영 체제(예를 들어, Android, iOS, webOS, Symbian 등) 및/또는 차량 유형, 제조사, 모델 및 제조업체와 독립적인 어플리케이션을 사용할 수 있다. RMCC(109)와의 통신은 무선 네트워크(112)에 통신 가능하게 결합된 네트워크(115)(예를 들어, 인터넷)를 통해 수행될 수 있다. RMCC(109)는 예를 들어 하나 이상의 서버와 같은 처리 시스템 상의 웹 서비스로서 구현될 수 있다. 이러한 웹 서비스는 개인 또는 공용 데이터 센터(DC 116)로부터 사용될 수 있다. 공용 데이터 센터(116)는 클라우드 호스팅되어, DC(116)로부터 액세스 가능한 데이터 및 차량들(103a, 103b, 103c)에 개별적으로 구성된 센서들(105a, 105b, 105c)로부터 액세스 가능한 데이터로부터 AI 기반 학습의 기능으로 결정된 RMCC(109)에 의한 결정을 허용할 수 있다. RMCC(109)는 DC(116)로부터 액세스 가능한 데이터와 센서들(105a, 105b, 105c) 및 차량들(103a, 103b, 103c)로부터의 데이터를 합성 데이터로 결합하기 위해 데이터 융합 기술을 사용할 수 있으며, RMCC는 이렇게 형성된 합성 데이터로부터 AI 기반 학습에 대한 결정을 내릴 수 있다.
RMCC(109) 및 AI 시스템(100)은 예를 들어, 자율 승객 검색, 자율 주차, 지능형 사건 방지, 지능형 사건 보고, 점진적 지능형 경로 학습, 원격 객실 제어 및/또는 분산 정보 공유와 같은 다양한 피쳐들을 제공할 수 있다. 자율 승객 검색은 차량들(103a, 103b, 103c) 중 하나가 그들의 사용자를 독립적으로 검색하도록 할 수 있다. 사용자 디바이스들(106 및 106a)에서 동작하는 어플리케이션 인터페이스(또는 앱)는 차량(103a, 103b 또는 103c)에 지정된 위치에서 사용자를 데리러 가도록 요청하는 데 사용될 수 있다. 차량들(103a, 103b, 103c)은 경로를 직접 매핑하고 사람의 개입 없이 길을 찾을 수 있을 뿐만 아니라, 예를 들어 이전에 기록된 경로를 사용하여 사용자 사양에 따라 이동할 수 있다. 일부 실시예에서, 차량들(103a, 103b, 103c)은 어플리케이션 인터페이스의 동작을 지원할 수 있는 처리 회로부를 포함할 수 있다. RMCC(109)는 경로의 기록 및 저장은 물론 경로 평가 및 권장 사항을 지원할 수 있다. 자율 주차는 차량들(103a, 103b, 103c)이 추가 사용자 입력이나 제어 없이 사용자를 내려준 후 스스로 주차할 수 있게 해준다. 차량들(103a, 103b, 103c)은 주변의 주차 장소를 검색할 수 있을 뿐만 아니라 이전에 기록된 주차 공간 또는 위치에 주차할 수 있다. RMCC(109)는 주차 공간의 기록 및 저장을 지원할 수 있다. 함께 사용될 때, 차량들(103a, 103b 또는 103c) 중 임의의 것은 사용자 디바이스들(106)을 통해 그리고 긴급 상황에서는 긴급 대응자 사용자 디바이스(106a)를 통해 사용자에 의해 자동으로 주차되고 검색될 수 있다.
지능형 사건 회피는 잠재적으로 차량들(103a, 103b, 103c) 각각의 경로에 있는 오브젝트를 식별할 수 있으므로, 차량들(103a, 103b, 103c)이 잠재적인 상해 및/또는 손상을 최소화할 수 있다. 지능형 사건 보고는 차량들(103a, 103b 또는 103c) 중 임의의 것이 예를 들어, 다른 차량에 접촉, 침입 및/또는 충돌한 때를 사용자 디바이스들(106 및 106a)을 통해 계속 알릴 수 있다. 사용자는 RMCC(109)에서 차량 상호작용의 레벨을 정의하여 사용자가 사건에 대해 통지받기를 원하는 때를 결정할 수 있다. 사건이 검출되면, 차량 카메라들은 차량들(103a, 103b, 103c) 및 그 주변을 촬영하고 검출 시점 주변의 오디오 및/또는 비디오를 기록할 수 있다. 점진적인 지능형 경로 학습은 자율 주행 동작 중에 사용자의 운전 패턴이 학습되고 차량들(103a, 103b, 103c)에 의해 사용되는 것을 허용할 수 있다.
원격 객실 제어는 사용자가 사용자 디바이스들(106, 106a)로부터 차량들(103a, 103b, 103c)의 설정을 제어하고 및/또는 상태를 결정할 수 있게 할 수 있다. 예를 들어, 사용자는 창문, 선/문 루프, 도어, 트렁크, 사이드 도어 미러, 조명(예를 들어, 객실 조명, 외부 헤드 라이트 등), 좌석 위치 및/또는 온도, 실내 온도 제어부(예를 들어, 에어컨, 난방, 김서림 제거 및/또는 습도와 같은 기타 모델별 설정), 미디어 디바이스(예를 들어, 표준 및/또는 XM 라디오, 콤팩트 디스크 플레이어, DVD 플레이어)를 원격으로 동작시킬 수 있고, 및/또는 임의의 차량(103a, 103b 또는 103c)을 원격으로 시동할 수 있다. 제어 및/또는 상태 정보는 무선 네트워크(115) 및/또는 각각의 차량(103a, 103b, 103c)에 대한 미리 정의된 제어 설정을 저장할 수 있는 RMCC(109)를 통해 차량들(103a, 103b 또는 103c)과 사용자 디바이스들(106 및 106a) 사이에서 직접 통신될 수 있다. 어플리케이션 인터페이스는 또한 사용자 디바이스들(106, 106a)가 사용자에 의한 사용을 위해 각각의 차량(103a, 103b 또는 103c)으로부터 진단 정보를 검색하도록 할 수 있다.
분산 정보 공유는 AI 시스템(100)이 AI 시스템(100)의 다른 피쳐뿐만 아니라 다른 차량의 주차 또는 경로에 대한 추천을 개선하기 위해 시스템의 사용자에 의해 공유된 정보를 사용할 수 있게 한다. 공유 정보는 자율 주행 차량에 의해 사용된 경로(GPS 경로 정정 포함), 주차 영역 위치, 영역 주차 패턴, 범죄 및/또는 기물 파손의 보고된 사건 등을 포함할 수 있지만 이에 제한되지 않는다. AI 시스템(100)의 사용자는 사용자 디바이스들(106)을 사용할 수 있고, 긴급 상황에서 긴급 제공자는 RMCC(109)에 정보를 제출함으로써 영역 정보를 공유하기 위해 긴급 대응자 사용자 디바이스(106a)를 사용할 수 있으며, 이는 그런 다음 AI 시스템(100)의 모든 사용자들을 지원하기 위해 공유 정보를 표준 맵 네비게이션 소스 및 지능형 교통 시스템의 정보와 혼합할 수 있다. RMCC(109)는 차량들(103a, 103b, 또는 103c) 중 임의의 것과 사용자 디바이스들(106, 106a) 사이의 정보 공유를 용이하게 할 수 있을 뿐만 아니라 AI 시스템(100)의 다른 사용자와의 정보를 공유를 용이하게 할 수 있다. 예를 들어, 공유된 정보는 차량(103a, 103b 또는 103c)이 사용자에게 또는 주차 장소로 더 효율적으로 자율적으로 이동하도록 할 수 있다. 공유된 정보는 또한 자율 주행 차량들(103a, 103b, 또는 103c)이 이전에 사용자가 방문하지 않은 영역 내에서 효과적으로 동작하도록 할 수 있다. 차량들(103a, 103b, 103c) 중 임의의 것을 수동으로 조작하는 사용자를 돕기 위해 경로 지정 및/또는 주차 제안이 또한 제공될 수 있다.
사용자는 도 1의 사용자 디바이스(106) 및 긴급 상황에서 긴급 대응자 사용자 디바이스(106a)에서 실행되는 어플리케이션 인터페이스(또는 앱)를 통해 AI 시스템(100)과 상호작용한다. RMCC(109)(도 1)는 표준 맵 네비게이션 소스로부터의 정보를 공유 사용자 생성 정보와 결합한다. 정보는 사용자 디바이스들(106 및 106a) 상의 어플리케이션 인터페이스를 사용하여 RMCC(109)의 중앙 저장소에 정보를 발송함으로써 AI 시스템(100)의 사용자에 의해 공유된다. 현재 모바일 디바이스의 지리적 위치 및 네트워킹 기능을 사용하여 RMCC(109)에 실시간 정보를 제공할 수 있다. 그런 다음 AI 시스템(100)은 AI 시스템(100)의 사용자에 의해 공유되는 성공률(success rate) 데이터에 기초하여 특정 시간에 이용 가능한 주차 공간이 있을 가능성이 가장 높을 수 있는 위치를 결정하기 위해 사용자 정보를 사용할 수 있다. AI 시스템(100)은 상황을 인식하며, 이는 그의 동작과 관련된 다양한 요인들을 인식하고 해당 인식에 따라 행동할 수 있음을 의미한다. 예를 들어, 인공지능 시스템(100)은 사용자의 GPS 포지셔닝, 사용자의 목적지의 위치, 공유된 위치가 사용된 시간, 날짜 및 요일을 인지할 수 있다. 사용자 또는 자율 주행 차량이 네비게이션을 위해 RMCC(109)로부터의 공유 정보를 사용할 때, 해당 정보에 대응하는 사용 데이터는 RMCC(109)에 의해 캡처되고 저장된다. 예를 들어 캡처된 데이터는 공유 위치에서 이용 가능한 주차 공간이 있는지 여부, 특정 경로를 통과하는 데 걸린 시간, 이러한 사용 사례가 발생한 날짜 및 시간을 포함할 수 있다. 모든 상황 정보는 AI 시스템(100)이 무료 주차가 가능한 위치를 결정하는 데 사용될 수 있다.
사용자 디바이스(106, 106a)에 의해 제출된 요청, 피드백 및 정보는 RMCC(109)로 중계된다. RMCC(109)는 데이터 저장소를 사용하여 AI 시스템(100)의 사용자들에 의해 공유된 주차 및 경로 데이터는 물론 해당 데이터의 사용 상황에 대한 데이터를 저장 및/또는 검색할 수 있다. AI 시스템(100)이 사용자가 제출한 정보와 기존의 내비게이션 정보를 융합하기 위해서는, RMCC(109)는 경로 지정 및/또는 주차 정보를 결정하기 위해 사용자 공유 경로 및 데이터 및 하나 이상의 맵 네비게이션 소스(들)로부터의 경로의 조합으로부터 획득된 주차 영역의 좌표를 사용할 수 있다. 사용자가 AI 시스템(100)의 도움으로 경로를 탐색할 때 축적된 상황 정보는 사용자가 정보 요청을 할 때 제공할 데이터를 결정하는 데 사용될 수 있다. 사용자가 사용자 디바이스들(106 및 106a)로부터 요청을 개시할 때, 어플리케이션 인터페이스는 출발지 및 목적지 정보는 물론 요청 시간과 날짜를 검색할 수 있다. 해당 정보는 요청에 대한 적절한 응답을 결정하기 위해 요청 정보를 사용할 수 있는 RMCC(109)로 발송된다. AI 시스템(100)의 다양한 컴포넌트들의 동작은 시스템이 제공하는 기능의 예를 통해 이해될 수 있다.
AI 시스템(100)의 기능은 RMCC(109)가 상황을 인식하기 때문에 가능하다. 상황 인식은 AI 시스템(100)이 물리적 환경이나 상황을 인식하고 이를 기반으로 능동적이고 지능적으로 대응하는 능력이다. RMCC(109)는 차량들(103a, 103b, 103c)의 GPS 위치를 알 수 있고, 예를 들어, 차량들(103a, 103b, 103c) 중 어느 하나가 이전에 학습된 영역에 진입하는 경우, 해당 영역의 상황 정보는 자율 주행 중에는 차량들(103a, 103b 또는 103c) 내부의 처리 회로부 또는 컴퓨터로, 수동 주행 중에는 사용자에게 중계된다. 경로가 공유될 때, RMCC(109)는 경로가 처음 기록될 때뿐만 아니라 사용자 지정 경로가 운행되는 모든 후속 시간 동안 경로를 운전하는데 걸린 시간과 경로를 운전한 시간도 기록한다. 그 의미론적 데이터를 사용하여, AI 시스템(100)은 자율 주행 중에 선호하는 경로를 선택하고 수동 주행 중에 사용자에게 제공하기 위해 제안된 경로의 우선 순위를 지정할 수 있다. 마찬가지로 주차 시간, 가격 및 가용성에 대해 공유된 데이터는 시스템에서 자율 주행 중에 선호하는 주차 구역을 선택하고 수동 주행 중에 사용자에게 알려주기 위해 제안된 주차 구역의 우선 순위를 지정하는 데 사용된다.
공유 네비게이션 데이터를 사용하면 사람의 실수나 악의적인 사용자를 통해 잘못된 데이터가 공유될 수 있다. RMCC(109)는 위치를 공유하는 사용자의 ID를 저장함으로써 가능한 문제를 완화할 수 있다. 사용자에게 잘못된 정보가 제공되는 경우, 사용자는 사용자 디바이스(106) 및 긴급 상황에서는 디바이스(106a)의 어플리케이션 인터페이스를 통해 그 사실을 보고할 수 있다. 사용자가 데이터를 잘못된 것으로 잘못 표시할 가능성을 처리하기 위해 RMCC(109)는 "3 스트라이크 및 아웃" 정책에 따라 동작할 수 있다. 제출된 네비게이션 정보의 일부가 잘못된 것으로 3번 마킹되면, 해당 데이터는 데이터 저장소로부터 제거된다. 또한 잘못된 데이터를 업로드한 사용자는 첫 번째 스트라이크를 받을 수 있다. 사용자가 미리 정의된 횟수(예를 들어, 3회)만큼 잘못된 데이터를 공유한 것으로 신고된 경우, 해당 사용자는 RMCC(109)와 정보를 공유하는 것이 제한될 수 있다.
AI 시스템(100)은 또한 지능형 사건 회피 시스템(iCAS)을 지원한다. 사건은 차량들(103a, 103b, 103c) 중 어느 하나에 대한 충돌 또는 기타 중단 또는 손상을 포함할 수 있다. 사고 회피 시스템은 차량들(103a, 103b, 103c)의 경로에 있거나 경로로 진입할 수 있는 사람, 동물 및 기타 오브젝트 사이의 차이를 지능적으로 결정하는 데 사용되는 차량 독립형 시스템(vehicle-independent system)이다. 사건을 피할 수 없는 경우, 시스템은 살아있는 오브젝트를 분류를 결정한 후 충돌하기 위한 "가장 좋은" 것이 무엇인지 결정한다. 시스템은, 우선 순위에 따라, 어떠한 충돌이 인명 손실, 그 다음에는 동물의 생명 손실, 다음에는 환경에 대한 피해를 최소화하는지 해결한다.
충돌 회피 시스템은 차량들(103a, 103b, 103c)에 개별적으로 구성된 센서들(105a, 105b, 105c)로부터의 센서 데이터를 이용한다. 도시된 예에서, 센서들(105a, 105b, 105c)은 그 목표를 달성하기 위해 카메라, 초음파 센서, 라인 추종 센서, 및 열 센서를 포함한다. 사용될 수 있는 다른 센서는 레이저 거리 측정기 및 기타 거리 센서, 라이더, 스테레오 카메라, 오디오 센서, 자이로미터, 적외선 센서, 감광 센서, GPS 장치 및 추적 시스템 등을 포함하지만 이에 제한되지는 않는다. 센서들로부터 데이터를 수집한 후, 충돌 회피 시스템은 퍼지 로직, 신경망 및/또는 컨볼루션 신경망과 같은 인공 지능 기술을 사용하여 인간과 동물의 차이점을 결정한 다음 어느 것이 영향을 미치거나 피할지를 결정한다. 다양한 실시예에서, 차량들(103a, 103b, 103c)의 센서들(105a, 105b, 105c)로부터 수집된 데이터는 RMCC(109)에 의해 처리되도록 RMCC(109)로 발송될 수 있다. 일부 시나리오에서, 충돌 회피 시스템은 차량들(103a, 103b, 103c)의 처리 회로부에 의해 구현될 수 있다(예를 들어, 컴퓨터 시스템, 슈퍼 컴퓨터, 마이크로제어기 및/또는 외부 메모리). 다양한 예에서, 충돌 회피 시스템은 RMCC(109)의 처리 회로부에 의해 구현될 수도 있다(예를 들어, 컴퓨터 시스템, 슈퍼 컴퓨터, 마이크로제어기 및/또는 외부 메모리).
감광성(photosensitive) 센서는 주로 차선 검출에 사용될 수 있는 반면, 열 센서는 예를 들어 보행자, 동물, 얼음 및 고인 물을 포함하는 차량의 경로에 있는 오브젝트에 대한 열 판독치를 제공하는 데 사용될 수 있다. 충돌 회피 시스템은 또한 오브젝트 회피를 위해 거리 정보를 확인하는 능력에서 초음파 센서, 카메라 및 레이저 거리 측정기를 사용할 수 있다. 사건 회피 시스템은 오브젝트, 도로 표지판, 신호등 및 기타 물체를 적절하게 검출하는 차량의 능력에 달려 있다. 그 결과, 차량들(103a, 103b, 103c)에 의해 독립적인 비전 시스템이 사용되어 고정되거나 이동하는 생물체 또는 무생물체와 관련된 위험 및 사건을 검출하고 피할 수 있다. 비전 시스템으로부터의 데이터는 예를 들어 처리를 위해 마이크로제어기와 같은 처리 회로부에 공급될 수 있는 스테레오비전 품질 픽쳐 데이터를 수집하는 데 사용될 수 있다. 비전 시스템은 스테레오 카메라, 마이크로제어기 및 연결 컴포넌트들을 포함하지만 이에 제한되지 않는다. 차량들(103a, 103b, 103c)과 다양한 위치들에서의 사용자를 추적하기 위한 위치 데이터가 또한 수집된다. 차량들(103a, 103b, 103c)의 GPS 유닛과 사용자 디바이스(106) 및 긴급 상황 시 디바이스(106a)는 위치 데이터를 검색하는 데 사용될 수 있다. 일부 구현예에서, 무선 주파수 식별(RFID) 판독기 및 RFID 태그는 GPS 유닛으로부터 수신될 위치 데이터의 정확도를 증가시키기 위해 사용될 수 있다.
신경망은 자율 주행 차량에 성공적으로 사용되어 왔다. 신경망은 학습 능력을 제공하고 미묘하거나 복잡한 패턴을 인식하고 이해할 수 있도록 하는 고도로 상호연결된 처리 요소들을 사용하여 뇌를 모방하도록 파생된 계산 방법을 활용한다. 신경망은 구조와 기능면에서 생물학적 네트워크와 유사한 수학적 모델이다. 학습 단계에서 네트워크를 통해 송신된 데이터를 기반으로 네트워크가 구조를 변경할 수 있도록 하는 적응형 시스템(adaptive system)이다. 네트워크가 학습 단계 동안 학습한 후, 이는 관련 데이터가 제공될 때 미래 결과를 예측하는 데 사용될 수 있다.
신경망은 사건 회피 시스템에 의해 사용되어 예를 들어, 그들의 상이한 형상, 다른 신체 구조, 다른 자세, 다른 포즈, 다른 광 강도, 다른 민족, 다른 활동, 차량 영역의 다른 움직임 및/또는 속도, 및/또는 도로의 다른 위치에 기초하여 인간 오브젝트를 식별할 수 있다. 동물과 같은 비인간 살아있는 오브젝트는 예를 들어, 그들의 상이한 형상, 상이한 신체 구조, 상이한 색깔, 상이한 활동, 및/또는 상이한 움직임 및/또는 차량 영역에서의 속도를 기초로 식별될 수 있다. 인간과 동물의 조합은 예를 들어 그들의 상이한 형상, 상이한 신체 구조, 상이한 색깔, 상이한 활동, 및/또는 상이한 움직임 및/또는 차량 영역에서의 속도를 기초로 식별될 수도 있다. 차량 주변에 있는 생물체와 무생물체의 위의 속성을 학습한 신경망을 기반으로, 사건 회피 시스템은 식별에 대한 대응을 조정할 수 있다.
퍼지 로직은 또한 차량 제어에 사용될 수 있다. 퍼지 로직은 진술이 참 또는 거짓으로 평가될 뿐만 아니라 두 값의 정도가 다를 수 있음을 인식하는 인공 지능 기술이다. 퍼지 로직은 인간 지능의 특정 양태를 설계에 포함함으로써 차량 자동화를 한 단계 더 발전시킬 수 있다. 퍼지 로직과 퍼지 이론은 오브젝트가 속하는 살아있는 오브젝트 분류를 결정하는 데 사용할 수 있는 일련의 규칙들을 제공할 수 있다. 오브젝트를 분류하는 것 외에도, 정보가 완전하지 않은 경우 어떤 오브젝트와 충돌해야 하는지 결정하기 위해 퍼지 로직 및 퍼지 이론이 사용될 수 있다.
신경망과 퍼지 로직의 조합은 높은 수준의 검출 정확도로 인간의 형상이나 활동에 관계없이 인간 오브젝트, 동물과 같은 인간이 아닌 살아있는 오브젝트를 식별 및/또는 구별하는 능력을 사건 회피 시스템에 제공한다. 살아있는 오브젝트 분류에 기초하여, 먼저 인명 피해, 두 번째로 동물 인명 피해, 세 번째로 환경 피해를 최소화하기 위해 어떤 오브젝트와 충돌해야 하는지 결정할 수 있다. 환경이나 센서의 한계로 센서 데이터가 불완전하거나 부분적인 경우, 퍼지 로직 및 퍼지 이론 기술을 사용하여 영향을 주어야 하는지 여부와 어떤 오브젝트로 해야 하는지에 대한 최종 결정을 내릴 수 있다.
AI 시스템(100)은 또한 AI 시스템(100)이 사용자의 운전 패턴 및/또는 선호도(preference)를 학습할 수 있도록 하는 점진적 지능형 경로 학습(GIRL)을 지원한다. 예를 들어, 점진적 지능형 경로 학습은 사용자가 정지 신호, 신호등 또는 보행자가 적은 경로를 선호한다는 것을 학습할 수 있다. 이는 또한 사용자는 출근할 때 특정 지역을 운전하고 퇴근할 때 다른 경로로 이동하는 것을 선호한다는 것을 알 수 있다. 자주 이동하는 경로는 시스템에 의해 학습된다. 이를 통해 차량들(103a, 103b, 103c)은 목적지까지의 최단 경로나 목적지까지 최단 시간에 사용자를 데려가지 않더라도 사용자가 선호하는 도로를 인지할 수 있다. 예를 들어 사용자가 가속 및 감속하는 방법, 상이한 영역들에서 운전할 때 선호되는 도로의 측(예를 들어, 다차선 고속도로 또는 1차선 고속도로인 경우), 차량이 차선의 양쪽 가장자리로부터 이격된 거리, 사용자가 길에서 구덩이를 피하는 방법, 차량과 주변의 다른 차량 사이의 거리, 도로의 여러 구간에서 속도 선호도, 하루 중 사용자가 다른 경로와 비교하여 특정 경로를 운전하는 것을 선호하는 시간과 같은 사용자의 다른 운전 특성도 학습될 수 있다.
사용자는 AI 시스템(100)에 의해 학습된 경로의 운전 선호도를 갖도록 경로가 얼마나 자주 이동되어야 하는지를 결정하기 위해 점진적 지능형 경로 학습을 구성할 수 있다. 예를 들어, 디폴트 설정은 해당 경로에 대한 운전 선호도를 기억하기 위해 점진적인 지능형 경로 학습을 트리거하기 위해 주당 세 번일 수 있다. 차량들(103a, 103b, 103c) 내의 처리 회로부는 이동 정보 및 학습된 사용자 선호도를 저장한다. 예를 들어, 차량 활동은 정의된 기간(예를 들어, 일주일) 동안 GPS 추적, 카메라 이미징, 레이저 거리 측정 및/또는 라이다 정보를 사용하여 추적될 수 있다. 활동 정보는 처리 회로부(예를 들어, 컴퓨터)에 의해 메모리에 저장될 수 있고 경로 및/또는 운전 선호도가 학습되어야 하는지를 결정하기 위해 점진적 지능형 경로 학습에 의해 평가될 수 있다. 학습된 경로 및 선호도는 RMCC(109)가 사용자에 대한 추천을 결정할 때 저장 및 사용을 위해 RMCC(109) 또는 DC(116)로 발송될 수 있다. 이러한 경로 및 선호도는 자율 주행 동작을 위해 차량들(103a, 103b, 103c)에 의해 사용될 수도 있다.
차량들(103a, 103b, 103c)은 또한 사고와 같은 사건에 따라 예를 들어 자율 주행 동작이 비활성화되거나 안전하지 않은 경우 차량들(103a, 103b, 103c)의 수동 동작을 가능하게 하는 수동 제어를 포함한다.
도 2를 참조하면, AI 시스템(100)(도 1)의 차량들(103a, 103b 또는 103c)에서 구현될 수 있고 RMCC(109)에서 구현될 수 있는 사건 회피 시스템의 예를 예시하는 흐름도가 도시되어 있다. 203부터는, 차량이 자율 주행하는 동안 사고 회피 시스템이 활성화된다. RMCC(109) 및 차량들(103a, 103b, 103c)의 처리 회로부는 차량들(103a, 103b, 103c)에 설치된 센서들을 모니터링하여 오브젝트가 206에서 검출되는지 여부를 결정한다. 차량들(103a, 103b, 103c) 중 임의의 것의 경로에서 오브젝트가 검출되거나 차량들(103a, 103b, 103c) 중 임의의 것의 경로로 진입할 수 있는 경우, 비전 시스템은 209에서 하나 이상의 이미지들을 처리하여 그것이 살아있는 오브젝트인지 결정한다. 212에서 검출된 오브젝트가 살아있는 오브젝트가 아닌 경우, 차량(103a, 103b 또는 103c)은 203에서 동작을 계속하기 전에 215에서 사용 가능한 오브젝트 회피 알고리즘으로 동작할 수 있다.
212에서 살아있는 오브젝트가 검출되었다고 결정되면, 사고 회피 시스템은 218에서 시나리오를 처리하여 차량(103a, 103b 또는 103c)이 오브젝트와 충돌해야 하는지를 결정한다. 221에서 충돌을 피할 수 있다고 결정되면, 224에서 충돌을 피할 수 있는 차량(103a, 103b, 103b)은 203으로 돌아가기 전에 오브젝트로부터 멀어지도록 기동하도록 지시된다. 212에서 충돌을 피할 수 없으면 230에서 어떤 오브젝트와 충돌하는 것이 가장 좋은지 227에서 결정한다. 충돌 후, 사건 회피 시스템은 233에서 긴급 서비스에 전화를 걸 수 있고 오브젝트와 충돌한 차량(103a, 103b 또는 103)이 사고가 발생한 위치에서 자율적으로 제2 위치로 자율적으로 안전하게 이동할 수 있는지 결정하고, 236에서 오브젝트와 충돌한 차량(103a, 103b 또는 103c)을 안전하게 주차한다. 일부 구현예에서 차량(103a, 103b 또는 103c)은 부상이 발생하지 않은 경우 233에서 긴급 서비스에 연락하지 않고 236에 주차될 수 있다. 238에서 차량이 안전하게 주차될 수 없는 경우, 차량은 긴급 구조요원이 도착할 때까지 셧다운되고 또는 도 4에서 설명되는 바와 같이 차량(103a, 103b, 또는 103c)은 운전자, 승객에 의해, 또는 긴급 응답자 사용자 디바이스(106a) 및 차량(103a, 103b 또는 103c)의 자동 제어를 전달하기 위한 방법 및 시스템을 사용하여 긴급 응답자에 의해 수동으로 안전하게 이동될 수 있다.
AI 시스템(100)은 또한 지능형 사건 보고 시스템(iARS)을 지원한다. 사건 보고 시스템은, 차량이 주차 중이거나 공회전 중이거나 심지어 움직이는 동안, 외부 엔티티가 차량(103a, 103b 또는 103c)의 차체 또는 기타 부분에 탬퍼링하여 차량(103a, 103b 또는 103c)(도 1)에 손상을 입혔는지 여부를 검출한다. 오디오 및 비주얼 센서를 사용하여, 사건 보고 시스템은 접촉과 관련된 당사자를 기록할 수 있으며 사건 보고는 사용자 또는 소유자에게 발송되어 차량 손상 가능성을 알릴 수 있다. 이는 또한 차량, 승객, 보행자, 동물 및 오브젝트의 수와 부상 및 손상의 특성에 대한 평가를 제공할 수 있다.
사건 보고 시스템의 센서들은 센서들이 완전히 켜지는 사건 또는 활동이 검출될 때까지 최대 절전 상태(hibernation state)로 유지될 수 있다. 사건 보고 시스템을 활성화할 수 있는 활동은 차량들(103a, 103b 또는 103c) 중 어느 하나와 충돌하는 다른 차량, 차량들(103a, 103b 또는 103c)을 만지거나 손상시키는 인간 및/또는 동물, 차량들(103a, 103b 또는 103c)에 대한 파손 행위, 차량들(103a, 103b 또는 103c) 중 임의의 것의 도난, 및/또는 차량들(103a, 103b 또는 103c) 중 임의의 것에 떨어지는 외부 오브젝트를 포함되지만 이에 제한되지 않는다. 센서는 카메라(모노 및/또는 스테레오), 레이저 거리 측정기, 라이다, 자이로미터, 적외선 센서, 열 센서 등을 포함할 수 있다. 차량들(103a, 103b, 103c)의 처리 회로부(예를 들어, 컴퓨터 또는 기타 처리 디바이스)는 센서들을 제어하고 모니터링할 수 있다.
사건이 검출되면, 센서들로부터 데이터가 수집되고 사건 보고 시스템은 데이터를 평가하여 차량 주변에서 어떤 유형의 활동이 발생하는지 결정한다. 사건 보고 시스템은 사용자 디바이스(106) 상의 어플리케이션 인터페이스를 통해 활동 유형(예를 들어, 차량이 터치될 때, 다른 차량을 파손 및/또는 충돌할 때)을 사용자에게 알린다. 그런 다음 사용자는 시각, 사운드 및 열 센서로부터의 데이터를 보고 관계자에 연락할지, 차량들(103a, 103b 또는 103c)에 대한 기급 버튼을 누르거나, 아무 조치도 취하지 않거나, 이러한 응답의 조합을 결정할 수 있다. 사건 보고 시스템은 사용자에 의해 승인되면 사건에 대해 자동으로 관계자에 연락하도록 구성될 수 있다. 사용자는 정보를 얻고자 하는 활동을 정의할 수 있다. 예를 들어, 사용자는 도난 시도, 차량에 대한 이물질 간섭, 다른 차량이 차량에 충돌하는 경우 또는 이들의 조합을 보고하도록 사건 보고 시스템을 구성할 수 있다.
RMCC(109) 또는 차량들(103a, 103b 또는 103c) 중 어느 하나에 의해 사건이 검출되면, 관련된 차량(103a, 103b 또는 103c)의 비전 시스템은 주변의 사진 및/또는 비디오 녹화를 촬영하도록 지시되고 오디오 시스템은 검출 또는 간섭 시간 주위에 만들어진 소리를 기록한다. 사건 검출을 통해 수집된 데이터가 기록되고 분석되어 사건 보고서를 생성하는 데 사용될 수 있다. 이 보고는 사용자 디바이스(106)를 통해 사용자에게 발송된다. 사건 보고는 사건이 진행되는 동안 설치된 마이크를 사용하여 녹음된 오디오와 함께 잠재적인 가해자가 있는 사건의 스크린샷 및/또는 비디오를 포함할 수 있다. 사고 보고는 또한 긴급 대응자 사용자 디바이스(106a)로 발송될 수 있다.
도 3을 참조하면, AI 시스템(100)(도 1)의 차량들(103a, 103b, 103c)에서 구현될 수 있고 RMCC(109)에서 구현될 수 있는 사건 보고 시스템의 예를 도시하는 흐름도가 도시되어 있다. 303에서 시작하여, 사건 회피 시스템은 차량이 주차 위치, 정지 상태, 운전 중 또는 공회전 상태일 때 활성화된다. 306에서, 사고 보고 시스템은 센서들의 전력 소비를 줄이기 위해 절전 상태 또는 모드에 들어간다. 309에서 활동이나 사건이 검출되면, 사건 보고 시스템은 312에서 절전 상태를 종료하고 센서들의 전원이 완전히 켜진다. 예를 들어, 사건 회피 시스템은 차량(103a, 103b 또는 103c) 중 임의의 것의 움직임 또는 차량들(103a, 103b, 또는 103c) 중 임의의 것과의 충돌로 인한 충격을 검출할 수 있다. 사건 보고 시스템은 315에서 센서 데이터를 기록하기 시작한다. 센서 데이터는 예를 들어 1분과 같은 미리 정의된 간격 동안 기록될 수 있다.
활동 유형은 차량 시스템으로부터의 기록된 데이터 및 기타 표시에 기초하여 318에서 사건 보고 시스템에 의해 결정된다. 예를 들어, 비디오 이미지는 사건이 인간, 동물, 다른 차량 또는 기타 오브젝트에 의해 발생했는지 식별하는 데 사용될 수 있다. 움직임 및/또는 충격의 특성을 사용하여 사건의 유형을 결정할 수도 있다. 활동이 321에서 계속되면, 사건 보고 시스템은 사용자의 미리 정의된 선호도를 검토하여 사용자가 324에서 식별된 활동 유형에 대해 정보를 받기를 원하는지 결정한다. 만약 그렇다면, 보고 시스템은 사용자 디바이스(106)에 알림(notification)을 발송함으로써 활동 유형을 사용자에게 알린다. 사건 보고 시스템은 315에 센서 데이터를 계속 기록한다. 321에서 활동이 중지되면, 330에서 사건 보고가 생성되며, 이는 333에서 사용자 디바이스(106)를 통해 또는 이메일 또는 개인적으로 액세스되는 웹 어플리케이션을 통해 사용자에게 발송된다. 사건 보고의 형식은 사용자에 의해 미리 정의될 수 있으며 기록된 센서 데이터의 적어도 일부를 포함할 수 있다.
도 4를 참조하면, 도 1의 AI 시스템에서 구현될 수 있는 사고 또는 다른 긴급 상황의 경우 긴급 대응자에게 자율 주행 차량의 제어를 전달하는 방법의 예를 나타내는 흐름도가 제공된다. 이 방법은 예를 들어 사고나 긴급 상황 이후에 사건이 발생한 자동 차량을 안전하게 이동할 수 없다고 AI 시스템이 결정하는 경우에 적용될 수 있다.
단계(400)에서, AI 시스템(100)은 차량(103a, 103b 또는 103c)을 활성화시킨다. 단계(405)에서, 적어도 하나의 차량(103a, 103b 또는 103c)은 보고 가능한 사건에 처한다. 보고 가능한 사건은 도 2 및 3을 참조하여 설명된 바와 같이 보고 가능한 것으로 결정된 충돌을 포함할 수 있다. 보고 가능한 사건은 기타 긴급 상황도 포함할 수 있다. 단계(405)에서, 보고 가능한 사건이 검출되지 않으면, 단계(410)에서 AI 시스템(100)은 보고 가능한 사건에 대해 센서들을 지속적으로 모니터링한다.
단계(415)에서, 보고 가능한 사건이 결정되면, 보고 가능한 사건이 긴급 대응자에게 보고된다. 긴급 대응자는 경찰, 소방서, 견인 서비스 또는 기타 신뢰할 수 있는 긴급 대응자를 포함할 수 있다. 단계(420)에서, 긴급 대응자는 긴급 대응자에 속하는 사용자 디바이스(106a)와 같은 모바일 사용자 디바이스를 사용하여 사고와 관련된 차량(103a, 103b 또는 103c)과 10미터 이상 거리에 있는 가시선 내에 도착한다. 단계(430)에서, 사건에 관련된 차량(103a, 103b 또는 103c)의 긴급 대응자 오버라이드가 잠금 해제된다.
단계(440)에서, AI 시스템(100)은 긴급 대응자가 핸드셰이크(handshake) 기술을 포함한 기술을 사용하여 긴급 대응자 사용자 디바이스(106a), 자율 주행 차량 사용자 디바이스(106), 및 RMCC(109) 각각에 알려진 고유한 식별 번호를 사용하여 사고에 관련된 차량(103a, 103b 또는 103c)의 액세스 제어를 가능하게 한다. 고유 식별 번호는 RMCC(109)에 저장될 수 있다. 사건과 관련된 차량(103a, 103b 또는 103c)의 고유 식별 번호는 차량(103a, 103b 또는 103c)에 고유하다. 고유 식별 번호는 암호화될 수 있다. 긴급 대응자 디바이스(106a)에 대한 고유 식별 번호는 긴급 대응자 및 신뢰할 수 있는 식별 번호에 고유할 것이다. 사용자 디바이스(106) 및 RMCC(109)는 사용자 디바이스(106)가 긴급 대응자 사용자 디바이스(106a)로부터 긴급 대응자 사용자 디바이스(106a)가 신뢰되는 긴급 대응자에 속하는 것으로 식별하는 신뢰된 고유 ID 번호를 수신할 때 사용자 디바이스(106)로부터의 응답을 요구하지 않고 자동으로 사건에 관련된 차량(103a, 103b 또는 103c)의 제어를 양도하도록 프로그래밍되고 구성된다.
사기성 긴급 대응자 또는 해커에 의한 차량(103a, 103b 또는 103c) 제어의 무단 액세스로부터 보호하기 위해, 핸드셰이크 기술을 사용한 고유 식별 번호의 통신은 바람직하게는 암호화 기술을 사용하여 이루어져야 하며 고유 긴급 대응자 식별 번호는 식별되고 RMCC(109)에 신뢰할 수 있는 번호로 저장되어야 한다.
단계(450)에서, 긴급 대응자는 수동으로 또는 사용자 디바이스(106a)를 사용하여 사건과 관련된 차량(103a, 103b 또는 103c)을 대안적인 선호 위치로 발송한다. 단계(450)에서 차량(103a, 103b 또는 103c)은 사건이 발생한 위치로부터 자동화 또는 수동 방식으로 제2 위치 또는 대안적인 선호 위치로 이동된다. 차량(103a, 103b 또는 103c)이 다가오는 차량의 방해를 받지 않도록 하기 위해 대안적인 선호 위치가 선택될 수 있다.
단계(460)에서 사건에 관련된 차량(103a, 103b 또는 103c)의 제어는 RMCC(109)로 반환될 수 있고 단계(470)에서 사건에 관련된 차량(103a, 103b 또는 103c)은 셧다운 되지만 사고 또는 기타 긴급 상황이 처리된 후 견인이 필요한 경우 다시 시동될 수 있다.
기존의 방법과 달리, 사건과 관련된 차량(103a, 103b 또는 103c)의 자동 제어 이전 방법은 제어를 이전하거나 소유자가 긴급 대응자에게 제어를 거부하도록 허용하기 위해 차량 소유자로부터 응답을 수신하는 것을 요구하거나 이에 의존하지 않는다.
이제 도 5를 참조하면, 본 개시내용의 다양한 실시예에 따른 도 1의 AI 시스템(100)의 다양한 부분들을 구현하는 데 사용될 수 있는 처리 디바이스(500)의 개략적인 블록도가 도시되어 있다. 처리 디바이스(500)는 예를 들어, 차량들(103a, 103b, 103c), 사용자 디바이스들(106, 106a), 및/또는 RMCC(109)(도 1)를 지원하는 서버에 포함된 컴퓨터 및/또는 마이크로프로세서를 포함할 수 있다. 처리 디바이스(500)는 예를 들어 로컬 인터페이스(509)에 결합된 프로세서(503), 메모리(506), 및 데이터 저장소(512)를 갖는 적어도 하나의 프로세서 회로를 포함한다. 이를 위해, 처리 디바이스(500)는 예를 들어, 적어도 하나의 컴퓨터, 태블릿, 스마트 폰 등과 같은 처리 회로부를 포함할 수 있다. 로컬 인터페이스(509)는 예를 들어 어드레스/제어 버스를 수반하는 데이터 버스 또는 인식될 수 있는 다른 버스 구조를 포함할 수 있다. 처리 디바이스(500)는 예를 들어, 사용자 인터페이스와 같은 생성된 그래픽의 렌더링(rendering)을 위한 디스플레이 및 사용자 입력을 허용하는 예를 들어 키패드 또는 터치 스크린과 같은 입력 인터페이스를 포함할 수 있다. 또한, 처리 디바이스(500)는 처리 디바이스(500)가 다른 디바이스들과 통신 가능하게 결합하도록 하는 통신 인터페이스(미도시), 예를 들어 차량들(103a, 103b, 103c), 사용자 장치(106), 긴급 대응자 사용자 디바이스(106a), 및/또는 RMCC(109)를 지원하는 디바이스들 중 어느 하나에 포함된 통신 인터페이스를 포함할 수 있다. 통신 인터페이스는 예를 들어 블루투스 또는 다른 무선 주파수(RF) 연결과 같은 하나 이상의 무선 연결(들) 및/또는 하나 이상의 유선 연결(들)을 포함할 수 있다.
메모리(506)에는 프로세서(503)에 의해 실행 가능한 데이터 및 여러 컴포넌트들이 모두 저장된다. 특히, AI 시스템 어플리케이션(들)(515), 운영 체제(518), 및/또는 다른 어플리케이션(521)이 메모리(506)에 저장되고 프로세서(503)에 의해 실행가능하다. AI 시스템 어플리케이션(515)은 자율 주행 차량 동작, 모니터링 및 제어, 예를 들어 자율 승객 검색, 자율 주차, 지능형 충돌 방지, 지능형 사고 보고, 점진적인 지능형 경로 학습, 원격 객실 제어, 동시 다중 자율 주행 차량 시각 센서 융합, 동시 다중 자율 주행 차량 모니터링, 동시 다중 자율 주행 차량 제어 및/또는 분산 정보 공유를 지원하는 인공 지능 및 머신 러닝 기술에 기반한 어플리케이션을 포함할 수 있다. 인식될 수 있는 바와 같이 메모리(506)에 저장되고 프로세서(503)에 의해 실행가능한 다른 어플리케이션이 있을 수 있다는 것이 이해된다. 본 명세서에서 논의되는 임의의 컴포넌트가 소프트웨어의 형태로 구현되는 경우, 예를 들어 C, C++, C#, Objective C, Java®, JavaScript®, Perl, PHP, Visual Basic®, Python®, Ruby, Delphi®, Flash®, Matlab, 또는 기타 프로그래밍 언어 및 해당 라이브러리와 같은 다수의 프로그래밍 언어들 중 임의의 하나가 사용될 수 있다.
다수의 소프트웨어 컴포넌트들이 메모리(506)에 저장되고 프로세서(503)에 의해 실행 가능하다. 여기서, "실행 가능"이라는 용어는 궁극적으로 프로세서(503)에 의해 실행될 수 있는 형태의 프로그램 파일을 의미한다. 실행 가능한 프로그램의 예는 예를 들어 메모리(506)의 랜덤 액세스 부분에 로딩되고 프로세서(503)에 의해 실행될 수 있는 형식의 머신 코드로 번역될 수 있는 컴파일링된 프로그램, 메모리(506)의 랜덤 액세스 부분에 로딩될 수 있고 프로세서(503)에 의해 실행될 수 있는 오브젝트 코드와 같은 적절한 형식으로 표현될 수 있는 소스 코드, 또는 프로세서(503)에 의해 실행될 메모리(506)의 랜덤 액세스 부분에서 명령어를 생성하기 위해 다른 실행 가능한 프로그램에 의해 해석될 수 있는 소스 코드일 수 있다. 실행 가능한 프로그램은 예를 들어 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 하드 드라이브, 솔리드 스테이트 드라이브, USB 플래시 드라이브, 메모리 카드, 광 디스크, 예를 들어 콤팩트 디스크(CD) 또는 디지털 다목적 디스크(DVD), 플로피 디스크, 자기 테이프 또는 기타 메모리 컴포넌트를 포함하는 메모리(506)의 임의의 부분 또는 컴포넌트에 저장될 수 있다.
메모리(506)는 본 명세서에서 휘발성 및 비휘발성 메모리와 데이터 저장 컴포넌트를 모두 포함하는 것으로 정의된다. 휘발성 컴포넌트는 전력 공급이 없는 경우에 데이터 값을 유지하지 않는 컴포넌트다. 비휘발성 컴포넌트는 전력 공급이 없는 경우에도 데이터를 유지하는 컴포넌트다. 따라서, 메모리(506)는 예를 들어 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 하드 디스크 드라이브, 솔리드 스테이트 드라이브, USB 플래시 드라이브, 메모리 카드 리더기를 통해 액세스되는 메모리 카드, 연관된 플로피 디스크 드라이브를 통해 액세스되는 플로피 디스크, 광 디스크 드라이브를 통해 액세스되는 광 디스크, 적절한 테이프 드라이브를 통해 액세스되는 자기 테이프 및/또는 다른 메모리 컴포넌트 또는 이러한 메모리 컴포넌트 중 둘 이상의 조합을 포함할 수 있다. 또한, RAM은, 예를 들어, 정적 랜덤 액세스 메모리(SRAM), 동적 랜덤 액세스 메모리(DRAM), 또는 자기 랜덤 액세스 메모리(MRAM) 및 기타 그러한 디바이스를 포함할 수 있다. ROM은, 예를 들어, 프로그래밍 가능한 판독 전용 메모리(PROM), 소거 가능한 프로그래밍 가능한 판독 전용 메모리(EPROM), 전기적으로 소거 가능한 프로그래밍 가능한 판독 전용 메모리(EEPROM), 또는 기타 유사한 메모리 디바이스를 포함할 수 있다.
또한, 프로세서(503)는 다중 프로세서들(503)을 나타낼 수 있고 메모리(506)는 병렬 처리 회로들에서 동작하는 다중 메모리들(506)을 각각 나타낼 수 있다. 그러한 경우에, 로컬 인터페이스(509)는 다중 프로세서들(503) 중 임의의 2개 사이, 임의의 프로세서(503)와 임의의 메모리(506) 사이, 또는 임의의 2개의 메모리들(506) 사이 등의 통신을 용이하게 하는 적절한 네트워크일 수 있다. 로컬 인터페이스(509)는 예를 들어 로드 밸런싱을 수행하는 것을 포함하여 이러한 통신을 조정하도록 설계된 추가 시스템을 포함할 수 있다. 프로세서(503)는 전기적 또는 일부 다른 이용 가능한 구조일 수 있다.
AI 시스템 어플리케이션(들)(515), 운영 체제(518), 어플리케이션(들)(521), 및 본 명세서에 설명된 다른 다양한 시스템이 위에서 논의된 바와 같이 범용 하드웨어에 의해 실행되는 소프트웨어 또는 코드로 구현될 수 있지만, 대안으로서 동일한 것은 또한 전용 하드웨어 또는 소프트웨어/범용 하드웨어와 전용 하드웨어의 조합으로 구현될 수 있다. 전용 하드웨어로 구현되는 경우 각각은 여러 기술 중 하나 또는 조합을 사용하는 회로 또는 상태 머신으로 구현될 수 있다. 이러한 기술은 하나 이상의 데이터 신호의 적용 시 다양한 논리 기능을 구현하기 위한 논리 게이트를 갖는 개별 논리 회로, 적절한 논리 게이트를 갖는 주문형 집적 회로, 또는 기타 컴포넌트 등을 포함할 수 있지만 이에 제한되지는 않는다. 이러한 기술은 일반적으로 당업자에게 잘 알려져 있으므로 본 명세서에서 자세히 설명하지 않는다.
도 6은 예시적인 보행자 충돌 시나리오를 도시한다.
도 7은 예시적인 충돌 회피 시스템의 도면이다. 일부 예들에서, 예시적인 충돌 회피 시스템(700)은 차량들에 걸쳐 전개될 수 있다. 다양한 실시예에서, 충돌 회피 시스템(700)의 일부 또는 모든 요소들은 하나 이상의 자율 주행 차량에 구성된 하나 이상의 충돌 회피 시스템(700) 컴포넌트와 분산 방식으로 협력하기 위해 RMCC(109)에서 구현될 수 있다. 도시된 예에서, 충돌 회피 시스템(700)은 송신 차량(701)과 수신 차량(702) 사이에서 동작한다. 각 차량(701, 702)에는 이미징 디바이스(703), 이미지 프로세서(704) 및 송수신기(705)가 장착되어 있다. 차량은 또한 보행자 충돌 회피 시스템(PCAS)과 같은 자동 비상 제동 시스템(707) 뿐만 아니라 디스플레이(706)가 있는 차량 내비게이션 시스템을 포함하지만 이에 제한되지 않는 다른 기존의 차량 서브시스템을 장착할 수도 있다. 더 많거나 더 적은 차량들이 유사한 방식으로 장착될 수 있으며 시스템의 일부를 포함할 수 있다. 일부 실시예에서, RMCC(109)에 추가하여, 예를 들어 표지판, 교통 신호, 교량 등과 같은 지정된 기반 시설 위치는 유사한 방식으로 장착될 수 있으며 충돌 회피 시스템(700)의 일부 또는 전체를 포함할 수 있다.
예시적인 실시예에서, 이미징 디바이스(703)는 차량에 통합된 카메라이다. 시스템은 라이다, 레이더, 초음파 센서 등을 포함한 모든 센서 방식을 사용하도록 확장될 수 있다. 카메라, 라이더, 레이더 및/또는 초음파 센서의 조합과 같은 다중 모드 센서 시스템의 융합으로 보다 강력한 시스템이 실현될 수 있다. 많은 양의 데이터를 생성하는 센서 방식의 경우 데이터 압축이 필요할 수 있다. 따라서 시각 센서를 사용하는 경우, 비디오 압축/압축 해제는 차량 및/또는 인프라 간의 효율적인 통신을 달성하는 데 중요하다. 독립 실행형이거나 인기 있는 카메라에 내장된 모든 최신 비디오 코딩 표준 또는 기술이 사용될 수 있다.
예시적인 실시예에서, 이미지 프로세서(704)는 Nvidia Drive PX 2 프로세서이다. 이미지 프로세서(704)의 제어를 위한 로직은 하드웨어 로직, 소프트웨어 로직, 또는 하드웨어와 소프트웨어 로직의 조합으로 구현될 수 있다는 것을 이해해야 한다. 이와 관련하여, 이미지 프로세서(704)는 디지털 신호 프로세서(DSP), 마이크로프로세서, 마이크로제어기, 또는 전술한 방법을 구현하는 소프트웨어로 프로그래밍된 다른 프로그래밍 가능한 디바이스 중 임의의 것일 수 있거나 이를 포함할 수 있다. 대안적으로 제어기는 다른 논리 디바이스, 예를 들어 필드 프로그래밍 가능 게이트 어레이(FPGA), 복잡한 프로그래밍 가능 논리 디바이스(CPLD) 또는 주문형 집적 회로(ASIC)이거나 이를 포함한다는 것을 이해해야 한다. 이미지 프로세서(704)가 기능을 수행하거나 기능을 수행하도록 구성된다고 언급될 때, 이미지 프로세서(704)는 (소프트웨어, 논리 디바이스, 또는 이들의 조합과 같은) 적절한 로직으로 그렇게 하도록 구성된다는 것을 이해해야 한다.
예시적인 실시예에서, 차량들 사이의 무선 네트워크는 ITSA(Intelligent Transportation System of America) 및 802.11p WAVE 표준을 준수하고 US DOT에서 인증한 기본 DSRC 송수신기 705를 기반으로 한다. 기본적으로 DSRC 장비는 기본 안전 메시지(BSM)을 주기적으로 발송한다. 메시지는 차량 상태 및 어플리케이션 정보를 포함한다. DSRC는 차량과 다른 통신 프로토콜 사이에 무선 데이터 링크가 어떻게 설정될 수 있는지에 대한 예시일 뿐이다.
도 8은 송신 차량에 의해 데이터를 공유하기 위한 예시적인 프로세스를 도시하는 흐름도이다. 이미지 데이터는 송신 차량의 이미징 디바이스를 사용하여 801에서 캡처된다. 이미지 데이터는 연속적으로, 주기적으로 또는 트리거 신호에 응답하여 캡처될 수 있다. 예시적인 실시예에서, 이미징 디바이스는 카메라이지만 다른 유형의 이미징 디바이스가 본 개시에 의해 고려된다.
그 다음, 이미지 데이터는 보행자, 다른 차량 또는 다른 잠재적 위험과 같은 관심 오브젝트를 검출 및/또는 식별하기 위해 802에서 분석된다. 예시적인 실시예에서, 오브젝트는 YOLO(You Only Look Once) 오브젝트 검출 알고리즘을 사용하여 검출된다. YOLO 오브젝트 검출에 대한 자세한 내용은 "YOYL09000: Better, Faster, Stronger' ArXiv:1612.08242 Dec. 2016"을 참조하며, 이는 본 명세서에 참고로 포함된다. 다른 오브젝트 검출 방법도 본 개시의 범위 내에 있다는 것을 쉽게 이해할 수 있다.
다음으로, 검출된 오브젝트에 대한 데이터를 다른 차량과 공유할지 여부가 결정된다. 이와 관련하여, 오브젝트의 위치는 이미지 데이터로부터 803에서 결정된다. 오브젝트의 이 제1 위치는 송신 차량의 위치와 관련하여 정의된다. 즉, 송신 차량은 이 제1 위치에 대한 기준 프레임 역할을 한다. 이미징 데이터로부터 오브젝트까지의 거리를 결정하기 위한 기술은 당업계에 쉽게 알려져 있다. 예를 들어, 차량이 횡단보도를 감지하면 다음과 같이 보행자 거리 I가 추정된다:
여기서 
는 초점 거리이고 
와 
는 미터 단위의 실제 보행자 높이와 이미지 픽셀 단위의 높이이다.
위치를 포함한 오브젝트 정보를 주변 차량과 공유하기 전에 두 가지 다른 기준이 적용된다. 먼저, 804에 표시된 바와 같이 주변 차량이 관심 차량(즉, 오브젝트 정보가 발송될 차량)인지 여부를 결정하기 위해 기준이 적용될 수 있다. 예시 기준은 오브젝트 정보가 송신 차량 옆이나 뒤에 위치한 차량에만 전송되어야 한다는 것이다. 송신 차량 앞의 차량은 관심 대상이 아니며 오브젝트 정보가 발송되지 않는다. 다른 예시 기준은 관심 차량이 송신 차량과 같은 방향으로 이동해야 하고 및/또는 송신 차량에서 2차선 이상 떨어져 있지 않아야 한다는 것이다. 다른 유형의 차량 기준이 본 개시에 의해 고려된다.
둘째, 오브젝트가 805로 표시된 것처럼 수신 차량에 관심이 있는지 여부를 결정하기 위해 기준이 적용이다. 예를 들어, 송신 차량에서 미리 정의된 거리(예를 들어, I < 50미터) 내에 있는 오브젝트만 관심 오브젝트로 간주된다. 미리 정의된 거리를 벗어나는 오브젝트는 관심 대상이 아니며 이러한 오브젝트에 대한 정보는 다른 차량과 공유되지 않는다. 유사하게, 다른 유형의 오브젝트 기준이 본 개시에 의해 고려된다.
각각의 관심 차량에 대해, 오브젝트 정보는 무선 데이터 링크를 통해 806에서 송신 차량에서 관심 차량(즉, 수신 차량)으로 발송된다. 예시적인 실시예에서, 무선 네트워크는 ITSA(Intelligent Transportation System of America) 및 802.11p WAVE 표준을 준수하는 기본 DSRC 송수신기를 기반으로 한다. 이 경우 오브젝트 정보는 DSRC 링크를 통해 기본 안전 메시지(BSM)를 사용하여 주기적으로 송신된다. 다시 말하지만, 관심 오브젝트에 대한 정보만 발송되면 된다.
또한, 관심 오브젝트에 대한 이미지 데이터(예를 들어, 비디오 세그먼트)가 관심 차량으로 발송된다. 이를 위해, 송신 차량은 송신 차량과 수신 차량 사이에 또 다른 2차 데이터 연결을 설립한다. 일 예에서, 송신 차량은 관심 차량과 TCP 연결을 설립할 수 있다. 캡처된 모든 이미지 데이터를 발송하는 대신, 송신 차량은 관심 오브젝트에 해당하는 데이터만 발송할 수 있다. 예를 들어, 송신 차량은 오브젝트 검출 알고리즘에 의해 지정된 대로 오브젝트를 프레이밍하는 경계 박스에 포함된 이미지 데이터를 발송한다. 이미지 데이터를 발송하기 전에 이미지 데이터는 바람직하게는 807에 표시된 대로 압축된다. 예를 들어 Motion JPEG와 같은 압축 알고리즘을 사용하여 이미지 데이터가 압축될 수 있다. 다양한 유형의 압축 방법이 본 개시의 더 넓은 양태에 속한다. 일부 경우든, 오브젝트에 대한 이미지 데이터는 808에서 송신 차량에 의해 수신 차량으로 발송된다. 이미지 프로세서(704)에 의한 처리의 관련 단계만이 도 8과 관련하여 논의되지만, 시스템의 전체 동작을 제어 및 관리하기 위해 다른 소프트웨어 구현 명령오가 필요할 수 있음을 이해해야 한다.
도 9는 수신 차량에 의한 데이터 융합을 위한 예시적인 프로세스를 도시하는 흐름도이다. 표 1은 아래에 설명된 시스템 파라미터 계산에 사용되는 변수를 정의한다.
보고된 위치는 임의의 거리 단위로 측정될 수 있다. 예를 들어 UTM(Universal Transverse Mercator) 좌표 형식에서 사용되는 미터 단위일 수 있다. 또한 카메라 위치는 차량 기준 위치로 간주된다. 두 명 이상의 보행자들이 검출되면, 각 보행자에 대해 동일한 계산이 수행될 수 있다. 한편, 인접하거나 근접한 두 보행자들을 한 명의 보행자로 결합하는 것도 가능하다. 여기서 설명 목적으로만 단일 횡단보도에 초점을 맞춘다. 각 차량은 에고 차량(ego-vehicle)에 유용한 정보를 공유할 수 있는 모든 차량이 포함된 관심 차량(VoI) 리스트를 갖는다.
오브젝트 정보는 901에서 수신 차량에 의해 수신된다. 수신 차량이 수신한 오브젝트 정보는 두 차량들 사이의 거리를 포함할 수 있다. 예를 들어, 교환되는 정보는 차량들 사이의 수직 거리 및 수평 거리를 포함할 수 있다. 이러한 방식으로, 수신 차량은 자신과 관련하여 송신 차량의 위치를 결정할 수 있다. 위에서 언급된 바와 같이, 이 정보는 DSRC 링크를 통해 발송된 메시지를 사용하여 주기적으로 교환될 수 있다. 다른 유형의 무선 링크가 또한 차량에서 사용될 수 있다.
다음으로, 오브젝트의 위치는 수신 차량에 의해 902에서 결정된다. 오브젝트의 이 위치는 수신 차량의 위치와 관련하여 정의된다. 즉, 수신 차량은 오브젝트의 이 제2 위치에 대한 기준 프레임 역할을 한다. 예시적인 실시예에서, 이 제2 위치는 아래에서 더 설명되는 바와 같이 송신 차량에 의해 발송된 오브젝트의 제1 위치 및 두 차량 사이의 거리를 사용하여 도출된다.
오브젝트의 위치로부터, 안전 문제는 903에서 수신 차량에 의해 평가될 수 있다. 일 실시예에서, 수신 차량은 도 10에 도시된 바와 같이 오브젝트와 수신 차량 사이의 예상 충돌 포인트 D를 계산한다. 수신 차량은 또한 다음과 같이 충돌까지의 거리(DTC) 및/또는 충돌까지의 시간(TTC)을 계산할 수 있다:
여기서 S A 는 차량 A의 속도(예를 들어, 초당 미터)이다. 이러한 메트릭은 단지 예시일 뿐이다.
오브젝트의 제2 위치에 기초하여, 904에 표시된 바와 같이 수신 차량에서 안전 조치가 구현될 수 있다. 예를 들어 예상 충돌 포인트가 있다고 가정하면, 안전 문제가 제기되고 수신 차량의 운전자에게 경고(warning)가 발행될 수 있다. 경고는 예상 충돌 전에 고정된 간격(예를 들어, 5초)으로 발행될 수 있다. 경고는 시각적, 청각적 및/또는 촉각적 표시기일 수 있다. 제기된 안전 문제에 대응하여 수신 차량은 차량의 자동 제동과 같은 자동화된 예방 조치를 구현할 수도 있다.
추가적으로, 검출된 오브젝트에 대한 비디오가 수신 차량에 의해 905에서 수신된다. 수신된 비디오는 906에서 수신 차량에 의해 캡처된 비디오와 융합될 수 있다. 907에서 융합된 비디오가 표시된다. 도 10의 예를 계속하면 가려진 보행자의 이미지가 수신 차량에 의해 캡처된 비디오에 통합될 수 있다. 데이터를 융합하는 한 가지 기술이 아래에 설명되어 있다.
도 10은 예시적인 충돌 시나리오의 개략도이다. 차량 B가 비디오 스트리밍에 대한 요청을 수신한 후, 차량 B는 관심 영역(RoI)이라고도 하는 이미지의 검출된 보행자 영역만을 공유한다. RoI를 차량 A로 발송하기 전에 RoI는 비디오 스트림으로 압축된다. 차량이 비디오 스트림의 제1 이미지를 수신하면, 그것이 로컬 카메라 수평 시야각(HFOV) 내에 있는지 확인해야 한다. 따라서 각도 ∠a는 도 10과 같이 계산된다.
여기서
도 11은 예시적인 핀홀 모델 및 이미지 트랜스포즈 계산을 나타내는 도면이다. 도 11에 도시된 바와 같이, 카메라 핀홀 모델을 사용하여 오브젝트는 다음과 같이 카메라 B 이미지 평면에서 카메라 A 이미지 평면으로 전송된다:
(7)
(8)
검출된 오브젝트를 카메라 A 이미지에 부과한 후, 융합된 이미지는 907에서 디스플레이 상에서 운전자에게 제공된다. 이 프로세스는 차량 B가 검출된 오브젝트 정보 공유를 중단할 때까지 반복된다. 불필요한 정보 공유를 피하기 위해 차량 B는 오브젝트가 더 이상 차량 앞에 없고 다른 차량에 보이면(예를 들어, r> w/2) 검출된 오브젝트 정보 공유를 중지한다. 공유 센서들로부터의 정보가 다른 레이트로 업데이트될 수 있다는 점에 유의하는 것이 중요하다. 그 결과, 차량들 사이의, 차량들에 걸쳐, 차량과 실시예 RMCC 사이의 시간(클록) 동기화가 필요하다. 이미지 프로세서(704)에 의한 처리의 관련 단계들만이 도 10 내지 11에 의해 묘사된 예의 구현과 관련하여 논의되며 시스템의 전체 동작을 제어하고 관리하기 위해 다른 소프트웨어 구현 명령어가 필요할 수 있다는 것을 이해해야 한다.
충돌 회피 시스템(700)의 예시적인 실시예에 대한 실험적 설정 및 결과가 이제 설명된다. 실험 설정은 두 대의 차량들(예를 들어, SUV 및 세단(Sedan))로 구성된다. 각 차량에는 Cohda(MK5 DSRC 송수신기, 글로벌 네이게이션 위성 시스템 GNSS) 및 대시보드 카메라(DashCam)가 설치된다. DSRC 송수신기에는 GNSS가 장착되어 있지만, 이 실시예는 DSRC 송수신기에서 사용되는 독립형 GNSS와 비교할 때 RTKGNSS가 고정밀 위치 추정을 제공하기 때문에 별도의 실시간 운동학(RTK) GNSS를 사용하기로 선택하였다. 이 실험에서는 저비용 기성 디바이스인 Emlid Reach RTK GNSS 수신기가 사용되었다. 수집된 데이터를 저장하기 위해 각 차량의 모든 센서들은 로봇 동작 시스템(ROS)이 설치된 랩탑에 연결된다. 두 차량들의 랩탑은 데이터 수집 중에 DSRC 송수신기를 통해 연결되어 랩탑 클록을 동기화한다. 또한 실험실에서 실험을 수행할 때 사용 가능한 대역폭을 확인하고 채널 성능을 에뮬레이션하기 위해 두 차량들 간에 대역폭 테스트 실험을 수행하였다.
RTK-GNSS 출력은 5Hz의 최대 한계로 설정되었고 카메라는 초당 24프레임(FPS)으로 설정되었다. DSRC 데이터 레이트 채널은 6Mbps로 설정되었다. 실험은 최대 55km/h(kph)의 속도 제한이 있는 미시간 주립 대학교 캠퍼스와 주변 지역에서 수행되었다. 모든 실험들은 낮에 진행되었다. 제1 부분에서, 0과 55kph 사이 범위의 속도로 주행하면서 채널 대역폭 테스트가 수집되었고; 및 두 차량들의 DSRC 송수신기 사이의 거리는 5 내지 100미터범위이다. 제2 부분에서, 테스트 팀에 의해 보행자 충돌 전 시나리오가 시뮬레이션되고 조정되었다.
연구실 설정에서, 두 대의 ROS 지원 데스크탑 PC가 사용되었고 고정 DSRC 송수신기와 연결되었다. 두 송수신기들 사이의 거리는 5미터로 고정된다. 이동하는 차량을 에뮬레이션하기 위해, 도로 테스트 결과에 기초하여, 채널에 5 내지 15밀리초 지연의 임의 지연이 추가되었고 최대 채널 대역폭은 1.8Mbps로 설정되었다. 두 PC들 모두 코어 17 프로세서를 갖고 한 대의 PC는 NVIDIA GTX 1080ti GPU가 탑재되었다. GPU 지원 PC는 차량 B를 나타내고 다른 PC는 차량 A를 나타낸다. 제안된 시스템 컴포넌트들은 ROS 노드들로서 구현되었다. 연구실 실험에서는 YOLO(You Only Look Once) 오브젝트 검출 알고리즘을 사용하여 VOC(Visual Object Classes) 데이터 세트를 사용하여 보행자 검출을 위한 알고리즘이 훈련되었다. 또한 비디오/이미지 인코딩/디코딩 기법으로 Motion JPEG(MJPEG)가 사용되었다.
도 12 및 13은 각각 DSRC 대역폭 및 패킷 지연 테스트 결과의 예시적인 샘플을 도시한다. 이 샘플 결과를 생성하는 테스트 동안 두 차량들 사이의 거리는 90 내지 120m이고 속도는 55km/h였다. 평균 대역폭과 지연은 각각 2.85Mbps와 34.5ms였다. DSRC 장비는 최소한의 지연으로 고품질 비디오 스트림을 전달할 수 있음이 발견되었다. 유사한 결과가 P. Gomes 등의 "V2V 비디오 스트리밍을 통해 차량을 투명하게 만들기" 지능형 교통 시스템 13에 대한 IEEE 트랜잭션(2012)에서 발견된다.
오브젝트 검출 알고리즘 YOLO는 수용 가능한 것으로 간주되는 8 내지 10 FPS를 처리할 수 있었다. 그러나 자동차 지향 하드웨어를 사용하여 더 높은 처리를 달성하는 것이 가능하다. 앞서 논의한 바와 같이 보행자를 검출한 후 보행자의 거리와 각도가 추정된다. 관심 영역(ROI)은 원본 이미지에서 추출되어 비디오/이미지 인코더로 발송된다. M-JPEG 인코더는 각 이미지를 JPEG 이미지로 개별적으로 압축한다. 이 압축 방법은 다른 고급 비디오 압축 기술에 비해 상당한 시간을 절약한다. 평균 압축 이미지 크기는 전체 이미지를 공유하는 것보다 훨씬 작은 3.5KB이다. 예를 들어 10FPS에서 640x480의 고품질 H.264 비디오 스트림에는 1.029Mbps가 필요한 반면 10FPS에서 선택적 공유에는 280Kbps만 필요하다. 그러나 일부 실시예는 최상의 정확도를 달성하기 위해 GNSS 업데이트 레이트와 유사하게 비디오 스트리밍 속도를 5Hz로 제한할 수 있다. 보행자 거리 l 및 ∠
는 8 내지 10Hz의 검출 레이트로 발송된다.
도 14는 전체 지연이 최종 융합된 이미지의 디스플레이를 포함하는 2개의 연속 이미지 융합들 사이에 있는 모든 동작 단계에서의 지연을 도시한다. 평균 전체 지연은 주로 GNSS 업데이트가 5Hz로 제한된다는 사실 때문에 5Hz의 비디오 공유 레이트와 유사한 200ms이다. 융합 프로세스 지연 평균은 33ms이며 원격 및 로컬 데이터 간의 계산, 융합 및 동기화로 인한 지연을 포함한다. 한편 평균 채널 오브젝트 검출 지연들은 각각 10ms 및 122ms이다. 융합, 채널 및 물체 검출의 합이 전체 지연보다 작음이 분명하여, a) 검출 정확도를 감소시키지 않으면서 물체 검출 처리 속도를 향상시키고 b) GNSS 레이트를 증가시킴으로써 200ms 지연이 정보 공유 레이트를 증가시킬 수 없음을 시사한다.
표 2는 2.4초 동안 지속된 충돌 전 상호작용 동안 수행된 계산을 보여준다. 그 상호작용 중에 운전자는 횡단보도에 대해 경고를 받는다. 융합된 이미지의 샘플은 도 15A 내지 15F에 도시되어 있다.
도 16은 예시적인 RMCC에 의해 다수의 자율 주행 차량들을 감독하고 사건 위험을 모니터링하기 위한 예시적인 프로세스를 도시하는 흐름도이다. 다양한 예에서, 도 16에 의해 도시된 프로세스는 AI 시스템(100)(도 1)의 차량들(103a, 103b 또는 103c)에서 구현될 수 있고 RMCC(109)에서 구현될 수 있다. 도 16에 도시된 예시적인 원격 모니터링 및 제어(RMCC) 프로세스는 프로세서(503)(도 5)의 관점에서 제공된다. 도시된 프로세스는 프로세서(503)가 다수의 자율 주행 차량들로부터 센서 데이터를 캡처하는 단계(1602)에서 시작한다. 다양한 예들에서, 센서들은 다수의 차량들에 걸쳐 분포될 수 있다. 일부 실시예에서, 센서 데이터가 차량에 의해 RMCC로 발송되기 전에 융합된 센서 데이터가 압축될 수 있다. 예시적인 예에서, 차량 및 RMCC는 차량에서 RMCC로 송신되는 센서 데이터의 양을 제한하기 위해 데이터 통신 및 네트워킹 분야의 기술을 사용할 수 있다. 예를 들어, 하나 이상의 차량은 RMCC로 발송된 센서 데이터 스트림에서 중복된 센서 데이터를 제거하기 위해 인공 지능으로 구성될 수 있다. 이러한 예에서, 차량은 주기적 간격으로 또는 키 센서가 값을 변경할 때 센서 데이터 업데이트를 발송할 수 있다.
다양한 실시예 구현의 설계 및 사용을 설명하는 예시에서, RMCC는 다수의 차량들로부터 RMCC에 의해 수신된 센서 데이터에 기초하여 다수의 차량들을 동시에 모니터링 및 제어하도록 구성될 수 있다. 일부 예에서, RMCC는 RMCC의 통제 하에 동작하는 다수의 차량들의 각각의 차량에 대한 독립적인 사건 위험 레벨을 결정할 수 있다. 실시예 RMCC는 안전하지 않은 사건 위험 레벨에서 동작하는 것으로 RMCC에 의해 결정된 다수의 차량들 중 하나 이상의 전체 또는 부분 제어를 가정할 수 있다. 일부 실시예에서, RMCC는 안전하지 않은 사건 위험 레벨을 가진 차량에서 하나 이상의 안전 조치 또는 권고 권장 사항을 구현하는 것을 기초로 안전한 사건 위험을 복원하기 위해 RMCC가 안전하지 않은 사건 위험을 결정한 하나 이상의 차량들의 전체 또는 부분 제어를 가정할 수 있다.
예시적인 예에서, RMCC는 각각의 차량에 대해 결정된 사건 위험이 안전, 위험 및 안전하지 않은 적어도 세 가지 범위에 있는 것으로 특성화하도록 구성된다.
안전한 사건 위험 레벨에서 동작하는 모니터링된 자율 주행 차량들의 예시적인 예에서, RMCC는 각각의 차량에 대해 개별적으로 사건 위험을 결정하고 사건 위험이 안전하지 않은 것으로 변경되면 차량을 제어하고, 안전한 사건 위험이 복원되면 차량에 대한 제어를 반환하는 것을 기반으로 개별 자율 주행 차량에 대한 동시 모니터링을 계속할 것이다. RMCC에 의해 안전한 것으로 특징지어지는 시나리오는 정상 상태라고 할 수 있으며, 하나 이상의 사용자에게 '녹색' 상태로 표시되거나 지시될 수 있다.
위험한 사건 위험 레벨에서 동작하는 모니터링된 자율 주행 차량들의 다양한 예에서, RMCC는 차량에 위험한 사건 위험을 경고하기 위해 RMCC가 사건 위험이 위험하다고 결정한 하나 이상의 차량에 권고 조치를 발행하거나 권고 권고를 발송할 수 있다. 예시적인 예에서 위험한 사건 위험은 주의가 권고되거나 부분 제어가 구현될 수 있는 증가된 위험을 제시할 수 있다. RMCC에 의해 위험한 것으로 특징지어지는 시나리오는 주의 또는 권고 상태로 지칭될 수 있으며, 한 명 이상의 사용자에게 '노란색' 상태로 표시되거나 지시될 수 있다. 하나 이상의 차량에 대한 위험한 사건 위험에 대응하여 RMCC가 취하는 조치는 하나 이상의 차량을 동시에 부분적으로 제어하는 것(예를 들어, 속도 제한), 제어 레벨을 완전한 제어로 상승시키는 이벤트에 대한 민감도를 증가시키는 것(예를 들어, 중앙선이나 갓길을 횡단하는 차량), 차량이 위험한 사건 위험에 적응하도록 경고하거나 관심 대상을 차량 제어기 또는 탑승자에게 제시하기 위해 차량 제어기에 메시지(예를 들어, 차량의 경로에서 횡단을 준비하는 보행자의 이미지)를 발송하는 것을 포함할 수 있다.
안전하지 않은 사건 위험 레벨에서 동작하는 모니터링된 자율 주행 차량들의 일부 예에서, RMCC는 안전하지 않은 사건 위험에서 동작하고 있던 하나 이상의 차량에 대한 사건 위험 레벨을 줄이기 위해 RMCC가 사건 위험이 안전하지 않다고 결정한 하나 이상의 차량에서 동시에 안전 조치를 구현할 수 있다. 안전하지 않은 사건 위험은 차량 탑승자의 생명이나 부상의 심각하고 임박한 위험을 나타낸다. 예시적인 예에서, RMCC에 의해 안전하지 않은 것으로 특징지어지는 시나리오는 하나 이상의 사용자에게 '빨간색' 상태로 표시되거나 지시될 수 있다. 하나 이상의 차량에 대한 안전하지 않은 사건 위험에 대응하여 RMCC가 취하는 조치는 차량들 간의 분리를 증가시키기 위해 하나 이상의 차량의 속도를 줄이는 것, 충돌을 피하기 위해 하나 이상의 차량을 조종하거나 또는 충돌을 피하기 위해 하나 이상의 차량을 자동으로 제동하는 것을 포함할 수 있다.
일부 실시예에서, RMCC는 RMCC의 통제 하에 동작하지 않는 하나 이상의 자율 주행 차량으로부터 센서 데이터를 수신, 처리 및 조치할 수 있다. 예시적인 예에서, RMCC의 통제 하에 동작하는 차량은 센서 데이터를 RMCC로 발송할 수 있지만, RMCC의 통제 하에 있지 않은 그러한 차량은 RMCC에 의한 제어를 수락할 수 없을 수 있다. 예를 들어, RMCC의 통제 하에 있는 차량은 RMCC의 통제 하에 있지 않은 다른 차량의 동작 거동을 기반으로 사고 위험을 줄이기 위해 조언을 받거나 제어될 수 있다.
일부 실시예에서, 사고 위험 마진은 이력 센서 데이터(historical sensor data)로 구성된 인공 지능에 의해 결정될 수 있다. 예를 들어, 센서들이 장착된 테스트 차량은 특정 도로 또는 특정 조건에서 차량 이동을 나타내는 센서 데이터를 기반으로 신경망 또는 의사결정 트리가 훈련되도록 할 수 있다. 이러한 테스트 데이터는 다양한 라이브 자율 주행 차량 운전 조건에 대해 RMCC에 의해 결정된 사건 위험과 관련하여 최소 안전 위험 한계 임계값 차이를 예측하는 데 사용될 수 있다. 예시적인 예에서, 다양한 실시예 RMCC는 사건 위험, 사건 위험 마진 및 최소 안전 위험 마진 임계치의 함수로 특징지어지는 각 차량에 대한 사건 위험을 안전, 위험 또는 안전하지 않은 것으로 결정할 수 있다.
도시된 방법은 1604에서 RMCC가 다수의 차량들로부터 수신된 센서 데이터에 기초하여 다수의 자율 주행 차량들의 위치를 결정하는 것으로 계속된다. 1606에서, RMCC는 센서 데이터에 기초하여 오브젝트의 위치를 결정합니다. 센서 데이터를 사용하여 RMCC는 1608에서 차량 속도를 결정한다. 1610에서, RMCC는 차량 위치, 오브젝트 위치 및 차량 속도에 기초하여 다수의 차량들 각각에 대한 사건 위험을 결정한다. 일부 예에서, 사건 위험은 오브젝트 또는 차량이 다수의 차량들 중 하나 이상에 관심이 있는지 여부의 함수로 결정될 수 있다.
1612에서 RMCC는 이력 센서 데이터로 구성된 인공 지능에 의해 결정된 사건 위험 마진의 함수로 각 차량에 대해 평가된 사건 위험을 기초로 사건 위험 레벨이 다중 자율 주행 차량들의 각 차량에 안전한지 결정한다. 각 차량에 대한 사건 위험 레벨이 안전하고 단계(1614)에서 RMCC가 자율 주행 차량을 제어하지 않는 경우 프로세스는 1602에서 계속된다. 사건 위험 레벨이 안전하고 단계(1614)에서 RMCC가 자율 주행 차량을 제어하고 있는 경우, RMCC는 1616에서 차량에 제어를 반환하고 프로세스는 1602에서 계속된다.
단계(1612)에서, 사건 위험 레벨이 안전하지 않은 경우, RMCC는 단계(1618)에서 이력 센서 데이터로 구성된 인공 지능에 의해 결정된 사건 위험 마진의 함수로 각 차량에 대해 평가된 사고 위험을 기초로 사건 위험 레벨이 위험한지 결정한다. RMCC가 단계(1618)에서 하나 이상의 차량에 대한 사건 위험 레벨이 위험하다고 결정하면, RMCC는 1620에서 하나 이상의 차량에 발송된 권고 사항 메시지를 생성하기 위해 권고를 처리한다. 다양한 예들에서, 주의의 권고 사항은 속도를 줄이도록 자율 주행 차량에 대한 제안을 포함할 수 있거나, 예를 들어 차량의 시야에서 가려진 보행자와 같은 오브젝트의 이미지를 포함할 수 있다.
1618단계에서 RMCC가 사건 위험 레벨이 위험하지 않다고 결정한 경우, RMCC는 단계(1622)에서 이력 센서 데이터로 구성된 인공 지능에 의해 결정된 사건 위험 마진의 함수로 각 차량에 대해 평가된 사건 위험을 기초로 각각의 차량에 대한 사건 위험 레벨이 안전하지 않은지 결정한다. RMCC가 1622에서 적어도 하나의 차량에 대한 사건 위험 레벨이 안전하지 않다고 결정하면, 1624에서 RMCC는 적어도 하나의 차량을 제어하고, 방법은 1602에서 프로세서(503)가 다수의 자율 주행 차량들로부터 센서 데이터를 캡처하는 것으로 계속된다. 예시적인 예에서, 실시예 RMCC는 위험 레벨이 안전하지 않은 복수의 차량들 중 하나 이상의 동시 제어를 가정하여 복수의 자율 주행 차량들 각각에 대한 사건 위험을 동시에 결정할 수 있다. 예를 들어, 실시예 RMCC는 100대의 차량들을 모니터링할 수 있으며, 주어진 시간에, 아마도 100대의 차량들 중 50대가 50대의 차량들 각각에 대해 RMCC에 의해 결정된 안전하지 않은 사건 위험 레벨에 기초하여 RMCC에 의해 제어가 필요한 것으로 결정될 수 있다.
도 17은 예시적인 RMCC에 의해 다수의 자율 주행 차량들에 대한 사건 위험을 완화하기 위한 예시적인 프로세스를 도시하는 흐름도이다. 다양한 예에서, 도 17에 의해 도시된 프로세스는 AI 시스템(100)(도 1)의 차량들(103a, 103b 또는 103c)에서 구현될 수 있고 RMCC(109)에서 구현될 수 있다. 도 17에 도시된 예시적인 원격 모니터링 및 제어(RMCC) 프로세스는 프로세서(503)(도 5)의 관점에서 제공된다. 예시된 프로세스는 프로세서(503)가 라이브 센서 데이터 및 이력 센서 데이터의 함수로서 결정된 안전 위험 마진을 예측하도록 임베디드 인공 지능을 구성하는 단계(1702)에서 시작한다. 프로세스는 RMCC가 다수의 자율 주행 차량들로부터 라이브 센서 데이터를 캡처하는 단계(1704)에서 계속된다. 1706에서, RMCC는 인공 지능과 라이브 센서 데이터를 기반으로 안전 위험 마진을 결정한다.
단계(1708)에서, RMCC는 인공 지능 및 라이브 및 이력 센서 데이터에 기초하여 다수의 자율 주행 차량들 각각에 대한 차량당 사건 위험을 결정한다. RMCC가 단계(1710)에서 모든 차량들에 대한 사건 위험 레벨이 위험하지 않거나 안전하지 않다고 결정하면, 프로세스가 종료되고, 그렇지 않으면 RMCC는 1712에서 인공 지능에 의해 결정된 적절한 안전 조치를 선택하여 다수의 자율 주행 차량들 중 적어도 하나에 대한 위험하거나 안전하지 않은 사건 위험을 완화한다. 단계(1714)에서 RMCC는 1716에서 선택된 안전 조치를 구현할 차량을 선택한다. 다양한 예에서, 안전 조치는 자동 차량 제동, 속도 감소 또는 잠재적 충돌로부터 멀어지는 조향을 포함할 수 있다.
1718에서, RMCC는 사건 위험 레벨을 안전한 마진으로 줄이기 위해 더 많은 자율 주행 차량들이 안전 조치를 구현할 필요가 있는지를 결정합니다. 더 많은 차량들에 안전 조치가 필요하면, RMCC는 1714에서 차량을 계속 선택하여 1716에서 안전 조치를 구현한다. 모든 차량들이 안전 조치를 구현한 경우, RMCC는 1720에서 모든 차량들의 사건 위험 레벨이 안전 마진으로 감소되었는지 결정한다. RMCC가 1720에서 모든 차량들이 안전한 위험 사건 레벨에서 동작하지 않는다고 결정하면 프로세스는 1708에서 계속된다.
도면을 참조하여 다양한 예를 설명하였지만, 다른 예도 가능하다. 예를 들어, 다양한 실시예 RMCC 구현예는 자율 주행 차량을 모니터링 및 제어하기 위한 개선된 분산 정보 공유 시스템 및 방법을 포함할 수 있고, RMCC는 복수의 분산 센서들로부터 정보를 수신하고; 사건의 존재, 차량, 승객, 보행자, 사건과 관련된 동물 및 오브젝트, 사고로 인한 부상 및 피해의 성격을 결정하고; 자율 주행 차량이 사건이 발생한 위치에서 제2 위치로 자율적으로 안전하게 이동할 수 있는지 여부를 결정하고; 차량이 자율적으로 안전하게 이동할 수 없는 경우 긴급 대응자에게 연락하고; 긴급 대응자 사용자 디바이스로부터 차량의 제어를 이전하라는 요청을 수신하고; 및 이에 대응하여 암호화 및 핸드셰이크 기술을 사용하여 차량 소유자의 승인을 요구하지 않고 자동 차량 제어를 신뢰할 수 있는 긴급 대응자에게 이전하고; 및 차량 소유자 또는 이해 관계자에게 사고 사실을 알리도록 프로그래밍 및 구성된다.
다양한 실시예의 설계 및 사용을 설명하는 예시적인 비제한적인 예에서, 안전 어플리케이션을 위해 차량들 간에 기본 교통 메시지를 교환함으로써, 차량과 지정된 기반 시설 위치가 센서 데이터를 공유할 때 훨씬 더 높은 레벨의 안전이 달성될 수 있다. 한 대의 차량에 설치된 카메라들은 피할 수 있는 많은 사고를 완화하기 위한 시각적 정보를 제공할 수 있지만, 훨씬 더 최적화된 능동 안전 및 운전자 지원 시스템을 위해 다수의 차량들에서 캡처된 시각적 데이터를 공유하고 융합하는 새로운 안전 패러다임이 구상된다. 시각적 데이터의 공유는 한 차량 또는 기반 시설 위치에 의해 캡처된 일부 중요한 시각적 보기가 동일한 환경의 다른 차량에 의해 표시되거나 캡처되지 않는다는 사실에 의해 동기가 부여된다. 이러한 데이터를 실시간으로 공유하면 운전자 지원, 커넥티드 차량 및/또는 자율 주행 차량의 안전 시스템을 크게 향상시킬 수 있는 매우 새로운 레벨의 인식이 제공된다.
적어도 일부 양태에서, 본 발명은 자율 주행 차량의 동작을 위한 방법 및 시스템에 관한 것이다. 보다 구체적으로, 본 발명의 일부 실시예는 사고 또는 다른 긴급 상황의 경우에 자율 주행 차량의 제어를 인간 또는 자율적인 긴급 대응자 또는 인간 차량 탑승자에게 이전하는 방법 및 시스템에 관한 것이다.
위 설명의 일부는 정보에 대한 동작의 알고리즘 및 기호 표현의 관점에서 본 명세서에 설명된 기술을 제시한다. 이러한 알고리즘 설명 및 표현은 데이터 처리 기술 분야의 기술자가 자신의 작업 내용을 해당 기술 분야의 다른 사람에게 가장 효과적으로 전달하기 위해 사용하는 수단이다. 이러한 동작은 기능적으로나 논리적으로 설명되지만 컴퓨터 프로그램에 의해 구현되는 것으로 이해된다. 또한, 일반성을 잃지 않고 이러한 동작 배열을 모듈로 또는 기능 이름으로 참조하는 것이 편리한 것으로 입증되었다.
상기 논의로부터 명백하게 달리 구체적으로 언급되지 않는 한, 설명 전반에 걸쳐 "처리" 또는 "컴퓨팅" 또는 "계산" 또는 "결정" 또는 "표시" 등과 같은 용어를 사용하는 논의는 컴퓨터 시스템 메모리 또는 레지스터 또는 기타 정보 저장, 송신 또는 디스플레이 디바이스 내에서 물리적(전자) 수량으로 표시된 데이터를 조작하고 변환하는 컴퓨터 시스템 또는 이와 유사한 전자 컴퓨팅 디바이스의 작업 및 프로세스를 나타내는 것으로 이해된다.
설명된 기술의 특정 양태는 알고리즘의 형태로 본 명세서에 설명된 프로세스 단계 및 명령어를 포함한다. 설명된 프로세스 단계 및 명령어는 소프트웨어, 펌웨어 또는 하드웨어로 구현될 수 있으며 소프트웨어로 구현될 때 다운로드하여 실시간 네트워크 운영 체제에서 사용되는 다른 플랫폼에 상주하고 동작할 수 있다는 점에 유의해야 한다.
본 개시는 또한 본 명세서의 동작을 수행하기 위한 장치에 관한 것이다. 이 장치는 필요한 목적을 위해 특별히 구성되거나 컴퓨터에 의해 액세스될 수 있는 컴퓨터 판독 가능 매체에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 컴퓨터를 포함할 수 있다. 이러한 컴퓨터 프로그램은 유형의 컴퓨터 판독 가능 저장 매체, 예를 들어 이에 제한되는 것은 아니지만 플로피 디스크, 광 디스크, CD-ROM, 광자기 디스크를 포함한 임의의 유형의 디스크, 판독 전용 메모리(ROM), 랜덤 액세스 메모리(RAM), EPROM, EEPROM, 자기 또는 광학 카드, 주문형 집적 회로(ASIC) 또는 전자 명령어를 저장하는 데 적합한 임의의 유형의 미디어에 저장될 수 있으며, 각각은 컴퓨터 시스템 버스에 연결된다. 또한, 명세서에서 언급된 컴퓨터는 단일 프로세서를 포함할 수 있거나 향상된 컴퓨팅 능력을 위해 다중 프로세서 설계를 사용하는 아키텍처일 수 있다. 위에서 설명한 모든 기능은 또한 사설 또는 공용 클라우드 기반 데이터 센터(DC)에 의해 제공될 수 있다.
본 명세서에 제시된 알고리즘 및 동작은 본질적으로 특정 컴퓨터 또는 기타 장치와 관련이 없다. 다양한 범용 시스템이 본 명세서의 교시에 따른 프로그램과 함께 사용될 수도 있고, 또는 요구되는 방법 단계를 수행하기 위해 보다 전문화된 장치를 구성하는 것이 편리한 것으로 판명될 수도 있다. 이러한 다양한 시스템에 필요한 구조는 동등한 변형과 함께 당업자에게 명백할 것이다. 또한, 본 개시는 임의의 특정 프로그래밍 언어를 참조하여 설명되지 않는다. 다양한 프로그래밍 언어가 본 명세서에 설명된 바와 같이 본 개시내용의 교시를 구현하기 위해 사용될 수 있다는 것이 이해된다.
실시예의 전술한 설명은 예시 및 설명의 목적으로 제공되었다. 이는 개시를 완전하게 하거나 제한하려는 의도가 아니다. 특정 실시예의 개별 요소 또는 피쳐는 일반적으로 그 특정 실시예에 제한되지 않지만, 적용 가능한 경우, 특별히 도시되거나 설명되지 않더라도 상호 교환 가능하고 선택된 실시예에서 사용될 수 있다. 동일한 것도 많은 방법으로 다양할 수 있다. 그러한 변형은 본 개시서 벗어나는 것으로 간주되어서는 안 되며, 그러한 모든 수정은 본 개시의 범위 내에 포함되도록 의도된다.
도 2, 3, 4, 8, 9, 16 및 17의 흐름도는 자율 주행 차량들(103a, 103b, 103c), RMCC(109), 및 AI 시스템(100) 어플리케이션(들)(515)의 일부의 구현예의 기능 및 동작을 도시한다. 소프트웨어로 구현되는 경우 각 블록은 지정된 논리 기능(들)을 구현하기 위한 프로그램 명령어를 포함하는 모듈, 세그먼트 또는 코드 부분을 나타낼 수 있다. 프로그램 명령어는 컴퓨터 시스템 또는 다른 시스템의 프로세서(503)와 같은 적절한 실행 시스템에 의해 인식될 수 있는 숫자 명령어를 포함하는 머신 코드 또는 프로그래밍 언어로 작성된 사람이 판독할 수 있는 진술(statement)을 포함하는 소스 코드의 형태로 구현될 수 있다. 머신 코드는 소스 코드 등으로부터 변환될 수 있다. 하드웨어로 구현되는 경우 각 블록은 지정된 논리 기능(들)을 구현하기 위한 회로 또는 상호 연결된 여러 회로들을 나타낼 수 있다.
도 2, 3, 4, 8, 9, 16 및 17의 흐름도가 특정 실행 순서를 보여주지만, 실행 순서는 도시된 것과 다를 수 있음을 이해해야 합니다. 예를 들어, 2개 이상의 블록들의 실행 순서는 표시된 순서와 관련하여 스크램블될 수 있다. 또한, 도 2, 3, 4, 8, 9, 16 및 17에 연속적으로 도시된 둘 이상의 블록들은 동시에 또는 부분적으로 동시 실행될 수 있다. 또한, 일부 실시예에서, 도 2, 3, 4, 8, 9, 16 및 17에 도시된 블록들 중 하나 이상이 스킵되거나 생략될 수 있다. 또한 향상된 유틸리티, 계정, 성능 측정 또는 문제 해결 지원 제공 등을 위해 카운터, 상태 변수, 경고 세마포어(warning semaphore) 또는 메시지가 본 명세서에 설명된 논리 흐름에 추가될 수 있다. 이러한 모든 변형은 본 개시의 범위 내에 있는 것으로 이해된다.
또한, 소프트웨어 또는 코드를 포함하는 AI 시스템 어플리케이션(들)(515) 및/또는 어플리케이션(들)(521)을 포함하여 본 명세서에 설명된 임의의 로직 또는 어플리케이션은 예를 들어, 컴퓨터 시스템 또는 다른 시스템의 프로세서(503)와 같은 명령어 실행 시스템에 의해 또는 이와 관련하여 사용하기 위한 임의의 비일시적 컴퓨터 판독 가능 매체로 구현될 수 있다. 이러한 의미에서, 로직은, 예를 들어, 컴퓨터 판독가능 매체로부터 페치될 수 있고 명령어 실행 시스템에 의해 실행될 수 있는 명령어 및 선언을 포함하는 진술을 포함할 수 있다. 본 개시의 콘텍스트에서, "컴퓨터 판독가능 매체"는 명령어 실행 시스템에 의해 또는 명령어 실행 시스템과 관련하여 사용하기 위해 본 명세서에 설명된 로직 또는 어플리케이션을 포함, 저장 또는 유지할 수 있는 임의의 매체일 수 있다. 컴퓨터 판독 가능 매체는 예를 들어 자기, 광학 또는 반도체 매체와 같은 많은 물리적 매체들 중 임의의 하나를 포함할 수 있다. 적절한 컴퓨터 판독 가능 매체의 보다 구체적인 예는 자기 테이프, 자기 플로피 디스켓, 자기 하드 드라이브, 메모리 카드, 솔리드 스테이트 드라이브, USB 플래시 드라이브 또는 광 디스크를 포함하지만 이에 제한되지 않는다. 또한, 컴퓨터 판독 가능 매체는, 예를 들면, 정적 랜덤 액세스 메모리(SRAM) 및 동적 랜덤 액세스 메모리(DRAM) 또는 자기 랜덤 액세스 메모리(MRAM)를 포함하는 랜덤 액세스 메모리(RAM)일 수 있다. 또한, 컴퓨터 판독 가능 매체는 판독 전용 메모리(ROM), 프로그래밍 가능한 판독 전용 메모리(PROM), 소거 가능한 프로그래밍 가능한 판독 전용 메모리(EPROM), 전기적으로 소거 가능한 프로그래밍 가능한 판독 전용 메모리(EEPROM) 또는 기타 유형의 메모리 디바이스일 수 있다.
본 명세서에 사용된 언어는 주로 가독성 및 교육 목적을 위해 선택되었으며, 본 발명의 주제를 설명하거나 제한하기 위해 선택되지 않았을 수 있다. 따라서, 본 발명의 범위는 이러한 상세한 설명이 아니라, 오히려 본 명세서에 기초한 본 출원에 관한 임의의 청구범위에 의해 제한되는 것으로 의도된다. 따라서, 본 발명의 실시예의 개시는 본 발명의 범위를 예시하기 위한 것이지만 제한하려는 것은 아니다.
본 발명은 특정 실시예와 관련하여 설명되었다. 본 명세서에 설명된 대안은 예시일 뿐이며 대안을 어떤 식으로든 제한하지 않다. 본 발명의 단계들은 다른 순서로 수행될 수 있고 여전히 바람직한 결과를 얻을 수 있다. 본 명세서에 기술된 본 발명에 다양한 변경 및 수정을 가하는 것은 당업자에게 자명할 것이다. 이러한 변형이 본 명세서에 기술된 것의 범위 및 사상에서 벗어나는 한, 그것들은 그 안에 포함되도록 의도된다. 첨부된 청구범위에 포함된 본 발명의 범위를 벗어나지 않으면서 형태 및 세부사항의 다양한 변경이 이루어질 수 있다는 것이 당업자에 의해 이해될 것이다.
Claims (19)
- 자율 주행 차량 원격 모니터링 및 제어 센터(RMCC) 장치에 있어서,
적어도 하나의 처리 디바이스(processing device)를 포함하고, 상기 RMCC는:
상기 RMCC로부터 원격으로 동작하는 복수의 독립적으로 관리되는 자율 주행 차량들에 분산된 복수의 센서들에 의해 캡처된 센서 데이터를 수신하고-여기서, 상기 센서 데이터는 상기 RMCC의 제어 하에 동작하지 않는 차량들의 데이터를 포함함-;
상기 RMCC로부터 원격으로 동작하는 상기 복수의 독립적으로 관리되는 자율 주행 차량들의 각각의 사건 위험 레벨을 동시에 결정하고;
상기 복수의 독립적인 차량들 중 하나 이상에 대해 상기 RMCC에 의해 안전하지 않은 것으로 결정된 상기 사건 위험 레벨에 응답하여, 안전하지 않은 상기 사건 위험 레벨에서 동작하는 상기 차량들을 안전한 사건 위험 레벨로 복원하기 위해 안전하지 않은 상기 사건 위험 레벨에서 동작하는 상기 복수의 자율 주행 차량들 중 상기 하나 이상을 제어하고; 및,
상기 사건 위험이 상기 안전한 사건 위험 레벨로 복원되었다고 결정한 것에 응답하여, 안전하지 않은 상기 사건 위험 레벨에서 동작하고 있던 상기 하나 이상의 자율 주행 차량들로 제어를 반환하도록 프로그래밍되고 구성되는, 장치. - 제1항에 있어서, 상기 장치는 상기 복수의 자율 주행 차량들로부터 수신된 센서 데이터의 함수로서 구성된 인공 지능(artificial intelligence)에 기초하여 상기 사건 위험 레벨을 결정하도록 프로그래밍되고 구성된 상기 RMCC를 더 포함하는, 장치.
- 제1항에 있어서, 상기 사건 위험 레벨은 적어도 2개의 상이한 차량들로부터 독립적으로 캡처된 센서 데이터의 함수로서 상기 RMCC에 의해 결정되는, 장치.
- 제3항에 있어서, 상기 장치는 적어도 2개의 상이한 차량들로부터 독립적으로 캡처된 상기 센서 데이터를 융합하도록 프로그래밍되고 구성된 상기 RMCC를 더 포함하는, 장치.
- 제1항에 있어서, 상기 장치는 상기 사건 위험 레벨을 미리 결정된 최소 안전 위험 레벨 임계치와 비교하는 함수로서 계산된 사건 위험 마진을 결정하도록 프로그래밍되고 구성된 상기 RMCC를 더 포함하는, 장치.
- 제5항에 있어서, 상기 장치는 상기 사건 위험 마진이 미리 결정된 안전 최소 위험 마진 미만이라는 결정에 기초하여 상기 사건 위험 레벨이 안전하지 않다고 결정하도록 프로그래밍되고 구성된 상기 RMCC를 더 포함하는, 장치.
- 제5항에 있어서, 상기 장치는 미리 결정된 기간 동안 샘플링된 상기 사건 위험 마진의 기울기가 음수인 것으로 결정하는 것에 기초하여 상기 사건 위험 레벨이 위험하다고 결정하도록 프로그래밍되고 구성된 상기 RMCC를 더 포함하는, 장치.
- 제5항에 있어서, 상기 장치는 상기 사건 위험 마진이 미리 결정된 안전 최소 위험 마진 이상이라는 결정에 기초하여 상기 사건 위험 레벨이 안전하다고 결정하도록 프로그래밍되고 구성된 상기 RMCC를 더 포함하는, 장치.
- 자율 주행 차량 원격 모니터링 및 제어 센터(RMCC) 장치에 있어서,
적어도 하나의 처리 디바이스를 포함하고, 상기 RMCC는,
상기 RMCC로부터 원격으로 동작하는 복수의 독립적으로 관리되는 자율 주행 차량들에 분산된 복수의 센서들에 의해 캡처된 센서 데이터를 수신하고-여기서, 상기 센서 데이터는 상기 RMCC의 제어 하에 동작하지 않는 차량들의 데이터를 포함함-;
상기 RMCC로부터 원격으로 동작하는 복수의 독립적으로 관리되는 자율 주행 차량들의 각각에 대한 사건 위험 레벨을 결정하고-여기서, 상기 사건 위험 레벨은 상기 복수의 자율 주행 차량들에 걸쳐 분산된 복수의 센서들에 의해 캡처된 수신된 융합 센서 데이터의 함수로서 훈련된 인공 지능에 기초하여 결정됨-;
상기 사건 위험 레벨을 미리 결정된 최소 안전 위험 레벨 임계치와 비교하는 함수로서 계산된 사건 위험 마진을 결정하고;
상기 사건 위험 마진이 상기 미리 결정된 안전 최소 위험 마진보다 작다고 결정하는 것에 응답하여:
적어도 하나의 차량에 하나 이상의 안전 조치를 구현함으로써 안전한 사건 위험 레벨을 복원하기 위해 상기 미리 결정된 안전 최소 위험 마진보다 작은 상기 사건 위험 마진으로 동작하는 상기 복수의 자율 주행 차량들의 하나 이상을 제어하고; 및,
상기 사고 위험을 상기 미리 결정된 안전 최소 위험 마진과 비교하는 것에 기초하여 상기 사고 위험이 안전한 사건 위험 레벨로 복원되었다고 결정하는 것에 응답하여, 상기 미리 결정된 안전 최소 위험 마진보다 작은 상기 사건 위험 마진으로 동작하는 상기 하나 이상의 자율 주행 차량들에 제어를 반환하고; 및,
상기 사건 위험 마진이 미리 결정된 안전 최소 위험 마진 이상이라고 결정하는 것에 응답하여, 상기 사건 위험 레벨이 안전하다고 결정하도록 프로그래밍되고 구성되는, 장치. - 제9항에 있어서, 상기 융합된 센서 데이터는 상기 RMCC 하에서 동작하지 않는 다른 차량으로부터 캡처된 시야 이미지에 부과된 상기 복수의 자율 주행 차량들의 적어도 하나로부터 캡처된 오브젝트 이미지를 인코딩하는 데이터를 더 포함하는, 장치.
- 제9항에 있어서, 상기 융합된 센서 데이터는 위치를 인코딩하는 데이터를 더 포함하는, 장치.
- 제9항에 있어서, 상기 융합된 센서 데이터는 상기 복수의 차량들 중 하나의 차량과 상기 복수의 차량들 중 적어도 하나의 다른 차량 사이의 이격 거리를 인코딩하는 데이터를 더 포함하는, 장치.
- 제9항에 있어서, 상기 융합된 센서 데이터는 상기 복수의 차량들 중 하나의 차량과 고정된 오브젝트 사이의 거리를 인코딩하는 데이터를 더 포함하는, 장치.
- 제9항에 있어서, 상기 안전 조치는 상기 복수의 차량들 중 적어도 하나의 차량의 속도 변화에 기초하여 적어도 두 차량들 사이의 이격 거리를 증가시키는 것을 더 포함하는, 장치.
- 제9항에 있어서, 상기 안전 조치는 충돌을 피하기 위해 적어도 하나의 차량의 방향을 변경하는 것을 더 포함하는, 장치.
- 자율 주행 차량 원격 모니터링 및 제어 센터(RMCC) 장치에 있어서:
적어도 하나의 처리 디바이스를 포함하고, 상기 RMCC는:
상기 RMCC로부터 원격으로 동작하는 독립적으로 관리되는 복수의 자율 주행 차량들에 걸쳐 분산된 복수의 센서들에 의해 캡처된 센서 데이터를 수신하고-여기서, 상기 센서 데이터는 상기 RMCC의 제어 하에 동작하지 않는 차량들의 데이터를 포함함-;
상기 RMCC로부터 원격의 복수의 독립적으로 관리되는 자율 주행 차량들의 사건 위험 레벨을 결정하고-여기서, 상기 사고 위험 레벨은 상기 복수의 자율 주행 차량들에 걸쳐 분산된 복수의 센서들에 의해 캡처된 수신된 융합 이미지 센서 데이터의 함수로서 훈련된 인공 지능에 기초하여 결정되고, 및 상기 사건 위험 레벨은 하나의 차량으로부터 캡처된 이미지 센서 데이터에 의해 시각적으로 인코딩된 오브젝트가 상기 차량들 중 적어도 다른 차량에 관심이 있는지 여부를 결정하는 기준에 기초하여 결정됨-;
상기 사건 위험 레벨을 미리 결정된 안전 위험 수준 임계치와 비교하는 함수로서 계산된 사건 위험 마진을 결정하고-여기서, 상기 안전 위험 레벨 임계치는 테스트 차량 센서에 의해 캡처된 이력 훈련 데이터의 함수로서 구성된 인공 지능에 의해 미리 결정됨-;
상기 사건 위험 마진이 미리 결정된 안전 최소 위험 마진보다 작다고 결정하는 것에 응답하여:
상기 복수의 자율 주행 차량들의 적어도 하나의 차량의 속도 벡터를 변경하는 것에 기초하여 적어도 두 차량들 사이의 이격 거리를 증가시키기 위해 상기 복수의 차량들의 동작을 관리하는 것에 기초하여 상기 차량들에 대한 안전 사건 위험 레벨을 복원하기 위해 상기 미리 결정된 안전 최소 위험 마진보다 작은 상기 사건 위험 마진에서 동작하는 상기 복수의 자율 주행 차량들의 하나 이상을 제어하고; 및,
상기 사건 위험을 상기 미리 결정된 안전 최소 위험 마진과 비교하는 것에 기초하여 상기 사건 위험이 안전한 레벨로 복원되었다고 결정하는 것에 응답하여, 상기 복수의 자율 주행 차량들의 하나 이상에 제어를 반환하고; 및,
상기 사건 위험 마진이 미리 결정된 안전 최소 위험 마진 이상이라고 결정하는 것에 응답하여, 상기 사건 위험 레벨이 안전하다고 결정하고;
상기 복수의 분산된 센서들로부터 수신된 상기 정보에 기초하여 사건의 존재를 결정하는 것에 응답하여:
상기 센서들로부터 수신된 정보에 기초하여 상기 사건과 관련된 차량, 승객, 보행자, 동물 및 오브젝트와 상기 사건과 관련된 차량, 승객, 보행자, 동물 및 오브젝트에 대한 부상 및 손상의 특성을 결정하고;
상기 자율 주행 차량이 상기 사건이 발생한 위치로부터 제2 위치로 자율적으로 안전하게 이동될 수 있는지 여부를 결정하고; 및,
상기 자율 주행 차량이 상기 제2 위치로 자율적으로 안전하게 이동될 수 있다고 결정하는 것에 응답하여, 상기 차량을 상기 제2 위치로 이동시키고 차량을 상기 주차시키도록 프로그래밍되고 구성되는, 장치. - 제16항에 있어서, 상기 장치는 상기 사건 위험 레벨이 안전하다고 결정하는 것에 응답하여 RMCC 모니터에 사람이 볼 수 있는 녹색 표시기를 표시하기 위해 프로그래밍되고 구성된 상기 RMCC를 더 포함하는, 장치.
- 제16항에 있어서, 상기 장치는 상기 사건 위험 레벨이 위험하다고 결정하는 것에 응답하여 RMCC 모니터에 사람이 볼 수 있는 황색 표시기를 표시하기 위해 프로그래밍되고 구성된 상기 RMCC를 더 포함하는, 장치.
- 제16항에 있어서, 상기 장치는 상기 사건 위험 레벨이 안전하지 않다고 결정하는 것에 응답하여 RMCC 모니터에 사람이 볼 수 있는 적색 표시기를 표시하기 위해 프로그래밍되고 구성된 RMCC를 더 포함하는, 장치.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/US2020/021171 WO2021177964A1 (en) | 2020-03-05 | 2020-03-05 | Artificial intelligence methods and systems for remote monitoring and control of autonomous vehicles |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220147136A true KR20220147136A (ko) | 2022-11-02 |
Family
ID=77613651
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227034516A KR20220147136A (ko) | 2020-03-05 | 2020-03-05 | 자율 주행 차량의 원격 모니터링 및 제어를 위한 인공 지능 방법 및 시스템 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20230138112A1 (ko) |
| EP (1) | EP4097550A4 (ko) |
| JP (1) | JP2023525625A (ko) |
| KR (1) | KR20220147136A (ko) |
| CA (1) | CA3170561A1 (ko) |
| WO (1) | WO2021177964A1 (ko) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11215984B2 (en) * | 2018-01-09 | 2022-01-04 | Uatc, Llc | Systems and methods for controlling an autonomous vehicle |
| WO2020184281A1 (ja) * | 2019-03-08 | 2020-09-17 | マツダ株式会社 | 自動車用演算装置 |
| DE102019214445A1 (de) * | 2019-09-23 | 2021-03-25 | Robert Bosch Gmbh | Verfahren zum Assistieren eines Kraftfahrzeugs |
| KR102551283B1 (ko) * | 2020-09-08 | 2023-07-06 | 한국전자통신연구원 | 메타인지 기반 자율주행 보정 장치 및 방법 |
| JP2022123259A (ja) * | 2021-02-12 | 2022-08-24 | トヨタ自動車株式会社 | 衝突回避支援システム及び衝突回避支援装置 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8874301B1 (en) | 2013-07-09 | 2014-10-28 | Ford Global Technologies, Llc | Autonomous vehicle with driver presence and physiological monitoring |
| EP3979028A1 (en) * | 2015-09-28 | 2022-04-06 | Uatc, Llc | Method of operating an autonomous vehicle having independent auxiliary control unit |
| US10322717B2 (en) * | 2016-01-04 | 2019-06-18 | GM Global Technology Operations LLC | Expert mode for vehicles |
| US10379533B2 (en) * | 2016-01-04 | 2019-08-13 | GM Global Technology Operations LLC | System and method for autonomous vehicle fleet routing |
| US9964948B2 (en) | 2016-04-20 | 2018-05-08 | The Florida International University Board Of Trustees | Remote control and concierge service for an autonomous transit vehicle fleet |
| US10656640B2 (en) | 2016-07-07 | 2020-05-19 | Applied Minds, Llc | Systems and methods for centralized control of autonomous vehicles |
| US20190163176A1 (en) | 2017-11-30 | 2019-05-30 | drive.ai Inc. | Method for transferring control of an autonomous vehicle to a remote operator |
| US20200062250A1 (en) * | 2018-08-23 | 2020-02-27 | Blackberry Limited | Method and system for evaluating contextual risk profiles in a vehicle |
-
2020
- 2020-03-05 EP EP20923576.1A patent/EP4097550A4/en active Pending
- 2020-03-05 US US17/909,432 patent/US20230138112A1/en active Pending
- 2020-03-05 JP JP2022553062A patent/JP2023525625A/ja active Pending
- 2020-03-05 CA CA3170561A patent/CA3170561A1/en active Pending
- 2020-03-05 WO PCT/US2020/021171 patent/WO2021177964A1/en unknown
- 2020-03-05 KR KR1020227034516A patent/KR20220147136A/ko unknown
Also Published As
| Publication number | Publication date |
|---|---|
| EP4097550A4 (en) | 2023-09-13 |
| WO2021177964A1 (en) | 2021-09-10 |
| JP2023525625A (ja) | 2023-06-19 |
| CA3170561A1 (en) | 2021-09-10 |
| US20230138112A1 (en) | 2023-05-04 |
| EP4097550A1 (en) | 2022-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11325606B2 (en) | Methods and systems for establishing cooperative driving engagements with vehicles having varying levels of autonomy | |
| US11879742B2 (en) | Autonomous vehicle application | |
| JP7362721B2 (ja) | 早期警告および衝突回避 | |
| US11713060B2 (en) | Systems and methods for remote monitoring of a vehicle, robot or drone | |
| US9940834B1 (en) | Autonomous vehicle application | |
| US20230138112A1 (en) | Artificial intelligence methods and systems for remote monitoring and control of autonomous vehicles | |
| EP3516468B1 (en) | Automatic autonomous driving of a vehicle | |
| US10699580B1 (en) | Methods and systems for emergency handoff of an autonomous vehicle | |
| JP2022546320A (ja) | 高度車載機器 | |
| US20180061237A1 (en) | Modifying Behavior of Autonomous Vehicle Based on Advanced Predicted Behavior Analysis of Nearby Drivers | |
| WO2021090897A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
| US11787441B2 (en) | Stationary vehicle impact analysis and decision making | |
| JP7367014B2 (ja) | 信号処理装置、信号処理方法、プログラム、及び、撮像装置 |