KR20230051412A - 차량을 찾고 액세스하기 위한 기술 - Google Patents

차량을 찾고 액세스하기 위한 기술 Download PDF

Info

Publication number
KR20230051412A
KR20230051412A KR1020220018898A KR20220018898A KR20230051412A KR 20230051412 A KR20230051412 A KR 20230051412A KR 1020220018898 A KR1020220018898 A KR 1020220018898A KR 20220018898 A KR20220018898 A KR 20220018898A KR 20230051412 A KR20230051412 A KR 20230051412A
Authority
KR
South Korea
Prior art keywords
vehicle
user
location
mobile device
processor
Prior art date
Application number
KR1020220018898A
Other languages
English (en)
Inventor
펠리체 링
트리스탄 드와이어
린 홍 팜
크리스토퍼 코노프카
Original Assignee
모셔널 에이디 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모셔널 에이디 엘엘씨 filed Critical 모셔널 에이디 엘엘씨
Publication of KR20230051412A publication Critical patent/KR20230051412A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/024—Guidance services
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R25/1003—Alarm systems characterised by arm or disarm features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R25/102—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device a signal being sent to a remote location, e.g. a radio signal being transmitted to a police station, a security company or the owner
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/2045—Means to switch the anti-theft system on or off by hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/31—Detection related to theft or to other events relevant to anti-theft systems of human presence inside or outside the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/34—Detection related to theft or to other events relevant to anti-theft systems of conditions of vehicle components, e.g. of windows, door locks or gear selectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3632—Guidance using simplified or iconic instructions, e.g. using arrows
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3647—Guidance involving output of stored or live camera images or video streams
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3652—Guidance using non-audiovisual output, e.g. tactile, haptic or electric stimuli
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3679—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities
    • G01C21/3685—Retrieval, searching and output of POI information, e.g. hotels, restaurants, shops, filling stations, parking facilities the POI's being parking facilities
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q90/00—Systems or methods specially adapted for administrative, commercial, financial, managerial or supervisory purposes, not involving significant data processing
    • G06Q90/20—Destination assistance within a business structure or complex
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • G08G1/205—Indicating the location of the monitored vehicles as destination, e.g. accidents, stolen, rental
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0063—Manual parameter input, manual setting means, manual initialising or calibrating means
    • B60W2050/0064—Manual parameter input, manual setting means, manual initialising or calibrating means using a remote, e.g. cordless, transmitter or receiver unit, e.g. remote keypad or mobile phone
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Economics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)

Abstract

개시된 실시예는 일반적으로 사용자를 차량 픽업-드롭오프(PuDo) 위치, 예컨대 자율 주행 차량(AV) PuDo로 안내하기 위해 사용자에게 시각적 및/또는 오디오 큐를 제공한다. 사용자의 모바일 디바이스로부터의 정보에 기초하여 사용자의 현재 위치가 결정된다. 사용자의 현재 위치로부터 지정된 PuDo 위치로의 경로가 결정되고, 지정된 PuDo에 도달하기 위한 명령어(예컨대, 턴바이턴 지시)가 사용자의 모바일 디바이스 상에, 예를 들어 실시간으로 업데이트되는 그의 모바일 디바이스 상의 증강 현실(AR) 인터페이스를 사용하여, 디스플레이된다. 개시된 실시예는 또한, 사용자의 차량 안으로의 입장을 허용하기 전에 차량의 외부 센서(에컨대, 카메라, LiDAR)에 의해 검출되는 사용자에 의해 수행된 시퀀스의 손 제스처들에 기초하여 차량이 사용자의 신원을 인증할 수 있게 해준다.

Description

차량을 찾고 액세스하기 위한 기술 {TECHNIQUES FOR FINDING AND ACCESSING VEHICLES}
온라인 운송 회사는 전세계 대부분의 주요 도시에 어디에나 있게 되었다. 그의 모바일 디바이스(예컨대, 스마트폰, 스마트워치) 상의 모바일 애플리케이션으로 픽업/드롭오프(PuDo, pick-up/drop-off) 위치 및 기타 정보를 명시함으로써 탑승을 요청한다. 그러면 차량이 PuDo로 파견된다. 사용자는 자신의 모바일 디바이스 상에 디스플레이된 맵 상에서 PuDo로 이동하는 차량의 진행상황을 볼 수 있고, 그의 할당된 차량이 도착하면 사용자에게 텍스트 메시지 또는 기타 알림이 통지된다. 그러나, 맹인 또는 시각 장애가 있는 사용자의 경우, PuDo를 찾는 것이 어려운 일일 수 있으며, 탑승 취소를 초래할 수 있다. 시각 장애인 사용자들은 종종 차량의 운전자에게 도움을 요청함으로써 이 내비게이션(navigation) 문제를 해결한다. 그렇지만 이 해결책은 차량이 자율 주행 차량(AV; autonomous vehicle)인 경우 도움되지 않는다.
또한, 연구에 따르면 많은 사용자들이 자신의 할당된 차량을 찾는 데에 어려움을 겪는다고 한다. 이 어려움은 부정확한 위치 정보, 애매한 위치 마커, 및 건설 현장 근처 위치, 표지판(signage) 불량 또는 누락 등과 같이 PuDo 환경을 정확하게 묘사하지 못하는 모바일 애플리케이션을 포함한다. 이 혼란을 가중시키는 것이, 할당된 차량을 찾는 것은 종종 “찬스(change)” 미팅인데, 승객은 자신의 모바일 디바이스를 사용하여 운전자와 말하고 있으며 각각은 미친듯이 다른 사람에게 자신의 위치를 전달하려고 시도한다.
사용자들이 종종 언급하는 또다른 문제점은, 차량의 위치를 찾은 후에 그에 액세스하는 것이다. 사용자가 차량에 들어갈 때, 사람 운전자는 차량의 승객 문을 잠금해제하고 사용자의 신원을 검증하며 사용자의 목적지를 확인한다. 그러나, 자율 주행 차량으로는, 사용자는 잠금해제하고 들어가며 그들이 올바른 차량에 있음을 검증할 새로운 방식을 찾아야 한다. 기존의 액세스 해결책은 차량 컴퓨터와의 단거리 통신을 사용하여 액세스 및 인증을 위해 사용자의 모바일 디바이스에 의존한다. 그렇지만 이 해결책은 승객의 모바일 디바이스가 액세스 가능하지 않거나 배터리 수명이 낮거나 없을 때 이용할 수 없다. 원격 제어 지원(RVA; remote control assistance)을 사용하여 차량에 액세스하는 것이 일부 승객에 대하여 효과가 있지만, 예를 들어 청각 장애가 있는 다른 사용자의 경우, 또다른 해결책이 필요하다.
개시된 실시예는 일반적으로 사용자를 차량 픽업-드롭오프(PuDo) 위치, 예컨대 자율 주행 차량(AV) PuDo로 안내하기 위해 사용자에게 시각적 및/또는 오디오 큐를 제공한다. 사용자의 모바일 디바이스로부터의 정보에 기초하여 사용자의 현재 위치가 결정된다. 사용자의 현재 위치로부터 지정된 PuDo 위치로의 경로가 결정되고, 지정된 PuDo에 도달하기 위한 명령어(예컨대, 턴바이턴 지시)가 사용자의 모바일 디바이스 상에, 예를 들어 실시간으로 업데이트되는 그의 모바일 디바이스 상의 증강 현실(AR) 인터페이스를 사용하여, 디스플레이된다. 개시된 실시예는 또한, 사용자의 차량 안으로의 입장을 허용하기 전에 차량의 외부 센서(에컨대, 카메라, LiDAR)에 의해 검출되는 사용자에 의해 수행된 손 제스처 시퀀스에 기초하여 차량이 사용자의 신원을 인증할 수 있게 해준다.
도 1은 자율 주행 시스템(autonomous system)의 하나 이상의 컴포넌트를 포함하는 차량이 구현될 수 있는 예시적인 환경이다.
도 2는 자율 주행 시스템을 포함하는 차량의 하나 이상의 시스템의 다이어그램이다.
도 3은 도 1 및 도 2의 하나 이상의 디바이스 및/또는 하나 이상의 시스템의 컴포넌트들의 다이어그램이다.
도 4는 자율 주행 시스템의 특정 컴포넌트들의 다이어그램이다.
도 5는 원격 차량 지원(RVA) 안내 내비게이션을 예시한 다이어그램이다.
도 6은 오디오 및 촉각 피드백을 사용하는 내비게이션을 예시한다.
도 7a 내지 도 7c는 각각 서비스 동물(service animal)에 대하여 자기장, 냄새 및 소리를 사용하는 내비게이션을 예시한다.
도 8a 내지 도 8e는 사용자가 모바일 디바이스를 이용해 PuDo 위치를 찾는 것을 돕도록 모바일 디바이스를 사용하는 것을 예시한다.
도 9는 일련의 손 제스처들을 사용하여 차량에 액세스하기 위한 시스템을 예시한다.
도 10은 일련의 손 제스처들을 사용하여 차량에 액세스하기 위한 프로세스 플로우를 예시한다.
도 11은 사용자가 차량을 찾는 것을 돕기 위한 프로세스의 플로우 다이어그램이다.
도 12는 손 제스처 시퀀스를 사용하여 차량에 액세스하기 위한 프로세스의 플로우 다이어그램이다.
이하의 설명에서는, 설명 목적으로 본 개시에 대한 완전한 이해를 제공하기 위해 다수의 특정 세부 사항들이 기재된다. 그렇지만, 본 개시에 의해 기술되는 실시예들이 이러한 특정 세부 사항들이 없더라도 실시될 수 있음이 명백할 것이다. 일부 경우에, 본 개시의 양태들을 불필요하게 모호하게 하는 것을 피하기 위해 잘 알려진 구조들 및 디바이스들은 블록 다이어그램 형태로 예시되어 있다.
시스템들, 디바이스들, 모듈들, 명령어 블록들, 데이터 요소들 등을 나타내는 것들과 같은, 개략적인 요소들의 특정 배열들 또는 순서들이 설명의 편의를 위해 도면들에 예시되어 있다. 그렇지만, 본 기술 분야의 통상의 기술자라면 도면들에서의 개략적인 요소들의 특정 순서 또는 배열이, 그러한 것으로 명시적으로 기술되지 않는 한, 프로세스들의 특정 프로세싱 순서 또는 시퀀스, 또는 프로세스들의 분리가 필요하다는 것을 암시하는 것으로 의미되지 않음을 이해할 것이다. 게다가, 도면에 개략적인 요소를 포함시키는 것은, 그러한 것으로 명시적으로 기술되지 않는 한 일부 실시예들에서, 그러한 요소가 모든 실시예들에서 필요하다는 것 또는 그러한 요소에 의해 표현되는 특징들이 다른 요소들에 포함되지 않을 수 있거나 다른 요소들과 결합되지 않을 수 있다는 것을 암시하는 것으로 의미되지 않는다.
게다가, 2 개 이상의 다른 개략적인 요소 사이의 연결, 관계 또는 연관을 예시하기 위해 실선 또는 파선 또는 화살표와 같은 연결 요소들이 도면들에서 사용되는 경우에, 임의의 그러한 연결 요소들의 부재는 연결, 관계 또는 연관이 존재할 수 없음을 암시하는 것으로 의미되지 않는다. 환언하면, 본 개시를 모호하게 하지 않기 위해 요소들 사이의 일부 연결들, 관계들 또는 연관들이 도면들에 예시되어 있지 않다. 추가적으로, 예시의 편의를 위해, 요소들 사이의 다수의 연결들, 관계들 또는 연관들을 나타내기 위해 단일의 연결 요소가 사용될 수 있다. 예를 들어, 연결 요소가 신호들, 데이터 또는 명령어들(예를 들면, "소프트웨어 명령어들")의 통신을 나타내는 경우에, 본 기술 분야의 통상의 기술자라면 그러한 요소가, 통신을 수행하기 위해 필요하게 될 수 있는, 하나 또는 다수의 신호 경로(예를 들면, 버스)를 나타낼 수 있다는 것을 이해할 것이다.
제1, 제2, 제3 등의 용어들이 다양한 컴포넌트들을 기술하는 데 사용되지만, 이러한 요소들이 이러한 용어들에 의해 제한되어서는 안된다. 제1, 제2, 제3 등의 용어들은 하나의 요소를 다른 요소와 구별하는 데만 사용된다. 예를 들어, 기술된 실시예들의 범위를 벗어나지 않으면서, 제1 접촉은 제2 접촉이라고 지칭될 수 있고, 유사하게 제2 접촉은 제1 접촉이라고 지칭될 수 있다. 제1 접촉과 제2 접촉 둘 모두가 접촉이지만, 동일한 접촉은 아니다.
본원에서의 다양한 기술된 실시예들에 대한 설명에서 사용되는 전문용어는 특정 실시예들을 기술하기 위해서만 포함되어 있으며, 제한하는 것으로 의도되지 않는다. 다양한 기술된 실시예들에 대한 설명 및 첨부된 청구항들에서 사용되는 바와 같이, 단수 형태들("a", "an" 및 "the")은 복수 형태들도 포함하는 것으로 의도되고, 문맥이 달리 명확히 나타내지 않는 한, "하나 이상" 또는 "적어도 하나"와 상호 교환 가능하게 사용될 수 있다. "및/또는"이라는 용어가, 본원에서 사용되는 바와 같이, 연관된 열거된 항목들 중 하나 이상의 항목의 일부 및 모든 가능한 조합을 지칭하고 포함한다는 것이 또한 이해될 것이다. "포함한다(includes)", 포함하는(including), 포함한다(comprises)" 및/또는 "포함하는(comprising)"이라는 용어들이, 본 설명에서 사용될 때, 언급된 특징들, 정수들, 단계들, 동작들, 요소들, 및/또는 컴포넌트들의 존재를 명시하지만, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트, 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는다는 것이 추가로 이해될 것이다.
본원에서 사용되는 바와 같이, "통신" 및 "통신하다"라는 용어들은 정보(또는, 예를 들어, 데이터, 신호들, 메시지들, 명령어들, 커맨드들 등에 의해 표현되는 정보)의 수신, 접수, 송신, 전달, 제공 등 중 적어도 하나를 지칭한다. 하나의 유닛(예를 들면, 디바이스, 시스템, 디바이스 또는 시스템의 컴포넌트, 이들의 조합들 등)이 다른 유닛과 통신한다는 것은 하나의 유닛이 직접 또는 간접적으로 다른 유닛으로부터 정보를 수신하고/하거나 다른 유닛으로 정보를 전송(예를 들면, 송신)할 수 있음을 의미한다. 이것은 본질적으로 유선 및/또는 무선인 직접 또는 간접 연결을 지칭할 수 있다. 추가적으로, 송신되는 정보가 제1 유닛과 제2 유닛 사이에서 수정, 프로세싱, 중계 및/또는 라우팅될 수 있을지라도 2 개의 유닛은 서로 통신하고 있을 수 있다. 예를 들어, 제1 유닛이 정보를 수동적으로 수신하고 정보를 제2 유닛으로 능동적으로 송신하지 않을지라도 제1 유닛은 제2 유닛과 통신하고 있을 수 있다. 다른 예로서, 적어도 하나의 중간 유닛(예를 들면, 제1 유닛과 제2 유닛 사이에 위치하는 제3 유닛)이 제1 유닛으로부터 수신되는 정보를 프로세싱하고 프로세싱된 정보를 제2 유닛으로 송신하는 경우 제1 유닛은 제2 유닛과 통신하고 있을 수 있다. 일부 실시예들에서, 메시지는 데이터를 포함하는 네트워크 패킷(예를 들면, 데이터 패킷 등)을 지칭할 수 있다.
본원에서 사용되는 바와 같이, "~ 경우"라는 용어는, 선택적으로, 문맥에 따라 "~할 때", 또는 "~시에" 또는 "~라고 결정하는 것에 응답하여", "~을 검출하는 것에 응답하여" 등을 의미하는 것으로 해석된다. 유사하게, 문구 "~라고 결정되는 경우" 또는 "[언급된 조건 또는 이벤트]가 검출되는 경우"는, 선택적으로, 문맥에 따라, "~라고 결정할 시에", "~라고 결정하는 것에 응답하여", "[언급된 조건 또는 이벤트]를 검출할 시에", "[언급된 조건 또는 이벤트]를 검출하는 것에 응답하여" 등을 의미하는 것으로 해석된다. 또한, 본원에서 사용되는 바와 같이, "갖는다"(has, have), "갖는(having)" 등의 용어들은 개방형(open-ended) 용어들인 것으로 의도된다. 게다가, 문구 "~에 기초하여"는, 달리 명시적으로 언급되지 않는 한, "~에 적어도 부분적으로 기초하여"를 의미하는 것으로 의도된다.
그 예가 첨부 도면에 예시된 실시예가 이제 상세하게 언급될 것이다. 이하의 상세한 설명에서, 다양한 기술된 실시예에 대한 완전한 이해를 제공하기 위해 많은 특정 세부 사항이 기재된다. 그렇지만, 다양한 기술된 실시예들이 이러한 특정 세부 사항들이 없더라도 실시될 수 있다는 것이 본 기술 분야의 통상의 기술자에게 명백할 것이다. 다른 경우에, 실시예의 양태를 불필요하게 모호하게 하지 않기 위해 공지된 방법, 절차, 컴포넌트, 회로, 및 네트워크는 상세히 기술되지 않았다.
일반적 개관
일부 양상 및/또는 실시예에서, 본원에 기재된 시스템, 방법 및 컴퓨터 프로그램 제품은 차량을 찾고 액세스하기 위한 기술, 특히 맹인, 시각 장애 또는 청각 장애가 있는 사용자들을 위한 기술을 포함하고/하거나 구현한다.
개시된 실시예는 일반적으로 AV와 같은 차량으로 사용자를 안내하기 위해 사용자에게 시각적 및/또는 오디오 큐(cue)를 제공한다. 예를 들어, 사용자의 모바일 디바이스(예컨대, 스마트폰)로부터의 정보에 기초하여 사용자의 현재 위치가 결정된다. 사용자의 현재 위치로부터 지정된 PuDo 위치로의 경로가 결정되고, 지정된 PuDo 위치에 도달하기 위한 명령이, 예를 들어 실시간으로 업데이트되는 그의 모바일 디바이스 상의 증강 현실(AR; augmented reality) 인터페이스를 사용하여, 사용자의 모바일 디바이스 상에 디스플레이된다.
개시된 실시예는 또한, 차량 안으로 사용자의 진입을 허용하기 전에, 차량의 외부 센서(예컨대, 카메라, LiDAR)에 의해 검출되는, 사용자에 의해 수행되는 손 제스처 시퀀스에 기초하여, 차량이 사용자의 신원을 인증할 수 있게 해준다. 예를 들어, 초기화 절차 동안, 사용자는 자신의 사용자 프로파일과 연관되어 저장될, 선호하는 손 제스처들의 시퀀스를 선택할 수 있다. 사용자가 차량에 접근할 때, 사용자는 차량에의 진입을 얻기 위해 손 제스처 시퀀스를 수행한다. 차량의 외부 상에 설치된 센서(예컨대, 카메라)는 손 제스처 시퀀스를 검출한다. 손 제스처 시퀀스는 사용자 프로파일에 저장된 손 제스처 시퀀스와 비교된다. 손 제스처 시퀀스가 저장된 시퀀스와 원하는 임계치 내로 매칭되면, 사용자의 신원이 인증되고, 차량의 하나 이상의 문을 자동으로 잠금해제함으로써 사용자는 차량에 들어가는 것이 허용된다.
본원에 기재된 시스템, 방법 및 컴퓨터 프로그램 제품의 구현에 의해, 차량을 찾고 액세스하기 위한 기술은 적어도 다음 이점을 제공한다.
PuDo 위치로의 평가 가능하고 직관적인 안내 명령을 제공하도록 사용자의 개인 모바일 디바이스가 활용된다. 동적 거리 그래픽은 사용자가 지정된 PuDo 위치를 향한 사용자의 진행상황을 이해하도록 돕는다. 모바일 디바이스 상의 전자 나침반은 사용자가 PuDo 위치 바로 근처에 있을 때 사용자가 지정된 PuDo 위치를 빠르게 찾을 수 있도록 돕는다. AR 및/또는 물리적 종료 마커(end marker)(예컨대, 표지판, 랜드마크)는 사용자가 여러 PuDo 위치들 중에 지정된 PuDo 위치를 찾는 것을 더 돕는다.
손 제스처들을 사용하여 사용자의 신원을 실시간으로 인증하는 것은 청각 장애 사용자가 차량에 안전하게 들어갈 수 있는 액세스가능 방식을 제공한다. 예를 들어, ASL(American Sign Language) 또는 다른 확립된 수화 또는 일반적인 터치 스크린 제스처(예컨대, 클렌칭, 핀칭, 웨이빙)를 인식할 수 있는 차량은 청각 장애 사용자에 대하여 보다 나은 실시간 접근성을 제공한다. 손 제스처들을 검출하는데 사용되는 손-추적 기술이 상이한 타입들의 차량에 채용 가능하다. 손 제스처들의 실시간 검출은 승객 대기 시간을 최소화한다. 수정가능한 손 제스처 시퀀스는 승객 프라이버시를 보장한다.
실시예에서, 방법은, 사용자의 모바일 디바이스(예컨대, 개인 스마트폰 또는 태블릿)의 센서로부터, 모바일 디바이스의 위치를 나타내는 센서 데이터(예컨대, WIFI, Bluetooth™, 기지국으로부터의 GNSS 데이터 또는 삼각측량된 위치 데이터)를 획득하는 단계; 모바일 디바이스의 적어도 하나의 프로세서에 의해, 지정된 PuDo 위치를 나타내는 포지션(position) 데이터를 획득하는 단계; 모바일 디바이스의 적어도 하나의 프로세서에 의해, 센서 데이터 및 포지션 데이터에 기초하여, 모바일 디바이스의 현재 위치로부터 지정된 PuDo 위치로의 경로를 결정하는 단계; 모바일 디바이스의 적어도 하나의 프로세서에 의해, 경로에 기초하여, 경로를 따르기 위한 명령어 세트(예컨대, 턴바이턴(turn-by-turn) 지시)를 결정하는 단계; 및 모바일 디바이스의 인터페이스를 사용하여, 모바일 디바이스의 적어도 하나의 프로세서에 의해, 지정된 PuDo 위치와 연관된 표시(indication)(예컨대, AR 마커 또는 물리적 마커, 예컨대 표지판)와, 모바일 디바이스의 현재 위치에 기초하여 경로를 따르기 위한 명령어 세트를 포함하는 정보를 제공하는 단계를 포함한다.
실시예에서, 방법은, 경로에 기초하여 모바일 디바이스의 현재 위치로부터 지정된 PuDo 위치까지의 거리를 결정하는 단계; 및 모바일 디바이스의 인터페이스를 사용하여, 모바일 디바이스의 현재 위치로부터 지정된 PuDo 위치까지의 거리를 포함한 정보를 제공하는 단계를 더 포함한다.
실시예에서, 표시는 환경에 위치된 물리적 특징(physical feature) 또는 랜드마크(예컨대, 빌딩, 신호등 또는 물리적 마커), 또는 모바일 디바이스 상에 디스플레이된 환경 내의 적어도 하나의 물체에 대해 위치된, 사용자의 모바일 디바이스 상에 디스플레이된 증강 현실(AR) 마커, 중의 적어도 하나와 연관된다(예컨대, 나타낸다).
실시예에서, AR 마커는 지리적 영역 내에서 고유한(unique) 것이고(예컨대, 하나의 AR 마커의 다수의 사본들이 Boston 내에 존재할 수 있지만, 사우스 스테이션의 1 마일 내에 이러한 AR 마커의 단 하나만 존재함), 지정된 PuDo 위치에 도착하도록 예정된 도착 차량과 연관된다(예컨대, AR 마커가 차량과 시각적으로 연관될 수 있음).
실시예에서, 명령어 세트는 환경의 라이브 비디오 피드에 오버레이된 시각적 큐 세트(예컨대, 라이브 비디오 스트림 상에 오버레이되며, 경로를 따라 지정된 PuDo 위치를 향하는 AR 화살표 세트)를 포함한다.
실시예에서, 명령어 세트는 지정된 PuDo 위치의 방향을 가리키는 나침반(예컨대, 그래픽 또는 AR 나침반)을 포함한다.
실시예에서, 나침반은 모바일 디바이스가 지정된 PuDo 위치의 임계 거리 내에 있을 때 디스플레이된다.
실시예에서, 모바일 디바이스의 현재 위치로부터 지정된 PuDo 위치로의 경로는 적어도 부분적으로 네트워크 기반의 컴퓨팅 시스템("클라우드 컴퓨팅 시스템"으로도 지칭됨)에 의해 결정된다.
실시예에서, 명령어 세트는 적어도 부분적으로 네트워크 기반의 컴퓨팅 시스템에 의해 결정된다.
실시예에서, 모바일 디바이스의 현재 위치로부터 지정된 PuDo 위치까지의 거리는 적어도 부분적으로 네트워크 기반의 컴퓨팅 시스템에 의해 결정된다.
실시예에서, 명령어 세트는 적어도 부분적으로 네트워크 기반의 컴퓨팅 시스템에 의해 결정된다.
실시예에서, 센서 데이터는 위성 데이터, 무선 네트워크 데이터 또는 위치 비컨 데이터 중의 적어도 하나를 포함한다.
실시예에서, 방법은, 모바일 디바이스의 적어도 하나의 프로세서에 의해, 모바일 디바이스의 새로운 위치에 기초하여, 제공된 정보를 업데이트하는 단계를 더 포함한다.
실시예에서, 방법은, 차량의 적어도 하나의 프로세서에 의해, 사용자의 저장된 손 제스처 시퀀스(네트워크 서버 상의 또는 사용자에게 속한 NFC 디바이스의 사용자 프로파일에 보관됨)를 획득하는 단계; 적어도 하나의 프로세서에 의해, 사용자에 의해 수행된, 손 제스처 시퀀스와 연관된 센서 데이터(예컨대, 카메라 데이터 또는 LiDAR 데이터)를 획득하는 단계(예컨대, 사용자가 차량의 임계 거리 내에 있을 때); 적어도 하나의 프로세서에 의해, 센서 데이터를 획득하는 것에 기초하여 사용자에 의해 수행된 손 제스처 시퀀스를 식별하는 단계; 적어도 하나의 프로세서에 의해, 사용자에 의해 수행된 손 제스처 시퀀스와 저장된 손 제스처 시퀀스를 식별하는 것에 기초하여, 사용자에 의해 수행된 손 제스처 시퀀스와 저장된 손 제스처 시퀀스를 비교하는 단계; 적어도 하나의 프로세서에 의해, 사용자에 의해 수행된 손 제스처 시퀀스와 저장된 손 제스처 시퀀스를 비교하는 것에 기초하여, 사용자에 의해 수행된 손 제스처 시퀀스가 사용자의 프로파일에서의 저장된 손 제스처 시퀀스와 매칭된다고 결정하는 단계(예컨대, 각자의 매칭 메트릭의 세트의 임계 비율에 의해 저장된 시퀀스와 매칭됨); 및 적어도 하나의 프로세서에 의해, 사용자에 의해 수행된 손 제스처 시퀀스가 사용자의 저장된 손 제스처 시퀀스와 매칭된다고 결정하는 것에 기초하여, 차량의 적어도 하나의 문을 잠금 해제하는 단계를 포함한다.
실시예에서, 방법은 차량의 외부 상의 인터페이스를 통해 잠금 해제의 통지를 제공하는 단계를 더 포함한다(예컨대, 표지판의 디스플레이, 조명 등을 통해).
실시예에서, 방법은, 센서 데이터에 기초하여, 차량에 대한 사용자 위치를 결정(예컨대, 인식 및/또는 계산)하는 단계; 및 사용자 위치에 가장 가까이 있는 적어도 하나의 문(예컨대, 화물 공간)을 여는 단계를 더 포함한다.
실시예에서, 선행 방법 청구항 중의 임의의 방법은, 열기 전에 차량의 외부 상의 인터페이스를 통해 열림의 통지를 제공하는 단계를 더 포함한다.
실시예에서, 선행 방법 청구항 중의 임의의 방법은, 승객으로부터의 요청에 기초하여, 승객이 원격 지원을 필요로 한다고 결정하는 단계; 사용자가 원격 지원을 필요로 한다고 결정하는 것에 기초하여 적어도 하나의 원격 차량 지원(RVA)에 접촉하는 단계; 적어도 하나의 RVA로부터, 차량에의 액세스를 얻기 위한 명령어들과 연관된 데이터를 수신하는 단계; 및 차량의 외부 상의 인터페이스를 통해 명령어들을 제공하는 단계를 더 포함한다.
실시예에서, 저장된 손 제스처 시퀀스는 적어도 부분적으로 단거리 통신(예컨대, NFC, Bluetooth) 디바이스로부터의 데이터에 기초하여 획득된다.
실시예에서, 사용자에 의해 수행된 손 제스처 시퀀스를 식별하는 단계는 머신 러닝(ML; machine learning) 모델(예컨대, 손 제스처 시퀀스를 인식하도록 트레이닝된 재귀 신경 네트워크)에 기초한다.
실시예에서, ML 모델은 재귀 신경 네트워크(예컨대, 손 제스처들 및 손 제스처들의 순서를 인식하도록 트레이닝됨)이다.
실시예에서, 사용자에 의해 수행된 손 제스처 시퀀스를 식별하는 단계는, 원격 시스템(예컨대, 클라우드 서버)을 사용하여, 사용자에 의해 수행된 제스처 시퀀스 내의 적어도 하나의 제스처를 식별하는 단계를 포함한다.
실시예에서, 시스템은, 적어도 하나의 프로세서; 및 명령어들을 포함한 적어도 하나의 비일시적 컴퓨터 판독가능 저장 매체를 포함하고, 명령어들은 적어도 하나의 프로세서에 의한 명령어들의 실행시, 적어도 하나의 프로세서로 하여금, 상기 기재된 방법들 중의 임의의 방법을 전체적으로 또는 부분적으로 수행하게 한다.
실시예에서, 적어도 하나의 비일시적 컴퓨터 판독가능 저장 매체는, 적어도 하나의 프로세서에 의한 명령어들의 실행시, 적어도 하나의 프로세서로 하여금, 상기 기재된 방법들 중의 임의의 방법을 전체적으로 또는 부분적으로 수행하게 하는 명령어들을 포함한다.
실시예에서, 장치는 상기 기재된 방법들 중의 임의의 방법을 전체적으로 또는 부분적으로 수행하기 위한 수단을 포함한다.
이제 도 1을 참조하면, 자율 주행 시스템들을 포함하는 차량들은 물론 그렇지 않은 차량들이 작동되는 예시적인 환경(100)이 예시되어 있다. 예시된 바와 같이, 환경(100)은 차량들(102a 내지 102n), 대상체들(104a 내지 104n), 루트들(106a 내지 106n), 영역(108), 차량 대 인프라스트럭처(vehicle-to-infrastructure, V2I) 디바이스(110), 네트워크(112), 원격 AV 시스템(114), 플릿 관리 시스템(fleet management system)(116), 및 V2I 시스템(118)을 포함한다. 차량들(102a 내지 102n), 차량 대 인프라스트럭처(V2I) 디바이스(110), 네트워크(112), AV 시스템(114), 플릿 관리 시스템(116), 및 V2I 시스템(118)은 유선 연결들, 무선 연결들, 또는 유선 또는 무선 연결들의 조합을 통해 상호연결한다(예를 들면, 통신 등을 위해 연결을 확립한다). 일부 실시예들에서, 대상체들(104a 내지 104n)은 유선 연결들, 무선 연결들 또는 유선 또는 무선 연결들의 조합을 통해 차량들(102a 내지 102n), 차량 대 인프라스트럭처(V2I) 디바이스(110), 네트워크(112), AV 시스템(114), 플릿 관리 시스템(116), 및 V2I 시스템(118) 중 적어도 하나와 상호연결한다.
차량들(102a 내지 102n)(개별적으로 차량(102)이라고 지칭되고 집합적으로 차량들(102)이라고 지칭됨)은 상품 및/또는 사람을 운송하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 실시예들에서, 차량들(102)은 네트워크(112)를 통해 V2I 디바이스(110), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된다. 일부 실시예들에서, 차량들(102)은 자동차들, 버스들, 트럭들, 기차들 등을 포함한다. 일부 실시예들에서, 차량들(102)은 본원에 기술된 차량들(200)(도 2 참조)과 동일하거나 유사하다. 일부 실시예들에서, 일단의 차량들(200) 중의 차량(200)은 자율 주행 플릿 관리자와 연관된다. 일부 실시예들에서, 차량들(102)은, 본원에 기술된 바와 같이, 각자의 루트들(106a 내지 106n)(개별적으로 루트(106)라고 지칭되고 집합적으로 루트들(106)이라고 지칭됨)을 따라 주행한다. 일부 실시예들에서, 하나 이상의 차량(102)은 자율 주행 시스템(예를 들면, 자율 주행 시스템(202)과 동일하거나 유사한 자율 주행 시스템)을 포함한다.
대상체들(104a 내지 104n)(개별적으로 대상체(104)라고 지칭되고 집합적으로 대상체들(104)이라고 지칭됨)은, 예를 들어, 적어도 하나의 차량, 적어도 하나의 보행자, 적어도 하나의 자전거 타는 사람, 적어도 하나의 구조물(예를 들면, 건물, 표지판, 소화전(fire hydrant) 등) 등을 포함한다. 각각의 대상체(104)는 정지해 있거나(예를 들면, 일정 시간 기간 동안 고정 위치에 위치하거나) 이동하고 있다(예를 들면, 속도를 가지며 적어도 하나의 궤적과 연관되어 있다). 일부 실시예들에서, 대상체들(104)은 영역(108) 내의 대응하는 위치들과 연관되어 있다.
루트들(106a 내지 106n)(개별적으로 루트(106)라고 지칭되고 집합적으로 루트들(106)이라고 지칭됨)은 각각 AV가 운행할 수 있는 상태들을 연결하는 행동들의 시퀀스(궤적이라고도 함)와 연관된다(예를 들면, 이를 규정한다). 각각의 루트(106)는 초기 상태(예를 들면, 제1 시공간적 위치, 속도 등에 대응하는 상태) 및 최종 목표 상태(예를 들면, 제1 시공간적 위치와 상이한 제2 시공간적 위치에 대응하는 상태) 또는 목표 영역(예를 들면, 허용 가능한 상태들(예를 들면, 종료 상태들(terminal states))의 부분 공간(subspace))에서 시작된다. 일부 실시예들에서, 제1 상태는 개인 또는 개인들이 AV에 의해 픽업(pick-up)되어야 하는 위치를 포함하고 제2 상태 또는 영역은 AV에 의해 픽업된 개인 또는 개인들이 하차(drop-off)해야 하는 위치 또는 위치들을 포함한다. 일부 실시예들에서, 루트들(106)은 복수의 허용 가능한 상태 시퀀스들(예를 들면, 복수의 시공간적 위치 시퀀스들)을 포함하며, 복수의 상태 시퀀스들은 복수의 궤적들과 연관된다(예를 들면, 이를 정의한다). 일 예에서, 루트들(106)은, 도로 교차로들에서의 회전 방향들을 지시하는 일련의 연결된 도로들과 같은, 상위 레벨 행동들 또는 부정확한 상태 위치들만을 포함한다. 추가적으로 또는 대안적으로, 루트들(106)은, 예를 들어, 특정 목표 차선들 또는 차선 영역들 내에서의 정확한 위치들 및 해당 위치들에서의 목표 속력과 같은, 보다 정확한 행동들 또는 상태들을 포함할 수 있다. 일 예에서, 루트들(106)은 중간 목표들에 도달하기 위해 제한된 룩어헤드 호라이즌(lookahead horizon)을 갖는 적어도 하나의 상위 레벨 행동 시퀀스를 따른 복수의 정확한 상태 시퀀스들을 포함하며, 여기서 제한된 호라이즌 상태 시퀀스들의 연속적인 반복들의 조합은 누적되어 복수의 궤적들에 대응하며 이 복수의 궤적들은 집합적으로 최종 목표 상태 또는 영역에서 종료하는 상위 레벨 루트를 형성한다.
영역(108)은 차량들(102)이 운행할 수 있는 물리적 영역(예를 들면, 지리적 영역)을 포함한다. 일 예에서, 영역(108)은 적어도 하나의 주(state)(예를 들면, 국가, 지방, 국가에 포함된 복수의 주들의 개개의 주 등), 주의 적어도 하나의 부분, 적어도 하나의 도시, 도시의 적어도 하나의 부분 등을 포함한다. 일부 실시예들에서, 영역(108)은 간선 도로, 주간 간선 도로, 공원 도로, 도시 거리 등과 같은 적어도 하나의 명명된 주요 도로(thoroughfare)(본원에서 "도로"라고 지칭됨)를 포함한다. 추가적으로 또는 대안적으로, 일부 예들에서, 영역(108)은 진입로, 주차장의 섹션, 공터 및/또는 미개발 부지의 섹션, 비포장 경로 등과 같은 적어도 하나의 명명되지 않은 도로를 포함한다. 일부 실시예들에서, 도로는 적어도 하나의 차선(예를 들면, 차량(102)에 의해 횡단될 수 있는 도로의 일 부분)을 포함한다. 일 예에서, 도로는 적어도 하나의 차선 마킹과 연관된(예를 들면, 이에 기초하여 식별되는) 적어도 하나의 차선을 포함한다.
차량 대 인프라스트럭처(V2I) 디바이스(110)(때때로 차량 대 인프라스트럭처(V2X) 디바이스라고 지칭됨)는 차량들(102) 및/또는 V2I 인프라스트럭처 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 실시예들에서, V2I 디바이스(110)는 네트워크(112)를 통해 차량들(102), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된다. 일부 실시예들에서, V2I 디바이스(110)는 RFID(radio frequency identification) 디바이스, 사이니지(signage), 카메라(예를 들면, 2차원(2D) 및/또는 3차원(3D) 카메라), 차선 마커, 가로등, 주차 미터기 등을 포함한다. 일부 실시예들에서, V2I 디바이스(110)는 차량들(102)과 직접 통신하도록 구성된다. 추가적으로 또는 대안적으로, 일부 실시예들에서, V2I 디바이스(110)는 V2I 시스템(118)을 통해 차량들(102), 원격 AV 시스템(114), 및/또는 플릿 관리 시스템(116)과 통신하도록 구성된다. 일부 실시예들에서, V2I 디바이스(110)는 네트워크(112)를 통해 V2I 시스템(118)과 통신하도록 구성된다.
네트워크(112)는 하나 이상의 유선 및/또는 무선 네트워크를 포함한다. 일 예에서, 네트워크(112)는 셀룰러 네트워크(예를 들면, LTE(long term evolution) 네트워크, 3G(third generation) 네트워크, 4G(fourth generation) 네트워크, 5G(fifth generation) 네트워크, CDMA( code division multiple access) 네트워크 등), PLMN(public land mobile network), LAN(local area network), WAN(wide area network), MAN(metropolitan area network), 전화 네트워크(예를 들면, PSTN(public switched telephone network)), 사설 네트워크, 애드혹 네트워크, 인트라넷, 인터넷, 광섬유 기반 네트워크, 클라우드 컴퓨팅 네트워크 등, 이러한 네트워크들의 일부 또는 전부의 조합 등을 포함한다.
원격 AV 시스템(114)은 네트워크(112)를 통해 차량들(102), V2I 디바이스(110), 네트워크(112), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일 예에서, 원격 AV 시스템(114)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, 원격 AV 시스템(114)은 플릿 관리 시스템(116)과 동일 위치에 배치된다(co-located). 일부 실시예들에서, 원격 AV 시스템(114)은 자율 주행 시스템, 자율 주행 차량 컴퓨터, 자율 주행 차량 컴퓨터에 의해 구현되는 소프트웨어 등을 포함한, 차량의 컴포넌트들 중 일부 또는 전부의 설치에 관여된다. 일부 실시예들에서, 원격 AV 시스템(114)은 차량의 수명 동안 그러한 컴포넌트들 및/또는 소프트웨어를 유지 관리(예를 들면, 업데이트 및/또는 교체)한다.
플릿 관리 시스템(116)은 차량들(102), V2I 디바이스(110), 원격 AV 시스템(114), 및/또는 V2I 인프라스트럭처 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일 예에서, 플릿 관리 시스템(116)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, 플릿 관리 시스템(116)은 라이드 셰어링(ridesharing) 회사(예를 들면, 다수의 차량들(예를 들면, 자율 주행 시스템들을 포함하는 차량들 및/또는 자율 주행 시스템들을 포함하지 않는 차량들)의 작동을 제어하는 조직 등)와 연관된다.
일부 실시예들에서, V2I 시스템(118)은 네트워크(112)를 통해 차량들(102), V2I 디바이스(110), 원격 AV 시스템(114), 및/또는 플릿 관리 시스템(116)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, V2I 시스템(118)은 네트워크(112)와 상이한 연결을 통해 V2I 디바이스(110)와 통신하도록 구성된다. 일부 실시예들에서, V2I 시스템(118)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, V2I 시스템(118)은 지자체 또는 사설 기관(예를 들면, V2I 디바이스(110) 등을 유지 관리하는 사설 기관)과 연관된다.
도 1에 예시된 요소들의 수 및 배열은 예로서 제공된다. 도 1에 예시된 것보다, 추가적인 요소들, 더 적은 요소들, 상이한 요소들 및/또는 상이하게 배열된 요소들이 있을 수 있다. 추가적으로 또는 대안적으로, 환경(100)의 적어도 하나의 요소는 도 1의 적어도 하나의 상이한 요소에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다. 추가적으로 또는 대안적으로, 환경(100)의 적어도 하나의 요소 세트는 환경(100)의 적어도 하나의 상이한 요소 세트에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다.
이제 도 2를 참조하면, 차량(200)은 자율 주행 시스템(202), 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 및 브레이크 시스템(208)을 포함한다. 일부 실시예들에서, 차량(200)은 차량(102)(도 1 참조)과 동일하거나 유사하다. 일부 실시예들에서, 차량(102)은 자율 주행 능력을 갖는다(예를 들면, 완전 자율 주행 차량들(예를 들면, 인간 개입에 의존하지 않는 차량들), 고도 자율 주행 차량들(예를 들면, 특정 상황들에서 인간 개입에 의존하지 않는 차량들) 등을, 제한 없이, 포함한, 차량(200)이 인간 개입 없이 부분적으로 또는 완전히 작동될 수 있게 하는 적어도 하나의 기능, 특징, 디바이스 등을 구현한다). 완전 자율 주행 차량들 및 고도 자율 주행 차량들에 대한 상세한 설명에 대해서는, 그 전체가 참고로 포함되는, SAE International's standard J3016: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems를 참조할 수 있다. 일부 실시예들에서, 차량(200)은 자율 주행 플릿 관리자 및/또는 라이드 셰어링 회사와 연관된다.
자율 주행 시스템(202)은 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 및 마이크로폰들(202d)과 같은 하나 이상의 디바이스들을 포함하는 센서 스위트(sensor suite)를 포함한다. 일부 실시예들에서, 자율 주행 시스템(202)은 보다 많거나 보다 적은 디바이스들 및/또는 상이한 디바이스들(예를 들면, 초음파 센서들, 관성 센서들, GPS 수신기들(아래에서 논의됨), 차량(200)이 주행한 거리의 표시와 연관된 데이터를 생성하는 주행 거리 측정 센서들 등)을 포함할 수 있다. 일부 실시예들에서, 자율 주행 시스템(202)은 자율 주행 시스템(202)에 포함된 하나 이상의 디바이스를 사용하여 본원에서 기술되는 환경(100)과 연관된 데이터를 생성한다. 자율 주행 시스템(202)의 하나 이상의 디바이스에 의해 생성되는 데이터는 차량(200)이 위치하는 환경(예를 들면, 환경(100))을 관측하기 위해 본원에 기술된 하나 이상의 시스템에 의해 사용될 수 있다. 일부 실시예들에서, 자율 주행 시스템(202)은 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및 드라이브 바이 와이어(drive-by-wire, DBW) 시스템(202h)을 포함한다.
카메라들(202a)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 카메라들(202a)은 물리적 대상체들(예를 들면, 자동차들, 버스들, 연석들, 사람들 등)을 포함하는 이미지들을 캡처하기 위한 적어도 하나의 카메라(예를 들면, CCD(charge-coupled device)와 같은 광 센서를 사용하는 디지털 카메라, 열 카메라, 적외선(IR) 카메라, 이벤트 카메라 등)를 포함한다. 일부 실시예들에서, 카메라(202a)는 카메라 데이터를 출력으로서 생성한다. 일부 예들에서, 카메라(202a)는 이미지와 연관된 이미지 데이터를 포함하는 카메라 데이터를 생성한다. 이 예에서, 이미지 데이터는 이미지에 대응하는 적어도 하나의 파라미터(예를 들면, 노출, 밝기 등과 같은 이미지 특성들, 이미지 타임스탬프 등)를 명시할 수 있다. 그러한 예에서, 이미지는 한 형식(예를 들면, RAW, JPEG, PNG 등)으로 되어 있을 수 있다. 일부 실시예들에서, 카메라(202a)는 입체시(stereopsis)(스테레오 비전(stereo vision))를 위해 이미지들을 캡처하도록 차량 상에 구성된(예를 들면, 차량 상에 위치된) 복수의 독립적인 카메라들을 포함한다. 일부 예들에서, 카메라(202a)는 복수의 카메라들을 포함하고, 이 복수의 카메라들은 이미지 데이터를 생성하고 이미지 데이터를 자율 주행 차량 컴퓨터(202f) 및/또는 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템)으로 전송한다. 그러한 예에서, 자율 주행 차량 컴퓨터(202f)는 적어도 2 개의 카메라로부터의 이미지 데이터에 기초하여 복수의 카메라들 중 적어도 2 개의 카메라의 시야 내의 하나 이상의 대상체까지의 깊이를 결정한다. 일부 실시예들에서, 카메라들(202a)은 카메라들(202a)로부터 일정 거리(예를 들면, 최대 100 미터, 최대 1 킬로미터 등) 내의 대상체들의 이미지들을 캡처하도록 구성된다. 그에 따라, 카메라들(202a)은 카메라들(202a)로부터 하나 이상의 거리에 있는 대상체들을 인지하도록 최적화된 센서들 및 렌즈들과 같은 특징부들을 포함한다.
일 실시예에서, 카메라(202a)는 시각적 내비게이션 정보를 제공하는 하나 이상의 교통 신호등, 거리 표지판 및/또는 다른 물리적 대상체와 연관된 하나 이상의 이미지를 캡처하도록 구성된 적어도 하나의 카메라를 포함한다. 일부 실시예들에서, 카메라(202a)는 하나 이상의 이미지와 연관된 교통 신호등 데이터를 생성한다. 일부 예들에서, 카메라(202a)는 한 형식(예를 들면, RAW, JPEG, PNG 등)을 포함하는 하나 이상의 이미지와 연관된 TLD 데이터를 생성한다. 일부 실시예들에서, TLD 데이터를 생성하는 카메라(202a)는, 카메라(202a)가 가능한 한 많은 물리적 대상체들에 관한 이미지들을 생성하기 위해 넓은 시야를 갖는 하나 이상의 카메라(예를 들면, 광각 렌즈, 어안 렌즈, 대략 120도 이상의 시야각을 갖는 렌즈 등)를 포함할 수 있다는 점에서, 카메라들을 포함하는 본원에 기술된 다른 시스템들과 상이하다.
LiDAR(Laser Detection and Ranging) 센서들(202b)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. LiDAR 센서들(202b)은 광 방출기(예를 들면, 레이저 송신기)로부터 광을 송신하도록 구성된 시스템을 포함한다. LiDAR 센서들(202b)에 의해 방출되는 광은 가시 스펙트럼 밖에 있는 광(예를 들면, 적외선 광 등)을 포함한다. 일부 실시예들에서, 작동 동안, LiDAR 센서들(202b)에 의해 방출되는 광은 물리적 대상체(예를 들면, 차량)와 조우하고 LiDAR 센서들(202b)로 다시 반사된다. 일부 실시예들에서, LiDAR 센서들(202b)에 의해 방출되는 광은 광이 조우하는 물리적 대상체들을 투과하지 않는다. LiDAR 센서들(202b)은 광 방출기로부터 방출된 광이 물리적 대상체와 조우한 후에 그 광을 검출하는 적어도 하나의 광 검출기를 또한 포함한다. 일부 실시예들에서, LiDAR 센서들(202b)과 연관된 적어도 하나의 데이터 프로세싱 시스템은 LiDAR 센서들(202b)의 시야에 포함된 대상체들을 나타내는 이미지(예를 들면, 포인트 클라우드, 결합된 포인트 클라우드(combined point cloud) 등)를 생성한다. 일부 예들에서, LiDAR 센서(202b)와 연관된 적어도 하나의 데이터 프로세싱 시스템은 물리적 대상체의 경계들, 물리적 대상체의 표면들(예를 들면, 표면들의 토폴로지) 등을 나타내는 이미지를 생성한다. 그러한 예에서, 이미지는 LiDAR 센서들(202b)의 시야 내의 물리적 대상체들의 경계들을 결정하는 데 사용된다.
레이더(radar, Radio Detection and Ranging) 센서들(202c)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 레이더 센서들(202c)은 전파들을 (펄스형으로 또는 연속적으로) 송신하도록 구성된 시스템을 포함한다. 레이더 센서들(202c)에 의해 송신되는 전파들은 미리 결정된 스펙트럼 내에 있는 전파들을 포함한다. 일부 실시예들에서, 작동 동안, 레이더 센서들(202c)에 의해 송신되는 전파들은 물리적 대상체와 조우하고 레이더 센서들(202c)로 다시 반사된다. 일부 실시예들에서, 레이더 센서들(202c)에 의해 전송되는 전파들이 일부 대상체들에 의해 반사되지 않는다. 일부 실시예들에서, 레이더 센서들(202c)과 연관된 적어도 하나의 데이터 프로세싱 시스템은 레이더 센서들(202c)의 시야에 포함된 대상체들을 나타내는 신호들을 생성한다. 예를 들어, 레이더 센서(202c)와 연관된 적어도 하나의 데이터 프로세싱 시스템은 물리적 대상체의 경계들, 물리적 대상체의 표면들(예를 들면, 표면들의 토폴로지) 등을 나타내는 이미지를 생성한다. 일부 예들에서, 이미지는 레이더 센서들(202c)의 시야 내의 물리적 대상체들의 경계들을 결정하는 데 사용된다.
마이크로폰들(202d)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 마이크로폰들(202d)은 오디오 신호들을 캡처하고 오디오 신호들과 연관된(예를 들면, 이를 나타내는) 데이터를 생성하는 하나 이상의 마이크로폰(예를 들면, 어레이 마이크로폰, 외부 마이크로폰 등)을 포함한다. 일부 예들에서, 마이크로폰들(202d)은 트랜스듀서 디바이스들 및/또는 유사 디바이스들을 포함한다. 일부 실시예들에서, 본원에 기술된 하나 이상의 시스템은 마이크로폰들(202d)에 의해 생성되는 데이터를 수신하고 데이터와 연관된 오디오 신호들에 기초하여 차량(200)에 상대적인 대상체의 위치(예를 들면, 거리 등)를 결정할 수 있다.
통신 디바이스(202e)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 자율 주행 차량 컴퓨터(202f), 안전 제어기(202g), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 예를 들어, 통신 디바이스(202e)는 도 3의 통신 인터페이스(314)와 동일하거나 유사한 디바이스를 포함할 수 있다. 일부 실시예들에서, 통신 디바이스(202e)는 차량 대 차량(vehicle-to-vehicle, V2V) 통신 디바이스(예를 들면, 차량들 간의 데이터의 무선 통신을 가능하게 하는 디바이스)를 포함한다.
자율 주행 차량 컴퓨터(202f)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 통신 디바이스(202e), 안전 제어기(202g), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 자율 주행 차량 컴퓨터(202f)는 클라이언트 디바이스, 모바일 디바이스(예를 들면, 셀룰러 전화, 태블릿 등), 서버(예를 들면, 하나 이상의 중앙 프로세싱 유닛, 그래픽 프로세싱 유닛 등을 포함하는 컴퓨팅 디바이스) 등과 같은 디바이스를 포함한다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(202f)는 본원에 기술된 자율 주행 차량 컴퓨터(400)와 동일하거나 유사하다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 자율 주행 차량 컴퓨터(202f)는 자율 주행 차량 시스템(예를 들면, 도 1의 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템), 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템), V2I 디바이스(예를 들면, 도 1의 V2I 디바이스(110)와 동일하거나 유사한 V2I 디바이스), 및/또는 V2I 시스템(예를 들면, 도 1의 V2I 시스템(118)과 동일하거나 유사한 V2I 시스템)과 통신하도록 구성된다.
안전 제어기(202g)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 안전 제어기(202g)는 차량(200)의 하나 이상의 디바이스(예를 들면, 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 브레이크 시스템(208) 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된 하나 이상의 제어기(전기 제어기, 전기기계 제어기 등)를 포함한다. 일부 실시예들에서, 안전 제어기(202g)는 자율 주행 차량 컴퓨터(202f)에 의해 생성 및/또는 송신되는 제어 신호들보다 우선하는(예를 들면, 이를 무시하는) 제어 신호들을 생성하도록 구성된다.
DBW 시스템(202h)은 통신 디바이스(202e) 및/또는 자율 주행 차량 컴퓨터(202f)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, DBW 시스템(202h)은 차량(200)의 하나 이상의 디바이스(예를 들면, 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 브레이크 시스템(208) 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된 하나 이상의 제어기(예를 들면, 전기 제어기, 전기기계 제어기 등)를 포함한다. 추가적으로 또는 대안적으로, DBW 시스템(202h)의 하나 이상의 제어기는 차량(200)의 적어도 하나의 상이한 디바이스(예를 들면, 방향 지시등, 헤드라이트, 도어록, 윈도실드 와이퍼 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된다.
파워트레인 제어 시스템(204)은 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 파워트레인 제어 시스템(204)은 적어도 하나의 제어기, 액추에이터 등을 포함한다. 일부 실시예들에서, 파워트레인 제어 시스템(204)은 DBW 시스템(202h)으로부터 제어 신호들을 수신하고, 파워트레인 제어 시스템(204)은 차량(200)이 전진하는 것을 시작하게 하고, 전진하는 것을 중지하게 하며, 후진하는 것을 시작하게 하고, 후진하는 것을 중지하게 하며, 한 방향으로 가속하게 하고, 한 방향으로 감속하게 하며, 좌회전을 수행하게 하고, 우회전을 수행하게 하는 등을 한다. 일 예에서, 파워트레인 제어 시스템(204)은 차량의 모터에 제공되는 에너지(예를 들면, 연료, 전기 등)가 증가하게 하거나, 동일하게 유지되게 하거나, 또는 감소하게 하여, 이에 의해 차량(200)의 적어도 하나의 바퀴가 회전하거나 회전하지 않게 한다.
조향 제어 시스템(206)은 차량(200)의 하나 이상의 바퀴를 회전시키도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 조향 제어 시스템(206)은 적어도 하나의 제어기, 액추에이터 등을 포함한다. 일부 실시예들에서, 조향 제어 시스템(206)은 차량(200)이 좌측 또는 우측으로 방향 전환하게 하기 위해 차량(200)의 전방 2 개의 바퀴 및/또는 후방 2 개의 바퀴가 좌측 또는 우측으로 회전하게 한다.
브레이크 시스템(208)은 차량(200)이 속력을 감소시키게 하고/하거나 정지해 있는 채로 유지하게 하기 위해 하나 이상의 브레이크를 작동시키도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 브레이크 시스템(208)은 차량(200)의 대응하는 로터(rotor)에서 차량(200)의 하나 이상의 바퀴들과 연관된 하나 이상의 캘리퍼(caliper)가 닫히게 하도록 구성되는 적어도 하나의 제어기 및/또는 액추에이터를 포함한다. 추가적으로 또는 대안적으로, 일부 예들에서, 브레이크 시스템(208)은 자동 긴급 제동(automatic emergency braking, AEB) 시스템, 회생 제동 시스템 등을 포함한다.
일부 실시예들에서, 차량(200)은 차량(200)의 상태 또는 조건의 속성들을 측정 또는 추론하는 적어도 하나의 플랫폼 센서(명시적으로 예시되지 않음)를 포함한다. 일부 예들에서, 차량(200)은 GPS(global positioning system) 수신기, IMU(inertial measurement unit), 휠 속력 센서, 휠 브레이크 압력 센서, 휠 토크 센서, 엔진 토크 센서, 조향각 센서 등과 같은 플랫폼 센서들을 포함한다.
일부 실시예에서, 차량(200)은, 대기압 센서, 온도 센서, 습도/레인 센서, 주변광 센서 등을 포함하지만 이에 한정되는 것은 아닌, 차량(200) 주변의 대기 조건을 측정하는 적어도 하나의 대기 센서(202i)를 포함한다.
이제 도 3을 참조하면, 디바이스(300)의 개략 다이어그램이 예시되어 있다. 예시된 바와 같이, 디바이스(300)는 컴퓨터 프로세서(304), 메모리(306), 저장 컴포넌트(308), 입력 인터페이스(310), 출력 인터페이스(312), 통신 인터페이스(314), 및 버스(302)를 포함한다. 일부 실시예들에서, 디바이스(300)는 차량들(102)의 적어도 하나의 디바이스(예를 들면, 차량들(102)의 시스템의 적어도 하나의 디바이스), 및/또는 네트워크(112)의 하나 이상의 디바이스(예를 들면, 네트워크(112)의 시스템의 하나 이상의 디바이스)에 대응한다. 일부 실시예들에서, 차량들(102)의 하나 이상의 디바이스(예를 들면, 차량들(102) 시스템의 하나 이상의 디바이스), 및/또는 네트워크(112)의 하나 이상의 디바이스(예를 들면, 네트워크(112)의 시스템의 하나 이상의 디바이스)는 적어도 하나의 디바이스(300) 및/또는 디바이스(300)의 적어도 하나의 컴포넌트를 포함한다. 도 3에 도시된 바와 같이, 디바이스(300)는 버스(302), 컴퓨터 프로세서(304), 메모리(306), 저장 컴포넌트(308), 입력 인터페이스(310), 출력 인터페이스(312), 및 통신 인터페이스(314)를 포함한다.
버스(302)는 디바이스(300)의 컴포넌트들 간의 통신을 가능하게 하는 컴포넌트를 포함한다. 일부 실시예들에서, 컴퓨터 프로세서(304)는 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로 구현된다. 일부 예들에서, 컴퓨터 프로세서(304)는 적어도 하나의 기능을 수행하도록 프로그래밍될 수 있는, 컴퓨터 프로세서(예를 들면, 중앙 프로세싱 유닛(CPU), 그래픽 프로세싱 유닛(GPU), 가속 프로세싱 유닛(APU) 등), 마이크로폰, 디지털 신호 프로세서(DSP), 및/또는 임의의 프로세싱 컴포넌트(예를 들면, FPGA(field-programmable gate array), ASIC(application specific integrated circuit) 등)를 포함한다. 메모리(306)는 컴퓨터 프로세서(304)가 사용할 데이터 및/또는 명령어들을 저장하는, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 및/또는 다른 유형의 동적 및/또는 정적 저장 디바이스(예를 들면, 플래시 메모리, 자기 메모리, 광학 메모리 등)를 포함한다.
저장 컴포넌트(308)는 디바이스(300)의 작동 및 사용에 관련된 데이터 및/또는 소프트웨어를 저장한다. 일부 예들에서, 저장 컴포넌트(308)는 하드 디스크(예를 들면, 자기 디스크, 광학 디스크, 광자기 디스크, 솔리드 스테이트 디스크 등), CD(compact disc), DVD(digital versatile disc), 플로피 디스크, 카트리지, 자기 테이프, CD-ROM, RAM, PROM, EPROM, FLASH-EPROM, NV-RAM 및/또는 다른 유형의 컴퓨터 판독 가능 매체를, 대응하는 드라이브와 함께, 포함한다.
입력 인터페이스(310)는 디바이스(300)가, 예컨대, 사용자 입력(예를 들면, 터치스크린 디스플레이, 키보드, 키패드, 마우스, 버튼, 스위치, 마이크로폰, 카메라 등)을 통해, 정보를 수신할 수 있게 하는 컴포넌트를 포함한다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 입력 인터페이스(310)는 정보를 감지하는 센서(예를 들면, GPS(global positioning system) 수신기, 가속도계, 자이로스코프, 액추에이터 등)를 포함한다. 출력 인터페이스(312)는 디바이스(300)로부터의 출력 정보를 제공하는 컴포넌트(예를 들면, 디스플레이, 스피커, 하나 이상의 발광 다이오드(LED) 등)를 포함한다.
일부 실시예들에서, 통신 인터페이스(314)는 디바이스(300)가 유선 연결, 무선 연결, 또는 유선 연결과 무선 연결의 조합을 통해 다른 디바이스들과 통신할 수 있게 하는 트랜시버 유사 컴포넌트(예를 들면, 트랜시버, 개별 수신기 및 송신기 등)를 포함한다. 일부 예들에서, 통신 인터페이스(314)는 디바이스(300)가 다른 디바이스로부터 정보를 수신하고/하거나 다른 디바이스에 정보를 제공할 수 있게 한다. 일부 예들에서, 통신 인터페이스(314)는 이더넷 인터페이스, 광학 인터페이스, 동축 인터페이스, 적외선 인터페이스, RF(radio frequency) 인터페이스, USB(universal serial bus) 인터페이스, Wi-Fi® 인터페이스, 셀룰러 네트워크 인터페이스 등을 포함한다.
일부 실시예들에서, 디바이스(300)는 본원에 기술된 하나 이상의 프로세스를 수행한다. 디바이스(300)는 컴퓨터 프로세서(304)가, 메모리(305) 및/또는 저장 컴포넌트(308)와 같은, 컴퓨터 판독 가능 매체에 의해 저장된 소프트웨어 명령어들을 실행하는 것에 기초하여 이러한 프로세스들을 수행한다. 컴퓨터 판독 가능 매체(예를 들면, 비일시적 컴퓨터 판독 가능 매체)는 본원에서 비일시적 메모리 디바이스로서 정의된다. 비일시적 메모리 디바이스는 단일의 물리 저장 디바이스 내부에 위치한 메모리 공간 또는 다수의 물리 저장 디바이스들에 걸쳐 분산된 메모리 공간을 포함한다.
일부 실시예들에서, 소프트웨어 명령어들은 통신 인터페이스(314)를 통해 다른 컴퓨터 판독 가능 매체로부터 또는 다른 디바이스로부터 메모리(306) 및/또는 저장 컴포넌트(308)로 판독된다. 실행될 때, 메모리(306) 및/또는 저장 컴포넌트(308)에 저장된 소프트웨어 명령어들은 컴퓨터 프로세서(304)로 하여금 본원에 기술된 하나 이상의 프로세스를 수행하게 한다. 추가적으로 또는 대안적으로, 고정 배선(hardwired) 회로는 본원에 기술된 하나 이상의 프로세스를 수행하기 위해 소프트웨어 명령어들 대신에 또는 소프트웨어 명령어들과 결합하여 사용된다. 따라서, 본원에 기술된 실시예들은, 달리 명시적으로 언급되지 않는 한, 하드웨어 회로와 소프트웨어의 임의의 특정 조합으로 제한되지 않는다.
메모리(306) 및/또는 저장 컴포넌트(308)는 데이터 스토리지 또는 적어도 하나의 데이터 구조(예를 들면, 데이터베이스 등)를 포함한다. 디바이스(300)는 데이터 스토리지 또는 메모리(306) 또는 저장 컴포넌트(308) 내의 적어도 하나의 데이터 구조로부터 정보를 수신하는 것, 그에 정보를 저장하는 것, 그에게로 정보를 통신하는 것, 또는 그에 저장된 정보를 검색하는 것을 할 수 있다. 일부 예들에서, 정보는 네트워크 데이터, 입력 데이터, 출력 데이터, 또는 이들의 임의의 조합을 포함한다.
일부 실시예들에서, 디바이스(300)는 메모리(306)에 그리고/또는 다른 디바이스(예를 들면, 디바이스(300)와 동일하거나 유사한 다른 디바이스)의 메모리에 저장된 소프트웨어 명령어들을 실행하도록 구성된다. 본원에서 사용되는 바와 같이, "모듈"이라는 용어는, 컴퓨터 프로세서(304)에 의해 그리고/또는 다른 디바이스(예를 들면, 디바이스(300)와 동일하거나 유사한 다른 디바이스)의 컴퓨터 프로세서에 의해 실행될 때, 디바이스(300)(예를 들면, 디바이스(300)의 적어도 하나의 컴포넌트)로 하여금 본원에 기술된 하나 이상의 프로세스를 수행하게 하는 메모리(306)에 그리고/또는 다른 디바이스의 메모리에 저장된 적어도 하나의 명령어를 지칭한다. 일부 실시예들에서, 모듈은 소프트웨어, 펌웨어, 하드웨어 등으로 구현된다.
도 3에 예시된 컴포넌트들의 수 및 배열은 예로서 제공된다. 일부 실시예들에서, 디바이스(300)는 도 3에 예시된 것보다, 추가적인 컴포넌트들, 더 적은 컴포넌트들, 상이한 컴포넌트들, 또는 상이하게 배열된 컴포넌트들을 포함할 수 있다. 추가적으로 또는 대안적으로, 디바이스(300)의 컴포넌트 세트(예를 들면, 하나 이상의 컴포넌트)는 디바이스(300)의 다른 컴포넌트 또는 다른 컴포넌트 세트에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다.
이제 도 4를 참조하면, AV 컴퓨터(400)(때때로 "AV 스택"이라고 지칭됨)의 예시적인 블록 다이어그램이 예시되어 있다. 예시된 바와 같이, AV 컴퓨터(400)는 인지 시스템(402)(때때로 인지 모듈이라고 지칭됨), 계획 시스템(404)(때때로 계획 모듈이라고 지칭됨), 로컬화 시스템(406)(때때로 로컬화 모듈이라고 지칭됨), 제어 시스템(408)(때때로 제어 모듈이라고 지칭됨) 및 데이터베이스(410)를 포함한다. 일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408) 및 데이터베이스(410)는 차량의 자율 주행 내비게이션 시스템(예를 들면, 차량(200)의 자율 주행 차량 컴퓨터(202f))에 포함되고/되거나 구현된다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408), 및 데이터베이스(410)는 하나 이상의 독립형 시스템(예를 들면, 자율 주행 차량 컴퓨터(400) 등과 동일하거나 유사한 하나 이상의 시스템)에 포함된다. 일부 예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408), 및 데이터베이스(410)는 본원에 기술된 바와 같이 차량 및/또는 적어도 하나의 원격 시스템에 위치하는 하나 이상의 독립형 시스템에 포함된다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(400)에 포함된 시스템들 중 일부 및/또는 전부는 소프트웨어(예를 들면, 메모리에 저장된 소프트웨어 명령어들), 컴퓨터 하드웨어(예를 들면, 마이크로프로세서, 마이크로컨트롤러, ASIC(application-specific integrated circuit), FPGA(Field Programmable Gate Array) 등), 또는 컴퓨터 소프트웨어와 컴퓨터 하드웨어의 조합으로 구현된다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(400)가 원격 시스템(예를 들면, 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템, 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템, V2I 시스템(118)과 동일하거나 유사한 V2I 시스템 등)과 통신하도록 구성된다는 것이 또한 이해될 것이다.
일부 실시예들에서, 인지 시스템(402)은 환경에서의 적어도 하나의 물리적 대상체와 연관된 데이터(예를 들면, 적어도 하나의 물리적 대상체를 검출하기 위해 인지 시스템(402)에 의해 사용되는 데이터)를 수신하고 적어도 하나의 물리적 대상체를 분류한다. 일부 예들에서, 인지 시스템(402)은 적어도 하나의 카메라(예를 들면, 카메라들(202a))에 의해 캡처되는 이미지 데이터를 수신하고, 이미지는 적어도 하나의 카메라의 시야 내의 하나 이상의 물리적 대상체와 연관되어 있다(예를 들면, 이를 표현한다). 그러한 예에서, 인지 시스템(402)은 물리적 대상체들(예를 들면, 자전거들, 차량들, 교통 표지판들, 보행자들 등)의 하나 이상의 그룹화에 기초하여 적어도 하나의 물리적 대상체를 분류한다. 일부 실시예들에서, 인지 시스템(402)이 물리적 대상체들을 분류하는 것에 기초하여 인지 시스템(402)은 물리적 대상체들의 분류와 연관된 데이터를 계획 시스템(404)으로 송신한다.
일부 실시예들에서, 계획 시스템(404)은 목적지와 연관된 데이터를 수신하고 차량(예를 들면, 차량들(102))이 목적지를 향해 주행할 수 있는 적어도 하나의 루트(예를 들면, 루트들(106))와 연관된 데이터를 생성한다. 일부 실시예들에서, 계획 시스템(404)은 인지 시스템(402)으로부터의 데이터(예를 들면, 위에서 기술된, 물리적 대상체들의 분류와 연관된 데이터)를 주기적으로 또는 연속적으로 수신하고, 계획 시스템(404)은 인지 시스템(402)에 의해 생성되는 데이터에 기초하여 적어도 하나의 궤적을 업데이트하거나 적어도 하나의 상이한 궤적을 생성한다. 일부 실시예들에서, 계획 시스템(404)은 로컬화 시스템(406)으로부터 차량(예를 들면, 차량들(102))의 업데이트된 위치와 연관된 데이터를 수신하고, 계획 시스템(404)은 로컬화 시스템(406)에 의해 생성되는 데이터에 기초하여 적어도 하나의 궤적을 업데이트하거나 적어도 하나의 상이한 궤적을 생성한다.
일부 실시예들에서, 로컬화 시스템(406)은 한 영역에서의 차량(예를 들면, 차량들(102))의 한 위치와 연관된(예를 들면, 이를 나타내는) 데이터를 수신한다. 일부 예들에서, 로컬화 시스템(406)은 적어도 하나의 LiDAR 센서(예를 들면, LiDAR 센서들(202b))에 의해 생성되는 적어도 하나의 포인트 클라우드와 연관된 LiDAR 데이터를 수신한다. 특정 예들에서, 로컬화 시스템(406)은 다수의 LiDAR 센서들로부터의 적어도 하나의 포인트 클라우드와 연관된 데이터를 수신하고 로컬화 시스템(406)은 포인트 클라우드들 각각에 기초하여 결합된 포인트 클라우드를 생성한다. 이러한 예들에서, 로컬화 시스템(406)은 적어도 하나의 포인트 클라우드 또는 결합된 포인트 클라우드를 데이터베이스(410)에 저장되어 있는 해당 영역의 2차원(2D) 및/또는 3차원(3D) 맵과 비교한다. 로컬화 시스템(406)이 적어도 하나의 포인트 클라우드 또는 결합된 포인트 클라우드를 맵과 비교하는 것에 기초하여 로컬화 시스템(406)은 이어서 해당 영역에서의 차량의 위치를 결정한다. 일부 실시예들에서, 맵은 차량의 운행 이전에 생성되는 해당 영역의 결합된 포인트 클라우드를 포함한다. 일부 실시예들에서, 맵은, 제한 없이, 도로 기하학적 특성들의 고정밀 맵, 도로 네트워크 연결 특성들을 기술하는 맵, 도로 물리적 특성들(예컨대, 교통 속력, 교통량, 차량 교통 차선과 자전거 타는 사람 교통 차선의 수, 차선 폭, 차선 교통 방향, 또는 차선 마커 유형 및 위치, 또는 이들의 조합)을 기술하는 맵, 및 도로 특징부(road feature), 예컨대, 횡단보도, 교통 표지판 또는 다양한 유형의 다른 주행 신호들의 공간적 위치들을 기술하는 맵을 포함한다. 일부 실시예들에서, 맵은 인지 시스템에 의해 수신되는 데이터에 기초하여 실시간으로 생성된다.
다른 예에서, 로컬화 시스템(406)은 GPS(global positioning system) 수신기에 의해 생성되는 GNSS(Global Navigation Satellite System) 데이터를 수신한다. 일부 예들에서, 로컬화 시스템(406)은 해당 영역 내에서의 차량의 위치와 연관된 GNSS 데이터를 수신하고 로컬화 시스템(406)은 해당 영역 내에서의 차량의 위도 및 경도를 결정한다. 그러한 예에서, 로컬화 시스템(406)은 차량의 위도 및 경도에 기초하여 해당 영역에서의 차량의 위치를 결정한다. 일부 실시예들에서, 로컬화 시스템(406)은 차량의 위치와 연관된 데이터를 생성한다. 일부 예들에서, 로컬화 시스템(406)이 차량의 위치를 결정하는 것에 기초하여 로컬화 시스템(406)은 차량의 위치와 연관된 데이터를 생성한다. 그러한 예에서, 차량의 위치와 연관된 데이터는 차량의 위치에 대응하는 하나 이상의 시맨틱 특성과 연관된 데이터를 포함한다.
일부 실시예들에서, 제어 시스템(408)은 계획 시스템(404)으로부터 적어도 하나의 궤적과 연관된 데이터를 수신하고 제어 시스템(408)은 차량의 작동을 제어한다. 일부 예들에서, 제어 시스템(408)은 계획 시스템(404)으로부터 적어도 하나의 궤적과 연관된 데이터를 수신하고, 제어 시스템(408)은 파워트레인 제어 시스템(예를 들면, DBW 시스템(202h), 파워트레인 제어 시스템(204) 등), 조향 제어 시스템(예를 들면, 조향 제어 시스템(206)) 및/또는 브레이크 시스템(예를 들면, 브레이크 시스템(208))이 작동하게 하는 제어 신호들을 생성하여 송신하는 것에 의해 차량의 작동을 제어한다. 궤적이 좌회전을 포함하는 예에서, 제어 시스템(408)은 조향 제어 시스템(206)으로 하여금 차량(200)의 조향각을 조정하게 함으로써 차량(200)이 좌회전하게 하는 제어 신호를 송신한다. 추가적으로 또는 대안적으로, 제어 시스템(408)은 차량(200)의 다른 디바이스들(예를 들면, 헤드라이트, 방향 지시등, 도어록, 윈도실드 와이퍼 등)로 하여금 상태들을 변경하게 하는 제어 신호들을 생성하여 송신한다.
일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 적어도 하나의 머신 러닝 모델(예를 들면, 적어도 하나의 다층 퍼셉트론(MLP), 적어도 하나의 콘볼루션 신경 네트워크(CNN), 적어도 하나의 순환 신경 네트워크(RNN), 적어도 하나의 오토인코더, 적어도 하나의 트랜스포머(transformer) 등)을 구현한다. 일부 예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 단독으로 또는 위에서 언급된 시스템들 중 하나 이상과 조합하여 적어도 하나의 머신 러닝 모델을 구현한다. 일부 예에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 파이프라인(예를 들면, 환경에 위치한 하나 이상의 대상체를 식별하기 위한 파이프라인 등)의 일부로서 적어도 하나의 머신 러닝 모델을 구현한다.
데이터베이스(410)는 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406) 및/또는 제어 시스템(408)으로 송신되며, 이들로부터 수신되고/되거나 이들에 의해 업데이트되는 데이터를 저장한다. 일부 예들에서, 데이터베이스(410)는 작동에 관련된 데이터 및/또는 소프트웨어를 저장하고 AV 컴퓨터(400)의 적어도 하나의 시스템을 사용하는 저장 컴포넌트(예를 들면, 도 3의 저장 컴포넌트(308)와 동일하거나 유사한 저장 컴포넌트)를 포함한다. 일부 실시예들에서, 데이터베이스(410)는 적어도 하나의 영역의 2D 및/또는 3D 맵과 연관된 데이터를 저장한다. 일부 예들에서, 데이터베이스(410)는 도시의 일 부분, 다수의 도시들의 다수의 부분들, 다수의 도시들, 카운티, 주, 국가(State)(예를 들면, 나라(country)) 등의 2D 및/또는 3D 맵과 연관된 데이터를 저장한다. 그러한 예에서, 차량(예를 들면, 차량들(102) 및/또는 차량(200)과 동일하거나 유사한 차량)은 하나 이상의 운전 가능한 영역(예를 들면, 단일 차선 도로, 다중 차선 도로, 간선도로, 시골 길(back road), 오프로드 트레일 등)을 따라 운전할 수 있고, 적어도 하나의 LiDAR 센서(예를 들면, LiDAR 센서들(202b)과 동일하거나 유사한 LiDAR 센서)로 하여금 적어도 하나의 LiDAR 센서의 시야에 포함된 대상체들을 나타내는 이미지와 연관된 데이터를 생성하게 할 수 있다.
일부 실시예들에서, 데이터베이스(410)는 복수의 디바이스들에 걸쳐 구현된다. 일부 예들에서, 데이터베이스(410)는 차량(예를 들면, 차량들(102) 및/또는 차량(200)과 동일하거나 유사한 차량), 자율 주행 차량 시스템(예를 들면, 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템), 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템), V2I 시스템(예를 들면, 도 1의 V2I 시스템(118)과 동일하거나 유사한 V2I 시스템) 등에 포함될 수 있다.
도 5는 RVA 안내 내비게이션을 예시한 다이어그램이다. 실시예에서, 롭 택시(rob taxi) 서비스를 사용하기 위해 가입할 때에(예컨대, 온라인 서비스 또는 모바일 애플리케이션을 통해), 사용자는 사용자 프로파일을 작성하며, 이를 통해 사용자는 맹인, 시각 장애인 또는 청각 장애인으로서 스스로의 신원을 규정하도록(self-identify) 질문에 응답하거나 기타 정보를 제공하고, 내비게이션을 위해 서비스 동물(service animal), 흰색 지팡이 또는 청각 디바이스를 이용하는지 여부를 더 표시한다. 그 다음, 이들 사용자에게 차량 탑승을 위해 지정된 PuDo 위치로 그리고 목적지 PuDo 위치로부터 그의 최종 목적지로 방향 안내를 위한 옵션이 제시된다.
실시예에서, RVA(501)(예컨대, 원격 사람 또는 가상 원격 조작자)는 차량(200)에 의해 제공되는 차량 정보에 기초하여 사용자의 차량 PuDo 위치로의 네비게이션을 돕기 위해 실시간 안내를 제공한다. 차량 정보는 차량(200)의 현재 위치 및 헤딩(heading)을 포함할 수 있지만 이에 한정되는 것은 아니다. 위치 데이터는 로컬화 모듈(예컨대, 로컬화 시스템(406))에 의해 GNSS(global satellite navigation system) 수신기(예컨대, GPS 수신기)를 사용하여, 또는 예컨대 WIFI 네트워크, 셀룰러 네트워크 또는 로컬화 비컨(예컨대, BLE(Bluetooth low energy) 비컨)으로부터의 무선 네트워크 신호를 사용하여 결정될 수 있다. 헤딩 데이터는 진북(true North)으로부터 참조될 수 있고, 차량(200)에 탑재된 전자 나침반(예컨대, 자력계(들))에 의해 제공된다. 또한, 차량(200)은 차량(200)에 장착된 적어도 하나의 외부 대면 카메라로부터의 실시간 또는 “라이브” 카메라 피드(들) 및/또는 차량(200)에 장착된(예컨대, 차량(200)의 지붕에 장착된) 적어도 하나의 깊이 센서(예컨대, LiDAR, RADAR, SONAR, TOF 센서)로부터의 포인트 클라우드 데이터를 RVA(501)에 제공한다. 실시예에서, 차량(200)은 또한, 차량(200) 상에 위치된 하나 이상의 마이크로폰을 사용하여 작동 환경에서의 주변 사운드를 캡쳐한 라이브 오디오 필드를 RAV(501)에 제공한다. 그러면 이 차량 정보가 RVA(501)에 의해, 모바일 디바이스의 현재 위치 및 헤딩 데이터와 함께 사용되어, 그의 모바일 디바이스(502)를 통해, 예컨대 전화 통화, 텍스트 메시지 또는 푸시 통지를 통해, 사용자에게 실시간 안내를 제공한다. 예를 들어, RVA(501)는 그의 모바일 디바이스(502)에 연결된 확성기 또는 헤드폰을 통해 또는 다른 통신 모드를 통해 사용자에게 턴바이턴(turn-by-turn) 지시를 제공할 수 있다. 안내는 RVA(501)에서 사람 원격조작자에 의해 제공될 수 있거나 또는 RVA(501)에서 컴퓨터 생성(예컨대, 가상 또는 디지털 지원)될 수 있다.
실시예에서, 차량(200)이 사용자의 현재 위치에 접근할 때, 사용자는 RVA(501)로부터 자신의 모바일 디바이스 상에서 전화 통화, 푸시 통지 또는 촉각 알림(예컨대, 진동)을 수신한다. RVA(501)는 차량(200)의 PuDo 위치로의 네비게이션을 위해 사용자에게 구두 지시(verbal direction)를 제공한다. 지시는 사용자의 위치 및/또는 차량(200)으로부터의 카메라 피드(들)에 기초한다. 특히, RVA(501)는, 사용자의 모바일 디바이스로부터 획득된 GNSS 데이터(예컨대, 위도, 경도, 고도, 헤딩, 속력), 사용자 주변에 무슨 물체가 있는지에 대한 콘텍스트를 얻기 위한 사용자의 카메라 데이터(예컨대, "당신의 바로 앞에 나무가 있습니다. 그 나무를 만져본 다음, 왼쪽으로 도세요."), 및 차량(200)이 사용자에 관련하여 어디 있는지의 콘텍스트를 이해하기 위한 차량의 카메라(들)를 포함하지만 이에 한정되는 것은 아닌, 다수의 데이터에 기초하여 구두 지시를 제공한다. 실시예에서, 사용자가 차량(200)으로부터의 임계 반경 거리에 있을 때(예컨대, 100 ft 반경 내에), RVA(501)는 차량(200)의 방향으로 사용자를 안내하도록 차량(200)의 외부 확성기를 통해 구두 안내 또는 기타 가청 신호(예컨대, 비프 패턴)를 제공한다.
도 6은 오디오 및 촉각 피드백을 사용하는 내비게이션을 예시한다. 실시예에서, 차량(200)을 예약한 후에(예컨대, AV 시스템(114)과 유사하게) 사용자(601)는 모바일 디바이스(502)에 연결된(예컨대, 그의 스마트폰/스마트워치에 유선 또는 무선 연결된) 헤드폰 세트(602)를 착용한다. 차량(200)이 사용자(601)에게 접근할 때, 음성 지시가 헤드폰(602)을 통해 전달된다. 음성 지시의 볼륨 레벨은 사용자가 차량(200)에 접근함에 따라 점진적으로 증가한다. 또다른 실시예에서, 모바일 디바이스(502) 상에 내장된 촉각 엔진은 사용자(601)가 차량(200)에 더 가까워질수록 증가하는 주파수로 진동하거나 상이한 패턴 또는 강도로 진동한다. 마찬가지로, 사용자(601)가 차량(200)으로부터 멀리 이동함에 따라, 음성 지시의 볼륨 및/또는 촉각 엔진의 진동 주파수는 점차 또는 점진적으로 감소한다.
도 7a 내지 도 7c는 각각 서비스 동물에 대하여 자기장, 냄새 및 소리를 사용하는 내비게이션을 예시한다. 서비스 동물은 장애인을 돕는 작업을 수행하도록 훈련된 일하는 동물이다. 서비스 동물은, 맹인 또는 시각 장애인을 안내하는 안내 동물(예컨대, 안내견), 청각 장애인에게 신호하는 청각 동물, 및 시각 장애 또는 청각 장애 외의 장애를 가진 사람을 위해 일하는 다른 서비스 동물을 포함할 수 있다.
도 7a를 참조하면, 차량 PuDo 위치(704)에 송신기가 설치될 수 있으며(예컨대, 표지판 또는 전신주에 설치됨), 송신기는 서비스 동물(703)에 의해 탐지되어 서비스 동물(703) 및 그에 따른 사용자(701)를 차량 PuDo 위치(704)로 안내하는데 사용될 수 있는 자기장을 생성한다. 개는 지구 자기장의 작은 변동에 민감하며, 연구에 따르면 개들은 이 감각을 탐색 및 길 찾기에 사용할 수 있다는 것을 증명하였다. 다른 실시예에서, 차량 PuDo 위치(704)에 주차될 때 차량(702)에 의해 자기장이 송신될 수 있다. 또다른 실시예에서, 차량 PuDo 위치(704)는, 서비스 동물(703)에 의해 감지될 수 있고 따라서 서비스 동물(703) 및 그에 따른 사용자(701)를 차량 PuDo 위치(704)로 안내하도록 사용될 수 있는 자기장을 방출하는 주차 센서를 가진 주차장일 수 있다.
도 7b를 참조하면, 차량(702)(또는 차량 PuDo 위치(704)에 설치된 디바이스)은, 서비스 동물(703)만 들을 수 있고(예컨대, 20 KHz보다 큼) 서비스 동물(703) 및 그에 의해 사용자(701)를 차량(702)으로 안내하도록 사용될 수 있는 고유한 고주파 사운드(705)를 방출한다. 초음파 센서는 운전자가 주차 공간으로 후진하고 AV 내비게이션을 지원하는 것을 돕기 위한 주차 센서로서 차에 널리 사용된다. 실시예에서, 이 초음파 신호가 서비스 동물 및 그에 의해 사용자를 차량 PuDo 위치로 안내하도록 사용될 수 있다.
도 7c를 참조하면, 차량(702)(또는 차량 PuDo 위치(704))은, 서비스 동물(703)에 의해 탐지되어 서비스 동물(703) 및 그에 의해 사용자(701)를 차량(702)으로 안내하도록 사용될 수 있는 고유한 냄새(706)를 방출한다.
도 8a 내지 도 8e는 사용자가 그의 지정된 PuDo 위치를 찾는 것을 모바일 디바이스(801)가 도울 수 있게 해주는 통합 시스템(800)을 예시한다. 도 8a를 참조하면, 모바일 디바이스(801)(예컨대, 스마트폰, 스마트워치)를 사용하여, 사용자는 차량 상의 적어도 하나의 카메라 또는 깊이 센서를 통해 보이는 그의 PuDo 위치의 360도 사진/비디오(802)를 볼 수 있다. 예를 들어, 차량은, 모바일 디바이스(801)에 의해 직접(예컨대, WIFI, Bluetooth, 5G를 통해) 또는 간접적으로(예컨대, 통신 디바이스(202e)를 통해) 수신될 수 있는, 적어도 하나의 카메라로부터의 라이브 비디오 피드를 제공할 수 있다. 또한, 사용자에게는 PuDo 위치에서의 최종 종료 마커(803)의 그래픽 또는 이미지가 제시되며, 그리하여 사용자는 PuDo 위치에 도착할 때 종료 마커(803)를 쉽게 인식할 수 있다. 종료 마커(803)는 PuDo 위치를 고유하게 식별하는 심볼, 바코드, QR 코드 또는 임의의 다른 시각적 큐를 디스플레이하는 물리적 표지판일 수 있다. 종료 마커(803)는 또한, 도 8e에 도시된 바와 같이, 모바일 디바이스(801)에 의해 디스플레이된 라이브 비디오 피드 상에 오버레이되는 AR 객체일 수 있다. 각각의 PuDo 위치에는 특정 지리적 영역 내의 고유한 심볼, 바 코드 또는 QR 코드가 할당될 수 있다. 종료 마커(803)는 PuDo 위치에서의 표지판, 전신주 또는 임의의 다른 인프라스트럭처 상에 설치될 수 있다. 차량이 PuDo 위치에 주차될 때, 외부 디스플레이 스크린(예컨대, B-프레임에 부착된 도 9에 도시된 액세스 디바이스(903)) 또는 지면 상에 차량에 의해 만들어진 레이저/LED 프로젝션은, 차량을, 주차되었거나 동일한 PuDo 위치(예컨대, 공항, 기차역, 유흥 장소 또는 기타 공공 장소에서의 지정된 PuDo 위치)를 사용하는 다른 차량과 구별하도록, 종료 마커(803)를 디스플레이할 수 있다.
도 8b를 참조하면, 사용자는 모바일 디바이스(801) 상에서 PuDo 위치로의 실시간 턴바이턴 지시를 제공하는 내비게이션 애플리케이션을 호출할 수 있다. 사용자는 턴바이턴 지시를 따름으로써 PuDo 위치로 찾아갈 수 있다. 실시예에서, 내비게이션 애플리케이션은 사용자를 그의 PuDo 위치로 안내하는 것을 돕도록 사용될 수 있는 라이브 비디오 피드 상의 AR 마커(804)(예컨대, 방향 화살표)를 사용한다. 물리적 마커(예컨대, 오렌지 주차 표시물(parking cone))도 또한 추가의 안내를 위해 사용될 수 있다. 또한, 숫자 AR 거리계(805) 및/또는 기타 그래픽(예컨대, 진행 바)이 모바일 디바이스(801) 상에 디스플레이될 수 있으며, 이는 사용자가 PuDo 위치에 가까워짐에 따라 감소하는, PuDo 위치로부터의 거리를 표시한다. 실시예에서, 거리는 GNSS 데이터, 무선 네트워크(예컨대, WIFI, 기지국)에 기초한 위치 데이터 또는 모바일 디바이스(801)로부터/에 의해 획득/계산된 모션 센서 데이터(예컨대, 데드 레커닝(dead reckoning)을 위한 가속도 및 자이로/헤딩 데이터)를 사용하여 결정될 수 있다.
도 8c를 참조하면, 사용자가 PuDo 위치의 임계 거리 내에 있을 때, 방향 표시 그래픽(806)(예컨대, 나침반, 방향 화살표)이 모바일 디바이스(801)의 디스플레이 상에 나타나고 PuDo 위치의 방향을 가리킨다.
도 8d를 참조하면, 사용자가 PuDo 위치에 도착할 때 사용자 또는 모바일 디바이스(801) 상의 카메라는 정확한 PuDo 위치를 마킹하는 종료 마커(803)를 검색할 수 있다. 종료 마커(803)는 물리적 표지판 및/또는 AR 마커일 수 있다. 종료 마커(803)는 빌딩, 신호등 또는 임의의 다른 물리적 구조물과 같은 랜드마크일 수 있다.
도 8e를 참조하면, 그의 차량이 PuDo 위치에 도착하는 것을 기다리는 동안, 실시예에서, 차량의 현재 위치를 나타내도록 AR 비컨(807)(예컨대, 스포트라이트와 유사함)이 모바일 디바이스 디스플레이 상에 투영되며(예컨대, 차량의 위치 위에 투영됨), 사용자의 모바일 디바이스(801)가 PuDo 위치를 향한 차량의 진행 상황을 추적할 수 있게 해준다. AR 비컨(807)은 또한, 차량이 사용자보다 먼저 PuDo 위치에 도착한 경우 PuDo 위치로의 사용자를 위한 내비게이션을 향상시킬 수 있다.
도 8a 내지 도 8e를 참조하여 상기에 기재된 실시예는 다음을 포함하지만 이에 한정되는 것은 아닌 여러 장점 및 이점을 제공한다: 1) 모바일 디바이스 애플리케이션 및 개선된 포지셔닝 기술의 혼합 사용을 통한 개선된 내비게이션; 2) GPS 장애 발생시(예컨대, 밀집된 도시 환경에서의 GPS 신호 손실) PuDo 위치 및 종료 마커 표지판의 사진을 사용하여 GPS에 백업 안내를 제공함 ; 및 3) 차량의 콘텍스트와 현재 위치 및 PuDo 위치를 지속적으로 통신함으로써 사용자 기대를 관리함. 상기에 기재된 장점 및 이점은 전체적으로, 특히 다수의 PuDo 위치가 서로 가까이 있는 상황에서, 사용자들이 그의 PuDo 위치를 다른 PuDo 위치와 구별하는 것을 쉽게 한다.
도 9는 손 제스처들(예컨대, ASL 손 제스처)을 사용하여 차량에 액세스하기 위한 시스템(900)을 예시한다. 잠재적 사용자가 일반 택시에 들어갈 때, 운전자는 차량을 잠금해제하고 사용자의 신원을 검증하며 사용자의 목적지를 확인한다. 기존의 액세스 해결책은, 사용자를 인증하고 사용자 입장을 위해 차량을 잠금해제하기 위해, 사용자의 모바일 디바이스 사용을 필요로 하거나, 또는 액세스를 얻기 위해 RVA를 사용할 것을 요구한다. 그렇지만, 분실 또는 배터리 전력 부족과 같이 사용자의 모바일 디바이스가 이용 불가능한 많은 상황들이 존재한다. 이러한 상황에서, 사용자가 차량을 예를 들어 NFC 통신을 사용하여 그의 사용자 프로파일에 링크시키고 사용자 손 제스처 시퀀스를 사용하여 AV를 잠금해제하기 위한 끊김없는 방식을 제공하도록 손 제스처 입장이 사용될 수 있다. 잠금 해제되면, 외부 디스플레이(예컨대, B-필러 또는 기타 차량 구조물에 부착된 LED 디스플레이, 차량 외부의 지면 상의 LED/레이저 프로젝션)는 차량이 잠금해제되었다는 추가의 시각적 큐를 제공한다.
실시예에서, 시스템(900)은 센서 데이터(예컨대, 비디오, 3D 깊이 데이터)에 기초하여, 차량(200)에 대한 사용자의 위치를 결정하고, 문이 교통 쪽으로 또는 어떤 다른 위험한 상태로 열리지 않음을 보장하도록 사용자의 위치에 가장 가까운 적어도 하나의 문을 연다. 실시예에서, 문을 열기 전에, 문 열림 통지가 차량(200) 외부 상의 외부 디스플레이(예컨대, B-필러 또는 기타 차량 구조물에 부착된 LED 디스플레이, 차량 외부의 지면 상의 LED/레이저 프로젝션 등)에 의해 디스플레이된다.
도 9를 참조하면, 차량(200)의 B-필러 또는 다른 구조물에 부착된 액세스 디바이스(902)를 포함한 차량(200)(예컨대, AV)의 예시적인 실시예가 도시되어 있다. 액세스 디바이스(902)는 적어도 하나의 임베디드 프로세서, 메모리, 사용자 터치 입력을 수신하고 콘텐츠를 디스플레이하기 위한 터치 감지형 디스플레이(903)(예컨대, 터치 감지형 LCD 디스플레이) 및 적어도 하나의 카메라(904)를 포함할 수 있다. 사용자가 차량(200)에 접근할 때에, 사용자를 그의 모바일 디바이스(502) 상에 저장된 그의 프로파일과 링크시키도록 액세스 디바이스(902)와 모바일 디바이스(502) 사이의 단거리 무선 통신 링크가 확립된다(예컨대, NFC 접속, Bluetooth 접속, WIFI 접속). 사용자는 카메라(904) 앞에서 손 제스처 시퀀스를 수행한다. 액세스 디바이스(902) 내의 프로세서는 카메라(904) 및/또는 LiDAR와 같은 다른 센서에 의해 캡처된 손 제스처 시퀀스를 분석한다.
실시예에서, 로컬 또는 원격 머신 러닝(ML; machine learning) 프로그램(905)(예컨대, 손 제스처들의 비디오 데이터 또는 이미지 및 손 제스처 시퀀스들에 대해 트레이닝된 딥 신경 네트워크)은 카메라(904)에 의해 캡처된 손 제스처 시퀀스를 예측하고 레이블링한다. 실시예에서, ML 프로그램(905)의 출력은, 레이블링된 손 제스처 시퀀스의 비디오 데이터 스트림(906) 및 각자의 신뢰 점수(confidence scores)(예컨대, 올바른 레이블링 확률)이며, 이는 차량(200) 내의 통신 디바이스(202e)(예컨대, 무선 송신기)에 의해 네트워크 기반의 컴퓨팅 시스템(907)(예컨대, 플릿 관리 시스템(116), 원격 AV 시스템(114))에 AV 컴퓨터(400)를 통해 전송된다. AV 컴퓨터(400)는 액세스 디바이스(902) 및/또는 모바일 디바이스(502)에 의해 캡처된 타임스탬프, 위치 데이터, VIN 번호, 카메라 데이터, 생체 데이터(예컨대, 안면 이미지, 지문, 성문)와 같은 추가 데이터를 추가할 수 있으며, 이는 사용자의 인증을 더 돕기 위해 네트워크 기반의 서비스(904)에 보내질 수 있다.
실시예에서, AV 컴퓨터(400) 및 네트워크 기반의 컴퓨팅 시스템(907) 중의 하나 또는 둘 다는 사용자를 인증하기 위한 정보와 제스처 및 제스처 순서를 분석하고, 성공적으로 인증되는 경우, 차량(200)이 승객 및/또는 화물을 픽업하고 있는지에 따라, 하나 이상의 문 및/또는 트렁크를 잠금해제하도록 차량(200)에 잠금해제 커맨드를 보낸다.
도 10은 손 제스처 시퀀스(905)를 사용하여 차량(예컨대, 차량(200))에 액세스하기 위한 프로세스 흐름(1000)을 예시한다. 손 제스처들(905)은 카메라(904) 또는 LiDAR 또는 카메라(904)와 LiDAR의 조합에 의해 캡처되며, 이는 이 예에서는 차량(200)의 B-필러(1002)에 부착되어 있는 액세스 디바이스(902)에 연결된다. 손 제스처들(905)은 사용자에 의해 결정된 특정 순서로 수행되는, ASL 제스처들 또는 다른 손 신호들의 시퀀스일 수 있다. 예를 들어, 손 제스처들(905)은 단어, 문자, 숫자 또는 객체를 표현하는 4개의 ASL 손 제스처들의 시퀀스를 포함할 수 있다. 손 제스처들(905)은 양 손 또는 한 손으로 만들어진 제스처들을 포함할 수 있다. 손 제스처는 손 움직임이 정지되어 있다 해도 어느 한 손의 하나 이상의 손가락에 의해 만들어진 제스처들을 포함한다. 실시예에서, 절단 환자 및 손이 사용 중인(예컨대, 식료품이나 아기를 들고 있는) 사용자를 수용하도록 얼굴 표정 또는 머리 제스처가 사용될 수 있다.
실시예에서, 액세스 디바이스(902) 내의 프로세서는 상기에 앞서 기재된 ML 프로그램을 사용하여 손 제스처들(905)의 카메라 이미지를 분석한다. 액세스 디바이스(905)는 이더넷 스위치(1006) 또는 기타 통신 채널(예컨대, 컨트롤러 영역 네트워크(CAN; controller area network) 버스)을 통해 AV 컴퓨터(400)에 손 제스처들(905)의 이미지를 스트리밍한다. AV 컴퓨터(400)는 제스처들을 사용자의 프로파일에 저장된 이전의 제스처 시퀀스와 비교한다. 실시예에서, 저장된 제스처 시퀀스는 초기화 절차 동안 사용자에 의해 선택된다. 예시적인 초기화 절차는, 각각의 손 제스처를 보여주는(예컨대, ASL 손 제스처를 보여주는) 이미지 또는 그래픽과 함께 디폴트 손 제스처들의 세트로부터 일련의 손 제스처들을 선택하도록, 액세스 디바이스(902)의 디스플레이(903) 또는 모바일 디바이스(502)를 통해 사용자에게 명령을 제공하는 것을 포함할 수 있다. 디폴트 손 제스처 시퀀스는 ML 프로그램에 의해 사용되는 ML 모델(예컨대, 재귀 신경 네트워크)을 오프라인으로 트레이닝하는데 사용되며, 그리하여 사용자가 차량에의 실시간 액세스를 얻기 위해 카메라(904) 앞에서 손 제스처들을 수행할 때 ML 프로그램은 트레이닝 이미지에 대해 트레이닝된 ML 모델(예컨대, 재귀 신경 네트워크)을 사용하여 손 제스처 시퀀스(905)를 검출할 수 있다.
실시예에서, ML 프로그램은 시퀀스(905) 내의 각각의 손 제스처에 대한 레이블 및 레이블의 정확도에 대한 신뢰도를 나타내는 신뢰 점수를 출력한다. 신뢰 점수는 확률일 수 있다. 예를 들어 ML 프로그램은 4개의 ASL 손 제스처들의 시퀀스에 대한 4 레이블 및 그 각자의 확률을 출력할 수 있다. 각각의 확률은 임계 확률(예컨대, 90%)과 비교되고, 모든 확률이 임계 확률보다 높고 손 제스처들이 사용자 프로파일에 표시된 순서로 수행되는 경우, 손 제스처 시퀀스는 매칭되는 것으로 결정된다.
ML 모델은 ML 모델의 정확도를 개선하기 위해 상이한 각도, 시점, 거리, 조명 조건 등으로부터 취한 각각의 손 제스처의 다양한 이미지에 의해 트레이닝될 수 있다. 실시예에서, ML 모델은 개별적으로 각각의 손 제스처보다는 전체 시퀀스로서 손 제스처 시퀀스를 검출하도록 트레이닝될 수 있다.
손 제스처 시퀀스가, 사용자 프로파일에 저장된 손 제스처 시퀀스와 임계 값 내로 매칭되고(예컨대, 지정된 확률 임계치보다 더 큰, 예측 레이블에 대한 확률), 손 제스처들이 사용자 프로파일에 의해 표시된 대로 올바른 순서로 수행되는 경우, AV 컴퓨터(1400)는 사용자가 들어올 수 있도록 차량(200)의 하나 이상의 문을 잠금해제한다.
사용자에 의해 수행된 손 제스처 시퀀스(905)가 N회 시도(예컨대, N=3 시도) 후에도 사용자 프로파일에 저장된 손 제스처 시퀀스와 매칭되지 않거나, 사용자 프로파일에 표시된 바와는 상이한 순서로 수행되는 경우, AV 컴퓨터(400)는 문을 잠근 상태로 유지하고 액세스 디바이스(902) 또는 통신 인터페이스(314)(도 3)를 통해 사용자를 RVA(501)에 자동으로 접속시키며, 그리하여 사용자는 패스워드 또는 기타 인증 데이터를 사용하여 사용자를 인증할 수 있는 사람 원격 조종자 또는 가상 디지털 보조기와 말할 수 있고, 인증이 성공적인 경우에 차량(200)의 하나 이상의 문을 잠금해제하도록 AV 컴퓨터(400)에 커맨드를 발행할 수 있다.
실시예에서, 손 제스처들에 추가적으로 또는 이 대신에, RVA(501) 또는 액세스 디바이스(902) 및/또는 AV 컴퓨터(400)는 카메라(904) 또는 또다른 카메라 및/또는 TOF 센서를 사용하여 사용자의 얼굴을 캡처할 수 있고, 안면 인식 프로그램을 사용하여 데이터에서 검출된 안면 랜드마크에 기초하여 사용자를 인증할 수 있다. 실시예에서, 사용자는 디스플레이(903) 또는 액세스 디바이스(902)나 차량(200)의 다른 영역 상의 지문 센서를 터치함으로써 인증될 수 있다. 실시예에서, AV 컴퓨터(400)는, 저장된 손 제스처 데이터를 포함한 사용자 프로파일을 조회하고 액세스 시도를 로그하도록, 예를 들어 셀룰러 접속을 통해 네트워크 기반의 컴퓨팅 시스템(907)에 접속한다. 실시예에서, ML 프로그램은 완전히 또는 부분적으로 네트워크 기반의 컴퓨팅 시스템(907)에 의해 실행될 수 있다.
도 11은 하나 이상의 실시예에 따라 차량으로의 내비게이션을 위한 프로세스(1100)의 흐름도이다. 프로세스(1100)는 예를 들어 도 3에 도시된 프로세서(304)에 의해 수행될 수 있다.
프로세스(1100)는 사용자의 모바일 디바이스의 센서로부터, 모바일 디바이스의 위치를 나타내는 센서 데이터를 획득하는 단계(1101), 모바일 디바이스의 적어도 하나의 프로세서에 의해, 지정된 차량 픽업 포지션을 나타내는 포지션 데이터를 획득하는 단계(1102), 모바일 디바이스의 적어도 하나의 프로세서에 의해, 센서 데이터 및 포지션 데이터에 기초하여, 모바일 디바이스의 현재 위치로부터 지정된 차량 PuDo 위치로의 경로를 결정하는 단계(1103), 모바일 디바이스의 적어도 하나의 프로세서에 의해, 경로에 기초하여, 경로를 따르기 위한 명령어 세트를 결정하는 단계(1104), 및 모바일 디바이스의 인터페이스를 사용하여, 모바일 디바이스의 적어도 하나의 프로세서에 의해, 지정된 차량 PuDo 위치와 연관된 표시와, 모바일 디바이스의 현재 위치에 기초하여 경로를 따르기 위한 명령어 세트를 포함하는 정보를 제공하는 단계를 포함할 수 있다. 이들 단계의 각각은 도 8a 내지 도 8e에 관련하여 앞에 더 기재되었다.
도 12는 하나 이상의 실시예에 따라 손 제스처들을 사용하여 차량에 액세스하기 위한 프로세스(1200)의 흐름도이다. 프로세스(1200)는 예를 들어 도 3에 도시된 프로세서(304)에 의해 수행될 수 있다.
프로세스(1200)는, 차량의 적어도 하나의 프로세서에 의해, 사용자의 저장된 손 제스처 시퀀스를 획득하는 단계(1201), 적어도 하나의 프로세서에 의해, 사용자에 의해 수행된 적어도 하나의 손 제스처와 연관된 센서 데이터를 획득하는 단계(1202), 적어도 하나의 프로세서에 의해, 센서 데이터를 획득하는 것에 기초하여 사용자에 의해 수행된 손 제스처 시퀀스를 식별하는 단계(1203), 적어도 하나의 프로세서에 의해, 사용자에 의해 수행된 손 제스처 시퀀스와 저장된 손 제스처 시퀀스를 식별하는 것에 기초하여, 사용자에 의해 수행된 손 제스처 시퀀스와 저장된 손 제스처 시퀀스를 비교하는 단계(1204), 적어도 하나의 프로세서에 의해, 사용자에 의해 수행된 손 제스처 시퀀스와 저장된 손 제스처 시퀀스를 비교하는 것에 기초하여, 사용자에 의해 수행된 손 제스처 시퀀스가 사용자의 저장된 손 제스처 시퀀스와 매칭된다고 결정하는 단계(1205), 및 적어도 하나의 프로세서에 의해, 사용자에 의해 수행된 손 제스처 시퀀스가 사용자의 저장된 손 제스처 시퀀스와 매칭된다고 결정하는 것에 기초하여, 차량의 적어도 하나의 문을 잠금해제하는 단계(1206)를 포함할 수 있다. 이들 단계의 각각은 도 9 및 도 10에 관련하여 앞에 기재되었다.
전술한 설명에서, 본 개시의 양태들 및 실시예들은 구현마다 달라질 수 있는 다수의 특정 세부 사항들을 참조하여 기술되었다. 그에 따라, 설명 및 도면들은 제한적인 의미가 아니라 예시적인 의미로 간주되어야 한다. 본 발명의 범위의 유일한 독점적인 지표, 및 출원인이 본 발명의 범위이도록 의도한 것은, 본 출원에서 특정 형태로 나오는 일련의 청구항의 문언적 등가 범위이며, 임의의 후속 보정을 포함한다. 그러한 청구항에 포함된 용어에 대한 본원에서 명시적으로 기재된 임의의 정의는 청구항에서 사용되는 그러한 용어의 의미를 결정한다. 추가적으로, 전술한 설명 및 이하의 청구항에서 "추가로 포함하는"이라는 용어가 사용될 때, 이 문구에 뒤따르는 것은 추가적인 단계 또는 엔티티, 또는 이전에 언급된 단계 또는 엔티티의 서브-단계/서브-엔티티일 수 있다.

Claims (24)

  1. 방법에 있어서,
    사용자의 모바일 디바이스의 센서로부터, 상기 모바일 디바이스의 위치를 나타내는 센서 데이터를 획득하는 단계;
    상기 모바일 디바이스의 적어도 하나의 프로세서에 의해, 지정된 차량 픽업/드롭오프(pickup/drop-off) 위치를 나타내는 포지션 데이터를 획득하는 단계;
    상기 모바일 디바이스의 상기 적어도 하나의 프로세서에 의해, 상기 센서 데이터 및 상기 포지션 데이터에 기초하여, 상기 모바일 디바이스의 현재 위치로부터 상기 지정된 차량 픽업/드롭오프 위치로의 경로를 결정하는 단계;
    상기 모바일 디바이스의 상기 적어도 하나의 프로세서에 의해, 상기 경로에 기초하여, 상기 경로를 따르기 위한 명령어 세트를 결정하는 단계; 및
    상기 모바일 디바이스의 인터페이스를 사용하여, 상기 모바일 디바이스의 상기 적어도 하나의 프로세서에 의해, 정보를 제공하는 단계 - 상기 정보는:
    상기 지정된 차량 픽업/드롭오프 위치와 연관된 표시와,
    상기 모바일 디바이스의 현재 위치에 기초하여 상기 경로를 따르기 위한 명령어 세트를 포함함 -
    를 포함하는, 방법.
  2. 청구항 1에 있어서,
    상기 경로에 기초하여 상기 모바일 디바이스의 현재 위치로부터 상기 지정된 차량 픽업/드롭오프 위치까지의 거리를 결정하는 단계; 및
    상기 모바일 디바이스의 인터페이스를 사용하여, 상기 모바일 디바이스의 현재 위치로부터 상기 지정된 차량 픽업/드롭오프 위치까지의 거리를 포함한 정보를 제공하는 단계
    를 더 포함하는, 방법.
  3. 청구항 1에 있어서,
    상기 표시는 환경에 위치된 물리적 특징 또는 환경 내의 적어도 하나의 물체에 대해 위치된 증강 현실(AR; augmented reality) 마커 중의 적어도 하나와 연관되는 것인, 방법.
  4. 청구항 3에 있어서,
    상기 AR 마커는 지리적 영역 내에서 고유한 것이고, 상기 지정된 차량 픽업/드롭오프 위치에 도착하도록 예정된 도착 차량과 연관되는 것인, 방법.
  5. 청구항 1에 있어서,
    상기 명령어 세트는 환경의 라이브 비디오 피드에 오버레이된 시각적 큐(visual cue) 세트를 포함하는 것인, 방법.
  6. 청구항 1에 있어서,
    상기 명령어 세트는 상기 지정된 차량 픽업/드롭오프 위치의 방향을 가리키는 증강 현실(AR) 나침반을 포함하는 것인, 방법.
  7. 청구항 6에 있어서,
    상기 AR 나침반은 상기 모바일 디바이스가 상기 지정된 차량 픽업/드롭오프 위치의 임계 거리 내에 있을 때 디스플레이되는 것인, 방법.
  8. 청구항 1에 있어서,
    상기 모바일 디바이스의 현재 위치로부터 상기 지정된 차량 픽업/드롭오프 위치로의 경로는 적어도 부분적으로 네트워크 기반의 컴퓨팅 시스템에 의해 결정되는 것인, 방법.
  9. 청구항 1에 있어서,
    상기 명령어 세트는 적어도 부분적으로 네트워크 기반의 컴퓨팅 시스템에 의해 결정되는 것인, 방법.
  10. 청구항 2에 있어서,
    상기 모바일 디바이스의 현재 위치로부터 상기 지정된 차량 픽업/드롭오프 위치까지의 거리는 적어도 부분적으로 네트워크 기반의 컴퓨팅 시스템에 의해 결정되는 것인, 방법.
  11. 청구항 1에 있어서,
    상기 센서 데이터는 위성 데이터, 무선 네트워크 데이터 또는 위치 비컨 데이터 중의 적어도 하나를 포함하는 것인, 방법.
  12. 청구항 1에 있어서,
    상기 모바일 디바이스의 상기 적어도 하나의 프로세서에 의해, 상기 모바일 디바이스의 새로운 위치에 기초하여, 상기 제공된 정보를 업데이트하는 단계를 더 포함하는, 방법.
  13. 방법에 있어서,
    차량의 적어도 하나의 프로세서에 의해, 사용자 프로파일과 연관된, 저장된 손 제스처 시퀀스(sequence of hand gestures)를 획득하는 단계;
    상기 적어도 하나의 프로세서에 의해, 사용자에 의해 수행된 손 제스처 시퀀스와 연관된 센서 데이터를 획득하는 단계;
    상기 적어도 하나의 프로세서에 의해, 상기 센서 데이터에 기초하여 상기 사용자에 의해 수행된 손 제스처 시퀀스를 식별하는 단계;
    상기 적어도 하나의 프로세서에 의해, 상기 사용자에 의해 수행된 손 제스처 시퀀스와 상기 저장된 손 제스처 시퀀스를 비교하는 단계;
    상기 적어도 하나의 프로세서에 의해, 상기 비교에 기초하여 상기 사용자에 의해 수행된 손 제스처 시퀀스가 상기 저장된 손 제스처 시퀀스와 매칭된다고 결정하는 단계; 및
    상기 적어도 하나의 프로세서에 의해, 상기 사용자에 의해 수행된 손 제스처 시퀀스가 상기 저장된 손 제스처 시퀀스와 매칭된다고 결정하는 것에 기초하여, 상기 차량의 적어도 하나의 문을 잠금 해제하는 단계
    를 포함하는, 방법.
  14. 청구항 13에 있어서,
    상기 차량의 외부 상의 인터페이스를 통해 상기 잠금 해제의 통지를 제공하는 단계를 더 포함하는, 방법.
  15. 청구항 13에 있어서,
    상기 센서 데이터에 기초하여, 상기 차량에 대한 사용자 위치를 결정하는 단계; 및
    상기 사용자 위치에 가장 가까이 있는 적어도 하나의 문을 여는 단계
    를 더 포함하는, 방법.
  16. 청구항 15에 있어서,
    상기 문을 열기 전에 상기 차량의 외부 상의 인터페이스를 통해 상기 열림의 통지를 제공하는 단계를 더 포함하는, 방법.
  17. 청구항 13에 있어서,
    상기 사용자로부터의 요청에 기초하여, 상기 사용자가 원격 지원을 필요로 한다고 결정하는 단계;
    상기 사용자가 원격 차량 지원(RVA; remote vehicle assistance)을 필요로 한다고 결정하는 것에 기초하여 RVA에 접촉(contact)하는 단계;
    상기 RVA로부터, 상기 차량에의 액세스를 얻기 위한 명령어들과 연관된 데이터를 수신하는 단계; 및
    상기 차량의 외부 상의 인터페이스를 통해 상기 명령어들을 제공하는 단계
    를 더 포함하는, 방법.
  18. 청구항 13에 있어서,
    상기 저장된 손 제스처 시퀀스는 적어도 부분적으로 단거리 통신 디바이스로부터의 데이터에 기초하여 획득되는 것인, 방법.
  19. 청구항 13에 있어서,
    상기 사용자에 의해 수행된 손 제스처 시퀀스를 식별하는 단계는 머신 러닝 모델에 기초하는 것인, 방법.
  20. 청구항 19에 있어서,
    상기 머신 러닝 모델은 신경 네트워크인 것인, 방법.
  21. 청구항 13에 있어서,
    상기 사용자에 의해 수행된 손 제스처 시퀀스를 식별하는 단계는, 원격 시스템을 사용하여, 상기 사용자에 의해 수행된 제스처 시퀀스 내의 적어도 하나의 제스처를 식별하는 단계를 포함하는 것인, 방법.
  22. 시스템에 있어서,
    적어도 하나의 프로세서; 및
    명령어들을 포함한 적어도 하나의 비일시적 컴퓨터 판독가능 저장 매체
    를 포함하고,
    상기 명령어들은 상기 적어도 하나의 프로세서에 의한 상기 명령어들의 실행시, 적어도 차량으로 하여금, 청구항 1 내지 청구항 21 중 어느 한 항에 기재되거나 관련된 방법을 전체적으로 또는 부분적으로 수행하게 하는 것인, 시스템.
  23. 명령어들을 포함한 적어도 하나의 비일시적 컴퓨터 판독가능 매체에 있어서,
    상기 명령어들은 적어도 하나의 프로세서에 의한 상기 명령어들의 실행시, 차량으로 하여금, 청구항 1 내지 청구항 21 중 어느 한 항에 기재되거나 관련된 방법을 전체적으로 또는 부분적으로 수행하게 하는 것인, 적어도 하나의 비일시적 컴퓨터 판독가능 매체.
  24. 청구항 1 내지 청구항 21 중 어느 한 항에 기재되거나 관련된 방법을 전체적으로 또는 부분적으로 수행하기 위한 수단을 포함하는 장치.
KR1020220018898A 2021-10-08 2022-02-14 차량을 찾고 액세스하기 위한 기술 KR20230051412A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/497,773 US20230111327A1 (en) 2021-10-08 2021-10-08 Techniques for finding and accessing vehicles
US17/497,773 2021-10-08

Publications (1)

Publication Number Publication Date
KR20230051412A true KR20230051412A (ko) 2023-04-18

Family

ID=80820782

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220018898A KR20230051412A (ko) 2021-10-08 2022-02-14 차량을 찾고 액세스하기 위한 기술

Country Status (5)

Country Link
US (1) US20230111327A1 (ko)
KR (1) KR20230051412A (ko)
CN (1) CN115963785A (ko)
DE (1) DE102022103428A1 (ko)
GB (1) GB2611589A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230142544A1 (en) * 2021-11-11 2023-05-11 Argo AI, LLC System and Method for Mutual Discovery in Autonomous Rideshare Between Passengers and Vehicles
US11897421B1 (en) * 2023-01-13 2024-02-13 Feniex Industries Preconfiguration of emergency vehicle device lockable functions

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220186533A1 (en) * 2015-09-12 2022-06-16 Adac Plastics, Inc. Motor vehicle gesture access system including powered door speed control
US10837788B1 (en) * 2018-05-03 2020-11-17 Zoox, Inc. Techniques for identifying vehicles and persons
US11151376B2 (en) * 2019-01-23 2021-10-19 Uber Technologies, Inc. Rider-driver localization for determining placement of AR content for passenger
CN112041638A (zh) * 2019-03-15 2020-12-04 谷歌有限责任公司 经由增强现实用于乘车共享和递送的接载和送达地点识别
US11656089B2 (en) * 2019-09-30 2023-05-23 GM Cruise Holdings LLC. Map driven augmented reality
US20210201661A1 (en) * 2019-12-31 2021-07-01 Midea Group Co., Ltd. System and Method of Hand Gesture Detection
US11886559B2 (en) * 2020-08-31 2024-01-30 Harlock Creative Llc Biometric identification and control systems and methods for providing customizable security through authentication of biosignal representations of one or more user-specific and user-selected gesture-intentions
US20220266796A1 (en) * 2021-02-23 2022-08-25 Magna Mirrors Of America, Inc. Vehicle door handle with multi-function sensing system
CN113053984B (zh) * 2021-03-19 2024-05-14 京东方科技集团股份有限公司 显示装置、及对应的信号处理装置及手势识别方法
US11981181B2 (en) * 2021-04-19 2024-05-14 Apple Inc. User interfaces for an electronic key
US20220413596A1 (en) * 2021-06-28 2022-12-29 Sigmasense, Llc. Vehicle sensor system

Also Published As

Publication number Publication date
GB202201882D0 (en) 2022-03-30
US20230111327A1 (en) 2023-04-13
GB2611589A (en) 2023-04-12
DE102022103428A1 (de) 2023-04-13
CN115963785A (zh) 2023-04-14

Similar Documents

Publication Publication Date Title
CN110349405B (zh) 利用联网汽车的实时交通监视
US20200276973A1 (en) Operation of a vehicle in the event of an emergency
US11669783B2 (en) Identifying unassigned passengers for autonomous vehicles
US11155268B2 (en) Utilizing passenger attention data captured in vehicles for localization and location-based services
KR102315335B1 (ko) 자율 차량들에 대해 할당된 승객들의 인식
WO2019111702A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2020090306A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
KR20230051412A (ko) 차량을 찾고 액세스하기 위한 기술
CN116323359B (zh) 低置信度对象检测条件下的运载工具操作的注释和绘制成图
US11518402B2 (en) System and method for controlling a vehicle using contextual navigation assistance
JP7135690B2 (ja) 情報処理装置および方法、プログラム、並びに移動体制御システム
US11772603B2 (en) Passenger authentication and entry for autonomous vehicles
US20240122780A1 (en) Autonomous vehicle with audio user guidance
US20240123996A1 (en) Methods and systems for traffic light labelling via motion inference
WO2020261703A1 (ja) 情報処理装置と情報処理方法およびプログラム
US20240035830A1 (en) Errand service associated with ride request
US20230219595A1 (en) GOAL DETERMINATION USING AN EYE TRACKER DEVICE AND LiDAR POINT CLOUD DATA
US20240123975A1 (en) Guided generation of trajectories for remote vehicle assistance
WO2024081593A1 (en) Methods and systems for traffic light labelling via motion inference

Legal Events

Date Code Title Description
E902 Notification of reason for refusal