KR20230005044A - 차량 작동 - Google Patents

차량 작동 Download PDF

Info

Publication number
KR20230005044A
KR20230005044A KR1020210186473A KR20210186473A KR20230005044A KR 20230005044 A KR20230005044 A KR 20230005044A KR 1020210186473 A KR1020210186473 A KR 1020210186473A KR 20210186473 A KR20210186473 A KR 20210186473A KR 20230005044 A KR20230005044 A KR 20230005044A
Authority
KR
South Korea
Prior art keywords
vehicle
route
passenger
data
modification
Prior art date
Application number
KR1020210186473A
Other languages
English (en)
Other versions
KR102759912B1 (ko
Inventor
그리고리 두브로브스키
아디트야 스리쿠마르
싯다르트 메논
Original Assignee
모셔널 에이디 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모셔널 에이디 엘엘씨 filed Critical 모셔널 에이디 엘엘씨
Publication of KR20230005044A publication Critical patent/KR20230005044A/ko
Application granted granted Critical
Publication of KR102759912B1 publication Critical patent/KR102759912B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0013—Planning or execution of driving tasks specially adapted for occupant comfort
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0013—Planning or execution of driving tasks specially adapted for occupant comfort
    • B60W60/00133—Planning or execution of driving tasks specially adapted for occupant comfort for resting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0013—Planning or execution of driving tasks specially adapted for occupant comfort
    • B60W60/00136—Planning or execution of driving tasks specially adapted for occupant comfort for intellectual activities, e.g. reading, gaming or working
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0021—Planning or execution of driving tasks specially adapted for travel time
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/35—Road bumpiness, e.g. potholes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/10—Change speed gearings
    • B60W2710/1038—Output speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/306—Pressure sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

차량 내에 배치된 적어도 하나의 센서 또는 차량에 연결된 통신 디바이스 상의 애플리케이션 중 하나 이상으로부터, 차량의 승객의 행동 또는 외관 중 적어도 하나를 나타내는 데이터를 수신하는 단계; 행동 또는 외관 중 적어도 하나에 기초하여, 차량의 적어도 하나의 작동 파라미터의 수정이 요구된다고 결정하는 단계; 및 그 결정에 응답하여, 차량의 적어도 하나의 작동 파라미터를 수정하는 단계를 포함할 수 있는, 차량을 작동시키기 위한 방법들이 제공된다. 시스템들 및 컴퓨터 프로그램 제품들이 또한 제공된다.

Description

차량 작동{OPERATING A VEHICLE}
자율 주행 차량(autonomous vehicle, AV)은 사람들을 한 장소로부터 다른 장소로 운송하는 데 사용될 수 있다. 일 예로서, AV는 사람의 위치로 운행하고, 사람이 AV에 탑승하기를 기다리며, 지정된 목적지(예를 들면, 사람에 의해 선택된 위치)까지 횡단할 수 있다.
도 1은 자율 주행 시스템(autonomous system)의 하나 이상의 컴포넌트를 포함하는 차량이 구현될 수 있는 예시적인 환경이다.
도 2는 자율 주행 시스템을 포함하는 차량의 하나 이상의 시스템의 다이어그램이다.
도 3은 도 1 및 도 2의 하나 이상의 디바이스 및/또는 하나 이상의 시스템의 컴포넌트들의 다이어그램이다.
도 4는 자율 주행 시스템의 특정 컴포넌트들의 다이어그램이다.
도 5는 예시적인 승객 편의 회로의 다이어그램이다.
도 6a는 뉴럴 네트워크의 구현의 다이어그램이다.
도 6b 및 도 6c는 CNN의 예시적인 작동(operation)을 예시하는 다이어그램이다.
도 7은 차량을 작동시키기 위한 프로세스의 플로차트이다.
이하의 설명에서는, 설명 목적으로 본 개시에 대한 완전한 이해를 제공하기 위해 다수의 특정 세부 사항들이 제시된다. 그렇지만, 본 개시에 의해 기술되는 실시예들이 이러한 특정 세부 사항들이 없더라도 실시될 수 있음이 명백할 것이다. 일부 경우에, 본 개시의 양태들을 불필요하게 모호하게 하는 것을 피하기 위해 잘 알려진 구조들 및 디바이스들은 블록 다이어그램 형태로 예시되어 있다.
시스템들, 디바이스들, 모듈들, 명령어 블록들, 데이터 요소들 등을 나타내는 것들과 같은, 개략적인 요소들의 특정 배열들 또는 순서들이 설명의 편의를 위해 도면들에 예시되어 있다. 그렇지만, 본 기술 분야의 통상의 기술자라면 도면들에서의 개략적인 요소들의 특정 순서 또는 배열이, 그러한 것으로 명시적으로 기술되지 않는 한, 프로세스들의 특정 프로세싱 순서 또는 시퀀스, 또는 프로세스들의 분리가 필요하다는 것을 암시하는 것으로 의미되지 않음을 이해할 것이다. 게다가, 도면에 개략적인 요소를 포함시키는 것은, 그러한 것으로 명시적으로 기술되지 않는 한 일부 실시예들에서, 그러한 요소가 모든 실시예들에서 필요하다는 것 또는 그러한 요소에 의해 표현되는 특징들이 다른 요소들에 포함되지 않을 수 있거나 다른 요소들과 결합되지 않을 수 있다는 것을 암시하는 것으로 의미되지 않는다.
게다가, 2 개 이상의 다른 개략적인 요소 사이의 연결, 관계 또는 연관을 예시하기 위해 실선 또는 파선 또는 화살표와 같은 연결 요소들이 도면들에서 사용되는 경우에, 임의의 그러한 연결 요소들의 부재는 연결, 관계 또는 연관이 존재할 수 없음을 암시하는 것으로 의미되지 않는다. 환언하면, 본 개시를 모호하게 하지 않기 위해 요소들 사이의 일부 연결들, 관계들 또는 연관들이 도면들에 예시되어 있지 않다. 추가적으로, 예시의 편의를 위해, 요소들 사이의 다수의 연결들, 관계들 또는 연관들을 나타내기 위해 단일의 연결 요소가 사용될 수 있다. 예를 들어, 연결 요소가 신호들, 데이터 또는 명령어들(예를 들면, "소프트웨어 명령어들")의 통신을 나타내는 경우에, 본 기술 분야의 통상의 기술자라면 그러한 요소가, 통신을 수행하기 위해 필요하게 될 수 있는, 하나 또는 다수의 신호 경로(예를 들면, 버스)를 나타낼 수 있다는 것을 이해할 것이다.
제1, 제2, 제3 등의 용어들이 다양한 컴포넌트들을 기술하는 데 사용되지만, 이러한 요소들이 이러한 용어들에 의해 제한되어서는 안된다. 제1, 제2, 제3 등의 용어들은 하나의 요소를 다른 요소와 구별하는 데만 사용된다. 예를 들어, 기술된 실시예들의 범위를 벗어나지 않으면서, 제1 접촉은 제2 접촉이라고 지칭될 수 있고, 유사하게 제2 접촉은 제1 접촉이라고 지칭될 수 있다. 제1 접촉과 제2 접촉은 둘 모두 접촉이지만, 동일한 접촉은 아니다.
본원에서의 다양한 기술된 실시예들에 대한 설명에서 사용되는 전문용어는 특정 실시예들을 기술하기 위해서만 포함되어 있으며, 제한하는 것으로 의도되지 않는다. 다양한 기술된 실시예들에 대한 설명 및 첨부된 청구항들에서 사용되는 바와 같이, 단수 형태들("a", "an" 및 "the")은 복수 형태들도 포함하는 것으로 의도되고, 문맥이 달리 명확히 나타내지 않는 한, "하나 이상" 또는 "적어도 하나"와 상호 교환 가능하게 사용될 수 있다. "및/또는"이라는 용어가, 본원에서 사용되는 바와 같이, 연관된 열거된 항목들 중 하나 이상의 항목의 임의의 및 모든 가능한 조합들을 지칭하고 포괄한다는 것이 또한 이해될 것이다. "포함한다(includes)", 포함하는(including), 포함한다(comprises)" 및/또는 "포함하는(comprising)"이라는 용어들이, 본 설명에서 사용될 때, 언급된 특징들, 정수들, 단계들, 동작들, 요소들, 및/또는 컴포넌트들의 존재를 명시하지만, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트, 및/또는 이들의 그룹들의 존재 또는 추가를 배제하지 않는다는 것이 추가로 이해될 것이다.
본원에서 사용되는 바와 같이, "통신" 및 "통신하다"라는 용어들은 정보(또는, 예를 들어, 데이터, 신호들, 메시지들, 명령어들, 커맨드들 등에 의해 표현되는 정보)의 수신, 접수, 송신, 전달, 제공 등 중 적어도 하나를 지칭한다. 하나의 유닛(예를 들면, 디바이스, 시스템, 디바이스 또는 시스템의 컴포넌트, 이들의 조합들 등)이 다른 유닛과 통신한다는 것은 하나의 유닛이 직접 또는 간접적으로 다른 유닛으로부터 정보를 수신하고/하거나 다른 유닛으로 정보를 전송(예를 들면, 송신)할 수 있음을 의미한다. 이것은 본질적으로 유선 및/또는 무선인 직접 또는 간접 연결을 지칭할 수 있다. 추가적으로, 송신되는 정보가 제1 유닛과 제2 유닛 사이에서 수정(modify), 프로세싱, 중계 및/또는 라우팅될 수 있을지라도 2 개의 유닛은 서로 통신하고 있을 수 있다. 예를 들어, 제1 유닛이 정보를 수동적으로 수신하고 정보를 제2 유닛으로 능동적으로 송신하지 않을지라도 제1 유닛은 제2 유닛과 통신하고 있을 수 있다. 다른 예로서, 적어도 하나의 중간 유닛(예를 들면, 제1 유닛과 제2 유닛 사이에 위치하는 제3 유닛)이 제1 유닛으로부터 수신되는 정보를 프로세싱하고 프로세싱된 정보를 제2 유닛으로 송신하는 경우 제1 유닛은 제2 유닛과 통신하고 있을 수 있다. 일부 실시예들에서, 메시지는 데이터를 포함하는 네트워크 패킷(예를 들면, 데이터 패킷 등)을 지칭할 수 있다.
본원에서 사용되는 바와 같이, "~ 경우"라는 용어는, 선택적으로, 문맥에 따라 "~할 때", 또는 "~시에" 또는 "~라고 결정하는 것에 응답하여", "~을 검출하는 것에 응답하여" 등을 의미하는 것으로 해석된다. 유사하게, 문구 "~라고 결정되는 경우" 또는 "[언급된 조건 또는 이벤트]가 검출되는 경우"는, 선택적으로, 문맥에 따라, "~라고 결정할 시에", "~라고 결정하는 것에 응답하여", "[언급된 조건 또는 이벤트]를 검출할 시에", "[언급된 조건 또는 이벤트]를 검출하는 것에 응답하여" 등을 의미하는 것으로 해석된다. 또한, 본원에서 사용되는 바와 같이, "갖는다"(has, have), "갖는(having)" 등의 용어들은 개방형(open-ended) 용어들인 것으로 의도된다. 게다가, 문구 "~에 기초하여"는, 달리 명시적으로 언급되지 않는 한, "~에 적어도 부분적으로 기초하여"를 의미하는 것으로 의도된다.
그 예가 첨부 도면들에 예시되어 있는 실시예들에 대해 이제 상세하게 언급될 것이다. 이하의 상세한 설명에서, 다양한 기술된 실시예들에 대한 완전한 이해를 제공하기 위해 수많은 특정 세부 사항들이 기재된다. 그렇지만, 다양한 기술된 실시예들이 이러한 특정 세부 사항들이 없더라도 실시될 수 있다는 것이 본 기술 분야의 통상의 기술자에게 명백할 것이다. 다른 경우에, 실시예들의 양태들을 불필요하게 모호하게 하지 않기 위해 잘 알려진 방법들, 절차들, 컴포넌트들, 회로들, 및 네트워크들은 상세하게 기술되지 않았다.
일반적 개관
일부 양태들 및/또는 실시예들에서, 본원에 기술된 시스템들, 방법들 및 컴퓨터 프로그램 제품들은 차량 내 센서 및/또는 승객의 통신 디바이스 상에 설치된 애플리케이션으로부터의 피드백에 기초하여 차량을 작동시키기 위한 시스템을 포함하고/하거나 구현한다.
예시적인 실시예에서, 차량(예를 들면, 자율 주행 차량)의 시스템은 차량 내 센서들 및/또는 차량과 통신하는 승객의 통신 디바이스(예를 들면, 전화) 상에 설치된 애플리케이션으로부터의 신호들을 검출하고, 이러한 신호들을 사용하여 승객의 편의를 향상시키기 위해 차량의 적어도 하나의 작동 파라미터(예를 들면, 루트 또는 속력)를 수정한다.
예를 들어, 차량의 시스템은 승객이 영상 통화(video call)를 시작하고 있다고 결정하고, 이에 응답하여 차량의 시스템은 차량이 차량 내의 진동이 감소할 때까지 감속하게 하거나 또는 루트를 보다 매끄러운(smooth) 루트(예를 들면, 자갈 대신에 아스팔트와 같은, 보다 매끄러운 재료로 된 루트)로 수정한다.
다른 예에서, 차량의 시스템은 승객이 잠을 자고 있거나 편히 쉬고 있다고 결정하고, 이에 응답하여 차량의 시스템은 차량이 차량 내의 진동이 감소할 때까지 감속하게 한다. 추가적으로, 또는 대안적으로, 차량의 시스템은 차량이 주행하고 있는 루트를 수정하여, 차량이 이전에 주행하고 있던 것보다 매끄러운 루트를 결과하게 할 수 있다.
또 다른 예에서, 차량의 시스템은 승객이 루트 동안 회의를 할 필요가 있다고 결정하고, 이에 응답하여 차량의 시스템은 이용 가능한 루트들 중에서 최상의 인터넷 연결성을 갖는 루트를 선택한다.
일 예에서, 차량의 시스템은 승객이 행사에 가고 있다고 결정하고(예를 들면, 사람이 격식을 차린 의복(formal garment) 또는 정장을 입고 있음을 검출하고 승객이 회의에 가고 있다고 추론하는 것에 의해), 이에 응답하여 차량의 시스템은 차량이 가속하게 한다. 추가적으로, 또는 대안적으로, 차량의 시스템은 보다 빠른 루트를 선택할 수 있다.
본원에서 기술되는 시스템들, 방법들 및 컴퓨터 프로그램 제품들의 구현에 의해, 차량은 보다 효율적으로 및/또는 보다 효과적으로 작동될 수 있다. 차량의 시스템은 승객의 행동(action)들 및/또는 외관(appearance)에 기초하여 차량의 행동을 수정할 수 있다. 그러한 수정은 유리하게도 승객의 편의를 향상시킬 수 있으며, 승객의 선호사항을 나타내는 일정한 또는 다수의 사용자 입력들을 요구하지 않고도 그렇게 할 수 있다. 이것은 유리하게도 승객이 차량을 라이딩(riding)하기 위해 사용하는 애플리케이션의 보다 간단한 그래픽 사용자 인터페이스들을 가능하게 한다. 보다 간단한 그래픽 사용자 인터페이스는 계산 버그들 및 오류들을 최소화하고, 중복 통신을 감소시키며, 승객이 애플리케이션을 사용하고 있는 동안 및/또는 애플리케이션이 차량과 통신하는 동안 대역폭의 보다 최적의 사용을 가능하게 한다. 보다 간단한 그래픽 사용자 인터페이스들은 보다 사용자 친화적일 수 있고, 애플리케이션의 사용자들(승객을 포함함)의 참여(engagement) 및 유지(retention)를 증가시킬 수 있으며, (메모리는 물론 데이터베이스들을 포함할 수 있는) 스토리지와 같은 컴퓨팅 리소스들을 보다 적게 필요로 할 수 있으며, 고객 질의들을 처리하기 위한 컴퓨팅 비용을 낮출 수 있으며, 검색 결과들을 반환하거나 애플리케이션의 다양한 특징들을 브라우징하는 데 걸리는 시간을 감소시킬 수 있는 등을 할 수 있다. 추가적으로, 차량 내의 다양한 위치들에 다수의 개별 센서들을 설치하는 것은, 상이한 데이터(예를 들면, 승객의 행동들 및/또는 외관)에 대한 보다 쉽고 동시적인 액세스 및 최적화(예를 들면, 루트 및/또는 속력의 수정)가 고속으로 수행될 수 있는 것을 포함하여, 많은 이점들을 제공할 수 있는데, 그 이유는 병렬로 작동하는 센서들에 의해 입력 데이터가 신속하게 수집되고 있기 때문이다.
이제 도 1을 참조하면, 자율 주행 시스템들을 포함하는 차량들은 물론 그렇지 않은 차량들이 작동되는 예시적인 환경(100)이 예시되어 있다. 예시된 바와 같이, 환경(100)은 차량들(102a 내지 102n), 대상체들(104a 내지 104n), 루트들(106a 내지 106n), 영역(108), 차량 대 인프라스트럭처(vehicle-to-infrastructure, V2I) 디바이스(110), 네트워크(112), 원격 자율 주행 차량(AV) 시스템(114), 플릿 관리 시스템(fleet management system)(116), 및 V2I 시스템(118)을 포함한다. 차량들(102a 내지 102n), 차량 대 인프라스트럭처(V2I) 디바이스(110), 네트워크(112), 자율 주행 차량(AV) 시스템(114), 플릿 관리 시스템(116), 및 V2I 시스템(118)은 유선 연결들, 무선 연결들, 또는 유선 또는 무선 연결들의 조합을 통해 상호연결한다(예를 들면, 통신 등을 위해 연결을 확립한다). 일부 실시예들에서, 대상체들(104a 내지 104n)은 유선 연결들, 무선 연결들 또는 유선 또는 무선 연결들의 조합을 통해 차량들(102a 내지 102n), 차량 대 인프라스트럭처(V2I) 디바이스(110), 네트워크(112), 자율 주행 차량(AV) 시스템(114), 플릿 관리 시스템(116), 및 V2I 시스템(118) 중 적어도 하나와 상호연결한다.
차량들(102a 내지 102n)(개별적으로 차량(102)이라고 지칭되고 집합적으로 차량들(102)이라고 지칭됨)은 상품 및/또는 사람을 운송하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 실시예들에서, 차량들(102)은 네트워크(112)를 통해 V2I 디바이스(110), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된다. 일부 실시예들에서, 차량들(102)은 자동차들, 버스들, 트럭들, 기차들 등을 포함한다. 일부 실시예들에서, 차량들(102)은 본원에 기술된 차량들(200)(도 2 참조)과 동일하거나 유사하다. 일부 실시예들에서, 일단의 차량들(200) 중의 차량(200)은 자율 주행 플릿 관리자와 연관된다. 일부 실시예들에서, 차량들(102)은, 본원에 기술된 바와 같이, 각자의 루트들(106a 내지 106n)(개별적으로 루트(106)라고 지칭되고 집합적으로 루트들(106)이라고 지칭됨)을 따라 주행한다. 일부 실시예들에서, 하나 이상의 차량(102)은 자율 주행 시스템(예를 들면, 자율 주행 시스템(202)과 동일하거나 유사한 자율 주행 시스템)을 포함한다.
대상체들(104a 내지 104n)(개별적으로 대상체(104)라고 지칭되고 집합적으로 대상체들(104)이라고 지칭됨)은, 예를 들어, 적어도 하나의 차량, 적어도 하나의 보행자, 적어도 하나의 자전거 타는 사람, 적어도 하나의 구조물(예를 들면, 건물, 표지판, 소화전(fire hydrant) 등) 등을 포함한다. 각각의 대상체(104)는 정지해(예를 들면, 일정 시간 기간 동안 고정 위치에 위치함) 있거나 움직이고(예를 들면, 속도를 가지며 적어도 하나의 궤적과 연관되어 있음) 있다. 일부 실시예들에서, 대상체들(104)은 영역(108) 내의 대응하는 위치들과 연관되어 있다.
루트들(106a 내지 106n)(개별적으로 루트(106)라고 지칭되고 집합적으로 루트들(106)이라고 지칭됨)은 각각 AV가 운행할 수 있는 상태들을 연결하는 행동들의 시퀀스(궤적이라고도 함)와 연관된다(예를 들면, 이를 규정한다). 각각의 루트(106)는 초기 상태(예를 들면, 제1 시공간적 위치, 속도 등에 대응하는 상태) 및 최종 목표 상태(예를 들면, 제1 시공간적 위치와 상이한 제2 시공간적 위치에 대응하는 상태) 또는 목표 영역(예를 들면, 허용 가능한 상태들(예를 들면, 종료 상태들(terminal states))의 부분 공간(subspace))에서 시작된다. 일부 실시예들에서, 제1 상태는 개인 또는 개인들이 AV에 의해 픽업(pick-up)되어야 하는 위치를 포함하고 제2 상태 또는 영역은 AV에 의해 픽업된 개인 또는 개인들이 하차(drop-off)해야 하는 위치 또는 위치들을 포함한다. 일부 실시예들에서, 루트들(106)은 복수의 허용 가능한 상태 시퀀스들(예를 들면, 복수의 시공간적 위치 시퀀스들)을 포함하며, 복수의 상태 시퀀스들은 복수의 궤적들과 연관된다(예를 들면, 이를 정의한다). 일 예에서, 루트들(106)은, 도로 교차로들에서의 회전 방향들을 지시하는 일련의 연결된 도로들과 같은, 상위 레벨 행동들 또는 부정확한 상태 위치들만을 포함한다. 추가적으로 또는 대안적으로, 루트들(106)은, 예를 들어, 특정 목표 차선들 또는 차선 영역들 내에서의 정확한 위치들 및 해당 위치들에서의 목표 속력과 같은, 보다 정확한 행동들 또는 상태들을 포함할 수 있다. 일 예에서, 루트들(106)은 중간 목표들에 도달하기 위해 제한된 룩어헤드 구간(lookahead horizon)을 갖는 적어도 하나의 상위 레벨 행동 시퀀스를 따른 복수의 정확한 상태 시퀀스들을 포함하며, 여기서 제한된 구간 상태 시퀀스들의 연속적인 반복들의 조합은 누적되어 복수의 궤적들에 대응하며 이 복수의 궤적들은 집합적으로 최종 목표 상태 또는 영역에서 종료하는 상위 레벨 루트를 형성한다.
영역(108)은 차량들(102)이 운행할 수 있는 물리적 영역(예를 들면, 지리적 영역)을 포함한다. 일 예에서, 영역(108)은 적어도 하나의 주(state)(예를 들면, 국가, 지방, 국가에 포함된 복수의 주들의 개개의 주 등), 주의 적어도 하나의 부분, 적어도 하나의 도시, 도시의 적어도 하나의 부분 등을 포함한다. 일부 실시예들에서, 영역(108)은 간선 도로(highway), 주간 간선 도로(interstate highway), 공원 도로, 도시 거리 등과 같은 적어도 하나의 명명된 주요 도로(thoroughfare)(본원에서 "도로"라고 지칭됨)를 포함한다. 추가적으로 또는 대안적으로, 일부 예들에서, 영역(108)은 진입로(driveway), 주차장의 섹션, 공터 및/또는 미개발 부지의 섹션, 비포장 경로 등과 같은 적어도 하나의 명명되지 않은 도로를 포함한다. 일부 실시예들에서, 도로는 적어도 하나의 차선(예를 들면, 차량(102)에 의해 횡단될 수 있는 도로의 일 부분)을 포함한다. 일 예에서, 도로는 적어도 하나의 차선 마킹과 연관된(예를 들면, 이에 기초하여 식별되는) 적어도 하나의 차선을 포함한다.
차량 대 인프라스트럭처(V2I) 디바이스(110)(때때로 차량 대 인프라스트럭처(V2X) 디바이스라고 지칭됨)는 차량들(102) 및/또는 V2I 인프라스트럭처 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 실시예들에서, V2I 디바이스(110)는 네트워크(112)를 통해 차량들(102), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된다. 일부 실시예들에서, V2I 디바이스(110)는 RFID(radio frequency identification) 디바이스, 사이니지(signage), 카메라(예를 들면, 2차원(2D) 및/또는 3차원(3D) 카메라), 차선 마커, 가로등, 주차 미터기 등을 포함한다. 일부 실시예들에서, V2I 디바이스(110)는 차량들(102)과 직접 통신하도록 구성된다. 추가적으로 또는 대안적으로, 일부 실시예들에서, V2I 디바이스(110)는 V2I 시스템(118)을 통해 차량들(102), 원격 AV 시스템(114), 및/또는 플릿 관리 시스템(116)과 통신하도록 구성된다. 일부 실시예들에서, V2I 디바이스(110)는 네트워크(112)를 통해 V2I 시스템(118)과 통신하도록 구성된다.
네트워크(112)는 하나 이상의 유선 및/또는 무선 네트워크를 포함한다. 일 예에서, 네트워크(112)는 셀룰러 네트워크(예를 들면, LTE(long term evolution) 네트워크, 3G(third generation) 네트워크, 4G(fourth generation) 네트워크, 5G(fifth generation) 네트워크, CDMA(code division multiple access) 네트워크 등), PLMN(public land mobile network), LAN(local area network), WAN(wide area network), MAN(metropolitan area network), 전화 네트워크(예를 들면, PSTN(public switched telephone network)), 사설 네트워크, 애드혹 네트워크, 인트라넷, 인터넷, 광섬유 기반 네트워크, 클라우드 컴퓨팅 네트워크 등, 이러한 네트워크들의 일부 또는 전부의 조합 등을 포함한다.
원격 AV 시스템(114)은 네트워크(112)를 통해 차량들(102), V2I 디바이스(110), 네트워크(112), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일 예에서, 원격 AV 시스템(114)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, 원격 AV 시스템(114)은 플릿 관리 시스템(116)과 동일 위치에 병치(co-locate)된다. 일부 실시예들에서, 원격 AV 시스템(114)은 자율 주행 시스템, 자율 주행 차량 컴퓨터, 자율 주행 차량 컴퓨터에 의해 구현되는 소프트웨어 등을 포함한, 차량의 컴포넌트들의 일부 또는 전부의 설치에 관여된다. 일부 실시예들에서, 원격 AV 시스템(114)은 차량의 수명 동안 그러한 컴포넌트들 및/또는 소프트웨어를 유지 관리(예를 들면, 업데이트 및/또는 교체)한다.
플릿 관리 시스템(116)은 차량들(102), V2I 디바이스(110), 원격 AV 시스템(114), 및/또는 V2I 인프라스트럭처 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일 예에서, 플릿 관리 시스템(116)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, 플릿 관리 시스템(116)은 라이드 셰어링(ridesharing) 회사(예를 들면, 다수의 차량들(예를 들면, 자율 주행 시스템들을 포함하는 차량들 및/또는 자율 주행 시스템들을 포함하지 않는 차량들)의 작동을 제어하는 조직 등)와 연관된다.
일부 실시예들에서, V2I 시스템(118)은 네트워크(112)를 통해 차량들(102), V2I 디바이스(110), 원격 AV 시스템(114), 및/또는 플릿 관리 시스템(116)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, V2I 시스템(118)은 네트워크(112)와 상이한 연결을 통해 V2I 디바이스(110)와 통신하도록 구성된다. 일부 실시예들에서, V2I 시스템(118)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, V2I 시스템(118)은 지자체 또는 사설 기관(예를 들면, V2I 디바이스(110) 등을 유지 관리하는 사설 기관)과 연관된다.
도 1에 예시된 요소들의 수 및 배열은 예로서 제공된다. 도 1에 예시된 것보다, 추가적인 요소들, 더 적은 요소들, 상이한 요소들 및/또는 상이하게 배열된 요소들이 있을 수 있다. 추가적으로 또는 대안적으로, 환경(100)의 적어도 하나의 요소는 도 1의 적어도 하나의 상이한 요소에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다. 추가적으로 또는 대안적으로, 환경(100)의 적어도 하나의 요소 세트는 환경(100)의 적어도 하나의 상이한 요소 세트에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다.
이제 도 2를 참조하면, 차량(200)은 자율 주행 시스템(202), 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 및 브레이크 시스템(208)을 포함한다. 일부 실시예들에서, 차량(200)은 차량(102)(도 1 참조)과 동일하거나 유사하다. 일부 실시예들에서, 차량(102)은 자율 주행 능력을 갖는다(예를 들면, 완전 자율 주행 차량들(예를 들면, 인간 개입에 의존하지 않는 차량들), 고도 자율 주행 차량들(예를 들면, 특정 상황들에서 인간 개입에 의존하지 않는 차량들) 등을, 제한 없이, 포함한, 차량(200)이 인간 개입 없이 부분적으로 또는 완전히 작동될 수 있게 하는 적어도 하나의 기능, 특징, 디바이스 등을 구현한다). 완전 자율 주행 차량들 및 고도 자율 주행 차량들에 대한 상세한 설명에 대해서는, 그 전체가 참고로 포함되는, SAE 국제 표준 J3016: 온로드 자동차 자동 운전 시스템에 관한 용어의 분류 및 정의(SAE International's standard J3016: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems)가 참조될 수 있다. 일부 실시예들에서, 차량(200)은 자율 주행 플릿 관리자 및/또는 라이드 셰어링 회사와 연관된다.
자율 주행 시스템(202)은 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 및 마이크로폰들(202d)과 같은 하나 이상의 디바이스를 포함하는 센서 스위트(sensor suite)를 포함한다. 일부 실시예들에서, 자율 주행 시스템(202)은 보다 많거나 보다 적은 디바이스들 및/또는 상이한 디바이스들(예를 들면, 초음파 센서들, 관성 센서들, GPS 수신기들(아래에서 논의됨), 차량(200)이 주행한 거리의 표시와 연관된 데이터를 생성하는 주행 거리 측정 센서들 등)을 포함할 수 있다. 일부 실시예들에서, 자율 주행 시스템(202)은 자율 주행 시스템(202)에 포함된 하나 이상의 디바이스를 사용하여 본원에서 기술되는 환경(100)과 연관된 데이터를 생성한다. 자율 주행 시스템(202)의 하나 이상의 디바이스에 의해 생성되는 데이터는 차량(200)이 위치하는 환경(예를 들면, 환경(100))을 관측하기 위해 본원에 기술된 하나 이상의 시스템에 의해 사용될 수 있다. 일부 실시예들에서, 자율 주행 시스템(202)은 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및 드라이브 바이 와이어(drive-by-wire, DBW) 시스템(202h)을 포함한다.
카메라들(202a)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 카메라들(202a)은 물리적 대상체들(예를 들면, 자동차들, 버스들, 연석들, 사람들 등)을 포함하는 이미지들을 캡처하기 위한 적어도 하나의 카메라(예를 들면, CCD(charge-coupled device)와 같은 광 센서를 사용하는 디지털 카메라, 열 카메라, 적외선(IR) 카메라, 이벤트 카메라 등)를 포함한다. 일부 실시예들에서, 카메라(202a)는 카메라 데이터를 출력으로서 생성한다. 일부 예들에서, 카메라(202a)는 이미지와 연관된 이미지 데이터를 포함하는 카메라 데이터를 생성한다. 이 예에서, 이미지 데이터는 이미지에 대응하는 적어도 하나의 파라미터(예를 들면, 노출, 밝기 등과 같은 이미지 특성들, 이미지 타임스탬프 등)를 명시할 수 있다. 그러한 예에서, 이미지는 한 포맷(예를 들면, RAW, JPEG, PNG 등)으로 되어 있을 수 있다. 일부 실시예들에서, 카메라(202a)는 입체시(stereopsis)(스테레오 비전(stereo vision))를 위해 이미지들을 캡처하도록 차량 상에 구성된(예를 들면, 차량 상에 위치된) 복수의 독립적인 카메라들을 포함한다. 일부 예들에서, 카메라(202a)는 복수의 카메라들을 포함하고, 이 복수의 카메라들은 이미지 데이터를 생성하고 이미지 데이터를 자율 주행 차량 컴퓨터(202f) 및/또는 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템)으로 전송한다. 그러한 예에서, 자율 주행 차량 컴퓨터(202f)는 적어도 2 개의 카메라로부터의 이미지 데이터에 기초하여 복수의 카메라들 중 적어도 2 개의 카메라의 시야 내의 하나 이상의 대상체까지의 깊이를 결정한다. 일부 실시예들에서, 카메라들(202a)은 카메라들(202a)로부터 일정 거리(예를 들면, 최대 100 미터, 최대 1 킬로미터 등) 내의 대상체들의 이미지들을 캡처하도록 구성된다. 그에 따라, 카메라들(202a)은 카메라들(202a)로부터 하나 이상의 거리에 있는 대상체들을 인지하도록 최적화된 센서들 및 렌즈들과 같은 특징부들을 포함한다.
일 실시예에서, 카메라(202a)는 시각적 운행 정보를 제공하는 하나 이상의 교통 신호등, 거리 표지판 및/또는 다른 물리적 대상체와 연관된 하나 이상의 이미지를 캡처하도록 구성된 적어도 하나의 카메라를 포함한다. 일부 실시예들에서, 카메라(202a)는 하나 이상의 이미지와 연관된 교통 신호등 데이터를 생성한다. 일부 예들에서, 카메라(202a)는 한 포맷(예를 들면, RAW, JPEG, PNG 등)을 포함하는 하나 이상의 이미지와 연관된 TLD 데이터를 생성한다. 일부 실시예들에서, TLD 데이터를 생성하는 카메라(202a)는, 카메라(202a)가 가능한 한 많은 물리적 대상체들에 관한 이미지들을 생성하기 위해 넓은 시야를 갖는 하나 이상의 카메라(예를 들면, 광각 렌즈, 어안 렌즈, 대략 120도 이상의 시야각을 갖는 렌즈 등)를 포함할 수 있다는 점에서, 카메라들을 포함하는 본원에 기술된 다른 시스템들과 상이하다.
LiDAR(Laser Detection and Ranging) 센서들(202b)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. LiDAR 센서들(202b)은 광 방출기(예를 들면, 레이저 송신기)로부터 광을 송신하도록 구성된 시스템을 포함한다. LiDAR 센서들(202b)에 의해 방출되는 광은 가시 스펙트럼 밖에 있는 광(예를 들면, 적외선 광 등)을 포함한다. 일부 실시예들에서, 작동 동안, LiDAR 센서들(202b)에 의해 방출되는 광은 물리적 대상체(예를 들면, 차량)와 조우하고 LiDAR 센서들(202b)로 다시 반사된다. 일부 실시예들에서, LiDAR 센서들(202b)에 의해 방출되는 광은 광이 조우하는 물리적 대상체들을 투과하지 않는다. LiDAR 센서들(202b)은 광 방출기로부터 방출된 광이 물리적 대상체와 조우한 후에 그 광을 검출하는 적어도 하나의 광 검출기를 또한 포함한다. 일부 실시예들에서, LiDAR 센서들(202b)과 연관된 적어도 하나의 데이터 프로세싱 시스템은 LiDAR 센서들(202b)의 시야에 포함된 대상체들을 나타내는 이미지(예를 들면, 포인트 클라우드, 결합된 포인트 클라우드(combined point cloud) 등)를 생성한다. 일부 예들에서, LiDAR 센서(202b)와 연관된 적어도 하나의 데이터 프로세싱 시스템은 물리적 대상체의 경계들, 물리적 대상체의 표면들(예를 들면, 표면들의 토폴로지) 등을 나타내는 이미지를 생성한다. 그러한 예에서, 이미지는 LiDAR 센서들(202b)의 시야 내의 물리적 대상체들의 경계들을 결정하는 데 사용된다.
레이더(radar, Radio Detection and Ranging) 센서들(202c)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 레이더 센서들(202c)은 전파들을 (펄스형으로 또는 연속적으로) 송신하도록 구성된 시스템을 포함한다. 레이더 센서들(202c)에 의해 송신되는 전파들은 미리 결정된 스펙트럼 내에 있는 전파들을 포함한다. 일부 실시예들에서, 작동 동안, 레이더 센서들(202c)에 의해 송신되는 전파들은 물리적 대상체와 조우하고 레이더 센서들(202c)로 다시 반사된다. 일부 실시예들에서, 레이더 센서들(202c)에 의해 송신되는 전파들이 일부 대상체들에 의해 반사되지 않는다. 일부 실시예들에서, 레이더 센서들(202c)과 연관된 적어도 하나의 데이터 프로세싱 시스템은 레이더 센서들(202c)의 시야에 포함된 대상체들을 나타내는 신호들을 생성한다. 예를 들어, 레이더 센서(202c)와 연관된 적어도 하나의 데이터 프로세싱 시스템은 물리적 대상체의 경계들, 물리적 대상체의 표면들(예를 들면, 표면들의 토폴로지) 등을 나타내는 이미지를 생성한다. 일부 예들에서, 이미지는 레이더 센서들(202c)의 시야 내의 물리적 대상체들의 경계들을 결정하는 데 사용된다.
마이크로폰들(202d)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 마이크로폰들(202d)은 오디오 신호들을 캡처하고 오디오 신호들과 연관된(예를 들면, 이를 나타내는) 데이터를 생성하는 하나 이상의 마이크로폰(예를 들면, 어레이 마이크로폰, 외부 마이크로폰 등)을 포함한다. 일부 예들에서, 마이크로폰들(202d)은 트랜스듀서 디바이스들 및/또는 유사 디바이스들을 포함한다. 일부 실시예들에서, 본원에 기술된 하나 이상의 시스템은 마이크로폰들(202d)에 의해 생성되는 데이터를 수신하고 데이터와 연관된 오디오 신호들에 기초하여 차량(200)을 기준으로 대상체의 위치(예를 들면, 거리 등)를 결정할 수 있다.
통신 디바이스(202e)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 자율 주행 차량 컴퓨터(202f), 안전 제어기(202g), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 예를 들어, 통신 디바이스(202e)는 도 3의 통신 인터페이스(314)와 동일하거나 유사한 디바이스를 포함할 수 있다. 일부 실시예들에서, 통신 디바이스(202e)는 차량 대 차량(vehicle-to-vehicle, V2V) 통신 디바이스(예를 들면, 차량들 간의 데이터의 무선 통신을 가능하게 하는 디바이스)를 포함한다.
자율 주행 차량 컴퓨터(202f)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 통신 디바이스(202e), 안전 제어기(202g), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 자율 주행 차량 컴퓨터(202f)는 클라이언트 디바이스, 모바일 디바이스(예를 들면, 셀룰러 전화, 태블릿 등), 서버(예를 들면, 하나 이상의 중앙 프로세싱 유닛, 그래픽 프로세싱 유닛 등을 포함하는 컴퓨팅 디바이스) 등과 같은 디바이스를 포함한다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(202f)는 본원에 기술된 자율 주행 차량 컴퓨터(400)와 동일하거나 유사하다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 자율 주행 차량 컴퓨터(202f)는 자율 주행 차량 시스템(예를 들면, 도 1의 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템), 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템), V2I 디바이스(예를 들면, 도 1의 V2I 디바이스(110)와 동일하거나 유사한 V2I 디바이스), 및/또는 V2I 시스템(예를 들면, 도 1의 V2I 시스템(118)과 동일하거나 유사한 V2I 시스템)과 통신하도록 구성된다.
안전 제어기(202g)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 안전 제어기(202g)는 차량(200)의 하나 이상의 디바이스(예를 들면, 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 브레이크 시스템(208) 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된 하나 이상의 제어기(전기 제어기, 전기기계 제어기 등)를 포함한다. 일부 실시예들에서, 안전 제어기(202g)는 자율 주행 차량 컴퓨터(202f)에 의해 생성 및/또는 송신되는 제어 신호들보다 우선하는(예를 들면, 이를 오버라이드하는) 제어 신호들을 생성하도록 구성된다.
DBW 시스템(202h)은 통신 디바이스(202e) 및/또는 자율 주행 차량 컴퓨터(202f)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, DBW 시스템(202h)은 차량(200)의 하나 이상의 디바이스(예를 들면, 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 브레이크 시스템(208) 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된 하나 이상의 제어기(예를 들면, 전기 제어기, 전기기계 제어기 등)를 포함한다. 추가적으로 또는 대안적으로, DBW 시스템(202h)의 하나 이상의 제어기는 차량(200)의 적어도 하나의 상이한 디바이스(예를 들면, 방향 지시등, 헤드라이트, 도어록, 윈도실드 와이퍼 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된다.
파워트레인 제어 시스템(204)은 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 파워트레인 제어 시스템(204)은 적어도 하나의 제어기, 액추에이터 등을 포함한다. 일부 실시예들에서, 파워트레인 제어 시스템(204)은 DBW 시스템(202h)으로부터 제어 신호들을 수신하고, 파워트레인 제어 시스템(204)은 차량(200)이 전진하는 것을 시작하게 하고, 전진하는 것을 중지하게 하며, 후진하는 것을 시작하게 하고, 후진하는 것을 중지하게 하며, 한 방향으로 가속하게 하고, 한 방향으로 감속하게 하며, 좌회전을 수행하게 하고, 우회전을 수행하게 하는 등을 한다. 일 예에서, 파워트레인 제어 시스템(204)은 차량의 모터에 제공되는 에너지(예를 들면, 연료, 전기 등)가 증가하게 하거나, 동일하게 유지되게 하거나, 또는 감소하게 하여, 이에 의해 차량(200)의 적어도 하나의 바퀴가 회전하거나 회전하지 않게 한다.
조향 제어 시스템(206)은 차량(200)의 하나 이상의 바퀴를 회전시키도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 조향 제어 시스템(206)은 적어도 하나의 제어기, 액추에이터 등을 포함한다. 일부 실시예들에서, 조향 제어 시스템(206)은 차량(200)이 좌측 또는 우측으로 방향 전환하게 하기 위해 차량(200)의 전면 2 개의 바퀴 및/또는 후면 2 개의 바퀴가 좌측 또는 우측으로 회전하게 한다.
브레이크 시스템(208)은 차량(200)이 속력을 감소시키게 하고/하거나 정지해 있는 채로 유지하게 하기 위해 하나 이상의 브레이크를 작동시키도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 브레이크 시스템(208)은 차량(200)의 대응하는 로터(rotor)에서 차량(200)의 하나 이상의 바퀴와 연관된 하나 이상의 캘리퍼(caliper)가 닫히게 하도록 구성되는 적어도 하나의 제어기 및/또는 액추에이터를 포함한다. 추가적으로 또는 대안적으로, 일부 예들에서, 브레이크 시스템(208)은 자동 긴급 제동(automatic emergency braking, AEB) 시스템, 회생 제동 시스템 등을 포함한다.
일부 실시예들에서, 차량(200)은 차량(200)의 상태 또는 조건의 속성들을 측정 또는 추론하는 적어도 하나의 플랫폼 센서(명시적으로 예시되지 않음)를 포함한다. 일부 예들에서, 차량(200)은 GPS(global positioning system) 수신기, IMU(inertial measurement unit), 휠 속력 센서, 휠 브레이크 압력 센서, 휠 토크 센서, 엔진 토크 센서, 조향각 센서 등과 같은 플랫폼 센서들을 포함한다.
이제 도 3을 참조하면, 디바이스(300)의 개략 다이어그램이 예시되어 있다. 예시된 바와 같이, 디바이스(300)는 프로세서(304), 메모리(306), 저장 컴포넌트(308), 입력 인터페이스(310), 출력 인터페이스(312), 통신 인터페이스(314), 및 버스(302)를 포함한다. 일부 실시예들에서, 디바이스(300)는 차량들(102)의 적어도 하나의 디바이스(예를 들면, 차량들(102)의 시스템의 적어도 하나의 디바이스), 원격 AV 시스템(114), 플릿 관리 시스템(116), V2I 시스템(118)의 적어도 하나의 디바이스, 및/또는 네트워크(112)의 하나 이상의 디바이스(예를 들면, 네트워크(112)의 시스템의 하나 이상의 디바이스)에 대응한다. 일부 실시예들에서, 차량들(102)의 하나 이상의 디바이스들(예를 들면, 차량들(102)의 시스템의 하나 이상의 디바이스들), 원격 AV 시스템(114), 플릿 관리 시스템(116), V2I 시스템(118), 및/또는 네트워크(112)의 하나 이상의 디바이스들(예를 들면, 네트워크(112)의 시스템의 하나 이상의 디바이스들)은 적어도 하나의 디바이스(300) 및/또는 디바이스(300)의 적어도 하나의 컴포넌트를 포함한다. 도 3에 도시된 바와 같이, 디바이스(300)는 버스(302), 프로세서(304), 메모리(306), 저장 컴포넌트(308), 입력 인터페이스(310), 출력 인터페이스(312), 및 통신 인터페이스(314)를 포함한다.
버스(302)는 디바이스(300)의 컴포넌트들 간의 통신을 가능하게 하는 컴포넌트를 포함한다. 일부 실시예들에서, 프로세서(304)는 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로 구현된다. 일부 예들에서, 프로세서(304)는 적어도 하나의 기능을 수행하도록 프로그래밍될 수 있는, 프로세서(예를 들면, 중앙 프로세싱 유닛(CPU), 그래픽 프로세싱 유닛(GPU), 가속 프로세싱 유닛(APU) 등), 마이크로폰, 디지털 신호 프로세서(DSP), 및/또는 임의의 프로세싱 컴포넌트(예를 들면, FPGA(field-programmable gate array), ASIC(application specific integrated circuit) 등)를 포함한다. 메모리(306)는 프로세서(304)가 사용할 데이터 및/또는 명령어들을 저장하는, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 및/또는 다른 유형의 동적 및/또는 정적 저장 디바이스(예를 들면, 플래시 메모리, 자기 메모리, 광학 메모리 등)를 포함한다.
저장 컴포넌트(308)는 디바이스(300)의 작동 및 사용에 관련된 데이터 및/또는 소프트웨어를 저장한다. 일부 예들에서, 저장 컴포넌트(308)는 하드 디스크(예를 들면, 자기 디스크, 광학 디스크, 광자기 디스크, 솔리드 스테이트 디스크 등), CD(compact disc), DVD(digital versatile disc), 플로피 디스크, 카트리지, 자기 테이프, CD-ROM, RAM, PROM, EPROM, FLASH-EPROM, NV-RAM 및/또는 다른 유형의 컴퓨터 판독 가능 매체를, 대응하는 드라이브와 함께, 포함한다.
입력 인터페이스(310)는 디바이스(300)가, 예컨대, 사용자 입력(예를 들면, 터치스크린 디스플레이, 키보드, 키패드, 마우스, 버튼, 스위치, 마이크로폰, 카메라 등)을 통해, 정보를 수신할 수 있게 하는 컴포넌트를 포함한다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 입력 인터페이스(310)는 정보를 감지하는 센서(예를 들면, GPS(global positioning system) 수신기, 가속도계, 자이로스코프, 액추에이터 등)를 포함한다. 출력 인터페이스(312)는 디바이스(300)로부터의 출력 정보를 제공하는 컴포넌트(예를 들면, 디스플레이, 스피커, 하나 이상의 발광 다이오드(LED) 등)를 포함한다.
일부 실시예들에서, 통신 인터페이스(314)는 디바이스(300)가 유선 연결, 무선 연결, 또는 유선 연결과 무선 연결의 조합을 통해 다른 디바이스들과 통신할 수 있게 하는 트랜시버 유사 컴포넌트(예를 들면, 트랜시버, 개별 수신기 및 송신기 등)를 포함한다. 일부 예들에서, 통신 인터페이스(314)는 디바이스(300)가 다른 디바이스로부터 정보를 수신하고/하거나 다른 디바이스에 정보를 제공할 수 있게 한다. 일부 예들에서, 통신 인터페이스(314)는 이더넷 인터페이스, 광학 인터페이스, 동축 인터페이스, 적외선 인터페이스, RF(radio frequency) 인터페이스, USB(universal serial bus) 인터페이스, Wi-Fi® 인터페이스, 셀룰러 네트워크 인터페이스 등을 포함한다.
일부 실시예들에서, 디바이스(300)는 본원에 기술된 하나 이상의 프로세스를 수행한다. 디바이스(300)는 프로세서(304)가, 메모리(305) 및/또는 저장 컴포넌트(308)와 같은, 컴퓨터 판독 가능 매체에 의해 저장된 소프트웨어 명령어들을 실행하는 것에 기초하여 이러한 프로세스들을 수행한다. 컴퓨터 판독 가능 매체(예를 들면, 비일시적 컴퓨터 판독 가능 매체)는 본원에서 비일시적 메모리 디바이스로서 정의된다. 비일시적 메모리 디바이스는 단일의 물리 저장 디바이스 내부에 위치한 메모리 공간 또는 다수의 물리 저장 디바이스들에 걸쳐 분산된 메모리 공간을 포함한다.
일부 실시예들에서, 소프트웨어 명령어들은 통신 인터페이스(314)를 통해 다른 컴퓨터 판독 가능 매체로부터 또는 다른 디바이스로부터 메모리(306) 및/또는 저장 컴포넌트(308)로 판독된다. 실행될 때, 메모리(306) 및/또는 저장 컴포넌트(308)에 저장된 소프트웨어 명령어들은 프로세서(304)가 본원에 기술된 하나 이상의 프로세스를 수행하게 한다. 추가적으로 또는 대안적으로, 고정 배선(hardwired) 회로는 본원에 기술된 하나 이상의 프로세스를 수행하기 위해 소프트웨어 명령어들 대신에 또는 소프트웨어 명령어들과 결합하여 사용된다. 따라서, 본원에 기술된 실시예들은, 달리 명시적으로 언급되지 않는 한, 하드웨어 회로와 소프트웨어의 임의의 특정 조합으로 제한되지 않는다.
메모리(306) 및/또는 저장 컴포넌트(308)는 데이터 스토리지 또는 적어도 하나의 데이터 구조(예를 들면, 데이터베이스 등)를 포함한다. 디바이스(300)는 데이터 스토리지 또는 메모리(306) 또는 저장 컴포넌트(308) 내의 적어도 하나의 데이터 구조로부터 정보를 수신하는 것, 그에 정보를 저장하는 것, 그에게로 정보를 통신하는 것, 또는 그에 저장된 정보를 검색하는 것을 할 수 있다. 일부 예들에서, 정보는 네트워크 데이터, 입력 데이터, 출력 데이터, 또는 이들의 임의의 조합을 포함한다.
일부 실시예들에서, 디바이스(300)는 메모리(306)에 그리고/또는 다른 디바이스(예를 들면, 디바이스(300)와 동일하거나 유사한 다른 디바이스)의 메모리에 저장된 소프트웨어 명령어들을 실행하도록 구성된다. 본원에서 사용되는 바와 같이, "모듈"이라는 용어는, 프로세서(304)에 의해 그리고/또는 다른 디바이스(예를 들면, 디바이스(300)와 동일하거나 유사한 다른 디바이스)의 프로세서에 의해 실행될 때, 디바이스(300)(예를 들면, 디바이스(300)의 적어도 하나의 컴포넌트)가 본원에 기술된 하나 이상의 프로세스를 수행하게 하는 메모리(306)에 그리고/또는 다른 디바이스의 메모리에 저장된 적어도 하나의 명령어를 지칭한다. 일부 실시예들에서, 모듈은 소프트웨어, 펌웨어, 하드웨어 등으로 구현된다.
도 3에 예시된 컴포넌트들의 수 및 배열은 예로서 제공된다. 일부 실시예들에서, 디바이스(300)는 도 3에 예시된 것보다, 추가적인 컴포넌트들, 더 적은 컴포넌트들, 상이한 컴포넌트들, 또는 상이하게 배열된 컴포넌트들을 포함할 수 있다. 추가적으로 또는 대안적으로, 디바이스(300)의 컴포넌트 세트(예를 들면, 하나 이상의 컴포넌트)는 디바이스(300)의 다른 컴포넌트 또는 다른 컴포넌트 세트에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다.
이제 도 4를 참조하면, 자율 주행 차량 컴퓨터(400)(때때로 "AV 스택"이라고 지칭됨)의 예시적인 블록 다이어그램이 예시되어 있다. 예시된 바와 같이, 자율 주행 차량 컴퓨터(400)는 인지 시스템(402)(때때로 인지 모듈이라고 지칭됨), 계획 시스템(404)(때때로 계획 모듈이라고 지칭됨), 로컬화 시스템(406)(때때로 로컬화 모듈이라고 지칭됨), 제어 시스템(408)(때때로 제어 모듈이라고 지칭됨) 및 데이터베이스(410)를 포함한다. 일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408) 및 데이터베이스(410)는 차량의 자율 주행 운행 시스템(예를 들면, 차량(200)의 자율 주행 차량 컴퓨터(202f))에 포함되고/되거나 구현된다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408), 및 데이터베이스(410)는 하나 이상의 독립형 시스템(예를 들면, 자율 주행 차량 컴퓨터(400) 등과 동일하거나 유사한 하나 이상의 시스템)에 포함된다. 일부 예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408), 및 데이터베이스(410)는 본원에 기술된 바와 같이 차량 및/또는 적어도 하나의 원격 시스템에 위치하는 하나 이상의 독립형 시스템에 포함된다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(400)에 포함된 시스템들 중 일부 및/또는 전부는 소프트웨어(예를 들면, 메모리에 저장된 소프트웨어 명령어들), 컴퓨터 하드웨어(예를 들면, 마이크로프로세서, 마이크로컨트롤러, ASIC(application-specific integrated circuit), FPGA(Field Programmable Gate Array) 등), 또는 컴퓨터 소프트웨어와 컴퓨터 하드웨어의 조합으로 구현된다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(400)가 원격 시스템(예를 들면, 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템, 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템, V2I 시스템(118)과 동일하거나 유사한 V2I 시스템 등)과 통신하도록 구성된다는 것이 또한 이해될 것이다.
일부 실시예들에서, 인지 시스템(402)은 환경에서의 적어도 하나의 물리적 대상체와 연관된 데이터(예를 들면, 적어도 하나의 물리적 대상체를 검출하기 위해 인지 시스템(402)에 의해 사용되는 데이터)를 수신하고 적어도 하나의 물리적 대상체를 분류한다. 일부 예들에서, 인지 시스템(402)은 적어도 하나의 카메라(예를 들면, 카메라들(202a))에 의해 캡처되는 이미지 데이터를 수신하고, 이미지는 적어도 하나의 카메라의 시야 내의 하나 이상의 물리적 대상체와 연관되어 있다(예를 들면, 이를 표현한다). 그러한 예에서, 인지 시스템(402)은 물리적 대상체들(예를 들면, 자전거들, 차량들, 교통 표지판들, 보행자들 등)의 하나 이상의 그룹화에 기초하여 적어도 하나의 물리적 대상체를 분류한다. 일부 실시예들에서, 인지 시스템(402)이 물리적 대상체들을 분류하는 것에 기초하여 인지 시스템(402)은 물리적 대상체들의 분류와 연관된 데이터를 계획 시스템(404)으로 송신한다.
일부 실시예들에서, 계획 시스템(404)은 목적지와 연관된 데이터를 수신하고 차량(예를 들면, 차량들(102))이 목적지를 향해 주행할 수 있는 적어도 하나의 루트(예를 들면, 루트들(106))와 연관된 데이터를 생성한다. 일부 실시예들에서, 계획 시스템(404)은 인지 시스템(402)으로부터의 데이터(예를 들면, 위에서 기술된, 물리적 대상체들의 분류와 연관된 데이터)를 주기적으로 또는 연속적으로 수신하고, 계획 시스템(404)은 인지 시스템(402)에 의해 생성되는 데이터에 기초하여 적어도 하나의 궤적을 업데이트하거나 적어도 하나의 상이한 궤적을 생성한다. 일부 실시예들에서, 계획 시스템(404)은 로컬화 시스템(406)으로부터 차량(예를 들면, 차량들(102))의 업데이트된 위치와 연관된 데이터를 수신하고, 계획 시스템(404)은 로컬화 시스템(406)에 의해 생성되는 데이터에 기초하여 적어도 하나의 궤적을 업데이트하거나 적어도 하나의 상이한 궤적을 생성한다.
일부 실시예들에서, 로컬화 시스템(406)은 한 영역에서의 차량(예를 들면, 차량들(102))의 한 위치와 연관된(예를 들면, 이를 나타내는) 데이터를 수신한다. 일부 예들에서, 로컬화 시스템(406)은 적어도 하나의 LiDAR 센서(예를 들면, LiDAR 센서들(202b))에 의해 생성되는 적어도 하나의 포인트 클라우드와 연관된 LiDAR 데이터를 수신한다. 특정 예들에서, 로컬화 시스템(406)은 다수의 LiDAR 센서들로부터의 적어도 하나의 포인트 클라우드와 연관된 데이터를 수신하고 로컬화 시스템(406)은 포인트 클라우드들 각각에 기초하여 결합된 포인트 클라우드를 생성한다. 이러한 예들에서, 로컬화 시스템(406)은 적어도 하나의 포인트 클라우드 또는 결합된 포인트 클라우드를 데이터베이스(410)에 저장되어 있는 해당 영역의 2차원(2D) 및/또는 3차원(3D) 맵과 비교한다. 로컬화 시스템(406)이 적어도 하나의 포인트 클라우드 또는 결합된 포인트 클라우드를 맵과 비교하는 것에 기초하여 로컬화 시스템(406)은 이어서 해당 영역에서의 차량의 위치를 결정한다. 일부 실시예들에서, 맵은 차량의 운행 이전에 생성되는 해당 영역의 결합된 포인트 클라우드를 포함한다. 일부 실시예들에서, 맵은, 제한 없이, 도로 기하학적 특성들의 고정밀 맵, 도로 네트워크 연결 특성들을 기술하는 맵, 도로 물리적 특성들(예컨대, 교통 속력, 교통량, 차량 교통 차선과 자전거 타는 사람 교통 차선의 수, 차선 폭, 차선 교통 방향, 또는 차선 마커 유형 및 위치, 또는 이들의 조합)을 기술하는 맵, 및 도로 특징물, 예컨대, 횡단보도, 교통 표지판 또는 다양한 유형의 다른 주행 신호들의 공간적 위치들을 기술하는 맵을 포함한다. 일부 실시예들에서, 맵은 인지 시스템에 의해 수신되는 데이터에 기초하여 실시간으로 생성된다.
다른 예에서, 로컬화 시스템(406)은 GPS(global positioning system) 수신기에 의해 생성되는 GNSS(Global Navigation Satellite System) 데이터를 수신한다. 일부 예들에서, 로컬화 시스템(406)은 해당 영역 내에서의 차량의 위치와 연관된 GNSS 데이터를 수신하고 로컬화 시스템(406)은 해당 영역 내에서의 차량의 위도 및 경도를 결정한다. 그러한 예에서, 로컬화 시스템(406)은 차량의 위도 및 경도에 기초하여 해당 영역에서의 차량의 위치를 결정한다. 일부 실시예들에서, 로컬화 시스템(406)은 차량의 위치와 연관된 데이터를 생성한다. 일부 예들에서, 로컬화 시스템(406)이 차량의 위치를 결정하는 것에 기초하여 로컬화 시스템(406)은 차량의 위치와 연관된 데이터를 생성한다. 그러한 예에서, 차량의 위치와 연관된 데이터는 차량의 위치에 대응하는 하나 이상의 시맨틱 특성과 연관된 데이터를 포함한다.
일부 실시예들에서, 제어 시스템(408)은 계획 시스템(404)으로부터 적어도 하나의 궤적과 연관된 데이터를 수신하고 제어 시스템(408)은 차량의 작동을 제어한다. 일부 예들에서, 제어 시스템(408)은 계획 시스템(404)으로부터 적어도 하나의 궤적과 연관된 데이터를 수신하고, 제어 시스템(408)은 파워트레인 제어 시스템(예를 들면, DBW 시스템(202h), 파워트레인 제어 시스템(204) 등), 조향 제어 시스템(예를 들면, 조향 제어 시스템(206)) 및/또는 브레이크 시스템(예를 들면, 브레이크 시스템(208))이 작동하게 하는 제어 신호들을 생성하여 송신하는 것에 의해 차량의 작동을 제어한다. 궤적이 좌회전을 포함하는 예에서, 제어 시스템(408)은 조향 제어 시스템(206)이 차량(200)의 조향각을 조정하게 함으로써 차량(200)이 좌회전하게 하는 제어 신호를 송신한다. 추가적으로 또는 대안적으로, 제어 시스템(408)은 차량(200)의 다른 디바이스들(예를 들면, 헤드라이트, 방향 지시등, 도어록, 윈도실드 와이퍼 등)이 상태들을 변경하게 하는 제어 신호들을 생성하여 송신한다.
일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 적어도 하나의 머신 러닝 모델(예를 들면, 적어도 하나의 다층 퍼셉트론(MLP), 적어도 하나의 콘볼루션 뉴럴 네트워크(CNN), 적어도 하나의 순환 뉴럴 네트워크(RNN), 적어도 하나의 오토인코더, 적어도 하나의 트랜스포머(transformer) 등)을 구현한다. 일부 예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 단독으로 또는 위에서 언급된 시스템들 중 하나 이상과 조합하여 적어도 하나의 머신 러닝 모델을 구현한다. 일부 예에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 파이프라인(예를 들면, 환경에 위치한 하나 이상의 대상체를 식별하기 위한 파이프라인 등)의 일부로서 적어도 하나의 머신 러닝 모델을 구현한다. 머신 러닝 모델의 구현의 예는 도 6a 내지 도 6c와 관련하여 아래에 포함된다.
데이터베이스(410)는 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406) 및/또는 제어 시스템(408)으로 송신되며, 이들로부터 수신되고/되거나 이들에 의해 업데이트되는 데이터를 저장한다. 일부 예들에서, 데이터베이스(410)는 작동에 관련된 데이터 및/또는 소프트웨어를 저장하고 자율 주행 차량 컴퓨터(400)의 적어도 하나의 시스템을 사용하는 저장 컴포넌트(예를 들면, 도 3의 저장 컴포넌트(308)와 동일하거나 유사한 저장 컴포넌트)를 포함한다. 일부 실시예들에서, 데이터베이스(410)는 적어도 하나의 영역의 2D 및/또는 3D 맵과 연관된 데이터를 저장한다. 일부 예들에서, 데이터베이스(410)는 도시의 일 부분, 다수의 도시들의 다수의 부분들, 다수의 도시들, 카운티, 주, 국가(State)(예를 들면, 나라(country)) 등의 2D 및/또는 3D 맵과 연관된 데이터를 저장한다. 그러한 예에서, 차량(예를 들면, 차량들(102) 및/또는 차량(200)과 동일하거나 유사한 차량)은 하나 이상의 운전 가능한 영역(예를 들면, 단일 차선 도로, 다중 차선 도로, 간선도로, 시골 길(back road), 오프로드 트레일 등)을 따라 운전할 수 있고, 적어도 하나의 LiDAR 센서(예를 들면, LiDAR 센서들(202b)과 동일하거나 유사한 LiDAR 센서)가 적어도 하나의 LiDAR 센서의 시야에 포함된 대상체들을 나타내는 이미지와 연관된 데이터를 생성하게 할 수 있다.
일부 실시예들에서, 데이터베이스(410)는 복수의 디바이스들에 걸쳐 구현된다. 일부 예들에서, 데이터베이스(410)는 차량(예를 들면, 차량들(102) 및/또는 차량(200)과 동일하거나 유사한 차량), 자율 주행 차량 시스템(예를 들면, 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템), 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템), V2I 시스템(예를 들면, 도 1의 V2I 시스템(118)과 동일하거나 유사한 V2I 시스템) 등에 포함될 수 있다.
이제 도 5를 참조하면, 차량(200)(예를 들면, 자율 주행 차량)의 작동을 제어하기 위한 예시적인 승객 편의 회로(500)가 예시되어 있다. 일부 실시예들에서, 승객 편의 회로(500)는 (예를 들면, 도 5에 도시된 바와 같은) 차량(200)의 계획 시스템(404)에 포함될 수 있거나 그렇지 않고 그 일부로서 구현될 수 있다. 일부 실시예들에서, 승객 편의 회로(500)는 계획 시스템(404)과 별개인 차량(200)의 컴포넌트로서 구현(예를 들면, 자율 주행 차량 컴퓨터(400) 내의 추가적인 시스템으로서 구현)될 수 있다. 일부 실시예들에서, 승객 편의 회로(500)는 차량(200)과 별개인 컴포넌트로서 구현(예를 들면, 클라우드 컴퓨팅 환경, 원격 AV 시스템(114) 등과 같은, 하나 이상의 원격 컴퓨터로서 구현)될 수 있다.
일반적으로, 승객 편의 회로(500)는 차량(200)의 하나 이상의 승객에 관한 정보를 수신하고, 승객의 하나 이상의 특성을 결정하며, 결정된 특성들에 기초하여 차량(200)의 작동을 제어하는 신호들을 생성하도록 구성된다. 일부 실시예들에서, 승객 편의 회로(500)는 승객들의 편의를 향상시키기 위해 차량(200)에 대한 루트를 선택하거나 차량(200)에 대한 이전에 선택된 루트를 수정할 수 있다. 일부 실시예들에서, 승객 편의 회로(500)는 승객들의 편의를 향상시키기 위해 차량(200)에 대한 제어 파라미터들을 선택하거나 차량(200)에 대한 이전에 선택된 제어 파라미터들을 수정할 수 있다.
일 예로서, 승객 편의 회로(500)는 하나 이상의 센서(510)에 의해 획득되는 센서 측정치들을 수신할 수 있다. 일부 실시예들에서, 센서들(510)은 도 2를 참조하여 기술된 센서들(202a 내지 202d) 중 하나 이상을 포함할 수 있다. 예를 들어, 센서들(510)은 하나 이상의 카메라, LiDAR 센서, 레이더 센서, 및 마이크로폰을 포함할 수 있다.
일부 실시예들에서, 센서들(510) 중 적어도 일부는, 차량(200)의 내부 내에 위치된 임의의 승객들 및/또는 대상체들에 관한 측정치들을 포함하여, 차량(200)의 내부에 관한 측정치들을 획득하도록 구성될 수 있다. 일 예로서, 센서들(510)은, 차량(200)의 내부로 지향되고 차량(200)의 내부 내의 승객들 및/또는 대상체들을 나타내는 이미지들 및/또는 비디오들을 캡처하도록 구성된, 적어도 하나의 카메라를 포함할 수 있다. 다른 예로서, 센서들(510)은, 차량(200)의 내부로 지향되고 차량(200)의 내부 내의 승객들 및/또는 대상체들을 나타내는 이미지들 및/또는 포인트 클라우드들을 캡처하도록 구성된, 적어도 하나의 LIDAR 센서를 포함할 수 있다. 다른 예로서, 센서들(510)은, 차량(200)의 내부로 지향되고 차량(200)의 내부 내의 승객들 및/또는 대상체들을 나타내는 레이더 이미지들을 캡처하도록 구성된, 적어도 하나의 레이더 센서를 포함할 수 있다. 다른 예로서, 센서들(510)은 (예를 들면, 차량(200)의 내부 내의 승객들 및/또는 대상체들에 의해 생성되는 소리들 및 차량(200) 내로 전파되는 외부 소리들과 같은) 차량(200)의 내부 내에서 들리는 소리들을 나타내는 오디오 신호들을 캡처하도록 구성된 적어도 하나의 마이크로폰을 포함할 수 있다.
일부 실시예들에서, 센서들(510)은 차량(200)의 내부 내의 승객들의 바이탈 사인들을 측정하도록 구성된 하나 이상의 센서를 또한 포함할 수 있다. 일 예로서, 센서들(510)은 (예를 들면, 승객의 호흡수(respiration rate) 또는 호흡률(breathing rate)을 측정하기 위한) 하나 이상의 호흡 센서, (예를 들면, 승객의 심박수(heart rate)를 측정하기 위한) 하나 이상의 심박수 센서, 및/또는 (예를 들면, 승객의 체온을 측정하기 위한) 하나 이상의 체온 또는 열 센서를 포함할 수 있다.
일부 실시예들에서, 센서들(510)은 승객의 눈 위치 및 움직임을 추적하도록 구성된 하나 이상의 센서를 또한 포함할 수 있다. 일 예로서, 센서들(510)은 승객의 시선 및 시간 경과에 따른 승객의 시선의 변화들을 결정하도록 구성된 하나 이상의 눈 추적 센서를 포함할 수 있다.
일부 실시예들에서, 센서들(510)은 차량(200)의 내부에서의 진동들을 측정하도록 구성된 하나 이상의 센서를 또한 포함할 수 있다. 일 예로서, 센서들(510)은, 차량(200)의 파워트레인의 작동, 지면을 따라가는 차량(200)의 움직임 등에 의해 야기되는 것과 같은, 진동들을 측정하도록 구성된 가속도계들을 포함할 수 있다.
일부 실시예들에서, 승객 편의 회로(500)는 또한 (예를 들면, 도 3을 참조하여 기술된 바와 같이) 통신 인터페이스(314)를 통해 추가적인 데이터를 수신할 수 있다.
일 예로서, 승객 편의 회로(500)는 통신 인터페이스(314)를 통해 차량(200)의 승객이 휴대하는 사용자 디바이스(508)로부터 데이터를 수신할 수 있다. 예시적인 사용자 디바이스들은 스마트폰들, 컴퓨터들(예를 들면, 랩톱 컴퓨터들), 태블릿들 및 웨어러블 디바이스들(예를 들면, 스마트 워치, 헤드셋 등)을 포함한다. 일부 실시예들에서, 데이터는 하나 이상의 이더넷 링크, 광학 링크, 동축 링크, 적외선 링크, RF 링크, USB 링크, Wi-Fi® 링크 및/또는 셀룰러 네트워크 링크를 통해 사용자 디바이스(508)로부터 수신될 수 있다.
일부 실시예들에서, 사용자 디바이스(508)는, 이벤트들 각각이 스케줄링되는 시간 및 이벤트의 장소를 포함하여, 차량(200)의 승객과 연관된 하나 이상의 이벤트(예를 들면, 사용자 디바이스(508)의 캘린더 애플리케이션에 저장된 하나 이상의 이벤트 항목)에 관한 데이터를 제공할 수 있다.
일부 실시예들에서, 사용자 디바이스(508)는 승객과 다른 엔티티 간의 통신(예를 들면, 하나 이상의 이메일, 문자 메시지, 채팅 메시지, 전화 통화, 영상 통화 등)에 관한 데이터를 제공할 수 있다.
일부 실시예들에서, 사용자 디바이스(508)는 승객에 관한 센서 데이터(예를 들면, 센서들(510)에 의해 생성되는 센서 정보와 유사한 센서 정보)를 제공할 수 있다. 일 예로서, 사용자 디바이스(508)는 (예를 들면, 사용자 디바이스(508)에 포함된 가속도 센서를 사용하여) 가속도 측정치들을 획득할 수 있고, 측정치들을 승객 편의 회로(500)에 제공할 수 있다. 일 예로서, 사용자 디바이스(508)는 (예를 들면, 사용자 디바이스(508)에 포함된 가속도 센서를 사용하여) 가속도 측정치들을 획득할 수 있고, 측정치들을 승객 편의 회로(500)에 제공할 수 있다. 다른 예로서, 사용자 디바이스(508)는 (예를 들면, 사용자 디바이스(508)에 포함된 카메라를 사용하여) 승객의 하나 이상의 이미지 및/또는 비디오를 획득할 수 있고, 이미지들 및/또는 비디오들을 승객 편의 회로(500)에 제공할 수 있다. 다른 예로서, 사용자 디바이스(508)는 (예를 들면, 사용자 디바이스(508)에 포함된 LiDAR 센서를 사용하여) 승객의 하나 이상의 LiDAR 이미지를 획득할 수 있고, LiDAR 이미지들 및/또는 비디오들을 승객 편의 회로(500)에 제공할 수 있다. 다른 예로서, 사용자 디바이스(508)는 (예를 들면, 사용자 디바이스(508)에 포함된 마이크로폰을 사용하여) 하나 이상의 오디오 신호를 획득할 수 있고, 오디오 신호들을 승객 편의 회로(500)(500)에 제공할 수 있다.
일부 실시예들에서, 사용자 디바이스(508)에 의해 승객 편의 회로(500)에 제공되는 데이터의 적어도 일부는, 네이티브 애플리케이션(native application) 또는 브라우저 애플리케이션과 같은, 사용자 디바이스(508) 상에 설치된 사용자 설치 가능 애플리케이션(예를 들면, "앱")을 사용하여 수집되고 송신될 수 있다. 일부 구현예들에서, 애플리케이션은 (예를 들면, 특정 위치에서 차량(200)에 탑승하고 특정 목적지까지 주행하기 위한 요청을 제출하는 것에 의해) 차량(200)을 사용하는 여정들을 계획하기 위해 승객에 의해 사용될 수 있다. 게다가, 애플리케이션은 여정 동안 데이터(예를 들면, 위에서 기술된 데이터 중 하나 또는 모두)를 수집하고, 수집된 데이터를 승객 편의 회로(500)에 제공하는 데 사용될 수 있다.
다른 예로서, 승객 편의 회로(500)는 하나 이상의 외부 데이터 소스로부터 데이터를 수신할 수 있다. 예를 들어, 승객 편의 회로(500)는 하나 이상의 지리적 위치에 관한 기상 데이터를 수신할 수 있다. 다른 예로서, 승객 편의 회로(500)는 하나 이상의 루트에 관한 교통 데이터를 수신할 수 있다. 다른 예로서, 승객 편의 회로(500)는 하나 이상의 도로에 관한 도로 조건 데이터(예를 들면, 도로의 표면의 거칠기 또는 평탄성, 도로의 표면에서의 포트 홀들 또는 결함들의 보편성 등과 같은, 도로의 표면의 품질에 관한 정보)을 수신할 수 있다. 다른 예로서, 승객 편의 회로(500)는, 네트워크 "커버리지 맵"과 같은, 하나 이상의 무선 네트워크에 관한 네트워크 데이터(예를 들면, 하나 이상의 지리적 위치에서의 무선 네트워크의 커버리지, 네트워크 품질 등에 관한 정보)를 수신할 수 있다. 다른 예로서, 승객 편의 회로(500)는, 특정 관심 지점들(예를 들면, 랜드마크들, 공원들, 명승지들 등)의 위치들 및/또는 이러한 관심 지점들에 관한 사용자 리뷰들(예를 들면, 관심 지점들이 다른 사람들에 의해 호의적으로 또는 비호의적으로 평가되는지를 나타내는 리뷰들)에 관한 데이터와 같은, 관심 지점 데이터를 수신할 수 있다.
다른 예로서, 승객 편의 회로(500)는 통신 인터페이스(314)를 사용하여 현재 및/또는 이전에 확립된 하나 이상의 네트워크 링크의 품질에 관한 데이터를 수신할 수 있다. 예를 들어, 승객 편의 회로(500)는 무선 네트워크로부터 수신되는 무선 신호들(예를 들면, RF 신호들, 셀룰러 신호들 등)의 신호 강도, 무선 네트워크를 사용한 데이터 송신들의 대역폭 또는 처리량(throughput), 무선 네트워크를 사용한 데이터 송신의 레이턴시(latency) 등에 관한 정보를 수신할 수 있다.
승객 편의 회로(500)는 센서들(510), 통신 인터페이스(314), 및/또는 사용자 디바이스(508)로부터 수신되는 데이터의 적어도 일부를 데이터 합성 회로(502)에 제공한다. 데이터 합성 회로(502)는 수신된 데이터를 프로세싱하고, 차량(200) 및/또는 차량(200)의 승객(들)의 하나 이상의 특성을 결정한다.
일 예로서, 데이터 합성 회로(502)는 차량(200)의 승객(들)에 의해 수행되고 있는 하나 이상의 행동을 결정할 수 있다. 예시적인 행동들은 착석하는 것, 잠을 자는 것, 누워 있는 것, 메이크업 또는 다른 화장품을 바르는 것, 이어폰을 빼는 것 및/또는 끼는 것, 디바이스(예를 들면, 사용자 디바이스(508))를 꺼내는 것, 및 디바이스를 조작하는 것(예를 들면, 디바이스에서 콘텐츠를 보는 것, 디바이스에 커맨드들을 입력하는 것 등)을 포함한다. 추가의 예시적인 행동들은 (예를 들면, 사용자 디바이스(508)을 사용하여) 전화로 이야기하는 것, 화상 회의에 참여하는 것, 프레젠테이션을 제공하는 것 등을 포함한다.
다른 예로서, 데이터 합성 회로(502)는 차량(200)의 승객(들)의 하나 이상의 포즈를 결정할 수 있다. 예를 들어, 데이터 합성 회로(502)는, 승객의 머리, 팔, 손, 손가락, 다리, 발, 몸통 등과 같은, 승객의 하나 이상의 신체 부위의 위치 및/또는 배향을 결정할 수 있다.
다른 예로서, 데이터 합성 회로(502)는 차량(200)의 승객(들)에 의해 수행되는 하나 이상의 신체 제스처(예를 들면, 하나 이상의 신체 부위의 움직임)를 결정할 수 있다. 예를 들어, 데이터 합성 회로(502)는 사용자의 머리, 팔, 손, 손가락, 다리, 발 등의 움직임들을 결정할 수 있다.
다른 예로서, 데이터 합성 회로(502)는 차량(200)의 승객(들)의 하나 이상의 바이탈 사인을 결정할 수 있다. 예시적인 바이탈 사인들은 승객의 체온, 승객의 호흡률 또는 호흡수, 및 승객의 심박수를 포함한다. 일부 구현예들에서, 데이터 합성 회로(502)는 시간 경과에 따른 승객의 가슴의 움직임들을 나타내는 측정 데이터에 기초하여(예를 들면, 시간 경과에 따른 승객을 나타내는 이미지들, 비디오들, 포인트 클라우드들 등에 기초하여) 승객의 호흡률 또는 호흡수를 결정할 수 있다.
다른 예로서, 데이터 합성 회로(502)는 승객의 얼굴 표정들을 결정할 수 있다. 예시적인 얼굴 표정은 미소짓는 것, 찡그리는 것, 노려보는 것 등을 포함한다.
다른 예로서, 데이터 합성 회로(502)는 승객의 시선(예를 들면, 사용자가 차량(200)의 창 밖을 보고 있는지, 차량(200) 내의 다른 승객을 보고 있는지, 사용자 디바이스(508)를 보고 있는지 등)을 결정할 수 있다.
다른 예로서, 데이터 합성 회로(502)는 승객의 복장을 결정할 수 있다. 예를 들어, 데이터 합성 회로(502)는 승객이 셔츠, 바지, 모자, 드레스, 스커트, 반바지, 양말, 안경류(예를 들면, 교정용 안경, 선글라스 등), 및/또는 임의의 다른 의복을 착용하고 있는지 여부를 결정할 수 있다. 게다가, 데이터 합성 회로(502)는 승객의 복장의 스타일 또는 유형(예를 들면, 의복이 격식을 차린 복장, 비즈니스 복장, 캐주얼 복장, 운동 복장, 수영복, 유니폼 등인지)을 결정할 수 있다.
다른 예로서, 데이터 합성 회로(502)는 차량(200)의 승객(들)의 감정 상태를 결정할 수 있다. 예를 들어, 데이터 합성 회로(502)는 승객의 얼굴 표정, 바이탈 사인들, 및/또는 말투(speech pattern)를 결정할 수 있고, 이 정보에 기초하여, 사용자가 행복한지, 슬픈지, 불안해 하는지, 화가 났는지, 겁먹었는지, 놀랐는지, 또는 어떤 다른 감정을 경험하는지를 결정한다.
일부 실시예들에서, 데이터 합성 회로(502)는 하나 이상의 머신 러닝 모델들에 기초하여 본원에 기술된 결정들 중 적어도 일부를 행할 수 있다. 예를 들어, 머신 러닝 모델은 입력 데이터(예를 들면, 센서들(510), 통신 인터페이스(314) 및/또는 사용자 디바이스(508)로부터 수신되는 데이터)를 수신하고, 입력 데이터에 기초하여, 차량(200)의 승객(들) 및/또는 차량(200)의 특성들에 관한 하나 이상의 예측을 생성하도록 트레이닝될 수 있다.
일 예로서, 머신 러닝 모델은 한 명 이상의 승객에 관한 트레이닝 데이터를 사용하여 트레이닝될 수 있다. 각각의 승객에 대해, 트레이닝 데이터는 도 5를 참조하여 기술된 것과 유사한 입력 정보를 포함할 수 있다. 예를 들어, 트레이닝 데이터는 승객이 타고 여행하고 있던 차량의 내부의 하나 이상의 센서에 의해 획득되는 데이터(예를 들면, 해당 승객의 센서 측정치들)를 포함할 수 있다. 다른 예로서, 트레이닝 데이터는, 사용자의 디바이스들로부터 획득되는 데이터, 외부 데이터 소스들로부터 획득되는 데이터, 하나 이상의 네트워크 링크의 품질에 관한 데이터 등과 같은, 통신 인터페이스를 통해 획득되는 데이터를 포함할 수 있다.
게다가, 각각의 승객에 대해, 트레이닝 데이터는 승객의 의도된 목적지까지 주행하도록 차량에 지시하기 위해 생성되었던 루트 및/또는 제어 파라미터 세트를 포함할 수 있다. 게다가, 트레이닝 데이터는 승객의 편의에 관한 정보를 포함할 수 있다. 예를 들어, 높은 편의 메트릭은 승객이 차량을 타고 여행하는 동안 편안했다(따라서 루트 및/또는 제어 파라미터 세트가 해당 상황들 하에서 차량을 제어하는 데 적합했을 수 있다)는 것을 나타낼 수 있는 반면, 낮은 편의 메트릭은 승객이 차량을 타고 여행하는 동안 편안하지 않았다(따라서 루트 및/또는 제어 파라미터 세트가 해당 상황들 하에서 차량을 제어하는 데 적합하지 않았을 수 있다)는 것을 나타낼 수 있다.
트레이닝 데이터에 기초하여, 머신 러닝 모델은 (i) 입력 데이터, (ii) 입력 데이터에 기초하여 생성될 수 있는 루트들 및/또는 제어 파라미터 세트들, 및 (iii) 차량이 해당 루트들 및/또는 제어 파라미터 세트들에 따라 작동할 때의 승객의 편의 사이의 상관관계들, 관계들 및/또는 동향들을 식별하도록 트레이닝될 수 있다. 게다가, 머신 러닝 모델은, 특정 형편 또는 상황이 주어진 경우, 승객의 편의를 최대화하는(또는 다른 방식으로 증가시키는) 루트 및/또는 제어 파라미터 세트를 선택하도록 트레이닝될 수 있다.
예시적인 머신 러닝 모델들은 도 6a 내지 도 6c를 참조하여 더욱 상세히 기술된다.
데이터 합성 회로(502)는 결정된 정보(예를 들면, "합성된 데이터")의 적어도 일부를 루트 생성 회로(504) 및/또는 제어 파라미터들 생성 회로(506)에 제공한다. 합성된 데이터에 기초하여, 루트 생성 회로(504)는 (예를 들면, 도 1 및 도 4를 참조하여 기술된 바와 같이) 차량(200)을 그의 목적지까지 운행시키기 위한 하나 이상의 루트를 생성한다. 게다가, 제어 파라미터들 생성 회로(506)는 결정된 정보에 기초하여 차량(200)의 동작을 조절하는 하나 이상의 제어 파라미터를 생성한다. 제어 파라미터들은, 예를 들어, 속력, 가속도, 제동률(braking rate), 방향 전환율(turning rate), 및/또는 차량(200)을 작동시키기 위한 다른 파라미터들에 관한 제약조건들을 포함할 수 있다. 루트들 및/또는 제어 파라미터들은 실행을 위해 (예를 들면, 도 4를 참조하여 기술된 바와 같은) 제어 시스템(408)에 제공된다.
예를 들어, 데이터 합성 회로(502)로부터 수신되는 합성된 데이터에 기초하여, 루트 생성 회로(504) 및 제어 파라미터들 생성 회로(506)는, 제각기, 승객의 편의를 향상시키는 루트 및 제어 파라미터 세트를 생성할 수 있다. 일 예로서, 차량(200)이 그의 목적지까지 운행할 때 승객의 편의를 향상시키기 위해 루트 및 제어 파라미터 세트가 생성될 수 있다. 다른 예로서, 차량(200)이 그의 목적지까지 운행할 때 승객이 특정 행동들(예를 들면, 잠을 자는 것, 전화로 이야기하는 것, 화상 회의에 참여하는 것 등)을 수행하는 것을 용이하게 하기 위해 루트 및 제어 파라미터 세트가 생성될 수 있다. 다른 예로서, 목적지까지의 승객의 여행을 선택적으로 신속하게 처리하기 위해 루트 및 제어 파라미터 세트가 생성될 수 있다.
일부 실시예들에서, 루트 생성 회로(504) 및/또는 제어 파라미터들 생성 회로(506)에 의해 생성되는 루트들 및/또는 제어 파라미터들은 (예를 들면, 차량(200)에 대한 이전 루트 및/또는 제어 파라미터 세트를 대체하는 것, 보완하는 것 및/또는 수정하는 것에 의해) 차량(200)의 이전 작동을 수정할 수 있다. 일 예로서, 데이터 합성 회로(502)로부터 수신되는 정보에 기초하여, 루트 생성 회로(504) 및 제어 파라미터들 생성 회로(506)는 차량(200)이 그의 목적지까지 운행할 때 승객의 편의를 개선시키는 수정된 루트 및/또는 수정된 제어 파라미터 세트를 생성할 수 있다. 다른 예로서, 차량(200)이 그의 목적지까지 운행할 때 승객이 특정 행동들을 수행할 수 있는 것을 개선시키기 위해 수정된 루트 및/또는 수정된 제어 파라미터 세트가 생성될 수 있다. 다른 예로서, 목적지까지의 승객의 주행 시간을 감소시키기 위해 수정된 루트 및/또는 수정된 제어 파라미터 세트가 생성될 수 있다.
일부 실시예들에서, 데이터 합성 회로(502)는, 센서들(510), 통신 인터페이스(314), 및/또는 사용자 디바이스(508)로부터 수신되는 데이터에 기초하여, 차량(200)의 승객(들)이 승차감 또는 승객 편의보다 목적지에 빠르게 도달하는 것을 우선시하는 것을 선호할 것이라고 결정할 수 있다. 이 결정에 기초하여, 루트 생성 회로(504)는 (예를 들면, 보다 거친 표면, 보다 많은 수의 방향 전환들 및/또는 보다 많은 급회전들을 갖는 도로가 선택될 수 있다는 잠재적인 트레이드오프로, 주행 시간을 최소화하거나 다른 방식으로 감소시키는 루트를 선택하는 것에 의해) 보다 짧은 주행 시간을 우선시하는 목적지까지의 루트를 선택할 수 있다. 게다가, 제어 파라미터들 생성 회로(506)는 보다 짧은 주행 시간을 우선시하는 제어 파라미터 세트를 선택할 수 있다. 예를 들어, 제어 파라미터 세트는 차량(200)이 그의 가속도, 제동률, 및/또는 방향 전환율 등을 보다 빠르게 변경하는 것을 가능하게 할 수 있다. 다른 예로서, 제어 파라미터 세트는 차량(200)이 보다 높은 속력들로(예를 들면, 특정 최대 속력까지) 주행하는 것을 가능하게 할 수 있다.
일부 실시예들에서, 데이터 합성 회로(502)는, 센서들(510), 통신 인터페이스(314), 및/또는 사용자 디바이스(508)로부터 수신되는 데이터에 기초하여, 차량(200)의 승객(들)이 목적지에 빠르게 도달하는 것보다 승차감 또는 승객 편의를 우선시하는 것을 선호할 것이라고 결정할 수 있다. 이 결정에 기초하여, 루트 생성 회로(504)는 (예를 들면, 주행 시간이 증가될 수 있다는 잠재적인 트레이드오프로, 보다 매끄러운 도로 표면들, 보다 적은 수의 방향 전환들, 보다 적은 급회전들 등을 갖는 도로들을 포함하는 루트를 선택하는 것에 의해) 보다 높은 승차감 또는 승객 편의를 우선시하는 목적지까지의 루트를 선택할 수 있다. 게다가, 제어 파라미터들 생성 회로(506)는 보다 높은 승차감을 우선시하는 제어 파라미터 세트를 선택할 수 있다. 예를 들어, 제어 파라미터 세트는 차량(200)의 가속도, 제동률, 방향 전환율 등을 특정 범위로 제한하도록 차량(200)을 제한할 수 있다. 다른 예로서, 제어 파라미터 세트는 차량(200)의 속력을 보다 낮은 속력 범위로 제한할 수 있다.
승차감 및 승객 편의는 다양한 기준들에 의존할 수 있다. 예를 들어, 승차감 및 승객 편의는 차량(200)에서의 진동 레벨 또는 강도에 의존할 수 있다. 예를 들어, 보다 높은 강도의 진동들은 보다 낮은 승차감 또는 승객 편의에 대응할 수 있는 반면, 보다 낮은 강도의 진동들은 보다 높은 승차감 또는 승객 편의에 대응할 수 있다.
다른 예로서, 승차감 및 승객 편의는 (예를 들면, 가속들, 감속들, 방향 전환들 등으로 인한) 차량(200) 내의 승객들의 상대적인 움직임(relative movement)에 의존할 수 있다. 예를 들어, 보다 큰 정도의 움직임은 보다 낮은 승차감 또는 승객 편의에 대응할 수 있는 반면, 보다 작은 정도의 움직임은 보다 높은 승차감 또는 승객 편의에 대응할 수 있다.
다른 예로서, 승차감 및 승객 편의는 차량(200)이 (예를 들면, 교통, 교차로들, 교통 신호들 등으로 인해) 정지하거나 속력을 낮추는 빈도에 의존할 수 있다. 예를 들어, 보다 높은 빈도의 정지들 또는 감속들은 보다 낮은 승차감 또는 승객 편의에 대응할 수 있는 반면, 보다 낮은 빈도의 정지들 또는 감속들은 보다 높은 승차감 또는 승객 편의에 대응할 수 있다.
다른 예로서, 승차감 및 승객 편의는 루트를 따라 네트워크 연결(예를 들면, 셀룰러 연결)의 이용 가능성 및 품질에 의존할 수 있다. 예를 들어, 열악한 네트워크 커버리지 및/또는 열악한 품질의 네트워크 연결은 보다 낮은 승차감 또는 승객 편의에 대응할 수 있는 반면, 양호한 네트워크 커버리지 및/또는 고품질의 네트워크 연결은 보다 높은 승차감 또는 승객 편의에 대응할 수 있다.
다른 예로서, 승차감 및 승객 편의는 루트를 따라 차량(200) 내의 밝기에 의존할 수 있다. 예를 들어, (예를 들면, 터널들로 인한) 차량(200) 내의 낮은 밝기는 보다 낮은 승차감 또는 승객 편의에 대응할 수 있는 반면, 보다 높은 밝기는 보다 높은 승차감 또는 승객 편의에 대응할 수 있다.
다른 예로서, 승차감 및 승객 편의는 루트를 따라 차량(200) 내에서의 프라이버시 정도에 의존할 수 있다. 예를 들어, (예를 들면, 군중들, 보행자들, 다른 차량들, 도로변 카메라들 등의 존재 또는 높은 빈도로 인한) 낮은 정도의 프라이버시는 보다 낮은 승차감 또는 승객 편의에 대응할 수 있는 반면, (예를 들면, 군중들, 보행자들, 다른 차량들, 도로변 카메라들 등의 부재 또는 보다 낮은 빈도로 인한) 보다 높은 정도의 프라이버시는 보다 높은 승차감 또는 승객 편의에 대응할 수 있다.
다른 예로서, 승차감 및 승객 편의는 루트를 따라 차량(200)으로부터의 전망들에 의존할 수 있다.1 예를 들어, 보다 쾌적한 전망들(예를 들면, 랜드마크들, 풍경들, 명승지들 및 다른 관심 지점들의 전망들과 같은, 경치가 좋거나 관광하기 좋은 전망들)은 보다 높은 승차감 또는 승객 편의에 대응할 수 있는 반면, 덜 쾌적한 전망들(예를 들면, 경치가 좋거나 관광하기 좋은 전망들이 없는 전망들)은 보다 낮은 승차감 또는 승객 편의에 대응할 수 있다.
다른 예로서, 승차감 및 승객 편의는 루트를 따라 차량(200)으로부터 볼 수 있는 관심 지점들의 사용자 리뷰들에 의존할 수 있다. 예를 들어, 다른 사용자들에 의해 호의적으로 평가되는 관심 지점들의 전망들은 보다 높은 승차감 또는 승객 편의에 대응할 수 있는 반면, 다른 사용자들에 의해 비호의적으로 평가되는 전망들은 보다 낮은 승차감 또는 승객 편의에 대응할 수 있다.
다른 예로서, 승차감 및 승객 편의는 루트를 따라 차량(200) 내로 전파되는 소음량(예를 들면, 차량(200) 자체에 의해 생성되는 소음들, 또는 차량(200) 외부에서 생성되어 차량(200) 내로 전파되는 소음들)에 의존할 수 있다. 예를 들어, 시끄러운 소음들은 보다 낮은 승차감 또는 승객 편의에 대응할 수 있는 반면, 보다 부드러운 소음들(또는 소음의 부재)은 보다 높은 승차감 또는 승객 편의에 대응할 수 있다.
일반적으로, 승객 편의 회로(500)는 (i) 주행 시간과 (ii) 승차감 또는 승객 편의 사이의 균형을 이루는 루트들 및/또는 제어 파라미터 세트들을 선택할 수 있다.
일 예로서, 데이터 합성 회로(502)는, 센서들(510), 통신 인터페이스(314), 및/또는 사용자 디바이스(508)로부터 수신되는 데이터에 기초하여, 차량(200)의 승객(들)이 네트워크 연결(예를 들면, 무선 네트워크에 대한 네트워크 연결)을 활용하는 행동을 수행하고 있다고 결정할 수 있다. 예를 들어, 데이터 합성 회로(502)는 사용자가 전화로 이야기하고 있거나, 화상 회의에 참여하고 있거나, 또는 무선 네트워크를 통해 데이터를 전송 및/또는 수신하는 디바이스를 조작하고 있다고 결정할 수 있다. 일부 실시예들에서, 이 결정은 사용자가 전자 디바이스(예를 들면, 사용자 디바이스(508))를 꺼냈다는 것을 나타내는 센서 데이터, 사용자가 디바이스와 상호작용하고 있는 것(예를 들면, 디스플레이 상에 디스플레이되는 상수를 보는 것, 키보드에서 타이핑하는 것, 터치 감지 디스플레이에서 탭핑하는 것 등)을 나타내는 센서 데이터, 사용자가 디바이스를 들어 귀에 대었음을 나타내는 센서 데이터, 사용자가 이어폰을 뺏고/뺏거나 끼었음을 나타내는 센서 데이터, 및 /또는 (예를 들면, 차량에 다른 승객이 없을 때) 사용자가 이야기하기 시작했음을 나타내는 센서 데이터에 기초하여 이루어질 수 있다. 이 결정에 기초하여, 루트 생성 회로(504) 및 제어 파라미터들 생성 회로(506)는 루트를 따라 네트워크 커버리지 및 네트워크 품질을 우선시하는 목적지까지의 루트를 선택할 수 있다. 게다가, 루트 생성 회로(504) 및 제어 파라미터들 생성 회로(506)는, 사용자가 방해받지 않도록, 진동들, 소음, 및/또는 속력, 가속도, 제동, 방향 전환 등의 급격한 변화들을 최소화하는(또는 다른 방식으로 감소시키는) 루트 및/또는 제어 파라미터 세트를 선택한다. 예를 들어, 사용자는 전화로 이야기하거나, 화상 회의에 참여하거나, 또는 보다 적은 방해를 받으면서 디바이스를 조작할 수 있다.
다른 예로서, 데이터 합성 회로(502)는, 센서들(510), 통신 인터페이스(314), 및/또는 사용자 디바이스(508)로부터 수신되는 데이터에 기초하여, 차량(200)의 승객(들)이 잠을 자고 있거나 편히 쉬고 있다고 결정할 수 있다. 예를 들어, 데이터 합성 회로(502)는 사용자가 누워 있고, (예를 들면, 특정 미리 설정된 또는 미리 결정된 임계 값 아래로) 천천히 호흡하며, 움직이지 않고(또는 자주 움직이지 않고), (예를 들면, 특정 미리 설정된 또는 미리 결정된 임계 값 아래의) 느린 심박수를 가지거나/가지며, 눈을 감았다고 결정할 수 있다. 이 결정에 기초하여, 루트 생성 회로(504) 및 제어 파라미터들 생성 회로(506)는 진동들, 소음, 및/또는 속력, 가속도, 제동, 방향 전환 등의 급격한 변화들을 최소화하는(또는 다른 방식으로 감소시키는) 루트 및/또는 제어 파라미터 세트를 선택한다.
다른 예로서, 데이터 합성 회로(502)는, 센서들(510), 통신 인터페이스(314), 및/또는 사용자 디바이스(508)로부터 수신되는 데이터에 기초하여, 차량(200)의 승객(들)이 메이크업 또는 다른 화장품을 바르고 있다고 결정할 수 있다. 이 결정에 기초하여, 루트 생성 회로(504) 및 제어 파라미터들 생성 회로(506)는 진동들 및/또는 속력, 가속도, 제동, 방향 전환 등의 급격한 변화들을 최소화하는(또는 다른 방식으로 감소시키는) 루트 및/또는 제어 파라미터 세트를 선택할 수 있다. 일부 실시예들에서, 승객 편의 회로(500)는 승객이 메이크업을 바르는 것을 마칠 때까지 (예를 들면, 안전한 정지 장소에 차를 세우는 것에 의해) 루트 상에서 주행하는 것을 중지하도록 차량(200)에 지시할 수 있다.
다른 예로서, 데이터 합성 회로(502)는, 센서들(510), 통신 인터페이스(314), 및/또는 사용자 디바이스(508)로부터 수신되는 데이터에 기초하여, 차량(200)의 승객(들)이 특정 시간에 이벤트에 참석하기로 스케줄링되어 있다고 결정할 수 있다. 예를 들어, 데이터 합성 회로(502)는 승객이 특정 날짜 및 시간에 목적지에서의 이벤트에 참석하기로 스케줄링되어 있고 해당 날짜 및 시간이 차량(200)의 목적지 예상 도착 시간에 시간적으로 가깝다는 것을 나타내는 캘린더 데이터를 검색할 수 있다. 다른 예로서, 데이터 합성 회로(502)는 승객이 비즈니스 복장(예를 들면, 비즈니스 정장)을 입고 있다고 결정할 수 있다. 다른 예로서, 데이터 합성 회로(502)는 (예를 들면, 승객의 얼굴 표정들, 말투(speaking tone) 등에 기초하여) 승객이 불안해 하거나 화가 나 있다고 결정할 수 있다. 이 결정에 기초하여, 루트 생성 회로(504) 및 제어 파라미터들 생성 회로(506)는 사용자가 정시에 이벤트에 도착할 가능성을 증가시키는 루트 및/또는 제어 파라미터 세트를 선택할 수 있다. 예를 들어, 루트 생성 회로(504a)는 목적지까지의 주행 시간을 감소시키는 루트를 선택할 수 있다. 다른 예로서, 제어 파라미터들 생성 회로(506)는 차량(200)이 그의 가속도, 제동률, 및/또는 방향 전환율 등을 보다 빠르게 변경하는 것을 가능하게 할 수 있다. 다른 예로서, 제어 파라미터 세트는 차량(200)이 보다 높은 속력들로(예를 들면, 특정 최대 속력까지) 주행하는 것을 가능하게 할 수 있다. 게다가, 차량(200) 내에서 어느 정도의 진동 및/또는 소음이 경험될 수 있도록 루트 및/또는 제어 파라미터 세트가 선택될 수 있다.
다른 예로서, 데이터 합성 회로(502)는, 센서들(510), 통신 인터페이스(314), 및/또는 사용자 디바이스(508)로부터 수신되는 데이터에 기초하여, 차량(200)의 승객(들)이 격식을 차린 복장(예를 들면, 정장, 턱시도, 드레스, 가운 등)을 입고 있다고 결정할 수 있다. 게다가, 데이터 합성 회로(502)는 하루 중 시간을 결정할 수 있다. 이 결정에 기초하여, 루트 생성 회로(504) 및 제어 파라미터들 생성 회로(506)는 (i) 사용자가 정시에 이벤트에 도착할 가능성을 증가시키거나 (ii) 다른 승차 편의 인자들(예를 들면, 진동을 감소시키는 것, 최대 속력, 가속도, 제동률, 방향 전환율 등)를 우선시하는 루트 및/또는 제어 파라미터 세트를 선택할 수 있다. 예를 들어, 승객이 하루 중 이른 시간에(예를 들면, 낮 동안에) 격식을 차린 복장을 입고 있는 경우, 이는 승객이 이벤트로 향하고 있으며 가능한 한 빨리 목적지에 도착하기를 선호할 것임을 암시할 수 있다. 그에 따라, 루트 생성 회로(504) 및 제어 파라미터들 생성 회로(506)는, 보다 큰 정도의 진동, 가속도, 제동률, 방향 전환율 등을 허용하면서, 짧은 주행 시간을 우선시하는 방식으로 루트 및/또는 제어 파라미터 세트를 선택할 수 있다. 다른 예로서, 승객이 하루 중 늦은 시간에(예를 들면, 저녁 동안)에 격식을 차린 복장을 입고 있는 경우, 이는 승객이 이벤트로부터 돌아오고 있으며 서두르지 않고 있음을 암시할 수 있다. 그에 따라, 루트 생성 회로(504) 및 제어 파라미터들 생성 회로(506)는 주행 시간보다 승차 편의 인자들을 우선시할 수 있다.
다른 예로서, 데이터 합성 회로(502)는 (예를 들면, 승객의 얼굴 표정들, 말투 등에 기초하여) 승객이 불안해 하거나 화가 나 있다고 결정할 수 있다. 이 결정에 기초하여, 루트 생성 회로(504) 및 제어 파라미터들 생성 회로(506)는 사용자가 정시에 이벤트에 도착할 가능성을 증가시키는 루트 및/또는 제어 파라미터 세트를 선택할 수 있다. 예를 들어, 루트 생성 회로(504a)는 목적지까지의 주행 시간을 감소시키는 루트를 선택할 수 있다. 다른 예로서, 제어 파라미터들 생성 회로(506)는 차량(200)이 그의 가속도, 제동률, 및/또는 방향 전환율 등을 보다 빠르게 변경하는 것을 가능하게 할 수 있다. 다른 예로서, 제어 파라미터 세트는 차량(200)이 보다 높은 속력들로(예를 들면, 특정 최대 속력까지) 주행하는 것을 가능하게 할 수 있다. 게다가, 차량(200) 내에서 어느 정도의 진동 및/또는 소음이 경험될 수 있도록 루트 및/또는 제어 파라미터 세트가 선택될 수 있다.
본원에 설명된 기술들 중 적어도 일부는 하나 이상의 머신 러닝 모델들을 사용하여 구현될 수 있다. 일 예로서, 도 6a는 머신 러닝 모델의 구현의 다이어그램을 도시한다. 보다 구체적으로, 콘볼루션 뉴럴 네트워크(convolutional neural network, CNN)(620)의 구현의 다이어그램이 예시되어 있다. 예시를 위해, CNN(620)에 대한 이하의 설명은 승객 편의 회로(500)에 의한 CNN(620)의 구현과 관련하여 이루어질 것이다. 그렇지만, 일부 예들에서 CNN(620)(예를 들면, CNN(620)의 하나 이상의 컴포넌트)이, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)과 같은, 승객 편의 회로(500)와 상이하거나 이 이외의 다른 시스템들에 의해 구현된다는 것이 이해될 것이다. CNN(620)이 본원에 기술된 바와 같은 특정 특징들을 포함하지만, 이러한 특징들은 예시 목적으로 제공되며 본 개시를 제한하는 것으로 의도되지 않는다.
CNN(620)은 제1 콘볼루션 계층(622), 제2 콘볼루션 계층(624), 및 콘볼루션 계층(626)을 포함하는 복수의 콘볼루션 계층들을 포함한다. 일부 실시예들에서, CNN(620)은 서브샘플링 계층(628)(때때로 풀링 계층(pooling layer)이라고 지칭됨)을 포함한다. 일부 실시예들에서, 서브샘플링 계층(628) 및/또는 다른 서브샘플링 계층들은 업스트림 시스템의 차원보다 작은 차원(즉, 노드들의 양)을 갖는다. 서브샘플링 계층(628)이 업스트림 계층의 차원보다 작은 차원을 갖는 것에 의해, CNN(620)은 초기 입력 및/또는 업스트림 계층의 출력과 연관된 데이터의 양을 통합하여 이에 의해 CNN(620)이 다운스트림 콘볼루션 연산들을 수행하는 데 필요한 계산들의 양을 감소시킨다. 추가적으로 또는 대안적으로, (도 6b 및 도 6c와 관련하여 아래에서 기술되는 바와 같이) 서브샘플링 계층(628)이 적어도 하나의 서브샘플링 함수와 연관되는(예를 들면, 이를 수행하도록 구성되는) 것에 의해, CNN(620)은 초기 입력과 연관된 데이터의 양을 통합한다.
승객 편의 회로(500)가 제1 콘볼루션 계층(622), 제2 콘볼루션 계층(624), 및 콘볼루션 계층(626) 각각과 연관된 각자의 입력들 및/또는 출력들을 제공하여 각자의 출력들을 생성하는 것에 기초하여 승객 편의 회로(500)는 콘볼루션 연산들을 수행한다. 일부 예들에서, 승객 편의 회로(500)가 제1 콘볼루션 계층(622), 제2 콘볼루션 계층(624), 및 콘볼루션 계층(626)에 대한 입력으로서 데이터를 제공하는 것에 기초하여 승객 편의 회로(500)는 CNN(620)을 구현한다. 그러한 예에서, 승객 편의 회로(500)가 하나 이상의 상이한 시스템(예를 들면, 센서들(314), 통신 인터페이스(314), 및/또는 사용자 디바이스(508))로부터 데이터를 수신하는 것에 기초하여 승객 편의 회로(500)는 제1 콘볼루션 계층(622), 제2 콘볼루션 계층(624), 및 콘볼루션 계층(626)에 대한 입력으로서 데이터를 제공한다. 콘볼루션 연산들에 대한 상세한 설명은 도 6b와 관련하여 아래에 포함된다.
일부 실시예들에서, 승객 편의 회로(500)는 입력(초기 입력이라고 지칭됨)과 연관된 데이터를 제1 콘볼루션 계층(622)에 제공하고, 승객 편의 회로(500)는 제1 콘볼루션 계층(622)을 사용하여 출력과 연관된 데이터를 생성한다. 일부 실시예들에서, 승객 편의 회로(500)는 상이한 콘볼루션 계층에 대한 입력으로서 콘볼루션 계층에 의해 생성되는 출력을 제공한다. 예를 들어, 승객 편의 회로(500)는 서브샘플링 계층(628), 제2 콘볼루션 계층(624), 및/또는 콘볼루션 계층(626)에 대한 입력으로서 제1 콘볼루션 계층(622)의 출력을 제공한다. 그러한 예에서, 제1 콘볼루션 계층(622)은 업스트림 계층이라고 지칭되고, 서브샘플링 계층(628), 제2 콘볼루션 계층(624) 및/또는 콘볼루션 계층(626)은 다운스트림 계층들이라고 지칭된다. 유사하게, 일부 실시예들에서, 승객 편의 회로(500)는 서브샘플링 계층(628)의 출력을 제2 콘볼루션 계층(624) 및/또는 콘볼루션 계층(626)에 제공하고, 이 예에서, 서브샘플링 계층(628)은 업스트림 계층이라고 지칭될 것이며, 제2 콘볼루션 계층(624) 및/또는 콘볼루션 계층(626)은 다운스트림 계층들이라고 지칭될 것이다.
일부 실시예들에서, 승객 편의 회로(500)가 CNN(620)에 입력을 제공하기 전에 승객 편의 회로(500)는 CNN(620)에 제공되는 입력과 연관된 데이터를 프로세싱한다. 예를 들어, 승객 편의 회로(500) 및/또는 인지 시스템(402)이 센서 데이터(예를 들면, 이미지 데이터, LiDAR 데이터, 레이더 데이터 등)를 정규화하는 것에 기초하여, 승객 편의 회로(500)는 CNN(620)에 제공되는 입력과 연관된 데이터를 프로세싱한다.
일부 실시예들에서, 승객 편의 회로(500)가 각각의 콘볼루션 계층과 연관된 콘볼루션 연산들을 수행하는 것에 기초하여 CNN(620)은 출력을 생성한다. 일부 예들에서, 승객 편의 회로(500)가 초기 입력 및 각각의 콘볼루션 계층과 연관된 콘볼루션 연산들을 수행하는 것에 기초하여 CNN(620)은 출력을 생성한다. 일부 실시예들에서, 승객 편의 회로(500)는 출력을 생성하고 출력을 완전 연결 계층(630)에 제공한다. 일부 예들에서, 승객 편의 회로(500)는 콘볼루션 계층(626)의 출력을 완전 연결 계층(530)에 제공하고, 여기서 완전 연결 계층(530)은 F1, F2... FN이라고 지칭되는 복수의 특징 값들과 연관된 데이터를 포함한다. 이 예에서, 콘볼루션 계층(626)의 출력은 예측을 나타내는 복수의 출력 특징 값들과 연관된 데이터를 포함한다.
일부 실시예들에서, 승객 편의 회로(500)가 복수의 예측들 중에서 정확한 예측일 가능성이 가장 높은 것과 연관된 특징 값을 식별하는 것에 기초하여 승객 편의 회로(500)는 복수의 예측들 중에서 예측을 식별한다. 예를 들어, 완전 연결 계층(630)이 특징 값들 F1, F2, . . . FN을 포함하고, F1이 가장 큰 특징 값인 경우에, 승객 편의 회로(500)는 F1과 연관된 예측을 복수의 예측들 중에서 정확한 예측인 것으로 식별한다. 일부 실시예들에서, 승객 편의 회로(500)는 예측을 생성하도록 CNN(620)을 트레이닝시킨다. 일부 예들에서, 승객 편의 회로(500)가 예측과 연관된 트레이닝 데이터를 CNN(620)에 제공하는 것에 기초하여 승객 편의 회로(500)는 예측을 생성하도록 CNN(620)을 트레이닝시킨다.
예측은, 예를 들어, (예를 들면, 루트 생성 회로(504) 및 제어 파라미터들 생성 회로(506)를 참조하여 기술된 바와 같이) 특정 형편 또는 상황에서 승객의 편의를 최대화하는(또는 다른 방식으로 증가시키는) 특정 예측된 루트 및/또는 제어 파라미터 세트를 포함할 수 있다. 다른 예로서, 예측은 (예를 들면, 데이터 합성 회로(502)를 참조하여 기술된 바와 같이) 승객, 차량 및/또는 네트워크 회선의 예측된 특성을 포함할 수 있다.
이제 도 6b 및 도 6c를 참조하면, 승객 편의 회로(500)에 의한 CNN(640)의 예시적인 동작의 다이어그램이 예시되어 있다. 일부 실시예들에서, CNN(640)(예를 들면, CNN(640)의 하나 이상의 컴포넌트)은 CNN(620)(예를 들면, CNN(620)의 하나 이상의 컴포넌트)(도 6a 참조)과 동일하거나 유사하다.
단계(650)에서, 승객 편의 회로(500)는 CNN(640)에 대한 입력으로서 데이터를 제공한다(단계(650)). 예를 들어, 승객 편의 회로(500)는, 하나 이상의 이미지, 비디오, LiDAR 이미지, 포인트 클라우드, 레이더 이미지, 오디오 신호, 바이탈 사인, 눈 위치 및 움직임 측정치, 진동 측정치, 가속도 측정치 등과 같은, 센서들(510) 중 하나 이상에 의해 획득되는 데이터를 제공할 수 있다. 다른 예로서, 승객 편의 회로(500)는 통신 인터페이스(314) 및/또는 사용자 디바이스(508)로부터 수신되는 데이터를 제공할 수 있다.
단계(655)에서, CNN(640)은 제1 콘볼루션 함수를 수행한다. 예를 들어, CNN(640)이 입력 데이터를 나타내는 값들을 제1 콘볼루션 계층(642)에 포함된 하나 이상의 뉴런(명시적으로 예시되지 않음)에 대한 입력으로서 제공하는 것에 기초하여 CNN(640)은 제1 콘볼루션 함수를 수행한다. 일 예로서, 이미지 또는 비디오를 나타내는 값들은 이미지 또는 비디오의 한 영역(때때로 수용 영역(receptive field)이라고 지칭됨)을 나타내는 값들에 대응할 수 있다. 다른 예로서, 오디오 신호를 나타내는 값들은 오디오 신호의 일 부분(예를 들면, 특정 시간 부분 및/또는 특정 스펙트럼 부분)을 나타내는 값들에 대응할 수 있다. 다른 예로서, 어떤 다른 센서 측정치를 나타내는 값들은 해당 센서 측정치의 일 부분(예를 들면, 특정 시간 부분 및/또는 특정 스펙트럼 부분)을 나타내는 값들에 대응할 수 있다.
일부 실시예들에서, 각각의 뉴런은 필터(명시적으로 예시되지 않음)와 연관된다. 필터(때때로 커널이라고 지칭됨)는 크기가 뉴런에 대한 입력으로서 제공되는 값들에 대응하는 값들의 어레이로서 표현될 수 있다. 일 예에서, 필터는 이미지에서의 에지들(예를 들면, 수평 라인들, 수직 라인들, 직선 라인들 등)을 식별하도록 구성될 수 있다. 연속적인 콘볼루션 계층들에서, 뉴런들과 연관된 필터들은 이미지에서의 연속적으로 보다 복잡한 패턴들(예를 들면, 호, 대상체 등)을 식별하도록 구성될 수 있다. 연속적인 콘볼루션 계층들에서, 뉴런들과 연관된 필터들은 다른 유형들의 데이터(예를 들면, 오디오 신호들, 가속도계 측정치들, 바이탈 사인들, 눈 추적 및 움직임 측정치들 등)에서 패턴들을 식별하도록 구성될 수 있다.
일부 실시예들에서, CNN(640)이 제1 콘볼루션 계층(642)에 포함된 하나 이상의 뉴런 각각에 대한 입력으로서 제공되는 값들을 하나 이상의 뉴런 각각에 대응하는 필터의 값들과 곱하는 것에 기초하여, CNN(640)은 제1 콘볼루션 함수를 수행한다. 예를 들어, CNN(640)은 제1 콘볼루션 계층(642)에 포함된 하나 이상의 뉴런 각각에 대한 입력으로서 제공되는 값들을 하나 이상의 뉴런 각각에 대응하는 필터의 값들과 곱하여 단일 값 또는 값들의 어레이를 출력으로서 생성할 수 있다. 일부 실시예들에서, 제1 콘볼루션 계층(642)의 뉴런들의 집합적 출력은 콘볼루션된 출력(convolved output)이라고 지칭된다. 일부 실시예들에서, 각각의 뉴런이 동일한 필터를 갖는 경우에, 콘볼루션된 출력은 특징 맵(feature map)이라고 지칭된다.
일부 실시예들에서, CNN(640)은 제1 콘볼루션 계층(642)의 각각의 뉴런의 출력들을 다운스트림 계층의 뉴런들에 제공한다. 명료함을 위해, 업스트림 계층은 데이터를 상이한 계층(다운스트림 계층이라고 지칭됨)으로 송신하는 계층일 수 있다. 예를 들어, CNN(640)은 제1 콘볼루션 계층(642)의 각각의 뉴런의 출력들을 서브샘플링 계층의 대응하는 뉴런들에 제공할 수 있다. 일 예에서, CNN(640)은 제1 콘볼루션 계층(642)의 각각의 뉴런의 출력들을 제1 서브샘플링 계층(644)의 대응하는 뉴런들에 제공한다. 일부 실시예들에서, CNN(640)은 다운스트림 계층의 각각의 뉴런에 제공되는 모든 값들의 집계들에 바이어스 값을 가산한다. 예를 들어, CNN(640)은 제1 서브샘플링 계층(644)의 각각의 뉴런에 제공되는 모든 값들의 집계들에 바이어스 값을 가산한다. 그러한 예에서, 각각의 뉴런에 제공되는 모든 값들의 집계들 및 제1 서브샘플링 계층(644)의 각각의 뉴런과 연관된 활성화 함수에 기초하여, CNN(640)은 제1 서브샘플링 계층(644)의 각각의 뉴런에 제공할 최종 값을 결정한다.
단계(660)에서, CNN(640)은 제1 서브샘플링 함수를 수행한다. 예를 들어, CNN(640)이 제1 콘볼루션 계층(642)에 의해 출력되는 값들을 제1 서브샘플링 계층(644)의 대응하는 뉴런들에 제공하는 것에 기초하여, CNN(640)은 제1 서브샘플링 함수를 수행할 수 있다. 일부 실시예들에서, CNN(640)은 집계 함수에 기초하여 제1 서브샘플링 함수를 수행한다. 일 예에서, CNN(640)이 주어진 뉴런에 제공되는 값들 중에서 최대 입력을 결정하는 것(맥스 풀링 함수(max pooling function)라고 지칭됨)에 기초하여, CNN(640)은 제1 서브샘플링 함수를 수행한다. 다른 예에서, CNN(640)이 주어진 뉴런에 제공되는 값들 중에서 평균 입력을 결정하는 것(평균 풀링 함수(average pooling function)라고 지칭됨)에 기초하여, CNN(640)은 제1 서브샘플링 함수를 수행한다. 일부 실시예들에서, CNN(640)이 제1 서브샘플링 계층(644)의 각각의 뉴런에 값들을 제공하는 것에 기초하여, CNN(640)은 출력을 생성하며, 이 출력은 때때로 서브샘플링된 콘볼루션된 출력(subsampled convolved output)이라고 지칭된다.
단계(665)에서, CNN(640)은 제2 콘볼루션 함수를 수행한다. 일부 실시예들에서, CNN(640)은 위에서 기술된, CNN(640)이 제1 콘볼루션 함수를 수행한 방식과 유사한 방식으로 제2 콘볼루션 함수를 수행한다. 일부 실시예들에서, CNN(640)이 제1 서브샘플링 계층(644)에 의해 출력되는 값들을 제2 콘볼루션 계층(646)에 포함된 하나 이상의 뉴런(명시적으로 예시되지 않음)에 대한 입력으로서 제공하는 것에 기초하여, CNN(640)은 제2 콘볼루션 함수를 수행한다. 일부 실시예들에서, 위에서 기술된 바와 같이, 제2 콘볼루션 계층(646)의 각각의 뉴런은 필터와 연관된다. 위에서 기술된 바와 같이, 제2 콘볼루션 계층(646)과 연관된 필터(들)는 제1 콘볼루션 계층(642)과 연관된 필터보다 복잡한 패턴들을 식별하도록 구성될 수 있다.
일부 실시예들에서, CNN(640)이 제2 콘볼루션 계층(646)에 포함된 하나 이상의 뉴런 각각에 대한 입력으로서 제공되는 값들을 하나 이상의 뉴런 각각에 대응하는 필터의 값들과 곱하는 것에 기초하여, CNN(640)은 제2 콘볼루션 함수를 수행한다. 예를 들어, CNN(640)은 제2 콘볼루션 계층(646)에 포함된 하나 이상의 뉴런 각각에 대한 입력으로서 제공되는 값들을 하나 이상의 뉴런 각각에 대응하는 필터의 값들과 곱하여 단일 값 또는 값들의 어레이를 출력으로서 생성할 수 있다.
일부 실시예들에서, CNN(640)은 제2 콘볼루션 계층(646)의 각각의 뉴런의 출력들을 다운스트림 계층의 뉴런들에 제공한다. 예를 들어, CNN(640)은 제1 콘볼루션 계층(642)의 각각의 뉴런의 출력들을 서브샘플링 계층의 대응하는 뉴런들에 제공할 수 있다. 일 예에서, CNN(640)은 제1 콘볼루션 계층(642)의 각각의 뉴런의 출력들을 제2 서브샘플링 계층(648)의 대응하는 뉴런들에 제공한다. 일부 실시예들에서, CNN(640)은 다운스트림 계층의 각각의 뉴런에 제공되는 모든 값들의 집계들에 바이어스 값을 가산한다. 예를 들어, CNN(640)은 제2 서브샘플링 계층(648)의 각각의 뉴런에 제공되는 모든 값들의 집계들에 바이어스 값을 가산한다. 그러한 예에서, 각각의 뉴런에 제공되는 모든 값들의 집계들 및 제2 서브샘플링 계층(648)의 각각의 뉴런과 연관된 활성화 함수에 기초하여, CNN(640)은 제2 서브샘플링 계층(648)의 각각의 뉴런에 제공할 최종 값을 결정한다.
단계(670)에서, CNN(640)은 제2 서브샘플링 함수를 수행한다. 예를 들어, CNN(640)이 제2 콘볼루션 계층(646)에 의해 출력되는 값들을 제2 서브샘플링 계층(648)의 대응하는 뉴런들에 제공하는 것에 기초하여, CNN(640)은 제2 서브샘플링 함수를 수행할 수 있다. 일부 실시예들에서, CNN(640)이 집계 함수를 사용하는 것에 기초하여, CNN(640)은 제2 서브샘플링 함수를 수행한다. 일 예에서, 위에서 기술된 바와 같이, CNN(640)이 주어진 뉴런에 제공되는 값들 중에서 최대 입력 또는 평균 입력을 결정하는 것에 기초하여, CNN(640)은 제1 서브샘플링 함수를 수행한다. 일부 실시예들에서, CNN(640)이 제2 서브샘플링 계층(648)의 각각의 뉴런에 값들을 제공하는 것에 기초하여, CNN(640)은 출력을 생성한다.
단계(675)에서, CNN(640)은 제2 서브샘플링 계층(648)의 각각의 뉴런의 출력을 완전 연결 계층들(649)에 제공한다. 예를 들어, CNN(640)은 제2 서브샘플링 계층(648)의 각각의 뉴런의 출력을 완전 연결 계층들(649)에 제공하여 완전 연결 계층들(649)이 출력을 생성하게 한다. 일부 실시예들에서, 완전 연결 계층들(649)은 예측(때때로 분류라고 지칭됨)과 연관된 출력을 생성하도록 구성된다.
일 예로서, 출력은 차량(200)의 승객(들)에 의해 수행되는 행동에 관한 예측을 포함할 수 있다. 예시적인 행동들은 착석하는 것, 잠을 자는 것, 누워 있는 것, 메이크업 또는 다른 화장품을 바르는 것, 이어폰을 빼는 것 및/또는 끼는 것, 디바이스를 꺼내는 것, 및 디바이스를 조작하는 것을 포함한다. 추가의 예시적인 행동들은 전화로 이야기하는 것, 화상 회의에 참여하는 것, 프레젠테이션을 제공하는 것 등을 포함한다.
다른 예로서, 출력은 차량(200)의 승객(들)의 포즈에 관한 예측을 포함할 수 있다. 예를 들어, 출력은, 승객의 머리, 팔, 손, 손가락, 다리, 발, 몸통 등과 같은, 승객의 하나 이상의 신체 부위의 예측된 위치 및/또는 배향을 포함할 수 있다.
다른 예로서, 출력은 차량(200)의 승객(들)에 의해 수행되는 신체 제스처들(예를 들면, 하나 이상의 신체 부위의 움직임들)에 관한 예측을 포함할 수 있다. 예를 들어, 출력은 사용자의 머리, 팔, 손, 손가락, 다리, 발 등의 예측된 움직임들을 나타낼 수 있다.
다른 예로서, 출력은 차량(200)의 승객(들)의 바이탈 사인들에 관한 예측을 포함할 수 있다. 예를 들어, 출력은 승객의 예측된 체온, 승객의 호흡률 또는 호흡수, 및 승객의 심박수를 나타낼 수 있다.
다른 예로서, 출력은 승객의 얼굴 표정들에 관한 예측을 포함할 수 있다. 예를 들어, 출력은 승객이 미소짓고 있는지, 찡그리고 있는지, 노려보고 있는지 등에 관한 예측을 나타낼 수 있다.
다른 예로서, 출력은 승객의 시선(예를 들면, 사용자가 차량(200)의 창 밖을 보고 있는지, 차량(200) 내의 다른 승객을 보고 있는지, 사용자 디바이스(508)를 보고 있는지 등)에 관한 예측을 포함할 수 있다.
다른 예로서, 출력은 승객의 복장에 관한 예측을 포함할 수 있다. 예를 들어, 출력은 승객이 셔츠, 바지, 모자, 드레스, 스커트, 반바지, 양말, 안경류(예를 들면, 교정용 안경, 선글라스 등), 및/또는 임의의 다른 의복을 착용하고 있는지 여부에 관한 예측을 포함할 수 있다. 게다가, 출력은 승객의 복장의 스타일 또는 유형(예를 들면, 의복이 격식을 차린 복장, 비즈니스 복장, 캐주얼 복장, 운동 복장, 수영복, 유니폼 등인지)에 관한 예측을 나타낼 수 있다.
다른 예로서, 출력은 차량(200)의 승객(들)의 감정 상태에 관한 예측을 포함할 수 있다. 예를 들어, 출력은 사용자가 행복한지, 슬픈지, 불안해 하는지, 화가 났는지, 겁먹었는지, 놀랐는지, 또는 어떤 다른 감정을 경험하는지에 관한 예측을 포함할 수 있다.
일부 실시예들에서, 승객 편의 회로(500)는, 본원에 기술된 바와 같이, 하나 이상의 동작을 수행하고/하거나 예측과 연관된 데이터를 상이한 시스템에 제공한다.
이제 도 7을 참조하면, 차량을 작동시키기 위한 프로세스(700)의 플로차트가 예시되어 있다. 일부 실시예들에서, 프로세스(700)와 관련하여 기술된 단계들 중 하나 이상은 승객 편의 회로(500)에 의해 (예를 들면, 전체적으로, 부분적으로 등) 수행된다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 프로세스(700)와 관련하여 기술된 하나 이상의 단계는, 자율 주행 차량 컴퓨터(400)의 하나 이상의 다른 컴포넌트와 같은, 승객 편의 회로(500)로부터 분리되거나 이를 포함하는 다른 디바이스 또는 디바이스 그룹에 의해 (예를 들면, 전체적으로, 부분적으로 등) 수행된다.
계속해서 도 7을 참조하면, 차량의 적어도 하나의 프로세서는 차량의 승객의 행동 또는 외관 중 적어도 하나를 나타내는 데이터를 수신한다(블록(702)). 일부 실시예들에서, 데이터의 적어도 일부는 차량 내에 배치된 적어도 하나의 센서로부터 수신될 수 있다. 일부 실시예들에서, 데이터의 적어도 일부는 차량에 연결된 통신 디바이스 상의 애플리케이션으로부터 수신될 수 있다.
일부 실시예들에서, 애플리케이션은 통신 디바이스 상에 설치된 브라우저 또는 네이티브 애플리케이션일 수 있다. 게다가, 데이터는 통신 디바이스의 진동을 나타내는 제1 데이터 및 통신 디바이스 상에서의 통신의 개시를 나타내는 제2 데이터를 포함할 수 있다. 일부 실시예들에서, 통신은 영상 통화일 수 있다. 게다가, 적어도 하나의 작동 파라미터의 수정은 보다 낮은 속력으로의 차량의 속력에서의 변경 또는 보다 매끄러운 루트로의 차량의 루트에서의 변경 중 적어도 하나를 포함할 수 있다.
일부 실시예들에서, 애플리케이션은 통신 디바이스 상에 설치된 브라우저 또는 네이티브 애플리케이션일 수 있다. 게다가, 데이터는 차량의 승객이 미리 설정된 시간에 스케줄링된 약속이 있음을 나타낼 수 있다. 게다가, 적어도 하나의 작동 파라미터의 수정은 차량이 미리 설정된 시간까지 목적지에 도달하도록 차량의 속력 또는 루트를 변화시키는 것을 포함할 수 있다.
일부 실시예들에서, 애플리케이션은 통신 디바이스 상에 설치된 브라우저 또는 네이티브 애플리케이션일 수 있다. 게다가, 데이터는 차량의 승객이 현재 시간 또는 목적지 시간 이전에 스케줄링된 다른 시간에 스케줄링된 회의가 있음을 나타낼 수 있다. 게다가, 적어도 하나의 작동 파라미터의 수정은 차량이 회의 동안 인터넷 연결성을 갖는 경로를 따라가도록 차량의 속력 또는 루트에 대한 수정들을 행하는 것을 포함할 수 있다.
일부 실시예들에서, 적어도 하나의 센서는 하나 이상의 모션 센서 및/또는 압력 센서를 포함할 수 있다. 게다가, 데이터는 차량의 승객이 차량에 누워 있음을 나타낼 수 있다. 게다가, 적어도 하나의 작동 파라미터의 수정은 보다 낮은 속력으로의 차량의 속력에서의 변경 또는 보다 매끄러운 루트로의 차량의 루트에서의 변경을 포함할 수 있다.
일부 실시예들에서, 적어도 하나의 센서는 차량의 승객의 호흡률을 측정하도록 구성된 하나 이상의 호흡 센서를 포함할 수 있다. 게다가, 데이터는 차량의 승객의 호흡률이 미리 설정된 값보다 낮음을 나타낼 수 있다. 게다가, 적어도 하나의 작동 파라미터의 수정은 보다 낮은 속력으로의 차량의 속력에서의 변경 또는 보다 매끄러운 루트로의 차량의 루트에서의 변경을 포함할 수 있다.
일부 실시예들에서, 적어도 하나의 센서는 통신 디바이스 상에 설치된 제1 카메라 및/또는 차량에(예를 들면, 차량의 객실 또는 내부에) 부착된 제2 카메라를 포함할 수 있다. 게다가, 데이터는 차량의 승객이 격식을 차린 의복을 입고 있음을 나타낼 수 있다. 게다가, 적어도 하나의 작동 파라미터의 수정은, 하루 중 시간에 따라, 보다 빠른 속력으로의 차량의 속력에서의 변경 또는 보다 빠른 루트로의 차량의 루트에서의 변경을 포함할 수 있다.
일부 실시예들에서, 적어도 하나의 센서는 통신 디바이스 상에 설치된 제1 카메라 및/또는 차량에(예를 들면, 차량의 객실 또는 내부에) 부착된 제2 카메라를 포함할 수 있다. 게다가, 데이터는 차량의 승객이 이어폰을 끼고 있음을 나타낼 수 있다. 게다가, 적어도 하나의 작동 파라미터의 수정은 보다 조용한 루트로의 차량의 루트에서의 변경을 포함할 수 있다.
도 7을 계속 참조하면, 적어도 하나의 프로세서는, 행동 또는 외관 중 적어도 하나에 기초하여, 차량의 적어도 하나의 작동 파라미터의 수정이 요구된다고 결정한다(블록(704)).
일부 실시예들에서, 적어도 하나의 작동 파라미터의 수정은 차량의 루트, 목적지에 도달하기 전의 상이한 시점들에서의 차량의 속력, 및/또는 차량의 움직임의 수정을 포함할 수 있다.
일부 실시예들에서, 루트의 수정은 적어도 하나의 시끄러운 영역의 회피, 적어도 하나의 터널의 회피, 적어도 하나의 혼잡한 영역의 회피, 루트 동안 차량이 이동하는 경로의 재료에 기초한 보다 매끄러운 루트의 선호, 및/또는 차량에 대한 정차 횟수를 최소화하는 것을 포함할 수 있다.
일부 실시예들에서, 루트의 수정은 적어도 하나의 시끄러운 영역의 회피, 적어도 하나의 터널의 회피, 적어도 하나의 혼잡한 영역의 회피, 루트 동안 차량이 이동하는 경로의 재료에 기초한 보다 매끄러운 루트의 선호, 또는 차량에 대한 정차 횟수를 최소화하는 것을 수행하도록 트레이닝된 머신 러닝 모델을 이용(deploy)하는 것을 포함할 수 있다.
게다가, 머신 러닝 모델은 머신 러닝 모델을 최적화하기 위해 머신 러닝 모델과 연관된 변수들을 계산하는 것에 의해, 적어도 부분적으로, 트레이닝될 수 있다.
게다가, 적어도 하나의 머신 러닝 모델은 적어도 하나의 뉴럴 네트워크의 복수의 계층들 내에 배열된 복수의 인공 뉴런들을 포함하는 적어도 하나의 뉴럴 네트워크 모델을 포함할 수 있다. 적어도 하나의 뉴럴 네트워크 모델의 변수들의 최적화는 적어도 하나의 시끄러운 영역의 회피, 적어도 하나의 터널의 회피, 적어도 하나의 혼잡한 영역의 회피, 루트 동안 차량이 이동하는 경로의 재료에 기초한 보다 매끄러운 루트의 선호, 또는 차량에 대한 정차 횟수를 최소화하는 것에 대해 최적화하기 위해 복수의 인공 뉴런들 중 각각의 인공 뉴런에 대한 가중치들 및 바이어스를 계산하는 것을 포함할 수 있다. 각각의 인공 뉴런에 대한 가중치들 및 바이어스는 변수들일 수 있다.
도 7을 계속 참조하면, 적어도 하나의 프로세서는 결정하는 것에 응답하여 차량의 적어도 하나의 작동 파라미터를 수정한다(블록(706)).
전술한 설명에서, 본 개시의 양태들 및 실시예들은 구현마다 달라질 수 있는 다수의 특정 세부 사항들을 참조하여 기술되었다. 그에 따라, 설명 및 도면들은 제한적인 의미가 아니라 예시적인 의미로 간주되어야 한다. 본 발명의 범위의 유일한 독점적인 지표, 및 출원인들이 본 발명의 범위이도록 의도한 것은, 본 출원에서 특정 형태로 나오는 일련의 청구항들의 문언적 등가 범위이며, 임의의 후속 보정을 포함한다. 그러한 청구항들에 포함된 용어들에 대한 본원에서 명시적으로 기재된 임의의 정의들은 청구항들에서 사용되는 그러한 용어들의 의미를 결정한다. 추가적으로, 전술한 설명 및 이하의 청구항들에서 "더 포함하는"이라는 용어가 사용될 때, 이 문구에 뒤따르는 것은 추가적인 단계 또는 엔티티, 또는 이전에 언급된 단계 또는 엔티티의 서브단계/서브엔티티일 수 있다.

Claims (15)

  1. 방법으로서,
    차량의 적어도 하나의 프로세서에 의해 그리고 상기 차량 내에 배치된 적어도 하나의 센서 또는 상기 차량에 연결된 통신 디바이스 상의 애플리케이션 중 하나 이상으로부터, 상기 차량의 승객의 행동(action) 또는 외관(appearance) 중 적어도 하나를 나타내는 데이터를 수신하는 단계;
    상기 적어도 하나의 프로세서에 의해 그리고 상기 행동 또는 상기 외관 중 적어도 하나에 기초하여, 상기 차량의 적어도 하나의 작동 파라미터(operational parameter)의 수정(modification)이 요구된다고 결정하는 단계; 및
    상기 적어도 하나의 프로세서에 의해 그리고 상기 결정에 응답하여, 상기 차량의 적어도 하나의 작동 파라미터를 수정하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 애플리케이션은 상기 통신 디바이스 상에 설치된 브라우저 또는 네이티브 애플리케이션(native application)이고;
    상기 데이터는 상기 통신 디바이스의 진동을 나타내는 제1 데이터 및 상기 통신 디바이스 상에서의 통신의 개시를 나타내는 제2 데이터를 포함하고, 상기 통신은 영상 통화(video call)이며;
    상기 적어도 하나의 작동 파라미터의 수정은 보다 낮은 속력으로의 상기 차량의 속력에서의 변경 또는 보다 매끄러운(smooth) 루트로의 상기 차량의 루트에서의 변경 중 적어도 하나를 포함하는 것인, 방법.
  3. 제1항에 있어서,
    상기 적어도 하나의 센서는 적어도 하나의 모션 센서 또는 적어도 하나의 압력 센서 중 하나 이상을 포함하고;
    상기 데이터는 상기 차량의 승객이 상기 차량에 누워 있음을 나타내며;
    상기 적어도 하나의 작동 파라미터의 수정은 보다 낮은 속력으로의 상기 차량의 속력에서의 변경 또는 보다 매끄러운 루트로의 상기 차량의 루트에서의 변경 중 적어도 하나를 포함하는 것인, 방법.
  4. 제1항에 있어서,
    상기 적어도 하나의 센서는 상기 차량의 승객의 호흡률(breath rate)을 측정하도록 구성된 적어도 하나의 호흡 센서를 포함하고;
    상기 데이터는 상기 차량의 승객의 호흡률이 미리 설정된 값보다 낮음을 나타내며;
    상기 적어도 하나의 작동 파라미터의 수정은 보다 낮은 속력으로의 상기 차량의 속력에서의 변경 또는 보다 매끄러운 루트로의 상기 차량의 루트에서의 변경 중 적어도 하나를 포함하는 것인, 방법.
  5. 제1항에 있어서,
    상기 적어도 하나의 센서는 상기 통신 디바이스 상에 설치된 제1 카메라 또는 상기 차량에 부착된 제2 카메라 중 적어도 하나를 포함하고;
    상기 데이터는 상기 차량의 승객이 격식을 차린 의복(formal garment)을 입고 있음을 나타내며;
    상기 적어도 하나의 작동 파라미터의 수정은, 하루 중 시간에 따라, 보다 빠른 속력으로의 상기 차량의 속력에서의 변경 또는 보다 빠른 루트로의 상기 차량의 루트에서의 변경을 포함하는 것인, 방법.
  6. 제1항에 있어서,
    상기 적어도 하나의 센서는 상기 통신 디바이스 상에 설치된 제1 카메라 또는 상기 차량에 부착된 제2 카메라 중 적어도 하나를 포함하고;
    상기 데이터는 상기 차량의 승객이 이어폰을 끼고 있음을 나타내며;
    상기 적어도 하나의 작동 파라미터의 수정은 보다 조용한 루트로의 상기 차량의 루트에서의 변경을 포함하는 것인, 방법.
  7. 제1항에 있어서,
    상기 애플리케이션은 상기 통신 디바이스 상에 설치된 브라우저 또는 네이티브 애플리케이션이고;
    상기 데이터는 상기 차량의 승객이 미리 설정된 시간에 스케줄링된 약속이 있음을 나타내며;
    상기 적어도 하나의 작동 파라미터의 수정은 상기 차량이 상기 미리 설정된 시간까지 목적지에 도달하도록 상기 차량의 속력 또는 루트를 변화시키는 것을 포함하는 것인, 방법.
  8. 제1항에 있어서,
    상기 애플리케이션은 상기 통신 디바이스 상에 설치된 브라우저 또는 네이티브 애플리케이션이고;
    상기 데이터는 상기 차량의 승객이 현재 시간 또는 목적지 시간 이전에 스케줄링된 다른 시간에 스케줄링된 회의가 있음을 나타내며;
    상기 적어도 하나의 작동 파라미터의 수정은, 상기 차량이 상기 회의 동안 인터넷 연결성을 갖는 경로를 따라가도록 상기 차량의 속력 또는 루트에 대한 수정들을 행하는 것을 포함하는 것인, 방법.
  9. 제1항에 있어서, 상기 적어도 하나의 작동 파라미터의 수정은,
    상기 차량의 루트,
    목적지에 도달하기 이전의 상이한 시점들에서의 차량의 속력, 또는
    상기 차량의 움직임
    중 적어도 하나의 수정을 포함하는 것인, 방법.
  10. 제9항에 있어서, 상기 루트의 수정은,
    적어도 하나의 시끄러운 영역의 회피;
    적어도 하나의 터널의 회피;
    적어도 하나의 혼잡한 영역의 회피;
    상기 루트 동안 상기 차량이 이동하는 경로의 재료에 기초한 보다 매끄러운 루트의 선호; 또는
    상기 차량에 대한 정차 횟수를 최소화하는 것
    중 적어도 하나를 포함하는 것인, 방법.
  11. 제10항에 있어서, 상기 루트의 수정은, 상기 적어도 하나의 프로세서에 의해, 상기 적어도 하나의 시끄러운 영역의 회피, 상기 적어도 하나의 터널의 회피, 상기 적어도 하나의 혼잡한 영역의 회피, 상기 루트 동안 상기 차량이 이동하는 경로의 재료에 기초한 보다 매끄러운 루트의 선호, 또는 상기 차량에 대한 정차 횟수를 최소화하는 것을 수행하도록 트레이닝된 머신 러닝 모델을 이용(deploy)하는 것을 포함하는 것인, 방법.
  12. 제11항에 있어서, 상기 머신 러닝 모델의 트레이닝은 상기 머신 러닝 모델을 최적화하기 위해 상기 머신 러닝 모델과 연관된 변수들을 계산하는 것을 포함하는 것인, 방법.
  13. 제12항에 있어서, 상기 적어도 하나의 머신 러닝 모델은 적어도 하나의 뉴럴 네트워크의 복수의 계층들 내에 배열된 복수의 인공 뉴런들을 포함하는 적어도 하나의 뉴럴 네트워크 모델을 포함하고, 상기 적어도 하나의 뉴럴 네트워크 모델의 변수들의 최적화가 상기 적어도 하나의 시끄러운 영역의 회피, 상기 적어도 하나의 터널의 회피, 상기 적어도 하나의 혼잡한 영역의 회피, 상기 루트 동안 상기 차량이 이동하는 경로의 재료에 기초한 보다 매끄러운 루트의 선호, 또는 상기 차량에 대한 정차 횟수를 최소화하는 것에 대해 최적화하기 위해 상기 복수의 인공 뉴런들 중 각각의 인공 뉴런에 대한 가중치들 및 바이어스를 계산하는 것을 포함하며, 상기 각각의 인공 뉴런에 대한 가중치들 및 바이어스는 상기 변수들인 것인, 방법.
  14. 시스템으로서,
    적어도 하나의 프로세서, 및
    명령어들을 저장하는 적어도 하나의 비일시적 저장 매체
    를 포함하고, 상기 명령어들은, 상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서가,
    차량 내에 배치된 적어도 하나의 센서 또는 상기 차량에 연결된 통신 디바이스 상의 애플리케이션 중 하나 이상으로부터, 상기 차량의 승객의 행동 또는 외관 중 적어도 하나를 나타내는 데이터를 수신하게 하고;
    상기 행동 또는 상기 외관 중 적어도 하나에 기초하여, 상기 차량의 적어도 하나의 작동 파라미터의 수정이 요구된다고 결정하게 하며;
    상기 결정에 응답하여, 상기 차량의 적어도 하나의 작동 파라미터를 수정하게 하는 것인, 시스템.
  15. 명령어들을 저장하는 적어도 하나의 비일시적 저장 매체로서, 상기 명령어들은, 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서가,
    차량 내에 배치된 적어도 하나의 센서 또는 상기 차량에 연결된 통신 디바이스 상의 애플리케이션 중 하나 이상으로부터, 상기 차량의 승객의 행동 또는 외관 중 적어도 하나를 나타내는 데이터를 수신하게 하고;
    상기 행동 또는 상기 외관 중 적어도 하나에 기초하여, 상기 차량의 적어도 하나의 작동 파라미터의 수정이 요구된다고 결정하게 하며;
    상기 결정에 응답하여, 상기 차량의 적어도 하나의 작동 파라미터를 수정하게 하는 것인, 명령어들을 저장하는 적어도 하나의 비일시적 저장 매체.
KR1020210186473A 2021-06-30 2021-12-23 차량 작동 KR102759912B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/363,444 2021-06-30
US17/363,444 US11904893B2 (en) 2021-06-30 2021-06-30 Operating a vehicle

Publications (2)

Publication Number Publication Date
KR20230005044A true KR20230005044A (ko) 2023-01-09
KR102759912B1 KR102759912B1 (ko) 2025-01-24

Family

ID=84388995

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210186473A KR102759912B1 (ko) 2021-06-30 2021-12-23 차량 작동

Country Status (5)

Country Link
US (1) US11904893B2 (ko)
KR (1) KR102759912B1 (ko)
CN (1) CN115542891A (ko)
DE (1) DE102021133534A1 (ko)
GB (1) GB2608477B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4332972A1 (en) 2022-08-31 2024-03-06 Samsung Electronics Co., Ltd. Storage device including nonvolatile memory device and operating method of storage device
EP4332969A1 (en) 2022-08-31 2024-03-06 Samsung Electronics Co., Ltd. Storage device including nonvolatile memory device and operating method of storage device

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3151818A1 (fr) * 2023-08-02 2025-02-07 Psa Automobiles Sa Procédé et dispositif de détermination d’une vitesse de confort d’un véhicule circulant sur une chaussée par réseaux de neurones profond

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200290647A1 (en) * 2017-12-20 2020-09-17 Intel Corporation Coordinated autonomous driving
KR102200807B1 (ko) * 2020-04-07 2021-01-11 인포뱅크 주식회사 자율주행차량의 속도 제어 장치 및 방법

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6753780B2 (en) * 2002-03-15 2004-06-22 Delphi Technologies, Inc. Vehicle occupant detection system and method using radar motion sensor
KR102161764B1 (ko) * 2013-10-31 2020-10-05 삼성전자주식회사 카툰 이미지를 이용한 메신저 대화창 표시 방법 및 컴퓨터 판독 가능한 기록 매체
JP6408141B2 (ja) * 2015-04-28 2018-10-17 シャープ株式会社 電子機器、電子機器の制御方法、制御プログラム
KR20170015114A (ko) 2015-07-30 2017-02-08 삼성전자주식회사 자율 주행 차량 및 자율 주행 차량 제어 방법
KR20170015113A (ko) 2015-07-30 2017-02-08 삼성전자주식회사 자율 주행 차량을 제어하는 장치 및 방법
US9904286B2 (en) 2015-10-13 2018-02-27 Nokia Technologies Oy Method and apparatus for providing adaptive transitioning between operational modes of an autonomous vehicle
US10577081B2 (en) * 2016-03-24 2020-03-03 Intel Corporation Proactive vehicle control systems and methods
JP7010048B2 (ja) * 2018-02-16 2022-01-26 トヨタ自動車株式会社 移動体、業務支援方法、業務支援プログラムおよび業務支援システム
JP6979722B2 (ja) * 2019-02-20 2021-12-15 みこらった株式会社 自動運転車及び自動運転車用プログラム
EP3703028A1 (en) * 2019-03-01 2020-09-02 Aptiv Technologies Limited Operation of a vehicle in the event of an emergency
KR102631160B1 (ko) * 2019-07-11 2024-01-30 엘지전자 주식회사 차량 탑승자 상태 감지방법 및 차량 탑승자 상태 감지장치
US20210403054A1 (en) * 2019-07-31 2021-12-30 Lg Electronics Inc. Vehicle allocation method in automated vehicle and highway system and apparatus therefor
US11521487B2 (en) * 2019-12-09 2022-12-06 Here Global B.V. System and method to generate traffic congestion estimation data for calculation of traffic condition in a region
DE102021204858A1 (de) * 2021-05-12 2022-11-17 Hyundai Motor Company Verfahren zur adaptiven Querführung eines Kraftfahrzeugs und Querführungsassistent für ein Kraftfahrzeug
WO2023048814A1 (en) * 2021-09-21 2023-03-30 Apple Inc. User-centered motion planning in a mobile ecosystem

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200290647A1 (en) * 2017-12-20 2020-09-17 Intel Corporation Coordinated autonomous driving
KR102200807B1 (ko) * 2020-04-07 2021-01-11 인포뱅크 주식회사 자율주행차량의 속도 제어 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4332972A1 (en) 2022-08-31 2024-03-06 Samsung Electronics Co., Ltd. Storage device including nonvolatile memory device and operating method of storage device
EP4332969A1 (en) 2022-08-31 2024-03-06 Samsung Electronics Co., Ltd. Storage device including nonvolatile memory device and operating method of storage device

Also Published As

Publication number Publication date
GB2608477B (en) 2023-11-01
KR102759912B1 (ko) 2025-01-24
US11904893B2 (en) 2024-02-20
US20230001954A1 (en) 2023-01-05
CN115542891A (zh) 2022-12-30
DE102021133534A1 (de) 2023-01-05
GB2608477A (en) 2023-01-04

Similar Documents

Publication Publication Date Title
KR102470217B1 (ko) 로컬화 및 위치 기반 서비스를 위해 차량에서 캡처된 승객 주의 데이터의 활용
CN108205830B (zh) 识别对于无人驾驶车辆的个人驾驶偏好的方法和系统
US11472291B2 (en) Graphical user interface for display of autonomous vehicle behaviors
US11884155B2 (en) Graphical user interface for display of autonomous vehicle behaviors
KR102759912B1 (ko) 차량 작동
US10242457B1 (en) Augmented reality passenger experience
EP3244591B1 (en) System and method for providing augmented virtual reality content in autonomous vehicles
US9715764B2 (en) System and method for dynamic in-vehicle virtual reality
US11321211B1 (en) Metric back-propagation for subsystem performance evaluation
US20230019157A1 (en) Automatically adjusting a vehicle seating area based on the characteristics of a passenger
JPWO2019188391A1 (ja) 制御装置、制御方法、並びにプログラム
WO2022232292A1 (en) Ride comfort improvement in different traffic scenarios for autonomous vehicle
CN110007752A (zh) 增强现实车辆界面连接
KR20230074395A (ko) 고충실도 데이터 기반 멀티모달 시뮬레이션
KR20230051035A (ko) Radar와 lidar 융합을 사용한 대상체 검출
KR20230025738A (ko) 차량 내의 물체 검출
US11836874B2 (en) Augmented in-vehicle experiences
KR20230083192A (ko) 센서 데이터를 사용하여 자동으로 교통 신호 검출
US11836760B1 (en) Vehicle advertising platform
US20230128104A1 (en) Accessibility system for assisting a user in interacting with a vehicle
KR20230110145A (ko) 아이트래커 디바이스 및 라이다 포인트 클라이드 데이터를 사용하는 목표 결정
WO2023171401A1 (ja) 信号処理装置、信号処理方法、および記録媒体
CN117195678A (zh) 用于运载工具运动规划的基于控制参数的搜索空间

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20211223

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20220114

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20211223

Comment text: Patent Application

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20231221

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20241224

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20250121

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20250121

End annual number: 3

Start annual number: 1

PG1601 Publication of registration