KR20230074396A - 가상 에이전트들의 모션 예측 - Google Patents

가상 에이전트들의 모션 예측 Download PDF

Info

Publication number
KR20230074396A
KR20230074396A KR1020220014270A KR20220014270A KR20230074396A KR 20230074396 A KR20230074396 A KR 20230074396A KR 1020220014270 A KR1020220014270 A KR 1020220014270A KR 20220014270 A KR20220014270 A KR 20220014270A KR 20230074396 A KR20230074396 A KR 20230074396A
Authority
KR
South Korea
Prior art keywords
vehicle
agent
trajectory
processor
occluded
Prior art date
Application number
KR1020220014270A
Other languages
English (en)
Inventor
유 판
유 홍 엥
스콧 디. 펜들톤
제임스 구오 밍 푸
Original Assignee
모셔널 에이디 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모셔널 에이디 엘엘씨 filed Critical 모셔널 에이디 엘엘씨
Publication of KR20230074396A publication Critical patent/KR20230074396A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10—Path keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18159—Traversing an intersection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/18163—Lane change; Overtaking manoeuvres
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00274—Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G06F8/65—Updates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/42—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/52—Radar, Lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction

Abstract

가상 에이전트들의 모션을 예측하기 위한 방법들이 제공되며, 이 방법들은 센서 데이터를 수신하는 단계, 적어도 하나의 폐색된 구역을 나타내는 분할 마스크를 생성하는 단계, 적어도 하나의 가상 에이전트 궤적을 생성하는 단계, 적어도 하나의 에이전트 생성 지점을 결정하는 단계, 적어도 하나의 에이전트 생성 지점으로부터 차량까지의 임계 거리가 충족되는지 여부를 결정하는 단계, 적어도 하나의 에이전트를 생성하는 단계, 차량의 경로를 계획하는 단계, 및 계획된 경로에 따라 차량을 제어하는 단계를 포함할 수 있다. 시스템들 및 컴퓨터 프로그램 제품들이 또한 제공된다.

Description

가상 에이전트들의 모션 예측{PREDICTING MOTION OF HYPOTHETICAL AGENTS}
자율 주행 차량들은, 보행자 또는 차량과 같은, 하나 이상의 다른 에이전트가 있는 환경들에서 작동 가능하다. 에이전트가 자율 주행 차량의 시야에 갑자기 나타날 수 있다. 에이전트의 갑작스런 출현은 자율 주행 차량으로 하여금 에이전트와의 충돌을 피하기 위해 급격하게 기동하게 할 수 있다. 급격한 기동은 위험하거나 자율 주행 차량 내의 승객들을 방해할 수 있다.
도 1은 자율 주행 시스템(autonomous system)의 하나 이상의 컴포넌트를 포함하는 차량이 구현될 수 있는 예시적인 환경이다.
도 2는 자율 주행 시스템을 포함하는 차량의 하나 이상의 시스템의 다이어그램이다.
도 3은 도 1 및 도 2의 하나 이상의 디바이스 및/또는 하나 이상의 시스템의 컴포넌트들의 다이어그램이다.
도 4는 자율 주행 시스템의 특정 컴포넌트들의 다이어그램이다.
도 5는 가상 에이전트들의 모션을 예측하기 위한 프로세스의 구현의 블록 다이어그램이다.
도 6a는 보행자 유사 가상 에이전트들을 생성하고 업데이트하기 위한 프로세스이다.
도 6b는 폐색 영역 전환들과 연관된 확률들을 예시하는 그래프이다.
도 7은 차량 유사 가상 에이전트들에 대한 에이전트 생성 지점들을 결정하기 위한 프로세스이다.
도 8는 가상 에이전트들의 모션을 예측하기 위한 프로세스의 플로차트이다.
이하의 설명에서는, 설명 목적으로 본 개시에 대한 완전한 이해를 제공하기 위해 다수의 특정 세부 사항들이 제시된다. 그렇지만, 본 개시에 의해 기술되는 실시예들이 이러한 특정 세부 사항들이 없더라도 실시될 수 있음이 명백할 것이다. 일부 경우에, 본 개시의 양태들을 불필요하게 모호하게 하는 것을 피하기 위해 잘 알려진 구조들 및 디바이스들은 블록 다이어그램 형태로 예시되어 있다.
시스템들, 디바이스들, 모듈들, 명령어 블록들, 데이터 요소들 등을 나타내는 것들과 같은, 개략적인 요소들의 특정 배열들 또는 순서들이 설명의 편의를 위해 도면들에 예시되어 있다. 그렇지만, 본 기술 분야의 통상의 기술자라면 도면들에서의 개략적인 요소들의 특정 순서 또는 배열이, 그러한 것으로 명시적으로 기술되지 않는 한, 프로세스들의 특정 프로세싱 순서 또는 시퀀스, 또는 프로세스들의 분리가 필요하다는 것을 암시하는 것으로 의미되지 않음을 이해할 것이다. 게다가, 도면에 개략적인 요소를 포함시키는 것은, 그러한 것으로 명시적으로 기술되지 않는 한 일부 실시예들에서, 그러한 요소가 모든 실시예들에서 필요하다는 것 또는 그러한 요소에 의해 표현되는 특징들이 다른 요소들에 포함되지 않을 수 있거나 다른 요소들과 결합되지 않을 수 있다는 것을 암시하는 것으로 의미되지 않는다.
게다가, 2 개 이상의 다른 개략적인 요소 사이의 연결, 관계 또는 연관을 예시하기 위해 실선 또는 파선 또는 화살표와 같은 연결 요소들이 도면들에서 사용되는 경우에, 임의의 그러한 연결 요소들의 부재는 연결, 관계 또는 연관이 존재할 수 없음을 암시하는 것으로 의미되지 않는다. 환언하면, 본 개시를 모호하게 하지 않기 위해 요소들 사이의 일부 연결들, 관계들 또는 연관들이 도면들에 예시되어 있지 않다. 추가적으로, 예시의 편의를 위해, 요소들 사이의 다수의 연결들, 관계들 또는 연관들을 나타내기 위해 단일의 연결 요소가 사용될 수 있다. 예를 들어, 연결 요소가 신호들, 데이터 또는 명령어들(예를 들면, "소프트웨어 명령어들")의 통신을 나타내는 경우에, 본 기술 분야의 통상의 기술자라면 그러한 요소가, 통신을 수행하기 위해 필요하게 될 수 있는, 하나 또는 다수의 신호 경로(예를 들면, 버스)를 나타낼 수 있다는 것을 이해할 것이다.
제1, 제2, 제3 등의 용어들이 다양한 컴포넌트들을 기술하는 데 사용되지만, 이러한 요소들이 이러한 용어들에 의해 제한되어서는 안된다. 제1, 제2, 제3 등의 용어들은 하나의 요소를 다른 요소와 구별하는 데만 사용된다. 예를 들어, 기술된 실시예들의 범위를 벗어나지 않으면서, 제1 접촉은 제2 접촉이라고 지칭될 수 있고, 유사하게 제2 접촉은 제1 접촉이라고 지칭될 수 있다. 제1 접촉과 제2 접촉은 양쪽 모두 접촉이지만, 동일한 접촉은 아니다.
본원에서의 다양한 기술된 실시예들에 대한 설명에서 사용되는 전문용어는 특정 실시예들을 기술하기 위해서만 포함되어 있으며, 제한하는 것으로 의도되지 않는다. 다양한 기술된 실시예들에 대한 설명 및 첨부된 청구항들에서 사용되는 바와 같이, 단수 형태들("a", "an" 및 "the")은 복수 형태들도 포함하는 것으로 의도되고, 문맥이 달리 명확히 나타내지 않는 한, "하나 이상" 또는 "적어도 하나"와 상호 교환 가능하게 사용될 수 있다. "및/또는"이라는 용어가, 본원에서 사용되는 바와 같이, 연관된 열거된 항목들 중 하나 이상의 항목의 임의의 및 모든 가능한 조합들을 지칭하고 포괄한다는 것이 또한 이해될 것이다. "포함한다(includes)", 포함하는(including), 포함한다(comprises)" 및/또는 "포함하는(comprising)"이라는 용어들이, 본 설명에서 사용될 때, 언급된 특징들, 정수들, 단계들, 동작들, 요소들, 및/또는 컴포넌트들의 존재를 명시하지만, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트, 및/또는 이들의 그룹들의 존재 또는 추가를 배제하지 않는다는 것이 추가로 이해될 것이다.
본원에서 사용되는 바와 같이, "통신" 및 "통신하다"라는 용어들은 정보(또는, 예를 들어, 데이터, 신호들, 메시지들, 명령어들, 커맨드들 등에 의해 표현되는 정보)의 수신, 접수, 송신, 전달, 제공 등 중 적어도 하나를 지칭한다. 하나의 유닛(예를 들면, 디바이스, 시스템, 디바이스 또는 시스템의 컴포넌트, 이들의 조합들 등)이 다른 유닛과 통신한다는 것은 하나의 유닛이 직접 또는 간접적으로 다른 유닛으로부터 정보를 수신하고/하거나 다른 유닛으로 정보를 전송(예를 들면, 송신)할 수 있음을 의미한다. 이것은 본질적으로 유선 및/또는 무선인 직접 또는 간접 연결을 지칭할 수 있다. 추가적으로, 송신되는 정보가 제1 유닛과 제2 유닛 사이에서 수정, 프로세싱, 중계 및/또는 라우팅될 수 있을지라도 2 개의 유닛은 서로 통신하고 있을 수 있다. 예를 들어, 제1 유닛이 정보를 수동적으로 수신하고 정보를 제2 유닛으로 능동적으로 송신하지 않을지라도 제1 유닛은 제2 유닛과 통신하고 있을 수 있다. 다른 예로서, 적어도 하나의 중간 유닛(예를 들면, 제1 유닛과 제2 유닛 사이에 위치하는 제3 유닛)이 제1 유닛으로부터 수신되는 정보를 프로세싱하고 프로세싱된 정보를 제2 유닛으로 송신하는 경우 제1 유닛은 제2 유닛과 통신하고 있을 수 있다. 일부 실시예들에서, 메시지는 데이터를 포함하는 네트워크 패킷(예를 들면, 데이터 패킷 등)을 지칭할 수 있다.
본원에서 사용되는 바와 같이, "~ 경우"라는 용어는, 선택적으로, 문맥에 따라 "~할 때", 또는 "~시에" 또는 "~라고 결정하는 것에 응답하여", "~을 검출하는 것에 응답하여" 등을 의미하는 것으로 해석된다. 유사하게, 문구 "~라고 결정되는 경우" 또는 "[언급된 조건 또는 이벤트]가 검출되는 경우"는, 선택적으로, 문맥에 따라, "~라고 결정할 시에", "~라고 결정하는 것에 응답하여", "[언급된 조건 또는 이벤트]를 검출할 시에", "[언급된 조건 또는 이벤트]를 검출하는 것에 응답하여" 등을 의미하는 것으로 해석된다. 또한, 본원에서 사용되는 바와 같이, "갖는다"(has, have), "갖는(having)" 등의 용어들은 개방형(open-ended) 용어들인 것으로 의도된다. 게다가, 문구 "~에 기초하여"는, 달리 명시적으로 언급되지 않는 한, "~에 적어도 부분적으로 기초하여"를 의미하는 것으로 의도된다.
본 개시의 일부 실시예들은 본원에서 임계치와 관련하여 기술된다. 본원에 기술된 바와 같이, 임계치를 충족시키는 것은 값이 임계치보다 큰 것, 임계치보다 많은 것, 임계치보다 높은 것, 임계치보다 크거나 같은 것, 임계치보다 작은 것, 임계치보다 적은 것, 임계치보다 낮은 것, 임계치보다 작거나 같은 것, 임계치와 동일한 것 등을 지칭할 수 있다.
그 예가 첨부 도면들에 예시되어 있는 실시예들이 이제 상세하게 언급될 것이다. 이하의 상세한 설명에서, 다양한 기술된 실시예들에 대한 완전한 이해를 제공하기 위해 수많은 특정 세부 사항들이 기재된다. 그렇지만, 다양한 기술된 실시예들이 이러한 특정 세부 사항들이 없더라도 실시될 수 있다는 것이 본 기술 분야의 통상의 기술자에게 명백할 것이다. 다른 경우에, 실시예들의 양태들을 불필요하게 모호하게 하지 않기 위해 잘 알려진 방법들, 절차들, 컴포넌트들, 회로들, 및 네트워크들은 상세하게 기술되지 않았다.
일반적 개관
일부 양태들 및/또는 실시예들에서, 본원에 기술된 시스템들, 방법들 및 컴퓨터 프로그램 제품들은 가상 에이전트들의 모션을 예측하는 것을 포함하고/하거나 구현한다. 가상 에이전트(예를 들면, 보행자 또는 차량)의 존재 및 모션이 가상 에이전트를 폐색시키는 대상체의 특징들에 부분적으로 기초하여 예측된다. 일반적으로 차량은 에이전트가 폐색(occlusion) 후방에 존재한다는 것을 예측하고, 에이전트가 실제로 존재하고 회피될 필요가 있는 시나리오들에 대비하기 위해(예를 들면, 폐색 후방으로부터 뒤에서 갑자기 나타나는 에이전트와의 충돌을 방지하기 위해) 에이전트에 대한 가능한 궤적(trajectory)들을 생성할 수 있다. 폐색이 "개방(open)"인 경우(예를 들면, 폐색이 차량에 보이는 진입 지점과 이탈 지점을 갖는 경우), 차량은 가상 에이전트의 모션에 대한 제약들을 보다 정확하게 예측할 수 있다. 예를 들어, 에이전트가 개방 폐색 후방을 지나가기 전에 차량에 보이지 않은 한, 에이전트가 개방 폐색 후방에서 높은 속도로 이동하지 않을 가능성이 있다.
본원에 기술된 시스템들, 방법들 및 컴퓨터 프로그램 제품들의 구현에 의해, 가상 에이전트들의 모션을 에측하기 위한 기술들은 이하의 장점들이 있다. 에이전트들에 대한 모션 프로파일들의 분포는, 에이전트들이 존재하는 경우, 차량이 에이전트들과 충돌하는 것을 피하기 위한 보다 현실적인 제약들을 보장한다. 관측 불가능한 영역들에 있는 에이전트들을 예견하는 것은 차량이 보다 안전하게 작동하는 것을 가능하게 한다. 에이전트들은 차량이 에이전트의 가상 경로들로부터 일정 거리 내에 있을 때에만 생성되어, 차량이 계산 리소스들을 절감할 수 있게 한다. 2 개의 클래스의 에이전트들(예를 들면, 보행자들 및 차량들)이 도입되는 것은 차량이 충돌할 가능성이 보다 적은 자신의 경로를 계획하는 것을 가능하게 한다.
이제 도 1을 참조하면, 자율 주행 시스템들을 포함하는 차량들은 물론 그렇지 않은 차량들이 작동되는 예시적인 환경(100)이 예시되어 있다. 예시된 바와 같이, 환경(100)은 차량들(102a 내지 102n), 대상체들(104a 내지 104n), 루트들(106a 내지 106n), 구역(108), 차량 대 인프라스트럭처(vehicle-to-infrastructure, V2I) 디바이스(110), 네트워크(112), 원격 자율 주행 차량(AV) 시스템(114), 플릿 관리 시스템(fleet management system)(116), 및 V2I 시스템(118)을 포함한다. 차량들(102a 내지 102n), 차량 대 인프라스트럭처(V2I) 디바이스(110), 네트워크(112), 자율 주행 차량(AV) 시스템(114), 플릿 관리 시스템(116), 및 V2I 시스템(118)은 유선 연결들, 무선 연결들, 또는 유선 또는 무선 연결들의 조합을 통해 상호연결한다(예를 들면, 통신 등을 위해 연결을 확립한다). 일부 실시예들에서, 대상체들(104a 내지 104n)은 유선 연결들, 무선 연결들 또는 유선 또는 무선 연결들의 조합을 통해 차량들(102a 내지 102n), 차량 대 인프라스트럭처(V2I) 디바이스(110), 네트워크(112), 자율 주행 차량(AV) 시스템(114), 플릿 관리 시스템(116), 및 V2I 시스템(118) 중 적어도 하나와 상호연결한다.
차량들(102a 내지 102n)(개별적으로 차량(102)이라고 지칭되고 집합적으로 차량들(102)이라고 지칭됨)은 상품 및/또는 사람을 운송하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 실시예들에서, 차량들(102)은 네트워크(112)를 통해 V2I 디바이스(110), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된다. 일부 실시예들에서, 차량들(102)은 자동차들, 버스들, 트럭들, 기차들 등을 포함한다. 일부 실시예들에서, 차량들(102)은 본원에 기술된 차량들(200)(도 2 참조)과 동일하거나 유사하다. 일부 실시예들에서, 일단의 차량들(200) 중의 차량(200)은 자율 주행 플릿 관리자와 연관된다. 일부 실시예들에서, 차량들(102)은, 본원에 기술된 바와 같이, 각자의 루트들(106a 내지 106n)(개별적으로 루트(106)라고 지칭되고 집합적으로 루트들(106)이라고 지칭됨)을 따라 주행한다. 일부 실시예들에서, 하나 이상의 차량(102)은 자율 주행 시스템(예를 들면, 자율 주행 시스템(202)과 동일하거나 유사한 자율 주행 시스템)을 포함한다.
대상체들(104a 내지 104n)(개별적으로 대상체(104)라고 지칭되고 집합적으로 대상체들(104)이라고 지칭됨)은, 예를 들어, 적어도 하나의 차량, 적어도 하나의 보행자, 적어도 하나의 자전거 타는 사람, 적어도 하나의 구조물(예를 들면, 건물, 표지판, 소화전(fire hydrant) 등) 등을 포함한다. 각각의 대상체(104)는 정지해(예를 들면, 일정 시간 기간 동안 고정 위치에 위치함) 있거나 움직이고(예를 들면, 속도를 가지며 적어도 하나의 궤적과 연관되어 있음) 있다. 일부 실시예들에서, 대상체들(104)은 구역(108) 내의 대응하는 위치들과 연관되어 있다.
루트들(106a 내지 106n)(개별적으로 루트(106)라고 지칭되고 집합적으로 루트들(106)이라고 지칭됨)은 각각 AV가 운행할 수 있는 상태들을 연결하는 행동들의 시퀀스(궤적이라고도 함)와 연관된다(예를 들면, 이를 규정한다). 각각의 루트(106)는 초기 상태(예를 들면, 제1 시공간적 위치, 속도 등에 대응하는 상태) 및 최종 목표 상태(예를 들면, 제1 시공간적 위치와 상이한 제2 시공간적 위치에 대응하는 상태) 또는 목표 영역(예를 들면, 허용 가능한 상태들(예를 들면, 종료 상태들(terminal states))의 부분 공간(subspace))에서 시작된다. 일부 실시예들에서, 제1 상태는 개인 또는 개인들이 AV에 의해 픽업(pick-up)되어야 하는 위치를 포함하고 제2 상태 또는 영역은 AV에 의해 픽업된 개인 또는 개인들이 하차(drop-off)해야 하는 위치 또는 위치들을 포함한다. 일부 실시예들에서, 루트들(106)은 복수의 허용 가능한 상태 시퀀스들(예를 들면, 복수의 시공간적 위치 시퀀스들)을 포함하며, 복수의 상태 시퀀스들은 복수의 궤적들과 연관된다(예를 들면, 이를 정의한다). 일 예에서, 루트들(106)은, 도로 교차로들에서의 회전 방향들을 지시하는 일련의 연결된 도로들과 같은, 상위 레벨 행동들 또는 부정확한 상태 위치들만을 포함한다. 추가적으로 또는 대안적으로, 루트들(106)은, 예를 들어, 특정 목표 차선들 또는 차선 구역들 내에서의 정확한 위치들 및 해당 포지션(position)들에서의 목표 속력과 같은, 보다 정확한 행동들 또는 상태들을 포함할 수 있다. 일 예에서, 루트들(106)은 중간 목표들에 도달하기 위해 제한된 룩어헤드 구간(lookahead horizon)을 갖는 적어도 하나의 상위 레벨 행동 시퀀스를 따른 복수의 정확한 상태 시퀀스들을 포함하며, 여기서 제한된 구간 상태 시퀀스들의 연속적인 반복들의 조합은 누적되어 복수의 궤적들에 대응하며 이 복수의 궤적들은 집합적으로 최종 목표 상태 또는 영역에서 종료하는 상위 레벨 루트를 형성한다.
구역(108)은 차량들(102)이 운행할 수 있는 물리적 구역(예를 들면, 지리적 영역)을 포함한다. 일 예에서, 구역(108)은 적어도 하나의 주(state)(예를 들면, 국가, 지방, 국가에 포함된 복수의 주들의 개개의 주 등), 주의 적어도 하나의 부분, 적어도 하나의 도시, 도시의 적어도 하나의 부분 등을 포함한다. 일부 실시예들에서, 구역(108)은 간선 도로(highway), 주간 간선 도로(interstate highway), 공원 도로, 도시 거리 등과 같은 적어도 하나의 명명된 주요 도로(thoroughfare)(본원에서 "도로"라고 지칭됨)를 포함한다. 추가적으로 또는 대안적으로, 일부 예들에서, 구역(108)은 진입로(driveway), 주차장의 섹션, 공터 및/또는 미개발 부지의 섹션, 비포장 경로 등과 같은 적어도 하나의 명명되지 않은 도로를 포함한다. 일부 실시예들에서, 도로는 적어도 하나의 차선(예를 들면, 차량(102)에 의해 횡단될 수 있는 도로의 일 부분)을 포함한다. 일 예에서, 도로는 적어도 하나의 차선 마킹과 연관된(예를 들면, 이에 기초하여 식별되는) 적어도 하나의 차선을 포함한다.
차량 대 인프라스트럭처(V2I) 디바이스(110)(때때로 차량 대 인프라스트럭처(V2X) 디바이스라고 지칭됨)는 차량들(102) 및/또는 V2I 인프라스트럭처 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 실시예들에서, V2I 디바이스(110)는 네트워크(112)를 통해 차량들(102), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된다. 일부 실시예들에서, V2I 디바이스(110)는 RFID(radio frequency identification) 디바이스, 사이니지(signage), 카메라(예를 들면, 2차원(2D) 및/또는 3차원(3D) 카메라), 차선 마커, 가로등, 주차 미터기 등을 포함한다. 일부 실시예들에서, V2I 디바이스(110)는 차량들(102)과 직접 통신하도록 구성된다. 추가적으로 또는 대안적으로, 일부 실시예들에서, V2I 디바이스(110)는 V2I 시스템(118)을 통해 차량들(102), 원격 AV 시스템(114), 및/또는 플릿 관리 시스템(116)과 통신하도록 구성된다. 일부 실시예들에서, V2I 디바이스(110)는 네트워크(112)를 통해 V2I 시스템(118)과 통신하도록 구성된다.
네트워크(112)는 하나 이상의 유선 및/또는 무선 네트워크를 포함한다. 일 예에서, 네트워크(112)는 셀룰러 네트워크(예를 들면, LTE(long term evolution) 네트워크, 3G(third generation) 네트워크, 4G(fourth generation) 네트워크, 5G(fifth generation) 네트워크, CDMA(code division multiple access) 네트워크 등), PLMN(public land mobile network), LAN(local area network), WAN(wide area network), MAN(metropolitan area network), 전화 네트워크(예를 들면, PSTN(public switched telephone network)), 사설 네트워크, 애드혹 네트워크, 인트라넷, 인터넷, 광섬유 기반 네트워크, 클라우드 컴퓨팅 네트워크 등, 이러한 네트워크들의 일부 또는 전부의 조합 등을 포함한다.
원격 AV 시스템(114)은 네트워크(112)를 통해 차량들(102), V2I 디바이스(110), 네트워크(112), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일 예에서, 원격 AV 시스템(114)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, 원격 AV 시스템(114)은 플릿 관리 시스템(116)과 동일 위치에 배치된다(co-located). 일부 실시예들에서, 원격 AV 시스템(114)은 자율 주행 시스템, 자율 주행 차량 컴퓨터, 자율 주행 차량 컴퓨터에 의해 구현되는 소프트웨어 등을 포함한, 차량의 컴포넌트들의 일부 또는 전부의 설치에 관여된다. 일부 실시예들에서, 원격 AV 시스템(114)은 차량의 수명 동안 그러한 컴포넌트들 및/또는 소프트웨어를 유지 관리(예를 들면, 업데이트 및/또는 교체)한다.
플릿 관리 시스템(116)은 차량들(102), V2I 디바이스(110), 원격 AV 시스템(114), 및/또는 V2I 인프라스트럭처 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일 예에서, 플릿 관리 시스템(116)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, 플릿 관리 시스템(116)은 라이드 셰어링(ridesharing) 회사(예를 들면, 다수의 차량들(예를 들면, 자율 주행 시스템들을 포함하는 차량들 및/또는 자율 주행 시스템들을 포함하지 않는 차량들)의 작동을 제어하는 조직 등)와 연관된다.
일부 실시예들에서, V2I 시스템(118)은 네트워크(112)를 통해 차량들(102), V2I 디바이스(110), 원격 AV 시스템(114), 및/또는 플릿 관리 시스템(116)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, V2I 시스템(118)은 네트워크(112)와 상이한 연결을 통해 V2I 디바이스(110)와 통신하도록 구성된다. 일부 실시예들에서, V2I 시스템(118)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, V2I 시스템(118)은 지자체 또는 사설 기관(예를 들면, V2I 디바이스(110) 등을 유지 관리하는 사설 기관)과 연관된다.
도 1에 예시된 요소들의 수 및 배열은 예로서 제공된다. 도 1에 예시된 것보다, 추가적인 요소들, 더 적은 요소들, 상이한 요소들 및/또는 상이하게 배열된 요소들이 있을 수 있다. 추가적으로 또는 대안적으로, 환경(100)의 적어도 하나의 요소는 도 1의 적어도 하나의 상이한 요소에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다. 추가적으로 또는 대안적으로, 환경(100)의 적어도 하나의 요소 세트는 환경(100)의 적어도 하나의 상이한 요소 세트에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다.
이제 도 2를 참조하면, 차량(200)은 자율 주행 시스템(202), 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 및 브레이크 시스템(208)을 포함한다. 일부 실시예들에서, 차량(200)은 차량(102)(도 1 참조)과 동일하거나 유사하다. 일부 실시예들에서, 차량(102)은 자율 주행 능력을 갖는다(예를 들면, 완전 자율 주행 차량들(예를 들면, 인간 개입에 의존하지 않는 차량들), 고도 자율 주행 차량들(예를 들면, 특정 상황들에서 인간 개입에 의존하지 않는 차량들) 등을, 제한 없이, 포함한, 차량(200)이 인간 개입 없이 부분적으로 또는 완전히 작동될 수 있게 하는 적어도 하나의 기능, 특징, 디바이스 등을 구현한다). 완전 자율 주행 차량들 및 고도 자율 주행 차량들에 대한 상세한 설명에 대해서는, 그 전체가 참고로 포함되는, SAE 국제 표준 J3016: 온로드 자동차 자동 운전 시스템에 관한 용어의 분류 및 정의(SAE International's standard J3016: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems)가 참조될 수 있다. 일부 실시예들에서, 차량(200)은 자율 주행 플릿 관리자 및/또는 라이드 셰어링 회사와 연관된다.
자율 주행 시스템(202)은 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 및 마이크로폰들(202d)과 같은 하나 이상의 디바이스를 포함하는 센서 스위트(sensor suite)를 포함한다. 일부 실시예들에서, 자율 주행 시스템(202)은 보다 많거나 보다 적은 디바이스들 및/또는 상이한 디바이스들(예를 들면, 초음파 센서들, 관성 센서들, GPS 수신기들(아래에서 논의됨), 차량(200)이 주행한 거리의 표시와 연관된 데이터를 생성하는 주행 거리 측정 센서들 등)을 포함할 수 있다. 일부 실시예들에서, 자율 주행 시스템(202)은 자율 주행 시스템(202)에 포함된 하나 이상의 디바이스를 사용하여 본원에서 기술되는 환경(100)과 연관된 데이터를 생성한다. 자율 주행 시스템(202)의 하나 이상의 디바이스에 의해 생성되는 데이터는 차량(200)이 위치하는 환경(예를 들면, 환경(100))을 관측하기 위해 본원에 기술된 하나 이상의 시스템에 의해 사용될 수 있다. 일부 실시예들에서, 자율 주행 시스템(202)은 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및 드라이브 바이 와이어(drive-by-wire, DBW) 시스템(202h)을 포함한다.
카메라들(202a)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 카메라들(202a)은 물리적 대상체들(예를 들면, 자동차들, 버스들, 연석들, 사람들 등)을 포함하는 이미지들을 캡처하기 위한 적어도 하나의 카메라(예를 들면, CCD(charge-coupled device)와 같은 광 센서를 사용하는 디지털 카메라, 열 카메라, 적외선(IR) 카메라, 이벤트 카메라 등)를 포함한다. 일부 실시예들에서, 카메라(202a)는 카메라 데이터를 출력으로서 생성한다. 일부 예들에서, 카메라(202a)는 이미지와 연관된 이미지 데이터를 포함하는 카메라 데이터를 생성한다. 이 예에서, 이미지 데이터는 이미지에 대응하는 적어도 하나의 파라미터(예를 들면, 노출, 밝기 등과 같은 이미지 특성들, 이미지 타임스탬프 등)를 명시할 수 있다. 그러한 예에서, 이미지는 한 포맷(예를 들면, RAW, JPEG, PNG 등)으로 되어 있을 수 있다. 일부 실시예들에서, 카메라(202a)는 입체시(stereopsis)(스테레오 비전(stereo vision))를 위해 이미지들을 캡처하도록 차량 상에 구성된(예를 들면, 차량 상에 위치결정된(positioned)) 복수의 독립적인 카메라들을 포함한다. 일부 예들에서, 카메라(202a)는 복수의 카메라들을 포함하고, 이 복수의 카메라들은 이미지 데이터를 생성하고 이미지 데이터를 자율 주행 차량 컴퓨터(202f) 및/또는 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템)으로 전송한다. 그러한 예에서, 자율 주행 차량 컴퓨터(202f)는 적어도 2 개의 카메라로부터의 이미지 데이터에 기초하여 복수의 카메라들 중 적어도 2 개의 카메라의 시야 내의 하나 이상의 대상체까지의 깊이를 결정한다. 일부 실시예들에서, 카메라들(202a)은 카메라들(202a)로부터 일정 거리(예를 들면, 최대 100 미터, 최대 1 킬로미터 등) 내의 대상체들의 이미지들을 캡처하도록 구성된다. 그에 따라, 카메라들(202a)은 카메라들(202a)로부터 하나 이상의 거리에 있는 대상체들을 인지하도록 최적화된 센서들 및 렌즈들과 같은 특징부들을 포함한다.
일부 실시예들에서, 카메라(202a)는 시각적 운행 정보를 제공하는 하나 이상의 교통 신호등, 거리 표지판 및/또는 다른 물리적 대상체와 연관된 하나 이상의 이미지를 캡처하도록 구성된 적어도 하나의 카메라를 포함한다. 일부 실시예들에서, 카메라(202a)는 하나 이상의 이미지와 연관된 교통 신호등 데이터를 생성한다. 일부 예들에서, 카메라(202a)는 한 포맷(예를 들면, RAW, JPEG, PNG 등)을 포함하는 하나 이상의 이미지와 연관된 TLD 데이터를 생성한다. 일부 실시예들에서, TLD 데이터를 생성하는 카메라(202a)는, 카메라(202a)가 가능한 한 많은 물리적 대상체들에 관한 이미지들을 생성하기 위해 넓은 시야를 갖는 하나 이상의 카메라(예를 들면, 광각 렌즈, 어안 렌즈, 대략 120도 이상의 시야각을 갖는 렌즈 등)를 포함할 수 있다는 점에서, 카메라들을 포함하는 본원에 기술된 다른 시스템들과 상이하다.
LiDAR(Laser Detection and Ranging) 센서들(202b)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. LiDAR 센서들(202b)은 광 방출기(예를 들면, 레이저 송신기)로부터 광을 송신하도록 구성된 시스템을 포함한다. LiDAR 센서들(202b)에 의해 방출되는 광은 가시 스펙트럼 밖에 있는 광(예를 들면, 적외선 광 등)을 포함한다. 일부 실시예들에서, 작동 동안, LiDAR 센서들(202b)에 의해 방출되는 광은 물리적 대상체(예를 들면, 차량)와 조우하고 LiDAR 센서들(202b)로 다시 반사된다. 일부 실시예들에서, LiDAR 센서들(202b)에 의해 방출되는 광은 광이 조우하는 물리적 대상체들을 투과하지 않는다. LiDAR 센서들(202b)은 광 방출기로부터 방출된 광이 물리적 대상체와 조우한 후에 그 광을 검출하는 적어도 하나의 광 검출기를 또한 포함한다. 일부 실시예들에서, LiDAR 센서들(202b)과 연관된 적어도 하나의 데이터 프로세싱 시스템은 LiDAR 센서들(202b)의 시야에 포함된 대상체들을 나타내는 이미지(예를 들면, 포인트 클라우드, 결합된 포인트 클라우드(combined point cloud) 등)를 생성한다. 일부 예들에서, LiDAR 센서(202b)와 연관된 적어도 하나의 데이터 프로세싱 시스템은 물리적 대상체의 경계들, 물리적 대상체의 표면들(예를 들면, 표면들의 토폴로지) 등을 나타내는 이미지를 생성한다. 그러한 예에서, 이미지는 LiDAR 센서들(202b)의 시야 내의 물리적 대상체들의 경계들을 결정하는 데 사용된다.
레이더(radar, Radio Detection and Ranging) 센서들(202c)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 레이더 센서들(202c)은 전파들을 (펄스형으로 또는 연속적으로) 송신하도록 구성된 시스템을 포함한다. 레이더 센서들(202c)에 의해 송신되는 전파들은 미리 결정된 스펙트럼 내에 있는 전파들을 포함한다. 일부 실시예들에서, 작동 동안, 레이더 센서들(202c)에 의해 송신되는 전파들은 물리적 대상체와 조우하고 레이더 센서들(202c)로 다시 반사된다. 일부 실시예들에서, 레이더 센서들(202c)에 의해 송신되는 전파들이 일부 대상체들에 의해 반사되지 않는다. 일부 실시예들에서, 레이더 센서들(202c)과 연관된 적어도 하나의 데이터 프로세싱 시스템은 레이더 센서들(202c)의 시야에 포함된 대상체들을 나타내는 신호들을 생성한다. 예를 들어, 레이더 센서(202c)와 연관된 적어도 하나의 데이터 프로세싱 시스템은 물리적 대상체의 경계들, 물리적 대상체의 표면들(예를 들면, 표면들의 토폴로지) 등을 나타내는 이미지를 생성한다. 일부 예들에서, 이미지는 레이더 센서들(202c)의 시야 내의 물리적 대상체들의 경계들을 결정하는 데 사용된다.
마이크로폰들(202d)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 마이크로폰들(202d)은 오디오 신호들을 캡처하고 오디오 신호들과 연관된(예를 들면, 이를 나타내는) 데이터를 생성하는 하나 이상의 마이크로폰(예를 들면, 어레이 마이크로폰, 외부 마이크로폰 등)을 포함한다. 일부 예들에서, 마이크로폰들(202d)은 트랜스듀서 디바이스들 및/또는 유사 디바이스들을 포함한다. 일부 실시예들에서, 본원에 기술된 하나 이상의 시스템은 마이크로폰들(202d)에 의해 생성되는 데이터를 수신하고 데이터와 연관된 오디오 신호들에 기초하여 차량(200)을 기준으로 대상체의 포지션(예를 들면, 거리 등)를 결정할 수 있다.
통신 디바이스(202e)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 자율 주행 차량 컴퓨터(202f), 안전 제어기(202g), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 예를 들어, 통신 디바이스(202e)는 도 3의 통신 인터페이스(314)와 동일하거나 유사한 디바이스를 포함할 수 있다. 일부 실시예들에서, 통신 디바이스(202e)는 차량 대 차량(vehicle-to-vehicle, V2V) 통신 디바이스(예를 들면, 차량들 간의 데이터의 무선 통신을 가능하게 하는 디바이스)를 포함한다.
자율 주행 차량 컴퓨터(202f)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 통신 디바이스(202e), 안전 제어기(202g), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 자율 주행 차량 컴퓨터(202f)는 클라이언트 디바이스, 모바일 디바이스(예를 들면, 셀룰러 전화, 태블릿 등), 서버(예를 들면, 하나 이상의 중앙 프로세싱 유닛, 그래픽 프로세싱 유닛 등을 포함하는 컴퓨팅 디바이스) 등과 같은 디바이스를 포함한다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(202f)는 본원에 기술된 자율 주행 차량 컴퓨터(400)와 동일하거나 유사하다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 자율 주행 차량 컴퓨터(202f)는 자율 주행 차량 시스템(예를 들면, 도 1의 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템), 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템), V2I 디바이스(예를 들면, 도 1의 V2I 디바이스(110)와 동일하거나 유사한 V2I 디바이스), 및/또는 V2I 시스템(예를 들면, 도 1의 V2I 시스템(118)과 동일하거나 유사한 V2I 시스템)과 통신하도록 구성된다.
안전 제어기(202g)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 안전 제어기(202g)는 차량(200)의 하나 이상의 디바이스(예를 들면, 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 브레이크 시스템(208) 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된 하나 이상의 제어기(전기 제어기, 전기기계 제어기 등)를 포함한다. 일부 실시예들에서, 안전 제어기(202g)는 자율 주행 차량 컴퓨터(202f)에 의해 생성 및/또는 송신되는 제어 신호들보다 우선하는(예를 들면, 이를 오버라이드하는) 제어 신호들을 생성하도록 구성된다.
DBW 시스템(202h)은 통신 디바이스(202e) 및/또는 자율 주행 차량 컴퓨터(202f)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, DBW 시스템(202h)은 차량(200)의 하나 이상의 디바이스(예를 들면, 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 브레이크 시스템(208) 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된 하나 이상의 제어기(예를 들면, 전기 제어기, 전기기계 제어기 등)를 포함한다. 추가적으로 또는 대안적으로, DBW 시스템(202h)의 하나 이상의 제어기는 차량(200)의 적어도 하나의 상이한 디바이스(예를 들면, 방향 지시등, 헤드라이트, 도어록, 윈도실드 와이퍼 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된다.
파워트레인 제어 시스템(204)은 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 파워트레인 제어 시스템(204)은 적어도 하나의 제어기, 액추에이터 등을 포함한다. 일부 실시예들에서, 파워트레인 제어 시스템(204)은 DBW 시스템(202h)으로부터 제어 신호들을 수신하고, 파워트레인 제어 시스템(204)은 차량(200)이 전진하는 것을 시작하게 하고, 전진하는 것을 중지하게 하며, 후진하는 것을 시작하게 하고, 후진하는 것을 중지하게 하며, 한 방향으로 가속하게 하고, 한 방향으로 감속하게 하며, 좌회전을 수행하게 하고, 우회전을 수행하게 하는 등을 한다. 일 예에서, 파워트레인 제어 시스템(204)은 차량의 모터에 제공되는 에너지(예를 들면, 연료, 전기 등)가 증가하게 하거나, 동일하게 유지되게 하거나, 또는 감소하게 하여, 이에 의해 차량(200)의 적어도 하나의 바퀴가 회전하거나 회전하지 않게 한다.
조향 제어 시스템(206)은 차량(200)의 하나 이상의 바퀴를 회전시키도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 조향 제어 시스템(206)은 적어도 하나의 제어기, 액추에이터 등을 포함한다. 일부 실시예들에서, 조향 제어 시스템(206)은 차량(200)이 좌측 또는 우측으로 방향 전환하게 하기 위해 차량(200)의 전면 2 개의 바퀴 및/또는 후면 2 개의 바퀴가 좌측 또는 우측으로 회전하게 한다.
브레이크 시스템(208)은 차량(200)이 속력을 감소시키게 하고/하거나 정지해 있는 채로 유지하게 하기 위해 하나 이상의 브레이크를 작동시키도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 브레이크 시스템(208)은 차량(200)의 대응하는 로터(rotor)에서 차량(200)의 하나 이상의 바퀴와 연관된 하나 이상의 캘리퍼(caliper)가 닫히게 하도록 구성된 적어도 하나의 제어기 및/또는 액추에이터를 포함한다. 추가적으로 또는 대안적으로, 일부 예들에서, 브레이크 시스템(208)은 자동 긴급 제동(automatic emergency braking, AEB) 시스템, 회생 제동 시스템 등을 포함한다.
일부 실시예들에서, 차량(200)은 차량(200)의 상태 또는 조건의 속성들을 측정 또는 추론하는 적어도 하나의 플랫폼 센서(명시적으로 예시되지 않음)를 포함한다. 일부 예들에서, 차량(200)은 GPS(global positioning system) 수신기, IMU(inertial measurement unit), 휠 속력 센서, 휠 브레이크 압력 센서, 휠 토크 센서, 엔진 토크 센서, 조향각 센서 등과 같은 플랫폼 센서들을 포함한다.
이제 도 3을 참조하면, 디바이스(300)의 개략 다이어그램이 예시되어 있다. 예시된 바와 같이, 디바이스(300)는 프로세서(304), 메모리(306), 저장 컴포넌트(308), 입력 인터페이스(310), 출력 인터페이스(312), 통신 인터페이스(314), 및 버스(302)를 포함한다. 일부 실시예들에서, 디바이스(300)는 차량들(102)의 적어도 하나의 디바이스(예를 들면, 차량들(102)의 시스템의 적어도 하나의 디바이스), 차량들(200)의 적어도 하나의 디바이스(예를 들면, 차량들(200)의 시스템의 적어도 하나의 디바이스), 및/또는 네트워크(112)의 하나 이상의 디바이스(예를 들면, 네트워크(112)의 시스템의 하나 이상의 디바이스)에 대응한다. 일부 실시예들에서, 차량들(102)의 하나 이상의 디바이스(예를 들면, 차량들(102)의 시스템의 하나 이상의 디바이스), 차량들(200)의 하나 이상의 디바이스(예를 들면, 차량들(200)의 시스템의 하나 이상의 디바이스) 및/또는 네트워크(112)의 하나 이상의 디바이스(예를 들면, 네트워크(112)의 시스템의 하나 이상의 디바이스)는 적어도 하나의 디바이스(300) 및/또는 디바이스(300)의 적어도 하나의 컴포넌트를 포함한다. 도 3에 도시된 바와 같이, 디바이스(300)는 버스(302), 프로세서(304), 메모리(306), 저장 컴포넌트(308), 입력 인터페이스(310), 출력 인터페이스(312), 및 통신 인터페이스(314)를 포함한다.
버스(302)는 디바이스(300)의 컴포넌트들 간의 통신을 가능하게 하는 컴포넌트를 포함한다. 일부 실시예들에서, 프로세서(304)는 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로 구현된다. 일부 예들에서, 프로세서(304)는 적어도 하나의 기능을 수행하도록 프로그래밍될 수 있는, 프로세서(예를 들면, 중앙 프로세싱 유닛(CPU), 그래픽 프로세싱 유닛(GPU), 가속 프로세싱 유닛(APU) 등), 마이크로폰, 디지털 신호 프로세서(DSP), 및/또는 임의의 프로세싱 컴포넌트(예를 들면, FPGA(field-programmable gate array), ASIC(application specific integrated circuit) 등)를 포함한다. 메모리(306)는 프로세서(304)가 사용할 데이터 및/또는 명령어들을 저장하는, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 및/또는 다른 유형의 동적 및/또는 정적 저장 디바이스(예를 들면, 플래시 메모리, 자기 메모리, 광학 메모리 등)를 포함한다.
저장 컴포넌트(308)는 디바이스(300)의 작동 및 사용에 관련된 데이터 및/또는 소프트웨어를 저장한다. 일부 예들에서, 저장 컴포넌트(308)는 하드 디스크(예를 들면, 자기 디스크, 광학 디스크, 광자기 디스크, 솔리드 스테이트 디스크 등), CD(compact disc), DVD(digital versatile disc), 플로피 디스크, 카트리지, 자기 테이프, CD-ROM, RAM, PROM, EPROM, FLASH-EPROM, NV-RAM 및/또는 다른 유형의 컴퓨터 판독 가능 매체를, 대응하는 드라이브와 함께, 포함한다.
입력 인터페이스(310)는 디바이스(300)가, 예컨대, 사용자 입력(예를 들면, 터치스크린 디스플레이, 키보드, 키패드, 마우스, 버튼, 스위치, 마이크로폰, 카메라 등)을 통해, 정보를 수신할 수 있게 하는 컴포넌트를 포함한다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 입력 인터페이스(310)는 정보를 감지하는 센서(예를 들면, GPS(global positioning system) 수신기, 가속도계, 자이로스코프, 액추에이터 등)를 포함한다. 출력 인터페이스(312)는 디바이스(300)로부터의 출력 정보를 제공하는 컴포넌트(예를 들면, 디스플레이, 스피커, 하나 이상의 발광 다이오드(LED) 등)를 포함한다.
일부 실시예들에서, 통신 인터페이스(314)는 디바이스(300)가 유선 연결, 무선 연결, 또는 유선 연결과 무선 연결의 조합을 통해 다른 디바이스들과 통신할 수 있게 하는 트랜시버 유사 컴포넌트(예를 들면, 트랜시버, 개별 수신기 및 송신기 등)를 포함한다. 일부 예들에서, 통신 인터페이스(314)는 디바이스(300)가 다른 디바이스로부터 정보를 수신하고/하거나 다른 디바이스에 정보를 제공할 수 있게 한다. 일부 예들에서, 통신 인터페이스(314)는 이더넷 인터페이스, 광학 인터페이스, 동축 인터페이스, 적외선 인터페이스, RF(radio frequency) 인터페이스, USB(universal serial bus) 인터페이스, Wi-Fi® 인터페이스, 셀룰러 네트워크 인터페이스 등을 포함한다.
일부 실시예들에서, 디바이스(300)는 본원에 기술된 하나 이상의 프로세스를 수행한다. 디바이스(300)는 프로세서(304)가, 메모리(306) 및/또는 저장 컴포넌트(308)와 같은, 컴퓨터 판독 가능 매체에 의해 저장된 소프트웨어 명령어들을 실행하는 것에 기초하여 이러한 프로세스들을 수행한다. 컴퓨터 판독 가능 매체(예를 들면, 비일시적 컴퓨터 판독 가능 매체)는 본원에서 비일시적 메모리 디바이스로서 정의된다. 비일시적 메모리 디바이스는 단일의 물리 저장 디바이스 내부에 위치한 메모리 공간 또는 다수의 물리 저장 디바이스들에 걸쳐 분산된 메모리 공간을 포함한다.
일부 실시예들에서, 소프트웨어 명령어들은 통신 인터페이스(314)를 통해 다른 컴퓨터 판독 가능 매체로부터 또는 다른 디바이스로부터 메모리(306) 및/또는 저장 컴포넌트(308)로 판독된다. 실행될 때, 메모리(306) 및/또는 저장 컴포넌트(308)에 저장된 소프트웨어 명령어들은 프로세서(304)로 하여금 본원에 기술된 하나 이상의 프로세스를 수행하게 한다. 추가적으로 또는 대안적으로, 고정 배선(hardwired) 회로는 본원에 기술된 하나 이상의 프로세스를 수행하기 위해 소프트웨어 명령어들 대신에 또는 소프트웨어 명령어들과 함께 사용된다. 따라서, 본원에 기술된 실시예들은, 달리 명시적으로 언급되지 않는 한, 하드웨어 회로와 소프트웨어의 임의의 특정 조합으로 제한되지 않는다.
메모리(306) 및/또는 저장 컴포넌트(308)는 데이터 스토리지 또는 적어도 하나의 데이터 구조(예를 들면, 데이터베이스 등)를 포함한다. 디바이스(300)는 데이터 스토리지 또는 메모리(306) 또는 저장 컴포넌트(308) 내의 적어도 하나의 데이터 구조로부터 정보를 수신하는 것, 그에 정보를 저장하는 것, 그에게로 정보를 통신하는 것, 또는 그에 저장된 정보를 검색하는 것을 할 수 있다. 일부 예들에서, 정보는 네트워크 데이터, 입력 데이터, 출력 데이터, 또는 이들의 임의의 조합을 포함한다.
일부 실시예들에서, 디바이스(300)는 메모리(306)에 그리고/또는 다른 디바이스(예를 들면, 디바이스(300)와 동일하거나 유사한 다른 디바이스)의 메모리에 저장된 소프트웨어 명령어들을 실행하도록 구성된다. 본원에서 사용되는 바와 같이, "모듈"이라는 용어는, 프로세서(304)에 의해 그리고/또는 다른 디바이스(예를 들면, 디바이스(300)와 동일하거나 유사한 다른 디바이스)의 프로세서에 의해 실행될 때, 디바이스(300)(예를 들면, 디바이스(300)의 적어도 하나의 컴포넌트)로 하여금 본원에 기술된 하나 이상의 프로세스를 수행하게 하는 메모리(306)에 그리고/또는 다른 디바이스의 메모리에 저장된 적어도 하나의 명령어를 지칭한다. 일부 실시예들에서, 모듈은 소프트웨어, 펌웨어, 하드웨어 등으로 구현된다.
도 3에 예시된 컴포넌트들의 수 및 배열은 예로서 제공된다. 일부 실시예들에서, 디바이스(300)는 도 3에 예시된 것보다, 추가적인 컴포넌트들, 더 적은 컴포넌트들, 상이한 컴포넌트들, 또는 상이하게 배열된 컴포넌트들을 포함할 수 있다. 추가적으로 또는 대안적으로, 디바이스(300)의 컴포넌트 세트(예를 들면, 하나 이상의 컴포넌트)는 디바이스(300)의 다른 컴포넌트 또는 다른 컴포넌트 세트에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다.
이제 도 4를 참조하면, 자율 주행 차량 컴퓨터(400)(때때로 "AV 스택"이라고 지칭됨)의 예시적인 블록 다이어그램이 예시되어 있다. 예시된 바와 같이, 자율 주행 차량 컴퓨터(400)는 인지 시스템(402)(때때로 인지 모듈이라고 지칭됨), 계획 시스템(404)(때때로 계획 모듈이라고 지칭됨), 로컬화 시스템(406)(때때로 로컬화 모듈이라고 지칭됨), 제어 시스템(408)(때때로 제어 모듈이라고 지칭됨) 및 데이터베이스(410)를 포함한다. 일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408) 및 데이터베이스(410)는 차량의 자율 주행 운행 시스템(예를 들면, 차량(200)의 자율 주행 차량 컴퓨터(202f))에 포함되고/되거나 구현된다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408), 및 데이터베이스(410)는 하나 이상의 독립형 시스템(예를 들면, 자율 주행 차량 컴퓨터(400) 등과 동일하거나 유사한 하나 이상의 시스템)에 포함된다. 일부 예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408), 및 데이터베이스(410)는 본원에 기술된 바와 같이 차량 및/또는 적어도 하나의 원격 시스템에 위치하는 하나 이상의 독립형 시스템에 포함된다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(400)에 포함된 시스템들 중 일부 및/또는 전부는 소프트웨어(예를 들면, 메모리에 저장된 소프트웨어 명령어들), 컴퓨터 하드웨어(예를 들면, 마이크로프로세서, 마이크로컨트롤러, ASIC(application-specific integrated circuit), FPGA(Field Programmable Gate Array) 등), 또는 컴퓨터 소프트웨어와 컴퓨터 하드웨어의 조합으로 구현된다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(400)가 원격 시스템(예를 들면, 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템, 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템, V2I 시스템(118)과 동일하거나 유사한 V2I 시스템 등)과 통신하도록 구성된다는 것이 또한 이해될 것이다.
일부 실시예들에서, 인지 시스템(402)은 환경에서의 적어도 하나의 물리적 대상체와 연관된 데이터(예를 들면, 적어도 하나의 물리적 대상체를 검출하기 위해 인지 시스템(402)에 의해 사용되는 데이터)를 수신하고 적어도 하나의 물리적 대상체를 분류한다. 일부 예들에서, 인지 시스템(402)은 적어도 하나의 카메라(예를 들면, 카메라들(202a))에 의해 캡처되는 이미지 데이터를 수신하고, 이미지는 적어도 하나의 카메라의 시야 내의 하나 이상의 물리적 대상체와 연관되어 있다(예를 들면, 이를 표현한다). 그러한 예에서, 인지 시스템(402)은 물리적 대상체들(예를 들면, 자전거들, 차량들, 교통 표지판들, 보행자들 등)의 하나 이상의 그룹화에 기초하여 적어도 하나의 물리적 대상체를 분류한다. 일부 실시예들에서, 인지 시스템(402)이 물리적 대상체들을 분류하는 것에 기초하여 인지 시스템(402)은 물리적 대상체들의 분류와 연관된 데이터를 계획 시스템(404)으로 송신한다.
일부 실시예들에서, 계획 시스템(404)은 목적지와 연관된 데이터를 수신하고 차량(예를 들면, 차량들(102))이 목적지를 향해 주행할 수 있는 적어도 하나의 루트(예를 들면, 루트들(106))와 연관된 데이터를 생성한다. 일부 실시예들에서, 계획 시스템(404)은 인지 시스템(402)으로부터의 데이터(예를 들면, 위에서 기술된, 물리적 대상체들의 분류와 연관된 데이터)를 주기적으로 또는 연속적으로 수신하고, 계획 시스템(404)은 인지 시스템(402)에 의해 생성되는 데이터에 기초하여 적어도 하나의 궤적을 업데이트하거나 적어도 하나의 상이한 궤적을 생성한다. 일부 실시예들에서, 계획 시스템(404)은 로컬화 시스템(406)으로부터 차량(예를 들면, 차량들(102))의 업데이트된 포지션과 연관된 데이터를 수신하고, 계획 시스템(404)은 로컬화 시스템(406)에 의해 생성되는 데이터에 기초하여 적어도 하나의 궤적을 업데이트하거나 적어도 하나의 상이한 궤적을 생성한다.
일부 실시예들에서, 로컬화 시스템(406)은 한 구역에서의 차량(예를 들면, 차량들(102))의 한 위치와 연관된(예를 들면, 이를 나타내는) 데이터를 수신한다. 일부 예들에서, 로컬화 시스템(406)은 적어도 하나의 LiDAR 센서(예를 들면, LiDAR 센서들(202b))에 의해 생성되는 적어도 하나의 포인트 클라우드와 연관된 LiDAR 데이터를 수신한다. 특정 예들에서, 로컬화 시스템(406)은 다수의 LiDAR 센서들로부터의 적어도 하나의 포인트 클라우드와 연관된 데이터를 수신하고 로컬화 시스템(406)은 포인트 클라우드들 각각에 기초하여 결합된 포인트 클라우드를 생성한다. 이러한 예들에서, 로컬화 시스템(406)은 적어도 하나의 포인트 클라우드 또는 결합된 포인트 클라우드를 데이터베이스(410)에 저장되어 있는 해당 구역의 2차원(2D) 및/또는 3차원(3D) 맵과 비교한다. 로컬화 시스템(406)이 적어도 하나의 포인트 클라우드 또는 결합된 포인트 클라우드를 맵과 비교하는 것에 기초하여 로컬화 시스템(406)은 이어서 해당 구역에서의 차량의 포지션을 결정한다. 일부 실시예들에서, 맵은 차량의 운행 이전에 생성되는 해당 구역의 결합된 포인트 클라우드를 포함한다. 일부 실시예들에서, 맵은, 제한 없이, 도로 기하학적 특성들의 고정밀 맵, 도로 네트워크 연결 특성들을 기술하는 맵, 도로 물리적 특성들(예컨대, 교통 속력, 교통량, 차량 교통 차선과 자전거 타는 사람 교통 차선의 수, 차선 폭, 차선 교통 방향, 또는 차선 마커 유형 및 위치, 또는 이들의 조합)을 기술하는 맵, 및 도로 특징물, 예컨대, 횡단보도, 교통 표지판 또는 다양한 유형의 다른 주행 신호들의 공간적 위치들을 기술하는 맵을 포함한다. 일부 실시예들에서, 맵은 인지 시스템에 의해 수신되는 데이터에 기초하여 실시간으로 생성된다.
다른 예에서, 로컬화 시스템(406)은 GPS(global positioning system) 수신기에 의해 생성되는 GNSS(Global Navigation Satellite System) 데이터를 수신한다. 일부 예들에서, 로컬화 시스템(406)은 해당 구역 내에서의 차량의 위치와 연관된 GNSS 데이터를 수신하고 로컬화 시스템(406)은 해당 구역 내에서의 차량의 위도 및 경도를 결정한다. 그러한 예에서, 로컬화 시스템(406)은 차량의 위도 및 경도에 기초하여 해당 구역에서의 차량의 포지션을 결정한다. 일부 실시예들에서, 로컬화 시스템(406)은 차량의 포지션과 연관된 데이터를 생성한다. 일부 예들에서, 로컬화 시스템(406)이 차량의 포지션을 결정하는 것에 기초하여 로컬화 시스템(406)은 차량의 포지션과 연관된 데이터를 생성한다. 그러한 예에서, 차량의 포지션과 연관된 데이터는 차량의 포지션에 대응하는 하나 이상의 시맨틱 속성과 연관된 데이터를 포함한다.
일부 실시예들에서, 제어 시스템(408)은 계획 시스템(404)으로부터 적어도 하나의 궤적과 연관된 데이터를 수신하고 제어 시스템(408)은 차량의 작동을 제어한다. 일부 예들에서, 제어 시스템(408)은 계획 시스템(404)으로부터 적어도 하나의 궤적과 연관된 데이터를 수신하고, 제어 시스템(408)은 파워트레인 제어 시스템(예를 들면, DBW 시스템(202h), 파워트레인 제어 시스템(204) 등), 조향 제어 시스템(예를 들면, 조향 제어 시스템(206)) 및/또는 브레이크 시스템(예를 들면, 브레이크 시스템(208))이 작동하게 하는 제어 신호들을 생성하여 송신하는 것에 의해 차량의 작동을 제어한다. 궤적이 좌회전을 포함하는 예에서, 제어 시스템(408)은 조향 제어 시스템(206)으로 하여금 차량(200)의 조향각을 조정하게 함으로써 차량(200)이 좌회전하게 하는 제어 신호를 송신한다. 추가적으로 또는 대안적으로, 제어 시스템(408)은 차량(200)의 다른 디바이스들(예를 들면, 헤드라이트, 방향 지시등, 도어록, 윈도실드 와이퍼 등)로 하여금 상태들을 변경하게 하는 제어 신호들을 생성하여 송신한다.
일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 적어도 하나의 머신 러닝 모델(예를 들면, 적어도 하나의 다층 퍼셉트론(MLP), 적어도 하나의 콘볼루션 신경 네트워크(CNN), 적어도 하나의 순환 신경 네트워크(RNN), 적어도 하나의 오토인코더, 적어도 하나의 트랜스포머(transformer) 등)을 구현한다. 일부 예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 단독으로 또는 위에서 언급된 시스템들 중 하나 이상과 조합하여 적어도 하나의 머신 러닝 모델을 구현한다. 일부 예에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 파이프라인(예를 들면, 환경에 위치한 하나 이상의 대상체를 식별하기 위한 파이프라인 등)의 일부로서 적어도 하나의 머신 러닝 모델을 구현한다.
데이터베이스(410)는 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406) 및/또는 제어 시스템(408)으로 송신되며, 이들로부터 수신되고/되거나 이들에 의해 업데이트되는 데이터를 저장한다. 일부 예들에서, 데이터베이스(410)는 작동에 관련된 데이터 및/또는 소프트웨어를 저장하고 자율 주행 차량 컴퓨터(400)의 적어도 하나의 시스템을 사용하는 저장 컴포넌트(예를 들면, 도 3의 저장 컴포넌트(308)와 동일하거나 유사한 저장 컴포넌트)를 포함한다. 일부 실시예들에서, 데이터베이스(410)는 적어도 하나의 구역의 2D 및/또는 3D 맵과 연관된 데이터를 저장한다. 일부 예들에서, 데이터베이스(410)는 도시의 일 부분, 다수의 도시들의 다수의 부분들, 다수의 도시들, 카운티, 주, 국가(State)(예를 들면, 나라(country)) 등의 2D 및/또는 3D 맵과 연관된 데이터를 저장한다. 그러한 예에서, 차량(예를 들면, 차량들(102) 및/또는 차량(200)과 동일하거나 유사한 차량)은 하나 이상의 운전 가능한 영역(예를 들면, 단일 차선 도로, 다중 차선 도로, 간선도로, 시골 길(back road), 오프로드 트레일 등)을 따라 운전할 수 있고, 적어도 하나의 LiDAR 센서(예를 들면, LiDAR 센서들(202b)과 동일하거나 유사한 LiDAR 센서)로 하여금 적어도 하나의 LiDAR 센서의 시야에 포함된 대상체들을 나타내는 이미지와 연관된 데이터를 생성하게 할 수 있다.
일부 실시예들에서, 데이터베이스(410)는 복수의 디바이스들에 걸쳐 구현된다. 일부 예들에서, 데이터베이스(410)는 차량(예를 들면, 차량들(102) 및/또는 차량(200)과 동일하거나 유사한 차량), 자율 주행 차량 시스템(예를 들면, 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템), 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템), V2I 시스템(예를 들면, 도 1의 V2I 시스템(118)과 동일하거나 유사한 V2I 시스템) 등에 포함될 수 있다.
이제 도 5를 참조하면, 가상 에이전트들의 모션을 예측하기 위한 시스템(500)의 예시적인 블록 다이어그램이 예시되어 있다. 시스템(500)은 개방 폐색들에 응답하여 차량의 작동, 모션 또는 거동에 대한 제약들을 부과한다. 일부 경우에, 제약들은 보다 보수적이고 안전한 작동 또는 기동들을 유도한다. 일반적으로, 차량에 대한 제약은 차량의 차량 작동, 모션 또는 거동의 제한 또는 수정이다. 실시예들에서, 본 기술들은 가상 에이전트들에 응답하여 차량에 제약들을 적용한다. 일반적으로, 가상 에이전트는 관측 불가능한(예를 들면, 도 2의 센서들(202)에 의해 검출되지 않는) 경우에도 존재한다고 상정되는 에이전트이다. 차량이 에이전트가 가상 에이전트에 가까운 폐색로부터 나타나는 것을 관측하는 경우, 차량은 본질적으로 폐색에 의해 차단된 보이지 않는 에이전트가 있었다는 가설을 유효화한다. 반대로, 가상 에이전트가 위치했던 이전에 폐색된 구역이 점유되어 있지 않다는 것을 관측하는 것은 폐색에 의해 차단된 보이지 않는 에이전트가 있었다는 가설을 무효화하며, 여기서 폐색된 구역은 계획된 궤적을 따라 진행한 후에 새로 관측 가능하다.
폐색된 구역은 차량에 의해 관측 불가능한 구역(예를 들면, 주차된 차량에 의해 센서 시야로부터 차단된 구역, 시스템(500)과 연관된 센서의 센서 범위 밖의 구역 등)이다. 일부 실시예들에서, 차량은 자율 주행 차량이다. 그러한 실시예들에서, 자율 주행 차량은 도 2에 도시된 차량(200)과 유사하거나 동일하다. 일부 실시예들에서, 시스템(500)은 인지 시스템(502), 계획 시스템(504), 분할 마스크 시스템(segmentation mask system)(530), 에이전트 궤적 시스템(agent trajectory system)(540) 및 에이전트 생성 시스템(550)을 포함한다. 일부 실시예들에서, 계획 시스템(504)은 도 4의 계획 시스템(404)의 일부와 동일하거나 유사하다. 일부 실시예들에서, 계획 시스템(504)은 독립형 외부 또는 백업 계획 시스템(예를 들면, 제어 시스템(408)과 동일하거나 유사한 제어 시스템 등에 포함되는 계획 시스템)이다. 유사하게, 일부 실시예들에서, 인지 시스템(502)은 도 4의 인지 시스템(402)의 일부와 동일하거나 유사하다. 일부 실시예들에서, 인지 시스템(502)은 독립형 외부 또는 백업 인지 시스템(예를 들면, 제어 시스템(408)과 동일하거나 유사한 제어 시스템 등에 포함되는 계획 시스템)이다.
일부 실시예들에서, 시스템(500)은 도 3에 도시된 프로세서(304)를 통해 실행된다. 일부 실시예들에서, 시스템(500)은 클라우드 컴퓨팅 환경에서 원격 프로세서를 사용한다. 일부 실시예들에서, 인지 시스템(502), 계획 시스템(504), 분할 마스크 시스템(530), 에이전트 궤적 시스템(540) 및 에이전트 생성 시스템(550)은 도 3의 디바이스(300)와 동일하거나 유사할 수 있다(예를 들면, 디바이스(300)의 하나 이상의 컴포넌트와 동일하거나 유사한 하나 이상의 컴포넌트를 포함할 수 있다).
인지 시스템(502)은 인지 센서 데이터(512)를 생성한다. 일부 실시예들에서, 인지 시스템(502)은 도 2에 도시된 카메라들(202a), LiDAR 센서들(202b) 및/또는 레이더 센서들(202c)을 포함한다. 인지 시스템(502)은 소나들, 햅틱 디바이스들 등과 같은 추가적인 센서들을 포함할 수 있다. 일부 실시예들에서, 인지 센서 데이터(512)는 카메라 데이터, LiDAR 데이터 또는 레이더 데이터를 포함한다. 보다 일반적으로, 인지 센서 데이터(512)는 차량의 주변 환경을 나타내는 데이터이다. 인지 센서 데이터(512)는 분할 마스크 시스템(530)에 대한 입력으로서 제공된다. 분할 마스크 시스템(530)은, 인지 센서 데이터(512)에 기초하여, 있는 경우, 적어도 하나의 폐색된 구역(532)의 포지션을 나타내는 분할 마스크를 생성한다. 분할 마스크는 관심 영역들을 표시하는 이미지이다. 예를 들어, 분할 마스크에서, 유사한 대상체들에 대응하는 픽셀들은 동일한 라벨을 할당받는다. 그러한 예에서, 분할 마스크에서, 차량들에 대응하는 픽셀들은 1로서 라벨링되고 도로들에 대응하는 픽셀들은 2로서 라벨링된다. 일부 예시적인 분할 마스크들이 아래의 논의에 나와 있을 수 있다. 일부 실시예들에서, 분할 마스크 시스템(530)은 인지 시스템(502) 또는 로컬화 시스템(406)의 일부이다.
일부 실시예들에서, 분할 마스크 시스템(530)은 최대 센서 범위를 수신된 인지 센서 데이터(512)와 비교하는 것에 의해 분할 마스크를 생성한다. 그러한 실시예들에서, 분할 마스크는 차량의 주변들의 조감도로서 표현될 수 있다. 일부 실시예들에서, 최대 센서 범위 내의 구역들에 대응하지만 센서 데이터 포인트들에 의해 채워지지 않는 분할 마스크의 셀들(예를 들면, 픽셀들, 픽셀 그룹들 등)은 폐색된 구역들로서 라벨링된다. 그러한 실시예들에서, 분할 마스크는 폐색된 구역(532) 내의 픽셀들을 1로서 표시하고 폐색되지 않은 구역들 내의 픽셀들을 0으로서 표시하는 2D 이진 이미지이다.
일부 실시예들에서, 폐색된 구역(532)을 나타내는 분할 마스크는 폐색된 구역(532)에 관한 위치 정보, 예컨대, 폐색된 구역(532)이 온로드(on-road)(예를 들면, 운전 가능한 도로 등)인지 오프로드(off-road)(예를 들면, 보도, 비포장 영역, 확 트인 들판 등)인지를 포함한다. 그러한 실시예들에서, 분할 마스크는 온로드 폐색된 구역(532) 내의 픽셀들을 1로서 표시하고, 오프로드 폐색된 구역(532) 내의 픽셀들을 2로서 표시하며, 폐색되지 않은 구역들 내의 픽셀들을 0으로서 표시하는 2D 삼색 이미지(2D ternary image)이다. 대안적으로 또는 추가적으로, 그러한 실시예들에서, 온로드 폐색된 구역(532) 분할 마스크에서의 차선 중앙(예를 들면, 주행 차선의 중앙)에 대응하는 픽셀들은 상이한 라벨(예를 들면, 4)을 부여받는다.
일부 실시예들에서, 분할 마스크 시스템(530)은 분할 마스크에 평활화 알고리즘을 적용한다. 평활화 알고리즘은 폐색된 구역(532)이 보다 매끄럽고 보다 현실적인 경계를 갖는 것을 가능하게 한다. 일부 실시예들에서, 분할 마스크 시스템(530)은 분할 마스크의 픽셀들을 업데이트하기 위해 평활화 알고리즘을 사용할 수 있다.
에이전트 궤적 시스템(540)은 차량의 초기 궤적(522) 및/또는 분할 마스크 상에 표시된 폐색된 구역(들)(532)에 기초하여 상이한 유형들의 에이전트들에 대한 에이전트 궤적들(542)을 생성한다. 초기 궤적(522)은 계획 시스템(504)으로부터 수신되며, 차량이 따라갈 기준 궤적이다. 일반적으로, 궤적은 타임스탬핑된 포즈들의 시퀀스를 지칭한다. 타임스탬핑된 포즈들의 시퀀스는 공간 위치 외에도 속도 프로파일이 또한 전달되는 것을 포함한다. 궤적과 연관된 공간 위치는 에이전트 궤적 생성 시스템(540)에서 하나 이상의 가상 에이전트에 대한 궤적들을 생성하는 데 사용된다. 제약 생성 시스템(560)에서, 차량에 대한 제약들을 결정하기 위해 초기 궤적과 연관된 시간 정보가 평가되고, 에이전트 궤적들과의 충돌들을 피하기 위해 최종적인 실행되는 궤적이 초기 궤적(522)으로부터 수정된다.
예들에서, 초기 궤적(522)은 주변 환경 및 미리 결정된 목적지에서 관측되는 데이터에 기초하여 생성되는 미리 결정된 궤적이다. 예를 들어, 보행자들인 가상 에이전트들에 대한 궤적들은 초기 궤적(522)에 직교하고 초기 궤적(522)을 향하고 있는 일정 헤딩 경로들로서 생성된다. 달리 말하면, 가상적인 보행자들은 폐색된 구역의 최근접 섹션으로부터 최단 가능 경로에 의해 초기 궤적에 접근하는 것으로 가정된다. 폐색된 구역의 최근접 섹션은 보행자를 폐색하기에 충분히 큰 최근접 섹션이다. 실시예들에서, 에이전트 궤적 시스템은 모든 폐색에 대해 하나의 가상 보행자 궤적을 생성(spawn)한다. 예를 들어, 다수의 주차된 자동차들이 한 구역을 폐색하는 경우에, 한 명의 보행자(예를 들면, 가상 에이전트)가 차량이 운행하고 있는 궤적을 따라 각각의 주차된 자동차 후방으로부터 나온다고 가정된다.
일부 실시예들에서, 생성되는 에이전트 궤적들(542)은 개방 폐색 궤적들이다. 개방 폐색 궤적(open occlusion trajectory)은 적어도 한 쌍의 폐색 입구와 폐색 출구를 포함하는 가상 에이전트의 궤적이다. 환언하면, 개방 폐색 궤적은 폐색된 구역들(532)에서의 한 세그먼트 및 폐색된 구역들(532)의 경계에 위치한 2 개의 단부(예를 들면, 폐색 입구 및 폐색 출구)를 포함한다. 폐색 입구는 가상 에이전트가 폐색된 구역(532)에 진입하는 지점이고 폐색 출구는 가상 에이전트가 폐색된 구역(532)으로부터 나와서 차량에 의해 관측 가능한 구역에 재진입하는 지점이다. 일부 실시예들에서, 폐색 출구는 폐색 입구보다 차량에 더 가깝다.
일부 실시예들에서, 에이전트 궤적들(542)은 에이전트 유형에, 적어도 부분적으로, 기초한다. 위에서 논의된 바와 같이, 분할 마스크는 폐색된 구역(532)에 관한 위치 정보, 예컨대, 폐색된 구역(532)이 온로드(예를 들면, 운전 가능한 도로 등)인지 오프로드(예를 들면, 보도, 비포장 영역, 확 트인 들판 등)인지를 포함한다. 폐색된 구역(532)이 온로드이고 차선의 중앙을 따라 위치결정된(positioned) 표준 크기 자동차에 맞도록 충분히 클 때, 가상 에이전트들인 차량들에 대한 궤적들이 생성된다. 폐색된 구역(532)이 온로드 또는 오프로드이고 표준 크기 보행자에 맞도록 충분히 클 때, 가상 에이전트들인 보행자들에 대한 궤적들이 생성된다. 예들에서, 에이전트 궤적들의 생성을 위해 에이전트 유형을 결정할 때 다른 인자들이 고려된다. 예를 들어, 생성된 에이전트 궤적들은 가상 에이전트들인 보행자들이 보행자 무단횡단자 교통으로 알려진 오프로드 폐색된 구역에 있거나 횡단 보도들 근처에 있는 것에 기초할 수 있다. 상이한 유형들의 에이전트들에 대한 에이전트 궤적들(542)을 생성하는 것에 관한 세부 사항들은 아래에서 도 6 및 도 7에서 논의된다.
에이전트 생성 시스템(550)은 에이전트 궤적(542)을 입력으로 받아서 에이전트들(552)의 분포를 생성한다. 일부 실시예들에서, 에이전트 생성 시스템(550)은 에이전트 궤적(542)을 따라 미리 결정된 분해능(예를 들면, 5 미터 이격)으로 이산화된 에이전트 생성 지점들을 결정한다. 에이전트 생성 지점은 가상 에이전트가 생성되는 에이전트 궤적 상의 이산화된 위치이다. 예를 들어, 각각의 에이전트 생성 지점에 대해, 상이한 모션 프로파일들(예를 들면, -0.5ms-2, 0, 0.5ms-2의 가속도를 갖거나 갖지 않는 0ms-1, 0.5ms-1, ..., 2ms-1의 속도)을 갖는 에이전트들(552)(예를 들면, 시뮬레이션된 에이전트들)의 분포가 에이전트 생성 시스템(550)에 의해 생성된다. 일 예에서, 에이전트의 양의 속도(positive velocity)는 에이전트가 차량을 향해 이동하고 있음을 나타낸다. 에이전트들의 분포에 기초하여 상이한 모션 프로파일들이 생성될 수 있다. 예를 들어, 에이전트들의 가우시안 분포에 기초하여 상이한 모션 프로파일들이 생성된다. 일부 실시예들에서, 차량으로부터 멀어지게 이동하는 에이전트들은 계산 리소스들을 절감하기 위해 무시된다(예를 들면, 에이전트 생성 시스템(550)에 의해 제거되거나 해체된다).
일부 실시예들에서, 각각의 에이전트 생성 지점은 에이전트들(552)을 한 번 생성하는 데 사용된다. 예를 들어, 에이전트 생성 지점들로부터 차량까지의 임계(threshold) 거리가 충족될 때 에이전트들(552)을 생성하기 위해 에이전트 생성 지점들이 사용된다. 추가적으로, 폐색된 구역의 최근접 지점으로부터 차량까지의 임계 거리가 충족될 때 에이전트들(552)을 생성하기 위해 에이전트 생성 지점들이 사용된다. 실시예들에서, 임계 거리는, 500 미터와 같이, 미리 결정되어 있다. 실시예들에서, 임계 거리는 (예를 들면, 로지스틱 회귀 모델을 사용하여) 인지 시스템(502)의 범위들에 기초하여 계산된다. 일부 실시예들에서, 일부 에이전트 생성 지점들은 반복되는 에이전트들(552)을 생성하기 위해 반복적으로 사용된다. 일부 예시적인 시나리오들에서 에이전트들을 생성하는 것에 관한 세부 사항들은 아래에서 도 6 및 도 7에서 논의된다.
에이전트들(552)은 제약 생성 시스템(560)에 대한 입력으로서 제공된다. 예들에서, 차량 또는 차량의 계획된 경로를 향해 진행하는 가상 에이전트들은 차량의 거동에 대한 보다 엄격한 제약들과 연관된다. 예들에서, 보행자와 같은 가상 에이전트에 대한 진행 방향은 AV 경로에 수직인 것으로 가정된다. 일반적으로, 이것은 가상 에이전트가 AV의 경로를 가로막아 충돌을 야기할 수 있는 최악의 시나리오를 나타낸다. 차량 거동에 대한 보다 엄격한 제약들은 폐색된 구역이 관측되는 시간 동안의 차량 거동에 대한 제한을 포함한다. 예들에서, 제약 생성 시스템(560)은 제약이 가상 에이전트와의 충돌을 방지할 가능성에 기초하여 제약들을 생성한다. 차량의 작동을 가능하게 하는 하나 이상의 시스템을 사용하여 차량 기능을 통제하기 위해 제약들이 적용된다. 예를 들어, 하나 이상의 제약이 제어 시스템 또는 계획 시스템에 의해 획득되고 차량 기능들에 적용된다.
제어 시스템은 속도, 조향, 스로틀링, 제동 등에 제한들을 적용할 수 있다. 가상 에이전트들이 차량을 향해 진행하는 예에서, 제어 시스템은 가상 에이전트가 차량과 충돌하는 시나리오를 피하기 위해 명령 속도(command velocity)에 제한들을 적용할 수 있다. 반대로, 차량 또는 차량의 계획된 경로로부터 멀어지게 진행하는 에이전트들은 차량의 계획된 경로와 교차하거나 차량의 계획된 경로를 방해할 가능성이 보다 낮으며, 그 결과, 차량의 거동에 대한 덜 엄격한 제약들이 부과된다. 가상 에이전트들이 차량으로부터 멀어지게 진행하는 예에서, 가상 에이전트들이 차량의 경로로부터 멀어지게 이동하기 때문에 차량 거동에 대한 제한들이 필요하지 않다. 제약의 일 예는 속력의 증가 또는 감소(완전히 정지하는 것을 포함함), 경로 변경을 결과할 수 있는 횡방향 이격거리 임계치 등이다. 일부 예시적인 개방 폐색 궤적들은 아래에서 도 6a 및 도 7에 나와 있을 수 있다.
일 예에서, 계획 시스템은 제약 생성 시스템(560)으로부터의 제약들에, 적어도 부분적으로, 기초하여 초기 궤적에 제한들을 적용할 수 있다. 실시예들에서, 에이전트들(552)은, 계획 시스템(504) 또는 도 4의 계획 시스템(404)과 같은, 계획 시스템에 제공된다. 일부 실시예들에서, 에이전트들(552)은 제약 생성 시스템(560)에 의해 결정되는 바와 같은 차량 거동에 대한 제약들을 도입하고, 계획 시스템은 계획된 경로에 대한 에이전트들의 영향을 평가한다. 계획 시스템은 차량이 에이전트들과 충돌하는 것을 피하게 기동하도록 차량에 대한 경로 또는 궤적을 업데이트한다. 일부 실시예들에서, 업데이트된 경로 또는 궤적은 제어 시스템(408)에 의해 차량을 제어하는 데 사용된다.
이제 도 6a를 참조하면, 가상 에이전트들을 생성 및 업데이트하기 위한 예시적인 시나리오(600)가 예시되어 있다. 예시적인 시나리오(600)에서, 가상 에이전트는 시뮬레이션된 보행자이다. 실시예들에서, 업데이트는 이산 시간으로 수행되며, 여기서 가상 에이전트들이 매번의 인지 업데이트(연속적인 관측들 사이의 지연과 동등한 업데이트 시간 단계) 시에 또는 덜 빈번하게 업데이트될 수 있다. 다음 논의에서는 2 개의 시간 단계 t 및 t+1을 제시한다. 시간 t는 이전 시간 단계를 나타내고 시간 t+1은 현재 시간 단계를 나타낼 수 있다. 그렇지만, 시간 t 및 시간 t+1은 임의의 시간 단계 및 직후의 시간 단계(예를 들면, 현재 시간 단계 및 미래 시간 단계)를 나타낼 수 있다.
시간 t에서, 차량(610)은 계획된 차량 경로(612a)를 갖는다. 일부 실시예들에서, 계획된 차량 경로(612a)는 이전 시간에서 생성된다. 일부 실시예들에서, 차량(610)은 시스템(500)을 포함하는 차량(200)이고, 계획된 차량 경로(612a)는 예시적인 초기 궤적(522)이다. 폐색된 영역(620a)은 2 개의 주차된 차량(630a 및 630b)에 의해 차량(610)의 관측으로부터 차단된다. 폐색된 영역(620a)은 예시적인 폐색된 구역(532)이다. 일부 실시예들에서, 폐색 영역(620a)은 성숙된 폐색 영역(mature occlusion region)이다. 성숙된 폐색 영역은 충분히 긴 지속기간 동안 차량에 의해 관측 가능하지 않은 영역이며, 보이지 않는 대상체들(예를 들면, 보행자들, 자전거 타는 사람들 등)을 포함할 가능성이 매우 높은 영역이다. 성숙된 폐색 영역의 일 예는 버스, 장벽, 트롤리(trolley) 등에 의해 폐색되는 영역을 포함한다.
차량(610)은 차량(610)의 분할 마스크 시스템(530)에 의해 생성되는 분할 마스크 상의 표시들을 통해 폐색 영역(620a)을 인식한다. 일부 실시예들에서, 분할 마스크 상의 각각의 셀에 대한 폐색의 성숙도가 유지된다. 일부 실시예들에서, 분할 마스크 상에 표시된 폐색 영역(620a)은 운전 가능한 도로의 일부를 포함하지 않는다. 예를 들어, 성숙된 폐색은 임계 시간 지속기간보다 더 오랫동안 폐색되는 폐색이다.
예들에서, 폐색 영역은 통계 모델에 따라 관측 가능한 것으로부터 신규 폐색(fresh occlusion)으로, 성숙된 폐색으로, 그리고 관측 가능한 폐색으로 다시 전환된다. 통계 모델은 영역이 보행자, 자전거 또는 차량에 의해 점유될 확률을 기술한다. 실시예들에서, 통계 모델은 푸아송 프로세스(Poisson Process)이다. 푸아송 프로세스는, 이벤트들 간의 평균 시간은 알려져 있지만 이벤트들의 정확한 타이밍은 랜덤한, 일련의 이산적인 이벤트에 대한 모델이다. 도 6a의 예에서, 맑은 날 평일 오전에, 평균적으로, 길을 건너는 보행자가 매 10초마다 있다고 가정한다. 그러면, 해당 구역이 한 명 이상의 보행자에 의해 점유될 확률은 다음과 같으며:
Figure pat00001
여기서
Figure pat00002
도 6b는 3 개의 상이한 람다 값에 대한 확률을 예시한다. 확률은 보다 큰 람다 값들에 대해 보다 빠른 속도로 1로 되는 경향이 있다. 예들에서, 확률이, 예를 들어, 0.7(70%)보다 클 때 폐색된 구역은 성숙된 상태이다. 도 6b의 예에서, 이러한 람다 값들에 대해 요구되는 전환 시간은, 제각기, 2.4초, 3.2초 및 4.8초이다.
도 6a를 또다시 참조하면, 차량(610)의 에이전트 궤적 시스템(540)은 폐색 영역(620a)에 기초하여 가상 에이전트에 대한 궤적들(640a 및 650a)을 생성한다. 이 예에서, 시뮬레이션된 에이전트는 보행자이고, 가상 에이전트 궤적들(640a 및 650a)은 개방 폐색 궤적들이다. 궤적들(640a 및 650a)은 폐색 영역(620a) 내로부터 계획된 차량 경로(612a)를 향해 연장된다. 궤적들(640a 및 650a)의 방향들은 궤적들(640a 및 650a)을 따라 진행하는 가상 에이전트들의 속도들 및 가속도들의 양의 방향들을 나타낸다. 일부 실시예들에서, 궤적들(640a 및 650a)은 보행자 유사 가상 에이전트들이 차량(610)을 향해 진행하는 최단 궤적들을 나타내기 위해 계획된 차량 경로(612a)에 수직이다. 일부 실시예들에서, 궤적들(640a 및 650a) 양쪽 모두는 차량(610)에 의해 관측 가능한 구역에 폐색 입구들 및 폐색 출구들을 갖는다.
궤적들(640a 및 650a)이 주어지면, 차량(610)의 에이전트 생성 시스템(550)은 궤적들(640a 및 650a)을 따라 이산화된 에이전트 생성 지점들을 결정한다. 궤적(640a)을 따른 예시적인 에이전트 생성 지점은 지점(642a)이고 궤적(650a)을 따른 다른 예시적인 에이전트 생성 지점은 지점(652a)이다. 지점(642a) 및 지점(652a) 양쪽 모두가 폐색된 영역(620a)에 있으므로, 지점(642a) 또는 지점(652a)에 생성되는 에이전트들은 가상 에이전트들이다.
차량(610)이 에이전트 생성 지점(예를 들면, 지점(642a) 또는 지점(652a))으로부터 임계 거리 내에 있을 때, 에이전트 생성 시스템(550)은 다양한 모션 프로파일들을 갖는 에이전트들의 분포를 생성하기 위해 임계 거리 내의 지점을 사용한다. 예를 들어, 시간 t에서, 지점(642a)은 차량으로부터 임계 거리 내에 있지만 지점(652a)은 그렇지 않으며, 에이전트 생성 시스템(550)은 에이전트들을 생성하기 위해 지점(642a)이 아닌 지점(652a)을 사용한다. 일부 실시예들에서, 에이전트들을 생성하는 데 사용되는 다양한 모션 프로파일들은 분포 함수(예를 들면, 가우시안 분포)로부터 온 것이다. 생성되는 에이전트들은 각자의 모션 프로파일들에 따라 추후 시간(예를 들면, 시간 t+1)으로 전파될 것이다. 차량(610)이 미래 시간에(예를 들면, 시간 t+1에서) 에이전트들과 충돌하는 것을 피하도록, 생성되는 에이전트들은 계획된 차량 경로(612a)를 업데이트하기 위해 차량(610)의 계획 시스템(404)에 제공된다.
일부 실시예들에서, 차량(610)은 계획된 차량 경로(612a)를 따라가고, 시간 t+1에서, 현재 상태(예를 들면, 시간 t+1에서의 새로운 포즈, 새로운 포지션 또는 새로운 배향)를 갖는다. 어떤 이전에 폐색된 공간은 차량(610)에 의해 관측 가능하게 되는 반면 어떤 이전에 관측 가능한 구역은 폐색되게 된다. 일 예에서, 폐색된 영역(620b)은 폐색된 채로 있는 이전에 폐색된 공간이고, 성숙된 폐색 영역이다. 일 예에서, 폐색된 영역(620c)은 시간 t에서 차량에 의해 관측 가능했지만, 시간 t+1에서는 관측 가능하지 않으며 최근에 폐색되었다. 폐색된 영역(620c)은 신규 폐색 영역이라고 불린다. 신규 폐색 영역은 차량(610)이 최근에 관측한 구역들을 나타내며, 보이지 않는 대상체들을 포함할 가능성이 아주 적다. 일부 실시예들에서, 임계 지속기간은 신규 폐색 영역과 성숙된 폐색 영역을 구별하는 데 사용된다. 단순함을 위해, 다음 논의에서, 임계 지속기간은 하나의 시간 단계이다. 예를 들어, 시간 t+1에서의 신규 폐색 영역인 폐색된 영역(620c)은 다음 시간 단계(예를 들면, 시간 t+2)에서 성숙된 폐색 영역이 될 것이다.
시간 t+1에서, 차량(610)의 계획 시스템(404)은 시간 t에서 생성되는 에이전트들을 포함하는 시간 t에서의 정보에 기초하여 새로운 계획된 차량 경로(612b)를 생성한다. 일부 실시예들에서, 새로운 계획된 차량 경로(612b)는 다음 시간 단계(예를 들면, 시간 t+2)까지 차량에 의해 추종된다. 새로운 계획된 차량 경로(612b)는, 계획된 차량 경로(612a)를 업데이트하는 것과 유사하게, 추후 정보에 기초하여 업데이트될 수 있다. 일부 실시예들에서, 새로운 계획된 차량 경로(612b)는 차량(610)의 현재 상태의 일부이다.
시간 t+1에서의 폐색된 영역들(620b 및 620c)이 주어지면, 차량(610)의 에이전트 궤적 시스템(540)은 보행자 유사 가상 에이전트에 대한 새로운 개방 폐색 궤적들을 생성한다. 새로운 계획된 차량 경로(612b)에 수직인 2 개의 예시적인 새로운 폐색 궤적(640b 및 650b). 일부 실시예들에서, 차량(610)의 현재 상태에 기초하여 궤적들(640a, 650a)의 새로운 포지션들을 계산하는 것에 의해 궤적들(640a 및 650a)을 업데이트하는 것에 의해 새로운 폐색 궤적들(640b 및 650b)이 생성된다.
차량(610)의 에이전트 생성 시스템(550)은 새로운 폐색 궤적들(640b 및 650b)을 받아서 여러 새로운 이산적인 에이전트 생성 지점들을 결정한다. 2 개의 예시적인 새로운 에이전트 생성 지점은 궤적(640b)을 따라 있는 지점(642b) 및 궤적(650b)을 따라 있는 지점(652b)이다. 일부 실시예들에서, 새로운 에이전트 생성 지점들은 성숙된 폐색 영역(620b)에만 있고 신규 폐색 영역(620c)에는 없는데, 왜냐하면 신규 폐색 영역(620c)이 최근에 점유되지 않은 것으로 차량(610)에 의해 관측되었으며 가상 에이전트들을 생성해서는 안 되기 때문이다.
일부 실시예들에서, 차량(610)의 현재 상태는 새로운 에이전트 생성 지점들(642b 및 652b)이 에이전트 생성 지점들(642a 및 652a)에 대응하는지 여부를 결정하는 데 사용된다. 예시적인 데이터 연관 프로세스에서, 차량(610)과 지점(642a)의 시간 t에서의 상대 포지션들에 기초하여 에이전트 생성 지점(642a)에 대한 업데이트된 포지션을 계산하기 위해 에이전트 생성 시스템에서 차량(610)의 현재 상태가 사용된다. 에이전트 생성 지점(642a)에 대한 업데이트된 포지션이 새로운 에이전트 생성 지점(642b)으로부터 작은 임계 거리 내에 있는 경우, 지점(642a)과 지점(642b)은 서로 대응한다.
단순함을 위해, 다음 논의는 지점(642b)이 지점(642a)에 대응하고 지점(652b)이 지점(652a)에 대응한다고 가정한다. 시간 t+1에서, 차량(610)은 지점들(642b 및 652b)로부터의 임계 거리를 충족시키는 것으로 가정된다. 일부 실시예들에서, 지점(642a)이 시간 t에서 에이전트들을 생성하는 데 사용되었기 때문에, 지점(642b)은 시간 t+1에서 에이전트들을 생성하는 데 사용되지 않는다. 이 경우에, 궤적(650b)을 따라가는 에이전트들을 생성하기 위해 에이전트 생성 시스템(550)에 의해 지점(652b)만이 사용된다. 이것은 중복된 에이전트 세트들을 허용하지 않으며 에이전트 생성 프로세스가 차량(610)의 계산 리소스에 관해 효율적이도록 보장한다. 일부 실시예들에서, 지점(642a)과 지점(642b) 사이의 대응관계와 같은 에이전트 생성 지점들 사이의 대응관계는 각각의 에이전트 생성 지점이, 상이한 시간에서조차도(예를 들면, 상이한 시간 단계들에서조차도), 에이전트들을 생성하는 데 한 번만 사용되도록 보장한다.
일부 실시예들에서, 에이전트 생성 시스템(550)은 반복되는 에이전트들을 생성하기 위해 폐색된 영역들(예를 들면, 폐색된 영역(620a) 또는 폐색된 영역(620b)과 폐색된 영역(620c)의 합집합)의 경계들 근처에 일부 에이전트 생성 지점들을 결정한다. 반복되는 에이전트들은 부주의한 보행자 유사 에이전트들(예를 들면, 부주의한 보행자, 도로 근처에서 스케이트를 타는 사람 또는 빙빙 돌면서 자전거를 타는 사람)을 나타낸다. 각각의 반복되는 에이전트 생성 지점은 반복되는 에이전트들의 분포를 생성하는 데도 사용될 수 있다. 반복되는 에이전트 생성 지점들은 위에서 기술된 예시적인 데이터 연관 프로세스를 사용하여 대응관계를 확립하는 데 사용될 수 있다.
시간 t+1에서, 에이전트 생성기는 시간 t에서 생성된 에이전트들의 포지션들 및 속도들을 업데이트한다. 에이전트의 모션 프로파일을 따라 시간 t에서 생성된 에이전트는 시간 t+1에서 업데이트된 포지션 및 업데이트된 속도를 갖는다. 일부 실시예들에서, 가상 에이전트가 충분한 양의 시간(예를 들면, 0.3초) 동안 차량(610)에 의해 관측 가능한 구역에 머무르는 경우, 가상 에이전트는 에이전트 생성 시스템(550)이 에이전트를 삭제하거나 해체하는 것을 통해 향후 업데이트들로부터 제거된다. 일부 실시예들에서, 시간의 양은 시간 단계들의 수(예를 들면, 다음 5 개의 시간 단계)의 관점에서 정의된다. 이 지연은 폐색 경계들 주위에서의 인지 불확도를 완화시킬 수 있다. 보다 빠른 가상 에이전트들은 가시 영역에 보다 일찍 진입하고, 전형적으로 보다 큰 제약들을 부과할 것이지만, 또한 보다 일찍 종료될 것이다. 폐색된 구역 내에서 보다 긴 시간 동안 잔존하는 에이전트들은 지연 효과(lagging effect) 또는 약간 더 느린 보행자 유사 에이전트(예를 들면, 자전거 타는 사람, 스케이트 타는 사람 및/또는 보행자)를 나타낸다. 에이전트들의 삭제 또는 해체는 차량(610)의 메모리 공간 및 계산 리소스들을 해제한다.
일부 실시예들에서, 음의 속도들을 갖는 에이전트들은 에이전트들이 충분한 양의 시간 동안 음의 속도들을 갖는 경우 향후 업데이트들로부터 제거된다. 음의 속도들을 갖는 에이전트들은 차량(610)의 경로로부터 멀어지게 이동하는 보행자들을 나타내며 따라서 차량(610)의 거동에 훨씬 덜 엄격한 제약들을 부과한다. 향후 업데이트들로부터 이러한 에이전트들을 제거하는 것은 또한 차량(610)의 메모리 공간 및 계산 리소스들을 해제한다.
이제 도 7을 참조하면, 시뮬레이션된 차량들인 가상 에이전트들에 대한 에이전트 생성 지점들을 결정하기 위한 예시적인 시나리오(700)가 예시되어 있다. 일부 실시예들에서, 시뮬레이션된 차량들인 가상 에이전트들을 생성 및 업데이트하는 것은 위에서 기술된 보행자 유사 가상 에이전트들을 생성 및 업데이트하는 것과 동일하거나 유사하다. 일부 실시예들에서, 프로세스(700)는 차량(710)에 의해 수행된다. 일부 실시예들에서, 차량(710)은 시스템(500)을 포함하는 차량(200)이다. 일부 실시예들에서, 차량(710)은 차량(610)과 동일하거나 유사하다.
실시예들에서, 차량(710)의 자율 주행 시스템(702)(도 2의 자율 주행 시스템(202)과 동일하거나 유사함)은 차량(710)의 분할 마스크 시스템(530)에 의해 생성되는 분할 마스크 상의 표시들을 통해 다른 온로드 차량(740)에 의해 차단되는 폐색 영역(720)을 인식한다. 일부 실시예들에서, 분할 마스크 상에 표시되는 폐색 영역(720)은 운전 가능한 도로의 일부를 포함한다. 운전 가능한 도로는 차선 중앙(730)을 포함한다. 일부 실시예들에서, 차선 중앙(730)은 운전 가능한 도로 상에 포함되는 주행 차선의 중앙이다.
차량(710)의 시스템(702)은 폐색 영역(720)에서 차선 중앙(730)을 인식한다. 인식은 분할 마스크 상의 표시들에 기초하거나, 인지 센서 데이터(512)를 사용하여 재구성되는 환경의 보간 또는 외삽에 기초하거나, 또는 양쪽 모두이다.
차량(710)의 에이전트 궤적 시스템(540)은 차선 중앙(730)에 기초하여 시뮬레이션된 차량들인 가상 에이전트들에 대한 새로운 개방 폐색 궤적들을 생성한다. 예시적인 개방 폐색 궤적은 차선 중앙(730)을 따라 있다. 일부 실시예들에서, 개방 폐색 궤적은 주행 방향에 관계없이 차량(710)을 향해 연장된다. 그러한 실시예들에서, 차량 유사 에이전트들은 이상 거동들(예를 들면, 역주행, 후진 등)을 갖는 차량들을 나타낼 수 있다.
차량(710)의 에이전트 생성 시스템(550)은 새로운 폐색 궤적들을 받아서 개방 폐색 궤적들을 따라 있는 이산적인 에이전트 생성 지점들을 결정한다. 시뮬레이션된 차량인 가상 에이전트에 대한 예시적인 에이전트 생성 지점은 차선 중앙(730)을 따라 있는 지점(732)이다. 일부 실시예들에서, 에이전트 생성 시스템(550)은 반복되는 시뮬레이션된 차량들을 가상 에이전트들로서 생성하기 위해 폐색된 영역(720)의 운전 가능한 도로 세그먼트의 경계들 근처에 일부 에이전트 생성 지점들을 결정한다.
이제 도 8을 참조하면, 가상 에이전트들의 모션을 예측하기 위한 예시적인 프로세스(800)의 플로차트가 예시되어 있다. 일부 실시예들에서, 프로세스(800)와 관련하여 기술된 단계들 중 하나 이상은 차량(610) 및/또는 차량(710)의 프로세서(304)에 의해 (예를 들면, 전체적으로, 부분적으로 등으로) 수행된다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 프로세스(800)와 관련하여 기술된 하나 이상의 단계는, 클라우드 컴퓨팅 환경에 있는 원격 프로세서와 같은, 프로세서(304)와 별개이거나 이를 포함한 다른 디바이스 또는 디바이스 그룹에 의해 (예를 들면, 전체적으로, 부분적으로 등으로) 수행된다.
도 8을 계속 참조하면, 차량을 둘러싼 환경을 나타내는 센서 데이터가 수신된다(블록(810)). 예를 들어, 차량을 둘러싼 환경을 나타내는 센서 데이터는 차량의 시스템(예를 들면, 차량(610) 및/또는 차량(710)과 동일하거나 유사한 차량의 시스템)에 의해 수신될 수 있다. 일부 실시예들에서, 센서 데이터는 도 5에 도시된 인지 시스템(502)으로부터 생성되는 인지 센서 데이터(512)이다. 일부 실시예들에서, 차량은 도 6a에 도시된 차량(610)이다. 일부 실시예들에서, 차량은 도 7에 도시된 차량(710)이다.
도 8을 계속 참조하면, 적어도 하나의 폐색된 구역을 나타내는 분할 마스크가 생성된다(블록(820)). 일부 실시예들에서, 분할 마스크는 도 5에 도시된 분할 마스크 시스템(530)에 의해 생성된다. 일부 실시예들에서, 적어도 하나의 폐색된 구역은 도 5에 도시된 폐색된 구역(532)이다. 일부 실시예들에서, 이전 시간으로부터의 분할 마스크 상에 표시된 적어도 하나의 폐색된 구역은 차량의 현재 상태에 기초하여 업데이트된다. 그러한 실시예들에서, 업데이트된 적어도 하나의 폐색된 구역은 폐색된 영역들(620b 및 620c) 중 하나이다. 일부 실시예들에서, 적어도 하나의 반복되는 에이전트 생성 지점은 적어도 하나의 폐색된 구역의 경계 근처에(예를 들면, 그 내에) 있도록 결정된다.
도 8을 계속 참조하면, 분할 마스크 상의 적어도 하나의 폐색된 구역에서의 적어도 하나의 가상 에이전트 궤적이 생성된다(블록(830)). 일부 실시예들에서, 적어도 하나의 가상 에이전트 궤적은 도 5에 도시된 에이전트 궤적 시스템(540)에 의해 생성된다. 일부 실시예들에서, 적어도 하나의 가상 에이전트 궤적은 개방 폐색 궤적이다. 일부 실시예들에서, 적어도 하나의 가상 에이전트 궤적은, 개방 폐색 보행자 유사 가상 에이전트 궤적들(640a 및 650a)과 같은, 차량의 계획된 경로에 기초하거나 이에 수직이다. 일부 실시예들에서, 적어도 하나의 가상 에이전트 궤적은, 차선 중앙(730)을 따라 있는 개방 폐색 차량 유사 가상 에이전트 궤적과 같은, 주행 차선의 중앙에 기초하거나 이를 따라 있다. 일부 실시예들에서, 적어도 하나의 가상 에이전트 궤적은 적어도 하나의 폐색된 구역 및 차량의 계획된 경로를 업데이트하는 것에 기초하여 업데이트된다. 그러한 실시예들에서, 업데이트된 적어도 하나의 가상 에이전트 궤적은 개방 폐색 보행자 유사 가상 에이전트 궤적들(640b 및 650b) 중 하나이다.
도 8을 계속 참조하면, 적어도 하나의 에이전트 궤적을 따라 있는 적어도 하나의 에이전트 생성 지점이 결정된다(블록(840)). 일부 실시예들에서, 적어도 하나의 에이전트 생성 지점은 도 5에 도시된 에이전트 생성 시스템(550)에 의해 생성된다. 일부 실시예들에서, 적어도 하나의 업데이트된 에이전트 생성 지점은 업데이트된 적어도 하나의 에이전트 궤적에 기초하여 결정된다. 그러한 실시예들에서, 적어도 하나의 업데이트된 에이전트 생성 지점은 지점(642b) 및 지점(652b) 중 하나이다. 일부 실시예들에서, 적어도 하나의 업데이트된 에이전트 생성 지점이 이전에 사용된 에이전트 생성 지점에 대응하지 않는 것으로 결정된다. 그러한 실시예들에서, 지점(642b)은 이전에 사용된 에이전트 생성 지점(642a)에 대응하고 또다시 사용되지 않는다.
도 8을 계속 참조하면, 적어도 하나의 에이전트 생성 지점으로부터 차량까지의 임계 거리가 충족되는지 여부가 결정된다(블록(850)). 일부 실시예들에서, 적어도 하나의 에이전트 생성 지점으로부터 차량까지의 임계 거리는 미리 결정된다. 일부 실시예들에서, 적어도 하나의 에이전트 생성 지점으로부터 차량까지의 임계 거리는 차량에 장착된 센서들의 감지 범위에 기초하여 계산된다.
도 8을 계속 참조하면, 미리 정의된 임계 거리가 충족된다고 결정하는 것에 기초하여, 적어도 하나의 에이전트 생성 지점에 기초하여 적어도 하나의 모션 프로파일과 연관된 적어도 하나의 에이전트가 생성된다(블록(860)). 일부 실시예들에서, 적어도 하나의 에이전트는 에이전트들의 분포로부터 온 것이다. 일부 실시예들에서, 생성되는 에이전트들은 도 5에 도시된 에이전트(552)이다. 일부 실시예들에서, 적어도 하나의 에이전트 생성 지점은 도 6 및 도 7에 도시된 에이전트 생성 지점들(642a, 642b, 652a, 652b 또는 732) 중 하나이다. 일부 실시예들에서, 적어도 하나의 반복되는 에이전트 생성 지점을 결정하는 것에 기초하여 적어도 하나의 모션 프로파일과 연관된 적어도 하나의 반복되는 에이전트가 생성된다. 일부 실시예들에서, 생성된 에이전트의 포지션(position) 및 속도(velocity)는 그의 모션 프로파일에 기초하여 업데이트된다. 그러한 실시예들에서, 미리 결정된 임계치를 기준으로, 충분한 양의 시간 동안 차량에 의해 관측 가능한 구역에 진입하는 에이전트는 향후 업데이트들로부터 제거될 것이다.
도 8을 계속 참조하면, 적어도 하나의 에이전트에 반응하여 차량의 경로가 계획된다(블록(870)). 일부 실시예들에서, 차량의 경로는 적어도 하나의 에이전트와 충돌하는 것을 피하도록 계획 시스템(404)에 의해 계획된다. 일부 실시예들에서, 계획되는 경로는 계획된 차량 경로들(612a 및 612b) 중 하나이다.
도 8을 계속 참조하면, 계획된 경로에 따라 차량이 제어된다(블록(880)). 일부 실시예들에서, 차량은 제어 시스템(408)에 의해 제어된다.
전술한 설명에서, 본 개시의 양태들 및 실시예들은 구현마다 달라질 수 있는 다수의 특정 세부 사항들을 참조하여 기술되었다. 그에 따라, 설명 및 도면들은 제한적인 의미가 아니라 예시적인 의미로 간주되어야 한다. 본 발명의 범위의 유일한 독점적인 지표, 및 출원인들이 본 발명의 범위이도록 의도한 것은, 본 출원에서 특정 형태로 나오는 일련의 청구항들의 문언적 등가 범위이며, 임의의 후속 보정을 포함한다. 그러한 청구항들에 포함된 용어들에 대한 본원에서 명시적으로 기재된 임의의 정의들은 청구항들에서 사용되는 그러한 용어들의 의미를 결정한다. 추가적으로, 전술한 설명 및 이하의 청구항들에서 "더 포함하는"이라는 용어가 사용될 때, 이 문구에 뒤따르는 것은 추가적인 단계 또는 엔티티, 또는 이전에 언급된 단계 또는 엔티티의 서브단계/서브엔티티일 수 있다.

Claims (13)

  1. 방법으로서,
    적어도 하나의 프로세서를 사용하여, 차량을 둘러싼 환경을 나타내는 센서 데이터를 수신하는 단계;
    상기 적어도 하나의 프로세서를 사용하여, 적어도 하나의 폐색된 구역을 나타내는 분할 마스크를 생성하는 단계;
    상기 적어도 하나의 프로세서를 사용하여, 상기 적어도 하나의 폐색된 구역에 기초하여 적어도 하나의 가상 에이전트 궤적을 생성하는 단계;
    상기 적어도 하나의 프로세서를 사용하여, 상기 적어도 하나의 에이전트 궤적에 기초하여 적어도 하나의 에이전트 생성 지점을 결정하는 단계;
    상기 적어도 하나의 프로세서를 사용하여, 상기 적어도 하나의 에이전트 생성 지점으로부터 상기 차량까지의 임계 거리가 충족되는지 여부를 결정하는 단계;
    미리 정의된 상기 임계 거리가 충족된다고 결정하는 것에 기초하여, 상기 적어도 하나의 프로세서를 사용하여, 상기 적어도 하나의 에이전트 생성 지점에 기초하여, 적어도 하나의 모션 프로파일과 연관된 적어도 하나의 에이전트를 생성하는 단계;
    상기 적어도 하나의 프로세서를 사용하여, 상기 적어도 하나의 에이전트를 생성하는 것에 기초하여 상기 차량의 경로를 계획하는 단계; 및
    상기 적어도 하나의 프로세서를 사용하여, 상기 계획된 경로에 따라 상기 차량을 제어하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 차량의 현재 상태에 기초하여, 이전 시간으로부터의 상기 분할 마스크 상에 표시된 상기 적어도 하나의 폐색된 구역을 업데이트하는 단계;
    상기 적어도 하나의 폐색된 구역을 업데이트하는 것 및 상기 차량의 초기 궤적에 기초하여 상기 적어도 하나의 에이전트 궤적을 업데이트하는 단계;
    상기 업데이트된 적어도 하나의 에이전트 궤적에 기초하여 적어도 하나의 업데이트된 에이전트 생성 지점을 결정하는 단계; 및
    상기 적어도 하나의 업데이트된 에이전트 생성 지점이 이전에 사용된 에이전트 생성 지점에 대응하지 않는다고 결정하는 단계
    를 더 포함하는, 방법.
  3. 제1항에 있어서,
    상기 적어도 하나의 폐색된 구역의 경계 근처에 적어도 하나의 반복되는 에이전트 생성 지점을 결정하는 단계; 및
    상기 적어도 하나의 반복되는 에이전트 생성 지점을 결정하는 것에 기초하여 적어도 하나의 모션 프로파일과 연관된 적어도 하나의 반복되는 에이전트를 생성하는 단계
    를 더 포함하는, 방법.
  4. 제1항에 있어서,
    생성된 에이전트의 포지션(position) 및 속도(velocity)를 그의 모션 프로파일에 기초하여 업데이트하는 단계
    를 더 포함하는, 방법.
  5. 제4항에 있어서,
    에이전트가 충분한 양의 시간 동안 상기 차량에 의해 관측 가능한 구역에 진입한다고 결정하는 단계; 및
    상기 에이전트가 충분한 양의 시간 동안 상기 차량에 의해 관측 가능한 영역에 진입한다고 결정하는 것에 기초하여 상기 에이전트를 향후 업데이트들로부터 제거하는 단계
    를 더 포함하는, 방법.
  6. 제1항에 있어서,
    상기 임계 거리는 상기 차량에 장착된 센서들의 감지 범위에 기초하여 계산되는 것인, 방법.
  7. 제1항에 있어서,
    상기 적어도 하나의 에이전트 궤적은 개방(open) 폐색 궤적인 것인, 방법.
  8. 제1항에 있어서,
    상기 적어도 하나의 에이전트 궤적은 상기 차량의 초기 궤적에 기초하여 생성되는 것인, 방법.
  9. 제8항에 있어서,
    상기 적어도 하나의 에이전트 궤적은 상기 차량의 상기 초기 궤적에 수직인 것인, 방법.
  10. 제1항에 있어서,
    상기 적어도 하나의 에이전트 궤적은 주행 차선의 중앙에 기초하여 생성되는 것인, 방법.
  11. 제10항에 있어서,
    상기 적어도 하나의 에이전트 궤적은 상기 주행 차선의 중앙을 따라 있는 것인, 방법.
  12. 차량으로서,
    적어도 하나의 프로세서, 및
    상기 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금 제1항 내지 제11항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 저장하는 적어도 하나의 비일시적 저장 매체
    를 포함하는, 차량.
  13. 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금 제1항 내지 제11항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 저장하는 적어도 하나의 비일시적 저장 매체.
KR1020220014270A 2021-11-19 2022-02-03 가상 에이전트들의 모션 예측 KR20230074396A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/531,701 2021-11-19
US17/531,701 US20230159026A1 (en) 2021-11-19 2021-11-19 Predicting Motion of Hypothetical Agents

Publications (1)

Publication Number Publication Date
KR20230074396A true KR20230074396A (ko) 2023-05-30

Family

ID=80621315

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220014270A KR20230074396A (ko) 2021-11-19 2022-02-03 가상 에이전트들의 모션 예측

Country Status (5)

Country Link
US (1) US20230159026A1 (ko)
KR (1) KR20230074396A (ko)
CN (1) CN116149308A (ko)
DE (1) DE102022102186A1 (ko)
GB (1) GB2613037A (ko)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3091370B1 (en) * 2015-05-05 2021-01-06 Volvo Car Corporation Method and arrangement for determining safe vehicle trajectories
EP3593337A4 (en) * 2017-03-07 2021-01-06 Motional AD LLC PLANNING OF UNKNOWN OBJECTS BY AN AUTONOMOUS VEHICLE
CN109969191B (zh) * 2017-12-28 2022-05-31 奥迪股份公司 驾驶辅助系统和方法
US11574089B2 (en) * 2019-06-28 2023-02-07 Zoox, Inc. Synthetic scenario generator based on attributes
US11332132B2 (en) * 2019-08-30 2022-05-17 Argo AI, LLC Method of handling occlusions at intersections in operation of autonomous vehicle
US11866070B2 (en) * 2020-09-28 2024-01-09 Guangzhou Automobile Group Co., Ltd. Vehicle control method and apparatus, storage medium, and electronic device
US20220185267A1 (en) * 2020-12-16 2022-06-16 Zoox, Inc. Object determination in an occluded region

Also Published As

Publication number Publication date
CN116149308A (zh) 2023-05-23
GB202201321D0 (en) 2022-03-16
DE102022102186A1 (de) 2023-05-25
GB2613037A (en) 2023-05-24
US20230159026A1 (en) 2023-05-25

Similar Documents

Publication Publication Date Title
KR20230039486A (ko) 환경 제한 및 센서 이상 시스템 및 방법
KR20230039485A (ko) 메트릭을 사용한 상황 평가를 이용한 작동 엔벨로프 검출
KR20230040239A (ko) 상황 콘텍스트 내에서의 부동성 검출
US11400958B1 (en) Learning to identify safety-critical scenarios for an autonomous vehicle
KR20230040244A (ko) 상황 평가를 이용한 작동 엔벨로프 검출
US20230159026A1 (en) Predicting Motion of Hypothetical Agents
US20240123996A1 (en) Methods and systems for traffic light labelling via motion inference
US11675362B1 (en) Methods and systems for agent prioritization
US20230373529A1 (en) Safety filter for machine learning planners
US20230236313A1 (en) Thermal sensor data vehicle perception
US20240051568A1 (en) Discriminator network for detecting out of operational design domain scenarios
US11634158B1 (en) Control parameter based search space for vehicle motion planning
US20240051581A1 (en) Determination of an action for an autonomous vehicle in the presence of intelligent agents
US20230303124A1 (en) Predicting and controlling object crossings on vehicle routes
US20240038065A1 (en) Managing traffic light detections
US20230382427A1 (en) Motion prediction in an autonomous vehicle using fused synthetic and camera images
US20240025452A1 (en) Corridor/homotopy scoring and validation
US20230298198A1 (en) Light-based object localization
US20230294741A1 (en) Agent importance prediction for autonomous driving
US20230063368A1 (en) Selecting minimal risk maneuvers
US20230322270A1 (en) Tracker Position Updates for Vehicle Trajectory Generation
WO2024081593A1 (en) Methods and systems for traffic light labelling via motion inference
WO2024035738A1 (en) Methods and systems for obstacle representation
KR20230110145A (ko) 아이트래커 디바이스 및 라이다 포인트 클라이드 데이터를 사용하는 목표 결정
WO2023028437A1 (en) Selecting minimal risk maneuvers

Legal Events

Date Code Title Description
E902 Notification of reason for refusal