KR20200047740A - 자율 차량들을 위한 보행자 행동 예측들 - Google Patents

자율 차량들을 위한 보행자 행동 예측들 Download PDF

Info

Publication number
KR20200047740A
KR20200047740A KR1020207011812A KR20207011812A KR20200047740A KR 20200047740 A KR20200047740 A KR 20200047740A KR 1020207011812 A KR1020207011812 A KR 1020207011812A KR 20207011812 A KR20207011812 A KR 20207011812A KR 20200047740 A KR20200047740 A KR 20200047740A
Authority
KR
South Korea
Prior art keywords
vehicle
cells
grid
contour
pedestrian
Prior art date
Application number
KR1020207011812A
Other languages
English (en)
Other versions
KR102308924B1 (ko
Inventor
재러드 스티븐 러셀
카이 딩
Original Assignee
웨이모 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 웨이모 엘엘씨 filed Critical 웨이모 엘엘씨
Priority to KR1020217031220A priority Critical patent/KR102382577B1/ko
Publication of KR20200047740A publication Critical patent/KR20200047740A/ko
Application granted granted Critical
Publication of KR102308924B1 publication Critical patent/KR102308924B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/50—Magnetic or electromagnetic sensors
    • B60W2420/506—Inductive sensors, i.e. passive wheel sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/80—Other vehicles not covered by groups B60Y2200/10 - B60Y2200/60
    • B60Y2200/84—Wheelchairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mathematical Physics (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Walking Sticks, Umbrellas, And Fans (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)

Abstract

본 기술은 자율 주행 모드에서 차량(100)을 제어하는 것에 관한 것이다. 예를 들어, 차량의 환경 내의 물체를 식별하는 센서 데이터가 수신될 수 있다. 물체 주위에 복수의 셀을 포함하는 그리드(780, 782, 784)가 투사될 수 있다. 상기 복수의 셀 중 각각의 주어진 하나의 셀에 대해, 상기 물체가 미래로 일정 기간 내에 상기 주어진 하나의 셀에 들어갈 가능성이 예측된다. 예측된 가능성들에 기초하여 윤곽(1280-1284)이 생성된다. 그 후 윤곽 내의 영역을 피하기 위해 자율 주행 모드에서 차량이 제어된다.

Description

자율 차량들을 위한 보행자 행동 예측들
관련 출원들에 대한 상호 참조
본 출원은 2017년 10월 24일자로 출원된 미국 특허 출원 제15/791,602호의 계속 출원이고, 그 개시내용은 이로써 인용에 의해 본 명세서에 포함된다.
인간 운전자를 필요로 하지 않는 차량들과 같은 자율 차량들은 한 위치에서 다른 위치로 승객들 또는 물품들의 운송을 돕기 위해 사용될 수 있다. 그러한 차량들은 승객들이 픽업 또는 목적지 위치와 같은 어떤 초기 입력을 제공할 수 있는 완전 자율 모드에서 동작할 수 있고, 차량은 자신을 해당 위치로 조종해 간다.
차량들, 자전거들 및 보행자들과 같은 다른 독립적인 행위자들을 갖는 환경을 통해 무운전자 차량을 어떻게 조종할지를 결정하기 위해, 무운전자 차량의 컴퓨팅 디바이스들이 그러한 행위자들을 검출하고 또한 그 행위자들의 미래 움직임에 대한 예측들을 하는 것이 중요하다. 전형적인 예측 시스템들은 이전에 관찰된 움직임에 기초하여 물체가 주어진 궤적을 따를 가능성을 평가하기 위해 학습된 궤적 제안 기반 행동 모델들을 사용할 수 있다. 일부 궤적 모델들은 그러한 예측들을 할 때 다른 행위자들의 상대적 위치들 및 이동들을 고려할 수도 있다. 차량의 인식 시스템으로부터의 데이터의 품질이 높고 주어진 행위자에 대한 가능한 경로의 수가 비교적 작을 때, 이 궤적 모델링은 실용적이고 유용한 접근법일 수 있다.
본 개시내용의 일 양태는 자율 주행 모드를 갖는 차량을 제어하는 방법을 제공한다. 이 방법은, 상기 차량의 하나 이상의 프로세서에 의해, 차량의 환경 내의 물체를 식별하는 센서 데이터를 수신하는 단계; 상기 하나 이상의 프로세서에 의해, 상기 물체 주위에 복수의 셀을 포함하는 그리드를 투사하는 단계; 상기 복수의 셀 중 각각의 주어진 하나의 셀에 대해, 상기 하나 이상의 프로세서에 의해, 상기 물체가 미래로 일정 기간 내에 상기 주어진 하나의 셀에 들어갈 가능성을 예측하는 단계; 상기 하나 이상의 프로세서에 의해, 상기 예측된 가능성들에 기초하여 윤곽을 생성하는 단계; 상기 하나 이상의 프로세서에 의해, 상기 윤곽 내의 영역을 피하기 위해 상기 자율 주행 모드에서 상기 차량을 제어하는 단계를 포함한다.
일 예에서, 센서 데이터는 상기 물체를 보행자 물체 유형인 것으로서 식별하고, 상기 그리드를 투사하는 단계는 상기 보행자 물체 유형에 추가로 기초한다. 다른 예에서, 상기 방법은 상기 물체 상의 포인트를 선택하는 단계를 또한 포함하고, 상기 그리드를 투사하는 단계는 상기 그리드의 중심에 상기 포인트를 배치하는 단계를 포함한다. 다른 예에서, 상기 방법은 상기 윤곽 주위에 완충 거리를 제공하는 단계를 또한 포함하고, 상기 차량을 제어하는 단계는 상기 윤곽 주위의 상기 완충 거리 내의 영역을 피하는 단계를 포함한다. 다른 예에서, 상기 기간은 2초 이하이다. 다른 예에서, 상기 방법은 임계값 및 상기 예측된 가능성들을 이용하여 상기 복수의 셀 중의 셀들을 폐기하는 단계를 또한 포함하고, 상기 윤곽은 상기 복수의 셀 중의 임의의 나머지 셀들을 이용하여 생성된다. 이 예에서, 상기 방법은 상기 센서 데이터에서 식별된 물체들에 기초하여 상기 임계값을 선택하는 단계를 또한 포함한다. 이 예에서, 상기 임계값을 선택하는 단계는 상기 센서 데이터에서 식별된 보행자의 수에 기초한다. 게다가 또는 대안적으로, 상기 임계값을 선택하는 단계는 상기 차량이 상기 그리드의 영역을 피하는 가능성에 기초한다. 다른 예에서, 상기 예측된 가능성들을 예측하는 단계는 히트 맵을 제공한다.
본 개시내용의 다른 양태는 자율 주행 모드를 갖는 차량을 제어하기 위한 시스템을 제공한다. 이 시스템은 하나 이상의 프로세서를 포함하고, 상기 하나 이상의 프로세서는: 상기 차량의 환경 내의 물체를 식별하는 센서 데이터를 수신하고; 상기 물체 주위에 복수의 셀을 포함하는 그리드를 투사하고; 상기 복수의 셀 중 각각의 주어진 하나의 셀에 대해, 상기 물체가 미래로 일정 기간 내에 상기 주어진 하나의 셀에 들어갈 가능성을 예측하고; 상기 예측된 가능성들에 기초하여 윤곽을 생성하고; 상기 윤곽 내의 영역을 피하기 위해 상기 자율 주행 모드에서 상기 차량을 제어하도록 구성된다.
일 예에서, 센서 데이터는 상기 물체를 보행자 물체 유형인 것으로서 식별하고, 상기 그리드를 투사하는 단계는 상기 보행자 물체 유형에 추가로 기초한다. 다른 예에서, 상기 방법은 상기 물체 상의 포인트를 선택하는 단계를 또한 포함하고, 상기 그리드를 투사하는 단계는 상기 그리드의 중심에 상기 포인트를 배치하는 단계를 포함한다. 이 예에서, 상기 방법은 상기 윤곽 주위에 완충 거리를 제공하는 단계를 또한 포함하고, 상기 차량을 제어하는 단계는 상기 윤곽 주위의 상기 완충 거리 내의 영역을 피하는 단계를 포함한다. 다른 예에서, 상기 방법은 임계값 및 상기 예측된 가능성들을 이용하여 상기 복수의 셀 중의 셀들을 폐기하는 단계를 또한 포함하고, 상기 윤곽은 상기 복수의 셀 중의 임의의 나머지 셀들을 이용하여 생성된다. 이 예에서, 상기 방법은 상기 센서 데이터에서 식별된 물체들에 기초하여 상기 임계값을 선택하는 단계를 또한 포함한다. 이 예에서, 상기 임계값을 선택하는 단계는 상기 센서 데이터에서 식별된 보행자의 수에 기초한다. 게다가 또는 대안적으로, 상기 임계값을 선택하는 단계는 상기 센서 데이터에서 휠체어가 식별되는지에 기초한다. 다른 예에서, 상기 예측된 가능성들을 예측하는 단계는 히트 맵을 제공한다. 다른 예에서, 상기 시스템은 상기 차량을 또한 포함한다.
도 1은 본 개시내용의 양태들에 따른 예시적인 차량의 기능 다이어그램이다.
도 2는 본 개시내용의 양태들에 따른 상세한 맵 정보의 예시적인 표현이다.
도 3a 내지 도 3d는 본 개시내용의 양태들에 따른 차량의 예시적인 외부 뷰들이다.
도 4는 본 개시내용의 양태들에 따른 도로의 섹션의 뷰이다.
도 5는 본 개시내용의 양태들에 따른 도로의 섹션 및 센서 데이터의 뷰이다.
도 6은 본 개시내용의 양태들에 따른 도로의 섹션, 센서 데이터, 및 예측된 궤적들의 뷰이다.
도 7a 내지 도 7c는 본 개시내용의 양태들에 따른 예시적인 그리드 투사들이다.
도 8은 본 개시내용의 양태들에 따른 도로의 섹션, 센서 데이터, 예측된 궤적들, 및 그리드 투사들의 뷰이다.
도 9a 내지 도 9c는 본 개시내용의 양태들에 따른 예시적인 확률 분포들이다.
도 10a 및 도 10b는 본 개시내용의 양태들에 따른 예시적인 확률 분포들이다.
도 11a 내지 도 11c는 본 개시내용의 양태들에 따른 예시적인 필터링된 확률 분포들이다.
도 12a 내지 도 12c는 본 개시내용의 양태들에 따른 예시적인 윤곽 영역들이다.
도 13은 본 개시내용의 양태들에 따른 도로의 섹션, 센서 데이터, 예측된 궤적들, 및 윤곽 영역들의 뷰이다.
도 14는 본 개시내용의 양태들에 따른 흐름 다이어그램이다.
개관
전술한 바와 같이, 차량의 인식 시스템으로부터의 데이터의 품질이 높고 주어진 행위자에 대한 가능한 경로의 수가 비교적 작을 때, 이 궤적 모델링은 실용적이고 유용한 접근법일 수 있다. 그러나, 일부 경우에, 데이터의 품질은 결코 최적이 아닐 수 있고 행위자의 행동은 예측하기 어려울 수 있다. 이는 한없이 다양하고, 비강체이고, 자주 부분적으로 가려지고, 방향을 빠르게 변경하는 능력을 갖고, 모든 유형의 지형을 횡단하는 보행자들의 경우에 특히 그러하다. 이는 궤적 모델링을 이용하여 보행자들을 검출하고, 분류하고, 추적하고, 특히 예측하는 것을 어렵게 할 수 있다.
이러한 장애물들을 해결하기 위해, 궤적 모델링 예측들 대신에 또는 그에 더하여, 미래로 짧은 기간 동안 보행자의 가능한 미래 위치들의 그리드 기반 예측이 사용될 수 있다. 예를 들어, 차량의 인식 시스템에 의해 검출된 모든 보행자에 대해, 보행자 주위에 그리드가 투사될 수 있다. 그리드의 크기는 보행자가 짧은 기간 내에 얼마나 멀리 이동할 수 있을지에 대한 바깥쪽 경계에 대응할 수 있다.
그리드는 보행자 상의 임의의 포인트 또는 주어진 포인트가 그리드의 중심에 있도록 투사될 수 있다. 보행자의 관측된 속도, 이동 방향, 및 방위를 이용하여, 각각의 셀에 대해 보행자가 짧은 기간 동안 해당 셀 내로 이동할 수 있는 가능성이 얼마나 되는지를 지시하는 값이 결정될 수 있다. 일부 경우에, 예측은 또한 환경 인자들에 기초할 수 있다.
따라서, 각각의 그리드 셀은 보행자가 짧은 기간 동안 해당 셀 내로 이동할 확률을 나타낼 것이다. 이와 관련하여, 그리드는 보행자가 짧은 기간 동안 있을 가능성이 더 크거나 더 적은 영역들을 식별하는 히트 맵으로 간주될 수 있다. 히트 맵은 경로 계획을 위해 사용될 수 있는 형식으로 인식 불확실성을 전파하는 데 도움이 될 수 있다.
보행자가 주어진 셀에 들어가지 않을 확률이 높다면, 해당 셀은 폐기될 수 있다. 다시 말해서, 임계값을 만족시키지 않는 셀들은 폐기될 수 있다. 나머지 그리드 셀들 주위에 윤곽이 그려질 수 있다. 그 후 이 윤곽은 경로 계획을 위해 사용될 수 있다.
위에서 그리고 아래에서 논의되는 이점들에 더하여, 이 그리드 기반 예측을 이용하는 것은 보행자들에 응답할 때 또는 차량의 인식 시스템이 물체의 유형을 신뢰성 있게 식별하지 못하는 임의의 상황에서 차량이 더 조심하는 것을 가능하게 한다. 이러한 형식의 예측은 또한 인간 관찰자들이 위치, 헤딩(heading), 속도, 가속도, 및 윤곽의 인식에서의 불확실성을 식별하는 것을 허용하여 예상되는 움직임에 영향을 줄 수 있다. 사실상, 히트 맵들은 예측 순환 신경망(predictive recurrent neural network)으로부터 상당히 간단한 방식으로 획득될 수 있는 반면, 제안 기반 궤적들은 이러한 방식으로 공식화하기가 더 어렵다. 동시에, 이 그리드 기반 예측은 매우 짧은 시간 지평(time horizon)에 걸쳐 행위자의 미래 위치 및 움직임을 예측하기 때문에, 요구되는 실제 "그라운드 트루스(ground truth)" 훈련 데이터가 매우 작다. 다시 말해서, 인식 시스템은 신뢰할 수 있는 예측이 이루어질 수 있기 전에 10분의 몇 초 동안만 행위자를 관찰할 필요가 있다.
예시적인 시스템들
도 1에 도시된 바와 같이, 본 개시내용의 일 양태에 따른 차량(100)은 다양한 컴포넌트들을 포함한다. 본 개시내용의 특정 양태들은 특정 유형들의 차량과 관련하여 특히 유용하지만, 차량은 자동차들, 트럭들, 오토바이들, 버스들, 레크리에이션 차량 등을 포함하지만 이에 제한되지 않는 임의의 유형의 차량일 수 있다. 차량은 하나 이상의 프로세서(120), 메모리(130), 및 범용 컴퓨팅 디바이스들에 전형적으로 존재하는 다른 컴포넌트들을 포함하는 컴퓨팅 디바이스들(110)과 같은 하나 이상의 컴퓨팅 디바이스를 가질 수 있다.
메모리(130)는 프로세서(120)에 의해 실행되거나 또는 달리 이용될 수 있는 명령어들(132) 및 데이터(134)를 포함하여, 하나 이상의 프로세서(120)에 의해 액세스 가능한 정보를 저장한다. 메모리(130)는 컴퓨팅 디바이스 판독가능 매체, 또는 하드 드라이브, 메모리 카드, ROM, RAM, DVD 또는 다른 광 디스크들과 같은 전자 디바이스의 도움으로 판독될 수 있는 데이터를 저장하는 다른 매체뿐만 아니라 다른 기입 가능 및 판독 전용 메모리들을 포함하여, 프로세서에 의해 액세스 가능한 정보를 저장할 수 있는 임의의 유형의 것일 수 있다. 시스템들 및 방법들은 전술한 것의 상이한 조합들을 포함할 수 있고, 그에 의해 명령어들 및 데이터의 상이한 부분들이 상이한 유형들의 매체상에 저장된다.
명령어들(132)은 프로세서에 의해 (기계 코드와 같이) 직접적으로 또는 (스크립트들과 같이) 간접적으로 실행될 명령어들의 임의의 세트일 수 있다. 예를 들어, 명령어들은 컴퓨팅 디바이스 판독가능 매체상에 컴퓨팅 디바이스 코드로서 저장될 수 있다. 그와 관련하여, 용어들 "명령어들" 및 "프로그램들"은 본 명세서에서 교환가능하게 사용될 수 있다. 명령어들은 프로세서에 의한 직접 처리를 위해 오브젝트 코드 포맷으로, 또는 요구 시에 해석되거나 또는 미리 컴파일링되는 독립 소스 코드 모듈들의 스크립트들 또는 모음들을 포함하는 임의의 다른 컴퓨팅 디바이스 언어로 저장될 수 있다. 기능들, 방법들, 및 명령어들의 루틴들이 아래에서 더 상세히 설명된다.
데이터(134)는 명령어들(132)에 따라 프로세서(120)에 의해 검색되거나, 저장되거나 수정될 수 있다. 하나 이상의 프로세서(120)는 상업적으로 이용가능한 CPU들과 같은 임의의 종래의 프로세서들일 수 있다. 대안적으로, 하나 이상의 프로세서는 ASIC 또는 다른 하드웨어 기반 프로세서와 같은 전용 디바이스일 수 있다. 도 1은 컴퓨팅 디바이스들(110)의 프로세서, 메모리, 및 다른 요소들을 동일한 블록 내에 있는 것으로 기능적으로 예시하지만, 본 기술분야의 통상의 기술자들은 프로세서, 컴퓨팅 디바이스, 또는 메모리는 동일한 물리적 하우징 내에 넣어질 수 있거나 그렇지 않을 수 있는 다수의 프로세서, 컴퓨팅 디바이스, 또는 메모리를 실제로 포함할 수 있다는 것을 이해할 것이다. 예로서, 내부 전자 디스플레이(152)는 고대역폭 또는 다른 네트워크 연결을 통해 컴퓨팅 디바이스들(110)과 인터페이스할 수 있는 그 자신의 프로세서 또는 중앙 처리 유닛(CPU), 메모리 등을 갖는 전용 컴퓨팅 디바이스들에 의해 제어될 수 있다. 일부 예들에서, 컴퓨팅 디바이스들은 사용자의 클라이언트 디바이스와 통신할 수 있는 사용자 인터페이스 컴퓨팅 디바이스들일 수 있다. 유사하게, 메모리는 컴퓨팅 디바이스들(110)의 것과 상이한 하우징에 위치한 하드 드라이브 또는 다른 스토리지 매체일 수 있다. 따라서, 프로세서 또는 컴퓨팅 디바이스들에 대한 언급들은, 병렬로 동작할 수 있거나 그렇지 않을 수 있는 프로세서들 또는 컴퓨팅 디바이스들 또는 메모리들의 모음에 대한 언급들을 포함하는 것으로 이해될 것이다.
컴퓨팅 디바이스들(110)은 위에서 설명된 프로세서 및 메모리와 같은 컴퓨팅 디바이스들뿐만 아니라 사용자 입력(150)(예를 들어, 마우스, 키보드, 터치 스크린 및/또는 마이크로폰) 및 다양한 전자 디스플레이들(예를 들어, 스크린을 가지는 모니터 또는 정보를 디스플레이하도록 동작가능한 임의의 다른 전자 디바이스)과 관련하여 보통 사용되는 모든 컴포넌트들일 수 있다. 이 예에서, 차량은 정보 또는 시청각 경험들을 제공하기 위해 내부 전자 디스플레이(152)뿐만 아니라 하나 이상의 스피커(154)를 포함한다. 이와 관련하여, 내부 전자 디스플레이(152)는 차량(100)의 객실 내에 위치할 수 있고 컴퓨팅 디바이스들(110)에 의해 차량(100) 내의 승객들에게 정보를 제공하는 데 사용될 수 있다. 내부 스피커들에 더하여, 하나 이상의 스피커(154)는 차량(100) 외부의 물체들에 가청 통지들을 제공하기 위해 차량 상의 다양한 위치들에 배열되는 외부 스피커들을 포함할 수 있다.
일 예에서, 컴퓨팅 디바이스들(110)은 차량(100)에 통합되는 자율 주행 컴퓨팅 시스템일 수 있다. 자율 주행 컴퓨팅 시스템은 차량의 다양한 컴포넌트들과 통신할 수 있다. 예를 들어, 도 1로 돌아가서, 컴퓨팅 디바이스들(110)은 차량의 승객으로부터의 연속적인 또는 주기적인 입력을 요구하거나 필요로 하지 않는 자율 주행 모드에서, 메모리(130)의 명령어들(132)에 따라, 차량(100)의 이동, 속도 등을 제어하기 위해 감속 시스템(160)(차량의 제동을 제어하기 위한), 가속 시스템(162)(차량의 가속을 제어하기 위한), 조향 시스템(164)(바퀴들의 방위 및 차량의 방향을 제어하기 위한), 시그널링 시스템(166)(방향 지시등을 제어하기 위한), 내비게이션 시스템(168)(차량을 위치 또는 주위의 물체로 내비게이션하기 위한), 위치확인 시스템(170)(차량의 위치를 결정하기 위한), 인식 시스템(172)(차량의 환경에서의 물체들을 검출하기 위한), 및 동력 시스템(174)(예를 들어, 배터리 및/또는 가스 또는 디젤 동력 엔진)과 같은, 차량(100)의 다양한 시스템들과 통신할 수 있다. 다시금, 이러한 시스템들이 컴퓨팅 디바이스들(110) 외부에 있는 것으로 도시되지만, 실제로는, 이러한 시스템들은 차량(100)을 제어하기 위한 자율 주행 컴퓨팅 시스템으로서 다시금 컴퓨팅 디바이스들(110)에 또한 통합될 수 있다.
컴퓨팅 디바이스들(110)은 다양한 컴포넌트들을 제어함으로써 차량의 방향 및 속도를 제어할 수 있다. 예로서, 컴퓨팅 디바이스들(110)은 상세한 맵 정보 및 내비게이션 시스템(168)으로부터의 데이터를 이용하여 완전히 자율적으로 차량을 목적지 위치까지 내비게이션할 수 있다. 컴퓨팅 디바이스들(110)은 위치확인 시스템(170)을 이용하여 차량의 위치를 결정하고 인식 시스템(172)을 이용하여 안전하게 위치에 도달하는 것이 필요할 때 물체들을 검출하고 그에 응답할 수 있다. 그렇게 하기 위해, 컴퓨팅 디바이스들(110)은 차량이 가속하고(예를 들어, 가속 시스템(162)에 의해 엔진에 제공되는 연료 또는 다른 에너지를 증가시킴으로써), 감속하고(예를 들어, 감속 시스템(160)에 의해 엔진에 공급되는 연료를 감소시키고, 기어를 변경하고, 및/또는 브레이크를 적용함으로써), 방향을 변경하고(예를 들어, 조향 시스템(164)에 의해 차량(100)의 앞바퀴 또는 뒷바퀴를 회전시킴으로써), 그러한 변화들을 시그널링하게(예를 들어, 시그널링 시스템(166)의 방향 지시등들을 점등함으로써) 할 수 있다. 따라서, 가속 시스템(162) 및 감속 시스템(160)은 차량의 엔진과 차량의 바퀴들 사이에 다양한 컴포넌트들을 포함하는 구동렬의 일부일 수 있다. 다시금, 이러한 시스템들을 제어함으로써, 컴퓨팅 디바이스들(110)은 또한 차량을 자율적으로 조종하기 위해 차량의 구동렬을 제어할 수 있다.
예로서, 컴퓨팅 디바이스들(110)은 차량의 속도를 제어하기 위해 감속 시스템(160) 및 가속 시스템(162)과 상호작용할 수 있다. 유사하게, 조향 시스템(164)은 차량(100)의 방향을 제어하기 위해 컴퓨팅 디바이스들(110)에 의해 사용될 수 있다. 예를 들어, 자동차 또는 트럭과 같은 차량(100)이 도로 상에서 사용을 위해 구성되는 경우, 조향 시스템은 차량을 회전시키기 위해 바퀴들의 각도를 제어하는 컴포넌트들을 포함할 수 있다. 시그널링 시스템(166)은, 예를 들어 필요할 때 방향 지시등들 또는 브레이크 등을 점등함으로써 차량의 의도를 다른 운전자들 또는 차량들에 시그널링하기 위해 컴퓨팅 디바이스들(110)에 의해 사용될 수 있다.
내비게이션 시스템(168)은 위치로의 루트를 결정하고 이를 따르기 위해 컴퓨팅 디바이스들(110)에 의해 사용될 수 있다. 이와 관련하여, 내비게이션 시스템(168) 및/또는 데이터(134)는 상세한 맵 정보, 예를 들어, 도로들의 형상 및 고저, 차선 라인들, 교차로들, 횡단보도들, 속도 제한들, 교통 신호들, 건물들, 표지들, 실시간 교통 정보, 식생, 또는 다른 그러한 물체들 및 정보를 식별하는 매우 상세한 맵들을 저장할 수 있다. 다시 말해서, 이 상세한 맵 정보는 도로들을 포함하는 차량의 예상 환경의 기하학적 구조뿐만 아니라 해당 도로들에 대한 속도 제약(법적 속도 제한)을 정의할 수 있다.
도 2는 교차로들(202 및 204)을 포함하는 도로의 섹션에 대한 맵 정보(200)의 예이다. 이 예에서, 맵 정보(200)는 차선 라인들(210, 212, 214), 교통 신호등들(220, 222), 횡단보도(230), 보도들(240), 정지 표지들(250, 252), 및 양보 표지(260)의 형상, 위치, 및 다른 특성들을 식별하는 정보를 포함한다. 차량이 운행할 수 있는 영역들은 차량이 일반적으로 맵 정보 내의 다양한 위치들에서 이동하여야 하는 위치 및 방향을 지시하는 하나 이상의 레일(270, 272, 및 274)과 연관될 수 있다. 예를 들어, 차량은 차선 라인들(210 및 212) 사이의 차선에서 운행할 때 레일(270)을 따를 수 있고, 교차로(204)에서 우회전을 하기 위해 레일(272)로 전이할 수 있다. 그 후 차량은 레일(274)을 따를 수 있다. 물론, 레일의 수 및 본질을 고려하여 이해의 단순성 및 용이성을 위해 맵 정보(200)에는 몇 개만 묘사되어 있다.
상세한 맵 정보가 이미지 기반 맵으로서 본 명세서에 묘사되어 있지만, 맵 정보는 완전히 이미지 기반(예를 들어, 래스터)일 필요는 없다. 예를 들어, 상세한 맵 정보는 도로, 차선, 교차로, 및 이러한 특징들 사이의 연결과 같은 정보의 하나 이상의 도로 그래프 또는 그래프 네트워크를 포함할 수 있다. 각각의 특징은 그래프 데이터로서 저장될 수 있고 지리적 위치와 같은 정보와 연관될 수 있고 그것이 다른 관련 특징들에 링크되어 있는지 여부에 관계없이, 예를 들어, 정지 표지가 도로 및 교차로 등에 링크될 수 있다. 일부 예들에서, 연관된 데이터는 특정 도로 그래프 특징들의 효율적인 검색을 허용하기 위해 도로 그래프의 그리드 기반 인덱스들을 포함할 수 있다.
인식 시스템(172)은 다른 차량, 도로 내의 장애물, 교통 신호, 표지, 나무 등과 같은 차량의 외부에 있는 물체들을 검출하기 위한 하나 이상의 컴포넌트를 또한 포함한다. 예를 들어, 인식 시스템(172)은 하나 이상의 LIDAR 센서, 소나 디바이스, 레이더 유닛, 카메라 및/또는 컴퓨팅 디바이스들(110)에 의해 처리될 수 있는 센서 데이터를 기록하는 임의의 다른 검출 디바이스를 포함할 수 있다. 인식 시스템의 센서들은 물체들 및 그들의 특성들, 예컨대 위치, 방위, 크기, 형상, 유형(예를 들어, 차량, 보행자, 자전거 타는 사람 등), 헤딩, 및 움직임의 속도 등을 검출할 수 있다. 전술한 특성들 및/또는 센서들로부터의 원시 데이터는 기술적 함수, 벡터, 및/또는 바운딩 박스로 정량화되거나 배열되고 컴퓨팅 디바이스들(110)에 추가 처리를 위한 센서 데이터로서 그것이 인식 시스템(172)에 의해 생성됨에 따라 주기적으로 그리고 계속적으로 전송될 수 있다. 아래에 더 상세히 논의된 바와 같이, 컴퓨팅 디바이스들(110)은 위치확인 시스템(170)을 사용하여 차량의 위치를 결정하고 인식 시스템(172)을 사용하여 안전하게 위치에 도달하는 것이 필요할 때 물체들을 검출하고 그에 응답할 수 있다.
도 3a 내지 도 3d는 차량(100)의 외부 뷰들의 예들이다. 알 수 있는 바와 같이, 차량(100)은 전조등(302), 앞유리(303), 후미등/방향 지시등(304), 뒷유리(305), 도어(306), 사이드 뷰 미러(308), 타이어 및 바퀴(310), 및 방향 지시등/주차등(312)과 같은 전형적인 차량의 많은 특징들을 포함한다. 전조등(302), 후미등/방향 지시등(304), 및 방향 지시등/주차등(312)은 시그널링 시스템(166)과 연관될 수 있다. 경고등(light bar)(307)도 또한 시그널링 시스템(166)과 연관될 수 있다. 하우징(314)은 인식 시스템(172)의 하나 이상의 센서, 예컨대 LIDAR 센서들, 소나 디바이스들, 레이더 유닛들, 카메라들 등을 하우징할 수 있지만, 그러한 센서들은 차량의 다른 영역들에 통합될 수도 있다.
예시적인 방법들
위에서 설명되고 도면들에 예시된 동작들에 더하여, 다양한 동작들이 이제 설명될 것이다. 다음의 동작들이 아래에 설명된 정확한 순서로 수행될 필요는 없다는 것을 이해해야 한다. 오히려, 다양한 단계들이 상이한 순서로 또는 동시에 처리될 수 있으며, 단계들이 추가되거나 생략될 수도 있다.
컴퓨팅 디바이스들(110)은 차량(100)을 목적지 위치까지 조종하여, 예를 들어, 화물 및/또는 하나 이상의 승객을 운송할 수 있다. 이와 관련하여, 컴퓨팅 디바이스들(110)은 목적지 위치로의 루트를 따라 자율적으로 차량을 제어하기 위해 필요한 시스템들을 개시할 수 있다. 예를 들어, 내비게이션 시스템(168)은 데이터(134)의 맵 정보를 이용하여 맵 정보(200)의 연결된 레일들의 세트를 따르는 목적지 위치로의 경로 또는 루트를 결정할 수 있다. 컴퓨팅 디바이스들(110)은 그 후 목적지를 향한 루트를 따라 위에서 설명된 바와 같이 자율적으로(또는 자율 주행 모드에서) 차량을 조종할 수 있다.
예를 들어, 도 4는 맵 정보(200)에 대응하는 교차로들(402 및 404)을 포함하는 도로(400)의 섹션 상에서 조종되고 있는 차량(100)을 묘사한다. 이 예에서, 교차로들(402 및 404)은 맵 정보(200)의 교차로들(202 및 204)에 각각 대응한다. 이 예에서, 차선 라인들(410, 412, 및 414)은 차선 라인들(210, 212, 및 214)의 형상, 위치, 및 다른 특성들에 각각 대응한다. 유사하게, 횡단보도(430)는 횡단보도(230)의 형상, 위치, 및 다른 특성들에 각각 대응한다; 보도들(440)이 보도들(240)에 대응한다; 교통 신호등들(420, 422)은 교통 신호등들(220, 222) 각각에 대응한다; 정지 표지들(450, 452)은 정지 표지들(250, 252)에 각각 대응한다; 그리고 양보 표지(460)는 양보 표지(260)에 대응한다. 게다가, 다양한 보행자들(480-484) 및 차량들(490, 492)이 도로(400) 주위의 상이한 위치들에 배열되어 있다.
차량(100)이 그 환경을 통해 이동함에 따라, 차량의 인식 시스템(172)은 차량의 환경에 관한 정보를 포함하는 센서 데이터를 컴퓨팅 디바이스들에 제공할 수 있다. 전술한 바와 같이, 이 센서 데이터는 차량들, 보행자들 및 자전거 타는 사람들과 같은 물체들을 포함하는 다른 "도로 사용자들"뿐만 아니라 맵 정보의 특징들의 특성들과 같은 위치, 헤딩, 속도, 유형 및 다른 특성들을 포함할 수 있다. 예를 들어, 도 5는 인식 시스템(172)에 의해 컴퓨팅 디바이스들(110)에 제공되는 보행자들(480-484) 및 차량들(490, 492)의 일반적인 형상 및 위치를 나타내는 바운딩 박스들(580, 582 및 590, 592)을 갖는 도 4의 차량(100)의 환경의 특징들(이해의 편의를 위해 교통 신호등들은 제거됨)을 묘사한다. 이 예에서, 내비게이션 시스템(168)은 목적지(도시되지 않음)에 도달하기 위해 차량(100)이 따르는 루트(570)를 결정하기 위해 맵 정보(200)를 사용하고, 추가로 논의되는 바와 같이 컴퓨팅 디바이스들(110)은 루트를 따르기 위해 차량이 다음 몇 초 동안 지나갈 궤적을 결정할 수 있다.
다른 도로 사용자들에 대응하는 물체들 각각에 대해, 컴퓨팅 디바이스들(110)은 해당 물체의 미래 행동을 예측할 수 있다. 전술한 바와 같이, 이는 물체의 위치, 방위, 속도, 위치의 변화, 방위의 변화, 신호들(방향 지시등들) 등의 이전 관측들, 교통 신호등들의 상태, 정지 표지들의 위치, 속도 제한들, 교통 규칙들(일방 통행으로, 턴-전용 차선들 등) 및 다른 정보와 같은 상황 정보뿐만 아니라 물체에 대한 예측 행동 모델들에 기초하여 궤적의 기하학적 구조를 형성하기 위해 함께 연결된 일련의 예측된 미래 위치들을 기술하는 해당 물체에 대한 미래 궤적을 추정하는 것을 포함할 수 있다. 단지 예로서, 화살표들(680-684 및 690, 692)은 보행자들(480-484) 및 차량들(490, 492)에 대한 추정된 궤적들을 나타내는데 이들은 이러한 다른 도로 사용자들이 미래로 일정 기간 동안, 예컨대 2초 이상 또는 이하 동안 취할 것 같은 가장 가능성이 큰 경로를 지시할 수 있다.
보행자 물체 유형 또는 단순히 보행자들에 대응하는 다른 도로 사용자 물체들에 대해, 궤적 모델링 예측들 대신에 또는 그에 더하여, 미래로 짧은 기간 동안 보행자의 가능한 미래 위치들의 그리드 기반 예측이 사용될 수 있다. 예를 들어, 차량의 인식 시스템에 의해 검출된 모든 보행자에 대해, 보행자 주위에 그리드가 투사될 수 있다. 예를 들어, 보행자들(480-484) 각각에 대해 그리드가 예측될 수 있다. 도 7a는 보행자(480)에 대한 예시적인 그리드 투사(780)이고, 도 7b는 보행자(482)에 대한 예시적인 그리드 투사(782)이고, 도 7c는 보행자(484)에 대한 예시적인 그리드 투사(784)이다. 도 8은 참조 목적으로 도 5의 예에 오버레이된 이러한 그리드 투사들을 묘사한다.
그리드의 크기는 보행자가 미래로 일정 기간 내에 얼마나 멀리 이동할 수 있을지에 대한 바깥쪽 경계에 대응할 수 있다. 예를 들어, 그 기간이 2초 이하, 예컨대 1.5초이면, 그리드는 5 미터 x 5 미터이고 0.5 미터 셀들을 가질 수 있다. 물론, 크기 선택은 계산 리소스들(시간 및 노력)과 예측 정밀도 사이의 트레이드오프를 해결하기 위해 필요에 따라 더 크거나 더 작을 수 있다. 일부 경우에, 보행자가 매우 빠르게 이동하고 있다면 그리드 크기가 증가될 수 있다.
도 6a 및 도 6b에 도시된 바와 같이, 그리드는 보행자 상의 임의의 포인트 또는 주어진 포인트가 그리드의 중심에 있도록 투사될 수 있다. 예로서, 주어진 포인트는 추정된 무게 중심, 몸통 상의 포인트, 보행자의 머리 상의 포인트 등일 수 있다.
보행자의 관측된 속도, 이동 방향, 및 방위를 이용하여, 각각의 셀에 대해 보행자가 짧은 기간 동안 해당 셀 내로 이동할 수 있는 가능성이 얼마나 되는지를 지시하는 값이 결정될 수 있다. 예를 들어, 보행자는 전방으로 이동하고 보행자 뒤의 그리드 셀들(이는 보행자가 180도만큼 방향을 변경하도록 요구할 것임)보다 좌측 또는 우측 전방의 그리드 셀들을 커버할 가능성이 더 클 수 있다.
일부 경우에, 예측은 또한 환경 인자들에 기초할 수 있다. 이들은, 예를 들어, 보행자와 다른 도로 그래프 특징 또는 특징들(예컨대 교차로, 횡단보도, 도로 연석, 중앙, 정지 표지, 공사 구역 등) 사이의 거리, 보행자의 헤딩과 도로 그래프 특징 또는 특징들에 도달하기 위한 최단 경로 간의 차이(예를 들어, 이는 보행자가 도로 그래프 특징 또는 특징들을 향하고 있는지를 지시하는 측정들을 포함할 수 있음), 셀의 영역이 도로 그래프 특징 또는 특징들 내에 있는지 또는 그것을 점유하고 있는지, 보행자와 임의의 주변 물체들 예컨대 차량들 또는 다른 더 큰 장애물들 사이의 거리, 차량, 보행자, 자전거 타는 사람, 자전거, 잔해물, 또는 다른 물체 등과 같은 어떤 다른 물체에 의해 셀이 현재 점유되어 있는지를 포함할 수 있다.
예로서, 보행자가 도로에 대해 어디에 위치하는지는 보행자가 특정 셀들에 들어갈 가능성을 더 크거나 더 적게 할 수 있다. 예를 들어, 보행자가 도로에서 빠져나가고 있다면, 그가 방향을 변경하여 도로 안으로 다시 이동할 가능성이 없을 것이다(보행자 뒤의 셀들을 훨씬 가능성 적게 만든다). 이와 관련하여, 보행자들(480 및 484)은 각각 횡단보도 및 도로의 에지를 향해 이동하고 있다. 따라서, 그들은 방향을 변경하기보다는 계속해서 그렇게 할 가능성이 더 클 수 있다. 더욱이 보행자(484)는 횡단보도에 있지 않기 때문에, 보행자(484)는, 보행자(480)가 횡단보도에 있기 때문에, 보행자(480)보다 교차로(402)를 통해 더 빨리 이동하는 경향이 있을 수 있다. 유사하게, 도로 에지(486)(도 4에 도시됨)에 접근하고 있는 보행자(482)와 같이, 보행자가 도로의 에지에 접근하고 있다면, 그는 현재 속도로 계속하기보다는 속도를 늦출 수 있는 가능성이 있다. 그에 따라, 보행자(482)가 짧은 기간 동안 보행자의 전방으로 1 미터 가량보다 더 멀리 있는 그리드 셀들에 도달할 가능성이 더 적을 것이다.
따라서 각각의 그리드 셀은 보행자가 짧은 기간 동안 해당 셀 내로 이동할 확률을 나타낼 것이다. 도 9a 내지 도 9c는 각각 도 7a 내지 도 7c의 그리드 투사들(780-784) 각각에 대한 예시적인 확률 분포들(980-984)을 묘사한다. 이러한 그리드들의 탑-다운 뷰(top-down view)는 예측들에 기초하여 보행자가 보행자에 가까운 그리드 셀들을 횡단할 가능성이 더 높고(예를 들어, 더 어두운 음영 영역들) 보행자로부터 바깥쪽으로 이동하는 가능성(및 음영)이 감쇠하는 영역들을 갖는 히트 맵을 제공한다.
일 예에서, 차량의 컴퓨팅 디바이스들이 보행자가 어느 방향을 향하고 있는지에 대해 확신하지 않는(또는 충분히 확신하지 않는) 경우, 결과적인 히트 맵은 도 10a의 그리드 투사(1010)의 예에서와 같이 보행자 주위의 모든 방향들에서 더 균일할 수 있다. 다른 예에서, 차량의 컴퓨팅 디바이스들이 보행자가 전방을 향하고 있는 것을 매우 확신하는 경우, 그 결과는 도 10b의 그리드 투사(1020)의 예에서와 같이 더 많이 지향된 히트 맵일 것이다. 이와 관련하여, 히트 맵은 아래에 더 논의되는 바와 같이 경로 계획을 위해 사용될 수 있는 형식으로 인식 불확실성을 전파하는 데 도움이 될 수 있다.
보행자가 주어진 셀에 들어가지 않을 확률이 높다면, 해당 셀은 폐기되거나 필터링될 수 있다. 다시 말해서, 임계값 또는 특정 신뢰 임계값을 만족시키지 않는 셀들은 폐기될 수 있다. 예로서, 점유되지 않는 확률이 95% 또는 점유되는 확률이 5%인 셀은 폐기될 것이다. 도 9a 내지 도 9c의 예들로 돌아가서, 도 11a 내지 도 11c는 낮은 확률들을 갖는 셀들(비어 있는 또는 비음영 셀들)이 제거된 확률 분포들(980 내지 984)에 대응하는 필터링된 확률 분포들(1180 내지 1184)을 묘사한다.
임계값은 상황들에 기초하여 조정될 수 있다. 예를 들어, 영역 내에 적어도 미리 결정된 수의 보행자들이 있는지, 임의의 어린이들이 있는지, 휠체어들이 있는 임의의 사람들이 있는지, 등, 임계값은 차량의 조심성을 증가시키기 위해 증가되거나 감소될 수 있다. 예를 들어, 임계값은 임계값의 유형에 따라 95%에서 98%까지 조정되거나 5%에서 2%까지 감소될 수 있다. 다른 예로서, 다른 물체의 "통행권(right of way)"이 임계값을 조정하기 위해 사용될 수 있다. 예를 들어, 보행자가 보도에 있을 때보다 보행자가 횡단보도 내에 위치할 때, 차량은 더 조심하거나, 더 높은 임계값을 사용할 수 있다. 또 다른 예로서, 그리드의 셀들을 피하는 것이 가능한지 여부가 임계값을 조정하기 위해 사용될 수 있다. 예를 들어, 모든 셀들을 피하기 위해 방향을 틀거나 제동하는 것이 운동학적으로 가능하지 않은 경우, 차량 및 보행자에 대해 여전히 안전한 가능한 궤적을 계획할 수 있기 위해 임계값이 감소될 수 있다. 다시 말해서, 차량이 매우 보수적인 접근법을 취하고 높은 임계값을 사용한다면, 차량은 낮은 가능성 셀들 중 일부와의 충돌을 완전히 피하기 위해 제 시간에 방향을 틀거나 제동하지 못하게 되는 상황들이 있을 수 있다. 그러나, 차량은 약간 더 높은 가능성들을 갖는 셀들의 영역을 통과하는 것을 피할 수 있는 가능성이 있다. 따라서, 임계값을 만족시키는 것을 가능하게 하기 위해 임계값은 매우 보수적인, 더 높은 임계값으로부터 실제적인 의미에서 여전히 안전을 유지하면서 더 낮은 임계값으로 조정될 수 있다. 이와 관련하여, 그리드 기반 예측들은 훨씬 더 동적이고 변화하는 상황들에 응답할 수 있다.
나머지 그리드 셀들 주위에 윤곽이 그려질 수 있다. 도 12a 내지 도 12c는 확률 분포들(1180-1184)에 대한 예시적인 윤곽 영역들(1280-1284)이다. 이러한 윤곽들은 경로 계획을 위해 컴퓨팅 디바이스들에 의해 사용될 수 있다. 예를 들어, 경로 계획은 차량이 짧은 기간 동안 통과하도록 허용되지 않는 영역을 정의하기 위해 윤곽을 사용하는 것을 수반한다.
컴퓨팅 디바이스들(110)은 이러한 윤곽 영역들 중 임의의 것을 피하는 궤적을 생성할 수 있다. 예를 들어, 도 13은 예시적인 윤곽 영역들(1280-1284)을 갖는 도 6의 예를 묘사한다. 이 예에서, 컴퓨팅 디바이스들(110)은 루트(570)를 여전히 따르면서 차량(494)의 궤적(694)뿐만 아니라 윤곽 영역(1282)을 피하기 위해 차량의 위치를 조정하고 차량의 속도를 늦추는 궤적(1370)을 생성할 수 있다.
일부 경우에, 차량이 보행자에 너무 가까워지지 않도록 보장하기 위해 윤곽 주위의 완충 거리 또는 영역이 또한 도입될 수 있다. 예를 들어, 이 수는, 1 미터 이상 또는 이하와 같이, 승객뿐만 아니라 보행자에 대한 "편안한" 통과 마진을 보장하도록 선택될 수 있다.
게다가, 결과적인 윤곽들은 짧은 시간 지평을 나타내기 때문에, 윤곽은 경로 계획을 위해 시간-독립적인 방식으로 사용될 수 있고(예를 들어, 정적인 물체처럼 취급됨), 이는 보행자가 이동하는 물체인 것으로 간주되는 경우보다 보행자를 피하는 것을 더 쉬운 문제로 만든다. 이와 관련하여, 기간 동안 차량의 궤적을 결정할 때, 컴퓨팅 디바이스들(110)은 단순히 윤곽 영역들(1280 내지 1284) 각각을 컴퓨팅 디바이스들(110)이 피해야 하는 개별적인 더 큰 정지 물체로서 취급할 수 있다.
도 14는 자율 주행 모드에서 차량을 제어하기 위해 컴퓨팅 디바이스들(110)의 하나 이상의 프로세서(120)와 같은 하나 이상의 프로세서에 의해 수행될 수 있는 흐름 다이어그램(1400)이다. 이 예에서, 블록 1402에서, 차량의 환경 내의 물체를 식별하는 센서 데이터가 수신된다. 블록 1404에서, 물체 주위에 복수의 셀을 포함하는 그리드가 투사된다. 블록 1406에서, 복수의 셀 중 각각의 주어진 하나의 셀에 대해, 물체가 미래로 일정 기간 내에 주어진 하나의 셀에 들어갈 가능성이 예측된다. 블록 1408에서, 예측된 가능성들에 기초하여 윤곽이 생성된다. 블록 1410에서, 그 후 윤곽 내의 영역을 피하기 위해 자율 주행 모드에서 차량이 제어된다.
달리 언급되지 않는 한, 전술한 대안적인 예들은 상호 배타적이지 않으며, 고유의 이점들을 달성하도록 다양한 조합들로 구현될 수 있다. 위에서 논의된 특징들의 이러한 및 다른 변형들 및 조합들이 청구항들에 의해 정의되는 주제를 벗어나지 않고서 이용될 수 있으므로, 전술한 실시예들의 설명은 청구항들에 의해 정의되는 주제의 제한으로서가 아니라 예시로서 받아들여져야 한다. 게다가, 본 명세서에서 설명된 예들뿐만 아니라, "와 같은", "포함하는" 등의 문구로된 절들의 제공은 청구항들의 주제를 특정 예들로 제한하는 것으로 해석되어서는 안 된다; 오히려, 예들은 많은 가능한 실시예들 중 하나만을 예시하기 의도된 것이다. 게다가, 상이한 도면들에서의 동일한 참조 번호들은 동일하거나 유사한 요소들을 식별할 수 있다.

Claims (20)

  1. 자율 주행 모드를 갖는 차량을 제어하는 방법으로서,
    상기 방법은:
    상기 차량의 하나 이상의 프로세서에 의해, 상기 차량의 환경 내의 물체를 식별하는 센서 데이터를 수신하는 단계;
    상기 하나 이상의 프로세서에 의해, 상기 물체 주위에 복수의 셀을 포함하는 그리드를 투사하는 단계;
    상기 복수의 셀 중 각각의 주어진 하나의 셀에 대해, 상기 하나 이상의 프로세서에 의해, 상기 물체가 미래로 일정 기간 내에 상기 주어진 하나의 셀에 들어갈 가능성을 예측하는 단계;
    상기 하나 이상의 프로세서에 의해, 상기 예측된 가능성들에 기초하여 윤곽을 생성하는 단계; 및
    상기 하나 이상의 프로세서에 의해, 상기 윤곽 내의 영역을 피하기 위해 상기 자율 주행 모드에서 상기 차량을 제어하는 단계를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 센서 데이터는 상기 물체를 보행자 물체 유형인 것으로서 식별하고, 상기 그리드를 투사하는 단계는 상기 보행자 물체 유형에 추가로 기초하는, 방법.
  3. 제1항에 있어서,
    상기 물체 상의 포인트를 선택하는 단계를 추가로 포함하고, 상기 그리드를 투사하는 단계는 상기 그리드의 중심에 상기 포인트를 배치하는 단계를 포함하는, 방법.
  4. 제1항에 있어서,
    상기 윤곽 주위에 완충 거리를 제공하는 단계를 추가로 포함하고, 상기 차량을 제어하는 단계는 상기 윤곽 주위의 상기 완충 거리 내의 영역을 피하는 단계를 포함하는, 방법.
  5. 제1항에 있어서,
    상기 기간은 2초 이하인, 방법.
  6. 제1항에 있어서,
    임계값 및 상기 예측된 가능성들을 이용하여 상기 복수의 셀 중의 셀들을 폐기하는 단계를 추가로 포함하고, 상기 윤곽은 상기 복수의 셀 중의 임의의 나머지 셀들을 이용하여 생성되는, 방법.
  7. 제6항에 있어서,
    상기 센서 데이터에서 식별된 물체들에 기초하여 상기 임계값을 선택하는 단계를 추가로 포함하는, 방법.
  8. 제7항에 있어서,
    상기 임계값을 선택하는 단계는 상기 센서 데이터에서 식별된 보행자의 수에 기초하는, 방법.
  9. 제7항에 있어서,
    상기 임계값을 선택하는 단계는 상기 차량이 상기 그리드의 영역을 피하는 가능성에 기초하는, 방법.
  10. 제1항에 있어서,
    상기 예측된 가능성들을 예측하는 단계는 히트 맵을 제공하는, 방법.
  11. 자율 주행 모드를 갖는 차량을 제어하기 위한 시스템으로서, 상기 시스템은 하나 이상의 프로세서를 포함하고, 상기 하나 이상의 프로세서는:
    상기 차량의 환경 내의 물체를 식별하는 센서 데이터를 수신하고;
    상기 물체 주위에 복수의 셀을 포함하는 그리드를 투사하고;
    상기 복수의 셀 중 각각의 주어진 하나의 셀에 대해, 상기 물체가 미래로 일정 기간 내에 상기 주어진 하나의 셀에 들어갈 가능성을 예측하고;
    상기 예측된 가능성들에 기초하여 윤곽을 생성하고;
    상기 윤곽 내의 영역을 피하기 위해 상기 자율 주행 모드에서 상기 차량을 제어하도록 구성되는, 시스템.
  12. 제11항에 있어서,
    상기 센서 데이터는 상기 물체를 보행자 물체 유형인 것으로서 식별하고, 상기 그리드를 투사하는 단계는 상기 보행자 물체 유형에 추가로 기초하는, 시스템.
  13. 제11항에 있어서,
    상기 물체 상의 포인트를 선택하는 것을 추가로 포함하고, 상기 그리드를 투사하는 것은 상기 그리드의 중심에 상기 포인트를 배치하는 단계를 포함하는, 시스템.
  14. 제11항에 있어서,
    상기 윤곽 주위에 완충 거리를 제공하는 것을 추가로 포함하고, 상기 차량을 제어하는 것은 상기 윤곽 주위의 상기 완충 거리 내의 영역을 피하는 것을 포함하는, 시스템.
  15. 제11항에 있어서,
    임계값 및 상기 예측된 가능성들을 이용하여 상기 복수의 셀 중의 셀들을 폐기하는 것을 추가로 포함하고, 상기 윤곽은 상기 복수의 셀 중의 임의의 나머지 셀들을 이용하여 생성되는, 시스템.
  16. 제15항에 있어서,
    상기 센서 데이터에서 식별된 물체들에 기초하여 상기 임계값을 선택하는 것을 추가로 포함하는, 시스템.
  17. 제16항에 있어서,
    상기 임계값을 선택하는 단계는 상기 센서 데이터에서 식별된 보행자의 수에 기초하는, 시스템.
  18. 제16항에 있어서,
    상기 임계값을 선택하는 것은 상기 센서 데이터에서 휠체어가 식별되는지에 기초하는, 시스템.
  19. 제11항에 있어서,
    상기 예측된 가능성들을 예측하는 것은 히트 맵을 제공하는, 시스템.
  20. 제11항에 있어서,
    상기 차량을 추가로 포함하는, 시스템.
KR1020207011812A 2017-10-24 2018-10-23 자율 차량들을 위한 보행자 행동 예측들 KR102308924B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020217031220A KR102382577B1 (ko) 2017-10-24 2018-10-23 자율 차량들을 위한 보행자 행동 예측들

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/791,602 2017-10-24
US15/791,602 US11048927B2 (en) 2017-10-24 2017-10-24 Pedestrian behavior predictions for autonomous vehicles
PCT/US2018/057071 WO2019083978A1 (en) 2017-10-24 2018-10-23 PREDICTIONS OF PEDESTRIAN BEHAVIOR FOR AUTONOMOUS VEHICLES

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020217031220A Division KR102382577B1 (ko) 2017-10-24 2018-10-23 자율 차량들을 위한 보행자 행동 예측들

Publications (2)

Publication Number Publication Date
KR20200047740A true KR20200047740A (ko) 2020-05-07
KR102308924B1 KR102308924B1 (ko) 2021-10-05

Family

ID=66171094

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020207011812A KR102308924B1 (ko) 2017-10-24 2018-10-23 자율 차량들을 위한 보행자 행동 예측들
KR1020217031220A KR102382577B1 (ko) 2017-10-24 2018-10-23 자율 차량들을 위한 보행자 행동 예측들

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020217031220A KR102382577B1 (ko) 2017-10-24 2018-10-23 자율 차량들을 위한 보행자 행동 예측들

Country Status (7)

Country Link
US (2) US11048927B2 (ko)
EP (1) EP3678911B1 (ko)
JP (1) JP7153071B2 (ko)
KR (2) KR102308924B1 (ko)
CN (1) CN111278707B (ko)
IL (1) IL273953B2 (ko)
WO (1) WO2019083978A1 (ko)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10496091B1 (en) * 2016-08-17 2019-12-03 Waymo Llc Behavior and intent estimations of road users for autonomous vehicles
US11195410B2 (en) * 2018-01-09 2021-12-07 Continental Automotive Systems, Inc. System and method for generating a traffic heat map
GB2572127B (en) * 2018-01-10 2022-09-14 Xihelm Ltd Method and system for agriculture
DE102018200944A1 (de) * 2018-01-22 2019-07-25 Ford Global Technologies, Llc Cross Traffic Alert mit Blinkerkennung
JP2019156180A (ja) * 2018-03-13 2019-09-19 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP2019156222A (ja) * 2018-03-14 2019-09-19 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
US20190337511A1 (en) * 2018-05-02 2019-11-07 GM Global Technology Operations LLC System and Method for Controlling an Autonomous Vehicle
US10860025B2 (en) * 2018-05-15 2020-12-08 Toyota Research Institute, Inc. Modeling graph of interactions between agents
US10678245B2 (en) * 2018-07-27 2020-06-09 GM Global Technology Operations LLC Systems and methods for predicting entity behavior
US10969789B2 (en) * 2018-11-09 2021-04-06 Waymo Llc Verifying predicted trajectories using a grid-based approach
JP2022523730A (ja) 2019-01-30 2022-04-26 パーセプティブ オートマタ インコーポレイテッド 交通エンティティの間を縫っての自律車両のニューラルネットワークベースのナビゲーション
EP3707061A1 (en) * 2019-02-01 2020-09-16 Carit Automotive GmbH & Co. KG Vehicle park assist systems
US11467579B2 (en) 2019-02-06 2022-10-11 Perceptive Automata, Inc. Probabilistic neural network for predicting hidden context of traffic entities for autonomous vehicles
KR102704006B1 (ko) * 2019-02-14 2024-09-05 한화에어로스페이스 주식회사 장애물 지도 생성 방법 및 그 장치
US20220172490A1 (en) * 2019-03-26 2022-06-02 Sony Semiconductor Solutions Corporation Image processing apparatus, vehicle control apparatus, method, and program
US20220169245A1 (en) * 2019-03-29 2022-06-02 Sony Group Corporation Information processing apparatus, information processing method, computer program, and mobile body device
CN110689719B (zh) * 2019-05-31 2021-01-19 北京嘀嘀无限科技发展有限公司 用于识别封闭路段的系统和方法
CN110298122B (zh) * 2019-07-03 2021-04-27 北京理工大学 基于冲突消解的无人驾驶车辆城市交叉口左转决策方法
CN112242069B (zh) * 2019-07-17 2021-10-01 华为技术有限公司 一种确定车速的方法和装置
RU2745804C1 (ru) 2019-11-06 2021-04-01 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способ и процессор для управления перемещением в полосе движения автономного транспортного средства
US10981507B1 (en) * 2019-11-07 2021-04-20 Focused Technology Solutions, Inc. Interactive safety system for vehicles
RU2744012C1 (ru) 2019-12-24 2021-03-02 Общество с ограниченной ответственностью "Яндекс Беспилотные Технологии" Способы и системы для автоматизированного определения присутствия объектов
EP4089365A4 (en) * 2020-01-08 2023-07-19 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
JP7276181B2 (ja) * 2020-01-29 2023-05-18 トヨタ自動車株式会社 運転支援システム
US11467580B2 (en) 2020-02-14 2022-10-11 Uatc, Llc Systems and methods for detecting surprise movements of an actor with respect to an autonomous vehicle
US11708071B2 (en) 2020-03-30 2023-07-25 Denso Corporation Target-orientated navigation system for a vehicle using a generic navigation system and related method
US12100224B1 (en) 2020-05-21 2024-09-24 Zoox, Inc. Key point detection
US11577759B2 (en) 2020-05-26 2023-02-14 Toyota Research Institute, Inc. Systems and methods for hybrid prediction framework with inductive bias
CN111907520B (zh) * 2020-07-31 2022-03-15 东软睿驰汽车技术（沈阳）有限公司 行人姿态识别方法、装置及无人驾驶汽车
WO2022072764A1 (en) * 2020-10-01 2022-04-07 Uatc, Llc Metrics for evaluating autonomous vehicle performance
US11841704B2 (en) * 2020-11-04 2023-12-12 Waymo Llc Behavior prediction for railway agents for autonomous driving system
JP7409346B2 (ja) * 2021-03-31 2024-01-09 トヨタ自動車株式会社 制御装置、システム、車両、及び制御方法
SE2100097A1 (en) * 2021-06-09 2022-12-10 Saab Ab Method and Device for object tracking
US20220410882A1 (en) * 2021-06-28 2022-12-29 GM Global Technology Operations LLC Intersection collision mitigation risk assessment model
JP2023015858A (ja) * 2021-07-20 2023-02-01 株式会社Subaru 車両の運転支援装置
US11904906B2 (en) 2021-08-05 2024-02-20 Argo AI, LLC Systems and methods for prediction of a jaywalker trajectory through an intersection
EP4131180A1 (en) * 2021-08-05 2023-02-08 Argo AI, LLC Methods and system for predicting trajectories of actors with respect to a drivable area
US12080044B2 (en) 2021-11-24 2024-09-03 Zoox, Inc. Prediction sampling techniques
US12065171B2 (en) 2021-11-24 2024-08-20 Zoox, Inc. Encoding relative object information into node edge features
US12084087B2 (en) * 2021-11-24 2024-09-10 Zoox, Inc. Focusing prediction distribution output for efficient sampling
US20230213945A1 (en) * 2021-12-30 2023-07-06 Nvidia Corporation Obstacle to path assignment for autonomous systems and applications
US12084086B2 (en) * 2022-02-22 2024-09-10 Waymo Llc Inferring good user pickup locations from detected walking paths

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007213228A (ja) * 2006-02-08 2007-08-23 Toyota Motor Corp 運転支援装置
US20070288133A1 (en) * 2006-06-13 2007-12-13 Nissan Motor Co., Ltd. Obstacle avoidance path computing apparatus, obstacle avoidance path computing method, and obstacle avoidance control system equipped with obstacle avoidance path computing system
JP2010173616A (ja) * 2009-02-02 2010-08-12 Nissan Motor Co Ltd 車両走行支援装置及び車両走行支援方法
US20100305858A1 (en) * 2009-06-01 2010-12-02 Raytheon Company Non-kinematic behavioral mapping
US20150210311A1 (en) * 2014-01-27 2015-07-30 Robert Bosch Gmbh Method for operating a driver assistance system, and driver assistance system
JP2015143966A (ja) * 2013-07-25 2015-08-06 株式会社リコー 画像処理装置、立体物検出方法、立体物検出プログラム、および、移動体制御システム
US20170120814A1 (en) * 2015-11-04 2017-05-04 Zoox, Inc. Method for robotic vehicle communication with an external environment via acoustic beam forming
JP2017107287A (ja) * 2015-12-07 2017-06-15 パナソニック株式会社 歩行者端末装置、車載端末装置、歩車間通信システムおよび歩車間通信方法
US20170259814A1 (en) * 2016-03-10 2017-09-14 Panasonic Intellectual Property Corporation Of America Method of switching vehicle drive mode from automatic drive mode to manual drive mode depending on accuracy of detecting object

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3717283A1 (de) 1987-05-22 1988-12-01 Ruetgerswerke Ag Verfluessigungsmittel fuer mineralische bindemittel
DE19641261C1 (de) * 1996-10-07 1998-02-12 Siemens Ag Verfahren zur Bewertung der Meßqualität eines Entfernungsmeßsensors an einem autonomen mobilen System
JP4254844B2 (ja) * 2006-11-01 2009-04-15 トヨタ自動車株式会社 走行制御計画評価装置
US8554478B2 (en) 2007-02-23 2013-10-08 Honeywell International Inc. Correlation position determination
JP2009150722A (ja) * 2007-12-19 2009-07-09 Toyota Motor Corp 位置検出装置
JP5278776B2 (ja) * 2008-12-09 2013-09-04 トヨタ自動車株式会社 物体検出装置および物体検出方法
KR101105325B1 (ko) 2009-09-08 2012-01-16 부산대학교 산학협력단 실제 로봇의 다중 경로계획 방법
KR101096592B1 (ko) 2010-09-29 2011-12-20 국방과학연구소 장애물격자지도를 활용하는 무인차량의 자율주행성능 향상 장치 및 방법
US9472097B2 (en) * 2010-11-15 2016-10-18 Image Sensing Systems, Inc. Roadway sensing systems
EP2615598B1 (en) 2012-01-11 2017-12-06 Honda Research Institute Europe GmbH Vehicle with computing means for monitoring and predicting traffic participant objects
WO2013128852A1 (ja) * 2012-02-29 2013-09-06 日本電気株式会社 動線情報生成システム、動線情報生成方法および動線情報生成プログラム
WO2014103879A1 (ja) 2012-12-26 2014-07-03 オリンパスメディカルシステムズ株式会社 画像記録装置及び画像記録方法
DE102013203239A1 (de) 2013-02-27 2014-08-28 Bayerische Motoren Werke Aktiengesellschaft Gridbasierte Vorhersage der Position eines Objektes
US9523984B1 (en) * 2013-07-12 2016-12-20 Google Inc. Methods and systems for determining instructions for pulling over an autonomous vehicle
US9786178B1 (en) * 2013-08-02 2017-10-10 Honda Motor Co., Ltd. Vehicle pedestrian safety system and methods of use and manufacture thereof
FR3022049B1 (fr) 2014-06-06 2016-07-22 Inria Inst Nat De Rech En Informatique Et En Automatique Procede d'analyse d'une scene dynamique, module d'analyse et programme d'ordinateur associes
JP6289284B2 (ja) 2014-06-20 2018-03-07 ルネサスエレクトロニクス株式会社 半導体装置及び制御方法
CN105389855B (zh) * 2014-08-26 2019-11-01 三星电子株式会社 对对象进行建模的方法和设备
KR20160048530A (ko) 2014-10-24 2016-05-04 국방과학연구소 자율 이동 차량의 경로 생성 방법 및 경로 생성 장치
WO2016156236A1 (en) 2015-03-31 2016-10-06 Sony Corporation Method and electronic device
JP6481520B2 (ja) 2015-06-05 2019-03-13 トヨタ自動車株式会社 車両の衝突回避支援装置
US10086699B2 (en) * 2015-06-24 2018-10-02 Nissan North America, Inc. Vehicle operation assistance information management for autonomous vehicle control operation
US9604639B2 (en) * 2015-08-28 2017-03-28 Delphi Technologies, Inc. Pedestrian-intent-detection for automated vehicles
US10229363B2 (en) 2015-10-19 2019-03-12 Ford Global Technologies, Llc Probabilistic inference using weighted-integrals-and-sums-by-hashing for object tracking
JP6795379B2 (ja) * 2016-03-10 2020-12-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 運転制御装置、運転制御方法及び運転制御プログラム
US10055652B2 (en) * 2016-03-21 2018-08-21 Ford Global Technologies, Llc Pedestrian detection and motion prediction with rear-facing camera
JP6622148B2 (ja) * 2016-06-17 2019-12-18 日立オートモティブシステムズ株式会社 周辺環境認識装置
US20180217603A1 (en) 2017-01-31 2018-08-02 GM Global Technology Operations LLC Efficient situational awareness from perception streams in autonomous driving systems
US10195992B2 (en) * 2017-04-03 2019-02-05 Ford Global Technologies, Llc Obstacle detection systems and methods
GB2564897A (en) * 2017-07-27 2019-01-30 Kompetenzzentrum Das Virtuelle Fahrzeug Method and process for motion planning in (un-)structured environments with pedestrians and use of probabilistic manifolds
US10969789B2 (en) * 2018-11-09 2021-04-06 Waymo Llc Verifying predicted trajectories using a grid-based approach
US11215997B2 (en) * 2018-11-30 2022-01-04 Zoox, Inc. Probabilistic risk assessment for trajectory evaluation
US11170567B2 (en) * 2019-06-28 2021-11-09 Woven Planet North America, Inc. Dynamic object detection model based on static map collection data

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007213228A (ja) * 2006-02-08 2007-08-23 Toyota Motor Corp 運転支援装置
US20070288133A1 (en) * 2006-06-13 2007-12-13 Nissan Motor Co., Ltd. Obstacle avoidance path computing apparatus, obstacle avoidance path computing method, and obstacle avoidance control system equipped with obstacle avoidance path computing system
JP2010173616A (ja) * 2009-02-02 2010-08-12 Nissan Motor Co Ltd 車両走行支援装置及び車両走行支援方法
US20100305858A1 (en) * 2009-06-01 2010-12-02 Raytheon Company Non-kinematic behavioral mapping
JP2015143966A (ja) * 2013-07-25 2015-08-06 株式会社リコー 画像処理装置、立体物検出方法、立体物検出プログラム、および、移動体制御システム
US20150210311A1 (en) * 2014-01-27 2015-07-30 Robert Bosch Gmbh Method for operating a driver assistance system, and driver assistance system
US20170120814A1 (en) * 2015-11-04 2017-05-04 Zoox, Inc. Method for robotic vehicle communication with an external environment via acoustic beam forming
JP2017107287A (ja) * 2015-12-07 2017-06-15 パナソニック株式会社 歩行者端末装置、車載端末装置、歩車間通信システムおよび歩車間通信方法
US20170259814A1 (en) * 2016-03-10 2017-09-14 Panasonic Intellectual Property Corporation Of America Method of switching vehicle drive mode from automatic drive mode to manual drive mode depending on accuracy of detecting object

Also Published As

Publication number Publication date
KR102382577B1 (ko) 2022-04-08
EP3678911A1 (en) 2020-07-15
IL273953A (en) 2020-05-31
CN111278707A (zh) 2020-06-12
EP3678911A4 (en) 2021-05-05
EP3678911B1 (en) 2023-08-23
US11783614B2 (en) 2023-10-10
IL273953B1 (en) 2023-08-01
US11048927B2 (en) 2021-06-29
JP7153071B2 (ja) 2022-10-13
JP2021500652A (ja) 2021-01-07
KR20210124502A (ko) 2021-10-14
KR102308924B1 (ko) 2021-10-05
US20210286985A1 (en) 2021-09-16
WO2019083978A1 (en) 2019-05-02
IL273953B2 (en) 2023-12-01
US20190122037A1 (en) 2019-04-25
CN111278707B (zh) 2023-09-12

Similar Documents

Publication Publication Date Title
KR102308924B1 (ko) 자율 차량들을 위한 보행자 행동 예측들
US12090997B1 (en) Predicting trajectories of objects based on contextual information
US11878683B1 (en) Automated system and method for modeling the behavior of vehicles and other agents
US11720116B1 (en) Collision mitigation static occupancy grid
CN113165652B (zh) 使用基于网格的方法检验预测轨迹
US11934193B2 (en) Speed-dependent required lateral clearance for autonomous vehicle path planning
US11951991B2 (en) Semantic object clustering for autonomous vehicle decision making
KR20140020230A (ko) 검출된 물체의 행동을 예측하기 위한 시스템 및 방법
US11354912B2 (en) Detecting potentially occluded objects for autonomous vehicles
CN115593429A (zh) 自动驾驶车辆对紧急车辆的响应

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant