KR102144416B1 - 장래 진로를 결정하기 위한 휠 배향의 사용 - Google Patents

장래 진로를 결정하기 위한 휠 배향의 사용 Download PDF

Info

Publication number
KR102144416B1
KR102144416B1 KR1020197023650A KR20197023650A KR102144416B1 KR 102144416 B1 KR102144416 B1 KR 102144416B1 KR 1020197023650 A KR1020197023650 A KR 1020197023650A KR 20197023650 A KR20197023650 A KR 20197023650A KR 102144416 B1 KR102144416 B1 KR 102144416B1
Authority
KR
South Korea
Prior art keywords
vehicle
sensor data
wheel
data points
bounding box
Prior art date
Application number
KR1020197023650A
Other languages
English (en)
Other versions
KR20190100407A (ko
Inventor
젠스-스테펜 랄프 구트만
Original Assignee
웨이모 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 웨이모 엘엘씨 filed Critical 웨이모 엘엘씨
Priority to KR1020207022927A priority Critical patent/KR102252895B1/ko
Publication of KR20190100407A publication Critical patent/KR20190100407A/ko
Application granted granted Critical
Publication of KR102144416B1 publication Critical patent/KR102144416B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097—Predicting future conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G06K9/00805—
    • G06K9/3233—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Acoustics & Sound (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Image Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Navigation (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

기술은 객체의 장래 진로를 결정하는 것에 관한 것이다. 그렇게 하기 위해, 차량의 환경에서 객체를 나타내는 바운딩 박스(420)를 식별하는 정보 및 객체에 대응하는 센서 데이터 포인트들의 위치들을 포함하는 센서 데이터가 수신될 수도 있다. 바운딩 박스(420)의 치수들에 기초하여, 객체의 휠에 대응하는 영역(610)이 식별될 수도 있다. 그 후에, 영역(610) 내의 센서 데이터 포인트들을 평면(710)에 피팅하는 것에 의해 영역(610) 내의 위치들을 갖는 센서 데이터 포인트들에 기초하여 휠의 배향이 추정될 수도 있다. 그 후에, 추정이 사용되어 객체의 장래 진로를 결정할 수도 있다.

Description

장래 진로를 결정하기 위한 휠 배향의 사용
관련 출원들에 대한 상호 참조
본 출원은, 2017년 2월 10일자로 출원된 미국 특허 출원 제15/429,275호의 계속 출원이고, 이 미국 특허 출원의 개시내용은 이로써 본 명세서에 참조로 포함된다.
인간 드라이버를 요구하지 않는 차량들과 같은 자율 차량들은 한 위치로부터 다른 위치로 승객들 또는 물품들을 이송하는 데 도움을 주기 위해 사용될 수 있다. 그러한 차량들은 승객들이 픽업 또는 목적지 위치와 같은 일부 초기 입력을 제공할 수도 있는 완전 자율 모드에서 동작할 수도 있고, 차량은 그 위치로 스스로 기동한다.
그러한 차량들에는 전형적으로 주변들에서 객체들을 검출하기 위해 다양한 타입들의 센서들이 구비된다. 예를 들어, 자율 차량들은 레이저들, 소나(sonar), 레이더, 카메라들, 및 차량의 주변들로부터의 데이터를 스캐닝 및 기록하는 다른 디바이스들을 포함할 수도 있다. 이들 디바이스들 중 하나 이상으로부터의 센서 데이터는 객체들 및 이들의 개개의 특성들(포지션, 형상, 진로(heading), 속도 등)을 검출하는 데 사용될 수도 있다. 많은 경우들에서, 그러한 시스템들은 이제, 예를 들어, 객체 사이즈, 형상, 속도, 위치 등과 같은 큐(cue)들을 사용하여 객체의 타입을 식별하는 것이 가능하다. 이들 특성들은, 이들 객체들을 회피하기 위해 차량을 제어하는 데 사용될 수 있는 장래의 얼마간의 짧은 주기 동안 객체가 무엇을 할 가능성이 있는지를 예측하는 데 사용될 수 있다. 따라서, 검출, 식별, 및 예측은 자율 차량의 안전한 동작을 위한 중대한 기능들이다.
본 개시내용의 양태들은 객체의 장래 진로를 결정하는 방법을 제공한다. 이 방법은, 하나 이상의 프로세서에 의해, 차량의 환경에서 객체를 식별하는 정보 및 객체에 대응하는 센서 데이터 포인트들을 포함하는 센서 데이터를 수신하는 단계; 하나 이상의 프로세서에 의해, 센서 데이터에 기초하여 객체의 휠(wheel)의 예상된 위치에 대응하는 영역을 식별하는 단계; 하나 이상의 프로세서에 의해, 영역 내의 위치들을 갖는 센서 데이터 포인트들에 기초하여 휠의 배향(orientation)을 추정하는 단계; 및 하나 이상의 프로세서에 의해, 추정에 기초하여 객체의 장래 진로를 결정하는 단계를 포함한다.
일 예에서, 배향을 추정하는 단계는, 영역 내의 위치들을 갖는 센서 데이터 포인트들 중 임의의 것을 제1 평면에 피팅(fitting)하는 단계를 포함한다. 이 예에서, 센서 데이터는, 객체에 대응하는 데이터 포인트들을 바운딩(bounding)하는 바운딩 박스를 더 포함하고, 배향을 추정하는 단계는, 바운딩 박스의 한 면의 제2 평면과 제1 평면 사이의 각도 차이를 결정하는 단계를 포함한다. 부가적으로, 휠의 배향을 추정하는 단계는, 바운딩 박스의 외측에 있고 영역 내에 있는 위치들을 갖는 센서 데이터 포인트들에 추가로 기초한다. 다른 예에서, 영역을 식별하는 단계는, 시간 주기에 걸쳐 결정되는 객체의 앞서 추정된 궤도에 추가로 기초한다. 이 예에서, 영역을 식별하는 단계는, 객체의 타입에 추가로 기초한다. 다른 예에서, 이 방법은, 장래 진로에 기초하여 통지를 생성하는 단계, 및 객체가 차량을 향해 이동하고 있음을 표시하는 통지를 차량의 승객에게 제공하는 단계를 또한 포함한다. 이 예에서, 통지는 승객이 차량의 조향, 가속, 및 감속 중 하나 이상을 제어할 것을 요청한다. 다른 예에서, 이 방법은, 자율 드라이빙 모드에서 차량을 제어하기 위해 장래 진로를 사용하는 단계를 또한 포함한다. 다른 예에서, 영역을 식별하는 단계는, 휠 위치들의 모델에 추가로 기초한다. 이 예에서, 센서 데이터는, 객체에 대응하는 데이터 포인트들을 바운딩하는 바운딩 박스를 더 포함하고, 영역을 식별하는 단계는, 바운딩 박스의 치수들을 모델에 입력하는 단계를 더 포함한다. 부가적으로 또는 대안적으로, 모델은 고정된 휠 반경에 기초한다. 다른 예에서, 이 방법은, 객체의 이미지를 수신하는 단계, 및 가능한 휠 위치를 식별하기 위해 이미지를 분석하는 단계를 또한 포함하고, 여기서 영역을 식별하는 단계는, 가능한 휠 위치에 추가로 기초한다.
본 개시내용의 다른 양태는 객체가 차량의 궤도에 진입할 것이라는 것을 예측하기 위한 시스템을 제공한다. 시스템은 하나 이상의 프로세서를 포함하는데, 하나 이상의 프로세서는 차량의 환경에서 객체를 식별하는 정보 및 객체에 대응하는 센서 데이터 포인트들을 포함하는 센서 데이터를 수신하고; 센서 데이터에 기초하여 객체의 휠의 예상된 위치에 대응하는 영역을 식별하고; 영역 내의 위치들을 갖는 센서 데이터 포인트들에 기초하여 휠의 배향을 추정하고; 추정에 기초하여 객체의 장래 진로를 결정하도록 구성된다.
일 예에서, 하나 이상의 프로세서는 영역 내의 위치들을 갖는 센서 데이터 포인트들 중 임의의 것을 제1 평면에 피팅하는 것에 의해 배향을 추정하도록 추가로 구성된다. 다른 예에서, 센서 데이터는, 객체에 대응하는 데이터 포인트들을 바운딩하는 바운딩 박스를 더 포함하고, 하나 이상의 프로세서는 바운딩 박스의 한 면의 제2 평면과 제1 평면 사이의 각도 차이를 결정하는 것에 의해 배향을 추정하도록 추가로 구성된다. 다른 예에서, 하나 이상의 프로세서는 장래 진로에 기초하여 통지를 생성하고, 객체가 차량을 향해 이동하고 있음을 표시하는 통지를 차량의 승객에게 제공하도록 추가로 구성된다. 다른 예에서, 하나 이상의 프로세서는 자율 드라이빙 모드에서 차량을 제어하기 위해 장래 진로를 사용하도록 추가로 구성된다. 다른 예에서, 시스템은 차량을 또한 포함한다.
본 개시내용의 다른 양태는 명령어들이 저장되는 비일시적 컴퓨터 판독가능 기록 매체를 제공한다. 명령어들은, 하나 이상의 프로세서에 의해 실행될 때, 하나 이상의 프로세서로 하여금, 객체가 차량의 궤도에 진입할 것이라는 것을 예측하기 위한 방법을 수행하게 한다. 이 방법은, 차량의 환경에서 객체를 식별하는 정보 및 객체에 대응하는 센서 데이터 포인트들을 포함하는 센서 데이터를 수신하는 단계; 센서 데이터에 기초하여 객체의 휠의 예상된 위치에 대응하는 영역을 식별하는 단계; 영역 내의 위치들을 갖는 센서 데이터 포인트들에 기초하여 휠의 배향을 추정하는 단계; 및 추정에 기초하여 객체의 장래 진로를 결정하는 단계를 포함한다.
도 1은 본 개시내용의 양태들에 따른 예시적인 차량의 기능도이다.
도 2a 내지 도 2d는 본 개시내용의 양태들에 따른 차량의 예시적인 외부 뷰들이다.
도 3은 본 개시내용의 양태들에 따른 도로 및 차량들의 뷰이다.
도 4는 본 개시내용의 양태들에 따른 데이터 및 차량의 뷰이다.
도 5a 및 도 5b는 본 개시내용에 따른 바운딩 박스의 예시적인 뷰들이다.
도 6a 및 도 6b는 본 개시내용에 따른 바운딩 박스 및 휠의 추정된 위치에 대응하는 영역의 예시적인 뷰들이다.
도 7은 본 개시내용에 따른 바운딩 박스, 휠의 추정된 위치에 대응하는 영역, 및 추정된 평면의 예이다.
도 8은 본 개시내용의 양태들에 따른 데이터 및 차량의 다른 뷰이다.
도 9는 본 개시내용의 양태들에 따른 흐름도이다.
개관
기술은 객체의 장래 궤도를 예측하고 이 정보를 사용하여 자율 차량에 대한 드라이빙 판정을 행하는 것에 관한 것이다. 차량들 또는 자전거들과 같은, 휠들을 갖는 특정 타입들의 객체들의 경우, 원시 센서 정보가 사용되어 객체의 타이어, 림(rim)(또는 허브캡), 또는 이들 양측 모두를 포함하는 객체의 전방 휠의 상대적인 배향을 식별할 수 있다. 예를 들어, 승용차에서는, 타이어가 검출될 만큼 충분히 클 수도 있지만, 자전거의 경우, 타이어가 상당히 얇고 검출하기가 더 어려울 수도 있다. 그 후에, 이것은, 예를 들어, 객체의 과거 궤도 또는 속도에 관한 정보를 휠의 배향과 조합하는 것에 의해, 객체의 장래 궤도를 결정하는 데 사용될 수 있다.
지각 시스템(perception system) 및/또는 차량의 컴퓨팅 디바이스들은 객체의 앞선 관측들을 사용하여 객체의 장래 궤도를 예측할 수도 있다. 예를 들어, 객체의 속도, 배향/진로, 위치, 상태(즉, 방향 지시등(turn signal) 등), 앞서 추정된 궤도는 객체가 있을 가능성이 있는 장래의 일련의 위치들 및 시간들을 예측하는 데 사용될 수도 있다. 함께, 이들 위치들 및 시간들은 장래의 얼마간의 짧은 주기 동안 객체에 대한 궤도를 형성할 수도 있다.
차량의 지각 시스템은 객체에 대응하는 센서 데이터 포인트들의 위치를 또한 식별할 수도 있다. 이 정보는 센서 데이터의 세그먼트화(segmentation)에 의해 제공될 수도 있다. 세그먼트화는, 어떤 센서 데이터 포인트들(또는 비전 픽셀들)이 객체에 대응하는지를 컴퓨팅 디바이스들이 알도록 센서 데이터를 라벨링하는 프로세스이다. 일부 경우들에서, 센서 데이터는 객체의 추정된 치수들을 나타내는 바운딩 박스들로 세그먼트화될 수도 있다. 부가적으로, 지각 시스템은 객체 주위의 센서 데이터 포인트들을 식별하는 정보를 제공할 수도 있지만, 세그먼트화에 의해 객체와 특별히 연관되지 않을 수도 있다. 지각 시스템은 또한, 객체의 위치, 배향, 사이즈, 형상, 타입, 이동의 방향 및 속도 등과 같은, 객체의 특성들을 식별 및 제공할 수도 있다.
바운딩 박스의 사이즈 및/또는 객체의 치수들을 사용하면, 차량의 컴퓨팅 디바이스들은 객체의 휠의 위치에 대응하는 영역을 추정할 수도 있다. 객체의 휠(전방 또는 후방)의 위치를 추정하기 위해, 차량의 컴퓨팅 시스템은 상이한 차량 사이즈들, 또는 일부 경우들에서, 심지어 차량 타입들에 대한 예상된 휠 위치들을 식별하는 정보에의 액세스를 가질 수도 있다. 전방 휠의 예를 사용하면, 일반적으로, 객체가 차량의 센서들을 향한 진로로 가고 있지 않는 한, 센서들에 단지 하나의 전방 휠만이 가시적일 것이어서, 바운딩 박스에 대한 이 전방 휠의 위치는 (예를 들어, 객체의 과거 궤도로부터의) 객체의 진로와 (객체의 치수들 및/또는 바운딩 박스의 사이즈를 사용하여 식별되는) 예상된 휠 위치들의 조합에 기초하여 추정될 수 있다.
그 후에, 영역 내의 데이터 포인트들이 분석되어 영역에서의 포인트들의 평균 배향을 식별할 수도 있다. 예를 들어, 데이터 포인트들은 단순한 평면 피팅 알고리즘을 사용하여 평면에 피팅될 수도 있다. 이 평면과 바운딩 박스의 면의 평면 사이의 차이는 차량의 휠의 배향인 것으로 추정될 수도 있다.
물론, 영역 내의 데이터 포인트들의 수는 객체의 전방 휠과 차량의 센서들 사이의 상대적 포지션들, 거리 및 각도에 좌우될 것이다. 그와 관련하여, 객체가 차량에 더 가까워지고 휠이 차량의 센서들에 대해 더 수직일수록, 더 많은 센서 데이터 포인트들이 휠 표면으로부터 수신될 가능성이 있고 추정이 더 정확해질 수도 있다.
추정은 객체의 장래 경로의 곡률 또는 객체의 요 레이트(yaw rate)의 표시로서 사용될 수도 있다. 예를 들어, 장래 휠 배향과 객체의 속도를 조합하면, 객체의 궤도가 결정될 수 있다. 그 후에, 예측된 진로 또는 궤도는 차량에 대한 드라이빙 판정들을 행하는 데 사용될 수도 있다.
본 명세서에서 설명되는 피처들은 차량의 컴퓨팅 디바이스들이 객체의 휠들의 배향을 추정하는 것을 가능하게 한다. 이것은, 객체가 심지어 진로 변경을 행하는 것을 시작하기 전에, 차량의 컴퓨팅 디바이스들이 객체의 진로의 변경을 예측하는 것을 가능하게 할 수도 있다. 그렇게 하는 것에 의해, 차량의 컴퓨팅 디바이스들은 객체의 장래 경로 또는 궤도를 보다 양호하게 예측할 수 있고, 따라서 차량을 제어하는 방법에 관해 보다 양호한 판정들을 행할 수 있다.
예시적인 시스템들
도 1에 도시된 바와 같이, 본 개시내용의 일 양태에 따른 차량(100)은 다양한 컴포넌트들을 포함한다. 본 개시내용의 특정 양태들은 특정 타입들의 차량들과 관련하여 특히 유용하지만, 차량은 자동차들, 트럭들, 오토바이들, 버스들, 레저 차량들 등을 포함하지만 이에 제한되지 않는 임의의 타입의 차량일 수도 있다. 차량은, 하나 이상의 프로세서(120), 메모리(130) 및 범용 컴퓨팅 디바이스들에 전형적으로 존재하는 다른 컴포넌트들을 포함하는 컴퓨팅 디바이스들(110)과 같은 하나 이상의 컴퓨팅 디바이스들을 가질 수도 있다.
메모리(130)는, 프로세서(120)에 의해 실행되거나 또는 그렇지 않으면 사용될 수도 있는 명령어들(132) 및 데이터(134)를 포함하는, 하나 이상의 프로세서(120)에 의해 액세스가능한 정보를 저장한다. 메모리(130)는, 컴퓨팅 디바이스 판독가능 매체, 또는 전자 디바이스의 도움으로 판독될 수도 있는 데이터를 저장하는 다른 매체, 예컨대 하드 드라이브, 메모리 카드, ROM, RAM, DVD 또는 다른 광학 디스크들뿐만 아니라, 다른 기입 가능 및 판독 전용 메모리들을 포함하는, 프로세서에 의해 액세스가능한 정보를 저장하는 것이 가능한 임의의 타입으로 될 수도 있다. 시스템들 및 방법들은 전술한 것의 상이한 조합들을 포함할 수도 있고, 이에 의해 명령어들 및 데이터의 상이한 부분들이 상이한 타입들의 매체들 상에 저장된다.
명령어들(132)은 프로세서에 의해 직접적으로(예컨대, 머신 코드) 또는 간접적으로(예컨대, 스크립트들) 실행될 임의의 세트의 명령어들일 수도 있다. 예를 들어, 명령어들은 컴퓨팅 디바이스 판독가능 매체 상에 컴퓨팅 디바이스 코드로서 저장될 수도 있다. 그와 관련하여, 용어들 "명령어들" 및 "프로그램들"은 본 명세서에서 상호교환가능하게 사용될 수도 있다. 명령어들은 프로세서에 의한 직접적인 프로세싱을 위한 목적 코드 포맷으로 저장될 수도 있거나, 또는 요구에 따라 해석되거나 또는 미리 컴파일되는 독립 소스 코드 모듈들의 스크립트들 또는 콜렉션들을 포함하는 임의의 다른 컴퓨팅 디바이스 언어로 저장될 수도 있다. 명령어들의 기능들, 방법들 및 루틴들이 아래에 더 상세히 설명된다.
데이터(134)는 명령어들(132)에 따라 프로세서(120)에 의해 검색, 저장 또는 수정될 수도 있다. 예를 들어, 청구된 요지가 임의의 특정 데이터 구조체에 의해 제한되지 않지만, 데이터는 컴퓨팅 디바이스 레지스터들에, 복수의 상이한 필드들 및 레코드들, XML 문서들 또는 플랫 파일들을 갖는 테이블로서의 관계형 데이터베이스에 저장될 수도 있다. 데이터는 또한 임의의 컴퓨팅 디바이스 판독가능 포맷으로 포맷팅될 수도 있다.
하나 이상의 프로세서(120)는 상업적으로 입수가능한 CPU들과 같은 임의의 종래의 프로세서들일 수도 있다. 대안적으로, 하나 이상의 프로세서는 ASIC 또는 다른 하드웨어 기반 프로세서와 같은 전용 디바이스일 수도 있다. 도 1은 동일한 블록 내에 있는 것으로서 컴퓨팅 디바이스들(110)의 프로세서, 메모리, 및 다른 요소들을 기능적으로 예시하고 있지만, 프로세서, 컴퓨팅 디바이스, 또는 메모리가 동일한 물리적 하우징 내에 저장될 수도 있거나 또는 저장되지 않을 수도 있는 다수의 프로세서들, 컴퓨팅 디바이스들, 또는 메모리들을 실제로 포함할 수도 있다는 것이 본 기술분야의 통상의 기술자에 의해 이해될 것이다. 예를 들어, 메모리는 컴퓨팅 디바이스들(110)의 하우징과는 상이한 하우징에 위치되는 하드 드라이브 또는 다른 저장 매체들일 수도 있다. 이에 따라, 프로세서 또는 컴퓨팅 디바이스에 대한 언급들은, 병렬로 동작할 수도 있거나 또는 동작하지 않을 수도 있는 프로세서들 또는 컴퓨팅 디바이스들 또는 메모리들의 콜렉션에 대한 언급들을 포함하는 것으로 이해될 것이다.
컴퓨팅 디바이스들(110)은, 사용자 입력부(150)(예를 들어, 마우스, 키보드, 터치 스크린 및/또는 마이크로폰) 및 다양한 전자 디스플레이들(예를 들어, 스크린을 갖는 모니터 또는 정보를 디스플레이하도록 동작가능한 임의의 다른 전기 디바이스)뿐만 아니라 상술된 프로세서 및 메모리와 같은 컴퓨팅 디바이스와 관련하여 통상적으로 사용되는 모든 컴포넌트들을 포함할 수도 있다. 이 예에서, 차량은, 정보 또는 시청각 경험들을 제공하기 위한 하나 이상의 스피커들(154)뿐만 아니라 내부 전자 디스플레이(152)를 포함한다. 이와 관련하여, 내부 전자 디스플레이(152)는 차량(100)의 캐빈 내에 위치될 수도 있고 차량(100) 내의 승객들에게 정보를 제공하기 위해 컴퓨팅 디바이스들(110)에 의해 사용될 수도 있다.
컴퓨팅 디바이스들(110)은, 아래에 상세히 설명되는 클라이언트 컴퓨팅 디바이스들 및 서버 컴퓨팅 디바이스들과 같은 다른 컴퓨팅 디바이스들과의 통신을 용이하게 하기 위해 하나 이상의 무선 네트워크 커넥션들(156)을 또한 포함할 수도 있다. 무선 네트워크 커넥션들은, 블루투스, 블루투스 저 에너지(LE), 셀룰러 커넥션들과 같은 단거리 통신 프로토콜들뿐만 아니라, 인터넷, 월드 와이드 웹, 인트라넷들, 가상 사설 네트워크들, 광역 네트워크들, 로컬 네트워크들, 하나 이상의 회사들에게 독점적인 통신 프로토콜들을 사용하는 사설 네트워크들, 이더넷, WiFi 및 HTTP, 및 전술한 것의 다양한 조합들을 포함하는 다양한 구성들 및 프로토콜들을 포함할 수도 있다.
일 예에서, 컴퓨팅 디바이스들(110)은 차량(100)에 통합된 자율 드라이빙 컴퓨팅 시스템일 수도 있다. 자율 드라이빙 컴퓨팅 시스템은 차량의 다양한 컴포넌트들과 통신하는 것이 가능할 수도 있다. 예를 들어, 도 1로 돌아가면, 컴퓨팅 디바이스들(110)은 메모리(130)의 명령어들(132)에 따라 차량(100)의 이동, 속도 등을 제어하기 위해, 감속 시스템(160), 가속 시스템(162), 조향 시스템(164), 시그널링 시스템(166), 라우팅 시스템(168), 포지셔닝 시스템(170), 및 지각 시스템(172), 및 전력 시스템(174), 예를 들어, 가스 또는 디젤 전력공급 엔진 또는 전기 모터와 같은, 차량(100)의 다양한 시스템들과 통신할 수도 있다. 다시, 이들 시스템들은 컴퓨팅 디바이스들(110)의 외부에 있는 것으로서 도시되어 있지만, 실제로는, 이들 시스템들은 다시 차량(100)을 제어하기 위한 자율 드라이빙 컴퓨팅 시스템으로서, 컴퓨팅 디바이스들(110)에 또한 통합될 수도 있다.
예로서, 컴퓨팅 디바이스들(110)은 차량의 속도를 제어하기 위해 감속 시스템(160) 및 가속 시스템(162)과 상호작용할 수도 있다. 유사하게, 조향 시스템(164)은 차량(100)의 방향을 제어하기 위해 컴퓨팅 디바이스들(110)에 의해 사용될 수도 있다. 예를 들어, 자동차 또는 트럭과 같은 차량(100)이 도로 상에서의 사용을 위해 구성되는 경우, 조향 시스템은, 차량을 선회시키기 위해 휠들의 각도를 제어하기 위한 컴포넌트들을 포함할 수도 있다. 시그널링 시스템(166)은, 예를 들어, 필요할 때 방향 지시등들 또는 제동등들을 점등시키는 것에 의해, 차량의 의도를 다른 드라이버들 또는 차량들에 시그널링하기 위해 컴퓨팅 디바이스들(110)에 의해 사용될 수도 있다.
라우팅 시스템(168)은 위치에 대한 루트를 결정하고 따르기 위해 컴퓨팅 디바이스들(110)에 의해 사용될 수도 있다. 이와 관련하여, 라우팅 시스템(168) 및/또는 데이터(134)는 상세한 맵 정보, 예를 들어, 도로들의 형상 및 고도, 차선 라인들, 교차로들, 횡단보도들, 속도 제한들, 교통 신호들, 건물들, 표지들, 실시간 교통 정보, 초목, 또는 다른 그러한 객체들 및 정보를 식별하는 고도로 상세한 맵들을 저장할 수도 있다. 다시 말해, 이 상세한 맵 정보는, 도로들뿐만 아니라 이들 도로들에 대한 속도 제약들(법적 속도 제한들)을 포함하는 차량의 예상된 환경의 지오메트리를 정의할 수도 있다. 부가적으로, 이 맵 정보는, 지각 시스템(172)으로부터 수신된 실시간 정보와 함께, 주어진 위치에서 어떤 방향들의 교통이 우선 통행권이 있는지를 결정하기 위해 컴퓨팅 디바이스들(110)에 의해 사용될 수 있는 교통 신호등들, 정지 표지들, 양보 표지들 등과 같은 교통 제어들에 관한 정보를 포함할 수도 있다.
맵 정보는 완전히 이미지 기반(예를 들어, 래스터)일 필요는 없다. 예를 들어, 맵 정보는, 도로들, 차선들, 교차로들, 및 이들 피처들 사이의 커넥션들과 같은 정보의 하나 이상의 로드그래프(roadgraph)들 또는 그래프 네트워크들을 포함할 수도 있다. 각각의 피처는 그래프 데이터로서 저장될 수도 있고 지리적 위치 및 그것이 다른 관련 피처들에 링크되어 있는지 또는 아닌지의 여부와 같은 정보와 연관될 수도 있는데, 예를 들어, 정지 표지가 도로 및 교차로에 링크될 수도 있다는 것 등이 있다. 일부 예들에서, 연관된 데이터는, 특정 로드그래프 피처들의 효율적인 룩업(lookup)을 가능하게 하기 위해 로드그래프의 그리드 기반 인덱스들을 포함할 수도 있다.
포지셔닝 시스템(170)은 맵 상의 또는 지구 상의 차량의 상대적 또는 절대적 포지션을 결정하기 위해 컴퓨팅 디바이스들(110)에 의해 사용될 수도 있다. 예를 들어, 포지션 시스템(170)은 디바이스의 위도, 경도 및/또는 고도 포지션을 결정하기 위해 GPS 수신기를 포함할 수도 있다. 다른 위치 시스템들 예컨대 레이저 기반 로컬리제이션 시스템들, 관성 보조 GPS, 또는 카메라 기반 로컬리제이션이 또한 차량의 위치를 식별하는 데 사용될 수도 있다. 차량의 위치는, 위도, 경도, 및 고도와 같은 절대적 지리적 위치뿐만 아니라, 절대적 지리적 위치보다 더 큰 정확도로 종종 결정될 수 있는 그 바로 주위의 다른 자동차들에 대한 위치와 같은 상대적 위치 정보를 포함할 수도 있다.
포지셔닝 시스템(170)은, 차량의 방향 및 속도 또는 그에 대한 변경들을 결정하기 위해 가속도계, 자이로스코프 또는 다른 방향/속도 검출 디바이스와 같은, 컴퓨팅 디바이스들(110)과 통신하는 다른 디바이스들을 또한 포함할 수도 있다. 단지 예로서, 가속 디바이스는 중력의 방향 또는 그에 수직인 평면에 대해 그의 피치, 요 또는 롤(또는 그에 대한 변경들)을 결정할 수도 있다. 디바이스는 속도의 증가들 또는 감소들 및 그러한 변경들의 방향을 또한 추적할 수도 있다. 본 명세서에 제시된 바와 같은 디바이스의 위치 및 배향 데이터의 제공은 컴퓨팅 디바이스들(110), 다른 컴퓨팅 디바이스들 및 전술한 것의 조합들에 자동으로 제공될 수도 있다.
지각 시스템(172)은, 다른 차량들, 도로에서의 장애물들, 교통 신호들, 표지들, 나무들 등과 같은, 차량 외부의 객체들을 검출하기 위한 하나 이상의 컴포넌트들을 또한 포함한다. 예를 들어, 지각 시스템(172)은, 레이저들, 소나, 레이더, 카메라들 및/또는 컴퓨팅 디바이스들(110)에 의해 프로세싱될 수도 있는 데이터를 기록하는 임의의 다른 검출 디바이스들을 포함할 수도 있다. 차량이 자동차와 같은 소형 승용 차량인 경우에, 자동차는, 루프(roof) 또는 다른 편리한 위치 상에 장착되는 레이저 또는 다른 센서들을 포함할 수도 있다. 예를 들어, 차량의 지각 시스템은 객체들 및 이들의 특성들 예컨대 위치, 배향, 사이즈, 형상, 타입, 이동의 방향 및 속도 등을 검출하기 위해 LIDAR, 소나, 레이더, 카메라들 등과 같은 다양한 센서들을 사용할 수도 있다. 센서들로부터의 원시 데이터 및/또는 앞서 언급된 특성들은 컴퓨팅 디바이스들(110)에 의한 프로세싱을 위한 기술 함수(descriptive function) 또는 벡터로 정량화 또는 배열될 수 있다. 아래에 추가로 상세히 논의되는 바와 같이, 컴퓨팅 디바이스들(110)은 차량의 위치를 결정하기 위한 포지셔닝 시스템(170), 및 위치에 안전하게 도달할 필요가 있을 때 객체들을 검출하고 이들에 응답하기 위한 지각 시스템(172)을 사용할 수도 있다.
도 2a 내지 도 2d는 (도 2c에 도시된 바와 같은) 폭 치수 W1, (도 2a 및 도 2d에 도시된 바와 같은) 길이 치수 L1, 및 (도 2a 및 도 2d에 도시된 바와 같은) 높이 치수 H1을 갖는 차량(100)의 외부 뷰들의 예들이다. 보여질 수 있는 바와 같이, 차량(100)은 헤드라이트들(202), 윈드실드(windshield)(203), 후미등들/방향 지시등들(204), 후방 윈드실드(205), 도어들(206), 사이드 미러(side view mirror)들(208), 휠들(210), 및 방향 지시등들/주차등들(212)과 같은 전형적인 차량의 많은 피처들을 포함한다. 헤드라이트들(202), 후미등들/방향 지시등들(204), 및 방향 지시등들/주차등들(212)은 시그널링 시스템(166)과 연관될 수도 있다. 라이트 바(light bar)(207)도 또한 시그널링 시스템(166)과 연관될 수도 있다.
차량(100)은 또한 지각 시스템(172)의 센서들을 포함한다. 예를 들어, 하우징(214)은, 260 도(degree) 이하의 시야들을 갖는 하나 이상의 레이저 디바이스들 및 하나 이상의 카메라 디바이스들을 포함할 수도 있다. 하우징들(216 및 218)은, 예를 들어, 하나 이상의 레이더 및/또는 소나 디바이스들을 포함할 수도 있다. 지각 시스템(172)의 디바이스들은 후미등들/방향 지시등들(204) 및/또는 사이드 미러들(208)과 같은 전형적인 차량 컴포넌트들에 또한 통합될 수도 있다. 이들 레이더, 카메라, 및 레이저 디바이스들 각각은, 지각 시스템(172)의 부분으로서 이들 디바이스들로부터의 데이터를 프로세싱하고 센서 데이터를 컴퓨팅 디바이스들(110)에 제공하는 프로세싱 컴포넌트들과 연관될 수도 있다.
컴퓨팅 디바이스들(110)은 다양한 컴포넌트들을 제어하는 것에 의해 차량의 방향 및 속도를 제어할 수도 있다. 예로서, 컴퓨팅 디바이스들(110)은 상세한 맵 정보, 지각 시스템(172), 및 라우팅 시스템(168)으로부터의 데이터를 사용하여 완전히 자율적으로 목적지 위치로 차량을 내비게이팅할 수도 있다. 차량을 기동하기 위해, 컴퓨팅 디바이스들(110)은 차량을 (예를 들어, 가속 시스템(162)에 의해 전력 시스템(174)에 제공되는 연료 또는 다른 에너지를 증가시키는 것에 의해) 가속하게 하고, (예를 들어, 전력 시스템(174)에 공급되는 연료를 감소시키는 것, 기어들을 변경하는 것에 의해, 그리고/또는 감속 시스템(160)에 의해 제동들을 적용하는 것에 의해) 감속하게 하고, (예를 들어, 조향 시스템(164)에 의해 차량(100)의 전방 또는 후방 휠들을 선회시키는 것에 의해) 방향을 변경하게 하고, (예를 들어, 시그널링 시스템(166)의 방향 지시등들을 점등시키는 것에 의해) 그러한 변경들을 시그널링하게 할 수도 있다. 따라서, 가속 시스템(162) 및 감속 시스템(160)은, 차량의 전력 시스템(174)과 차량의 휠들 사이에 다양한 컴포넌트들을 포함하는 드라이브트레인(drivetrain)의 일부분일 수도 있다. 다시, 이들 시스템들을 제어하는 것에 의해, 컴퓨팅 디바이스들(110)은 차량을 자율적으로 기동하기 위해 차량의 드라이브트레인을 또한 제어할 수도 있다.
지각 시스템(172) 및/또는 컴퓨팅 디바이스들(110)은 객체의 앞선 관측들을 사용하여 객체의 장래 궤도를 예측할 수도 있다. 예를 들어, 객체의 속도, 배향/진로, 위치, 상태(즉, 방향 지시등 등)는 객체가 있을 가능성이 있는 장래의 일련의 위치들 및 시간들을 예측하는 데 사용될 수도 있다. 함께, 이들 위치들 및 시간들은 장래의 얼마간의 짧은 주기 동안 객체에 대한 궤도를 형성할 수도 있다.
아래에 추가로 논의되는 바와 같이, 지각 시스템(172)은 객체에 대응하는 센서 데이터 포인트들의 위치를 나타내는 바운딩 박스를 또한 제공할 수도 있다. 부가적으로, 지각 시스템은, 그 바운딩 박스 주위의 영역 내의 모든 포인트들 그리고, 일부 경우들에서는, 또한 그 바운딩 박스 주위의 영역 내의 임의의 포인트들을 식별하는 정보를 제공할 수도 있다.
데이터(134)는, 바운딩 박스 사이즈들 또는 치수들을 예상된 휠 위치들과 관련시키는 데이터베이스, 테이블 또는 다른 조직화 시스템을 포함할 수도 있다. 예를 들어, 상이한 바운딩 박스들은, 상이한 상대적 포지션들에 위치되는 휠들을 가질 수도 있는 상이한 사이즈들의 객체들을 수용할 수도 있다. 예를 들어, 면이 주어진 바운딩 박스의 사이즈, 예로서, 8 피트 × 5 피트의 경우, 예상된 휠 위치는 객체의 전방 단부에 대응하는 바운딩 박스의 코너로부터 측정될 수도 있고, 예로서 코너로부터 2 피트 4 인치 뒤에 미리 결정된 사이즈를 가질 수도 있다. 일부 경우들에서, 예상된 휠 위치들은, 예를 들어, 객체가 버스, 트럭, 승용차, 오토바이, 자전거 등인지 여부와 같은 특정 객체 타입들에 의해 추가로 기술될 수도 있다. 이들 실제 치수들은 객체들의 상이한 사이즈 및/또는 타입들에 대한 실제 관측된 휠 위치들에 기초할 수도 있다.
예시적인 방법들
상술되고 도면들에 예시된 동작들에 부가적으로, 다양한 동작들이 이제 설명될 것이다. 이하의 동작들이 아래에 설명되는 정밀한 순서로 수행될 필요가 없다는 것을 이해해야 한다. 오히려, 다양한 단계들이 상이한 순서로 또는 동시에 핸들링될 수 있고, 단계들이 또한 부가 또는 생략될 수도 있다.
컴퓨팅 디바이스들(110)은 목적지 위치까지의 루트를 따라 자율적으로 차량을 제어하기 위해 필요한 시스템들을 개시할 수도 있다. 예를 들어, 라우팅 시스템(168)은 맵 정보의 차선 세그먼트들의 세트를 따르는 목적지 위치에 대한 경로 또는 루트를 결정하기 위해 데이터(134)의 맵 정보를 사용할 수도 있다. 그 후에, 컴퓨팅 디바이스들(110)은 목적지를 향하는 루트를 따라 상술된 바와 같이 자율적으로(또는 자율 드라이빙 모드에서) 차량을 기동할 수도 있다.
루트를 따르기 위해, 컴퓨팅 디바이스들(110)은 차량에 대한 궤도를 주기적으로 결정할 수도 있다. 예를 들어, 루트를 베이스라인으로서 사용하면, 컴퓨팅 디바이스들은 상세한 맵 정보를 사용하여 루트를 따르는 것과 보행자들, 자전거 타는 사람들, 및 보행자들과 같은 다른 도로 사용자들과의 가까운 상호작용을 회피하는 것 양측 모두를 위해 차량의 장래 위치들의 세트를 생성할 수도 있다. 이들 장래 위치들은 루트를 따르기 위해 차량의 조향, 가속 및/또는 감속을 가이드하기 위해 컴퓨팅 디바이스들에 의해 사용될 수도 있다.
예를 들어, 도 3은 도로(300)를 따라 컴퓨팅 디바이스들(110)에 의해 기동되는 차량(100)의 예시적인 뷰이다. 이 예에서, 도로는 북향 차선들(310, 312) 및 남향 차선들(314, 316)을 포함한다. 차량(100)은 북향 차선(310)에서 이동하고 있고 다른 차량(320)에 접근하고 있다. 차량(320)은 북향 차선(312)에서 이동하고 있다.
차량(100)이 이동하고 있을 때, 지각 시스템(172)의 센서들은 차량의 환경에서 다양한 객체들을 검출할 수도 있다. 도 4는 도 3의 도로(300)의 뷰에 대응하는 차량(100)의 포지션 및 도로(400)를 따라 지각 시스템(172)에 의해 검출되는 객체들의 표현이다. 이 예에서, 지각 시스템(172)은, 차선들(410, 412, 414, 및 416)을 규정하는 차선 라인들(401, 402, 403, 404, 405, 및 406)을 검출할 수도 있다. 이 예에서, 차선들(410, 412, 414, 및 416)은 각각 북향 차선들(310 및 312) 및 남향 차선들(314 및 316) 각각에 대응할 수도 있다. 부가적으로, 지각 시스템(172)은 또한 차량(320)을 검출하였다.
각각의 객체에 대해, 차량의 지각 시스템은 객체에 대응하는 특정 센서 데이터 포인트들을 식별하기 위해 세그먼트화를 사용할 수도 있다. 이것은, 그 객체의 치수들을 나타내는 바운딩 박스를 결정하는 것을 또한 포함할 수도 있다. 이것은 임의의 알려져 있는 세그먼트화 및/또는 바운딩 박스 기법들을 사용하여 달성될 수도 있다. 예를 들어, 도 4에 도시된 바와 같이, 차량(320)의 위치는, 지각 시스템(172)이 객체에 대응하도록 결정한 데이터 포인트들을 포함하는 바운딩 박스(420)로 나타낸다. 도 5a는 도 4에 도시된 바와 같이 차량(100)과 바운딩 박스(420)의 상대적 포지션들의 하향식 뷰를 도시한다. 화살표 510은 차량(320)의 현재 또는 관측된 진로 그리고 그에 따라 바운딩 박스(420)의 진로를 나타낸다. 도 5b는 바운딩 박스(420)의 측면 뷰를 도시한다. 화살표들 520 및 522는 도 5a 및 도 5b의 바운딩 박스(420)의 대응하는 면들을 식별한다. 거리들 X, Y, 및 Z는 바운딩 박스(420)의 폭, 길이 및 높이를 나타낸다.
식별된 객체들의 특성들뿐만 아니라 이들 객체들에 대한 센서 데이터 포인트들(그리고 일부 경우들에서는, 바운딩 박스들)을 식별하는 세그먼트화 정보는 지각 시스템(172)에 의해 컴퓨팅 디바이스들(110)에 제공될 수도 있다. 예로서, 이들 특성들은 위치(GPS 좌표들 및/또는 차량에 대해 상대적인), 사이즈, 형상, 치수들, 속도, 배향, 고도, 타입(승용 차량, 트랙터 트레일러, 자전거, 보행자), 도로 표면의 피처들(차선 라인들 등), 그리고 그 이상을 포함할 수도 있다. 부가적으로, 지각 시스템은 객체 주위의 센서 데이터 포인트들을 식별하는 정보를 제공할 수도 있지만, 세그먼트화에 따라 객체와 특별히 연관되지 않을 수도 있다.
지각 시스템 및/또는 차량의 컴퓨팅 디바이스들은 객체의 앞선 관측들을 사용하여 객체의 장래 궤도를 예측할 수도 있다. 예를 들어, 객체의 속도, 배향/진로, 위치, 상태(즉, 방향 지시등 등), 또는 앞서 추정된 궤도는 객체가 있을 가능성이 있는 장래의 일련의 위치들 및 시간들을 예측하는 데 사용될 수도 있다. 함께, 이들 위치들 및 시간들은 장래의 얼마간의 짧은 주기 동안 객체에 대한 궤도를 형성할 수도 있다. 도 3 및 도 4의 예들과 관련하여, 지각 시스템(172)은 북향 차선(312) 또는 차선(412)에서의 객체의 앞선 이동 이력에 기초하여 차량(320) 또는 바운딩 박스(420)의 객체가 북향 차선(312) 또는 차선(412)을 따라 북쪽으로 계속 이동할 수도 있다는 것을 예측할 수도 있다.
객체의 특성들이 휠을 갖는 객체에 대응하는 것으로 결정될 때, 예를 들어, 그것이 차선에 위치되고 적어도 특정 사이즈로 되거나, 특정 형상을 갖거나, 특정 속도로 이동하고 있거나, 특정 타입으로 되거나 하는 것 등으로 되기 때문에, 컴퓨팅 디바이스들은 객체의 휠의 위치를 추정하려고 시도할 수도 있다. 다시, 이 결정은 지각 시스템(172)으로부터 수신된 특성들에 기초하여 컴퓨팅 디바이스들(110)에 의해 행해질 수도 있다.
바운딩 박스의 치수들 및/또는 객체의 사이즈를 사용하면, 차량의 컴퓨팅 디바이스들은 객체의 휠의 위치에 대응하는 영역을 추정할 수도 있다. 객체의 휠(전방 또는 후방)의 위치를 추정하기 위해, 차량의 컴퓨팅 시스템은 데이터(134)의 예상된 휠 위치들에 액세스하고, 바운딩 박스(420)의 치수들(X, Y, 및 Z)에 대응하는 예상된 휠 위치를 식별할 수도 있다. 예상된 휠 위치는, 바운딩 박스의 특정 코너에 대해 얼마간의 거리에 위치되는 휠의 폭에 대응하는 높이를 갖는 실린더와 같은 3D 볼륨 또는 디스크와 같은 2D 영역에 대응할 수도 있다. 그래서 바운딩 박스의 치수들이 주어지면, 컴퓨팅 디바이스들(110)은 객체(차량(320))의 휠이 위치될 가능성이 있는 바운딩 박스의 영역(2D 또는 3D)을 식별할 수도 있다.
바운딩 박스의 치수들에 부가적으로, 지각 시스템(172)으로부터의 다른 특성들은 데이터(134)로부터 예상된 휠 위치를 식별하는 데 사용될 수도 있다. 예로서, 바운딩 박스(420)가 승용차에 대응하는 것으로 식별되는 경우, 데이터(134)로부터 식별되는 예상된 휠 위치는, 바운딩 박스(420)가 버스 또는 자전거에 대응하는 것으로 식별되는 상황과는 상이할 수도 있다.
도 6a 및 도 6b에 도시된 바와 같이, 바운딩 박스(420)의 전방 휠에 대한 예상된 휠 위치를 나타내는 영역(610)은 실린더이다. 실린더의 하나의 원형 단부 표면(612)은 바운딩 박스의 표면(S)(도 6b에 도시된 바와 같이 휠의 위치가 대응하는 바운딩 박스의 면)의 외측에서, 2 또는 3 인치 또는 대략 그 정도와 같은 짧은 거리에 위치된다. 이와 관련하여, 바운딩 박스(420)로부터 의도적으로 또는 의도치 않게 배제되었을 수도 있지만, 바운딩 박스의 짧은 거리, 예를 들어, 2 또는 3 인치 또는 대략 그 정도 내에 여전히 있는 객체들 또는 표면들을 나타내는 다른 데이터 포인트들은, 휠에 여전히 대응할 수 있는 누락 포인트들을 회피하기 위해 분석에 또한 포함될 수도 있다.
다시, 이 예에서, 화살표 620은 바운딩 박스(420)의 진로를 나타내고 따라서 도 5의 화살표 510에 대응한다. 이 예에서, 영역은, 지각 시스템(172)에 대해 가시적이며 차량의 진로에 따른 차량의 전방에 가장 가까운 바운딩 박스의 코너에 대응하는 코너 C로부터 거리 D에 위치되는, 반경 R 및 높이 H의 실린더인 것으로 식별될 수도 있다. 단지 예로서, 소형 승용 차량의 경우 R은 12.25 인치일 수도 있고, H는 7.3 인치일 수도 있고, D는 32.413 인치일 수도 있다.
전방 휠의 예를 사용하면, 일반적으로, 객체가 차량의 센서들을 향한 진로로 가고 있지 않는 한, 센서들에 단지 하나의 전방 휠만이 가시적일 것이어서, 바운딩 박스에 대한 이 전방 휠의 위치는 (예를 들어, 객체의 과거 궤도로부터의) 객체의 진로와 (객체의 치수들 및/또는 바운딩 박스의 사이즈를 사용하여 식별되는) 예상된 휠 위치들의 조합에 기초하여 추정될 수 있다. 다시 말해, 차량들이 전형적으로 전방을 향해 이동한다고 가정하면, (객체의 과거 궤도로부터 결정된 바와 같은) 바운딩 박스(420)의 진로를 나타내는, (화살표 510에 대응하는) 화살표 620은 차량의 전방을 식별하는 데 사용될 수 있다.
그 후에, 영역 내의 데이터 포인트들이 분석되어 영역에서의 포인트들의 평균 배향을 식별할 수도 있다. 예를 들어, 데이터 포인트들은 단순한 평면 피팅 알고리즘을 사용하여 평면에 피팅될 수도 있다. 도 7은 영역(610)을 도시하는 바운딩 박스(420)의 하향식 뷰이다. 이 예에서, 영역(610) 내의 포인트들은 평면(710)에 피팅된다. 평면(710)과 바운딩 박스의 표면(S)의 평면 사이의 각도 차이, 또는 각도 θ는 바운딩 박스(420)의 객체, 여기서는 차량(320)의 전방 휠의 배향인 것으로 추정될 수도 있다.
객체의 과거 궤도는 전방 휠의 배향의 아이디어를 얻거나 또는 그 배향을 추정하는 데 또한 사용될 수 있다. 예를 들어, 객체의 과거 진로는 데이터 포인트들을 평면에 피팅할 때 시드(seed)(시작 각도)로서 사용될 수 있다. 대안적으로, 과거 궤도는 차량 휠의 배향을 결정하기 위해 단독으로 사용될 수 있다.
물론, 영역 내의 데이터 포인트들의 수는 객체의 전방 휠과 차량의 센서들 사이의 상대적 포지션들, 거리 및 각도에 좌우될 것이다. 그와 관련하여, 객체가 차량에 더 가까워지고 휠이 차량의 센서들에 대해 더 수직일수록, 더 많은 센서 데이터 포인트들이 휠 표면으로부터 수신될 가능성이 있고 추정이 더 정확해질 수도 있다.
추정은 차량의 장래 경로의 곡률(거리에 걸친 배향의 변경) 또는 요 레이트(시간에 걸친 배향의 변경)의 표시로서 사용될 수도 있다. 예를 들어, 장래 휠 배향과 객체의 속도를 조합하면, 객체의 궤도가 결정될 수 있다. 이와 관련하여, 추정은 객체에 대한 장래 진로, 객체에 대한 장래 궤도를 결정하거나, 또는 대안적으로, 객체에 대한 상이한 장래 궤도들에서의 가능성 또는 신뢰성을 증가 또는 감소시키는 데 사용될 수도 있다.
그 후에, 예측된 진로 또는 궤도는 차량에 대한 드라이빙 판정들을 행하는 데 사용될 수도 있다. 예를 들어, 객체가 인접한 차선에 있을 때, 예측된 진로는, 객체가 차량의 차선을 향해 이동할 것이라는 아주 초기의 표시일 수도 있다. 예로서, 도 8을 참조하면, 각도 θ가 15 도 또는 대략 그 정도와 같이 비교적 큰 경우, 이것은, 객체(차량(320))가 북향 차선(410)을 향해 가는 바운딩 박스(420)의 장래 진로 또는 장래 궤도(810)를 표시할 수도 있다. 이 예에서, 바운딩 박스의 장래 궤도(장래의 시간 주기에 걸친 진로 및 속도)는 객체가 미리 결정된 시간 주기, 예를 들어 1 초 또는 대략 그 정도 내에 차선(410)에 진입할 것임을 표시할 수도 있다. 이에 응답하여, 차량의 컴퓨팅 디바이스들은 충돌 또는 심지어 차량(320)에 너무 가까워지는 것을 회피하기 위해 차량을 가속하거나, 감속하거나, 또는 심지어 차선들을 적절하게 변경하도록 제어할 수도 있다. 객체가 진로들을 불규칙하게 변경하는 것처럼 보이는 경우와 같은 극단적인 경우들에서, 차량의 컴퓨팅 디바이스들은 가능하다면 조향, 제동, 또는 가속을 제어하기 위해 차량의 승객에게 심지어 통지할 수도 있다. 대안적으로, 차량이 반자율 또는 수동 모드에서 제어되고 있는 경우, 차량의 드라이버를 보조하기 위해 통지가 제공될 수도 있다.
대안적으로, 영역은 휠 위치들의 모델을 사용하는 것에 의해 결정될 수도 있다. 이와 관련하여, 휠에 대한 단순한 고정된 휠 반경 또는 바운딩 박스의 사이즈에 좌우되는 더 복잡한 휠 반경을 사용하여 휠의 배향을 제공하는 모델을 피팅시키기 위해 바운딩 박스의 사이즈, 위치, 및 형상뿐만 아니라 데이터 포인트들의 위치들이 사용될 수도 있다. 이 예에서, 모델은 머신 학습을 사용하여 트레이닝될 수도 있는데, 여기서 오퍼레이터들은 모델에 대한 트레이닝 데이터에 대한 긍정적인 예들로서 휠들에 대응하는 데이터 포인트들을 마킹하고 식별한다.
상술된 피처들은 거리, 방향 및 세기 정보를 제공하는 레이저 데이터 포인트들과 관련될 수도 있다. 이와 관련하여, 세기 정보는 휠의 외부 림을 표시하기 위한 큐로서 사용될 수도 있다(즉, 흑색 휠이 낮은 반사율 그리고 그에 따라 낮은 세기를 가질 것이다). 이와 관련하여, 영역은 객체의 하나 이상의 이미지들을 사용하여 추정될 수도 있고 그 후에, 레이저 데이터가 휠의 배향을 식별하는 데 사용될 수도 있다.
유사하게, 지각 시스템이 카메라 데이터를 제공하는 경우, 도로 표면 위에 있고 바운딩 박스의 위치에 근접한 흑색 객체의 위치는 휠의 위치를 표시하기 위한 큐로서 사용될 수도 있다. 일부 경우들에서, 이미지 단독으로 가능한 휠 위치를 인식하고 심지어, 예를 들어, 휠의 2개 이상의 이미지들 및/또는 레이저 데이터를 사용하여 이미지에 대해 생성된 3D 모델 데이터로부터의 3D 모델 추정을 사용하여 차량의 휠의 배향을 추정하기에 충분할 수도 있다. 이미지로부터 휠 배향을 컴퓨팅하는 다른 방식은, 이미지에서 휠 폭 및 높이의 종횡비(aspect ratio)를 결정하는 것을 포함할 수도 있다. 이 종횡비는 휠 배향에 대응할 수도 있다. 이것을, 다른 센서 데이터, 휠의 이미지 또는 다수의 이미지들의 이미지 프로세싱으로부터 결정된 바와 같은 객체의 배향과 조합하면, 상대적인 휠 배향이 컴퓨팅될 수 있다.
휠 배향을 추정하는 것은, 매우 느리게 이동하고 심지어 정지된 차량들에 심지어 유용할 수 있다. 예를 들어, 주차 지점 밖으로 이동할 준비가 된 객체는 주차 지점 밖으로 이동하기 위해 객체의 휠들을 비스듬히 놓았을 수도 있지만, 실제로 이동하는 것을 시작하지 않았을 수도 있다. 따라서, 휠의 각도를 사용하여 객체의 장래 궤도를 추정하는 것은, 객체의 궤도를 다른 식으로 정확하게 예측할 가능성이 더 많고, 컴퓨팅 디바이스들은 객체가 정지된 채로 유지될 것이라고 예측할 가능성이 있을 것이다. 다른 예에서, 주어진 차량이 인접한 차선에서 정지되어 차량(100)의 차선으로 변경하려고 시도할 수도 있는데, 이는, 예를 들어, 그 자동차의 드라이버가 그의 마음을 바꾸었고 그의 루트를 변경하여 그 차선을 사용하기를 원하기 때문이다. 그러한 경우들에서, 주어진 차량의 면에 대한 휠의 넓은 각도는, 주어진 차량의 앞선 궤도보다 주어진 차량이 가게 될 곳에 관한 보다 많은 정보를 제공할 수도 있다. 그러한 고정 차선 변경들 또는 저속 차선 변경들은, 전방 휠들이 상당히 비스듬히 놓여 있는 통상적인 경우들이다.
도 9는, 객체의 장래 진로를 결정하기 위해 차량(100)의 컴퓨팅 디바이스들(110)과 같은, 차량의 하나 이상의 컴퓨팅 디바이스들의 하나 이상의 프로세서에 의해 수행될 수도 있게 하는 예시적인 흐름도(900)이다. 이 예에서, 블록 910에서 차량의 환경에서 객체를 나타내는 바운딩 박스를 식별하는 정보 및 객체에 대응하는 센서 데이터 포인트들의 위치들을 포함하는 센서 데이터가 수신된다. 블록 920에서 바운딩 박스의 사이즈에 기초하여 객체의 전방 휠에 대응하는 영역이 식별된다. 블록 930에서 영역 내의 위치들을 갖는 센서 데이터 포인트들에 기초하여 휠의 배향이 결정된다. 블록 940에서 추정에 기초하여 객체의 장래 진로가 결정된다.
달리 언급되지 않는 한, 전술한 대안적인 예들은 상호 배타적이지 않지만, 고유한 이점들을 달성하기 위해 다양한 조합들로 구현될 수도 있다. 상기에 논의된 피처들의 이들 그리고 다른 변형들 및 조합들이 청구범위에 의해 정의된 요지로부터 벗어남이 없이 이용될 수 있기 때문에, 실시예들의 전술한 설명은 청구범위에 의해 정의된 요지의 제한으로서가 아니라 예시로서 다루어져야 한다. 부가적으로, 본 명세서에서 설명되는 예들뿐만 아니라, "~ 와 같은(such as)", "포함하는(including)" 등으로 표현되는 구절(clause)들의 제공이, 청구범위의 요지를 특정 예들로 제한하는 것으로 해석되어서는 안 되고; 오히려, 예들이 많은 가능한 실시예들 중 단지 하나만을 예시하도록 의도된다. 추가로, 상이한 도면들에서의 동일한 참조 번호들은 동일한 또는 유사한 요소들을 식별할 수 있다.

Claims (20)

  1. 객체의 장래 진로(future heading)를 결정하는 방법으로서,
    하나 이상의 프로세서에 의해, 차량의 환경에서 객체를 식별하는 정보 및 상기 객체에 대응하는 센서 데이터 포인트들을 포함하는 센서 데이터를 수신하는 단계 - 상기 센서 데이터는, 상기 객체에 대응하는 상기 센서 데이터 포인트들을 바운딩(bounding)하는 바운딩 박스를 더 포함함 - ;
    상기 하나 이상의 프로세서에 의해, 상기 센서 데이터 및 휠(wheel) 위치들의 모델에 기초하여 상기 객체의 휠의 예상된 위치에 대응하는 영역을 식별하는 단계;
    상기 하나 이상의 프로세서에 의해, 상기 영역 내의 위치들을 갖는 센서 데이터 포인트들에 기초하여 상기 휠의 배향(orientation)을 추정하는 단계; 및
    상기 하나 이상의 프로세서에 의해, 상기 추정에 기초하여 상기 객체의 장래 진로를 결정하는 단계
    를 포함하고,
    상기 영역을 식별하는 단계는, 머신 학습을 사용하여 트레이닝된 상기 모델에 상기 바운딩 박스의 적어도 하나의 특성 및 상기 센서 데이터 포인트들의 위치들을 입력하는 단계를 더 포함하는, 방법.
  2. 제1항에 있어서,
    상기 배향을 추정하는 단계는, 상기 영역 내의 위치들을 갖는 센서 데이터 포인트들 중 임의의 것을 제1 평면에 피팅(fitting)하는 단계를 포함하는, 방법.
  3. 제2항에 있어서,
    상기 배향을 추정하는 단계는, 상기 바운딩 박스의 한 면의 제2 평면과 상기 제1 평면 사이의 각도 차이를 결정하는 단계를 포함하는, 방법.
  4. 제3항에 있어서,
    상기 휠의 배향을 추정하는 단계는, 상기 바운딩 박스의 외측에 있고 상기 영역 내에 있는 위치들을 갖는 센서 데이터 포인트들에 추가로 기초하는, 방법.
  5. 제1항에 있어서,
    상기 영역을 식별하는 단계는, 시간 주기에 걸쳐 결정되는 상기 객체의 앞서 추정된 궤도에 추가로 기초하는, 방법.
  6. 제5항에 있어서,
    상기 영역을 식별하는 단계는, 상기 객체의 타입에 추가로 기초하는, 방법.
  7. 제1항에 있어서,
    상기 장래 진로에 기초하여 통지를 생성하는 단계; 및
    상기 객체가 상기 차량을 향해 이동하고 있음을 표시하는 통지를 상기 차량의 승객에게 제공하는 단계
    를 더 포함하는, 방법.
  8. 제7항에 있어서,
    상기 통지는 상기 승객이 상기 차량의 조향, 가속, 및 감속 중 하나 이상을 제어할 것을 요청하는, 방법.
  9. 제1항에 있어서,
    자율 드라이빙 모드에서 상기 차량을 제어하기 위해 상기 장래 진로를 사용하는 단계를 더 포함하는, 방법.
  10. 제1항에 있어서,
    상기 바운딩 박스의 상기 적어도 하나의 특성은 상기 바운딩 박스의 치수들을 포함하는, 방법.
  11. 제1항에 있어서,
    상기 모델은 고정 값을 갖는 휠 반경에 기초하는, 방법.
  12. 제1항에 있어서,
    상기 객체의 이미지를 수신하는 단계; 및
    상기 객체의 상기 휠이 존재할 가능성이 있는 위치를 식별하기 위해 상기 이미지를 분석하는 단계
    를 더 포함하고,
    상기 영역을 식별하는 단계는, 상기 객체의 상기 휠이 존재할 가능성이 있는 상기 위치에 추가로 기초하는, 방법.
  13. 객체가 차량의 궤도에 진입할 것이라는 것을 예측하기 위한 시스템으로서,
    상기 시스템은 하나 이상의 프로세서를 포함하고,
    상기 하나 이상의 프로세서는:
    차량의 환경에서 객체를 식별하는 정보 및 상기 객체에 대응하는 센서 데이터 포인트들을 포함하는 센서 데이터를 수신하고 - 상기 센서 데이터는, 상기 객체에 대응하는 상기 센서 데이터 포인트들을 바운딩하는 바운딩 박스를 더 포함함 - ;
    상기 센서 데이터 및 휠 위치들의 모델에 기초하여 상기 객체의 휠의 예상된 위치에 대응하는 영역을 식별하고;
    상기 영역 내의 위치들을 갖는 센서 데이터 포인트들에 기초하여 상기 휠의 배향을 추정하고;
    상기 추정에 기초하여 상기 객체의 장래 진로를 결정하도록
    구성되고,
    상기 영역을 식별하는 것은, 머신 학습을 사용하여 트레이닝된 상기 모델에 상기 바운딩 박스의 적어도 하나의 특성 및 상기 센서 데이터 포인트들의 위치들을 입력하는 것을 더 포함하는, 시스템.
  14. 제13항에 있어서,
    상기 하나 이상의 프로세서는 상기 영역 내의 위치들을 갖는 센서 데이터 포인트들 중 임의의 것을 제1 평면에 피팅하는 것에 의해 상기 배향을 추정하도록 추가로 구성되는, 시스템.
  15. 제14항에 있어서,
    상기 하나 이상의 프로세서는 상기 바운딩 박스의 한 면의 제2 평면과 상기 제1 평면 사이의 각도 차이를 결정하는 것에 의해 상기 배향을 추정하도록 추가로 구성되는, 시스템.
  16. 제15항에 있어서,
    상기 하나 이상의 프로세서는, 상기 바운딩 박스의 외측에 있고 상기 영역 내에 있는 위치들을 갖는 센서 데이터 포인트들에 기초하여 상기 배향을 추정하도록 추가로 구성되는, 시스템.
  17. 제13항에 있어서,
    상기 하나 이상의 프로세서는:
    상기 장래 진로에 기초하여 통지를 생성하고;
    상기 객체가 상기 차량을 향해 이동하고 있음을 표시하는 통지를 상기 차량의 승객에게 제공하도록
    추가로 구성되는, 시스템.
  18. 제13항에 있어서,
    차량을 더 포함하는, 시스템.
  19. 명령어들이 저장되는 비일시적 컴퓨터 판독가능 기록 매체로서,
    상기 명령어들은, 하나 이상의 프로세서에 의해 실행될 때, 상기 하나 이상의 프로세서로 하여금, 객체가 차량의 궤도에 진입할 것이라는 것을 예측하기 위한 방법을 수행하게 하고,
    상기 방법은,
    차량의 환경에서 객체를 식별하는 정보 및 상기 객체에 대응하는 센서 데이터 포인트들을 포함하는 센서 데이터를 수신하는 단계 - 상기 센서 데이터는, 상기 객체에 대응하는 상기 데이터 포인트들을 바운딩하는 바운딩 박스를 더 포함함 - ;
    상기 센서 데이터 및 휠 위치들의 모델에 기초하여 상기 객체의 휠의 예상된 위치에 대응하는 영역을 식별하는 단계;
    상기 영역 내의 위치들을 갖는 센서 데이터 포인트들에 기초하여 상기 휠의 배향을 추정하는 단계; 및
    상기 추정에 기초하여 상기 객체의 장래 진로를 결정하는 단계
    를 포함하고,
    상기 영역을 식별하는 단계는, 머신 학습을 사용하여 트레이닝된 상기 모델에 상기 바운딩 박스의 적어도 하나의 특성 및 상기 센서 데이터 포인트들의 위치들을 입력하는 단계를 더 포함하는, 비일시적 컴퓨터 판독가능 기록 매체.
  20. 제18항에 있어서,
    상기 하나 이상의 프로세서는 자율 드라이빙 모드에서 상기 차량을 제어하기 위해 상기 장래 진로를 사용하도록 추가로 구성되는, 시스템.
KR1020197023650A 2017-02-10 2018-01-31 장래 진로를 결정하기 위한 휠 배향의 사용 KR102144416B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020207022927A KR102252895B1 (ko) 2017-02-10 2018-01-31 장래 진로를 결정하기 위한 휠 배향의 사용

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/429,275 US10077047B2 (en) 2017-02-10 2017-02-10 Using wheel orientation to determine future heading
US15/429,275 2017-02-10
PCT/US2018/016133 WO2018148075A1 (en) 2017-02-10 2018-01-31 Using wheel orientation to determine future heading

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020207022927A Division KR102252895B1 (ko) 2017-02-10 2018-01-31 장래 진로를 결정하기 위한 휠 배향의 사용

Publications (2)

Publication Number Publication Date
KR20190100407A KR20190100407A (ko) 2019-08-28
KR102144416B1 true KR102144416B1 (ko) 2020-08-14

Family

ID=61193152

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020207022927A KR102252895B1 (ko) 2017-02-10 2018-01-31 장래 진로를 결정하기 위한 휠 배향의 사용
KR1020197023650A KR102144416B1 (ko) 2017-02-10 2018-01-31 장래 진로를 결정하기 위한 휠 배향의 사용

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020207022927A KR102252895B1 (ko) 2017-02-10 2018-01-31 장래 진로를 결정하기 위한 휠 배향의 사용

Country Status (9)

Country Link
US (6) US10077047B2 (ko)
EP (1) EP3580581B1 (ko)
JP (2) JP6671554B1 (ko)
KR (2) KR102252895B1 (ko)
CN (2) CN111661046B (ko)
AU (2) AU2018219084B2 (ko)
CA (1) CA3052438A1 (ko)
SG (1) SG11201906693UA (ko)
WO (1) WO2018148075A1 (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10077047B2 (en) 2017-02-10 2018-09-18 Waymo Llc Using wheel orientation to determine future heading
KR102288893B1 (ko) * 2017-06-19 2021-08-13 현대자동차주식회사 자율주행차량의 수동주행모드 제어방법
US20180374341A1 (en) * 2017-06-27 2018-12-27 GM Global Technology Operations LLC Systems and methods for predicting traffic patterns in an autonomous vehicle
KR102127741B1 (ko) * 2018-03-20 2020-07-01 모빌아이 비젼 테크놀로지스 엘티디. 차량의 항법을 위한 시스템 및 방법
US10816992B2 (en) * 2018-04-17 2020-10-27 Baidu Usa Llc Method for transforming 2D bounding boxes of objects into 3D positions for autonomous driving vehicles (ADVs)
US10788834B2 (en) * 2018-07-06 2020-09-29 Toyota Research Institute, Inc. System, method, and computer-readable medium for autonomous vehicle response to bicycles at intersections
US10793150B2 (en) * 2018-09-14 2020-10-06 Wipro Limited Method and device for controlling vehicle based on neighboring vehicles
US11693423B2 (en) 2018-12-19 2023-07-04 Waymo Llc Model for excluding vehicle from sensor field of view
CN109808492B (zh) * 2019-02-15 2020-06-02 辽宁工业大学 一种车载雷达预警装置及预警方法
US20200284912A1 (en) * 2019-03-08 2020-09-10 GM Global Technology Operations LLC Adaptive sensor sytem for vehicle and method of operating the same
CN110210363B (zh) * 2019-05-27 2022-09-06 中国科学技术大学 一种基于车载图像的目标车辆压线检测方法
CN110299028B (zh) * 2019-07-31 2022-06-14 深圳市捷顺科技实业股份有限公司 一种停车越线检测的方法、装置、设备以及可读存储介质
US11077850B2 (en) * 2019-09-06 2021-08-03 Lyft, Inc. Systems and methods for determining individualized driving behaviors of vehicles
KR102732491B1 (ko) * 2019-11-12 2024-11-21 현대자동차주식회사 근거리 컷인 타겟 판단 장치 및 그의 판단 방법
CN111381249B (zh) * 2020-03-30 2021-11-23 北京经纬恒润科技股份有限公司 一种障碍物航向角计算方法及装置
CN111873991B (zh) * 2020-07-22 2022-04-08 中国第一汽车股份有限公司 一种车辆转向的控制方法、装置、终端及存储介质
US11210533B1 (en) 2020-08-09 2021-12-28 Phantom AI, Inc. Method of predicting trajectory of vehicle
CN111951552B (zh) * 2020-08-11 2021-10-15 腾讯科技（深圳）有限公司 一种自动驾驶中风险管理的方法以及相关装置
KR20220064457A (ko) 2020-11-11 2022-05-19 현대자동차주식회사 자율주행 차량의 조종 제어권 전환 제어방법
CN112622934B (zh) * 2020-12-25 2022-06-24 上海商汤临港智能科技有限公司 一种参考轨迹点和参考轨迹生成方法、驾驶方法以及车辆
KR20220095819A (ko) * 2020-12-30 2022-07-07 현대자동차주식회사 라이다 센서를 이용한 객체 추적 방법 및 장치, 및 이 방법을 실행하기 위한 프로그램을 기록한 기록 매체
FR3118746A1 (fr) * 2021-01-14 2022-07-15 Psa Automobiles Sa Procédé et dispositif d’aide à la conduite d’un véhicule circulant sur une chaussée comprenant plusieurs voies de circulation
US12134407B2 (en) * 2021-06-04 2024-11-05 Waymo Llc Predicting a parking or pullover spot vacancy for an autonomous vehicle pickup
CN113978457B (zh) * 2021-12-24 2022-05-03 深圳佑驾创新科技有限公司 一种碰撞风险预测方法及装置
US20240246574A1 (en) * 2023-01-23 2024-07-25 Gm Cruise Holdings Llc Multimodal trajectory predictions based on geometric anchoring

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006160194A (ja) 2004-12-10 2006-06-22 Alpine Electronics Inc 駐車支援装置
JP2007001405A (ja) 2005-06-23 2007-01-11 Mazda Motor Corp 車両の制御装置
US20150210216A1 (en) * 2012-11-10 2015-07-30 Audi Ag Motor vehicle and method for operating a motor vehicle
WO2015197237A1 (en) * 2014-06-27 2015-12-30 Connaught Electronics Ltd. Method for tracking a target vehicle approaching a motor vehicle by means of a camera system of the motor vehicle, camera system and motor vehicle

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000099686A (ja) * 1998-09-17 2000-04-07 Nippon Telegr & Teleph Corp <Ntt> パターン認識及び車両認識方法及びそのプログラムを記録した記録媒体
JP2004227293A (ja) * 2003-01-23 2004-08-12 Nissan Motor Co Ltd 側方車両検出装置
JP4636016B2 (ja) 2004-03-17 2011-02-23 ソニー株式会社 平面検出装置、平面検出方法、及び平面検出装置を搭載したロボット装置
US7571041B2 (en) * 2005-01-13 2009-08-04 General Motors Corporation Automatic control of automotive rearview mirror
JP2007140938A (ja) * 2005-11-18 2007-06-07 Nissan Motor Co Ltd 駐停車判定装置及び駐停車判定方法
JP2009096361A (ja) * 2007-10-17 2009-05-07 Toyota Motor Corp 車両走行支援装置
JP5272448B2 (ja) 2008-03-04 2013-08-28 日産自動車株式会社 車両用運転支援装置及び車両用運転支援方法
WO2012046297A1 (ja) * 2010-10-05 2012-04-12 トヨタ自動車株式会社 衝突判定装置
US8736463B1 (en) 2012-01-30 2014-05-27 Google Inc. Object bounding box estimation
US20130197736A1 (en) * 2012-01-30 2013-08-01 Google Inc. Vehicle control based on perception uncertainty
JP5897920B2 (ja) * 2012-02-14 2016-04-06 スタンレー電気株式会社 接近車両検出装置、車両用前照灯の点灯制御装置、車両用前照灯システム
US10037689B2 (en) * 2015-03-24 2018-07-31 Donald Warren Taylor Apparatus and system to manage monitored vehicular flow rate
CN105073542B (zh) * 2013-04-01 2018-03-16 朴秀旼 汽车自动驾驶系统
US9495602B2 (en) * 2013-10-23 2016-11-15 Toyota Motor Engineering & Manufacturing North America, Inc. Image and map-based detection of vehicles at intersections
US9244462B2 (en) 2014-05-30 2016-01-26 Nissan North America, Inc. Vehicle trajectory planning for autonomous vehicles
EP2990290B1 (en) 2014-09-01 2019-11-06 Honda Research Institute Europe GmbH Method and system for post-collision manoeuvre planning and vehicle equipped with such system
US9248834B1 (en) * 2014-10-02 2016-02-02 Google Inc. Predicting trajectories of objects based on contextual information
US10013508B2 (en) * 2014-10-07 2018-07-03 Toyota Motor Engineering & Manufacturing North America, Inc. Joint probabilistic modeling and inference of intersection structure
US9483059B2 (en) * 2014-11-26 2016-11-01 Toyota Motor Engineering & Manufacturing North America, Inc. Method to gain driver's attention for autonomous vehicle
JP6392152B2 (ja) * 2015-03-24 2018-09-19 パナソニック株式会社 レーダ装置および走行車両検知方法
US9784829B2 (en) * 2015-04-06 2017-10-10 GM Global Technology Operations LLC Wheel detection and its application in object tracking and sensor registration
US9817397B1 (en) * 2015-09-04 2017-11-14 Waymo Llc Active safety mechanisms for an autonomous vehicle
US9802568B1 (en) * 2015-09-04 2017-10-31 Waymo Llc Interlocking vehicle airbags
US9849852B1 (en) * 2015-09-04 2017-12-26 Waymo Llc Intelligent deployment of safety mechanisms for autonomous vehicles
US9862364B2 (en) * 2015-12-04 2018-01-09 Waymo Llc Collision mitigated braking for autonomous vehicles
US10077047B2 (en) 2017-02-10 2018-09-18 Waymo Llc Using wheel orientation to determine future heading

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006160194A (ja) 2004-12-10 2006-06-22 Alpine Electronics Inc 駐車支援装置
JP2007001405A (ja) 2005-06-23 2007-01-11 Mazda Motor Corp 車両の制御装置
US20150210216A1 (en) * 2012-11-10 2015-07-30 Audi Ag Motor vehicle and method for operating a motor vehicle
WO2015197237A1 (en) * 2014-06-27 2015-12-30 Connaught Electronics Ltd. Method for tracking a target vehicle approaching a motor vehicle by means of a camera system of the motor vehicle, camera system and motor vehicle

Also Published As

Publication number Publication date
KR20200097815A (ko) 2020-08-19
KR102252895B1 (ko) 2021-05-18
JP2020109681A (ja) 2020-07-16
US20190315352A1 (en) 2019-10-17
AU2020202527B2 (en) 2021-07-15
CA3052438A1 (en) 2018-08-16
CN111661046B (zh) 2024-03-26
AU2018219084B2 (en) 2020-02-06
JP6671554B1 (ja) 2020-03-25
US20190023269A1 (en) 2019-01-24
US10611373B2 (en) 2020-04-07
CN110291415A (zh) 2019-09-27
KR20190100407A (ko) 2019-08-28
SG11201906693UA (en) 2019-08-27
US11299150B2 (en) 2022-04-12
WO2018148075A1 (en) 2018-08-16
CN110291415B (zh) 2020-06-16
US10077047B2 (en) 2018-09-18
EP3580581B1 (en) 2022-04-27
JP6934544B2 (ja) 2021-09-15
JP2020514874A (ja) 2020-05-21
AU2018219084A1 (en) 2019-09-19
US20200247405A1 (en) 2020-08-06
US20180229724A1 (en) 2018-08-16
EP3580581A1 (en) 2019-12-18
US20220212662A1 (en) 2022-07-07
US11851055B2 (en) 2023-12-26
AU2020202527A1 (en) 2020-05-07
US20240083425A1 (en) 2024-03-14
CN111661046A (zh) 2020-09-15
US10336325B2 (en) 2019-07-02

Similar Documents

Publication Publication Date Title
US11851055B2 (en) Using wheel orientation to determine future heading
US11989666B1 (en) Predicting trajectory intersection by another road user
US11938967B2 (en) Preparing autonomous vehicles for turns
US20220155415A1 (en) Detecting Spurious Objects For Autonomous Vehicles
CN113677582B (zh) 为自动车辆生成简化对象模型以减少计算资源要求
US20220366175A1 (en) Long-range object detection, localization, tracking and classification for autonomous vehicles
US11590978B1 (en) Assessing perception of sensor using known mapped objects

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
AMND Amendment
PA0105 International application

Patent event date: 20190812

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20190812

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20191115

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20200323

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20191115

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

X091 Application refused [patent]
AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20200323

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20191224

Comment text: Amendment to Specification, etc.

Patent event code: PX09012R01I

Patent event date: 20190812

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20200506

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20200414

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20200323

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20191224

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20190812

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20200807

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200807

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200810

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230725

Start annual number: 4

End annual number: 4