KR20240100307A - 자율 차량의 하나 이상의 센서에 대한 감지 주파수를 조정하는 방법 및 시스템 - Google Patents

자율 차량의 하나 이상의 센서에 대한 감지 주파수를 조정하는 방법 및 시스템 Download PDF

Info

Publication number
KR20240100307A
KR20240100307A KR1020230189675A KR20230189675A KR20240100307A KR 20240100307 A KR20240100307 A KR 20240100307A KR 1020230189675 A KR1020230189675 A KR 1020230189675A KR 20230189675 A KR20230189675 A KR 20230189675A KR 20240100307 A KR20240100307 A KR 20240100307A
Authority
KR
South Korea
Prior art keywords
sensors
data
environmental factors
actions
clause
Prior art date
Application number
KR1020230189675A
Other languages
English (en)
Inventor
자바이드 빌랄
유먹 턴서
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Publication of KR20240100307A publication Critical patent/KR20240100307A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/06—Improving the dynamic response of the control system, e.g. improving the speed of regulation or avoiding hunting or overshoot
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/30—Conjoint control of vehicle sub-units of different type or different function including control of auxiliary equipment, e.g. air-conditioning compressors or oil pumps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865—Combination of radar systems with lidar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2530/00—Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00
    • B60W2530/10—Weight
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2530/00—Input parameters relating to vehicle conditions or values, not covered by groups B60W2510/00 or B60W2520/00
    • B60W2530/201—Dimensions of vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00—Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • B60W2555/20—Ambient conditions, e.g. wind or rain
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/30—Auxiliary equipments
    • B60W2710/305—Auxiliary equipments target power to auxiliaries

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

자율 차량(AV)의 하나 이상의 센서에 대한 감지 주파수를 조정하는 시스템 및 방법이 제공된다. 상기 방법은 AV의 현재 환경의 하나 이상의 환경 요인을 결정하는 단계, 신경망을 사용하여, 하나 이상의 환경 요인에 기초하여 AV의 주행 성능 및 에너지 소비를 조정하기 위한 하나 이상의 동작을 결정하는 단계, 여기서 하나 이상의 동작은 AV에 결합된 하나 이상의 센서의 감지 주파수를 조정하는 것을 포함함, 그리고 AV의 컴퓨팅 장치를 사용하여 하나 이상의 동작을 수행하는 단계를 포함하고, 상기 컴퓨팅 장치는 프로세서 및 메모리를 포함한다

Description

자율 차량의 하나 이상의 센서에 대한 감지 주파수를 조정하는 방법 및 시스템{METHOD AND SYSTEM FOR ADJUSTING SENSING FREQUENCY FOR ONE OR MORE SENSORS OF AUTONOMOUS VEHICLE}
본 개시의 실시예는 불필요한 계산을 제거하여 에너지 사용량을 줄이기 위해 환경 위험에 기초하여 자율 차량(AV)의 감지 주파수를 동적으로 조정하는 시스템 및 방법에 관한 것이다.
완전 자율 차량(AV)은 AV의 주변 환경과 관련된 센서 데이터를 획득하도록 구성된 AV에 결합된 하나 이상의 센서에 의존한다. 이 센서 데이터를 통해 AV는 AV 주변 환경을 탐색하기 위한 궤적을 보다 정확하게 계획할 수 있다.
이러한 하나 이상의 센서를 통해 획득할 수 있는 데이터의 양으로 인해 AV는 센서 데이터를 처리하고 경로 계획을 세우기 위해 많은 양의 컴퓨팅 성능을 필요로 한다. 이는 AV의 에너지 효율에 큰 영향을 미친다. 또한, AV에 결합된 센서(예를 들어, 마이크로폰, 적외선 카메라, 비행 시간 카메라 등)의 수는 향후 AV에서 계속 증가할 수 있다. 이러한 추가 센서는 필요한 컴퓨팅 성능에 더욱 영향을 미치고 AV 전력 효율성을 더욱 감소시킨다.
특히 대중 시장 채택을 위해 에너지 효율은 차량 설계에서 점점 더 중요한 요소가 되므로, 부분적으로 에너지 효율로 인해 전기 자동차로 전환하는 현재 추세에 따라 AV는 합리적으로 에너지 효율적이어야 한다. 따라서 적어도 이러한 이유로 AV가 에너지 소비를 줄이면서 센서 데이터를 처리할 수 있도록 하는 시스템 및 방법이 필요하다.
본 개시의 실시예는 불필요한 계산을 제거하여 에너지 사용량을 줄이기 위해 환경 위험에 기초하여 자율 차량(AV)의 감지 주파수를 동적으로 조정하는 시스템 및 방법을 제공하고자 한다.
본 개시의 목적에 따르면, 자율 차량(AV)의 하나 이상의 센서에 대한 감지 주파수를 조정하는 방법이 제공된다. 상기 방법은 AV의 현재 환경의 하나 이상의 환경 요인을 결정하는 단계, 신경망을 사용하여, 하나 이상의 환경 요인에 기초하여 AV의 주행 성능 및 에너지 소비를 조정하기 위한 하나 이상의 동작을 결정하는 단계, 여기서 하나 이상의 동작은 AV에 결합된 하나 이상의 센서의 감지 주파수를 조정하는 것을 포함함, 그리고 AV의 컴퓨팅 장치를 사용하여 하나 이상의 동작을 수행하는 단계를 포함하고, 상기 컴퓨팅 장치는 프로세서 및 메모리를 포함한다.
본 개시의 실시예에 따르면, 하나 이상의 환경 요인을 결정하는 단계는 AV에 결합된 하나 이상의 센서로부터 센서 데이터를 수신하는 단계를 포함할 수 있다.
본 개시의 실시예에 따르면, 하나 이상의 센서는 라이다(LiDAR) 시스템; 레이더 시스템; 카메라; 강수량 센서; 광 센서; 그리고 위치 센서 중 하나 이상을 포함할 수 있다.
본 개시의 예시적인 실시예에 따르면, 하나 이상의 동작을 결정하는 단계는 현재 환경의 위험 수준을 결정하는 단계를 포함할 수 있고, 하나 이상의 동작은 현재 환경의 위험 수준에 기초할 수 있다.
본 개시의 예시적인 실시예에 따르면, 하나 이상의 동작은 하나 이상의 센서 중 하나 이상에 대한 전력 모드를 조정하는 것을 포함할 수 있다.
본 개시의 실시예에 따르면, 상기 방법은 상기 하나 이상의 단계를 수행한 후, AV의 주행 성능 및 에너지 소비를 평가하는 단계를 더 포함할 수 있다.
본 개시의 예시적인 실시예에 따르면, 하나 이상의 환경 요인은 AV 환경 내의 하나 이상의 객체의 위치 또는 속도 데이터; 레이더 데이터; 라이다 데이터; 카메라 데이터; 강수량 센서 데이터; 광 센서 데이터; 위치 센서 데이터; 태양 고도각; 날짜 정보; AV의 하나 이상의 치수; 및 AV의 차량 중량 중 하나 이상을 포함할 수 있다.
본 개시의 목적에 따르면, AV의 하나 이상의 센서에 대한 감지 주파수를 조정하는 시스템이 제공된다. 시스템은 자율 차량을 포함할 수 있고, 상기 자율 차량은 하나 이상의 센서와, 프로세서와 메모리를 포함하는 컴퓨팅 장치를 포함하며, 상기 컴퓨팅 장치는 AV의 현재 환경의 하나 이상의 환경 요인을 결정하고, 신경망을 사용하여 하나 이상의 환경 요인에 기초하여 AV의 주행 성능 및 에너지 소비를 조정하기 위한 하나 이상의 동작을 결정하며, 하나 이상의 동작을 수행하도록 구성되고, 하나 이상의 동작은 하나 이상의 센서의 감지 주파수를 조정하는 것을 포함한다.
본 개시의 예시적인 실시예에 따르면, 하나 이상의 센서는 데이터를 전송하도록 구성되고, 하나 이상의 환경 요인을 결정하는 것은 하나 이상의 센서로부터 센서 데이터를 수신하는 것을 포함할 수 있다.
본 개시의 예시적인 실시예에 따르면, 하나 이상의 센서는 라이다 시스템; 레이더 시스템; 카메라; 강수량 센서; 광 센서; 그리고 위치 센서 중 하나 이상을 포함할 수 있다.
본 개시의 예시적인 실시예에 따르면, 하나 이상의 동작을 결정하는 것은 현재 환경의 위험 수준을 결정하는 것을 포함할 수 있고, 하나 이상의 동작은 현재 환경의 위험 수준에 기초할 수 있다.
본 개시의 예시적인 실시예에 따르면, 하나 이상의 동작은 하나 이상의 센서 중 하나 이상에 대한 전력 모드를 조정하는 것을 포함할 수 있다.
본 개시의 예시적인 실시예에 따르면, 컴퓨팅 장치는 하나 이상의 동작을 수행한 후에 AV의 주행 성능 및 에너지 소비를 평가하도록 더 구성될 수 있다.
본 개시의 예시적인 실시예에 따르면, 하나 이상의 환경 요인은 AV 환경 내의 하나 이상의 객체의 위치 또는 속도 데이터; 레이더 데이터; 라이다 데이터; 카메라 데이터; 강수량 센서 데이터; 광 센서 데이터; 위치 센서 데이터; 태양 고도각; 날짜 정보; AV의 하나 이상의 치수; 및 AV의 차량 중량 중 하나 이상을 포함할 수 있다.
본 개시의 목적에 따르면, AV의 하나 이상의 센서에 대한 감지 주파수를 조정하는 시스템이 제공된다. 시스템은 AV에 결합된 하나 이상의 센서와, 프로세서 및 메모리를 포함하고 AV에 결합되며 프로그래밍 명령을 저장하도록 구성된 컴퓨팅 장치를 포함할 수 있다. 프로그래밍 명령은 프로세서에 의해 실행될 때 프로세서로 하여금 AV의 현재 환경의 하나 이상의 환경 요인을 결정하고, 신경망을 사용하여 하나 이상의 환경 요인에 기초하여 AV의 주행 성능 및 에너지 소비를 조정하기 위한 하나 이상의 동작을 결정하며, 하나 이상의 동작을 수행하게 하고, 하나 이상의 동작은 하나 이상의 센서의 감지 주파수를 조정하는 것을 포함한다.
본 개시의 예시적인 실시예에 따르면, 하나 이상의 센서는 데이터를 전송하도록 구성되고, 하나 이상의 환경 요인을 결정하는 것은 하나 이상의 센서로부터 센서 데이터를 수신하는 것을 포함할 수 있다.
본 개시의 예시적인 실시예에 따르면, 하나 이상의 센서는 라이다 시스템; 레이더 시스템; 카메라; 강수량 센서; 광 센서; 그리고 위치 센서 중 하나 이상을 포함할 수 있다.
본 개시의 예시적인 실시예에 따르면, 하나 이상의 동작을 결정하는 것은 현재 환경의 위험 수준을 결정하는 것을 포함할 수 있고, 하나 이상의 동작은 현재 환경의 위험 수준에 기초할 수 있다.
본 개시의 예시적인 실시예에 따르면, 하나 이상의 동작은 하나 이상의 센서 중 하나 이상에 대한 전력 모드를 조정하는 것을 포함할 수 있다.
본 개시의 예시적인 실시예에 따르면, 프로그래밍 명령은 프로세서로 하여금 하나 이상의 동작을 수행한 후 AV의 주행 성능 및 에너지 소비를 평가하게 하도록 더 구성될 수 있다.
본 개시의 예시적인 실시예에 따르면, 하나 이상의 환경 요인은 AV 환경 내의 하나 이상의 객체의 위치 또는 속도 데이터; 레이더 데이터; 라이다 데이터; 카메라 데이터; 강수량 센서 데이터; 광 센서 데이터; 위치 센서 데이터; 태양 고도각; 날짜 정보; AV의 하나 이상의 치수; 및 AV의 차량 중량 중 하나 이상을 포함할 수 있다.
본 발명에 따르면, 불필요한 컴퓨팅을 제거하여 AV의 에너지 사용량을 줄이고 AV 에너지 효율을 높일 수 있다.
그 외에 본 개시의 실시 예로 인해 얻을 수 있거나 예측되는 효과에 대해서는 본 개시의 실시 예에 대한 상세한 설명에서 직접적 또는 암시적으로 개시하도록 한다. 즉 본 개시의 실시 예에 따라 예측되는 다양한 효과에 대해서는 후술될 상세한 설명 내에서 개시될 것이다.
첨부된 도면은 본 개시의 추가적인 이해를 제공하기 위해 포함되고 본 출원에 병합되어 그 일부를 구성하며, 본 개시의 실시예를 예시하고 설명과 함께 본 개시의 원리를 설명하는 역할을 한다.
도 1은 본 개시의 실시예에 따른 자율 차량(AV)의 하나 이상의 센서에 대한 감지 주파수를 조정하는 방법을 도시한다.
도 2는 본 개시의 실시예에 따른 AV의 현재 환경 상태를 판단하는 방법을 도시한다.
도 3은 본 개시의 실시예에 따른 신경망의 신경망 아키텍처를 도시한다.
도 4는 본 개시의 예시적인 실시예에 따른 컴퓨팅 장치의 예시적인 구성요소들을 도시한다.
도 5는 본 개시의 예시적인 실시예에 따른 차량의 예시적인 아키텍처를 도시한다.
본 명세서에서 사용된 "차량" 또는 "차량의"라는 용어 또는 기타 유사한 용어는 일반적으로 스포츠 유틸리티 차량(SUV)을 포함하는 승용차, 버스, 트럭, 다양한 상용차, 다양한 보트 및 배를 포함하는 선박, 항공기 등을 포함하며, 하이브리드 차량, 전기 차량, 플러그-인 하이브리드 전기 차량, 수소 동력 차량 및 기타 대체 연료 차량(예를 들어, 석유 이외의 자원에서 얻어지는 연료)을 포함한다. 본 명세서에서 언급된 바와 같이, 하이브리드 차량은 2개 이상의 동력원을 갖는 차량, 예를 들어 가솔린 동력 및 전기 동력 모두를 갖는 차량이다.
여기에서 사용된 용어는 특정 실시예만을 설명하기 위한 것이고 본 개시를 제한하려는 의도는 아니다. 여기에서 사용된 바와 같이, 단수 형태는, 문맥 상 명백하게 다르게 지시되지 않는 한, 복수 형태를 또한 포함하는 것을 의도한다. 이 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위해 사용된 것으로, 구성요소의 성질 또는 순서를 한정하지 않는다. 본 명세서에서 사용될 때 "포함하다" 및/또는 "포함하는"이라는 용어는 언급된 특징, 정수, 단계, 작동, 요소, 및/또는 구성요소의 존재를 특정하지만 하나 이상의 다른 특징, 정수, 단계, 작동, 요소, 구성요소, 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는다는 것을 더 이해될 것이다. 여기에서 사용된 바와 같이, "및/또는"이라는 용어는 하나 이상의 관련되고 열거된 항목들의 임의의 하나 및 모든 조합을 포함한다. 명세서 전반에 걸쳐, 달리 명시적으로 기술되지 않는 한, "포함하다"라는 단어 및 "포함한다" 또는 "포함하는"과 같은 변형은 언급된 요소를 포함하는 것을 의미하지만 다른 요소를 배제하는 것은 아닌 것으로 이해될 것이다. 또한, 명세서에 기재된 "유닛", "-기" 및 "모듈"은 적어도 하나의 기능 및 작동을 처리하기 위한 유닛을 의미하며, 하드웨어 요소 또는 소프트웨어 요소 및 그들의 조합에 의하여 구현될 수 있다.
비록 예시적인 실시예가 예시적인 절차를 수행하기 위해 복수의 유닛을 사용하는 것으로 설명되지만, 예시적인 절차는 또한 하나 또는 복수의 모듈에 의하여 수행될 수 있음이 이해된다. 또한, 제어기/제어 유닛이라는 용어는 메모리와 프로세서를 포함하는 하드웨어 장치를 언급하는 것으로 이해된다. 메모리는 모듈을 저장하도록 구성될 수 있고 프로세서는 아래에서 더 설명되는 하나 이상의 절차를 수행하기 위하여 상기 모듈을 실행하도록 특별히 구성될 수 있다.
또한, 본 개시의 제어 로직은 프로세서, 제어기 등에 의해 실행되는 실행 가능한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체 상의 비일시적 컴퓨터 판독 가능 매체로 구현될 수 있다. 컴퓨터 판독 가능 매체의 예는 롬(ROM), 램(RAM), 씨디-롬(CD-ROM), 자기 테이프, 플로피 디스크, 플래시 드라이브, 스마트 카드 및 광 데이터 저장 장치를 포함되지만 이에 국한되지 않는다. 컴퓨터 판독 가능 매체는 또한 컴퓨터 판독 가능 매체가, 예를 들어 텔레매틱스 서버 또는 제어기 영역 네트워크(Controller Area Network; CAN)에 의해 분산 방식으로 저장 및 실행되도록 네트워크에 연결된 컴퓨터 시스템에 분산될 수 있다.
구체적으로 언급되거나 문맥으로부터 명백하지 않는 한, 여기에서 사용된 바와 같이, "약"이라는 용어는 관련 기술에서 통상적인 공차 범위 내, 예를 들어 평균의 2 표준 편차 내로 이해된다. "약"은 언급된 값의 10%, 9%, 8%, 7%, 6%, 5%, 4%, 3%, 2%, 1%, 0.5%, 0.1%, 0.05% 또는 0.01% 내인 것으로 이해될 수 있다. 문맥으로부터 달리 명백하지 않으면, 본 명세서에 제공된 모든 수치 값들은 용어 "약"에 의해 수정된다.
이하, 예시적인 도면을 참조하여 본 개시의 일부 실시예들이 상세히 설명된다. 도면에서 동일하거나 동등한 구성요소에 대해서는 동일한 참조부호를 사용한다. 또한, 본 개시의 요지를 불필요하게 흐릴 수 있는 공지 구성 또는 기능에 대한 구체적인 설명은 생략될 것이다.
자율 차량(AV)은 AV 환경의 하나 이상의 양상을 감지하도록 구성된 AV에 결합된 하나 이상의 센서를 포함한다. 이 센서는 방대한 양의 데이터를 수집한다. 이 데이터를 처리하려면 컴퓨팅 성능이 필요하다.
컴퓨팅 자원은 AV의 전체 에너지 소비에서 상당한 부분을 차지할 것으로 예상된다. 완전한 자율성을 위해서는 중복 시스템이 필요할 수 있다. 중복 시스템은 결국 두 배의 컴퓨팅 성능이 필요하다. 하나 이상의 센서의 샘플링 속도는 AV에 결합된 하나 이상의 컴퓨팅 장치의 전력 사용량에 크게 영향을 미친다. 또한, 각 센서 자체는 높은 샘플링 속도를 사용하여 가동할 때 더 많은 전력을 사용한다. 이 효과는 인식 및 계획과 같은 AV 컴퓨팅 파이프라인에서 다른 모듈로 전파된다.
추가적으로, 더 높은 샘플링 속도는 더 많은 사용으로 인해 센서의 수명을 단축시킬 수 있다. 일부 센서는 샘플링 속도 대신 구성 가능한 전원 모드를 가진다(예를 들어, GPS 센서는 온라인 보정 데이터를 사용하거나 위성 신호만 사용하도록 구성될 수 있다).
예시적인 실시예에 따르면, 불필요한 컴퓨팅을 제거하여 AV의 에너지 사용량을 줄이고 AV 에너지 효율을 높이기 위해 환경 위험(예를 들어, 위험 수준)을 기반으로 AV에 대한 감지 주파수를 동적으로 조정하는 시스템 및 방법이 제공된다.
예를 들어, 다른 차량이 없는 시골 환경에서는 AV에 대한 환경 위험이 낮을 것이다. 이러한 시나리오에서 AV에 결합된 하나 이상의 센서를 가장 높은 주파수로 가동하는 것은 불필요한 전력 사용량이 된다.
예를 들어, 많은 다른 차량이 존재하고 비가 오는 날씨의 도시 환경에서는 AV에 대한 환경 위험이 높을 수 있다. 이러한 시나리오에서는 차량에 결합된 하나 이상의 센서를 가장 높은 주파수로 가동하는 것이 필요한 전력 사용량이 될 수 있다.
예시적인 실시예에 따르면, 본 개시의 시스템 및 방법은 환경 위험에 기초하여 하나 이상의 센서의 감지 주파수를 조정하도록 구성될 수 있다. 예시적인 실시예에 따르면, 최적의 감지 주파수와 AV 환경 사이의 관계는 복잡하므로, 본 개시의 시스템 및 방법은 감지 주파수를 동적으로 조정하기 위해 심층 강화 학습을 사용하도록 구성될 수 있다.
이제 도 1을 참조하면, 본 개시의 예시적인 실시예에 따른 AV의 하나 이상의 센서에 대한 감지 주파수를 조정하는 방법(100)이 예시적으로 도시되어 있다.
105에서, AV의 현재 환경 상태가 결정된다. 예시적인 실시예에 따르면, AV는 현재 환경에 기초하여 하나 이상의 최적 감지 속도를을 계산하도록 구성된다.
예를 들어, 교통량이 없고 날씨가 좋은 시골 환경에서 AV는 주변 환경을 명확하게 볼 수 있고 위험을 초래하는 다른 차량이 없으며 전방 도로가 깨끗할 수 있다. 이 시나리오에서 AV는 안전을 위한 충분한 속도를 유지하면서(예를 들어, 동물이 도로로 걸어가는 경우 AV는 여전히 반응할 시간에 맞춰 동물을 감지할 수 있다) 감지 속도를 줄여 전력 소비를 줄일 수 있다. 이 예에서, AV는 감지 속도를 100Hz에서 10Hz(10배 감소)로 줄일 수 있다. 그러나, 본 개시의 사상 및 기능을 유지하면서 다른 감지 속도의 감소 및/또는 증가가 발생할 수 있다는 점에 유의한다.
예를 들어, 교통량이 많고 강수량이 많은 도시 환경에서 AV는 다른 차량의 갑작스러운 움직임을 예상해야 하며, 환경의 일부 영역은 객체 및/또는 차량에 의해 가려질 수 있고, 하나 이상의 센서는 강수량에 이상적으로 작동하지 않을 수 있다. 이 시나리오에서 AV는 안전한 작동을 보장하기 위해 높은 감지 속도를 유지할 수 있다.
실제 운전 환경은 이들 2가지 예 사이의 어느 곳에 있을 수도 있고, 이들 예의 범위 밖에 있을 수도 있다. 따라서, 환경과 최적의 감지 속도 사이의 복잡하고 비선형적인 관계를 포착하려면 신경망을 사용하는 것이 좋다.
본 개시의 예시적인 실시예에 따라 AV의 현재 환경 상태를 결정하는 방법(105)은 도 2에서 보다 상세하게 설명된다.
예시적인 실시예에 따르면, 도 2에 도시된 바와 같이, 205에서 AV에 결합된 하나 이상의 컴퓨팅 장치에 의해 AV에 결합된 하나 이상의 센서로부터 센서 데이터가 수신된다. 예시적인 실시예에 따르면, 현재 환경은 감지 속도와 관련된 핵심 요소를 포착하되, 신경망이 너무 커질 정도로 과하지 않은 방식으로 표현될 수 있다.
일 실시예에 따르면, 현재 환경을 판단하기 위해 사용되는 센서 데이터는 미리 설정된 세트의 센서로부터의 데이터를 포함할 수 있다. 미리 설정된 세트의 센서는 하나 이상의 레이더 센서, 하나 이상의 라이다(LiDAR) 센서, 하나 이상의 카메라, 하나 이상의 강수량 센서, 하나 이상의 광 센서, 하나 이상의 위치 센서(예를 들어, 하나 이상의 위성 위치 확인 시스템(GPS) 및/또는 기타 적합한 위치 센서), 및/또는 하나 이상의 기타 적합한 센서를 포함할 수 있다. 미리 설정된 세트의 센서는 AV의 컴퓨팅 장치에 데이터를 전송하도록 구성될 수 있다. 예시적인 실시예에 따르면, AV는 하나 이상의 컴퓨팅 장치(예를 들어, 도 4의 컴퓨팅 장치(400), 도 5의 컴퓨팅 장치(520)), 하나 이상의 전력 소비 센서, 및/또는 하나 이상의 다른 적합한 구성요소를 포함할 수 있다. 예시적인 실시예에 따르면, 컴퓨팅 장치는 하나 이상의 센서 중 하나 이상의 샘플링 속도를 제어하도록 구성될 수 있고/있거나 신경망 가속기를 포함할 수 있다.
210에서, AV에 결합된 하나 이상의 센서로부터 반환된 데이터를 사용하여 AV 환경 내의 하나 이상의 객체가 감지된다. 객체는, 예를 들어 보행자, 차량, 동물, 식물, 암석, 잔해 및/또는 AV 환경 내의 하나 이상의 기타 적합한 객체일 수 있다.
객체는 라이다 감지, 레이더 감지, 카메라 이미지 및/또는 예를 들어, 업계에 알려진 방법과 같은 다른 적절한 수단을 사용한 객체를 감지하고 격리하는 것과 같은 하나 이상의 적절한 수단을 사용하여 감지될 수 있다. 예시적인 실시예에 따르면, 컴퓨팅 장치(예를 들어, 도 4의 컴퓨팅 장치(400), 도 5의 컴퓨팅 장치(520))는 크기, 모양, 움직임, 불투명도, 색상, 질감 및/또는 하나 이상의 기타 적합한 물리적 특성에 기초하여 환경 내의 하나 이상의 객체를 격리 및/또는 식별하도록 구성될 수 있다.
하나 이상의 객체를 검출하는 것은 하나 이상의 객체의 상대 위치, 속도 및/또는 궤적을 결정하는 것을 포함할 수 있다. 예시적인 실시예에 따르면, 차량 환경 내에 객체가 많을수록 위험도 더 커진다.
215에서, 하나 이상의 환경 요인이 계산되고/계산되거나 AV의 하나 이상의 컴퓨팅 장치에 입력된다. 하나 이상의 환경 요인은 AV 환경 내의 하나 이상의 객체에 관한 정보, 원시 레이더 데이터, 원시 라이다 데이터, 카메라 데이터, 강수량 센서 데이터, 광 센서 데이터, 위치 센서 데이터, 태양 고도각, 날짜(날짜 정보), AV의 하나 이상의 치수, AV의 차량 중량 및/또는 하나 이상의 기타 적합한 환경 요인을 포함할 수 있다.
예시적인 실시예에 따르면, 하나 이상의 객체(예를 들어, 차량, 보행자 등)의 위치, 속도, 궤적 및/또는 다른 적절한 요인은 위험을 증가 및/또는 감소시킬 수 있다. 예를 들어, 접근하는 차량이나 인근 보행자는 저 높은 위험을 나타낼 수 있으므로 더 높은 감지 속도가 보장된다.
하나 이상의 라이다 센서는 3D(3D) 포인트 클라우드를 생성하도록 구성될 수 있다. 예시적인 실시예에 따르면, 라이다 3D 포인트 클라우드는 신경망의 라이다 3D 포인트 클라우드의 크기를 줄이는 방식으로 필터링, 다운샘플링 및/또는 단순화될 수 있다.
예시적인 실시예에 따르면, AV는 라이다 3D 포인트 클라우드로부터 AV 주변의 지상 면적을 추정할 수 있으며, 이를 따라 AV는 라이다 3D 포인트 클라우드로부터 다른 객체에 의해 얼마나 많은 면적이 가려져 있는지 알 수 있다.
라이다 3D 포인트 클라우드는 AV 환경 내에서 폐색된 영역의 양을 나타내는 좋은 지표이다. 더 많은 폐색은 일반적으로 더 많은 불확실성과 위험을 나타낸다.
하나 이상의 강수량 센서는 AV 환경 내의 강수량의 존재 또는 부존재를 결정하도록 구성될 수 있다. 강수량의 존재는 일반적으로 더 많은 위험을 나타낸다.
하나 이상의 광 센서는 AV 환경의 하나 이상의 영역의 광 인자를 결정하도록 구성될 수 있으며, 이는 밝거나 어두운 AV 환경의 하나 이상의 영역을 나타낸다. 예시적인 실시예에 따르면, 하나 이상의 광 센서는 차량 환경의 하나 이상의 영역의 밝기 레벨을 결정하도록 구성될 수 있다. 예시적인 실시예에 따르면, AV 환경의 어두운 영역은 일반적으로 더 많은 위험을 나타낸다.
예시적인 실시예에 따르면, 하나 이상의 위치 센서는 AV의 지리적 위치에 속하는 위치 데이터(예를 들어, 글로벌 항법 위성 시스템(Global Navigation Satellite System, GNSS) 좌표)를 생성하도록 구성될 수 있다. 예시적인 실시예에 따르면, 증가 및/또는 감소된 위험은 특정 지리적 위치와 연관될 수 있다. 예를 들어, 일부 지리적 위치는 사슴의 횡단 위험이 더 높을 수 있다.
태양 고도각은 AV에 대한 태양의 각도를 나타낸다. 예시적인 실시예에 따르면, 특정 위치에 대한 위험 증가 및/또는 감소는 하루의 주기(예를 들어, AV에 대한 태양의 위치)와 연관될 수 있다. 예를 들어, 특정 위치에서는 황혼과 새벽에 사슴 활동이 많아지고 이에 따라 위험이 더 높아질 수 있다.
예시적인 실시예에 따르면, 연중 날짜는 특정 위치에 대한 위험의 증가 및/또는 감소를 나타낼 수 있습니다. 예를 들어 특정 위치에서는 가을에 사슴 활동이 더 많아 위험이 더 커질 수 있습니다.
예시적인 실시예에 따르면, AV의 치수(예를 들어, 길이, 너비, 높이, 모양 등)는 위험 증가 및/또는 감소를 나타낼 수 있다. 예를 들어 차량 크기가 커지면 위험이 커질 수 있다.
예시적인 실시예에 따르면, AV의 중량은 위험 증가 및/또는 감소를 나타낼 수 있다. 차량 중량이 더 큰 차량은 더 긴 제동 거리를 필요로 하며 더 많은 위험을 초래할 수 있다.
예시적인 실시예에 따르면, 환경 요인의 하나 이상의 값은 신경망에 대한 입력을 정규화하기 위해 스케일링 및/또는 전환될 수 있다.
110에서, 현재 환경의 이 상태는 하나 이상의 센서 중 하나 이상의 최적 샘플링 속도를 결정하기 위해 가동되는 신경망으로 전송된다. 본 개시의 예시적인 실시예에 따른 신경망의 신경망 아키텍처(300)가 도 3에 도시되어 있다.
예시적인 실시예에 따르면, 하나 이상의 환경 요인이 신경망에 입력된다. 하나 이상의 환경 요인은 라이다 데이터(305), 하나 이상의 객체에 대한 위치 및/또는 속도 데이터(335), 광 센서 데이터(350), 위치 센서 데이터(355), 태양 고도(365), 날짜(370), AV의 차량 치수(375), AV의 차량 중량(380), 및/또는 하나 이상의 다른 적절한 환경 요인을 포함할 수 있지만 이에 제한되지는 않는다.
예시적인 실시예에 따르면, 라이다 데이터(305)로부터의 3D 포인트 클라우드는 3D 포인트 클라우드로부터 특징 데이터를 추출하는 콘볼루션 신경망(Convolutional Neural Network, CNN)(310)에 입력될 수 있다. 추출된 특징은 밀집층(320)으로 전달될 수 있다. 예시적인 실시예에 따르면, 라이다 데이터(305)로부터의 3D 포인트 클라우드는 3D 포인트 클라우드로부터 지표면 정보를 추출하도록 구성된 지표면 추출 모듈(315)에 입력될 수 있고, 이후 밀집층(325)에 입력될 수 있다. 3D CNN 데이터 및 지표면 추출 데이터는 이후 밀집층(350)에서 압축될 수 있다.
예시적인 실시예에 따르면, 하나 이상의 객체의 위치 및 속도 데이터(335)는 밀집층(340)에서 압축될 수 있다.
예시적인 실시예에 따르면, 위치 센서 데이터(355)는 비닝(360)될 수 있다.
예시적인 실시예에 따르면, 모든 센서 데이터는 하나 이상의 밀집층(385)에서 압축될 수 있다. 이후, 이 압축된 데이터는 동작 출력(115)(또한 도 1에 도시됨)을 생성하기 위해 분석될 수 있다.
도 3에 도시되고 설명된 층들은 예시이고, 본 개시의 사상과 기능을 유지하면서 더 많거나 더 적은 층이 신경망의 아키텍처에 통합될 수 있음이 주목된다.
예시적인 실시예에 따르면, 신경망의 동작 출력(115)은 AV가 안전한 동작을 유지하면서 최저 전력 소모를 달성하기 위해 취하는 최적의 동작일 수 있다. 동작 출력은 AV에 의해 제어 가능한 각 센서에 대한 감지 주파수 및/또는 샘플링 속도를 증가 및/또는 감소시키는 것을 포함할 수 있다. 그러나 본 개시의 사상과 기능을 유지하면서 동작 출력의 다른 적절한 동작이 포함될 수 있다는 점에 유의한다. 예시적인 실시예에 따르면, 일부 센서의 경우 샘플링 속도는 관련이 없을 수 있지만 구성 가능한 전력 모드는 동작 출력(115)에 따라 AV에 의해 제어될 수 있다. 예를 들어, 위치 측정 모듈은 GNSS에 대한 차등 보정을 비활성화하고 위치 측정을 위해 위성 신호만 사용하도록 구성될 수 있다. 예를 들어, 위치 측정 모듈은 전력 소비를 줄이기 위해 고화질 지도에 대한 지도 매칭을 비활성화하도록 구성될 수 있다. 추가 예로서, AV는 AV의 경로를 계획하도록 구성된 경로 계획 모듈의 업데이트 속도를 제어하도록 구성될 수 있다.
예시적인 실시예에 따르면, 각각의 센서 및/또는 AV에 의한 다른 제어 가능한 지점은 신경망에 의해 개별적으로 조정되도록 구성될 수 있어 최적의 설정들을 찾는 유연성을 가능하게 한다. 예를 들어, AV는 특정 환경에 카메라가 필요하지만 레이더 및 라이다 센서는 필요하지 않다고 판단할 수 있다. 이 경우, AV는 높은 카메라 센서 속도를 유지하지만 하나 이상의 레이더 및 라이다 센서를 줄이거나 종료하도록 구성된다.
120에서, 훈련 기능 동안 AV의 주행 성능 및 에너지 소비가 평가된다.
예시적인 실시예에 따르면, AV는 110에서 신경망에 의해 생성된 동작 출력(115)의 성공 여부를 평가하기 위해 주행 성능 및 에너지 소비를 지속적으로 모니터링하도록 구성될 수 있다.
예시적인 실시예에 따르면, 에너지 소비는 전류 및/또는 전압 센서를 이용하여 직접 측정될 수 있다. 예시적인 실시예에 따르면, 120에서의 평가는 신경망의 업데이트된 매개변수를 계산하여 피드백 루프를 생성하는 데 사용될 수 있다. 125에서, 매개변수는 생성된 업데이트된 매개변수에 따라 업데이트될 수 있다. 업데이트된 매개변수는 이후 110에서 다시 가동될 수 있는 신경망에 입력될 수 있다.
훈련 피드백 루프의 최종 결과는 에너지 소비의 최소화 및 주행 성능의 최대화이다. 예시적인 실시예에 따르면, 주행 성능 및 에너지 소비를 정량화하기 위한 알고리즘은 바람직하지 않은 주행 이벤트(예를 들어, 충돌, 급제동 등)에 페널티를 주고 에너지 절약을 보상하도록 설계된다. 시스템은 에너지를 절약하기 위해 센서 속도를 최대한 줄이는 경향이 있을 수 있다. 그러나 센서 속도를 너무 많이 낮추면 도로의 객체(예를 들어, 차량, 보행자 등)를 늦게 감지하여 AV가 갑자기 움직일 수 있는 결과가 나올 수 있다. 이러한 갑작스러운 움직임은 보상 기능에 의해 불이익을 받을 수 있으므로 센서 속도의 균형을 맞추는 피드백이 생성된다.
본 개시의 실시예에 따르면, 시스템의 훈련은 시뮬레이션 환경에서 시작될 수 있다. 그 이유는 실제 응용 동안 작동하는 합리적인 모델로 개발하기 위해 시스템이 많은 훈련 예를 경험할 필요가 있기 때문이다.
예시적인 실시예에 따르면, 훈련은 AV가 합리적인 모델을 학습하는 동안 많은 충돌을 포함할 수 있다. 충분한 시뮬레이션 훈련을 마친 후, 시스템은 시뮬레이션에서 캡처할 수 없는 실제 세부 사항을 설명할 모델을 미세 조정하기 위해 실제 시나리오에 대해 훈련받을 수 있다.
차량 생산 후, 시스템은 차량 함대로부터의 데이터 피드백을 사용하여 계속해서 훈련되도록 구성될 수 있으며, 여기서 차량 함대 내의 각 차량은 적응형 감지 방법을 활용하도록 구성될 수 있으며 데이터를 클라우드 저장소로 전송하도록 구성될 수 있다(예를 들어, 4G LTE 사용하여). 예시적인 실시예에 따르면, 시스템은 지역에 기초하여 구별할 수 있어 특정 지역의 모든 차량이 데이터 및 모델 업데이트를 공유하도록 구성될 수 있다.
AV가 본 명세서를 통해 설명되었지만, 예를 들어 운전자가 제어하지만 자율 기능에 의해 보조를 받는 차량과 같은 다른 유형의 차량이 통합될 수 있다는 점에 유의한다.
이제 도 4를 참조하면, 컴퓨팅 장치(400)에 대한 예시적인 아키텍처의 예시가 제공된다. 예시적인 실시예에 따르면, 본 개시의 하나 이상의 기능은, 예를 들어 컴퓨팅 장치(400) 또는 컴퓨팅 장치(400)와 유사한 컴퓨팅 장치와 같은 컴퓨팅 장치에 의해 구현될 수 있다.
도 4의 하드웨어 아키텍처는 본 명세서에 설명된 바와 같이 AV의 하나 이상의 센서에 대한 감지 주파수를 조정하기 위한 하나 이상의 방법 및 수단을 수행하도록 구성된 대표적인 컴퓨팅 장치의 하나의 예시적인 구현을 나타낸다. 이와 같이, 도 4의 컴퓨팅 장치(400)는 본 명세서에 설명된 방법(들)(예를 들어, 도 1의 방법(100))의 적어도 일부를 구현한다.
컴퓨팅 장치(400)의 일부 또는 모든 구성요소는 하드웨어, 소프트웨어 및/또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있다. 하드웨어는 하나 이상의 전자 회로를 포함할 수 있지만 이에 제한되지 않는다. 전자 회로는 수동 부품(예를 들어, 저항기 및 커패시터) 및/또는 능동 부품(예를 들어, 증폭기 및/또는 마이크로프로세서)을 포함할 수 있지만 이에 제한되지 않는다. 수동 및/또는 능동 부품은 여기에 설명된 하나 이상의 방법론, 절차 또는 기능을 수행하도록 적응, 배열 및/또는 프로그래밍될 수 있다.
도 4에 도시된 바와 같이, 컴퓨팅 장치(400)는 사용자 인터페이스(402), 중앙 처리 장치("CPU")(406), 시스템 버스(410), 시스템 버스(410)를 통해 컴퓨팅 장치(400)의 다른 부분에 연결되고 이에 의해 접속 가능한 메모리(412), 및 시스템 버스(410)에 연결된 하드웨어 객체(414)를 포함할 수 있다. 사용자 인터페이스는 컴퓨팅 장치(400)의 동작을 제어하기 위해 사용자-소프트웨어 상호작용을 용이하게 하도록 구성될 수 있는 입력 장치 및 출력 장치를 포함할 수 있다. 입력 장치는 물리적 및/또는 터치 키보드(450)를 포함할 수 있지만 이에 제한되지는 않는다. 입력 장치는 유선 또는 무선 연결(예를 들어 블루투스® 연결)을 통해 컴퓨팅 장치(400)에 연결될 수 있다. 출력 장치는 스피커(452), 디스플레이(454) 및/또는 발광 다이오드(456)를 포함할 수 있지만 이에 제한되지 않는다.
하드웨어 객체(414) 중 적어도 일부는 다른 적절한 메모리 유형 중에서 램(Random Access Memory; RAM), 디스크 드라이버 및/또는 컴팩트 디스크 롬(Compact Disc Read Only Memory; CD-ROM)일 수 있는 메모리(412)에 대한 접속 및 사용과 관련된 동작을 수행하도록 구성될 수 있다. 하드웨어 객체(414)는 여기에 설명된 하나 이상의 방법론, 절차 또는 기능을 구현하도록 구성된 하나 이상의 명령어 세트(420)(예를 들어, 소프트웨어 코드와 같은, 그러나 이에 한정되지 않는 프로그래밍 명령어)가 저장될 수 있는 컴퓨터 판독 가능 저장 매체(418)를 포함하는 디스크 드라이브 유닛(416)을 포함할 수 있다. 명령어(420)는 또한 컴퓨팅 장치(400)에 의해 실행되는 동안 메모리(412) 및/또는 CPU(406) 내에 완전히 또는 적어도 부분적으로 상주할 수 있다.
메모리(412) 및 CPU(406)는 또한 기계 판독 가능 매체를 구성할 수 있다. 여기서 사용되는 "기계 판독 가능 매체"라는 용어는 하나 이상의 명령어 세트(420)를 저장하는 단일 매체 또는 다중 매체(예를 들어, 중앙 집중식 또는 분산 데이터베이스 및/또는 관련 캐시 및 서버)를 지칭한다. 여기서 사용되는 용어 "기계 판독 가능 매체"는 또한 컴퓨팅 장치(400)에 의한 실행을 위해 명령어 세트(420)를 저장, 인코딩 또는 전달할 수 있고 컴퓨팅 장치(400)로 하여금 본 개시의 하나 이상의 방법론을 수행하게 하는 임의의 매체를 지칭한다.
이제 도 5을 참조하면, 본 개시의 예시적인 실시예에 따른 차량(예를 들어, 전술한 AV)에 대한 예시적인 차량 시스템 아키텍처(500)가 제공된다.
도 5에 도시된 바와 같이, 차량 시스템 아키텍처(500)는 엔진, 모터 또는 추진 장치(예를 들어 추진기)(502)와, 차량 시스템 아키텍처(500)의 다양한 매개변수를 측정하기 위한 다양한 센서(504-518)를 포함할 수 있다. 가스 구동식 또는 연료 구동식 엔진을 갖는 하이브리드 차량에서, 센서(504-518)는, 예를 들어 엔진 온도 센서(504), 배터리 전압 센서(506), 엔진 RPM 센서(508), 및/또는 스로틀 위치 센서(510)를 포함할 수 있다. 전기 또는 하이브리드 차량인 경우 차량은 전기 모터를 포함할 수 있고, 그에 따라 배터리 모니터링 시스템(512)(배터리의 전류, 전압 및/또는 온도를 측정하기 위해), 모터 전류(514) 및 전압(516) 센서, 및 리졸버 및 인코더와 같은 모터 위치 센서(518)와 같은 센서를 포함할 수 있다.
두 유형의 차량 모두에 공통적인 작동 매개변수 센서는, 예를 들어 가속도계, 자이로스코프 및/또는 관성 측정 장치와 같은 위치 센서(534); 속도 센서(536); 및/또는 주행 거리계 센서(538)를 포함할 수 있다. 차량 시스템 아키텍처(500)는 또한 시스템이 작동 중의 차량 시간을 결정하는 데 사용하는 시계(542)를 포함할 수 있다. 시계(542)는 차량 온보드 컴퓨팅 장치(520)에 인코딩될 수 있고, 별도의 장치일 수 있거나 다수의 시계가 이용 가능할 수 있다.
차량 시스템 아키텍처(500)는 또한 차량이 주행하는 환경에 관한 정보를 수집하도록 작동하는 다양한 센서를 포함할 수 있다. 이러한 센서는, 예를 들어 위치 센서(544)(예를 들어, GPS 장치); 하나 이상의 카메라(546)와 같은 객체 감지 센서; 라이다 센서 시스템(548); 및/또는 레이다 및/또는 소나 시스템(550)을 포함할 수 있다. 센서는 또한 예를 들어 습도 센서, 강수량 센서 및/또는 외기 온도 센서와 같은 환경 센서(552)를 포함할 수 있다. 객체 감지 센서는 차량 시스템 아키텍처(500)가 임의의 방향에서 차량의 주어진 거리 범위 내에 있는 객체를 감지할 수 있도록 구성될 수 있는 반면, 환경 센서(552)는 차량 이동 영역 내의 환경 조건에 대한 데이터를 수집하도록 구성될 수 있다.
작동 중에, 정보는 센서로부터 온보드 컴퓨팅 장치(520)(예를 들어, 도 4의 컴퓨팅 장치(400))로 통신될 수 있다. 온보드 컴퓨팅 장치(520)는 센서에 의해 캡처된 데이터 및/또는 데이터 제공자로부터 수신된 데이터를 분석하도록 구성될 수 있으며, 분석 결과에 기초하여 선택적으로 차량 시스템 아키텍처(500)의 동작을 제어하도록 구성될 수 있다. 예를 들어, 온보드 컴퓨팅 장치(520)는 브레이크 제어기(522)를 통한 제동; 스티어링 제어기(524)를 통한 방향; 스로틀 제어기(526)(가스 구동 차량의 경우) 또는 모터 속도 제어기(528)(예를 들어, 전기 자동차의 전류 레벨 제어기)를 통한 속도 및 가속도; 차동 기어 제어기(530)(변속기가 있는 차량의 경우); 및/또는 다른 제어기를 제어하도록 구성될 수 있다.
지리적 위치 정보는 위치 센서(544)에서 온보드 컴퓨팅 장치(520)로 전달될 수 있으며, 이는 이후 거리, 건물, 정지 신호 및/또는 정지/진행 신호와 같은 환경의 알려진 고정된 특징을 결정하기 위해 위치 정보에 대응하는 환경의 지도에 접속할 수 있다. 카메라(546)로부터 캡쳐된 이미지 및/또는 라이다(548)와 같은 센서로부터 캡쳐된 객체 검출 정보는 이들 센서로부터 온보드 컴퓨팅 장치(520)로 전달될 수 있다. 객체 감지 정보 및/또는 캡쳐된 이미지는 온보드 컴퓨팅 장치(520)에 의해 처리되어 차량에 근접한 객체를 감지할 수 있다. 센서 데이터 및/또는 캡쳐된 이미지를 기반으로 객체 감지를 수행하기 위한 임의의 알려졌거나 알려질 기술이 본 문서에 개시된 실시예에서 사용될 수 있다.
이상의 설명은 본 개시의 기술적 사상을 설명하기 위한 예시에 불과하며, 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 개시의 본질적인 기능을 벗어나지 않는 범위 내에서 다양한 수정 및 변경이 가능하다.
비록 본 개시는 예시적인 실시예와 첨부된 도면을 참조하여 설명되나, 본 개시는 이에 한정되지 않고 하기 청구범위에서 청구한 본 개시의 사상 및 범위를 벗어나지 않는 범위 내에서 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 다양하게 수정 및 변경될 수 있다.
따라서, 본 개시에 개시된 실시예들은 본 개시의 기술 사상을 한정하기 위한 것이 아니라, 본 개시를 설명하기 위한 것이며, 본 개시의 기술 사상의 범위가 이들 실시예에 의해 한정되는 것은 아니다. 본 개시의 보호 범위는 첨부된 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 개시의 보호 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (20)

  1. 자율 차량(AV)의 하나 이상의 센서에 대한 감지 주파수를 조정하는 방법에 있어서,
    AV의 현재 환경의 하나 이상의 환경 요인을 결정하는 단계;
    신경망을 사용하여, 하나 이상의 환경 요인에 기초하여 AV의 주행 성능 및 에너지 소비를 조정하기 위한 하나 이상의 동작을 결정하는 단계;
    AV의 컴퓨팅 장치를 사용하여 하나 이상의 동작을 수행하는 단계;
    를 포함하고,
    하나 이상의 동작은 AV에 결합된 하나 이상의 센서의 감지 주파수를 조정하는 것을 포함하며,
    상기 컴퓨팅 장치는 프로세서 및 메모리를 포함하는 방법.
  2. 제1항에 있어서,
    하나 이상의 환경 요인을 결정하는 단계는 AV에 결합된 하나 이상의 센서로부터 센서 데이터를 수신하는 단계를 포함하는 방법.
  3. 제2항에 있어서,
    하나 이상의 센서는
    라이다(LiDAR) 시스템;
    레이더 시스템;
    카메라;
    강수량 센서;
    광 센서; 그리고
    위치 센서;
    중 하나 이상을 포함하는 방법.
  4. 제1항에 있어서,
    하나 이상의 동작을 결정하는 단계는 현재 환경의 위험 수준을 결정하는 단계를 포함하고,
    하나 이상의 동작은 현재 환경의 위험 수준을 기반으로 하는 방법.
  5. 제1항에 있어서,
    하나 이상의 동작은 하나 이상의 센서 중 하나 이상에 대한 전력 모드를 조정하는 것을 포함하는 방법.
  6. 제1항에 있어서,
    상기 하나 이상의 동작을 수행한 후, AV의 주행 성능 및 에너지 소비를 평가하는 단계를 더 포함하는 방법.
  7. 제1항에 있어서,
    하나 이상의 환경 요인은
    AV 환경 내 하나 이상의 객체의 위치 또는 속도 데이터;
    레이더 데이터;
    라이다 데이터;
    카메라 데이터;
    강수량 센서 데이터;
    광 센서 데이터;
    위치 센서 데이터;
    태양 고도각;
    날짜 정보;
    AV의 하나 이상의 치수; 그리고
    AV의 차량 중량;
    중 하나 이상을 포함하는 방법.
  8. 자율 차량(AV)의 하나 이상의 센서에 대한 감지 주파수를 조정하는 시스템에 있어서,
    자율 차량을 포함하고,
    상기 자율 차량은
    하나 이상의 센서; 그리고
    프로세서 및 메모리를 포함하는 컴퓨팅 장치;
    를 포함하며,
    상기 컴퓨팅 장치는
    AV의 현재 환경의 하나 이상의 환경 요인을 결정하고;
    신경망을 사용하여, 하나 이상의 환경 요인에 기초하여 AV의 주행 성능 및 에너지 소비를 조정하기 위한 하나 이상의 동작을 결정하며;
    하나 이상의 동작을 수행하도록 구성되고,
    하나 이상의 동작은 하나 이상의 센서의 감지 주파수를 조정하는 것을 포함하는 시스템.
  9. 제8항에 있어서,
    하나 이상의 센서는 데이터를 전송하도록 구성되고,
    하나 이상의 환경 요인을 결정하는 것은 하나 이상의 센서로부터 센서 데이터를 수신하는 것을 포함하는 시스템.
  10. 제9항에 있어서,
    하나 이상의 센서는
    라이다(LiDAR) 시스템;
    레이더 시스템;
    카메라;
    강수량 센서;
    광 센서; 그리고
    위치 센서;
    중 하나 이상을 포함하는 시스템.
  11. 제8항에 있어서,
    하나 이상의 동작을 결정하는 것은 현재 환경의 위험 수준을 결정하는 것을 포함하고,
    하나 이상의 동작은 현재 환경의 위험 수준을 기반으로 하는 시스템.
  12. 제8항에 있어서,
    하나 이상의 동작은 하나 이상의 센서 중 하나 이상에 대한 전력 모드를 조정하는 것을 포함하는 시스템.
  13. 제8항에 있어서,
    상기 컴퓨팅 장치는 하나 이상의 동작을 수행한 후 AV의 주행 성능과 에너지 소비를 평가하도록 더 구성된 시스템.
  14. 제8항에 있어서,
    하나 이상의 환경 요인은
    AV 환경 내 하나 이상의 객체의 위치 또는 속도 데이터;
    레이더 데이터;
    라이다 데이터;
    카메라 데이터;
    강수량 센서 데이터;
    광 센서 데이터;
    위치 센서 데이터;
    태양 고도각;
    날짜 정보;
    AV의 하나 이상의 치수; 그리고
    AV의 차량 중량;
    중 하나 이상을 포함하는 시스템.
  15. 자율 차량(AV)의 하나 이상의 센서에 대한 감지 주파수를 조정하는 시스템에 있어서,
    AV에 결합된 하나 이상의 센서; 그리고
    프로세서 및 메모리를 포함하고, AV에 결합되는 컴퓨팅 장치;
    를 포함하고,
    상기 컴퓨팅 장치는 프로세서에 의해 실행될 때 프로세서로 하여금
    AV의 현재 환경의 하나 이상의 환경 요인을 결정하고;
    신경망을 사용하여, 하나 이상의 환경 요인에 기초하여 AV의 주행 성능 및 에너지 소비를 조정하기 위한 하나 이상의 동작을 결정하며;
    하나 이상의 동작을 수행하도록 하는 프로그래밍 명령을 저장하도록 구성되고,
    하나 이상의 동작은 하나 이상의 센서의 감지 주파수를 조정하는 것을 포함하는 시스템.
  16. 제15항에 있어서,
    하나 이상의 센서는 데이터를 전송하도록 구성되고,
    하나 이상의 환경 요인을 결정하는 것은 하나 이상의 센서로부터 센서 데이터를 수신하는 것을 포함하는 시스템.
  17. 제16항에 있어서,
    하나 이상의 센서는
    라이다(LiDAR) 시스템;
    레이더 시스템;
    카메라;
    강수량 센서;
    광 센서; 그리고
    위치 센서;
    중 하나 이상을 포함하는 시스템.
  18. 제15항에 있어서,
    하나 이상의 동작을 결정하는 것은 현재 환경의 위험 수준을 결정하는 것을 포함하고,
    하나 이상의 동작은 현재 환경의 위험 수준을 기반으로 하는 시스템.
  19. 제15항에 있어서,
    하나 이상의 동작은 하나 이상의 센서 중 하나 이상에 대한 전력 모드를 조정하는 것을 포함하는 시스템.
  20. 제15항에 있어서,
    상기 프로그래밍 명령은 프로세서로 하여금 하나 이상의 동작을 수행한 후 AV의 주행 성능과 에너지 소비를 평가하게 하도록 더 구성된 시스템.
KR1020230189675A 2022-12-22 2023-12-22 자율 차량의 하나 이상의 센서에 대한 감지 주파수를 조정하는 방법 및 시스템 KR20240100307A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US18/086,924 2022-12-22
US18/086,924 US20240208519A1 (en) 2022-12-22 2022-12-22 Autonomous vehicle energy efficiency using deep learning adaptive sensing

Publications (1)

Publication Number Publication Date
KR20240100307A true KR20240100307A (ko) 2024-07-01

Family

ID=91584888

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020230189675A KR20240100307A (ko) 2022-12-22 2023-12-22 자율 차량의 하나 이상의 센서에 대한 감지 주파수를 조정하는 방법 및 시스템

Country Status (2)

Country Link
US (1) US20240208519A1 (ko)
KR (1) KR20240100307A (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021189386A1 (zh) * 2020-03-26 2021-09-30 华为技术有限公司 一种驾驶控制方法及装置

Also Published As

Publication number Publication date
US20240208519A1 (en) 2024-06-27

Similar Documents

Publication Publication Date Title
US11403492B2 (en) Generating labeled training instances for autonomous vehicles
US11209821B2 (en) Labeling autonomous vehicle data
US11774966B2 (en) Generating testing instances for autonomous vehicles
US9062979B1 (en) Pose estimation using long range features
US11256263B2 (en) Generating targeted training instances for autonomous vehicles
CN105009175A (zh) 基于传感器盲点和局限性来修改自主车辆的行为
KR20240100307A (ko) 자율 차량의 하나 이상의 센서에 대한 감지 주파수를 조정하는 방법 및 시스템
CN111459155A (zh) 用于自主驾驶应用的动态确定车辆有效传感器覆盖的方法
CN111971635A (zh) 移动体、信息处理装置、信息处理方法和程序
US11200679B1 (en) System and method for generating a probability distribution of a location of an object
US20230415736A1 (en) Systems and methods for controlling longitudinal acceleration based on lateral objects
US11531113B1 (en) System and methods for object detection and tracking using a lidar observation model
US20230415739A1 (en) Systems and methods for controlling longitudinal acceleration based on lateral objects
CN115220449A (zh) 路径规划的方法、装置、存储介质、芯片及车辆
WO2023283511A2 (en) Systems and methods for particle filter tracking
WO2022051263A1 (en) Localization methods and architectures for an autonomous vehicle
US11919546B2 (en) Systems and methods for estimating cuboids from LiDAR, map and image data
US11557129B2 (en) Systems and methods for producing amodal cuboids
CN115205848A (zh) 目标检测方法、装置、车辆、存储介质及芯片
US11859994B1 (en) Landmark-based localization methods and architectures for an autonomous vehicle
US20230168363A1 (en) Method to detect radar installation error for pitch angle on autonomous vehicles
US20230237793A1 (en) False track mitigation in object detection systems
US12043289B2 (en) Persisting predicted objects for robustness to perception issues in autonomous driving
EP4181089A1 (en) Systems and methods for estimating cuboid headings based on heading estimations generated using different cuboid defining techniques
US20240230366A1 (en) Handling Unmapped Speed Limit Signs