KR102597967B1 - 음향 방출 기반 디바이스 제어 - Google Patents

음향 방출 기반 디바이스 제어 Download PDF

Info

Publication number
KR102597967B1
KR102597967B1 KR1020220027533A KR20220027533A KR102597967B1 KR 102597967 B1 KR102597967 B1 KR 102597967B1 KR 1020220027533 A KR1020220027533 A KR 1020220027533A KR 20220027533 A KR20220027533 A KR 20220027533A KR 102597967 B1 KR102597967 B1 KR 102597967B1
Authority
KR
South Korea
Prior art keywords
acoustic emission
emission sensor
sensor information
vehicle
timestamp
Prior art date
Application number
KR1020220027533A
Other languages
English (en)
Other versions
KR20230096791A (ko
Inventor
아쉰 아룬모지
Original Assignee
모셔널 에이디 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 모셔널 에이디 엘엘씨 filed Critical 모셔널 에이디 엘엘씨
Publication of KR20230096791A publication Critical patent/KR20230096791A/ko
Application granted granted Critical
Publication of KR102597967B1 publication Critical patent/KR102597967B1/ko

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0859—Other types of detection of rain, e.g. by measuring friction or rain drop impact
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B60S1/0862—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means including additional sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H17/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/0491—Additional elements being fixed on wipers or parts of wipers not otherwise provided for, e.g. covers, antennae or lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0803—Intermittent control circuits
    • B60S1/0807—Intermittent control circuits using electronic control means, e.g. tubes, semiconductors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/08—Wipers or the like, e.g. scrapers characterised by the drive electrically driven
    • B60S1/0818—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B60S1/0822—Wipers or the like, e.g. scrapers characterised by the drive electrically driven including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like characterized by the arrangement or type of detection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/06—Wipers or the like, e.g. scrapers characterised by the drive
    • B60S1/16—Means for transmitting drive
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/46—Cleaning windscreens, windows or optical devices using liquid; Windscreen washers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/46—Cleaning windscreens, windows or optical devices using liquid; Windscreen washers
    • B60S1/48—Liquid supply therefor
    • B60S1/481—Liquid supply therefor the operation of at least part of the liquid supply being controlled by electric means
    • B60S1/485—Liquid supply therefor the operation of at least part of the liquid supply being controlled by electric means including control systems responsive to external conditions, e.g. by detection of moisture, dirt or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/56—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens
    • B60S1/566—Cleaning windscreens, windows or optical devices specially adapted for cleaning other parts or devices than front windows or windscreens including wiping devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0018—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions
    • B60W60/00182—Planning or execution of driving tasks specially adapted for safety by employing degraded modes, e.g. reducing speed, in response to suboptimal conditions in response to weather conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H9/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N29/00—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object
    • G01N29/14—Investigating or analysing materials by the use of ultrasonic, sonic or infrasonic waves; Visualisation of the interior of objects by transmitting ultrasonic or sonic waves through the object using acoustic emission techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/46—Indirect determination of position data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/002—Devices for damping, suppressing, obstructing or conducting sound in acoustic devices
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/18—Methods or devices for transmitting, conducting or directing sound
    • G10K11/24—Methods or devices for transmitting, conducting or directing sound for conducting sound through solid bodies, e.g. wires
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S1/00—Cleaning of vehicles
    • B60S1/02—Cleaning windscreens, windows or optical devices
    • B60S1/04—Wipers or the like, e.g. scrapers
    • B60S1/32—Wipers or the like, e.g. scrapers characterised by constructional features of wiper blade arms or blades
    • B60S1/38—Wiper blades
    • B60S2001/3844—Wiper blades equipped with means to indicate wear or usage of blade
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Water Supply & Treatment (AREA)
  • Traffic Control Systems (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

음향 방출 기반 디바이스 제어를 위한 방법들이 제공된다. 설명된 일부 방법들은 또한 제1 음향 방출 센서, 제2 음향 방출 센서, 및 제3 음향 방출 센서와 연관된 정보를 수신하는 단계를 포함한다. 실시예들에서, 정보는 이벤트에 대응한다. 제1 음향 방출 센서 정보, 제2 음향 방출 센서 정보, 및 제3 음향 방출 센서 정보, 제1 타임스탬프, 제2 타임스탬프, 및 제3 타임스탬프, 및 표면의 기하구조에 따라, 각 음향 방출 센서로부터 이벤트의 발생 방향으로의 단위 벡터가 계산된다. 단위 벡터들에 기초하여 파라미터들이 계산된다. 시스템들 및 컴퓨터 프로그램 제품들이 또한 제공된다.

Description

음향 방출 기반 디바이스 제어{ACOUSTIC EMISSION BASED DEVICE CONTROL}
자율 주행 차량(autonomous vehicle)과 같은 차량은 다양한 환경 조건들에서 작동된다. 환경 조건들은 일반적으로 환경의 상태를 지칭한다. 환경 조건들은 일반적으로 온도, 바람, 강수, 잔해 등을 기술한다. 환경 조건들은 차량의 센서 들및 디바이스들을 더럽히거나 달리 열화시킬 수 있다.
도 1은 자율 주행 시스템(autonomous system)의 하나 이상의 컴포넌트를 포함하는 차량이 구현될 수 있는 예시적인 환경이다.
도 2는 자율 주행 시스템을 포함하는 차량의 하나 이상의 시스템의 다이어그램이다.
도 3은 도 1 및 도 2의 하나 이상의 디바이스 및/또는 하나 이상의 시스템의 컴포넌트들의 다이어그램이다.
도 4는 자율 주행 시스템의 특정 컴포넌트들의 다이어그램이다.
도 5는 음향 방출(acoustic emission) 기반 디바이스 제어를 위한 프로세스의 구현의 다이어그램들이다.
도 6은 다수의 센서들을 갖는 와이퍼 날 어셈블리의 예시이다.
도 7은 위치를 찾기 위해 다수의 소스들을 이용하는 음향 삼각측량의 예이다.
도 8은 음향 방출 기반 와이퍼 날 어셈블리 제어의 프로세스 흐름도이다.
도 9는 다수의 센서들을 갖는 LiDAR 어셈블리의 예시이다.
도 10은 음향 방출 기반 디바이스 제어를 위한 프로세스의 블록 다이어그램이다.
이하의 설명에서는, 설명 목적으로 본 개시에 대한 완전한 이해를 제공하기 위해 다수의 특정 세부 사항들이 제시된다. 그렇지만, 본 개시에 의해 기술되는 실시예들이 이러한 특정 세부 사항들이 없더라도 실시될 수 있음이 명백할 것이다. 일부 경우에, 본 개시의 양태들을 불필요하게 모호하게 하는 것을 피하기 위해 잘 알려진 구조들 및 디바이스들은 블록 다이어그램 형태로 예시되어 있다.
시스템들, 디바이스들, 모듈들, 명령어 블록들, 데이터 요소들 등을 나타내는 것들과 같은, 개략적인 요소들의 특정 배열들 또는 순서들이 설명의 편의를 위해 도면들에 예시되어 있다. 그렇지만, 본 기술 분야의 통상의 기술자라면 도면들에서의 개략적인 요소들의 특정 순서 또는 배열이, 그러한 것으로 명시적으로 기술되지 않는 한, 프로세스들의 특정 프로세싱 순서 또는 시퀀스, 또는 프로세스들의 분리가 필요하다는 것을 암시하는 것으로 의미되지 않음을 이해할 것이다. 게다가, 도면에 개략적인 요소를 포함시키는 것은, 그러한 것으로 명시적으로 기술되지 않는 한 일부 실시예들에서, 그러한 요소가 모든 실시예들에서 필요하다는 것 또는 그러한 요소에 의해 표현되는 특징들이 다른 요소들에 포함되지 않을 수 있거나 다른 요소들과 결합되지 않을 수 있다는 것을 암시하는 것으로 의미되지 않는다.
게다가, 2 개 이상의 다른 개략적인 요소 사이의 연결, 관계 또는 연관을 예시하기 위해 실선 또는 파선 또는 화살표와 같은 연결 요소들이 도면들에서 사용되는 경우에, 임의의 그러한 연결 요소들의 부재는 연결, 관계 또는 연관이 존재할 수 없음을 암시하는 것으로 의미되지 않는다. 환언하면, 본 개시를 모호하게 하지 않기 위해 요소들 사이의 일부 연결들, 관계들 또는 연관들이 도면들에 예시되어 있지 않다. 추가적으로, 예시의 편의를 위해, 요소들 사이의 다수의 연결들, 관계들 또는 연관들을 나타내기 위해 단일의 연결 요소가 사용될 수 있다. 예를 들어, 연결 요소가 신호들, 데이터 또는 명령어들(예를 들면, "소프트웨어 명령어들")의 통신을 나타내는 경우에, 본 기술 분야의 통상의 기술자라면 그러한 요소가, 통신을 수행하기 위해 필요하게 될 수 있는, 하나 또는 다수의 신호 경로(예를 들면, 버스)를 나타낼 수 있다는 것을 이해할 것이다.
제1, 제2, 제3 등의 용어들이 다양한 컴포넌트들을 기술하는 데 사용되지만, 이러한 요소들이 이러한 용어들에 의해 제한되어서는 안된다. 제1, 제2, 제3 등의 용어들은 하나의 요소를 다른 요소와 구별하는 데만 사용된다. 예를 들어, 기술된 실시예들의 범위를 벗어나지 않으면서, 제1 접촉은 제2 접촉이라고 지칭될 수 있고, 유사하게 제2 접촉은 제1 접촉이라고 지칭될 수 있다. 제1 접촉과 제2 접촉은 둘 모두 접촉이지만, 동일한 접촉은 아니다.
본원에서의 다양한 기술된 실시예들에 대한 설명에서 사용되는 전문용어는 특정 실시예들을 기술하기 위해서만 포함되어 있으며, 제한하는 것으로 의도되지 않는다. 다양한 기술된 실시예들에 대한 설명 및 첨부된 청구항들에서 사용되는 바와 같이, 단수 형태들("a", "an" 및 "the")은 복수 형태들도 포함하는 것으로 의도되고, 문맥이 달리 명확히 나타내지 않는 한, "하나 이상" 또는 "적어도 하나"와 상호 교환 가능하게 사용될 수 있다. "및/또는"이라는 용어가, 본원에서 사용되는 바와 같이, 연관된 열거된 항목들 중 하나 이상의 항목의 임의의 및 모든 가능한 조합들을 지칭하고 포괄한다는 것이 또한 이해될 것이다. "포함한다(includes)", 포함하는(including), 포함한다(comprises)" 및/또는 "포함하는(comprising)"이라는 용어들이, 본 설명에서 사용될 때, 언급된 특징들, 정수들, 단계들, 동작들, 요소들, 및/또는 컴포넌트들의 존재를 명시하지만, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트, 및/또는 이들의 그룹들의 존재 또는 추가를 배제하지 않는다는 것이 추가로 이해될 것이다.
본원에서 사용되는 바와 같이, "통신" 및 "통신하다"라는 용어들은 정보(또는, 예를 들어, 데이터, 신호들, 메시지들, 명령어들, 커맨드들 등에 의해 표현되는 정보)의 수신, 접수, 송신, 전달, 제공 등 중 적어도 하나를 지칭한다. 하나의 유닛(예를 들면, 디바이스, 시스템, 디바이스 또는 시스템의 컴포넌트, 이들의 조합들 등)이 다른 유닛과 통신한다는 것은 하나의 유닛이 직접 또는 간접적으로 다른 유닛으로부터 정보를 수신하고/하거나 다른 유닛으로 정보를 전송(예를 들면, 송신)할 수 있음을 의미한다. 이것은 본질적으로 유선 및/또는 무선인 직접 또는 간접 연결을 지칭할 수 있다. 추가적으로, 송신되는 정보가 제1 유닛과 제2 유닛 사이에서 수정, 프로세싱, 중계 및/또는 라우팅될 수 있을지라도 2 개의 유닛은 서로 통신하고 있을 수 있다. 예를 들어, 제1 유닛이 정보를 수동적으로 수신하고 정보를 제2 유닛으로 능동적으로 송신하지 않을지라도 제1 유닛은 제2 유닛과 통신하고 있을 수 있다. 다른 예로서, 적어도 하나의 중간 유닛(예를 들면, 제1 유닛과 제2 유닛 사이에 위치하는 제3 유닛)이 제1 유닛으로부터 수신되는 정보를 프로세싱하고 프로세싱된 정보를 제2 유닛으로 송신하는 경우 제1 유닛은 제2 유닛과 통신하고 있을 수 있다. 일부 실시예들에서, 메시지는 데이터를 포함하는 네트워크 패킷(예를 들면, 데이터 패킷 등)을 지칭할 수 있다.
본원에서 사용되는 바와 같이, "~ 경우"라는 용어는, 선택적으로, 문맥에 따라 "~할 때", 또는 "~시에" 또는 "~라고 결정하는 것에 응답하여", "~을 검출하는 것에 응답하여" 등을 의미하는 것으로 해석된다. 유사하게, 문구 "~라고 결정되는 경우" 또는 "[언급된 조건 또는 이벤트]가 검출되는 경우"는, 선택적으로, 문맥에 따라, "~라고 결정할 시에", "~라고 결정하는 것에 응답하여", "[언급된 조건 또는 이벤트]를 검출할 시에", "[언급된 조건 또는 이벤트]를 검출하는 것에 응답하여" 등을 의미하는 것으로 해석된다. 또한, 본원에서 사용되는 바와 같이, "갖는다"(has, have), "갖는(having)" 등의 용어들은 개방형(open-ended) 용어들인 것으로 의도된다. 게다가, 문구 "~에 기초하여"는, 달리 명시적으로 언급되지 않는 한, "~에 적어도 부분적으로 기초하여"를 의미하는 것으로 의도된다.
그 예가 첨부 도면들에 예시되어 있는 실시예들에 대해 이제 상세하게 언급될 것이다. 이하의 상세한 설명에서, 다양한 기술된 실시예들에 대한 완전한 이해를 제공하기 위해 수많은 특정 세부 사항들이 기재된다. 그렇지만, 다양한 기술된 실시예들이 이러한 특정 세부 사항들이 없더라도 실시될 수 있다는 것이 본 기술 분야의 통상의 기술자에게 명백할 것이다. 다른 경우에, 실시예들의 양태들을 불필요하게 모호하게 하지 않기 위해 잘 알려진 방법들, 절차들, 컴포넌트들, 회로들, 및 네트워크들은 상세하게 기술되지 않았다.
일반적 개관
일부 양태들 및/또는 실시예들에서, 본원에서 설명되는 시스템들, 방법들 및 컴퓨터 프로그램 제품들은 음향 방출 기반 디바이스 제어를 포함하고/하거나 구현한다. (자율 주행 차량과 같은) 차량은 차량의 상이한 위치들에 장착된 다수의 센서들을 가질 수 있다. 센서들은 와이퍼 날 어셈블리의 아암과 같은 적어도 하나의 디바이스의 구조물 내에 장착된다. 실시예들에서, 와이퍼 날 어셈블리는 윈드실드(windshield)(예를 들면, 전방 및 후방 윈드실드), 옆 유리창(예를 들면, 운전자 및 탑승자 유리창), 센서 하우징(예를 들면, LiDAR, 카메라, 및 레이더 렌즈/커버), 라이트 하우징 또는 커버 등과 연관된다. 입자들이 차량의 표면과 충돌하는 환경 조건들 동안, 적어도 하나의 디바이스 상에 장착된 센서들은 표면 - 와이퍼 날 어셈블리가 표면에 인접하거나 표면과 물리적으로 접촉해 있음 - 과의 입자 충돌로부터 음향 방출(예를 들면, 진동)을 검출할 수 있다. 센서들에 의해 캡처된 음향 방출은 음향 방출을 환경 조건과 연관된 파라미터들에 맵핑하기 위해 사용된다. 디바이스 어셈블리의 활성화(예를 들면, 세척 디바이스로 표면을 세척하는 것; 표면을 세척하기 위해 사용되는 와이퍼 날의 작동) 시에, 음향 방출은 또한 디바이스, 날을 포함하는 디바이스 어셈블리의 열화, 또는 어셈블리에 의해 세척되는 표면의 오염을 검출하기 위해 사용될 수 있다. 열화 또는 오염물의 검출에 응답하여, 다른 세척 방법들이 사용될 수 있다.
본원에서 설명되는 시스템들, 방법들, 및 컴퓨터 프로그램 제품들의 구현에 의해, 음향 방출 기반 디바이스 제어를 위한 기법들이 개시된다. 이러한 기법들의 이점들 중 일부는 환경 조건 파라미터들(예를 들면, 강우량)의 정확한 검출을 포함한다. 더욱이, 환경 조건 파라미터들은 매우 미세한(예를 들면, 차량별) 수준으로 계산되어, 환경 파라미터들에 기초하는 차량 기능의 더 정확한 동작을 가능하게 한다. 추가적으로, 본 기법들은 광학 표면들 및 광학 박막들, 예를 들면, AR 코팅들을 연마적으로 손상시키지 않는 와이퍼 기반 세척 방법들을 가능하게 한다. 예들에서, 연마 손상이 발생할 수 있는 때의 결정이 이루어지고, AV(예를 들면, AV의 컴포넌트들)의 동작은 연마 손상을 회피한다.
이제 도 1을 참조하면, 자율 주행 시스템들을 포함하는 차량들은 물론 그렇지 않은 차량들이 작동되는 예시적인 환경(100)이 예시되어 있다. 예시된 바와 같이, 환경(100)은 차량들(102a 내지 102n), 대상체들(104a 내지 104n), 루트들(106a 내지 106n), 영역(108), 차량 대 인프라스트럭처(vehicle-to-infrastructure, V2I) 디바이스(110), 네트워크(112), 원격 자율 주행 차량(AV) 시스템(114), 플릿 관리 시스템(fleet management system)(116), 및 V2I 시스템(118)을 포함한다. 차량들(102a 내지 102n), 차량 대 인프라스트럭처(V2I) 디바이스(110), 네트워크(112), 자율 주행 차량(AV) 시스템(114), 플릿 관리 시스템(116), 및 V2I 시스템(118)은 유선 연결들, 무선 연결들, 또는 유선 또는 무선 연결들의 조합을 통해 상호연결한다(예를 들면, 통신 등을 위해 연결을 확립한다). 일부 실시예들에서, 대상체들(104a 내지 104n)은 유선 연결들, 무선 연결들 또는 유선 또는 무선 연결들의 조합을 통해 차량들(102a 내지 102n), 차량 대 인프라스트럭처(V2I) 디바이스(110), 네트워크(112), 자율 주행 차량(AV) 시스템(114), 플릿 관리 시스템(116), 및 V2I 시스템(118) 중 적어도 하나와 상호연결한다.
차량들(102a 내지 102n)(개별적으로 차량(102)이라고 지칭되고 집합적으로 차량들(102)이라고 지칭됨)은 상품 및/또는 사람을 운송하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 실시예들에서, 차량들(102)은 네트워크(112)를 통해 V2I 디바이스(110), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된다. 일부 실시예들에서, 차량들(102)은 자동차들, 버스들, 트럭들, 기차들 등을 포함한다. 일부 실시예들에서, 차량들(102)은 본원에 기술된 차량들(200)(도 2 참조)과 동일하거나 유사하다. 일부 실시예들에서, 일단의 차량들(200) 중의 차량(200)은 자율 주행 플릿 관리자와 연관된다. 일부 실시예들에서, 차량들(102)은, 본원에 기술된 바와 같이, 각자의 루트들(106a 내지 106n)(개별적으로 루트(106)라고 지칭되고 집합적으로 루트들(106)이라고 지칭됨)을 따라 주행한다. 일부 실시예들에서, 하나 이상의 차량(102)은 자율 주행 시스템(예를 들면, 자율 주행 시스템(202)과 동일하거나 유사한 자율 주행 시스템)을 포함한다.
대상체들(104a 내지 104n)(개별적으로 대상체(104)라고 지칭되고 집합적으로 대상체들(104)이라고 지칭됨)은, 예를 들어, 적어도 하나의 차량, 적어도 하나의 보행자, 적어도 하나의 자전거 타는 사람, 적어도 하나의 구조물(예를 들면, 건물, 표지판, 소화전(fire hydrant) 등) 등을 포함한다. 각각의 대상체(104)는 정지해(예를 들면, 일정 시구간 동안 고정 위치에 위치함) 있거나 움직이고(예를 들면, 속도를 가지며 적어도 하나의 궤적과 연관되어 있음) 있다. 일부 실시예들에서, 대상체들(104)은 영역(108) 내의 대응하는 위치들과 연관되어 있다.
루트들(106a 내지 106n)(개별적으로 루트(106)라고 지칭되고 집합적으로 루트들(106)이라고 지칭됨)은 각각 AV가 운행할 수 있는 상태들을 연결하는 행동들의 시퀀스(궤적이라고도 함)와 연관된다(예를 들면, 이를 규정한다). 각각의 루트(106)는 초기 상태(예를 들면, 제1 시공간적 위치, 속도 등에 대응하는 상태) 및 최종 목표 상태(예를 들면, 제1 시공간적 위치와 상이한 제2 시공간적 위치에 대응하는 상태) 또는 목표 영역(예를 들면, 허용 가능한 상태들(예를 들면, 종료 상태들(terminal states))의 부분 공간(subspace))에서 시작된다. 일부 실시예들에서, 제1 상태는 개인 또는 개인들이 AV에 의해 픽업(pick-up)되어야 하는 위치를 포함하고 제2 상태 또는 영역은 AV에 의해 픽업된 개인 또는 개인들이 하차(drop-off)해야 하는 위치 또는 위치들을 포함한다. 일부 실시예들에서, 루트들(106)은 복수의 허용 가능한 상태 시퀀스들(예를 들면, 복수의 시공간적 위치 시퀀스들)을 포함하며, 복수의 상태 시퀀스들은 복수의 궤적들과 연관된다(예를 들면, 이를 정의한다). 일 예에서, 루트들(106)은, 도로 교차로들에서의 회전 방향들을 지시하는 일련의 연결된 도로들과 같은, 상위 레벨 행동들 또는 부정확한 상태 위치들만을 포함한다. 추가적으로 또는 대안적으로, 루트들(106)은, 예를 들어, 특정 목표 차선들 또는 차선 영역들 내에서의 정확한 위치들 및 해당 위치들에서의 목표 속력과 같은, 보다 정확한 행동들 또는 상태들을 포함할 수 있다. 일 예에서, 루트들(106)은 중간 목표들에 도달하기 위해 제한된 룩어헤드 구간(lookahead horizon)을 갖는 적어도 하나의 상위 레벨 행동 시퀀스를 따른 복수의 정확한 상태 시퀀스들을 포함하며, 여기서 제한된 구간 상태 시퀀스들의 연속적인 반복들의 조합은 누적되어 복수의 궤적들에 대응하며 이 복수의 궤적들은 집합적으로 최종 목표 상태 또는 영역에서 종료하는 상위 레벨 루트를 형성한다.
영역(108)은 차량들(102)이 운행할 수 있는 물리적 영역(예를 들면, 지리적 영역)을 포함한다. 일 예에서, 영역(108)은 적어도 하나의 주(state)(예를 들면, 국가, 지방, 국가에 포함된 복수의 주들의 개개의 주 등), 주의 적어도 하나의 부분, 적어도 하나의 도시, 도시의 적어도 하나의 부분 등을 포함한다. 일부 실시예들에서, 영역(108)은 간선 도로(highway), 주간 간선 도로(interstate highway), 공원 도로, 도시 거리 등과 같은 적어도 하나의 명명된 주요 도로(thoroughfare)(본원에서 "도로"라고 지칭됨)를 포함한다. 추가적으로 또는 대안적으로, 일부 예들에서, 영역(108)은 진입로(driveway), 주차장의 섹션, 공터 및/또는 미개발 부지의 섹션, 비포장 경로 등과 같은 적어도 하나의 명명되지 않은 도로를 포함한다. 일부 실시예들에서, 도로는 적어도 하나의 차선(예를 들면, 차량(102)에 의해 횡단될 수 있는 도로의 일 부분)을 포함한다. 일 예에서, 도로는 적어도 하나의 차선 마킹과 연관된(예를 들면, 이에 기초하여 식별되는) 적어도 하나의 차선을 포함한다.
차량 대 인프라스트럭처(V2I) 디바이스(110)(때때로 차량 대 인프라스트럭처(V2X) 디바이스라고 지칭됨)는 차량들(102) 및/또는 V2I 인프라스트럭처 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 실시예들에서, V2I 디바이스(110)는 네트워크(112)를 통해 차량들(102), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된다. 일부 실시예들에서, V2I 디바이스(110)는 RFID(radio frequency identification) 디바이스, 사이니지(signage), 카메라(예를 들면, 2차원(2D) 및/또는 3차원(3D) 카메라), 차선 마커, 가로등, 주차 미터기 등을 포함한다. 일부 실시예들에서, V2I 디바이스(110)는 차량들(102)과 직접 통신하도록 구성된다. 추가적으로 또는 대안적으로, 일부 실시예들에서, V2I 디바이스(110)는 V2I 시스템(118)을 통해 차량들(102), 원격 AV 시스템(114), 및/또는 플릿 관리 시스템(116)과 통신하도록 구성된다. 일부 실시예들에서, V2I 디바이스(110)는 네트워크(112)를 통해 V2I 시스템(118)과 통신하도록 구성된다.
네트워크(112)는 하나 이상의 유선 및/또는 무선 네트워크를 포함한다. 일 예에서, 네트워크(112)는 셀룰러 네트워크(예를 들면, LTE(long term evolution) 네트워크, 3G(third generation) 네트워크, 4G(fourth generation) 네트워크, 5G(fifth generation) 네트워크, CDMA(code division multiple access) 네트워크 등), PLMN(public land mobile network), LAN(local area network), WAN(wide area network), MAN(metropolitan area network), 전화 네트워크(예를 들면, PSTN(public switched telephone network)), 사설 네트워크, 애드혹 네트워크, 인트라넷, 인터넷, 광섬유 기반 네트워크, 클라우드 컴퓨팅 네트워크 등, 이러한 네트워크들의 일부 또는 전부의 조합 등을 포함한다.
원격 AV 시스템(114)은 네트워크(112)를 통해 차량들(102), V2I 디바이스(110), 네트워크(112), 원격 AV 시스템(114), 플릿 관리 시스템(116), 및/또는 V2I 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일 예에서, 원격 AV 시스템(114)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, 원격 AV 시스템(114)은 플릿 관리 시스템(116)과 동일 위치에 배치된다(co-located). 일부 실시예들에서, 원격 AV 시스템(114)은 자율 주행 시스템, 자율 주행 차량 컴퓨터, 자율 주행 차량 컴퓨터에 의해 구현되는 소프트웨어 등을 포함한, 차량의 컴포넌트들의 일부 또는 전부의 설치에 관여된다. 일부 실시예들에서, 원격 AV 시스템(114)은 차량의 수명 동안 그러한 컴포넌트들 및/또는 소프트웨어를 유지 관리(예를 들면, 업데이트 및/또는 교체)한다.
플릿 관리 시스템(116)은 차량들(102), V2I 디바이스(110), 원격 AV 시스템(114), 및/또는 V2I 인프라스트럭처 시스템(118)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일 예에서, 플릿 관리 시스템(116)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, 플릿 관리 시스템(116)은 라이드 셰어링(ridesharing) 회사(예를 들면, 다수의 차량들(예를 들면, 자율 주행 시스템들을 포함하는 차량들 및/또는 자율 주행 시스템들을 포함하지 않는 차량들)의 작동을 제어하는 조직 등)와 연관된다.
일부 실시예들에서, V2I 시스템(118)은 네트워크(112)를 통해 차량들(102), V2I 디바이스(110), 원격 AV 시스템(114), 및/또는 플릿 관리 시스템(116)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, V2I 시스템(118)은 네트워크(112)와 상이한 연결을 통해 V2I 디바이스(110)와 통신하도록 구성된다. 일부 실시예들에서, V2I 시스템(118)은 서버, 서버들의 그룹, 및/또는 다른 유사한 디바이스들을 포함한다. 일부 실시예들에서, V2I 시스템(118)은 지자체 또는 사설 기관(예를 들면, V2I 디바이스(110) 등을 유지 관리하는 사설 기관)과 연관된다.
도 1에 예시된 요소들의 수 및 배열은 예로서 제공된다. 도 1에 예시된 것보다, 추가적인 요소들, 더 적은 요소들, 상이한 요소들 및/또는 상이하게 배열된 요소들이 있을 수 있다. 추가적으로 또는 대안적으로, 환경(100)의 적어도 하나의 요소는 도 1의 적어도 하나의 상이한 요소에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다. 추가적으로 또는 대안적으로, 환경(100)의 적어도 하나의 요소 세트는 환경(100)의 적어도 하나의 상이한 요소 세트에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다.
이제 도 2를 참조하면, 차량(200)은 자율 주행 시스템(202), 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 및 브레이크 시스템(208)을 포함한다. 일부 실시예들에서, 차량(200)은 차량(102)(도 1 참조)과 동일하거나 유사하다. 일부 실시예들에서, 차량(102)은 자율 주행 능력을 갖는다(예를 들면, 완전 자율 주행 차량들(예를 들면, 인간 개입에 의존하지 않는 차량들), 고도 자율 주행 차량들(예를 들면, 특정 상황들에서 인간 개입에 의존하지 않는 차량들) 등을, 제한 없이, 포함한, 차량(200)이 인간 개입 없이 부분적으로 또는 완전히 작동될 수 있게 하는 적어도 하나의 기능, 특징, 디바이스 등을 구현한다). 완전 자율 주행 차량들 및 고도 자율 주행 차량들에 대한 상세한 설명에 대해서는, 그 전체가 참고로 포함되는, SAE 국제 표준 J3016: 온로드 자동차 자동 운전 시스템에 관한 용어의 분류 및 정의(SAE International's standard J3016: Taxonomy and Definitions for Terms Related to On-Road Motor Vehicle Automated Driving Systems)가 참조될 수 있다. 일부 실시예들에서, 차량(200)은 자율 주행 플릿 관리자 및/또는 라이드 셰어링 회사와 연관된다.
자율 주행 시스템(202)은 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 및 마이크로폰들(202d)과 같은 하나 이상의 디바이스를 포함하는 센서 스위트(sensor suite)를 포함한다. 일부 실시예들에서, 자율 주행 시스템(202)은 보다 많거나 보다 적은 디바이스들 및/또는 상이한 디바이스들(예를 들면, 초음파 센서들, 관성 센서들, GPS 수신기들(아래에서 논의됨), 차량(200)이 주행한 거리의 표시와 연관된 데이터를 생성하는 주행 거리 측정 센서들 등)을 포함할 수 있다. 일부 실시예들에서, 자율 주행 시스템(202)은 자율 주행 시스템(202)에 포함된 하나 이상의 디바이스를 사용하여 본원에서 기술되는 환경(100)과 연관된 데이터를 생성한다. 자율 주행 시스템(202)의 하나 이상의 디바이스에 의해 생성되는 데이터는 차량(200)이 위치하는 환경(예를 들면, 환경(100))을 관측하기 위해 본원에 기술된 하나 이상의 시스템에 의해 사용될 수 있다. 일부 실시예들에서, 자율 주행 시스템(202)은 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및 드라이브 바이 와이어(drive-by-wire, DBW) 시스템(202h)을 포함한다.
카메라들(202a)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 카메라들(202a)은 물리적 대상체들(예를 들면, 자동차들, 버스들, 연석들, 사람들 등)을 포함하는 이미지들을 캡처하기 위한 적어도 하나의 카메라(예를 들면, CCD(charge-coupled device)와 같은 광 센서를 사용하는 디지털 카메라, 열 카메라, 적외선(IR) 카메라, 이벤트 카메라 등)를 포함한다. 일부 실시예들에서, 카메라(202a)는 카메라 데이터를 출력으로서 생성한다. 일부 예들에서, 카메라(202a)는 이미지와 연관된 이미지 데이터를 포함하는 카메라 데이터를 생성한다. 이 예에서, 이미지 데이터는 이미지에 대응하는 적어도 하나의 파라미터(예를 들면, 노출, 밝기 등과 같은 이미지 특성들, 이미지 타임스탬프 등)를 명시할 수 있다. 그러한 예에서, 이미지는 한 포맷(예를 들면, RAW, JPEG, PNG 등)으로 되어 있을 수 있다. 일부 실시예들에서, 카메라(202a)는 입체시(stereopsis)(스테레오 비전(stereo vision))를 위해 이미지들을 캡처하도록 차량 상에 구성된(예를 들면, 차량 상에 위치된) 복수의 독립적인 카메라들을 포함한다. 일부 예들에서, 카메라(202a)는 복수의 카메라들을 포함하고, 이 복수의 카메라들은 이미지 데이터를 생성하고 이미지 데이터를 자율 주행 차량 컴퓨터(202f) 및/또는 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템)으로 전송한다. 그러한 예에서, 자율 주행 차량 컴퓨터(202f)는 적어도 2 개의 카메라로부터의 이미지 데이터에 기초하여 복수의 카메라들 중 적어도 2 개의 카메라의 시야 내의 하나 이상의 대상체까지의 깊이를 결정한다. 일부 실시예들에서, 카메라들(202a)은 카메라들(202a)로부터 일정 거리(예를 들면, 최대 100 미터, 최대 1 킬로미터 등) 내의 대상체들의 이미지들을 캡처하도록 구성된다. 그에 따라, 카메라들(202a)은 카메라들(202a)로부터 하나 이상의 거리에 있는 대상체들을 인지하도록 최적화된 센서들 및 렌즈들과 같은 특징부들을 포함한다.
일 실시예에서, 카메라(202a)는 시각적 운행 정보를 제공하는 하나 이상의 교통 신호등, 거리 표지판 및/또는 다른 물리적 대상체와 연관된 하나 이상의 이미지를 캡처하도록 구성된 적어도 하나의 카메라를 포함한다. 일부 실시예들에서, 카메라(202a)는 하나 이상의 이미지와 연관된 교통 신호등 데이터를 생성한다. 일부 예들에서, 카메라(202a)는 한 포맷(예를 들면, RAW, JPEG, PNG 등)을 포함하는 하나 이상의 이미지와 연관된 TLD 데이터를 생성한다. 일부 실시예들에서, TLD 데이터를 생성하는 카메라(202a)는, 카메라(202a)가 가능한 한 많은 물리적 대상체들에 관한 이미지들을 생성하기 위해 넓은 시야를 갖는 하나 이상의 카메라(예를 들면, 광각 렌즈, 어안 렌즈, 대략 120도 이상의 시야각을 갖는 렌즈 등)를 포함할 수 있다는 점에서, 카메라들을 포함하는 본원에 기술된 다른 시스템들과 상이하다.
LiDAR(Laser Detection and Ranging) 센서들(202b)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. LiDAR 센서들(202b)은 광 방출기(예를 들면, 레이저 송신기)로부터 광을 송신하도록 구성된 시스템을 포함한다. LiDAR 센서들(202b)에 의해 방출되는 광은 가시 스펙트럼 밖에 있는 광(예를 들면, 적외선 광 등)을 포함한다. 일부 실시예들에서, 작동 동안, LiDAR 센서들(202b)에 의해 방출되는 광은 물리적 대상체(예를 들면, 차량)와 조우하고 LiDAR 센서들(202b)로 다시 반사된다. 일부 실시예들에서, LiDAR 센서들(202b)에 의해 방출되는 광은 광이 조우하는 물리적 대상체들을 투과하지 않는다. LiDAR 센서들(202b)은 광 방출기로부터 방출된 광이 물리적 대상체와 조우한 후에 그 광을 검출하는 적어도 하나의 광 검출기를 또한 포함한다. 일부 실시예들에서, LiDAR 센서들(202b)과 연관된 적어도 하나의 데이터 프로세싱 시스템은 LiDAR 센서들(202b)의 시야에 포함된 대상체들을 나타내는 이미지(예를 들면, 포인트 클라우드, 결합된 포인트 클라우드(combined point cloud) 등)를 생성한다. 일부 예들에서, LiDAR 센서(202b)와 연관된 적어도 하나의 데이터 프로세싱 시스템은 물리적 대상체의 경계들, 물리적 대상체의 표면들(예를 들면, 표면들의 토폴로지) 등을 나타내는 이미지를 생성한다. 그러한 예에서, 이미지는 LiDAR 센서들(202b)의 시야 내의 물리적 대상체들의 경계들을 결정하는 데 사용된다.
레이더(radar, Radio Detection and Ranging) 센서들(202c)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 레이더 센서들(202c)은 전파들을 (펄스형으로 또는 연속적으로) 송신하도록 구성된 시스템을 포함한다. 레이더 센서들(202c)에 의해 송신되는 전파들은 미리 결정된 스펙트럼 내에 있는 전파들을 포함한다. 일부 실시예들에서, 작동 동안, 레이더 센서들(202c)에 의해 송신되는 전파들은 물리적 대상체와 조우하고 레이더 센서들(202c)로 다시 반사된다. 일부 실시예들에서, 레이더 센서들(202c)에 의해 송신되는 전파들이 일부 대상체들에 의해 반사되지 않는다. 일부 실시예들에서, 레이더 센서들(202c)과 연관된 적어도 하나의 데이터 프로세싱 시스템은 레이더 센서들(202c)의 시야에 포함된 대상체들을 나타내는 신호들을 생성한다. 예를 들어, 레이더 센서(202c)와 연관된 적어도 하나의 데이터 프로세싱 시스템은 물리적 대상체의 경계들, 물리적 대상체의 표면들(예를 들면, 표면들의 토폴로지) 등을 나타내는 이미지를 생성한다. 일부 예들에서, 이미지는 레이더 센서들(202c)의 시야 내의 물리적 대상체들의 경계들을 결정하는 데 사용된다.
마이크로폰들(202d)은 버스(예를 들면, 도 3의 버스(302)와 동일하거나 유사한 버스)를 통해 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f) 및/또는 안전 제어기(202g)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 마이크로폰들(202d)은 오디오 신호들을 캡처하고 오디오 신호들과 연관된(예를 들면, 이를 나타내는) 데이터를 생성하는 하나 이상의 마이크로폰(예를 들면, 어레이 마이크로폰, 외부 마이크로폰 등)을 포함한다. 일부 예들에서, 마이크로폰들(202d)은 트랜스듀서 디바이스들 및/또는 유사 디바이스들을 포함한다. 일부 실시예들에서, 본원에 기술된 하나 이상의 시스템은 마이크로폰들(202d)에 의해 생성되는 데이터를 수신하고 데이터와 연관된 오디오 신호들에 기초하여 차량(200)을 기준으로 대상체의 위치(예를 들면, 거리 등)를 결정할 수 있다.
통신 디바이스(202e)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 자율 주행 차량 컴퓨터(202f), 안전 제어기(202g), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 예를 들어, 통신 디바이스(202e)는 도 3의 통신 인터페이스(314)와 동일하거나 유사한 디바이스를 포함할 수 있다. 일부 실시예들에서, 통신 디바이스(202e)는 차량 대 차량(vehicle-to-vehicle, V2V) 통신 디바이스(예를 들면, 차량들 간의 데이터의 무선 통신을 가능하게 하는 디바이스)를 포함한다.
자율 주행 차량 컴퓨터(202f)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 통신 디바이스(202e), 안전 제어기(202g), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 자율 주행 차량 컴퓨터(202f)는 클라이언트 디바이스, 모바일 디바이스(예를 들면, 셀룰러 전화, 태블릿 등), 서버(예를 들면, 하나 이상의 중앙 프로세싱 유닛, 그래픽 프로세싱 유닛 등을 포함하는 컴퓨팅 디바이스) 등과 같은 디바이스를 포함한다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(202f)는 본원에 기술된 자율 주행 차량 컴퓨터(400)와 동일하거나 유사하다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 자율 주행 차량 컴퓨터(202f)는 자율 주행 차량 시스템(예를 들면, 도 1의 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템), 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템), V2I 디바이스(예를 들면, 도 1의 V2I 디바이스(110)와 동일하거나 유사한 V2I 디바이스), 및/또는 V2I 시스템(예를 들면, 도 1의 V2I 시스템(118)과 동일하거나 유사한 V2I 시스템)과 통신하도록 구성된다.
안전 제어기(202g)는 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(202c), 마이크로폰들(202d), 통신 디바이스(202e), 자율 주행 차량 컴퓨터(202f), 및/또는 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 안전 제어기(202g)는 차량(200)의 하나 이상의 디바이스(예를 들면, 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 브레이크 시스템(208) 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된 하나 이상의 제어기(전기 제어기, 전기기계 제어기 등)를 포함한다. 일부 실시예들에서, 안전 제어기(202g)는 자율 주행 차량 컴퓨터(202f)에 의해 생성 및/또는 송신되는 제어 신호들보다 우선하는(예를 들면, 이를 오버라이드하는) 제어 신호들을 생성하도록 구성된다.
DBW 시스템(202h)은 통신 디바이스(202e) 및/또는 자율 주행 차량 컴퓨터(202f)와 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, DBW 시스템(202h)은 차량(200)의 하나 이상의 디바이스(예를 들면, 파워트레인 제어 시스템(204), 조향 제어 시스템(206), 브레이크 시스템(208) 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된 하나 이상의 제어기(예를 들면, 전기 제어기, 전기기계 제어기 등)를 포함한다. 추가적으로 또는 대안적으로, DBW 시스템(202h)의 하나 이상의 제어기는 차량(200)의 적어도 하나의 상이한 디바이스(예를 들면, 방향 지시등, 헤드라이트, 도어록, 윈도실드 와이퍼 등)를 작동시키기 위한 제어 신호들을 생성 및/또는 송신하도록 구성된다.
파워트레인 제어 시스템(204)은 DBW 시스템(202h)과 통신하도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 파워트레인 제어 시스템(204)은 적어도 하나의 제어기, 액추에이터 등을 포함한다. 일부 실시예들에서, 파워트레인 제어 시스템(204)은 DBW 시스템(202h)으로부터 제어 신호들을 수신하고, 파워트레인 제어 시스템(204)은 차량(200)이 전진하는 것을 시작하게 하고, 전진하는 것을 중지하게 하며, 후진하는 것을 시작하게 하고, 후진하는 것을 중지하게 하며, 한 방향으로 가속하게 하고, 한 방향으로 감속하게 하며, 좌회전을 수행하게 하고, 우회전을 수행하게 하는 등을 한다. 일 예에서, 파워트레인 제어 시스템(204)은 차량의 모터에 제공되는 에너지(예를 들면, 연료, 전기 등)가 증가하게 하거나, 동일하게 유지되게 하거나, 또는 감소하게 하여, 이에 의해 차량(200)의 적어도 하나의 바퀴가 회전하거나 회전하지 않게 한다.
조향 제어 시스템(206)은 차량(200)의 하나 이상의 바퀴를 회전시키도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 조향 제어 시스템(206)은 적어도 하나의 제어기, 액추에이터 등을 포함한다. 일부 실시예들에서, 조향 제어 시스템(206)은 차량(200)이 좌측 또는 우측으로 방향 전환하게 하기 위해 차량(200)의 전면 2 개의 바퀴 및/또는 후면 2 개의 바퀴가 좌측 또는 우측으로 회전하게 한다.
브레이크 시스템(208)은 차량(200)이 속력을 감소시키게 하고/하거나 정지해 있는 채로 유지하게 하기 위해 하나 이상의 브레이크를 작동시키도록 구성된 적어도 하나의 디바이스를 포함한다. 일부 예들에서, 브레이크 시스템(208)은 차량(200)의 대응하는 로터(rotor)에서 차량(200)의 하나 이상의 바퀴와 연관된 하나 이상의 캘리퍼(caliper)가 닫히게 하도록 구성된 적어도 하나의 제어기 및/또는 액추에이터를 포함한다. 추가적으로 또는 대안적으로, 일부 예들에서, 브레이크 시스템(208)은 자동 긴급 제동(automatic emergency braking, AEB) 시스템, 회생 제동 시스템 등을 포함한다.
일부 실시예들에서, 차량(200)은 차량(200)의 상태 또는 조건의 속성들을 측정 또는 추론하는 적어도 하나의 플랫폼 센서(명시적으로 예시되지 않음)를 포함한다. 일부 예들에서, 차량(200)은 GPS(global positioning system) 수신기, IMU(inertial measurement unit), 휠 속력 센서, 휠 브레이크 압력 센서, 휠 토크 센서, 엔진 토크 센서, 조향각 센서 등과 같은 플랫폼 센서들을 포함한다.
이제 도 3을 참조하면, 디바이스(300)의 개략 다이어그램이 예시되어 있다. 예시된 바와 같이, 디바이스(300)는 프로세서(304), 메모리(306), 저장 컴포넌트(308), 입력 인터페이스(310), 출력 인터페이스(312), 통신 인터페이스(314), 및 버스(302)를 포함한다. 일부 실시예들에서, 디바이스(300)는 차량들(102)의 적어도 하나의 디바이스(예를 들면, 차량들(102)의 시스템의 적어도 하나의 디바이스) 및/또는 네트워크(112)의 하나 이상의 디바이스(예를 들면, 네트워크(112)의 시스템의 하나 이상의 디바이스)에 대응한다. 일부 실시예들에서, 차량들(102)의 하나 이상의 디바이스(예를 들면, 차량들(102)의 시스템의 하나 이상의 디바이스), 및/또는 네트워크(112)의 하나 이상의 디바이스(예를 들면, 네트워크(112)의 시스템의 하나 이상의 디바이스)는 적어도 하나의 디바이스(300) 및/또는 디바이스(300)의 적어도 하나의 컴포넌트를 포함한다. 도 3에 도시된 바와 같이, 디바이스(300)는 버스(302), 프로세서(304), 메모리(306), 저장 컴포넌트(308), 입력 인터페이스(310), 출력 인터페이스(312), 및 통신 인터페이스(314)를 포함한다.
버스(302)는 디바이스(300)의 컴포넌트들 간의 통신을 가능하게 하는 컴포넌트를 포함한다. 일부 실시예들에서, 프로세서(304)는 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합으로 구현된다. 일부 예들에서, 프로세서(304)는 적어도 하나의 기능을 수행하도록 프로그래밍될 수 있는, 프로세서(예를 들면, 중앙 프로세싱 유닛(CPU), 그래픽 프로세싱 유닛(GPU), 가속 프로세싱 유닛(APU) 등), 마이크로폰, 디지털 신호 프로세서(DSP), 및/또는 임의의 프로세싱 컴포넌트(예를 들면, FPGA(field-programmable gate array), ASIC(application specific integrated circuit) 등)를 포함한다. 메모리(306)는 프로세서(304)가 사용할 데이터 및/또는 명령어들을 저장하는, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 및/또는 다른 유형의 동적 및/또는 정적 저장 디바이스(예를 들면, 플래시 메모리, 자기 메모리, 광학 메모리 등)를 포함한다.
저장 컴포넌트(308)는 디바이스(300)의 작동 및 사용에 관련된 데이터 및/또는 소프트웨어를 저장한다. 일부 예들에서, 저장 컴포넌트(308)는 하드 디스크(예를 들면, 자기 디스크, 광학 디스크, 광자기 디스크, 솔리드 스테이트 디스크 등), CD(compact disc), DVD(digital versatile disc), 플로피 디스크, 카트리지, 자기 테이프, CD-ROM, RAM, PROM, EPROM, FLASH-EPROM, NV-RAM 및/또는 다른 유형의 컴퓨터 판독 가능 매체를, 대응하는 드라이브와 함께, 포함한다.
입력 인터페이스(310)는 디바이스(300)가, 예컨대, 사용자 입력(예를 들면, 터치스크린 디스플레이, 키보드, 키패드, 마우스, 버튼, 스위치, 마이크로폰, 카메라 등)을 통해, 정보를 수신할 수 있게 하는 컴포넌트를 포함한다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 입력 인터페이스(310)는 정보를 감지하는 센서(예를 들면, GPS(global positioning system) 수신기, 가속도계, 자이로스코프, 액추에이터 등)를 포함한다. 출력 인터페이스(312)는 디바이스(300)로부터의 출력 정보를 제공하는 컴포넌트(예를 들면, 디스플레이, 스피커, 하나 이상의 발광 다이오드(LED) 등)를 포함한다.
일부 실시예들에서, 통신 인터페이스(314)는 디바이스(300)가 유선 연결, 무선 연결, 또는 유선 연결과 무선 연결의 조합을 통해 다른 디바이스들과 통신할 수 있게 하는 트랜시버 유사 컴포넌트(예를 들면, 트랜시버, 개별 수신기 및 송신기 등)를 포함한다. 일부 예들에서, 통신 인터페이스(314)는 디바이스(300)가 다른 디바이스로부터 정보를 수신하고/하거나 다른 디바이스에 정보를 제공할 수 있게 한다. 일부 예들에서, 통신 인터페이스(314)는 이더넷 인터페이스, 광학 인터페이스, 동축 인터페이스, 적외선 인터페이스, RF(radio frequency) 인터페이스, USB(universal serial bus) 인터페이스, Wi-Fi®인터페이스, 셀룰러 네트워크 인터페이스 등을 포함한다.
일부 실시예들에서, 디바이스(300)는 본원에 기술된 하나 이상의 프로세스를 수행한다. 디바이스(300)는 프로세서(304)가, 메모리(305) 및/또는 저장 컴포넌트(308)와 같은, 컴퓨터 판독 가능 매체에 의해 저장된 소프트웨어 명령어들을 실행하는 것에 기초하여 이러한 프로세스들을 수행한다. 컴퓨터 판독 가능 매체(예를 들면, 비일시적 컴퓨터 판독 가능 매체)는 본원에서 비일시적 메모리 디바이스로서 정의된다. 비일시적 메모리 디바이스는 단일의 물리 저장 디바이스 내부에 위치한 메모리 공간 또는 다수의 물리 저장 디바이스들에 걸쳐 분산된 메모리 공간을 포함한다.
일부 실시예들에서, 소프트웨어 명령어들은 통신 인터페이스(314)를 통해 다른 컴퓨터 판독 가능 매체로부터 또는 다른 디바이스로부터 메모리(306) 및/또는 저장 컴포넌트(308)로 판독된다. 실행될 때, 메모리(306) 및/또는 저장 컴포넌트(308)에 저장된 소프트웨어 명령어들은 프로세서(304)로 하여금 본원에 기술된 하나 이상의 프로세스를 수행하게 한다. 추가적으로 또는 대안적으로, 고정 배선(hardwired) 회로는 본원에 기술된 하나 이상의 프로세스를 수행하기 위해 소프트웨어 명령어들 대신에 또는 소프트웨어 명령어들과 함께 사용된다. 따라서, 본원에 기술된 실시예들은, 달리 명시적으로 언급되지 않는 한, 하드웨어 회로와 소프트웨어의 임의의 특정 조합으로 제한되지 않는다.
메모리(306) 및/또는 저장 컴포넌트(308)는 데이터 스토리지 또는 적어도 하나의 데이터 구조(예를 들면, 데이터베이스 등)를 포함한다. 디바이스(300)는 데이터 스토리지 또는 메모리(306) 또는 저장 컴포넌트(308) 내의 적어도 하나의 데이터 구조로부터 정보를 수신하는 것, 그에 정보를 저장하는 것, 그에게로 정보를 통신하는 것, 또는 그에 저장된 정보를 검색하는 것을 할 수 있다. 일부 예들에서, 정보는 네트워크 데이터, 입력 데이터, 출력 데이터, 또는 이들의 임의의 조합을 포함한다.
일부 실시예들에서, 디바이스(300)는 메모리(306)에 그리고/또는 다른 디바이스(예를 들면, 디바이스(300)와 동일하거나 유사한 다른 디바이스)의 메모리에 저장된 소프트웨어 명령어들을 실행하도록 구성된다. 본원에서 사용되는 바와 같이, "모듈"이라는 용어는, 프로세서(304)에 의해 그리고/또는 다른 디바이스(예를 들면, 디바이스(300)와 동일하거나 유사한 다른 디바이스)의 프로세서에 의해 실행될 때, 디바이스(300)(예를 들면, 디바이스(300)의 적어도 하나의 컴포넌트)로 하여금 본원에 기술된 하나 이상의 프로세스를 수행하게 하는 메모리(306)에 그리고/또는 다른 디바이스의 메모리에 저장된 적어도 하나의 명령어를 지칭한다. 일부 실시예들에서, 모듈은 소프트웨어, 펌웨어, 하드웨어 등으로 구현된다.
도 3에 예시된 컴포넌트들의 수 및 배열은 예로서 제공된다. 일부 실시예들에서, 디바이스(300)는 도 3에 예시된 것보다, 추가적인 컴포넌트들, 더 적은 컴포넌트들, 상이한 컴포넌트들, 또는 상이하게 배열된 컴포넌트들을 포함할 수 있다. 추가적으로 또는 대안적으로, 디바이스(300)의 컴포넌트 세트(예를 들면, 하나 이상의 컴포넌트)는 디바이스(300)의 다른 컴포넌트 또는 다른 컴포넌트 세트에 의해 수행되는 것으로 기술된 하나 이상의 기능을 수행할 수 있다.
이제 도 4를 참조하면, 자율 주행 차량 컴퓨터(400)(때때로 "AV 스택"이라고 지칭됨)의 예시적인 블록 다이어그램이 예시되어 있다. 예시된 바와 같이, 자율 주행 차량 컴퓨터(400)는 인지 시스템(402)(때때로 인지 모듈이라고 지칭됨), 계획 시스템(404)(때때로 계획 모듈이라고 지칭됨), 로컬화 시스템(406)(때때로 로컬화 모듈이라고 지칭됨), 제어 시스템(408)(때때로 제어 모듈이라고 지칭됨) 및 데이터베이스(410)를 포함한다. 일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408) 및 데이터베이스(410)는 차량의 자율 주행 운행 시스템(예를 들면, 차량(200)의 자율 주행 차량 컴퓨터(202f))에 포함되고/되거나 구현된다. 추가적으로 또는 대안적으로, 일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408), 및 데이터베이스(410)는 하나 이상의 독립형 시스템(예를 들면, 자율 주행 차량 컴퓨터(400) 등과 동일하거나 유사한 하나 이상의 시스템)에 포함된다. 일부 예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 제어 시스템(408), 및 데이터베이스(410)는 본원에 기술된 바와 같이 차량 및/또는 적어도 하나의 원격 시스템에 위치하는 하나 이상의 독립형 시스템에 포함된다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(400)에 포함된 시스템들 중 일부 및/또는 전부는 소프트웨어(예를 들면, 메모리에 저장된 소프트웨어 명령어들), 컴퓨터 하드웨어(예를 들면, 마이크로프로세서, 마이크로컨트롤러, ASIC(application-specific integrated circuit), FPGA(Field Programmable Gate Array) 등), 또는 컴퓨터 소프트웨어와 컴퓨터 하드웨어의 조합으로 구현된다. 일부 실시예들에서, 자율 주행 차량 컴퓨터(400)가 원격 시스템(예를 들면, 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템, 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템(116), V2I 시스템(118)과 동일하거나 유사한 V2I 시스템 등)과 통신하도록 구성된다는 것이 또한 이해될 것이다.
일부 실시예들에서, 인지 시스템(402)은 환경에서의 적어도 하나의 물리적 대상체와 연관된 데이터(예를 들면, 적어도 하나의 물리적 대상체를 검출하기 위해 인지 시스템(402)에 의해 사용되는 데이터)를 수신하고 적어도 하나의 물리적 대상체를 분류한다. 일부 예들에서, 인지 시스템(402)은 적어도 하나의 카메라(예를 들면, 카메라들(202a))에 의해 캡처되는 이미지 데이터를 수신하고, 이미지는 적어도 하나의 카메라의 시야 내의 하나 이상의 물리적 대상체와 연관되어 있다(예를 들면, 이를 표현한다). 그러한 예에서, 인지 시스템(402)은 물리적 대상체들(예를 들면, 자전거들, 차량들, 교통 표지판들, 보행자들 등)의 하나 이상의 그룹화에 기초하여 적어도 하나의 물리적 대상체를 분류한다. 일부 실시예들에서, 인지 시스템(402)이 물리적 대상체들을 분류하는 것에 기초하여 인지 시스템(402)은 물리적 대상체들의 분류와 연관된 데이터를 계획 시스템(404)으로 송신한다.
일부 실시예들에서, 계획 시스템(404)은 목적지와 연관된 데이터를 수신하고 차량(예를 들면, 차량들(102))이 목적지를 향해 주행할 수 있는 적어도 하나의 루트(예를 들면, 루트들(106))와 연관된 데이터를 생성한다. 일부 실시예들에서, 계획 시스템(404)은 인지 시스템(402)으로부터의 데이터(예를 들면, 위에서 기술된, 물리적 대상체들의 분류와 연관된 데이터)를 주기적으로 또는 연속적으로 수신하고, 계획 시스템(404)은 인지 시스템(402)에 의해 생성되는 데이터에 기초하여 적어도 하나의 궤적을 업데이트하거나 적어도 하나의 상이한 궤적을 생성한다. 일부 실시예들에서, 계획 시스템(404)은 로컬화 시스템(406)으로부터 차량(예를 들면, 차량들(102))의 업데이트된 위치와 연관된 데이터를 수신하고, 계획 시스템(404)은 로컬화 시스템(406)에 의해 생성되는 데이터에 기초하여 적어도 하나의 궤적을 업데이트하거나 적어도 하나의 상이한 궤적을 생성한다.
일부 실시예들에서, 로컬화 시스템(406)은 한 영역에서의 차량(예를 들면, 차량들(102))의 한 위치와 연관된(예를 들면, 이를 나타내는) 데이터를 수신한다. 일부 예들에서, 로컬화 시스템(406)은 적어도 하나의 LiDAR 센서(예를 들면, LiDAR 센서들(202b))에 의해 생성되는 적어도 하나의 포인트 클라우드와 연관된 LiDAR 데이터를 수신한다. 특정 예들에서, 로컬화 시스템(406)은 다수의 LiDAR 센서들로부터의 적어도 하나의 포인트 클라우드와 연관된 데이터를 수신하고 로컬화 시스템(406)은 포인트 클라우드들 각각에 기초하여 결합된 포인트 클라우드를 생성한다. 이러한 예들에서, 로컬화 시스템(406)은 적어도 하나의 포인트 클라우드 또는 결합된 포인트 클라우드를 데이터베이스(410)에 저장되어 있는 해당 영역의 2차원(2D) 및/또는 3차원(3D) 맵과 비교한다. 로컬화 시스템(406)이 적어도 하나의 포인트 클라우드 또는 결합된 포인트 클라우드를 맵과 비교하는 것에 기초하여 로컬화 시스템(406)은 이어서 해당 영역에서의 차량의 위치를 결정한다. 일부 실시예들에서, 맵은 차량의 운행 이전에 생성되는 해당 영역의 결합된 포인트 클라우드를 포함한다. 일부 실시예들에서, 맵은, 제한 없이, 도로 기하학적 특성들의 고정밀 맵, 도로 네트워크 연결 특성들을 기술하는 맵, 도로 물리적 특성들(예컨대, 교통 속력, 교통량, 차량 교통 차선과 자전거 타는 사람 교통 차선의 수, 차선 폭, 차선 교통 방향, 또는 차선 마커 유형 및 위치, 또는 이들의 조합)을 기술하는 맵, 및 도로 특징물, 예컨대, 횡단보도, 교통 표지판 또는 다양한 유형의 다른 주행 신호들의 공간적 위치들을 기술하는 맵을 포함한다. 일부 실시예들에서, 맵은 인지 시스템에 의해 수신되는 데이터에 기초하여 실시간으로 생성된다.
다른 예에서, 로컬화 시스템(406)은 GPS(global positioning system) 수신기에 의해 생성되는 GNSS(Global Navigation Satellite System) 데이터를 수신한다. 일부 예들에서, 로컬화 시스템(406)은 해당 영역 내에서의 차량의 위치와 연관된 GNSS 데이터를 수신하고 로컬화 시스템(406)은 해당 영역 내에서의 차량의 위도 및 경도를 결정한다. 그러한 예에서, 로컬화 시스템(406)은 차량의 위도 및 경도에 기초하여 해당 영역에서의 차량의 위치를 결정한다. 일부 실시예들에서, 로컬화 시스템(406)은 차량의 위치와 연관된 데이터를 생성한다. 일부 예들에서, 로컬화 시스템(406)이 차량의 위치를 결정하는 것에 기초하여 로컬화 시스템(406)은 차량의 위치와 연관된 데이터를 생성한다. 그러한 예에서, 차량의 위치와 연관된 데이터는 차량의 위치에 대응하는 하나 이상의 시맨틱 특성과 연관된 데이터를 포함한다.
일부 실시예들에서, 제어 시스템(408)은 계획 시스템(404)으로부터 적어도 하나의 궤적과 연관된 데이터를 수신하고 제어 시스템(408)은 차량의 작동을 제어한다. 일부 예들에서, 제어 시스템(408)은 계획 시스템(404)으로부터 적어도 하나의 궤적과 연관된 데이터를 수신하고, 제어 시스템(408)은 파워트레인 제어 시스템(예를 들면, DBW 시스템(202h), 파워트레인 제어 시스템(204) 등), 조향 제어 시스템(예를 들면, 조향 제어 시스템(206)) 및/또는 브레이크 시스템(예를 들면, 브레이크 시스템(208))이 작동하게 하는 제어 신호들을 생성하여 송신하는 것에 의해 차량의 작동을 제어한다. 궤적이 좌회전을 포함하는 예에서, 제어 시스템(408)은 조향 제어 시스템(206)으로 하여금 차량(200)의 조향각을 조정하게 함으로써 차량(200)이 좌회전하게 하는 제어 신호를 송신한다. 추가적으로 또는 대안적으로, 제어 시스템(408)은 차량(200)의 다른 디바이스들(예를 들면, 헤드라이트, 방향 지시등, 도어록, 윈도실드 와이퍼 등)로 하여금 상태들을 변경하게 하는 제어 신호들을 생성하여 송신한다.
일부 실시예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 적어도 하나의 머신 러닝 모델(예를 들면, 적어도 하나의 다층 퍼셉트론(MLP), 적어도 하나의 콘볼루션 신경 네트워크(CNN), 적어도 하나의 순환 신경 네트워크(RNN), 적어도 하나의 오토인코더, 적어도 하나의 트랜스포머(transformer) 등)을 구현한다. 일부 예들에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 단독으로 또는 위에서 언급된 시스템들 중 하나 이상과 조합하여 적어도 하나의 머신 러닝 모델을 구현한다. 일부 예에서, 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406), 및/또는 제어 시스템(408)은 파이프라인(예를 들면, 환경에 위치한 하나 이상의 대상체를 식별하기 위한 파이프라인 등)의 일부로서 적어도 하나의 머신 러닝 모델을 구현한다.
데이터베이스(410)는 인지 시스템(402), 계획 시스템(404), 로컬화 시스템(406) 및/또는 제어 시스템(408)으로 송신되며, 이들로부터 수신되고/되거나 이들에 의해 업데이트되는 데이터를 저장한다. 일부 예들에서, 데이터베이스(410)는 작동에 관련된 데이터 및/또는 소프트웨어를 저장하고 자율 주행 차량 컴퓨터(400)의 적어도 하나의 시스템을 사용하는 저장 컴포넌트(예를 들면, 도 3의 저장 컴포넌트(308)와 동일하거나 유사한 저장 컴포넌트)를 포함한다. 일부 실시예들에서, 데이터베이스(410)는 적어도 하나의 영역의 2D 및/또는 3D 맵과 연관된 데이터를 저장한다. 일부 예들에서, 데이터베이스(410)는 도시의 일 부분, 다수의 도시들의 다수의 부분들, 다수의 도시들, 카운티, 주, 국가(State)(예를 들면, 나라(country)) 등의 2D 및/또는 3D 맵과 연관된 데이터를 저장한다. 그러한 예에서, 차량(예를 들면, 차량들(102) 및/또는 차량(200)과 동일하거나 유사한 차량)은 하나 이상의 운전 가능한 영역(예를 들면, 단일 차선 도로, 다중 차선 도로, 간선도로, 시골 길(back road), 오프로드 트레일 등)을 따라 운전할 수 있고, 적어도 하나의 LiDAR 센서(예를 들면, LiDAR 센서들(202b)과 동일하거나 유사한 LiDAR 센서)로 하여금 적어도 하나의 LiDAR 센서의 시야에 포함된 대상체들을 나타내는 이미지와 연관된 데이터를 생성하게 할 수 있다.
일부 실시예들에서, 데이터베이스(410)는 복수의 디바이스들에 걸쳐 구현된다. 일부 예들에서, 데이터베이스(410)는 차량(예를 들면, 차량들(102) 및/또는 차량(200)과 동일하거나 유사한 차량), 자율 주행 차량 시스템(예를 들면, 원격 AV 시스템(114)과 동일하거나 유사한 자율 주행 차량 시스템), 플릿 관리 시스템(예를 들면, 도 1의 플릿 관리 시스템(116)과 동일하거나 유사한 플릿 관리 시스템), V2I 시스템(예를 들면, 도 1의 V2I 시스템(118)과 동일하거나 유사한 V2I 시스템) 등에 포함될 수 있다.
이제 도 5를 참조하면, 음향 방출 기반 디바이스 제어를 위한 프로세스의 구현(500)의 다이어그램들이 예시된다. 일부 실시예들에서, 구현(500)은 디바이스 어셈블리(510)를 포함한다. 일 실시예에서, 디바이스 어셈블리는 윈드실드(예를 들면, 표면)에 인접하여 위치되거나 이와 물리적으로 접촉하는 와이퍼 날 어셈블리(예를 들면, 도 6의 와이퍼 날 어셈블리(600))이다. 예들에서, 디바이스 어셈블리는 LiDAR 센서 커버에 인접하여 위치되거나 이와 물리적으로 접촉하는 와이퍼 날 어셈블리(예를 들면, 도 9의 와이퍼 날 어셈블리(900))이다. 예들에서, 디바이스 어셈블리는 카메라 센서 커버에 인접하여 위치되거나 이와 물리적으로 접촉하는 와이퍼 날 어셈블리(예를 들면, 도 9의 와이퍼 날 어셈블리(900))이다. 예들에서, 디바이스 어셈블리는 헤드라이트 렌즈에 인접하여 위치되거나 이와 물리적으로 접촉하는 와이퍼 날 어셈블리(예를 들면, 도 9의 와이퍼 날 어셈블리(900))이다.
일반적으로, 디바이스 어셈블리는 지지 부재(예를 들면, 아암) 및 세척 부재(예를 들면, 날)를 포함한다. 윈드실드 와이퍼 날 어셈블리의 예에서, 지지 부재는 반복적인 모션으로 회전하는 하나 이상의 아암이다. 세척 부재는 왕복하는 하나 이상의 아암에 부착된 하나 이상의 날이다. 날들은 표면 근처에 위치하거나 이와 물리적으로 접촉한다. 작동 시에, 왕복하는 아암들은 날들이 표면을 닦아내거나 달리 세척하게 한다.
실시예들에서, 디바이스 어셈블리와 연관된 센서들은 표면, 디바이스 어셈블리, 또는 이들의 임의의 조합들 상에서 발생하는 음향 방출을 캡처한다. 일반적으로, 음향 방출은 충돌 이벤트에 응답하여 캡처되는 진동이다. 환경 조건들과 연관된 파라미터들이 계산된다. 도 5의 예에서, 디바이스 어셈블리(510)에서 캡처된 음향 방출은 제어 시스템(504b)에서 제어 신호(518)를 생성하기 위해 사용된다. 제어 신호는 참조 번호 520에서 드라이브 바이 와이어(drive by wire) 시스템으로 전송된다. 실시예들에서, 드라이브 바이 와이어 시스템은 차량(502)의 동작을 제어하기 위해 사용된다. 실시예들에서, 제어 신호는 디바이스 어셈블리의 동작을 제어하기 위해 디바이스 어셈블리(510)로 전송된다.
일반적으로, 본 기법들은 강우 수준 검출 분해능 개선을 가능하게 한다. 본 기법들은 빗방울 크기, 빗방울 간격, 강우량, 빗방울 제거율 등과 같은 파라미터들이 카메라 및 LIDAR과 같은 다양한 유형들의 센서들에 미치는 영향을 완화시킨다. 본 기법들은 파라미터들의 검출, 그리고 차례로 차량이 안전하게 작동될 수 있는지 여부 또는 환경이 불안전하고 이에 따라 차량 동작 범위를 벗어나는지 여부의 결정을 가능하게 한다. 더욱이, 본 기법들은 광학 표면들 및 광학 박막들(예를 들면, 반사 방지(AR) 코팅들)과 같은 차량 표면들의 와이퍼 기반 세척으로 인해 연마 손상을 제거한다. 전통적으로, 연마 입자들이 광학 표면들에 점착되고, 와이퍼 날 어셈블리의 활성화 시에, 입자들은 광학 표면을 따라 이동되어, 광학 표면들 상에 연마 마모를 초래한다. 본 기법들은 표면의 연마 오염을 검출 및 측정하며, 와이퍼 날 기반 세척 동안 잠재적인 마모에 응답하여 대체(alternative) 세척 기법들을 가능하게 한다. 실시예들에서, 대체 세척 기법들은 액체 기반 세척 방법들을 포함한다. 예를 들면, 워셔액은 노즐을 사용하여 표면 상으로 분무된다. 압축 공기는 빠른 속도로 표면 상으로 또는 표면을 가로질러 불어 워셔액 방울(존재한다면)을 제거한다.
도 6은 다수의 센서들을 갖는 와이퍼 날 어셈블리(600)의 예시이다. 도 6의 예에서, 와이퍼 날 어셈블리(600)는 음향 방출에 적어도 부분적으로 기초하여 제어되는 모터(도시되지 않음)를 포함한다. 도 6의 예에서, 제1 와이퍼 아암(602A) 및 제2 와이퍼 아암(602B)이 예시된다. 제2 와이퍼 아암(602B)은 제1 센서(604A), 제2 센서(604B), 및 제3 센서(604C)(집합적으로 센서(604)라고 지칭됨)를 포함한다. 실시예들에서, 센서들(604)은 압전 센서들이다. 센서(604)는 와이퍼 날 어셈블리의 아암(602)에 장착된다. 예들에서, 센서들(604)은 아암들(602), 와이퍼 날, 또는 표면에 충돌하는 진동이 센서들(604)에 의해 검출되도록 아암들(602)에 임베딩되거나 달리 이와 결합된다.
실시예들에서, 입자들(예를 들면, 강우, 잔해, 다른 환경 오염물)이 차량의 하나 이상의 표면 및 어셈블리와 충돌한다. 센서들(604)은 입자 충돌에 응답하여 표면들 및 어셈블리들 상의 진동을 캡처한다. 예들에서, 진동은 차량의 윈드실드 상의 빗방울의 충돌에 응답하여 생성된다. 최종적으로, 진동은 센서에 의해 캡처된다. 실시예들에서, 파라미터들은 센서들(604)에 의해 검출되는 진동 강도들에 따라 변한다. 이에 따라, 검출된 진동은 강수량, 강수 빈도, 액적 크기, 액적 확산 등과 같은 환경과 연관된 파라미터들을 계산하기 위해 사용된다. 실시예들에서, 데이터베이스는 환경과 연관된 파라미터들 중 하나 이상에 대한 음향 방출에서 검출된 진동 패턴들의 맵핑을 저장한다. 실시예들에서, 와이퍼 날 어셈블리가 계산된 파라미터들에 기초하여 제어된다. 실시예들에서, 차량이 계산된 파라미터들에 기초하여 제어된다. 실시예들에서, 진동 정보의 데이터베이스는 진동 정보에 기초하여 환경 파라미터들을 예측하는 신경망을 트레이닝하기 위해 사용되는 트레이닝 데이터이다.
도 7은 위치를 찾기 위해 다수의 소스들을 이용하는 음향 삼각측량의 예이다. 도 7의 예에서, 음향 삼각측량은 강우량을 계산하기 위해 사용된다. 센서들은 동일한 표면 상의 상이한 위치들에 장착된다. 실시예들에서, 센서들은 장착되는 표면의 기하구조(geometry)에 따라 피라미드형 또는 삼각형과 유사한 상이한 위치들에 장착된다. 센서들은 각 센서(예를 들면, 센서(604))가 유효한 이벤트를 검출하는 정확한 시간을 측정하는 타이밍 시스템과 통신가능하게 결합된다. 실시예들에서, 타이밍 시스템은 타이머를 사용하여 차량의 몇몇 동작들을 통합하여, 차량 동작들의 시간 기반 동기화를 가능하게 한다. 실시예들에서, 삼각측량은 측정 및 교정 목적으로 사용된다. 표면의 기하구조, 배열 및 이벤트의 도달 시간 모두가 삼각측량 소프트웨어에 의해 이벤트의 발생 방향에서의 단위 벡터를 계산하기 위해 사용될 것이다. 그 후, 이벤트에 대응하는 음향 방출 소스의 절대 좌표들이 계산된다.
실시예들에서, 유효한 이벤트는 강수에 응답한 음향 방출의 생성이다. 차량의 작동 동안, 강수와 연관되지 않은 물 또는 잔해가 차량과 충돌할 수 있다. 이는 예를 들면, 물 및 진흙이 물웅덩이와 같은 물이 고인 영역으로부터 차량 상으로 튈 때 발생한다. 이는 또한 예를 들면 스프링클러 시스템이 물을 차량에 충돌시킬 때 발생할 수 있다. 고인 물, 스프링클러 등으로부터 발생하는 이벤트들은 유효한 이벤트가 아니다. 실시예들에서, 본 기법들은 이벤트가 강수를 나타내는(예를 들면, 유효한 이벤트인) 것을 검증하기 위한 백업 시스템을 인에이블한다.
도 7의 예에서, 참조 번호 702에서, 삼각 측량과 연관된 다수의 방정식들이 예시된다. 제1 원(706A)은 제1 센서에 의해 검출된 이벤트의 소스 위치를 나타내는 중심(S1)을 갖는다. 제2 원(708A)은 제2 센서에 의해 검출된 이벤트의 소스 위치를 나타내는 중심(S2)을 갖는다. 제3 원(710A)은 제3 센서에 의해 검출된 이벤트의 소스 위치를 나타내는 중심(S3)을 갖는다. 각 소스 위치는 삼각측량 기법들을 사용하여 프로세싱된다. 특히, 가능한 음향 방출 소스 위치를 결정하기 위해 다음의 방정식이 사용된다:
여기서, 는 제 센서를 나타내고, 는 제 센서에서 검출된 이벤트와 연관된 시간을 나타내며, 는 파동 속도를 나타낸다.
도 7의 예에서, 참조 번호 702B에서, 가능한 음향 방출 소스 위치(712)의 계산이 예시된다. 각 센서는 검출된 이벤트가 발생한 다수의 가능한 위치들을 계산하기 위해 사용된다. 이들 가능한 위치들은 링(716B, 718B, 및 720B)으로서 예시되어 있다. 가능한 위치들(716B, 718B, 및 720B)의 교차가 가능한 음향 방출 소스 위치(712)에서 발생한다. 일반적으로, 실제 음향 방출 소스 위치(704B)는 예시된 삼각측량에 따라 계산된 가능한 음향 방출 소스 위치(712) 내에 위치된다. 검출된 이벤트들과 연관된 위치들의 계산은 위에서 논의된 바와 같이 환경 파라미터들의 결정을 가능하게 한다.
실시예들에서, 와이퍼 날 어셈블리가 계산된 파라미터들에 기초하여 제어된다. 와이퍼 날 어셈블리의 날은 물, 눈, 와이퍼 액체, 및 표면으로부터 떨어진 다른 액체 또는 잔해를 닦아낸다. 예들에서, 와이퍼 날 어셈블리는 모터가 와이퍼 날 어셈블리의 아암을 차량의 표면을 가로질러 왕복하도록 구동하여, 날이 표면을 닦게 하는 하나 이상의 속도(예를 들면, 저속, 중속 또는 고속)를 갖는다. 본 기법들은 센서들에 의해 검출된 진동에 기초하여 와이퍼 날 어셈블리의 속도를 제어하는 것을 가능하게 한다. 특히, 와이퍼 날 어셈블리의 속도는 실제 강수량 및 음향 방출을 통해 계산된 빗방울 크기에 기초하여 설정된다.
실시예들에서, 음향 방출은 와이퍼 날 어셈블리의 열화를 결정하기 위해 사용된다. 예들에서, 자율 주행 차량들은 사람 운전자 없이 장시간 동안 작동된다. 일부 경우들에서, 표면의 완전한 방해가 발생할 때까지 와이퍼 날 어셈블리들의 물리적 마손은 눈에 띄지 않는다. 본 기법들은 대응하는 표면들을 닦아내기 위해 사용되는 날을 포함하는 와이퍼 날 어셈블리들 상의 마손의 검출을 가능하게 한다. 실시예들에서, 본 기법들은 어셈블리가 받은 열화(예를 들면, 마손)의 양을 추정한다. 하나 이상의 날과 연관된 열화의 추정치는 하나 이상의 날의 상태를 나타내는 제어 신호로서 송신된다.
도 8은 음향 방출 기반 와이퍼 날 어셈블리 제어의 프로세스 흐름도이다. 일부 양태들 또는 실시예들에서, 도 8의 프로세스에 관하여 설명된 하나 이상의 단계는 차량의 자율 주행 시스템의 하나 이상의 시스템(예를 들면, 도 2의 자율 주행 시스템(202)과 동일하거나 유사한 자율 주행 시스템)에 의해 (예를 들면, 완전히, 부분적으로, 그리고/또는 기타 등으로) 수행된다. 추가적으로, 또는 대안적으로, 도 8의 프로세스의 하나 이상의 단계는 자율 시스템과 상이한 시스템(예를 들면, 도 2의 드라이브 바이 와이어 시스템(202h)과 동일하거나 유사한 드라이브 바이 와이어 시스템 또는 도 6의 와이퍼 날 어셈블리(600))에 추가하여, 또는 이와 함께 (예를 들면 완전히, 부분적으로,그리고/또는 기타 등으로) 수행된다.
블록(802)에서, 와이퍼 날 어셈블리에 장착된 센서들(예를 들면, 압전 센서들(604))은 음향 방출을 검출한다. 예들에서, 하나 이상의 센서에 의해 캡처된 음향 방출은 강우량과 같은 파라미터를 계산하기 위해 사용된다. 하나 이상의 음향 방출 센서, 통상적으로 음향 방출 압전 센서는 와이퍼 날 어셈블리의 구조물(예를 들면, 아암) 상에 장착된 고무 세척 날 내로 이동한 후 구조물 내에 위치된 음향 방출 센서로 진동이 전달되도록 구조물 내에 장착된다. 강수로 인한 윈드실드 또는 광학 표면 상의 진동 시, 이들 진동은 윈드실드를 통해 와이퍼 날 내로 이동한 후 음향 방출 센서에 의해 감지된다. 다수(예를 들면, 세 개 이상)의 음향 방출 센서들을 사용하여, 음향 삼각측량은 강수량 및 강우 수준(빗방울 크기, 빈도, 및 확산)을 결정하기 위해 윈드실드 상의 진동을 맵핑하기 위해 사용된다.
이에 따라, 블록(804)에서, 환경 조건들과 연관된 하나 이상의 파라미터가 계산된다. 도 8의 예에서는 강수량이 계산된다. 계산된 강수량에 기초하여, 와이퍼 날이 강수량에 기초하여 작동되어야 하는지를 결정한다. 백업 시스템은 검출된 진동이 강수의 결과인지를 결정하여 검출된 강우로서 여러 거짓 양성을 제거하기 위해 사용된다. 실시예들에서, 백업 시스템은 일반적으로 차량 상에 존재한다(예를 들면, 도 2의 카메라들(202a), LiDAR 센서들(202b), 레이더 센서들(203c), 및 마이크로폰들(202d)). 도 8의 예에서, 백업 시스템은 카메라 시스템(예를 들면, 카메라(202a))이다. 실시예들에서, 카메라 시스템은 차량의 외부에 위치된 카메라들 및 차량 내부에 위치된 카메라들을 포함한다. 백업 시스템에 의해 강우가 검출되는 경우. 이에 따라, 블록(806)에서, 강우의 예측을 검증하고 확정하기 위해 기상 데이터가 사용된다. 실시예들에서, 기상 데이터는 GPS 데이터, AV 컴퓨터(도 4의 AV 컴퓨터(400)), 또는 임의의 다른 컴퓨팅 시스템과 같은 다른 데이터 소스들로부터 추출되는 서드파티 기상 데이터이다.
블록(808)에서, 백업 시스템에 의해 검증되고 확인된 강우와 관련된 검출된 진동에 기초하여 와이퍼 속도가 결정된다. 블록(810)에서, 음향 진동은 와이퍼 날 어셈블리와 통합된 센서들을 통해 측정되고, 프로세스 흐름은 강수량 및 대응하는 와이퍼 작동 속도의 계속된 계산을 위해 블록(804)으로 되돌아간다. 실시예들에서, 강수량은 차량의 네비게이션을 가이드하기 위해 사용된다. 예를 들면, 자율 주행 차량은 악천후 또는 폭우 시 작동이 금지된다. 추가적으로, LiDAR 및 카메라 센서 세척이 계산된 강우량에 기초할 수 있다. 이러한 방식으로, 본 기법들은 환경 내에 오염물 및 잔해가 존재 시에 센서 가시도를 유지할 수 있다.
일반적으로, 음향 진동이 와이퍼 날 어셈블리를 통해 측정되면서, 음향 진동은 교정된 임계값과 비교되어 와이퍼 날 성능의 열화 수준이 결정된다. 실시예들에서, 와이퍼 날 어셈블리의 작동 시에, 음향 방출은 검출된 음향 방출 이벤트들을 통해 와이퍼 날의 마모 또는 열화를 검출하기 위해 측정된다. 임계치를 초과하는 마모의 검출 시에, 날들은 격납 위치로 복귀될 수 있고, 모래 또는 사막 먼지와 같은 연마 입자들을 포함하는 오염물을 제거하기 위해 물 및 공기 기반 제트와 같은 다른 세척 방법들을 필요로 할 수 있다. 실시예들에서, 본 기법들은 윈드실드를 연마 마모시킬 수 있는 덩어리진 먼지를 제거하기 위한 와이퍼 기반 작동을 방지하기 위해 수동 운전 차량들에서 사용된다.
이에 따라, 진동이 또한 와이퍼 날 어셈블리의 열화를 결정하기 위해 사용된다. 블록(820)에서, 검출된 진동이 교정된 임계값을 초과하는지가 결정된다. 실시예들에서, 교정된 임계값은 표면과의 충돌 입자에 존재하는 것으로 알려져 있는 오염물 또는 잔해의 유형에 종속한다. 예를 들면, 오염물 검출 시스템이 표면과의 현재 충돌 입자의 조성을 결정하기 위해 사용될 수 있다. 음향 진동이 교정된 임계값 미만이라고 결정되는 경우, 프로세스 흐름은 블록(822)으로 계속된다. 블록(822)에서, 와이퍼들이 양호한 상태에 있다고 결정된다. 특히, 캡처된 진동은 표면 상의 연마 재료의 존재를 나타내지 않는다.
블록(820)에서, 캡처된 음향 진동이 교정된 임계값을 초과한다고 결정되는 경우, 프로세스 흐름은 블록(824)으로 계속된다. 블록(824)에서, 연마 방해물의 존재가 먼지 검출 시스템을 사용하여 결정된다. 실시예들에서, 먼지 검출 시스템은 차량의 표면 상에 존재하는 오염물의 유형을 계산한다. 추가적으로, 실시예들에서, 먼지 검출 시스템은 표면 상의 오염물 또는 잔해에 응답하여 센서 세척 사이클을 트리거한다. 오염물 검출 시스템은 표면 상에 임의의 오염물이 존재하는지를 출력하고, 또한 센서 상의 오염물의 유형을 식별한다. 연마 방해물이 표면 상에서 발견되지 않는 경우, 프로세스 흐름은 블록(826)으로 계속된다. 블록(826)에서, 방해물의 특성은 물인 것으로 확정되고, 프로세스 흐름은 열화 메시지가 생성되는 블록(832)으로 계속된다.
연마 방해물이 표면 상에서 발견되는 경우, 프로세스 흐름은 블록(828)으로 계속된다. 블록(828)에서, 연마 방해물이 확정되고, 대체 세척 방법들이 작동된다. 실시예들에서, 대체 세척 방법들은 연마 방해물의 표면을 세척하기 위해 액체 또는 공기를 사용하는 것을 포함한다. 연마 방해물이 존재할 때, 와이퍼 날 어셈블리를 사용하여 방해물을 닦아내는 것은 와이퍼 날, 표면, 또는 이들의 임의의 조합들을 손상시킬 수 있다. 대체 세척 방법은 세척으로부터의 추가 손상 없이, 와이퍼 날, 표면 등을 손상시킬 수 있는 연마 방해물을 세척한다.
본 기법들은 연마 재료의 존재를 검출하고 와이퍼 날 마모를 측정한다. 캡처된 진동이 와이퍼 날 상의 마모 수준과 연관된 미리 결정된 진동 패턴들에 대응할 때 마모 이벤트가 검출된다. 예들에서, 와이퍼 날들은 사용으로 인해 시간이 지남에 따라 열화된다. 본 기법들은 음향 측정을 적용하고 액체 및 공기와 같은 대체 세척 방법들을 사용하여 와이퍼 날들의 기능을 복원한다. 마모의 표시가 지속된다면(예를 들면, 진도이 교정된 임계값을 초과함), 진동은 교체될 필요가 있는 영구적으로 마모된 와이퍼 날에 기인한다.
이에 따라, 블록(830)에서, 와이퍼들이 작동되고 음향 진동이 감지된다. 대체 세척 방법들 이후에, 음향 진동이 임계치 미만인 경우, 프로세스 흐름은 블록(810)으로 계속되며, 여기서 음향 진동은 와이퍼 날 어셈블리의 기능이 복원됨에 따라 와이퍼 날을 통해 측정된다. 음향 진동이 교정된 임계값을 초과하여 유지되는 경우, 프로세스 흐름은 블록(832)으로 계속된다. 블록(832)에서, 열화 메시지가 생성된다. 예들에서, 열화 메시지는 차량 내부에 디스플레이되는 표시자 또는 메시지이다. 예들에서, 열화 메시지는 원격 위치로 송신된다.
설명의 편의를 위해, 본 기법들은 차량의 윈드실드 표면을 세척하도록 구성된 와이퍼 날 어셈블리를 사용하여 설명되었다. 그러나, 본 기법들은 또한 윈드실드, 센서 커버, 또는 광 또는 다른 신호가 통과하는 다른 차량 부품에 적용되는 자동 세척 사이클을 가능하게 하기 위해 사용된다. 예를 들면, 윈드실드, 헤드라이트, 백라이트, 및 센서는 주기적인 세척이 가시성을 증가시키는 큰 표면을 포함한다.
도 9는 다수의 센서들을 갖는 LiDAR 어셈블리(900)의 예시이다.
도 9의 예에서, LiDAR 표면(902)이 예시된다. 와이퍼 날 어셈블리(904)는 LiDAR 전자장치를 하우징하는 케이스 또는 커버(906)와 접촉한다. 예들에서, LiDAR 전자장치는 신호 인출선(908), 전극(910), 및 압전 소자(912)를 포함한다. 접촉층(914) 및 댐핑 재료(916)가 또한 도시된다.
도 9의 예에서, 음향 센서들은 음향 요소가 와이퍼 고무 영역(904) 바로 뒤에 존재하는 방식으로 와이퍼 날 어셈블리에 장착되며, 이는 LIDAR 표면으로부터 진동을 받아 시간이 지남에 따라 열화된다. 실시예들에서, 본 기법들은 케이스(906)(예를 들면, 표면)로부터 먼지 또는 다른 오염물을 제거하기 위해 와이퍼 날을 사용한다. 실시예들에서, 본 기법들은 또한 LiDAR 케이스(906)와 연관된 오염 수준들을 결정할 수 있다. 전통적으로, 소정의 센서에 대해, 세척 시스템은 센서 시야가 방해되거나 달리 오염될 때를 감지한다. 오염에 응답하여, 세척 시스템이 작동된다. 세척 시스템은 예를 들면, 세척 또는 분무를 포함할 수 있다. 본 기법들은 강수량 또는 센서와 연관된 표면들의 방해물 또는 오염물의 백분율을 계산할 수 있고, 특정 센서에 대한 세척 사이클을 트리거할 수 있다.
도 10은 음향 방출 기반 디바이스 제어를 위한 프로세스의 블록 다이어그램이다. 예들에서, 디바이스는 와이퍼 날 어셈블리, 에어 제트, 난방/냉방/서리 제거 등과 같은 세척 디바이스이다. 일부 양태들 또는 실시예들에서, 프로세스(1000)에 관하여 설명된 단계들 중 하나 이상은 차량의 자율 주행 시스템(예를 들면, 도 2의 자율 주행 시스템(202)과 동일하거나 유사한 자율 주행 시스템)에 의해 (예를 들면, 완전히, 부분적으로, 그리고/또는 기타 등으로) 수행된다. 추가적으로, 또는 대안적으로, 프로세스(1000)의 하나 이상의 단계는 자율 시스템과 상이한 시스템(예를 들면, 도 2의 드라이브 바이 와이어 시스템(202h)과 동일하거나 유사한 드라이브 바이 와이어 시스템 또는 도 6의 와이퍼 날 어셈블리(600))에 추가하여, 또는 이와 함께 (예를 들면 완전히, 부분적으로,그리고/또는 기타 등으로) 수행된다.
블록(1002)에서, 제1 음향 방출 센서, 제2 음향 방출 센서, 및 제3 음향 방출 센서와 연관된 정보를 수신하는 단계를 포함한다. 실시예들에서, 정보는 이벤트에 대응한다(예를 들면, 이벤트는 표면과 입자들의 충돌이다). 일반적으로, 제1 음향 방출 센서, 제2 음향 방출 센서, 및 제3 음향 방출 센서에 의해 출력된 음향 방출은 와이퍼 날 어셈블리의 열화를 결정하기 위해 사용된다.
블록(1004)에서, 제1 음향 방출 센서 정보와 연관된 제1 타임스탬프(예를 들면, 유효한 이벤트(입자들과 차량 표면 간의 충돌)가 타이밍 시스템으로부터 검출된 시간)가 수신되고, 수신된 제2 음향 방출 센서 정보와 연관된 제2 타임스탬프, 및 제3 음향 방출 센서와 연관된 제3 타임스탬프가 수신된다.
블록(1006)에서, 제1 음향 방출 센서 정보, 제2 음향 방출 센서 정보, 및 제3 음향 방출 센서 정보, 제1 타임스탬프, 제2 타임스탬프, 및 제3 타임스탬프, 및 표면의 기하구조에 따라, 각 음향 방출 센서로부터 이벤트의 발생(예를 들어, 입자가 표면과 충돌한 위치) 방향으로의 단위 벡터가 계산된다.
블록(1008)에서, 환경 조건들과 연관된 파라미터들이 단위 벡터들(예를 들면, 빗방울 크기, 빗방울 간격, 강우량, 빗방울 제거율, 잔해)에 기초하여 계산된다. 실시예들에서, 음향 방출 센서 정보 및 단위 벡터들은 와이퍼 날 어셈블리에 존재하는 열화량을 추정하기 위해 사용된다.
블록(1010)에서, 제어 시스템(예를 들면, 도 4 의 제어 시스템(408), 도 5의 제어 시스템(504b))은 파라미터들에 기초하여 차량을 작동시키도록 구성된다. 제어 시스템은 파라미터들에 기초하여 차량을 작동시키도록 구성된다. 예들에서, 본 명세서에서 설명된 바와 같은 와이퍼 날 어셈블리를 포함하는 AV는 물리적 육안 검사 없이 장기간 동안 작동된다. 이러한 기간 동안, 표면 손상 또는 방해물이 발생할 수 있다. 본 기법들은 표면 손상 또는 방해물을 검출하고, 검출된 표면 손상이나 방해물에 기초하여 와이퍼 날 어셈블리의 작동을 제어한다.
일부 예들에서, 와이퍼 날 어셈블리는 와이퍼 날 어셈블리의 날의 상태를 나타내는 추정 열화량에 기초하여 작동된다. 와이퍼 날이 미리 결정된 임계량을 초과하여 열화된 것에 응답하여, AV는 대체 세척 방법들을 사용하여 작동된다. 실시예들에서, 검출된 음향 방출 정보는 AV에서 캡처된 정보를 사용하여 와이퍼 날 어셈블리의 환경 조건들 및 열화의 결정을 가능하게 한다. 특히, AV에서의 환경 조건들의 결정은 결정된 환경 조건들에 응답하여 AV 시스템들의 실시간 미세 제어를 가능하게 한다. 게다가, 와이퍼 날 어셈블리의 열화를 결정하는 것은 열화가 사람들의 눈에 띄지 않을 때에도 완화 기법들이 적용될 수 있게 한다.
전술한 설명에서, 본 개시의 양태들 및 실시예들은 구현마다 달라질 수 있는 다수의 특정 세부 사항들을 참조하여 기술되었다. 그에 따라, 설명 및 도면들은 제한적인 의미가 아니라 예시적인 의미로 간주되어야 한다. 본 발명의 범위의 유일한 독점적인 지표, 및 출원인들이 본 발명의 범위이도록 의도한 것은, 본 출원에서 특정 형태로 나오는 일련의 청구항들의 문언적 등가 범위이며, 임의의 후속 보정을 포함한다. 그러한 청구항들에 포함된 용어들에 대한 본원에서 명시적으로 기재된 임의의 정의들은 청구항들에서 사용되는 그러한 용어들의 의미를 결정한다. 추가적으로, 전술한 설명 및 이하의 청구항들에서 "더 포함하는"이라는 용어가 사용될 때, 이 문구에 뒤따르는 것은 추가적인 단계 또는 엔티티, 또는 이전에 언급된 단계 또는 엔티티의 서브단계/서브엔티티일 수 있다.

Claims (18)

  1. 차량으로서,
    상기 차량의 표면과 충돌하는 입자들로부터 발생되는 진동을 검출하도록 구성된 적어도 세 개의 음향 방출(acoustic emission) 센서들 - 제1 음향 방출 센서는 와이퍼 날 어셈블리의 아암 상의 제1 위치에 있고, 제2 음향 방출 센서는 상기 아암 상의 제2 위치에 있으며, 제3 음향 방출 센서는 상기 아암 상의 제3 위치에 있음 -;
    컴퓨터 실행가능 명령어들을 저장하는 적어도 하나의 컴퓨터 판독가능 매체;
    상기 적어도 세 개의 음향 방출 센서들에 통신가능하게 결합되고 상기 컴퓨터 실행가능 명령어들을 실행하도록 구성된 적어도 하나의 프로세서 - 상기 실행은 동작들을 수행하고, 상기 동작들은:
    이벤트에 대응하여, 상기 제1 음향 방출 센서로부터 제1 음향 방출 센서 정보, 상기 제2 음향 방출 센서로부터 제2 음향 방출 센서 정보, 그리고 상기 제3 음향 방출 센서로부터 제3 음향 방출 센서 정보를 수신하는 동작;
    상기 제1 음향 방출 센서 정보와 연관된 제1 타임스탬프, 상기 제2 음향 방출 센서 정보와 연관된 제2 타임스탬프, 및 상기 제3 음향 방출 센서 정보와 연관된 제3 타임스탬프를 수신하는 동작;
    상기 제1 음향 방출 센서 정보, 상기 제2 음향 방출 센서 정보, 및 상기 제3 음향 방출 센서 정보, 상기 제1 타임스탬프, 상기 제2 타임스탬프, 및 상기 제3 타임스탬프, 및 상기 표면의 기하구조에 따라, 각 음향 방출 센서로부터 상기 이벤트의 발생 방향으로의 단위 벡터를 계산하는 동작; 및
    상기 단위 벡터들에 기초하여 환경 조건들과 연관된 파라미터들을 계산하는 동작을 포함함 -; 및
    상기 적어도 하나의 프로세서에 통신가능하게 결합된 제어 시스템 - 상기 제어 시스템은 상기 파라미터들에 기초하여 상기 차량을 운행시키도록 구성됨 -
    을 포함하는, 차량.
  2. 제1항에 있어서, 상기 동작들은, 상기 아암의 작동 시에, 상기 제1 음향 방출 센서 정보, 상기 제2 음향 방출 센서 정보, 및 상기 제3 음향 방출 센서 정보에 기초하여 상기 와이퍼 날 어셈블리와 연관된 날의 연마 마모 상태를 결정하는 동작을 포함하는 것인, 차량.
  3. 제1항 또는 제2항에 있어서, 상기 파라미터들에 기초하여 상기 와이퍼 날 어셈블리를 작동시키는 또 다른 제어 시스템을 더 포함하는, 차량.
  4. 제1항 또는 제2항에 있어서, 상기 파라미터들을 계산하는 동작은 상기 제1 음향 방출 센서 정보, 상기 제2 음향 방출 센서 정보, 및 상기 제3 음향 방출 센서 정보에 적용되는 삼각측량에 기초하는 것인, 차량.
  5. 제1항 또는 제2항에 있어서, 상기 제1 타임스탬프, 상기 제2 타임스탬프, 및 상기 제3 타임스탬프는 타이밍 시스템으로부터 획득되는 것인, 차량.
  6. 제1항 또는 제2항에 있어서, 상기 동작들은 환경 조건들과 연관된 상기 파라미터들에 기초하여 상기 와이퍼 날 어셈블리의 속도를 제어하는 동작을 포함하는 것인, 차량.
  7. 제1항 또는 제2항에 있어서, 상기 동작들은 어느 한 위치에서의 기상(weather)과 연관된 기상 데이터와의 비교를 통해 상기 계산된 파라미터들을 검증하는 동작을 포함하는 것인, 차량.
  8. 제1항 또는 제2항에 있어서, 상기 동작들은 상기 제1 음향 방출 센서 정보, 제2 음향 방출 센서 정보, 및 제3 음향 방출 센서 정보에 기초하여 입자 유형을 결정하는 동작을 포함하는 것인, 차량.
  9. 제8항에 있어서, 상기 동작들은 연마 입자 유형이 상기 표면과 충돌했다는 결정에 응답하여 대체(alternative) 세척 기법을 사용하는 동작을 포함하는 것인, 차량.
  10. 방법으로서,
    적어도 하나의 프로세서를 이용하여, 차량의 표면과 충돌하는 입자들로부터 발생되는 진동을 검출하는 단계 - 제1 음향 방출 센서는 와이퍼 날 어셈블리의 아암 상의 제1 위치에 있고, 제2 음향 방출 센서는 상기 아암 상의 제2 위치에 있으며, 제3 음향 방출 센서는 상기 아암 상의 제3 위치에 있음 -;
    상기 적어도 하나의 프로세서를 이용하여, 이벤트에 대응하여, 상기 제1 음향 방출 센서로부터 제1 음향 방출 센서 정보, 상기 제2 음향 방출 센서로부터 제2 음향 방출 센서 정보, 그리고 상기 제3 음향 방출 센서로부터 제3 음향 방출 센서 정보를 수신하는 단계;
    상기 적어도 하나의 프로세서를 이용하여, 상기 제1 음향 방출 센서 정보와 연관된 제1 타임스탬프, 상기 제2 음향 방출 센서 정보와 연관된 제2 타임스탬프, 및 상기 제3 음향 방출 센서 정보와 연관된 제3 타임스탬프를 수신하는 단계;
    상기 제1 음향 방출 센서 정보, 상기 제2 음향 방출 센서 정보, 및 상기 제3 음향 방출 센서 정보, 상기 제1 타임스탬프, 상기 제2 타임스탬프, 및 상기 제3 타임스탬프, 및 상기 표면의 기하구조에 따라, 상기 적어도 하나의 프로세서를 이용하여, 각 음향 방출 센서로부터 상기 이벤트의 발생 방향으로의 단위 벡터를 계산하는 단계;
    상기 적어도 하나의 프로세서를 이용하여, 상기 단위 벡터들에 기초하여 환경 조건들과 연관된 파라미터들을 계산하는 단계; 및
    상기 적어도 하나의 프로세서를 이용하여, 상기 파라미터들에 기초하여 상기 차량을 운행시키는 단계를 포함하는, 방법.
  11. 제10항에 있어서, 상기 제1 음향 방출 센서 정보, 상기 제2 음향 방출 센서 정보, 및 상기 제3 음향 방출 센서 정보에 기초하여 상기 와이퍼 날 어셈블리와 연관된 날의 연마 마모 상태를 결정하는 단계를 포함하는, 방법.
  12. 제10항에 있어서, 상기 파라미터들을 계산하는 단계는 상기 제1 음향 방출 센서 정보, 상기 제2 음향 방출 센서 정보, 및 상기 제3 음향 방출 센서 정보에 적용되는 삼각측량에 적어도 부분적으로 기초하는 것인, 방법.
  13. 제10항에 있어서, 상기 제1 타임스탬프, 상기 제2 타임스탬프, 및 상기 제3 타임스탬프는 타이밍 시스템으로부터 획득되는 것인, 방법.
  14. 제10항에 있어서, 환경 조건들과 연관된 상기 파라미터들에 기초하여 상기 와이퍼 날 어셈블리의 속도를 제어하는 단계를 포함하는, 방법.
  15. 제10항에 있어서, 기상 데이터와의 비교를 통해 상기 계산된 파라미터들을 검증하는 단계를 포함하는, 방법.
  16. 제10항에 있어서, 상기 제1 음향 방출 센서 정보, 제2 음향 방출 센서 정보, 및 제3 음향 방출 센서 정보에 기초하여 입자 유형을 결정하는 단계를 포함하는, 방법.
  17. 제16항에 있어서, 연마 입자 유형이 상기 표면과 충돌했다는 결정에 응답하여 대체 세척 기법을 실행하는 단계를 포함하는, 방법.
  18. 제1 디바이스의 적어도 하나의 프로세서에 의한 실행을 위한 적어도 하나의 프로그램을 포함하는 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 적어도 하나의 프로그램은, 상기 적어도 하나의 프로세서에 의해 실행될 때 상기 제1 디바이스로 하여금 제10항 내지 제17항 중 어느 한 항의 방법을 수행하게 하는 명령어들을 포함하는, 비일시적 컴퓨터 판독가능 저장 매체.
KR1020220027533A 2021-12-22 2022-03-03 음향 방출 기반 디바이스 제어 KR102597967B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163292782P 2021-12-22 2021-12-22
US63/292,782 2021-12-22
US17/573,284 US20230192036A1 (en) 2021-12-22 2022-01-11 Acoustic emission based device control
US17/573,284 2022-01-11

Publications (2)

Publication Number Publication Date
KR20230096791A KR20230096791A (ko) 2023-06-30
KR102597967B1 true KR102597967B1 (ko) 2023-11-03

Family

ID=80820806

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220027533A KR102597967B1 (ko) 2021-12-22 2022-03-03 음향 방출 기반 디바이스 제어

Country Status (5)

Country Link
US (1) US20230192036A1 (ko)
KR (1) KR102597967B1 (ko)
CN (1) CN116337207A (ko)
DE (1) DE102022104057A1 (ko)
GB (1) GB2614340B (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017138282A (ja) 2016-02-05 2017-08-10 トヨタ自動車株式会社 自動運転システム
JP2019168432A (ja) 2018-03-26 2019-10-03 トヨタ自動車株式会社 自車位置推定装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011120867A1 (de) * 2011-12-12 2013-06-13 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zur Regenerfassung auf einer Windschutzscheibe
JP6411916B2 (ja) * 2015-02-26 2018-10-24 ラピスセミコンダクタ株式会社 半導体装置、ワイパシステム、及び移動体制御方法
KR102505300B1 (ko) * 2018-12-18 2023-03-02 모셔널 에이디 엘엘씨 복수의 모션 제약을 사용하는 차량의 동작
DK180545B1 (en) * 2019-01-29 2021-06-17 Motional Ad Llc Electric power steering torque compensation
EP3766746B1 (en) * 2019-07-15 2022-01-05 Bayerische Motoren Werke Aktiengesellschaft Method, device, computer program and computer program product for operating a vehicle
CN212556158U (zh) * 2020-04-27 2021-02-19 深圳市云传智联技术有限公司 一种基于压电传感技术的智能雨刷

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017138282A (ja) 2016-02-05 2017-08-10 トヨタ自動車株式会社 自動運転システム
JP2019168432A (ja) 2018-03-26 2019-10-03 トヨタ自動車株式会社 自車位置推定装置

Also Published As

Publication number Publication date
GB202201950D0 (en) 2022-03-30
US20230192036A1 (en) 2023-06-22
DE102022104057A1 (de) 2023-06-22
GB2614340A (en) 2023-07-05
KR20230096791A (ko) 2023-06-30
GB2614340B (en) 2024-01-10
CN116337207A (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
US10173646B1 (en) Sequential sensor cleaning system for autonomous vehicle
KR20230039486A (ko) 환경 제한 및 센서 이상 시스템 및 방법
GB2614090A (en) Multi-modal segmentation network for enhanced semantic labeling in mapping
GB2615627A (en) Curb-based feature extraction for localization and lane detection using radar
US20230066635A1 (en) Controlling vehicle performance based on data associated with an atmospheric condition
US20230296730A1 (en) Interchangeable lens systems
KR102597967B1 (ko) 음향 방출 기반 디바이스 제어
US20230087169A1 (en) Switchable wheel view mirrors
CN115808921A (zh) 用于运载工具的方法和系统
US20240123944A1 (en) Devices, systems, and methods for camera cleaning and flare reduction for vehicles
US20230159026A1 (en) Predicting Motion of Hypothetical Agents
US20230209253A1 (en) Autonomous vehicle with microphone safety
US20240051568A1 (en) Discriminator network for detecting out of operational design domain scenarios
WO2024081257A1 (en) Devices, systems, and methods for camera cleaning and flare reduction for vehicles
US20230227032A1 (en) Vehicle Dynamics Classification for Collision and Loss of Control Detection
US20240123914A1 (en) Vehicle sensor lens hood
US20230236313A1 (en) Thermal sensor data vehicle perception
US20230087119A1 (en) Switchable wheel view mirrors
US20230322270A1 (en) Tracker Position Updates for Vehicle Trajectory Generation
US20240048853A1 (en) Pulsed-Light Optical Imaging Systems for Autonomous Vehicles
US20230303124A1 (en) Predicting and controlling object crossings on vehicle routes
US20230001888A1 (en) Projecting infrared emissions for surface heating
US20240124009A1 (en) Optimizing alerts for vehicles experiencing stuck conditions
WO2024081585A1 (en) Vehicle sensor lens hood
GB2613040A (en) Motion planner constraint generation based on road surface hazards

Legal Events

Date Code Title Description
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant