KR20210013599A - 지능형 주행 제어 방법 및 장치, 전자 기기 - Google Patents

지능형 주행 제어 방법 및 장치, 전자 기기 Download PDF

Info

Publication number
KR20210013599A
KR20210013599A KR1020207036588A KR20207036588A KR20210013599A KR 20210013599 A KR20210013599 A KR 20210013599A KR 1020207036588 A KR1020207036588 A KR 1020207036588A KR 20207036588 A KR20207036588 A KR 20207036588A KR 20210013599 A KR20210013599 A KR 20210013599A
Authority
KR
South Korea
Prior art keywords
road
category
scenario
image
road image
Prior art date
Application number
KR1020207036588A
Other languages
English (en)
Inventor
구앙리앙 쳉
지안핑 시
Original Assignee
센스타임 그룹 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 센스타임 그룹 리미티드 filed Critical 센스타임 그룹 리미티드
Publication of KR20210013599A publication Critical patent/KR20210013599A/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105Speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/06Improving the dynamic response of the control system, e.g. improving the speed of regulation or avoiding hunting or overshoot
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0002Automatic control, details of type of controller or control system architecture
    • B60W2050/0004In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005Processor details or data handling, e.g. memory registers or chip architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/05Type of road, e.g. motorways, local streets, paved or unpaved roads
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/53Road markings, e.g. lane marker or crosswalk
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/18Braking system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10Longitudinal speed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Analysis (AREA)

Abstract

본 출원은 지능형 주행 제어 방법 및 장치, 전자 기기를 개시하며, 상기 지능형 주행 제어 방법은, 차량이 주행하는 도로의 도로 이미지를 획득하는 단계; 획득된 도로 이미지에 따라, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하는 단계; 및 결정된 상기 도로 시나리오의 카테고리에 따라, 상기 차량에 대해 지능형 주행 제어를 수행하는 단계를 포함한다.

Description

지능형 주행 제어 방법 및 장치, 전자 기기
관련 출원의 상호 참조
본 출원은 2019년 6월 19일에 중국 특허청에 제출한 출원 번호가 201910531192.1이고, 출원 명칭이 “지능형 주행 제어 방법 및 장치, 전자 기기”인 중국 특허 출원의 우선권을 요청하며, 그 전부 내용을 인용하여 본 출원에 결합한다.
본 출원은 컴퓨터 시각 기술에 관한 것으로, 특히 지능형 주행 제어 방법 및 장치, 전자 기기에 관한 것이다.
최근 몇년 동안, 컴퓨터 비전 기술은 빠르게 발전하고 있으며, 사람들은 훈련된 뉴럴 네트워크를 사용하여 이미지 분류, 물체 추적, 얼굴 인식 등과 같은 다양한 시각적 작업을 완료할 수 있다. 한편으로, 보조 주행 및 자동 주행 기술의 개선으로, 보조 주행 및 자동 주행과 관련된 요구 사항이 점점 더 많이 제안된다.
본 출원의 실시예는 지능형 주행 제어 방법 및 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 저장 매체를 제공한다.
본 출원의 실시예에 제공된 지능형 주행 제어 방법은,
차량이 주행하는 도로의 도로 이미지를 획득하는 단계;
획득된 도로 이미지에 따라, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하는 단계; 및
결정된 상기 도로 시나리오의 카테고리에 따라, 상기 차량에 대해 지능형 주행 제어를 수행하는 단계를 포함한다.
본 출원의 실시예에 제공된 지능형 주행 제어 장치는,
차량이 주행하는 도로의 도로 이미지를 획득하도록 구성된 획득 유닛;
획득된 도로 이미지에 따라, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하도록 구성된 결정 유닛; 및
결정된 상기 도로 시나리오의 카테고리에 따라, 상기 차량에 대해 지능형 주행 제어를 수행하도록 구성된 제어 유닛을 포함한다.
본 출원의 실시예에 제공된 전자 기기는,
실행 가능한 명령어를 저장하기 위한 메모리; 및
전술한 지능형 주행 제어 방법을 완료하기 위해 상기 실행 가능한 명령어를 실행하도록 구성된 프로세서를 포함한다
본 출원의 실시예에 제공된 컴퓨터 판독 가능한 코드를 포함하는 컴퓨터 프로그램으로서, 상기 컴퓨터 판독 가능한 코드가 기기에서 작동될 때, 상기 기기에서의 프로세서는 전술한 지능형 주행 제어 방법을 구현하기 위한 것이다.
본 출원의 실시예는 컴퓨터 판독 가능한 명령어를 저장하도록 구성된 컴퓨터 저장 매체를 제공하고, 상기 명령어가 실행될 때 전술한 지능형 주행 제어 방법이 구현된다.
본 출원의 상기 실시예에 제공된 지능형 주행 제어 방법 및 장치, 전자 기기, 컴퓨터 프로그램 및 컴퓨터 저장 매체에 기반하여, 차량이 주행하는 도로의 도로 이미지를 획득하고, 획득된 도로 이미지 중의 도로 시나리오에 대해 인식을 수행함으로써, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하여, 결정된 도로 시나리오의 카테고리에 기반하여 차량의 지능형 주행 제어를 구현한다.
도 1은 본 출원의 실시예에 제공된 지능형 주행 제어 방법의 흐름 예시도 1이다.
도 2는 본 출원의 실시예에 제공된 다양한 도로 시나리오의 카테고리의 모식도이다.
도 3은 본 출원의 실시예에 제공된 지능형 주행 제어 방법의 흐름 예시도 2이다.
도 4-1은 본 출원의 실시예에 제공된 인식 도로 시나리오의 카테고리의 원리도 1이다.
도 4-2는 본 출원의 실시예에 제공된 인식 도로 시나리오의 카테고리의 원리도 2이다.
도 4-3은 본 출원의 실시예에 제공된 뉴럴 네트워크의 구조도이다.
도 5는 본 출원의 실시예에 제공된 지능형 주행 제어 장치의 구조 구성 모식도이다.
아래에 도면을 참조하여 본 출원의 다양한 예시적 실시예를 상세히 설명한다. 유의해야 할 것은, 이러한 실시예에서 설명된 부품 및 단계의 상대적 배치, 디지털 표현식 및 수치는 달리 구체적으로 설명되지 않는 한, 본 출원의 범위를 한정하지 않는다.
적어도 하나의 예시적인 실시예에 대한 다음의 설명은 실제로 예시적인 것에 불과하며, 본 출원 및 그 응용이나 사용에 대한 어떠한 한정으로도 간주되지 않는다.
관련 기술 분야의 통상의 기술자에게 공지된 기술, 방법 및 기기는 상세하게 논의되지 않을 수 있지만, 적절한 경우, 상기 기술, 방법 및 기기는 명세서의 일부로 간주되어야 한다.
유의해야 할 것은, 다음의 도면에서 유사한 참조 번호 및 문자는 유사한 항목을 표시하므로, 어느 한 항목이 하나의 도면에서 정의되면, 후속 도면에서 추가로 논의될 필요가 없다.
본 출원의 실시 예는 컴퓨터 시스템/서버에 응용될 수 있으며, 이는 다수의 다른 범용 또는 특수 목적 컴퓨팅 시스템 환경 또는 구성과 함께 작동될 수 있다. 컴퓨터 시스템/서버와 함께 사용하기에 적합한 잘 알려진 컴퓨팅 시스템, 환경 및 구성 중 적어도 하나의 예는 개인용 컴퓨터 시스템, 서버 컴퓨터 시스템, 씬 클라이언트, 씩 클라이언트, 핸드 헬드 또는 랩톱 기기, 마이크로 프로세서 기반 시스템, 셋톱 박스, 프로그래머블 가전 제품, 네트워크 개인용 컴퓨터, 소형 컴퓨터 시스템, 메인 프레임 컴퓨터 시스템 및 상기 시스템 중 어느 하나를 포함하는 분산 클라우드 컴퓨팅 기술 환경을 포함하지만 이에 한정되지는 않는다.
본 출원의 실시예들의 기술적 솔루션을 구현하는 과정에서, 출원인은 적어도 다음과 같은 문제점을 발견하게 된다. 운전자가 운전할 때, 상이한 도로 시나리오에 따라 자신의 주행 속도 및 제동 강도를 결정해야 한다. 예를 들어, 정상적인 도로, 즉 운전자가 더 빠른 속도로 주행하더라도, 비상시 제동 조치를 취하고, 차량을 보다 부드럽게 정지하는 것이 더 쉽다. 하지만 비가 올 때, 운전자의 주행 속도가 너무 빨라서는 안되고, 지면이 미끄럽고, 마찰 계수가 상대적으로 작기 때문에, 제동 시 사고가 발생하기 쉬우며, 때로는 제동 시 후방 충돌이 발생한다. 더 심각한 경우에는, 눈 덮인 얼음 도로에서, 운전자는 매우 천천히 운전해야 하며, 물론 제동할 때에는 각별한 주의를 기울여야 한다. 상기 상황에서, 숙련된 운전자라도 일부 어려운 문제가 있을 수 있다. 상기 문제를 해결하기 위해, 본 출원의 실시예의 기술방안을 제안하며, 본 출원의 실시예의 기술방안은 상이한 도로 시나리오를 구별하고, 현재 도로를 정확하게 인식하기 위한 것으로서, 이는 보조 주행 및 자동 주행을 위해 정확한 주행 전략을 제공하여, 차량 주행 중 안전을 보장한다.
도 1은 본 출원의 실시예에 제공된 지능형 주행 제어 방법의 흐름 예시도 1이고, 도 1에 도시된 바와 같이, 상기 지능형 주행 제어 방법은 다음의 단계를 포함한다.
단계 101에 있어서, 차량이 주행하는 도로의 도로 이미지를 획득한다.
본 출원의 실시예에서, 상기 도로 이미지는 카메라 등의 이미지 수집 기기로부터 직접 획득한 이미지일 수 있거나, 다른 기기로부터 획득한 이미지일 수 있으며, 본 실시예는 도로 이미지의 획득 방식에 대해 한정하지 않는다.
일부 선택적인 실시형태에서, 차량에 배치된 이미지 수집 기기를 통해 차량이 주행하는 도로의 도로 이미지를 수집한다.
단계 102에 있어서, 획득된 도로 이미지에 따라, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정한다.
본 출원의 실시예에서, 도로 시나리오의 카테고리은 두 가지 상이한 상황을 포함할 수 있으며, 첫 번째 상황에서는 도로의 지리적 위치가 상이함에 따라, 아스팔트 도로, 시멘트 도로, 사막 도로, 흙 도로 등과 같이 도로 상의 커버가 상이하며; 두 번째 상황에서는 도로는 동일하지만, 도로가 위치한 환경이 변함으로 인해, 미끄러운 도로, 얼금 도로, 눈 내리는 날 도로 등과 같이 도로 상의 커버가 상이하다.
단계 103에 있어서, 결정된 상기 도로 시나리오의 카테고리에 따라, 상기 차량에 대해 지능형 주행 제어를 수행한다.
본 출원의 실시예는 새로운 분류 작업, 즉 도로 시나리오의 분류 작업을 정의한다. 도로 시나리오의 분류 작업에 대해, 도 2를 참조하면, 본 출원의 실시예는 아스팔트 도로, 시멘트 도로, 사막 도로, 흙 도로, 미끄러운 도로, 얼음 도로, 눈 내리는 날 도로과 같은 적어도 하나의 도로 시나리오의 카테고리를 명확하게 하며, 물론, 도로 시나리오는 다른 상황도 포함할 수 있고, 본 출원은 이에 한정하지 않는다.
본 출원의 실시예에서, 상기 단계 101 또는 단계 102를 통해 도로 이미지에서 도로 사나리오의 카테고리를 획득한 후, 상기 도로 시나리오의 카테고리에 따라, 상기 차량에 대해 지능형 주형 제어를 수행할 수 있다. 여기서, 상기 차량에 대한 지능형 주행 제어는 자동 주행 시나리오에 적용될 수 있으며, 보조 주행 시나리에 적용될 수도 있다.
예를 들어, 자동 주행 시나리오에서, 결정된 상기 도로 시나리오의 카테고리에 따라, 차량의 속도 제어 파라미터 및 제동력 제어 파라미터 중 적어도 하나를 결정하며; 결정된 차량의 속도 제어 파라미터 및 제동력 제어 파라미터 중 적어도 하나에 따라, 상기 차량의 구동 부품 및 제동 부품 중 적어도 하나를 제어함으로써, 도로 시나리오 제어 차량의 주행 속도에 따라, 주행 안전성을 향상시킨다.
예를 들어, 보조 주행 시나리오에서, 결정된 상기 도로 시나리오의 카테고리에 따라, 프롬프트 정보를 출력하는 단계를 포함하며; 상기 프롬프트 정보는, 상기 차량의 속도 제어 파라미터, 제동력 제어 파라미터, 경고 정보 중 적어도 하나를 포함한다.
운전자는 프롬프트 정보를 통해, 올바른 주행 결정을 내릴 수 있으므로, 주행 안전성이 향상될 수 있다. 예를 들어, 제시된 차량의 속도 제어 파라미터 및 제동력 제어 파라미터 중 적어도 하나를 참조하여 차량의 주행 속도를 조정하거나, 차량이 위험한 도로(예를 들어 미끄러운 도로, 얼음 도로, 또는 눈 내리는 날 도로 등)에서 빠르게 주행할 때, 운전자에게 제시된 차량의 속도 제어 파라미터 및 제동력 제어 파라미터 중 적어도 하나를 참조하도록 지시하거나, 또는 직접 경고 메시지를 제시하여 운전자가 속도를 줄이도록 지시한다. 여기서, 프롬프트 정보는 음성 정보, 문자 정보, 애니메이션 정보, 이미지 정보 중 적어도 하나일 수 있으며, 본 출원의 실시예는 프롬프트 정보의 구현 방식에 대해 한정하지 않는다. 선택적으로, 상기 프롬프트 정보는 음성 정보이므로, 운전자가 프롬프트 정보에 특별한 주의를 기울일 필요가 없다.
표 1은 7 가지 상이한 도로 시나리오의 카테고리에 각각 대응하는 속도 제어 파라미터 및 제동력 제어 파라미터이며, 여기서, 속도 제어 파라미터는 차량이 권장한 최대 작동 속도를 나타내기 위한 것이고, 제동력 제어 파라미터는 차량에 사용할 수 있는 제동력을 나타내기 위한 것이다.
도로 시나리오의 카테고리 속도 제어 파라미터 (km/h) 제동력 제어 파라미터
아스팔트 도로(건조) 100 높음 또는 중간
시멘트 도로(건조) 80 높음 또는 중간
사막 도로 80 중간
흙 도로 80 중간
미끄러운 도로 60 중간 또는 낮음
얼음 도로 40 약함
눈 내리는 날 도로 60 중간 또는 낮음
본 출원의 실시예의 기술방안에서, 차량이 주행하는 도로의 획득된 도로 이미지 중의 도로 시나리오에 대해 인식을 수행함으로써, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하며, 결정된 도로 시나리오의 카테고리에 기반하여 차량의 지능형 주행 제어를 구현한다.
도 3은 본 출원의 실시예에 제공된 지능형 주행 제어 방법의 흐름 예시도 2이고, 도 3에 도시된 바와 같이, 상기 지능형 주행 제어 방법은 다음의 단계를 포함한다.
단계 301에 있어서, 차량이 주행하는 도로의 도로 이미지를 획득한다.
본 출원의 실시예에서, 상기 도로 이미지는 카메라 등 이미지 수집 기기로부터 직접 획득된 이미지일 수 있거나, 다른 기기로부터 획득된 이미지일 수 있으며, 본 실시예는 도로 이미지의 획득 방식에 대해 한정하지 않는다.
단계 302에 있어서, 획득된 도로 이미지에 따라, 상기 도로 이미지 중의 도로가 아스팔트 도로, 시멘트 도로, 사막 도로, 흙 도로, 미끄러운 도로, 얼음 도로, 눈 내리는 날 도로 중 적어도 하나의 도로 시나리오의 카테고리에 속할 확률을 결정한다.
단계 303에 있어서, 상기 도로 이미지 중의 도로가 각 도로 시나리오의 카테고리에 속할 확률에 기반하여, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정한다.
상기 도로 이미지 중의 도로가 상이한 도로 시나리오의 카테고리에 속할 확률을 결정한 후, 상기 도로 이미지 중의 도로가 각 도로 시나리오의 카테고리에 속할 확률에 기반하여, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정한다. 본 출원의 일부 선택적인 실시예에서, 확률이 가장 높은 도로 시나리오의 카테고리를 상기 도로 이미지 중의 도로가 속하는 도로 시나리오의 카테고리로 취한다.
본 출원의 일부 선택적인 실시예에서, 뉴럴 네트워크를 이용하여 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하고, 여기서, 분류 작업에 사용되는 뉴럴 네트워크 중 어느 하나를 사용하여 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정할 수 있으며, 본 출원의 실시예는 뉴럴 네트워크의 네트워크 구조에 대해 한정하지 않으며, 예를 들어 뉴럴 네트워크는 잔여 네트워크 구조, 또는 VGG16네트워크 구조 등을 사용한다.
본 출원의 실시예의 기술방안은 뉴럴 네트워크를 사용하여 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하는 것에 한정되지 않고, 또한 비 뉴럴 네트워크 분류기를 사용하여 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정할 수 있으며, 여기서, 비 뉴럴 네트워크의 분류기는 예를 들어 서포트 벡터 머신(Support Vector Machine, SVM) 분류기, 랜덤 포레스트(Random Forest) 분류기 등일 수 있다.
본 출원의 실시예에서, 뉴럴 네트워크를 이용하여 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하고, 다음의 방식으로 구현할 수 있다.
방식 1에 있어서, 상기 획득된 도로 이미지를 뉴럴 네트워크에 입력하여, 상기 뉴럴 네트워크를 이용하여 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하며, 여기서, 상기 뉴럴 네트워크는 도로 시나리오의 카테고리가 마킹된 도로 이미지로 구성된 이미지 세트를 사용하여 훈련된다.
구체적으로, 뉴럴 네트워크를 사용하여 도로 이미지 중의 도로 시나리오의 카테고리를 결정하기 전에, 이미지 세트를 사용하여 먼저 상기 뉴럴 네트워크에 대해 감독 훈련을 수행하고, 상기 이미지 세트 중의 도로 이미지에는 도로 이미지 중의 도로 시나리오의 카테고리가 마킹되었다. 일부 선택적인 실시형태에서, 다음의 방식을 통해 뉴럴 네트워크에 대해 감독 훈련을 수행한다. 즉 이미지 세트 중의 도로 이미지를 샘플 이미지로서 뉴럴 네트워크에 입력하는 방식 - 상기 샘플 이미지에는 도로 시나리오의 카테고리가 마킹됨 - ; 상기 뉴럴 네트워크를 사용하여 상기 샘플 이미지 중의 도로가 아스팔트 도로, 시멘트 도로, 사막 도로, 흙 도로, 미끄러운 도로, 얼음 도로, 눈 내리는 날 도로 중 적어도 하나의 도로 시나리오의 유형에 속할 확률을 결정하는 방식; 상기 샘플 이미지 중의 도로가 각 도로 시나리오의 카테고리에 속할 확률에 기반하여, 상기 샘플 이미지 중의 도로 시나리오의 카테고리를 결정하는 방식; 예측된 상기 샘플 이미지 중의 도로 시나리오의 카테고리 및 표시된 상기 샘플 이미지의 도로 시나리오의 카테고리에 기반하여, 손실 함수의 값을 계산하는 방식; 상기 손실 함수의 값이 기설정된 조건을 만족하는지 인식하는 방식; 및 상기 손실 함수의 값이 기설정된 조건을 만족하지 못하는 것에 응답하여, 상기 손실 함수의 값에 기반하여 상기 뉴럴 네트워크 파라미터에 대해 조정을 수행한 후, 상기 손실 함수의 값이 기설정된 조건을 만족할 때까지, 상기 샘플 이미지 중의 도로 시나리오의 카테고리를 예측하는 동작을 반복적으로 실행하는 방식을 통해 상기 뉴럴 네트워크 훈련이 완료된다.
뉴럴 네트워크에 대한 훈련이 완료된 후, 훈련 완료된 뉴럴 네트워크를 사용하여 상기 도로 이미지 중의 도로가 아스팔트 도로, 시멘트 도로, 사막 도로, 흙 도로, 미끄러운 도로, 얼음 도로, 눈 내리는 날 도로 중 적어도 하나의 도로 시나리오의 카테고리에 속할 확률을 결정하며; 훈련 완료된 뉴럴 네트워크는 상기 도로 이미지 중의 도로가 각 도로 시나리오의 카테고리에 속할 확률에 기반하여, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하며, 예를 들어, 확률이 가장 높은 도로 시나리오의 카테고리를 도로 이미지 중의 도로가 속하는 도로 시나리오의 카테고리로 취한다.
도 4-1을 참조하면, 뉴럴 네트워크는 전체적으로 특징 추출 모듈 및 분류 모듈을 포함하며, 일부 선택적인 실시형태에서, 특징 추출 모듈은 컨볼루션 계층으로 구성되고, 분류 모듈은 전체 연결 계층으로 구성된다. 여기서, 특징 추출 모듈은 도로 이미지 중의 특징을 추출하기 위한 것이고, 특정 차원의 특징 벡터를 생성한다. 분류 모듈은 상기 특징 벡터에 대해 분류를 수행하기 위한 것이고, 즉 상기 특징 벡터를 N 개의 도로 시나리오에 매핑하는 카테고리에 대응하는 확률이며, 도 4-1에서 N=7을 예로 들면, 도로 이미지 중의 도로가 아스팔트 도로, 시멘트 도로, 사막 도로, 흙에 속할 확률을 각각 획득한다. 그리고, 뉴럴 네트워크 확률이 가장 높은 도로 시나리오의 카테고리를 상기 도로 이미지 중의 도로가 속하는 도로 시나리오의 카테고리로 취하며, 도 4-1에 도시된 바와 같이, 도로 이미지 중의 도로가 미끄러운 도로에 속할 확률이 가장 높으므로, 뉴럴 네트워크는 도로 이미지 중의 도로를 미끄러운 도로로 인식한다.
방식 2에 있어서, 획득된 도로 이미지에 따라 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하기 전에, 획득된 도로 이미지에 대해 클리핑을 수행하여, 클리핑된 도로 이미지를 획득하며; 여기서, 상기 차량이 주행하는 도로가 상기 클리핑된 도로 이미지에서 차지하는 비율은 상기 차량이 주행하는 도로가 상기 획득된 도로 이미지에서 차지하는 비율보다 크다. 그리고 상기 클리핑된 도로 이미지에 따라, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하며, 구체적으로, 상기 클리핑된 도로 이미지를 상기 뉴럴 네트워크에 입력하고, 상기 뉴럴 네트워크를 이용하여 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하며, 여기서, 상기 뉴럴 네트워크는 도로 시나리오의 카테고리가 마킹된 도로 이미지로 구성된 이미지 세트를 사용하여 훈련된다.
구체적으로, 획득된 도로 이미지에 대해 클리핑을 수행하여, 클리핑된 도로 이미지를 획득하고, 상기 클리핑된 도로 이미지를 상기 뉴럴 네트워크에 입력하여, 상기 뉴럴 네트워크를 사용하여 아스팔트 도로, 시멘트 도로, 사막 도로, 흙 도로, 미끄러운 도로, 얼음 도로, 눈 내리는 날 도로 중 적어도 하나의 클리핑된 도로 이미지 중의 도로를 결정하며; 뉴렬 네트워크는 클리핑된 도로 이미지 중의 도로가 각 도로 시나리오의 카테고리에 속할 확률에 기반하여, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정한다.
도 4-2를 참조하면, 도 4-2를 도 4-1과 비교하면, 클리핑 단계를 추가하고, 이는 도로 이미지의 일부 영역이 도로와 무관(예를 들어, 도로 이미지의 상반부가 하늘임)하기 때문에, 도로 이미지에 대해 분류를 수행할 때 일부 오 분류를 생성하며, 따라서, 도로 이미지를 인식하기 전에, 먼저 도로 이미지에 대해 클리핑을 수행하고, 클리핑 후 획득된 도로 이미지 중의 도로가 차지하는 비율은 증가한다. 일 실시 형태에서, 도로 이미지는 하단 가장거리 위의 40% 영역에서 클리핑하여 뉴럴 네트워크의 입력으로 취할 수 있다. 방식 2에서의 뉴럴 네트워크는 방식 1에서의 뉴럴 네트워크와 동일한 구조를 사용할 수 있으며, 구체적으로, 방식 2에서의 뉴럴 네트워크가 클리핑된 도로 이미지를 처리하는 과정은 방식 1에서의 뉴럴 네트워크가 도로 이미지를 처리하는 과정을 참조할 수 있으며, 여기서 더이상 설명하지 않는다.
상기 도 4-1 및 도 4-2에서, 뉴럴 네트워크의 구조는 일반적으로 특징 추출 모듈 및 분류 모듈을 포함한다. 여기서, 특징 추출 모듈은 컨볼루션 계층 및 풀링 계층을 포함하며, 또한, 컨볼루션 계층 및 풀링 계층 외에도, 특징 추출 모듈과 다른 일부 계층은 컨볼루션 계층과 풀링 계층 사이에 산재되어 있어 오버 피팅을 줄이고, 학습률을 높여, 기울기 소실 문제를 완화한다. 예를 들어, 특징 추출 모듈은 드롭 아웃(dropout) 계층을 포함할 수 있고, dropout 계층은 뉴럴 네트워크가 과적합되는 것을 방지할 수 있다. 다른 예를 들어, 특징 추출 모듈은 여기 계층(예를 들어, ReLU 계층)을 더 포함할 수 있고, 각 컨볼루션 계층 뒤에 하나의 여기 계층이 연결되고, 여기 계층은 비선형 인자를 추가하는 기능을 한다. 분류 모듈은 전체 연결 계층을 포함하고, 전체 연결 계층의 입력은 특징 추출 모듈의 출력이며, 도로 이미지의 특징 데이터를 각 도로 시나리오에 매핑함으로써, 도로 이미지 중의 도로가 각 도로 시나리오의 카테고리에 속할 확률을 회득하는 작용을 한다. 도 4-3은 선택된 뉴럴 네트워크의 구조도를 제공하며, 설명해야 할 것은, 뉴럴 네트워크에 포함된 각 계층의 개수는 본 출원에서 한정되지 않는다, 분류 작업에 사용되는 뉴럴 네트워크의 구조는 도로 이미지 중의 도로 시나리오의 분류를 구현하는데 사용될 수 있다.
단계 304에 있어서, 결정된 상기 도로 시나리오의 카테고리에 따라, 상기 차량에 대해 지능형 주행 제어를 수행한다.
본 출원의 실시예에서, 상기 단계 301 내지 단계 303을 통해 도로 이미지에서 도로 시나리오의 카테고리를 획득한 후, 상기 도로 시나리오의 카테고리에 따라, 상기 차량에 대해 지능형 주행 제어를 수행할 수 있다. 여기서, 상기 차량에 대해 지능형 주행 제어를 수행하는 것은 자동 주행 시나리오에 적용될 수 있으며, 보조 주행 시나리에 적용될 수도 있다. 자동 주행 시나리오에서의 방식은 도 1에 도시된 실시예에서의 자동 주행 시나리오를 참조할 수 있고, 보조 주행 시나리오에 적용되는 방식은 도 1에 도시된 실시예에서의 보조 주행 시나리오를 참조할 수 있으며, 여기서 더 이상 설명하지 않는다.
본 출원의 실시예의 기술방안에서, 획득된 차량이 주행하는 도로의 도로 이미지 중의 도로 시나리오에 대해 인식을 수행함으로써, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하며, 결정된 도로 시나리오의 카테고리에 기반하여 차량의 지능형 주행 제어를 구현한다.
도 5는 본 출원의 실시예에 제공된 지능형 주행 제어 장치의 구조 구성 모식도이고, 도 5에 도시된 바와 같이, 상기 지능형 주행 제어 장치는,
차량이 주행하는 도로의 도로 이미지를 획득하도록 구성된 획득 유닛(501);
획득된 도로 이미지에 따라, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하도록 구성된 결정 유닛(502); 및
결정된 상기 도로 시나리오의 카테고리에 따라, 상기 차량에 대해 지능형 주행 제어를 수행하도록 구성된 제어 유닛(503)을 포함한다.
본 출원의 일부 선택적인 실시예에서, 상기 결정 유닛(502)은, 획득된 도로 이미지에 따라, 상기 도로 이미지 중의 도로가 아스팔트 도로, 시멘트 도로, 사막 도로, 흙 도로, 미끄러운 도로, 얼음 도로, 눈 내리는 날 도로 중 적어도 하나의 도로 시나리오의 카테고리에 속할 확률을 결정하며; 상기 도로 이미지 중의 도로가 각 도로 시나리오의 카테고리에 속할 확률에 기반하여, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하도록 구성된다.
본 출원의 일부 선택적인 실시예에서, 상기 제어 유닛(503)은, 결정된 상기 도로 시나리오의 카테고리에 따라, 차량의 속도 제어 파라미터 및 제동력 제어 파라미터 중 적어도 하나를 결정하며; 결정된 차량의 속도 제어 파라미터 및 제동력 제어 파라미터 중 적어도 하나에 따라, 상기 차량의 구동 부품 및 제동 부품 중 적어도 하나를 제어하도록 구성된다.
본 출원의 일부 선택적인 실시예에서, 상기 제어 유닛(503)은, 결정된 상기 도로 시나리오의 카테고리에 따라, 프롬프트 정보를 출력하도록 구성되며; 상기 프롬프트 정보는,
상기 차량의 속도 제어 파라미터, 제동력 제어 파라미터, 경고 정보 중 적어도 하나를 포함한다.
본 출원의 일부 선택적인 실시예에서, 상기 결정 유닛(502)은, 상기 획득된 도로 이미지를 뉴럴 네트워크에 입력하여, 상기 뉴럴 네트워크를 이용하여 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정 - 상기 뉴럴 네트워크는 도로 시나리오의 카테고리가 마킹된 도로 이미지로 구성된 이미지 세트를 사용하여 훈련됨 - 하도록 구성된다.
본 출원의 일부 선택적인 실시예에서, 상기 지능형 제어 주행 장치는,
획득된 도로 이미지에 따라 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하기 전에, 획득된 도로 이미지에 대해 클리핑을 수행하여, 클리핑된 도로 이미지를 획득 - 상기 차량이 주행하는 도로가 상기 클리핑된 도로 이미지에서 차지하는 비율이 상기 차량이 주행하는 도로가 상기 획득된 도로 이미지에서 차지하는 비율보다 큼 - 하도록 구성된 클리핑 유닛(504)을 더 포함하며;
상기 결정 유닛(502)은, 상기 클리핑된 도로 이미지에 따라, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하도록 구성된다.
당업자는 도 5에 도시된 지능형 주행 제어 장치에서의 각 유닛의 구현 기능은 전술한 지능형 주행 제어 방법의 관련 설명을 참조하여 이해할 수 있음을 이해해야 한다. 도 5에 도시된 지능형 주행 제어 장치에서의 각 유닛읜 기능은 프로세서에서 실행되는 프로그램에 의해 구현될 수 있고, 특정 논리 회로를 통해 구현될 수 있다.
본 출원의 실시예에서 지능형 주행 제어 장치는 스프트웨어 기능 모듈 형태로 구현되어 독립적인 제품으로 판매 또는 사용되는 경우, 하나의 컴퓨터 저장 매체에 저장될 수 있다. 이러한 이해에 기반하여, 본 출원의 실시예의 기술방안은 본질적으로 또는 종래 기술에 기여하는 부분은 소프트웨어 제품의 형태로 구현될 수 있으며, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되고, 하나의 전자 기기(개인용 컴퓨터, 서버 또는 네트워크 기기 등일 수 있음)가 본 출원의 각 실시예에 따른 포인트 클라우드 데이터 처리 방법의 전부 또는 일부를 실행하도록 하는 일부 명령어를 포함한다. 전술한 저장 매체는, U 디스크, 모바일 하드 디스크, 읽기 전용 메모리(ROM, Read Only Memory), 자기 디스크 또는 CD-ROM 등 다양한 저장 프로그램 코드를 저장 가능할 수 있는 매체이며. 따라서, 본 출원의 실시예는 임의의 특정 하드웨어 및 소프트웨어 조합으로 한정되지 않는다.
이에 따라, 본 출원의 실시예는 컴퓨터 판독 가능한 코드가 저장되여 있는 컴퓨터 프로그램 제품을 더 제공하며, 상기 컴퓨터 판독 가능한 코드가 기기에서 작동될 때, 상기 기기 중의 프로세서는 다음의 단계를 수행한다.
차량이 주행하는 도로의 도로 이미지를 획득하며;
획득된 도로 이미지에 따라, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하며;
결정된 상기 도로 시나리오의 카테고리에 따라, 상기 차량에 대해 지능형 주행 제어를 수행한다.
본 출원의 일부 선택적인 실시예에서, 상기 컴퓨터 판독 가능한 코드가 기기에서 작동될 때, 상기 기기에서의 프로세서가 획득된 도로 이미지에 따라 실행될 때, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하는 단계는,
획득된 도로 이미지에 따라, 상기 도로 이미지 중의 도로가 아스팔트 도로, 시멘트 도로, 사막 도로, 흙 도로, 미끄러운 도로, 얼음 도로, 눈 내리는 날 도로 중 적어도 하나의 도로 시나리오의 카테고리에 속할 확률을 결정하는 단계; 및
상기 도로 이미지 중의 도로가 각 도로 시나리오의 카테고리에 속할 확률에 기반하여, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하는 단계를 포함한다.
본 출원의 일부 선택적인 실시예에서, 상기 컴퓨터 판독 가능한 코드가 기기에서 작동될 때, 상기 기기에서의 프로세서는 결정된 상기 도로 시나리오의 카테고리에 따라 실행되며, 상기 차량에 대해 지능형 주행 제어를 수행하는 단계는,
결정된 상기 도로 시나리오의 카테고리에 따라, 차량의 속도 제어 파라미터 및 제동력 제어 파라미터 중 적어도 하나를 결정하는 단계; 및
결정된 차량의 속도 제어 파라미터 및 제동력 제어 파라미터 중 적어도 하나에 따라, 상기 차량의 구동 부품 및 제동 부품 중 적어도 하나를 제어하는 단계를 포함한다.
본 출원의 일부 선택적인 실시예에서, 상기 컴퓨터 판독 가능한 코드가 기기에서 작동될 때, 상기 기기에서의 프로세서는 결정된 상기 도로 시나리오의 카테고리에 따라 실행되며, 상기 차량에 대해 지능형 주행 제어를 수행하는 단계는,
결정된 상기 도로 시나리오의 카테고리에 따라, 프롬프트 정보를 출력하는 단계를 포함하며; 상기 프롬프트 정보는,
상기 차량의 속도 제어 파라미터, 제동력 제어 파라미터, 경고 정보 중 적어도 하나를 포함한다.
본 출원의 일부 선택적인 실시예에서, 상기 컴퓨터 판독 가능한 코드가 기기에서 작동될 때, 상기 기기에서의 프로세서가 획득된 도로 이미지에 따라 실행될 때, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하는 단계는,
상기 획득된 도로 이미지를 뉴럴 네트워크에 입력하여, 상기 뉴럴 네트워크를 이용하여 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하는 단계 - 상기 뉴럴 네트워크는 도로 시나리오의 카테고리가 마킹된 도로 이미지로 구성된 이미지 세트를 사용하여 훈련됨 - 를 포함한다.
본 출원의 일부 선택적인 실시예에서, 상기 컴퓨터 판독 가능한 코드가 기기에서 작동될 때, 상기 기기에서의 프로세서가 획득된 도로 이미지에 따라, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하는 단계를 실행하기 전에,
획득된 도로 이미지에 대해 클리핑을 수행하여, 클리핑된 도로 이미지를 획득하는 단계 - 상기 차량이 주행하는 도로가 상기 클리핑된 도로 이미지에서 차지하는 비율이 상기 차량이 주행하는 도로가 상기 획득된 도로 이미지에서 차지하는 비율보다 큼 - 를 더 실행하며;
상기 컴퓨터 판독 가능한 코드가 기기에서 작동될 때, 상기 기기에서의 프로세서가 획득된 도로 이미지에 따라, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하는 단계를 실행하는 단계는,
상기 클리핑된 도로 이미지에 따라, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하는 단계를 포함한다.
도 6은 본 출원의 실시예의 전자 기기의 구조 구성 모식도이고, 도 6에 도시된 바와 같이, 전자 기기(600)는 하나 또는 복수 개의 (도면에서는 하나만 도시함) 프로세서(6002)(프로세서(6002)는 마이크로 컨트롤러 유닛(MCU, Micro Controller Unit) 또는 필드 프로그래머블 게이트 어레이(FPGA, Field Programmable Gate Array) 등의 처리 장치를 포함하지만 이에 한정되지 않음), 데이터를 저장하기 위한 메모리(6004)를 포함할 수 있으며, 통신 기능을 위한 전송 장치(6006)를 더 포함할 수 있다. 당업자는 도 6에 도시된 구조는 예일 뿐이며, 상기 전자 장치의 구조에 대해 한정하지 않는다는 것을 이해할 수 있다. 예를 들어, 전자 기기(600)는 도 6에서 도시된 요소보다 많거나 적은 구성 요소를 더 포함할 수 있고, 또는 도 6에 도시된 것과 상이한 구성을 갖는다.
메모리(6004)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 하나 또는 복수 개의 자기 저장 장치, 플래시 메모리, 또는 다른 비 휘발성 솔리드 스테이트 메모리와 같은 비 휘발성 메모리를 포함할 수 있다. 일부 실시예에서, 메모리(6004)는 프로세서(6002)에 대해 원격으로 배치된 메모리를 포함할 수 있고, 이러한 원격 메모리는 네트워크를 통해 컴퓨터 기기(600)에 연결될 수 있다. 상기 네트워크의 실시예는 인터넷, 인트라넷, 근거리 통신망, 이동 통신 네트워크 및 이들의 조합을 포함하지만 이에 한정되지 않는다.
전송 장치(6006)는 네트워크를 통해 데이터를 수신하거나 송신한다. 전술한 네트워크의 구체적인 실시예는 전자 기기(600)의 통신 사업자가 제공하는 무선 네트워크를 포함할 수 있다. 하나의 실시예에서, 전송 장치(6006)는 하나의 네트워크 인터페이스 컨트롤러(NIC, Network Interface Controller)를 포함하고, 기지국은 다른 네트워크 기기와 연결되어 인터넷과 통신할 수 있다. 하나의 실시예에서, 전송 장치(6006)는 무선 주파수(RF, Radio Frequency) 모듈일 수 있고, 이는 무선 방식을 통해 인터넷과 통신하는데 사용된다.
메모리(6004)는 실행 가능한 명령어(소프트웨어 프로그램 및 모듈이라고 함)를 저장하는데 사용될 수 있으며, 프로세서(6002)는 메모리(6004)에 저장된 실행 가능한 명령어를 실행함으로써,
차량이 주행하는 도로의 도로 이미지를 획득하는 단계;
획득된 도로 이미지에 따라, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하는 단계; 및
결정된 상기 도로 시나리오의 카테고리에 따라, 상기 차량에 대해 지능형 주행 제어를 수행하는 단계를 완료한다.
본 출원의 일부 선택적인 실시예에서, 상기 프로세서(6002)는, 상기 실행 가능한 명령어를 실행함으로써 획득된 도로 이미지에 따라, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하는 단계를 완료하도록 구성되며,
획득된 도로 이미지에 따라, 상기 도로 이미지 중의 도로가 아스팔트 도로, 시멘트 도로, 사막 도로, 흙 도로, 미끄러운 도로, 얼음 도로, 눈 내리는 날 도로 중 적어도 하나의 도로 시나리오의 카테고리에 속할 확률을 결정하는 단계; 및
상기 도로 이미지 중의 도로가 각 도로 시나리오의 카테고리에 속할 확률에 기반하여, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하는 단계를 포함한다.
본 출원의 일부 선택적인 실시예에서, 상기 프로세서(6002)는, 상기 실행 가능한 명령어를 실행함으로써 상기 도로 시나리오의 카테고리에 따라, 상기 차량에 대해 지능형 주행 제어를 수행하는 단계를 완료하도록 구성되며,
결정된 상기 도로 시나리오의 카테고리에 따라, 차량의 속도 제어 파라미터 및 제동력 제어 파라미터 중 적어도 하나를 결정하는 단계; 및
결정된 차량의 속도 제어 파라미터 및 제동력 제어 파라미터 중 적어도 하나에 따라, 상기 차량의 구동 부품 및 제동 부품 중 적어도 하나를 제어하는 단계를 포함한다.
본 출원의 일부 선택적인 실시예에서, 상기 프로세서(6002)는, 상기 실행 가능한 명령어를 실행함으로써 상기 도로 시나리오의 카테고리에 따라, 상기 차량에서 지능형 주행 제어를 수행하는 단계를 완료하도록 구성되며,
결정된 상기 도로 시나리오의 카테고리에 따라, 프롬프트 정보를 출력하는 단계를 포함하며; 상기 프롬프트 정보는,
상기 차량의 속도 제어 파라미터, 제동력 제어 파라미터, 경고 정보 중 적어도 하나를 포함한다.
본 출원의 일부 선택적인 실시예에서, 상기 프로세서(6002)는, 상기 실행 가능한 명령어를 실행함으로써 획득된 도로 이미지에 따라, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하는 단계를 완료하도록 구성되며,
상기 획득된 도로 이미지를 뉴럴 네트워크에 입력하여, 상기 뉴럴 네트워크를 이용하여 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하는 단계 - 상기 뉴럴 네트워크는 도로 시나리오의 카테고리가 마킹된 도로 이미지로 구성된 이미지 세트를 사용하여 훈련됨 - 를 포함한다.
본 출원의 일부 선택적인 실시예에서, 상기 프로세서(6002)는, 획득된 도로 이미지에 따라 상기 도로 이지미 주의 도로 시나리오의 카테고리를 결정하는 단계를 수행하기 전에, 상기 실행 가능한 명령어를 실행함으로써,
획득된 도로 이미지에 대해 클리핑을 수행하여, 클리핑된 도로 이미지를 획득하는 단계 - 상기 차량이 주행하는 도로가 상기 클리핑된 도로 이미지에서 차지하는 비율이 상기 차량이 주행하는 도로가 상기 획득된 도로 이미지에서 차지하는 비율보다 큼 - 를 완료하도록 구성되며;
상기 프로세서(6002)는, 상기 실행 가능한 명령어를 실행함으로써 획득된 도로 이미지에 따라, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하는 단계를 완료하기 위한 것으로서,
상기 클리핑된 도로 이미지에 따라, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하는 단계를 포함한다.
본 출원의 실시예에 기재된 기술방안 사이는, 충돌되지 않는 한, 임의로 조합할 수 있다.
본 출원에 의해 제공된 몇 개의 실시예에서, 이해할 수 있는 것은, 개시된 방법 및 스마트 기기는, 다른 방식으로 구현될 수 있다. 이상에서 설명한 기기 실시예는 다만 예시적인 것이고, 예를 들면 상기 유닛의 분할은 다만 논리적 기능 분할일 뿐이고 실제 구현 시 다른 분할 방식이 있을 수 있으며, 예를 들어, 복수의 유닛 또는 컴포넌트는 다른 하나의 시스템에 결합되거나 통합될 수 있거나, 일부 특징은 무시되거나 실행되지 않을 수 있다. 또한, 표시되거나 논의된 각 구성 부분은 서로 결합되거나, 직접 결합되거나, 통신 연결은 일부 인터페이스, 기기 또는 유닛을 통한 간접 결합 또는 통신 연결일 수 있으며, 전기적, 기계적 또는 다른 형태일 수 있다.
상기 분리된 부재로서 설명된 유닛은 물리적으로 분리될 수도 있고 물리적으로 분리되지 않을 수도 있으며, 유닛으로 디스플레이된 부재는 물리적 유닛일 수도 있고 아닐 수도 있으며, 즉 동일한 장소에 위치할 수도 있고, 또는 복수 개의 네트워크 유닛에 분포될 수도 있으며; 실제 필요에 따라 그 중의 일부 또는 전부를 선택하여 실시예의 방안의 목적을 구현할 수 있다.
또한, 본 출원의 각 실시예 중의 각 기능 유닛은 모두 하나의 제2 처리 유닛에 통합될 수 있으며, 각 유닛은 각각 단독적으로 하나의 유닛으로 사용될 수 있으며, 둘 또는 둘 이상의 유닛이 하나의 유닛에 통합될 수 있으며; 상기 통합된 유닛은 하드웨어의 형태로 구현될 수 있으며, 소프트웨어 기능 유닛의 형태로 구현될 수도 있다.
이상의 설명은 다만 본 발명의 구체적인 실시 형태일뿐이고, 본 발명의 보호 범위는 이에 한정되지 않는다. 본 발명이 속하는 기술 분야의 통상의 기술자라면, 본 발명에서 개시된 기술적 범위 내의 변화 또는 교체가 모두 본 출원의 보호 범위 내에 속해야 함을 쉽게 알 수 있을 것이다.

Claims (15)

  1. 지능형 주행 제어 방법으로서,
    차량이 주행하는 도로의 도로 이미지를 획득하는 단계;
    획득된 도로 이미지에 따라, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하는 단계; 및
    결정된 상기 도로 시나리오의 카테고리에 따라, 상기 차량에 대해 지능형 주행 제어를 수행하는 단계를 포함하는 것을 특징으로 하는 지능형 주행 제어 방법.
  2. 제1항에 있어서,
    상기 획득된 도로 이미지에 따라, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하는 단계는,
    획득된 도로 이미지에 따라, 상기 도로 이미지 중의 도로가 아스팔트 도로, 시멘트 도로, 사막 도로, 흙 도로, 미끄러운 도로, 얼음 도로, 눈 내리는 날 도로 중 적어도 하나의 도로 시나리오의 카테고리에 속할 확률을 결정하는 단계; 및
    상기 도로 이미지 중의 도로가 각 도로 시나리오의 카테고리에 속할 확률에 기반하여, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하는 단계를 포함하는 것을 특징으로 하는 지능형 주행 제어 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 결정된 상기 도로 시나리오의 카테고리에 따라, 상기 차량에 대해 지능형 주행 제어를 수행하는 단계는,
    결정된 상기 도로 시나리오의 카테고리에 따라, 차량의 속도 제어 파라미터 및 제동력 제어 파라미터 중 적어도 하나를 결정하는 단계; 및
    결정된 차량의 속도 제어 파라미터 및 제동력 제어 파라미터 중 적어도 하나에 따라, 상기 차량의 구동 부품 및 제동 부품 중 적어도 하나를 제어하는 단계를 포함하는 것을 특징으로 하는 지능형 주행 제어 방법.
  4. 제1항 또는 제2항에 있어서,
    상기 결정된 상기 도로 시나리오의 카테고리에 따라, 상기 차량에 대해 지능형 주행 제어를 수행하는 단계는,
    결정된 상기 도로 시나리오의 카테고리에 따라, 프롬프트 정보를 출력하는 단계를 포함하며; 상기 프롬프트 정보는,
    상기 차량의 속도 제어 파라미터, 제동력 제어 파라미터, 경고 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 지능형 주행 제어 방법.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 획득된 도로 이미지에 따라, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하는 단계는,
    상기 획득된 도로 이미지를 뉴럴 네트워크에 입력하여, 상기 뉴럴 네트워크를 이용하여 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하는 단계 - 상기 뉴럴 네트워크는 도로 시나리오의 카테고리가 마킹된 도로 이미지로 구성된 이미지 세트를 사용하여 훈련됨 - 를 포함하는 것을 특징으로 하는 지능형 주행 제어 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    획득된 도로 이미지에 따라 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하기 전에, 상기 지능형 주행 제어 방법은,
    획득된 도로 이미지에 대해 클리핑을 수행하여, 클리핑된 도로 이미지를 획득하는 단계 - 상기 차량이 주행하는 도로가 상기 클리핑된 도로 이미지에서 차지하는 비율이 상기 차량이 주행하는 도로가 상기 획득된 도로 이미지에서 차지하는 비율보다 큼 - 를 더 포함하며;
    상기 획득된 도로 이미지에 따라, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하는 단계는,
    상기 클리핑된 도로 이미지에 따라, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하는 단계를 포함하는 것을 특징으로 하는 지능형 주행 제어 방법.
  7. 지능형 주행 제어 장치로서,
    차량이 주행하는 도로의 도로 이미지를 획득하도록 구성된 획득 유닛;
    획득된 도로 이미지에 따라, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하도록 구성된 결정 유닛; 및
    결정된 상기 도로 시나리오의 카테고리에 따라, 상기 차량에 대해 지능형 주행 제어를 수행하도록 구성된 제어 유닛을 포함하는 것을 특징으로 하는 지능형 주행 제어 장치.
  8. 제7항에 있어서,
    상기 결정 유닛은, 획득된 도로 이미지에 따라, 상기 도로 이미지 중의 도로가 아스팔트 도로, 시멘트 도로, 사막 도로, 흙 도로, 미끄러운 도로, 얼음 도로, 눈 내리는 날 도로 중 적어도 하나의 도로 시나리오의 카테고리에 속할 확률을 결정하며; 상기 도로 이미지 중의 도로가 각 도로 시나리오의 카테고리에 속할 확률에 기반하여, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하도록 구성된 것을 특징으로 하는 지능형 주행 제어 장치.
  9. 제7항 또는 제8항에 있어서,
    상기 제어 유닛은, 결정된 상기 도로 시나리오의 카테고리에 따라, 차량의 속도 제어 파라미터 및 제동력 제어 파라미터 중 적어도 하나를 결정하며; 결정된 차량의 속도 제어 파라미터 및 제동력 제어 파라미터 중 적어도 하나에 따라, 상기 차량의 구동 부품 및 제동 부품 중 적어도 하나를 제어하도록 구성된 것을 특징으로 하는 지능형 주행 제어 장치.
  10. 제7항 또는 제8항에 있어서,
    상기 제어 유닛은, 결정된 상기 도로 시나리오의 카테고리에 따라, 프롬프트 정보를 출력하도록 구성되며; 상기 프롬프트 정보는,
    상기 차량의 속도 제어 파라미터, 제동력 제어 파라미터, 경고 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 지능형 주행 제어 장치.
  11. 제7항 내지 제10항 중 어느 한 항에 있어서,
    상기 결정 유닛은, 상기 획득된 도로 이미지를 뉴럴 네트워크에 입력하여, 상기 뉴럴 네트워크를 이용하여 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정 - 상기 뉴럴 네트워크는 도로 시나리오의 카테고리가 마킹된 도로 이미지로 구성된 이미지 세트를 사용하여 훈련됨 - 하도록 구성된 것을 특징으로 하는 지능형 주행 제어 장치.
  12. 제7항 내지 제11항 중 어느 한 항에 있어서,
    상기 지능형 제어 주행 장치는,
    획득된 도로 이미지에 따라 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하기 전에, 획득된 도로 이미지에 대해 클리핑을 수행하여, 클리핑된 도로 이미지를 획득 - 상기 차량이 주행하는 도로가 상기 클리핑된 도로 이미지에서 차지하는 비율이 상기 차량이 주행하는 도로가 상기 획득된 도로 이미지에서 차지하는 비율보다 큼 - 하도록 구성된 클리핑 유닛을 더 포함하며;
    상기 결정 유닛은, 상기 클리핑된 도로 이미지에 따라, 상기 도로 이미지 중의 도로 시나리오의 카테고리를 결정하도록 구성된 것을 특징으로 하는 지능형 주행 제어 장치.
  13. 전자 기기로서,
    실행 가능한 명령어를 저장하기 위한 메모리; 및
    제1항 내지 제6항 중 어느 한 항에 따른 지능형 제어 주행 방법을 완료하기 위해 상기 실행 가능한 명령어를 실행하도록 구성된 프로세서를 포함하는 것을 특징으로 하는 전자 기기.
  14. 컴퓨터 판독 가능한 코드를 포함하는 컴퓨터 프로그램으로서,
    상기 컴퓨터 판독 가능한 코드가 기기에서 작동될 때, 상기 기기에서의 프로세서는 제1항 내지 제6항 중 어느 한 항에 따른 상기 지능형 주행 제어 방법을 구현하기 위한 명령어를 실행하는 것을 특징으로 하는 컴퓨터 프로그램.
  15. 컴퓨터 판독 가능한 명령어를 저장하기 위한 컴퓨터 저장 매체로서,
    상기 명령어가 실행될 때, 제1항 내지 제6항 중 어느 한 항에 따른 지능형 주행 제어 방법을 구현하기 위한 것을 특징으로 하는 컴퓨터 저장 매체.
KR1020207036588A 2019-06-19 2019-09-26 지능형 주행 제어 방법 및 장치, 전자 기기 KR20210013599A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910531192.1 2019-06-19
CN201910531192.1A CN112109717A (zh) 2019-06-19 2019-06-19 一种智能驾驶控制方法及装置、电子设备
PCT/CN2019/108282 WO2020252971A1 (zh) 2019-06-19 2019-09-26 一种智能驾驶控制方法及装置、电子设备

Publications (1)

Publication Number Publication Date
KR20210013599A true KR20210013599A (ko) 2021-02-04

Family

ID=73795532

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207036588A KR20210013599A (ko) 2019-06-19 2019-09-26 지능형 주행 제어 방법 및 장치, 전자 기기

Country Status (6)

Country Link
US (1) US20210070318A1 (ko)
JP (1) JP2021531545A (ko)
KR (1) KR20210013599A (ko)
CN (1) CN112109717A (ko)
SG (1) SG11202011767QA (ko)
WO (1) WO2020252971A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3118747A1 (fr) * 2021-01-11 2022-07-15 Psa Automobiles Sa Procédé et dispositif de détermination d’information représentative d’adhérence entre un véhicule et un revêtement d’une route
CN112758103B (zh) * 2021-01-26 2022-06-17 北京罗克维尔斯科技有限公司 一种车辆控制方法及装置
CN113096517B (zh) * 2021-04-13 2022-09-30 北京工业大学 基于5g和自动驾驶的路面病害智能检测小车及沙盘展示系统
CN113239901B (zh) * 2021-06-17 2022-09-27 北京三快在线科技有限公司 场景识别方法、装置、设备及存储介质
US20240199049A1 (en) * 2022-12-19 2024-06-20 Lytx, Inc. Inclement weather detection
CN117437608A (zh) * 2023-11-16 2024-01-23 元橡科技(北京)有限公司 一种全地形路面类型识别方法及系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090047249A (ko) * 2007-11-07 2009-05-12 현대자동차주식회사 노면 상태 검출을 통한 차량 안전제어방법
US9734425B2 (en) * 2015-02-11 2017-08-15 Qualcomm Incorporated Environmental scene condition detection
CN108074409A (zh) * 2016-11-11 2018-05-25 大陆汽车投资(上海)有限公司 道路安全驾驶辅助系统
EP3392800A1 (en) * 2017-04-21 2018-10-24 Continental Automotive GmbH Device for determining a weather state
JP6833630B2 (ja) * 2017-06-22 2021-02-24 株式会社東芝 物体検出装置、物体検出方法およびプログラム
CN107554420A (zh) * 2017-09-11 2018-01-09 安徽实运信息科技有限责任公司 一种基于道路环境的安全车距报警系统
CN108072406A (zh) * 2017-11-17 2018-05-25 南京视莱尔汽车电子有限公司 一种自动驾驶汽车车速与路面转台综合评估方法
CN107977641A (zh) * 2017-12-14 2018-05-01 东软集团股份有限公司 一种智能识别地形的方法、装置、车载终端及车辆
CN111095291B (zh) * 2018-02-27 2024-04-09 辉达公司 由自动驾驶车辆实时检测车道和边界
CN108508895A (zh) * 2018-04-12 2018-09-07 鄂尔多斯市普渡科技有限公司 一种无人驾驶汽车路面探测装置及探测方法
US10837793B2 (en) * 2018-06-12 2020-11-17 Volvo Car Corporation System and method for utilizing aggregated weather data for road surface condition and road friction estimates
CN109460738B (zh) * 2018-11-14 2019-09-27 吉林大学 一种基于无损失函数的深度卷积神经网络的路面类型估算方法

Also Published As

Publication number Publication date
JP2021531545A (ja) 2021-11-18
US20210070318A1 (en) 2021-03-11
WO2020252971A1 (zh) 2020-12-24
CN112109717A (zh) 2020-12-22
SG11202011767QA (en) 2021-01-28

Similar Documents

Publication Publication Date Title
KR20210013599A (ko) 지능형 주행 제어 방법 및 장치, 전자 기기
US11475770B2 (en) Electronic device, warning message providing method therefor, and non-transitory computer-readable recording medium
US20200164891A1 (en) Intelligent vehicle action decisions
CN110832497B (zh) 用于自治系统的对象过滤和统一表示形式的系统和方法
CN111666714B (zh) 自动驾驶仿真场景识别的方法及装置
Jin et al. Gauss mixture hidden Markov model to characterise and model discretionary lane‐change behaviours for autonomous vehicles
US11167754B2 (en) Systems and methods for trajectory based safekeeping of vehicles
US20210316722A1 (en) Systems and methods for trajectory based safekeeping of vehicles
CN117157678A (zh) 用于基于图的全景分割的方法和系统
US20220227391A1 (en) Systems and methods for scenario dependent trajectory scoring
US20230391357A1 (en) Methods and apparatus for natural language based scenario discovery to train a machine learning model for a driving system
Gurău et al. Fit for purpose? predicting perception performance based on past experience
Hodges et al. Deep learning for driverless vehicles
US11960292B2 (en) Method and system for developing autonomous vehicle training simulations
DE112020003411T5 (de) Fahrzeugsteuerung in geographischen steuerzonen
CN111144361A (zh) 一种基于二值化cgan网络的公路车道检测方法
EP4138039A2 (en) System and method for hybrid lidar segmentation with outlier detection
WO2023230740A1 (zh) 一种异常驾驶行为识别的方法、装置和交通工具
Tran et al. Pedestrian activity prediction based on semantic segmentation and hybrid of machines
Galanis et al. Weather-based road condition estimation in the era of Internet-of-Vehicles (IoV)
KR20230098030A (ko) 온보드 데이터 처리 방법, 장치, 전자기기 및 저장매체
US11830362B2 (en) Generating ice hazard map based on weather data transmitted by vehicles
Yuan et al. A centralised training algorithm with D3QN for scalable regular unmanned ground vehicle formation maintenance
Lim et al. Object Detection in Autonomous Vehicles: A Performance Analysis
US12026953B2 (en) Systems and methods for utilizing machine learning for vehicle detection of adverse conditions

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application