KR102564430B1 - 차량의 제어 방법, 장치 및 차량 - Google Patents

차량의 제어 방법, 장치 및 차량 Download PDF

Info

Publication number
KR102564430B1
KR102564430B1 KR1020210082939A KR20210082939A KR102564430B1 KR 102564430 B1 KR102564430 B1 KR 102564430B1 KR 1020210082939 A KR1020210082939 A KR 1020210082939A KR 20210082939 A KR20210082939 A KR 20210082939A KR 102564430 B1 KR102564430 B1 KR 102564430B1
Authority
KR
South Korea
Prior art keywords
vehicle
gradient information
image frame
acquiring
longitudinal acceleration
Prior art date
Application number
KR1020210082939A
Other languages
English (en)
Other versions
KR20210089602A (ko
Inventor
리엔촨 쟝
Original Assignee
베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. filed Critical 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Publication of KR20210089602A publication Critical patent/KR20210089602A/ko
Application granted granted Critical
Publication of KR102564430B1 publication Critical patent/KR102564430B1/ko

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/06Automatic manoeuvring for parking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10Path keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • B60W40/076Slope angle of the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/107Longitudinal acceleration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0002Automatic control, details of type of controller or control system architecture
    • B60W2050/0004In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005Processor details or data handling, e.g. memory registers or chip architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • B60W2520/105Longitudinal acceleration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/15Road slope, i.e. the inclination of a road segment in the longitudinal direction
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4042Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10Longitudinal speed
    • B60W2720/106Longitudinal acceleration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 출원은 무인 운전과 딥 러닝 기술분야에 관한 차량의 제어 방법, 장치 및 차량을 개시한다. 구체적인 구현방안은, 차량 전방의 현재 이미지를 획득하고 차량의 주차 궤적 경로를 획득하며; 주차 궤적 경로에 대응되는 심층 컨벌루션 신경망 모델을 획득하고; 현재 이미지를 심층 컨벌루션 신경망 모델에 입력하여 차량 전방 구간의 경사도 정보를 획득하며; 경사도 정보에 따라 차량의 종방향 가속도를 결정하고; 및 종방향 가속도에 따라 차량을 제어한다. 본 방안은 차량이 경사도를 획득하는 원가를 절감시킨다.

Description

차량의 제어 방법, 장치 및 차량{METHOD AND DEVICE FOR CONTROLLING VEHICLE, AND VEHICLE}
본 출원은 차량 제어 기술분야에 관한 것으로, 구체적으로는 무인 운전과 딥 러닝 기술분야에 관한 것이며, 특히 차량의 제어 방법, 장치 및 차량에 관한 것이다.
차량 보조 운전 기술의 발달과 더불어 차량의 지능화 발전 추세도 급격히 증가하고 있다. 지능형 주차를 실현하고 운전자가 자동으로 주차할 수 있도록 하기 위하여 무인 주차 시스템이 뒤따라 나타났다.
무인 주차 시스템 (Automatic Parking System, APS)은 주요하게 센싱 유닛, 중앙 제어 장치, 스티어링 액추에이터 및 인간-컴퓨터 인터랙션 모듈로 구성되고 사용자의 명령에 따라 지정된 주차 장소에 차량을 자동으로 주차할 수 있다. 차량 전방 구간의 경사도 정보는 차량의 자율 제어에 있어서 매우 중요하다.
본 출원은 차량의 제어 방법, 차량의 제어 장치, 차량 및 저장매체를 제공한다.
제1 양태에 따르면,
차량 전방의 현재 이미지를 획득하고 차량의 주차 궤적 경로를 획득하는 단계;
주차 궤적 경로에 대응되는 심층 컨벌루션 신경망 모델을 획득하는 단계;
현재 이미지를 심층 컨벌루션 신경망 모델에 입력하여 차량 전방 구간의 경사도 정보를 획득하는 단계;
경사도 정보에 따라 차량의 종방향 가속도를 결정하는 단계; 및
종방향 가속도에 따라 차량을 제어하는 단계를 포함하는 차량의 제어 방법을 제공한다.
제2 양태에 따르면,
차량 전방의 현재 이미지를 획득하고 차량의 주차 궤적 경로를 획득하는 제1 획득 모듈;
주차 궤적 경로에 대응되는 심층 컨벌루션 신경망 모델을 획득하는 제2 획득 모듈;
현재 이미지를 심층 컨벌루션 신경망 모델에 입력하여 차량 전방 구간의 경사도 정보를 획득하는 제3 획득 모듈;
경사도 정보에 따라 차량의 종방향 가속도를 결정하는 제1 결정 모듈;
종방향 가속도에 따라 차량을 제어하는 제어 모듈을 포함하는 차량의 제어 장치를 제공한다.
제3 양태에 따르면, 차량을 제공하는데,
적어도 하나의 프로세서; 및
상기 적어도 하나의 프로세서와 통신 연결하는 메모리를 포함하는 차량에 있어서,
상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되며 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어 상기 적어도 하나의 프로세서가 본 출원의 제1 양태에 따른 차량의 제어 방법을 수행하도록 한다.
제4 양태에 따르면, 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장매체를 제공하는데 상기 컴퓨터 명령은 상기 컴퓨터가 제1 양태에 따른 차량의 제어 방법을 수행하도록 한다.
제5 양태에 따르면, 컴퓨터 판독 가능 매체에 저장되어 있는 컴퓨터 프로그램을 제공한다. 상기 컴퓨터 프로그램 중의 명령이 실행될 경우, 제1 양태에 따른 차량의 제어 방법이 실행된다.
본 명세서에서 설명한 내용은 본 발명의 실시예의 관건적이거나 중요한 특징을 표기하기 위한 것이 아니고 본 발명의 범위를 한정하기 위한 것도 아님을 이해해야 한다. 본 발명의 기타 특징은 아래의 명세서를 통해 더 용이하게 이해할 수 있을 것이다.
첨부 도면은 본 방안을 더 잘 이해하기 위한 것으로, 본 출원을 한정하지 않는다. 여기서,
도 1은 본 출원의 제1 실시예의 개략도이다.
도 2는 본 출원의 제2 실시예의 개략도이다.
도 3은 본 출원의 제3 실시예의 개략도이다.
도 4는 본 출원의 제4 실시예의 개략도이다.
도 5는 본 출원의 제5 실시예의 개략도이다.
도 6은 본 출원의 제6 실시예의 개략도이다.
도 7은 본 출원의 실시예에 따른 차량의 제어 방법을 구현하기 위한 차량의 블록도이다.
이하, 첨부 도면을 결부하여 본 출원의 예시적인 실시예들을 설명하고자 하며, 이해를 돕기 위해 본 출원의 실시예들의 다양한 세부 사항들이 포함되는데, 이들은 단지 예시적인 것으로 간주되어야 한다. 따라서, 본 출원의 기술 분야의 통상의 지식을 가진 자라면 본 출원의 범위 및 사상을 벗어나지 않으면서 본 명세서에 설명된 실시예들에 대해 다양한 변경 및 수정이 이루어질 수 있음을 알아야 한다. 또한, 명확성 및 간결성을 위해, 공지된 기능 및 구조에 대한 설명은 아래 설명에서 생략된다.
관련 기술의 무인 주차 시스템을 해결하기 위하여 통상적으로 차량에 관성 측량장치(Inertial measurement unit, IMU) 또는 고정밀 지도를 장착하여 경사도를 획득하고 경사도에 따라 차량을 제어한다. 그러나 전체 주차 시스템에 대해 IMU의 원가가 비교적 높고 고정밀 지도의 원가는 더 높으며 유지 비용도 높다.
이하 도면을 참조하여 본 출원의 실시예에 따른 차량의 제어 방법, 장치, 차량 및 저장매체를 설명한다.
도 1은 본 출원의 한 실시예에 따른 차량의 제어 방법의 흐름도이다. 설명해야 할 것은, 본 출원의 실시예에 따른 차량의 제어 방법은 본 출원의 실시예에 따른 차량의 제어 장치에 응용될 수 있고, 상기 장치는 차량에 설치되거나 또는 차량과 통신하는 동시에 이를 제어하는 전자기기에 설치될 수 있으며, 전자기기는 단말기기 또는 서버를 포함할 수 있다.
단계S101, 차량 전방의 현재 이미지를 획득하고 차량의 주차 궤적 경로를 획득한다.
본 출원의 실시예에서, 차량을 사용하는 과정에 사용자에게 무인 주차 수요가 있을 경우, 사용자는 차량에서의 무인 주차 기능과 대응하는 컨트롤을 통해 차량의 무인 주차 기능을 트리거 할 수 있고, 대응하게, 차량에서의 무인 주차 기능이 트리거 된 후, 차량에서의 이미지 수집 모듈을 통해 차량 전방의 현재 이미지를 수집할 수 있으며, 예를 들어, 이미지 수집 모듈은 카메라이고, 차량에서의 카메라는 차량의 바람막이 유리에 장착되어 차량의 바람막이 유리의 카메라를 통해 차량 전방의 현재 이미지를 실시간으로 수집하여 차량 전방의 현재 이미지를 획득할 수 있다.
본 출원의 다른 일부 실시예에서, 사용자가 차량을 지정된 주차위치로부터 지정된 지점으로 무인 운전해야 할 경우, 사용자는 지능형 단말기를 통해 차량에 대응되는 제어 명령을 발송할 수 있고, 대응하게, 차량은 제어 명령을 수신하며 상기 제어 명령에 응답하여 차량의 이미지 수집 모듈을 통해 차량 전방의 현재 이미지를 수집하며 획득한 현재 이미지에 기반하여 후속적인 제어를 수행할 수 있다.
차량 전방의 현재 이미지는 촬영한 사진 이미지 일 수도 있고 촬영한 동영상 이미지 일 수도 있다.
본 실시예에서는 차량에서 바람막이 유리에 장착된 카메라를 제외하고 차량의 앞쪽, 측면, 심지어 차량의 뒤쪽과 같은 차량의 기타 위치에 설치한 카메라를 사용할 수도 있다는 것을 이해해야 한다.
본 출원의 실시예에서, 주차 궤적 경로는 현재 차량과 매칭되는 차량 데이터를 수집한 다음 차량 데이터에 따라 주차 궤적 경로를 생성하는 것을 말한다.
구체적으로, 현재 차량과 매칭되는 차량 데이터를 수집하여 이 내부의 궤적 계획 알고리즘에 의해 주차 궤적 경로를 생성하여, 차량의 주차 궤적을 획득할 수 있다.
현재 차량과 매칭되는 차량 데이터를 수집하는 것은 차량의 카메라, 초음파 레이더 등 센서가 수집한 차량 데이터를 가리킨다.
본 출원의 한 실시예에서는, 차량의 이미지 수집 모듈을 통해 차량 주행 동영상을 실시간으로 수집할 수도 있는 바, 주행 동영상에서 차량의 주차 궤적 동영상을 획득하여 주차 궤적 동영상에서 주차 궤적 경로를 결정할 수 있다.
단계S102, 주차 궤적 경로에 대응되는 심층 컨벌루션 신경망 모델을 획득한다.
본 실시예에서, 이미 저장된 각 주차 궤적 경로와 심층 컨벌루션 신경망 모델 사이의 대응 관계에 따라 상기 주차 궤적 경로에 대응되는 심층 컨벌루션 신경망 모델을 획득할 수 있다.
본 실시예의 주차 궤적 경로에 대응되는 심층 컨벌루션 신경망 모델은 주차 궤적 경로에서의 각 샘플 궤적 포인트에 대응되는 이미지 및 각 샘플 궤적 포인트의 경사도 정보에 기반하여 초기의 신경망 모델을 트레이닝 하여 얻은 것이다.
단계S103, 현재 이미지를 심층 컨벌루션 신경망 모델에 입력하여 차량 전방 구간의 경사도 정보를 획득한다.
경사도 정보는 경사도 유형 및 경사도 값을 포함하나 이에 한정되지 않고, 경사도 유형은 오르막, 내리막 등을 포함한다.
예를 들어 설명하면, 차량이 무인 주차를 수행하는 과정에서 차량의 현재 이미지를 실시간으로 획득할 수 있고, 차량의 현재 이미지를 주차 궤적 경로에 대응되는 심층 컨벌루션 신경망 모델에 입력하여 심층 컨벌루션 신경망 모델을 통해 궤적 경로에 대응되는 경사도 정보에 기반하여 차량 전방 구간의 경사도 정보를 획득할 수 있다.
단계S104, 경사도 정보에 따라 차량의 종방향 가속도를 결정한다.
구체적으로, 차량 전방 구간의 경사도 정보를 획득한 후, 차량에 대응되는 초기 종방향 가속도를 사용할 수 있는데, 여기서 차량에 대응되는 초기 종방향 가속도는 실시간으로 획득할 수도 있고 주기적으로 획득할 수도 있으며, 경사도 정보에 기반하여 차량의 초기 종방향 가속도를 조절하여 차량의 종방향 사속도를 획득할 수 있다.
초기 종방향 가속도는 차량이 곧 경사도 구간에 들어서기 전의 종방향 가속도, 즉 차량이 경사로 구간에 들어서는 것에 대응되는 가속도 값을 말한다.
경사도 정보에서의 경사도 유형 및 경사도 값에 기반하여 차량의 초기 가속을 조절할 수 있다는 것을 이해할 수 있다. 오르막 구간에 대하여, 이에 대응되는 경사도가 클수록 차량의 종방향 가속도도 더 크다. 내리막 구간에 대하여, 내리막 구간에 대응되는 경사도가 클수록 차량의 종방향 가속도도 더 작다.
단계S105, 종방향 가속도에 따라 차량을 제어한다.
구체적으로, 전방 구간의 경사도 정보에 기반하여 차량의 종방향 가속도를 결정한 후, 결정된 종방향 가속도에 기반하여 차량의 운전을 제어하여, 차량으로 하여금 결정된 종방향 가속도에 기반하여 차량 전방 구간을 통과하도록 할 수 있다.
본 출원의 실시예에 따른 차량의 제어 방법에 따르면, 차량을 제어하는 과정에서 실시간으로 차량 전방의 현재 이미지를 획득하고 차량의 주차 궤적 경로를 획득한 다음 주차 궤적 경로에 대응되는 심층 컨벌루션 신경망 모델을 획득하고, 그 다음 현재 이미지를 심층 컨벌루션 신경망 모델에 입력하여 차량 전방 구간의 경사도 정보를 획득하며, 경사도 정보에 따라 차량의 종방향 가속도를 결정하고, 마지막으로 종방향 가속도에 따라 차량을 제어한다. 이로써 관성 측량장치 또는 고정밀 지도에 의해 경사도 정보를 획득함으로 인하여 경사도 원가가 높은 동시에 유지 비용이 높은 문제를 초래하는 것을 방지하여, 차량이 경사도를 획득하는 비용을 절감시킨다.
본 기술분야에서 통상의 지식을 가진 자들이 본 출원을 더 용이하게 이해하도록 하기 위하여 도 2는 본 출원의 하나의 구체적인 실시예에 따른 차량의 제어 방법의 흐름도이다. 도 2에 도시된 바와 같이, 상기 차량의 제어 방법은 아래와 같은 단계를 포함할 수 있다.
단계S201, 차량 전방의 현재 이미지를 획득하고 차량의 주차 궤적 경로를 획득한다.
예를 들어 설명하면, 차량에서의 이미지 수집 모듈은 차량의 바람막이 유리의 카메라에 장착될 수 있다. 무인 주차 수요를 수신할 경우, 차량이 차량 전방의 현재 이미지를 획득하도록 차량의 바람막이 유리의 카메라를 통해 실시간으로 차량 전방의 현재 이미지를 수집할 수 있다.
예를 들어 설명하면, 무인 주차 버튼을 클릭하거나 "무인 주차 하세요"라는 음성 명령을 입력하여 무인 주차 요청을 수신할 수 있다.
본 출원의 실시예에서, 차량의 현재 위치를 획득하고, 및 현재 위치에 따라 차량의 주차 궤적 경로를 결정할 수 있다.
차량의 현재 위치를 획득하도록 차량의 포지셔닝 시스템을 통해 차량의 현재 위치를 포지셔닝 할 수 있다.
구체적으로 말하면, 차량의 현재 위치를 획득할 경우, 차량의 현재 위치가 속하는 주차 궤적 경로를 결정할 수 있고, 차량의 현재 위치가 속하는 주차 궤적 경로를 차량의 현재의 주차 궤적 경로로 할 수 있다. 주차 궤적 경로는 차량의 현재 위치로부터 주차 위치까지의 경로로 이해할 수 있다.
본 출원의 실시예에서, 주차 위치는 미리 설정할 수 있다.
한가지 가능한 구현방식으로서, 차량에서의 수집 모듈을 통해 차량의 행차 궤적 동영상을 수집할 수 있고, 행차 궤적 동영상에서 주차 궤적의 특징에 기반하여 주차 궤적 동영상을 획득하여, 주차 궤적 동영상에서의 주차 궤적 경로를 획득할 수 있다.
다른 한가지 가능한 구현방식으로서, 차량용 GPS(Global Positioning System, 글로벌 포지셔닝 시스템) 시스템을 통해 차량의 행차 궤적을 실시간으로 수비하고 저장하며, 저장된 행차 궤적을 kml 또는 gpx 포맷 데이터로 도출하여 가상 지도 소프트웨어에 로딩하여 차량 주차 궤적 경로를 획득할 수 있다.
가상 지도 소프트웨어는 위성 사진, 항공 사진 및 GIS(Geographic Information System, 지리 정보 시스템)을 한 지도의 3차원 모델에 배치하는 것으로서, 예를 들어 가상 지도 소프트웨어는 Google Earth(구글 어스) 일 수 있다.
단계S202, 주차 궤적 경로에서 다수의 샘플 궤적 포인트에 각각 대응되는 이미지 프레임을 획득한다.
주차 궤적 경로에는 여러 갈래의 경로가 포함될 수 있고, 각 갈래마다 대응되는 구간, 예를 들어 오르막 구간, 내리막 구간 등이 있으며, 각 구간은 다수의 궤적 포인트를 포함한다.
바꾸어 말하면, 차량의 주차 궤적 경로를 획득하되, 여기서 주차 궤적 경로에는 다수의 궤적 포인트가 포함되어 차량 궤적 경로에서의 다수의 샘플 궤적 포인트와 각각 대응되는 이미지 프레임을 획득할 수 있다. 여기서 이미지 프레임은 차량의 주행 시나리오 정보를 지시한다.
단계S203, 각 샘플 궤적 포인트에 따라 이미지 프레임에 각각 대응되는 경사도 정보를 획득한다.
본 출원의 실시예에서, 다수의 샘플 궤적 포인트와 각각 대응되는 이미지 프레임을 획득한 후, 각 이미지 프레임에 대응되는 카메라 파라미터를 획득한 다음 각 이미지 프레임 및 각 이미지 프레임에 대응되는 카메라 파라미터에 따라 3차원 모델링을 수행하여, 3차원 모델을 획득하며, 그 다음 각 이미지 프레임에 대응되는 카메라 파라미터에 따라 각 샘플 궤적 포인트가 3차원 모델에서의 공간 위치를 각각 결정하고, 각 샘플 궤적 포인트가 3차원 모델에서의 공간 위치에 따라 각 샘플 궤적 포인트의 경사도 정보를 결정한 다음 각 샘플 궤적 포인트의 경사도 정보를 대응 이미지 프레임에 대응되는 경사도 정보로 한다. 구체적인 구현과정은 아래 실시예를 참조할 수 있다.
단계S204, 각 이미지 프레임 및 대응되는 경사도 정보에 따라 초기의 심층 컨벌루션 신경망 모델을 트레이닝하여, 심층 컨벌루션 신경망 모델을 획득한다.
예를 들어 설명하면, 이미지 프레임과 대응하는 경사도 정보를 라벨로 하여 각 이미지 프레임과 경사도 정보 라벨에 따라 초기의 심층 컨벌루션 신경망 모델을 트레이닝하여, 트레이닝한 후의 심층 컨벌루션 신경망 모델을 획득할 수 있다.
본 실시예에서, 주차 궤적 경로에 대응되는 심층 컨벌루션 신경망 모델로 하여금 수집한 현재 이미지에 기반하여 차량 전방 구간의 경사도 정보를 정확하게 결정하도록 하기 위하여 상기 심층 컨벌루션 신경망 모델을 사용하기 전에 상기 주차 궤적 경로에서의 다수의 샘플 궤적 포인트의 이미지 프레임 및 이미지 프레임에 대응되는 경사도 정보와 결합하여 초기의 심층 컨벌루션 신경망 모델을 트레이닝하여, 트레이닝한 후의 심층 컨벌루션 신경망 모델로 하여금 후속적으로 이미지에 기반하여 차량 전방 구간의 경사도 정보를 정확하게 결정하도록 할 수 있다.
단계S205, 주차 궤적 경로에 대응되는 심층 컨벌루션 신경망 모델을 획득한다.
단계S206, 현재 이미지를 심층 컨벌루션 신경망 모델에 입력하여 차량 전방 구간의 경사도 정보를 획득한다.
구체적으로, 차량의 현재 이미지를 트레이닝된 심층 컨벌루션 신경망 모델에 입력할 수 있는데, 차량의 현재 이미지에는 다수의 구간이 포함될 수 있고 각 구간마다 다수의 이미지 프레임을 포함할 수 있으며 심층 컨벌루션 신경망 모델은 이미지 프레임에 대응되는 경사도 정보에 기반하여 다수의 이미지 프레임에 대응되는 경사도 정보를 출력하여, 차량 전방 구간의 경사도 정보를 획득할 수 있다.
단계S207, 차량을 위해 설치한 타깃 속도를 획득하고 차량의 현재 속도를 획득한다.
차량의 타깃 속도를 미리 설치할 수도 있고 차량이 주행한 과거 속도에서 나타난 횟수가 가장 많은 속도를 차량의 타깃 속도로 할 수도 있다.
예를 들어 설명하면, 차량이 주차 모드에 진입하는 것을 검출할 때 차량의 현재 속도를 획득할 수 있다.
주차 버튼이 눌린 정보를 검출할 경우, CAN 명령을 통해 상기 정보를 주차 컨트롤러에 발송하여 차량의 주차 컨트롤러가 차량을 주차 모드에 진입하도록 제어하며, 차량이 주차 모드에 진입한 것을 검출할 경우, 차량의 현재 차 속도를 획득한다.
차 속도 센서에 의해 직접 차량의 현재 속도를 실시간으로 획득할 수도 있고 CAN(Controller Area Network, 컨트롤러 영역 네트워크) 버스를 통해 차량 엔진 데이터를 판독하여, 차량의 현재 속도를 획득할 수도 있으며; 계기판 데이터를 판독, 예를 들어 계기판 이미지 데이터를 획득하고 다시 상기 계기판 이미지 데이터에서 차량의 현재 속도를 추출할 수도 있다.
단계S208, 타깃 속도와 현재 속도에 따라 차량의 초기 종방향 가속도를 결정한다.
예를 들어 설명하면, 공식 에 따라 차량의 종방향 가속도 를 획득할 수 있다. 는 현재 속도로부터 타깃 속도로 주행하는데 필요한 시간이고, 은 사전 주행 경로의 타깃 속도이며, 은 사전 주행 경로의 현재의 속도이다.
단계S209, 경사도 정보에 따라 초기 종방향 가속도를 수정하여, 차량의 종방향 가속도를 획득한다.
예를 들어 설명하면, 경사도 유형이 오르막 구간 일 경우, 필요한 가속도가 비교적 큰 바, 즉 초기 종방향 가속도를 수정하여 수정한 후의 종방향 가속도를 획득하고; 경사도 유형이 내리막 구간 일 경우, 필요한 가속도가 비교적 작은 바, 초기 종방향 가속도를 수정하여 수정한 후의 종방향 가속도를 획득한다.
단계S210, 종방향 가속도에 따라 차량을 제어한다.
구체적으로, 전방 구간의 경사도 정보에 기반하여 차량의 종방향 가속도를 결정한 후, 결정된 종방향 가속도에 기반하여 차량에 대해 운전 제어하여, 차량으로 하여금 결정된 종방향 가속도에 기반하여 차량 전방 구간을 통과하도록 할 수 있다.
본 출원의 실시예에 따른 차량의 제어 방법에 따르면 차량이 무인 주차하는 과정에서, 차량 전방의 현재 이미지를 획득하고 차량의 주차 궤적 경로를 획득한 다음 주차 궤적 경로에서 다수의 샘플 궤적 포인트에 각각 대응되는 이미지 프레임을 획득하며, 각 샘플 궤적 포인트에 따라 이미지 프레임에 각각 대응되는 경사도 정보를 획득하고 각 이미지 프레임 및 대응되는 경사도 정보에 따라 초기의 심층 컨벌루션 신경망 모델을 트레이닝하여, 심층 컨벌루션 신경망 모델을 획득하며, 그 다음 현재 이미지를 심층 컨벌루션 신경망 모델에 입력하여 차량 전방 구간의 경사도 정보를 획득한 후 차량의 종방향 가속도를 결정하여 차량에 대한 제어를 구현한다. 상기 방법은 3차원 모델링에 기반하여 심층 컨벌루션 신경망 모델의 트레이닝을 구현하고 현재 이미지를 트레이닝된 심층 컨벌루션 신경망 모델에 입력하여, 경사도 정보를 획득하며, 타깃 속도와 현재 속도에 따라 차량의 초기 종방향 가속도를 결정하고 초기 종방향 가속도를 수정하여, 종방향 가속도에 따라 실시간으로 차량을 제어한다. 이로써 관성 측량장치 또는 고정밀 지도에 의해 경사도 정보를 획득함으로 인하여 경사도 원가가 높은 동시에 유지 비용이 높은 문제를 초래하는 것을 방지하여, 획득한 경사도 정보가 더 정확하고 차량이 경사도를 획득하는 비용을 절감시킨다.
본 출원의 실시예에서, 도 3에 도시된 바와 같이, 각 샘플 궤적 포인트에 따라 이미지 프레임에 각각 대응되는 경사도 정보를 획득하는 구체적인 구현방식은 아래와 같다.
단계S301, 각 이미지 프레임에 대응되는 카메라 파라미터를 획득한다.
카메라 파라미터 정보는 외부 파라미터, 내부 파라미터, 왜곡 파라미터에서의 적어도 하나를 포함한다.
본 출원의 실시예에서, 각 이미지 프레임의 적어도 하나의 특징 포인트를 획득할 수 있고, 각 이미지 프레임의 특징 포인트를 매칭하여 각 이미지 프레임과 매칭되는 적어도 하나의 기타 이미지 프레임을 획득하여 이미지 쌍을 형성한 다음 특징 포인트가 이미지 쌍에서의 각 이미지 프레임에서의 위치 정보에 따라 각 이미지 프레임과 대응하는 카메라 파라미터를 획득할 수 있다.
구체적으로, 특징 포인트는 이미지 프레임에서의 일부 특수 포인트인 바, 일부 특수한 속성을 가지며, 특징 포인트를 이용하여 이미지에서의 주요 정보를 설명한다. 이미지 특징은 주요하게 라인 특징, 코너 특징 등을 포함하고, 상이한 특징은 상이한 특징 설명 부호를 이용하여 설명할 수 있다. 상이한 특징 추출 알고리즘을 이용하여 이미지 프레임에서의 특징 포인트를 검출할 수 있는 바, 예를 들어, SIFT 알고리즘을 이용하여 이미지 프레임에서의 SIFT(영문 명칭: Scale-invariant feature transform, 한글 명칭: 스케일 불변 특징 변환) 특징 포인트를 획득할 수 있다. SIFT 특징 포인트는 로버스트성(robustness)이 양호하고 스케일과 회전 불변성을 가진다.
다음, 각 이미지 프레임의 특징 포인트를 추출한 후, 각 이미지 프레임에서의 특징 포인트에 따라 매칭하여, 하나의 이미지 프레임에서의 특징 포인트가 다른 한 이미지 프레임에서의 대응 특징 포인트를 찾고 이러한 이미지 프레임으로 이미지 쌍을 형성한다.
그 다음, 상기 특징 포인트 매칭을 수행한 후, 형성된 이미지 쌍에 대하여 특징 포인트가 이미지 쌍에서의 각 이미지 프레임의 위치 정보에 따라 내부 파라미터 어레이, 외부 파라미터 어레이 계산과 같은 어레이 계산을 수행하여, 각 이미지 프레임에 대응되는 외부 파라미터와 내부 파라미터를 획득할 수 있다.
단계S302, 각 이미지 프레임 및 각 이미지 프레임에 대응되는 카메라 파라미터에 따라 3차원 모델링을 수행하여, 3차원 모델을 획득한다.
각 이미지 프레임에 따라 주행 시나리오에 대해 3차원 재구성을 수행하는 과정에서 기존의 3차원 재구성 방법, 예를 들어 SFM(영문 명칭: Struct From Motion, 한글 명칭: 운동 회복 구조) 알고리즘에 기반한 3차원 재구성을 사용할 수 있다는 것을 이해할 수 있다. 물론, 기타 3차원 재구성 알고리즘을 사용할 수도 있는데 본 실시예는 이에 대해 한정하지 않는다. 본 실시예는 단지 SFM에 기반한 3차원 재구성 과정을 예로 들어 설명한다.
SFM 알고리즘은 특징 추출, 특징 매칭, 어레이 계산, 3차원 재구성 등 단계를 포함한다.
각 이미지 프레임에서의 각 특징 포인트에 대하여, 상기 특징 포인트가 이미지 쌍에서의 각 이미지 프레임에서의 위치 정보 및 각 이미지 프레임의 외부 파라미터, 내부 파라미터에 따라 상기 특징 포인트와 대응하는 3차원 포인트의 위치를 산출하고 다수의 3차원 포인트로 3차원 모델을 구성한다.
단계S303, 각 이미지 프레임에 대응되는 카메라 파라미터에 따라 각 샘플 궤적 포인트가 3차원 모델에서의 공간 위치를 각각 결정한다.
구체적으로, 3차원 모델 및 각 이미지 프레임에 대응되는 카메라 파라미터에 따라 각 샘플 궤적 포인트가 3차원 모델에서의 공간 위치를 결정할 수 있다.
다른 한가지 선택적인 실시형태에서, 계산 과정을 간략하기 위하여 3차원 모델에서의 카메라 위치를 노면의 위치에 수직되게 투영시켜 차량이 3차원 모델에서의 위치로 할 수 있다. 구체적으로, 3차원 모델 및 각 이미지 프레임의 카메라 파라미터에 따라 상기 이미지 프레임의 촬영 시각에 카메라가 3차원 모델에서의 위치를 획득한 후, 3차원 모델에서 노면의 위치를 찾고 3차원 모델에서의 카메라 위치를 노면에 수직되게 이동시켜 차량이 3차원 모델에서의 위치를 획득할 수 있다.
단계S304, 각 샘플 궤적 포인트가 3차원 모델에서의 공간 위치에 따라 각 샘플 궤적 포인트의 경사도 정보를 결정한다.
본 실시예에서, 각 샘플 궤적 포인트가 3차원 모델에서의 공간 위치를 결정한 후, 각 샘플 궤적 포인트가 3차원 모델에서의 공간 위치에 따라 각 샘플 궤적 포인트의 경사도 정보를 결정할 수 있다.
단계S305, 각 샘플 궤적 포인트의 경사도 정보를 대응 이미지 프레임에 대응되는 경사도 정보로 한다.
이로써 알 수 있다 시피, 본 실시예는 3차원 모델링을 통해 이미지 프레임에 각각 대응되는 경사도 정보를 획득하고 획득한 경사도 정보가 더 정확하도록 할 수 있으며 나아가 상기 경사도 정보가 트레이닝 한 심층 컨벌루션 신경망 모델의 정확성에 기반하여 후속적으로 상기 심층 컨벌루션 신경망 모델에 기반하여 대응 이미지에 대응되는 경사도 정보를 정확하게 결정하기 편리하도록 할 수 있다.
상기 몇 가지 실시예가 제공하는 차량의 제어 방법과 대응되게, 본 출원의 한가지 실시예는 차량의 제어 장치를 더 제공하는데, 본 출원의 실시예가 제공하는 차량의 제어 장치가 상기 몇 가지 실시예가 제공하는 차량의 제어 방법과 대응되므로 차량의 제어 방법의 실시형태는 본 실시예가 제공하는 차량의 제어 장치에 적용될 수도 있으며, 본 실시예에서는 더 이상 설명하지 않는다. 도 4~도 6은 본 출원의 하나의 실시예에 따른 차량의 제어 장치의 구조 개략도이다.
도 4에 도시된 바와 같이, 상기 차량의 제어 장치(400)는 제1 획득 모듈(401), 제2 획득 모듈(402), 제3 획득 모듈(403), 제1 결정 모듈(404) 및 제어 모듈(405)을 포함한다. 여기서:
제1 획득 모듈(401)은, 차량 전방의 현재 이미지를 획득하고 차량의 주차 궤적 경로를 획득하는데; 하나의 예로서, 제1 획득 모듈(401)은, 차량의 현재 위치를 획득하는 제1 획득 유닛; 및 현재 위치에 따라 차량의 주차 궤적 경로를 결정하는 제1 결정 유닛을 포함한다.
제2 획득 모듈(402)은, 주차 궤적 경로에 대응되는 심층 컨벌루션 신경망 모델을 획득한다.
제3 획득 모듈(403)은, 현재 이미지를 심층 컨벌루션 신경망 모델에 입력하여 차량 전방 구간의 경사도 정보를 획득한다.
제1 결정 모듈(404)은, 경사도 정보에 따라 차량의 종방향 가속도를 결정하는데; 하나의 예로서, 제1 결정 모듈(404)은 경사도 정보에 따라 초기 종방향 가속도를 수정하여, 차량의 종방향 가속도를 획득한다.
제어 모듈(405)은, 종방향 가속도에 따라 차량을 제어한다.
본 출원의 실시예에 따른 차량의 제어 장치에 따르면, 차량 전방의 현재 이미지를 획득하고 차량의 주차 궤적 경로를 획득한 다음 주차 궤적 경로에 대응되는 심층 컨벌루션 신경망 모델을 획득하고, 그 다음 현재 이미지를 심층 컨벌루션 신경망 모델에 입력하여 차량 전방 구간의 경사도 정보를 획득하며 경사도 정보에 따라 차량의 종방향 가속도를 결정하고, 마지막으로 종방향 가속도에 따라 차량을 제어한다. 경사도 정보에 따라 종방향 가속도를 결정하도록 현재 이미지를 주차 궤적 경로에 대응되는 심층 컨벌루션 신경망 모델에 입력하여 경사도 정보를 획득하여, 종방향 가속도에 따라 실시간으로 차량을 제어한다. 이로써 관성 측량장치 또는 고정밀 지도에 의해 경사도 정보를 획득함으로 인하여 경사도 원가가 높은 동시에 유지 비용이 높은 문제를 초래하는 것을 방지하여, 차량이 경사도를 획득하는 비용을 절감시킨다.
본 출원의 하나의 실시예에 따르면, 도 5에서의 501 내지 505는 도 4에서의 401 내지 405와 동일한 기능 및 구조를 가지는 바, 도 5에 도시된 바와 같이, 제2 획득 모듈502 이전에, 장치는, 주차 궤적 경로에서 다수의 샘플 궤적 포인트에 각각 대응되는 이미지 프레임을 획득하기 위한 제5 획득 모듈(506); 각 샘플 궤적 포인트에 따라 이미지 프레임에 각각 대응되는 경사도 정보를 획득하기 위한 제6 획득 모듈(507); 각 이미지 프레임 및 대응되는 경사도 정보에 따라 초기의 심층 컨벌루션 신경망 모델을 트레이닝하여, 심층 컨벌루션 신경망 모델을 획득하기 위한 제7 획득 모듈(508)을 더 포함한다.
본 출원의 실시예에서, 제6 획득 모듈(507)은, 각 이미지 프레임에 대응되는 카메라 파라미터를 획득하는 제2 획득 유닛; 각 이미지 프레임 및 각 이미지 프레임에 대응되는 카메라 파라미터에 따라 3차원 모델링을 수행하여, 3차원 모델을 획득하는 제3 획득 유닛; 각 이미지 프레임에 대응되는 카메라 파라미터에 따라 각 샘플 궤적 포인트가 3차원 모델에서의 공간 위치를 각각 결정하는 제2 결정 유닛; 각 샘플 궤적 포인트가 3차원 모델에서의 공간 위치에 따라 각 샘플 궤적 포인트의 경사도 정보를 결정하는 제3 결정 유닛; 각 샘플 궤적 포인트의 경사도 정보를 대응 이미지 프레임에 대응되는 경사도 정보로 하는 제4 결정 유닛을 포함한다.
본 출원의 하나의 실시예에 따르면, 도 6에서의 601 내지 608은 도 5에서의 501 내지 508과 동일한 기능 및 구조를 가지는 바, 도 6에 도시된 바와 같이, 제1 결정 모듈(604) 이전에, 장치는, 차량을 위해 설치한 타깃 속도를 획득하고 차량의 현재 속도를 획득하는 제4 획득 모듈(609); 타깃 속도와 현재 속도에 따라 차량의 초기 종방향 가속도를 결정하는 제2 결정 모듈(610)을 더 포함한다.
본 출원의 실시예에 따르면, 본 출원은 차량과 판독 가능 저장매체를 더 제공한다.
본 출원의 실시예에 따르면, 컴퓨터 판독 가능 매체에 저장되어 있는 컴퓨터 프로그램을 더 제공한다. 당해 컴퓨터 프로그램 중의 명령이 실행될 경우, 상기 차량의 제어 방법이 실행된다.
도 7에 도시된 바와 같이, 이는 본 출원의 실시예에 따른 차량의 제어 방법을 구현하는 전자기기의 블록도이다. 예를 들어, 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크 벤치, 개인용 정보 단말기, 서버, 블레이드 서버, 메인 프레임 컴퓨터 및 다른 적합한 컴퓨터 등의 다양한 형태의 디지털 컴퓨터를 가리킨다. 전자기기는 또한 개인용 정보 단말기, 셀룰러 폰, 스마트 폰, 웨어러블 장치 및 다른 유사한 컴퓨팅 장치와 같은 다양한 형태의 모바일 장치를 나타낼 수 있다. 본 명세서에 도시된 구성 요소, 그들의 연결 및 관계 및 그 기능은 단지 예시에 불과하며, 본 명세서에 기술되거나 및/또는 청구된 구현을 한정하도록 의도되지 않는다.
도 7에 도시된 바와 같이, 상기 차량은 하나 이상의 프로세서(701), 메모리(702) 및 고속 인터페이스 및 저속 인터페이스를 포함하는 다양한 구성 요소를 연결하기 위한 인터페이스를 포함한다. 다양한 구성 요소는 서로 다른 버스를 사용하여 서로 연결되며 마더 보드에 설치되거나 필요에 따라 다른 방식으로 설치될 수 있다. 프로세서는 외부 입력/출력 장치(예를 들어, 인터페이스에 연결된 디스플레이 장치)에 GUI의 그래픽 정보를 표시하기 위해 메모리에 저장된 명령을 포함하여 전자기기 내에서 실행되는 명령을 처리할 수 있다. 다른 실시형태에서, 필요한 경우, 다수의 프로세서 및/또는 다수의 버스를 다수의 메모리와 함께 사용할 수 있다. 마찬가지로, 여러 전자기기를 연결할 수 있고, 각 장치는 단지 몇 가지 필요한 기능(예를 들어, 서버 배열, 블레이드 서버 그룹 또는 다중 프로세서 시스템)을 제공할 수 있다. 도 7은 프로세서(701)가 하나인 경우를 예를 들어 설명한다.
메모리(702)는 본 출원에 의해 제공된 비일시적 컴퓨터 판독 가능 저장 매체이다. 적어도 하나의 프로세서에 의해 본 출원의 차량의 제어 방법을 수행하도록, 상기 메모리에는 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장된다. 본 출원의 비 일시적 컴퓨터 판독 가능 저장 매체에는 컴퓨터가 본 출원의 차량의 제어 방법을 실행하게 하는 컴퓨터 명령어가 저장된다.
메모리(702)는 비 일시적 컴퓨터 판독 가능 저장 매체로서, 비 일시적 소프트웨어 프로그램, 비 일시적 컴퓨터 실행 가능 프로그램, 본 출원의 실시예의 차량의 제어 방법에 대응하는 프로그램 명령/모듈과 같은 모듈(예를 들어, 도 4에 도시된 제1 획득 모듈(401), 제2 획득 모듈(402), 제3 획득 모듈(403), 제1 결정 모듈(404) 및 제어 모듈(405))을 저장하기 위해 사용될 수 있다. 프로세서(701)는 메모리(702)에 저장된 비 일시적 소프트웨어 프로그램, 명령 및 모듈을 실행하여 서버의 다양한 기능적 애플리케이션 및 데이터 처리를 실행한다. 다시 말하면, 상기 방법 실시예의 차량의 제어 방법을 구현한다.
메모리(702)는 프로그램을 저장하기 위한 영역 및 데이터를 저장하기 위한 영역을 포함할 수 있고, 여기서 프로그램을 저장하기 위한 영역은 운영 체제 및 적어도 하나의 기능에 필요한 응용 프로그램이 저장될 수 있고; 데이터를 저장하기 위한 영역에는 차량의 제어에 따른 차량의 사용에 따라 생성한 데이터가 저장될 수 있다. 또한, 메모리(702)는 고속 랜덤 액세스 메모리를 포함할 수 있고, 또한 자기 디스크 저장 장치, 플래시 메모리 장치 또는 다른 비 일시적 솔리드 스테이트 저장 장치와 같은 적어도 하나의 비 일시적 메모리를 포함할 수 있다. 일부 실시예에서, 메모리(702)는 프로세서(701)에 대해 원격으로 설정된 메모리를 선택적으로 포함할 수 있고, 이러한 원격 메모리는 네트워크를 통해 차량을 제어하는 차량에 연결될 수 있다. 상기 네트워크의 사례는 인터넷, 인트라넷, 근거리 통신망, 이동 통신망 및 이들의 조합을 포함하지만 이에 한정되지는 않는다.
차량의 제어 방법을 수행하는 차량은 입력 장치703) 및 출력 장치(704)를 더 포함할 수 있다. 프로세서(701), 메모리(702), 입력 장치(703) 및 출력 장치(704)는 버스를 통해 연결되거나 또는 다른 방식으로 연결될 수 있으며, 도 7은 버스를 통한 연결을 예시한 것이다.
입력 장치(703)는 입력된 숫자 또는 문자 정보를 수신할 수 있고, 차량을 제어하는 차량의 사용자 설정 및 기능 제어와 관련된 키 신호 입력을 생성할 수 있으며, 터치 스크린, 키 패드, 마우스, 트랙 패드, 터치 패드, 포인팅 스틱, 하나 이상의 마우스 버튼, 트랙 볼, 조이스틱 및 기타 입력 장치일 수 있다. 출력 장치(704)는 디스플레이 장치, 보조 조명 장치(예를 들어, LED), 촉각 피드백 장치(예를 들어, 진동 모터) 등을 포함할 수 있다. 상기 디스플레이 장치는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이 및 플라즈마 디스플레이를 포함할 수 있지만, 이에 한정되지는 않는다. 일부 실시형태에서, 디스플레이 장치는 터치 스크린일 수 있다.
본 명세서에 설명된 시스템 및 기술의 다양한 실시형태는 디지털 전자 회로, 집적 회로 시스템, 전용 ASIC(특정 용도 지향 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합에 의해 구현될 수 있다. 이러한 다양한 실시형태는 하나 이상의 컴퓨터 프로그램에 의해 실시될 수 있고, 상기 하나 이상의 컴퓨터 프로그램은 적어도 하나의 프로그램 가능 프로세서의 프로그램 가능 시스템에 의해 실행 및/또는 해석될 수 있으며, 상기 프로그램 가능 프로세서는 전용 또는 범용 프로그램 가능 프로세서일 수 있고, 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신하며, 데이터 및 명령을 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치에 전송할 수 있다.
이러한 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 응용 프로그램 또는 코드라고도 함)에는 프로그램 가능 프로세서의 기계 명령어가 포함되고, 고급 프로세스 및/또는 객체 지향 프로그래밍 언어 및/또는 어셈블리 언어/기계어를 사용하여 이러한 컴퓨터 프로그램을 구현할 수 있다. 본 명세서에서 사용되는 용어 "기계 판독 가능 매체” 및 "컴퓨터 판독 가능 매체”는 프로그램 가능 프로세서에 기계 명령 및/또는 데이터를 제공하기 위해 사용되는 임의의 컴퓨터 프로그램 제품, 장비 및/또는 장치(예를 들어, 자기 디스크, 광 디스크, 메모리, 프로그램 가능 논리 장치(PLD))를 가리키며, 기계 판독 가능 신호로서 기계 명령을 수신하는 기계 판독 가능 매체를 포함한다. 용어 "기계 판독 가능 신호”는 기계 명령 및/또는 데이터를 프로그램 가능 프로세서에 제공하기 위한 임의의 신호를 지칭한다.
사용자와의 인터랙티브를 제공하기 위해, 컴퓨터에서 여기에 설명된 시스템 및 기술을 구현할 수 있다. 컴퓨터는 사용자에게 정보를 표시하기 위한 디스플레이 장치(예를 들어, CRT(음극선관) 또는 LCD(액정 디스플레이) 모니터)와 키보드 및 포인팅 장치(예를 들어, 마우스 또는 트랙 볼)를 포함하고, 사용자는 상기 키보드 및 상기 포인팅 장치를 통해 정보를 입력하여 컴퓨터에 제공할 수 있다. 다른 종류의 장치를 사용하여 사용자와의 인터랙티브를 제공할 수도 있다. 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 감각 피드백(예를 들어, 시각적 피드백, 청각 피드백 또는 촉각 피드백) 일 수 있고, 임의의 형태(음성 입력, 스피치 입력 또는 촉각 입력 포함)로 사용자에 의해 발송된 정보를 수신할 수 있다.
본 명세서에 설명된 시스템 및 기술은 백 엔드 구성 요소(예를 들어, 데이터 서버)를 포함하는 컴퓨팅 시스템 또는 미들웨어 구성 요소(예를 들어, 애플리케이션 서버)를 포함하는 컴퓨팅 시스템 또는 프론트 엔드 구성 요소(예를 들어, 그래픽 사용자 인터페이스 또는 웹 브라우저를 가진 사용자 컴퓨터일 수 있으며, 사용자는 그래픽 사용자 인터페이스 또는 웹 브라우저를 통해 여기에 설명된 시스템 및 기술의 실시형태와 인터랙티브 할 수 있음)를 포함하는 컴퓨팅 시스템 또는 이러한 백 엔드 구성 요소, 미들웨어 구성 요소 또는 프론트 엔드 구성 요소의 임의의 조합을 포함하는 컴퓨팅 시스템에 의해 구현될 수 있다. 시스템의 구성 요소는 임의의 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)에 의해 상호 연결될 수 있다. 통신 네트워크의 예로는 근거리 통신망(LAN), 광역 통신망(WAN) 및 인터넷이 포함될 수 있다.
컴퓨터 시스템은 클라이언트 및 서버를 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며, 일반적으로 통신 네트워크를 통해 인터랙티브 한다. 클라이언트와 서버 간의 관계는 해당 컴퓨터에서 실행되고 서로 클라이언트-서버 관계가 있는 컴퓨터 프로그램에 의해 발생된다.
본 출원의 실시예의 기술적 해결수단에 따르면, 차량 전방의 현재 이미지를 획득하고 차량의 주차 궤적 경로를 획득한 다음 주차 궤적 경로에 대응되는 심층 컨벌루션 신경망 모델을 획득하며, 그 다음 현재 이미지를 심층 컨벌루션 신경망 모델에 입력하여 차량 전방 구간의 경사도 정보를 획득하고, 경사도 정보에 따라 차량의 종방향 가속도를 결정하며, 마지막으로 종방향 가속도에 따라 차량을 제어한다. 경사도 정보에 따라 종방향 가속도를 결정하도록 현재 이미지를 주차 궤적 경로에 대응되는 심층 컨벌루션 신경망 모델에 입력하여 경사도 정보를 획득하여, 종방향 가속도에 따라 실시간으로 차량을 제어한다. 이로써 관성 측량장치 또는 고정밀 지도에 의해 경사도 정보를 획득함으로 인하여 경사도 원가가 높은 동시에 유지 비용이 높은 문제를 초래하는 것을 방지하여, 차량이 경사도를 획득하는 비용을 절감시킨다.
상기에 도시된 다양한 형태의 과정을 통해 단계를 재정렬, 추가 또는 삭제할 수 있다는 것을 이해해야 한다. 예를 들어, 본 출원에 설명된 각 단계들은 병렬, 순차적 또는 상이한 순서로 수행될 수 있으며, 본 출원에 개시된 기술적 해결책이 원하는 결과를 달성할 수만 있으면, 별도로 한정되지 않는다.
상기 구체적인 실시형태는 본 출원의 보호 범위에 대한 제한을 구성하지 않는다. 당업자는 설계 요건 및 다른 요인에 따라 다양한 변형, 조합, 하위 조합 및 대체가 이루어질 수 있다는 것을 이해해야 한다. 본 출원의 원리와 원칙 내에서 이루어진 모든 수정, 동등한 대체 및 개선은 모두 본 출원의 보호 범위에 포함된다.

Claims (13)

  1. 차량의 제어 방법에 있어서,
    차량 전방의 현재 이미지를 획득하고 상기 차량의 주차 궤적 경로를 획득하는 단계;
    상기 주차 궤적 경로에서 다수의 샘플 궤적 포인트에 각각 대응되는 이미지 프레임을 획득하는 단계;
    상기 각 샘플 궤적 포인트에 따라 상기 이미지 프레임에 각각 대응되는 경사도 정보를 획득하는 단계;
    상기 각 이미지 프레임 및 대응되는 경사도 정보에 따라 초기의 심층 컨벌루션 신경망 모델을 트레이닝하여, 상기 주차 궤적 경로에 대응되는 심층 컨벌루션 신경망 모델을 획득하는 단계;
    상기 현재 이미지를 상기 심층 컨벌루션 신경망 모델에 입력하여 상기 차량 전방 구간의 경사도 정보를 획득하는 단계;
    상기 경사도 정보에 따라 상기 차량의 종방향 가속도를 결정하는 단계; 및
    상기 종방향 가속도에 따라 상기 차량을 제어하는 단계를 포함하는
    것을 특징으로 하는 차량의 제어 방법.
  2. 제1항에 있어서,
    상기 차량의 주차 궤적 경로를 획득하는 단계는,
    상기 차량의 현재 위치를 획득하는 단계; 및
    상기 현재 위치에 따라 상기 차량의 주차 궤적 경로를 결정하는 단계를 포함하는
    것을 특징으로 하는 차량의 제어 방법.
  3. 제1항에 있어서,
    상기 경사도 정보에 따라 상기 차량의 종방향 가속도를 결정하는 단계 이전에, 상기 방법은,
    상기 차량을 위해 설치한 타깃 속도를 획득하고 상기 차량의 현재 속도를 획득하는 단계;
    상기 타깃 속도와 상기 현재 속도에 따라 상기 차량의 초기 종방향 가속도를 결정하는 단계를 더 포함하고,
    상기 경사도 정보에 따라 상기 차량의 종방향 가속도를 결정하는 단계는,
    상기 경사도 정보에 따라 상기 초기 종방향 가속도를 수정하여, 상기 차량의 종방향 가속도를 획득하는 단계를 포함하는
    것을 특징으로 하는 차량의 제어 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 각 샘플 궤적 포인트에 따라 상기 이미지 프레임에 각각 대응되는 경사도 정보를 획득하는 단계는,
    상기 각 이미지 프레임에 대응되는 카메라 파라미터를 획득하는 단계;
    상기 각 이미지 프레임 및 상기 각 이미지 프레임에 대응되는 카메라 파라미터에 따라 3차원 모델링을 수행하여, 3차원 모델을 획득하는 단계;
    상기 각 이미지 프레임에 대응되는 카메라 파라미터에 따라 상기 각 샘플 궤적 포인트가 상기 3차원 모델에서의 공간 위치를 각각 결정하는 단계;
    상기 각 샘플 궤적 포인트가 상기 3차원 모델에서의 공간 위치에 따라 상기 각 샘플 궤적 포인트의 경사도 정보를 결정하는 단계; 및
    상기 각 샘플 궤적 포인트의 경사도 정보를 대응 이미지 프레임에 대응되는 경사도 정보로 하는 단계를 포함하는
    것을 특징으로 하는 차량의 제어 방법.
  6. 차량의 제어 장치에 있어서,
    차량 전방의 현재 이미지를 획득하고 상기 차량의 주차 궤적 경로를 획득하는 제1 획득 모듈;
    상기 주차 궤적 경로에 대응되는 심층 컨벌루션 신경망 모델을 획득하는 제2 획득 모듈;
    상기 현재 이미지를 상기 심층 컨벌루션 신경망 모델에 입력하여 상기 차량 전방 구간의 경사도 정보를 획득하는 제3 획득 모듈;
    상기 경사도 정보에 따라 상기 차량의 종방향 가속도를 결정하는 제1 결정 모듈;
    상기 종방향 가속도에 따라 상기 차량을 제어하는 제어 모듈;
    상기 주차 궤적 경로에서 다수의 샘플 궤적 포인트에 각각 대응되는 이미지 프레임을 획득하는 제5 획득 모듈;
    상기 각 샘플 궤적 포인트에 따라 상기 이미지 프레임에 각각 대응되는 경사도 정보를 획득하는 제6 획득 모듈; 및
    상기 각 이미지 프레임 및 대응되는 경사도 정보에 따라 초기의 심층 컨벌루션 신경망 모델을 트레이닝하여, 상기 심층 컨벌루션 신경망 모델을 획득하는 제7 획득 모듈을 포함하는
    것을 특징으로 하는 차량의 제어 장치.
  7. 제6항에 있어서,
    제1 획득 모듈은,
    상기 차량의 현재 위치를 획득하는 제1 획득 유닛; 및
    상기 현재 위치에 따라 상기 차량의 주차 궤적 경로를 결정하는 제1 결정 유닛을 포함하는
    것을 특징으로 하는 차량의 제어 장치.
  8. 제6항에 있어서,
    제1 결정 모듈 이전에, 상기 장치는,
    상기 차량을 위해 설치한 타깃 속도를 획득하고 상기 차량의 현재 속도를 획득하는 제4 획득 모듈; 및
    상기 타깃 속도와 상기 현재 속도에 따라 상기 차량의 초기 종방향 가속도를 결정하는 제2 결정 모듈;을 포함하고,
    상기 제1 결정 모듈은 상기 경사도 정보에 따라 상기 초기 종방향 가속도를 수정하여, 상기 차량의 종방향 가속도를 획득하는
    것을 특징으로 하는 차량의 제어 장치.
  9. 삭제
  10. 제8항에 있어서,
    제6 획득 모듈은,
    상기 각 이미지 프레임에 대응되는 카메라 파라미터를 획득하는 제2 획득 유닛;
    상기 각 이미지 프레임 및 상기 각 이미지 프레임에 대응되는 카메라 파라미터에 따라 3차원 모델링을 수행하여, 3차원 모델을 획득하는 제3 획득 유닛;
    상기 각 이미지 프레임에 대응되는 카메라 파라미터에 따라 상기 각 샘플 궤적 포인트가 상기 3차원 모델에서의 공간 위치를 각각 결정하는 제2 결정 유닛;
    상기 각 샘플 궤적 포인트가 상기 3차원 모델에서의 공간 위치에 따라 상기 각 샘플 궤적 포인트의 경사도 정보를 결정하는 제3 결정 유닛; 및
    상기 각 샘플 궤적 포인트의 경사도 정보를 대응 이미지 프레임에 대응되는 경사도 정보로 하는 제4 결정 유닛을 포함하는
    것을 특징으로 하는 차량의 제어 장치.
  11. 차량에 있어서,
    적어도 하나의 프로세서; 및
    상기 적어도 하나의 프로세서와 통신 연결하는 메모리를 포함하고,
    상기 메모리에는 상기 적어도 하나의 프로세서에 의해 실행 가능한 명령이 저장되어 있고 상기 명령은 상기 적어도 하나의 프로세서에 의해 실행되어 상기 적어도 하나의 프로세서가 제1항, 제2항, 제3항 또는 제5항 중 어느 한 항에 따른 차량의 제어 방법을 수행하도록 하는
    것을 특징으로 하는 차량.
  12. 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장매체에 있어서,
    상기 컴퓨터 명령은 상기 컴퓨터가 제1항, 제2항, 제3항 또는 제5항 중 어느 한 항에 따른 차량의 제어 방법을 수행하도록 하는
    것을 특징으로 하는 컴퓨터 명령이 저장되어 있는 비일시적 컴퓨터 판독 가능 저장매체.
  13. 컴퓨터 판독 가능 저장 매체에 저장되어 있는 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램중의 명령이 실행될 경우, 제1항, 제2항, 제3항 또는 제5항 중 어느 한 항에 따른 차량의 제어 방법이 실행되는,
    것을 특징으로 하는 컴퓨터 판독 가능 저장 매체에 저장되어 있는 컴퓨터 프로그램.
KR1020210082939A 2020-06-29 2021-06-25 차량의 제어 방법, 장치 및 차량 KR102564430B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010605325.8 2020-06-29
CN202010605325.8A CN111959495B (zh) 2020-06-29 2020-06-29 车辆的控制方法、装置及车辆

Publications (2)

Publication Number Publication Date
KR20210089602A KR20210089602A (ko) 2021-07-16
KR102564430B1 true KR102564430B1 (ko) 2023-08-08

Family

ID=73360949

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210082939A KR102564430B1 (ko) 2020-06-29 2021-06-25 차량의 제어 방법, 장치 및 차량

Country Status (5)

Country Link
US (1) US20210237717A1 (ko)
EP (1) EP3893148A1 (ko)
JP (1) JP7204823B2 (ko)
KR (1) KR102564430B1 (ko)
CN (1) CN111959495B (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112721916A (zh) * 2020-12-29 2021-04-30 广州小鹏自动驾驶科技有限公司 一种泊车的控制方法和装置
CN112758085B (zh) * 2021-01-28 2022-04-08 重庆长安汽车股份有限公司 变坡道自动泊车速度控制方法、系统、车辆及存储介质
CN114043999B (zh) * 2021-11-03 2024-04-16 广州小鹏自动驾驶科技有限公司 一种车辆的纵向控制方法和装置
CN114083533B (zh) * 2021-11-09 2024-04-09 广州富港生活智能科技有限公司 一种基于机械臂的数据处理方法及装置
CN115331478B (zh) * 2022-08-11 2024-06-14 富赛汽车电子有限公司 避免车辆在斜坡停车的控制方法、装置、电子设备及介质
CN115649137B (zh) * 2022-10-29 2024-07-02 深蓝汽车科技有限公司 一种驻车制动控制方法、装置、设备及存储介质
CN115798098A (zh) * 2023-01-30 2023-03-14 中海油能源物流有限公司 一种物流园区车辆智能管控方法
CN116612458B (zh) * 2023-05-30 2024-06-04 易飒(广州)智能科技有限公司 基于深度学习的泊车路径确定方法与系统
CN116740682B (zh) * 2023-08-14 2023-10-27 禾昆科技(北京)有限公司 车辆泊入路线信息生成方法、装置、电子设备和可读介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08318765A (ja) * 1995-05-25 1996-12-03 Hitachi Ltd 情報化自動車制御装置及び方法
US8370032B2 (en) 2007-07-12 2013-02-05 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for shift control for vehicular transmission
JP5473304B2 (ja) 2008-12-02 2014-04-16 三菱電機株式会社 遠隔地画像表示装置、遠隔操縦装置、車両制御装置、遠隔操縦システム、遠隔操縦方法、遠隔操縦プログラム、車両制御プログラム、遠隔地画像表示方法、遠隔地画像表示プログラム
CN102481929B (zh) * 2009-08-18 2015-06-17 丰田自动车株式会社 车辆控制系统
KR101965829B1 (ko) * 2016-10-04 2019-08-13 엘지전자 주식회사 자동주차 보조장치 및 이를 포함하는 차량
CN109858309B (zh) * 2017-11-30 2021-04-20 东软睿驰汽车技术(上海)有限公司 一种识别道路线的方法和装置
CN108345831A (zh) * 2017-12-28 2018-07-31 新智数字科技有限公司 基于点云数据的道路图像分割的方法、装置以及电子设备
US10345822B1 (en) * 2018-01-26 2019-07-09 Ford Global Technologies, Llc Cognitive mapping for vehicles
US10836379B2 (en) * 2018-03-23 2020-11-17 Sf Motors, Inc. Multi-network-based path generation for vehicle parking
US11613249B2 (en) * 2018-04-03 2023-03-28 Ford Global Technologies, Llc Automatic navigation using deep reinforcement learning
CN108717536A (zh) * 2018-05-28 2018-10-30 深圳市易成自动驾驶技术有限公司 驾驶教学与评分方法、设备及计算机可读存储介质
CN108960426B (zh) 2018-07-09 2021-05-14 吉林大学 基于bp神经网络的道路坡度综合估计系统
CN109147048B (zh) * 2018-07-23 2021-02-26 复旦大学 一种利用单张彩色图的三维网格重建方法
US11040714B2 (en) * 2018-09-28 2021-06-22 Intel Corporation Vehicle controller and method for controlling a vehicle
CN109693672B (zh) * 2018-12-28 2020-11-06 百度在线网络技术(北京)有限公司 用于控制无人驾驶汽车的方法和装置
CN110232820A (zh) * 2019-05-20 2019-09-13 北京世纪高通科技有限公司 一种路况预测模型的建立方法及装置
US11803981B2 (en) * 2019-05-30 2023-10-31 Mobileye Vision Technologies Ltd. Vehicle environment modeling with cameras
CN110341715A (zh) * 2019-07-24 2019-10-18 北京智行者科技有限公司 无人车坡道速度控制方法及装置
CN110826458A (zh) * 2019-10-31 2020-02-21 河海大学 一种基于深度学习的多光谱遥感图像变化检测方法及系统
CN111311538B (zh) * 2019-12-28 2023-06-06 北京工业大学 一种基于卷积神经网络的多尺度轻量化道路路面检测方法

Also Published As

Publication number Publication date
KR20210089602A (ko) 2021-07-16
US20210237717A1 (en) 2021-08-05
EP3893148A1 (en) 2021-10-13
CN111959495B (zh) 2021-11-12
CN111959495A (zh) 2020-11-20
JP7204823B2 (ja) 2023-01-16
JP2021140822A (ja) 2021-09-16

Similar Documents

Publication Publication Date Title
KR102564430B1 (ko) 차량의 제어 방법, 장치 및 차량
EP3627180B1 (en) Sensor calibration method and device, computer device, medium, and vehicle
EP3505866B1 (en) Method and apparatus for creating map and positioning moving entity
KR102382420B1 (ko) 차량 위치 결정 방법, 전자 기기 및 저장 매체
US9846043B2 (en) Map creation apparatus, map creation method, and computer-readable recording medium
US11698262B2 (en) Method and apparatus for generating route planning model, and storage medium
CN113916243B (zh) 目标场景区域的车辆定位方法、装置、设备和存储介质
US20210373161A1 (en) Lidar localization using 3d cnn network for solution inference in autonomous driving vehicles
CN111220154A (zh) 车辆定位方法、装置、设备和介质
CN107167826B (zh) 一种自动驾驶中基于可变网格的图像特征检测的车辆纵向定位系统及方法
CN111220164A (zh) 定位方法、装置、设备及存储介质
CN109461208B (zh) 三维地图处理方法、装置、介质和计算设备
JP2021514885A (ja) 自動運転車のlidar測位に用いられるディープラーニングに基づく特徴抽出方法
JP2021515178A (ja) 自動運転車両においてrnnとlstmを用いて時間平滑化を行うlidar測位
JP2021103565A (ja) 車両再識別の方法、装置、機器及び記憶媒体
KR102006291B1 (ko) 전자 장치의 이동체 포즈 추정 방법
CN111784835A (zh) 制图方法、装置、电子设备及可读存储介质
CN113887400B (zh) 障碍物检测方法、模型训练方法、装置及自动驾驶车辆
CN111652072A (zh) 轨迹获取方法、轨迹获取装置、存储介质和电子设备
KR102694715B1 (ko) 장애물의 검출 방법, 전자 기기, 노변 기기 및 클라우드 컨트롤 플랫폼
CN111523471A (zh) 车辆所在车道的确定方法、装置、设备以及存储介质
CN111105695A (zh) 地图制作方法、装置、电子设备及计算机可读存储介质
CN112577524A (zh) 信息校正方法和装置
CN116642511A (zh) Ar导航图像渲染方法、装置、电子设备及存储介质
CN116762094A (zh) 数据处理方法和设备

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant