KR20200115594A - 차량 탑재 제어 유닛, fpga 기반 차량 자동 주행 방법 및 장치 - Google Patents

차량 탑재 제어 유닛, fpga 기반 차량 자동 주행 방법 및 장치 Download PDF

Info

Publication number
KR20200115594A
KR20200115594A KR1020207024742A KR20207024742A KR20200115594A KR 20200115594 A KR20200115594 A KR 20200115594A KR 1020207024742 A KR1020207024742 A KR 1020207024742A KR 20207024742 A KR20207024742 A KR 20207024742A KR 20200115594 A KR20200115594 A KR 20200115594A
Authority
KR
South Korea
Prior art keywords
soc
arm
fpga
vehicle
mcu
Prior art date
Application number
KR1020207024742A
Other languages
English (en)
Other versions
KR102471010B1 (ko
Inventor
지아위에 후
Original Assignee
바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 filed Critical 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드
Publication of KR20200115594A publication Critical patent/KR20200115594A/ko
Application granted granted Critical
Publication of KR102471010B1 publication Critical patent/KR102471010B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/30—Circuit design
    • G06F30/32—Circuit design at the digital level
    • G06F30/33—Design verification, e.g. functional simulation or model checking
    • G06F30/3308—Design verification, e.g. functional simulation or model checking using simulation
    • G06F30/331—Design verification, e.g. functional simulation or model checking using simulation with hardware acceleration, e.g. by using field programmable gate array [FPGA] or emulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves

Abstract

차량 탑재 제어 유닛, FPGA 기반 차량 자동 주행 방법 및 장치에 있어서, MCU, 및 PGA와 ARM를 통해 집적 구성되어 구현되는 제1 SoC를 포함하고, 차량 탑재 제어 유닛은 자동 주행 차량 상에 설치되고, 제1 SoC의 FPGA가 차량 탑재 센서에서 발송한 동영상 데이터를 수신하고(101), 제1 신경망 알고리즘을 이용하여 동영상 데이터에 대해 시각 감지를 수행하고(102), 제1 감지 정보를 획득한 후 제1 SoC의 ARM으로 해당 제1 감지 정보를 발송하고(103), 제1 SoC의 ARM은 해당 제1 감지 정보를 처리하여 제1 결정 정보를 획득하고 MCU로 발송하며(104), 최종적으로 MCU에서 해당 제1 결정 정보를 기초로 제어 명령을 생성하고 상응한 수행 유닛으로 발송한다. 해당 과정에서, 제1 SoC 상에서 FPGA와 ARM을 통해 집적 구성되고, FPAG와ARM에서 센서 데이터에 대해 처리한 후MCU로 발송하여, MCU의 부담을 줄인다.

Description

차량 탑재 제어 유닛, FPGA 기반 차량 자동 주행 방법 및 장치
본 출원의 실시예는 차량 제어 기술 분야에 관한 것으로, 특히는 차량 탑재 제어 유닛, FPGA 기반 차량 자동 주행 방법 및 장치에 관한 것이다.
본 출원은 2018년 12월 28일， 중국특허국에 출원한 출원번호 201811625816.8, 출원인이 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드, 출원의 명칭이 "차량 탑재 제어 유닛, FPGA 기반 차량 자동 주행 방법 및 장치"인 중국 특허 출원, 및 2019년 01월 07일 중국특허국에 출원한 출원번호 2019100131227, 출원인이 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드, 출원의 명칭 "차량 탑재 제어 유닛, FPGA 기반 차량 자동 주행 방법 및 장치"인 중국 특허 출원의 우선권을 주장하는 바, 그 모든 내용은 인용을 통해 본 출원에 결합된다.
자동 주행 차량(Self-driving Car)은 무인 운전 차량, 컴퓨터 운전 차량, 또는 휠 타입 이동 로봇이라고도 불리우며, 컴퓨터 시스템을 통해 무인 운전을 구현하는 스마트 차량이다.
자동 주행 차량에는 전자 제어 유닛(electronic control unit, ECU)이 설치되고, ECU는 차량 주행 컴퓨터, 차량 탑재 컴퓨터라고도 불리우며, 무인 운전 차량의 “대뇌”이다. 자동 주행 과정에서, 차량 탑재 카메라를 이용하여 자동 주행 차량 주변 정보를 수집하고, 수집한 정보를 ECU로 발송하고, ECU에서 감지 알고리즘을 이용하여 수신된 정보에 대해 시각 감지를 수행하여 결정 결과를 생성하고, 결정 결과를 기초로 제어 명령을 생성하며, 나아가 제어 명령에 따라 자동 주행을 완성한다.
상술한 자동 주행 과정에서, 감지 알고리즘을 이용하여 차량 탑재 카메라가 수집한 정보에 대해 시각 감지를 수행하는 것은 ECU에 지나치게 의존하므로, ECU 부하가 심화되는 문제점을 초래한다.
본 출원의 실시예는, 제1 SoC가 FPGA와 ARM을 통해 집적 구성되고, FPAG와ARM에서 센서 데이터에 대해 처리한 후MCU로 발송하여, MCU의 부담을 줄이는, 차량 탑재 제어 유닛, FPGA 기반 차량 자동 주행 방법 및 장치를 제공한다.
제1 측면에 따르면, 본 출원의 실시예는 FPGA 기반 차량 자동 주행 방법을 제공하며, 차량 탑재 제어 유닛에 적용되고, 상기 차량 탑재 제어 유닛은 제1 시스템 온 칩(SoC)과 마이크로 제어 유닛(MCU)을 포함하고, 상기 제1 SoC는 FPGA와 진보된 축소 명령 세트 머신(ARM)을 통해 집적 구성되고, 상기 차량 탑재 제어 유닛은 자동 주행 차량 상에 설치되고, 상기 방법은,
상기 제1 SoC의 FPGA가 차량 탑재 카메라에서 발송한 동영상 데이터를 수신하는 단계;
상기 제1 SoC의 FPGA가 제1 신경망 알고리즘을 이용하여 상기 동영상 데이터에 대해 시각 감지를 수행함으로써, 제1 감지 정보를 획득하는 단계;
상기 제1 SoC의 FPGA가 상기 제1 SoC의 ARM로 상기 제1 감지 정보를 발송하는 단계;
상기 제1 SoC의 ARM이 상기 제1 감지 정보를 처리하여, 제1 결정 정보를 획득하고 상기 MCU로 발송하는 단계;를 포함한다.
일 가능한 설계에서, 상기 제1 SoC의 ARM이 상기 제1 감지 정보를 처리하여, 제1 결정 정보를 획득하고 상기 MCU로 발송하는 단계는,
상기 제1 SoC의 ARM이 레이더 데이터를 수신하는 단계;
상기 제1 SoC의 ARM이 상기 제1 감지 정보와 상기 레이더 데이터를 융합시키는 단계;
상기 제1 SoC의 ARM이 융합된 상기 제1 감지 정보와 상기 레이더 데이터에 대해 처리하여, 상기 제1 결정 정보를 획득하고 상기 MCU로 발송하는 단계;를 포함한다.
일 가능한 설계에서, 상기 레이더 데이터는 초음파 레이더 데이터, 밀리미터 파 레이더 데이터, 레이저 레이더 데이터 중 적어도 하나를 포함한다.
일 가능한 설계에서, 상기 차량 탑재 제어 유닛은 제2 시스템 온 칩(SoC)을 더 포함하고, 상기 제2 SoC는 FPGA와 진보된 축소 명령 세트 머신(ARM)을 통해 집적 구성되고, 상기 방법은,
상기 제2 SoC의 FPGA가 상기 차량 탑재 카메라에서 발송한 상기 동영상 데이터를 수신하는 단계;
상기 제2 SoC의 FPGA가 제2 신경망 알고리즘을 이용하여 상기 동영상 데이터에 대해 시각 감지를 수행함으로써, 제2 감지 정보를 획득하는 단계;
상기 제2 SoC의 FPGA가 상기 제2 SoC의 ARM로 상기 제2 감지 정보를 발송하는 단계;
상기 제2 SoC의 ARM이 상기 제2 감지 정보를 처리하여, 제2 결정 정보를 획득하고 상기 MCU로 발송하는 단계;
상기 MCU가 상기 제1 결정 정보와 상기 제2 결정 정보를 기초로, 제어 명령을 생성하는 단계;를 더 포함한다.
제2 측면에 따르면, 본 출원의 실시예는 차량 탑재 제어 유닛을 제공하며, 제1 시스템 온 칩(SoC)과 마이크로 제어 유닛(MCU)을 포함하고, 상기 제1 SoC는 필드 프로그래머블 게이트 어레이(FPGA)와 진보된 축소 명령 세트 머신(ARM)을 통해 집적 구성되고, 상기 제1 SoC와 상기 MCU는 이더넷 교환 칩을 통해 연결된다.
일 가능한 설계에서, 상술한 차량 탑재 제어 유닛은 제2 시스템 온 칩(SoC)을 더 포함하고, 상기 제2 SoC 상에 FPGA와 ARM이 설치되고, 상기 제2 SoC 상의 FPGA와 ARM은 버스를 통해 연결되고, 상기 제2 SoC와 상기 MCU는 상기 이더넷 교환 칩을 통해 연결된다.
일 가능한 설계에서, 상술한 차량 탑재 제어 유닛은, 제1 동기식 동적 랜덤 메모리(SDRAM)와 제1 플래시 메모리(Flash)를 더 포함하고, 상기 제1 SDRAM은 상기 제1 SoC와 연결되고, 상기 제1 Flash는 상기 제1 SoC와 연결된다.
제3 측면에 따르면, 본 출원의 실시예는 자동 주행 장치를 제공하며, 해당 장치는 차량 탑재 제어 유닛에 적용되고, 상기 자동 주행 장치는 제1 시스템 온 칩(SoC) 모듈과 마이크로 제어 유닛(MCU) 모듈을 포함하고, 상기 제1 SoC 모듈은 FPGA와 진보된 축소 명령 세트 머신(ARM)을 통해 집적 구성되고, 상기 차량 탑재 제어 유닛은 자동 주행 차량 상에 설치되고, 상기 제1 SoC는 제1 FPGA 유닛과 제1 ARM 유닛을 포함하고, 여기서,
상기 제1 FPGA 유닛은 차량 탑재 카메라에서 발송한 동영상 데이터를 수신하고, 제1 신경망 알고리즘을 이용하여 상기 동영상 데이터에 대해 시각 감지를 수행함으로써, 제1 감지 정보를 획득하고, 상기 제1 SoC의 ARM으로 상기 제1 감지 정보를 발송하고;
상기 제1 ARM 유닛은 상기 제1 감지 정보를 처리하여, 제1 결정 정보를 획득하고 상기 MCU 모듈로 발송한다.
일 가능한 설계에서, 상기 제1 ARM 유닛은 구체적으로 레이더 데이터를 수신하고, 상기 제1 감지 정보와 상기 레이더 데이터를 융합시키고, 융합된 상기 제1 감지 정보와 상기 레이더 데이터를 처리하여 상기 제1 결정 정보를 획득하고 상기 MCU로 발송한다.
일 가능한 설계에서, 상기 장치는 제2 SoC 모듈을 더 포함하고, 상기 제2 SoC 모듈은 제2 FPGA 유닛과 제2 ARM 유닛을 포함하고, 여기서,
상기 제2 FPGA 유닛은 상기 차량 탑재 카메라에서 발송한 상기 동영상 데이터를 수신하고, 제2 신경망 알고리즘을 이용하여 상기 동영상 데이터에 대해 시각 감지를 수행함으로써, 제2 감지 정보를 획득하고, 상기 제2 SoC의 ARM으로 상기 제2 감지 정보를 발송하고;
상기 제2 ARM 유닛은 상기 제2 감지 정보를 처리하여, 제2 결정 정보를 획득하고 상기 MCU로 발송하며;
상기 MCU 모듈은 상기 제1 결정 정보와 상기 제2 결정 정보를 기초로, 제어 명령을 생성한다.
본 출원의 실시예에 따른 차량 탑재 제어 유닛, FPGA 기반 차량 자동 주행 방법 및 장치에서, 차량 탑재 제어 유닛은 MCU, 및 FPGA와 ARM을 통해 집적 구성되어 구현되는 제1 SoC를 포함하고, 차량 탑재 제어 유닛은 자동 주행 차량 상에 설치되고, 자동 주행 과정에서, 제1 SoC의 FPGA는 차량 탑재 센서에서 발송한 동영상 데이터를 수신하고, 제1 신경망 알고리즘을 이용하여 동영상 데이터에 대해 시각 감지를 수행하여, 제1 감지 정보를 획득하고, 제1 SoC의 ARM로 해당 제1 감지 정보를 발송하고, 제1 SoC의 ARM는 해당 제1 감지 정보를 처리하여 제1 결정 정보를 획득하여 MCU로 발송하고, 최종적으로 MCU에서 해당 제1 결정 정보를 기초로 제어 명령을 생성하고 상응한 수행 유닛으로 발송하여, 제어 유닛이 해당 제어 수행에 따라 자동 주행을 수행하도록 한다. 해당 과정에서, 제1 SoC는 FPGA와 ARM을 통해 집적 구성되고, FPAG와ARM에서 센서 데이터에 대해 처리한 후MCU로 발송하여, MCU의 부담을 줄인다.
본 출원의 실시예 또는 종래기술에 따른 기술적 해결수단을 보다 명확하게 설명하기 위하여, 아래에서는 실시예 또는 종래기술을 설명하기 위해 필요한 도면을 간략히 소개한다. 아래에서 설명되는 도면은 단지 본 출원의 일부 실시예일뿐, 본 분야에서 통상의 지식을 가진 자가 진보적인 노력을 들이지 않고도, 이러한 도면을 기초로 기타 도면을 얻을 수 있음은 자명하다.
도 1은 종래기술에서 FPGA를 기반으로 구현되는 ECU이다.
도 2는 본 출원의 실시예에 따른 차량 탑재 제어 유닛의 아키텍처를 나타내는 도면이다.
도 3은 본 출원의 실시예에 따른 필드 프로그래머블 게이트 어레이(FPGA)기반 자동 주행 방법을 나타내는 흐름도이다.
도 4는 본 출원의 실시예에 따른 다른 차량 탑재 제어 유닛의 아키텍처를 나타내는 도면이다.
도 5는 본 출원의 실시예에 따른 자동 주행 장치의 구조를 나타내는 도면이다.
도 6은 본 출원의 실시예에 따른 다른 자동 주행 장치의 구조를 나타내는 도면이다.
이하에서는 본 출원의 실시예에 따른 도면을 결합하여, 본 출원의 실시예에 따른 기술적 해결수단에 대해 명확하고 충분하게 기재한다. 기재되는 실시예는 본 출원의 일부 실시예일뿐, 모든 실시예가 아님은 자명하다. 본 출원의 실시예에 기반하여, 본 분야의 일반 기술자가 진보적 노력을 들이지 않고도 얻어진 모든 기타 실시예는 모두 본 출원의 보호 범위에 속한다.
본 출원의 명세서와 청구범위 및 상술한 도면 중 "제1", "제2", "제3" 및 "제4" 등(만약 존재한다면)의 용어는 유사한 대상을 구분하기 위한 것으로서, 특정 순서 또는 선후 순서를 표시할 필요는 없다. 여기에 기재되는 본 출원의 실시예가 여기에 도시 또는 기재된 것 이외의 기타 순서로 실시될 수도 있도록, 이렇게 사용되는 데이터는 적합한 경우에 서로 호환될 수 있는 것으로 이해되어야 한다. 한편, 용어 "포함”과 "구비” 및 이들의 임의의 변형은, 비배타적인 포함을 커버하기 위한 것으로서, 예를 들어, 일련의 단계 또는 유닛을 포함하는 과정, 방법, 시스템, 제품 또는 기기는 명확히 나열된 단계 또는 유닛에 한정될 필요가 없으며, 오히려 명확하게 나열되지 않은 것이거나, 이러한 과정, 방법, 제품 또는 기기의 고유한 기타 단계 또는 유닛을 포함할 수 있다.
차량 탑재 제어 유닛은 전자 제어 유닛(electronic control unit, ECU, ECU)이라고 불리우며, 현대 차량 전자 중 하나의 핵심적인 요소이며, 하나의 차량에 복수의 ECU가 설치되어, 서로 다른 기능을 수행하며, 각각의 ECU 사이는 정보 인터랙션을 수행할 수 있고, 복수의 ECU는 차량의 제어 시스템을 형성한다. 일반적인 경우, 하나의 ECU는 마이크로 제어 유닛(micro controller unit, MCU), 입출력 인터페이스 등을 포함한다. ECU는 기타 전자소자와 함께 차량의 대뇌 중추 신경 시스템을 이루고, 기설정된 프로그램에 따라 다양한 센서에서 발송한 정보를 처리하여, 결정 결과를 생성하고 나아가 제어 명령을 생성한 후, 제어 명령을 수행 유닛으로 발송하여, 수행 유닛에서 다양한 소정의 제어 기능을 수행한다.
현재, 각 대형 업체에서는 집적회로(integrated circuit, IC)를 이용하여 ECU를 구현하고, 필드 프로그래머블 게이트 어레이(field－programmable gate array, FPGA) 아키텍처를 기반으로 ECU를 구현하는 업체도 있다. 도 1은 종래기술에서 FPGA를 기반으로 구현되는 ECU를 나타낸다. 도 1을 참조하면, 해당 FPGA 기반 ECU는 FPGA를 ECU의 외부에 설치하고, 해당 FPGA는 외부의 ECU와 연결되며, 대량의 연산 수요가 존재하지 않는ECU에 적용된다. 하지만, 보조 운전, 자동 주행 등의 기술이 진화됨에 따라, ECU와 연결된 차량 탑재 카메라, 레이더 등의 센서들이 점점 많아지고 있으며, 다양한 센서의 데이터를 처리하도록 ECU는 거대한 연산 능력을 구비하여여야 한다. 다양한 센서에서, 차량 탑재 카메라가 수집한 데이터는 가장 막대하고 처리하기 어려우며, 차량 탑재 카메라에서 수집한 동영상 데이터에 대한 기존의 보편적인 처리 방법으로서 딥러닝 신경망 알고리즘이 있으며, 딥러닝 신경망 알고리즘은 ECU의 거대한 프로세서(central processing unit, CPU) 리소스를 소모하여야 하며, 즉 ECU가 거대한 연산 능력을 구비하여야 한다. 기존의 FPGA 기반 ECU는, FPGA를 이용하여 차량 탑재 카메라에서 발송한 동영상 데이터에 대해 처리하고, 처리된 데이터를 외부의 ECU로 발송하며, 외부 ECU에서 수신된 데이터에 대해 추가적인 처리를 수행하고, 처리 결과를 기초로 제어 명령을 생성하며, 나아가 제어 명령에 따라 자동 주행을 완성한다.
상술한 자동 주행 과정에서, FPGA에서 연산된 데이터는 외부 ECU의 추가적인 처리가 필요하므로, ECU의 부담이 증가하게 된다.
이를 감안하여, 본 출원의 실시예는, ARM이 집적된 FPGA를 통해 센서 데이터에 대해 처리한 후 ECU의 MCU로 발송하여, MCU의 부담을 줄이는 필드 프로그래머블 게이트 어레이 기반 FPGA를 제공한다. 예시적으로, 도 2를 참조할 수 있다.
도 2는 본 출원의 실시예에 따른 차량 탑재 제어 유닛의 아키텍처를 나타내는 도면이다. 도 2를 참조하면, 본 출원의 실시예에 따른 차량 탑재 제어 유닛은, 제1 시스템 온 칩(system on chip, SoC)과 마이크로 제어 유닛(micro controller unit, MCU)을 포함하고, 해당 제1 SoC는 필드 프로그래머블 게이트 어레이(FPGA)와 진보된 축소 명령 세트 머신(advanced RISC Machine, ARM)을 통해 집적 구성되고, 상기 제1 SoC와 상기 MCU는 이더넷 교환 칩을 통해 연결된다.
도 2를 참조하면, 제1 SoC는 FPGA와 ARM를 융합시키고, 이들을 집중적으로 패키징함으로써 단일 칩을 구성하여, 집적도를 향상시킴과 동시에 FPGA와 ARM 사이의 데이터 연결을 감소시켜, 제1 SoC가 더 많은 조작을 수행할 수 있도록 하고, 안정성을 향상시킴과 동시에 ECU의 복잡도를 감소시킨다. 해당 제1 SoC는 이더넷 교환 칩을 통해 MCU와 연결되어, 제1 SoC와 MCU 사이의 데이터 교환을 구현한다. 이더넷 교환 칩은 외부 차량 탑재 이더넷과도 인터랙션을 수행할 수 있다. MCU는 ECU의 인쇄 회로 기판(printed circuit board, PCB) 전체 기판의 기능 안전 처리 및 대내 대외 인터페이스를 수행하고, MCU는 대내로 이더넷 교환(switch) 칩을 통해 제1 SoC와 인터랙션을 수행하고, 동시에 글로벌 포지셔닝 시스템(global positioning system, GPS), 관성 측징 유닛(inertial measurement unit, IMU), 온도 센서 등은 모두 MCU와 인터랙션을 수행한다. 대외 인터페이스 측면에서, MCU는 디버그 인터페이스와 차량 제어 CAN 인터페이스를 인출하되, 디버그 인터페이스는 주로 보드의 디버그를 수행하고, CAN 인터페이스는 차량에 대한 제어 기능을 구현한다.
본 출원의 실시예에 따른 차량 탑재 제어 유닛은 MCU, 및 FPGA와 ARM을 통해 집적 구성되어 구현되는 제1 SoC를 포함하고, 차량 탑재 제어 유닛은 자동 주행 차량 상에 설치되고, 자동 주행 과정에서, 제1 SoC의 FPGA는 차량 탑재 센서에서 발송한 동영상 데이터를 수신하고, 제1 신경망 알고리즘을 이용하여 동영상 데이터에 대해 시각 감지를 수행하여, 제1 감지 정보를 획득하고, 제1 SoC의 ARM으로 해당 제1 감지 정보를 발송하고, 제1 SoC의 ARM은 해당 제1 감지 정보를 처리하여 제1 결정 정보를 획득하여 MCU로 발송하고, 최종적으로 MCU에서 해당 제1 결정 정보를 기초로 제어 명령을 생성하고 상응한 수행 유닛으로 발송하여, 제어 유닛이 해당 제어 수행에 따라 자동 주행을 수행하도록 한다. 해당 과정에서, 제1 SoC는 FPGA와 ARM을 통해 집적 구성되고, FPAG와ARM에서 센서 데이터에 대해 처리한 후MCU로 발송하여, MCU의 부담을 줄인다.
상술한 차량 탑재 제어 유닛은 자동 주행 차량에 설치된다. 이하, 도 2를 기반으로, 본 출원의 실시예에 따른 FPGA 기반 자동 주행 방법에 대해 상세하게 설명한다. 예시적으로, 도 3을 참조하면, 도 3은 본 출원의 실시예에 따른 필드 프로그래머블 게이트 어레이(FPGA) 기반 자동 주행 방법을 나타내는 흐름도이다. 본 실시예는 아래와 같은 단계 101~104를 포함한다.
101에서, 상기 제1 SoC의 FPGA가 차량 탑재 센서에서 발송한 동영상 데이터를 수신한다.
본 출원의 실시예에서, 차량 탑재 제어 유닛은 자동 주행 차량에 설치되고, 차량 탑재 제어 유닛은 제1 SoC와 MCU를 포함하고, 해당 제1 SoC는 FPGA와 ARM으로 집적 구성된다. 본 단계에서, 자동 주행 차량 상의 차량 탑재 카메라는 동영상 데이터를 수집하고 제1 SoC 상의 FPGA로 발송한다. 대응되게, 제1 SoC 상의 FPGA를 통해 해당 동영상 데이터를 수신한다.
102에서, 상기 제1 SoC의 FPGA는 제1 신경망 알고리즘을 이용하여 상기 동영상 데이터에 대해 시각 감지를 수행함으로써, 제1 감지 정보를 획득한다.
본 단계에서, 제1 SoC 상의 FPGA는 제1 신경망 알고리즘을 이용하여 수신된 동영상 데이터에 대해 시각 감지를 수행하여, 제1 감지 정보를 획득한다. 여기서, 제1 신경망 알고리즘은 소정의 딥러닝 기반 신경망 알고리즘, 예를 들어 컨벌루션 신경망(convolutional neural networks, CNN) 알고리즘 등이다. 예를 들어, 시간 지연 네트워크(time delay neural network, TDNN) 알고리즘, 시프트 불변 인공 신경망(shift-invariant artificial neural networks, SIANN), LeNet-5 신경망 알고리즘, VGGNet 신경망 알고리즘, GoogLeNet 신경망 알고리즘 또는 ResNet 신경망 알고리즘 등이 있다.
103에서, 상기 제1 SoC의 FPGA는 상기 제1 SoC의 ARM으로 상기 제1 감지 정보를 발송한다.
본 단계에서, 제1 SoC의 FPGA는 FPGA 내부 버스를 통해, 제1 감지 정보를 제1 SoC의 ARM으로 발송한다.
104에서, 상기 제1 SoC의 ARM은 상기 제1 감지 정보를 처리하여, 제1 결정 정보를 획득하여 상기 MCU로 발송한다.
본 단계에서, 제1 SoC의 ARM은 제1 감지 정보를 기초로 환경에 대해 모델링 등을 수행하고, 판정 알고리즘을 이용하여 제1 감지 정보를 처리하여, 제1 결정 정보를 획득한 후 MCU로 발송한다. MCU는 해당 제1 결정 정보를 수신한 후, 해당 제1 결정 정보를 기초로 제어 명령을 생성하고 상응한 수행 유닛으로 발송하여, 제어 유닛이 해당 제어 수행에 따라 자동 주행을 수행하도록 한다.
본 출원의 실시예에 따른 필드 프로그래머블 게이트 어레이(FPGA) 기반 자동 주행 방법은, 차량 탑재 제어 유닛에 적용되며, 해당 차량 탑재 제어 유닛은 MCU, 및 FPGA와 ARM을 통해 집적 구성되어 구현되는 제1 SoC를 포함하고, 차량 탑재 제어 유닛은 자동 주행 차량 상에 설치되고, 자동 주행 과정에서, 제1 SoC의 FPGA가 차량 탑재 센서에서 발송한 동영상 데이터를 수신하고, 제1 신경망 알고리즘을 이용하여 동영상 데이터에 대해 시각 감지를 수행하여, 제1 감지 정보를 획득하고, 제1 SoC의 ARM으로 해당 제1 감지 정보를 발송하고, 제1 SoC의 ARM은 해당 제1 감지 정보를 처리하여 제1 결정 정보를 획득하여 MCU로 발송하며, 최종적으로 MCU는 해당 제1 결정 정보를 기초로 제어 명령을 생성하여 상응한 수행 유닛으로 발송하여, 제어 유닛이 해당 제어 수행에 따라 자동 주행을 수행하도록 한다. 해당 과정에서, 제1 SoC는 FPGA와 ARM을 통해 집적 구성되고, FPAG와ARM에서 센서 데이터에 대해 처리한 후MCU로 발송하여, MCU의 부담을 줄인다.
다시 도 2를 참조하면, 본 출원의 실시예에서, 제1 SoC의 ARM은 제1 감지 정보를 처리하여 제1 결정 정보를 획득하고 상기 MCU로 발송할 때, 해당 제1 SoC의 ARM은 레이더 데이터를 더 수신하고, 제1 감지 정보와 레이더 데이터를 융합시킨 후, 융합된 제1 감지 정보와 레이더 데이터에 대해 처리하여, 제1 결정 정보를 획득하고 MCU로 발송한다. 해당 과정에서, 제1 SoC의 ARM은 제1 SoC의 FPGA에서 발송한 제1 감지 정보를 수신한 후, 해당 제1 감지 정보와 기타 센서에서 발송한 데이터를 모으고 융합하여 융합 데이터를 획득하고, 융합 데이터를 이용하여 환경 모델링과 판정 조작을 수행하여, 제1 결정 정보를 획득한 후 MCU로 발송한다. MCU는 해당 제1 결정 정보를 수신한 후, 해당 제1 결정 정보를 기초로 제어 명령을 생성하고 상응한 수행 유닛으로 발송하여, 제어 유닛이 해당 제어 수행에 따라 자동 주행을 수행하도록 한다. 여기서, 촉각 센서는 초음파 레이더, 밀리미터 파 레이더, 레이저 레이더 등을 포함하고, 대응되게, 센서에서 발송하는 데이터는 초음파 레이더 데이터, 밀리미터 파 레이더 데이터, 레이저 레이더 데이터 중 적어도 하나를 포함한다.
도 4는 본 출원의 실시예에 따른 다른 차량 탑재 제어 유닛의 아키텍처를 나타내는 도면이다. 도 4를 참조하면, 본 출원의 실시예에 따른 차량 탑재 제어 유닛은, 상술한 도 2의 기초 상에서, 제2 SoC를 더 포함하고, 해당 제2 SoC는 FPGA와 진보된 축소 명령 세트 머신(ARM)을 통해 집적 구성된다. 자동 주행 과정에서, 차량 탑재 카메라는 수집한 동영상 데이터를 제1 SoC의 FPGA로 발송할 뿐만 아니라, 해당 동영상 데이터를 제2 SoC의 FPGA로 발송한다. 제2 SoC의 FPGA는 동영상 데이터를 수신한 후, 제2 신경망 알고리즘을 이용하여 해당 동영상 데이터에 대해 시각 감지를 수행하여, 제2 감지 정보를 획득하고 FPGA 내부 버스를 통해, 해당 제2 감지 정보를 제2 SoC의 ARM으로 발송한다. 제2 SoC의 ARM은 제2 감지 정보를 수신한 후, 해당 제2 감지 정보에 대해 처리를 수행하여, 제2 결정 정보를 획득하고 MCU로 발송한다. 이렇게, MCU는 제1 SoC의 ARM에서 발송한 제1 결정 정보와 제2 SoC에서 발송한 제2 결정 정보를 수신한다. MCU는 해당 두 결정 정보에 대해 비교 및 분석을 수행하여, 이로부터 적합한 결정 정보를 선택하고, 선택된 결정 정보를 기초로 제어 명령을 생성하고 상응한 수행 유닛으로 발송하여, 제어 유닛이 해당 제어 수행에 따라 자동 주행을 수행하도록 한다.
상술한 도 4의 실시예에서, 제1 SoC의 FPGA는 제1 신경망 알고리즘을 이용하여 동영상 데이터에 대해 시각 감지를 수행함으로써, 제1 감지 정보를 획득하고; 제2 SoC의 FPGA는 제2 신경망 알고리즘을 이용하여 상기 동영상 데이터에 대해 시각 감지를 수행함으로써, 제2 감지 정보를 획득한다. 여기서, 제1 신경망 알고리즘과 제2 신경망 알고리즘은 서로 다른 신경망 알고리즘이다. 예를 들어, 제1 신경망 알고리즘은 컨벌루션 신경망 알고리즘이고, 제2 신경망 알고리즘은 Bp 알고리즘 등이다. 또 예를 들어, 제1 신경망 알고리즘은 시간 지연 네트워크 알고리즘이고, 제2 신경망 알고리즘은 ResNet 신경망 알고리즘 등이다.
본 출원의 실시예에서, 제1 SoC, 제2 SoC 및 MCU를 통해 거대한 처리 능력을 구비하고, 고도로 집적된 차량 탑재 제어 유닛 아키텍처를 획득하며, 제1 SoC의 FPGA와 제2 SoC의 FPGA를 이용하여 동영상 데이터에 대해 신경망 알고리즘 연산을 수행하며, 각각의 FPGA가 동영상 데이터에 대해 연산하여 얻어진 감지 정보는 대응되는 SoC의 ARM으로 발송되고, ARM은 감지 정보와 레이더 데이터를 융합시키므로, 본 출원의 실시예에 따른 차량 탑재 제어 유닛은 더 강한 처리 능력을 구비한다. 또한, 차량 전자 제품에서 필요로 하는 기능 안전 각도로부터 보면, 제1 SoC와 제2 SoC를 이용하여 더블 SoC를 구현하고, 이성질 리던턴트 구조를 구현하며, 즉 제1 SoC의 FPGA와 제2 SoC의 FPGA는 각각 서로 다른 신경망 알고리즘을 사용하여 동영상 데이터를 처리하여, 차량 탑재 제어 유닛의 기능 안전을 확보할 뿐만 아니라, 호스트 및 백업 기능으로서 사용될 수도 있다.
다시 도 4를 참조하면, 본 출원의 실시예에 따른 차량 탑재 제어 유닛은, 제1 동기식 동적 랜덤 메모리(synchronous dynamic random access memory, SDRAM)와 제1 플래시 메모리(Flash)를 더 포함할 수 있고, 해당 제1 SDRAM은 제1 SoC와 연결되고, 제1 Flash는 제1 SoC와 연결된다. 마찬가지로, 본 출원의 실시예에 따른 차량 탑재 제어 유닛은 제2 동기식 동적 랜덤 메모리(synchronous dynamic random access memory, SDRAM)와 제2 플래시 메모리(Flash)를 더 포함할 수 있고, 해당 제2 SDRAM은 제2 SoC와 연결되고, 제2 Flash는 제2 SoC와 연결된다. 해당 아키텍처를 기반으로, 자동 주행 과정에서, ECU가 부팅된 후, 제1 SoC는 제1 Flash로부터 프로그램을 로딩하고, 제2 SoC는 제2 Flash로부터 프로그램을 로딩하며, 프로그램 로딩이 완료된 후에, 차량 탑재 센서 및 기타 센서로부터 데이터 입력을 기다린다. 차량 탑재 카메라에서 수집한 동영상 데이터에 대하여, 제1 SoC의 FPGA는 제1 신경망 알고리즘을 이용하여 동영상 데이터에 대해 시각 감지를 수행하여, 제1 감지 정보를 획득하고; 제2 SoC의 FPGA는 제2 신경망 알고리즘을 이용하여 동영상 데이터에 대해 시각 감지를 수행하여, 제2 감지 정보를 획득한다. 제1 감지 정보는 제1 SoC의 FPGA에 의해 제1 SoC의 ARM으로 발송되고, 해당 제1 SoC의 ARM은 제1 감지 정보와 다양한 레이더의 검출 데이터에 대해 융합을 수행하여, 제1 융합 데이터를 획득하고, 해당 제1 융합 데이터를 이용하여 환경에 대해 모델링을 수행한 후, 판정 알고리즘에 따라 제1 결정 정보를 생성하고 이더넷 교환 칩을 통해 MCU로 발송한다. 제2 감지 정보는 제2 SoC의 FPGA에 의해 제2 SoC의 ARM으로 발송되고, 해당 제2 SoC의 ARM은 제2 감지 정보와 다양한 레이더의 검출 데이터에 대해 융합을 수행하여, 제2 융합 데이터를 획득하고, 해당 제2 융합 데이터를 이용하여 환경에 대해 모델링을 수행한 후, 판정 알고리즘에 따라 제2 결정 정보를 생성하고 이더넷 교환 칩을 통해 MCU로 발송한다. MCU는 제1 결정 정보와 제2 결정 정보를 수신한 후, 해당 두 결정 정보에 대해 분석 비교를 수행하여, 적합한 결정 정보를 선택하고, 선택된 결정 정보를 기초로 제어 명령을 생성하고, 제어 명령을 CAN 인터페이스를 통해 수행 유닛으로 발송하여, 수행 유닛에서 제어 명령에 따라 자동 주행을 수행한다.
도 5는 본 출원의 실시예에 따른 자동 주행 장치의 구조를 나타내는 도면이다. 본 실시예에 따른 자동 주행 장치는 차량 탑재 제어 유닛일 수 있고, 차량 탑재 제어 유닛 내부에 응용되는 칩일 수도 있다. 해당 자동 주행 장치는 상술한 실시예에서 차량 탑재 제어 유닛의 기능을 수행할 수 있다. 도 5에 도시된 바와 같이, 해당 자동 주행 장치(100)는, 제1 시스템 온 칩(SoC) 모듈(11)과 마이크로 제어 유닛(MCU) 모듈(12)를 포함할 수 있고, 상기 제1 SoC 모듈(11)은 FPGA와 진보된 축소 명령 세트 머신(ARM)을 통해 집적 구성되고, 상기 차량 탑재 제어 유닛은 자동 주행 차량 상에 설치되고, 상기 제1 SoC 모듈(11)은 제1 FPGA 유닛(111)과 제1 ARM 유닛(112)을 포함한다. 여기서,
상기 제1 FPGA 유닛(111)은, 차량 탑재 카메라에서 발송한 동영상 데이터를 수신하고, 제1 신경망 알고리즘을 이용하여 상기 동영상 데이터에 대해 시각 감지를 수행함으로써, 제1 감지 정보를 획득하고, 상기 제1 ARM 유닛(112)으로 상기 제1 감지 정보를 발송한다.
상기 제1 ARM 유닛(112)은, 상기 제1 감지 정보를 처리하여, 제1 결정 정보를 획득하고 상기 MCU 모듈(12)로 발송한다.
일 가능한 설계에서, 상기 제1 ARM 유닛(112)은 구체적으로 레이더 데이터를 수신하고, 상기 제1 감지 정보와 상기 레이더 데이터를 융합하고, 융합된 상기 제1 감지 정보와 상기 레이더 데이터를 처리하여, 상기 제1 결정 정보를 획득하고 상기 MCU로 발송한다.
본 출원의 실시예에 따른 자동 주행 장치는 차량 탑재 제어 유닛에 적용되고, 해당 자동 주행 장치는 MCU 모듈 및 제1 SoC 모듈을 포함하고, 해당 제1 SoC 모듈은 제1 FPGA 유닛 및 제1 ARM 유닛을 포함하고, 자동 주행 과정에서, 제1 FPGA 유닛은 차량 탑재 센서에서 발송한 동영상 데이터를 수신하고, 제1 신경망 알고리즘을 이용하여 동영상 데이터에 대해 시각 감지를 수행하여, 제1 감지 정보를 획득하고, 제1 ARM 유닛으로 해당 제1 감지 정보를 발송하고, 제1 ARM 유닛은 해당 제1 감지 정보를 처리하여 제1 결정 정보를 획득하고 MCU 모듈로 발송하며, 최종적으로 MCU 모듈에서 해당 제1 결정 정보를 기초로 제어 명령을 생성하고 상응한 수행 유닛으로 발송하여, 제어 유닛이 해당 제어 수행에 따라 자동 주행을 수행하도록 한다. 해당 과정에서, 제1 SoC는 FPGA와 ARM을 통해 집적 구성되고, FPAG와ARM에서 센서 데이터에 대해 처리한 후MCU로 발송하여, MCU의 부담을 줄인다.
도 6은 본 출원의 실시예에 따른 다른 자동 주행 장치의 구조를 나타내는 도면이다. 본 실시예에 따른 자동 주행 장치(100)는, 상술한 도 5의 기초 상에서, 제2 SoC 모듈(13)을 더 포함한다.
상기 제2 SoC 모듈(13)은 제2 FPGA 유닛(131)과 제2 FARM 유닛(132)을 포함한다. 여기서,
상기 제2 FPGA 유닛(131)은 상기 차량 탑재 카메라에서 발송한 상기 동영상 데이터를 수신하고, 제2 신경망 알고리즘을 이용하여 상기 동영상 데이터에 대해 시각 감지를 수행함으로써, 제2 감지 정보를 획득하고, 상기 제2 ARM 유닛(132)으로 상기 제2 감지 정보를 발송한다.
상기 제2 ARM 유닛(132)은 상기 제2 감지 정보를 처리하여, 제2 결정 정보를 획득하고 상기 MCU로 발송한다.
상기 MCU 모듈(12)은 상기 제1 결정 정보와 상기 제2 결정 정보를 기초로, 제어 명령을 생성한다.
본 출원의 실시예는 저장매체를 더 제공하며, 상기 저장매체는 컴퓨터 실행 명령을 저장하고, 상기 컴퓨터 실행 명령은 프로세서에 의해 실행될 경우 상술한 필드 프로그래머블 게이트 어레이(FPGA) 기반 자동 주행 방법을 수행한다.
상술한 실시예에서, 개시된 기기 및 방법은 기타 방식을 통해 구현될 수 있음을 이해할 수 있을 것이다. 예를 들어, 위에서 설명한 기기 실시예는 단지 예시적인 것으로서, 예를 들어 상기 모듈의 분할은 단지 하나의 논리적 기능의 분할일 뿐, 실제 구현 시, 기타 분할 방식이 존재할 수 있으며, 예를 들어 복수의 모듈은 다른 시스템에 결합되거나 집적될 수 있고, 일부 특징은 무시하거나 실행하지 않을 수 있다. 한편, 표시되거나 토론되는 상호 커플링 또는 직접 커플링 또는 통신 연결은 일부 인터페이스, 장치 또는 모듈을 통한 간접적인 커플링 또는 통신 연결일 수 있고 전기적, 기계적 또는 기타 형태일 수 있다.
상술한 분리 부품으로서 설명되는 모듈은 물리적으로 분리되거나 분리되지 않을 수 있고, 모듈로서 표시되는 부품은 물리적 유닛이거나 아닐 수도 있는 바, 즉 한 곳에 위치하거나 다수의 네트워크 유닛에 분포될 수 있다. 실제 수요에 따라 그 중 일부 또는 모든 모듈을 선택하여 본 실시예의 방안의 목적을 실현할 수 있다.
한편, 본 출원의 각각의 실시예에서 각각의 기능 모듈은 하나의 처리 유닛에 집적될 수 있고, 각각의 모듈이 단독으로 물리적으로 존재할 수도 있으며, 둘 또는 둘 이상의 모듈이 하나의 유닛에 집적될 수도 있다.
상술한 소프트웨어 기능 모듈의 형태로 구현되는 집적 모듈은 하나의 컴퓨터 판독 가능 저장매체에 저장될 수 있다. 상술한 소프트웨어 기능 모듈이 하나의 저장매체에 저장되며, 몇몇 명령을 포함하여 하나의 전자기기(개인용 컴퓨터, 서버, 또는 네트워크 기기 등일 수 있다) 또는 프로세서(영어： processor)가 본 출원의 각각의 실시예에 따른 방법의 부분 단계를 수행하도록 한다.
상술한 프로세서는 중앙 처리 유닛(central processing unit, CPU)일 수 있고, 기타 범용 프로세서, 디지털 신호 프로세서(digital signal processor, DSP), 전용 집적 회로(application specific integrated circuit, ASIC) 등일 수도 있다. 범용 프로세서는 마이크로 프로세서일 수 있고 또는 해당 프로세서는 임의의 일반 프로세서 등일 수도 있다. 발명에 개시된 방법의 단계를 결합하여 직접적으로 하드웨어로 수행 완성될 수 있고, 또는 프로세서 중 하드웨어 및 소프트웨어 모듈의 조합으로 수행 완성될 수도 있다.
메모리는 고속 RAM 메모리를 포함할 수 있고, 비휘발성 저장장치(NVM)를 더 포함할 수 있으며, 예를 들어 적어도 하나의 자기 메모리일 수 있고, U 디스크, 외장 하드디스크, 판독 전용 메모리, 자기 디스크 또는 광 디스크 등일 수 있다.
버스는 공업 표준 시스템 구조(Industry Standard Architecture, ISA) 버스, 외부 기기 상호 연결(Peripheral Component, PCI) 버스 또는 확장 공업 표준 시스템 구조(Extended Industry Standard Architecture, EISA) 버스 등일 수 있다. 버스는 어드레스 버스, 데이터 버스, 제어 버스 등으로 나뉠 수 있다. 표시의 편의성을 위하여, 본 출원의 도면에서 버스는 단지 하나의 버스만 존재하거나 또는 일종의 버스인 것에 한정되지 않는다.
상술한 저장매체는 임의의 유형의 휘발성 또는 비휘발성 저장 장치 또는 이들의 조합으로 구현될 수 있고, 예를 들어 정적 랜덤 액세스 메모리(SRAM), 전기적 소거 가능 프로그래머블 판독 전용 메모리(EEPROM), 소거 가능 프로그래머블 판독 전용 메모리(EPROM), 프로그래머블 판독 전용 메모리(PROM), 판독 전용 메모리(ROM), 자기 메모리, 플래시 메모리, 자기 디스크 또는 광 디스크일 수 있다. 저장매체는 범용 또는 전용 컴퓨터에 의해 액세스 가능한 임의의 사용 가능한 매체일 수 있다.
일 예시적인 저장 매체는 프로세서에 커플링되며, 이에 따라 프로세서가 해당 저장 매체로부터 정보를 읽어내고, 해당 저장 매체로 정보를 기입할 수 있도록 한다. 물론, 저장 매체는 프로세서의 조성 부분일 수도 있다. 프로세서와 저장 매체는 전용 집적 회로(Application Specific Integrated Circuits, ASIC)에 위치할 수 있다. 물론, 프로세서와 저장 매체는 분립 부재로서 단말 또는 서버에 존재할 수도 있다.
상술한 실시예에서, 전부 또는 부분적으로 소프트웨어, 하드웨어, 펌웨어 또는 기타 임의의 조합을 통해 구현될 수 있다. 소프트웨어를 사용하여 구현될 경우, 전부 또는 부분적으로 컴퓨터 프로그램 제품의 형태로 구현될 수 있다. 컴퓨터 프로그램 제품은 하나 또는 복수의 컴퓨터 명령을 포함한다. 컴퓨터에서 컴퓨터 프로그램 명령을 로딩 및 실행할 때, 전부 또는 부분적으로 본 출원의 실시예에 따른 프로세스 도는 기능을 생성한다. 컴퓨터는 범용 컴퓨터, 전용 컴퓨터, 컴퓨터 네트워크, 또는 기타 프로그래머블 장치일 수 있다. 컴퓨터 명령은 컴퓨터 판독 가능 저장매체에 저장될 수 있고, 또는 하나의 컴퓨터 판독 가능 저장매체에서 다른 컴퓨터 판독 가능 저장매체로 전송될 수 있는 바, 예를 들어, 컴퓨터 명령은 하나의 웹사이트, 컴퓨터, 서버 또는 데이터 센터로부터 유선(예를 들어, 동축 케이블, 광 섬유, 디지털 유저 라인(DSL)) 또는 무선(예를 들어, 적외선, 무선, 마이크로파 등) 방식을 통해 다른 웹사이트, 컴퓨터, 서버 또는 데이터 센터로 전송될 수 있다. 컴퓨터 판독 가능 저장매체는 컴퓨터에 의해 액세스될 수 있는 임의의 사용 가능한 매체 또는 하나 또는 복수의 사용 가능 매체를 포함하여 집적된 서버, 데이터 센터 등의 데이터 저장 장치일 수 있다. 사용 가능 매체는 자기 매체(예를 들어, 플로피 디스크, 하드 디스크, 자기 테이프), 광 매체(예를 들어, DVD), 또는 반도체 매체(예를 들어, 솔리드 스테이트 디스크(Solid State Disk, SSD)) 등일 수 있다.
본 명세서에서의 용어 "복수"는 둘 또는 둘 이상을 의미한다. 본 명세서에서 용어 "및/또는"은 단지 관련 대상의 관련 관계를 설명하는 것으로서, 3종 관계가 존재할 수 있음을 나타내는 바, 예컨대 A 및/또는 B는 A가 단독으로 존재하는 경우, A와 B가 동시에 존재하는 경우, B가 단독으로 존재하는 경우 총 세가지 경우가 있을 수 있음을 의미할 수 있다. 한편, 본 명세서에서 부호 "/"는 일반적으로 앞뒤 관련 대상이 "서로 제외"하는 관계임을 의미한다.
본 기술분야의 통상의 지식을 가진 자라면 상술한 각 방법 실시예를 구현하기 위한 모든 또는 일부 단계는 프로그램 명령과 관련된 하드웨어를 통해 완성될 수 있음을 이해할 수 있을 것이다. 상술한 프로그램은 하나의 컴퓨터 판독 가능 저장매체에 저장될 수 있다. 상기 프로그램이 실행될 경우, 상술한 각 방법 실시예를 포함하는 단계를 수행한다. 상술한 저장매체는 ROM, RAM, 자기 디스크 또는 광 디스크 등의 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.
마지막으로, 상술한 각 실시예는 본 출원의 기술적 해결수단을 설명하기 위한것으로서, 이에 대해 한정하지 않는다. 비록 상술한 각 실시예를 참조하여 본 출원을 상세하게 설명하였지만, 본 분야의 통상의 지식을 가진 자라면 여전히 상술한 각 실시예에 기재된 기술적 해결수단에 대해 수정을 진행할 수 있거나, 또는 그 중 부분 또는 전부의 기술적 해결수단에 대해 동등한 치환을 진행할 수 있다. 이러한 수정 또는 치환에 의해 상응한 기술적 해결수단의 본질이 본 출원의 각 실시예에 따른 기술적 해결수단의 범위를 벗어나는 것은 아니다.

Claims (10)

  1. 차량 탑재 제어 유닛에 적용되고, 상기 차량 탑재 제어 유닛은 제1 시스템 온 칩(SoC)과 마이크로 제어 유닛(MCU)을 포함하고, 상기 제1 SoC는 FPGA와 진보된 축소 명령 세트 머신(ARM)을 통해 집적 구성되고, 상기 차량 탑재 제어 유닛은 자동 주행 차량 상에 설치되는, 필드 프로그래머블 게이트 어레이(FPGA) 기반 자동 주행 방법에 있어서,
    상기 제1 SoC의 FPGA가 차량 탑재 카메라에서 발송한 동영상 데이터를 수신하는 단계;
    상기 제1 SoC의 FPGA가 제1 신경망 알고리즘을 이용하여 상기 동영상 데이터에 대해 시각 감지를 수행함으로써, 제1 감지 정보를 획득하는 단계;
    상기 제1 SoC의 FPGA가 상기 제1 SoC의 ARM으로 상기 제1 감지 정보를 발송하는 단계;
    상기 제1 SoC의 ARM이 상기 제1 감지 정보를 처리하여, 제1 결정 정보를 획득하고 상기 MCU로 발송하는 단계;를 포함하는 특징으로 하는 방법.
  2. 제 1 항에 있어서,
    상기 제1 SoC의 ARM이 상기 제1 감지 정보를 처리하여, 제1 결정 정보를 획득하고 상기 MCU로 발송하는 단계는,
    상기 제1 SoC의 ARM이 레이더 데이터를 수신하는 단계;
    상기 제1 SoC의 ARM이 상기 제1 감지 정보와 상기 레이더 데이터를 융합시키는 단계;
    상기 제1 SoC의 ARM이 융합된 상기 제1 감지 정보와 상기 레이더 데이터에 대해 처리하여, 상기 제1 결정 정보를 획득하고 상기 MCU로 발송하는 단계;를 포함하는 것을 특징으로 하는 방법.
  3. 제 2 항에 있어서,
    상기 레이더 데이터는 초음파 레이더 데이터, 밀리미터 파 레이더 데이터, 레이저 레이더 데이터 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 차량 탑재 제어 유닛은 제2 시스템 온 칩(SoC)을 더 포함하고, 상기 제2 SoC는 FPGA와 진보된 축소 명령 세트 머신(ARM)을 통해 집적 구성되고, 상기 방법은,
    상기 제2 SoC의 FPGA가 상기 차량 탑재 카메라에서 발송한 상기 동영상 데이터를 수신하는 단계;
    상기 제2 SoC의 FPGA가 제2 신경망 알고리즘을 이용하여 상기 동영상 데이터에 대해 시각 감지를 수행함으로써, 제2 감지 정보를 획득하는 단계;
    상기 제2 SoC의 FPGA가 상기 제2 SoC의 ARM으로 상기 제2 감지 정보를 발송하는 단계;
    상기 제2 SoC의 ARM이 상기 제2 감지 정보를 처리하여, 제2 결정 정보를 획득하고 상기 MCU로 발송하는 단계;
    상기 MCU가 상기 제1 결정 정보와 상기 제2 결정 정보를 기초로, 제어 명령을 생성하는 단계;를 더 포함하는 것을 특징으로 하는 방법.
  5. 제1 시스템 온 칩(SoC)과 마이크로 제어 유닛(MCU)을 포함하고, 상기 제1 SoC는 필드 프로그래머블 게이트 어레이(FPGA)와 진보된 축소 명령 세트 머신(ARM)을 통해 집적 구성되고, 상기 제1 SoC와 상기 MCU는 이더넷 교환 칩을 통해 연결되는 것을 특징으로 하는 차량 탑재 제어 유닛.
  6. 제 5 항에 있어서,
    제2 시스템 온 칩(SoC)을 더 포함하고, 상기 제2 SoC 상에 FPGA와 ARM이 설치되고, 상기 제2 SoC 상의 FPGA와 ARM은 버스를 통해 연결되고, 상기 제2 SoC와 상기 MCU는 상기 이더넷 교환 칩을 통해 연결되는 것을 특징으로 하는 차량 탑재 제어 유닛.
  7. 제 5 항 또는 제 6 항에 있어서,
    제1 동기식 동적 랜덤 메모리(SDRAM)와 제1 플래시 메모리(Flash)를 더 포함하고, 상기 제1 SDRAM은 상기 제1 SoC와 연결되고, 상기 제1 Flash는 상기 제1 SoC와 연결되는 것을 특징으로 하는 차량 탑재 제어 유닛.
  8. 차량 탑재 제어 유닛에 적용되는 자동 주행 장치에 있어서, 상기 자동 주행 장치는 제1 시스템 온 칩(SoC) 모듈과 마이크로 제어 유닛(MCU) 모듈을 포함하고, 상기 제1 SoC 모듈은 FPGA와 진보된 축소 명령 세트 머신(ARM)을 통해 집적 구성되고, 상기 차량 탑재 제어 유닛은 자동 주행 차량 상에 설치되고, 상기 제1 SoC는 제1 FPGA 유닛과 제1 ARM 유닛을 포함하고, 여기서,
    상기 제1 FPGA 유닛은 차량 탑재 카메라에서 발송한 동영상 데이터를 수신하고, 제1 신경망 알고리즘을 이용하여 상기 동영상 데이터에 대해 시각 감지를 수행함으로써, 제1 감지 정보를 획득하고, 상기 제1 SoC의 ARM으로 상기 제1 감지 정보를 발송하고;
    상기 제1 ARM 유닛은 상기 제1 감지 정보를 처리하여, 제1 결정 정보를 획득하고 상기 MCU 모듈로 발송하는 것을 특징으로 하는 자동 주행 장치.
  9. 제 8 항에 있어서,
    상기 제1 ARM 유닛은 구체적으로 레이더 데이터를 수신하고, 상기 제1 감지 정보와 상기 레이더 데이터를 융합시키고, 융합된 상기 제1 감지 정보와 상기 레이더 데이터를 처리하여 상기 제1 결정 정보를 획득하고 상기 MCU로 발송하는 것을 특징으로 하는 장치.
  10. 제 8 항 또는 제 9 항에 있어서,
    상기 장치는 제2 SoC 모듈을 더 포함하고, 상기 제2 SoC 모듈은 제2 FPGA 유닛과 제2 ARM 유닛을 포함하고, 여기서,
    상기 제2 FPGA 유닛은 상기 차량 탑재 카메라에서 발송한 상기 동영상 데이터를 수신하고, 제2 신경망 알고리즘을 이용하여 상기 동영상 데이터에 대해 시각 감지를 수행함으로써, 제2 감지 정보를 획득하고, 상기 제2 SoC의 ARM으로 상기 제2 감지 정보를 발송하고;
    상기 제2 ARM 유닛은 상기 제2 감지 정보를 처리하여, 제2 결정 정보를 획득하고 상기 MCU로 발송하며;
    상기 MCU 모듈은 상기 제1 결정 정보와 상기 제2 결정 정보를 기초로, 제어 명령을 생성하는 것을 특징으로 하는 장치.
KR1020207024742A 2018-12-28 2019-12-27 차량 탑재 제어 유닛, fpga 기반 차량 자동 주행 방법 및 장치 KR102471010B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN201811625816 2018-12-28
CN201811625816.8 2018-12-28
CN201910013122.7A CN109814552A (zh) 2018-12-28 2019-01-07 车载控制单元、基于fpga的车辆自动驾驶方法及装置
CN201910013122.7 2019-01-07
PCT/CN2019/129248 WO2020135730A1 (zh) 2018-12-28 2019-12-27 车载控制单元、基于fpga的车辆自动驾驶方法及装置

Publications (2)

Publication Number Publication Date
KR20200115594A true KR20200115594A (ko) 2020-10-07
KR102471010B1 KR102471010B1 (ko) 2022-11-25

Family

ID=66604077

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207024742A KR102471010B1 (ko) 2018-12-28 2019-12-27 차량 탑재 제어 유닛, fpga 기반 차량 자동 주행 방법 및 장치

Country Status (6)

Country Link
US (1) US20210001880A1 (ko)
EP (1) EP3839686B1 (ko)
JP (1) JP7416731B2 (ko)
KR (1) KR102471010B1 (ko)
CN (1) CN109814552A (ko)
WO (1) WO2020135730A1 (ko)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109814552A (zh) * 2018-12-28 2019-05-28 百度在线网络技术（北京）有限公司 车载控制单元、基于fpga的车辆自动驾驶方法及装置
CN111025959B (zh) * 2019-11-20 2021-10-01 华为技术有限公司 一种数据管理的方法、装置、设备及智能汽车
CN110780608B (zh) * 2019-11-26 2023-03-10 北京百度网讯科技有限公司 仿真测试方法及装置
CN110955232A (zh) * 2019-12-13 2020-04-03 深圳市英博超算科技有限公司 一种自动驾驶系统架构
US11706076B2 (en) 2020-01-23 2023-07-18 Novnet Computing System Tech Co., Ltd. Computer system with computing devices, communication device, task processing device
CN110928693B (zh) * 2020-01-23 2021-01-15 飞诺门阵(北京)科技有限公司 一种计算设备及资源分配方法
JP7425615B2 (ja) * 2020-02-05 2024-01-31 マツダ株式会社 車両用制御システム
CN111290310B (zh) * 2020-02-13 2021-03-16 天津鹍骐科技有限公司 一种车载计算系统
US20220048525A1 (en) * 2020-08-14 2022-02-17 Nvidia Corporation Hardware fault detection for feedback control systems in autonomous machine applications
CN112793481B (zh) * 2021-01-11 2021-10-15 宁波均联智行科技股份有限公司 一种座舱主动安全方法及系统
CN112527003B (zh) * 2021-02-18 2021-07-16 北京图森智途科技有限公司 数据传输装置和系统
CN113110407B (zh) * 2021-06-16 2021-09-10 奥特酷智能科技(南京)有限公司 基于区块网关电控单元的汽车控制器
CN113200003A (zh) * 2021-06-18 2021-08-03 北京理工华创电动车技术有限公司 一种商用车整车多域集成控制系统及方法
CN113721503A (zh) * 2021-08-16 2021-11-30 北京超星未来科技有限公司 一种车载计算平台、无人驾驶系统及车辆
CN113442938A (zh) * 2021-08-31 2021-09-28 国汽智控(北京)科技有限公司 车载计算系统、电子设备和车辆
CN114348018A (zh) * 2021-12-17 2022-04-15 际络科技(上海)有限公司 商用车辆的自动驾驶系统及方法
CN114407872A (zh) * 2022-02-17 2022-04-29 驭势科技（浙江）有限公司 自动驾驶系统及车辆
CN114625189A (zh) * 2022-02-28 2022-06-14 北京梧桐车联科技有限责任公司 车辆管理方法、装置及设备
CN114604260A (zh) * 2022-05-11 2022-06-10 青岛慧拓智能机器有限公司 用于无人车的域控制器及域控制装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108037756A (zh) * 2017-11-29 2018-05-15 江苏若博机器人科技有限公司 一种多传感器融合中速无人车探测避障系统
CN108205279A (zh) * 2017-12-08 2018-06-26 联创汽车电子有限公司 异构多芯片智能驾驶控制器
US20180297606A1 (en) * 2017-03-10 2018-10-18 Baidu Usa Llc Automatic steering control reference adaption to resolve understeering of autonomous driving vehicles

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008021034A (ja) * 2006-07-11 2008-01-31 Fujitsu Ten Ltd 画像認識装置、画像認識方法、歩行者認識装置および車両制御装置
US9188980B2 (en) * 2008-09-11 2015-11-17 Deere & Company Vehicle with high integrity perception system
US20100063652A1 (en) * 2008-09-11 2010-03-11 Noel Wayne Anderson Garment for Use Near Autonomous Machines
US8478493B2 (en) * 2008-09-11 2013-07-02 Deere & Company High integrity perception program
US20130151088A1 (en) * 2011-11-16 2013-06-13 Flextronics Ap, Llc Method and system for vehicle data collection regarding traffic
NL2007104C2 (nl) * 2011-03-18 2012-09-19 Innovius B V Voertuigvolgsysteem voor toepassing in een voertuig.
US10380022B2 (en) * 2011-07-28 2019-08-13 Netlist, Inc. Hybrid memory module and system and method of operating the same
CN107015933B (zh) * 2013-03-13 2018-07-17 博世汽车服务解决方案公司 具有片上系统装置、传感器和无线适配器的车辆测量设备
US20140267727A1 (en) * 2013-03-14 2014-09-18 Honda Motor Co., Ltd. Systems and methods for determining the field of view of a processed image based on vehicle information
US9132746B2 (en) * 2013-08-15 2015-09-15 Honda Motor Co., Ltd. Method and system for reducing range anxiety
US9720797B2 (en) * 2015-06-30 2017-08-01 Nxp Usa, Inc. Flash memory controller, data processing system with flash memory controller and method of operating a flash memory controller
US11047976B2 (en) * 2015-09-30 2021-06-29 Sony Corporation Information processing apparatus, information processing method and program
CN105335327B (zh) * 2015-10-13 2017-11-21 电子科技大学 基于Soc的可重构/双冗余VPX3U信号处理载板
US10003554B1 (en) * 2015-12-22 2018-06-19 Amazon Technologies, Inc. Assisted sideband traffic management
JP6858002B2 (ja) * 2016-03-24 2021-04-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 物体検出装置、物体検出方法及び物体検出プログラム
US11378954B2 (en) * 2016-06-28 2022-07-05 Faraday&Future Inc. Multi-processor SoC system
US10509407B2 (en) * 2016-07-01 2019-12-17 Samsung Electronics Co., Ltd. Apparatus and method for a vehicle platform
CN111897751A (zh) * 2017-01-26 2020-11-06 华为技术有限公司 一种数据传输的方法、装置、设备和系统
US9919702B1 (en) * 2017-01-27 2018-03-20 GM Global Technology Operations LLC Systems and methods for managing battery state of charge
CN108462726A (zh) * 2017-02-14 2018-08-28 广州市联奥信息科技有限公司 面向未知状况的车辆辅助驾驶决策系统和装置
KR20180097247A (ko) * 2017-02-23 2018-08-31 주식회사 만도 사용자 친화적 차량 제어 시스템 및 방법
CN108508882A (zh) * 2017-02-28 2018-09-07 郑州宇通客车股份有限公司 一种车辆辅助驾驶控制平台
CN106951627A (zh) * 2017-03-15 2017-07-14 北京百度网讯科技有限公司 车辆自动驾驶的仿真测试方法、装置、设备及计算机可读存储介质
US10816973B2 (en) * 2017-06-02 2020-10-27 Baidu Usa Llc Utilizing rule-based and model-based decision systems for autonomous driving control
CN110741223A (zh) * 2017-06-16 2020-01-31 本田技研工业株式会社 信息处理装置、信息处理方法以及程序
CN107404529A (zh) * 2017-07-26 2017-11-28 成都网烁信息科技有限公司 一种基于网络云的大数据分析系统及方法
US10384501B2 (en) * 2017-11-07 2019-08-20 Michael Benn Rothschild Digital hardware method, system and device for preventing the initial onset of trailer oscillations and control thereof
CN107885214A (zh) * 2017-11-22 2018-04-06 济南浪潮高新科技投资发展有限公司 一种基于fpga的加速自动驾驶视觉感知的方法及装置
CN108162977A (zh) * 2017-11-25 2018-06-15 深圳市元征科技股份有限公司 驾驶辅助系统及控制方法
US10620266B2 (en) * 2017-11-29 2020-04-14 Intel Corporation System, apparatus and method for in-field self testing in a diagnostic sleep state
US11029744B2 (en) * 2017-12-29 2021-06-08 Intel Corporation System, apparatus and method for controlling a processor based on effective stress information
CN108196547B (zh) * 2018-01-08 2020-06-23 北京图森未来科技有限公司 一种自动驾驶系统
CN108445885A (zh) * 2018-04-20 2018-08-24 鹤山东风新能源科技有限公司 一种基于纯电动物流车的自动驾驶系统及其控制方法
CN108614790B (zh) * 2018-05-03 2021-02-05 浪潮集团有限公司 一种车载计算单元、车辆及车辆自动驾驶方法
CN108776472A (zh) * 2018-05-17 2018-11-09 驭势（上海）汽车科技有限公司 智能驾驶控制方法及系统、车载控制设备和智能驾驶车辆
CN109814552A (zh) * 2018-12-28 2019-05-28 百度在线网络技术（北京）有限公司 车载控制单元、基于fpga的车辆自动驾驶方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180297606A1 (en) * 2017-03-10 2018-10-18 Baidu Usa Llc Automatic steering control reference adaption to resolve understeering of autonomous driving vehicles
CN108037756A (zh) * 2017-11-29 2018-05-15 江苏若博机器人科技有限公司 一种多传感器融合中速无人车探测避障系统
CN108205279A (zh) * 2017-12-08 2018-06-26 联创汽车电子有限公司 异构多芯片智能驾驶控制器

Also Published As

Publication number Publication date
EP3839686A1 (en) 2021-06-23
JP7416731B2 (ja) 2024-01-17
EP3839686A4 (en) 2022-05-04
CN109814552A (zh) 2019-05-28
US20210001880A1 (en) 2021-01-07
KR102471010B1 (ko) 2022-11-25
WO2020135730A1 (zh) 2020-07-02
JP2021529388A (ja) 2021-10-28
EP3839686B1 (en) 2024-05-01

Similar Documents

Publication Publication Date Title
KR102471010B1 (ko) 차량 탑재 제어 유닛, fpga 기반 차량 자동 주행 방법 및 장치
US20210011908A1 (en) Model-based structured data filtering in an autonomous vehicle
US11148675B2 (en) Apparatus and method of sharing a sensor in a multiple system on chip environment
CN111295599A (zh) 在汽车环境中广播传感器输出的方法和系统
US10477155B2 (en) Driving assistance method, driving assistance device, and recording medium recording program using same
CN113165651B (zh) 电子装置及其控制方法
US11640268B2 (en) Timed memory access
US20230032305A1 (en) Communicating faults to an isolated safety region of a system on a chip
Chitnis et al. Enabling functional safety ASIL compliance for autonomous driving software systems
CN115390546A (zh) 车辆诊断通信方法、装置、设备及介质
CN109739232B (zh) 障碍物追踪方法、装置、车载终端及存储介质
US9804992B2 (en) Computer system and method for accessing virtual machine
CN112712608B (zh) 用于通过车辆收集性能数据的系统和方法
CN112654999B (zh) 标注信息的确定方法及装置
CN114791889A (zh) 一种传感器数据的处理方法及装置
KR20180067431A (ko) 블랙박스 영상 제공 방법 및 이를 수행하는 장치들
CN113968227B (zh) 用于非自动驾驶车的控制方法和装置
US20210012220A1 (en) Rules-based structured data filtering in an autonomous vehicle
EP3153970A1 (en) A vehicle safety electronic control system
KR102238463B1 (ko) 운전자 머뉴버에 대한 시공간 색인 방법 및 이를 이용한 운전자 평가 방법
US11840160B1 (en) Automatically adjusting ergonomic features of a vehicle seat
US20230401140A1 (en) Method for carrying out data processing
CN114724373B (zh) 交通现场信息获取方法和装置、电子设备和存储介质
CN210781107U (zh) 一种车载数据处理终端及系统
US11849225B2 (en) Throughput reduction in autonomous vehicle camera sensors

Legal Events

Date Code Title Description
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant