JP7416731B2 - 車載制御ユニット、ｆｐｇａベースの車両自動運転方法及び装置 - Google Patents

車載制御ユニット、ｆｐｇａベースの車両自動運転方法及び装置 Download PDF

Info

Publication number
JP7416731B2
JP7416731B2 JP2020572668A JP2020572668A JP7416731B2 JP 7416731 B2 JP7416731 B2 JP 7416731B2 JP 2020572668 A JP2020572668 A JP 2020572668A JP 2020572668 A JP2020572668 A JP 2020572668A JP 7416731 B2 JP7416731 B2 JP 7416731B2
Authority
JP
Japan
Prior art keywords
soc
arm
fpga
mcu
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020572668A
Other languages
English (en)
Other versions
JP2021529388A (ja
Inventor
ジアユエ フー
Original Assignee
バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド filed Critical バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド
Publication of JP2021529388A publication Critical patent/JP2021529388A/ja
Application granted granted Critical
Publication of JP7416731B2 publication Critical patent/JP7416731B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/30—Circuit design
    • G06F30/32—Circuit design at the digital level
    • G06F30/33—Design verification, e.g. functional simulation or model checking
    • G06F30/3308—Design verification, e.g. functional simulation or model checking using simulation
    • G06F30/331—Design verification, e.g. functional simulation or model checking using simulation with hardware acceleration, e.g. by using field programmable gate array [FPGA] or emulation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/408—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves

Description

本願の実施例は、車両制御技術分野に関し、特に車載制御ユニット、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）ベースの車両自動運転方法及び装置に関する。
自動運転車両(Ｓｅｌｆ－ｄｒｉｖｉｎｇ Ｃａｒ)はまた、無人運転車両、コンピュータ駆動車両、又は車輪付き移動ロボットとも呼ばれており、コンピュータシステムによって無人運転を実現するスマート車両である。
自動運転自動車には電子制御ユニット（ｅｌｅｃｔｒｏｎｉｃ ｃｏｎｔｒｏｌ ｕｎｉｔ、ＥＣＵ）が配置されており、ＥＣＵはまた、走行コンピュータ、車載コンピュータとも呼ばれており、無人運転車両の「脳」である。自動運転中には、車載カメラを利用して自動運転車両の周辺情報を収集し、収集した情報をＥＣＵに送信し、ＥＣＵがセンシングアルゴリズムを利用して受信された情報に対して視覚的センシングを行って決定結果を生成し、決定結果に基づいて制御命令を生成し、さらに制御命令に基づいて自動運転を完成させる。
上記自動運転中には、センシングアルゴリズムを利用して車載カメラが収集した情報に対して視覚的センシングを行うことはＥＣＵに大きく依存し、ＥＣＵ負担が増大してしまうようになっている。
本願の実施例は、車載制御ユニット、ＦＰＧＡベースの車両自動運転方法及び装置を提供し、第１のシステムオンチップ（ＳｏＣ）がＦＰＧＡによってＡＲＭと集積的に配置されており、ＦＰＡＧとＡＲＭとを介してセンサデータを処理した後にマイクロコントロールユニット（ＭＣＵ）に送信し、ＭＣＵの負担を軽減する。
本願の実施例の第１の態様では、ＦＰＧＡベースの車両自動運転方法を提供し、車載制御ユニットに適用され、前記車載制御ユニットが第１のシステムオンチップＳｏＣとマイクロコントロールユニットＭＣＵとを含み、前記第１のＳｏＣがＦＰＧＡによってアドバンスト縮小命令セットマシンＡＲＭと集積的に配置され、前記車載制御ユニットが自動運転車両に配置され、前記方法は、
前記第１のＳｏＣのＦＰＧＡが車載カメラによって送信されたビデオデータを受信するステップと、
前記第１のＳｏＣのＦＰＧＡが第１のニューラルネットワークアルゴリズムを利用して前記ビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得るステップと、
前記第１のＳｏＣのＦＰＧＡが前記第１のＳｏＣのＡＲＭへ前記第１のセンシング情報を送信するステップと、
前記第１のＳｏＣのＡＲＭが前記第１のセンシング情報を処理し、第１の決定情報を得て前記ＭＣＵに送信するステップと、を含む。
１つの実行可能な設計において、前記第１のＳｏＣのＡＲＭが前記第１のセンシング情報を処理し、第１の決定情報を得て前記ＭＣＵに送信するステップは、
前記第１のＳｏＣのＡＲＭがレーダデータを受信するステップと、
前記第１のＳｏＣのＡＲＭが前記第１のセンシング情報と前記レーダデータとを融合するステップと、
前記第１のＳｏＣのＡＲＭが融合された前記第１のセンシング情報と前記レーダデータとを処理し、前記第１の決定情報を得て前記ＭＣＵに送信するステップと、を含む。
１つの実行可能な設計において、前記レーダデータは超音波レーダデータ、ミリ波レーダデータ、レーザレーダデータのうちの少なくとも１つを含む。
１つの実行可能な設計において、前記車載制御ユニットは、第２のシステムオンチップＳｏＣをさらに含み、前記第２のＳｏＣがＦＰＧＡによってアドバンスト縮小命令セットマシンＡＲＭと集積的に配置され、前記方法はさらに、
前記第２のＳｏＣのＦＰＧＡが前記車載カメラによって送信された前記ビデオデータを受信するステップと、
前記第２のＳｏＣのＦＰＧＡが第２のニューラルネットワークアルゴリズムを利用して前記ビデオデータに対して視覚的センシングを行い、第２のセンシング情報を得るステップと、
前記第２のＳｏＣのＦＰＧＡが前記第２のＳｏＣのＡＲＭへ前記第２のセンシング情報を送信するステップと、
前記第２のＳｏＣのＡＲＭが前記第２のセンシング情報を処理し、第２の決定情報を得て前記ＭＣＵに送信するステップと、
前記ＭＣＵが前記第１の決定情報と前記第２の決定情報とに基づき、制御命令を生成するステップと、を含む。
本願の実施例の第２の態様では、第１のシステムオンチップＳｏＣとマイクロコントロールユニットＭＣＵとが含まれる車載制御ユニットを提供し、前記第１のＳｏＣがフィールドプログラマブルゲートアレイＦＰＧＡによってアドバンスト縮小命令セットマシンＡＲＭと集積的に配置され、前記第１のＳｏＣがイーサネットスイッチチップによって前記ＭＣＵと接続する。
１つの実行可能な設計において、上記の車載制御ユニットはさらに、第２のシステムオンチップＳｏＣを含み、前記第２のＳｏＣにＦＰＧＡとＡＲＭとが配置され、前記第２のＳｏＣでのＦＰＧＡがバスを介してＡＲＭと接続され、前記第２のＳｏＣが前記イーサネットスイッチチップを介して前記ＭＣＵと接続する。
１つの実行可能な設計において、上記の車載制御ユニットはさらに、第１の同期ダイナミックランダムアクセスメモリＳＤＲＡＭと第１のフラッシュメモリＦｌａｓｈを含み、前記第１のＳＤＲＡＭが前記第１のＳｏＣと接続され、前記第１のＦｌａｓｈが前記第１のＳｏＣと接続される。
本願の実施例の第３の態様では、自動運転装置を提供し、該装置は車載制御ユニットに適用され、前記自動運転装置が、第１のシステムオンチップＳｏＣモジュールとマイクロコントロールユニットＭＣＵモジュールとを含み、前記第１のＳｏＣモジュールがＦＰＧＡによってアドバンスト縮小命令セットマシンＡＲＭと集積的に配置され、前記車載制御ユニットが自動運転車両に配置され、前記第１のＳｏＣが第１のＦＰＧＡユニットと第１のＡＲＭユニットとを含み、
前記第１のＦＰＧＡユニットが、車載カメラによって送信されたビデオデータを受信し、第１のニューラルネットワークアルゴリズムを利用して前記ビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得て、前記第１のＳｏＣのＡＲＭへ前記第１のセンシング情報を送信するためのものであり、
前記第１のＡＲＭユニットが、前記第１のセンシング情報を処理し、第１の決定情報を得て前記ＭＣＵモジュールに送信するためのものである。
１つの実行可能な設計において、前記第１のＡＲＭユニットは、具体的に、レーダデータを受信して、前記第１のセンシング情報と前記レーダデータとを融合し、融合された前記第１のセンシング情報と前記レーダデータとを処理し、前記第１の決定情報を得て前記ＭＣＵに送信するためのものである。
１つの実行可能な設計において、前記装置はさらに、第２のＳｏＣモジュールを含み、前記第２のＳｏＣモジュールが第２のＦＰＧＡユニットと第２のＡＲＭユニットとを含み、
前記第２のＦＰＧＡユニットが、前記車載カメラによって送信された前記ビデオデータを受信し、第２のニューラルネットワークアルゴリズムを利用して前記ビデオデータに対して視覚的センシングを行い、第２のセンシング情報を得て、前記第２のＳｏＣのＡＲＭへ前記第２のセンシング情報を送信するためのものであり、
前記第２のＡＲＭユニットが、前記第２のセンシング情報を処理し、第２の決定情報を得て前記ＭＣＵに送信するためのものであり、
前記ＭＣＵモジュールが、前記第１の決定情報と前記第２の決定情報とに基づき、制御命令を生成するためのものである。
本願の実施例による車載制御ユニット、ＦＰＧＡベースの車両自動運転方法及び装置であって、車載制御ユニットにはＭＣＵ及びＦＰＧＡによってＡＲＭと集積的に配置されていることで実現された第１のＳｏＣが含まれ、車載制御ユニットが自動運転自動車に配置され、自動運転中には、第１のＳｏＣのＦＰＧＡが車載カメラによって送信されたビデオデータを受信し、第１のニューラルネットワークアルゴリズムを利用してビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得て、第１のＳｏＣのＡＲＭへ該第１のセンシング情報を送信し、第１のＳｏＣのＡＲＭが該第１のセンシング情報を処理して第１の決定情報を得てＭＣＵに送信し、最後にＭＣＵが該第１の決定情報に基づいて制御命令を生成して対応する実行機構に送信し、これによって実行機構が該制御命令に基づいて自動運転をする。該過程では、第１のＳｏＣがＦＰＧＡによってＡＲＭと集積的に配置され、ＦＰＡＧとＡＲＭがセンサデータを処理した後にＭＣＵに送信し、ＭＣＵの負担を軽減する。
本願の実施例又は従来技術における技術的解決手段をより明確に説明するため、以下に実施例又は従来技術の記述に使用する必要がある図面を簡単に説明するが、当然ながら、以下に記載する図面は本願のいくつかの実施例であり、当業者にとって、創造的な労力なしにこれらの図面に基づいて他の図面を取得することもできる。
従来技術においてＦＰＧＡベースで実現されたＥＣＵである。 本願の実施例による車載制御ユニットのアーキテクチャ概略図である。 本願の実施例によるフィールドプログラマブルゲートアレイＦＰＧＡベースの自動運転方法のフローチャートである。 本願の実施例によるもう１つの車載制御ユニットのアーキテクチャ概略図である。 本願の実施例による１つの自動運転装置の構造概略図である。 本願の実施例によるもう１つの自動運転装置の構造概略図である。
以下、本願の実施例に係る図面に合わせながら、本願の実施例における技術的解決手段を明瞭に、且つ完全に説明し、当然ながら、記載される実施例は本願の実施例の一部にすぎず、すべての実施例ではない。当業者が本願における実施例に基づいて創造的な労働なしに取得されたその他のすべての実施例は、いずれも本願発明の保護範囲に属する。
本願の明細書と特許請求の範囲及び上記図面中の用語「第１」、「第２」、「第３」、「第４」など（存在する場合）は、類似の対象を区別するためのものであり、特定の手順又は順番を説明するためのものである必要はない。本明細書で説明する本願の実施例を、ここで図示又は説明するもの以外の順序で実施することができるように、このように使用するデータは適切な場合に交換可能であることが理解されるべきである。なお、用語「含む」及び「有する」及びそれらの任意の変形は、非排他的包含をカバーすることを意図し、例えば一連のステップ又はユニットを含むプロセス、方法、システム、製品、又はデバイスは、必ずしも明確に列記されたステップ又はユニットに限定される必要がなく、明確に列記されていない又はこれらのプロセス、方法、製品、又はデバイスに固有のそのほかのステップ又はユニットを含んでもよい。
車載制御ユニットはまた、電子制御ユニット（ｅｌｅｃｔｒｏｎｉｃ ｃｏｎｔｒｏｌ ｕｎｉｔ、ＥＣＵ）とも呼ばれ、現代の自動車用電子機器のコアコンポーネントの１つであり、１台の自動車にはＥＣＵが複数配置され、異なる機能を担当するためのものであり、各ＥＣＵの間では情報のインタラクションを行うことができ、複数のＥＣＵが自動車の制御システムを構成している。一般的に、１つのＥＣＵは、マイクロコントロールユニット（ｍｉｃｒｏ ｃｏｎｔｒｏｌｌｅｒ ｕｎｉｔ、ＭＣＵ）、入力出力インタフェースなどを含む。ＥＣＵは他の電子コンポーネントとともに自動車の脳中枢神経システムを形成し、予め設定されたプログラムに基づいて様々なセンサによって送信された情報を処理し、決定結果を生成し、さらに制御命令を生成し、それから制御命令を実行機構に送信し、実行機構によって様々な所定の制御機能を実行する。
現在、各メーカーは集積回路（ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ＩＣ）を利用してＥＣＵを実現している一方、一部のメーカーはフィールドプログラマブルゲートアレイ（ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ、ＦＰＧＡ）ベースのアーキテクチャを採ってＥＣＵを実現している。図１は、従来技術においてＦＰＧＡベースで実現したＥＣＵである。図１を参照されたい。該ＦＰＧＡベースのＥＣＵは、ＦＰＧＡがＥＣＵの外部に配置されたものであり、該ＦＰＧＡが外部のＥＣＵと接続され、コンピューティングする必要が多くないＥＣＵに適する。しかしながら、運転支援、自動運転などの技術の進化に伴い、ＥＣＵと接続する車載カメラ、レーダなどのセンサが多くなっており、様々なセンサのデータを処理するために、ＥＣＵには強力なコンピューティング能力が必要となっている。様々なセンサでは、車載カメラによって収集されたデータは最も巨大で処理が困難であり、それに、車載カメラによって収集されたビデオデータの現在の主流の処理方法は、ディープラーニングニューラルネットワークアルゴリズムであり、ディープラーニングニューラルネットワークアルゴリズムは巨大なＥＣＵ中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＣＰＵ）リソースを消費する必要があり、即ち、ＥＣＵには強力なコンピューティング能力が必要であり、従来のＦＰＧＡベースのＥＣＵは、ＦＰＧＡを利用して車載カメラによって送信されたビデオデータを処理し、処理されたデータを外部のＥＣＵに送信し、外部ＥＣＵによって受信したデータをさらに処理し、処理結果に基づいて制御命令を生成し、さらに制御命令に基づいて自動運転を完成させる。
上記自動運転中には、ＦＰＧＡ演算を経たデータは外部ＥＣＵによってさらなる処理を行う必要があり、ＥＣＵ負担が増加してしまうようになった。
これに鑑みて、本願の実施例は、１つのＥＣＵベースのＦＰＧＡを提供し、ＡＲＭが集積されたＦＰＧＡを介してセンサデータを処理した後にＥＣＵのＭＣＵに送信し、ＭＣＵの負担を軽減する。例示的に、図２を参考にすることができる。
図２は、本願の実施例による１つの車載制御ユニットのアーキテクチャ概略図である。図２を参照されたい。本願の実施例による車載制御ユニットは、第１のシステムオンチップ（ｓｙｓｔｅｍ ｏｎ ｃｈｉｐ、ＳｏＣ）とマイクロコントロールユニット（ｍｉｃｒｏ ｃｏｎｔｒｏｌｌｅｒ ｕｎｉｔ、ＭＣＵ）とを含み、該第１のＳｏＣがフィールドプログラマブルゲートアレイＦＰＧＡによってアドバンスト縮小命令セットマシン（ａｄｖａｎｃｅｄ ＲＩＳＣ Ｍａｃｈｉｎｅ、ＡＲＭ）と集積的に配置されており、前記第１のＳｏＣがイーサネットスイッチチップを介して前記ＭＣＵと接続する。
図２を参照されたい。第１のＳｏＣはＦＰＧＡとＡＲＭとを融合し、両者を集中させてパッケージ化し、単一のチップを構成し、集積度を向上させると同時にＦＰＧＡとＡＲＭとの間のデータ接続が削減され、これによって第１のＳｏＣはより多くの操作を実行することができ、信頼性を向上させると同時にＥＣＵの複雑さを低下した。該第１のＳｏＣがイーサネットスイッチチップを介してＭＣＵと接続され、これにより第１のＳｏＣとＭＣＵとの間のデータ交換を実現する。イーサネットスイッチチップはさらに、外部車載イーサネットとインタラクションをすることができる。ＭＣＵは、ＥＣＵのプリント回路基板（ｐｒｉｎｔｅｄ ｃｉｒｃｕｉｔ ｂｏａｒｄ、ＰＣＢ）全体の機能安全処理および内向き外向きインタフェースを担当し、ＭＣＵは、内向きにイーサネットスイッチ（ｓｗｉｔｃｈ）チップを介して第１のＳｏＣとインタラクションをし、同時に全地球測位システム（ｇｌｏｂａｌ ｐｏｓｉｔｉｏｎｉｎｇ ｓｙｓｔｅｍ、ＧＰＳ）、慣性測定ユニット（ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ、ＩＭＵ）、温度センサなどはいずれもＭＣＵとインタラクションをする。外向きインタフェースの方では、ＭＣＵは、デバッグインタフェースと車両制御インタフェースを引き出し、デバッグインタフェースが主にボードのデバッグを担当し、車両制御インタフェースが車両に対する制御機能を実現する。
本願の実施例による車載制御ユニットは、ＭＣＵ及びＦＰＧＡによってＡＲＭと集積的に配置されていることで実現された第１のＳｏＣを含み、車載制御ユニットが自動運転自動車に配置されており、自動運転中には、第１のＳｏＣのＦＰＧＡが車載カメラによって送信されたビデオデータを受信し、第１のニューラルネットワークアルゴリズムを利用してビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得て、第１のＳｏＣのＡＲＭへ該第１のセンシング情報を送信し、第１のＳｏＣのＡＲＭが該第１のセンシング情報を処理して第１の決定情報を得てＭＣＵに送信し、最後にＭＣＵが該第１の決定情報に基づいて制御命令を生成して対応する実行機構に送信し、これによって実行機構が該制御命令に基づいて自動運転をする。該過程では、第１のＳｏＣがＦＰＧＡによってＡＲＭと集積的に配置されており、ＦＰＡＧとＡＲＭとを介してセンサデータを処理した後にＭＣＵに送信し、ＭＣＵの負担を軽減する。
上記の車載制御ユニットが自動運転自動車に配置される。以下、図２に基づき、本願の実施例によるＦＰＧＡベースの自動運転方法について詳細に説明する。例示的に、図３を参照することができる。図３は、本願の実施例によるフィールドプログラマブルゲートアレイＦＰＧＡベースの自動運転方法のフローチャートである。本実施例は以下のステップを含む。
１０１において、前記第１のＳｏＣのＦＰＧＡが車載カメラによって送信されたビデオデータを受信する。
本願の実施例において、車載制御ユニットが自動運転自動車に配置され、車載制御ユニットは第１のＳｏＣとＭＣＵとを含み、該第１のＳｏＣがＦＰＧＡによってＡＲＭと集積的に配置される。本ステップでは、自動運転車両上の車載カメラがビデオデータを収集して第１のＳｏＣでのＦＰＧＡへ送信する。相応的に、第１のＳｏＣでのＦＰＧＡが該ビデオデータを受信する。
１０２において、前記第１のＳｏＣのＦＰＧＡが第１のニューラルネットワークアルゴリズムを利用して前記ビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得る。
本ステップでは、第１のＳｏＣでのＦＰＧＡが第１のニューラルネットワークアルゴリズムを利用して受信したビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得る。第１のニューラルネットワークアルゴリズムが、畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ、ＣＮＮ）アルゴリズムなどの予め設定されたディープラーニングベースのニューラルネットワークアルゴリズムである。例えば、時間遅延ネットワーク（ｔｉｍｅ ｄｅｌａｙ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＴＤＮＮ）アルゴリズム、シフト不変人工ニューラルネットワーク（ｓｈｉｆｔ－ｉｎｖａｒｉａｎｔ ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ、ＳＩＡＮＮ）アルゴリズム、ＬｅＮｅｔ－５ニューラルネットワークアルゴリズム、ＶＧＧＮｅｔニューラルネットワークアルゴリズム、ＧｏｏｇＬｅＮｅｔニューラルネットワークアルゴリズム又はＲｅｓＮｅｔニューラルネットワークアルゴリズムなどである。
１０３において、前記第１のＳｏＣのＦＰＧＡが前記第１のＳｏＣのＡＲＭへ前記第１のセンシング情報を送信する。
本ステップでは第１のＳｏＣのＦＰＧＡがＦＰＧＡ内部バスを介して、第１のセンシング情報を第１のＳｏＣのＡＲＭに送信する。
１０４において、前記第１のＳｏＣのＡＲＭが前記第１のセンシング情報を処理し、第１の決定情報を得て前記ＭＣＵに送信する。
本ステップでは、第１のＳｏＣのＡＲＭが第１のセンシング情報に基づいて環境に対してモデル化などをし、決定アルゴリズムを利用して第１のセンシング情報を処理し、第１の決定情報を得た後にＭＣＵに送信する。ＭＣＵは該第１の決定情報を受信した後に、該第１の決定情報に基づいて制御命令を生成して対応する実行機構に送信し、これによって実行機構が該制御命令に基づいて自動運転をする。
本願の実施例によるフィールドプログラマブルゲートアレイＦＰＧＡベースの自動運転方法は、車載制御ユニットに適用され、該車載制御ユニットにはＭＣＵ及びＦＰＧＡによってＡＲＭと集積的に配置されていることで実現された第１のＳｏＣが含まれており、車載制御ユニットが自動運転自動車に配置されており、自動運転中には、第１のＳｏＣのＦＰＧＡが車載カメラによって送信されたビデオデータを受信し、第１のニューラルネットワークアルゴリズムを利用してビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得て、第１のＳｏＣのＡＲＭへ該第１のセンシング情報を送信し、第１のＳｏＣのＡＲＭが該第１のセンシング情報を処理して第１の決定情報を得てＭＣＵに送信し、最後にＭＣＵが該第１の決定情報に基づいて制御命令を生成して対応する実行機構に送信し、これによって実行機構が該制御命令に基づいて自動運転をする。該過程では、第１のＳｏＣ がＦＰＧＡによってＡＲＭと集積的に配置されており、ＦＰＡＧとＡＲＭとによってセンサデータを処理した後にＭＣＵに送信し、ＭＣＵの負担を軽減する。
図２を再び参照されたい。本願の実施例において、第１のＳｏＣのＡＲＭが第１のセンシング情報を処理し、第１の決定情報を得て前記ＭＣＵに送信するとき、該第１のＳｏＣのＡＲＭはさらに、レーダデータを受信し、第１のセンシング情報とレーダデータとを融合し、それから融合された第１のセンシング情報とレーダデータとを処理し、第１の決定情報を得てＭＣＵに送信する。該過程では、第１のＳｏＣのＡＲＭが第１のＳｏＣのＦＰＧＡによって送信された第１のセンシング情報を受信した後に、該第１のセンシング情報と他のセンサによって送信されたデータとを集約して融合した後に融合データを得て、融合データを利用して環境モデリングと決定操作を行い、第１の決定情報を得た後にＭＣＵに送信する。ＭＣＵが該第１の決定情報を受信した後に、該第１の決定情報に基づいて制御命令を生成して対応する実行機構に送信し、これによって実行機構が該制御命令に基づいて自動運転をする。そのうち、センサは超音波レーダ、ミリ波レーダ、レーザレーダなどを含み、相応的に、センサによって送信されたデータは超音波レーダデータ、ミリ波レーダデータ、レーザレーダデータのうちの少なくとも１つを含む。
図４は、本願の実施例によるもう１つの車載制御ユニットのアーキテクチャ概略図である。図４を参照されたい。本願の実施例による車載制御ユニットは、上記図２のうえで、さらに、第２のＳｏＣを含み、該第２のＳｏＣがＦＰＧＡによってアドバンスト縮小命令セットマシンＡＲＭと集積的に配置されている。自動運転中には、車載カメラは、収集したビデオデータを第１のＳｏＣのＦＰＧＡに送信する以外に、該ビデオデータを第２のＳｏＣのＦＰＧＡに送信する。第２のＳｏＣのＦＰＧＡはビデオデータを受信した後に、第２のニューラルネットワークアルゴリズムを利用して該ビデオデータに対して視覚的センシングを行い、第２のセンシング情報を得てＦＰＧＡ内部バスを介して、該第２のセンシング情報を第２のＳｏＣのＡＲＭに送信する。第２のＳｏＣのＡＲＭは第２のセンシング情報を受信した後に、該第２のセンシング情報を処理し、第２の決定情報を得てＭＣＵに送信する。このようにすると、ＭＣＵは第１のＳｏＣのＡＲＭによって送信された第１の決定情報と第２のＳｏＣによって送信された第２の決定情報とを受信するようになる。ＭＣＵは該２つの決定情報に対して比較と分析をし、その中から適切な計画情報を選出し、選出された計画情報に基づいて制御命令を生成して対応する実行機構に送信し、これによって実行機構が該制御命令に基づいて自動運転をする。
上記図４の実施例において、第１のＳｏＣのＦＰＧＡが第１のニューラルネットワークアルゴリズムを利用してビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得る。第２のＳｏＣのＦＰＧＡが第２のニューラルネットワークアルゴリズムを利用して前記ビデオデータに対して視覚的センシングを行い、第２のセンシング情報を得る。第１のニューラルネットワークアルゴリズムと第２のニューラルネットワークアルゴリズムとは、互いに異なるニューラルネットワークアルゴリズムである。例えば、第１のニューラルネットワークアルゴリズムは畳み込みニューラルネットワークアルゴリズムであり、第２のニューラルネットワークアルゴリズムはＢｐアルゴリズムなどである。また、例えば、第１のニューラルネットワークアルゴリズムは時間遅延ネットワークアルゴリズムであり、第２のニューラルネットワークアルゴリズムはＲｅｓＮｅｔニューラルネットワークアルゴリズムなどである。
本願の実施例において、第１のＳｏＣ、第２のＳｏＣ及びＭＣＵを介して巨大な処理能力を得た高集積の車載制御ユニットアーキテクチャは、第１のＳｏＣのＦＰＧＡと第２のＳｏＣのＦＰＧＡとを利用してビデオデータに対してニューラルネットワークアルゴリズムの計算を行い、かつＦＰＧＡのそれぞれがビデオデータを計算して得られたセンシング情報は対応するＳｏＣのＡＲＭに送信され、ＡＲＭによってセンシング情報とレーダデータとを融合するため、本願の実施例による車載制御ユニットはより強力な処理能力を備えられるようになった。それに、自動車電子製品が必要する機能安全の観点から見ると、第１のＳｏＣと第２のＳｏＣとを利用してデュアルＳｏＣを実現し、これにより異種冗長構造を実現し、即ち、第１のＳｏＣのＦＰＧＡと第２のＳｏＣのＦＰＧＡとがそれぞれ異なるニューラルネットワークアルゴリズムを採ってビデオデータを処理することは、車載制御ユニットの機能安全を確保するのみならず、また一次バックアップ機能として使用できる。
図４を再び参照されたい。本願の実施例による車載制御ユニットはさらに、第１の同期ダイナミックランダムアクセスメモリ（ｓｙｎｃｈｒｏｎｏｕｓ ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＳＤＲＡＭ）と第１のフラッシュメモリ（Ｆｌａｓｈ）とを含んでもよく、該第１のＳＤＲＡＭが第１のＳｏＣと接続され、第１のＦｌａｓｈが第１のＳｏＣと接続される。同様に、本願の実施例による車載制御ユニットはさらに、第２の同期ダイナミックランダムアクセスメモリ（ｓｙｎｃｈｒｏｎｏｕｓ ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ、ＳＤＲＡＭ）と第２のフラッシュメモリ（Ｆｌａｓｈ）を含んでもよく、該第２のＳＤＲＡＭが第２のＳｏＣと接続され、第２のＦｌａｓｈが第２のＳｏＣと接続される。該アーキテクチャに基づき、自動運転中には、ＥＣＵが起動されると、第１のＳｏＣが第１のＦｌａｓｈからプログラムをロードし、第２のＳｏＣが第２のＦｌａｓｈからプログラムをロードし、プログラムロードが完成されると、車載カメラおよび他のセンサがデータを入力するように待機する。車載カメラによって収集されたビデオデータに対し、第１のＳｏＣのＦＰＧＡが第１のニューラルネットワークアルゴリズムを利用してビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得る。第２のＳｏＣのＦＰＧＡが第２のニューラルネットワークアルゴリズムを利用してビデオデータに対して視覚的センシングを行い、第２のセンシング情報を得る。第１のセンシング情報が第１のＳｏＣのＦＰＧＡによって第１のＳｏＣのＡＲＭに送信され、該第１のＳｏＣのＡＲＭが第１のセンシング情報と様々なレーダの検出データを融合し、第１の融合データを得て、該第１の融合データを利用して環境をモデル化し、それから決定アルゴリズムに基づいて第１の決定情報を生成してイーサネットスイッチチップを介してＭＣＵに送信する。第２のセンシング情報が第２のＳｏＣのＦＰＧＡによって第２のＳｏＣのＡＲＭに送信され、該第２のＳｏＣのＡＲＭが第２のセンシング情報と様々なレーダの検出データとを融合し、第２の融合データを得て、該第２の融合データを利用して環境をモデル化し、それから決定アルゴリズムに基づいて第２の決定情報を生成してイーサネットスイッチチップを介してＭＣＵに送信する。ＭＣＵは第１の決定情報と第２の決定情報とを受信した後に、該２つの決定情報に対して分析と比較をし、適切な決定情報を選出し、選出された決定情報に基づいて制御命令を生成し、車両制御インタフェースを介して制御命令を実行機構に送信し、実行機構によって制御命令に基づいて自動運転をする。
図５は、本願の実施例による１つの自動運転装置の構造概略図である。本実施例にかかる自動運転装置は車載制御ユニットであってもよく、車載制御ユニット内部に適用するチップであってもよい。該自動運転装置は、上記実施例において車載制御ユニットの機能を実行するために使用されることができる。図５に示すように、該自動運転装置１００は、第１のシステムオンチップＳｏＣモジュール１１とマイクロコントロールユニットＭＣＵモジュール１２とを含んでもよく、前記第１のＳｏＣモジュール１１がＦＰＧＡによってアドバンスト縮小命令セットマシンＡＲＭと集積的に配置されており、前記車載制御ユニットが自動運転車両に配置されており、前記第１のＳｏＣモジュール１１が第１のＦＰＧＡユニット１１１と第１のＡＲＭユニット１１２とを含み、
前記第１のＦＰＧＡユニット１１１が、車載カメラによって送信されたビデオデータを受信し、第１のニューラルネットワークアルゴリズムを利用して前記ビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得て、前記第１のＡＲＭユニット１１２へ前記第１のセンシング情報を送信するためのものである。
前記第１のＡＲＭユニット１１２が、前記第１のセンシング情報を処理し、第１の決定情報を得て前記ＭＣＵモジュール１２に送信するためのものである。
１つの実行可能な設計において、前記第１のＡＲＭユニット１１２は、具体的に、レーダデータを受信し、前記第１のセンシング情報と前記レーダデータとを融合し、融合された前記第１のセンシング情報と前記レーダデータとを処理し、前記第１の決定情報を得て前記ＭＣＵに送信するためのものである。
本願の実施例による自動運転装置は、車載制御ユニットに適用され、該自動運転装置にはＭＣＵモジュールおよび第１のＳｏＣモジュールが含まれており、該第１のＳｏＣモジュールが第１のＦＰＧＡユニットと第１のＡＲＭユニットとを含み、自動運転中には、第１のＦＰＧＡユニットが車載カメラによって送信されたビデオデータを受信し、第１のニューラルネットワークアルゴリズムを利用してビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得て、第１のＡＲＭユニットへ該第１のセンシング情報を送信し、第１のＡＲＭユニットが該第１のセンシング情報を処理して第１の決定情報を得てＭＣＵモジュールに送信し、最後にＭＣＵモジュールが該第１の決定情報に基づいて制御命令を生成して対応する実行機構に送信し、これによって実行機構が該制御命令に基づいて自動運転をする。該過程では、第１のＳｏＣがＦＰＧＡによってＡＲＭと集積的に配置されており、ＦＰＡＧとＡＲＭとを介してセンサデータを処理した後にＭＣＵに送信し、ＭＣＵの負担を軽減する。
図６は、本願の実施例によるもう１つの自動運転装置の構造概略図である。本実施例による自動運転装置１００は、上記図５を基礎として、
第２のＳｏＣモジュール１３をさらに含み、前記第２のＳｏＣモジュール１３が第２のＦＰＧＡユニット１３１と第２のＡＲＭユニット１３２とを含み、
前記第２のＦＰＧＡユニット１３１が、前記車載カメラによって送信された前記ビデオデータを受信し、第２のニューラルネットワークアルゴリズムを利用して前記ビデオデータに対して視覚的センシングを行い、第２のセンシング情報を得て、前記第２のＡＲＭユニット１３２へ前記第２のセンシング情報を送信するためのものであり、
前記第２のＡＲＭユニット１３２が、前記第２のセンシング情報を処理し、第２の決定情報を得て前記ＭＣＵに送信するためのものであり、
前記ＭＣＵモジュール１２が、前記第１の決定情報と前記第２の決定情報とに基づき、制御命令を生成するためのものである。
本願の実施例はさらに、記憶媒体を提供し、前記記憶媒体にはコンピュータ実行命令が含まれ、前記コンピュータ実行命令が、プロセッサによって実行されるとき、上記に説明したフィールドプログラマブルゲートアレイＦＰＧＡベースの自動運転方法を実現するためのものである。
上記の実施例において、説明されたデバイスと方法は、他の方式で実現されることができると理解されるべきである。例えば、以上説明したデバイスの実施例は例示的なものにすぎず、例えば、前記モジュールの分割は論理機能上の分割にすぎず、実際に実現する際に別の形態で分割してもよく、例えば、複数のモジュールを別のシステムに組み合わせもしくは集積させたり、又は一部の特徴を反映させなかったり、実行しなかったりしてもよい。また、表示又は検討した互いの結合又は直接的な結合又は通信接続は、いくつかのインタフェース、装置又はモジュールを介した間接的結合又は通信接続であってもよく、電気的形態、機械的形態又はその他の形態であってもよい。
前記分離される部品として説明されるモジュールは、物理的に分離されるものでもよければ、分離されないものであってもよい。モジュールとして示される部品は、物理的なモジュールであってもよいが、物理的なモジュールでなくてもよい。即ち、同一の場所に設けられるものであってもよいが、複数のネットワークユニットに配置されるものであってもよい。実際の必要に応じて、モジュールの一部またはすべてを選択して本実施例の解決手段の目的を達成することができる。
また、本願の各実施例において、各機能モジュールは１つの処理モジュールに集積されるか、各モジュールが単独で物理的存在するか、２つ以上のモジュールが１つのユニットに集積されてもよい。上記モジュールによって集積されたユニットはハードウェアの形で実現されてもよいし、ハードウェアとソフトウェアを加える機能モジュールの形で実現されてもよい。
ソフトウェア機能モジュールの形で実現された集積的な上記モジュールは、１つのコンピュータ読み取り可能な記憶媒体に記憶されることができる。上記ソフトウェア機能モジュールは、１つの記憶媒体に記憶され、１台の電子デバイス（パーソナルコンピュータ、サーバ、またはネットワークデバイスなどであってよい）又はプロセッサ（ｐｒｏｃｅｓｓｏｒ）が本願の各実施例に記載の方法の一部のステップを実行するようにするためのいくつかの命令を含む。
上記プロセッサは中央処理ユニット（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ、ＣＰＵ）であってもよく、他の汎用プロセッサ、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ、ＡＳＩＣ）などであってもよいことが理解されるべきである。汎用プロセッサはマイクロプロセッサであってもよく、又は該プロセッサは任意の従来のプロセッサなどであってもよい。本願に開示された方法を組み合わせるステップは、ハードウェアプロセッサによる実行完了、又はプロセッサにおけるハードウェア及びソフトウェアモジュールの組み合わせによる実行完了と直接具体化されることができる。
メモリは高速ランダムアクセスメモリ（ＲＡＭ）を含んでよく、さらに不揮発性記憶ＮＶＭ、例えば少なくとも１つの磁気ディスクメモリを含んでよく、さらにＵＳＢフラッシュドライブ、モバイルハードディスクドライブ、リードオンリーメモリ、磁気ディスク又はコンパクトディスクなどであってもよい。
バスは、業界標準アーキテクチャ（ｉｎｄｕｓｔｒｙ ｓｔａｎｄａｒｄ ａｒｃｈｉｔｅｃｔｕｒｅ、ＩＳＡ）バス、ペリフェラルコンポーネント（ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ、ＰＣＩ）バス又は拡張された業界標準アーキテクチャ（ｅｘｔｅｎｄｅｄ ｉｎｄｕｓｔｒｙ ｓｔａｎｄａｒｄ ａｒｃｈｉｔｅｃｔｕｒｅ、ＥＩＳＡ）バスなどであってよい。バスはアドレスバス、データバス、コントロールバスなどに分けられることができる。表記を容易にするために、本願の図面におけるバスは１本のバス又は１種のバスのみに限定されない。
上記記憶媒体は任意のタイプの揮発性又は不揮発性記憶機器またはそれらの組み合わせで実現されてよく、例えばスタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスク又はコンパクトディスクであってよい。記憶媒体は汎用又は専用のコンピュータがアクセス可能な任意の利用可能な媒体であってもよい。
例示的な記憶媒体は、プロセッサに結合されており、これによりプロセッサが該記憶媒体から情報を読み取り、該記憶媒体に情報を書き込むことができる。当然ながら、記憶媒体はプロセッサの構成部分であってもよい。プロセッサ及び記憶媒体は特定用途向け集積回路（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ、ＡＳＩＣ）に配置されてもよい。当然ながら、プロセッサと記憶媒体は分離された構成要素として端末又はサーバに存在してもよい。
上記実施例において、そのすべて又は一部は、ソフトウェア、ハードウェア、ファームウェア、または、それらの任意の組み合わせによって実現することができる。ソフトウェアを使用して実現する場合、すべて又は一部はコンピュータプログラム製品の形で実現できる。コンピュータプログラム製品は、１つ又は複数のコンピュータ命令を含む。コンピュータプログラム命令のロードと実行がコンピュータでされるとき、本願の実施例によるプロセス又は機能のすべて又は一部が構成される。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、または、他のプログラム可能な装置であってもよい。コンピュータ命令は、コンピュータ可読記憶媒体に記憶されるか、または、１つのコンピュータ可読記憶媒体から別のコンピュータ可読記憶媒体に伝送することができ、例えば、コンピュータ命令は、１つのウェブサイト、コンピュータ、サービス又はデータセンターから別のウェブサイト、コンピュータ、サービス又はデータセンターに有線（例えば、同軸ケーブル、光ファイバー、デジタル加入者線（ｄｉｇｉｔａｌ ｓｕｂｓｃｒｉｂｅｒ ｌｉｎｅ、ＤＳＬ））、または、無線（例えば、赤外線、無線、マイクロウェイブなど）で伝送できる。コンピュータ可読記憶媒体は、アクセス可能な任意の利用可能な媒体、または、１つ又は複数の利用可能な媒体によって集積されたサービス、データセンターなどを含むデータ記憶機器であってもよい。利用可能な媒体は、磁気媒体（例えば、フロッピーディスク、ハードディスク、磁気テープ）、光学媒体（例えば、ＤＶＤ）、または、半導体媒体（例えば、ソリッドステートディスクＳｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ、ＳＳＤ）などであってもよい。
本明細書における「複数」という用語は、２つ以上を指す。本明細書の「及び／又は」という用語は、関連する対象を説明する関連関係にすぎず、３つの関係が存在すると表すことができ、例えば、Ａ及び／又はＢは、Ａが単独で存在する、ＡとＢが同時に存在する、Ｂが単独で存在するという３つの状況を表すことができる。また、本明細書の「／」という文字は一般的に、前後関連の対象が「又は」という関係であることを表し、式では、「／」という文字は、前後関連の対象が「除算」関係であることを表す。
当業者であれば、上記各方法の実施例を実現するすべて又は一部のステップはプログラムコマンドに関連するハードウェアにより完了することができると理解されるべきである。前述したプログラムはコンピュータ読み取り可能な記憶媒体に記憶することができる。該プログラムが実行されるとき、上記各方法の実施例を含むステップを実行する。前述した記憶媒体は、ＲＯＭ、ＲＡＭ、磁気ディスク又はコンパクトディスクなどのプログラムコードが記憶できる様々な媒体を含む。
最後に説明すべきなのは、以上の各実施例は、本願の技術的解決手段を説明するためのものだけであり、これを制限するものではなく、前述の各実施例を参照しながら本願を詳細に説明したが、当業者であれば、依然として前述の各実施例に記載の技術的解決手段を修正するか、またはそのうちの一部又はすべての技術的特徴に対して等価置換を行うことができ、これらの修正又は置換は、対応する技術的解決手段の本質を本願の各実施例の技術的解決手段の範囲から逸脱しないと理解すべきである。

Claims (11)

  1. フィールドプログラマブルゲートアレイ（ＦＰＧＡ）ベースの自動運転方法であって、車載制御ユニットに適用され、前記車載制御ユニットが第１のシステムオンチップ（第１のＳｏＣ）とマイクロコントロールユニット（ＭＣＵ）とを含み、前記第１のＳｏＣがＦＰＧＡによってアドバンスト縮小命令セットマシン（ＡＲＭ）と集積的に配置され、前記車載制御ユニットが自動運転車両に配置され、前記方法は、
    前記第１のＳｏＣのＦＰＧＡが車載カメラによって送信されたビデオデータを受信するステップと、
    前記第１のＳｏＣのＦＰＧＡが第１のニューラルネットワークアルゴリズムを利用して前記ビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得るステップと、
    前記第１のＳｏＣのＦＰＧＡが前記第１のＳｏＣのＡＲＭへ前記第１のセンシング情報を送信するステップと、
    前記第１のＳｏＣのＡＲＭが前記第１のセンシング情報を処理し、第１の決定情報を得て前記ＭＣＵに送信するステップと、を含み、
    前記車載制御ユニットはさらに、第２のシステムオンチップ（ＳｏＣ）を含み、前記第２のＳｏＣがＦＰＧＡによってアドバンスト縮小命令セットマシンＡＲＭと集積的に配置され、前記方法はさらに、
    前記第２のＳｏＣのＦＰＧＡが前記車載カメラによって送信された前記ビデオデータを受信するステップと、
    前記第２のＳｏＣのＦＰＧＡが第２のニューラルネットワークアルゴリズムを利用して前記ビデオデータに対して視覚的センシングを行い、第２のセンシング情報を得るステップと、
    前記第２のＳｏＣのＦＰＧＡが前記第２のＳｏＣのＡＲＭへ前記第２のセンシング情報を送信するステップと、
    前記第２のＳｏＣのＡＲＭが前記第２のセンシング情報を処理し、第２の決定情報を得て前記ＭＣＵに送信するステップと、
    前記ＭＣＵが前記第１の決定情報と前記第２の決定情報とを比較と分析することによりその中から1つを選出し、選出結果に基づき、制御命令を生成するステップと、を含むことを特徴とするフィールドプログラマブルゲートアレイＦＰＧＡベースの自動運転方法。
  2. 前記第１のＳｏＣのＡＲＭが前記第１のセンシング情報を処理し、第１の決定情報を得て前記ＭＣＵに送信するステップは、
    前記第１のＳｏＣのＡＲＭがレーダデータを受信するステップと、
    前記第１のＳｏＣのＡＲＭが前記第１のセンシング情報と前記レーダデータとを融合するステップと、
    前記第１のＳｏＣのＡＲＭが融合された前記第１のセンシング情報と前記レーダデータとを処理し、前記第１の決定情報を得て前記ＭＣＵに送信するステップと、を含むことを特徴とする請求項１に記載の方法。
  3. 前記レーダデータは超音波レーダデータ、ミリ波レーダデータ、レーザレーダデータのうちの少なくとも１つを含むことを特徴とする請求項２に記載の方法。
  4. 車載制御ユニットであって、第１のシステムオンチップ（ＳｏＣ）とマイクロコントロールユニット（ＭＣＵ）とを含み、前記第１のＳｏＣがフィールドプログラマブルゲートアレイ（ＦＰＧＡ）によってアドバンスト縮小命令セットマシン（ＡＲＭ）と集積的に配置され、前記第１のＳｏＣがイーサネットスイッチチップを介して前記ＭＣＵと接続され、
    前記第１のＳｏＣが第１のＦＰＧＡユニットと第１のＡＲＭユニットとを含み、
    前記第１のＦＰＧＡユニットが、車載カメラによって送信されたビデオデータを受信し、第１のニューラルネットワークアルゴリズムを利用して前記ビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得て、前記第１のＳｏＣの第１のＡＲＭへ前記第１のセンシング情報を送信するためのものであり、
    前記第１のＡＲＭユニットが、前記第１のセンシング情報を処理し、第１の決定情報を得て、前記第１の決定情報を前記ＭＣＵに送信し、
    前記車載制御ユニットは、第２のシステムオンチップ（ＳｏＣ）をさらに含み、前記第２のＳｏＣにＦＰＧＡとＡＲＭとが配置され、前記第２のＳｏＣでのＦＰＧＡがバスを介してＡＲＭと接続され、前記第２のＳｏＣが前記イーサネットスイッチチップを介して前記ＭＣＵと接続され、
    前記第２のＳｏＣのＦＰＧＡは、
    前記車載カメラによって送信された前記ビデオデータを受信し、
    第２のニューラルネットワークアルゴリズムを利用して前記ビデオデータに対して視覚的センシングを行い、第２のセンシング情報を得、
    前記第２のＳｏＣのＡＲＭへ前記第２のセンシング情報を送信し、
    前記第２のＳｏＣのＡＲＭが前記第２のセンシング情報を処理し、第２の決定情報を得て前記ＭＣＵに送信し、
    前記ＭＣＵが前記第１の決定情報と前記第２の決定情報とを比較と分析することによりその中から1つを選出し、選出結果に基づき、制御命令を生成することを特徴とする車載制御ユニット。
  5. 前記第１のＡＲＭユニットは、レーダデータを受信し、前記第１のセンシング情報と前記レーダデータとを融合し、融合された前記第１のセンシング情報と前記レーダデータとを処理し、前記第１の決定情報を得て、前記第１の決定情報を前記ＭＣＵに送信するためのものである請求項４に記載の車載制御ユニット。
  6. 前記レーダデータは超音波レーダデータ、ミリ波レーダデータ、レーザレーダデータのうちの少なくとも１つを含むことを特徴とする請求項５に記載の車載制御ユニット。
  7. 第１の同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）と第１のフラッシュメモリ（Ｆｌａｓｈ）とをさらに含み、前記第１のＳＤＲＡＭが前記第１のＳｏＣと接続され、前記第１のＦｌａｓｈが前記第１のＳｏＣと接続されることを特徴とする請求項４に記載の車載制御ユニット。
  8. 自動運転装置であって、該装置は車載制御ユニットに適用され、前記自動運転装置が、第１のシステムオンチップ（ＳｏＣ）モジュールとマイクロコントロールユニット（ＭＣＵ）モジュールとを含み、前記第１のＳｏＣモジュールがフィールドプログラマブルゲートアレイ（ＦＰＧＡ）によってアドバンスト縮小命令セットマシン（ＡＲＭ）と集積的に配置され、前記車載制御ユニットが自動運転車両に配置され、前記第１のＳｏＣが第１のＦＰＧＡユニットと第１のＡＲＭユニットとを含み、
    前記第１のＦＰＧＡユニットが、車載カメラによって送信されたビデオデータを受信し、第１のニューラルネットワークアルゴリズムを利用して前記ビデオデータに対して視覚的センシングを行い、第１のセンシング情報を得て、前記第１のＳｏＣのＡＲＭへ前記第１のセンシング情報を送信するためのものであり、
    前記第１のＡＲＭユニットが、前記第１のセンシング情報を処理し、第１の決定情報を得て前記ＭＣＵモジュールに送信するためのものであり、
    前記装置は、第２のＳｏＣモジュールをさらに含み、前記第２のＳｏＣモジュールが第２のＦＰＧＡユニットと第２のＡＲＭユニットとを含み、
    前記第２のＦＰＧＡユニットが、前記車載カメラによって送信された前記ビデオデータを受信し、第２のニューラルネットワークアルゴリズムを利用して前記ビデオデータに対して視覚的センシングを行い、第２のセンシング情報を得て、前記第２のＳｏＣのＡＲＭへ前記第２のセンシング情報を送信するためのものであり、
    前記第２のＡＲＭユニットが、前記第２のセンシング情報を処理し、第２の決定情報を得て前記ＭＣＵモジュールに送信するためのものであり、
    前記ＭＣＵモジュールが、前記第１の決定情報と前記第２の決定情報とを比較と分析することによりその中から1つを選出し、選出結果に基づき、制御命令を生成するためのものであることを特徴とする自動運転装置。
  9. 前記第１のＡＲＭユニットは、レーダデータを受信し、前記第１のセンシング情報と前記レーダデータとを融合し、融合された前記第１のセンシング情報と前記レーダデータとを処理し、前記第１の決定情報を得て前記ＭＣＵモジュールに送信するためのものであることを特徴とする請求項８に記載の装置。
  10. 前記レーダデータは超音波レーダデータ、ミリ波レーダデータ、レーザレーダデータのうちの少なくとも１つを含むことを特徴とする請求項９に記載の装置。
  11. コンピュータプログラムであって、前記コンピュータプログラムがコンピュータで実行されると、前記コンピュータに請求項１～３のいずれか一項に記載の方法を実行させることを特徴とするコンピュータプログラム。
JP2020572668A 2018-12-28 2019-12-27 車載制御ユニット、ｆｐｇａベースの車両自動運転方法及び装置 Active JP7416731B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN201811625816 2018-12-28
CN201811625816.8 2018-12-28
CN201910013122.7A CN109814552A (zh) 2018-12-28 2019-01-07 车载控制单元、基于fpga的车辆自动驾驶方法及装置
CN201910013122.7 2019-01-07
PCT/CN2019/129248 WO2020135730A1 (zh) 2018-12-28 2019-12-27 车载控制单元、基于fpga的车辆自动驾驶方法及装置

Publications (2)

Publication Number Publication Date
JP2021529388A JP2021529388A (ja) 2021-10-28
JP7416731B2 true JP7416731B2 (ja) 2024-01-17

Family

ID=66604077

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020572668A Active JP7416731B2 (ja) 2018-12-28 2019-12-27 車載制御ユニット、ｆｐｇａベースの車両自動運転方法及び装置

Country Status (6)

Country Link
US (1) US20210001880A1 (ja)
EP (1) EP3839686B1 (ja)
JP (1) JP7416731B2 (ja)
KR (1) KR102471010B1 (ja)
CN (1) CN109814552A (ja)
WO (1) WO2020135730A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109814552A (zh) * 2018-12-28 2019-05-28 百度在线网络技术（北京）有限公司 车载控制单元、基于fpga的车辆自动驾驶方法及装置
CN111025959B (zh) * 2019-11-20 2021-10-01 华为技术有限公司 一种数据管理的方法、装置、设备及智能汽车
CN110780608B (zh) * 2019-11-26 2023-03-10 北京百度网讯科技有限公司 仿真测试方法及装置
CN110955232A (zh) * 2019-12-13 2020-04-03 深圳市英博超算科技有限公司 一种自动驾驶系统架构
US11706076B2 (en) 2020-01-23 2023-07-18 Novnet Computing System Tech Co., Ltd. Computer system with computing devices, communication device, task processing device
CN110928693B (zh) * 2020-01-23 2021-01-15 飞诺门阵(北京)科技有限公司 一种计算设备及资源分配方法
JP7425615B2 (ja) * 2020-02-05 2024-01-31 マツダ株式会社 車両用制御システム
CN111290310B (zh) * 2020-02-13 2021-03-16 天津鹍骐科技有限公司 一种车载计算系统
US20220048525A1 (en) * 2020-08-14 2022-02-17 Nvidia Corporation Hardware fault detection for feedback control systems in autonomous machine applications
CN112793481B (zh) * 2021-01-11 2021-10-15 宁波均联智行科技股份有限公司 一种座舱主动安全方法及系统
CN112527003B (zh) * 2021-02-18 2021-07-16 北京图森智途科技有限公司 数据传输装置和系统
CN113110407B (zh) * 2021-06-16 2021-09-10 奥特酷智能科技(南京)有限公司 基于区块网关电控单元的汽车控制器
CN113200003A (zh) * 2021-06-18 2021-08-03 北京理工华创电动车技术有限公司 一种商用车整车多域集成控制系统及方法
CN113721503A (zh) * 2021-08-16 2021-11-30 北京超星未来科技有限公司 一种车载计算平台、无人驾驶系统及车辆
CN113442938A (zh) * 2021-08-31 2021-09-28 国汽智控(北京)科技有限公司 车载计算系统、电子设备和车辆
CN114348018A (zh) * 2021-12-17 2022-04-15 际络科技(上海)有限公司 商用车辆的自动驾驶系统及方法
CN114407872A (zh) * 2022-02-17 2022-04-29 驭势科技（浙江）有限公司 自动驾驶系统及车辆
CN114625189A (zh) * 2022-02-28 2022-06-14 北京梧桐车联科技有限责任公司 车辆管理方法、装置及设备
CN114604260A (zh) * 2022-05-11 2022-06-10 青岛慧拓智能机器有限公司 用于无人车的域控制器及域控制装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008021034A (ja) 2006-07-11 2008-01-31 Fujitsu Ten Ltd 画像認識装置、画像認識方法、歩行者認識装置および車両制御装置
WO2017057056A1 (ja) 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP2017182771A (ja) 2016-03-24 2017-10-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 物体検出装置、物体検出方法及び物体検出プログラム
US20180093538A1 (en) 2017-11-07 2018-04-05 Michael Benn Rothschild Digital hardware method, system and device for preventing the initial onset of trailer oscillations and control thereof
WO2018230492A1 (ja) 2017-06-16 2018-12-20 本田技研工業株式会社 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9188980B2 (en) * 2008-09-11 2015-11-17 Deere & Company Vehicle with high integrity perception system
US20100063652A1 (en) * 2008-09-11 2010-03-11 Noel Wayne Anderson Garment for Use Near Autonomous Machines
US8478493B2 (en) * 2008-09-11 2013-07-02 Deere & Company High integrity perception program
US20130151088A1 (en) * 2011-11-16 2013-06-13 Flextronics Ap, Llc Method and system for vehicle data collection regarding traffic
NL2007104C2 (nl) * 2011-03-18 2012-09-19 Innovius B V Voertuigvolgsysteem voor toepassing in een voertuig.
US10380022B2 (en) * 2011-07-28 2019-08-13 Netlist, Inc. Hybrid memory module and system and method of operating the same
CN107015933B (zh) * 2013-03-13 2018-07-17 博世汽车服务解决方案公司 具有片上系统装置、传感器和无线适配器的车辆测量设备
US20140267727A1 (en) * 2013-03-14 2014-09-18 Honda Motor Co., Ltd. Systems and methods for determining the field of view of a processed image based on vehicle information
US9132746B2 (en) * 2013-08-15 2015-09-15 Honda Motor Co., Ltd. Method and system for reducing range anxiety
US9720797B2 (en) * 2015-06-30 2017-08-01 Nxp Usa, Inc. Flash memory controller, data processing system with flash memory controller and method of operating a flash memory controller
CN105335327B (zh) * 2015-10-13 2017-11-21 电子科技大学 基于Soc的可重构/双冗余VPX3U信号处理载板
US10003554B1 (en) * 2015-12-22 2018-06-19 Amazon Technologies, Inc. Assisted sideband traffic management
US11378954B2 (en) * 2016-06-28 2022-07-05 Faraday&Future Inc. Multi-processor SoC system
US10509407B2 (en) * 2016-07-01 2019-12-17 Samsung Electronics Co., Ltd. Apparatus and method for a vehicle platform
CN111897751A (zh) * 2017-01-26 2020-11-06 华为技术有限公司 一种数据传输的方法、装置、设备和系统
US9919702B1 (en) * 2017-01-27 2018-03-20 GM Global Technology Operations LLC Systems and methods for managing battery state of charge
CN108462726A (zh) * 2017-02-14 2018-08-28 广州市联奥信息科技有限公司 面向未知状况的车辆辅助驾驶决策系统和装置
KR20180097247A (ko) * 2017-02-23 2018-08-31 주식회사 만도 사용자 친화적 차량 제어 시스템 및 방법
CN108508882A (zh) * 2017-02-28 2018-09-07 郑州宇通客车股份有限公司 一种车辆辅助驾驶控制平台
EP3391004B1 (en) * 2017-03-10 2020-04-22 Baidu.com Times Technology (Beijing) Co., Ltd. Automatic steering control reference adaption to resolve understeering of autonomous driving vehicles
CN106951627A (zh) * 2017-03-15 2017-07-14 北京百度网讯科技有限公司 车辆自动驾驶的仿真测试方法、装置、设备及计算机可读存储介质
US10816973B2 (en) * 2017-06-02 2020-10-27 Baidu Usa Llc Utilizing rule-based and model-based decision systems for autonomous driving control
CN107404529A (zh) * 2017-07-26 2017-11-28 成都网烁信息科技有限公司 一种基于网络云的大数据分析系统及方法
CN107885214A (zh) * 2017-11-22 2018-04-06 济南浪潮高新科技投资发展有限公司 一种基于fpga的加速自动驾驶视觉感知的方法及装置
CN108162977A (zh) * 2017-11-25 2018-06-15 深圳市元征科技股份有限公司 驾驶辅助系统及控制方法
US10620266B2 (en) * 2017-11-29 2020-04-14 Intel Corporation System, apparatus and method for in-field self testing in a diagnostic sleep state
CN108037756A (zh) * 2017-11-29 2018-05-15 江苏若博机器人科技有限公司 一种多传感器融合中速无人车探测避障系统
CN108205279B (zh) * 2017-12-08 2020-02-25 联创汽车电子有限公司 异构多芯片智能驾驶控制器
US11029744B2 (en) * 2017-12-29 2021-06-08 Intel Corporation System, apparatus and method for controlling a processor based on effective stress information
CN108196547B (zh) * 2018-01-08 2020-06-23 北京图森未来科技有限公司 一种自动驾驶系统
CN108445885A (zh) * 2018-04-20 2018-08-24 鹤山东风新能源科技有限公司 一种基于纯电动物流车的自动驾驶系统及其控制方法
CN108614790B (zh) * 2018-05-03 2021-02-05 浪潮集团有限公司 一种车载计算单元、车辆及车辆自动驾驶方法
CN108776472A (zh) * 2018-05-17 2018-11-09 驭势（上海）汽车科技有限公司 智能驾驶控制方法及系统、车载控制设备和智能驾驶车辆
CN109814552A (zh) * 2018-12-28 2019-05-28 百度在线网络技术（北京）有限公司 车载控制单元、基于fpga的车辆自动驾驶方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008021034A (ja) 2006-07-11 2008-01-31 Fujitsu Ten Ltd 画像認識装置、画像認識方法、歩行者認識装置および車両制御装置
WO2017057056A1 (ja) 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
JP2017182771A (ja) 2016-03-24 2017-10-05 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 物体検出装置、物体検出方法及び物体検出プログラム
WO2018230492A1 (ja) 2017-06-16 2018-12-20 本田技研工業株式会社 情報処理装置、情報処理方法、及びプログラム
US20180093538A1 (en) 2017-11-07 2018-04-05 Michael Benn Rothschild Digital hardware method, system and device for preventing the initial onset of trailer oscillations and control thereof

Also Published As

Publication number Publication date
KR20200115594A (ko) 2020-10-07
EP3839686A1 (en) 2021-06-23
EP3839686A4 (en) 2022-05-04
CN109814552A (zh) 2019-05-28
US20210001880A1 (en) 2021-01-07
KR102471010B1 (ko) 2022-11-25
WO2020135730A1 (zh) 2020-07-02
JP2021529388A (ja) 2021-10-28
EP3839686B1 (en) 2024-05-01

Similar Documents

Publication Publication Date Title
JP7416731B2 (ja) 車載制御ユニット、ｆｐｇａベースの車両自動運転方法及び装置
US11144027B2 (en) Functional safety controls based on soft error information
RU2017142088A (ru) Самодиагностика процессора автономного транспортного средства
CN110703797B (zh) 无人机及其飞行轨迹的生成方法、计算机可读存储介质
US11294749B2 (en) Techniques to collect crash data for a computing system
WO2022252574A1 (zh) 一种故障检测的方法、装置、存储介质及电子设备
US11640268B2 (en) Timed memory access
US20200241987A1 (en) Functional safety compliant self-testing
EP4266184A1 (en) Method and device for processing sensor data
CN109739232B (zh) 障碍物追踪方法、装置、车载终端及存储介质
US9804992B2 (en) Computer system and method for accessing virtual machine
US11915027B2 (en) Security and data logging of virtual machines
JP2021077362A (ja) 車両による性能データの収集のためのシステムおよび方法
CN115503626A (zh) 车辆的控制系统、方法、电子设备及存储介质
WO2022110604A1 (zh) 一种电池监控平台的控制方法及控制系统
US20220058020A1 (en) Electronic control device and control method
US11720506B2 (en) Device and method for inspecting process, and electronic control device
KR102600734B1 (ko) 자동차 시스템들에 대한 동적 재구성가능 인-필드 셀프-테스트능력
US20170023935A1 (en) Method and Control System
JP6639552B2 (ja) フェールセーフ制御装置及びフェールセーフ制御方法
CN111559327A (zh) 一种数据处理方法及对应的装置
US11849225B2 (en) Throughput reduction in autonomous vehicle camera sensors
US11981348B2 (en) Automated driving control system and automated driving control apparatus
US20230401140A1 (en) Method for carrying out data processing
US11840160B1 (en) Automatically adjusting ergonomic features of a vehicle seat

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201225

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230120

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230516

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230914

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240104

R150 Certificate of patent or registration of utility model

Ref document number: 7416731

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150