JP7185811B2 - 超音波アレイによる障害物検出結果の処理方法、コンピュータデバイス、記憶媒体、プログラム及びシステム - Google Patents

超音波アレイによる障害物検出結果の処理方法、コンピュータデバイス、記憶媒体、プログラム及びシステム Download PDF

Info

Publication number
JP7185811B2
JP7185811B2 JP2021518846A JP2021518846A JP7185811B2 JP 7185811 B2 JP7185811 B2 JP 7185811B2 JP 2021518846 A JP2021518846 A JP 2021518846A JP 2021518846 A JP2021518846 A JP 2021518846A JP 7185811 B2 JP7185811 B2 JP 7185811B2
Authority
JP
Japan
Prior art keywords
ultrasonic sensor
obstacle
neural network
collected
network model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021518846A
Other languages
English (en)
Other versions
JP2021527833A (ja
Inventor
ズー，シャオシン
リウ，シャン
ヤン，ファン
Original Assignee
アポロ インテリジェント ドライビング テクノロジー（ペキン）カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アポロ インテリジェント ドライビング テクノロジー（ペキン）カンパニー リミテッド filed Critical アポロ インテリジェント ドライビング テクノロジー（ペキン）カンパニー リミテッド
Publication of JP2021527833A publication Critical patent/JP2021527833A/ja
Application granted granted Critical
Publication of JP7185811B2 publication Critical patent/JP7185811B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/52004—Means for monitoring or calibrating
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/937—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles sensor installation details
    • G01S2015/938—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles sensor installation details in the bumper area

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Description

本願は、出願日が２０１９年０１月１５日、出願番号が２０１９１００３４４５１.Ｘ、発明名称が「超音波アレイによる障害物検出結果の処理方法及びシステム」の中国特許出願の優先権を要求した。
本願は、自動制御分野に関し、特に超音波アレイによる障害物検出結果の処理方法及びシステムに関する。
自動運転車両は、スマートカーであり、車輪型移動ロボットとも呼ばれ、主に車両内の、コンピュータシステムを中心とするスマートパイロットにより自動運転を実現する。自動運転車両は、自動制御、アーキテクチャ、人工知能、ビジュアルコンピューティングなどの複数の技術が統合されており、コンピュータ科学、モード識別とスマート制御技術が高度に開発された製品でもあり、国の科学研究の実力と工業レベルを評価する重要の標識でもあり、国防と国民経済の分野において広い実用化の将来性を具備する。
超音波レーダは、一般的に自動運転車両に実装されて障害回避機能を実現する。しかし、超音波レーダは、自身の動作原理で検出精度が高くなく、誤検出及び検出漏れが発生し易い。従来においてルールによる投票で超音波アレイの検出結果に対する誤検出／検出漏れを検出、校正する方法は、高い精度まで達成し難い。
本願の複数の局面は、超音波アレイによる障害物検出の正確性を向上し、誤検出及び検出漏れを避け、走行の安全性を向上する超音波アレイによる障害物検出結果の処理方法及びシステムを提供する。
本願の一局面によれば、超音波センサアレイにおける各超音波センサにより採集された障害物座標を取得し、超音波センサアレイにおける各超音波センサにより採集された障害物座標を予め訓練されたニューラルネットワークモデルに入力して、前記予め訓練されたニューラルネットワークモデルから出力された各超音波センサにより採集された障害物座標に対する真偽標識を取得し、前記真偽標識に基づいて超音波センサアレイにおける各超音波センサにより採集された障害物座標を処理することを含む超音波アレイによる障害物検出結果の処理方法を提供する。
前記のような局面と何れか一つの可能な実現方式として、更に、超音波センサアレイにおける各超音波センサにより採集された障害物座標を予め訓練されたニューラルネットワークモデルに入力することは、処理待ち超音波センサ及び当該処理待ち超音波センサと隣り合うＮ（Ｎは超音波センサアレイの合計によりも小さい正整数）個の超音波センサにより採集された障害物座標の特徴値を選択してデータシーケンスを生成し、前記データシーケンスを予め訓練されたニューラルネットワークモデルに入力することを含む実現方式を提供する。
前記のような局面と何れか一つの可能な実現方式として、更に、前記ニューラルネットワークモデルは、障害物テストシーンを構築し、超音波センサアレイにおける各超音波センサにより採集された障害物の座標及びライダー（ＬｉＤＡＲ： ｌｉｇｈｔ ｄｅｔｅｃｔｉｏＮ ａＮｄ ｒａＮｇｉＮｇ）により同じ障害物に対して採集された座標を取得して参照座標系に統合し、統合されたライダーにより採集された障害物座標に基づいて各超音波センサにより採集された障害物座標に対して真偽標識を行って訓練サンプルを生成し、前記訓練サンプルに基づいてニューラルネットワークモデルを訓練する方法で訓練を行う実現方式を提供する。
前記のような局面と何れか一つの可能な実現方式として、更に、統合されたライダーにより採集された障害物座標に基づいて各超音波センサにより採集された障害物座標を真偽標識を行うことは、ライダーにより採集された障害物座標と超音波センサにより採集された障害物座標との誤差が所定の閾値の範囲内にある場合に、ＴＲＵＥとして標識し、所定の閾値の範囲よりも大きい場合に、ＦＡＬＳＥとして標識することを含む実現方式を提供する。
前記のような局面と何れか一つの可能な実現方式として、更に、前記訓練サンプルを生成することは、処理待ち超音波センサ及び当該処理待ち超音波センサと隣り合うＮ個の超音波センサにより採集された障害物座標の特徴値と、処理待ち超音波センサにより採集された障害物座標に対する真偽標識とを訓練サンプルとして生成することを含む実現方式を提供する。
前記のような局面と何れか一つの可能な実現方式として、更に、前記ニューラルネットワークモデルは畳み込みニューラルネットワークモデルである実現方式を提供する。
前記のような局面と何れか一つの可能な実現方式として、更に、前記ニューラルネットワークモデルは、長・短期記憶ニューラルネットワークモデルである実現方式を提供する。
前記のような局面と何れか一つの可能な実現方式として、更に、前記訓練サンプルによりニューラルネットワークモデルを訓練することは、連続時間で取得された複数の訓練サンプルにより前記長・短期記憶ニューラルネットワークモデルを訓練することを含む実現方式を提供する。
本願の他の局面によれば、超音波センサアレイにおける各超音波センサにより採集された障害物座標を取得する取得モジュールと、超音波センサアレイにおける各超音波センサにより採集された障害物座標を予め訓練されたニューラルネットワークモデルに入力して前記予め訓練されたニューラルネットワークモデルから出力された各超音波センサにより採集された障害物座標に対する真偽標識を得るニューラルネットワーク標識モジュールと、前記真偽標識に基づいて超音波センサアレイにおける各超音波センサにより採集された障害物座標を処理する処理モジュールと、を備える超音波アレイによる障害物検出結果の処理システムを提供する。
前記のような局面と何れか一つの可能な実現方式として、更に、前記ニューラルネットワーク標識モジュールは、具体的に、処理待ち超音波センサ及び当該処理待ち超音波センサと隣り合うＮ（Ｎは超音波センサアレイの合計よりも小さい正整数）個の超音波センサにより採集された障害物座標の特徴値を選択してデータシーケンスを生成し、前記データシーケンスを予め訓練されたニューラルネットワークモデルに入力する実現方式を提供する。
前記のような局面と何れか一つの可能な実現方式として、更に、前記システムは、更に、障害物テストシーンを構築し、超音波センサアレイにおける各超音波センサにより採集された障害物の座標及びライダーにより同じ障害物に対して採集された座標を取得して参照座標系に統合し、統合されたライダーにより採集された障害物座標に基づいて各超音波センサにより採集された障害物座標に真偽標識を行って訓練サンプルを生成し、前記訓練サンプルによりニューラルネットワークモデルを訓練するニューラルネットワーク訓練モジュールを備える実現方式を提供する。
前記のような局面と何れか一つの可能な実現方式として、更に、統合されたライダーにより採集された障害物座標に基づいて各超音波センサにより採集された障害物座標に真偽標識を行うことは、ライダーにより採集された障害物座標と超音波センサにより採集された障害物座標との誤差が所定の閾値の範囲内にある場合にＴＲＵＥとして標識し、所定の閾値の範囲よりも大きい場合にＦＡＬＳＥとして標識することを含む実現方式を提供する。
前記のような局面と何れか一つの可能な実現方式として、更に、前記訓練サンプルを生成することは、処理待ち超音波センサ及び当該処理待ち超音波センサと隣り合うＮ個の超音波センサにより採集された障害物座標の特徴値と、処理待ち超音波センサにより採集された障害物座標に対する真偽標識を訓練サンプルとして生成することを含む実現方式を提供する。
前記のような局面と何れか一つの可能な実現方式として、更に、前記ニューラルネットワークモデルは畳み込みニューラルネットワークモデルである実現方式を提供する。
前記のような局面と何れか一つの可能な実現方式として、更に、前記ニューラルネットワークモデルは長・短期記憶ニューラルネットワークモデルである実現方式を提供する。
前記のような局面と何れか一つの可能な実現方式として、更に、前記訓練サンプルによりニューラルネットワークモデルを訓練することは、連続時間で取得された複数の訓練サンプルにより前記長・短期記憶ニューラルネットワークモデルを訓練することを含む実現方式を提供する。
本発明の他の局面によれば、メモリと、プロセッサと、前記メモリに記憶され且つ前記プロセッサに実行可能なコンピュータプログラムとを備え、前記プロセッサが前記プログラムを実行すると、上記のような方法を実現するコンピュータデバイスを提供する。
本発明の他の局面によれば、コンピュータプログラムが記憶されており、前記プログラムがプロセッサにより実行されると、上記のような方法を実現するコンピュータ可読記憶媒体を提供する。
前記の技術案によれば、本願の実施例は、超音波アレイによる障害物検出の正確性を向上し、誤検出と検出漏れを避け、走行の安全性を向上することができる。
本願実施例における技術案をより明確に説明するために、以下に実施例又は従来技術の説明に必要な図面を簡単に説明する。明らかに、以下に説明される図面は、本願の一部の実施例である。当業者にとっては、創造的な労働がなされていない前提で、これらの図面に基づいて他の図面を得ても良い。
本願の一実施例により提供される超音波アレイによる障害物検出結果の処理方法のフローチャートである。 本願の一実施例により提供される超音波アレイによる障害物検出結果の処理方法におけるニューラルネットワークモデル訓練方法のフローチャートである。 本願の一実施例により提供される超音波アレイによる障害物検出結果の校正システムの構成模式図である。 本願の一実施例により提供される超音波アレイによる障害物検出結果の校正システムの訓練モジュールの構成模式図である。 本発明の実施形態を実現可能な例示的なコンピュータシステム／サーバ０１２のブロック図である。
本願実施例の目的、技術案及び利点をより明確にするために、以下に本願実施例における図面と合わせて本願実施例における技術案を明確で完全的に説明する。明らかに、説明された実施例は、全ての実施例ではなく、本願の一部の実施例である。当業者は、本願における実施例に基づいて、創造的な労働がなされていない前提で得られた全ての他の実施例は、本願の保護範囲に入る。
図１は、本願の一実施例により提供される超音波アレイによる障害物検出結果の処理方法のフローチャートである。図１に示されたように、超音波センサアレイにおける各超音波センサにより採集された障害物座標を取得するステップＳ１１と、超音波センサアレイにおける各超音波センサにより採集された障害物座標を予め訓練されたニューラルネットワークモデルに入力して前記予め訓練されたニューラルネットワークモデルから出力される各超音波センサにより採集された障害物座標に対する真偽標識を得るステップＳ１２と、前記真偽標識に基づいて超音波センサアレイにおける各超音波センサにより採集された障害物座標を処理するステップＳ１３とを含む。
好ましくは、ステップＳ１１の好ましい実現方式において、超音波センサアレイにおける各超音波センサにより採集された障害物座標を取得する。
好ましくは、本実施例において、同一の障害物について採集された障害物座標が各超音波センサから返信された障害物座標になるように、超音波センサアレイの視野に単一の障害物がある場合のみを考慮し、シーンが単純である。
好ましくは、前記超音波センサアレイにおける各超音波センサが車両前部のバンパーに均等に分布されるため、各超音波センサの座標系が異なり、各超音波センサにより採集された障害物座標を参照座標系に統合する必要がある。本実施例において、各超音波センサの座標を車両の座標系に転換することができる。
ステップＳ１２の好ましい実現方式において、超音波センサアレイにおける各超音波センサにより採集された障害物座標を予め訓練されたニューラルネットワークモデルに入力して、前記予め訓練されたニューラルネットワークモデルから出力される各超音波センサにより採集された障害物座標に対する真偽標識を得る。
好ましくは、前記超音波センサアレイは、車両前部のバンパーに均等に分布された１０個の超音波センサを備え、実際の応用において、一般的に多くとも隣り合う４～６個の超音波センサが同一の障害物座標を採集可能である。例えば、障害物が車両の左前に出現した場合に、車両前部のバンパーの左側に分布された４個の超音波センサだけが前記障害物の座標を採集して障害物情報を返信する一方、車両前部のバンパーの中央と右側に分布された６個の超音波センサが障害物情報を採集できない可能性がある。
本実施例の好ましい実施例において、各超音波センサにより採集された障害物座標から一個の超音波センサ及び当該処理待ち超音波センサと隣り合うＮ（Ｎは超音波センサアレイの合計よりも小さい正整数である）個の超音波センサにより採集された障害物座標を選択してデータシーケンスを生成し、前記データシーケンスを予め訓練されたニューラルネットワークに入力して予め訓練されたニューラルネットワークから出力された標識結果を取得し、選択された一個の超音波センサにより採集された障害物座標の真偽を確定する。前記予め訓練されたニューラルネットワークはＣＮＮ畳み込みニューラルネットワークである。
本実施例の他の好ましい実施例において、各超音波センサにより採集された障害物座標から一個の超音波センサ及び当該処理待ち超音波センサと隣り合うＮ個の超音波センサにより採集された障害物座標を選択してデータシーケンスを生成する。なお、Ｎは、超音波センサアレイの合計よりも小さい正整数である。ｔ時刻における前記データシーケンスを予め訓練されたニューラルネットワークに入力して予め訓練されたニューラルネットワークから出力されたｔ時刻における標識結果を取得し、選択された一個の超音波センサにより採集された障害物座標の真偽を確定する。前記予め訓練されたニューラルネットワークは、ＬＳＴＭ長・短期記憶ニューラルネットワークである。
好ましくは、ｔ時刻におけるデータシーケンスをＬＳＴＭ長・短期記憶ニューラルネットワークに代入して当該ｔ時刻におけるＬＳＴＭ結果を算出し、選択された一個の超音波センサにより採集された障害物座標の真偽を確定する。好ましくは、ＬＳＴＭ長・短期記憶ニューラルネットワークがｔ時刻におけるデータシーケンスを受信した時と同時に、ｔ－１時刻からｔ－Ｎ時刻のＬＳＴＭ隠れ層状態が既に存在しており、所定の規則に従って当該ｔ－１時刻からｔ－Ｎ時刻のＬＳＴＭ隠れ層状態から当該所定の規則を満たしているＬＳＴＭ隠れ層状態を選択結果として選択してｔ時刻におけるＬＳＴＭ結果を算出することができる。
なお、本発明の実施例において、当該所定の規則は、ｔ－１時刻からｔ－Ｎ時刻のＬＳＴＭ隠れ層状態から少なくとも一つの最大の異なるＬＳＴＭ隠れ層状態を選択結果として選択し、及び／又は、Ｌ０－ノルムのスパース性により、ｔ－１時刻からｔ－Ｎ時刻のＬＳＴＭ隠れ層状態から少なくとも一つのＬＳＴＭ隠れ層状態を選択し、及び／又は、人工の経験に基づいてｔ－１時刻からｔ－Ｎ時刻のＬＳＴＭ隠れ層状態から少なくとも一つのＬＳＴＭ隠れ層状態を選択することを含むが、それらに限定されない。理解すべきなのは、前記所定の規則は、実際の必要(例えば新たなタスク)に応じて対応の選択規則を設計しても良い。
ステップＳ１３の好ましい実現方式において、前記真偽標識に基づいて超音波センサアレイにおける各超音波センサにより採集された障害物座標を処理する。
好ましくは、予め訓練されたニューラルネットワークから出力された標識結果がＴＲＵＥであれば、処理待ち超音波センサにより採集された障害物座標を保留し、予め訓練されたニューラルネットワークから出力された標識結果がＦＡＬＳＥであれば、処理待ち超音波センサにより採集された障害物座標を廃棄する。
好ましくは、処理された障害物座標により障害回避を行う。
好ましくは、ＣＮＮ畳み込みニューラルネットワークとＬＳＴＭ長・短期記憶ニューラルネットワークを同時に採用して標識結果をそれぞれ出力し、加重和を取って最終の標識結果を確定することができる。
図２に示されたように、前記ニューラルネットワークモデルは、障害物テストシーンを構築するステップＳ２１と、超音波センサアレイにより採集された障害物の座標及びライダーにより同じ障害物を採集して得た座標を採集して参照座標系に統合するステップＳ２２により訓練する。好ましくは、前記障害物テストシーンはシンプルなシーンで、単純であり、超音波アレイの視野に単一の障害物だけを設置することにより、前記超音波アレイのテスト中に各超音波センサから同一の障害物の情報が返信される。
好ましくは、前記超音波センサアレイにおける各超音波センサが車両前部のバンパーに均等に分布される。前記ライダーはシングルライダーで、車両前部のバンパーの中央位置に装着され、前記ライダーは障害物の精確な距離データを採用して、超音波センサにより採集される障害物座標のＴＲＵＥ値として標識する。
好ましくは、前記超音波センサアレイにおける各超音波センサが車両前部のバンパーに均等に分布され、ライダーにより車両前部のバンパーの中央位置に装着されるため、各超音波センサ座標系における座標とライダー座標系における座標を参照座標系に転換する必要がある。本実施例において、ライダー座標系における座標と、超音波レーダ座標系における座標とを車両座標系に統合して転換することができる。
前記各超音波センサとライダーとの初期の空間配置は既知であり、前記各超音波センサとライダーの自動運転車両の車体における測定データにより得られる。障害物の各超音波センサ座標系における座標とライダー座標系における座標が車両座標系に転換される。
ステップＳ２３において、統合されたライダーにより採集された障害物座標に基づいて各超音波センサにより採集された障害物座標を標識して訓練サンプルを生成する。好ましくは、統合されたライダーにより採集された障害物座標に基づいて各超音波センサにより採集された障害物座標を標識し、その採集された障害物座標のｌａｂｅｌをＴＲＵＥ又はＦＡＬＳＥとして標識する。例えば、超音波アレイにおける超音波センサ１について、ライダーから返信された距離データと超音波センサ１から返信された距離データとの誤差が所定の閾値範囲内であれば、ＴＲＵＥとして標識し、所定の閾値範囲よりも大きくなれば、ＦＡＬＳＥとして標識し、前記超音波センサ１に誤検出又は検出漏れがあるとみなす。好ましくは、前記所定の閾値範囲は２０ｃｍで、約９９％の出力をカバーすることができる。
超音波センサ１と隣り合うＮ個の超音波センサにより採集された障害物座標の特徴値を確定する。好ましくは、Ｎは、超音波アレイの超音波センサの合計よりも小さい正整数である。好ましくは、前記超音波センサアレイは、車両前部のバンパーに均等に分布された１０個の超音波センサを備え、実際の応用において、一般的に多くとも隣り合う４～６個の超音波センサが同一の障害物座標を採集可能である。例えば、障害物が車両の左前に出現する場合に、車両前部のバンパーの左側に分布された４個の超音波センサだけが前記障害物の座標を採集して障害物情報を返信する一方、車両前部のバンパーの中央と右側に分布された６個の超音波センサが障害物情報を採集できていない可能性がある。従って、Ｎは、４個として選択することができる。Ｎはより大きい数値に設置されても良いが、より多いセンサにより採集される障害物座標とセンサ１により採集された障害物座標との関連度が低く、演算量を増やすだけであるため、一般的に４個として選択すれば良い。
超音波センサ１と隣り合うＮ個の超音波センサにより採集された障害物座標を選択し、前記障害物座標に対して平方し、平方根を取るように特徴の変化を行ってその特徴値を取得する。
好ましくは、超音波センサ１と隣り合うＮ個の超音波センサの特徴値及び超音波センサ１のｌａｂｅｌを訓練サンプルとして生成する。
なお、ｌａｂｅｌはＴＲＵＥとして標識するとポジティブサンプルであり、ＦＡＬＳＥとして標識するとネガティブサンプルである。
好ましくは、連続時間の超音波センサ１と隣り合うＮ個の超音波センサの特徴値及び超音波センサ１のｌａｂｅｌを訓練サンプルとして生成する。
障害物テストシーンにおいてテストを行うことにより、レーザ距離計デバイスにより人工で手動標識を行う必要がなく、各超音波センサについての大量のテストサンプルを自動に取得し、テストサンプルの取得速度と精確度を大幅に向上することができる。
ステップＳ２４において、前記訓練サンプルに基づいてニューラルネットワークモデルを訓練する。
本実施例の好ましい実現方式において、前記ニューラルネットワークモデルはＣＮＮ畳み込みニューラルネットワークモデルである。ポジティブサンプルとネガティブサンプルを含む、標識付きの訓練サンプルを利用してＣＮＮ畳み込みニューラルネットワークモデルを訓練する。
好ましくは、ＳＧＤ（ＳｔｏｃｈａＳｔｉｃ ＧｒａｄｉｅＮｔ ＤｅＳｃｅＮｔ、ランダム勾配降下)訓練アルゴリズムにより複数のサンプルを訓練してＣＮＮモデルパラメータを最終的に取得する。
好ましくは、超音波アレイにおける超音波センサのそれぞれについて、当該処理待ち超音波センサと隣り合うＮ個の超音波センサの特徴値及びそのｌａｂｅｌを訓練サンプルとして生成してＣＮＮ畳み込みニューラルネットワークモデルを訓練する。超音波アレイによる障害物検出結果の処理方法において、異なる超音波センサの校正すべき障害物の検出結果について、対応する訓練後のＣＮＮ畳み込みニューラルネットワークモデルを採用して標識を行う。対応するｌａｂｅｌの標識結果は、その障害物の検出結果の標識であり、ＴＲＵＥであれば、その採集された障害物座標に基づいて障害回避を行い、予め訓練されたニューラルネットワークから出力された標識結果がＦＡＬＳＥであれば、当該採集結果を廃棄し、新たな採集結果を基準に障害回避を行う。
本実施例の他の好ましい実現方式において、前記ニューラルネットワークモデルはＬＳＴＭ長・短期記憶ニューラルネットワークモデルである。連続時間で得られた標識付きの複数の訓練サンプルによりＬＳＴＭ長・短期記憶ニューラルネットワークモデルを訓練する。
訓練サンプルによりＬＳＴＭ長・短期記憶ニューラルネットワークモデルを訓練し、目標関数を最適化（即ち、最大化又は最小化）することにより、パラメータの初期値からＬＳＴＭ長・短期記憶ニューラルネットワークのパラメータの訓練値を確定する。
前記実施例により提供された技術案によれば、ライダーから返信された結果を超音波アレイによる検出のＴＲＵＥ値として採用して超音波アレイによる障害物検出結果を標識し、標識された障害物検出結果を訓練サンプルとしてニューラルネットワークモデルを訓練し、訓練されたニューラルネットワークモデルにより超音波による障害物検出結果を校正することにより、超音波アレイによる障害物検出の正確性を向上し、誤検出と検出漏れを避け、走行の安全性を向上した。
説明すべきなのは、前記の各方法実施例について、説明を簡単にするために、一連の動作の組合せとして記述された。しかし、当業者であればわかるように、本願により幾つかのステップが他の順番を採用し、或いは同時に実行可能であるため、本願は説明された動作の順番に限定されない。次に、当業者であればわかるように、明細書に説明された実施例は何れも好適な実施例であり、関わる動作とモジュールが必ずしも本願に必要なものではない。
以上は方法実施例に関する説明であり、以下で装置実施例により、本発明の前記方案を更に説明する。
図３は本願の一実施例により提供された超音波アレイによる障害物検出結果の校正システムの構成模式図である。図３に示されたように、超音波センサアレイにおける各超音波センサにより採集された障害物座標を取得する取得モジュール３１と、超音波センサアレイにおける各超音波センサにより採集された障害物座標を予め訓練されたニューラルネットワークモデルに入力して、前記予め訓練されたニューラルネットワークモデルから出力された各超音波センサにより採集された障害物座標に対する真偽標識を得るニューラルネットワーク標識モジュール３２と、前記真偽標識に基づいて超音波センサアレイにおける各超音波センサにより採集された障害物座標を処理する処理モジュール３３とを備える。
好ましくは、取得モジュール３１の好ましい実現方式において、取得モジュール３１は、超音波センサアレイにおける各超音波センサにより採集された障害物座標を取得する。
好ましくは、本実施例において、同一の障害物について採集された障害物座標が各超音波センサから返信されるように、超音波センサアレイの視野に単一の障害物がある場合のみを考慮し、シーンが単純である。
好ましくは、前記超音波センサアレイにおける各超音波センサが車両前部のバンパーに均等に分布されるため、各超音波センサの座標系が異なり、各超音波センサにより採集された障害物座標を参照座標系に統合する必要がある。本実施例において、各超音波センサの座標を車両の座標系に転換することができる。
ニューラルネットワーク標識モジュール３２の好ましい実現方式において、前記ニューラルネットワーク標識モジュール３２は、超音波センサアレイにおける各超音波センサにより採集された障害物座標を予め訓練されたニューラルネットワークモデルに入力して、前記予め訓練されたニューラルネットワークモデルから出力される各超音波センサにより採集された障害物座標に対する真偽標識を得る。
好ましくは、前記超音波センサアレイは、車両前部のバンパーに均等に分布された１０個の超音波センサを備え、実際の応用において、一般的に多くとも隣り合う４～６個の超音波センサが同一の障害物座標を採集可能である。例えば、障害物が車両の左前に出現した場合に、車両前部のバンパーの左側に分布された４個の超音波センサだけが前記障害物の座標を採集して障害物情報を返信する一方、車両前部のバンパーの中央と右側に分布された６個の超音波センサが障害物情報を採集できない可能性がある。
本実施例の好ましい実施例において、各超音波センサにより採集された障害物座標から一個の超音波センサ及び当該処理待ち超音波センサと隣り合うＮ（Ｎは超音波センサアレイの合計よりも小さい正整数である）個の超音波センサにより採集された障害物座標を選択してデータシーケンスを生成し、前記データシーケンスを予め訓練されたニューラルネットワークに入力して予め訓練されたニューラルネットワークから出力された標識結果を取得し、選択された一個の超音波センサにより採集された障害物座標の真偽を確定する。前記予め訓練されたニューラルネットワークはＣＮＮ畳み込みニューラルネットワークである。
本実施例の他の好ましい実施例において、各超音波センサにより採集された障害物座標から一個の超音波センサ及び当該処理待ち超音波センサと隣り合うＮ個の超音波センサにより採集された障害物座標を選択してデータシーケンスを生成する。なお、Ｎは、超音波センサアレイの合計よりも小さい正整数である。ｔ時刻における前記データシーケンスを予め訓練されたニューラルネットワークに入力して予め訓練されたニューラルネットワークから出力されたｔ時刻における標識結果を取得し、選択された一個の超音波センサにより採集された障害物座標の真偽を確定する。前記予め訓練されたニューラルネットワークは、ＬＳＴＭ長・短期記憶ニューラルネットワークである。
好ましくは、ｔ時刻におけるデータシーケンスをＬＳＴＭ長・短期記憶ニューラルネットワークに代入して当該ｔ時刻におけるＬＳＴＭ結果を算出し、選択された一個の超音波センサにより採集された障害物座標の真偽を確定する。好ましくは、ＬＳＴＭ長・短期記憶ニューラルネットワークがｔ時刻におけるデータシーケンスを受信した時と同時に、ｔ－１時刻からｔ－Ｎ時刻のＬＳＴＭ隠れ層状態が既に存在しており、所定の規則に従って当該ｔ－１時刻からｔ－Ｎ時刻のＬＳＴＭ隠れ層状態から当該所定の規則を満たしているＬＳＴＭ隠れ層状態を選択結果として選択してｔ時刻におけるＬＳＴＭ結果を算出することができる。
なお、本発明の実施例において、当該所定の規則は、ｔ－１時刻からｔ－Ｎ時刻のＬＳＴＭ隠れ層状態から少なくとも一つの最大の異なるＬＳＴＭ隠れ層状態を選択結果として選択し、及び／又は、Ｌ０－ノルムのスパース性により、ｔ－１時刻からｔ－Ｎ時刻のＬＳＴＭ隠れ層状態から少なくとも一つのＬＳＴＭ隠れ層状態を選択し、及び／又は、人工の経験に基づいてｔ－１時刻からｔ－Ｎ時刻のＬＳＴＭ隠れ層状態から少なくとも一つのＬＳＴＭ隠れ層状態を選択することを含むが、それらに限定されない。理解すべきなのは、前記所定の規則は、実際の必要(例えば新たなタスク)に応じて対応の選択規則を設計しても良い。
処理モジュール３３の好ましい実現方式において、前記処理モジュール３３は、前記真偽標識に基づいて超音波センサアレイにおける各超音波センサにより採集された障害物座標を処理する。
好ましくは、予め訓練されたニューラルネットワークから出力された標識結果がＴＲＵＥであれば、処理待ち超音波センサにより採集された障害物座標を保留し、予め訓練されたニューラルネットワークから出力された標識結果がＦＡＬＳＥであれば、処理待ち超音波センサにより採集された障害物座標を廃棄する。
好ましくは、処理された障害物座標により障害回避を行う。
好ましくは、ＣＮＮ畳み込みニューラルネットワークとＬＳＴＭ長・短期記憶ニューラルネットワークを同時に採用して標識結果をそれぞれ出力し、加重和を取って最終の標識結果を確定することができる。
前記システムは、更に前記ニューラルネットワークモデルを訓練する訓練モジュール（未図示）を備える。前記訓練モジュールは、障害物テストシーンを構築する構築サブモジュール４１と、超音波センサアレイにより採集された障害物の座標及びライダーにより同じ障害物を採集して得た座標を採集して参照座標系に統合する採集サブモジュール４３とを備える。好ましくは、前記障害物テストシーンはシンプルなシーンで、単純であり、超音波アレイの視野に単一の障害物だけを設置することにより、前記超音波アレイのテスト中に各超音波センサから同一の障害物の情報が返信される。
好ましくは、前記超音波センサアレイにおける各超音波センサが車両前部のバンパーに均等に分布される。前記ライダーはシングルライダーで、車両前部のバンパーの中央位置に装着され、前記ライダーは障害物の精確な距離データを採用して、超音波センサにより採集される障害物座標のＴＲＵＥ値として標識する。
好ましくは、前記超音波センサアレイにおける各超音波センサが車両前部のバンパーに均等に分布され、ライダーにより車両前部のバンパーの中央位置に装着されるため、各超音波センサ座標系における座標とライダー座標系における座標を参照座標系に転換する必要がある。本実施例において、ライダー座標系における座標と、超音波レーダ座標系における座標とを車両座標系に統合して転換することができる。
前記各超音波センサとライダーとの初期の空間配置は既知であり、前記各超音波センサとライダーの自動運転車両の車体における測定データにより得られる。障害物の各超音波センサ座標系における座標とライダー座標系における座標が車両座標系に転換される。
生成サブモジュール４３は、統合されたライダーにより採集された障害物座標に基づいて各超音波センサにより採集された障害物座標を標識して訓練サンプルを生成する。好ましくは、統合されたライダーにより採集された障害物座標に基づいて各超音波センサにより採集された障害物座標を標識し、その採集された障害物座標のｌａｂｅｌをＴＲＵＥ又はＦＡＬＳＥとして標識する。例えば、超音波アレイにおける超音波センサ１について、ライダーから返信された距離データと超音波センサ１から返信された距離データとの誤差が所定の閾値範囲内であれば、ＴＲＵＥとして標識し、所定の閾値範囲よりも大きくなれば、ＦＡＬＳＥとして標識し、前記超音波センサ１に誤検出又は検出漏れがあるとみなす。好ましくは、前記所定の閾値範囲は２０ｃｍで、約９９％の出力をカバーすることができる。
超音波センサ１と隣り合うＮ個の超音波センサにより採集された障害物座標の特徴値を確定する。好ましくは、Ｎは、超音波アレイの超音波センサの合計よりも小さい正整数である。好ましくは、前記超音波センサアレイは、車両前部のバンパーに均等に分布された１０個の超音波センサを備え、実際の応用において、一般的に多くとも隣り合う４～６個の超音波センサが同一の障害物座標を採集可能である。例えば、障害物が車両の左前に出現する場合に、車両前部のバンパーの左側に分布された４個の超音波センサだけが前記障害物の座標を採集して障害物情報を返信する一方、車両前部のバンパーの中央と右側に分布された６個の超音波センサが障害物情報を採集できていない可能性がある。従って、Ｎは、４個として選択することができる。Ｎはより大きい数値に設置されても良いが、より多いセンサにより採集される障害物座標とセンサ１により採集された障害物座標との関連度が低く、演算量を増やすだけであるため、一般的に４個として選択すれば良い。
超音波センサ１と隣り合うＮ個の超音波センサにより採集された障害物座標を選択し、前記障害物座標に対して平方し、平方根を取るように特徴の変化を行ってその特徴値を取得する。
好ましくは、超音波センサ１と隣り合うＮ個の超音波センサの特徴値及び超音波センサ１のｌａｂｅｌを訓練サンプルとして生成する。
なお、ｌａｂｅｌはＴＲＵＥとして標識するとポジティブサンプルであり、ＦＡＬＳＥとして標識するとネガティブサンプルである。
好ましくは、連続時間の超音波センサ１と隣り合うＮ個の超音波センサの特徴値及び超音波センサ１のｌａｂｅｌを訓練サンプルとして生成する。
障害物テストシーンにおいてテストを行うことにより、レーザ距離計デバイスにより人工で手動標識を行う必要がなく、各超音波センサについての大量のテストサンプルを自動に取得し、テストサンプルの取得速度と精確度を大幅に向上することができる。
訓練サブモジュール４４は、前記訓練サンプルに基づいてニューラルネットワークモデルを訓練する。
本実施例の好ましい実現方式において、前記ニューラルネットワークモデルはＣＮＮ畳み込みニューラルネットワークモデルである。ポジティブサンプルとネガティブサンプルを含む、標識付きの訓練サンプルを利用してＣＮＮ畳み込みニューラルネットワークモデルを訓練する。
好ましくは、ＳＧＤ（ＳｔｏｃｈａＳｔｉｃ ＧｒａｄｉｅＮｔ ＤｅＳｃｅＮｔ、ランダム勾配降下)訓練アルゴリズムにより複数のサンプルを訓練してＣＮＮモデルパラメータを最終的に取得する。
好ましくは、超音波アレイにおける超音波センサのそれぞれについて、当該処理待ち超音波センサと隣り合うＮ個の超音波センサの特徴値及びそのｌａｂｅｌを訓練サンプルとして生成してＣＮＮ畳み込みニューラルネットワークモデルを訓練する。超音波アレイによる障害物検出結果の処理方法において、異なる超音波センサの校正すべき障害物の検出結果について、対応する訓練後のＣＮＮ畳み込みニューラルネットワークモデルを採用して標識を行う。対応するｌａｂｅｌの標識結果は、その障害物の検出結果の標識であり、ＴＲＵＥであれば、その採集された障害物座標に基づいて障害回避を行い、予め訓練されたニューラルネットワークから出力された標識結果がＦＡＬＳＥであれば、当該採集結果を廃棄し、新たな採集結果を基準に障害回避を行う。
本実施例の他の好ましい実現方式において、前記ニューラルネットワークモデルはＬＳＴＭ長・短期記憶ニューラルネットワークモデルである。連続時間で得られた標識付きの複数の訓練サンプルによりＬＳＴＭ長・短期記憶ニューラルネットワークモデルを訓練する。
訓練サンプルによりＬＳＴＭ長・短期記憶ニューラルネットワークモデルを訓練し、目標関数を最適化（即ち、最大化又は最小化）することにより、パラメータの初期値からＬＳＴＭ長・短期記憶ニューラルネットワークのパラメータの訓練値を確定する。
前記実施例により提供された技術案によれば、ライダーから返信された結果を超音波アレイによる検出のＴＲＵＥ値として採用して超音波アレイによる障害物検出結果を標識し、標識された障害物検出結果を訓練サンプルとしてニューラルネットワークモデルを訓練し、訓練されたニューラルネットワークモデルにより超音波による障害物検出結果を校正することにより、超音波アレイによる障害物検出の正確性を向上し、誤検出と検出漏れを避け、走行の安全性を向上した。
前記実施例において、各実施例に対する説明にそれぞれ偏重する箇所がある。ある実施例に詳しく説明されていない部分は、他の実施例における関連の説明を参照可能である。
理解すべきなのは、本願により提供された幾つかの実施例に開示された方法及び装置は、他の方式で実現可能である。例えば、前述された装置実施例は例示的なものに過ぎない。例えば、前記ユニットの分割は、ロジック機能の分割に過ぎず、実際の実現において他の分割手段もある。例えば、複数のユニット又はコンポーネントは、組み合わせても良く、他のシステムに集積されても良い。或いは、幾つかの特徴が省略されても良く、実行されなくても良い。また、表示され又は討論された部品間の結合又は直接結合又は通信接続は、幾つかのインターフェース、装置又はユニットによる間接結合又は通信接続であっても良く、電気的、機械的又は他の手段であっても良い。
前記分離部品として説明されたユニットは、物理的な分離であってもなくても良い。ユニットとして表示された部品は、物理ユニットであってもなくても良い。つまり、一箇所に位置されても良く、複数のネットワークユニットに分散されても良い。実際の必要に応じて一部又は全てのユニットを選択して本実施例の技術案の目的を実現可能である。
また、本発明の各実施例における各機能ユニットは、一つのプロセッサに集積されても良く、各ユニットが独自で物理的に存在しても良く、二つ又はそれ以上のユニットが一つのユニットに集積されても良い。前記集積されたユニットは、ハードウェアで実現されても良く、ハードウェアと共にソフトウェア機能ユニットで実現されても良い。
図５は、本発明の実施形態を実現可能な例示なコンピュータシステム／サーバ０１２を示したブロック図である。図５に示されたコンピュータシステム／サーバ０１２は、例示に過ぎず、本発明の実施例の機能及び使用範囲に制限しない。
図５に示されたように、コンピュータシステム／サーバ０１２は、汎用コンピューティングデバイスの形で表現される。コンピュータシステム／サーバ０１２のコンポーネントは、一つ又は複数のプロセッサ又は処理ユニット０１６と、システムメモリ０２８と、異なるシステムコンポーネント（システムメモリ０２８と処理ユニット０１６を含む）を接続するバス０１８を含むが、それらに限定されない。
バス０１８は、幾つかの種類のバス構造のうち一つ又は複数を示し、メモリバス又はメモリコントローラ、周辺バス、グラフィックスアクセラレーションポート、プロセッサ或いは複数のバス構造のうち何れか一つのバス構造を使用するローカルエリアバスを含む。例えば、これらのアーキテクチャは、工業標準アーキテクチャ（ＩＳＡ）バス、マイクロチャンネルアーキテクチャ（ＭＡＣ）バス、強化型ＩＳＡバス、ビデオ電子標準協会（ＶＥＳＡ）ローカルエリアバス及びペリフェラルコンポーネントインターコネクト（ＰＣＩ）バスを含むが、それらに限定されない。
コンピュータシステム／サーバ０１２は、一般的に複数種のコンピュータシステム可読媒体を含む。これらの媒体は、コンピュータシステム／サーバ０１２からアクセス可能な任意の使用可能な媒体であっても良く、揮発性及び不揮発性媒体、リムーバブル媒体及び固定媒体を含む。
システムメモリ０２８には、揮発性メモリの形のコンピュータシステム可読媒体、例えばランダムアクセスメモリ（ＲＡＭ）０３０及び／又は高速キャッシュメモリ０３２が含まれても良い。コンピュータシステム／サーバ０１２は更に、他のリムーバブル／固定的、揮発的／不揮発的なコンピュータシステム記憶媒体を含んでも良い。例として、記憶システム０３４は、固定な不揮発性磁気媒体（図５に示されていないが、一般的に「ハードディスクドライバ」と呼ばれる）を読み書きすることができる。図５に示されていないが、リムーバブルな不揮発性磁気ディスク（例えば「フロッピーディスク」）を読み書きする磁気ディスクドライバ、及びリムーバブルな不揮発性光ディスク（例えばＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ又は他の光メディア）を読み書きする光ディスクドライバを提供可能である。この場合に、各ドライバは、一つ又は複数のデータメディアインターフェースを介してバス０１８と接続可能である。メモリ０２８は、本発明の各実施例の機能を実行するように配置される１セット（例えば少なくとも一つ）のプログラムモジュールを具備する少なくとも一つのプログラム製品を含んでも良い。
１セット（少なくとも一つ）のプログラムモジュール０４２を具備するプログラム／実用ツール０４０は、例えばメモリ０２８に記憶されてもよい。このようなプログラムモジュール０４２は、オペレーティングシステム、一つ又は複数のアプリプログラム、他のプログラムモジュール及びプログラムデータを含むが、それらに限定されない。これらの例示における何れか一つ、或いはある組合わせは、ネットワーク環境の実現を含むことが可能である。プログラムモジュール０４２は、一般的に本発明に説明されている実施例における機能及び／又は方法を実行する。
コンピュータシステム／サーバ０１２は、一つ又は複数の外部デバイス０１４（例えばキーボード、ポインティングデバイス、ディスプレー０２４など）と通信しても良い。本発明において、コンピュータシステム／サーバ０１２は、外部のレーダデバイスと通信しても良く、ユーザと当該コンピュータシステム／サーバ０１２とのインタラクションを可能にする一つ又は複数のデバイスと通信しても良く、及び／又は当該コンピュータシステム／サーバ０１２と一つ又は複数の他のコンピューティングデバイスとを通信可能にする任意のデバイス（例えばネットワークカード、モデムなど）と通信しても良い。このような通信は、入力／出力（Ｉ／Ｏ）インターフェース０２２により実行可能である。更に、コンピュータシステム／サーバ０１２は、ネットワークアダプタ０２０を介して一つ又は複数のネットワーク（例えばローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及び／又は公衆ネットワーク、例えばインターネット）と通信しても良い。図５に示されたように、ネットワークアダプタ０２０は、バス０１８によりコンピュータシステム／サーバ０１２における他のモジュールと通信する。理解すべきなのは、図５に未図示であるが、コンピュータシステム／サーバ０１２と合わせて他のハードウェア及び／又はソフトウェアモジュールを使用しても良い。他のハードウェア及び／又はソフトウェアモジュールは、マイクロコード、デバイスドライバ、冗長プロセッサ、外部磁気ディスク駆動アレー、ＲＡＩＤシステム、磁気テープドライバ及びデータバックアップ記憶システムなどを含むが、それらに限定されない。
処理ユニット０１６は、システムメモリ０２８に記憶されているプログラムを運行することにより、本発明に説明された実施例における機能及び／又は方法を実行する。
前記のコンピュータプログラムは、コンピュータ記憶媒体に設置されても良い。つまり、当該コンピュータ記憶媒体には、コンピュータプログラムがプログラミングされており、当該プログラムが一つ又は複数のコンピュータにより実行されると、一つ又は複数のコンピュータに本発明の前記実施例に示された方法フロー及び／又は装置操作を実行させる。
時間及び技術の発展に従って、媒体の意味が益々広くなる。コンピュータプログラムの伝送手段は、形状的な媒体に限らず、ネットワークから直接にダウンロードされても良い。一つ又は複数のコンピュータ可読媒体の任意の組合せを採用することができる。コンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体であっても良い。コンピュータ可読記憶媒体は、例えば電気、磁気、光、電磁気、赤外線、半導体のシステム、装置又は素子、或いは任意の組み合わせであっても良く、それらに限定されない。コンピュータ可読記憶媒体の更なる具体的な例（網羅的ではない列挙）は、一つ又は複数の導線を備える電気的な接続、リムーバブルコンピュータ磁気ディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ）、消去可能なプログラミング読取専用メモリ（ＥＰＲＯＭ又はフラッシュ）、光ファイバ、携帯可能なコンパクト磁気ディスク読取専用メモリ（ＣＤ－ＲＯＭ）、光学記憶素子、磁気記憶素子、或いは前記の任意の組合わせを含む。本願において、コンピュータ可読記憶媒体は、プログラムを含むか記憶する任意の有形の媒体であっても良い。当該プログラムは、コマンド実行システム、装置又は素子に使用され、或いはそれらと組合わせて使用されても良い。
コンピュータ可読信号媒体は、ベースバンドに伝送され或いはキャリアの一部として伝送され、コンピュータ可読プログラムコードがロードされるデータ信号を含んでも良い。このような伝送されるデータ信号は、各種の形式を採用しても良く、電磁気信号、光信号又は前記の任意の適当の組合わせを含むが、それらに限定されない。コンピュータ可読信号媒体は、コンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であっても良い。当該コンピュータ可読媒体は、コマンド実行システム、装置又は素子に使用され又はそれらと組合わせて使用されるプログラムを送信し、伝播し又は伝送することができる。
コンピュータ可読媒体に含まれるプログラムコードは、任意の適当の媒体で伝送されても良く、無線、電線、光ケーブル、ＲＦなど、或いは前記の任意の適当の組み合わせを含むが、それらに限定されない。
一つ又は複数種のプログラミング言語又はそれらの組み合わせで本出願の操作を実行するためのコンピュータプログラムコードをプログラミングすることができる。前記プログラミング言語には、Ｊａｖａ、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋のようなオブジェクト指向プログラミング言語が含まれ、更にC言語又は類似のプログラミング言語のような通常の手続き型プログラミング言語が含まれる。プログラムコードは、全体がユーザコンピュータに実行されても良く、一部がユーザコンピュータに実行されても良く、一つの独立なパッケージとして実行されても良く、一部がユーザコンピュータに実行され且つ一部がリモートコンピュータに実行されても良く、或いは全体がリモートコンピュータ又はサーバに実行されても良い。リモートコンピュータに関する場合に、リモートコンピュータはローカルエリアネットワーク(ＬＡＮ)又はワイドエリアネットワーク(ＷＡＮ)を含む任意の種類のネットワークによりユーザコンピュータに接続されても良く、或いは外部のコンピュータ（例えばインターネットサービスプロバイダを利用してインターネットにより接続する）に接続されても良い。
前記の説明は本発明の好適な実施例に過ぎず、本発明を制限しない。本発明の精神と主旨内になされたあらゆる補正、等価な置換、改善などは、何れも本発明の保護範囲内に含まれる。

Claims (19)

  1. 超音波アレイによる障害物検出結果の処理方法であって、
    超音波センサアレイにおける各超音波センサにより採集された障害物座標を取得し、
    超音波センサアレイにおける各超音波センサにより採集された障害物座標を予め訓練されたニューラルネットワークモデルに入力して、前記予め訓練されたニューラルネットワークモデルから出力された各超音波センサにより採集された障害物座標に対する真偽標識を取得し、
    前記真偽標識に基づいて超音波センサアレイにおける各超音波センサにより採集された障害物座標を処理する、
    ことを含む方法。
  2. 超音波センサアレイにおける各超音波センサにより採集された障害物座標を予め訓練されたニューラルネットワークモデルに入力することは、
    処理待ち超音波センサ及び当該処理待ち超音波センサと隣り合うＮ（Ｎは超音波センサアレイの合計よりも小さい正整数）個の超音波センサにより採集された障害物座標の特徴値を選択してデータシーケンスを生成し、
    前記データシーケンスを予め訓練されたニューラルネットワークモデルに入力すること、を含む請求項１に記載の方法。
  3. 前記ニューラルネットワークモデルを訓練することは、
    障害物テストシーンを構築し、
    超音波センサアレイにおける各超音波センサにより採集された障害物の座標及びライダーにより同じ障害物を採集して得た座標を取得して参照座標系に統合し、
    統合されたライダーにより採集された障害物座標に基づいて各超音波センサにより採集された障害物座標に対して真偽標識を行って訓練サンプルを生成し、
    前記訓練サンプルによりニューラルネットワークモデルを訓練する、ことを含む請求項１に記載の方法。
  4. 統合されたライダーにより採集された障害物座標に基づいて各超音波センサにより採集された障害物座標に対して真偽標識を行うことは、
    ライダーにより採集された障害物座標と超音波センサにより採集された障害物座標との誤差が所定の閾値範囲内にある場合に、ＴＲＵＥとして標識し、所定の閾値範囲よりも大きい場合に、ＦＡＬＳＥとして標識することを含む請求項３に記載の方法。
  5. 前記訓練サンプルを生成することは、
    処理待ち超音波センサ及び当該処理待ち超音波センサと隣り合うＮ個の超音波センサにより採集された障害物座標の特徴値と、処理待ち超音波センサにより採集された障害物座標に対する真偽標識とを訓練サンプルとして生成することを含み、
    Ｎは超音波センサアレイの合計よりも小さい正整数である、請求項３に記載の方法。
  6. 前記ニューラルネットワークモデルは、畳み込みニューラルネットワークモデルである、請求項１～４の何れか一つに記載の方法。
  7. 前記ニューラルネットワークモデルは、長・短期記憶ニューラルネットワークモデルである、請求項１～４の何れか一つに記載の方法。
  8. 前記真偽標識に基づいて超音波センサアレイにおける各超音波センサにより採集された障害物座標を処理することは、
    前記ニューラルネットワークモデルから出力された標識結果がＴＲＵＥであれば、前記処理待ち超音波センサにより採集された障害物座標を保留し、
    前記ニューラルネットワークモデルから出力された標識結果がＦＡＬＳＥであれば、前記処理待ち超音波センサにより採集された障害物座標を廃棄する、ことを含む請求項２に記載の方法。
  9. 超音波アレイによる障害物検出結果の処理システムであって、
    超音波センサアレイにおける各超音波センサにより採集された障害物座標を取得する取得モジュールと、
    超音波センサアレイにおける各超音波センサにより採集された障害物座標を予め訓練されたニューラルネットワークモデルに入力して、前記予め訓練されたニューラルネットワークモデルから出力された各超音波センサにより採集された障害物座標に対する真偽標識を取得するニューラルネットワーク標識モジュールと、
    前記真偽標識に基づいて超音波センサアレイにおける各超音波センサにより採集された障害物座標を処理する処理モジュールと、
    を備えるシステム。
  10. 前記ニューラルネットワーク標識モジュールは、具体的に、
    処理待ち超音波センサ及び当該処理待ち超音波センサと隣り合うＮ（Ｎは超音波センサアレイの合計よりも小さい正整数）個の超音波センサにより採集された障害物座標の特徴値を選択してデータシーケンスを生成し、
    前記データシーケンスを予め訓練されたニューラルネットワークモデルに入力する、請求項９に記載のシステム。
  11. 前記システムは、更にニューラルネットワーク訓練モジュールを備え、
    前記ニューラルネットワーク訓練モジュールは、
    障害物テストシーンを構築し、
    超音波センサアレイにおける各超音波センサにより採集された障害物の座標及びライダーにより同じ障害物を採集して得た座標を取得して参照座標系に統合し、
    統合されたライダーにより採集された障害物座標に基づいて各超音波センサにより採集された障害物座標に対して真偽標識を行って訓練サンプルを生成し、
    前記訓練サンプルによりニューラルネットワークモデルを訓練する、ことに用いられる、請求項９に記載のシステム。
  12. 前記ニューラルネットワーク訓練モジュールは、統合されたライダーにより採集された障害物座標に基づいて各超音波センサにより採集された障害物座標に対して真偽標識を行う場合に、具体的に、
    ライダーにより採集された障害物座標と超音波センサにより採集された障害物座標との誤差が所定の閾値範囲内にある場合に、ＴＲＵＥとして標識し、所定の閾値範囲よりも大きい場合に、ＦＡＬＳＥとして標識する、請求項１１に記載のシステム。
  13. 前記ニューラルネットワーク訓練モジュールは、訓練サンプルを生成する場合に、具体的に、
    処理待ち超音波センサ及び当該処理待ち超音波センサと隣り合うＮ（Ｎは超音波センサアレイの合計よりも小さい正整数）個の超音波センサにより採集された障害物座標の特徴値と、処理待ち超音波センサにより採集された障害物座標に対する真偽標識とを訓練サンプルとして生成する、請求項１１に記載のシステム。
  14. 前記ニューラルネットワークモデルは、畳み込みニューラルネットワークモデルである、請求項９～１２の何れか一つに記載のシステム。
  15. 前記ニューラルネットワークモデルは、長・短期記憶ニューラルネットワークモデルである、請求項９～１２の何れか一つに記載のシステム。
  16. 前記処理モジュールは、具体的に、
    前記ニューラルネットワークモデルから出力された標識結果がＴＲＵＥであれば、前記処理待ち超音波センサにより採集された障害物座標を保留し、
    前記ニューラルネットワークモデルから出力された標識結果がＦＡＬＳＥであれば、前記処理待ち超音波センサにより採集された障害物座標を廃棄する、
    請求項１０に記載のシステム。
  17. メモリと、
    プロセッサと、
    前記メモリに記憶され且つ前記プロセッサに実行可能なコンピュータプログラムとを備え、前記プロセッサが前記プログラムを実行すると、請求項１～８の何れか一つに記載の方法を実現する、コンピュータデバイス。
  18. コンピュータプログラムが記憶されており、前記プログラムがプロセッサにより実行されると、請求項１～８の何れか一つに記載の方法を実現する、コンピュータ可読記憶媒体。
  19. プロセッサにより実行されると、請求項１～８の何れか一つに記載の方法を実現する、プログラム。
JP2021518846A 2019-01-15 2019-12-18 超音波アレイによる障害物検出結果の処理方法、コンピュータデバイス、記憶媒体、プログラム及びシステム Active JP7185811B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910034451.X 2019-01-15
CN201910034451.XA CN109870698B (zh) 2019-01-15 2019-01-15 一种超声波阵列障碍物检测结果处理方法及系统
PCT/CN2019/126392 WO2020147500A1 (zh) 2019-01-15 2019-12-18 超声波阵列障碍物检测结果处理方法及系统

Publications (2)

Publication Number Publication Date
JP2021527833A JP2021527833A (ja) 2021-10-14
JP7185811B2 true JP7185811B2 (ja) 2022-12-08

Family

ID=66917621

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021518846A Active JP7185811B2 (ja) 2019-01-15 2019-12-18 超音波アレイによる障害物検出結果の処理方法、コンピュータデバイス、記憶媒体、プログラム及びシステム

Country Status (5)

Country Link
US (1) US11933921B2 (ja)
EP (1) EP3839564B1 (ja)
JP (1) JP7185811B2 (ja)
CN (1) CN109870698B (ja)
WO (1) WO2020147500A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109870698B (zh) 2019-01-15 2021-12-24 阿波罗智能技术(北京)有限公司 一种超声波阵列障碍物检测结果处理方法及系统
CN110333517B (zh) * 2019-07-11 2022-11-25 腾讯科技（深圳）有限公司 障碍物感知方法、装置及存储介质
CN110674853A (zh) * 2019-09-09 2020-01-10 广州小鹏汽车科技有限公司 超声波数据处理方法、装置及车辆
CN111273268B (zh) * 2020-01-19 2022-07-19 北京百度网讯科技有限公司 自动驾驶障碍物类型的识别方法、装置及电子设备
CN112180357A (zh) * 2020-09-15 2021-01-05 珠海格力电器股份有限公司 一种安全防护的方法及系统
CN112462353B (zh) * 2020-11-26 2023-08-15 中国第一汽车股份有限公司 超声波雷达的测试方法、装置、系统及设备
CN113419627A (zh) * 2021-06-18 2021-09-21 Oppo广东移动通信有限公司 设备控制方法、装置及存储介质
JP2024035280A (ja) 2022-09-02 2024-03-14 フォルシアクラリオン・エレクトロニクス株式会社 物体検出装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000098031A (ja) 1998-09-22 2000-04-07 Hitachi Ltd インパルスソーナー
JP3188391B2 (ja) 1996-01-16 2001-07-16 矢崎総業株式会社 ターミナルキャップ
US20050195383A1 (en) 1994-05-23 2005-09-08 Breed David S. Method for obtaining information about objects in a vehicular blind spot
JP2016065750A (ja) 2014-09-24 2016-04-28 五洋建設株式会社 水中測位システム及び水中測位方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2878414B2 (ja) 1989-09-04 1999-04-05 株式会社リコー ３次元物体認識方式
JP3151472B2 (ja) * 1992-12-08 2001-04-03 日本電信電話株式会社 ３次元物体像の生成方法
US7630806B2 (en) * 1994-05-23 2009-12-08 Automotive Technologies International, Inc. System and method for detecting and protecting pedestrians
US7426437B2 (en) * 1997-10-22 2008-09-16 Intelligent Technologies International, Inc. Accident avoidance systems and methods
DE102005009702A1 (de) * 2005-03-03 2006-09-07 Robert Bosch Gmbh Abstandsmessvorrichtung und Verfahren zur Funktionsprüfung einer Abstandsmessung
DE102011013681A1 (de) * 2011-03-11 2012-09-13 Valeo Schalter Und Sensoren Gmbh Verfahren zum Detektieren einer Parklücke, Parkhilfesystem und Kraftfahrzeug mit einem Parkhilfesystem
US9091613B2 (en) * 2012-06-27 2015-07-28 General Monitors, Inc. Multi-spectral ultrasonic gas leak detector
CN105303179A (zh) * 2015-10-28 2016-02-03 小米科技有限责任公司 指纹识别方法、装置
CN105738908B (zh) * 2016-01-29 2018-08-24 宇龙计算机通信科技(深圳)有限公司 一种防碰撞预警方法、装置与耳机
CN105922990B (zh) * 2016-05-26 2018-03-20 广州市甬利格宝信息科技有限责任公司 一种基于云端机器学习的车辆环境感知和控制方法
US10198822B2 (en) 2016-10-27 2019-02-05 International Business Machines Corporation Systems and user interfaces for determination of electro magnetically identified lesions as included in medical images of differing perspectives
WO2018127498A1 (en) 2017-01-05 2018-07-12 Koninklijke Philips N.V. Ultrasound imaging system with a neural network for image formation and tissue characterization
US10198655B2 (en) 2017-01-24 2019-02-05 Ford Global Technologies, Llc Object detection using recurrent neural network and concatenated feature map
DE102017108348B3 (de) * 2017-04-20 2018-06-21 Valeo Schalter Und Sensoren Gmbh Konfiguration eines Sensorsystems mit einem neuronalen Netzwerk für ein Kraftfahrzeug
US10884409B2 (en) * 2017-05-01 2021-01-05 Mentor Graphics (Deutschland) Gmbh Training of machine learning sensor data classification system
CN109116374B (zh) 2017-06-23 2021-08-17 百度在线网络技术（北京）有限公司 确定障碍物距离的方法、装置、设备及存储介质
CN107526085B (zh) * 2017-07-25 2020-07-14 福建网龙计算机网络信息技术有限公司 超声波阵列测距建模的方法及其系统
US10551838B2 (en) * 2017-08-08 2020-02-04 Nio Usa, Inc. Method and system for multiple sensor correlation diagnostic and sensor fusion/DNN monitor for autonomous driving application
JP7346401B2 (ja) * 2017-11-10 2023-09-19 エヌビディア コーポレーション 安全で信頼できる自動運転車両のためのシステム及び方法
CN107942335A (zh) * 2017-11-28 2018-04-20 达闼科技（北京）有限公司 一种物体识别方法及设备
CN108909624B (zh) * 2018-05-13 2021-05-18 西北工业大学 一种基于单目视觉的实时障碍物检测和定位方法
CN108845324B (zh) 2018-06-26 2022-09-23 北京小米移动软件有限公司 障碍物识别方法、装置、设备及存储介质
CN109870698B (zh) 2019-01-15 2021-12-24 阿波罗智能技术(北京)有限公司 一种超声波阵列障碍物检测结果处理方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050195383A1 (en) 1994-05-23 2005-09-08 Breed David S. Method for obtaining information about objects in a vehicular blind spot
JP3188391B2 (ja) 1996-01-16 2001-07-16 矢崎総業株式会社 ターミナルキャップ
JP2000098031A (ja) 1998-09-22 2000-04-07 Hitachi Ltd インパルスソーナー
JP2016065750A (ja) 2014-09-24 2016-04-28 五洋建設株式会社 水中測位システム及び水中測位方法

Also Published As

Publication number Publication date
JP2021527833A (ja) 2021-10-14
EP3839564B1 (en) 2023-02-15
WO2020147500A1 (zh) 2020-07-23
CN109870698A (zh) 2019-06-11
CN109870698B (zh) 2021-12-24
EP3839564A1 (en) 2021-06-23
EP3839564A4 (en) 2021-12-22
US11933921B2 (en) 2024-03-19
US20220035015A1 (en) 2022-02-03

Similar Documents

Publication Publication Date Title
JP7185811B2 (ja) 超音波アレイによる障害物検出結果の処理方法、コンピュータデバイス、記憶媒体、プログラム及びシステム
CN109343061B (zh) 传感器标定方法、装置、计算机设备、介质和车辆
US11002840B2 (en) Multi-sensor calibration method, multi-sensor calibration device, computer device, medium and vehicle
US11783590B2 (en) Method, apparatus, device and medium for classifying driving scenario data
CN109271944B (zh) 障碍物检测方法、装置、电子设备、车辆及存储介质
CN109116374B (zh) 确定障碍物距离的方法、装置、设备及存储介质
US10698106B2 (en) Obstacle detecting method and apparatus, device and storage medium
CN109931944B (zh) 一种ar导航方法、装置、车端设备、服务端及介质
CN111998860B (zh) 自动驾驶定位数据校验方法、装置、电子设备及存储介质
CN111273268B (zh) 自动驾驶障碍物类型的识别方法、装置及电子设备
CN109145680A (zh) 一种获取障碍物信息的方法、装置、设备和计算机存储介质
CN109703569B (zh) 一种信息处理方法、装置及存储介质
CN112834249B (zh) 转向参数检测方法、装置、设备及存储介质
CN110703732B (zh) 相关性检测方法、装置、设备及计算机可读存储介质
CN108446727B (zh) 驾驶行为决策方法、系统和电子设备
CN109635868B (zh) 障碍物类别的确定方法、装置、电子设备及存储介质
CN111220988B (zh) 一种地图数据处理方法、装置、设备和介质
CN114021080A (zh) 轨迹预测模型训练以及轨迹预测方法、装置、设备及介质
CN117128979A (zh) 一种多传感器融合方法、装置、电子设备及存储介质
CN110111018B (zh) 评估车辆感测能力的方法、装置、电子设备及存储介质
CN112528846A (zh) 障碍物检测的测评方法、装置、设备以及存储介质
Neloy et al. Alpha-N-V2: Shortest path finder automated delivery robot with obstacle detection and avoiding system
CN111369795B (zh) 一种车流量统计方法、装置、设备及存储介质
CN114167871A (zh) 一种障碍物检测方法、装置、电子设备和存储介质
CN110293550B (zh) 机械臂移动控制方法、装置和智能设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211029

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20211029

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211118

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220915

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20221004

R150 Certificate of patent or registration of utility model

Ref document number: 7185811

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150