JP7395301B2 - 障害物検出方法、障害物検出装置、電子機器、車両及び記憶媒体 - Google Patents

障害物検出方法、障害物検出装置、電子機器、車両及び記憶媒体 Download PDF

Info

Publication number
JP7395301B2
JP7395301B2 JP2019177513A JP2019177513A JP7395301B2 JP 7395301 B2 JP7395301 B2 JP 7395301B2 JP 2019177513 A JP2019177513 A JP 2019177513A JP 2019177513 A JP2019177513 A JP 2019177513A JP 7395301 B2 JP7395301 B2 JP 7395301B2
Authority
JP
Japan
Prior art keywords
obstacle
depth map
obstacle detection
vehicle
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019177513A
Other languages
English (en)
Other versions
JP2020098188A (ja
Inventor
ドンミン チェン，
シュン スン，
リャン ワン，
Original Assignee
アポロ インテリジェント ドライビング テクノロジー（ペキン）カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アポロ インテリジェント ドライビング テクノロジー（ペキン）カンパニー リミテッド filed Critical アポロ インテリジェント ドライビング テクノロジー（ペキン）カンパニー リミテッド
Publication of JP2020098188A publication Critical patent/JP2020098188A/ja
Application granted granted Critical
Publication of JP7395301B2 publication Critical patent/JP7395301B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Optical Distance (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Description

本発明は、無人運転車両の技術に関し、特に、障害物検出方法、障害物検出装置、電子機器、車両及び記憶媒体に関する。
無人運転車両とは、様々なセンサを使用して車両周囲環境を感知し、感知して取得された道路、車両位置、および障害物などに基づいて、車両の操舵および速度を制御することによって、車両が安全的かつ信頼的に道路で走行するようにする車両を指す。その中、障害物は、道路に現れる石造りの桟橋、円球、消火栓などを含む。
単眼カメラとレーザレーダは、いずれも、自動運転システムにおける重要なセンサであり、これらのセンサを使用して、障害物の検出、分類、追跡などの車両周囲環境を感知することができる。これらのセンサには、それぞれ長所があり、自身の制限性もある。
単眼カメラを使用して障害物検出する場合、一般的には、機械学習の方法を使用する。まず、既に明確に定義された通常の障害物を収集して、手動でラベル付ける。たとえば、人、車両、自転車、ロードコーンなどに対して、手動でラベル付ける。その後、機械学習アルゴリズムを使用して、ラベル付きサンプルを訓練して、検出モデルを取得する。最後に、検出モデルを使用して実際の撮影画像における障害物を検出する。当該方法の欠点は、訓練したことがない非通常の障害物を検出することができない。しかし、実際の道路には、走行可能な領域内の非通常の障害物の種類が非常に多く、大きいものとしてはさまざまなバリケードがあり、小さいものとしては奇怪な姿をしている石造りの桟橋、盛り土、紙箱などがある。
レーザレーダを使用して障害物検出する場合、従来の検出アルゴリズムを使用して通常および非通常の障害物を検出する。しかし、レーダエミッタの数の制限のために、収集されたレーザ点群の密集を保証できず、低い障害物が漏れ検出される情況が発生することになる。また、レーザレーダは、異なる色および異なる材質の物体に対する探知能力も互いに異なる。たとえば、特に黒いある材質である場合、レーザを過度に吸収して、レーザレーダの漏れ検出をもたらす。
従って、どのような種類のセンサであっても、非通常の障害物に対しては正確で効果的な検出を実現することができない。
これに鑑みて、本発明は、障害物検出方法、障害物検出装置、電子機器、車両及び記憶媒体を提供し、レーザレーダを使用して検出するときに、まばらなサンプリング点による障害物の漏れ検出問題を回避することができ、単眼カメラを使用して検出するときに、すべての種類の障害物をサンプルとしてモデル訓練することができないため、訓練したことがないサンプル種類が検出できないことによる漏れ検出問題も回避することができる。
本発明の第１態様として、障害物検出装置または電子機器によって実行される障害物検出方法であって、車両周囲の深度マップを取得するステップと、初期の第１フレームの深度マップに対して、該深度マップにおける予め設定された領域内の点を３次元空間に逆投影した後に平面フィッティングして、前記第１フレームの前記深度マップの地面方程式を取得し、前記第１フレームの前記深度マップの後の他の各フレームの深度マップに対して、現在のフレームの深度マップの一つ前のフレームの深度マップに基づいて決定された走行可能な前記領域内で平面フィッティングして、前記現在のフレームの前記深度マップの地面方程式を取得する操作に基づいて、前記地面方程式を決定するステップと、前記地面方程式に基づいて、前記深度マップで前記車両の前方の走行可能な領域を検出し、前記深度マップにおける走行可能な前記領域内で、障害物候補点の集合を決定するステップと、前記障害物候補点の集合における候補点を領域区分して、前記障害物候補点に対応する少なくとも一つの候補領域を取得し、前記候補領域内の候補点をクラスタリングして、少なくとも一つのクラスタリング結果を取得し、前記少なくとも一つのクラスタリング結果を少なくとも一つの他から独立した障害物とするステップと、少なくとも一つの前記独立した障害物のうち誤検出された障害物を識別してフィルタリングし、前記深度マップに基づく障害物検出結果を取得するステップとを含む障害物検出方法を提供する。
上記態様において、前記車両周囲の前記深度マップを取得するステップは、双眼ステレオカメラを使用して前記車両周囲の前記深度マップを取得するステップ、または、レーザレーダを使用して前記車両周囲のレーザ点群を取得し、単眼カメラによって前記車両周囲のレーザ点群をサンプリングして前記車両周囲の深度マップを取得するステップを含んでいてもよい。
また、上記態様において、前記地面方程式と前記深度マップとに基づいて、前記障害物候補点の集合を決定するステップは、前記地面方程式に基づいて、前記深度マップで前記車両の前方の走行可能な領域を検出するステップと、前記深度マップにおける走行可能な前記領域内で、前記障害物候補点の集合を決定するステップとを含んでいてもよい。
また、本発明の参考例としての発明は、上記態様において、前記地面方程式に基づいて、前記深度マップで前記車両の前方の走行可能な前記領域を検出するステップは、前記地面方程式に基づいて、前記深度マップで、障害物候補の下端と前記地面方程式の境界点である接触点を算出するステップとを含み、前記接触点までの深度マップ内の領域が前記車両の前方の走行可能な前記領域であってもよい。
また、本発明の参考例としての発明は、上記態様において、前記深度マップにおける走行可能な前記領域内で、前記障害物候補点の集合を決定するステップは、走行可能な前記領域内の前記深度マップで、取得された前記接触点の上方に位置し、かつ、前記障害物候補のすべての画素点の深度値が予め設定された範囲で変化されるとの規則に合致する点を、前記障害物候補の画素点として決定し、深度値に前記予め設定された範囲を超えるジャンプ変化が発生される場合、前記障害物候補のエッジを決定するステップを含んでいてもよい。
また、上記態様において、前記深度マップに基づいて地面フィッティングして、前記地面方程式を決定するステップは、初期の第１フレームの深度マップに対して、該深度マップでの前記予め設定した領域内の点を３次元空間に逆投影した後に平面フィッティングして、前記第１フレームの前記深度マップの地面方程式を取得するステップと、前記第１フレームの前記深度マップの後の他の各フレーム深度マップに対して、現在のフレームの深度マップの一つ前のフレームの深度マップに基づいて決定された走行可能な前記領域内で平面フィッティングして、前記現在のフレームの前記深度マップの地面方程式を取得する操作に基づいて、前記地面方程式を決定するステップとを含んでいてもよい。
また、上記態様において、前記障害物候補点の集合における各前記候補点をクラスタリングして、少なくとも一つの前記独立した障害物を取得するステップは、クラスタリングアルゴリズムを使用して、前記障害物候補点の集合における各前記候補点をクラスタリングして、少なくとも一つのクラスタリング結果を取得し、各該クラスタリング結果を検出された前記独立した障害物とするステップを含んでいてもよい。
また、上記態様において、少なくとも一つの前記独立した障害物のうち誤検出された前記障害物を識別するステップは、前記障害物の地面からの高さに基づいて識別することと、前記障害物のサイズに基づいて識別することと、前記車両の現在の車線に基づいて識別することと、を少なくとも含む予め設定した計略によって、少なくとも一つの前記独立した障害物のうち誤検出された前記障害物を識別するステップを含んでいてもよい。
また、上記態様において、前記車両周囲の前記深度マップを取得すると同時に、レーザレーダによって前記車両周囲がスキャンされたデータを取得し、前記レーザレーダによってスキャンされた前記データに基づいて前記障害物を検出して、レーザレーダ障害物検出結果を取得するステップをさらに含み、前記深度マップに基づく前記障害物検出結果を取得した後に、前記レーザレーダ障害物検出結果と前記深度マップに基づく前記障害物検出結果とを使用して、融合クロスチェックするステップをさらに含んでいてもよい。
また、上記態様において、前記レーザレーダ障害物検出結果と前記深度マップに基づく前記障害物検出結果とを使用して、融合クロスチェックするステップは、前記深度マップに基づく前記障害物検出結果を目標障害物とするステップと、前記レーザレーダ障害物検出結果に前記目標障害物の一部が含まれている場合、前記目標障害物をチェックに合格した障害物として決定するステップと、前記レーザレーダ障害物検出結果に前記目標障害物が含まれておらず、現在の時点の一つ前の時点で収集された前記深度マップに基づいて、目標障害物と時間系列とで関連されることが検出された場合、前記目標障害物をチェックに合格した前記障害物として決定するステップとを含んでいてもよい。
また、上記態様において、二つの隣接する時点で検出された二つの前記障害物が時間系列で関連されるか否かを判断する方法は、機械学習の方法を使用して二つの前記障害物の画像からそれぞれ特徴を抽出して、それぞれの特徴ベクトルを取得し、二つの該特徴ベクトル間の類似度を算出することによって、二つの前記障害物が互いに関連されるか否かを判断することを含んでいてもよい。
本発明の第２態様として、取得モジュールと、決定モジュールと、クラスタリングモジュールと、フィルタリングモジュールとを備え、前記取得モジュールが、車両周囲の深度マップを取得し、前記決定モジュールが、初期の第１フレームの深度マップに対して、該深度マップにおける予め設定された領域内の点を３次元空間に逆投影した後に平面フィッティングして、前記第１フレームの前記深度マップの地面方程式を取得し、前記第１フレームの前記深度マップの後の他の各フレームの深度マップに対して、現在のフレームの深度マップの一つ前のフレームの深度マップに基づいて決定された走行可能な前記領域内で平面フィッティングして、前記現在のフレームの前記深度マップの地面方程式を取得する操作に基づいて、前記地面方程式を決定し、前記地面方程式に基づいて、前記深度マップで前記車両の前方の走行可能な領域を検出し、前記深度マップにおける走行可能な前記領域内で、障害物候補点の集合を決定し、前記クラスタリングモジュールが、前記障害物候補点の集合における候補点を領域区分して、前記障害物候補点に対応する少なくとも一つの候補領域を取得し、前記候補領域内の候補点をクラスタリングして、少なくとも一つのクラスタリング結果を取得し、前記少なくとも一つのクラスタリング結果を少なくとも一つの他から独立した障害物とし、前記フィルタリングモジュールが、少なくとも一つの前記独立した障害物のうち誤検出された障害物を識別してフィルタリングし、前記深度マップに基づく障害物検出結果を取得する障害物検出装置を提供する。
本発明の第３態様として、少なくとも一つのプロセッサと、少なくとも一つのプログラムを記憶するメモリとを備え、少なくとも一つの前記プログラムが少なくとも一つの前記プロセッサによって実行される場合に、少なくとも一つの前記プロセッサが、上記の障害物検出方法を実現する電子機器を提供する。
本発明の第４態様として、車体を備える車両であって、上記の電子機器と、双眼ステレオカメラと、単眼カメラと、レーザレーダとをさらに備える車両を提供する。
本発明の第５態様として、コンピュータプログラムが記憶されている記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される場合に、上記の障害物検出方法が実現される記憶媒体を提供する。
本発明は、障害物検出方法、障害物検出装置、電子機器、車両及び記憶媒体を提供する。まず、車両周囲の深度マップを取得し、その後、深度マップに基づいて地面フィッティングして、地面方程式を決定し、地面方と深度マップ程に基づいて、障害物候補点の集合を決定する。さらに、障害物候補点の集合における各候補点をクラスタリングして、少なくとも一つの独立した障害物を取得して、少なくとも一つの独立した障害物のうち誤検出された障害物を識別してフィルタリングすることによって、深度マップに基づく障害物検出結果を取得する。つまり、本発明の技術案においては、地面方程式と深度マップに基づいて、障害物候補点の集合を決定し、障害物候補点の集合における各候補点をクラスタリングし、少なくとも一つの独立した障害物のうち誤検出された障害物をフィルタリングして、深度マップに基づく障害物検出結果を取得することができる。したがって、従来の技術と比較すると、本発明によって提供される障害物検出方法、障害物検出装置、電子機器、車両及び記憶媒体によると、レーザレーダを使用して検出するときに、まばらなサンプリング点による障害物の漏れ検出問題を回避することができ、単眼カメラを使用して検出するときに、すべての種類の障害物をサンプルとしてモデル訓練することができないため、訓練したことがないサンプル種類が検出できないことによる漏れ検出問題も回避することができる。また、本発明の実施例の技術案の実現は、簡単・便利であり、そして普及しやすく、よい広い応用範囲を有する。
本発明の実施例１によって提供される障害物検出方法のフローの模式図である。 本発明の実施例２によって提供される障害物検出方法のフローの模式図である。 本発明の実施例３によって提供される障害物検出方法のフローの模式図である。 本発明の実施例４によって提供される障害物検出装置の構成模式図である。 本発明の実施例５によって提供される電子機器の構成模式図である。
以下、図面および実施例と結合して本発明をさらに詳細に説明する。ここで記載する具体的な実施例は、単に、本発明を説明するのみに用いられ、本発明を限定するものではないことを、理解できるはずである。また、説明を容易にするために、本発明に関連する構造の全部ではなく一部のみを図面に示したことを、さらに説明する必要がある。
実施例１
図１は、本発明の実施例１によって提供される障害物検出方法のフローの模式図である。
障害物検出方法は、障害物検出装置または電子機器によって実行されることができ、障害物検出装置または電子機器は、ソフトウェア、及び／又は、ハードウェアの方式によって実現されることができる。障害物検出装置または電子機器は、車両などの、ネットワーク通信機能を有する任意のスマート機器に統合されてもよく、車両は、無人車両であってもよい。
図１に示されるように、障害物検出方法は、以下のステップＳ１０１～ステップＳ１０５を含んでいる。
ステップＳ１０１は、車両周囲の深度マップを取得する。
コンピュータビジョンシステムにおいて、３次元シーン情報は、画像分割、目標検出及び物体追跡などの様々な種類のコンピュータビジョンアプリケーションのために、より多くの可能性を提供しており、深度マップ（Ｄｅｐｔｈ Ｍａｐ）は、一般的な３次元シーン情報表現方式として、幅広く使用されている。３Ｄコンピュータグラフィックにおいて、深度マップは、視点のシーンオブジェクトの表面からの距離に関連する情報を含む画像または画像チャネルである。Ｄｅｐｔｈ Ｍａｐは、グレースケール画像に似ているが、ただ、Ｄｅｐｔｈ Ｍａｐの各画素値はセンサと物体との間の実際の距離である。本発明の具体的な実施例において、電子機器は、車両周囲の深度マップを取得することができる。具体的には、電子機器は、双眼ステレオカメラを使用して車両周囲の深度マップを取得、或いは、電子機器は、レーザレーダを使用して車両周囲のレーザ点群を取得し、単眼カメラによって車両周囲のレーザ点群をサンプリングして車両周囲の深度マップを取得することができる。
ステップＳ１０２は、深度マップに基づいて地面フィッティングして、地面方程式を決定する。
本発明の具体的な実施例において、電子機器は、深度マップに基づいて地面フィッティングして、地面方程式を決定することができる。具体的には、初期の第１フレームの深度マップに対して、電子機器は、深度マップにおける予め設定した領域内の点を３次元空間に逆投影した後に平面フィッティングして、第１フレームの深度マップの地面方程式を取得する。そして、第１フレームの深度マップの後の他の各フレームの深度マップに対しては、以下の操作に基づいて地面方程式を決定することができる、この操作は、現在のフレームの深度マップの一つ前のフレームの深度マップに基づいて決定された走行可能な領域内で平面フィッティングして、現在のフレームの深度マップの地面方程式を取得する操作である。
一例を挙げて説明すると、電子機器は、第１フレームの深度マップに対しては、第１フレームの深度マップにおける予め設定した領域内の点を３次元空間に逆投影した後に平面フィッティングして、第１フレームの深度マップの地面方程式を取得する。第２フレームの深度マップに対しては、第１フレームの深度マップで決定した走行可能な領域内で平面フィッティングして、第２フレームの深度マップの地面方程式を取得する。第３フレームの深度マップに対しては、第２フレームの深度マップで決定した走行可能な領域内で平面フィッティングして、第３フレームの深度マップの地面方程式を取得する。このような方式で推理すると、第Ｎのフレームの深度マップに対しては、第Ｎ－フレームの深度マップで決定した走行可能な領域内で平面フィッティングして、第Ｎフレームの深度マップの地面方程式を取得し、その中、Ｎは、１より大きい自然数である。
ステップＳ１０３は、地面方程式と深度マップとに基づいて、障害物候補点の集合を決定する。
本発明の具体的な実施例において、電子機器は、地面方程式と深度マップとに基づいて、障害物候補点の集合を決定することができる。具体的には、電子機器は、まず、地面方程式に基づいて、深度マップで車両の前方の走行可能な領域を検出し、その後、深度マップにおける走行可能な領域内で障害物候補点の集合を決定することができる。
ステップＳ１０４は、障害物候補点の集合における各候補点をクラスタリングして、少なくとも一つの独立した障害物を取得する。
本発明の具体的な実施例において、電子機器は、障害物候補点の集合における各候補点をクラスタリングして、少なくとも一つの独立した障害物を取得することができる。具体的には、電子機器は、クラスタリングアルゴリズムを使用して、障害物候補点の集合における各候補点をクラスタリングして、少なくとも一つのクラスタリング結果を取得し、各クラスタリング結果を検出された独立した障害物とすることができる。具体的には、電子機器は、クラスタリングアルゴリズムを使用して障害物候補点の集合における各候補点をクラスタリングすることができる。たとえば、電子機器は、まず、障害物候補点を領域区分して、障害物候補点に対応する少なくとも一つの候補領域を取得し、その後、各候補領域内の各候補点をクラスタリングすることができる。たとえば、電子機器は、障害物候補点の集合における一つの候補領域内の候補点がより集中されている場合、候補領域内の候補点をクラスタリングして、候補領域内の独立した障害物を取得することができる。
ステップＳ１０５は、少なくとも一つの独立した障害物のうち誤検出された障害物を識別してフィルタリングし、深度マップに基づく障害物検出結果を取得する。
本発明の具体的な実施例において、電子機器は、少なくとも一つの独立した障害物のうち誤検出された障害物を識別してフィルタリングすることによって、深度マップに基づく障害物検出結果を取得することができる。具体的には、電子機器は、予め設定した計略によって、少なくとも一つの独立した障害物のうち誤検出された障害物を識別し、予め設定した計略は、障害物の地面からの高さに基づいて識別することと、障害物のサイズに基づいて識別することと、車両の現在の車線に基づいて識別することと、を少なくとも含むことができる。
一例を挙げて説明すると、電子機器が障害物候補点の集合における各候補点をクラスタリングして、独立した障害物１、独立した障害物２、…、独立した障害物ＭであるＭ（Ｍは１以上の自然数である）個の独立した障害物を取得したと想定する。ステップにおいて、電子機器は、障害物の地面からの高さに基づいて、独立した障害物１、独立した障害物２、…、独立した障害物Ｍをそれぞれ識別することができ、または、障害物のサイズに基づいて、独立した障害物１、独立した障害物２、…、独立した障害物Ｍをそれぞれ識別することができ、さらに、車両の現在の車線に基づいて、独立した障害物１、独立した障害物２、…、独立した障害物Ｍをそれぞれ識別することができる。たとえば、電子機器は、独立した障害物１の地面からの高さが予め設定した高さ閾値より低い場合、独立した障害物１を誤検出された障害物として識別することができ、または、独立した障害物１のサイズが予め設定したサイズ閾値より小さい場合、独立した障害物１を誤検出された障害物として識別することができ、または、独立した障害物１が車両の現在の車線以外に位置している場合、独立した障害物１を誤検出された障害物として識別することができる。
本発明の実施例によって提供される障害物検出方法によると、まず、車両周囲の深度マップを取得する。その後、深度マップに基づいて地面フィッティングして、地面方程式を決定し、地面方程式と深度マップに基づいて、障害物候補点の集合を決定し、再障害物候補点の集合における各候補点をクラスタリングして、少なくとも一つの独立した障害物を取得する。そして、少なくとも一つの独立した障害物のうち誤検出された障害物を識別してフィルタリングすることによって、深度マップに基づく障害物検出結果を取得する。つまり、本発明の技術案において、地面方程式と深度マップに基づいて、障害物候補点の集合を決定し、障害物候補点の集合における各候補点をクラスタリングし、少なくとも一つの独立した障害物のうち誤検出された障害物をフィルタリングして、深度マップに基づく障害物検出結果を取得することができる。したがって、従来の技術と比較すると、本発明の実施例によって提供される障害物検出方法、レーザレーダを使用して検出するときに、まばらなサンプリング点による障害物の漏れ検出問題を回避することができる。単眼カメラを使用して検出するときに、すべての種類の障害物をサンプルとしてモデル訓練することができないため、訓練したことがないサンプル種類が検出できないことによる漏れ検出問題も回避することができ、また、本発明の実施例の技術案の実現は、簡単で便利であり、そして普及しやすく、よい広い応用範囲を有する。
実施例２
図２は、本発明の実施例２によって提供される障害物検出方法のフローの模式図である。
図２に示されるように、障害物検出方法は、以下のステップＳ２０１からステップＳ２０６を含んでいる。
ステップＳ２０１は、車両周囲の深度マップを取得する。
ステップＳ２０２は、深度マップに基づいて地面フィッティングして、地面方程式を決定する。
ステップＳ２０３は、地面方程式に基づいて、深度マップで車両前方の走行可能な領域を検出する。
本発明の具体的な実施例において、電子機器は、地面方程式に基づいて、深度マップで車両前方の走行可能な領域を検出することができる。つまり、電子機器は、車両周囲の深度マップを取得した後、深度マップで車両前方の走行可能な領域および走行不可能な領域を検出することができる。具体的には、電子機器は、地面方程式に基づいて、深度マップで接触点を算出して取得することができる。接触点以内が走行可能な領域であり、接触点以外が走行不可能な領域であり、そして、接触点は、障害物の下端と地面方程式との境界点である。
ステップＳ２０４は、深度マップにおける走行可能な領域内で障害物候補点の集合を決定する。
本発明の具体的な実施例において、電子機器は、深度マップにおける走行可能な領域内で障害物候補点の集合を決定することができる。具体的には、電子機器は、走行可能な領域内の深度マップで、取得された接触点の上方に位置し、かつ、障害物のすべての画素点の深度値が予め設定された範囲で変化されるとの規則に合致する点を、画素点として決定し、深度値に予め設定された範囲を超えるジャンプ変化が発生される場合、障害物のエッジを決定することができる。つまり、障害物のすべての画素点の深度値が予め設定された範囲で変化され、障害物のエッジでは深度値のジャンプ変化が発生される。したがって、電子機器は、深度値に予め設定された範囲を超えるジャンプ変化が検出される場合、障害物のエッジを決定することができる。
ステップＳ２０５は、障害物候補点の集合における各候補点をクラスタリングして、少なくとも一つの独立した障害物を取得する。
ステップＳ２０６は、少なくとも一つの独立した障害物のうち誤検出された障害物を識別してフィルタリングし、深度マップに基づく障害物検出結果を取得する。
本発明の具体的な実施例において、電子機器は、少なくとも一つの独立した障害物のうち誤検出された障害物を識別した後、少なくとも一つの独立した障害物のうち誤検出された障害物をフィルタリングすることもできる。具体的には、電子機器は、予め設定したフィルタリングアルゴリズムを使用して、少なくとも一つの独立した障害物のうち誤検出された障害物をフィルタリングすることができる。
好ましくは、本発明の具体的な実施例において、電子機器は、車両周囲の深度マップを取得すると同時に、レーザレーダによって車両周囲がスキャンされたデータを取得し、レーザレーダによってスキャンされたデータに基づいて障害物を検出して、レーザレーダ障害物検出結果を取得することもできる。電子機器は、深度マップに基づく障害物検出結果を取得した後に、レーザレーダ障害物検出結果と、深度マップに基づく障害物検出結果とを使用して、融合クロスチェックすることもできる。レーザ点群は、点群とも呼ばれ、レーザ点群は、レーザを使用して同一の空間参照系で物体表面の各サンプリング点の空間座標を取得して、目標空間分布および目標表面特性を表現する一連の大量の点の集合を取得するものであり、この点の集合が「点群」（Ｐｏｉｎｔ Ｃｌｏｕｄ）と呼ばれる。点群の属性は、空間解像度、点位置精度及び表面法線ベクトルなどを含むことができる。例示的に、車両上方には、レーザレーダが配置され、レーザレーダには複数のレーザエミッタが有り、レーザレーダは特定の周波数で車両の周囲において１回りずつスキャンして、リアルタイムな車両周囲のレーザ点群を取得することができる。したがって、電子機器は、レーザレーダ障害物検出結果と深度マップに基づく障害物検出結果とを使用して、融合クロスチェックすることができる。具体的には、電子機器は、深度マップに基づく障害物検出結果を目標障害物とし、レーザレーダ障害物検出結果に目標障害物の一部が含まれている場合は、目標障害物をチェックに合格した障害物として決定する。そして、レーザレーダ障害物検出結果に目標障害物が含まれていなく、現在の時点の一つ前の時点で採取された深度マップに基づいて、目標障害物と時間系列で関連されることが検出された場合は、目標障害物をチェックに合格した障害物として決定することができる。具体的には、電子機器は、二つの隣接する時点で検出された二つの障害物が時間系列で関連されるか否かを判断する際に、機械学習の方法を使用して、二つの障害物の画像からそれぞれ特徴を抽出する。そして、それぞれの特徴ベクトルを取得し、二つの特徴ベクトル間の類似度を算出することによって、二つの障害物が互いに関連されるか否かを判断することができる。
本発明の実施例によって提供される障害物検出方法によると、まず、車両周囲の深度マップを取得し、その後、深度マップに基づいて地面フィッティングして、地面方程式を決定する。そして、地面方程式と深度マップに基づいて、障害物候補点の集合を決定し、再障害物候補点の集合における各候補点をクラスタリングして、少なくとも一つの独立した障害物を取得して、少なくとも一つの独立した障害物のうち誤検出された障害物を識別してフィルタリングする。これにより、深度マップに基づく障害物検出結果を取得する。つまり、本発明の技術案において、地面方程式と深度マップに基づいて、障害物候補点の集合を決定し、障害物候補点の集合における各候補点をクラスタリングし、少なくとも一つの独立した障害物のうち誤検出された障害物をフィルタリングして、深度マップに基づく障害物検出結果を取得することができる。したがって、従来の技術と比較すると、本発明の実施例によって提供される障害物検出方法は、レーザレーダを使用して検出するときに、まばらなサンプリング点による障害物の漏れ検出問題を回避することができる。また、単眼カメラを使用して検出するときに、すべての種類の障害物をサンプルとしてモデル訓練することができないため、訓練したことがないサンプル種類が検出できないことによる漏れ検出問題も回避することができる。また、本発明の実施例の技術案の実現は、簡単で便利であり、そして普及しやすく、よい広い応用範囲を有する。
実施例３
図３は、本発明の実施例３によって提供される障害物検出方法のフローの模式図である。図３に示されるように、障害物検出方法は、以下のステップＳ３０１～ステップＳ３０８を含んでいる。
ステップＳ３０１は、車両周囲の深度マップを取得する。
ステップＳ３０２は、深度マップに基づいて地面フィッティングして、地面方程式を決定する。
ステップＳ３０３は、地面方程式に基づいて、深度マップで車両前方の走行可能な領域を検出する。
ステップＳ３０４は、深度マップにおける走行可能な領域内で障害物候補点の集合を決定する。
ステップＳ３０５は、クラスタリングアルゴリズムを使用して、障害物候補点の集合における各候補点をクラスタリングして、少なくとも一つのクラスタリング結果を取得し、各クラスタリング結果を検出された独立した障害物とする。
ステップＳ３０６は、少なくとも一つの独立した障害物のうち誤検出された障害物を識別してフィルタリングし、深度マップに基づく障害物検出結果を取得する。
ステップＳ３０７は、車両周囲の深度マップを取得すると同時に、レーザレーダによって車両周囲がスキャンされたデータを取得し、レーザレーダによってスキャンされたデータに基づいて障害物を検出して、レーザレーダ障害物検出結果を取得する。
ステップＳ３０８は、レーザレーダ障害物検出結果と深度マップに基づく障害物検出結果とを使用して、融合クロスチェックする。
本発明の具体的な実施例において、電子機器は、深度マップに基づく障害物検出結果を目標障害物とし、レーザレーダ障害物検出結果に目標障害物の一部が含まれている場合は、目標障害物をチェックに合格した障害物として決定する。そして、レーザレーダ障害物検出結果に目標障害物が含まれていなく、現在の時点の一つ前の時点で採取された深度マップに基づいて、目標障害物と時間系列で関連されることが検出された場合は、目標障害物をチェックに合格した障害物として決定することができる。具体的には、電子機器は、二つの隣接する時点で検出された二つの障害物が時間系列で関連されるか否かを判断する際に、機械学習の方法を使用して、二つの障害物の画像からそれぞれ特徴を抽出して、それぞれの特徴ベクトルを取得し、二つの特徴ベクトル間の類似度を算出することによって、二つの障害物が互いに関連されるか否かを判断することができる。具体的には、電子機器は、二つの特徴ベクトル間の類似度が予め設定した閾値以上である場合、二つの障害物が関連されると判定し、二つの特徴ベクトル間の類似度が予め設定した閾値未満である場合、二つの障害物が関連されないと判定することができる。
本発明の実施例によって提供される障害物検出方法によると、まず、車両周囲の深度マップを取得し、その後、深度マップに基づいて地面フィッティングして、地面方程式を決定する。そして、地面方程式と深度マップに基づいて、障害物候補点の集合を決定し、再障害物候補点の集合における各候補点をクラスタリングして、少なくとも一つの独立した障害物を取得して、少なくとも一つの独立した障害物のうち誤検出された障害物を識別してフィルタリングすることによって、深度マップに基づく障害物検出結果を取得する。つまり、本発明の技術案において、地面方程式と深度マップに基づいて、障害物候補点の集合を決定し、障害物候補点の集合における各候補点をクラスタリングし、少なくとも一つの独立した障害物のうち誤検出された障害物をフィルタリングして、深度マップに基づく障害物検出結果を取得することができる。したがって、従来の技術と比較すると、本発明の実施例によって提供される障害物検出方法は、レーザレーダを使用して検出するときに、まばらなサンプリング点による障害物の漏れ検出問題を回避することができる。また、単眼カメラを使用して検出するときに、すべての種類の障害物をサンプルとしてモデル訓練することができないため、訓練したことがないサンプル種類が検出できないことによる漏れ検出問題も回避することができ、また、本発明の実施例の技術案の実現は、簡単で便利であり、そして普及しやすく、よい広い応用範囲を有する。
実施例４
図４は、本発明の実施例４によって提供される障害物検出装置の構成模式図である。図４に示したように、本発明の実施例に記載の障害物検出装置は、取得モジュール４０１と、決定モジュール４０２と、クラスタリングモジュール４０３と、フィルタリングモジュール４０４とを備えている。
取得モジュール４０１は、車両周囲の深度マップを取得する。
決定モジュール４０２は、深度マップに基づいて地面フィッティングして、地面方程式を決定し、地面フィッティング方程と深度マップとに基づいて、障害物候補点の集合を決定する。
クラスタリングモジュール４０３は、障害物候補点の集合における各候補点をクラスタリングして、少なくとも一つの独立した障害物を取得する。
フィルタリングモジュール４０４は、少なくとも一つの独立した障害物のうち誤検出された障害物を識別してフィルタリングし、深度マップに基づく障害物検出結果を取得する。
上述した障害物検出装置は、本発明の任意の実施例によって提供される方法を実行することができ、障害物検出方法を実行するための該当する機能モジュールと有益な効果を有する。本実施例において詳細に説明しなかった技術的詳細については、本発明の任意の実施例によって提供される障害物検出方法を参照することができる。
実施例５
図５は、本発明の実施例５によって提供される電子機器の構成模式図である。図５は、本発明の実施形態の実現に適当な例示的な電子機器のブロック図を示す。図５に示される電子機器１２は、一例に過ぎず、本発明の実施例の機能および使用範囲に対していかなる限制をもたらすものではない。
図５に示されるように、電子機器１２は、汎用計算装置の形で具体化されている。電子機器１２の構成要素は、少なくとも１つのプロセッサまたは処理ユニット１６と、システムメモリ２８と、システム構成要素（システムメモリ２８と処理ユニット１６とを含む）を接続するバス１８とを含むが、これらに限定されない。
バス１８は、メモリバス又はメモリコントローラ、周辺バス、アクセラレーテッドグラフィックスポート、プロセッサ、又は多様なバス構造のいずれかのバス構造を使用するローカルバスを含む、いくつかのタイプのバス構造のうちの少なくとも１つを表す。例えば、これらのアーキテクチャは、インダストリスタンダードアーキテクチャ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ、以下ＩＳＡと略する）バス、マイクロチャネルアーキテクチャ（Ｍｉｃｒｏ Ｃｈａｎｎｅｌ Ａｒｃｈｉｔｅｃｔｕｒｅ、以下ＭＣＡと略する）バス、拡張ＩＳＡバス、ビデオエレクトロニクススタンダーズアソシエーション（Ｖｉｄｅｏ Ｅｌｅｃｔｒｏｎｉｃｓ Ｓｔａｎｄａｒｄｓ Ａｓｓｏｃｉａｔｉｏｎ、以下ＶＥＳＡと略する）ローカルバス、及びペリフェラルコンポーネントインターコネクト（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔｉｏｎ、以下ＰＣＩと略する）バスを含むが、これらに限定されない。
電子機器１２は、一般的に、複数種類のコンピュータシステム読み取り可能な媒体を含む。これらの媒体は、揮発性媒体及び不揮発性媒体、リムーバブル媒体及びノンリムーバブル媒体を含む、電子機器１２によってアクセスされ得る任意の使用可能な媒体であってもよい。
システムメモリ２８は、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、以下ＲＡＭと略する）３０及び／又はキャッシュメモリ３２のような揮発性メモリの形態のコンピュータシステム読み取り可能な媒体を含んでいてもよい。電子機器１２は、他のリムーバブル／ノンリムーバブル、揮発性／不揮発性コンピュータシステム記憶媒体をさらに含んでいてもよい。一例だけとするが、ストレージシステム３４は、ノンリムーバブル、不揮発性磁気媒体（図５に図示せず、通常「ハードディスクドライブ」と称される）に対して読み出し及び書き込みをするために用いることができる。図５に示されていないが、リムーバブル不揮発性磁気ディスク（例えば、「フロッピーディスク」）に対して読み出し及び書き込みをするための磁気ディスクドライブ、及びリムーバブル不揮発性光学ディスク（例えば、シーディーロム（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、以下ＣＤ－ＲＯＭと略する）、ディーブイディーロム（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ、以下ＤＶＤ－ＲＯＭと略する）又は他の光学媒体）に対して読み出し及び書き込みをするための光ディスクドライブを提供することができる。これらの場合、各ドライブは、少なくとも１つのデータメディアインターフェイスを介してバス１８に接続することができる。システムメモリ２８は、本発明の各実施例に記載の機能を実行するように構成される１セットの（例えば、少なくとも１つ）プログラムモジュールを有する少なくとも１つのプログラム製品を含んでいてもよい。
１セットの（少なくとも１つ）プログラムモジュール４２を有するプログラム/ユーティリティ４０は、例えば、システムメモリ２８に記憶されてもよく、このようなプログラムモジュール４２は、オペレーティングシステム、少なくとも１つのアプリケーションプログラム、他のプログラムモジュール及びプログラムデータを含むが、これらに限定されない。これらの例のそれぞれ又はある組み合わせには、ネットワーキング環境の実装が含まれる可能性がある。プログラムモジュール４２は、一般的に、本発明に記載の実施例における機能及び／又は方法を実行する。
電子機器１２は、少なくとも１つの外部デバイス１４（例えば、キーボード、ポインティングデバイス、ディスプレイ２４など）と通信することができ、また、ユーザが当該電子機器１２とインタラクションすることを可能にする少なくとも１つのデバイスと通信することができ、及び／又は、電子機器１２が少なくとも１つの他のコンピューティングデバイスと通信することを可能にする任意のデバイス（例えば、ネットワークカード、モデムなど）と通信することもできる。そのような通信は、入力／出力（Ｉ／Ｏ）インターフェース２２を介して行うことができる。また、電子機器１２は、ネットワークアダプタ２０を介して、１つ又は複数のネットワーク（例えば、ローカルエリアネットワーク（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ、以下ＬＡＮと略する）、ワイドエリアネットワーク（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ、以下ＷＡＮと略する）、及び／又はパブリックネットワーク、例えば、インターネット）と通信することができる。図５に示されるように、ネットワークアダプタ２０は、バス１８を介して電子機器１２の他のモジュールと通信する。なお、図示されていないが、マイクロコード、デバイスドライバ、冗長化処理ユニット、外部ディスクドライブアレイ、ＲＡＩＤシステム、テープドライバ、及びデータバックアップストレージシステムなどを含むが、これらに限定されない他のハードウェア及び／又はソフトウェアモジュールを電子機器１２と組み合わせて使用することができる。
処理ユニット１６は、システムメモリ２８に記憶されているプログラムを実行することにより、多様な機能アプリケーション及びデータ処理を実行し、例えば、前述した実施例に係る方法を実現する。
実施例６
本発明の実施例６は、コンピュータ読み取り可能な記憶媒体を提供する。
本発明の実施例に係るコンピュータ読み取り可能な記憶媒体は、少なくとも１つのコンピュータ読取り可能な媒体の任意の組み合わせを使用してもよい。コンピュータ読取り可能な媒体は、コンピュータ読み取り可能な信号媒体またはコンピュータ読み取り可能な記憶媒体であってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、電子、磁気、光、電磁気、赤外線、または、半導体のシステム、装置またはデバイス、または、任意の以上の組み合わせであってもよいが、これらに限定されない。コンピュータ読み取り可能な記憶媒体のより具体的な一例（非網羅的リスト）は、少なくとも１つのワイヤを有する電気接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ(ＲＯＭ)、消去可能プログラマブル読み取り専用メモリ(ＥＰＲＯＭまたはフラッシュメモリ)、光ファイバ、携帯用コンパクトディスク読み取り専用メモリ(ＣＤ－ＲＯＭ)、光記憶装置、磁気記憶装置、または、上記の任意の適切な組み合わせを含む。本明細書では、コンピュータ読み取り可能な記憶媒体は、プログラムを含むかまたは記憶されている任意の有形の媒体であってもよく、プログラムは、命令実行システム、装置、または、デバイスによって使用されるか、または、これらと結合して使用されてもよい。
コンピュータ読み取り可能な信号媒体は、コンピュータ読み取り可能なプログラムコードを搬送する、ベースバンドで伝播されるかまたは搬送波の一部として伝播されるデータ信号を含んでもよい。このような伝播されるデータ信号は、電磁信号、光信号、またはこれらの任意の適切な組み合わせを含むがこれらに限定されない、さまざまな形態を使用してもよい。コンピュータ読み取り可能な信号媒体は、また、命令実行システム、装置またはデバイスによって使用されるまたはそれらと結合して使用するためのプログラムを送信、伝播、または、移送することができるコンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読取り可能な媒体であってもよい。
コンピュータ読取り可能な媒体に含まれたプログラムコードは、無線、ワイヤ、光ファイバケーブル、無線周波（ＲＦ：Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ）など、またはこれらの任意の適切な組合せを含むがこれらに限定されない、任意の適切な媒体によって送信することができる。
本発明の動作を実行するためのコンピュータプログラムコードは、少なくとも１つのプログラミング言語、またはそれらの組み合わせで書くことができ、プログラミング言語は、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語を含み、さらに、「Ｃ」言語または類似のプログラミング言語などの従来の手続き型プログラミング言語も含む。プログラムコードは、完全にユーザのコンピュータ、部分的にユーザのコンピュータ、単独のソフトウェアパッケージとして、部分的にユーザのコンピュータ、部分的にリモートコンピュータで、または全体的にリモートコンピュータまたはサーバで実行されることができる。リモートコンピュータの場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザのコンピュータに接続することができ、または、外部コンピュータに接続することができる（例えばインターネットサービスプロバイダを使用してインターネットに接続する）。
上記は、ただ、本発明のより好ましい実施例および運用された技術原理のみであることに気づかなければならない。当業者であれば、本発明はここに記載の特定の実施例に限定されず、当業者にとっては本発明の保護範囲を離脱しない範囲で、いろんな明らかな変化、再度の調整および切り替えを行うことができることが理解できるはずである。したがって、上記の実施例を通じて本発明をより詳細に説明したが、本発明は上記の実施例に限定されず、本発明の思想を離脱しない前提下で、もっと多い他の等価の実施例を含むことができるが、本発明の範囲は添付の特許請求の範囲によって決定される。

Claims (8)

  1. 障害物検出装置または電子機器によって実行される障害物検出方法であって、
    車両周囲の深度マップを取得するステップと、
    初期の第１フレームの深度マップに対して、該深度マップにおける予め設定された領域内の点を３次元空間に逆投影した後に平面フィッティングして、前記第１フレームの前記深度マップの地面方程式を取得し、前記第１フレームの前記深度マップの後の他の各フレームの深度マップに対して、現在のフレームの深度マップの一つ前のフレームの深度マップに基づいて決定された走行可能な前記領域内で平面フィッティングして、前記現在のフレームの前記深度マップの地面方程式を取得する操作に基づいて、前記地面方程式を決定するステップと、
    前記地面方程式に基づいて、前記深度マップで前記車両の前方の走行可能な領域を検出し、前記深度マップにおける走行可能な前記領域内で、障害物候補点の集合を決定するステップと、
    前記障害物候補点の集合における候補点を領域区分して、前記障害物候補点に対応する少なくとも一つの候補領域を取得し、前記候補領域内の候補点をクラスタリングして、少なくとも一つのクラスタリング結果を取得し、前記少なくとも一つのクラスタリング結果を少なくとも一つの他から独立した障害物とするステップと、
    少なくとも一つの前記独立した障害物のうち誤検出された障害物を識別してフィルタリングし、前記深度マップに基づく障害物検出結果を取得するステップとを含む障害物検出方法。
  2. 前記車両周囲の前記深度マップを取得するステップは、
    双眼ステレオカメラを使用して前記車両周囲の前記深度マップを取得するステップを含む請求項１に記載の障害物検出方法。
  3. 前記車両周囲の前記深度マップを取得すると同時に、レーザレーダによって前記車両周囲がスキャンされたデータを取得し、前記レーザレーダによってスキャンされた前記データに基づいて前記障害物を検出して、レーザレーダ障害物検出結果を取得するステップをさらに含み、
    前記深度マップに基づく前記障害物検出結果を取得した後に、
    前記レーザレーダ障害物検出結果と前記深度マップに基づく前記障害物検出結果とを使用して、融合クロスチェックするステップをさらに含み、
    前記レーザレーダ障害物検出結果と前記深度マップに基づく前記障害物検出結果とを使用して、融合クロスチェックするステップは、
    前記深度マップに基づく前記障害物検出結果を目標障害物とするステップと、
    前記レーザレーダ障害物検出結果に前記目標障害物の一部が含まれている場合、前記目標障害物をチェックに合格した障害物として決定するステップと、
    前記レーザレーダ障害物検出結果に前記目標障害物が含まれておらず、現在の時点の一つ前の時点で採取された前記深度マップに基づいて、前記目標障害物と時間系列とで関連されることが検出された場合、前記目標障害物をチェックに合格した前記障害物として決定するステップとを含む請求項１または請求項２に記載の障害物検出方法。
  4. 二つの隣接する時点で検出された二つの前記障害物が時間系列で関連されるか否かを判断する方法は、
    機械学習の方法を使用して二つの前記障害物の画像からそれぞれ特徴を抽出することと、
    それぞれの特徴ベクトルを取得することと、
    二つの該特徴ベクトル間の類似度を算出することによって、二つの前記障害物が互いに関連されるか否かを判断することとを含む請求項３に記載の障害物検出方法。
  5. 取得モジュールと、
    決定モジュールと、
    クラスタリングモジュールと、
    フィルタリングモジュールとを備え、
    前記取得モジュールが、車両周囲の深度マップを取得し、
    前記決定モジュールが、初期の第１フレームの深度マップに対して、該深度マップにおける予め設定された領域内の点を３次元空間に逆投影した後に平面フィッティングして、前記第１フレームの前記深度マップの地面方程式を取得し、前記第１フレームの前記深度マップの後の他の各フレームの深度マップに対して、現在のフレームの深度マップの一つ前のフレームの深度マップに基づいて決定された走行可能な前記領域内で平面フィッティングして、前記現在のフレームの前記深度マップの地面方程式を取得する操作に基づいて、前記地面方程式を決定し、前記地面方程式に基づいて、前記深度マップで前記車両の前方の走行可能な領域を検出し、前記深度マップにおける走行可能な前記領域内で、障害物候補点の集合を決定し、
    前記クラスタリングモジュールが、前記障害物候補点の集合における候補点を領域区分して、前記障害物候補点に対応する少なくとも一つの候補領域を取得し、前記候補領域内の候補点をクラスタリングして、少なくとも一つのクラスタリング結果を取得し、前記少なくとも一つのクラスタリング結果を少なくとも一つの他から独立した障害物とし、
    前記フィルタリングモジュールが、少なくとも一つの前記独立した障害物のうち誤検出された障害物を識別してフィルタリングし、前記深度マップに基づく障害物検出結果を取得する障害物検出装置。
  6. 少なくとも一つのプロセッサと、
    少なくとも一つのプログラムを記憶するメモリとを備え、
    少なくとも一つの前記プログラムが少なくとも一つの前記プロセッサによって実行される場合に、少なくとも一つの前記プロセッサが、請求項１から請求項４のいずれかに記載の障害物検出方法を実現する電子機器。
  7. 車体を備える車両であって、
    請求項６に記載の電子機器と、
    双眼ステレオカメラと、
    単眼カメラと、
    レーザレーダとを備える車両。
  8. コンピュータプログラムが記憶されている記憶媒体であって、
    前記コンピュータプログラムがプロセッサによって実行される場合に、請求項１から請求項４のいずれかに記載の障害物検出方法が実現される記憶媒体。
JP2019177513A 2018-09-27 2019-09-27 障害物検出方法、障害物検出装置、電子機器、車両及び記憶媒体 Active JP7395301B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811131724.4 2018-09-27
CN201811131724.4A CN109271944B (zh) 2018-09-27 2018-09-27 障碍物检测方法、装置、电子设备、车辆及存储介质

Publications (2)

Publication Number Publication Date
JP2020098188A JP2020098188A (ja) 2020-06-25
JP7395301B2 true JP7395301B2 (ja) 2023-12-11

Family

ID=65198626

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019177513A Active JP7395301B2 (ja) 2018-09-27 2019-09-27 障害物検出方法、障害物検出装置、電子機器、車両及び記憶媒体

Country Status (4)

Country Link
US (1) US11393219B2 (ja)
EP (1) EP3629233A1 (ja)
JP (1) JP7395301B2 (ja)
CN (1) CN109271944B (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110008891B (zh) * 2019-03-29 2022-07-08 厦门金龙旅行车有限公司 一种行人检测定位方法、装置、车载计算设备及存储介质
CN110046569B (zh) * 2019-04-12 2022-04-12 北京百度网讯科技有限公司 一种无人驾驶数据处理方法、装置及电子设备
CN110161524B (zh) * 2019-05-05 2021-08-13 中国科学院半导体研究所 防止列车通过误报的扫描雷达判断方法
CN110456363B (zh) * 2019-06-17 2021-05-18 北京理工大学 三维激光雷达点云和红外图像融合的目标检测及定位方法
CN110674705B (zh) * 2019-09-05 2022-11-29 北京智行者科技股份有限公司 基于多线激光雷达的小型障碍物检测方法及装置
CN110687549B (zh) * 2019-10-25 2022-02-25 阿波罗智能技术(北京)有限公司 障碍物检测方法和装置
CN111127534A (zh) * 2019-11-05 2020-05-08 深圳市三宝创新智能有限公司 一种障碍物的检测方法
JP7276093B2 (ja) * 2019-11-19 2023-05-18 トヨタ自動車株式会社 情報収集システム、中継装置、及びプログラム
CN110930411B (zh) * 2019-11-20 2023-04-28 浙江光珀智能科技有限公司 一种基于深度相机的人体分割方法及系统
CN110879991B (zh) * 2019-11-26 2022-05-17 浙江光珀智能科技有限公司 一种障碍物识别方法及系统
CN110929655B (zh) * 2019-11-27 2023-04-14 厦门金龙联合汽车工业有限公司 一种行驶过程中车道线识别方法、终端设备及存储介质
CN111046776B (zh) * 2019-12-06 2023-06-09 杭州成汤科技有限公司 基于深度相机的移动机器人行进路径障碍物检测的方法
CN113093176B (zh) * 2019-12-23 2022-05-17 北京三快在线科技有限公司 线状障碍物检测方法、装置、电子设备和存储介质
CN111198385A (zh) * 2019-12-26 2020-05-26 北京旷视机器人技术有限公司 障碍物检测方法、装置、计算机设备和存储介质
CN112567383A (zh) * 2020-03-06 2021-03-26 深圳市大疆创新科技有限公司 物体检测方法、可移动平台、设备和存储介质
CN111401208B (zh) * 2020-03-11 2023-09-22 阿波罗智能技术(北京)有限公司 一种障碍物检测方法、装置、电子设备及存储介质
CN113534170A (zh) * 2020-04-20 2021-10-22 上海禾赛科技有限公司 车道线检测方法、数据处理单元以及车载激光雷达系统
CN111624622B (zh) * 2020-04-24 2023-05-02 库卡机器人(广东)有限公司 障碍物检测方法、装置
CN111583663B (zh) * 2020-04-26 2022-07-12 宁波吉利汽车研究开发有限公司 基于稀疏点云的单目感知修正方法、装置及存储介质
CN111652136B (zh) * 2020-06-03 2022-11-22 苏宁云计算有限公司 基于深度图像的行人检测方法及装置
CN112084853B (zh) * 2020-08-04 2023-12-29 深圳市优必选科技股份有限公司 一种脚印预测方法、脚印预测装置及人形机器人
CN112068155B (zh) * 2020-08-13 2024-04-02 沃行科技(南京)有限公司 一种基于多个多线激光雷达分区障碍物检测方法
CN111814764B (zh) * 2020-08-27 2023-08-18 北京交跃通达检测科技有限公司 一种遗撒物确定系统
CN112395956B (zh) * 2020-10-27 2023-06-02 湖南大学 一种面向复杂环境的可通行区域检测方法及系统
CN112415538A (zh) * 2020-11-16 2021-02-26 重庆长安汽车股份有限公司 自动驾驶车辆绕行锥形筒的规划方法、系统及车辆
CN112636463B (zh) * 2020-11-20 2023-03-28 广东电网有限责任公司韶关供电局 一种配电线路的监控方法、装置、计算设备和存储介质
CN112541475B (zh) 2020-12-24 2024-01-19 北京百度网讯科技有限公司 感知数据检测方法及装置
CN112883909B (zh) * 2021-03-16 2024-06-14 东软睿驰汽车技术（沈阳）有限公司 基于包围盒的障碍物位置检测方法、装置和电子设备
CN113140002B (zh) * 2021-03-22 2022-12-13 北京中科慧眼科技有限公司 基于双目立体相机的道路状况检测方法、系统和智能终端
CN113060131B (zh) * 2021-04-16 2022-08-05 中国第一汽车股份有限公司 一种障碍物地图生成方法、装置、车辆及存储介质
CN114475650B (zh) * 2021-12-01 2022-11-01 中铁十九局集团矿业投资有限公司 一种车辆行驶行为确定方法、装置、设备及介质
CN114882461B (zh) * 2022-05-25 2023-09-29 阿波罗智能技术(北京)有限公司 设备环境识别方法、装置、电子设备和自动驾驶车辆
CN114994684B (zh) * 2022-06-01 2023-05-12 湖南大学无锡智能控制研究院 多雷达数据融合的扬尘场景下障碍物检测方法与系统
CN115147798A (zh) * 2022-07-18 2022-10-04 重庆长安汽车股份有限公司 可行驶区域预测方法、模型、装置及车辆

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003296736A (ja) 2002-03-29 2003-10-17 Toshiba Corp 障害物検知装置及びその方法
US20070156286A1 (en) 2005-12-30 2007-07-05 Irobot Corporation Autonomous Mobile Robot
US20100030473A1 (en) 2008-07-30 2010-02-04 Honeywell International Inc. Laser ranging process for road and obstacle detection in navigating an autonomous vehicle
US20100054541A1 (en) 2008-08-26 2010-03-04 National Taiwan University Driving support system with plural dimension processing units
JP2012225806A (ja) 2011-04-20 2012-11-15 Toyota Central R&D Labs Inc 道路勾配推定装置及びプログラム
WO2013035612A1 (ja) 2011-09-09 2013-03-14 日本電気株式会社 障害物検知装置、障害物検知方法及び障害物検知プログラム
JP2013218396A (ja) 2012-04-05 2013-10-24 Nippon Hoso Kyokai <Nhk> 対応点探索装置、そのプログラム及びカメラパラメータ推定装置
JP2014173869A (ja) 2013-03-06 2014-09-22 Denso Wave Inc 物体検出方法
CN105652873A (zh) 2016-03-04 2016-06-08 中山大学 一种基于Kinect的移动机器人避障方法
CN105866779A (zh) 2016-04-06 2016-08-17 浙江大学 基于双目相机与毫米波雷达的可穿戴避障装置及避障方法
US20170261603A1 (en) 2016-03-14 2017-09-14 Sick Ag Method of operating a distance-measuring monitoring sensor and monitoring sensor
CN107636680A (zh) 2016-12-30 2018-01-26 深圳前海达闼云端智能科技有限公司 一种障碍物检测方法及装置
US20190051007A1 (en) 2017-12-21 2019-02-14 Intel IP Corporation Methods and apparatus to reduce depth map size in collision avoidance systems

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10143659A (ja) * 1996-11-06 1998-05-29 Komatsu Ltd 物体検出装置
JP2009139323A (ja) 2007-12-10 2009-06-25 Mazda Motor Corp 車両用走行路面検出装置
JP2010071942A (ja) 2008-09-22 2010-04-02 Toyota Motor Corp 物体検出装置
KR101030317B1 (ko) * 2008-12-10 2011-04-19 재단법인대구경북과학기술원 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법
JP5322789B2 (ja) 2009-06-15 2013-10-23 三菱電機株式会社 モデル生成装置、モデル生成方法、モデル生成プログラム、点群画像生成方法および点群画像生成プログラム
JP5473683B2 (ja) 2010-03-09 2014-04-16 三菱電機株式会社 地物検出システム
JP5535025B2 (ja) 2010-10-08 2014-07-02 三菱電機株式会社 屋外地物検知システム、屋外地物検知システム用プログラム、および屋外地物検知システム用プログラムの記録媒体
JP5822255B2 (ja) 2011-04-14 2015-11-24 株式会社豊田中央研究所 対象物識別装置及びプログラム
JP5950296B2 (ja) 2012-01-27 2016-07-13 国立研究開発法人産業技術総合研究所 人物追跡属性推定装置、人物追跡属性推定方法、プログラム
DE102012024874B4 (de) * 2012-12-19 2014-07-10 Audi Ag Verfahren und Vorrichtung zum prädikativen Ermitteln eines Parameterwertes einer von einem Fahrzeug befahrbaren Oberfläche
CN104899855A (zh) * 2014-03-06 2015-09-09 株式会社日立制作所 三维障碍物检测方法和装置
CN104287946B (zh) * 2014-10-24 2016-08-17 中国科学院计算技术研究所 盲人避障提示装置及方法
CN104636763B (zh) * 2014-12-01 2018-10-09 北京工业大学 一种基于无人驾驶车的道路与障碍物检测方法
CN104950313B (zh) 2015-06-11 2017-11-07 同济大学 一种路面提取及道路坡度识别方法
CN105184852B (zh) 2015-08-04 2018-01-30 百度在线网络技术（北京）有限公司 一种基于激光点云的城市道路识别方法及装置
JP6668740B2 (ja) 2015-12-22 2020-03-18 いすゞ自動車株式会社 道路面推定装置
CN105627938A (zh) 2016-01-07 2016-06-01 厦门大学 一种基于车载激光扫描点云的路面沥青厚度检测方法
CN105809130B (zh) * 2016-03-08 2020-03-10 武汉大学 一种基于双目深度感知的车辆可行驶区域计算方法
JP6406289B2 (ja) 2016-03-14 2018-10-17 オムロン株式会社 路面形状測定装置、測定方法、及び、プログラム
CN106503653B (zh) * 2016-10-21 2020-10-13 深圳地平线机器人科技有限公司 区域标注方法、装置和电子设备
US10528055B2 (en) 2016-11-03 2020-01-07 Ford Global Technologies, Llc Road sign recognition
JP6747269B2 (ja) 2016-12-06 2020-08-26 トヨタ自動車株式会社 物体認識装置
JP6829626B2 (ja) 2017-02-28 2021-02-10 国立研究開発法人理化学研究所 点群データからの基準平面生成方法、及び装置
CN107995962B (zh) * 2017-11-02 2021-06-22 深圳市道通智能航空技术股份有限公司 一种避障方法、装置、可移动物体及计算机可读存储介质
CN108037514A (zh) 2017-11-07 2018-05-15 国网甘肃省电力公司电力科学研究院 一种使用激光点云进行树障安全检测方法
CN108427124B (zh) 2018-02-02 2020-05-12 北京智行者科技有限公司 一种多线激光雷达地面点分离方法及装置、车辆

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003296736A (ja) 2002-03-29 2003-10-17 Toshiba Corp 障害物検知装置及びその方法
US20070156286A1 (en) 2005-12-30 2007-07-05 Irobot Corporation Autonomous Mobile Robot
US20100030473A1 (en) 2008-07-30 2010-02-04 Honeywell International Inc. Laser ranging process for road and obstacle detection in navigating an autonomous vehicle
US20100054541A1 (en) 2008-08-26 2010-03-04 National Taiwan University Driving support system with plural dimension processing units
JP2012225806A (ja) 2011-04-20 2012-11-15 Toyota Central R&D Labs Inc 道路勾配推定装置及びプログラム
WO2013035612A1 (ja) 2011-09-09 2013-03-14 日本電気株式会社 障害物検知装置、障害物検知方法及び障害物検知プログラム
JP2013218396A (ja) 2012-04-05 2013-10-24 Nippon Hoso Kyokai <Nhk> 対応点探索装置、そのプログラム及びカメラパラメータ推定装置
JP2014173869A (ja) 2013-03-06 2014-09-22 Denso Wave Inc 物体検出方法
CN105652873A (zh) 2016-03-04 2016-06-08 中山大学 一种基于Kinect的移动机器人避障方法
US20170261603A1 (en) 2016-03-14 2017-09-14 Sick Ag Method of operating a distance-measuring monitoring sensor and monitoring sensor
CN105866779A (zh) 2016-04-06 2016-08-17 浙江大学 基于双目相机与毫米波雷达的可穿戴避障装置及避障方法
CN107636680A (zh) 2016-12-30 2018-01-26 深圳前海达闼云端智能科技有限公司 一种障碍物检测方法及装置
US20190051007A1 (en) 2017-12-21 2019-02-14 Intel IP Corporation Methods and apparatus to reduce depth map size in collision avoidance systems

Also Published As

Publication number Publication date
CN109271944A (zh) 2019-01-25
US11393219B2 (en) 2022-07-19
CN109271944B (zh) 2021-03-12
JP2020098188A (ja) 2020-06-25
EP3629233A1 (en) 2020-04-01
US20200104612A1 (en) 2020-04-02

Similar Documents

Publication Publication Date Title
JP7395301B2 (ja) 障害物検出方法、障害物検出装置、電子機器、車両及び記憶媒体
CN110988912B (zh) 自动驾驶车辆的道路目标与距离检测方法、系统、装置
US11632536B2 (en) Method and apparatus for generating three-dimensional (3D) road model
CN112861653B (zh) 融合图像和点云信息的检测方法、系统、设备及存储介质
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
CN112417967A (zh) 障碍物检测方法、装置、计算机设备和存储介质
CN112347999B (zh) 障碍物识别模型训练方法、障碍物识别方法、装置及系统
CN112967283B (zh) 基于双目摄像头的目标识别方法、系统、设备及存储介质
CN113761999B (zh) 一种目标检测方法、装置、电子设备和存储介质
KR20160123668A (ko) 무인자동주차 기능 지원을 위한 장애물 및 주차구획 인식 장치 및 그 방법
CN112740225B (zh) 一种路面要素确定方法及装置
CN115493612A (zh) 一种基于视觉slam的车辆定位方法及装置
CN114972758A (zh) 一种基于点云弱监督的实例分割方法
Hwang et al. Vision-based vehicle detection and tracking algorithm design
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
Bruno et al. A comparison of traffic signs detection methods in 2d and 3d images for the benefit of the navigation of autonomous vehicles
CN115790568A (zh) 基于语义信息的地图生成方法及相关设备
Kiran et al. Automatic hump detection and 3D view generation from a single road image
CN115497061A (zh) 一种基于双目视觉的道路可行驶区域识别方法及装置
CN114675295A (zh) 一种障碍物判定的方法、装置、设备及存储介质
WO2024042607A1 (ja) 外界認識装置及び外界認識方法
CN117437306B (zh) 一种摄像头的标定方法、装置、设备及介质
CN117152719B (zh) 除草障碍物检测方法、设备、存储介质及装置
KR102540634B1 (ko) 프로젝션 기반 컬러맵 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102540636B1 (ko) 방향 정보를 포함한 지도 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200908

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210317

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211014

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211014

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20211021

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20211026

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20211029

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20211217

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20211221

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220405

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20220607

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220905

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20221011

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230110

C141 Inquiry by the administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C141

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230825

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231129

R150 Certificate of patent or registration of utility model

Ref document number: 7395301

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150