JP6768890B2 - 障害物高さの検出方法、装置、設備、記憶媒体及びプログラム - Google Patents

障害物高さの検出方法、装置、設備、記憶媒体及びプログラム Download PDF

Info

Publication number
JP6768890B2
JP6768890B2 JP2019125582A JP2019125582A JP6768890B2 JP 6768890 B2 JP6768890 B2 JP 6768890B2 JP 2019125582 A JP2019125582 A JP 2019125582A JP 2019125582 A JP2019125582 A JP 2019125582A JP 6768890 B2 JP6768890 B2 JP 6768890B2
Authority
JP
Japan
Prior art keywords
obstacle
height
frame
measured
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019125582A
Other languages
English (en)
Other versions
JP2020042010A (ja
Inventor
ガオ，ハン
サン，シュン
シア，ティアン
Original Assignee
バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド
バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド, バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド filed Critical バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド
Publication of JP2020042010A publication Critical patent/JP2020042010A/ja
Application granted granted Critical
Publication of JP6768890B2 publication Critical patent/JP6768890B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/03—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring coordinates of points
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/12—Acquisition of 3D measurements of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • Electromagnetism (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、自動運転車の技術分野に関し、特に、障害物高さの検出方法、装置、設備、コンピュータ可読記憶媒体及びプログラムに関する。
障害物検出は、自動運転車の感知の重要な一環である。画像におけるオブジェクトは、距離が大きいほどサイズが小さくなるという特徴を有するため、画像における障害物のサイズに基づき障害物の実際サイズを推定することが困難であり、特に、障害物の高さに対する推定が困難である。
本発明の実施例は、少なくとも従来技術における上記技術的問題を解決するために、障害物高さの検出方法、装置、設備、記憶媒体及びプログラムを提供する。
第一態様によれば、本発明の実施例は、障害物高さの検出方法を提供し、該方法は、
フレームから複数の参考障害物の観測データを取得するステップと、
各前記参考障害物に対して、参考障害物の前記観測データ、被測定障害物のフレームにおける観測高さ、前記参考障害物のフレームにおける高さ、前記参考障害物の実際高さ、前記被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離に基づき、前記被測定障害物の高さの第一評価値を確定し、前記参考障害物の前記観測データは、前記参考障害物の前記フレームにおける観測高さと前記参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離を含むステップと、
各前記参考障害物に対して確定された複数の第一評価値を用いて、前記被測定障害物の高さの第二評価値を確定するステップと、を含む。
第一態様に合わせて、本発明の第一態様の第一実施形態では、各前記参考障害物に対して、参考障害物の前記観測データ、被測定障害物のフレームにおける観測高さ、前記参考障害物のフレームにおける高さ、前記参考障害物の実際高さ、前記被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離に基づき、前記被測定障害物の高さの第一評価値を確定することは、第i参考障害物に対して、式（４）で前記被測定障害物の第一評価値を確定する、
ただし、Ｈｐは、被測定障害物の実際の第一評価値、
ｈｐは、被測定障害物のフレームにおける観測高さ、
ｈｉは、第ｉ個の参考障害物のフレームにおける観測高さ、
Ｈｉは、第ｉ個の参考障害物の実際高さ、

は、被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離、

は、第ｉ個の参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離である。
第一態様に合わせて、本発明の第一態様の第二実施形態では、複数の参考障害物に対して確定された複数の第一評価値を用いて、前記被測定障害物の高さの第二評価値を確定することは、
複数の第一評価値に対して、フィルタリングノイズ除去処理を行い、被測定障害物の高さの第二評価値を得るステップを含む。
第一態様、第一態様の第一実施形態、第一態様の第二実施形態に合わせて、本発明の第一態様の第三実施形態では、前記複数の参考障害物の観測データを取得する前に、
前記被測定障害物が位置するフレームの前の複数の連続フレームにおいて、固定高さを有する且つ底辺中心位置がフレーム中の予め設定領域内にある障害物を参考障害物として選択し、前記予め設定領域は、複数のグリッドに予め分割され、各グリッド内に多くとも１つの参考障害物が含まれるステップをさらに含む。
第二態様によれば、本発明の実施例は、別の障害物高さの検出方法を提供し、該方法は、
フレームから複数の参考障害物の観測データを取得するステップと、
各参考障害物のフレームにおける底辺位置、及び各参考障害物とフレームをキャプチャするカメラとの間の距離に基づき、関数Ｆ：Ｚ＝Ｆ（ｙｍａｘ）をフィッティングし、ｙｍａｘは、参考障害物のフレームにおける底辺位置の縦方向座標、Ｚは、参考障害物とカメラとの間の距離であるステップと、
被測定障害物のフレームにおける底辺位置及び前記関数Ｆに基づき、被測定障害物とカメラとの間の距離を確定するステップと、
前記被測定障害物とカメラとの間の距離に基づき、前記被測定障害物の高さの評価値を確定するステップと、を含む。
第二態様に合わせて、本発明の第二態様の第一実施形態では、前記被測定障害物とカメラとの間の距離に基づき、前記被測定障害物の高さの評価値を確定することは、式（５）で被測定障害物の高さの評価値を確定するステップを含み、
ただし、Ｈｐ’は、被測定障害物の高さの評価値、
ｈｐは、被測定障害物のフレームにおける観測高さ、
ｆは、カメラの焦点距離、
Ｚｐは、被測定障害物とカメラとの間の距離である。
第二態様、第二態様の第一実施形態に合わせて、本発明の第二態様の第二実施形態では、前記複数の参考障害物の観測データを取得する前に、
固定高さを有する且つ底辺中心位置がフレーム中の予め設定領域内にある障害物を参考障害物として選択し、前記予め設定領域は、複数のグリッドに予め分割され、各グリッド内に多くとも１つの参考障害物が含まれるステップをさらに含む。
第三態様によれば、本発明の実施例は、障害物高さの検出装置をさらに提供し、該装置は、
フレームから複数の参考障害物の観測データを取得するための第一取得モジュールと、
各前記参考障害物に対して、参考障害物の前記観測データ、被測定障害物のフレームにおける観測高さ、前記参考障害物のフレームにおける高さ、前記参考障害物の実際高さ、前記被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離に基づき、前記被測定障害物の高さの第一評価値を確定し、前記参考障害物の前記観測データは、前記参考障害物の前記フレームにおける観測高さと前記参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離を含むための第一評価モジュールと、
複数の前記参考障害物に対して確定された複数の第一評価値を用いて、前記被測定障害物の高さの第二評価値を確定するための第二評価モジュールと、を備える。
第三態様に合わせて、本発明の第三態様の第一実施形態では、第一評価モジュールは、式（４）で被測定障害物の高さの第一評価値を確定し、
ただし、Ｈｐは、被測定障害物の高さの第一評価値、
ｈｐは、被測定障害物のフレームにおける観測高さ、
ｈｉは、第ｉ個の参考障害物のフレームにおける観測高さ、
Ｈｉは、第ｉ個の参考障害物の実際高さ、

は、被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離、

は、第ｉ個の参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離である。
第三態様に合わせて、本発明の第三態様の第二実施形態では、第二評価モジュールは、複数の第一評価値に対して、フィルタリングノイズ除去処理を行い、被測定障害物の高さの第二評価値を得るために用いられる。
第三態様、第三態様の第一実施形態、第三態様の第二実施形態に合わせて、本発明の第三態様の第三実施形態では、前記第一取得モジュールは、固定高さを有する且つ底辺中心位置がフレーム中の予め設定領域内にある障害物を参考障害物として選択し、前記予め設定領域は、複数のグリッドに予め分割され、各グリッド内に多くとも１つの参考障害物が含まれるためにさらに用いられる。
第四態様によれば、本発明の実施例は、別の障害物高さの検出装置をさらに提供し、該装置は、
フレームから複数の参考障害物の観測データを取得する第二取得モジュールと、
前記複数の参考障害物のフレームにおける底辺位置、及び前記複数の参考障害物とカメラとの間の距離に基づき、関数Ｆ：Ｚ＝Ｆ（ｙｍａｘ）をフィッティングし、ｙｍａｘは、前記参考障害物のフレームにおける底辺位置の縦方向座標、Ｚは、前記参考障害物と前記カメラとの間の距離であるための関数確定モジュールと、
前記被測定障害物のフレームにおける底辺位置の前記縦方向座標及び前記関数Ｆに基づき、前記被測定障害物と前記カメラとの間の距離を確定するための距離評価モジュールと、
前記被測定障害物と前記カメラとの間の距離に基づき、前記被測定障害物の高さの評価値を確定するための高さ評価モジュールと、を備える。
第四態様に合わせて、本発明の第四態様の第一実施形態では、前記高さ評価モジュールは、式（５）で被測定障害物の高さの評価値を確定し、
ただし、Ｈｐ’は、被測定障害物の高さの評価値、
ｈｐは、被測定障害物のフレームにおける観測高さ、
ｆは、カメラの焦点距離、
Ｚｐは、被測定障害物とカメラとの距離である。
第四態様、第四態様の第一実施形態に合わせて、本発明の第四態様の第二実施形態では、前記第二取得モジュールは、前記被測定障害物が位置するフレームの前の複数の連続フレームにおいて、固定高さを有する且つ底辺中心位置がフレーム中の予め設定領域内にある障害物を参考障害物として選択し、前記予め設定領域は、複数のグリッドに予め分割され、各グリッド内に多くとも１つの参考障害物が含まれるためにさらに用いられる。
上記技術案のいずれかは以下の利点又は有益な効果を有する。
本発明の実施例によれば、参考障害物観測データを用いて、道路幾何学モデルに対してモデリングし、被測定障害物の実際高さの評価を実現し、それにより、被測定障害物の３Ｄサイズの検出を実現する。
以上、明細書の目的のために発明の概要を説明したが、何らかの形態に限定されるものではない。上記説明された例示的な態様、実施形態及び特徴に加えて、本発明のさらなる態様、実施形態及び特徴は図面及び以下の詳細説明によって容易に明らかになる。
図面において、特に断らない限り、同一符号は同一又は類似の部材又は要素を示す。これらの図面は必ずしも縮尺に応じて作成されるものではない。なお、これらの図面は本発明に開示されているいくつかの実施形態を示しているが、本発明の範囲を限定するものではない。
本発明の実施例１に係る障害物高さの検出方法のフローチャートである。 本発明の実施例におけるカメラが障害物を撮影して結像する模式図である。 本発明の実施例２における予め設定領域の分割方式を示す模式図である。 本発明の実施例２に係る障害物高さの検出方法のフローチャートである。 本発明の実施例３に係る障害物高さの検出装置の構成模式図である。 本発明の実施例４に係る障害物高さの検出装置の構成模式図である。 本発明の実施例５に係る障害物高さの検出設備の構成模式図である。
以下、いくつかの例示的な実施例を説明する。当業者が理解できるように、本発明の趣旨又は範囲を逸脱せずに、説明された実施例を様々な形態で変更することができる。従って、図面及び説明は本質的に限定的ではなく例示的なものである。
本発明の実施例は、主に２種の障害物高さの検出方法及び装置を提供する。以下、それぞれ以下の実施例を参照して技術案を詳細に説明する。
実施例１
本実施例は、障害物高さの検出方法を提供する。図１に示すように、図１は、本発明の実施例１に係る障害物高さの検出方法のフローチャートであり、以下のステップ１０１〜１０３を含む。
ステップ１０１では、フレームから複数の参考障害物の観測データを取得する。
参考障害物の観測データは、フレーム画像において直接観測され、又はほかのセンサにより取得されてもよい。
本ステップの前に、まず、参考障害物を選択する必要があり、参考障害物の選択方式は、後述する実施例２に詳細に説明される。
ステップ１０２では、各前記参考障害物に対して、参考障害物の前記観測データ、被測定障害物のフレームにおける観測高さ、前記参考障害物のフレームにおける高さ、前記参考障害物の実際高さ、前記被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離に基づき、前記被測定障害物の高さの第一評価値を確定し、前記参考障害物の前記観測データは、前記参考障害物の前記フレームにおける観測高さと前記参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離を含む。
具体的には、図２に示すように、図２は、本発明の実施例におけるカメラが障害物を撮影して結像する模式図である。図２中の障害物は、参考障害物としてもよく、被測定障害物としてもよい。
まず、図２中の各符号の意味を説明する。
Ｈは、障害物の実際高さ、
ｈは、障害物のフレームにおける観測高さ、
ｙｍａｘは、障害物のフレームにおける底辺位置の縦方向座標、
ｙｍｉｎは、障害物のフレームにおける上辺位置の縦方向座標であり、
従って、ｈ＝ｙｍａｘ-ｙｍｉｎとなり、
Ｃｙは、フレームをキャプチャするカメラの光軸の縦方向座標であり、
従って、障害物のフレームにおける底辺位置とカメラの光軸との間の距離は、ｙｍａｘ-Ｃｙとなり、
Ｙは、カメラと地面との間の距離、
ｆは、カメラの焦点距離、
Ｚは、障害物とカメラとの間の距離である。
図２中の各点及び線の幾何学的関係からわかるように、上記符号に対して、以下の関係式を有する。
この場合、第ｉ個の参考障害物に対して、以下の式（１）を有する。
ただし、ｈｉは、第ｉ個の参考障害物のフレームにおける観測高さ、
Ｈｉは、第ｉ個の参考障害物の実際高さ、
ｙｍａｘｉは、第ｉ個の参考障害物のフレームにおける底辺位置の縦方向座標、
Ｃｙは、カメラの光軸の縦方向座標、
Ｙは、カメラと地面との間の距離である。
被測定障害物に対して、以下の式（２）を有する。
ただし、ｈｐは、被測定障害物のフレームにおける観測高さ、
Ｈｐは、被測定障害物の実際高さ、
ｙｍａｘｐは、被測定障害物のフレームにおける底辺位置の縦方向座標、
Ｃｙは、カメラの光軸の縦方向座標、
Ｙは、カメラと地面との間の距離である。
この場合、式（１）を式（２）で割って、式（３）を得る。
更に、式（３）に基づき第二にＨｐの計算式（４）を得る。
ただし、Ｈｐは、被測定障害物の高さの第一評価値、
ｈｐは、被測定障害物のフレームにおける観測高さ、
ｈｉは、第ｉ個の参考障害物のフレームにおける観測高さ、
Ｈｉは、第ｉ個の参考障害物の実際高さ、

は、被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離、

は、第ｉ個の参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離である。
このように、各前記参考障害物に対して、参考障害物の前記観測データ、被測定障害物のフレームにおける観測高さ、前記参考障害物のフレームにおける高さ、前記参考障害物の実際高さ、前記被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離に基づき、前記被測定障害物の高さの第一評価値を確定する。
ステップ１０２では、異なるフレームの画像のずれによって、各フレームに対して確定された複数の被測定障害物の実際高さの第一評価値が異なる可能性があり、従って、被測定障害物の１つの第二評価値を確定する必要があり、すなわち、ステップ１０３を実行する。
ステップ１０３では、各前記参考障害物に対して確定された複数の第一評価値を用いて、前記被測定障害物の高さの第二評価値を確定する。
ステップ１０３では、確定された複数の第一評価値に対して、フィルタリングノイズ除去処理を行い、被測定障害物の実際高さの第二評価値を得る。具体的には、フィルタリングノイズ除去処理後に中心位置又はほかの適切な位置に位置する第一評価値を被測定障害物の実際高さの第二評価値とする。
本実施例に係る方法によれば、参考障害物の観測データを参考とし、被測定障害物の実際高さを確定し、それにより、被測定障害物の３Ｄサイズを確定できる。
実施例２
本実施例は、参考障害物に対する１種の選択方式を説明する。前記被測定障害物が位置するフレームの前の複数の連続フレームにおいて、固定高さを有する且つ底辺中心位置がフレーム中の予め設定領域内にある障害物を参考障害物として選択し、前記予め設定領域は、複数のグリッドに予め分割され、各グリッド内に多くとも１つの参考障害物が含まれる。
具体的には、本実施例では、参考障害物の選択は、２つの条件を含む。
条件１は、参考障害物の種類であり、
実際高さが正確に取得されることができる障害物を参考障害物とする。実際の応用中には、小型乗用車、ミニバス等の車両は、実際高さが正確に取得されることができるため、参考障害物とされてもよい。トラック、バス、トラフィックコーン等のような物体は、実際高さが正確に取得されることができないため、被測定障害物とされ、本発明の実施例に係る方法によってその実際高さを評価できる。
条件２は、参考障害物の位置であり、
まず、参考障害物は、被測定障害物が位置するフレームの前の複数の連続フレーム内に位置する必要がある。
更に、推定の精確性を確保するために、フレーム内において、１つの予め設定領域を予め設定し、底辺中心位置がフレームの予め設定領域内に位置する障害物を参考障害物とし、前記予め設定領域は、複数のグリッドに予め分割され、例えば、５０画素ごとに１つのグリッドとする、各グリッド内に多くとも１つの参考障害物が含まれる。本発明の実施例は、グリッドの形状を限定しない。
図３に示すように、図３は、本発明の実施例２における予め設定領域の分割方式を示す模式図である。以下のステップによって予め設定領域を分割できる。
１）フレーム画像の中心点、左下角、右下角を三角形の３つの角部とし、１つの三角形領域を画定する。
２）フレーム画像におけるカメラの光軸が位置する横線、及びフレーム画像の左右両側の境界線を用いて、上記三角形領域を分割し、該三角形領域中のカメラの光軸が位置する横線の以下、フレーム画像の左境界の右、且つフレーム画像の右境界の左の部分を予め設定領域（図３中の格子塗りつぶし領域）とする。
図３中に、カメラの光軸は、中心点の下に位置する。カメラの光軸が中心点の上に位置する場合、上記三角形領域がカメラの光軸の下に位置するため、カメラの光軸の位置する横線は、実際の分割作用がない。
以上、参考障害物を選択するための２つの条件を説明し、これらの２つの条件に応じて複数の参考障害物を選択でき、予め設定領域の各グリッドが多くとも１つの参考障害物を含み。被測定障害物が位置するフレームの前の複数の連続フレームにおける参考障害物を用いて被測定障害物に対して、高さの検出を行う。
予め設定領域における参考障害物は、更新可能であり、１つのグリッドに、実際高さが正確に取得可能な障害物が初回出現する場合、該障害物を参考障害物とし、１つのグリッドに実際高さを正確に取得可能な障害物が新たに出現する場合、具体的な状況に応じて、該グリッドにおける既存の参考障害物を保留し、又は新たに出現する該障害物を該グリッドにおける参考障害物とする。
実施例３
本実施例は、別の障害物高さの検出方法を提供する。図４は、本発明の実施例３に係る障害物高さの検出方法のフローチャートであり、以下のステップ４０１〜４０４を含む。
ステップ４０１では、フレームから複数の参考障害物の観測データを取得する。
参考障害物の観測データは、フレーム画像において直接に観測され、又はほかのセンサにより取得されてもよい。
本ステップの前に、まず参考障害物を選択する必要があり、参考障害物の選択方式は、上記実施例２に説明された方式と同様であるため、ここで重複説明を省略する。
ステップ４０２では、各参考障害物のフレームにおける底辺位置の縦方向座標、及び各参考障害物とフレームをキャプチャするカメラとの間の距離に基づき、関数Ｆ：Ｚ＝Ｆ（ｙｍａｘ）をフィッティングし、ｙｍａｘは、参考障害物又は被測定障害物のフレームにおける底辺位置の縦方向座標、Ｚは、参考障害物又は被測定障害物とカメラとの間の距離である。
具体的には、ｉ個の参考障害物に対して、ｉ組のデータ（Ｚ１，ｙｍａｘ１）、（Ｚ２，ｙｍａｘ２）、……、（Ｚｉ，ｙｍａｘｉ）を得でき、
ここで、Ｚ１、Ｚ２、……Ｚｉは、それぞれ第１、２、……ｉ個の参考障害物とカメラとの間の距離であり、
ｙｍａｘ１、ｙｍａｘ２、……ｙｍａｘｉは、それぞれ第１、２、……ｉ個の参考障害物のフレームにおける底辺位置の縦方向座標であり、
上記ｉ組のデータに基づき、関数Ｆ：Ｚ＝Ｆ（ｙｍａｘ）をフィッティングできる。参考障害物が更新し続けるに伴って、関数Ｆも更新し続ける。
ステップ４０３では、被測定障害物のフレームにおける底辺位置の縦方向座標及び前記関数Ｆに基づき、被測定障害物とカメラとの間の距離を確定する。
具体的には、被測定障害物のフレームにおける底辺位置の縦方向座標、即ち、ｙｍａｘｐを関数Ｚ＝Ｆ（ｙｍａｘ）に代入し、被測定障害物とカメラとの間の距離、即ち、Ｚｐを得る。
ステップ４０４では、前記被測定障害物とカメラとの距離に基づき、前記被測定障害物の実際高さの第二評価値を確定する。
具体的には、上記図２中の幾何学的関係
は、式（５）で確定されることができる。
ただし、Ｈｐ’は、被測定障害物の高さの第二評価値、
ｈｐは、被測定障害物のフレームにおける観測高さ、
ｆは、カメラの焦点距離、
Ｚｐは、被測定障害物とカメラとの間の距離である。
本実施例に係る方法によれば、参考障害物の観測データを参考とし、被測定障害物の実際高さを確定し、それにより、被測定障害物の３Ｄサイズを確定できる。
実施例４
本実施例は、実施例１に対応し、障害物高さの検出装置を提供する。図５は、本発明の実施例４に係る障害物高さの検出装置の構成模式図であり、該装置は、
フレームから複数の参考障害物の観測データを取得するための第一取得モジュール５０１と、
各前記参考障害物に対して、参考障害物の前記観測データ、被測定障害物のフレームにおける観測高さ、前記参考障害物のフレームにおける高さ、前記参考障害物の実際高さ、前記被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離に基づき、前記被測定障害物の高さの第一評価値を確定し、前記参考障害物の前記観測データは、前記参考障害物の前記フレームにおける観測高さと前記参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離を含むための第一評価モジュール５０２と、
複数の前記参考障害物に対して確定された複数の第一評価値を用いて、前記被測定障害物の高さの第二評価値を確定するための第二評価モジュール５０３と、を備える。
上記第一評価モジュール５０１は、式（４）で被測定障害物の実際高さの第一評価値を確定し、
ただし、Ｈｐは、被測定障害物の実際高さの第一評価値、
ｈｐは、被測定障害物のフレームにおける観測高さ、
ｈｉは、第ｉ個の参考障害物のフレームにおける観測高さ、
Ｈｉは、第ｉ個の参考障害物の実際高さ、
は、被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離、
は、第ｉ個の参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離である。
上記第二評価モジュール５０３は、確定された複数の第一評価値に対して、フィルタリングノイズ除去処理を行い、被測定障害物の実際高さの第二評価値を得る。
上記第一取得モジュール５０１は、前記被測定障害物が位置するフレームの前の複数の連続フレームにおいて、固定高さを有する且つ底辺中心位置がフレーム中の予め設定領域内にある障害物を参考障害物として選択し、前記予め設定領域は、複数のグリッドに予め分割され、各グリッド内に多くとも１つの参考障害物が含まれるためにさらに用いられる。
第一取得モジュール５０１が参考障害物を選択する具体的な方式は、上記実施例２に説明された方式と同様であるため、ここで重複説明を省略する。
本実施例に係る障害物高さの検出装置によれば、参考障害物の観測データを参考とし、被測定障害物の実際高さを確定し、被測定障害物の３Ｄサイズを確定できる。
実施例５
本実施例は、実施例３に対応し、別の障害物高さの検出装置を提供する。図６は、本発明の実施例５に係る障害物高さの検出装置の構成模式図であり、該装置は、
フレームから複数の参考障害物の観測データを取得するための第二取得モジュール６０１と、
各参考障害物のフレームにおける底辺位置、及び各参考障害物とカメラとの間の距離に基づき、関数Ｆ：Ｚ＝Ｆ（ｙｍａｘ）をフィッティングし、ｙｍａｘは、参考障害物又は被測定障害物のフレームにおける底辺位置の縦方向座標、Ｚは、参考障害物又は被測定障害物とカメラとの間の距離であるための関数確定モジュール６０２と、
被測定障害物のフレームにおける底辺位置の縦方向座標及び前記関数Ｆに基づき、被測定障害物とカメラとの間の距離を確定するための距離評価モジュール６０３と、
前記被測定障害物とカメラとの間の距離に基づき、前記被測定障害物の実際高さの第二評価値を確定するための高さ評価モジュール６０４と、を備え、
参考障害物が更新し続けるに伴って、関数Ｆも更新し続ける。
具体的には、高さ評価モジュール６０４は、式（５）で被測定障害物の実際高さの第二評価値を確定し、
ただし、Ｈｐ’は、被測定障害物の実際高さの第二評価値、
ｈｐは、被測定障害物のフレームにおける観測高さ、
ｆは、カメラの焦点距離、
Ｚｐは、被測定障害物とカメラとの間の距離である。
上記第二取得モジュール６０１は、固定高さを有する且つ底辺中心位置がフレーム中の予め設定領域内にある障害物を参考障害物として選択し、前記予め設定領域は、複数のグリッドに予め分割され、各グリッド内に多くとも１つの参考障害物が含まれるためにさらに用いられる。
第二取得モジュール６０１が参考障害物を選択する具体的な方式は、上記実施例２に説明された方式と同様であるため、ここで重複説明を省略する。
本実施例に係る障害物高さの検出装置によれば、参考障害物の観測データを参考とし、被測定障害物の実際高さを確定し、被測定障害物の３Ｄサイズを確定できる。
実施例６
本発明の実施例６は、障害物高さの検出設備を提供し、図７は、本発明の実施例６に係る障害物高さの検出設備の構成模式図であり、該設備は、メモリ７１０及びプロセッサ７２０を備え、メモリ７１０には、プロセッサ７２０上で実行可能なコンピュータプログラムが記憶されている。前記プロセッサ７２０は、前記コンピュータプログラムを実行すると、上記実施例に係る障害物高さの検出方法を実現する。前記メモリ７１０とプロセッサ７２０の数は、１つ又は複数であってもよい。
前記設備は、外部装置と通信し、データ交換伝送を行う通信インターフェース７３０をさらに備える。
メモリ７１０は、高速ＲＡＭメモリを含む可能性もあるし、メモリ（ｎｏｎ−ｖｏｌａｔｉｌｅ ｍｅｍｏｒｙ）、例えば、少なくとも１つの磁気ディスクメモリをさらに含む可能性もある。
メモリ７１０、プロセッサ７２０及び通信インターフェース７３０が独立して実現する場合、メモリ７１０、プロセッサ７２０及び通信インターフェース７３０はバスで互いに接続され、且つ相互間の通信を実現することができる。前記バスは業界標準アーキテクチャ（ＩＳＡ、Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ペリフェラルコンポーネント（ＰＣＩ、Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス又は拡張業界標準アーキテクチャ（ＥＩＳＡ、Ｅｘｔｅｎｄｅｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス等であってもよい。前記バスはアドレスバス、データバス、制御バス等に分けられてもよい。示しやすくするために、図7では、１本のみの太線で示すが、１本のみのバス又は１つのタイプのみのバスを有すると示さない。
選択的に、具体的に実現する時、メモリ７１０、プロセッサ７２０及び通信インターフェース７３０が１枚のチップに統合される場合、メモリ７１０、プロセッサ７２０及び通信インターフェース７３０は、内部インターフェースによって、相互間の通信を実現することができる。
本明細書の説明において、用語「一実施例」、「いくつかの実施例」、「例」、「具体例」、又は「いくつかの例」等の説明とは、該実施例又は例を参照すると説明した具体的な特徴、構造、材料又は特性が本発明の少なくとも１つの実施例又は例に含まれることを意味する。且つ、説明される具体的な特徴、構造、材料又は特性はいずれか１つ又は複数の実施例又は例で適切な方式で結合してもよい。また、矛盾しない限り、当業者は本明細書に説明される様々な実施例又は例、及び様々な実施例又は例の特徴を結合及び組み合わせすることができる。
また、用語の「第一」、「第二」は説明のためのものに過ぎず、相対重要性を指示又は示唆し、又は指示された技術的特徴の数を暗示すると理解すべきではない。従って、「第一」、「第二」で制限された特徴は少なくとも１つの該特徴を明示的又は暗示的に含んでもよい。本発明の説明において、特に明確且つ具体的に制限しない限り、「複数」の意味は２つ又は２つ以上である。
フローチャートで又はここでほかの方式によって説明される任意のプロセス又は方法は、特定のロジック機能又はプロセスのステップを実現するための１つ以上の実行可能指令コードを含むモジュール、セグメント又は部分を表すと理解され得て、また、当業者であれば、本発明の好適実施形態の範囲は、示された又は検討された順序に従わず、係る機能に応じてほぼ同時に又は逆の順序で機能を実行する別の実装を含んでもよいと理解できる。
フローチャートに示す、又はここでほかの方式で説明される論理及び／又はステップは、例えば、論理機能を実現するための実行可能命令の順序付けリストであると見なされてもよく、具体的にいかなるコンピュータ可読媒体に実現されてもよく、命令実行システム、装置又はデバイス（例えばコンピュータに基づくシステム、プロセッサを含むシステム又は命令実行システム、装置又はデバイスから命令を受信し且つ命令を実行するシステム）の使用に備え、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用される。本明細書については、「コンピュータ可読媒体」はプログラムを包含、記憶、通信、伝播又は伝送することにより、命令実行システム、装置又はデバイス、又はこれらの命令実行システム、装置又はデバイスと組み合わせて使用されるいかなる装置であってもよい。コンピュータ可読媒体のさらなる具体例（非網羅的リスト）は、１つ又は複数の配線を有する電気接続部（電子装置）、ポータブルコンピュータケース（磁気装置）、ランダムアクセスメモリー（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、電気的消去再書込み可能な読出し専用メモリ（ＥＰＲＯＭ又はフラッシュメモリー）、光ファイバー装置、及び携帯型読み出し専用メモリー（ＣＤＲＯＭ）を含む。また、コンピュータ可読媒体は更にその上に前記プログラムを印刷できる用紙又はほかの適切な媒体であってもよい理由は、例えば用紙又はほかの媒体を光学的に走査し、次に編集、解釈し、又は必要な時にほかの適切な方式で処理して、電子方式で前記プログラムを取得し、次にそれをコンピュータメモリに記憶することができるためである。
本発明の各部分はハードウェア、ソフトウェア、ファームウェア又はそれらの組み合わせで実現されてもよいと理解すべきである。上記実施形態において、複数のステップ又は方法は、メモリに記憶される、且つ適切な命令実行システムで実行するソフトウェア又はファームウェアで実現されてもよい。例えば、ハードウェアで実現する場合は、別の実施形態と同様に、データ信号に対して論理機能を実現する論理ゲート回路を有する離散論理回路、適切な組み合わせ論理ゲート回路を有する確定用途向け集積回路、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）等の本分野での公知技術のうちのいずれか１つ又はそれらの組み合わせで実現してもよい。
当業者であれば、上記実施例方法におけるステップの全部又は一部の実現がプログラムによって関連するハードウェアを命令して完了させてもよく、前記プログラムがコンピュータ可読記憶媒体に記憶されてもよく、実行時に、該プログラムは方法実施例のステップの１つ又はそれらの組み合わせを含むと理解される。
また、本発明の各実施例における各機能ユニットが１つの処理モジュールに統合されてもよく、各ユニットが独立して物理的に存在してもよく、２つ又は２つ以上のユニットが１つのモジュールに統合されてもよい。上記統合モジュールはハードウェアのタイプで実現されてもよいし、ソフトウェア機能モジュールのタイプで実現されてもよい。前記統合モジュールはソフトウェア機能モジュールのタイプで実現され、且つ独立した製品として販売又は使用される時、１つのコンピュータ可読記憶媒体に記憶されてもよい。前記記憶媒体は読み出し専用メモリ、磁気ディスク又は光ディスク等であってもよい。
以上のように、本発明の実施例に係る障害物高さの検出方法、装置、設備及び記憶媒体によれば、実際高さが正確に取得されることができる障害物、例えば、小型乗用車、ミニバス等を参考障害物とし、参考障害物の観測データを参考とし、道路幾何学モデルに対してモデリングし、被測定障害物、例えば、バス、トラック、トラフィックコーンなどのような実際高さが直接に推定され難い障害物の実際高さの評価を実現し、それにより、被測定障害物の３Ｄサイズの検出を実現する。
以上の説明は、本発明の具体的な実施形態に過ぎず、本発明の保護範囲を制限するためのものではなく、当業者が本発明に開示される技術的範囲内に容易に想到し得る種々の変更又は置換は、いずれも本発明の保護範囲内に含まれるべきである。従って、本発明の保護範囲は特許請求の範囲に準じるべきである。

Claims (17)

  1. 障害物高さの検出方法であって、
    フレームから複数の参考障害物の観測データを取得するステップと、
    各前記参考障害物に対して、参考障害物の前記観測データ、被測定障害物のフレームにおける観測高さ、前記参考障害物のフレームにおける高さ、前記参考障害物の実際高さ、前記被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離に基づき、前記被測定障害物の高さの第一評価値を確定し、前記参考障害物の前記観測データは、前記参考障害物の前記フレームにおける観測高さと前記参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離を含むステップと、
    各前記参考障害物に対して確定された複数の第一評価値を用いて、前記被測定障害物の高さの第二評価値を確定するステップと、を含むことを特徴とする障害物高さの検出方法。
  2. 各前記参考障害物に対して、参考障害物の前記観測データ、被測定障害物のフレームにおける観測高さ、前記参考障害物のフレームにおける高さ、前記参考障害物の実際高さ、前記被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離に基づき、前記被測定障害物の高さの第一評価値を確定することは、第i参考障害物に対して、式（４）で前記被測定障害物の第一評価値を確定するステップを含み、

    ただし、Ｈｐは、被測定障害物の高さの第一評価値、
    ｈｐは、被測定障害物のフレームにおける観測高さ、
    ｈｉは、第ｉ個の参考障害物のフレームにおける観測高さ、
    Ｈｉは、第ｉ個の参考障害物の実際高さ、
    は、被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離、
    は、第ｉ個の参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離であることを特徴とする請求項１に記載の方法。
  3. 前記複数の参考障害物に対して確定された複数の前記第一評価値を用いて、前記被測定障害物の高さの第二評価値を確定することは、
    複数の前記第一評価値に対して、フィルタリングノイズ除去処理を行い、前記被測定障害物の高さの第二評価値を得るステップを含むことを特徴とする請求項１に記載の方法。
  4. フレームから前記複数の参考障害物の観測データを取得する前に、
    固定高さを有する且つ底辺中心位置がフレーム中の予め設定領域内にある障害物を参考障害物として選択し、前記予め設定領域は、複数のグリッドに予め分割され、各前記グリッド内に多くとも１つの前記参考障害物が含まれるステップをさらに含むことを特徴とする請求項１乃至３のいずれか一項に記載の方法。
  5. 障害物高さの検出方法であって、
    フレームから複数の参考障害物の観測データを取得するステップと、
    前記各参考障害物のフレームにおける底辺位置の縦方向座標、及び前記各参考障害物とフレームをキャプチャするカメラとの間の距離に基づき、関数Ｆ：Ｚ＝Ｆ（ｙｍａｘ）をフィッティングし、ｙｍａｘは、前記参考障害物のフレームにおける底辺位置の縦方向座標、Ｚは、前記参考障害物と前記カメラとの間の距離であるステップと、
    被測定障害物のフレームにおける底辺位置の前記縦方向座標及び前記関数Ｆに基づき、前記被測定障害物と前記カメラとの間の距離を確定するステップと、
    前記被測定障害物と前記カメラとの間の距離に基づき、前記被測定障害物の高さの評価値を確定するステップと、を含むことを特徴とする障害物高さの検出方法。
  6. 前記被測定障害物と前記カメラとの間の距離に基づき、前記被測定障害物の高さの評価値を確定することは、式（５）で前記被測定障害物の高さの評価値を確定するステップを含み、

    ただし、Ｈｐ’は、前記被測定障害物の高さの評価値、
    ｈｐは、前記被測定障害物のフレームにおける観測高さ、
    ｆは、前記カメラの焦点距離、
    Ｚｐは、前記被測定障害物と前記カメラとの間の距離であることを特徴とする請求項５に記載の方法。
  7. 前記複数の参考障害物の観測データを取得する前に、
    固定高さを有する且つ底辺中心位置がフレーム中の予め設定領域内にある障害物を参考障害物として選択し、前記予め設定領域は、複数のグリッドに予め分割され、各前記グリッド内に多くとも１つの参考障害物が含まれるステップをさらに含むことを特徴とする請求項５又は６に記載の方法。
  8. 障害物高さの検出装置であって、
    フレームから複数の参考障害物の観測データを取得するための第一取得モジュールと、
    各前記参考障害物に対して、参考障害物の前記観測データ、被測定障害物のフレームにおける観測高さ、前記参考障害物のフレームにおける高さ、前記参考障害物の実際高さ、前記被測定障害物のフレームにおける底辺位置とフレームをキャプチャするカメラの光軸との間の距離に基づき、前記被測定障害物の高さの第一評価値を確定し、前記参考障害物の前記観測データは、前記参考障害物の前記フレームにおける観測高さと前記参考障害物のフレームにおける底辺位置とカメラの光軸との間の距離を含むための第一評価モジュールと、
    複数の前記参考障害物に対して確定された複数の第一評価値を用いて、前記被測定障害物の高さの第二評価値を確定するための第二評価モジュールと、を備えることを特徴とする障害物高さの検出装置。
  9. 前記第一評価モジュールは、式（４）で前記被測定障害物の高さの第一評価値を確定し、

    ただし、Ｈｐは、前記被測定障害物の高さの第一評価値、
    ｈｐは、前記被測定障害物のフレームにおける観測高さ、
    ｈｉは、第ｉ個の参考障害物のフレームにおける観測高さ、
    Ｈｉは、前記第ｉ個の参考障害物の実際高さ、
    は、前記被測定障害物のフレームにおける底辺位置とフレームをキャプチャする前記カメラの光軸との間の距離、
    は、前記第ｉ個の参考障害物のフレームにおける底辺位置と前記カメラの光軸との間の距離であることを特徴とする請求項８に記載の装置。
  10. 前記第二評価モジュールは、前記複数の第一評価値に対して、フィルタリングノイズ除去処理を行い、前記被測定障害物の高さの第二評価値を得るために用いられることを特徴とする請求項８に記載の装置。
  11. 前記第一取得モジュールは、固定高さを有する且つ底辺中心位置がフレーム中の予め設定領域内にある障害物を参考障害物として選択し、前記予め設定領域は、複数のグリッドに予め分割され、各前記グリッド内に多くとも１つの参考障害物が含まれるためにさらに用いられることを特徴とする請求項８乃至１０のいずれか一項に記載の装置。
  12. 障害物高さの検出装置であって、
    フレームから複数の参考障害物の観測データを取得する第二取得モジュールと、
    前記複数の参考障害物のフレームにおける底辺位置、及び前記複数の参考障害物とカメラとの間の距離に基づき、関数Ｆ：Ｚ＝Ｆ（ｙｍａｘ）をフィッティングし、ｙｍａｘは、前記参考障害物のフレームにおける底辺位置の縦方向座標、Ｚは、前記参考障害物と前記カメラとの間の距離であるための関数確定モジュールと、
    被測定障害物のフレームにおける底辺位置の前記縦方向座標及び前記関数Ｆに基づき、前記被測定障害物と前記カメラとの間の距離を確定するための距離評価モジュールと、
    前記被測定障害物と前記カメラとの間の距離に基づき、前記被測定障害物の高さの評価値を確定するための高さ評価モジュールと、を備えることを特徴とする障害物高さの検出装置。
  13. 前記高さ評価モジュールは、式（５）で前記被測定障害物の高さの評価値を確定し、

    ただし、Ｈｐ’は、前記被測定障害物の高さの評価値、
    ｈｐは、前記被測定障害物のフレームにおける観測高さ、
    ｆは、前記カメラの焦点距離、
    Ｚｐは、前記被測定障害物と前記カメラとの間の距離であることを特徴とする請求項１２に記載の装置。
  14. 前記第二取得モジュールは、固定高さを有する且つ底辺中心位置がフレーム中の予め設定領域内にある障害物を参考障害物として選択し、前記予め設定領域は、複数のグリッドに予め分割され、各前記グリッド内に多くとも１つの参考障害物が含まれるためにさらに用いられることを含むことを特徴とする請求項１２又は１３に記載の装置。
  15. 障害物高さの検出設備であって、
    １つ又は複数のプロセッサと、
    １つ又は複数のプログラムを記憶するメモリと、を備え、
    前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサにより実行されると、前記１つ又は複数のプロセッサが請求項１乃至７のいずれか一項に記載の方法を実現することを特徴とする障害物高さの検出設備。
  16. コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、該プログラムがプロセッサにより実行されると、請求項１乃至７のいずれか一項に記載の方法を実現することを特徴とするコンピュータ可読記憶媒体。
  17. コンピュータにおいて、プロセッサにより実行される場合、請求項１乃至７のいずれか一項に記載の方法を実現することを特徴とするプログラム。
JP2019125582A 2018-09-11 2019-07-04 障害物高さの検出方法、装置、設備、記憶媒体及びプログラム Active JP6768890B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811056945.XA CN109059780B (zh) 2018-09-11 2018-09-11 检测障碍物高度的方法、装置、设备及存储介质
CN201811056945.X 2018-09-11

Publications (2)

Publication Number Publication Date
JP2020042010A JP2020042010A (ja) 2020-03-19
JP6768890B2 true JP6768890B2 (ja) 2020-10-14

Family

ID=64761243

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019125582A Active JP6768890B2 (ja) 2018-09-11 2019-07-04 障害物高さの検出方法、装置、設備、記憶媒体及びプログラム

Country Status (4)

Country Link
US (2) US11047673B2 (ja)
EP (1) EP3623994A3 (ja)
JP (1) JP6768890B2 (ja)
CN (2) CN110375659B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110658819B (zh) * 2019-09-30 2022-04-15 北京猎户星空科技有限公司 一种避障方法、装置、电子设备和存储介质
CN112418031B (zh) * 2020-11-11 2022-03-11 腾讯科技（深圳）有限公司 图像识别方法和装置、存储介质及电子设备

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3643157B2 (ja) * 1995-11-29 2005-04-27 池上通信機株式会社 ステレオ画像による物体の高さ測定方法
JP3985643B2 (ja) * 2002-09-20 2007-10-03 株式会社日立製作所 画像の表示方法及び表示装置
US20060111841A1 (en) * 2004-11-19 2006-05-25 Jiun-Yuan Tseng Method and apparatus for obstacle avoidance with camera vision
JP2008150006A (ja) * 2006-12-20 2008-07-03 Hitachi Ltd 車両駆動力制御装置
US20090232388A1 (en) 2008-03-12 2009-09-17 Harris Corporation Registration of 3d point cloud data by creation of filtered density images
US8611585B2 (en) 2008-04-24 2013-12-17 GM Global Technology Operations LLC Clear path detection using patch approach
CN101441076B (zh) 2008-12-29 2010-06-02 东软集团股份有限公司 一种检测障碍物的方法和装置
WO2011112277A1 (en) * 2010-01-18 2011-09-15 Faro Technologies, Inc. Retroreflector probe adaptor for tracking hidden points
CN102959941B (zh) 2010-07-02 2015-11-25 索尼电脑娱乐公司 信息处理系统、信息处理装置及信息处理方法
JP2012117833A (ja) * 2010-11-29 2012-06-21 Equos Research Co Ltd 画像認識装置、装着型ロボット、及び画像認識プログラム
EP2764325A4 (en) * 2011-10-04 2016-01-06 Metalforming Inc USE OF A VIDEOGRAMMETRY FOR THE MANUFACTURE OF PARTS
CN103258338A (zh) 2012-02-16 2013-08-21 克利特股份有限公司 利用真实数据来驱动仿真的虚拟环境的方法和系统
CN102663196B (zh) 2012-04-17 2014-04-16 中南大学 一种基于虚拟现实的汽车起重机吊装仿真方法
EP3235773B8 (en) * 2012-09-21 2023-09-20 Tadano Ltd. Surrounding information-obtaining device for working vehicle
US9082014B2 (en) 2013-03-14 2015-07-14 The Nielsen Company (Us), Llc Methods and apparatus to estimate demography based on aerial images
CN104236462B (zh) * 2013-06-14 2018-01-23 北京千里时空科技有限公司 一种提取视频图像中物体高度和距离的方法
CN104376297B (zh) 2013-08-12 2017-06-23 株式会社理光 道路上的线型指示标志的检测方法和装置
JP5919243B2 (ja) 2013-10-18 2016-05-18 本田技研工業株式会社 運転訓練装置及び運転訓練方法
CN103914830B (zh) 2014-02-22 2017-02-01 小米科技有限责任公司 直线检测方法和装置
CN104899855A (zh) * 2014-03-06 2015-09-09 株式会社日立制作所 三维障碍物检测方法和装置
CN104020674B (zh) 2014-04-21 2017-01-25 华南农业大学 车辆Bug避障算法的Matlab仿真可视化平台
CN104183014B (zh) 2014-08-13 2017-01-18 浙江大学 一种面向城市增强现实的高融合度信息标注方法
JP5959073B2 (ja) * 2014-09-30 2016-08-02 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 検出装置、検出方法、及び、プログラム
KR101687073B1 (ko) * 2014-10-22 2016-12-15 주식회사 만도 터널 높이 추정 장치 및 터널 높이 추정 방법
US10183659B2 (en) * 2014-11-24 2019-01-22 Ford Global Technologies, Llc Vehicle underside impact avoidance
CN104331910B (zh) 2014-11-24 2017-06-16 沈阳建筑大学 一种基于机器视觉的轨道障碍物检测系统
CN104457569B (zh) * 2014-11-27 2017-06-16 大连理工大学 一种大型复合板材几何参数视觉测量方法
CN104950883A (zh) 2015-05-14 2015-09-30 西安电子科技大学 一种基于距离网格地图的移动机器人路径规划方法
TWI630132B (zh) 2015-06-04 2018-07-21 國立虎尾科技大學 3D animation car accident scene reconstruction method
CN104933708A (zh) 2015-06-07 2015-09-23 浙江大学 一种基于多谱三维特征融合的植被环境中障碍物检测方法
US20170092000A1 (en) 2015-09-25 2017-03-30 Moshe Schwimmer Method and system for positioning a virtual object in a virtual simulation environment
US9718404B2 (en) * 2015-10-01 2017-08-01 Ford Global Technologies, LLCS Parking obstruction locator and height estimator
JP6464075B2 (ja) 2015-11-11 2019-02-06 日本電信電話株式会社 Ｗｈａｔ−ｉｆシミュレーション装置、方法、及びプログラム
US10591600B2 (en) * 2015-11-30 2020-03-17 Luminar Technologies, Inc. Lidar system with distributed laser and multiple sensor heads
US10227017B2 (en) * 2015-11-30 2019-03-12 Faraday & Future Inc. Camera-based vehicle position determination with known target
CN105825711A (zh) * 2016-02-01 2016-08-03 乐卡汽车智能科技（北京）有限公司 一种车辆障碍物的预警方法及装置
CN105761308B (zh) 2016-02-29 2018-09-07 武汉大学 一种地面LiDAR和影像数据融合的遮挡区域建筑物立面重建方法
US10690495B2 (en) 2016-03-14 2020-06-23 Canon Kabushiki Kaisha Ranging apparatus and moving object capable of high-accuracy ranging
CN105844600B (zh) 2016-04-27 2018-03-16 北京航空航天大学 一种空间目标三维点云光顺去噪方法
CN105957145A (zh) 2016-04-29 2016-09-21 百度在线网络技术（北京）有限公司 道路障碍物识别方法和装置
CN106204457A (zh) 2016-07-19 2016-12-07 科盾科技股份有限公司 一种用于抓捕目标的方法和抓捕器
CN107818293A (zh) 2016-09-14 2018-03-20 北京百度网讯科技有限公司 用于处理点云数据的方法和装置
CN106462757B (zh) 2016-09-26 2019-09-06 深圳市锐明技术股份有限公司 一种成对车道线的快速检测方法和装置
JP6548690B2 (ja) 2016-10-06 2019-07-24 株式会社アドバンスド・データ・コントロールズ シミュレーションシステム、シミュレーションプログラム及びシミュレーション方法
RO132599A2 (ro) * 2016-11-23 2018-05-30 Centrul It Pentru Ştiinţă Şi Tehnologie S.R.L. Echipament modular pentru inspecţia drumurilor rutiere, incluzând carosabilul şi zona adiacentă, destinat pentru a fi montat pe vehicule nespecializate
CN106599832A (zh) 2016-12-09 2017-04-26 重庆邮电大学 一种基于卷积神经网络的多类障碍物检测与识别方法
JP6804991B2 (ja) * 2017-01-05 2020-12-23 株式会社東芝 情報処理装置、情報処理方法、および情報処理プログラム
CN106845412B (zh) 2017-01-20 2020-07-10 百度在线网络技术（北京）有限公司 障碍物识别方法及装置、计算机设备及可读介质
CN106919908B (zh) 2017-02-10 2020-07-28 百度在线网络技术（北京）有限公司 障碍物识别方法及装置、计算机设备及可读介质
CN108492356A (zh) 2017-02-13 2018-09-04 苏州宝时得电动工具有限公司 增强现实系统及其控制方法
CN106951847B (zh) * 2017-03-13 2020-09-29 百度在线网络技术（北京）有限公司 障碍物检测方法、装置、设备及存储介质
CN106997049B (zh) 2017-03-14 2020-07-03 奇瑞汽车股份有限公司 一种基于激光点云数据的检测障碍物的方法和装置
CN107063710B (zh) * 2017-04-21 2020-06-30 百度在线网络技术（北京）有限公司 用于测试无人车的方法和装置
CN107103627B (zh) 2017-04-27 2020-12-11 深圳市天双科技有限公司 一种基于车道线的汽车全景摄像头外部参数标定方法
CN107525475B (zh) * 2017-08-30 2019-10-25 河海大学 一种目标物高度测量方法
CN107657237B (zh) 2017-09-28 2020-03-31 东南大学 基于深度学习的汽车碰撞检测方法及系统
CN107659774B (zh) 2017-09-30 2020-10-13 北京拙河科技有限公司 一种基于多尺度相机阵列的视频成像系统及视频处理方法
CN107678306B (zh) 2017-10-09 2021-04-16 驭势（上海）汽车科技有限公司 动态场景信息录制和仿真回放方法、装置、设备及介质
DE112018004507T5 (de) * 2017-10-12 2020-06-10 Sony Corporation Informationsverarbeitungseinrichtung, bewegungseinrichtung und verfahren und programm
CN107832806A (zh) * 2017-12-06 2018-03-23 四川知创空间孵化器管理有限公司 一种车牌类型判别方法和系统
CN108036730B (zh) * 2017-12-22 2019-12-10 福建和盛高科技产业有限公司 一种基于热成像的火点测距方法
CN108156419A (zh) 2017-12-22 2018-06-12 湖南源信光电科技股份有限公司 基于多特征联合与Camshift算法的多焦距镜头联动成像摄像机系统
CN108010360A (zh) 2017-12-27 2018-05-08 中电海康集团有限公司 一种基于车路协同的自动驾驶环境感知系统
CN108283466A (zh) * 2017-12-27 2018-07-17 信利光电股份有限公司 一种扫地机器人的障碍物高度检测装置和方法以及跨越装置和方法
CN107993512A (zh) 2018-01-03 2018-05-04 深圳市欣横纵技术股份有限公司 一种核安保Table Top Tool系统及使用方法
CN108444390B (zh) * 2018-02-08 2021-01-26 天津大学 一种无人驾驶汽车障碍物识别方法及装置
CN108256506B (zh) * 2018-02-14 2020-11-24 北京市商汤科技开发有限公司 一种视频中物体检测方法及装置、计算机存储介质
CN108416306B (zh) * 2018-03-12 2020-12-25 海信集团有限公司 连续型障碍物检测方法、装置、设备和存储介质
CN108470469A (zh) * 2018-03-12 2018-08-31 海信集团有限公司 道路障碍物预警方法、装置及终端

Also Published As

Publication number Publication date
CN109059780A (zh) 2018-12-21
CN109059780B (zh) 2019-10-15
CN110375659B (zh) 2021-07-27
US11519715B2 (en) 2022-12-06
EP3623994A3 (en) 2020-07-22
US20200080835A1 (en) 2020-03-12
US20210278199A1 (en) 2021-09-09
EP3623994A2 (en) 2020-03-18
US11047673B2 (en) 2021-06-29
CN110375659A (zh) 2019-10-25
JP2020042010A (ja) 2020-03-19

Similar Documents

Publication Publication Date Title
JP6906569B2 (ja) 点群における非地面点のフィルタリング方法、装置、記憶媒体、及びプログラム
JP7045816B2 (ja) 検査ステーションに配置された車両の最外寸法を測定するための方法及びシステム
JP6871314B2 (ja) 物体検出方法、装置及び記憶媒体
CN103745452B (zh) 相机外参评估方法、装置、相机外参标定方法和装置
US11043000B2 (en) Measuring method and apparatus for damaged part of vehicle
US20160377873A1 (en) Position adjustment method of vehicle display device
CN110555407B (zh) 路面车辆空间识别方法及电子设备
CN109633662B (zh) 障碍物定位方法、装置和终端
JP6768890B2 (ja) 障害物高さの検出方法、装置、設備、記憶媒体及びプログラム
JP2017111803A (ja) 駐車スペースの検出装置、方法及び画像処理装置
CN113173502B (zh) 一种基于激光视觉融合和深度学习的防撞方法、系统
CN108319931B (zh) 一种图像处理方法、装置及终端
WO2021051736A1 (zh) 感知区域的确定方法、装置、存储介质及车辆
KR102278536B1 (ko) 영상 이미지를 이용하여 거리를 측정하기 위한 장치 및 방법
CN111881245B (zh) 能见度动态地图的产生方法、装置、设备及存储介质
JP2021051347A (ja) 距離画像生成装置及び距離画像生成方法
CN116343165A (zh) 一种3d目标检测系统、方法、终端设备及存储介质
CN115082565A (zh) 相机标定方法、装置、服务器及介质
CN115690364A (zh) Ar模型的获取方法、电子设备和可读存储介质
JP5964093B2 (ja) 車両サイズ測定装置、車両サイズ測定方法、およびプログラム
JP7134780B2 (ja) ステレオカメラ装置
WO2021237750A1 (en) Method and apparatus for vehicle length estimation
CN114783172B (zh) 一种停车场空车位识别方法及系统、计算机可读存储介质
JPH078487A (ja) 超音波画像処理装置
JP2021026350A (ja) 情報処理装置、撮像装置、移動体、データ処理方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200619

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200911

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200923

R150 Certificate of patent or registration of utility model

Ref document number: 6768890

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250