JP6617150B2 - 物体検出方法及び物体検出装置 - Google Patents

物体検出方法及び物体検出装置 Download PDF

Info

Publication number
JP6617150B2
JP6617150B2 JP2017537921A JP2017537921A JP6617150B2 JP 6617150 B2 JP6617150 B2 JP 6617150B2 JP 2017537921 A JP2017537921 A JP 2017537921A JP 2017537921 A JP2017537921 A JP 2017537921A JP 6617150 B2 JP6617150 B2 JP 6617150B2
Authority
JP
Japan
Prior art keywords
image data
feature
camera
object detection
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017537921A
Other languages
English (en)
Other versions
JP2018503195A (ja
JP2018503195A5 (ja
Inventor
ゲレイロ・ルイ
シビリャコフ・アレクサンダー
Original Assignee
アプリケーション・ソリューションズ・(エレクトロニクス・アンド・ヴィジョン)・リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アプリケーション・ソリューションズ・(エレクトロニクス・アンド・ヴィジョン)・リミテッド filed Critical アプリケーション・ソリューションズ・(エレクトロニクス・アンド・ヴィジョン)・リミテッド
Publication of JP2018503195A publication Critical patent/JP2018503195A/ja
Publication of JP2018503195A5 publication Critical patent/JP2018503195A5/ja
Application granted granted Critical
Publication of JP6617150B2 publication Critical patent/JP6617150B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Description

本発明は、物体検出方法及び物体検出装置に関する。具体的には、本発明は、単眼カメラで撮像された画像データにおける物体を検出するための物体検出方法及び物体検出装置に関する。
特許文献1は、車両の周囲を監視する装置及び方法を開示している。カメラで撮像した画像の視点が、変換される。2枚の変換した画像間の違いに基づいて、三次元物体を検出することができる。
特許文献2は、三次元物体の検出を開示している。2枚の画像が、異なる時間に撮像され、これらの画像を比較することにより、物体を特定する。
特許文献3は、障害物検出装置に関する。撮像した画像のフレームを、少なくとも2つの虚数平面上に変換することにより、上から下方向に見た変換画像を生成する。これらの虚数平面は、路面と同じ高さに設定された第1の虚数平面と、路面とは異なる高さに設定された第2の虚数平面とからなる。
例えば、先進運転支援システム(ADAS)において、車両の周囲環境における障害物の検出は、重要になってきている。現在、画像中の障害物を検出するアプローチは、いくつかある。例えば、ステレオカメラや、超音波又はそれと同等な検出手段によって、三次元の周囲環境を確実に推定することができる。しかしながら、このアプローチでは、複雑で高価なハードウェアが必要である。これの代わりに、障害物を検出するのに、単眼アプローチを用いることができる。例えば、静的アプローチでは、物体の特徴について推定を行うことにより、単一の画像内で物体を検出することができる。しかしながら、このような推定は、失敗することが多い。また、画像の三次元の特徴を推定するのに、ストラクチャフロムモーション(SFM)を用いることができる。これらのアプローチでは、シーンにおける物体が静止していることを前提としている。静止シーンでなかった場合、物体を予測することができない。したがって、これらの推定アプローチは、あまり確実性がなく、計算コストがかかる。
欧州特許出願公開第1964719号明細書 欧州特許出願公開第1830321号明細書 欧州特許出願公開第2233358号明細書
したがって、画像における物体を検出する改良されたアプローチが必要である。特に、単眼カメラで撮像された画像における物体を確実に検出する必要がある。
本発明の一側面によると、物体検出方法であって、第1の時点に、カメラで撮像される第1のフレームの第1の画像データを取得し、前記第1の画像データの視点を所定の視点に変換して、変換した第1の画像データを取得し、前記変換した第1の画像データから第1の特徴を抽出し、前記第1の時点とは異なる第2の時点に、カメラで撮像される第2のフレームの第2の画像データを取得し、前記第2の画像データの視点を前記所定の視点に変換して、変換した第2の画像データを取得し、前記変換した第2の画像データから第2の特徴を抽出し、前記抽出した第1の特徴と前記抽出した第2の特徴とをマッチングさせ、マッチングさせた第1の特徴と第2の特徴との間の角度の変化を計算し、前記マッチングさせた第1の特徴と第2の特徴との間の前記計算した角度の変化に基づき、物体を検出することを有する物体検出方法が提供される。
本発明の他の側面によると、物体検出装置であって、第1の時点に撮像される第1のフレームの第1の画像データと、前記第1の時点とは異なる第2の時点に撮像される第2のフレームの第2の画像データとを提供するカメラと、前記第1の画像データ及び前記第2の画像データの視点を所定の視点に変換する画像データ変換部と、前記変換した第1の画像データから第1の特徴を抽出し、前記変換した第2の画像データから第2の特徴を抽出する特徴抽出部と、前記抽出した第1の特徴と前記抽出した第2の特徴とをマッチングさせる特徴マッチング部と、マッチングさせた第1の特徴と第2の特徴との間の角度の変化を計算する角度計算部と、前記マッチングさせた第1の特徴と第2の特徴との間の前記計算した角度の変化に基づき、物体を検出する物体検出部とを備える物体検出装置が提供される。
本発明において、ほぼ水平の図を上から見た図に変換すると、物体の詳細部分でも拡大される。具体的には、元の画像における物体のほぼ垂直な境界は、上から見た図の画像において線分に変換され、その線分は、変換された画像の底部中心の画素に続く。したがって、物体の垂直の要素は、ほぼ物体の底部中心に続く線分となり、その線分の角度は、カメラが物体に近づくにつれ、変化していく。したがって、上から見た図の画像における特徴の角度の変化を観察することにより、物体の垂直の要素を特定することができる。
上から見た図の画像において、物体データを拡大することにより形成される線分等の特徴は、カメラが動くにつれて、その方向や角度が変わる。しかしながら、影等の、地面の特徴部分は、その方向や角度は変わらない。この性質を利用して、単眼カメラでの物体の検出ができる。
本発明は、静止画像と動画像の両方に適用できる。本発明の根底にある考えによると、画像データにおける線分等の特徴を検出し、あるフレームにおけるどの特徴が、異なる時点で撮像した他のフレームにおけるどの特徴と対応するかを検出し、それらの特徴間の角度の変化を推定する。ある特徴の角度が、連続した画像の間、一貫性を持って変化している場合、物体の境界が検出されたことになり、そのような特徴の下方の点が、その物体の始点と見なされる。
物体検出方法の一実施形態によると、前記変換した第1の画像データから第1の詳細を前記抽出すること及び前記変換した第2の画像データから第2の詳細を前記抽出することは、それぞれ、前記第1の画像データ及び前記第2の画像データにおける線を特定することを有する。画像データにおける線を特定することは、単一のアルゴリズムによって容易に行うことができる。物体のほぼ直線の境界が、変換した画像データにおける線に対応するため、画像データにおける線を抽出することによって、物体の境界を容易に特定できる。
物体検出方法の一実施形態によると、線を前記特定することは、ハフ変換に基づく。このようなハフ変換は、非常に信頼性が高く、画像データにおける線を特定するのに安定した方法である。
物体検出方法の一実施形態によると、物体を前記検出することは、前記カメラと前記検出した物体との間の距離を判定することを有する。例えば、そのようなカメラと検出した物体との間の距離は、画像データにおける特徴の端点に基づいて判定することができる。そのような特徴の端点、具体的には、画像データにおける特徴の最下点は、物体の底部と見なされ、カメラと物体との間の距離を容易に判定することができる。
物体検出方法の一実施形態によると、前記方法は、更に、前記カメラの自己運動を判定することを有する。物体を前記検出することは、更に、前記カメラの前記判定した自己運動に基づく。このようにして、カメラの運動に基づく画像データの変化を補償することができ、検出した物体の信頼性及び品質を向上できる。
物体検出装置の一実施の形態によると、前記カメラは、単眼カメラである。単眼カメラは、広く入手可能である。更に、単眼カメラは、ステレオカメラ等の複雑な三次元検出手段と比べて安価である。したがって、物体検出装置のコストを低減できる。
物体検出装置の一実施の形態によると、前記カメラは、魚眼レンズを備える。魚眼レンズを備えるカメラで撮像された画像データは、本発明に係る物体検出に非常に好適である。
物体検出装置の一実施の形態によると、前記装置は、更に、前記カメラの位置及び/又は方角を検出する位置検出部を備える。具体的には、位置検出部は、カメラがフレームを撮像する時点でのカメラの位置及び方角を検出する。例えば、位置検出部は、カメラの自己運動を検出してもよい。更に、前記角度計算部は、前記第1の時点と前記第2の時点との間の、前記カメラの位置及び/又は方角の変化を計算する。加えて、前記物体検出部は、前記第1の時点と前記第2の時点との間の、前記カメラの位置及び/又は方角の前記計算した変化に基づき、前記物体を検出する。このようにして、カメラの直線的及び/又は角度のある動作等の自己運動を補償できる。
本発明の更に他の側面によると、本発明に係る物体検出装置を備える先進運転支援システムが提供される。
本発明の更に他の側面によると、前記物体検出方法の全てのことを行うコンピュータプログラム製品が提供される。
更なる実施の形態及び利点は、添付の図面に基づいた以下の説明により明らかとなる。
一実施の形態に係るカメラにより撮像された画像の概略図である。 一実施の形態に係る変換した画像データを示す図である。 本発明の他の実施の形態に係る方法のフローチャートである。 一実施の形態に係る物体検出装置を示す図である。 一実施の形態に係る物体検出を概略的に示す図である。
図1は、カメラ等の画像撮像装置により撮像された画像Iを示している。本発明を理解しやすくするため、画像Iには、単一の物体Oのみ含まれている。しかしながら、本発明は、複数の物体を含む画像データにも適用できる。画像I中の物体Oは、端部Bを含んでいる。この端部Bは、物体Oの縦方向の端部に対応していると考えられる。
図2は、図1に示す画像Iの視点を変換した後の画像I1の画像データを示している。図1の画像Iは、カメラと物体Oとの間の距離を第1の距離としたカメラで撮像されているとする。画像Iは、例えば、第1の時点t1に、撮像されているとする。図示の通り、図1における物体Oの端部Bは、線分B1に変換されている。この線分B1から、点線L1が続いている。物体Oの端部Bが、物体Oの縦方向の端部に対応している場合、点線L1は、点Pにおいて、画像I1の下方縁部と交差する。この点Pは、変換した画像データの底部中心における画素にほぼ対応する。
図2に示す画像I2の画像データは、カメラと物体Oとの間の距離が短くなった状態で撮像された画像に対応している。このような画像は、例えば、別の時点t2に、撮像されているとする。画像I2の画像データに示すように、物体Oの端部Bに対応する線分B2の方角が変わっている。線分B2から、点線L2が続いている。図示の通り、点線L2は、ほぼ、画像I1と同じ底部中心点Pで、画像I2の下方縁部と交差している。しかしながら、画像の下方縁部と点線との角度は、α1からα2へと変わっている。
カメラと物体Oとの間の距離を更に短くした別の画像を撮像すると、画像I2が、図2に示す画像I3の画像データに変換される。この画像I3に示すように、物体Oの端部Bは、線分B3に変換される。線分B3から、点線L3が続いており、この点線L3は、ほぼ、同じ点Pにおいて、画像I3の下方縁部と交差している。画像I3の下方縁部と点線L3との間の角度は、更に、α3に変わっている。
したがって、変換された複数の画像データにおける特徴を分析することにより、変換された画像I1乃至I3における、共通の点Pを指し示すこれらの特徴が同じものであると考えることができる。図2に示す線分B1乃至B2等の特徴の最も低い点を、物体の最下点と見なすことができる。この最下点が地面に位置していると推定することにより、このような最下点とカメラとの間の距離を算出することができる。すなわち、物体Oとカメラとの距離を算出することができる。この距離は、カメラの画像が持つ特性を利用することにより、算出することができる。例えば、撮像した画像データの各画素は、所定のサイズを持った特定の領域に対応する、と推定できる。このような領域のサイズに基づいて、物体Oとカメラとの間の距離を容易に算出することができる。
図3は、物体検出方法の一実施の形態に係るフローチャートである。まず、ステップS1において、第1のフレームの第1の画像データを取得する。第1のフレームの画像データは、第1の時点に、カメラで撮像される。具体的には、画像データは、第1の位置にあるカメラで撮像される。
ステップS2において、取得した第1の画像データが処理されて、第1の画像データの視点が、所定の視点に変換される。例えば、画像データの視点が変換されることにより、上から見た図が得られる。画像データの視点を変換することにより、上から見た図、すなわち、高い位置から見た図、が得られる。このようにして得られた上から見た図では、物体の詳細部分でも拡大できる。
次に、ステップS3において、変換した第1の画像データから、第1の特徴を抽出する。第1の特徴は、例えば、線分であってもよい。このような線分は、例えば、物体の端部に対応している。しかしながら、他の特徴を抽出してもよい。例えば、特定の形状をした要素を抽出してもよい。この場合、変換画像データからの特徴抽出は、例えば、要素のある形状を分析することにより行ってもよい。その他の画像データの特徴抽出方法を用いてもよい。
ステップS4において、第2のフレームの第2の画像データを取得する。第2のフレームの画像データは、第2の時点に、カメラで撮像される。第2の時点は、第1のフレーム取得の際の第1の時点とは異なる。具体的には、第2のフレーム撮像の際のカメラの位置及び/又はカメラの方角は、第1のフレーム撮像の際のカメラの位置及び/又は方角とは異なる。
次に、ステップS5において、第2の画像データの視点を、前述の所定の視点に変換する。第二の画像データ変換の際の所定の視点は、第1の画像データ変換の際の視点と同じである。
ステップS6において、変換した第2の画像データから、第2の特徴を抽出する。変換した第2の画像データからの第2の特徴の抽出は、変換した第1の画像データからの第1の特徴の抽出と同様に行う。
次に、ステップS7において、抽出した第1の特徴と抽出した第2の特徴とをマッチングさせる。本ステップでは、第1のフレームと第2のフレームとで同じ要素に対応している線分等の特徴を特定する。変換した第2の画像データにおける特徴に対応する、変換した第1の画像データにおける特徴を検出するために、各特徴の性質が比較される。例えば、線分の長さが分析される。また、移行の型を分析してもよい。例えば、対応する特徴を特定するために、端部の暗から明への移行や、明から暗への移行を分析してもよい。更に、変換した第1の画像データと変換した第2の画像データにおける対応した特徴を特定するために、傾きやその他の性質を分析してもよい。
ステップS8において、マッチングした第1の特徴と第2の特徴との角度の変化を計算する。ある特徴の角度が、時間毎に一貫性を持って変化している場合、そのような特徴は、物体の境界であると解釈できる。この場合、この特徴の下方の点が、その物体の始点であると見なすことができる。このようにして、ステップS9において、マッチングした第1の特徴と第2の特徴との角度の変化の算出値に基づき、物体を検出することができる。
本物体検出方法の信頼性及び精度を高めるために、第1及び第2のフレームの画像データと同様の方法で、更なるフレームの画像データを取得し、処理してもよい。これにより、より長い時間に亘る特徴の角度の変化を観察することができる。所定の枚数の連続したフレームの間、特徴の角度が一貫性を持って変化している場合、そのような特徴は、物体の境界であると解釈できる。逆に、所定の枚数の連続したフレームの間、特徴の角度の変化が同じでない場合、その特徴は無視し、物体の境界とは解釈しない。
図4は、物体検出装置1の一実施形態のブロック図である。物体検出装置1は、例えば、カメラ10とプロセッサ20とを含む。カメラ10は、単眼カメラであってもよい。そのカメラは、モノクロ又はカラーの画像を撮像できる。これに加えて、又は、これに代わって、カメラが、赤外線又は紫外線画像を撮像できてもよい。カメラ10は、魚眼レンズを含んでいてもよい。この場合、単一のカメラで広い視界を撮像することができる。視界を広げるために、複数のカメラ10を並列させて使用し、追加処理により、これら全てのカメラ10の画像データを単一のフレームにまとめてもよい。このためには、これら全てのカメラの画像データの撮像を同時に行う。
カメラ10は、更に、位置検出部11を含んでいてもよい。この位置検出部11は、カメラ10の位置及び/又は方角を検出する。例えば、位置検出部11は、GPS受信器、電子コンパス、又は、ジャイロスコープを含んでいてもよい。カメラ10の位置及び/又は方角を検出するその他の手段を用いてもよい。又は、車両の先進運転支援システム等の外部装置により、カメラ又は関連装置の自己運動情報を取得するようにしてもよい。
カメラ10により撮像された画像データと、ある場合は、位置/方角データとが、プロセッサ20に提供される。プロセッサ20は、画像データ変換部21と、特徴抽出部22と、特徴マッチング部23と、角度計算部24と、物体検出部25とを含む。画像データ変換部21と、特徴抽出部22と、特徴マッチング部23と、角度計算部24と、物体検出部25とは、プロセッサ20のマイクロプロセッサにより実行されるソフトウェアコンポーネントにより実現できる。又は、画像データ変換部21と、特徴抽出部22と、特徴マッチング部23と、角度計算部24と、物体検出部25とは、プロセッサ20における別々の処理コンポーネントとして実現してもよい。更に、プロセッサ20は、中間結果を保存するための少なくとも1個のメモリを備えていてもよい。例えば、以前に撮像した画像データ、変換した画像データ、及び/又は、抽出した特徴又は抽出した特徴の計算された角度を、プロセッサ20のメモリに保存してもよい。
カメラ10が画像を撮像すると、対応する画像データがプロセッサ20に提供される。その画像データは、画像データ変換部21で受信されてもよい。画像データ変換部21は、その画像データの視点を所定の視点に変換する処理を行う。具体的には、取得した画像データの視点を変えて、撮像したシーンの上から見た図を取得するようにしてもよい。次に、特徴抽出部22は、変換した画像データを処理して、その変換した画像データから少なくとも1個の特徴を抽出する。例えば、特徴抽出部22は、変換した画像データを分析して、線分を特定してもよい。これに加えて、又は、これに代わって、他の特徴を特定してもよい。変換した画像データの、抽出した特徴は、特徴マッチング部23に提供される。特徴マッチング部23は、連続したフレームの画像データにおいて類似した特徴を特定するために、変換した画像データから抽出した特徴を比較する。例えば、連続した画像データにおいて対応する特徴を特定するために、特徴の長さや、特徴の形状や、暗から明への移行や、明から暗への移行や、その他の性質を分析してもよい。
連続した画像データにおいて対応する特徴が特定されると、それらの特徴は、角度計算部24に提供される。角度計算部24は、特徴の角度を計算する。例えば、画像の底部の線等の所定の線に対する角度を計算する。
物体検出部25は、計算した特徴の角度を分析し、連続した画像データにおいて対応する特徴の角度を比較して、角度の変化を計算する。ある特徴の角度の変化に基づき、物体検出部25は、その特徴が、撮像した画像データにおいて、物体、特に、物体の境界に対応しているか否かを判断する。ある特徴の角度が、一貫性を持って変化している場合、その特徴は、物体の境界であると見なすことができる。この場合、その特徴の下方の点が、その物体の始点であると見なすことができる。具体的には、その特徴の底部にあるこの始点は、地面上のその物体の最下点と見なすことができる。物体の下方の点が地面上にあるというこの推定に基づき、物体とカメラ10との間の距離を計算することができる。例えば、画像データ(特に、変換した画像データ)における特徴の下方の点と、画像データ(特に、変換した画像データ)におけるある特定の点との間の画素数を計算できる。画像データにおける各画素がある特定の距離に対応しているという推定に基づき、カメラと物体との間の距離を計算できる。ただし、カメラ10と物体との間の距離を決定するのに、他の方法を用いてもよい。
物体検出方法及び装置について、2枚のみの連続したフレームに関して説明したが、2枚より多くの連続したフレームを、異なる位置や異なる時点に、撮像し、連続したフレームに対応する複数の変換した画像データにおける特徴の角度の変化を分析するようにしてもよい。これにより、検出した物体の信頼性及び精度が更に向上する。物体検出装置1が、位置検出部11を備える場合、画像データを分析する際に、カメラ10の位置及び/又は方角が、更なる考慮要素となる。具体的には、抽出した特徴の角度の変化を分析する際に、カメラ10の角度の変化を特定し、考慮するようにしてもよい。これにより、物体検出の精度が更に向上する。
図5は、一実施の形態に係る他の物体検出を概略的に示す図である。この場合、t1、t2、及び、t3において、3枚の連続したフレームが、カメラ10に撮像される。更に、例えば、位置検出部11によって、カメラ10の位置及び/又は方角が判定される。このようにして、カメラ10の自己運動が判定される。このカメラ10の自己運動に基づき、撮像したフレームの画像データが補償される。図5に示すように、カメラ10の自己運動の補償後、物体に向かう全ての線分が、物体の位置の点と交差するようになるはずである。物体に向かう線の全ての情報を集約し、その物体の位置を判定するために、ハフ変換を行ってもよい。このようにして、物体の位置を見出すことができる。
カメラ10の周囲環境で特定される1個以上の物体の情報を、例えば、車両の先進運転支援システムに提供することができる。このようにして、この物体の情報を用いて、車両を制御したり、車両の運転手に更なる情報を提供したりできる。なお、本発明は、先進運転支援システム用の物体検出や、車両における使用に限定されない。単眼カメラによる物体検出の他の用途に適用できる。
要約すると、本発明は、改良された物体検出方法及び装置に関する。複数の連続したフレームが、単眼カメラにより撮像され、撮像したフレームの画像データが、所定の視点での画像データに変換される。例えば、画像が変換されて、上から見た図が得られる。変換した画像データから、線等の特定の特徴が抽出され、連続したフレームにおける対応する特徴がマッチングされる。対応する特徴間の角度の変化が計算され、その特徴の角度の変化に基づき、物体の境界が特定される。このようにして、単一の単眼カメラの画像データに基づき、物体を、効率よく、確実に、特定することができる。物体の影等の障害物を除外してもよい。これにより、特定した物体の信頼性が高まる。

Claims (10)

  1. 物体検出方法であって、
    第1の時点に、カメラ(10)で撮像される第1のフレームの第1の画像データを取得し(S1)、
    1の画像データの視点を所定の視点に変換して、変換した第1の画像データを取得し(S2)、
    換した第1の画像データから第1の特徴を抽出し(S3)、
    第1の時点とは異なる第2の時点に、カメラ(10)で撮像される第2のフレームの第2の画像データを取得し(S4)、
    2の画像データの視点を定の視点に変換して、変換した第2の画像データを取得し(S5)、
    換した第2の画像データから第2の特徴を抽出し(S6)、
    出した第1の特徴と出した第2の特徴とをマッチングさせる(S7)ことを有し、
    換した第1の画像データから第1の特徴を抽出すること(S3)は、第1の画像データにおける線を特定することを有し、
    換した第2の画像データから第2の特徴を抽出すること(S6)は、第2の画像データにおける線を特定することを有し、
    前記方法は、更に、
    マッチングさせた第1の特徴と第2の特徴との間の、所定の基準に対する角度の変化を計算し(S8)、算すること(S8)は、出した第1の特徴及び出した第2の特徴の角度を計算して、対応する特徴の角度を比較して角度の変化を計算することを有し、
    ッチングさせた第1の特徴と第2の特徴との間の算した角度の変化に基づき、物体(O)を検出する(S9)ことを有し、
    検出すること(S9)は、特定された線上の変換した第1の画像データ及び変換した第2の画像データにおける共通の点(P)を示す第1の特徴及び第2の特徴を特定することを有し、計算した角度が時間について一貫性を持って変化している場合、物体(O)の始点としての最下点を特定することを有する物体検出方法。
  2. 線を前記特定することは、ハフ変換に基づくことを特徴とする請求項1に記載の方法。
  3. 物体(O)を前記検出することは、前記カメラ(10)と前記検出した物体(O)との間の距離を判定することを有し、前記距離は、前記カメラ及び前記物体(O)の始点で判定されることを特徴とする請求項1又は2に記載の方法。
  4. 更に、前記カメラ(10)の直線的及び/又は角度のある動作を判定することを有し、物体(O)を前記検出することは、更に、前記カメラ(10)の前記判定した直線的及び/又は角度のある動作に基づき補償された画像データに基づくことを特徴とする請求項1から3のいずれか1項に記載の方法。
  5. 物体検出装置(1)であって、
    第1の時点に撮像される第1のフレームの第1の画像データと、1の時点とは異なる第2の時点に撮像される第2のフレームの第2の画像データとを提供するカメラ(10)と、
    1の画像データ及び第2の画像データの視点を所定の視点に変換する画像データ変換部(21)と、
    換した第1の画像データから第1の特徴を抽出し、換した第2の画像データから第2の特徴を抽出する特徴抽出部(22)と、
    出した第1の特徴と抽出した第2の特徴とをマッチングさせる特徴マッチング部(23)とを備え、
    徴抽出部(22)は、1の画像データ及び2の画像データにおける線を特定し、
    物体検出装置(1)は、更に、
    出した第1の特徴及び出した第2の特徴の、所定の基準に対する角度を計算し、マッチングさせた第1の特徴と第2の特徴との間の角度の変化を計算する角度計算部(24)と、
    マッチングさせた第1の特徴と第2の特徴との間の計算した角度の変化に基づき、物体(O)を検出する物体検出部(25)とを備え
    体検出部は、換した第1の画像データ及び換した第2の画像データにおける共通の点(P)を示す第1の特徴及び第2の特徴を特定し、計算した角度が時間について一貫性を持って変化している場合に、物体(O)の始点としての最下点を特定する物体検出装置(1)。
  6. 前記カメラ(10)は、単眼カメラであることを特徴とする請求項5に記載の物体検出装置(1)。
  7. 前記カメラ(10)は、魚眼レンズを備えることを特徴とする請求項5又は6に記載の物体検出装置(1)。
  8. 更に、前記カメラ(10)の位置及び/又は方角を検出する位置検出部(11)を備え、
    前記角度計算部(24)は、更に、前記第1の時点と前記第2の時点との間の、前記カメラ(10)の位置及び/又は方角の変化を計算し、
    前記物体検出部(25)は、前記第1の時点と前記第2の時点との間の、前記カメラ(10)の位置及び/又は方角の前記計算した変化に基づき補償された画像データに基づき、前記物体(O)を検出することを特徴とする請求項5から7のいずれか1項に記載の物体検出装置(1)。
  9. 請求項5から8のいずれか1項に記載の物体検出装置(1)を備える先進運転支援システム。
  10. 請求項1から4のいずれか一項に記載の全てのことを行うコンピュータプログラム
JP2017537921A 2015-01-21 2015-12-08 物体検出方法及び物体検出装置 Active JP6617150B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15151974.1A EP3048558A1 (en) 2015-01-21 2015-01-21 Object detecting method and object detecting apparatus
EP15151974.1 2015-01-21
PCT/EP2015/078954 WO2016116206A1 (en) 2015-01-21 2015-12-08 Object detecting method and object detecting apparatus

Publications (3)

Publication Number Publication Date
JP2018503195A JP2018503195A (ja) 2018-02-01
JP2018503195A5 JP2018503195A5 (ja) 2019-10-03
JP6617150B2 true JP6617150B2 (ja) 2019-12-11

Family

ID=52449951

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017537921A Active JP6617150B2 (ja) 2015-01-21 2015-12-08 物体検出方法及び物体検出装置

Country Status (4)

Country Link
US (1) US10346709B2 (ja)
EP (1) EP3048558A1 (ja)
JP (1) JP6617150B2 (ja)
WO (1) WO2016116206A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11080890B2 (en) * 2017-07-28 2021-08-03 Qualcomm Incorporated Image sensor initialization in a robotic vehicle
JP7115300B2 (ja) * 2018-12-26 2022-08-09 株式会社デンソー 画像生成装置及び画像表示システム
US11727675B2 (en) 2019-09-09 2023-08-15 Apple Inc. Object detection with instance detection and general scene understanding
US11250685B2 (en) * 2020-01-21 2022-02-15 Aptiv Technologies Limited Intra-vehicle situational awareness featuring child presence
US20230196795A1 (en) * 2021-12-20 2023-06-22 Veoneer Us, Inc. Pattern detection with shadow boundary using slope of brightness

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1736928A1 (en) * 2005-06-20 2006-12-27 Mitsubishi Electric Information Technology Centre Europe B.V. Robust image registration
JP4816923B2 (ja) * 2006-03-01 2011-11-16 日産自動車株式会社 車両周辺画像提供装置および方法
JP2007235642A (ja) * 2006-03-02 2007-09-13 Hitachi Ltd 障害物検知システム
JP2008219063A (ja) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 車両周辺監視装置及び方法
GB0707192D0 (en) * 2007-04-13 2007-05-23 Mitsubishi Electric Inf Tech Generalized statistical template matching
JP5190712B2 (ja) * 2009-03-24 2013-04-24 アイシン精機株式会社 障害物検出装置
US10008002B2 (en) * 2012-02-28 2018-06-26 NXP Canada, Inc. Single-camera distance estimation

Also Published As

Publication number Publication date
EP3048558A1 (en) 2016-07-27
JP2018503195A (ja) 2018-02-01
US10346709B2 (en) 2019-07-09
US20170316278A1 (en) 2017-11-02
WO2016116206A1 (en) 2016-07-28

Similar Documents

Publication Publication Date Title
JP6617150B2 (ja) 物体検出方法及び物体検出装置
JP6554169B2 (ja) 物体認識装置及び物体認識システム
JP4692371B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体、ならびに移動物体検出システム
WO2017138245A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
US9715632B2 (en) Intersection recognizing apparatus and computer-readable storage medium
JP2016152027A (ja) 画像処理装置、画像処理方法およびプログラム
US10417507B2 (en) Freespace detection apparatus and freespace detection method
JP2018503195A5 (ja)
JP2004301607A (ja) 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム
JP2015230703A (ja) 物体検出装置及び物体検出方法
JP2008026999A (ja) 障害物検出システム、及び障害物検出方法
JP7426611B2 (ja) 校正方法および校正装置
JP2008286648A (ja) 距離計測装置、距離計測システム、距離計測方法
JP5785515B2 (ja) 歩行者検出装置及び方法、並びに車両用衝突判定装置
JP5935118B2 (ja) 物体検出装置および物体検出方法
JP6677141B2 (ja) 駐車枠認識装置
JP6677142B2 (ja) 駐車枠認識装置
JP5891751B2 (ja) 画像間差分装置および画像間差分方法
US20180268228A1 (en) Obstacle detection device
JP5822866B2 (ja) 画像処理装置
KR102660089B1 (ko) 객체 깊이 추정 방법 및 장치, 이를 이용한 이동 장치
JP2008097444A (ja) 画像処理装置
JP6481375B2 (ja) 情報処理システム、情報処理方法、プログラム、および情報処理装置
KR20230059236A (ko) 객체 깊이 추정 방법 및 장치, 이를 이용한 이동 장치
JP2024505422A (ja) オブジェクトを検出するための、並びに、その高さを割り出すための方法及び装置

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A529

Effective date: 20170718

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180731

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190717

A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A524

Effective date: 20190821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191016

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191111

R150 Certificate of patent or registration of utility model

Ref document number: 6617150

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250