JP6139706B2 - 移動物体を検出するための方法及びシステム - Google Patents

移動物体を検出するための方法及びシステム Download PDF

Info

Publication number
JP6139706B2
JP6139706B2 JP2015555524A JP2015555524A JP6139706B2 JP 6139706 B2 JP6139706 B2 JP 6139706B2 JP 2015555524 A JP2015555524 A JP 2015555524A JP 2015555524 A JP2015555524 A JP 2015555524A JP 6139706 B2 JP6139706 B2 JP 6139706B2
Authority
JP
Japan
Prior art keywords
group
feature points
correlation
feature
identifying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015555524A
Other languages
English (en)
Other versions
JP2016505181A (ja
Inventor
ユン ゾウ，
ユン ゾウ，
チュヤン ホン，
チュヤン ホン，
ヤンクン ザン，
ヤンクン ザン，
ノーマン ウェイリッチ，
ノーマン ウェイリッチ，
Original Assignee
ハーマン インターナショナル インダストリーズ インコーポレイテッド
ハーマン インターナショナル インダストリーズ インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ハーマン インターナショナル インダストリーズ インコーポレイテッド, ハーマン インターナショナル インダストリーズ インコーポレイテッド filed Critical ハーマン インターナショナル インダストリーズ インコーポレイテッド
Publication of JP2016505181A publication Critical patent/JP2016505181A/ja
Application granted granted Critical
Publication of JP6139706B2 publication Critical patent/JP6139706B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Description

本出願は、概して、移動物体検出方法及び移動物体検出システムに関する。
今日では、歩行者及び車両等の移動物体を検出するための多くの画像に基づく検出方法があり、これらの方法を用いて、車両周辺の移動物体を検出し、運転者に検出された移動物体に気づかせ、このようにして交通事故の可能性を減少させることができる。しかしながら、従来の検出方法は、誤検知を低減するために反復アルゴリズムを用い、この演算は複雑である。したがって、より効率的な移動物体検出方法及びシステムが必要とされる。
一実施形態では、移動物体検出方法が提供される。移動物体検出方法は、複数の映像フレームに基づいて複数の特徴点を特定することと、複数の特徴点から選択して、複数の特徴点の間の相関に基づいて、特徴点の第１のグループ及び第２のグループを形成することと、少なくとも１つの映像フレーム中で、検出された移動物体として、特徴点の第１のグループ及び第２のグループに基づいて、２つのセグメントを特定することと、を含み得、２つの特徴点の間の相関は、距離成分と移動差分成分とを含み得、距離成分は、２つの特徴点の間の距離に関連し、移動差分成分は、２つの特徴点の対応する移動の間の差分に関連する。
いくつかの実施形態では、２つの特徴点の間の相関は、等式（１）：
に従って計算され得、式中、Ｃ１２は、２つの特徴点Ｐ１及びＰ２の間の相関を表し、
ｄｓ１２は、２つの特徴点の間の距離を表し、
ｄｖ１２は、２つの特徴点の間の移動差分を表し、
σｄｉｓ及びσｖは、それぞれ、距離及び移動の統計的分散を表す。
いくつかの実施形態では、ｄｓ１２がσｄｉｓよりも大きい場合、または、ｄｖ１２がσｖの２倍よりも大きい場合、相関Ｃ１２はゼロに設定され得る。このようにして、「緩慢な」関係を有する特徴点のための相関計算は回避され、それによって演算の負荷及び複雑さを軽減し得る。
いつくかの実施形態では、σｄｉｓは
の範囲内の値に設定され得、式中、Ｗは映像フレームの幅を表し、Ｈは映像フレームの高さを表す。いくつかの実施形態では、σｖは６〜１０の範囲内の値に設定され得る。
いくつかの場合では、異なるグループが共通の特徴点を有し得る。いくつかの実施形態では、本方法は、第１のグループ及び第２のグループが共通の特徴点を有する場合、特徴点の第１のグループから、第１のグループの他の特徴点との相関の最大の和を有する、第１の基準点を特定することと、特徴点の第２のグループから、第２のグループの他の特徴点との相関の最大の和を有する、第２の基準点を特定することと、第１のグループ及び第２のグループのうち、その基準点が共通の特徴点とのより大きな相関を有する方に、共通の特徴点を分類して、特徴点の更新された第１のグループ及び第２のグループを取得することと、によって、共通の特徴点を第１のグループ及び第２のグループのうちの一方に分類することをさらに含み得、２つのセグメントは、更新された第１のグループ及び第２のグループに基づいて特定され得る。
いくつかの実施形態では、第１の基準点はまた、第１のグループのそれぞれの特徴点に対して、第１のグループの他の特徴点とのその相関の和を計算することと、第１のグループ中で、相関の最大の和を有する特徴点の所定の割合を特定することと、特徴点の所定の割合のそれぞれの特徴点に対して、特徴点の所定の割合の他の特徴点とのその相関の和を計算することと、特徴点の所定の割合の他の特徴との相関の最大の和を有する第１の基準点を特定することと、によって特定され得る。同方法を用いて、第２の基準点を特定することができる。
いくつかの実施形態では、特徴点の所定の割合は、第１グループ中の特徴点の半数であり得る。割合の値は、演算負荷等の特定の条件及び要件に応じて設定され得る。
いくつかの実施形態では、映像フレームをキャプチャするためのカメラの移動を表す基本行列を用いて、移動物体の検出を精密化することができる。いくつかの実施形態では、本方法は、ＲＡＮＳＡＣベースのホモグラフィーを用いて主要平面を特定することと、主要平面上の特徴点に基づいて、基本行列を計算することと、特徴点の更新された第１のグループ及び第２のグループの移動が基本行列に適合するかどうかを判定して、特徴点のグループの移動が基本行列に適合する場合、特徴点のグループに基づいて特定された物体を静止物体として大別することと、をさらに含み得る。
一実施形態では、移動物体検出方法が提供される。移動物体検出方法は、複数の映像フレームに基づいて複数の特徴点を特定することと、複数の特徴点から選択して、複数の特徴点の間の相関に基づいて、特徴点のグループを形成することと、少なくとも１つの映像フレーム中で、検出された移動物体として、特徴点のグループに基づいてセグメントを特定することと、を含み得、２つの特徴点の間の相関は、距離成分と移動差分成分とを含み得、距離成分は、２つの特徴点の間の距離に関連し、移動差分成分は、２つの特徴点の対応する移動の間の差分に関連する。
本出願の一実施形態では、移動物体検出システムが提供される。移動物体検出方法は、処理装置であって、複数の映像フレームに基づいて複数の特徴点を特定し、複数の特徴点から選択して、複数の特徴点の間の相関に基づいて、特徴点の第１のグループ及び第２のグループを形成し、少なくとも１つの映像フレーム中で、検出された移動物体として、特徴点の第１のグループ及び第２のグループに基づいて、２つのセグメントを特定する、ように構成された、処理装置を含み得、２つの特徴点の間の相関は、距離成分と移動差分成分とを含み得、距離成分は、２つの特徴点の間の距離に関連し、移動差分成分は、２つの特徴点の対応する移動の間の差分に関連する。
いくつかの実施形態では、移動物体検出システムは、映像フレームをキャプチャするためのカメラをさらに含み得る。
いくつかの実施形態では、２つの特徴点の間の相関は、等式（１）：
に従って計算され得、式中、Ｃ１２は、２つの特徴点Ｐ１及びＰ２の間の相関を表し、
ｄｓ１２は、２つの特徴点の間の距離を表し、
ｄｖ１２は、２つの特徴点の間の移動差分を表し、
σｄｉｓ及びσｖは、それぞれ、距離及び移動の統計的分散を表す。
いくつかの実施形態では、ｄｓ１２がσｄｉｓよりも大きい場合、または、ｄｖ１２がσｖの２倍よりも大きい場合、相関Ｃ１２はゼロに設定され得る。このようにして、「緩慢な」関係を有する特徴点のための相関計算は回避され、それによって演算の負荷及び複雑さを軽減し得る。
いつくかの実施形態では、σｄｉｓは
の範囲内の値に設定され得、式中、Ｗは映像フレームの幅を表し、Ｈは映像フレームの高さを表す。いくつかの実施形態では、σｖは６〜１０の範囲内の値に設定され得る。
いくつかの場合では、異なるグループが共通の特徴点を有し得る。いくつかの実施形態では、処理装置は、第１のグループ及び第２のグループが共通の特徴点を有するかどうかを確認し、「はい」ならば、特徴点の第１のグループから、第１のグループの他の特徴点との相関の最大の和を有する、第１の基準点を特定し、特徴点の第２のグループから、第２のグループの他の特徴点との相関の最大の和を有する、第２の基準点を特定し、第１のグループ及び第２のグループのうち、その基準点が共通の特徴点とのより大きな相関を有する方に、共通の特徴点を分類して、特徴点の更新された第１のグループ及び第２のグループを取得する、ようにさらに構成され得、２つのセグメントは、特徴点の更新された第１のグループ及び第２のグループに基づいて特定され得る。
いくつかの実施形態では、処理装置は、第１のグループ及び第２のグループが共通の特徴点を有するかどうかを確認し、「はい」ならば、第１のグループのそれぞれの特徴点に対して、第１のグループの他の特徴点とのその相関の和を計算し、第１のグループ中で、相関の最大の和を有する特徴点の所定の割合を特定して、特徴点の第３のグループを取得し、特徴点の第３のグループのそれぞれの特徴点に対して、特徴点の第３のグループの他の特徴点とのその相関の和を計算し、第１のグループに対して、特徴点の第３のグループの他の特徴点との相関の最大の和を有する第１の基準点を特定し、第２のグループのそれぞれの特徴点に対して、第２のグループの他の特徴との相関の和を計算し、第２のグループ中で、相関の最大の和を有する特徴点の所定の割合を特定して、特徴点の第４のグループを取得し、特徴点の第４のグループのそれぞれの特徴点に対して、特徴点の第４のグループの他の特徴点との相関の和を計算し、第２のグループに対して、特徴点の第４のグループの他の特徴点との相関の最大の和を有する第２の基準点を特定し、第１のグループ及び第２のグループのうち、その基準点が共通の特徴点とのより大きな相関を有する方に、共通の特徴点を分類し、特徴点の更新された第１のグループ及び第２のグループを取得する、ようにさらに構成され得、２つのセグメントは、特徴点の更新された第１のグループ及び第２のグループに基づいて特定され得る。
いくつかの実施形態では、特徴点の所定の割合は、第１グループ中の特徴点の半数であり得る。割合の値は、演算負荷等の特定の条件及び要件に応じて設定され得る。
いくつかの実施形態では、映像フレームをキャプチャするためのカメラの移動を表す基本行列を用いて、移動物体の検出を精密化することができる。いくつかの実施形態では、処理装置は、ＲＡＮＳＡＣベースのホモグラフィーを用いて主要平面を特定し、主要平面上の特徴点に基づいて、基本行列を計算し、特徴点のグループの移動が基本行列に適合する場合、特徴点のグループに基づいて特定された物体を静止物体として大別する、ようにさらに構成され得る。
本出願の一実施形態では、移動物体検出システムが提供される。移動物体検出方法は、処理装置であって、複数の映像フレームに基づいて複数の特徴点を特定し、複数の特徴点から選択して、複数の特徴点の間の相関に基づいて、特徴点のグループを形成し、少なくとも１つの映像フレームの中で、検出された移動物体として、特徴点のグループに基づいたセグメントを特定する、ようにさらに構成された処理装置を含み得、２つの特徴点の間の相関は、距離成分と移動差分成分とを含み得、距離成分は、２つの特徴点の間の距離に関連し、移動差分成分は、２つの特徴点の対応する移動の間の差分に関連する。
本出願の一実施形態では、移動物体検出システムが提供される。移動物体検出システムは、処理装置であって、複数の映像フレームに基づいて複数の特徴点を特定し、複数の特徴点から選択して、複数の特徴点の間の相関に基づいて、特徴点の第１のグループ及び第２のグループを形成し、少なくとも１つの映像フレーム中で、検出された移動物体として、特徴点の第１のグループ及び第２のグループに基づいて、２つのセグメントを特定する、ための処理装置を含み得、２つの特徴点の間の相関は、距離成分と移動差分成分とを含み得、距離成分は、２つの特徴点の間の距離に関連し、移動差分成分は、２つの特徴点の対応する移動の間の差分に関連する。
本出願の一実施形態では、移動物体検出システムが提供される。移動物体検出システムは、処理装置であって、複数の映像フレームに基づいて複数の特徴点を特定し、複数の特徴点から選択して、複数の特徴点の間の相関に基づいて、特徴点の第１のグループ及び第２のグループを形成し、第１のグループ及び第２のグループが共通の特徴点を有するかどうかを確認し、「はい」ならば、特徴点の第１のグループから、第１のグループの他の特徴点との相関の最大の和を有する、第１の基準点を特定し、特徴点の第２のグループから、第２のグループの他の特徴点との相関の最大の和を有する、第２の基準点を特定し、第１のグループ及び第２のグループのうち、その基準点が共通の特徴点とのより大きな相関を有する方に、共通の特徴点を分類して、共通の特徴点を有しない特徴点の更新された第１のグループ及び第２のグループを取得し、少なくとも１つの映像フレーム中で、検出された移動物体として、それぞれ特徴点の更新された第１のグループ及び第２のグループに基づいて、２つのセグメントを特定する、ための処理装置を含み得る。
本出願の一実施形態では、移動物体を検出するためのコンピュータプログラムを中に記憶するコンピュータ可読媒体が提供される。コンピュータプログラムがプロセッサによって実行されるとき、プロセッサは、複数の映像フレームに基づいて複数の特徴点を特定することと、複数の特徴点から選択して、複数の特徴点の間の相関に基づいて、特徴点の第１のグループ及び第２のグループを形成することと、少なくとも１つの映像フレーム中で、検出された移動物体として、特徴点の第１のグループ及び第２のグループに基づいて、２つのセグメントを特定することと、を含む、移動物体検出方法を実行するように命令され得、２つの特徴点の間の相関は、距離成分と移動差分成分とを含み得、距離成分は、２つの特徴点の間の距離に関連し、移動差分成分は、２つの特徴点の対応する移動の間の差分に関連する。
本出願の一実施形態では、移動物体を検出するためのコンピュータプログラムを中に記憶するコンピュータ可読媒体が提供される。コンピュータプログラムがプロセッサによって実行されるとき、プロセッサは、複数の映像フレームに基づいて複数の特徴点を特定することと、複数の特徴点から選択して、複数の特徴点の間の相関に基づいて、特徴点のグループを形成することと、少なくとも１つの映像フレーム中で、検出された移動物体として、特徴点のグループに基づいてセグメントを特定することと、を含む、移動物体検出方法を実行するように命令され得、２つの特徴点の間の相関は、距離成分と移動差分成分とを含み得、距離成分は、２つの特徴点の間の距離に関連し、移動差分成分は、２つの特徴点の対応する移動の間の差分に関連する。
本出願の一実施形態では、移動物体を検出するためのコンピュータプログラムを中に記憶するコンピュータ可読媒体が提供される。コンピュータプログラムがプロセッサによって実行されるとき、プロセッサは、複数の映像フレームに基づいて複数の特徴点を特定することと、複数の特徴点から選択して、複数の特徴点の間の相関に基づいて、特徴点の第１のグループ及び第２のグループを形成することと、第１のグループ及び第２のグループが共通の特徴点を有するかどうかを確認し、「はい」ならば、特徴点の第１のグループ及び第２のグループとのその相関に基づいて、共通の特徴点を第１のグループ及び第２のグループに分類して、共通の特徴点を有しない更新された第１のグループ及び第２のグループを取得することと、少なくとも１つの映像フレーム中で、検出された移動物体として、特徴点の更新された第１のグループ及び第２のグループによって画定された２つのセグメントを特定することと、を含む、移動物体検出方法を実行するように命令され得る。
従来の方法と比較して、本出願の方法は、より低い演算複雑性を有し、このようにして、移動物体検出の効率が改善される。
例えば、本願発明は以下の項目を提供する。
（項目１）
移動物体検出方法であって、
複数の映像フレームに基づいて複数の特徴点を特定することと、
前記複数の特徴点から選択して、前記複数の特徴点の間の相関に基づいて、特徴点の第１のグループ及び第２のグループを形成することと、
少なくとも１つの映像フレーム中で、検出された移動物体として、それぞれ特徴点の前記第１のグループ及び前記第２のグループに基づいて、２つのセグメントを特定することと、を含み、
２つの特徴点の間の相関が、距離成分と移動差分成分とを含み、前記距離成分が、前記２つの特徴点の間の距離に関連し、前記移動差分成分が、前記２つの特徴点の対応する移動の間の差分に関連する、方法。
（項目２）
２つの特徴点の間の相関が、等式（１）：

に従って計算され得、式中、Ｃ １２ は、２つの特徴点Ｐ １ 及びＰ ２ の間の相関を表し、
ｄｓ １２ は、前記２つの特徴点の間の距離を表し、
ｄｖ １２ は、前記２つの特徴点の間の移動差分を表し、
σ ｄｉｓ 及びσ ｖ は、それぞれ、距離及び移動の統計的分散を表す、項目１に記載の方法。
（項目３）
ｄｓ １２ がσ ｄｉｓ よりも大きい場合、または、ｄｖ １２ がσ ｖ の２倍よりも大きい場合、前記相関Ｃ １２ がゼロに設定される、項目２に記載の方法。
（項目４）
σ ｄｉｓ が

の範囲内の値に設定され、式中、Ｗが前記映像フレームの幅を表し、Ｈが前記映像フレームの高さを表す、項目３に記載の方法。
（項目５）
σ ｖ が６〜１０の範囲内の値に設定される、項目３に記載の方法。
（項目６）
前記第１のグループ及び前記第２のグループが共通の特徴点を有するかどうかを確認し、「はい」ならば、
特徴点の前記第１のグループから、前記第１のグループの他の特徴点との相関の最大の和を有する、第１の基準点を特定することと、
特徴点の前記第２のグループから、前記第２のグループの他の特徴点との相関の最大の和を有する、第２の基準点を特定することと、
前記第１のグループ及び前記第２のグループのうち、その基準点が前記共通の特徴点とのより大きな相関を有する方に、前記共通の特徴点を分類して、特徴点の更新された第１のグループ及び第２のグループを取得することと、をさらに含み、前記２つのセグメントが、前記更新された第１のグループ及び前記第２のグループに基づいて特定される、項目１に記載の方法。
（項目７）
前記第１のグループ及び前記第２のグループが共通の特徴点を有するかどうかを確認し、「はい」ならば、
前記第１のグループのそれぞれの特徴点に対して、前記第１のグループの他の特徴点とのその相関の和を計算することと、
前記第１のグループから、相関の最大の和を有する特徴点の所定の割合を特定して、特徴点の第３のグループを取得することと、
前記第３のグループのそれぞれの特徴点に対して、前記第３のグループの他の特徴点とのその相関の和を計算することと、
前記第１のグループに対して、前記第３のグループの他の特徴点との相関の最大の和を有する第１の基準点を特定することと、
前記第２のグループのそれぞれの特徴点に対して、前記第２のグループの他の特徴とのその相関の和を計算することと、
前記第２のグループから、相関の最大の和を有する特徴点の前記所定の割合を特定して、特徴点の第４のグループを取得することと、
前記第４のグループのそれぞれの特徴点に対して、前記第４のグループの他の特徴点とのその相関の和を計算することと、
前記第２のグループに対して、前記第４のグループの他の特徴点との相関の最大の和を有する第２の基準点を特定することと、
前記第１のグループ及び前記第２のグループのうち、その基準点が前記共通の特徴点とのより大きな相関を有する方に、前記共通の特徴点を分類して、共通の特徴点を有しない更新された第１のグループ及び第２のグループを取得することと、をさらに含む、項目１に記載の方法。
（項目８）
前記所定の割合が５０％である、項目７に記載の方法。
（項目９）
ＲＡＮＳＡＣベースのホモグラフィーを用いて主要平面を特定することと、
前記主要平面上の特徴点に基づいて、基本行列を計算することと、
特徴点の前記第１のグループ及び前記第２のグループの移動が前記基本行列に適合するかどうかを判定して、特徴点のグループの移動が前記基本行列に適合する場合、特徴点の前記グループに基づいて特定された物体を静止物体として分類することと、をさらに含む、項目１に記載の方法。
（項目１０）
移動物体検出システムであって、
カメラと、
処理装置であって、
前記カメラによってキャプチャされた複数の映像フレームに基づいて複数の特徴点を特定し、
前記複数の特徴点から選択して、前記複数の特徴点の間の相関に基づいて、特徴点の第１のグループ及び第２のグループを形成し、
少なくとも１つの映像フレーム中で、検出された移動物体として、それぞれ特徴点の前記第１のグループ及び前記第２のグループに基づいて、２つのセグメントを特定するように構成された、処理装置と、を備え、
２つの特徴点の間の相関が、距離成分と移動差分成分とを含み、前記距離成分が、前記２つの特徴点の間の距離に関連し、前記移動差分成分が、前記２つの特徴点の対応する移動の間の差分に関連する、移動物体検出システム。
（項目１１）
２つの特徴点の間の相関が、等式（１）：

に従って計算され得、式中、Ｃ １２ は、２つの特徴点Ｐ １ 及びＰ ２ の間の相関を表し、
ｄｓ １２ は、前記２つの特徴点の間の前記距離を表し、
ｄｖ １２ は、前記２つの特徴点の間の前記移動差分を表し、
σ ｄｉｓ 及びσ ｖ は、それぞれ、距離及び移動の統計的分散を表す、項目１０に記載の移動物体検出システム。
（項目１２）
ｄｓ １２ がσ ｄｉｓ よりも大きい場合、または、ｄｖ １２ がσ ｖ の２倍よりも大きい場合、前記相関Ｃ １２ がゼロに設定される、項目１１に記載の移動物体検出システム。
（項目１３）
σ ｄｉｓ が

の範囲内の値に設定され、式中、Ｗが前記映像フレームの幅を表し、Ｈが前記映像フレームの高さを表す、項目１２に記載の移動物体検出システム。
（項目１４）
σ ｖ が６〜１０の範囲内の値に設定される、項目１２に記載の移動物体検出システム。
（項目１５）
前記処理装置が、
前記第１のグループ及び前記第２のグループが共通の特徴点を有するかどうかを確認し、「はい」ならば、
特徴点の前記第１のグループから、前記第１のグループの他の特徴点との相関の最大の和を有する、第１の基準点を特定し、
特徴点の前記第２のグループから、前記第２のグループの他の特徴点との相関の最大の和を有する、第２の基準点を特定し、
前記第１のグループ及び前記第２のグループのうち、その基準点が前記共通の特徴点とのより大きな相関を有する方に、前記共通の特徴点を分類して、特徴点の更新された第１のグループ及び第２のグループを取得する、ようにさらに構成され、前記２つのセグメントが、特徴点の前記更新された第１のグループ及び前記第２のグループに基づいて特定される、項目１０に記載の移動物体検出システム。
（項目１６）
前記処理装置が、
前記第１のグループ及び前記第２のグループが共通の特徴点を有するかどうかを確認し、「はい」ならば、
前記第１のグループのそれぞれの特徴点に対して、前記第１のグループの他の特徴点とのその相関の和を計算し、
前記第１のグループから、相関の最大の和を有する特徴点の所定の割合を特定して、特徴点の第３のグループを取得し、
前記第３のグループのそれぞれの特徴点に対して、前記第３のグループの他の特徴点とのその相関の和を計算し、
前記第１のグループに対して、前記第３のグループの他の特徴点との相関の最大の和を有する第１の基準点を特定し、
前記第２のグループのそれぞれの特徴点に対して、前記第２のグループの他の特徴との相関の和を計算し、
前記第２のグループから、相関の最大の和を有する特徴点の前記所定の割合を特定して、特徴点の第４のグループを取得し、
前記第４のグループのそれぞれの特徴点に対して、前記第４のグループの他の特徴点とのその相関の和を計算し、
前記第２のグループに対して、前記第４のグループの他の特徴点との相関の最大の和を有する第２の基準点を特定し、
前記第１のグループ及び前記第２のグループのうち、その基準点が前記共通の特徴点とのより大きな相関を有する方に、前記共通の特徴点を分類し、共通の特徴点を有しない更新された第１のグループ及び第２のグループを取得する、ようにさらに構成される、項目１０に記載の移動物体検出システム。
（項目１７）
前記所定の割合が５０％である、項目１６に記載の移動物体検出システム。
（項目１８）
前記処理装置が、
ＲＡＮＳＡＣベースのホモグラフィーを用いて主要平面を特定し、
前記主要平面上の特徴点に基づいて、基本行列を計算し、
特徴点の前記第１のグループ及び前記第２のグループの移動が前記基本行列に適合するかどうかを判定して、特徴点のグループの移動が前記基本行列に適合する場合、特徴点の前記グループに基づいて特定された物体を静止物体として分類する、ようにさらに構成される、項目１０に記載の移動物体検出システム。
（項目１９）
移動物体検出方法であって、
複数の映像フレームに基づいて複数の特徴点を特定することと、
前記複数の特徴点から選択して、前記複数の特徴点の間の相関に基づいて、特徴点のグループを形成することと、
前記複数の映像フレームのうちの少なくとも１つの中で、移動物体として、特徴点の前記グループによって画定されたセグメントを特定することと、を含み、
２つの特徴点の間の相関が、距離成分と移動差分成分とを含み、前記距離成分が、前記２つの特徴点の間の距離に関連し、前記移動差分成分が、前記２つの特徴点の対応する移動の間の差分に関連する、方法。
本開示の上記及び他の特徴は、添付の図面と併せて以下の説明及び添付の特許請求の範囲からより完全に明らかになるであろう。これらの図面が、本開示に従ったいくつかの実施形態のみを描写し、したがって、その範囲を限定するものと見なされるべきではないことを理解して、本開示は、添付の図面の使用を通じてさらに具体的かつ詳細に説明される。
本出願の一実施形態による移動物体検出方法の概略フローチャートを図解する。 本出願の一実施形態による第１のグループ中で第１の基準点を特定するための方法の概略フローチャートを図解する。 本出願の一実施形態による第１のグループ中で第１の基準点を特定するための方法の概略フローチャートを図解する。 共通の特徴点を有する特徴点の２つのグループの例を図解する。 図４に図解されるようなグループの基準点との特徴点の相関を示す表１を図解する。 共通の特徴点を有しない２つの更新されたグループの例を図解する。
以下の詳細な説明では、本明細書の一部を形成する添付の図面を参照する。文脈が別様に指示しない限り、図面において、同様の符号は、典型的には、同様の構成要素を特定する。詳細な説明、図面、及び特許請求の範囲に記載の例示的な実施形態は限定を意図するものではない。本明細書に提示される主題の趣旨または範囲から逸脱することなく、他の実施形態が利用されてもよく、他の変更がなされてもよい。また、本開示の態様は、概して、本明細書に記載され、図に図解されるように、多種多様な異なる構成において、配列され、置換され、組み合わされ、設計され得、それらの構成のすべてが明示的に企図され、本開示の部分をなすことが、容易に理解されるであろう。
図１を参照して、本出願の一実施形態による移動物体検出方法Ｓ１０の概略フローチャートを図解する。
Ｓ１１では、複数の映像フレームを取得する。いくつかの実施形態では、本方法を用いて、車両周辺の移動物体を検出するとき、車両上に搭載された単眼カメラを用いて、移動物体の検出のために映像フレームをキャプチャし得る。いくつかの実施形態では、複数の映像フレームは、等間隔の時間点でキャプチャされ得る。いくつかの実施形態では、複数の映像フレームは、所定の時間間隔でキャプチャされ得る。
Ｓ１２では、複数の映像フレームに基づいて、複数の特徴点を特定する。いくつかの実施形態では、複数の特徴点は、特徴点の検出及び追跡方法を用いて特定され得る。
いくつかの実施形態では、Ｔｏｍａｓｉ及びＳｈｉによって提案された「追跡するために好適な特徴（Ｇｏｏｄ Ｆｅａｔｕｒｅｓ ｔｏ Ｔｒａｃｋ）」方法を用いて、映像フレームから複数の特徴点を検出することができる。いくつかの実施形態では、Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉ（ＫＬＴ）追跡方法を用いて、複数の映像フレームから検出された特徴点を追跡することができる。上記特徴点検出及び追跡方法は、当業者に周知であり、本明細書に詳細に記載されていない。「追跡するために好適な特徴」方法及びＫＬＴ追跡方法の他に、他の特徴点検出及び追跡方法を用いてもよい。
Ｓ１３では、基本行列を計算する。
いくつかの実施形態では、映像フレームをキャプチャするためのカメラの移動を表す基本行列を用いて、移動物体の検出を精密化することができる。いくつかの実施形態では、静的特徴点のグループは、にＲＡＮＳＡＣ基ずいたホモグラフィーを用いて特定され得る。次いで、基本行列によって表される消失点によるカメラの移動は、静的特徴点のグループに基づいて計算され得る。基本行列の計算は、当業界で周知であるので、本明細書では詳細には説明しない。
Ｓ１４では、あらゆる２つの特徴点に対する相関を、それらの距離及び移動差分に基づいて、計算する。
いくつかの実施形態では、特徴点Ｐ１（ｘ１ｎ、ｙ１ｎ）及びＰ２（ｘ２ｎ、ｙ２ｎ）は、映像フレーム中で無作為に選択され得、式中、（ｘ１ｎ、ｙ１ｎ）はＰ１の座標を表し、（ｘ２ｎ、ｙ２ｎ）はＰ２の座標を表し、ｎは、対応する追跡映像フレームのフレームインデックスを表す。いくつかの実施形態では、２つの特徴点のＰ１とＰ２との間の相関Ｃ１２は、等式（１）：
この場合、等式（１）に従って計算され得、式中、演算子「ｅｘｐ」は指数関数を表し、
ｄｓ１２は、２つの特徴点Ｐ１とＰ２との間のユークリッド距離を表し、ｄｓ１２＝（ｘ１ｎ−ｘ２ｎ）２＋（ｙ１ｎ−ｙ２ｎ）２によって与えられ得、
ｄｖ１２は、２つの特徴点Ｐ１とＰ２の蓄積された運動ベクトルを表し、これは等式（２）：
によって与えられ得、式中、
は、Ｐ１の運動ベクトルを表し、
はＰ２の運動ベクトルを表し、
は、それぞれｊ＋１のフレームインデックスを有する映像フレーム中の、Ｐ１及びＰ２の座標であり、
は、それぞれフレームインデックスｊを有する映像フレーム中の、Ｐ１及びＰ２の座標であり、
σｄｉｓ及びσｖは、それぞれ、距離及び運動ベクトルの統計的分散を表す。
いくつかの実施形態では、ユークリッド距離以外の他に、ｄｓ１２はまた、絶対距離（ＳＡＤ）の和または自乗距離（ＳＳＤ）の和であり得る。いくつかの実施形態では、ｄｖ１２はまた、運動ベクトルのｌ２ Ｎｏｒｍ距離または運動ベクトルの正規化内積であり得る。
Ｓ１５では、複数の特徴点から選択して、計算された相関に基づいて、特徴点の第１のグループ及び第２のグループを形成する。いくつかの実施形態では、グループは、グループ内のあらゆる２つの特徴点がゼロより大きい相関を有するように形成される。いくつかの実施形態では、グループは、グループ内のあらゆる２つの特徴点が所定の値より大きい相関を有するように形成され得る。
いくつかの実施形態では、２つの特徴点の間の距離が所定の第１の閾値よりも大きい場合、または、２つの特徴点の間の移動差分が所定の第２の閾値よりも大きい場合、２つの特徴点の相関はゼロに設定され得る。
いくつかの実施形態では、ｄｓ１２がσｄｉｓよりも大きい（ｄｓ１２＞σｄｉｓ）場合、相関Ｃ１２はゼロに設定され得る。
σｄｉｓがキャプチャされた映像フレームの解像度に基づいて設定され得ることに留意されたい。いくつかの実施形態では、σｄｉｓが
の範囲内の値に設定され得、式中、Ｗは映像フレームの幅を表し、Ｈは映像フレームの高さを表す。σｄｉｓの動的範囲は、キャプチャされた映像フレームの解像度に基づいて変更され得る。
いくつかの実施形態では、ｄｖ１２がσｖ（ｄｖ１２＞２σｖ）の２倍よりも大きい場合、相関Ｃ１２はゼロに設定され得る。
いくつかの実施形態では、σｖは、車両の速度に基づいて設定され得る。いくつかの実施形態では、車両が、例えば、２０ｋｍ／ｈ未満の低速で走行する場合、σｖは６〜１０の範囲内の値に設定され得る。
これを行うことにより、２つの特徴点Ｐ１及びＰ２が「緩慢な関係」、例えば、ｄｓ１２＞σｄｉｓまたはｄｖ１２＞２σｖを有する場合、２つの特徴点Ｐ１及びＰ２の相関Ｃ１２が計算され得、それによって、計算量は低減される。
いくつかの実施形態では、２つの異なるグループが共通の特徴点を有し得る。本出願の一実施形態は、共通の特徴点を第１のグループ及び第２のグループのうちの一方に分類すための方法をさらに提供し、それは、Ｓ１６〜Ｓ１８に図解される。
Ｓ１６では、特徴点の第１のグループの位置及び移動を実質的に表し得る特徴点の第１のグループから、第１の基準点を特定する。
いくつかの実施形態では、相関の最大の和を有する特徴点が基準点としての機能を果たす場合。その基準点は、その基準点が属するグループの位置及び移動を実質的に表し得る。いくつかの実施形態では、特徴点ＰｊがグループＧを実質的に表し得る場合、それは、等式（３）：
として表され得るエネルギー最大化を満たすべきであり、式中、「ａｒｇｍａｘ」は、最大値の引数、すなわち、関数
がその最大値に達するための所与の引数の点の集合を表す。
図２は、本出願の一実施形態による第１のグループ中で第１の基準点を特定するための方法Ｓ１６の概略フローチャートを図解する。方法Ｓ１６は、Ｓ１６０１において、第１のグループのそれぞれの特徴点に対して、第１のグループの他の特徴点とのその相関の和を計算することと、Ｓ１６０２において、第１のグループの他の特徴点との相関の最大の和を有する、第１の基準点を特定することと、を含む。
Ｓ１７では、特徴点の第２のグループの位置及び移動を実質的に表し得る特徴点の第２のグループから、第２の基準点を特定する。
第２のグループの第２の基準点を特定することは、第１のグループの第１の基準点を特定することに類似しており、本明細書では詳細に説明されない。
映像フレームは、グループの基準点を特定する正確性に影響を与えるようなノイズ点等のいくつかの「無関係な」情報を含み得るので、それ故、特徴点のグループの基準点を特定するための、よりロバストな方法が必要とされる。図３は、第１のグループ中で第１の基準点を特定するための別の方法の概略フローチャートを図解する。
図３を参照して、Ｓ１６１１では、第１のグループのそれぞれの特徴点に対して、第１のグループの他の特徴点とのその相関の和を計算する。より良い理解のために、第１のグループがＮ個の特徴点を含むことを想定する。
Ｓ１６１２では、第１のグループ中で、相関の最大の和を有する特徴点の所定の割合を特定する。割合の値は、演算負荷等の特定の条件及び要件に応じて設定され得る。いくつかの実施形態では、Ｓ１６１１における計算された結果によれば、第１のグループの相関の最大の和を有するＭ個の特徴点が選択され得、ＭはＮよりも小さい。いくつかの実施形態では、ＭはＮの半分であり得る。
Ｓ１６１３では、特徴点の所定の割合のそれぞれの特徴点に対して、特徴点の所定の割合の他の特徴点とのその相関の和を計算する。言い換えれば、Ｍ個の特徴点のそれぞれの特徴点の、Ｍ個の特徴点の他の特徴点との相関の和が計算される。
Ｓ１６１４では、特徴点の所定の割合の他の特徴との相関の最大の和を有する第１の基準点を特定する。第１の基準点は、第１グループの位置及び移動を実質的に表し得る。
Ｓ１６１１〜Ｓ１６１４によって、ノイズ点によって引き起こされる干渉を低減し得る。Ｓ１６１１〜Ｓ１６１４はまた、第２の基準点を特定するために用いることができることに留意されたい。
図４は、共通の特徴点を有する２つのグループの例を図解する。図４を参照すると、２つのグループ（例えば、Ｇ１及びＧ２）が存在し、特徴点Ｐ２は、Ｇ１及びＧ２の共通の特徴点である。特徴点の２つのグループが共通の特徴点を有する場合、２つのグループに対応する検出された移動物体は重複領域を有することになる。より明確に移動物体をセグメント化するために、共通の特徴点は、１つのグループにのみ分類する必要がある。
図５は、図４に図解されるような２つのグループの基準点との特徴点Ｐ１〜Ｐ３の相関を示す表１を図解する。表１において、Ｌ１及びＬ２は、それぞれグループＧ１及びＧ２の基準点を表す。Ｐ１〜Ｐ３のグループＧ１及びＧ２との相関は、それぞれＰ１〜Ｐ３の基準点Ｌ１及びＬ２との相関によって表され得る。
Ｐ２を例に取ると、Ｐ２の２つの基準点Ｌ１及びＬ２との相関は、等式（１）を用いて計算され得るＣ２Ｌ１及びＣ２Ｌ２であり得る。Ｐ２がグループＧ１及びＧ２に属するので、Ｃ２Ｌ１及びＣ２Ｌ２はゼロと等しくない。Ｐ１がグループＧ２に属さず、Ｐ３がＧ１に属さないので、Ｃ１Ｌ２及びＣ３Ｌ１はゼロと等しい。
Ｓ１８では、第１のグループ及び第２のグループのうち、その基準点が共通の特徴点とのより大きな相関を有する方に、共通の特徴点を分類する。
いくつかの実施形態では、特徴点が、特徴点が共通の特徴点である複数のグループのうちの１つに分類される場合、それは、等式（４）：
として表され得る相関の最大化を満たすものとし、式中、「ａｒｇｍａｘ」は、最大値の引数、すなわち、関数Ｃｐｌがその最大値に達するための所与の引数の点の集合を表す。
Ｃｐｌは、特徴点Ｐの、特徴点Ｐが属するグループの基準点との相関を表す。
いくつかの実施形態では、複数のグループが共通の特徴点を有する場合、複数のグループのうち、その基準点が共通の特徴点との最大の相関を有する１つに分類されて、共通の特徴点を有しない複数の更新されたグループを取得し得る。
図６は、共通の特徴点を有しない２つの更新されたグループの例を図解する。Ｐ２の場合は、Ｃ２Ｌ２がＣ２Ｌ１よりも大きいことを想定して、Ｐ２はグループＧ２に属するものとして特定される。
異なるグループ間で共通する特徴点が存在しない場合は、Ｓ１６〜Ｓ１８が任意選択的であることに留意されたい。この場合、第１の移動物体及び第２の移動物体は、特徴点の第１のグループ及び第２のグループに従って少なくとも１つの映像フレーム中で特定され得る。
Ｓ１９では、共通点を有しない特徴点の更新された第１のグループ及び第２のグループに基づいて特定された物体のうちのいずれかが静的であるかどうかを、特徴点のこれらのグループが基本行列に適合するかどうかを判定することよって、判定する。
本出願の発明者は、移動物体のセグメントが完成された後、基本行列を特徴点のグループに適用して、検出率が上昇され、このように移動物体検出の効率が改善され得ることを見出した。
いくつかの実施形態では、特徴点の第１のグループの移動が基本行列に適合する場合、特徴点の第１のグループは静止点として特定される。さもなければ、特徴点の第１のグループの移動が基本行列に適合しない場合、特徴点の第１のグループは移動点として特定される。基本行列はまた、特徴点の第２のグループに適用されて、第２の移動物体の検出を改良することができる。
例えば、基本行列は、図６のグループＧ１’、Ｇ２’、及びＧ３’に適用され得る。移動物体の検出を改良する必要がない場合、Ｓ２０が任意選択的であることに留意されたい。
いくつかの実施形態では、移動物体の検出を精密化するように、反復アルゴリズムを本発明の方法に使用することができる。しかしながら、実験結果によれば、本出願の発明者は、反復なしの本出願の方法が移動物体検出の必要を実質的に満たし得る。したがって、従来技術と比較して、演算の負荷及び複雑さが大幅に低減され、移動物体検出の効率が大幅に改善される。
本開示の実施形態による方法は、移動物体検出システムで実施され得る。いくつかの実施形態では、移動物体検出装置は、車両に搭載されて、車両の近傍で移動物体を検出し得る。
移動物体検出システムは、カメラ及び処理装置を含み得る。カメラは、複数の映像フレームをキャプチャするように適合される。処理装置は、本開示の実施形態によれば、上述の方法を実行するように構成され得る。いくつかの実施形態では、処理装置は、ＣＰＵ、ＧＰＵ、ＤＳＰ等、またはそれらの任意の組み合わせであり得る。いくつかの実施形態では、処理ユニットは、複数のコンピューティングコンポーネントと他のコンポーネントとの組み合わせであり得る。
様々な態様及び実施形態が本明細書に開示されているが、他の態様及び実施形態が当業者には明らかであろう。本明細書で開示される様々な態様及び実施形態は例示の目的のためであり、限定することを意図するものではなく、真の範囲及び趣旨は以下の特許請求の範囲によって示される。

Claims (17)

  1. 移動物体を検出する方法であって、前記方法は、
    複数の映像フレームに基づいて複数の特徴点を特定することと、
    前記複数の特徴点から選択して、前記複数の特徴点の間の相関に基づいて、特徴点の第１のグループ及び第２のグループを形成することと、
    少なくとも１つの映像フレーム中で、検出された移動物体として、それぞれ特徴点の前記第１のグループ及び前記第２のグループに基づいて、２つのセグメントを特定することと
    を含み、
    ２つの特徴点の間の相関は、距離成分と移動差分成分とを含み、前記距離成分は、前記２つの特徴点の間の距離に関連し、前記移動差分成分は、前記２つの特徴点の対応する移動の間の差分に関連し、
    ２つの特徴点の間の相関は、等式（１）：

    に従って計算され、式中、Ｃ １２ は、２つの特徴点Ｐ １ 及びＰ ２ の間の相関を表し、
    ｄｓ １２ は、前記２つの特徴点の間の距離を表し、
    ｄｖ １２ は、前記２つの特徴点の間の移動差分を表し、
    σ ｄｉｓ 及びσ ｖ は、それぞれ、距離及び移動の統計的分散を表す、方法。
  2. ｄｓ１２がσｄｉｓよりも大きい場合、または、ｄｖ１２がσｖの２倍よりも大きい場合、前記相関Ｃ１２がゼロに設定される、請求項１に記載の方法。
  3. σｄｉｓが
    の範囲内の値に設定され、式中、Ｗが前記映像フレームの幅を表し、Ｈが前記映像フレームの高さを表す、請求項２に記載の方法。
  4. σｖが６〜１０の範囲内の値に設定される、請求項２に記載の方法。
  5. 移動物体を検出する方法であって、前記方法は、
    複数の映像フレームに基づいて複数の特徴点を特定することと、
    前記複数の特徴点から選択して、前記複数の特徴点の間の相関に基づいて、特徴点の第１のグループ及び第２のグループを形成することと、
    少なくとも１つの映像フレーム中で、検出された移動物体として、それぞれ特徴点の前記第１のグループ及び前記第２のグループに基づいて、２つのセグメントを特定することと
    を含み、
    ２つの特徴点の間の相関は、距離成分と移動差分成分とを含み、前記距離成分は、前記２つの特徴点の間の距離に関連し、前記移動差分成分は、前記２つの特徴点の対応する移動の間の差分に関連し、
    前記方法は、
    前記第１のグループ及び前記第２のグループが共通の特徴点を有するかどうかを確認し、「はい」ならば、
    特徴点の前記第１のグループから、前記第１のグループの他の特徴点との相関の最大の和を有する、第１の基準点を特定することと、
    特徴点の前記第２のグループから、前記第２のグループの他の特徴点との相関の最大の和を有する、第２の基準点を特定することと、
    前記第１のグループ及び前記第２のグループのうち、その基準点が前記共通の特徴点とのより大きな相関を有する方に、前記共通の特徴点を分類して、特徴点の更新された第１のグループ及び第２のグループを取得することと
    をさらに含み、前記２つのセグメントは、特徴点の前記更新された第１のグループ及び前記第２のグループに基づいて特定される、方法。
  6. 移動物体を検出する方法であって、前記方法は、
    複数の映像フレームに基づいて複数の特徴点を特定することと、
    前記複数の特徴点から選択して、前記複数の特徴点の間の相関に基づいて、特徴点の第１のグループ及び第２のグループを形成することと、
    少なくとも１つの映像フレーム中で、検出された移動物体として、それぞれ特徴点の前記第１のグループ及び前記第２のグループに基づいて、２つのセグメントを特定することと
    を含み、
    ２つの特徴点の間の相関は、距離成分と移動差分成分とを含み、前記距離成分は、前記２つの特徴点の間の距離に関連し、前記移動差分成分は、前記２つの特徴点の対応する移動の間の差分に関連し、
    前記方法は、
    前記第１のグループ及び前記第２のグループが共通の特徴点を有するかどうかを確認し、「はい」ならば、
    前記第１のグループのそれぞれの特徴点に対して、前記第１のグループの他の特徴点とのその相関の和を計算することと、
    前記第１のグループから、相関の最大の和を有する特徴点の所定の割合を特定して、特徴点の第３のグループを取得することと、
    前記第３のグループのそれぞれの特徴点に対して、前記第３のグループの他の特徴点とのその相関の和を計算することと、
    前記第１のグループに対して、前記第３のグループの他の特徴点との相関の最大の和を有する第１の基準点を特定することと、
    前記第２のグループのそれぞれの特徴点に対して、前記第２のグループの他の特徴とのその相関の和を計算することと、
    前記第２のグループから、相関の最大の和を有する特徴点の前記所定の割合を特定して、特徴点の第４のグループを取得することと、
    前記第４のグループのそれぞれの特徴点に対して、前記第４のグループの他の特徴点とのその相関の和を計算することと、
    前記第２のグループに対して、前記第４のグループの他の特徴点との相関の最大の和を有する第２の基準点を特定することと、
    前記第１のグループ及び前記第２のグループのうち、その基準点が前記共通の特徴点とのより大きな相関を有する方に、前記共通の特徴点を分類して、共通の特徴点を有しない更新された第１のグループ及び第２のグループを取得することと
    をさらに含む、方法。
  7. 前記所定の割合が５０％である、請求項６に記載の方法。
  8. ＲＡＮＳＡＣベースのホモグラフィーを用いて主要平面を特定することと、
    前記主要平面上の特徴点に基づいて、基本行列を計算することと、
    特徴点の前記第１のグループ及び前記第２のグループの移動が前記基本行列に適合するかどうかを判定して、特徴点のグループの移動が前記基本行列に適合する場合、特徴点の前記グループに基づいて特定された物体を静止物体として分類することと
    をさらに含む、請求項１〜７のいずれかに記載の方法。
  9. カメラと処理装置とを備えた移動物体検出システムであって、
    前記処理装置は、
    前記カメラによってキャプチャされた複数の映像フレームに基づいて複数の特徴点を特定することと、
    前記複数の特徴点から選択して、前記複数の特徴点の間の相関に基づいて、特徴点の第１のグループ及び第２のグループを形成することと、
    少なくとも１つの映像フレーム中で、検出された移動物体として、それぞれ特徴点の前記第１のグループ及び前記第２のグループに基づいて、２つのセグメントを特定することと
    を行うように構成されており、
    ２つの特徴点の間の相関は、距離成分と移動差分成分とを含み、前記距離成分は、前記２つの特徴点の間の距離に関連し、前記移動差分成分は、前記２つの特徴点の対応する移動の間の差分に関連し、
    ２つの特徴点の間の相関は、等式（１）：

    に従って計算され、式中、Ｃ １２ は、２つの特徴点Ｐ １ 及びＰ ２ の間の相関を表し、
    ｄｓ １２ は、前記２つの特徴点の間の距離を表し、
    ｄｖ １２ は、前記２つの特徴点の間の移動差分を表し、
    σ ｄｉｓ 及びσ ｖ は、それぞれ、距離及び移動の統計的分散を表す、移動物体検出システム。
  10. ｄｓ１２がσｄｉｓよりも大きい場合、または、ｄｖ１２がσｖの２倍よりも大きい場合、前記相関Ｃ１２がゼロに設定される、請求項９に記載の移動物体検出システム。
  11. σｄｉｓが
    の範囲内の値に設定され、式中、Ｗが前記映像フレームの幅を表し、Ｈが前記映像フレームの高さを表す、請求項１０に記載の移動物体検出システム。
  12. σｖが６〜１０の範囲内の値に設定される、請求項１０に記載の移動物体検出システム。
  13. カメラと処理装置とを備えた移動物体検出システムであって、
    前記処理装置は、
    前記カメラによってキャプチャされた複数の映像フレームに基づいて複数の特徴点を特定することと、
    前記複数の特徴点から選択して、前記複数の特徴点の間の相関に基づいて、特徴点の第１のグループ及び第２のグループを形成することと、
    少なくとも１つの映像フレーム中で、検出された移動物体として、それぞれ特徴点の前記第１のグループ及び前記第２のグループに基づいて、２つのセグメントを特定することと
    を行うように構成されており、
    ２つの特徴点の間の相関は、距離成分と移動差分成分とを含み、前記距離成分は、前記２つの特徴点の間の距離に関連し、前記移動差分成分は、前記２つの特徴点の対応する移動の間の差分に関連し、
    前記処理装置は、
    前記第１のグループ及び前記第２のグループが共通の特徴点を有するかどうかを確認し、「はい」ならば、
    特徴点の前記第１のグループから、前記第１のグループの他の特徴点との相関の最大の和を有する、第１の基準点を特定することと、
    特徴点の前記第２のグループから、前記第２のグループの他の特徴点との相関の最大の和を有する、第２の基準点を特定することと、
    前記第１のグループ及び前記第２のグループのうち、その基準点が前記共通の特徴点とのより大きな相関を有する方に、前記共通の特徴点を分類して、特徴点の更新された第１のグループ及び第２のグループを取得することと
    を行うようにさらに構成されており、
    前記２つのセグメントは、特徴点の前記更新された第１のグループ及び前記第２のグループに基づいて特定される、移動物体検出システム。
  14. カメラと処理装置とを備えた移動物体検出システムであって、
    前記処理装置は、
    前記カメラによってキャプチャされた複数の映像フレームに基づいて複数の特徴点を特定することと、
    前記複数の特徴点から選択して、前記複数の特徴点の間の相関に基づいて、特徴点の第１のグループ及び第２のグループを形成することと、
    少なくとも１つの映像フレーム中で、検出された移動物体として、それぞれ特徴点の前記第１のグループ及び前記第２のグループに基づいて、２つのセグメントを特定することと
    を行うように構成されており、
    ２つの特徴点の間の相関は、距離成分と移動差分成分とを含み、前記距離成分は、前記２つの特徴点の間の距離に関連し、前記移動差分成分は、前記２つの特徴点の対応する移動の間の差分に関連し、
    前記処理装置は、
    前記第１のグループ及び前記第２のグループが共通の特徴点を有するかどうかを確認し、「はい」ならば、
    前記第１のグループのそれぞれの特徴点に対して、前記第１のグループの他の特徴点とのその相関の和を計算することと、
    前記第１のグループから、相関の最大の和を有する特徴点の所定の割合を特定して、特徴点の第３のグループを取得することと、
    前記第３のグループのそれぞれの特徴点に対して、前記第３のグループの他の特徴点とのその相関の和を計算することと、
    前記第１のグループに対して、前記第３のグループの他の特徴点との相関の最大の和を有する第１の基準点を特定することと、
    前記第２のグループのそれぞれの特徴点に対して、前記第２のグループの他の特徴との相関の和を計算することと、
    前記第２のグループから、相関の最大の和を有する特徴点の前記所定の割合を特定して、特徴点の第４のグループを取得することと、
    前記第４のグループのそれぞれの特徴点に対して、前記第４のグループの他の特徴点とのその相関の和を計算することと、
    前記第２のグループに対して、前記第４のグループの他の特徴点との相関の最大の和を有する第２の基準点を特定することと、
    前記第１のグループ及び前記第２のグループのうち、その基準点が前記共通の特徴点とのより大きな相関を有する方に、前記共通の特徴点を分類し、共通の特徴点を有しない更新された第１のグループ及び第２のグループを取得することと
    を行うようにさらに構成されている、移動物体検出システム。
  15. 前記所定の割合が５０％である、請求項１４に記載の移動物体検出システム。
  16. 前記処理装置は、
    ＲＡＮＳＡＣベースのホモグラフィーを用いて主要平面を特定することと、
    前記主要平面上の特徴点に基づいて、基本行列を計算することと、
    特徴点の前記第１のグループ及び前記第２のグループの移動が前記基本行列に適合するかどうかを判定して、特徴点のグループの移動が前記基本行列に適合する場合、特徴点の前記グループに基づいて特定された物体を静止物体として分類することと
    を行うようにさらに構成されている、請求項９〜１５のいずれかに記載の移動物体検出システム。
  17. 移動物体を検出する方法であって、前記方法は、
    複数の映像フレームに基づいて複数の特徴点を特定することと、
    前記複数の特徴点から選択して、前記複数の特徴点の間の相関に基づいて、特徴点のグループを形成することと、
    前記複数の映像フレームのうちの少なくとも１つの中で、移動物体として、特徴点の前記グループによって画定されたセグメントを特定することと
    を含み、
    ２つの特徴点の間の相関は、距離成分と移動差分成分とを含み、前記距離成分は、前記２つの特徴点の間の距離に関連し、前記移動差分成分は、前記２つの特徴点の対応する移動の間の差分に関連し、
    ２つの特徴点の間の相関は、等式（１）：

    に従って計算され、式中、Ｃ １２ は、２つの特徴点Ｐ １ 及びＰ ２ の間の相関を表し、
    ｄｓ １２ は、前記２つの特徴点の間の距離を表し、
    ｄｖ １２ は、前記２つの特徴点の間の移動差分を表し、
    σ ｄｉｓ 及びσ ｖ は、それぞれ、距離及び移動の統計的分散を表す、方法。
JP2015555524A 2013-02-04 2013-02-04 移動物体を検出するための方法及びシステム Active JP6139706B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2013/071335 WO2014117403A1 (en) 2013-02-04 2013-02-04 Method and system for detecting moving objects

Publications (2)

Publication Number Publication Date
JP2016505181A JP2016505181A (ja) 2016-02-18
JP6139706B2 true JP6139706B2 (ja) 2017-05-31

Family

ID=51261448

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015555524A Active JP6139706B2 (ja) 2013-02-04 2013-02-04 移動物体を検出するための方法及びシステム

Country Status (5)

Country Link
US (1) US9852341B2 (ja)
EP (1) EP2951783B1 (ja)
JP (1) JP6139706B2 (ja)
CN (1) CN104969261B (ja)
WO (1) WO2014117403A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9852341B2 (en) * 2013-02-04 2017-12-26 Harman International Industries, Incorporation Method and system for detecting moving objects
US10957068B2 (en) * 2017-01-06 2021-03-23 Canon Kabushiki Kaisha Information processing apparatus and method of controlling the same
JP6894707B2 (ja) * 2017-01-06 2021-06-30 キヤノン株式会社 情報処理装置およびその制御方法、プログラム
WO2018220681A1 (ja) * 2017-05-29 2018-12-06 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
DE102017113794A1 (de) * 2017-06-22 2018-12-27 Connaught Electronics Ltd. Klassifizierung statischer und dynamischer Bildsegmente in einer Fahrerassistenzvorrichtung eines Kraftfahrzeugs
CN109325962B (zh) * 2017-07-31 2022-04-12 株式会社理光 信息处理方法、装置、设备以及计算机可读存储介质
WO2019108905A1 (en) * 2017-11-30 2019-06-06 University Of Kansas Fatigue crack detection using feature tracking
JP7206938B2 (ja) * 2019-01-18 2023-01-18 株式会社デンソーテン 移動量算出装置
CN109977322B (zh) * 2019-03-05 2021-03-23 百度在线网络技术（北京）有限公司 出行方式推荐方法、装置、计算机设备和可读存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4500563B2 (ja) * 2004-03-04 2010-07-14 学校法人慶應義塾 車両検出方法及び車両検出システム
US8446468B1 (en) * 2007-06-19 2013-05-21 University Of Southern California Moving object detection using a mobile infrared camera
US8249299B1 (en) * 2009-08-17 2012-08-21 Adobe Systems Incorporated Systems and methods of tracking objects in video
CN102111530B (zh) 2009-12-24 2013-01-02 财团法人工业技术研究院 移动物体检测装置与方法
JP2013537661A (ja) 2010-06-30 2013-10-03 タタ コンサルタンシー サービシズ リミテッド ステレオビジョン技術を使用することによる移動物体の自動検出
WO2012014430A1 (ja) 2010-07-27 2012-02-02 パナソニック株式会社 移動体検出装置および移動体検出方法
WO2012137621A1 (ja) 2011-04-07 2012-10-11 富士フイルム株式会社 画像処理方法及び装置
WO2012145819A1 (en) * 2011-04-25 2012-11-01 Magna International Inc. Image processing method for detecting objects using relative motion
CN103733607B (zh) * 2011-08-10 2015-08-26 富士胶片株式会社 用于检测运动物体的装置和方法
US9852341B2 (en) * 2013-02-04 2017-12-26 Harman International Industries, Incorporation Method and system for detecting moving objects

Also Published As

Publication number Publication date
EP2951783A1 (en) 2015-12-09
US9852341B2 (en) 2017-12-26
US20150379354A1 (en) 2015-12-31
JP2016505181A (ja) 2016-02-18
CN104969261A (zh) 2015-10-07
WO2014117403A1 (en) 2014-08-07
EP2951783B1 (en) 2019-04-03
CN104969261B (zh) 2018-07-10
EP2951783A4 (en) 2016-10-26

Similar Documents

Publication Publication Date Title
JP6139706B2 (ja) 移動物体を検出するための方法及びシステム
JP5102410B2 (ja) 移動体検出装置および移動体検出方法
TWI595450B (zh) 物件偵測系統
US20080187172A1 (en) Tracking Apparatus And Tracking Method
JP6233624B2 (ja) 情報処理システム、情報処理方法及びプログラム
JP6454984B2 (ja) 深度画像に基づく手の位置確定方法と装置
JP2009064410A (ja) 車両の死角における移動物体を検知するための方法、および死角検知装置
CN113396423A (zh) 处理来自基于事件的传感器的信息的方法
JP2012221162A (ja) 対象物検出装置及びプログラム
JP2020109644A (ja) 転倒検出方法、転倒検出装置及び電子機器
JP2015185135A (ja) 停車認識装置、停車認識方法及びプログラム
JP2016143335A (ja) グループ対応付け装置、グループ対応付け方法及びグループ対応付け用コンピュータプログラム
CN110850974A (zh) 用于侦测意图兴趣点的方法及其系统
JP2015103249A (ja) 画像中のゼブラクロッシングの検出装置及び方法
JP2013069045A (ja) 画像認識装置、画像認識方法および画像認識プログラム
Kalirajan et al. Moving object detection using median-based scale invariant local ternary pattern for video surveillance system
US9183448B2 (en) Approaching-object detector, approaching object detecting method, and recording medium storing its program
Zhang et al. Road sign detection based on visual saliency and shape analysis
CN113762027B (zh) 一种异常行为的识别方法、装置、设备及存储介质
CN112016537A (zh) 一种基于计算机视觉的综合检测老鼠的方法
JP2002358526A (ja) 映像オブジェクト検出・追跡装置
CN106778467B (zh) 基于区域结构树的红外夜视行人目标跟踪方法
KR20210083760A (ko) 영상 기반 객체 검출 정보를 이용한 실시간 다중 클래스 다중 객체 추적 방법
Mudjirahardjo et al. Head detection and tracking for an intelligent room
KR20100107209A (ko) 물체 분류 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170427

R150 Certificate of patent or registration of utility model

Ref document number: 6139706

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250