JP6849403B2 - 単一のカメラを用いた移動物体検出のための方法およびシステム - Google Patents

単一のカメラを用いた移動物体検出のための方法およびシステム Download PDF

Info

Publication number
JP6849403B2
JP6849403B2 JP2016221382A JP2016221382A JP6849403B2 JP 6849403 B2 JP6849403 B2 JP 6849403B2 JP 2016221382 A JP2016221382 A JP 2016221382A JP 2016221382 A JP2016221382 A JP 2016221382A JP 6849403 B2 JP6849403 B2 JP 6849403B2
Authority
JP
Japan
Prior art keywords
epipolar
point
movement
moving
objectness
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016221382A
Other languages
English (en)
Other versions
JP2017091549A (ja
Inventor
シェン・チェン
アルパー・アイヴァチ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Publication of JP2017091549A publication Critical patent/JP2017091549A/ja
Application granted granted Critical
Publication of JP6849403B2 publication Critical patent/JP6849403B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/285—Analysis of motion using a sequence of stereo image pairs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Description

本願は、参照によりその内容の全体がここに組み込まれる、「METHOD AND SYSTEM FOR MOVING OBJECT DETECTION WITH SINGLE CAMERA」という発明の名称で、2015年11月13日に出願された米国仮出願第62/255,289号の優先権を主張する。
本開示の態様は、単一の単眼カメラから撮られたストリーミング映像において移動物体をセグメント化することによって、移動物体を検出するための方法およびシステムに関する。特に、本開示の態様は、複数の時間フレームを含む入力画像シーケンス{I1, I2, I3...It}を取得および解析し、各Itに対して、バイナリマスクYtを決定および出力することに関連し、Yt内の各要素は、対応するピクセルが移動物体に属すか否かを示す。
本開示では、オンラインで点特徴を追跡しかつ点軌跡のセットを維持することができる。尤度は、多視点幾何からの拘束を使用して、各点軌跡に関して移動物体に属すかどうかを判定するために測定可能である。さらに、点軌跡から受けた応答に基づいて、条件付き確率場(CRF)がフレーム全体で形成されて、移動物体セグメンテーションを得ることができる。
本開示のこれらの態様の追加の利点および新規な特徴は、以下の説明に部分的に記載されるとともに、以下の説明により、または本開示の実施による学習により、当業者にとって部分的により明らかとなる。
本システムおよび方法の様々な例示的な態様は、以下の図面を参照しながら詳細に説明される。
本開示の様々な態様による、公道上の移動しているワゴン車、自転車に乗っている人、歩行者を含む様々な移動物体を追跡および検出する例を説明する図である。 本開示の様々な態様による、エピポーラ拘束の概念および関連する数式を説明する図である。 本開示の様々な態様による、点軌跡を生成するための、連続したフレーム間の例示的なオプティカルフローを説明する図である。 本開示の様々な態様による、点軌跡に対するEMS(Epipolar Moving Objectness Score)の例示的な図を説明する図である。 本開示の様々な態様による、様々な点軌跡に対するEMSの例示的な図および表を説明する図である。 本開示の様々な態様による、エピポーラ拘束の結果を示す例示的なスクリーンショットである。 本開示の様々な態様による、エピポーラ拘束の結果を示す例示的なスクリーンショットである。 本開示の様々な態様による、エピポーラ拘束の結果を示す例示的なスクリーンショットである。 本開示の様々な態様による、エピポーラ拘束の結果を示す例示的なスクリーンショットである。 本開示の様々な態様による、エピポーラ拘束の結果を示す例示的なスクリーンショットである。 本開示の様々な態様による、エピポーラ拘束の縮退ケース(degenerated case)の例示的な図である。 本開示の様々な態様によれば、3焦点拘束の概念および関連する数式を説明する図である。 本開示の様々な態様による、3焦点拘束の結果を示す例示的なスクリーンショットである。 本開示の様々な態様による、3焦点拘束の結果を示す例示的なスクリーンショットである。 本開示の様々な態様による、3焦点拘束の結果を示す例示的なスクリーンショットである。 本開示の様々な態様による、3焦点拘束の結果を示す例示的なスクリーンショットである。 本開示の様々な態様による、3焦点拘束の結果を示す例示的なスクリーンショットである。 本開示の様々な態様による、スーパーピクセルに関して条件付き確率場(CRF)を形成する例示的な結果を説明する図である。 本開示の様々な態様による、例示的なモーションセグメンテーションの結果を説明する図である。 本開示の様々な態様による、例示的なモーションセグメンテーションの結果を説明する図である。 本開示の態様による、移動物体検出のさらなる質的結果を示す例示的なスクリーンショットである。 本開示の態様による、移動物体検出のさらなる質的結果を示す例示的なスクリーンショットである。 本開示の態様による、移動物体検出のさらなる質的結果を示す例示的なスクリーンショットである。 本開示の態様による、移動物体検出のさらなる質的結果を示す例示的なスクリーンショットである。 本開示の態様による、移動物体検出のさらなる質的結果を示す例示的なスクリーンショットである。 本開示の態様による、移動物体検出のさらなる質的結果を示す例示的なスクリーンショットである。 本開示の態様による、移動物体検出のさらなる質的結果を示す例示的なスクリーンショットである。 本開示の態様による、移動物体検出のさらなる質的結果を示す例示的なスクリーンショットである。 本開示の態様による、移動物体検出のさらなる質的結果を示す例示的なスクリーンショットである。 本開示の様々な態様による、移動物体を検出するための方法を示す例示的なフローチャートである。 本開示の様々な態様による、様々なハードウェアコンポーネントおよび他の特徴を表す例示的なシステム図である。 本開示の様々な態様による、様々な例示的なシステムコンポーネントの例示的なブロック図である。
本開示のこれらの特徴、他の特徴、および利点は、様々な例示的な態様の以下の詳細な説明において開示されるとともに、そこから理解される。しかし、そのような態様は、それらの特定の詳細がなくとも実施可能であることは確かである。
図1を参照すると、本開示は、単一のカメラによって捕捉されたストリーミング映像内に幾つかある特徴の中で、移動物体(例えば、移動する車両、歩行者、および本質的に何らかの移動物体)を検出するものである。移動物体の検出および運動に基づく追跡は、活動認識、交通モニタリング、および自動車の安全性に重要である。例えば、運転する場合、移動物体は安全性の懸念から通常重要である。また、他の物体によって完全にまたは部分的に遮蔽されて移動物体が見えない場合に、視界遮断(occlusion)が発生し得る。部分的な視界遮断がある場合、静止画像から移動物体を検出するのは難しいことがある。しかし、移動部分が映像において検出される場合、これは視界遮断問題を解決するのに役立つ可能性がある。図1に示されるように、単眼カメラで撮られた映像の各フレームに対して、各移動物体(例えば、左側の移動中のワゴン車、中央の自転車に乗っている人、および右側の歩行者)に対するバイナリマスクまたはセグメントのセットは、移動物体に属すか否かを示す出力であり得る。ここで、処理中の画像と同じサイズのバイナリ画像をバイナリマスクと称し、マスクは、関心領域の一部であるピクセルの全部については1であり、それ以外は0である。本開示の態様によれば、フレーム全体のバイナリマスクが出力であり、各ピクセルは、移動中または静止に分類される。フレームtでこの目標を達成するために、前向きおよび後向きのオプティカルフローフィールドが、フレームtまで計算されて、長期的な点軌跡のセットが形成可能である。各軌跡は、点のセットによって表すことができる。現在のセットにおける軌跡はどれも現在のフレームtで終了する。軌跡が移動物体であるか否かを示す幾何(geometry)に基づいて、各軌跡には、移動オブジェクトネススコア(moving objectness score)が割り当て可能である。各軌跡のスコアは、画像を移動物体領域と静止物体領域とに区分するために使用することができる。
物体が動いている状態(ここでは同じ意味として、移動オブジェクトネス(moving objectness)と称する)は、幾何を使用して測定可能である。例えば、最も基本的なケースにおいて、カメラが厳密に前方向に移動している場合、人々は一般に、全ての静止点がカメラの中心から離れて移動するのが見え、画像中央に消失点(focus of expansion)を有する。移動物体を検出するキューには、多数のキューの中から出現(appearance)およびコンパクト化(compactness)が含まれ得る。例えば、モーションセグメンテーションを扱う上で、点軌跡が抽出可能であり、速度のような性質に基づいてこれらの軌跡に対してクラスタリングが実施可能である。しかし、この手法はクラスタリングを行う一方で、どのクラスタが実際の移動物体に対応するかについての理解が不足している。代替として、後処理を実施して、多数の因子の中から色を検査することによって移動物体を抽出することが可能である。低次元空間にある全ての背景点軌跡とともに、正投影カメラモデルが用いられる仮定に基づいて、部分空間追跡を行うことも可能である。また、局所アフィン変換を前のフレームに適用して、背景差分が追従されるカメラ運動に関して較正を行うことによって、移動物体検出においてエゴモーション補正済み背景差分が行われて、移動マスクを得ることができる。
本開示の態様によれば、選択された幾何的拘束は、運動キューを得るために使用可能であり、特に、物体が静止している状態から移動している状態に、またはその逆に遷移することを考慮する。
Figure 0006849403
各フレームに関して、スコアをこれらの軌跡に割り当てて、移動物体または静止物体であるかどうかを判定することが可能である。移動オブジェクトネススコアがさらに利用され、画像ドメインを静止物体の領域および移動物体の領域に区分することが可能である。画像シーケンスIにおいて、静止物体の軌跡は、カメラ運動によって導入される幾何的拘束を受けることができる。
幾何的運動拘束には、特に出現のようなキューよりも多くの情報がある。現実の運動キューは、例えば車の移動状態から静止状態への遷移を捕捉する必要がある。
カメラが静止している場合、3Dの点は、像面内の同じ点に投射され、カメラが移動すると、3Dの静止点の投射は、カメラの運動により像面上を移動し、特定の拘束を受ける。このようにして、移動物体を検出するために、より具体的には点軌跡の運動を測定するために、2種類の多視点幾何情報、すなわち、2視点間のエピポーラ拘束、および3視点間の3焦点拘束が使用され得る。異なる視点のシーン内の静止した点の投射のシフトは、カメラ運動によって生じる。シーン内のほとんどの点が静止していると仮定すると、点対応からの相対的なカメラポーズ変化が推定可能である。移動物体上の点は、一般的にそのような推定の異常値であり、故に、点の運動は、どのようにモデルに合うかについて測定され得る。
エピポーラ拘束
図2に示されるように、エピポーラ拘束は、左の画面内の点と右の画面内の線との間のマッピング(逆も同様)を確立することによって、2つの視点間の3Dの静止した点の投射の関係性を記述する。エピポーラ拘束は、2つのカメラ間の基本行列(essential matrix)または基礎行列(fundamental matrix)によって記述される。2つのフレームにおいて静止した点のm個の点対応(point correspondence)を与えると、次の式が層化(stratified)される。
Figure 0006849403
ここで、fijは、基礎行列の係数を示す。本開示では、図3に示されるように、連続したフレーム間のオプティカルフローが計算されて、点対応を得るとともに高密度で長期にわたる点軌跡を生成することが可能である。シーン内の静止した背景の点に対して、画像シーケンス内の2つの任意のフレームを与えると、次の式が層化される。
Figure 0006849403
任意の2つのフレームに対して、点軌跡からの対応関係を与えると、Fは、LMEDS(Least Median of Squares)を用いて推定可能である。フレームtにおいて、基礎行列が、フレームτからtまで各フレームのペア間で推定される。幾何学的に、ある視点内の静止した点の投射は、他の視点における投射から由来するエピポーラ線上にある。移動物体に対して、式(1)は一般に、以下でより詳細に論じられる縮退ケース(degenerated case)を除いて維持されない。本開示の態様によれば、図4に示されるように、点対応のペアに対するエピポーラ移動オブジェクトネススコアは、次のようなエピポーラ拘束に基づいて計算可能である。
Figure 0006849403
距離が長いほど、軌跡が移動物体に属している可能性が高い。フレームtにおいて、点軌跡の現在のセットZtが与えられると、現在のフレームTと、それまでの全フレーム(Itまでのフレーム間に十分な数の点軌跡が存在する限り)と間の8点アルゴリズム(8-point algorithm)およびLMEDSを用いて基礎行列が推定可能である。
Figure 0006849403
図5に示されるように軌跡の履歴を説明するために、現在のEMS(epipolar moving score、エピポーラ移動スコア)と以前のEMSに基づく2つの測定が定義可能である。第1の測定は、軌跡の全EMSにわたる加重平均、すなわち、次のように定義されるEMSの加重平均(EMSavg)を使用することができる。
Figure 0006849403
平均エピポーラ移動オブジェクトネススコアに加えて、時間内のエラーφの変化がさらに解析されて、軌跡が移動物体上にある可能性がどの程度か測定可能である。
Figure 0006849403
この不等式は、その初期位置から持続的に離れる場合に特に維持される。この仮定が限定されるものであると考慮されるとしても、目標物体が観察された初期位置に通常戻らない、都市走行シナリオにおいてはたいていの場合該当する。
Figure 0006849403
図6A〜6Eは、本開示の態様による、移動物体の検出をもたらす多数の例示的なエピポーラ拘束を説明する。例えば、図6Aでは、左側の走行車両および右側の自転車に乗っている人が、上で論じたエピポーラ拘束を使用して検出および識別可能である。さらに、図6B〜Eの各々では、背景と対比して識別される移動物体だけでなく、各移動物体の移動もリアルタイムに追跡される。
3焦点拘束
しかし、エピポーラ拘束は、特定のタイプの運動(すなわち、物体がカメラと同じ方向に動く場合、より一般的には、物体がエピポーラ平面内を移動する場合)を検出することができない。そのような場合では、特定点がエピポーラ線に沿って動くため、エピポーラ拘束によって検出することができない。これは、図7に示されるような縮退ケース(degenerated case)として認められる。縮退ケースの問題を克服するために、図8に示されるように、3つのフレーム内の静止した点または線の投射の関係を符号化することによって、3視点間の3焦点拘束が使用可能であり、これはテンソルTで表すことができる。3つの点対応に対して、次の拘束が層化される。
Figure 0006849403
ここで、下付き文字は、その点の3つの座標を符号化し、この方程式は、全てのi, j = 1, 2, 3で成り立つ。2視点の場合とは違って、2視点におけるそれぞれの位置が与えられると、第3の視点における点の位置が決定される。
Figure 0006849403
3焦点テンソルは、LMEDSを用いて推定可能であるが、3焦点テンソルのそのような推定は、ノイズが発生しやすい。この問題を解決するため、基礎行列からのエピポールが最初に推定され、3焦点テンソルからのエピポールの拘束は、それらの推定から大きく外れない。エピポーラ拘束の場合とは異なり、現在のフレームtおよびt-ηおよびt-2ηの間の3焦点テンソルが推定される。
Figure 0006849403
図9A〜9Eは、本開示の態様による、移動物体の検出をもたらす多数の例示的な3焦点拘束の結果を説明する。例えば、図9Aでは、左側の移動車両および右側の自転車に乗っている人が、上で論じた3焦点拘束を使用して検出および識別可能である。さらに、図9B〜Eの各々では、背景と対比して識別される移動物体だけでなく、各移動物体の移動もリアルタイムに追跡される。
移動物体セグメンテーション
点軌跡に対する移動オブジェクトネス/運動スコアに関する上述の議論を考慮すると、そのような情報は、フレーム全体に伝搬され得る。これは、最初にフレームをセグメント化して、スーパーピクセルを得て、次いで0/1ラベルを用いてスーパーピクセルを分類することによって達成され得る。ここで、1は、スーパーピクセルが移動物体に属すことを示し、0は、スーパーピクセルが静止物体に属すことを示す。そして、対のCRF(pairwise CRF)が、図10に示されるようなスーパーピクセルにわたって構築可能である。
Figure 0006849403
Euに対して、現在のフレームの上記の式(1)〜(6)が連結可能である。次に、点軌跡からの応答は、スーパーピクセル内部の全軌跡の中で中央値をとって、各特徴に関してスーパーピクセル内部に軌跡がない場合は、「0」をラベリングすることによってスーパーピクセルに変換可能である。ラベリングの時間的一貫性を維持するために、他の特徴が、点軌跡のラベリングの履歴を符号化する単一のタームに追加可能である。フレームt-1において、スーパーピクセルのラベリングの後、スーパーピクセルのラベルをスーパーピクセル内部の全ての点軌跡に割り当てることによって、点軌跡のラベルが得られる。フレームtにおいて、各スーパーピクセルに対して、スーパーピクセル内部の前景点軌跡の割合が計算されて、スムーズなラベリングが時間的に保障される。代替として、時間的なCRFが形成可能であり、フレームをまたがるスーパーピクセルがリンク可能である。2つのスーパーピクセル間の対の特徴Epは、2つのスーパーピクセルの色およびオプティカルフローヒストグラム間のバタチャリア係数(Bhattacharyya coefficient)から成り得る。この最適化問題において、重みベクトルwuおよびwpは、構造的(structural)サポートベクターマシン(Support Vector Machine, SVM)を通じて学習可能であり、最適化問題は、双対分解(dual decomposition)を通じて解決可能である。
図11A〜11Bは、本開示の様々な態様による、例示的なモーションセグメンテーションの結果を説明する。加えて、図12A〜12Iは、本開示の態様による、移動物体検出の質的結果を示す例示的なスクリーンショットである。追跡データセットは、様々な入力画像シーケンスに関連して確立可能である。本開示は、各物体に対してバイナリラベルを付与して、各物体が移動しているのか否かを示すのを支援することができるものである。
図13は、本開示の様々な態様による、移動物体を検出するための方法1300を説明する例示的なフローチャートである。図13において、本方法はブロック1302で、カメラによって捕捉されたストリーミング映像を取得するステップから開始する。本方法はさらに、ブロック1304で、ストリーミング映像から一連の画像を含む入力画像シーケンスを抽出するステップと、ブロック1306で、一連の画像のうちの少なくとも1つに対して、点特徴を追跡しかつ点軌跡のセットを維持するステップと、ブロック1308で、多視点幾何からの拘束を使用して、各点軌跡に関して移動物体に属すかどうかを判定するための尤度を測定するステップと、ブロック1310で、移動物体セグメンテーションを得るためにフレーム全体で条件付き確率場(CRF)を決定するステップを含む。
図14は、本開示の様々な態様による使用のための、様々なハードウェアコンポーネントおよび他の特徴の例示的なシステム図を表す。本開示は、ハードウェア、ソフトウェア、またはその組み合わせを用いて実施可能であり、1つまたは複数のコンピュータシステムまたは他の処理システムにおいて実装可能である。一態様において、本開示は、ここで説明した機能が実行可能である1つまたは複数のコンピュータシステムに向けられる。そのようなコンピュータシステム1400の一例が図14に示されるとともに、コンピュータシステム1400は、図13の方法1300を行うように実装可能である。
コンピュータシステム1400は、プロセッサ1404のような1つまたは複数のプロセッサを含む。プロセッサ1404は、通信インフラストラクチャ1406(例えば、通信バス、クロスオーバー・バー、またはネットワーク)に接続される。様々なソフトウェアの態様が、この例示的なコンピュータシステムに関して記載される。その記載を読めば、他のコンピュータシステムおよび/またはアーキテクチャを使用する本開示をどのように実施するかは当業者にとって明らかになるであろう。
コンピュータシステム1400は、ディスプレイユニット1430上での表示のために、通信インフラストラクチャ1406(または、図示されていないフレームバッファ)からグラフィック、テキスト、および他のデータを転送するディスプレイインターフェース1402を含むことができる。コンピュータシステム1400は、メインメモリ1408、好適にはランダムアクセスメモリ(RAM)をさらに含み、セカンダリメモリ1410をさらに含むこともできる。セカンダリメモリ1410は、例えば、ハードディスクドライブ1412および/またはリムーバブル記憶ドライブ1414(例えば、フロッピー(登録商標)ディスクドライブ、磁気テープドライブ、光ディスクドライブ等)を含むことができる。リムーバブル記憶ドライブ1414は、周知の方法で、リムーバブル記憶ユニット1418からの読み出し、および/またはリムーバブル記憶ユニット1418への書き込みを行う。リムーバブル記憶ユニット1418は、リムーバブル記憶ドライブ1414により読み出され、リムーバブル記憶ドライブ1414への書き込みを行う、フロッピー(登録商標)ディスク、磁気テープ、光ディスク等を表す。上記から分かるように、リムーバブル記憶ユニット1418は、コンピュータソフトウェアおよび/またはデータを格納しているコンピュータ利用可能記憶媒体を含む。
代替的な態様において、セカンダリメモリ1410は、コンピュータプログラムまたは他の命令がコンピュータシステム1400にロードされるのを可能にする他の同様の装置を含んでも良い。そのような装置は、例えば、リムーバブル記憶ユニット1422およびインターフェース1420を含むことができる。そのような例として、プログラムカートリッジおよびカートリッジインターフェース(例えば、ビデオゲーム装置で見られる)、リムーバブルメモリチップ(例えば、消去可能プログラマブルリードオンリーメモリ(EPROM)、またはプログラマブルリードオンリーメモリ(PROM))および関連するソケット、ならびにリムーバブル記憶ユニット1422からコンピュータシステム1400にソフトウェアおよびデータが転送されるのを可能する、他のリムーバブル記憶ユニット1422およびインターフェース1420を含むことができる。
コンピュータシステム1400は、通信インターフェース1424をさらに含むことができる。通信インターフェース1424は、コンピュータシステム1400と外部装置との間でソフトウェアおよびデータが転送されるのを可能にする。通信インターフェース1424の例としては、モデム、ネットワークインターフェース(イーサネット(登録商標)カードのような)、通信ポート、PCMCIA(Personal Computer Memory Card International Association、PCメモリカード国際協会)スロット、およびカード等を含むことができる。通信インターフェース1424を介して転送されるソフトウェアおよびデータは、通信インターフェース1424によって受信可能な、電子信号、電磁気信号、光信号または他の信号であり得る信号1428の形式である。これらの信号1428は、通信路(例えば、チャネル)1426を介して通信インターフェース1424に提供される。通信路1426は信号1428を伝搬し、ワイヤまたはケーブル、光ファイバ、電話回線、セルラーリンク、無線周波数(RF)リンク、および/または他の通信チャネルを使用して実装可能である。本文書において、用語「コンピュータプログラム媒体」および「コンピュータ利用可能媒体」は、リムーバブル記憶装置1480、ハードディスクドライブ1470が内蔵されたハードディスク、および信号1428を記憶する媒体等の媒体を一般に指すために使用される。これらのコンピュータプログラム製品は、ソフトウェアをコンピュータシステム1400に提供する。本開示は、そのようなコンピュータプログラム製品を対象にしたものである。
コンピュータプログラム(コンピュータ制御ロジックとも称される)は、メインメモリ1408および/またはセカンダリメモリ1410に記憶される。コンピュータプログラムは、通信インターフェース1424を介して受信することもできる。そのようなコンピュータプログラムは実行されると、ここで論じされたような本開示の特徴をコンピュータシステム1400で実行可能にする。特に、コンピュータプログラムは実行されると、本開示の特徴をプロセッサ1404で実行可能にする。したがって、そのようなコンピュータプログラムは、コンピュータシステム1400のコントローラを表す。
本開示がソフトウェアを使用して実施される態様において、ソフトウェアは、コンピュータプログラム製品に記憶され、リムーバブル記憶装置1414、ハードドライブ1412、または通信インターフェース1420を使用して、コンピュータシステム1400にロードされ得る。制御ロジック(ソフトウェア)は、プロセッサ1404によって実行されると、ここで説明したような本開示の機能をプロセッサ1404に実施させる。別の態様において、本開示は、例えば、特定用途向け集積回路(ASIC)のようなハードウェアコンポーネントを使用して、ハードウェアにおいて主に実装される。ここで説明された機能を実行するためのハードウェア型マシンの実装は、当業者にとって明らかであろう。
さらに別の態様において、本開示は、ハードウェアおよびソフトウェアの両方の組合せを使用して実装される。
図15は、本開示の態様による、様々な例示的なシステムコンポーネントのブロック図である。図15は、本開示により使用可能な通信システム1500を示す。通信システム1500は、1つまたは複数のアクセッサ1560, 1562(ここでは同じ意味として、1つまたは複数の「ユーザ」とも称される)および1つまたは複数の端末1542, 1566を含む。一態様において、本開示に従って使用されるデータは、端末1542, 1566、例えば、パーソナルコンピュータ(PC)、ミニコンピュータ、メインフレームコンピュータ、マイクロコンピュータ、電話装置、もしくは無線装置等の、またはPC、ミニコンピュータ、メインフレームコンピュータ、マイクロコンピュータのようなサーバ1543に接続される、携帯情報端末(PDA)もしくはハンドヘルド無線装置等の、または、プロセッサおよびデータリポジトリ、ならびに/またはインターネットもしくはイントラネットのようなネットワーク1544およびカップリング1545, 1546, 1564を介した、データのリポジトリへの接続を有する他の装置等を介して、アクセッサ1560, 1562によって入力および/またはアクセスされる。カップリング1545, 1546, 1564は、例えば、有線リンク、無線リンク、または光ファイバリンクを含む。別の態様において、本開示の方法およびシステムは、単一の端末におけるようなスタンドアロン環境において動作する。
本開示の態様上記概略した例示的な特徴とともに説明したが、様々な代替物、修正物、変更物、改良物、および/または実質的等価物は、それらが既知のものであるか、現在予期されるものであるかどうかに関わらずに、当業者にとって明らかなものとなるであろう。したがって、上記説明された本開示の例示的な態様は、限定ではなく例示を意図したものである。それらの趣旨から逸脱しない限り、様々な変更が可能である。したがって、本開示の態様は、既知または後発の代替物、修正物、変更物、改良物および/または実質的等価物の全てを包含することを意図している。
1428 信号

Claims (20)

  1. 移動物体を検出するためにコンピュータで実施可能な方法であって、
    カメラによって捕捉されたストリーミング映像を取得するステップと、
    前記ストリーミング映像から一連の画像を含む入力画像シーケンスを抽出するステップと、
    前記一連の画像のうちの少なくとも1つに対して、点特徴を追跡しかつ点軌跡のセットを維持するステップと、
    多視点幾何からの拘束を使用して、各点軌跡に関して移動物体に属すかどうかを判定するための尤度を測定するステップと、
    移動物体セグメンテーションを得るために、フレーム全体で条件付き確率場(CRF)を決定するステップと
    を含む方法。
  2. 前記カメラが、単眼カメラを含む、請求項１に記載の方法。
  3. 前記多視点幾何からの拘束は、2視点間のエピポーラ拘束、および3視点からの3焦点拘束のうちの少なくとも1つを含む、請求項１に記載の方法。
  4. 前記エピポーラ拘束は、次式の通り、点対応関係のペアに対するエピポーラ移動オブジェクトネススコアに少なくとも部分的に基づいて計算され、
    Figure 0006849403
     ここで、
    Figure 0006849403
     は、各視点における相対的なエピポーラ線を定義するとともに、関数dpl()は点-線間距離を計算するものである、請求項３に記載の方法。
  5. 前記点対応関係のペアは、連続したフレーム間のオプティカルフローに基づいて決定される、請求項４に記載の方法。
  6. 前記方法は、
    次式の通り、軌跡の全エピポーラ移動オブジェクトネススコアの加重平均を決定するステップをさらに含み、
    Figure 0006849403
     ここで、βは、減衰因子である、請求項４に記載の方法。
  7. 前記方法は、
    次式の通り、別のエピポーラ移動オブジェクトネススコアを決定するステップをさらに含み、
    Figure 0006849403
     ここで、[]は、インジケータ関数であり、vは、許容性変数であるとともに、
    Figure 0006849403
     は、正規化因子である、請求項４に記載の方法。
  8. 前記3視点からの3焦点拘束は、次式の通りに定義される3焦点移動オブジェクトネススコアに少なくとも部分的に基づいて決定され、
    Figure 0006849403
     ここで、
    Figure 0006849403
     は、xtおよびxt'を使用する第3の視点内の推定位置であるとともに、dpp()は、ユークリッド距離を計算するものである、請求項３に記載の方法。
  9. 前記方法は、次式の通り、各軌跡に対する履歴に関して、全ての3焦点移動オブジェクトネススコアの加重平均を決定するステップをさらに含み、
    Figure 0006849403
     ここで、βは、減衰因子である、請求項８に記載の方法。
  10. 各フレームTに対して、
    オプティカルフローおよび点軌跡を計算するステップと、
    基礎行列および3焦点テンソルを推定するステップと、
    各軌跡に対して、エピポーラ移動オブジェクトネススコアおよび3焦点移動オブジェクトネススコアを計算するステップと、
    移動ラベルを決定するために、スーパーピクセルに関して前記CRFを形成するステップと
    をさらに含む、請求項１に記載の方法。
  11. 移動物体を検出するシステムであって、前記システムは、
    カメラによって捕捉されたストリーミング映像を取得する手段と、
    前記ストリーミング映像から一連の画像を含む入力画像シーケンスを抽出する手段と、
    前記一連の画像のうちの少なくとも1つに対して、点特徴を追跡しかつ点軌跡のセットを維持する手段と、
    多視点幾何からの拘束を使用して、各点軌跡に関して移動物体に属すかどうかを判定するための尤度を測定する手段と、
    高密度移動物体セグメンテーションを得るために、フレーム全体で条件付き確率場(CRF)を決定する手段と
    を備えるシステム。
  12. 前記多視点幾何からの拘束は、2視点間のエピポーラ拘束、および3視点からの3焦点拘束のうちの少なくとも1つを含む、請求項１１に記載のシステム。
  13. 前記エピポーラ拘束は、以下の通り、点対応関係のペアに対するエピポーラ移動オブジェクトネススコアに少なくとも部分的に基づいて計算され、
    Figure 0006849403
     ここで、
    Figure 0006849403
     は、各視点における相対的なエピポーラ線を定義するとともに、関数dpl()は点-線間距離を計算するものである、請求項１２に記載のシステム。
  14. 前記システムは、次式の通り、軌跡の全エピポーラ移動オブジェクトネススコアの加重平均を決定する手段をさらに備え、
    Figure 0006849403
     ここで、βは、減衰因子である、請求項１３に記載のシステム。
  15. 前記システムは、
    次式の通り、別のエピポーラ移動オブジェクトネススコアを決定する手段をさらに備え、
    Figure 0006849403
     ここで、[]は、インジケータ関数であり、vは、許容性変数であるとともに、
    Figure 0006849403
     は、正規化因子である、請求項１３に記載のシステム。
  16. 前記3視点からの3焦点拘束は、次式の通り、3焦点移動オブジェクトネススコアに少なくとも部分的に基づいて決定され、
    Figure 0006849403
     ここで
    Figure 0006849403
     は、xtおよびxt'を使用する第3の視点内の推定位置であるとともに、dpp()は、ユークリッド距離を計算するものである、請求項１２に記載のシステム。
  17. 前記システムは、次式の通り、各軌跡に対する履歴に関して、全ての3焦点移動オブジェクトネススコアの加重平均を決定する手段をさらに備え、
    Figure 0006849403
     ここで、βは、減衰因子である、請求項１６に記載のシステム。
  18. 各フレームTに対して、
    オプティカルフローおよび点軌跡を計算する手段と、
    基礎行列および3焦点テンソルを推定する手段と、
    各軌跡に対して、エピポーラ移動オブジェクトネススコアおよび3焦点移動オブジェクトネススコアを計算する手段と、
    移動ラベルを決定するために、スーパーピクセルに関して前記CRFを形成する手段と
    をさらに備える、請求項１１に記載のシステム。
  19. コンピュータに移動物体を検出させるために、制御ロジックを記憶している非一時的コンピュータ可読記憶媒体であって、前記制御ロジックは、
    カメラによって捕捉されたストリーミング映像を取得し、
    前記ストリーミング映像から一連の画像を含む入力画像シーケンスを抽出し、
    前記一連の画像のうちの少なくとも1つに対して、点特徴を追跡しかつ点軌跡のセットを維持し、
    多視点幾何からの拘束を使用して、各点軌跡に関して移動物体に属すかどうかを判定するための尤度を測定するとともに、
    高密度移動物体セグメンテーションを得るために、フレーム全体で条件付き確率場(CRF)を決定する
    ためのマシン実行可能コードを備える、非一時的コンピュータ可読記憶媒体。
  20. 各フレームTに対して、
    オプティカルフローおよび点軌跡を計算し、
    基礎行列および3焦点テンソルを推定し、
    各軌跡に対して、エピポーラ移動オブジェクトネススコアおよび3焦点移動オブジェクトネススコアを計算するとともに、
    移動ラベルを決定するために、スーパーピクセルに関して前記CRFを形成するためのコードをさらに備える、請求項１９に記載の非一時的コンピュータ可読記憶媒体。
JP2016221382A 2015-11-13 2016-11-14 単一のカメラを用いた移動物体検出のための方法およびシステム Active JP6849403B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562255289P 2015-11-13 2015-11-13
US62/255,289 2015-11-13
US15/349,556 US10019637B2 (en) 2015-11-13 2016-11-11 Method and system for moving object detection with single camera
US15/349,556 2016-11-11

Publications (2)

Publication Number Publication Date
JP2017091549A JP2017091549A (ja) 2017-05-25
JP6849403B2 true JP6849403B2 (ja) 2021-03-24

Family

ID=58691210

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016221382A Active JP6849403B2 (ja) 2015-11-13 2016-11-14 単一のカメラを用いた移動物体検出のための方法およびシステム

Country Status (4)

Country Link
US (2) US10019637B2 (ja)
JP (1) JP6849403B2 (ja)
CN (1) CN107025658B (ja)
DE (1) DE102016222267A1 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10242455B2 (en) * 2015-12-18 2019-03-26 Iris Automation, Inc. Systems and methods for generating a 3D world model using velocity data of a vehicle
US10133942B2 (en) 2016-07-05 2018-11-20 Nauto Global Limited System and method for automatic driver identification
US10209081B2 (en) 2016-08-09 2019-02-19 Nauto, Inc. System and method for precision localization and mapping
US10733460B2 (en) 2016-09-14 2020-08-04 Nauto, Inc. Systems and methods for safe route determination
JP6940612B2 (ja) 2016-09-14 2021-09-29 ナウト, インコーポレイテッドNauto, Inc. ニアクラッシュ判定システムおよび方法
CN110178104A (zh) 2016-11-07 2019-08-27 新自动公司 用于确定驾驶员分心的系统和方法
WO2018119744A1 (zh) * 2016-12-28 2018-07-05 深圳前海达闼云端智能科技有限公司 一种虚警障碍物检测方法及装置
EP3364336B1 (en) * 2017-02-20 2023-12-20 Continental Autonomous Mobility Germany GmbH A method and apparatus for estimating a range of a moving object
WO2018229549A2 (en) 2017-06-16 2018-12-20 Nauto Global Limited System and method for digital environment reconstruction
US10453150B2 (en) * 2017-06-16 2019-10-22 Nauto, Inc. System and method for adverse vehicle event determination
EP3638542B1 (en) 2017-06-16 2022-01-26 Nauto, Inc. System and method for contextualized vehicle operation determination
CN107507224B (zh) * 2017-08-22 2020-04-24 明见（厦门）技术有限公司 运动物体检测方法、装置、介质及计算设备
US10678256B2 (en) * 2017-09-28 2020-06-09 Nec Corporation Generating occlusion-aware bird eye view representations of complex road scenes
WO2019169031A1 (en) 2018-02-27 2019-09-06 Nauto, Inc. Method for determining driving policy
US10460156B2 (en) * 2018-03-06 2019-10-29 Sony Corporation Automated tracking and retaining of an articulated object in a sequence of image frames
CN110826385A (zh) * 2018-06-07 2020-02-21 皇家飞利浦有限公司 康复设备及方法
EP3815045A1 (en) * 2018-06-29 2021-05-05 Zoox, Inc. Sensor calibration
CN109615640B (zh) * 2018-11-19 2021-04-30 北京陌上花科技有限公司 相关滤波目标跟踪方法及装置
CN109727264A (zh) * 2019-01-10 2019-05-07 南京旷云科技有限公司 图像生成方法、神经网络的训练方法、装置和电子设备
WO2020150371A1 (en) * 2019-01-15 2020-07-23 Martin Wyeth System and method for low-cost gamified golfing
JP7330708B2 (ja) * 2019-01-28 2023-08-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN109902725A (zh) * 2019-01-31 2019-06-18 北京达佳互联信息技术有限公司 移动目标的检测方法、装置及电子设备和存储介质
CN110263236B (zh) * 2019-06-06 2022-11-08 太原理工大学 基于动态多视图学习模型的社交网络用户多标签分类方法
CN110440902B (zh) * 2019-08-29 2021-05-14 合肥工业大学 一种非接触式微小振动视觉测量方法
US11361548B2 (en) * 2019-10-23 2022-06-14 Tata Consultancy Services Limited Method and system for multi instance visual tracking based on observer motion modelling
CN111144015A (zh) * 2019-12-30 2020-05-12 吉林大学 一种自动驾驶汽车虚拟场景库构建方法
US11301702B2 (en) * 2020-06-17 2022-04-12 Fotonation Limited Object detection for event cameras
US11164019B1 (en) * 2020-06-17 2021-11-02 Fotonation Limited Object detection for event cameras
US11270137B2 (en) 2020-06-17 2022-03-08 Fotonation Limited Event detector and method of generating textural image based on event count decay factor and net polarity
CN112598706B (zh) * 2020-12-21 2024-02-02 西北工业大学 无需精确时空同步的多相机运动目标三维轨迹重建方法
US11328601B1 (en) 2021-02-22 2022-05-10 Volvo Car Corporation Prevention of low-speed sideswipe collisions with non-moving objects
CN115393585B (zh) * 2022-08-11 2023-05-12 江苏信息职业技术学院 一种基于超像素融合网络的运动目标检测方法
CN117470248B (zh) * 2023-12-27 2024-04-02 四川三江数智科技有限公司 一种移动机器人室内定位方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6353678B1 (en) * 1999-07-14 2002-03-05 Sarnoff Corporation Method and apparatus for detecting independent motion in three-dimensional scenes
US7164800B2 (en) * 2003-02-19 2007-01-16 Eastman Kodak Company Method and system for constraint-consistent motion estimation
US7418113B2 (en) * 2005-04-01 2008-08-26 Porikli Fatih M Tracking objects in low frame rate videos
WO2007050707A2 (en) * 2005-10-27 2007-05-03 Nec Laboratories America, Inc. Video foreground segmentation method
US8073196B2 (en) * 2006-10-16 2011-12-06 University Of Southern California Detection and tracking of moving objects from a moving platform in presence of strong parallax
US8300887B2 (en) * 2007-05-10 2012-10-30 Honda Motor Co., Ltd. Object detection apparatus, object detection method and object detection program
US8934666B2 (en) * 2008-10-10 2015-01-13 Adc Automotive Distance Control Systems Gmbh Method and device for analyzing surrounding objects and/or surrounding scenes, such as for object and scene class segmenting
JP5347799B2 (ja) * 2009-07-24 2013-11-20 コニカミノルタ株式会社 トナー濃度調整システム及び画像形成装置
US9411037B2 (en) * 2010-08-18 2016-08-09 RetailNext, Inc. Calibration of Wi-Fi localization from video localization
JP5872818B2 (ja) * 2010-08-20 2016-03-01 パナソニック株式会社 測位処理装置、測位処理方法、および画像処理装置
JP2012118923A (ja) * 2010-12-03 2012-06-21 Toyota Motor Corp 領域分割装置及び領域分割方法
KR20130141657A (ko) * 2010-12-29 2013-12-26 톰슨 라이센싱 제스처 인식을 위한 시스템 및 방법
JP4784709B1 (ja) * 2011-03-10 2011-10-05 オムロン株式会社 対象物追跡装置、対象物追跡方法、および制御プログラム
US9117147B2 (en) * 2011-04-29 2015-08-25 Siemens Aktiengesellschaft Marginal space learning for multi-person tracking over mega pixel imagery
US20130329987A1 (en) * 2012-06-11 2013-12-12 Genesis Group Inc. Video segmentation method
CN103679186B (zh) * 2012-09-10 2017-04-05 华为技术有限公司 检测和跟踪目标的方法和装置
CN102938153B (zh) * 2012-11-21 2015-02-18 清华大学 基于约束谱聚类和马尔科夫随机场的视频图像分割方法
CN104156932A (zh) * 2013-05-13 2014-11-19 哈尔滨点石仿真科技有限公司 一种基于光流场聚类的运动目标分割方法
CN103413322B (zh) * 2013-07-16 2015-11-18 南京师范大学 序列视频关键帧提取方法
US9129192B2 (en) * 2013-12-16 2015-09-08 Adobe Systems Incorporated Semantic object proposal generation and validation
KR101936108B1 (ko) * 2014-01-08 2019-01-09 주식회사 만도 교통 표지판 탐지 방법 및 장치
US9235904B1 (en) * 2014-06-20 2016-01-12 Nec Laboratories America, Inc. Object detection with Regionlets re-localization
CN104200492B (zh) * 2014-08-25 2017-03-29 西北工业大学 基于轨迹约束的航拍视频目标自动检测跟踪方法
CN104616320A (zh) * 2015-02-03 2015-05-13 中国人民解放军国防科学技术大学 低空航拍视频中基于梯度抑制和极线约束的车辆检测方法

Also Published As

Publication number Publication date
US10019637B2 (en) 2018-07-10
JP2017091549A (ja) 2017-05-25
CN107025658B (zh) 2022-06-28
US10176390B2 (en) 2019-01-08
CN107025658A (zh) 2017-08-08
US20180285662A1 (en) 2018-10-04
DE102016222267A1 (de) 2017-06-14
US20170140231A1 (en) 2017-05-18

Similar Documents

Publication Publication Date Title
JP6849403B2 (ja) 単一のカメラを用いた移動物体検出のための方法およびシステム
US10782688B2 (en) Method, control apparatus, and system for tracking and shooting target
CA3035298C (en) Predicting depth from image data using a statistical model
Hu et al. Moving object detection and tracking from video captured by moving camera
Lee et al. On-road pedestrian tracking across multiple driving recorders
CN108027877B (zh) 用于非障碍区检测的系统和方法
Wu et al. Moving object detection with a freely moving camera via background motion subtraction
KR101829556B1 (ko) 객체 움직임의 라이더 기반 분류 기법
Weinzaepfel et al. Learning to detect motion boundaries
EP2330557B1 (en) Moving body detection method and moving body detection device
Klappstein et al. Moving object segmentation using optical flow and depth information
US8599252B2 (en) Moving object detection apparatus and moving object detection method
EP3008696B1 (en) Tracker assisted image capture
Zhou et al. Moving object detection and segmentation in urban environments from a moving platform
US20110255748A1 (en) Articulated object regionarticulated object region detection apparatus and method of the same
CN106887021B (zh) 立体视频的立体匹配方法、控制器和系统
EP2352128B1 (en) Mobile body detection method and mobile body detection apparatus
Bian et al. Learning pixel trajectories with multiscale contrastive random walks
Mendes et al. Vehicle Tracking and Origin-Destination Counting System for Urban Environment.
Xu et al. Video-object segmentation and 3D-trajectory estimation for monocular video sequences
KR20140043159A (ko) 그래프 매칭 및 사이클 검출에 의한 자동 모델 초기화로의 라인 트래킹
Ashraf et al. HVD-net: a hybrid vehicle detection network for vision-based vehicle tracking and speed estimation
Nguyen et al. 3d pedestrian tracking using local structure constraints
KR101595334B1 (ko) 농장에서의 움직임 개체의 이동 궤적 트래킹 방법 및 장치
CN114399532A (zh) 一种相机位姿确定方法和装置

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20181005

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191004

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210202

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210304

R150 Certificate of patent or registration of utility model

Ref document number: 6849403

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150