JP4633841B2 - 歩行者の追跡による、ビデオ系列からの3次元道路配置の推定 - Google Patents

歩行者の追跡による、ビデオ系列からの3次元道路配置の推定 Download PDF

Info

Publication number
JP4633841B2
JP4633841B2 JP2008506397A JP2008506397A JP4633841B2 JP 4633841 B2 JP4633841 B2 JP 4633841B2 JP 2008506397 A JP2008506397 A JP 2008506397A JP 2008506397 A JP2008506397 A JP 2008506397A JP 4633841 B2 JP4633841 B2 JP 4633841B2
Authority
JP
Japan
Prior art keywords
road
scene
estimating
height
road map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008506397A
Other languages
English (en)
Other versions
JP2008538832A (ja
Inventor
ウラディミロヴィッチ ボヴィリン,アレグサンデル
ウラディミロヴィッチ ロディウシュキン,コンスタンティン
Original Assignee
インテル コーポレイション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インテル コーポレイション filed Critical インテル コーポレイション
Publication of JP2008538832A publication Critical patent/JP2008538832A/ja
Application granted granted Critical
Publication of JP4633841B2 publication Critical patent/JP4633841B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Instructional Devices (AREA)
  • Processing Or Creating Images (AREA)
  • Steering Control In Accordance With Driving Conditions (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は一般にビデオ監視に関し、特に、3次元(3D)シーンにおける物体の移動の解析に関する。
個人及び場所に対してセキュリティを提供するためにビデオ監視システムが用いられる。初期のシステムでは、ビデオ画像はセキュリティ要員によって常に監視されていた。長時間にわたって複数のディスプレイを観察すると、要員は、疲労を受けることが多く、監視しているシーンの捕捉画像において生起している関心事象を見過ごすことが多かった。これに対応して、一部のビデオ監視システムは、監視しているシーンにおける変化があった際にのみ画像の捕捉を行った。しかし、前述のシステムはなお、セキュリティ要員による手作業の制御及び観察を必要とした。
より最近では、画像を自動的に捕捉し、解析するための種々の手法が開発されている。コンピュータ・ビジョンは、一般的に認められた、計算機科学の研究分野になっている。しかし、監視システムにおいて画像を自動的に捕捉し、解析する実用的なアプリケーションの開発において多くの課題が残っている。
本発明の実施例は、校正されていない単一のビデオ・カメラによって観察される屋外シーンの3次元(3D)構造を自動的に学習する方法及びシステムを備える。特に、歩行者が進む道路及び小道の3D配置の推定は、歩行者を経時的に観察することによって、かつ、ビデオ・フレーム系列における歩行者の高さ及び位置から道路パラメータを推定することによって作成することができる。実際の屋外ビデオによる実験によって、カメラ雑音、シーン輝度のばらつき、動く物体の検出における考えられるミス、道路の有効領域のばらつき、及びカメラの振動に対する本発明の実施例のロバスト性が明らかになっている。推定された3D道路図(スケール係数まで)は、カメラと3Dシーンとの間の相対位置の校正を必要とするコンピュータ・ビジョン・アプリケーション(ビデオ監視、人間行動の認識及び人間歩行の解析など)において用いることが可能である。
本明細書において、本発明の「one embodiment」又は「an embodiment」に言及していることは、その実施例に関して説明する特定の特徴、構造又は特性が本発明の少なくとも1つの実施例に含まれていることを意味している。よって、本明細書を通した種々の箇所に存在している句「in one embodiment」は必ずしもその全てが同じ実施例を表している訳でない。
本発明は、相互に関連した2つの課題(すなわち、観察シーン上の物体スケールの予測、及び道路図の推定)を取り扱う。最初の課題は、シーン及び物体スケールにおける2次元(2D)物体位置間の対応関係の推定方法である。この目標に向けて、カメラ平面の相対位置の像を地平面上に映す関数のパラメータが、物体の運動軌跡を用いて推定される。本発明の実施例は、シーンにおける物体の高さを予測するための高精度でかつロバストな処理を含む。
物体の高さは、動く物体の軌跡が道路平面(すなわち、地平面)上にある場合にのみ、高精度で予測することが可能である。本発明の実施例は、予測されたスケールと競合しないシーンにおける動く物体に関する情報を用いた、シーンにおける道路検出の処理を含む。ビデオ・フレームにおける物体のおおよその位置は、いくつかの既知のフォアグラウンド検出手法の1つを用いて推定することが可能である(例えば、Liyuan Li、Weimin Huang、 Irene Y.H. Gu及びQi Tianによる「Foreground Object Detection from Videos Containing Complex Background (Proceedings of the eleventh Association of Computing Machinery (ACM) International Conference on Multimedia, MM2003, 2003)」)。本発明の実施例の道路図検出処理は、位置の推定における誤差、シーン輝度のばらつき(例えば、日中)、画像雑音、及び道路の有効領域のばらつき(シーン上の降雪又は降雨後)に対してロバストである。
道路図検出処理は、監視されず、カメラの動き、一部のシーンのばらつきやその他の観察される環境変動の場合に自己適合することができる。本発明を一部として含むビデオ監視アプリケーション・プログラムでは、処理を制御するために人間の操作者又はユーザが必要でないように、監視されない。道路図検出処理は、カメラの位置が変わるか、又は、その他の環境変動(例えば、照明条件における変動など)が生じた場合、3D変換パラメータを自動的に更新することによって自己適合することができる。正しい結果をもたらすために、前述の処理には、遠隔のシーンの上から視た図のみが必要である。上記処理は、物体(例えば、人間)のサイズの既知の統計分布から、動く物体が描かれ、シーン上の道路が全て、同じ平面にあるという前提に基づいている。前述の前提は、大半のビデオ監視タスク(例えば、人間活動の認識、人間歩行の解析、物体の地理的場所の推定、並びに、車両の追跡及び集計)において当てはまる。地平面制約は、既存の監視手法において頻繁に組み入れられる。
本発明の実施例は、物体スケール予測及び道路図検出を組み合わせて、単一のカメラによって捕捉されたシーンにおける3Dの道路配置について高精度でかつ高信頼度の結果をもたらす。
本発明の特徴及び利点は、本発明の以下の詳細な説明から明らかになるであろう。
図1は、本発明の実施例による処理システム100のブロック図である。ビデオ・ストリーム102は、単一のカメラ(図示せず)によって捕捉されたビデオ・フレーム系列を備える。上記系列における各フレ―ムは、画素のビットマップを備える。このビットマップは、カメラによって捕捉された、選択されたサイズを有する。ビデオ・ストリームの各フレームを、既知のフォアグラウンド物体検出装置104によって処理して、各ビデオ・フレームのフォアグラウンドにおける物体(「ブラブ」によって表す)をフレームのバックグランドから抽出することができる。検出されたブラブそれぞれは、地平面の3Dシーンにおける関連した足跡位置を有する。一実施例では、フォアグラウンド物体検出装置は、Liyuan Li、Weimin Huang、 Irene Y.H. Gu及びQi Tianによる「Foreground Object Detection from Videos Containing Complex Background (Proceedings of the eleventh Association of Computing Machinery (ACM) International Conference on Multimedia, MM2003, 2003)によって記載されている手法を実現する。しかし、他の実施例では、他のフォアグランド物体検出処理を用いることができる。フォアグラウンド物体検出装置104は、検出された物体ブラブ106を物体スケール予測装置108及び道路図推定装置110に転送する。フォアグラウンド物体検出装置104は、フォアグラウンド物体の判定の結果として得られたバックグラウンド画像112も道路図推定装置110に転送する。物体スケール検出装置108は、捕捉されたシーンにおける物体ブラブを解析してその高さを推定する。道路図推定装置110は、捕捉されたシーンの道路図の推定を生成する。フォアグラウンド物体検出、物体スケール検出、及び道路図検出は、ビデオ・ストリームの各ビデオ・フレームに対して行うことができる。物体スケール予測装置及び道路図検出装置の結果を合成して、ビデオ・ストリームに存在しているシーンの道路114上に動く物体のスケール・マップを生成する。スケール・マップは、他のアプリケーション116(ビデオ監視アプリケーション、コンテンツ作成アプリケーション、3D再構成システム等など)に入力することができる。
物体スケール予測108は、物体ブラブに対して行うことができる。特定のビデオ・フレームにおいてフォアグラウンド物体検出装置によって検出されるブラブ毎に、物体スケール予測装置は、対応するブラブの足跡に部分的に基づいて物体の推定の高さを算出する。図2は、本発明の実施例による、地平面からの、カメラ平面への物体の投影図である。この例では、3Dシーンにおける物体(例えば、人間など)は、シーンの地平面に対する点(tx,ty,tz)において「頭部」を有する。カメラ平面を有するカメラによってシーンが捕捉されると、物体は、カメラ平面における(X,Y)に足跡を有し、(px,py)において頭部を有する。
以下の形式による、カメラ(図示せず)と、捕捉された3Dシーンとの間の一般的な透視変換を仮定する。
Figure 0004633841
Figure 0004633841
ここで、tx、ty、tzは、シーンにおける物体の頭部の3D世界の座標を表し、Rxx、Rxy、Rxx、Rxz、Rx0、Rzx、Rzy、Rzx、Rz0、Ryx、Ryy、Ryz、Ry0、Rzx、Rzy及びRz0は定数を表し、px、pyはカメラ平面における点(すなわち、物体の頭部)の座標を表す。
シーンにおける動く物体は全て、ほぼ同一の高さを有していると仮定する。この仮定を用いれば、カメラ平面における物体の「頭部」pyのY座標が、カメラ平面におけるその「足部」の位置(X,Y)に式1に応じて依存することを示し得る。
Figure 0004633841
一般性を失うことなく、シーンにおける動く物体が人間であると仮定する。シーンにおける各人間iは、カメラ平面において、関連した足跡位置(X[i],Y[i])及び頭部y位置(py[i])を有する。推定されたN(Nは正の整数である)個の人間「足部」位置組(X[i],Y[i])を用いれば、以下の汎関数を最小にすることによって3D変換パラメータp1、p2、p3、p4、p5を推定することが可能である。
Figure 0004633841
この最小化問題を解くために、一実施例では、周知の数値繰り返し最適化(William H. Pressらによる「Numerical Recipes in C: The Art of Scientific Computing (Cambridge University Press, 1992)」に記載されている)を用いて初期解を求めることができる。他の実施例では、他の手法を用いることができる。(2)の初期解を求めるために、SVDアルゴリズム(William H. Pressらによる「Numerical Recipes in C: The Art of Scientific Computing (Cambridge University Press, 1992)」に記載されている)を用いて線形系(3)を解くことができる。
Figure 0004633841
しかし、多くの場合、人間の足跡のデータ組には雑音が存在し得る。人間の位置推定及びサイズ推定における誤差の影響を削減するために、アウトライア除去手順を用いてデータ組における雑音ブラブを除外することができる。人間ブラブ毎の高さ(及びスケール)が、式(1)を用いて予測され、最適パラメータは式(2)によって得られる。その場合、一実施例では、実際のブラブ高さとのその予測高さの最大偏差を有する約P%のブラブを、人間の「足部」の足跡の組(X[i],Y[i])から除去することができる。一実施例では、Pは約30%に設定することができる。他の実施例では、他の値を用いることができる。最大偏差は、人間としては小さすぎるブラブ及び/又は人間としては大きすぎるブラブの場合に生じ得る。アウトライアなしの人間足跡データ組を用いてモデル(1)を、式(2)を用いて再訓練することができる。
アウトライア除去後の物体スケール予測装置108の出力は、ビデオ・フレームにおける残りのブラブ毎の推定された高さ(py[i]-Y[i])及び位置(X[i],Y[i])である。この情報は、ビデオ・フレーム上で視覚的に表すことが可能である。図3は、「典型的な」人間の高さ推定を示す例である。黒線は、ビデオ・フレームにおける対応する場所における推定された人間の高さに対応する。白線は、ビデオ・フレームにおける人間ブラブの実際の(追跡された)高さを表す。
道路図検出は、物体ブラブ106及びバックグラウンド画像112を用いて道路図検出装置110によって行うことができる。図4は、3Dシーンのサンプル画像である。物体(すなわち、人間)の「足部」のフィルタリングされた位置組(X[i],Y[i])を、シーン上の道路境界推定に用いることができる。前述の位置は、道路の色(一様とする)と同じ色の画素を有するものとする。よって、物体は、道路の上を歩いている歩行者であるものとする。領域拡張処理を用いて、道路の表面に属するビデオ・フレームの画素を求めることができる。上記処理は、i番目のシード画素((X[i],Y[i])における物体「足部」上の画素)から始めて連結成分を埋める(シード画素の色とほぼ同様な色を成分内の画素全てが有する)。形式上、点(x,y)は、「道路」に、推定バックグラウンド画像112におけるその色が以下の条件を満たす場合に属するものとする。
Figure 0004633841
ここで、Iは強度を表し、Ir、Ig、Ibは、推定されたバックグラウンド画像112における画素の色成分であり、tは道路の色のばらつきのパラメータ(例えば、t=20)である。推定バックグラウンド画像を用いて、道路が推定されるシーンから物体を除外する。道路の境界は通常、画像におけるエッジに対応するので、領域拡張は、画像エッジ画素に達すると停止する。この処理は各ビデオ・フレームに対して行うことができる。一実施例では、「A Computational Approach to Edge Detection (IEEE Trans. Patt. Analy. And Mach. Intell., 8(6):679-698, 1986)」に記載されたJ. Cannyによる既知のエッジ検出器処理(Emanuelle Trucco及びAlessandro Verriによる「Introductory Techniques for 3-D Computer Vision (Prentice Hall, 1998, pp.71-79)」にも記載されている)を用いて前述のエッジを求めることができる。他の実施例では、他のエッジ検出処理を用いることができる。
物体の「足部」の位置推定における誤差の影響を削減するために、一実施例では、画素が「道路」として分類された回数(N)を集計することができる。画素は、N>MaxN*0.1の場合にのみ、現行シーンにおける道路画素クラスに属するとみなされる。ここで、MaxNは、シーンのビデオ・フレームの画素全てからのNの最大値である。よって、一部の雑音画素を道路図から除外することができる。道路図推定のための前述のアウトライア除去手順は、最も「人気のある」道路のみをユーザが観察することも可能にする。上記処理は、一様でない有効領域を有する、シーンの道路(例えば、土手道)を正確に解析することが可能である。
図5は、10分間のサンプル・ビデオ・ストリームの処理後に道路図検出装置によって生成される、図4のシーンに対応するサンプル道路図である。図6は、道路図検出装置によって生成される、図4のシーンに対応する3D道路図例である。道路図は物体スケール情報を含む。深度情報は、暗い=遠い、から、明るい=近いに及ぶ。
図7は、本発明の実施例による物体スケール予測及び道路図検出処理を示すフロー図である。ビデオ・ストリームの各フレームは、物体スケール予測装置108、及び道路図検出装置110に入力することができる。ブロック700では、フォアグラウンド物体検出装置104は、フレームにおける物体の位置をフォアグラウンド推定を用いて検出する。場合によっては、物体は、フレームにおける、人間の表現(例えば、歩行者)を含む。ブロック702では、物体スケール推定装置は、変換式(1)の3D変換パラメータp1、p2、p3、p4及びp5を関数方程式(2)を用いて推定する。ブロック704では、物体スケール推定装置は、物体の高さを式(1)を用いて予測する。次に、ブロック706では、物体スケール予測装置は、物体の予測高さからアウトライアが除去されているかを判定する。アウトライアがまだ除去されていない場合、アウトライアをブロック708で除去することができる。これによって、モデル再訓練のためのフィルタリングされた物体組がもたらされる。処理は次いで、ブロック702に続く。アウトライアが除去されている場合、処理は、ブロック710における道路図検出処理に続く。
ブロック710では、道路図検出装置は、フォアグラウンド物体検出装置104から得られるバックグラウンド画像、及び領域拡張処理を用いて、各物体の足跡から始め、画像エッジ画素に達すると停止して、一様な色の領域を埋める。この動作を、物体のデータ組における物体毎に行って道路図を生成することができる。ブロック712では、アウトライアは、推定道路図から除去することができる。最後に、ブロック714では、道路上の動く物体の高さ図(すなわち、スケール図114)を、道路図検出装置110によって生成される道路図に基づいて推定することができる。
本発明の実施例は、3Dシーンにおける通常の物体のスケールの推定の方法、及び、ビデオ・カメラによって観察されるシーンにおける道路検出の方法を提案する。本発明によって、各ビデオ・フレームに対する再訓練を行うその機能、アウトライア除去処理、及び自己適合するその特性が理由で、完全に自動的なビデオ監視システム校正が可能になる。本発明は、シーン輝度のばらつき(例えば、日中)、ビデオ・カメラ雑音、及び道路の有効領域のばらつき(例えば、降雨後又は降雪後)に対してロバストである。本発明は、監視されず、カメラの動き、一部のシーンのばらつきやその他の観察される周囲の変化の場合に自己校正することができる。本発明は、カメラ画像平面における2D座標と、観察されるシーンの道路の3D世界の座標との間の変換も自動的に推定する。
本発明の実施例は、カメラと3Dシーンとの間の相対位置の校正を必要とする多くのコンピュータ・ビジョン・アプリケーション(人間行動の解析、ロボット・ビジョン、コンテンツ作成、物体の検出及び追跡、3Dシーンの理解、ビデオ処理、3D再構成、並びにジェスチャ認識システムなど)の信頼度を劇的に向上させることができる。本発明の実施例は、ビデオ監視システムの更なる自動化、及び高精度化を行うことが可能である。例えば、本発明は、道路又は小道の境界の外側に歩いているとして人間が検出された場合、又は、検出された物体のサイズが、予測された平均から逸脱する場合、アラ―ムを生成するよう構成することが可能である。
本明細書及び特許請求の範囲記載の動作は、順次プロセスとして表すことができるが、動作の一部は実際に並列に、又は同時に行うことができる。更に、一部の実施例では、本発明の趣旨から逸脱することなく動作の順序を再配列することができる。
本明細書及び特許請求の範囲記載の手法は、如何なる特定のハードウェア構成又はソフトウェア構成にも限定されるものでなく、何れの計算環境又は処理環境にも応用性を見出し得る。上記手法は、ハードウェア、ソフトウェア、又は両方の組み合わせで実施することができる。上記手法は、プログラム可能なマシン(プロセッサと、プロセッサによって読み取り可能な記憶媒体(揮発性メモリ及び不揮発性メモリ、並びに/又は記憶エレメントを含む)と、少なくとも1つの入力装置と、1つ又は複数の出力装置とをそれぞれが含む、モバイル・コンピュータや固定型コンピュータ、携帯情報端末、セットトップボックス、携帯電話機、ページャやその他の電子装置)上で実行するプログラムにおいて実現することができる。入力装置を用いて入力されたデータにプログラム・コードを施して、記述された機能を行い、出力情報を生成する。出力情報は1つ又は複数の出力装置に施すことができる。種々のコンピュータ・システム構成(マルチプロセッサ・システム、ミニコンピュータ、汎用コンピュータ等を含む)によって本発明を実施することが可能であることを当業者は認識し得る。本発明は、通信ネットワークを介してリンクされた遠隔処理装置によってタスクを行うことができる分散計算環境において実施することも可能である。
各プログラムをハイレベルの手続型プログラミング言語又はオブジェクト指向型プログラミング言語で実現して処理システムと通信することができる。しかし、プログラムは、所望の場合、アセンブリ言語又はマシン言語で実現することができる。いずれの場合でも、言語はコンパイル言語又はインタープリタ言語であり得る。
プログラム命令を用いて、命令によってプログラムされた汎用処理システム又は特定用途向処理システムに本明細書及び特許請求の範囲記載の処理を行わせることができる。あるいは、処理を行うための配線論理を含む特定のハードウェア構成部分によって、又は、プログラムされたコンピュータ構成部分及びカスタムのハードウェア構成部分の何れかの組み合わせによって処理を行うことができる。本明細書及び特許請求の範囲記載の方法は、処理システムやその他の電子装置をプログラムして方法を行うのに用いることができる命令を上に記憶させたマシン・アクセス可能媒体を含み得るコンピュータ・プログラムとして提供することができる。本明細書及び特許請求の範囲記載の「マシン・アクセス可能媒体」の語は、マシンによって実行するための命令系列を記憶又は符号化することができ、本明細書及び特許請求の範囲記載の方法のうちの何れか1つをマシンに行わせる何れかの媒体を含むものとする。「マシン・アクセス可能媒体」の語はよって、データ信号を符号化するソリッドステート・メモリ、光ディスク及び磁気ディスク、並びに搬送波を含むが、前述のものに限定されるものでない。更に、一形態又は別の形態(例えば、プログラム、手順、処理、アプリケーション、モジュール、ロジック等)でのソフトウェアといえば、動作を行うか、又は結果を引き起こすものであることが当該技術分野において一般的である。前述の表記は、処理システムによるソフトウェアの実行が、結果を生じるという動作をプロセッサに行わせることを簡潔に言うやり方に過ぎない。
例証的な実施例を参照しながら本発明を説明したが、この説明は、限定的な意味合いで解されることを意図するものでない。本発明が関係する当該技術分野における当業者に明らかである本発明の例証的な実施例の種々の修正及びその他の実施例は、本発明の趣旨及び範囲内に収まるものと認められる。
本発明の実施例による処理システムのブロック図である。 本発明の実施例による、地平面からの、カメラ平面への物体の投影図である。 物体の高さ推定を含むシーンのサンプル画像を示す図である。 別のシーンのサンプル画像を示す図である。 図4のシーンに対応するサンプル道路図である。 図4のシーンに対応する、3Dのサンプル道路図である。 本発明の実施例による物体スケール予測及び道路図検出処理を示すフロー図である。

Claims (8)

  1. 3Dシーンを経時的に捕捉するビデオ・フレームを解析して前記3Dシーンの道路図を自動的に生成する方法であって、
    前記ビデオ・フレームにおける物体の位置を検出する工程と、
    前記物体の3D変換パラメータを推定する工程と、
    前記3D変換パラメータに少なくとも部分的に基づいて前記物体の高さを予測する工程と、
    物体の前記予測された高さからアウトライアを除去して、物体のフィルタリングされた組を生成する工程と、
    前記物体のフィルタリングされた組を用いて、前記3D変換パラメータの推定、及び前記物体の高さの予測を繰り返す工程と、
    前記物体のうちの1つの位置の足部から始め、前記バックグラウンド画像のエッジ画素に達すると停止して、一様な色領域を埋めることにより、バックグラウンド画像及び前記物体の位置を用いて前記3Dシーンの道路境界を推定する工程と、
    前記道路図を生成する工程と、
    アウトライア画素を前記道路図から除去する工程と、
    前記道路図の道路上で動く物体の高さ図を推定する工程とを備える方法。
  2. 請求項1記載の方法であって、物体の位置を検出する工程が、フォアグラウンド物体検出処理を前記ビデオ・フレームに施す工程を備える方法。
  3. 請求項1記載の方法であって、道路境界を推定する工程は、物体の位置に領域拡張処理を施して、前記3Dシーンにおける道路表面に属する、前記ビデオ・フレームの画素を求める工程を備える方法。
  4. コンピュータ・プログラムであって、3Dシーンを経時的に捕捉するビデオ・フレームを解析して、
    前記ビデオ・フレームにおける物体の位置を検出し、
    前記物体の3D変換パラメータを推定し、
    前記3D変換パラメータに少なくとも部分的に基づいて前記物体の高さを予測し、
    物体の前記予測された高さからアウトライアを除去して、物体のフィルタリングされた組を生成し、
    前記物体のフィルタリングされた組を用いて、前記3D変換パラメータの推定、及び前記物体の高さの予測を繰り返し、
    前記物体のうちの1つの位置の足部から始め、前記バックグラウンド画像のエッジ画素に達すると停止して、一様な色領域を埋めることにより、バックグラウンド画像及び前記物体の位置を用いて3Dシーンの道路境界を推定し、
    前記道路図を生成し、
    アウトライア画素を前記道路図から除去し、
    前記道路図の道路上で動く物体の高さ図を推定することによって前記3Dシーンの道路図を自動的に生成する機能をコンピュータに実行させコンピュータ・プログラム
  5. 請求項4記載のコンピュータ・プログラムであって、物体の位置を検出する機能が、フォアグラウンド物体検出処理を前記ビデオ・フレームに施す機能を含むコンピュータ・プログラム
  6. 請求項4記載のコンピュータ・プログラムであって、道路境界を推定する機能は、物体の位置に領域拡張処理を施して、前記3Dシーンにおける道路表面に属する、前記ビデオ・フレームの画素を求める機能を含むコンピュータ・プログラム
  7. 3Dシーンを経時的に捕捉するビデオ・フレームを解析して前記3Dシーンの道路図を自動的に生成するシステムであって、
    3Dシーンのビデオ・フレームを解析し、前記ビデオ・フレームにおける物体及び物体位置を検出するためのフォアグラウンド物体検出装置と、
    前記物体の3D変換パラメータを推定し、前記3D変換パラメータに少なくとも部分的に基づいて前記物体の高さを予測し、物体の前記予測された高さからアウトライアを除去して、物体のフィルタリングされた組を生成し、前記物体のフィルタリングされた組を用いて、前記3D変換パラメータの推定、及び前記物体の高さの予測を繰り返すための物体スケール予測装置と、
    前記物体のうちの1つの物体の位置の足部から始め、前記バックグラウンド画像のエッジ画素に達すると停止して、一様な色領域を埋めることにより、バックグラウンド画像及び前記物体の位置を用いて前記3Dシーンの道路境界を推定し、アウトライア画素を前記道路図から除去し、前記道路図の道路上で動く物体の高さ図を推定することにより、前記道路図を生成するための道路図検出装置とを備えるシステム。
  8. 請求項7記載のシステムであって、前記道路図推定装置は、物体の位置に領域拡張処理を施して、前記3Dシーンにおける道路表面に属する、前記ビデオ・フレームの画素を求めることによって道路境界を推定するシステム。
JP2008506397A 2005-04-18 2005-04-18 歩行者の追跡による、ビデオ系列からの3次元道路配置の推定 Expired - Fee Related JP4633841B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/RU2005/000209 WO2006115427A1 (en) 2005-04-18 2005-04-18 Three-dimensional road layout estimation from video sequences by tracking pedestrians

Publications (2)

Publication Number Publication Date
JP2008538832A JP2008538832A (ja) 2008-11-06
JP4633841B2 true JP4633841B2 (ja) 2011-02-16

Family

ID=35840603

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008506397A Expired - Fee Related JP4633841B2 (ja) 2005-04-18 2005-04-18 歩行者の追跡による、ビデオ系列からの3次元道路配置の推定

Country Status (8)

Country Link
US (1) US7751589B2 (ja)
EP (1) EP1872302B1 (ja)
JP (1) JP4633841B2 (ja)
KR (1) KR100999206B1 (ja)
CN (1) CN101167085B (ja)
AT (1) ATE477547T1 (ja)
DE (1) DE602005022943D1 (ja)
WO (1) WO2006115427A1 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI111755B (fi) * 2001-11-23 2003-09-15 Mapvision Oy Ltd Menetelmä ja järjestelmä konenäköjärjestelmän kalibroimiseksi
US8401229B2 (en) 2007-09-04 2013-03-19 Objectvideo, Inc. Stationary target detection by exploiting changes in background model
JP5089545B2 (ja) * 2008-09-17 2012-12-05 日立オートモティブシステムズ株式会社 道路境界検出判断装置
US8436872B2 (en) * 2010-02-03 2013-05-07 Oculus Info Inc. System and method for creating and displaying map projections related to real-time images
IL210427A0 (en) * 2011-01-02 2011-06-30 Agent Video Intelligence Ltd Calibration device and method for use in a surveillance system for event detection
US8565520B2 (en) 2011-06-10 2013-10-22 Microsoft Corporation Determining foreground regions and background regions in an image
JP6046948B2 (ja) * 2012-08-22 2016-12-21 キヤノン株式会社 物体検知装置及びその制御方法、プログラム、並びに記憶媒体
KR101726692B1 (ko) 2012-08-24 2017-04-14 한화테크윈 주식회사 객체 추출 장치 및 방법
AU2012244275A1 (en) 2012-10-30 2014-05-15 Canon Kabushiki Kaisha Method, apparatus and system for determining a boundary of an obstacle which occludes an object in an image
AU2012244276A1 (en) 2012-10-30 2014-05-15 Canon Kabushiki Kaisha Method, apparatus and system for detecting a supporting surface region in an image
US9177245B2 (en) 2013-02-08 2015-11-03 Qualcomm Technologies Inc. Spiking network apparatus and method with bimodal spike-timing dependent plasticity
US9713982B2 (en) 2014-05-22 2017-07-25 Brain Corporation Apparatus and methods for robotic operation using video imagery
US9939253B2 (en) 2014-05-22 2018-04-10 Brain Corporation Apparatus and methods for distance estimation using multiple image sensors
US10194163B2 (en) 2014-05-22 2019-01-29 Brain Corporation Apparatus and methods for real time estimation of differential motion in live video
CN105141885B (zh) * 2014-05-26 2018-04-20 杭州海康威视数字技术股份有限公司 进行视频监控的方法及装置
US9848112B2 (en) 2014-07-01 2017-12-19 Brain Corporation Optical detection apparatus and methods
US10057593B2 (en) 2014-07-08 2018-08-21 Brain Corporation Apparatus and methods for distance estimation using stereo imagery
KR101620580B1 (ko) * 2014-09-04 2016-05-12 주식회사 에스원 달리기 감지 방법 및 시스템
US9870617B2 (en) 2014-09-19 2018-01-16 Brain Corporation Apparatus and methods for saliency detection based on color occurrence analysis
US10197664B2 (en) 2015-07-20 2019-02-05 Brain Corporation Apparatus and methods for detection of objects using broadband signals
US10657625B2 (en) 2016-03-29 2020-05-19 Nec Corporation Image processing device, an image processing method, and computer-readable recording medium
US10372970B2 (en) 2016-09-15 2019-08-06 Qualcomm Incorporated Automatic scene calibration method for video analytics
CN107292234B (zh) * 2017-05-17 2020-06-30 南京邮电大学 一种基于信息边缘和多模态特征的室内场景布局估计方法
CN107316344B (zh) * 2017-05-18 2020-08-14 深圳市佳创视讯技术股份有限公司 一种虚实融合场景中漫游路径规划的方法
JP6936098B2 (ja) * 2017-09-29 2021-09-15 トヨタ自動車株式会社 対象物推定装置
WO2020101472A1 (en) * 2018-11-14 2020-05-22 Mimos Berhad Method and system for counting and determining direction of movement of moving objects
DE102018221054B4 (de) 2018-12-05 2020-12-10 Volkswagen Aktiengesellschaft Verfahren zum Bereitstellen von Kartendaten in einem Kraftfahrzeug, Kraftfahrzeug und zentrale Datenverarbeitungseinrichtung
CN112150558B (zh) * 2020-09-15 2024-04-12 阿波罗智联(北京)科技有限公司 用于路侧计算设备的障碍物三维位置获取方法及装置
KR20220061520A (ko) 2020-11-06 2022-05-13 서강대학교산학협력단 신경망을 기반으로 한 미행 검출 방법 및 이를 이용한 미행 검출 시스템
US11580661B2 (en) * 2020-11-23 2023-02-14 Motorola Solutions, Inc. Device, method and system for estimating elevation in images from camera devices

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001250802A1 (en) * 2000-03-07 2001-09-17 Sarnoff Corporation Camera pose estimation
EP1282855B1 (en) * 2000-03-17 2011-10-12 Microsoft Corporation System and method for abstracting and visualizing a route map
CN1300032A (zh) * 2001-01-16 2001-06-20 张建平 自动更新电子交通地图的方法及系统
US6901264B2 (en) * 2001-04-25 2005-05-31 Makor Issues And Rights Ltd. Method and system for mobile station positioning in cellular communication networks
GB0227565D0 (en) * 2002-11-26 2002-12-31 British Telecomm Method and system for generating panoramic images from video sequences
GB0227566D0 (en) * 2002-11-26 2002-12-31 British Telecomm Method and system for estimating global motion in video sequences
US20060082472A1 (en) * 2002-12-27 2006-04-20 Shinya Adachi Traffic information providing system,traffic information expression method and device
JP4744789B2 (ja) * 2003-05-30 2011-08-10 パナソニック株式会社 物体識別方法及び物体識別装置
US7660441B2 (en) * 2004-07-09 2010-02-09 Southern California, University System and method for fusing geospatial data

Also Published As

Publication number Publication date
DE602005022943D1 (de) 2010-09-23
WO2006115427A1 (en) 2006-11-02
US7751589B2 (en) 2010-07-06
KR100999206B1 (ko) 2010-12-07
JP2008538832A (ja) 2008-11-06
ATE477547T1 (de) 2010-08-15
CN101167085A (zh) 2008-04-23
EP1872302A1 (en) 2008-01-02
CN101167085B (zh) 2011-11-23
US20090028384A1 (en) 2009-01-29
KR20070114216A (ko) 2007-11-29
EP1872302B1 (en) 2010-08-11

Similar Documents

Publication Publication Date Title
JP4633841B2 (ja) 歩行者の追跡による、ビデオ系列からの3次元道路配置の推定
KR102472767B1 (ko) 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치
US9684840B2 (en) Detection system
US8363902B2 (en) Moving object detection method and moving object detection apparatus
GB2580691A (en) Depth estimation
CN110400315A (zh) 一种缺陷检测方法、装置及系统
CN108734109B (zh) 一种面向图像序列的视觉目标跟踪方法及系统
US11790661B2 (en) Image prediction system
Liu et al. EDFLOW: Event driven optical flow camera with keypoint detection and adaptive block matching
Mahamuni et al. Moving object detection using background subtraction algorithm using Simulink
US20140362289A1 (en) Method and apparatus for increasing frame rate of an image stream using at least one higher frame rate image stream
JP2018120283A (ja) 情報処理装置、情報処理方法及びプログラム
CN113490965A (zh) 图像跟踪处理方法、装置、计算机设备和存储介质
KR20210121628A (ko) 강화학습 기반 포인트 클라우드 자동화 처리 방법 및 그 시스템
CN109492522B (zh) 特定目标检测模型训练程序、设备及计算机可读存储介质
CN117593702A (zh) 远程监控方法、装置、设备及存储介质
CN111531546B (zh) 一种机器人位姿估计方法、装置、设备及存储介质
Li et al. Fast visual tracking using motion saliency in video
US20200364877A1 (en) Scene segmentation using model subtraction
CN115953438A (zh) 光流估计方法及装置、芯片及电子设备
CN113450385B (zh) 一种夜间工作工程机械视觉跟踪方法、装置及存储介质
Bovyrin et al. Human height prediction and roads estimation for advanced video surveillance systems
KR100994366B1 (ko) 영상 추적 장치의 이동표적 움직임 추적 방법
Wong et al. Development of a refined illumination and reflectance approach for optimal construction site interior image enhancement
RU2409854C2 (ru) Оценка трехмерной топологии дороги на основе видеопоследовательностей посредством отслеживания пешеходов

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100525

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100721

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100820

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100924

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101019

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101117

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131126

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees