JP4531897B2 - 人物追跡装置、人物追跡方法及びそのプログラムを記録した記録媒体 - Google Patents

人物追跡装置、人物追跡方法及びそのプログラムを記録した記録媒体 Download PDF

Info

Publication number
JP4531897B2
JP4531897B2 JP36928299A JP36928299A JP4531897B2 JP 4531897 B2 JP4531897 B2 JP 4531897B2 JP 36928299 A JP36928299 A JP 36928299A JP 36928299 A JP36928299 A JP 36928299A JP 4531897 B2 JP4531897 B2 JP 4531897B2
Authority
JP
Japan
Prior art keywords
person
blob
area
background
models
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP36928299A
Other languages
English (en)
Other versions
JP2001184488A (ja
Inventor
英明 松尾
和幸 今川
雄二 高田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP36928299A priority Critical patent/JP4531897B2/ja
Priority to US09/741,384 priority patent/US6704433B2/en
Publication of JP2001184488A publication Critical patent/JP2001184488A/ja
Application granted granted Critical
Publication of JP4531897B2 publication Critical patent/JP4531897B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782Systems for determining direction or deviation from predetermined direction
    • G01S3/785Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864T.V. type tracking systems
    • G01S3/7865T.V. type tracking systems using correlation of the live video image with a stored image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)
  • Image Processing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、侵入者を監視する監視装置等に組み込まれる、人物追跡装置及びその関連技術に関するものである。
【0002】
【従来の技術】
近年、カメラ画像に含まれる人物を、画像処理的に取り扱う研究が盛んになっている。このような研究には、カメラ画像の時間差分を用いて動物体を検出する方法もあるが、人物追跡を行うには性能が不足する。
【0003】
そして、現実的に人物追跡まで応用できる研究として、次の2つの技術を上げることができる。
【0004】
第一は、羽下らが、電子情報通信学会論文PRMU99−67 pp.23−pp.30に発表したものであり、カメラ画像の時間差分にテンプレートマッチングを複合させた技術である。これは、侵入者を自動的に発見し、首振り、ズームを行いながら追尾する侵入監視システムに係り、追尾アルゴリズムとして、テンプレートマッチングとフレーム間差分の二種類を用意し、テンプレートマッチングによる追尾点をフレーム間差分によって補正することにより、安定した追尾を実現できるというものである。
【0005】
しかしながら、これによると、テンプレートマッチングにおける、テンプレート領域を矩形で囲み、テンプレート内全体の情報で、マッチングを実行しているため、人物が姿勢を変更した際に、追跡に失敗しやすいという問題点がある。
【0006】
第二は、高嶋らが、電子情報通信学会論文PRMU99 pp.30−pp.36に発表したものであり、人物を、3つのブロブモデル(座標位置と色の近似性で表現された略球状の塊)で簡潔に表現し、追跡する技術である。このブロブモデルの発想は、MIT Medeia Lab.にて開発された「PFinder」を基礎とするものである。
【0007】
これによると、人物が、カメラに近く、カメラ画像内で相対的に大きな像として写っている場合には、安定して追跡できる。しかしながら、人物が遠くにいて、小さくしか写っていないときにも、3つのブロブモデルとして扱うので、他のノイズと人物との区別がつきにくくなってしまい、追跡を失敗しやすいし、人物でないものも人物として扱ってしまうおそれがある。そして、始めに、誤ったモデル化を行うと、処理の整合性が失われて、その後の処理が、ガタガタになってしまいやすい。
【0008】
【発明が解決しようとする課題】
そこで本発明は、人物の遠近関係にかかわらず、安定して人物を追跡できる人物追跡装置及びその関連技術を提供することを目的とする。
【0009】
【課題を解決するための手段】
本発明では、カメラ画像を、少なくとも人物領域と背景領域に分離する。そして、人物領域を、人物の部分に対応する複数のブロブモデルに分離可能か否かを判定する。判定結果が可を示すとき、該当人物領域を基に複数の人物ブロブモデルを作成し、判定結果が否を示すとき、該当人物領域を基に単数の人物ブロブモデルを作成する。そして、これらの人物ブロブモデルに基づいて人物の追跡を行う。
【0010】
これにより、人物の遠近関係にかかわらず、安定して人物を追跡できる。
【0011】
【発明の実施の形態】
第1の発明では、カメラ画像を、少なくとも人物領域と背景領域に分離し、人物領域を、人物の部分に対応する複数のブロブモデルに分離可能か否かを判定し、判定結果が可を示すとき、該当人物領域を基に複数の人物ブロブモデルを作成し、判定結果が否を示すとき、該当人物領域を基に単数の人物ブロブモデルを作成し、これらの人物ブロブモデルに基づいて人物の追跡を行う。
【0012】
この構成により、ノイズ等外乱要素に対して強くなり、安定性が向上する。因みに、単数の人物ブロブモデルでは、ラフな追跡した行えないが、遠くにいる人物は、人物追跡によって守ろうとする保護対象に与える影響が一般に小さいと考えられるため、ラフな追跡でも十分である。逆に、近くにいて大きく写っている人物は、複数の人物ブロブモデルによって、より精密な人物追跡を行える。
【0013】
第2の発明では、複数のブロブモデルは、人物の頭、胴、足の3つのブロブモデルである。
【0014】
この構成により、人物を、頭、胴、足の3つの人物ブロブモデルで簡潔に表現して、安定した追跡を行える。しかも、この3つの人物ブロブモデルの位置関係だけで、人物が立っている、座っている、寝ている等の、簡易な姿勢推測が可能となる。
【0015】
第3の発明では、分離条件判定手段は、該当人物領域の遠近情報を参照して判定結果の可否を判定する。
【0016】
この構成により、遠近情報を用いて、分離条件判断を適性に行える。
【0017】
第4の発明では、分離条件判定手段は、該当人物領域のサイズを参照して判定結果の可否を判定する。
【0018】
この構成により、人物領域のサイズを参照して、体格の良い人物がやや遠くにいるときには、複数の人物ブロブモデルを作成したり、小さな赤ちゃんが近くにいるときには単数の人物ブロブモデルを作成するなど、柔軟に対応できる。
【0019】
第5の発明では、背景領域に基づいて、複数の背景ブロブモデルを作成する。
【0020】
この構成により、背景領域についても、ブロブモデルを採用し、背景の取り扱いを、より簡潔に行える。
【0021】
第6の発明では、領域分離手段は、該当画素と背景ブロブモデルとの類似度の最小値を求め、この最小値が閾値以上であるときに、該当画素が背景領域でないとする。
【0022】
この構成により、最小値との比較によって、背景領域でない(人物領域の可能性がある)画素を適切に見分けることができる。
【0023】
第7の発明では、背景ブロブモデルは、該当領域のXY座標平均値とRGB平均値を含めて記述される。
【0024】
この構成により、背景領域の特性を、忠実かつ簡潔に反映したブロブモデルが得られる。
【0025】
次に、図面を参照しながら、本発明の実施の形態を説明する。図1は、本発明の一実施の形態における人物追跡装置のブロック図である。図1に示すように、この人物追跡装置は、次の構成要素を有する。まず、制御手段1は、CPU(中央処理装置)などからなり、他の構成要素を制御する。なお、本例では、制御手段1は、画像入力及び初期化と、それ以外の処理を、交互に行うように制御する。
【0026】
記憶手段2は、カメラなどの画像入力手段4から入力される画像情報を格納するフレームメモリや、制御手段1上で動作する制御プログラム及びその動作上必要な情報を記憶するRAMなどからなる。また、このRAMには、後述する人物ブロブモデル、背景ブロブモデルなども記憶される。
【0027】
表示手段3は、現在のカメラ画像や人物ブロブモデルをモニタするためのものであり、遠近情報取得のためのユーザインターフェイスの役割も兼務する。
【0028】
背景ブロブモデル作成手段5は、初期化において、現在のカメラ画像を縦横複数等間隔に分割し、各分割領域の背景ブロブモデルを作成する。本例では、図6に示すように、横6個、縦5個の等間隔(都合30個)で分割し、0,1,2,…、29の領域番号で各分割領域を識別する。そして、図6上部に記載したように、背景ブロブモデルを定義する。
【0029】
ここで、各画素は、XY座標(x,y)とRGB色空間における色情報(r,g,b)の5次元の情報を持つが、これらの背景ブロブモデルでは、XY座標の平均値・分散・共分散、上記色情報の平均値・分散・共分散等を、要素に持たせる。これにより、各分割領域の特徴を、簡潔かつ忠実に表現できる。
【0030】
なお、1枚のカメラ画像のみで、背景ブロブモデルを作成しても良いし、いくつかのフレームを足しあわせて平均画像を作り、この平均画像を用いて背景ブロブモデルを作成しても良い。
【0031】
遠近情報指示手段6は、カメラ画像のどの部分が遠くの絵であり、どの部分が近くの絵であるかという情報を得る。本例では、図7に示すように、表示手段3を用いてカメラ画像をユーザに見せ、遠くと近くの境目と、境目で分けられた領域の遠近情報を、ポインティングデバイスやキーボード等を用いて指示してもらうこととした。
【0032】
そして、近い領域には、NEAR_FLAGを付け、遠い領域には、FAR_FLAGを付ける。なお、図7では、直線で領域を2分割しているが、これは一例に過ぎず、地形などによっては、3以上の領域を指示するようにしても良いし、境目も曲線、折曲線等自由に選んで差し支えない。さらに、システム側で奥行き方向の距離計測を行い、自動設定するようにしても良い。このためには、距離センサ又は正弦波パターン光の照射を利用したり、ステレオカメラ又は複数台のカメラにより撮像された、カメラ画像の対応点をとり、視差情報を利用するなどに、任意の手法を用いることができる。
【0033】
領域分離手段7は、カメラ画像を人物領域と背景領域に分割する。そして、本例では、背景領域でない(つまり、人物領域の可能性がある)画素にOTHER_FLAGを付け、そうでない画素にはOTHER_FLAGを付けないこととする。なお、詳細は後述する。
【0034】
分離条件判定手段8は、領域分離手段7により抽出された人物領域を、複数の人物ブロブモデルで表現すべきか否かを検討する。基本的には、分離条件判定手段8は、近くて大きく写っている人物像(画素の塊)について「可」の判定結果を下し、そうでないものには、「否」の判定結果を下す。なお、詳細は後述する。
【0035】
人物ブロブモデル作成手段9は、上記判定結果が「可」のとき、顔、胴、足の3つの人物ブロブモデルを作成し、「否」のとき、1つの人物ブロブモデルを作成する。これも詳細は後述する。
【0036】
人物追跡手段10は、人物ブロブモデル作成手段9が作成した人物ブロブモデルを入力し、人物ブロブモデル、背景ブロブモデルの更新を行い、人物抽出、追跡及び簡易姿勢判断を行う。具体的には、次の処理を行う。
【0037】
(1)FAR_FLAGが付けられた人物ブロブモデルでは、単数の人物ブロブモデルとして表現されるため、この人物ブロブモデルの中心位置を、人物の中心位置として求める。そして、この中心位置の軌跡によって、人物の動きを追跡する。
【0038】
(2)NEAR_FLAGが付けられた人物ブロブモデルでは、上記3つの人物ブロブモデルで表現される。そして、ハフ変換による特徴点を持つ、ブロブモデルを、顔のブロブモデルとし、それに隣接するブロブモデルを、順に、胴、足のブロブモデルとし、これらのブロブモデルの軌跡によって、人物を追跡する。
【0039】
さらに、人物追跡手段10は、次の要領で、人物の姿勢を判定する。即ち、頭のブロブモデルが一番上にあり、3つのブロブモデルを囲む外接矩形の縦横比が、閾値以内なら、「立っている」と判定する。また、3つのブロブモデルが横一線に並んでいれば、「寝ている」と判定する。そして、これらのいずれでもなければ、「座っている」と判定する。
【0040】
次に、図2を用いて、初期化の動作を説明する。まずステップ1にて、画像入力手段4から入力されたカメラ画像(できれば人物が写っていないものが望ましい)を記憶手段2のフレームメモリに格納する。次に、背景ブロブモデル作成手段5がこの画像に基づき、図6に示す背景ブロブモデル(計30個)を作成する。そして、遠近情報指示手段6によって、図7のように、遠近情報を取得し(ステップ3)、各画素にFAR_FLAG/NEAR_FLAGを付ける(ステップ4)。
【0041】
次に、図3を用いて、領域分離手段7の動作を説明する。まず、画像入力手段4からカメラ画像(今回は人物が写っている場合がある)を取得する(ステップ11)。
【0042】
そして、カメラ画像から注目画素(本例では、最初に左上の画素)を選び、この注目画素と背景ブロブモデル(領域番号0〜29)との距離(計30個)を計算する(ステップ12)。ここで本例では、点と領域との距離(非類似度)であるから、マハロビノス距離を求めているが、他の数値で代用しても良い。
【0043】
そして、この距離のうちの最小値をとり(ステップ13)、閾値と比較する(ステップ14)。その結果、最小値が閾値以上なら、この注目画素は、背景と全く違う(つまり人物である可能性が高い)ため、この注目画素にOTHER_FLAGを付加する。逆にそうでなければ、OTHER_FLAGを付加しない。
そして、以上の処理を、注目画素を更新しながら(ステップ17)、全画素について一度ずつ繰り返す(ステップ16)。
【0044】
さらに、OTHER_FLAGが付加された画素を、塊としてまとめ(ステップ18)、この塊のサイズを所定値と比較する(ステップ19)。もし、塊が小さいなら、これはノイズ等である可能性が高く、仮にこれが人物像であったとしても、極めて遠くの人物に相違なく、結局追跡する実益が少ないため、OTHER_FLAGを解除する(ステップ20)。一方、そうでなければ、OTHER_FLAGは付加したままにする。そして、全ての塊につき、以上の処理を繰り返す(ステップ21、22)。
【0045】
これにより、例えば図8のようなカメラ画像(近くに男性が大きく写り、遠くに女性が小さく写っている)が与えられたとき、左上の背景領域(領域番号0)の画素では、図9に示すような結果となる。即ち、距離はいずれも閾値(ここでは100)を下回り、最小の距離となる領域は、その領域自体(領域番号0)となり、OTHER_FLAGは付加されない。
【0046】
一方、男性の顔が位置する(といっても、処理上は今のところ不明)領域番号13の背景領域では、図10に示すようになる。即ち、(x,y)=(105,92),(106,92)などの画素では、距離が極端に大きく(1023,1222)なり、OTHER_FLAGが付加される。
【0047】
そして、最終的には、図11に示すように、塊A、塊Bの2つの塊が生成されることになる。また、近くの男性像(塊A)では、NEAR_FLAGが付加され、遠くの女性像(塊B)では、FAR_FLAGが付加されている。
【0048】
次に、図4を参照しながら、分離条件判定手段8の動作を説明する。まずステップ31にて、OTHER_FLAGが付加された塊を抽出する。そして、この塊にNEAR_FLAGが付されているかチェックし(ステップ32)、付されていなければ、判定結果を「否」とする。また、塊のサイズと閾値を比較し(ステップ33)、閾値を下回っていれば、判定結果を「否」とする。
【0049】
一方、閾値を上回っていれば、高周波フィルタをかけてエッジ部を抽出し(ステップ34)、ハフ変換をかけて特徴点が現れるかどうか検討する(ステップ35)。特徴点があらわれるということは、円に近い図形(顔)が塊に含まれていることを意味し、この塊は、人物像であると認定され、判定結果は「可」となる(ステップ36)。
【0050】
もし特徴点がなければ、この塊は、新たに置かれた静物(例えば、日用品など)と認定され、この塊のOTHER_FLAGが解除され(ステップ37)、判定結果は「否」となる。そして、OTHER_FLAGが解除されることにより、この塊は、その後背景(新しい背景)の扱いとなって、背景ブロブモデルが更新される契機となる。以上の処理は、全ての塊について繰り返される(ステップ39,40)。
【0051】
次に、図5を参照しながら、人物ブロブモデル作成手段9の動作を説明する。
まずステップ41にて、OTHER_FLAGが付された塊が選ばれ、判定結果が検討される(ステップ42)。判定結果が「可」なら、上述したように、顔、胴、足の3つの人物ブロブモデルが作成される(ステップ43)。「否」ならば、1つの人物ブロブモデルが作成される(ステップ44)。そして、全ての塊について、以上の処理が繰り返される(ステップ45、46)。
【0052】
その結果、本例では、図12のような人物ブロブモデルが作成されることになる。即ち、近くて大きく写っている男性像の上に、顔、胴、足の3つの人物ブロブモデルが作成される。また、遠くて小さく写っている女性像には、1つの人物ブロブモデルが作成される。
【0053】
ここで、時間の経過によって、女性が近づいてきて、女性像にNEAR_FLAGが付与されるに至ると、女性像上に、顔、胴、足の3つの人物ブロブモデルが作成されることになる。また、男性が向きを変えて遠ざかり、OTHER_FLAGが付与されるに至ると、男性像には、1つの人物ブロブモデルが作成されることになる。
【0054】
ここで、本明細書にいう「人物追跡プログラムをコンピュータ読み取り可能に記録した記録媒体」には、複数の記録媒体にプログラムを分散して配布する場合を含む。また、このプログラムが、オペレーティングシステムの一部であるか否かを問わず、種々のプロセスないしスレッド(DLL、OCX、ActiveX等(マイクロソフト社の商標を含む))に機能の一部を肩代わりさせている場合には、肩代わりさせた機能に係る部分が、記録媒体に格納されていない場合も含む。
【0055】
図1には、スタンドアロン形式のシステムを例示したが、サーバー/クライアント形式にしても良い。つまり、1つの端末機のみに、本明細書に出現する全ての要素が含まれている場合の他、1つの端末機がクライアントであり、これが接続可能なサーバないしネットワーク上に、全部又は一部の要素が実存していても、差し支えない。
【0056】
さらには、図1のほとんどの要素をサーバー側で持ち、クライアント側では、例えば、WWWブラウザだけにしても良い。この場合、各種の情報は、通常サーバ上にあり、基本的にネットワークを経由してクライアントに配布されるものだが、必要な情報が、サーバ上にあるときは、そのサーバの記憶装置が、ここにいう「記録媒体」となり、クライアント上にあるときは、そのクライアントの記録装置が、ここにいう「記録媒体」となる。
【0057】
さらに、この「人物追跡プログラム」には、コンパイルされて機械語になったアプリケーションの他、上述のプロセスないしスレッドにより解釈される中間コードとして実存する場合や、少なくともリソースとソースコードとが「記録媒体」上に格納され、これらから機械語のアプリケーションを生成できるコンパイラ及びリンカが「記録媒体」にある場合や、少なくともリソースとソースコードとが「記録媒体」上に格納され、これらから中間コードのアプリケーションを生成できるインタープリタが「記録媒体」にある場合なども含む。
【0058】
【発明の効果】
本発明によると、状況に応じて、1つ又は複数の人物ブロブモデルを作成することにより、無理のないモデル化ができ、外乱に強く、安定した人物追跡が可能になる。また、背景についても、ブロブモデルを用いて、はじめにはカメラ画像になかった静物がカメラ画像内に入ってきたような場合でも、人物か否かの判定を実施し、適切に対応できる。
【図面の簡単な説明】
【図1】本発明の一実施の形態における人物追跡装置のブロック図
【図2】同初期化処理のフローチャート
【図3】同領域分離処理のフローチャート
【図4】同分離条件判定のフローチャート
【図5】同人物ブロブモデル作成のフローチャート
【図6】同背景ブロブモデルの説明図
【図7】同遠近情報の説明図
【図8】同OTHER_FLAGの例示図
【図9】同画素情報の例示図
【図10】同画素情報の例示図
【図11】同人物領域の例示図
【図12】同人物ブロブモデルの例示図
【符号の説明】
1 制御手段
2 記憶手段
3 表示手段
4 画像入力手段
5 背景ブロブモデル作成手段
6 遠近情報指示手段
7 領域分離手段
8 分離条件判定手段
9 人物ブロブモデル作成手段
10 人物追跡手段

Claims (19)

  1. カメラ画像を、少なくとも人物領域と背景領域に分離する領域分離手段と、
    人物領域を、人物の部分に対応する複数のブロブモデルに分離可能か否かを、該当人物領域の遠近情報を参照して判定する分離条件判定手段と、
    前記分離条件判定手段による判定結果が可を示すとき、該当人物領域を基に複数の人物ブロブモデルを作成し、前記分離条件判定手段による判定結果が否を示すとき、該当人物領域を基に単数の人物ブロブモデルを作成する人物ブロブモデル作成手段と、
    これらの人物ブロブモデルに基づいて人物の追跡を行う人物追跡手段とを備えたことを特徴とする人物追跡装置。
  2. 前記複数のブロブモデルは、人物の頭、胴、足の3つのブロブモデルであることを特徴とする請求項1記載の人物追跡装置。
  3. 前記分離条件判定手段は、該当人物領域のサイズを参照して判定結果の可否を判定することを特徴とする請求項1または2記載の人物追跡装置。
  4. 前記背景領域に基づいて、複数の背景ブロブモデルを作成する背景ブロブモデル作成手段を備えることを特徴とする請求項1から3のいずれかに記載の人物追跡装置。
  5. 前記領域分離手段は、分離対象である前記カメラ画像の注目 画素と前記背景ブロブモデルとの類似度の最小値を求め、この最小値が閾値以上であるときに、該当注目画素が背景領域でないとすることを特徴とする請求項4記載の人物追跡装置。
  6. 前記背景ブロブモデルは、該当背景領域のXY座標平均値とRGB平均値を含めて記述されることを特徴とする請求項4または5記載の人物追跡装置。
  7. カメラ画像を、少なくとも人物領域と背景領域に分離する領域分離ステップと、
    人物領域を、人物の部分に対応する複数のブロブモデルに分離可能か否かを、該当人物領域の遠近情報を参照して判定する分離条件判定ステップと、
    前記分離条件判定ステップによる判定結果が可を示すとき、該当人物領域を基に複数の人物ブロブモデルを作成し、前記分離条件判定ステップによる判定結果が否を示すとき、該当人物領域を基に単数の人物ブロブモデルを作成する人物ブロブモデル作成ステップと、
    これらの人物ブロブモデルに基づいて人物の追跡を行う人物追跡ステップとを備えたことを特徴とする人物追跡方法。
  8. 前記複数のブロブモデルは、人物の頭、胴、足の3つのブロブモデルであることを特徴とする請求項7記載の人物追跡方法。
  9. 前記分離条件判定ステップは、該当人物領域のサイズを参照して判定結果の可否を判定することを特徴とする請求項7または8記載の人物追跡方法。
  10. 前記背景領域に基づいて、複数の背景ブロブモデルを作成する背景ブロブモデル作成ステップを備えることを特徴とする請求項7から9のいずれかに記載の人物追跡方法。
  11. 前記領域分離ステップは、分離対象である前記カメラ画像の注目画素と前記背景ブロブモデルとの類似度の最小値を求め、この最小値が閾値以上であるときに、該当注目画素が背景領域でないとすることを特徴とする請求項10記載の人物追跡方法。
  12. 前記背景ブロブモデルは、該当背景領域のXY座標平均値とRGB平均値を含めて記述されることを特徴とする請求項10または11記載の人物追跡方法。
  13. コンピュータを、カメラ画像を、少なくとも人物領域と背景領域に分離する領域分離手段と、
    人物領域を、人物の部分に対応する複数のブロブモデルに分離可能か否かを、該当人物領域の遠近情報を参照して判定する分離条件判定手段と、
    前記分離条件判定手段による判定結果が可を示すとき、該当人物領域を基に複数の人物ブロブモデルを作成し、前記分離条件判定手段による判定結果が否を示すとき、該当人物領域を基に単数の人物ブロブモデルを作成する人物ブロブモデル作成手段と、
    これらの人物ブロブモデルに基づいて人物の追跡を行う人物追跡手段して機能させるための人物追跡プログラムを記録した記録媒体。
  14. 前記コンピュータを、前記複数のブロブモデルが、人物の頭、胴、足の3つのブロブモデルであるように機能させるための請求項13記載の人物追跡プログラムを記録した記録媒体。
  15. 前記分離条件判定手段は、該当人物領域の遠近情報を参照して判定結果の可否を判定することを特徴とする請求項13または14記載の人物追跡プログラムを記録した記録媒体。
  16. 前記分離条件判定手段は、該当人物領域のサイズを参照して判定結果の可否を判定することを特徴とする請求項13から15のいずれかに記載の人物追跡プログラムを記録した記録媒体。
  17. 前記コンピュータを更に前記背景領域に基づいて、複数の背景ブロブモデルを作成する背景ブロブモデル作成手段としても機能させるための請求項13から16のいずれかに記載の人物追跡プログラムを記録した記録媒体。
  18. 前記領域分離手段は、分離対象である前記カメラ画像の注目画素と前記背景ブロブモデルとの類似度の最小値を求め、この最小値が閾値以上であるときに、該当注目画素が背景領域でないとすることを特徴とする請求項17記載の人物追跡プログラムを記録した記録媒体。
  19. 前記コンピュータを更に前記背景ブロブモデルが、該当背景領域のXY座標平均値とRGB平均値を含めて記述されるようにも機能させるための請求項17または18記載の人物追跡プログラムを記録した記録媒体。
JP36928299A 1999-12-27 1999-12-27 人物追跡装置、人物追跡方法及びそのプログラムを記録した記録媒体 Expired - Fee Related JP4531897B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP36928299A JP4531897B2 (ja) 1999-12-27 1999-12-27 人物追跡装置、人物追跡方法及びそのプログラムを記録した記録媒体
US09/741,384 US6704433B2 (en) 1999-12-27 2000-12-20 Human tracking device, human tracking method and recording medium recording program thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP36928299A JP4531897B2 (ja) 1999-12-27 1999-12-27 人物追跡装置、人物追跡方法及びそのプログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JP2001184488A JP2001184488A (ja) 2001-07-06
JP4531897B2 true JP4531897B2 (ja) 2010-08-25

Family

ID=18494038

Family Applications (1)

Application Number Title Priority Date Filing Date
JP36928299A Expired - Fee Related JP4531897B2 (ja) 1999-12-27 1999-12-27 人物追跡装置、人物追跡方法及びそのプログラムを記録した記録媒体

Country Status (2)

Country Link
US (1) US6704433B2 (ja)
JP (1) JP4531897B2 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3784289B2 (ja) * 2000-09-12 2006-06-07 松下電器産業株式会社 メディア編集方法及びその装置
US20030095707A1 (en) * 2001-11-19 2003-05-22 Koninklijke Philips Electronics N.V. Computer vision method and system for blob-based analysis using a probabilistic pramework
US7136505B2 (en) * 2002-04-10 2006-11-14 National Instruments Corporation Generating a curve matching mapping operator by analyzing objects of interest and background information
US7386166B2 (en) * 2004-02-12 2008-06-10 Xerox Corporation Systems and methods for connecting regions image data having similar characteristics
US7688999B2 (en) * 2004-12-08 2010-03-30 Electronics And Telecommunications Research Institute Target detecting system and method
KR100790860B1 (ko) 2004-12-14 2008-01-03 삼성전자주식회사 사람 추적 장치 및 방법, 그 방법을 수행하기 위한프로그램이 저장된 기록매체와 그 장치를 포함하는 이동형전자기기
KR100647321B1 (ko) 2005-02-07 2006-11-23 삼성전자주식회사 사용자 위치 추적 방법 및 장치
US7613324B2 (en) * 2005-06-24 2009-11-03 ObjectVideo, Inc Detection of change in posture in video
US20070115355A1 (en) * 2005-11-18 2007-05-24 Mccormack Kenneth Methods and apparatus for operating a pan tilt zoom camera
JP4699298B2 (ja) * 2006-06-28 2011-06-08 富士フイルム株式会社 人体領域抽出方法および装置並びにプログラム
SG159501A1 (en) * 2006-08-31 2010-03-30 Sony Corp Image-processing apparatus, image processing method and image processing program
JP2008131617A (ja) * 2006-11-27 2008-06-05 Hitachi Ltd 映像処理装置
US7949154B2 (en) 2006-12-18 2011-05-24 Cryovac, Inc. Method and system for associating source information for a source unit with a product converted therefrom
KR100791389B1 (ko) * 2006-12-26 2008-01-07 삼성전자주식회사 스트럭쳐드 라이트를 이용한 거리 측정 장치 및 방법
JP2009110137A (ja) * 2007-10-29 2009-05-21 Ricoh Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
CN101452525B (zh) * 2007-11-28 2012-05-23 财团法人工业技术研究院 适应性物件侦测的方法与装置
US7961910B2 (en) 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US8963829B2 (en) * 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
US8867820B2 (en) * 2009-10-07 2014-10-21 Microsoft Corporation Systems and methods for removing a background of an image
JP2013038454A (ja) * 2011-08-03 2013-02-21 Sony Corp 画像処理装置および方法、並びにプログラム
US8972061B2 (en) * 2012-11-02 2015-03-03 Irobot Corporation Autonomous coverage robot
WO2018073829A1 (en) * 2016-10-20 2018-04-26 Robo-Team Home Ltd. Human-tracking robot
TWI639092B (zh) 2017-05-02 2018-10-21 正修學校財團法人正修科技大學 音樂推薦方法及其電腦程式產品
JP7325745B2 (ja) * 2017-10-12 2023-08-15 株式会社コンピュータシステム研究所 監視装置、監視プログラム、記憶媒体、および、監視方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0535874A (ja) * 1991-07-29 1993-02-12 Nippon Telegr & Teleph Corp <Ntt> 物体像の抽出処理方法
JPH0546771A (ja) * 1991-08-16 1993-02-26 Toshiba Corp 運動物体検出装置
JPH0650752A (ja) * 1992-07-31 1994-02-25 Ricoh Co Ltd 画像形成装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5243418A (en) * 1990-11-27 1993-09-07 Kabushiki Kaisha Toshiba Display monitoring system for detecting and tracking an intruder in a monitor area
JP3123587B2 (ja) * 1994-03-09 2001-01-15 日本電信電話株式会社 背景差分による動物体領域抽出方法
JPH0877356A (ja) * 1994-09-09 1996-03-22 Fujitsu Ltd 三次元多眼画像の処理方法及び処理装置
US6356272B1 (en) * 1996-08-29 2002-03-12 Sanyo Electric Co., Ltd. Texture information giving method, object extracting method, three-dimensional model generating method and apparatus for the same
US6453069B1 (en) * 1996-11-20 2002-09-17 Canon Kabushiki Kaisha Method of extracting image from input image using reference image
EP0908846A3 (en) * 1997-10-07 2000-03-29 Canon Kabushiki Kaisha Moving object detection apparatus and method
CA2320973A1 (en) * 1998-03-10 1999-09-16 Riegl Laser Measurement Systems Gmbh Method for monitoring objects or an object area
US6556704B1 (en) * 1999-08-25 2003-04-29 Eastman Kodak Company Method for forming a depth image from digital image data
JP2002051329A (ja) * 2000-08-02 2002-02-15 Hitachi Ltd 多点監視カメラ装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0535874A (ja) * 1991-07-29 1993-02-12 Nippon Telegr & Teleph Corp <Ntt> 物体像の抽出処理方法
JPH0546771A (ja) * 1991-08-16 1993-02-26 Toshiba Corp 運動物体検出装置
JPH0650752A (ja) * 1992-07-31 1994-02-25 Ricoh Co Ltd 画像形成装置

Also Published As

Publication number Publication date
US6704433B2 (en) 2004-03-09
JP2001184488A (ja) 2001-07-06
US20010005219A1 (en) 2001-06-28

Similar Documents

Publication Publication Date Title
JP4531897B2 (ja) 人物追跡装置、人物追跡方法及びそのプログラムを記録した記録媒体
Li et al. Robust visual tracking based on convolutional features with illumination and occlusion handing
Fritsch et al. Multi-modal anchoring for human–robot interaction
Malleson et al. Real-time multi-person motion capture from multi-view video and IMUs
CN106203423B (zh) 一种融合上下文探测的弱结构感知视觉目标跟踪方法
JP2004513442A (ja) 外観及び幾何学的配置特質に基づき統計モデルを活用する画像処理システムでの人物の札付け
WO2008057107A2 (en) Method and system for object surveillance and real time activity recognition
Cho et al. Adaptive occlusion state estimation for human pose tracking under self-occlusions
JP7335370B2 (ja) 3次元姿勢推定データを生成するためのコンピュータ実装方法、データ処理装置およびコンピュータプログラム
WO2016031314A1 (ja) 個人識別装置、個人識別方法、及び、個人識別プログラム
JP2011186576A (ja) 動作認識装置
KR20220007882A (ko) 단안 스틸 카메라 비디오에서의 레이어드 모션 표현 및 추출
Krzeszowski et al. Gait recognition based on marker-less 3D motion capture
JP2005503731A (ja) 協働的な分散されたビジョンを通じたインテリジェントな4画面同時表示
Wang et al. A novel multi-cue integration system for efficient human fall detection
JP5930808B2 (ja) 画像処理装置、画像処理装置の制御方法、およびプログラム
Avgerinakis et al. Activities of daily living recognition using optimal trajectories from motion boundaries
JP2009048305A (ja) 形状解析プログラム及び形状解析装置
JP2014146247A (ja) 物体特徴抽出装置、物体領域抽出装置及び物体追跡装置
JP2015007897A (ja) 画像出力装置、方法及びプログラム
JP4221681B2 (ja) ジェスチャ認識装置
Micilotta Detection and tracking of humans for visual interaction
JP7435754B2 (ja) 画像選択装置、画像選択方法、及びプログラム
JPH11283040A (ja) 操作制御装置および動作解析プログラムを記録したコンピュ―タ読み取り可能な記録媒体
WO2023152974A1 (ja) 画像処理装置、画像処理方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091106

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091118

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100303

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100422

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100519

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100610

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130618

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees