JP3437087B2 - 特徴点追跡方法及び装置、並びに特徴点追跡プログラムを記録した記録媒体 - Google Patents
特徴点追跡方法及び装置、並びに特徴点追跡プログラムを記録した記録媒体Info
- Publication number
- JP3437087B2 JP3437087B2 JP13713298A JP13713298A JP3437087B2 JP 3437087 B2 JP3437087 B2 JP 3437087B2 JP 13713298 A JP13713298 A JP 13713298A JP 13713298 A JP13713298 A JP 13713298A JP 3437087 B2 JP3437087 B2 JP 3437087B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- reference image
- coordinates
- feature point
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、映像中で対象物上
の特徴点を追跡することにより対象物の動きを追跡する
特徴点追跡技術に係り、特に、特徴点の座標が映像中の
最初と最後のフレームで指定され、それを利用して中間
フレームにおける特徴点の座標を求める特徴点追跡方法
及び装置、並びにその特徴点追跡プログラムを記録した
記録媒体に関する。
の特徴点を追跡することにより対象物の動きを追跡する
特徴点追跡技術に係り、特に、特徴点の座標が映像中の
最初と最後のフレームで指定され、それを利用して中間
フレームにおける特徴点の座標を求める特徴点追跡方法
及び装置、並びにその特徴点追跡プログラムを記録した
記録媒体に関する。
【０００２】
【従来の技術】従来、映像中の特徴点の追跡は、先頭の
フレームに対して追跡すべき特徴点の座標が与えられた
後、特徴点を中心として正方形のウィンドウを設け、対
象映像の次のフレームが与えられると、フレーム間でウ
ィンドウ内の残差が最も少なくなる点を求めることによ
って行われてきた。例えば、Ｔomasi and Ｋanade著の
「Ｓhape and Ｍotion from Ｉmage Ｓtreams：a Ｆact
orization Ｍethod-Ｐart３ Ｄetection and Ｔracking
of Ｐoint Ｆeatures」(ＴechnicalＲeportof Ｓchool
of Ｃomputer Ｓcience，Ｃarnegie Ｍellon Ｕnivers
ity，ＣＭＵ−ＣＳ−９１−１３２，１９９１）におい
ては、輝度画像を対象とし、隣接するフレーム間で輝度
の差の自乗和が最小となるウィンドウの位置を求めるこ
とにより、追跡を行うことが述べられている。また、本
出願人が先に提案した特願平９−２７８７２７号「特徴
点追跡装置」においては、ＲＧＢ画像とエッジ画像の両
方を用いて追跡を行う方法が述べられている。
フレームに対して追跡すべき特徴点の座標が与えられた
後、特徴点を中心として正方形のウィンドウを設け、対
象映像の次のフレームが与えられると、フレーム間でウ
ィンドウ内の残差が最も少なくなる点を求めることによ
って行われてきた。例えば、Ｔomasi and Ｋanade著の
「Ｓhape and Ｍotion from Ｉmage Ｓtreams：a Ｆact
orization Ｍethod-Ｐart３ Ｄetection and Ｔracking
of Ｐoint Ｆeatures」(ＴechnicalＲeportof Ｓchool
of Ｃomputer Ｓcience，Ｃarnegie Ｍellon Ｕnivers
ity，ＣＭＵ−ＣＳ−９１−１３２，１９９１）におい
ては、輝度画像を対象とし、隣接するフレーム間で輝度
の差の自乗和が最小となるウィンドウの位置を求めるこ
とにより、追跡を行うことが述べられている。また、本
出願人が先に提案した特願平９−２７８７２７号「特徴
点追跡装置」においては、ＲＧＢ画像とエッジ画像の両
方を用いて追跡を行う方法が述べられている。
【０００３】
【発明が解決しようとしている課題】上述のどちらの方
法においても、対応する特徴点を中心として作ったウィ
ンドウ内の画素分布は映像の先頭のフレームと最後のフ
レームにおいてほとんど変化しないという前提のもと
に、先頭のフレームのみで特徴点の座標を与え、隣接フ
レーム間においてできるだけ一致するウィンドウ位置を
求めることによって追跡を行っている。
法においても、対応する特徴点を中心として作ったウィ
ンドウ内の画素分布は映像の先頭のフレームと最後のフ
レームにおいてほとんど変化しないという前提のもと
に、先頭のフレームのみで特徴点の座標を与え、隣接フ
レーム間においてできるだけ一致するウィンドウ位置を
求めることによって追跡を行っている。
【０００４】しかしながら、特徴点を中心としたウィン
ドウ内の画素分布は映像の先頭のフレームと最後のフレ
ームにおいて大きく変化する場合も多く、この場合には
隣接フレーム間での差も大きくなり、上述のような従来
技術を用いた追跡は行うことができない。
ドウ内の画素分布は映像の先頭のフレームと最後のフレ
ームにおいて大きく変化する場合も多く、この場合には
隣接フレーム間での差も大きくなり、上述のような従来
技術を用いた追跡は行うことができない。
【０００５】本発明の目的は、特徴点を中心としたウィ
ンドウ内の画素分布が大きく変動する場合にも安定して
特徴点を追跡できる特徴点追跡方法及び装置、更には、
その特徴点追跡プログラムを記録した記録媒体を提供す
ることにある。
ンドウ内の画素分布が大きく変動する場合にも安定して
特徴点を追跡できる特徴点追跡方法及び装置、更には、
その特徴点追跡プログラムを記録した記録媒体を提供す
ることにある。
【０００６】
【課題を解決するための手段】リアルタイムの追跡では
なく、あらかじめ蓄積された映像に対する追跡の場合に
は、先頭のフレームだけでなく、先頭のフレームと最後
のフレームにおいて特徴点の座標を指定することができ
る。本発明ではこれを利用する。
なく、あらかじめ蓄積された映像に対する追跡の場合に
は、先頭のフレームだけでなく、先頭のフレームと最後
のフレームにおいて特徴点の座標を指定することができ
る。本発明ではこれを利用する。
【０００７】ここで、対象映像はフレーム０からフレー
ムｎという形で与えられているとする。まず、フレーム
０とフレームｎにおける追跡点座標（追跡点座標０およ
び追跡点座標ｎ）が指定される。次に、フレーム０にお
いて追跡点を中心として指定されたサイズのウィンドウ
を設定し、参照画像０とする。フレームｎに対しても同
様にして、同じサイズの参照画像ｎを作成する。中間の
フレームｉ（ｉ＝２，３，・・・，（ｎ−１））に対し
ては、参照画像０とｎからクロスディゾルブ画像を生成
し、参照画像ｉとする。すなわち、参照画像ｉは参照画
像０とｎを
ムｎという形で与えられているとする。まず、フレーム
０とフレームｎにおける追跡点座標（追跡点座標０およ
び追跡点座標ｎ）が指定される。次に、フレーム０にお
いて追跡点を中心として指定されたサイズのウィンドウ
を設定し、参照画像０とする。フレームｎに対しても同
様にして、同じサイズの参照画像ｎを作成する。中間の
フレームｉ（ｉ＝２，３，・・・，（ｎ−１））に対し
ては、参照画像０とｎからクロスディゾルブ画像を生成
し、参照画像ｉとする。すなわち、参照画像ｉは参照画
像０とｎを
【０００８】
【数１】
【０００９】の比率で足しあわせることにより生成され
る。ここで参照画像ｉとは、フレームｉにおける追跡点
を中心としたウィンドウ内の画像の予測画像である。
る。ここで参照画像ｉとは、フレームｉにおける追跡点
を中心としたウィンドウ内の画像の予測画像である。
【００１０】本発明の第１の発明においては、参照画像
マッチングはフレーム１の画像に対して、フレーム０に
おける特徴点座標の周辺で、参照画像１と最もマッチす
る位置を探索して、フレーム１における特徴点座標とす
る。以下、同様にして、フレームｉの画像に対しては、
フレーム（ｉ−１）における特徴点座標の周辺で、参照
画像ｉと最もマッチする位置を探索して、フレームｉに
おける特徴点座標とする。このようにして、中間フレー
ム１からｎ−１に対して、追跡を行うことができる。
マッチングはフレーム１の画像に対して、フレーム０に
おける特徴点座標の周辺で、参照画像１と最もマッチす
る位置を探索して、フレーム１における特徴点座標とす
る。以下、同様にして、フレームｉの画像に対しては、
フレーム（ｉ−１）における特徴点座標の周辺で、参照
画像ｉと最もマッチする位置を探索して、フレームｉに
おける特徴点座標とする。このようにして、中間フレー
ム１からｎ−１に対して、追跡を行うことができる。
【００１１】この本発明の第１の発明においては、参照
画像０から参照画像ｎまでの時間変化は一定と仮定し、
図３（ａ）に示すように、参照画像０からｎまでが均等
にフレーム０からｎに対応すると仮定するものである。
画像０から参照画像ｎまでの時間変化は一定と仮定し、
図３（ａ）に示すように、参照画像０からｎまでが均等
にフレーム０からｎに対応すると仮定するものである。
【００１２】本発明の第２の発明においては、参照画像
の時間変化が一定でない場合も考慮する。そのために、
参照画像番号と対応するフレーム番号の間のずれを許容
し、１つのフレームに対して複数の候補参照画像を考え
る。ここでは、候補参照画像の数を４とし、２フレーム
ずつ特徴点追跡を行うこととする。
の時間変化が一定でない場合も考慮する。そのために、
参照画像番号と対応するフレーム番号の間のずれを許容
し、１つのフレームに対して複数の候補参照画像を考え
る。ここでは、候補参照画像の数を４とし、２フレーム
ずつ特徴点追跡を行うこととする。
【００１３】まず、フレーム１と２における特徴点座標
を求める場合を考える。候補参照画像生成においては、
フレーム１に対応しうる参照画像と、フレーム２に対応
しうる参照画像を求める。図３（ｂ）に示すように、フ
レーム１には参照画像０，１，２，３が対応し、フレー
ム２では、このフレーム１が参照画像０，１，２，３を
参照したときに対応して、参照画像０〜３、１〜４、２
〜５、３〜６を対応させるため、結局、参照画像０，
１，．．．，６が対応しうる。
を求める場合を考える。候補参照画像生成においては、
フレーム１に対応しうる参照画像と、フレーム２に対応
しうる参照画像を求める。図３（ｂ）に示すように、フ
レーム１には参照画像０，１，２，３が対応し、フレー
ム２では、このフレーム１が参照画像０，１，２，３を
参照したときに対応して、参照画像０〜３、１〜４、２
〜５、３〜６を対応させるため、結局、参照画像０，
１，．．．，６が対応しうる。
【００１４】候補参照画像マッチングにおいては、上で
得られた候補参照画像とフレーム１と２とのマッチング
を表１に示すように行っていく。
得られた候補参照画像とフレーム１と２とのマッチング
を表１に示すように行っていく。
【００１５】
【表１】
【００１６】まず、フレーム１とのマッチングでは、フ
レーム０における特徴点座標の周辺で、参照画像０と最
もマッチする位置を探索して、その座標とマッチングの
際の誤差を求める。次に参照画像１を用いて同様のマッ
チングを行う。参照画像２，３に対しても同様に行う。
レーム０における特徴点座標の周辺で、参照画像０と最
もマッチする位置を探索して、その座標とマッチングの
際の誤差を求める。次に参照画像１を用いて同様のマッ
チングを行う。参照画像２，３に対しても同様に行う。
【００１７】次に、フレーム２に対するマッチングを行
う。まずフレーム２に参照画像０が対応する場合を考え
る。この場合、フレーム１には参照画像０が対応するの
で、その前提でフレーム１と参照画像０のマッチングを
行い、最もマッチする座標、マッチングの際の誤差を求
める。さらに、フレーム１の時の誤差と合わせて、誤差
合計を求める。
う。まずフレーム２に参照画像０が対応する場合を考え
る。この場合、フレーム１には参照画像０が対応するの
で、その前提でフレーム１と参照画像０のマッチングを
行い、最もマッチする座標、マッチングの際の誤差を求
める。さらに、フレーム１の時の誤差と合わせて、誤差
合計を求める。
【００１８】フレーム２に参照画像１が対応する場合に
は、 １．フレーム１に参照画像０が対応する場合 ２．フレーム１に参照画像１が対応する場合 の２つの場合が考えられるので、それぞれの場合でフレ
ーム１と参照画像１のマッチングを行い、上記と同様の
誤差、座標、誤差合計を求める。
は、 １．フレーム１に参照画像０が対応する場合 ２．フレーム１に参照画像１が対応する場合 の２つの場合が考えられるので、それぞれの場合でフレ
ーム１と参照画像１のマッチングを行い、上記と同様の
誤差、座標、誤差合計を求める。
【００１９】フレーム２に参照画像２が対応する場合に
はフレーム１には参照画像０，１または２が対応するの
で、それぞれの場合でフレーム１と参照画像２のマッチ
ングを行う。同様にしてフレーム２に参照画像
３，．．．，６が対応する場合の処理を行う。
はフレーム１には参照画像０，１または２が対応するの
で、それぞれの場合でフレーム１と参照画像２のマッチ
ングを行う。同様にしてフレーム２に参照画像
３，．．．，６が対応する場合の処理を行う。
【００２０】マッチング最適化は、誤差合計が最小にな
るフレーム１と対応する参照画像の組み合わせならびに
フレーム２と対応する参照画像の組み合わせを見つける
ことにより、フレーム１，２に対する参照画像の対応
と、各フレームにおける特徴点座標を求める。
るフレーム１と対応する参照画像の組み合わせならびに
フレーム２と対応する参照画像の組み合わせを見つける
ことにより、フレーム１，２に対する参照画像の対応
と、各フレームにおける特徴点座標を求める。
【００２１】全く同一の手順でフレーム３，４における
特徴点座標を定めることができ、これをフレームｎ−１
まで繰り返すことにより、特徴点追跡が行われる。
特徴点座標を定めることができ、これをフレームｎ−１
まで繰り返すことにより、特徴点追跡が行われる。
【００２２】本発明における第１の発明においては、先
頭フレーム１と最終フレームｎにおいて特徴点座標が指
定され、先頭フレーム１と最終フレームｎにおける参照
画像１とｎを作成する。そして、中間フレームｉにおけ
る特徴点追跡は参照画像１とｎを用いて生成した中間フ
レームｉのための参照画像ｉを用いて行うため、先頭フ
レームと最終フレームにおいて特徴点周辺の画素分布が
大きく変わり、隣接するフレーム間での差が大きくなる
場合にも、正しく追跡を行うことができる。さらに第２
の発明においては、参照画像番号とフレーム番号の間の
ずれを許容したマッチングを行うために、対象映像にお
ける特徴点周辺の画素の変化の仕方が一定でない場合に
も対応することができる。
頭フレーム１と最終フレームｎにおいて特徴点座標が指
定され、先頭フレーム１と最終フレームｎにおける参照
画像１とｎを作成する。そして、中間フレームｉにおけ
る特徴点追跡は参照画像１とｎを用いて生成した中間フ
レームｉのための参照画像ｉを用いて行うため、先頭フ
レームと最終フレームにおいて特徴点周辺の画素分布が
大きく変わり、隣接するフレーム間での差が大きくなる
場合にも、正しく追跡を行うことができる。さらに第２
の発明においては、参照画像番号とフレーム番号の間の
ずれを許容したマッチングを行うために、対象映像にお
ける特徴点周辺の画素の変化の仕方が一定でない場合に
も対応することができる。
【００２３】
【発明の実施の形態】以下、本発明の実施例を図面を用
いて詳細に説明する。図１は、本発明の第１の発明の実
施例を示す機能ブロック図である。図１において、１０
０は対象映像、１１０は参照画像生成手段、１２０は参
照画像マッチング手段を表わす。参照画像生成手段１１
０と参照画像マッチング手段１２０は、所謂コンピュー
タのＣＰＵと内蔵メモリ等を用いて実現される。対象映
像１００はフレーム０からフレームｎの画像という形式
で与えられ、あらかじめ任意の記録媒体に蓄積されてい
る。
いて詳細に説明する。図１は、本発明の第１の発明の実
施例を示す機能ブロック図である。図１において、１０
０は対象映像、１１０は参照画像生成手段、１２０は参
照画像マッチング手段を表わす。参照画像生成手段１１
０と参照画像マッチング手段１２０は、所謂コンピュー
タのＣＰＵと内蔵メモリ等を用いて実現される。対象映
像１００はフレーム０からフレームｎの画像という形式
で与えられ、あらかじめ任意の記録媒体に蓄積されてい
る。
【００２４】対象映像１００が参照画像生成手段１１０
及び参照画像マッチング手段１２０に与えられる。ま
た、この対象映像１００におけるフレーム０の特徴点座
標０とフレームｎの特徴点座標ｎ（追跡点座標）が参照
画像生成手段１１０に与えられる。この特徴点座標は、
例えばフレーム表示画面上の該当位置をマウスなどのポ
インテイングデバイスで指定することで与えられる。
及び参照画像マッチング手段１２０に与えられる。ま
た、この対象映像１００におけるフレーム０の特徴点座
標０とフレームｎの特徴点座標ｎ（追跡点座標）が参照
画像生成手段１１０に与えられる。この特徴点座標は、
例えばフレーム表示画面上の該当位置をマウスなどのポ
インテイングデバイスで指定することで与えられる。
【００２５】参照画像作成手段１１０では、まず、フレ
ーム０に対する特徴点の座標を用い、図４に示すよう
に、その周辺に例えば５ドット×５ドットのウィンドウ
を作成し、参照画像０とする。次にフレームｎに対して
も同様に、特徴点座標の周辺に５ドット×５ドットのウ
ィンドウを作成し、参照画像ｎとする。中間のフレーム
ｉ（ｉ＝２，３，・・・，ｎ−１）に対しては、同じサ
イズの５ドット×５ドットの画像を、参照画像０と参照
画像ｎを
ーム０に対する特徴点の座標を用い、図４に示すよう
に、その周辺に例えば５ドット×５ドットのウィンドウ
を作成し、参照画像０とする。次にフレームｎに対して
も同様に、特徴点座標の周辺に５ドット×５ドットのウ
ィンドウを作成し、参照画像ｎとする。中間のフレーム
ｉ（ｉ＝２，３，・・・，ｎ−１）に対しては、同じサ
イズの５ドット×５ドットの画像を、参照画像０と参照
画像ｎを
【００２６】
【数２】
【００２７】の比率で足し合わせることによって作成す
る。このようにして、参照画像０，１，２，・・・，ｎ
を得る。
る。このようにして、参照画像０，１，２，・・・，ｎ
を得る。
【００２８】参照画像マッチング手段１２０は、フレー
ムｉの画像と同一番の参照画像ｉとを対応させることに
より、フレームｉにおける特徴点座標を決定する。ここ
で、フレームｉに対して、参照画像ｊを、中心位置を
（ｘ，ｙ）として重ね合わせ、この時の重ね合わされた
画素の差の自乗和をＥ（ｉ，ｊ，ｘ，ｙ）と表わして、
マッチングの度合いの尺度として用いる。
ムｉの画像と同一番の参照画像ｉとを対応させることに
より、フレームｉにおける特徴点座標を決定する。ここ
で、フレームｉに対して、参照画像ｊを、中心位置を
（ｘ，ｙ）として重ね合わせ、この時の重ね合わされた
画素の差の自乗和をＥ（ｉ，ｊ，ｘ，ｙ）と表わして、
マッチングの度合いの尺度として用いる。
【００２９】まず、フレーム１における特徴点座標を次
のように決定する。フレーム０における特徴点座標を
（ｘ0、ｙ0）とする。この点を中心として、例えば図５
に示すように、９ドット×９ドットのウィンドウを設
け、これをフレーム１におけるサーチエリアＳ1とす
る。このフレーム１のサーチエリアＳ1に対して、参照
画像１を、中心位置を（ｘ，ｙ）として重ね合わせたと
する。この時の重ね合わされた画素の差の自乗和をＥ
（１，１，ｘ，ｙ）とする。そして、参照画像１を、
（ｘ，ｙ）をサーチエリアＳ1の範囲で動かし、Ｅを最
小にする位置を求め、これをフレーム１における特徴点
座標（ｘ1，ｙ1）とする。
のように決定する。フレーム０における特徴点座標を
（ｘ0、ｙ0）とする。この点を中心として、例えば図５
に示すように、９ドット×９ドットのウィンドウを設
け、これをフレーム１におけるサーチエリアＳ1とす
る。このフレーム１のサーチエリアＳ1に対して、参照
画像１を、中心位置を（ｘ，ｙ）として重ね合わせたと
する。この時の重ね合わされた画素の差の自乗和をＥ
（１，１，ｘ，ｙ）とする。そして、参照画像１を、
（ｘ，ｙ）をサーチエリアＳ1の範囲で動かし、Ｅを最
小にする位置を求め、これをフレーム１における特徴点
座標（ｘ1，ｙ1）とする。
【００３０】フレーム２における特徴点座標は、同様に
して次のように決定する。フレーム１における特徴点座
標を（ｘ1，ｙ1）を中心として、同じく９ドット×９ド
ットのウィンドウを設け、これをフレーム２におけるサ
ーチエリアＳ２とする。そして、参照画像２を、中心位
置（ｘ，ｙ）をサーチエリアＳ２の範囲で動かし、Ｅ
（２，２，ｘ，ｙ）を最小にする位置を求め、これをフ
レーム２における特徴点座標（ｘ2，ｙ2）とする。
して次のように決定する。フレーム１における特徴点座
標を（ｘ1，ｙ1）を中心として、同じく９ドット×９ド
ットのウィンドウを設け、これをフレーム２におけるサ
ーチエリアＳ２とする。そして、参照画像２を、中心位
置（ｘ，ｙ）をサーチエリアＳ２の範囲で動かし、Ｅ
（２，２，ｘ，ｙ）を最小にする位置を求め、これをフ
レーム２における特徴点座標（ｘ2，ｙ2）とする。
【００３１】以下同様にして、フレームｉにおける特徴
点座標（ｘi，ｙi）（ｉ＝３，４，．．．，ｎ−１）が
求められる。
点座標（ｘi，ｙi）（ｉ＝３，４，．．．，ｎ−１）が
求められる。
【００３２】図２は、本発明の第２の発明の実施例を示
す機能ブロック図である。図２において、２００は対象
映像、２１０は参照画像生成手段、２２０は参照画像マ
ッチング手段を表わす。参照画像生成手段２１０と参照
画像マッチング手段２２０は、図１の場合と同様に、コ
ンピュータのＣＰＵと内蔵メモリ等を用いて実現され
る。また、対象画像２００はフレーム０からフレームｎ
の画像からなり、あらかじめ任意の記録媒体に蓄積され
ている。
す機能ブロック図である。図２において、２００は対象
映像、２１０は参照画像生成手段、２２０は参照画像マ
ッチング手段を表わす。参照画像生成手段２１０と参照
画像マッチング手段２２０は、図１の場合と同様に、コ
ンピュータのＣＰＵと内蔵メモリ等を用いて実現され
る。また、対象画像２００はフレーム０からフレームｎ
の画像からなり、あらかじめ任意の記録媒体に蓄積され
ている。
【００３３】参照画像生成手段２１０で参照画像０，
１，・・・，ｎを生成する仕方は、図１の場合と同じで
ある。図２においては、参照画像マッチング手段２２０
が候補参照画像生成手段２２１、候補参照画像マッチン
グ手段２２２、マッチング最適化手段２２３からなり、
フレームｉとこれに対応しうる参照画像ｊとの間で番号
のずれを許容し、複数の参照画像が候補参照画像となる
ものとする。ここでは候補参照画像の数を４とし、２フ
レームずつ特徴点座標を決定する。
１，・・・，ｎを生成する仕方は、図１の場合と同じで
ある。図２においては、参照画像マッチング手段２２０
が候補参照画像生成手段２２１、候補参照画像マッチン
グ手段２２２、マッチング最適化手段２２３からなり、
フレームｉとこれに対応しうる参照画像ｊとの間で番号
のずれを許容し、複数の参照画像が候補参照画像となる
ものとする。ここでは候補参照画像の数を４とし、２フ
レームずつ特徴点座標を決定する。
【００３４】フレーム０における特徴点座標を（ｘ0，
ｙ0）とし、フレーム１とフレーム２における特徴点座
標の決定を考える。候補参照画像生成手段２２１では、
先に述べたように、フレーム１に対する候補参照画像が
参照画像０，１，２，３であること、フレーム２に対す
る候補参照画像が参照画像０，１，２，３，４，５，６
であることを決定する。
ｙ0）とし、フレーム１とフレーム２における特徴点座
標の決定を考える。候補参照画像生成手段２２１では、
先に述べたように、フレーム１に対する候補参照画像が
参照画像０，１，２，３であること、フレーム２に対す
る候補参照画像が参照画像０，１，２，３，４，５，６
であることを決定する。
【００３５】候補参照画像マッチング手段２２２におい
ては、表２に示す以下のような処理を行う。
ては、表２に示す以下のような処理を行う。
【００３６】
【表２】
【００３７】まず、フレーム１と参照画像０のマッチン
グにおいては、フレーム０における特徴点座標（ｘ0，
ｙ0）の周りにサーチエリアＳ１を設定し、この範囲内
で参照画像０の中心（ｘ，ｙ）を移動させてＥ（１，
０，ｘ，ｙ）を最小化し、最小値Ｅ10＝Ｅ（１，０，ｘ
1,0，ｙ1,0）を求める。同様にして、フレーム１と参照
画像１，２，３のマッチングも行う。さらに、
（ｘ1,O，ｙ1,O）の周りのサーチエリアをＳ２０、（ｘ
1,1，ｙ1,1）の周りのサーチエリアをＳ21、同様にして
サーチエリアＳ22，Ｓ23を定義する。
グにおいては、フレーム０における特徴点座標（ｘ0，
ｙ0）の周りにサーチエリアＳ１を設定し、この範囲内
で参照画像０の中心（ｘ，ｙ）を移動させてＥ（１，
０，ｘ，ｙ）を最小化し、最小値Ｅ10＝Ｅ（１，０，ｘ
1,0，ｙ1,0）を求める。同様にして、フレーム１と参照
画像１，２，３のマッチングも行う。さらに、
（ｘ1,O，ｙ1,O）の周りのサーチエリアをＳ２０、（ｘ
1,1，ｙ1,1）の周りのサーチエリアをＳ21、同様にして
サーチエリアＳ22，Ｓ23を定義する。
【００３８】フレーム２と参照画像０のマッチングにお
いては、フレーム１とは参照画像０が対応しているの
で、サーチエリアＳ20においてＥ（２，０，ｘ，ｙ）を
最小化し、最小値をＥ（２，０，ｘ2,0，ｙ2,0）とす
る。さらにＥ10を足して、２フレームでの誤差の合計と
する。
いては、フレーム１とは参照画像０が対応しているの
で、サーチエリアＳ20においてＥ（２，０，ｘ，ｙ）を
最小化し、最小値をＥ（２，０，ｘ2,0，ｙ2,0）とす
る。さらにＥ10を足して、２フレームでの誤差の合計と
する。
【００３９】フレーム２と参照画像１のマッチングにお
いては、 １．フレーム１と参照画像０が対応している場合 ２．フレーム１と参照画像１が対応している場合 という２つの場合が考えられるので、それぞれ １．サーチエリアＳ20においてＥ（２，１，ｘ，ｙ）を
最小化し、さらにＥ10を加算して誤差の合計とする、 ２．サーチエリアＳ２１においてＥ（２，１，ｘ，ｙ）
を最小化し、さらにＥ11を加算して誤差の合計とする、 という処理を行う。同様にして、フレーム２と参照画像
２，３，４，５，６とのマッチングを行う。
いては、 １．フレーム１と参照画像０が対応している場合 ２．フレーム１と参照画像１が対応している場合 という２つの場合が考えられるので、それぞれ １．サーチエリアＳ20においてＥ（２，１，ｘ，ｙ）を
最小化し、さらにＥ10を加算して誤差の合計とする、 ２．サーチエリアＳ２１においてＥ（２，１，ｘ，ｙ）
を最小化し、さらにＥ11を加算して誤差の合計とする、 という処理を行う。同様にして、フレーム２と参照画像
２，３，４，５，６とのマッチングを行う。
【００４０】マッチング最適化手段２２３においては、
誤差の合計が最小になっている場合を探して、フレーム
１とフレーム２における特徴点座標と対応する参照画像
を決定する。
誤差の合計が最小になっている場合を探して、フレーム
１とフレーム２における特徴点座標と対応する参照画像
を決定する。
【００４１】以下同様にして、フレーム３，
４，．．．，ｎ−１における特徴点座標も決定してい
く。
４，．．．，ｎ−１における特徴点座標も決定してい
く。
【００４２】以上、本発明の実施例について説明した
が、図１及び図２の参照画像生成手段、参照画像マッチ
ング手段の機能は、所謂コンピュータソフトウエアのプ
ログラムとして実現してもよい。そして、そのプログラ
ムは特徴点追跡プログラムとして、コンピュータが読み
取り可能な記録媒体、例えばフロッピーディスクやメモ
リカード、コンパクトディスク（ＣＤ−ＲＯＭ）などに
記録して提供することでもよい。
が、図１及び図２の参照画像生成手段、参照画像マッチ
ング手段の機能は、所謂コンピュータソフトウエアのプ
ログラムとして実現してもよい。そして、そのプログラ
ムは特徴点追跡プログラムとして、コンピュータが読み
取り可能な記録媒体、例えばフロッピーディスクやメモ
リカード、コンパクトディスク（ＣＤ−ＲＯＭ）などに
記録して提供することでもよい。
【００４３】
【発明の効果】本発明によれば、先頭フレームと最終フ
レームにおいて特徴点周辺の画素の内容が大きく変化す
る場合にも正しく特徴点追跡を行うことができ、さらに
その変化の仕方が時間軸に対して一定でない場合にも対
応することができる。
レームにおいて特徴点周辺の画素の内容が大きく変化す
る場合にも正しく特徴点追跡を行うことができ、さらに
その変化の仕方が時間軸に対して一定でない場合にも対
応することができる。
【図１】本発明の第１の発明の実施例を示す機能ブロッ
ク図である。
ク図である。
【図２】本発明の第２の発明の実施例を示す機能ブロッ
ク図である。
ク図である。
【図３】本発明におけるフレームと参照画像の対応を示
す図である。
す図である。
【図４】本発明におけるフレーム０とフレームｎの参照
画像の生成を説明するための図である。
画像の生成を説明するための図である。
【図５】本発明におけるサーチエリアを説明するための
図である。
図である。
１００ 対象映像
１１０ 参照画像生成手段
１２０ 参照画像マッチング手段
２００ 対象映像
２１０ 参照画像生成手段
２２０ 参照画像マッチング手段
２２１ 候補参照画像生成手段
２２２ 候補参照画像マッチング手段
２２３ マッチング最適化手段
─────────────────────────────────────────────────────
フロントページの続き
(56)参考文献 特開 平９−214945（ＪＰ，Ａ)
特開 平６−333020（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
H04N 7/18
G06T 7/20
Claims (6)
- 【請求項１】 対象物が撮影されたフレーム０からフレ
ームｎで構成される対象映像中の対象物の動きにしたが
って特徴点の動きを追跡してその座標を出力する特徴点
追跡方法において、 フレーム０とフレームｎにおける特徴点の座標を入力と
し、フレーム０とこの画像における特徴点の座標から参
照画像０を生成し、フレームｎとこの画像における特徴
点の座標から参照画像ｎを生成し、参照画像０と参照画
像ｎとから中間フレームｉ（ｉ＝１，．．．，ｎ−１）
に対する参照画像ｉを生成し、中間フレームｉにおける
特徴点座標を、該参照画像ｉとフレームｉとのマッチン
グをとることによって求めることを特徴とする特徴点追
跡方法。 - 【請求項２】 対象物が撮影されたフレーム０からフレ
ームｎで構成される対象映像中の対象物の動きにしたが
って特徴点の動きを追跡してその座標を出力する特徴点
追跡方法において、 フレーム０とフレームｎにおける特徴点の座標を入力と
し、フレーム０とこの画像における特徴点の座標から参
照画像０を生成し、フレームｎとこの画像における特徴
点の座標から参照画像ｎを生成し、参照画像０と参照画
像ｎとから中間フレームｉ（ｉ＝１，．．．，ｎ−１）
に対する参照画像ｉを生成し、 中間フレームｉにおける特徴点座標を、中間フレームｊ
（ｊ＝ｉ−１）の特徴点座標を定めた参照画像を起点に
複数の参照画像を決め、前記中間フレームｊの特徴点座
標の周りをサーチエリアとして定めて、該サーチエリア
で前記複数の参照画像とフレームｉのマッチングをと
り、最もマッチする座標として求めることを特徴とする
特徴点追跡方法。 - 【請求項３】 対象物が撮影されたフレーム０からフレ
ームｎで構成される対象映像中の対象物の動きにしたが
って特徴点の動きを追跡してその座標を出力する特徴点
追跡装置において、 フレーム０とフレームｎにおける特徴点の座標を入力と
し、フレーム０とこの画像における特徴点の座標から参
照画像０を生成し、フレームｎとこの画像における特徴
点の座標から参照画像ｎを生成し、参照画像０と参照画
像ｎとから中間フレームｉ（ｉ＝１，．．．，ｎ−１）
に対する参照画像ｉを生成する参照画像生成手段と、 中間フレームｉにおける特徴点座標を、該参照画像ｉと
フレームｉとのマッチングをとることによって求める参
照画像マッチング手段と、 を有することを特徴とする特徴点追跡装置。 - 【請求項４】 対象物が撮影されたフレーム０からフレ
ームｎで構成される対象映像中の対象物の動きにしたが
って特徴点の動きを追跡してその座標を出力する特徴点
追跡装置において、 フレーム０とフレームｎにおける特徴点の座標を入力と
し、フレーム０とこの画像における特徴点の座標から参
照画像０を生成し、フレームｎとこの画像における特徴
点の座標から参照画像ｎを生成し、参照画像０と参照画
像ｎとから中間フレームｉ（ｉ＝１，．．．，ｎ−１）
に対する参照画像ｉを生成する参照画像生成手段と、中間フレームｊ（ｊ＝ｉ−１）の特徴点座標を定めた参
照画像を起点に 複数の参照画像を求める候補参照画像生
成手段と、前記中間フレームｊの特徴点座標の周りをサーチエリア
として定め、該サーチエリアで前記複数の参照画像と中
間フレームｉ とのマッチングをとる候補参照画像マッチ
ング手段と、 前記候補参照画像マッチング手段の結果からフレームｉ
における特徴点座標と対応する参照画像を求めるマッチ
ング最適化手段と、 を有することを特徴とする特徴点追跡装置。 - 【請求項５】 対象物が撮影されたフレーム０からフレ
ームｎで構成される対象映像中の対象物の動きにしたが
って特徴点の動きを追跡してその座標を出力するための
特徴点追跡プログラムを記録したコンピュータ読み取り
可能な記録媒体であって、 フレーム０とフレームｎにおける特徴点の座標を入力と
し、フレーム０とこの画像における特徴点の座標から参
照画像０を生成し、フレームｎとこの画像における特徴
点の座標から参照画像ｎを生成し、参照画像０と参照画
像ｎとから中間フレームｉ（ｉ＝１，．．．，ｎ−１）
に対する参照画像ｉを生成するプロセスと、 中間フレームｉにおける特徴点座標を、該参照画像ｉと
フレームｉとのマッチングをとることによって求めるプ
ロセスと、 を有することを特徴とする特徴点追跡プログラムを記録
した記録媒体。 - 【請求項６】 対象物が撮影されたフレーム０からフレ
ームｎで構成される対象映像中の対象物の動きにしたが
って特徴点の動きを追跡してその座標を出力するための
特徴点追跡プログラムを記録したコンピュータ読み取り
可能な記録媒体であって、 フレーム０とフレームｎにおける特徴点の座標を入力と
し、フレーム０とこの画像における特徴点の座標から参
照画像０を生成し、フレームｎとこの画像における特徴
点の座標から参照画像ｎを生成し、参照画像０と参照画
像ｎとから中間フレームｉ（ｉ＝１，．．．，ｎ−１）
に対する参照画像ｉを生成するプロセスと、中間フレームｊ（ｉ−１）の特徴点座標を定めた参照画
像を起点に 複数の参照画像を求めるプロセスと、前記中間フレームｊの特徴点座標の周りをサーチエリア
として定め、該サーチエリアで前記複数の参照画像と中
間フレームｉ とのマッチングをとるプロセスと、前記マッチングの結果からフレームｉにおける特徴点座
標と対応する参照画像 を求めるプロセスと、 を有することを特徴とする特徴点追跡プログラムを記録
した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13713298A JP3437087B2 (ja) | 1998-05-19 | 1998-05-19 | 特徴点追跡方法及び装置、並びに特徴点追跡プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP13713298A JP3437087B2 (ja) | 1998-05-19 | 1998-05-19 | 特徴点追跡方法及び装置、並びに特徴点追跡プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11331829A JPH11331829A (ja) | 1999-11-30 |
| JP3437087B2 true JP3437087B2 (ja) | 2003-08-18 |
Family
ID=15191574
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP13713298A Expired - Fee Related JP3437087B2 (ja) | 1998-05-19 | 1998-05-19 | 特徴点追跡方法及び装置、並びに特徴点追跡プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3437087B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AUPR676201A0 (en) | 2001-08-01 | 2001-08-23 | Canon Kabushiki Kaisha | Video feature tracking with loss-of-track detection |
| AU2002300345B2 (en) * | 2001-08-01 | 2004-05-13 | Canon Kabushiki Kaisha | Video Feature Tracking with Loss-of-track Detection |
| KR100522171B1 (ko) * | 2002-12-02 | 2005-10-18 | 한국전자통신연구원 | 임의 형상 프레임 생성기 및 그를 이용한 임의 형상프레임 생성 방법 |
-
1998
- 1998-05-19 JP JP13713298A patent/JP3437087B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11331829A (ja) | 1999-11-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7342572B2 (en) | System and method for transforming an ordinary computer monitor into a touch screen | |
| JP3481430B2 (ja) | 移動体追跡装置 | |
| JP4512584B2 (ja) | イメージマッチング速度とブレンディング方法を改善したパノラマ映像提供方法および装置 | |
| US20040246229A1 (en) | Information display system, information processing apparatus, pointing apparatus, and pointer cursor display method in information display system | |
| US6714689B1 (en) | Image synthesizing method | |
| JP2005100407A (ja) | 複数のソース画像からパノラマ画像を作成するシステム及び方法 | |
| JP2002305647A (ja) | 画像結合装置 | |
| JPH0935061A (ja) | 画像処理方法 | |
| JPH09171560A (ja) | 顔の傾き検出装置 | |
| KR20200096426A (ko) | 동체 검출 장치, 동체 검출 방법, 동체 검출 프로그램 | |
| JP2000010705A (ja) | 出力イメージ変形方式および出力イメージ変形用プログラムを記録した記録媒体 | |
| JP3437087B2 (ja) | 特徴点追跡方法及び装置、並びに特徴点追跡プログラムを記録した記録媒体 | |
| JPH10126665A (ja) | 画像合成装置 | |
| JPH10134193A (ja) | 移動ベクトル算出方法及び装置 | |
| CN112396631B (zh) | 物件追踪方法及其电脑系统 | |
| JPH09181953A (ja) | 自動追尾装置 | |
| JP3316445B2 (ja) | 画像合成装置 | |
| JP2000124281A (ja) | パターンサーチ方法及びパターンサーチ装置 | |
| JP2000099744A (ja) | 画像動きベクトル検出方法およびその装置 | |
| JPH1063842A (ja) | テンプレートマッチング方法 | |
| JPH06168331A (ja) | パターンマッチング方法 | |
| JP2000348186A (ja) | 物体追跡装置及び方法 | |
| JPH1069536A (ja) | 画像合成装置 | |
| JPH10162138A (ja) | 画像処理方法 | |
| JP2006279890A (ja) | 相関追尾方法および相関追尾装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090606 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090606 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100606 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |