JP3674084B2 - Motion vector estimation method and image processing apparatus - Google Patents
Motion vector estimation method and image processing apparatus Download PDFInfo
- Publication number
- JP3674084B2 JP3674084B2 JP14093295A JP14093295A JP3674084B2 JP 3674084 B2 JP3674084 B2 JP 3674084B2 JP 14093295 A JP14093295 A JP 14093295A JP 14093295 A JP14093295 A JP 14093295A JP 3674084 B2 JP3674084 B2 JP 3674084B2
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- feature point
- object contour
- contour curve
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【産業上の利用分野】
本発明は、動きベクトル推定方法及び画像処理装置に関し、特に、例えば、動画像中の物体追跡処理などで行われる、２画像間の対象領域の動きベクトル推定処理を精度良く行うのに好適な動きベクトル推定方法及びこのような動きベクトル推定処理を行う画像処理装置に関する。
【０００２】
【従来の技術】
動画において、対象とする物体の動きを予測して次の画像の位置を推定することが行われている。このような２画像間の小領域の動きベクトル推定を行うための従来技術としてブロックマッチングが知られている。このブロックマッチングの技術は、例えば、文献「画像解析ハンドブック」、高木幹雄, 下田陽久, 東京大学出版会,1991 等に開示されているが、以下に、ブロックマッチングの概略について説明する。
【０００３】
ブロックマッチング法とは、時間的な前後関係に従って第１、第２の画像とするとき、第１の画像Ｉ1 上にｎ1×ｎ2の矩形のテンプレートを決め、第２の画像Ｉ2 上にｍ1×ｍ2の矩形の探索範囲あるいは探査範囲を決め、この探査範囲内でテンプレートを動かし、もっとも一致した位置を適当な誤差評価関数を用いて探す方法のことである。ここで、上記ｎ1、ｎ2、ｍ1、ｍ2は整数である。
【０００４】
図９にブロックマッチング処理のための概略構成のブロック図を示す。処理は以下のように行われる。
【０００５】
先ず、マッチング演算処理部１０１では、テンプレートと探査範囲のリストが設定されているとき、各テンプレートついて、対となる探査範囲中のブロックとのマッチングを行う。最適なマッチングが得られたブロック位置のリストを次段におくる。
【０００６】
次に、動きベクトル演算処理部１０３では、テンプレート位置(ｔ1,ｔ2) を始点とし、前段で得られたマッチング位置(ｍ1,ｍ2) を終点とする動きベクトルｖを計算する。すなわち、
ｖ＝（ｍ1−ｔ1，ｍ2−ｔ2） （１）
である。
【０００７】
図１０に画像とテンプレート、探査範囲の関係を示す。マッチング演算は以下のことを実現する処理である。
【０００８】
この図１０において、第１の画像Ｉ1 内の位置(ｔ1,ｔ2) にテンプレートＴ、第２の画像Ｉ2 内の位置(ｓ1,ｓ2) に探査範囲Ｓがあるとき、探査範囲Ｓ内の位置(ａ,ｂ) のブロックＳ(a,b) 毎にテンプレートＴとの誤差評価値Ｅ(a,b) を求める。探査範囲（０≦ａ≦ｍ1−１，０≦ｂ≦ｍ2−１）でＥ(a,b) が形成する誤差曲面上の最小値点（minａ，minｂ）を決定する。ここで、上記ｔ1,ｔ2、ｓ1,ｓ2、ａ、ｂは整数である。
【０００９】
次に、マッチング演算をフローチャートで表すと図１１のようになる。ただし、図１１において添字ｉは、上記テンプレートと探査範囲のリストが設定されているときのｉ番めのリストであることを示す。
【００１０】
この図１１において、最初のステップＳ１１１では、テンプレートＴと探査範囲Ｓをそれぞれ画像Ｉ1 、Ｉ2 から取り出し、次のステップＳ１１２では、上記誤差評価値Ｅ(a,b) の最小値minＥ に大きな定数、例えば誤差評価値Ｅ(a,b) として取り得る最大値を代入しておく。次に、探査範囲Ｓ内におけるテンプレートのｘ座標ａについてのＦＯＲループ１１３と、ｙ座標ｂについてのＦＯＲループ１１４による処理に移り、このループ処理においては、探査位置（ａ，ｂ）を探査範囲内で変えつつ、図１０で説明したブロックＳ(a,b) とテンプレートＴの誤差評価値Ｅ(a,b) を求め、その評価値が最小値minＥ となる位置（minａ，minｂ）を求めている。すなわち、このループ内での具体的な処理としては、ステップＳ１１５で上記テンプレートＴと探査範囲Ｓ内のブロックＳ(a,b) とに基づく誤差評価演算を行って誤差評価値Ｅ(a,b) を求め、ステップＳ１１６でこの誤差評価値Ｅ(a,b) が現時点での最小値minＥ よりも小さいか否かを判別し、ＮｏのときはＦＯＲループの次の処理ステップに移行し、ＹesのときはステップＳ１１７に進んで、minＥ に誤差評価値Ｅ(a,b) を代入し、minａ，minｂにそれぞれａ，ｂを代入した後、ＦＯＲループの次の処理ステップに移行している。このＦＯＲループの処理が全て終了したとき、探査範囲Ｓ内で誤差評価値が最小値minＥ となるテンプレート位置（minａ，minｂ）が求められる。画像Ｉ2 内での探査範囲Ｓの位置が(ｓ1,ｓ2) であるから、画像Ｉ2 内でのテンプレートＴのマッチング位置としては、（ｓ1＋minａ，ｓ2＋minｂ）が出力されることになる。
【００１１】
ここで、誤差評価関数Ｅ(a,b) としては、比較する画像の相関係数を用いる方法と比較する画像の平均残差を用いる方法があるが、計算の容易さから平均残差を用いる方法がよく使われている。平均残差を用いる方法は、画素毎に残差ｅの絶対値または２乗を求め、そのテンプレート範囲の平均を誤差評価値Ｅとするものである。誤差評価関数Ｅ(a,b) の具体例を次式に示す。
【００１２】
【数１】
これらの式（２）〜式（４）において、式（２）は画素毎に残差ｅの絶対値を用いたとき、式（３）は２乗を用いた時の誤差評価関数Ｅ(a,b) を示したものである。分母は（ａ，ｂ）によらないので、計算上は省略されることが多い。また式（４）は画素毎の残差ｅを示したものである。
【００１４】
また、上記ブロックマッチングを応用し、対象物領域の追跡を行うことを目的とした技術文献としては、特開平４−１１７０７９号公報「画像処理システム」や、「映像のための動ベクトル検出法に関する一検討」八木ら, テレビジョン学会誌, Vol.45, No.10, pp.1221-1229, 1991 等がある。以下にその概要を説明する。
【００１５】
上記「画像処理システム」は、１つ前のフレームにおいて、対象物領域を示すマスク画像が与えられているときに、前フレームのマスクが１である全ての画素の動きベクトルをブロックマッチングによって推定し、前フレームのマスクが１である全ての画素を動きベクトルによって移動させた結果を現フレームのマスクとする技術である。
【００１６】
上記「映像のための動ベクトル検出法に関する一検討」は、１つ前のフレームにおいて、対象物領域を示すマスク画像が与えられているときに、対象物領域内部にブロックを適当個配置し、それらに対し、前フレームと現フレームとの間でブロックマッチングを行い、得られた動きベクトルからマスク画像のアフィン変換パラメータを推定する技術である。現フレームのマスク画像は推定されたアフィン変換パラメータにより、前フレームのマスク画像を変形することにより得られる。
【００１７】
【発明が解決しようとする課題】
ところで、上記従来の通常のブロックマッチング技術においては、以下のような問題があった。
【００１８】
先ず第１の問題点として、周期性、一様性をもつ画像パターンは、そのパターン自身周辺へのマッチングを行うと、極小値点がただ１つでない誤差曲面が生じる点が挙げられる。これは、パターンの自己相関の性質に起因するものである。テンプレートに周期性、一様性がある場合、探査範囲にもその周期性、一様性が保存されている場合が多い。この時探査範囲における誤差曲面は極小値点がただ１つでなくなる。従来のブロックマッチングの技術による方法では、このような画像の場合に動きベクトル推定が誤った局所解に陥りやすい。
【００１９】
第２の問題点として、単色物体同士の境界は境界線の進む方向に沿って一様性をもつ画像パターンである。そのため、上記第１の問題点の理由により、単色物体同士の境界は、従来の通常のブロックマッチング技術による動きベクトル推定が誤りやすいところである。
【００２０】
上記特開平４−１１７０７９号公報「画像処理システム」や、上記「映像のための動ベクトル検出法に関する一検討」に記載された技術は、上記従来の通常のブロックマッチング技術を利用する物体領域追跡技術である。物体領域追跡においては、輪郭形状の追跡がもっとも重要であるが、上記第１、第２の問題点のために、以下のように解決されない点があった。
【００２１】
すなわち、上記特開平４−１１７０７９号公報「画像処理システム」に記載された技術では、対象物画素であると判断された全ての画素の動きベクトル推定を行うため、動きベクトル推定の処理時間が膨大である。また、従来の通常のブロックマッチング技術を用いているため、上記第１、第２の問題点があり、個々の動きベクトルが必ずしも正確に推定できているとは限らず、結果のマスク形状が信頼性に欠ける場合がある。
【００２２】
また、上記「映像のための動ベクトル検出法に関する一検討」の技術においては、上述したブロックマッチング技術の欠点は物体境界では避けられない問題であるとして、物体境界から十分に離れた、対象物内部の画素のみを用いて、対象物形状を追跡する処理を行う。そのため、アフィン変換のような写像でえられるような、簡単な形状変形の追随に終始しているのが実情である。
【００２３】
本発明は、上述したような実情に鑑みてなされたものであり、局所解に陥る危険性がなるべく小さいような、動きベクトル推定を行うことによって、処理の精度と効率の上昇を実現し得るような動きベクトル推定方法及びこのような動きベクトル推定処理を行う画像処理装置の提供を目的とするものである。
【００２４】
【課題を解決するための手段】
本発明に係る動きベクトル推定方法は、動画像中に存在する対象物輪郭曲線の動きベクトルを推定する動きベクトル推定方法において、上記対象物輪郭曲線上で特徴点を抽出する特徴点抽出工程と、この抽出された特徴点のみを用いて動きベクトル推定を行う推定工程とを有し、上記特徴点抽出工程は、上記対象物輪郭曲線の始端から終端までの各点で微小区間屈曲角を計算し、その総和を累積屈曲角とする工程と、上記累積屈曲角が予め定めた閾値より大きいときに、最大の微小区間屈曲角をとる点を特徴点とする工程とを有することにより、上述した課題を解決する。
【００２５】
また、本発明に係る画像処理装置は、動画像中に存在する対象物輪郭曲線の動きベクトルを推定する処理を行う画像処理装置において、上記対象物輪郭曲線上で特徴点を抽出する特徴点抽出手段と、この抽出された特徴点のみを用いて動きベクトル推定を行う推定手段とを備え、上記特徴点抽出手段は、上記対象物輪郭曲線の始端から終端までの各点で微小区間屈曲角を計算してその総和を累積屈曲角とし、上記累積屈曲角が予め定めた閾値より大きいときに、最大の微小区間屈曲角をとる点を特徴点とすることにより、上述した課題を解決する。
【００２６】
また、上記抽出された特徴点で対象物輪郭曲線を分割し、分割された対象物輪郭曲線に対しても上記特徴点抽出処理をを再帰的に行うことが好ましい。
【００２７】
上記特徴点抽出の具体例としては、上記対象物輪郭曲線の始端から終端までの各点で、曲線を垂直に横切る方向の各濃度の１次微分値を計算し、それらを各要素とするベクトルを求め、上記対象物輪郭曲線に沿って上記ベクトルの方向の変化を計算し、その方向変化角が予め定めた閾値より大きいときに、その位置を特徴点とすることが挙げられる。
【００２８】
【作用】
動画像中に存在する対象物輪郭曲線上の特徴点は、一様な構造の点に比べて、動きベクトル推定が誤った局所解に陥る可能性が低いことから、この抽出された特徴点のみを用いて動きベクトル推定を行う。これによって、境界領域における動きベクトル推定の精度と処理効率の向上を実現する。
【００２９】
【実施例】
本発明に係る動きベクトル推定方法及び画像処理装置においては、動きベクトルを求めたい対象があり、その境界領域での動きベクトル推定の場合に限定することによって問題を解決する。
【００３０】
前記第２の問題点として述べたように、物体境界領域においては、従来の通常のブロックマッチング技術では精度面での問題が大きい。本発明は、境界領域での動きベクトル推定において、局所解に陥る危険性がなるべく小さいような、境界上の点を探し、それらの動きベクトル推定を行う。
【００３１】
「図形の構造記述と視覚記憶のモデル(Ｉ)」（乾敏郎、三宅誠、電子情報通信学会、 MBE-89-14, pp.91-98, 1989）によれば、認知科学の研究から、人間は曲線の形状の端点、交点、曲率が大きい部分に強く反応することが報告されており、それらを特徴点と呼ぶ。このことから、対象物領域中の特徴点が正確に追跡できれば、対象物領域中のそれ以外の点は特徴点の追跡結果から補間処理等を行うなどの方法を用いても、認識上の精度は保証される。また、特徴点は画像上に特徴的構造をもつ点であるので、一様な構造の点よりはるかに、動きベクトル推定が誤った局所解に陥る可能性が小さい。従って本発明は、対象物境界領域の特徴点を検出し、その特徴点の動きベクトル推定を行う。それによって、前記特開平４−１１７０７９号公報記載の技術や、前記「映像のための動ベクトル検出法に関する一検討」の技術では解決できなかった、境界領域での動きベクトル推定の精度の問題、動きベクトル推定の処理量の多さの問題の両方を解決する。
【００３２】
本発明は、前記局所解に陥る危険性が小さい点として、境界の軌跡すなわち対象物輪郭曲線上の形状的特徴点を抽出する。形状的特徴点とは、軌跡あるいは曲線の屈曲が大きい点であり、境界のすすむ方向に沿った一様性が小さい。
【００３３】
また本発明は、前記局所解に陥る危険性が小さい点として、境界の軌跡すなわち対象物輪郭曲線上の濃度変化的特徴点を抽出する。濃度変化的特徴点とは、境界の少なくとも片方の濃度が変化する点であり、境界のすすむ方向に沿った一様性が小さい。
【００３４】
以下、本発明に係る動きベクトル推定方法及び画像処理装置の実施例について、図面を参照しながら説明する。
【００３５】
図１は、本発明の一実施例が適用される動きベクトル推定のための構成を概略的に示すブロック図である。
この図１において、動きベクトル推定処理部１１には、動きベクトルを求めようとする対象物を含む第１、第２の画像Ｉ1,Ｉ2 と、特徴点抽出処理部１２からのテンプレートリスト及び探査範囲リストが供給されている。特徴点抽出処理部１２は、与えられた対象物輪郭情報と、上記第１の画像Ｉ1 とから、特徴点を抽出し、探査するブロックリストを生成する。動きベクトル推定処理部１１は、生成されたブロックリストの動きベクトル場を推定する処理を行う。
【００３６】
本発明の上記実施例を実現するための画像処理装置の全体の概略構成の一例を図２に示す。
【００３７】
この図２において、画像処理装置は、本実施例の動きベクトル推定処理に必要なあらゆる演算を行うためのＣＰＵ（中央演算処理装置）２１と、画像Ｉ1,Ｉ2,Ｉ3 を保持するための外部記憶手段２２と、画像を作成したりするためのマウス、タブレットペンなどの入力手段２３と、画像を表示するためのディスプレイなどの表示手段とを有している。これらのＣＰＵ２１、外部記憶手段２２、入力手段２３、表示手段２４間でのデータの送受は、バスライン２５を介して行われる。
【００３８】
次に、上記図１の各処理部での動作についてさらに詳細に説明する。
【００３９】
先ず、図１の特徴点抽出処理部１２における特徴点抽出処理は、与えられた対象物輪郭曲線あるいは輪郭軌跡上にある特徴点を、複数の基準を用いて抽出し、その特徴点位置にブロックマッチングのためのテンプレートを配置することを行うものである。
【００４０】
本実施例では、対象物輪郭曲線あるいは輪郭軌跡の全体にわたって特徴点を抽出するための方法あるいは処理の一例と、特徴点を抽出する２つの基準、すなわち曲線の評価方法を説明する。
【００４１】
先ず、再帰的抽出処理について説明する。
【００４２】
図３は、輪郭軌跡上の２点間で、再帰的に特徴点抽出を行う処理のアルゴリズムをフローチャートで表したものである。特徴点抽出のための基準を複数用いる場合は、すべての基準のそれぞれにおいて図３に示される処理を行う。初期値として、軌跡の両端点（閉曲線の場合は任意の１点）を与えることにより、軌跡全体の特徴点を抽出できる。
【００４３】
この図３の最初のステップＳ３１において、画像Ｉ1 上の輪郭軌跡すなわち対象物輪郭曲線Ｃ上の与えられた点Ｐ0,Ｐ1 の間の区間の評価を行う。この曲線の評価には、例えば後述する２つの方法のいずれか一方又は双方を、あるいはさらに他の方法を用いればよい。評価された値をvalue 、区間内で抽出された特徴点位置をｐとする。
【００４４】
次のステップＳ３２では、予め定められた閾値Ｔｈと上記評価値value とを比較し、value が小さければ、その区間内に特徴点がないと判断され、０個の特徴点リストを出力する。評価値value が大きければ、ステップＳ３３以降の処理を行う。
【００４５】
すなわち、ステップＳ３３では、特徴点位置ｐを特徴点リストに追加する。次のステップＳ３４では、上記点Ｐ0 と上記特徴点位置ｐとの間の区間について、再帰的に特徴点抽出処理を行い、その出力を特徴点リストに追加する。また、ステップＳ３５にて、ｐとＰ1 との間の区間についても同様の処理を行う。
【００４６】
次に、上記曲線を評価する方法の一例として、形状に基づく曲線評価方法、すなわち、輪郭が大きく屈曲している点を特徴点として抽出する方法を、図４を参照しながら説明する。
【００４７】
図４は、この形状的曲線評価方法の処理の概要を示している。この図４において、点Ｐ0 における接線方向と軌跡上の各点の接線方向とのなす角をθとする。点Ｐ0 から点Ｐ1 までのθの変化の振幅θp-p が、定められた閾値より大きいとき、点Ｐ0 から点Ｐ1 までの間に屈曲点（特徴点）があるとして、θの微小変化δθが最大となる点を抽出する。
【００４８】
このような形状に基づく曲線評価方法における実際の計算は離散的に行われる。図５はその処理のフローチャートである。
【００４９】
この図５において、ステップＳ５１では、上述した点Ｐ0 から点Ｐ1 までの間を等間隔で分割し、分割数をＮとする。この分割数Ｎの各分割部分毎に、ＦＯＲループ５２内の処理を行う。すなわち、このＦＯＲループ５２で上記分割数に応じたＮ回の処理を繰り返す。１回分の処理としては、ステップＳ５３において、第ｉ番目の分割点ｐi における微小変化δθを求め、ステップＳ５４でそれらの累積加算値θp-p を求め、ステップＳ５５、Ｓ５６で絶対値の最大値δθmax を求める。また、このときのｐi をｐmax とする。
【００５０】
次に、輪郭濃度変化に基づく曲線評価方法、すなわち、輪郭における物体濃度の組合せが変化している点を特徴点として抽出する方法を説明する。
【００５１】
図６は、本方法の処理の概要を説明するための図である。図６（Ａ）は画像における輪郭の一例を示している。軌跡すなわち対象物輪郭曲線Ｃによって指示された輪郭の片側に２つの物体濃度ｆｇ1、ｆｇ2が、もう片側に物体濃度ｂｇがある。輪郭の濃度変化を調べるために、画像上で軌跡に垂直な方向の濃度変化を求める。図６（Ｂ）は濃度空間における輪郭領域の濃度分布の１例を示している。求めた輪郭上の濃度変化は、濃度空間上では、１つの物体濃度分布からもう１つの物体濃度分布に向かうベクトルとして表現される。軌跡上で隣接するベクトルが互いになす角φを図６（Ｃ）のように求める。そのφが最大になる位置を特徴点として抽出する。この図６の例では対象物の特徴点としての物体濃度ｆｇの変化点を抽出しているが、背景の物体濃度ｂｇの変化点を特徴点として抽出してもよい。
【００５２】
このような輪郭濃度変化に基づく曲線評価方法における実際の計算は離散的に行われる。図７はその処理のフローチャートである。
【００５３】
この図７において、ステップＳ７１では、上述した点Ｐ0 から点Ｐ1 までの間を等間隔で分割し、分割数をＮとする。また、点Ｐ0 における濃度変化ベクトルｔ0 を求める。次に、いわゆるＦＯＲループ７２により、上記分割数Ｎの回数分の繰り返し処理を行う。この繰り返し処理として、一般に第ｉ回目の処理は、先ずステップＳ７３にて第ｉ番目の分割点をｐi とし、次のステップＳ７４にてその分割点ｐi における濃度変化ベクトルｔi を求め、この濃度変化ベクトルｔi と前回の第ｉ−１番目の濃度変化ベクトルｔi-1 とのなす角φi を求める。次のステップＳ７５では、得られた角φi の絶対値が現在までの最大値φmax より大きいか否かを判別し、Ｎｏのときは次の回の第ｉ＋１番目のループ処理に移り、ＹesのときにはステップＳ７６で今回得られた角φi の絶対値を最大値φmax とすると共にこのときの分割点をｐi をｐmax とした後、次の第ｉ＋１番目のループ処理に移る。これを上記分割数のＮ回繰り返すわけである。
【００５４】
次に、図１の動きベクトル推定処理部１１においては、前記図９〜図１１と共に説明したような従来の通常のブロックマッチングを行えばよいため、説明を省略する。
【００５５】
以上説明したような実施例により得られる効果について、図８を参照しながら説明する。
【００５６】
図８のＡに示す画像中の対象物ｏｂｊが、時間的に次の図８のＢに示す画像中で移動したときの輪郭位置を推定するために、対象物ｏｂｊの輪郭に沿ってブロックを置き、それらのブロックマッチングを行う場合について説明する。
【００５７】
図８のＡに示す画像中の黒点ｄｐは、上記実施例によって抽出される特徴点を示している。このような特徴点は、上述したように、色の変化点や形状の屈曲点に置かれることから、図示の例の対象物ｏｂｊでは、右側の屈曲が多い部分には多くの特徴点が抽出されるが、左側の直線的な部分にはほとんど検出されない。白点ｏｐは上記特徴点以外に適当に配置したブロック位置を示す。これらをブロックマッチングにより移動先を推定すると、図８のＢに示すような結果となる。すなわち、特徴点ｄｐは、その領域の構造の特異さから精度の良い動きベクトル推定が可能であるが、それ以外の位置に置かれたブロックを示す白点ｏｐは、近傍の構造と見分けがつかないので、動きベクトルの推定精度は期待できないことになる。図８のＢにおける輪郭の概形を得たいときは、これらの推定結果を適当な曲線で結んでやればよいが、このとき特徴点ｄｐだけを用いても、図８のＣに示すように、充分に概形を得ることができ、またブロックマッチングのエラーによる余計なノイズが混入する虞も少ない。このようなことからも、少ない動きベクトル数で輪郭を追跡しても、それぞれの動きベクトルの信頼度が高いので、輪郭位置をほぼ間違いなく追跡できることがわかる。
【００５８】
なお、本発明は上記実施例のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【００５９】
【発明の効果】
本発明に係る動きベクトル推定方法及び画像処理装置によれば、動画像中に存在する対象物輪郭曲線上で特徴点を抽出し、この抽出された特徴点のみを用いて動きベクトル推定を行うことにより、境界領域における動きベクトル推定の精度と処理効率の向上を実現し、少数の動きベクトル推定でも高い信頼度をもって輪郭を追跡可能としている。
【００６０】
また、特徴点抽出の際には、対象物輪郭曲線上の屈曲が大きい形状的特徴点を抽出することにより、あるいは対象物輪郭曲線である境界の少なくとも片方の濃度が変化する濃度変化的特徴点を抽出することにより、動きベクトル推定が誤った局所解に陥る危険性を小さくし、動きベクトル推定の精度を高める。
【図面の簡単な説明】
【図１】本発明の動きベクトル推定方法が適用される実施例の概略構成を示すブロック図である。
【図２】本発明の実施例を実現するための画像処理装置の全体の概略構成を示すブロック図である。
【図３】図１の特徴点抽出処理部での特徴点の再帰的抽出処理の動作を説明するためのフローチャートである。
【図４】形状に基づく曲線評価方法の処理の概要を説明するための図である。
【図５】形状に基づく曲線評価を行う際の演算処理を説明するためのフローチャートである。
【図６】輪郭濃度変化に基づく曲線評価方法の処理の概要を説明するための図である。
【図７】輪郭濃度変化に基づく曲線評価を行う際の演算処理を説明するためのフローチャートである。
【図８】本実施例の効果を説明するための図である。
【図９】従来のブロックマッチングによる動きベクトル推定のための概略構成を示すブロック図である。
【図１０】画像と、テンプレート、探査範囲の関係を示す図である。
【図１１】図９のマッチング演算処理部での演算動作を説明するためのフローチャートである。
【符号の説明】
１１ 動きベクトル推定処理部
１２ 特徴点抽出処理部
２１ ＣＰＵ（中央演算処理装置）
２２ 外部記憶手段
２３ 入力手段
２４ 表示手段
２５ バスライン[0001]
[Industrial application fields]
The present invention relates to a motion vector estimation method and an image processing apparatus, and in particular, motion suitable for accurately performing motion vector estimation processing of a target region between two images, which is performed, for example, in object tracking processing in a moving image. The present invention relates to a vector estimation method and an image processing apparatus that performs such a motion vector estimation process.
[0002]
[Prior art]
In moving images, the movement of a target object is predicted to estimate the position of the next image. Block matching is known as a conventional technique for estimating such a small area motion vector between two images. This block matching technique is disclosed in, for example, the document “Image Analysis Handbook”, Mikio Takagi, Yoshihisa Shimoda, The University of Tokyo Press, 1991, etc., and the outline of block matching will be described below.
[0003]
In the block matching method, when the first and second images are determined according to the temporal context, an n 1 × n 2 rectangular template is determined on the first image I 1 , and the second image I 2 is determined. A search range or search range of m 1 × m 2 is determined, and a template is moved within this search range, and the most consistent position is searched using an appropriate error evaluation function. Here, the above n 1 , n 2 , m 1 , and m 2 are integers.
[0004]
FIG. 9 shows a block diagram of a schematic configuration for block matching processing. Processing is performed as follows.
[0005]
First, in the matching
[0006]
Next, the motion vector calculation processing unit 103 calculates a motion vector v having the template position (t 1 , t 2 ) as the start point and the matching position (m 1 , m 2 ) obtained in the previous stage as the end point. That is,
v = (m 1 −t 1 , m 2 −t 2 ) (1)
It is.
[0007]
FIG. 10 shows the relationship between images, templates, and search ranges. The matching operation is a process that realizes the following.
[0008]
In FIG. 10, when the template T is at the position (t 1 , t 2 ) in the first image I 1 and the search range S is at the position (s 1 , s 2 ) in the second image I 2 , the search is performed. An error evaluation value E (a, b) with respect to the template T is obtained for each block S (a, b) at position (a, b) in the range S. The minimum value point (mina, minb) on the error curved surface formed by E (a, b) is determined in the search range (0 ≦ a ≦ m 1 −1, 0 ≦ b ≦ m 2 −1). Here, t 1 , t 2 , s 1 , s 2 , a and b are integers.
[0009]
Next, the matching calculation is represented by a flowchart as shown in FIG. In FIG. 11, the suffix i indicates the i-th list when the template and the search range list are set.
[0010]
In FIG. 11, in the first step S111, the template T and the search range S are extracted from the images I 1 and I 2 respectively, and in the next step S112, the minimum value minE of the error evaluation value E (a, b) is large. A constant, for example, a maximum value that can be taken as the error evaluation value E (a, b) is substituted. Next, the process proceeds to processing by the
[0011]
Here, as the error evaluation function E (a, b), there are a method using the correlation coefficient of the image to be compared and a method using the average residual of the image to be compared, but the average residual is used for ease of calculation. The method is often used. In the method using the average residual, the absolute value or square of the residual e is obtained for each pixel, and the average of the template range is used as the error evaluation value E. A specific example of the error evaluation function E (a, b) is shown in the following equation.
[0012]
[Expression 1]
In these equations (2) to (4), equation (2) uses the absolute value of the residual e for each pixel, and equation (3) shows the error evaluation function E (a) when square is used. , b). Since the denominator does not depend on (a, b), the calculation is often omitted. Equation (4) shows the residual e for each pixel.
[0014]
Further, as technical documents for the purpose of tracking the object region by applying the above block matching, Japanese Patent Laid-Open No. 4-117079 “Image processing system” and “Motion vector detection method for video” A Study ”Yagi et al., The Journal of Television Society, Vol.45, No.10, pp.1221-1229, 1991. The outline will be described below.
[0015]
The above “image processing system” estimates the motion vectors of all the pixels whose mask of the previous frame is 1 by block matching when the mask image indicating the object area is given in the previous frame. In this technique, the result of moving all the pixels whose mask of the previous frame is 1 by a motion vector is used as a mask of the current frame.
[0016]
In the above "one study on a motion vector detection method for video", when a mask image indicating a target area is given in the previous frame, appropriate blocks are arranged inside the target area, On the other hand, block matching is performed between the previous frame and the current frame, and the affine transformation parameters of the mask image are estimated from the obtained motion vectors. The mask image of the current frame is obtained by transforming the mask image of the previous frame using the estimated affine transformation parameters.
[0017]
[Problems to be solved by the invention]
By the way, the above conventional normal block matching technique has the following problems.
[0018]
First, as an image pattern having periodicity and uniformity, a first problem is that, when matching is performed around the pattern itself, an error curved surface having a single minimum value point is generated. This is due to the autocorrelation nature of the pattern. When the template has periodicity and uniformity, the periodicity and uniformity are often stored in the search range. At this time, the error curved surface in the search range has only one minimum value point. In the method based on the conventional block matching technique, the motion vector estimation is likely to fall into a wrong local solution in the case of such an image.
[0019]
As a second problem, the boundary between monochromatic objects is an image pattern having uniformity along the direction in which the boundary line advances. For this reason, due to the first problem, the boundary between single-color objects is prone to error in motion vector estimation by a conventional normal block matching technique.
[0020]
The techniques described in the above-mentioned “Image processing system” of Japanese Patent Laid-Open No. 4-117079 and “Study on motion vector detection method for video” are object region tracking using the above-described conventional block matching technique. Technology. In the object region tracking, the tracking of the contour shape is the most important, but due to the first and second problems, there is a point that cannot be solved as follows.
[0021]
That is, in the technique described in “Image Processing System” of the above-mentioned Japanese Patent Application Laid-Open No. 4-117079, since motion vectors are estimated for all pixels that are determined to be object pixels, the processing time for motion vector estimation is enormous. It is. In addition, since the conventional normal block matching technique is used, there are the first and second problems described above, and the individual motion vectors cannot always be accurately estimated, and the resulting mask shape is reliable. May be lacking in sex.
[0022]
In addition, in the technique of “A Study on a Motion Vector Detection Method for Video”, it is assumed that the above-described drawback of the block matching technique is an unavoidable problem at the object boundary. The process of tracking the object shape is performed using only the internal pixels. For this reason, the fact is that it has been following the simple shape deformation as obtained by mapping such as affine transformation.
[0023]
The present invention has been made in view of the above-described circumstances, and it is possible to realize an increase in processing accuracy and efficiency by performing motion vector estimation that minimizes the risk of falling into a local solution. An object of the present invention is to provide a simple motion vector estimation method and an image processing apparatus that performs such a motion vector estimation process.
[0024]
[Means for Solving the Problems]
The motion vector estimation method according to the present invention is a motion vector estimation method for estimating a motion vector of an object contour curve existing in a moving image, and a feature point extraction step of extracting a feature point on the object contour curve; A motion vector estimation using only the extracted feature points, and the feature point extraction step calculates a minute section bending angle at each point from the start to the end of the object contour curve. The above-mentioned problems include a step of setting the sum total as a cumulative bending angle and a step having a feature point that takes a maximum micro-section bending angle when the cumulative bending angle is larger than a predetermined threshold. To solve.
[0025]
Further, an image processing apparatus according to the present invention is an image processing apparatus that performs a process of estimating a motion vector of an object contour curve existing in a moving image, and extracts feature points on the object contour curve. And an estimation unit that performs motion vector estimation using only the extracted feature points, and the feature point extraction unit calculates a minute section bending angle at each point from the start to the end of the object contour curve. The above-mentioned problem is solved by calculating the sum of the calculated bending angles as the cumulative bending angle and taking the maximum micro-section bending angle when the cumulative bending angle is larger than a predetermined threshold.
[0026]
Further, it is preferable that the object contour curve is divided by the extracted feature points, and the feature point extraction processing is also recursively performed on the divided object contour curves.
[0027]
As a specific example of the feature point extraction, at each point from the start end to the end of the object contour curve, a first derivative value of each density in a direction perpendicular to the curve is calculated, and a vector having these as each element And calculating a change in the direction of the vector along the object contour curve, and when the direction change angle is larger than a predetermined threshold, the position is used as a feature point.
[0028]
[Action]
Since the feature points on the object contour curve that exist in the moving image are less likely to fall into a local solution with an incorrect motion vector estimation than the points with a uniform structure, only these extracted feature points Is used to estimate the motion vector. As a result, the accuracy of motion vector estimation and the processing efficiency in the boundary region are improved.
[0029]
【Example】
In the motion vector estimation method and the image processing apparatus according to the present invention, there is an object for which a motion vector is to be obtained, and the problem is solved by limiting to the case of motion vector estimation in the boundary region.
[0030]
As described as the second problem, in the object boundary region, the conventional normal block matching technique has a large problem in terms of accuracy. According to the present invention, in motion vector estimation in the boundary region, points on the boundary are searched so that the risk of falling into a local solution is as small as possible, and those motion vectors are estimated.
[0031]
According to "Structural description of figures and visual memory model (I)" (Toshiro Inui, Makoto Miyake, IEICE, MBE-89-14, pp.91-98, 1989) Humans have been reported to react strongly to end points, intersections, and parts with large curvatures of curve shapes, which are called feature points. Therefore, if the feature points in the object region can be accurately tracked, the other points in the object region can be recognized accurately even if a method such as interpolation processing is performed from the tracking results of the feature points. Is guaranteed. In addition, since the feature point is a point having a characteristic structure on the image, the possibility that the motion vector estimation falls into a wrong local solution is much smaller than a point having a uniform structure. Accordingly, the present invention detects feature points in the object boundary region and performs motion vector estimation of the feature points. Thereby, the problem of the accuracy of motion vector estimation in the boundary region, which could not be solved by the technique described in the above-mentioned Japanese Patent Laid-Open No. 4-117079 or the technique of “one study on the motion vector detection method for video”, It solves both of the problems of the large amount of processing of motion vector estimation.
[0032]
In the present invention, as a point having a low risk of falling into the local solution, a boundary trajectory, that is, a geometric feature point on the object contour curve is extracted. The shape feature point is a point where the trajectory or the curve is largely bent, and the uniformity along the direction in which the boundary advances is small.
[0033]
Further, according to the present invention, as a point having a low risk of falling into the local solution, a boundary trajectory, that is, a density changing feature point on the object contour curve is extracted. The density-changing feature point is a point where the density of at least one of the boundaries changes, and the uniformity along the direction in which the boundary proceeds is small.
[0034]
Embodiments of a motion vector estimation method and an image processing apparatus according to the present invention will be described below with reference to the drawings.
[0035]
FIG. 1 is a block diagram schematically showing a configuration for motion vector estimation to which an embodiment of the present invention is applied.
In FIG. 1, the motion vector
[0036]
An example of the overall schematic configuration of the image processing apparatus for realizing the above-described embodiment of the present invention is shown in FIG.
[0037]
In FIG. 2, the image processing apparatus holds a CPU (central processing unit) 21 for performing all calculations necessary for the motion vector estimation process of this embodiment and images I 1 , I 2 , and I 3. External storage means 22, input means 23 such as a mouse or tablet pen for creating an image, and display means such as a display for displaying the image. Data transmission / reception among the
[0038]
Next, the operation of each processing unit in FIG. 1 will be described in more detail.
[0039]
First, feature point extraction processing in the feature point
[0040]
In the present embodiment, an example of a method or process for extracting feature points over the entire object contour curve or contour locus, and two criteria for extracting feature points, that is, a curve evaluation method will be described.
[0041]
First, the recursive extraction process will be described.
[0042]
FIG. 3 is a flowchart showing a processing algorithm for recursively extracting feature points between two points on the contour locus. When a plurality of criteria for extracting feature points are used, the processing shown in FIG. 3 is performed for each of all criteria. By giving both end points of the locus (an arbitrary point in the case of a closed curve) as initial values, the feature points of the entire locus can be extracted.
[0043]
In the first step S31 in FIG. 3, the contour between the given points P 0 and P 1 on the contour locus on the image I 1 , that is, the object contour curve C, is evaluated. For the evaluation of this curve, for example, one or both of the two methods described later may be used, or still another method may be used. Assume that the evaluated value is value, and the feature point position extracted in the section is p.
[0044]
In the next step S32, a predetermined threshold value Th is compared with the evaluation value value. If value is small, it is determined that there is no feature point in the section, and zero feature point list is output. If the evaluation value value is large, the processing after step S33 is performed.
[0045]
That is, in step S33, the feature point position p is added to the feature point list. In the next step S34, the interval between the point P 0 and the feature point position p, recursively performs feature point extraction processing, to add the output to the feature point list. Further, at step S35, the same processing is performed for the interval between the p and P 1.
[0046]
Next, as an example of a method for evaluating the curve, a curve evaluation method based on a shape, that is, a method of extracting a point where a contour is bent greatly as a feature point will be described with reference to FIG.
[0047]
FIG. 4 shows an outline of processing of this geometric curve evaluation method. In FIG. 4, the angle formed by the tangential direction at the point P 0 and the tangential direction of each point on the locus is defined as θ. When the amplitude θ pp of the change in θ from the point P 0 to the point P 1 is larger than a predetermined threshold value, it is assumed that there is a bending point (characteristic point) between the point P 0 and the point P 1. The point where the change δθ is maximum is extracted.
[0048]
The actual calculation in the curve evaluation method based on such a shape is performed discretely. FIG. 5 is a flowchart of the processing.
[0049]
In FIG. 5, in step S <b> 51, the above-described point P 0 to point P 1 are divided at equal intervals, and the number of divisions is N. The processing in the
[0050]
Next, a curve evaluation method based on a contour density change, that is, a method of extracting, as a feature point, a point where a combination of object density in the contour is changing will be described.
[0051]
FIG. 6 is a diagram for explaining the outline of the processing of this method. FIG. 6A shows an example of an outline in an image. There are two object densities fg 1 and fg 2 on one side of the contour indicated by the locus, ie, the object contour curve C, and an object density bg on the other side. In order to examine the density change of the contour, the density change in the direction perpendicular to the locus is obtained on the image. FIG. 6B shows an example of the density distribution of the contour region in the density space. The obtained density change on the contour is expressed as a vector from one object density distribution to another object density distribution in the density space. An angle φ formed by adjacent vectors on the locus is obtained as shown in FIG. The position where φ is maximized is extracted as a feature point. In the example of FIG. 6, the change point of the object density fg as the feature point of the object is extracted, but the change point of the background object density bg may be extracted as the feature point.
[0052]
The actual calculation in the curve evaluation method based on the contour density change is performed discretely. FIG. 7 is a flowchart of the processing.
[0053]
In FIG. 7, in step S <b> 71, the above-described point P 0 to point P 1 are divided at equal intervals, and the number of divisions is N. Further, a density change vector t 0 at the point P 0 is obtained. Next, the so-called FOR
[0054]
Next, in the motion vector
[0055]
The effects obtained by the embodiment as described above will be described with reference to FIG.
[0056]
In order to estimate the contour position when the object obj in the image shown in A of FIG. 8 moves in the image shown in B of FIG. 8 in terms of time, a block is taken along the contour of the object obj. A case where the block matching is performed will be described.
[0057]
A black point dp in the image shown in FIG. 8A indicates a feature point extracted by the above embodiment. As described above, since such feature points are placed at the color change point and the bending point of the shape, in the object obj in the illustrated example, many feature points are extracted in the portion where the right side bending is large. However, it is hardly detected in the linear part on the left side. A white point op indicates a block position appropriately arranged in addition to the feature points. When these are estimated by block matching, the result shown in FIG. 8B is obtained. That is, the feature point dp can be accurately estimated from the peculiarity of the structure of the region, but the white point op indicating the block placed at other positions can be distinguished from the neighboring structure. Therefore, the estimation accuracy of the motion vector cannot be expected. When it is desired to obtain the outline of the contour in FIG. 8B, these estimation results may be connected by an appropriate curve. At this time, even if only the feature point dp is used, as shown in FIG. Therefore, a sufficient outline can be obtained, and there is little possibility of extra noise due to block matching errors. This also shows that even if the contour is tracked with a small number of motion vectors, the reliability of each motion vector is high, so that the contour position can be tracked almost certainly.
[0058]
It should be noted that the present invention is not limited only to the above-described embodiments, and various modifications can be made without departing from the gist of the present invention.
[0059]
【The invention's effect】
According to the motion vector estimation method and the image processing apparatus according to the present invention, a feature point is extracted on an object contour curve existing in a moving image, and motion vector estimation is performed using only the extracted feature point. As a result, the accuracy and processing efficiency of motion vector estimation in the boundary region are improved, and the contour can be traced with high reliability even with a small number of motion vector estimations.
[0060]
In addition, when extracting feature points, by extracting shape feature points with large bends on the object contour curve, or density-changing feature points where the density of at least one of the boundaries that are the object contour curve changes. By extracting, the risk of motion vector estimation falling into an incorrect local solution is reduced, and the accuracy of motion vector estimation is increased.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a schematic configuration of an embodiment to which a motion vector estimation method of the present invention is applied.
FIG. 2 is a block diagram showing an overall schematic configuration of an image processing apparatus for realizing an embodiment of the present invention.
3 is a flowchart for explaining the operation of recursive extraction processing of feature points in the feature point extraction processing unit of FIG. 1;
FIG. 4 is a diagram for explaining an outline of processing of a curve evaluation method based on a shape;
FIG. 5 is a flowchart for explaining calculation processing when performing curve evaluation based on a shape.
FIG. 6 is a diagram for explaining an outline of processing of a curve evaluation method based on a contour density change.
FIG. 7 is a flowchart for explaining calculation processing when performing curve evaluation based on a change in contour density.
FIG. 8 is a diagram for explaining the effect of the present embodiment.
FIG. 9 is a block diagram showing a schematic configuration for motion vector estimation by conventional block matching.
FIG. 10 is a diagram illustrating a relationship between an image, a template, and a search range.
11 is a flowchart for explaining a calculation operation in a matching calculation processing unit in FIG. 9;
[Explanation of symbols]
11 motion vector
22 External storage means 23 Input means 24 Display means 25 Bus line
Claims (6)
上記対象物輪郭曲線上で特徴点を抽出する特徴点抽出工程と、
この抽出された特徴点のみを用いて動きベクトル推定を行う推定工程とを有し、
上記特徴点抽出工程は、
上記対象物輪郭曲線の始端から終端までの各点で微小区間屈曲角を計算し、その総和を累積屈曲角とする工程と、
上記累積屈曲角が予め定めた閾値より大きいときに、最大の微小区間屈曲角をとる点を特徴点とする工程とを有すること
を特徴とする動きベクトル推定方法。In a motion vector estimation method for estimating a motion vector of an object contour curve existing in a moving image,
A feature point extracting step of extracting feature points on the object contour curve;
Possess the estimation step of performing motion vector estimation using only the extracted feature points,
The feature point extraction step is
Calculating a minute section bending angle at each point from the start end to the end of the object contour curve, and setting the sum as a cumulative bending angle;
A motion vector estimation method comprising: a step of taking a maximum minute section bend angle as a feature point when the cumulative bend angle is larger than a predetermined threshold value .
上記対象物輪郭曲線の始端から終端までの各点で、曲線を垂直に横切る方向の各濃度の１次微分値を計算し、それらを各要素とするベクトルを求める工程と、
上記対象物輪郭曲線に沿って上記ベクトルの方向の変化を計算し、その方向変化角が予め定めた閾値より大きいときに、その位置を特徴点とする工程とを有することを特徴とする請求項１記載の動きベクトル推定方法。The feature point extraction step is
Calculating a first derivative value of each concentration in a direction perpendicular to the curve at each point from the start to the end of the object contour curve, and obtaining a vector having these as each element;
A step of calculating a change in the direction of the vector along the object contour curve and setting the position as a feature point when the direction change angle is larger than a predetermined threshold. 2. The motion vector estimation method according to 1.
上記対象物輪郭曲線上で特徴点を抽出する特徴点抽出手段と、
この抽出された特徴点のみを用いて動きベクトル推定を行う推定手段とを備え、
上記特徴点抽出手段は、上記対象物輪郭曲線の始端から終端までの各点で微小区間屈曲角を計算してその総和を累積屈曲角とし、上記累積屈曲角が予め定めた閾値より大きいときに、最大の微小区間屈曲角をとる点を特徴点とすること
ことを特徴とする画像処理装置。In an image processing apparatus that performs processing for estimating a motion vector of an object contour curve existing in a moving image,
Feature point extracting means for extracting feature points on the object contour curve;
Bei example and estimation means for performing motion vector estimation using only the extracted feature points,
The feature point extracting means calculates a minute section bending angle at each point from the start end to the end of the object contour curve and sets the sum as a cumulative bending angle, and when the cumulative bending angle is larger than a predetermined threshold value An image processing apparatus characterized in that a point having a maximum minute section bending angle is a feature point .
上記特徴点抽出手段は、上記分割手段によって分割された対象物輪郭曲線に対しても再帰的に特徴点を抽出することを特徴とする請求項４記載の画像処理装置。Dividing means for dividing the object contour curve by the feature points extracted by the feature point extraction means,
5. The image processing apparatus according to claim 4 , wherein the feature point extracting unit recursively extracts feature points from the object contour curve divided by the dividing unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14093295A JP3674084B2 (en) | 1995-06-07 | 1995-06-07 | Motion vector estimation method and image processing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP14093295A JP3674084B2 (en) | 1995-06-07 | 1995-06-07 | Motion vector estimation method and image processing apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH08335270A JPH08335270A (en) | 1996-12-17 |
| JP3674084B2 true JP3674084B2 (en) | 2005-07-20 |
Family
ID=15280175
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14093295A Expired - Fee Related JP3674084B2 (en) | 1995-06-07 | 1995-06-07 | Motion vector estimation method and image processing apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3674084B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4039423B2 (en) * | 2004-12-14 | 2008-01-30 | 日産自動車株式会社 | Edge position calculation device, obstacle detection system |
| JP5362189B2 (en) * | 2006-05-10 | 2013-12-11 | 株式会社トプコン | Image processing apparatus and processing method thereof |
-
1995
- 1995-06-07 JP JP14093295A patent/JP3674084B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH08335270A (en) | 1996-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6628715B1 (en) | Method and apparatus for estimating optical flow | |
| US6819782B1 (en) | Device and method for recognizing hand shape and position, and recording medium having program for carrying out the method recorded thereon | |
| US7623731B2 (en) | Direct method for modeling non-rigid motion with thin plate spline transformation | |
| JP2978406B2 (en) | Apparatus and method for generating motion vector field by eliminating local anomalies | |
| US7809211B2 (en) | Image normalization for computed image construction | |
| US7167578B2 (en) | Probabilistic exemplar-based pattern tracking | |
| US7224830B2 (en) | Gesture detection from digital video images | |
| US7755619B2 (en) | Automatic 3D face-modeling from video | |
| JP4894741B2 (en) | Information processing apparatus, information processing method, program, and recording medium | |
| US20030108220A1 (en) | Robust, on-line, view-based appearance models for visual motion analysis and visual tracking | |
| US20050244081A1 (en) | Method and system of generating a high-resolution image from a set of low-resolution images | |
| Pan et al. | Robust and accurate object tracking under various types of occlusions | |
| JP5898014B2 (en) | Posture estimation apparatus, posture estimation method, and posture estimation program | |
| EP2352128A1 (en) | Mobile body detection method and mobile body detection apparatus | |
| Elder et al. | The statistics of natural image contours | |
| KR101681104B1 (en) | A multiple object tracking method with partial occlusion handling using salient feature points | |
| CN106373128B (en) | Method and system for accurately positioning lips | |
| Cremers | A variational framework for image segmentation combining motion estimation and shape regularization | |
| US20030107653A1 (en) | Method and apparatus for object recognition | |
| CN114663496A (en) | Monocular vision odometer method based on Kalman pose estimation network | |
| JP4086422B2 (en) | Subject recognition device | |
| JP3674084B2 (en) | Motion vector estimation method and image processing apparatus | |
| US20020122577A1 (en) | Method and system for tag detection and tracking in MRI tagged images | |
| Kwon et al. | Rolled fingerprint construction using MRF-based nonrigid image registration | |
| JP3980666B2 (en) | Motion vector estimation method and image processing apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041217 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041228 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050228 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050405 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050418 |
|
| LAPS | Cancellation because of no payment of annual fees |