JP3836814B2 - 画像処理方法、画像処理装置、画像処理プログラム - Google Patents
画像処理方法、画像処理装置、画像処理プログラム Download PDFInfo
- Publication number
- JP3836814B2 JP3836814B2 JP2003142490A JP2003142490A JP3836814B2 JP 3836814 B2 JP3836814 B2 JP 3836814B2 JP 2003142490 A JP2003142490 A JP 2003142490A JP 2003142490 A JP2003142490 A JP 2003142490A JP 3836814 B2 JP3836814 B2 JP 3836814B2
- Authority
- JP
- Japan
- Prior art keywords
- histogram
- candidate
- area
- region
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 16
- 238000000034 method Methods 0.000 claims description 31
- 238000001514 detection method Methods 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 7
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 241001465754 Metazoa Species 0.000 description 12
- 238000006243 chemical reaction Methods 0.000 description 9
- 230000007613 environmental effect Effects 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 241000723369 Cocculus trilobus Species 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 210000000746 body region Anatomy 0.000 description 3
- 239000006185 dispersion Substances 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
Description
【発明の属する技術分野】
本発明は、動画像中の対象動物体を追跡する画像処理方法、画像処理装置、画像処理プログラムに関する。
【0002】
【従来の技術】
動画像中の対象動物体を追跡する技術は、従来、動画像中の自動車や不審者を追跡して検出する監視システムで利用されてきた。また、近年、インターネットやデジタルテレビ等のデジタルコンテンツにおいて、動画像中のある物体に予め関連情報(名前,値段など)を付与しておき、ユーザーが動画像中のこの物体をマウス等を用いてポインティングすれば関連情報を画面に提示するような映像を制作するためのアンカー領域の指定などにも、動画像中の対象動物体を追跡する技術は利用される。これによって、テレビドラマを見ながら俳優が身に付けている時計をユーザがマウスでクリックしてインターネットショッピングによって購入したり、スポーツ観戦中に所望の選手のプロフィールを表示させたり、また、試合中の選手の動きを解析してチームの戦略分析等に応用することも可能になる。
【0003】
動画像中の対象動物体の追跡技術の具体的なアルゴリズムの一つとして、Affine変換推定を用いた物体追跡手法がある(例えば、特許文献1参照。)。これは、フレーム間での対象動物体の移動・変形が、Affine変換であると仮定して、このAffine変換を表すAffineパラメータを推定して物体を追跡する手法である。本手法について、図18を用いて説明する。参照画像に対してユーザの手入力によって参照物体領域を指定し、図18(A)のように追跡に効果的な有限個の特徴点のみを選択する。特徴点選択は、参照物体領域内に定められた間隔で特徴点候補を格子状に配置して、特徴点候補を中心に定められた大きさのブロック(例えば8×8画素)を決め、特徴点候補を中心に、周囲領域においてブロックマッチングを行い、周囲領域とのブロックマッチングを行うことにより得られた類似度が低い、つまり、処理画像との追跡を行う際のブロックマッチング誤り(追跡誤り)が起こりにくいと判断される特徴点候補を選択する。続いて、図18(B)のように、参照画像に配置された特徴点を中心としたブロックと処理画像とでブロックマッチングを行い、移動ベクトルを推定する。一般に、これら移動ベクトルには外れ値が含まれている。よって、ロバスト推定により物体の変換を表すAffineパラメータを推定し、このAffineパラメータを用いて参照物体領域にAffine変換を施し、図18(C)のように、処理画像での対象動物体領域の位置及び形状を推定することができる。
【0004】
また、色ヒストグラムを用いて参照物体領域に対応する領域を処理画像中から推定するアルゴリズムもある(例えば、非特許文献1参照。)。これは、マッチングを取るための特徴量として、参照物体領域内の色ヒストグラムを用いるもので、処理画像の色ヒストグラムとの照合を取ることで物体位置を検出する方法である。まず、図19のように参照ヒストグラムを作成するための参照物体領域(図中、矩形枠901によって表す)を設定する。この設定は、参照画像においてユーザがマニュアル操作によって矩形領域や楕円領域を設定してもよいし、また、背景差分法やフレーム間差分法といった画像処理を用いて参照物体領域を自動生成してもよい。続いて、この参照物体領域の色ヒストグラムを作成する。色ヒストグラムの計算では、色空間における各軸をQ分割した3次元色ヒストグラムを作成する。図20では、色空間をRGB空間、Q=4分割として図示してある。参照物体領域内での各画素値が色空間内のQ3=64個の立方体それぞれに何個含まれるかを数えて、参照物体領域での色ヒストグラムを以下の式(1)として算出する。ヒストグラムの性質上、参照物体領域内の総画素数は以下の(2)となる。
【0005】
【数1】
【0006】
次に、以下の式(3)に示す各ヒストグラムの要素を総画素数で割った正規化ヒストグラムを作成する。
【0007】
【数2】
【0008】
つまり、参照物体領域内の総画素数は1.0に正規化されている。このMiを参照物体領域の色ヒストグラムを表す参照ヒストグラムとする。
【0009】
続いて、処理画像中の探索範囲内に候補物体領域を設定し、同様に候補ヒストグラムを作成する(以下に示す式(4))。ヒストグラム間のマッチング度合いを計る尺度としては以下の式(5)に示すヒストグラムインターセクションSHMを用いる。
【0010】
【数3】
【0011】
ヒストグラムインターセクションSHMは、ヒストグラムが正規化されているため、0から1までの値を取り、この類似度が最大となる候補ヒストグラムを持つ候補物体領域を、処理画像中の探索範囲内で探して、参照物体領域の移動先として出力する。
【0012】
【特許文献1】
特開2001−132691公報
【0013】
【非特許文献1】
Michael J. Swain, Dana H. Ballard著「Color Indexing」International Journal of Computer Vision, 1991, vol. 7, no. 1, pp. 11-32.
【0014】
【発明が解決しようとする課題】
しかしながら、Affine変換推定を用いた物体追跡手法では、推定されたAffineパラメータによって対象動物体の変形・追跡を行うために、参照画像における対象動物体から処理画像における対象動物体への変化がAffine変換で近似できない場合には正しい追跡を行うことができないという問題があった。また、複数のブロックマッチングを用いて物体を追跡するため、追跡領域がある程度の大きさを持つ必要もあった。
【0015】
一方、色ヒストグラムを用いた物体追跡手法では、対象領域内の色ヒストグラムを用いて追跡を行うため、対象動物体の持つ色成分に大きな変化が生じない限り、形状に大きな変化が生じても追跡することができ、追跡領域が小さな領域の場合でも追跡できる。
【0016】
しかし、特徴量として色ヒストグラムのみを用いて追跡を行うので、背景領域と対象動物体領域の色成分が似ている場合や、同じような色成分を持った動物体が映像中に複数含まれる場合、また、環境変動によって対象動物体領域の色成分が変化した場合には、ヒストグラムマッチングの精度が劣化し、追跡精度の低下を招く問題があった。
【0017】
本発明は前記のような事情を考慮してなされたもので、精度良く動画像中から動物体を追跡することが可能な画像処理方法、画像処理装置、画像処理プログラムを提供することを目的とする。
【0018】
【課題を解決するための手段】
上記目的を達成するために本発明においては、動画像中の対象動物体を追跡する画像処理方法において、前記動画像中の参照画像をもとに、前記対象動物体に該当する参照領域についての参照領域ヒストグラムと、前記参照領域の近傍にある参照拡張領域についての参照拡張領域ヒストグラムを作成する参照ヒストグラム作成工程と、前記動画像中の処理画像をもとに、前記対象動物体を探索するための候補領域についての候補領域ヒストグラムと、前記候補領域の近傍にある候補拡張領域についての候補拡張領域ヒストグラムを作成する候補ヒストグラム作成工程と、前記参照領域ヒストグラムと前記候補領域ヒストグラムを用いたヒストグラムマッチングにより、ヒストグラムインターセクションを算出する第1のヒストグラムマッチング工程と、前記参照拡張領域ヒストグラムと前記候補拡張領域ヒストグラムとのヒストグラムマッチングにより拡張ヒストグラムインターセクションを算出する第2のヒストグラムマッチング工程と、前記ヒストグラムインターセクションと前記拡張ヒストグラムインターセクションを統合して、統合ヒストグラムインターセクションが最大となる候補領域を処理画像中の対象動物体位置として検出する物体位置検出工程とを備える。
【0019】
このような方法においては、例えば色あるいは色相をもとにした動画像中の追跡領域(参照領域、候補領域)と拡張領域(参照拡張領域、参照候補領域)についてのヒストグラム情報と、追跡領域と拡張領域との位置関係、すなわち限定的なテキスチャ情報を用いて対象動物体の追跡を行うことになるので、画像間での変化をAffine変換で近似できないような小さな対象動物体であり、かつ、背景領域と対象動物体領域の色成分が似ている場合や、同じような色成分を持った動物体が映像中に複数含まれる場合、また、環境変動によって対象動物体領域の色成分が変化した場合にも、精度良く動画像中から追跡することができる。
【0020】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について説明する。
本実施形態における画像処理装置は、例えば半導体メモリ、CD−ROM、DVD、磁気ディスク等の記録媒体に記録された画像処理プログラムを読み込み、この画像処理プログラムによって動作が制御されるコンピュータによって実現することができる。画像処理装置を実現するコンピュータは、プロセッサと、このプロセッサがアクセス可能なメモリと、このメモリに収容された画像解析プログラムを有する。
【0021】
図1に示すように、本実施形態における画像処理装置は、画像処理部10、入力装置12、表示装置14、及び記憶装置16が設けられている。
【0022】
画像処理部10は、メモリに収容された画像解析プログラムを実行することで、入力装置12あるいは記憶装置16から画像データ(参照画像データ、処理画像データ)を入力し、動画像中の対象動物体を追跡するための画像処理を実行する機能を実現する。画像処理部10には、例えば参照ヒストグラム作成部20、候補ヒストグラム作成部22、ヒストグラムマッチング部24、物体位置検出部25、追跡結果出力部26の機能が実現される。
【0023】
参照ヒストグラム作成部20は、動画像中の参照画像をもとに対象動物体に該当する参照領域についての参照領域ヒストグラムと、参照領域の近傍に設けられる参照拡張領域についての参照拡張領域ヒストグラムを作成する。参照ヒストグラム作成部20は、参照画像の色情報を用いて参照領域ヒストグラムと参照拡張領域ヒストグラムを作成する(第1実施形態)。また、参照ヒストグラム作成部20は、参照画像の色空間をHSV(色相、彩度、明度)色空間に変換し、この色空間変換されたHue色相成分を用いて、参照領域ヒストグラムと参照拡張領域ヒストグラムを作成することもできる(第2実施形態)。
【0024】
候補ヒストグラム作成部22は、動画像中の処理画像をもとに対象動物体を探索するための候補領域を設定し、この候補領域についての候補領域ヒストグラムと、候補領域の近傍に設けられる候補拡張領域についての候補拡張領域ヒストグラムを作成する。参照ヒストグラム作成部20は、処理画像の色情報を用いて候補領域ヒストグラムと候補拡張領域ヒストグラムを作成する(第1実施形態)。また、参照ヒストグラム作成部20は、処理画像の色空間をHSV色空間に変換し、この色空間変換された色相成分を用いて、参照領域ヒストグラムと参照拡張領域ヒストグラムを作成することもできる(第2実施形態)。また、候補ヒストグラム作成部22は、処理画像から対象動物体を探索するための候補領域を設定する際に、参照領域ヒストグラムが作成された参照領域のアスペクト比と同じアスペクト比の候補領域を設定し、この候補領域と同候補領域の近傍の候補拡張領域から候補領域ヒストグラムと候補拡張領域ヒストグラムを作成することもできる(第3実施形態)。
【0025】
ヒストグラムマッチング部24は、参照ヒストグラム作成部20により作成された参照領域ヒストグラムと候補ヒストグラム作成部22によって作成された候補領域ヒストグラムとのヒストグラムマッチングを実行して、ヒストグラムインターセクションを算出し(第1のヒストグラムマッチング工程)、また参照ヒストグラム作成部20により作成された参照拡張領域ヒストグラムと候補ヒストグラム作成部22によって作成された候補拡張領域ヒストグラムとのヒストグラムマッチングを実行して拡張ヒストグラムインターセクションを算出する(第2のヒストグラムマッチング工程)。なお、ヒストグラムマッチング部24によるヒストグラムマッチングは、ヒストグラム間の類似度を求めるものであって、ヒストグラムインターセクションを算出する他にも、例えばヒストグラム間の一致度、類似度、相関の程度を求めるものを含む。
【0026】
物体位置検出部25は、ヒストグラムマッチング部24によるヒストグラムマッチングの結果をもとに、処理画像中の対象動物体位置とする候補領域を検出する。物体位置検出部25では、ヒストグラムマッチング部24により算出されたヒストグラムインターセクションと拡張ヒストグラムインターセクションを統合して、この統合ヒストグラムインターセクションが最大となる候補領域を処理画像中の対象動物体位置として検出する。
【0027】
追跡結果出力部26は、物体位置検出部25により検出された対象物体位置とする候補領域を、対象動物体の追跡結果として表示装置14において表示させる。例えば、動画像中に対象動物体の位置(候補領域)を表す矩形枠を付して表示する。
【0028】
入力装置12は、ユーザのマニュアル操作によって画像処理部10に対する制御指示などを入力するためのキーボードや、マウスなどのポインティングデバイスの他、画像処理の対象とする動画像データを入力するためのビデオカメラ等の撮影手段を含む。
【0029】
表示装置14は、画像処理部10による処理対象とする動画像などが表示される。表示装置14により表示される動画像には、追跡結果出力部26によって検出された対象動物体に該当する位置(領域)を表す矩形枠などが付加される。
【0030】
記憶装置16は、画像処理の対象とする動画像データなどが記憶されるもので、動画像データには参照ヒストグラム作成部20において処理対象とする参照画像データ16a、対象動物体の追跡対象とする処理画像データ16bを含む。
【0031】
(第1実施形態)
図2は、本発明の第1実施形態の画像処理方法の処理の流れを示すフローチャートである。
図2において、ステップA1は参照画像から参照領域ヒストグラムと参照拡張領域ヒストグラムを作成する参照ヒストグラム作成工程、ステップA2は処理画像から候補領域ヒストグラムと候補拡張領域ヒストグラムを作成する候補ヒストグラム作成工程、ステップA3は参照領域ヒストグラムと候補領域ヒストグラムを用いてヒストグラムマッチングを行いヒストグラムインターセクションを算出し、参照拡張領域ヒストグラムと候補拡張領域ヒストグラムを用いてヒストグラムマッチングを行い拡張ヒストグラムインターセクションを算出するヒストグラムマッチング工程、ステップA4は算出されたヒストグラムインターセクションと拡張ヒストグラムインターセクションを統合して、統合ヒストグラムインターセクションが最大となる候補領域を処理画像中の対象動物体位置として検出する物体位置検出工程である。
【0032】
まず、参照ヒストグラム作成部20による参照ヒストグラム作成工程では、参照画像データ中の追跡対象とする動物体に該当する参照領域ついて参照ヒストグラムを作成する(ステップA1)。小さな対象動物体を追跡する技術が用いられるアプリケーションの主なものの一つとして、ドラマ中の俳優の顔や、監視カメラの侵入者の顔といった、映像中の人物顔を追跡するという目的が挙げられる。なお、参照領域は、例えば処理対象とする動画像中の例えば先頭フレームを参照画像として表示装置14に表示させ、ユーザが入力装置12を用いたマニュアル操作によって画像中に矩形領域や楕円領域を設定してもよいし、また、背景差分法やフレーム間差分法といった画像処理を用いて参照物体領域を自動生成しても良い。
【0033】
例えば、図3に示すような映像(動画像)中の女性の顔を追跡する場合を例にして説明する。図3では、矩形枠によって参照領域として設定された領域を示している。人物顔の追跡における特徴として、図4に示すような、人物顔の下部近傍の領域(服の襟や胸の部分)についても安定した色情報を観測できる場合が多い点に着目する。そこで、第1実施形態では、参照ヒストグラム作成工程において、図5のように参照領域である人物顔領域の下部に一定の体領域(参照拡張領域)を設定する。図5に示す参照拡張領域は、参照領域に対する面積比が予め決められた値となるように設定されているものとする。また、参照拡張領域は、参照領域と隣接した位置に設定されている。
【0034】
なお、図5に示す画像の例では、参照領域として人物顔領域、参照拡張領域として人物顔の下部近傍の領域を用いたが、動画像中の追跡対象とする動物体に応じた参照拡張領域が設定されるものとする。例えば、動画像中の車のナンバーや、荷物のタグ、人物の名札といったような物体を参照領域とする場合も、同様に、個々の動物体に応じた位置に参照拡張領域を設定することができる。この場合、参照拡張領域は、参照領域の近傍にあれば良く必ずしも隣接している必要はない。また、参照拡張領域は、図5に示すように、参照領域に対して必ずしも下部に設ける必要がなく、処理対象とする動画像に応じて決められた位置に設定することができる。
【0035】
参照ヒストグラム作成部20は、参照画像から参照画像と参照拡張領域を設定すると、図6に示すように、参照領域に該当する動物体画像を追跡するために、それぞれに対して、領域内の色情報をもとにして色ヒストグラムを作成する。ここで、参照領域の色情報をもとにした色ヒストグラムを参照拡張領域ヒストグラム(図6(b)、参照拡張領域の色情報をもとにした色ヒストグラムを参照拡張領域ヒストグラム(図6(c))とする。
【0036】
なお、図6(b)(c)に示すヒストグラムは、説明を簡単にするために単純なヒストグラムとして表しているが、例えば参照領域では、肌、髪、目、唇などの他、参照領域に含まれる背景(空の部分など)についての色情報をもとにヒストグラムが作成される。同様にして、参照拡張領域では、肌(首の部分)、服装などの他、背景についての色情報をもとにヒストグラムが作成される。
【0037】
一方、候補ヒストグラム作成部22による候補ヒストグラム作成工程では、処理画像中から参照画像に対応する追跡対象とする動物体を含む領域、すなわち候補領域を例えば参照画像と同じ位置、あるいはその周辺に設定する。
【0038】
候補ヒストグラム作成部22は、参照ヒストグラム作成部20と同様にして、処理画像中の追跡対象物体位置の候補領域についての候補ヒストグラムを作成する(ステップA2)。すなわち、候補ヒストグラム作成部22は、候補領域に対して候補拡張領域を設定し、候補領域と候補拡張領域のそれぞれの色情報をもとに色ヒストグラムを作成する。候補拡張領域は、参照領域に対して参照拡張領域を設定した場合と同様の、候補領域に対する位置と面積比によって設定される。
【0039】
図7には、処理画像中に設定された候補領域(矩形枠によって表す)と候補拡張領域(破線矩形枠によって表す)を示している。なお、図7に示す画像は、人物が日陰に入ったために画像の明度が変化した例を示している。候補ヒストグラム作成部22は、図8に示すように、候補領域内の色情報をもとにして候補領域ヒストグラムを作成し(図8(b))、候補拡張領域内の色情報をもとにして候補拡張領域ヒストグラムを作成する(図8(c))。
【0040】
なお、参照ヒストグラム作成部20により作成された参照領域ヒストグラムと参照拡張領域ヒストグラム、候補ヒストグラム作成部22により作成された候補領域ヒストグラムと候補拡張領域ヒストグラムは、従来技術で説明したように、ヒストグラム作成過程に正規化されるものとする。
【0041】
次に、ヒストグラムマッチング部24は、ヒストグラムマッチング工程において、参照領域ヒストグラムと候補領域ヒストグラムを用いてヒストグラムマッチングを行いヒストグラムインターセクションを算出し(第1のヒストグラムマッチング工程)、また参照拡張領域ヒストグラムと候補拡張領域ヒストグラムを用いてヒストグラムマッチングを行い、拡張ヒストグラムインターセクションを算出する(第2のヒストグラムマッチング工程)。図9には、拡張ヒストグラムインターセクションとヒストグラムインターセクションの算出、及び統合ヒストグラムインターセクションの算出までの処理の流れを概念的に表している。
【0042】
すなわち、参照領域ヒストグラムを以下に示す(6)とし、候補領域ヒストグラムを以下に示す(7)とすると、これらのヒストグラムインターセクション(マッチングの信頼度)は、以下の式(8)のようになる(図9(d)(f))。
【0043】
【数4】
【0044】
また、参照拡張領域ヒストグラムを以下に示す(9)とし、候補拡張領域ヒストグラムを以下に示す(10)とすると、これらの拡張ヒストグラムインターセクション(マッチングの信頼度)は、以下の式(11)となる(図9(c)(e))。
【0045】
【数5】
【0046】
最後に、物体位置検出部25は、物体位置検出工程において、ヒストグラムマッチング部24により算出されたヒストグラムインターセクションと拡張ヒストグラムインターセクションを統合して統合ヒストグラムインターセクションを算出し、探索範囲内での候補領域において、総合ヒストグラムインターセクションが最大となる候補領域を処理画像中の対象動物体位置として検出する(ステップA4)。
【0047】
例えば、統合ヒストグラムインターセクションは、ヒストグラムインターセクションが算出された領域と、拡張ヒストグラムインターセクションが算出された拡張領域との面積比で、ヒストグラムインターセクションと拡張ヒストグラムインターセクションを加算した値として算出される。
【0048】
例えば、参照領域と参照拡張領域の面積比を10:3として設定されるものとすると、統合ヒストグラムインターセクションは以下の式(12)として算出される(図9(g))。
【0049】
【数6】
【0050】
追跡結果出力部26は、物体位置検出部25により検出された対象物体位置を表す例えば矩形枠を付して、動画像を表示装置14において表示させる(ステップA5)。
【0051】
図10〜図13には、対象動物体の追跡例を示している。
図10及び図11は、背景領域と対象動物体領域の色成分が似ている例を示している。図10に示す参照画像中に設定された参照領域に対して、図11に示す処理画像中には背景の紅葉した樹木の部分が参照領域の色成分に類似している。このため、参照領域に対して拡張領域を利用しないで動物体画像の追跡をした場合には、図11中の破線矩形枠に示すように、樹木の部分似せてされた候補領域が物体位置として検出されてしまう。これに対して、前述したように候補拡張領域を用いたヒストグラムマッチングを行った場合、樹木の部分に設定された候補領域に対する候補拡張領域には、参照領域に対する参照拡張領域における服の色成分が存在しない。従って、統合ヒストグラムインターセクションの値は、処理画像中の人物顔領域に対して設定された候補領域とその候補拡張領域から算出された方が高くなる。つまり、図11中の矩形枠に示す人物顔領域の候補領域が確実に追跡されることになる。
【0052】
図12及び図13には、同じような色成分を持った動物体が映像中に複数含まれている例を示している。図12に示す参照画像には多数の人物画像が含まれているために、図13に示す処理画像中には参照画像中で設定された参照領域と同じ色成分を持つ候補領域が多数存在することになる。これに対して、候補拡張領域を用いたヒストグラムマッチングを行った場合、各人物の服の色がそれぞれ異なる場合が多いために、統合ヒストグラムインターセクションの値は、処理画像中の参照領域が設定された人物に対応する候補領域とその候補拡張領域から算出された候補領域が最も高くなり、図13中の矩形枠に示す人物顔領域の候補領域が確実に追跡されることになる。
【0053】
このようにして、第1実施形態では、追跡領域(参照領域、候補領域)、及び追跡領域を拡張した拡張領域(参照拡張領域、候補拡張領域)の色ヒストグラム情報を用い、また、それぞれの領域の色情報の位置関係についても考慮しているので限定的なテキスチャ情報も利用している。これによって、対象映像の背景が追跡領域と似た色成分を持つ場合でも、拡張領域の色成分が背景の色成分と異なっていれば、正しく追跡を行うことができる。また、映像中に追跡領域と似た色情報を持つ複数の領域が存在する場合でも、対象追跡領域の拡張領域によって、追跡領域と似た色情報を持つ他の領域の拡張領域との色ヒストグラムの差が生じている場合は、正しく追跡を行うことができる。また、テキスチャ情報として、例えば、上部に顔の色、下部に服の色といった大まかな情報しか用いていないため、人物顔の見かけ(表情や顔向き等)の変化にロバストである、すなわち影響を受けにくいという色ヒストグラムの特徴を保持している。
【0054】
仮に、単純に、追跡領域を拡大した領域(追跡領域+拡張領域)で色ヒストグラムを作成し、テキスチャ情報を用いない追跡を行うと、背景が拡張領域に似た色成分を持つ場合や、追跡領域と拡張領域が似た色成分を持つ場合には、追跡を失敗する可能性が高くなる。
【0055】
以上のように、動画像の色ヒストグラム情報とテキスチャ情報を併用して対象動物体の追跡を行うことによって、画像間での変化をAffine変換で近似できないような小さな対象動物体であり、かつ、背景領域と対象動物体領域の色成分が似ている場合や、同じような色成分を持った動物体が映像中に複数含まれる場合にも、精度良く動画像中から追跡することができる。
【0056】
(第2実施形態)
図14は、本発明の第2実施形態の画像処理方法の処理の流れを示すフローチャートである。
図14において、ステップB11は参照画像の色空間をHSV色空間に変換する参照色空間変換工程、ステップB12は色空間変換されたHue色相成分を用いて参照領域ヒストグラムと参照拡張領域ヒストグラムを作成する参照色相ヒストグラム作成工程、ステップB21は処理画像の色空間をHSV色空間に変換する候補色空間変換工程、ステップB22は色空間変換されたHue色相成分を用いて候補領域ヒストグラムと候補拡張領域ヒストグラムを作成する候補色相ヒストグラム作成工程である。
【0057】
なお、ステップB3のヒストグラムマッチング工程は、第1実施形態におけるヒストグラムマッチング工程(ステップA3)において色ヒストグラムを対象としていたのに対して、色相ヒストグラムを対象とする点が異なるだけで他は同様の処理を実行するので詳細な説明を省略する。また、ステップB4,B5についても、第1実施形態におけるステップA4,A5と同様の処理を実行するものとして詳細な説明を省略する。
【0058】
一般に、色情報をHSV色空間に変換したHSV表色系のH(Hue:色相)成分は、対象動物体が日向や日影に入るという明度の変動に不動である。そこで、参照ヒストグラム作成部20は、参照色空間変換工程において、参照画像の色空間をHSV色空間に変換する(ステップB11)。続いて、参照色相ヒストグラム作成工程において、色空間変換されたHue色相成分を用いて参照領域ヒストグラムと参照拡張領域ヒストグラムを作成する(ステップB12)。例えば、RGB色空間(24ビット)で与えられた参照画像を、HSV色空間に変換し、H成分(7ビット)の色ヒストグラムを作成する。なお、色空間をHSV色空間に変換する方法については、既存の算出方法を用いることができる。
【0059】
また、同様に、候補ヒストグラム作成部22は、候補色空間変換工程において、処理画像の色空間をHSV色空間に変換し(ステップB21)、続いて、候補色相ヒストグラム作成工程において、色空間変換されたHue色相成分を用いて候補領域ヒストグラムと候補拡張領域ヒストグラムを作成する(ステップB22)。
【0060】
第1実施形態において用いた色ヒストグラムは、参照画像中では日向にいた人物が対象画像中では日陰に入ることで、例えば、対象動物体に該当する候補領域であっても、この候補領域の色ヒストグラムは参照領域の色ヒストグラムから若干変動する。これに対し、第2実施形態における色相ヒストグラムは、明度の変動に対して不動であるので、例えば対象動物体に該当する候補領域の色相ヒストグラムであれば参照領域の色相ヒストグラムからの変動が少ない。
【0061】
これら作成された参照領域ヒストグラム、候補領域ヒストグラム、参照拡張領域ヒストグラム、候補拡張領域ヒストグラムを、ヒストグラムマッチング部24は、第1実施形態で説明したように、ヒストグラムマッチング工程においてヒストグラムマッチングを行う。そして、物体位置検出部25は、物体位置検出工程によって対象動物体の位置を検出する。
【0062】
図15及び図16には、環境変動(対象動物体が日影に入る)によって対象動物体領域の色成分が変化した例を示している。図15に示す人物が日向にいる時の参照領域(図中、矩形枠で示す)に対して、色ヒストグラムだけをもとに動物体領域を探索した場合には、図16中に破線矩形枠で示すように探索に失敗するおそれがあるが、追跡領域と拡張領域のそれぞれについての色相ヒストグラムを用いてヒストグラムマッチングをすることで、図16中に矩形枠で示す動物体画像領域が確実に検出される。
【0063】
以上のように、色空間を変換した色相ヒストグラム情報を用いて対象動物体の追跡を行うことによって、画像間での変化をAffine変換で近似できないような小さな対象動物体であり、環境変動によって対象動物体領域の色成分が変化した場合にも、精度良く動画像中から追跡することが可能になる。
【0064】
(第3実施形態)
図17は、本発明の第3実施形態の画像処理方法の処理の流れを示すフローチャートである。
図17において、ステップC21は参照領域ヒストグラムを作成した参照領域のアスペクト比と同じアスペクト比の候補領域を処理画像に設定するアスペクト比固定候補領域設定工程、ステップC22は処理画像内の候補領域から候補領域ヒストグラムと候補拡張領域ヒストグラムを作成するアスペクト比固定候補ヒストグラム作成工程である。
【0065】
なお、ステップC1,C3,C4,C5は、第1実施形態におけるステップA1,A3,A4,A5と同様の処理を実行するものとして詳細な説明を省略する。
【0066】
候補ヒストグラム作成部22は、アスペクト比固定候補領域設定工程において、参照ヒストグラムを作成した参照領域のアスペクト比を保持して、物体位置を探索する候補領域を処理画像内に設定する(ステップC21)。アスペクト比固定候補ヒストグラム作成工程では、アスペクト比固定候補領域設定工程によって処理画像内に設定された候補領域の色ヒストグラムである候補領域ヒストグラムと、候補領域を拡張した候補拡張領域の色ヒストグラムである候補拡張領域ヒストグラムを作成する(ステップC22)。
【0067】
例えば、人物顔領域など探索対象(動物体)の大きさが大幅に変わらない動画像を処理対象とする場合には、参照領域のアスペクト比と同じアスペクト比の候補領域を処理画像に設定することで、探索対象とする動物体領域に対して候補領域が設定されやすくなる。
【0068】
これら作成された候補領域ヒストグラム、候補拡張領域ヒストグラムを、ヒストグラムマッチング部24は、ヒストグラムマッチング工程において、第1実施形態で説明したように、参照領域ヒストグラム、参照拡張領域ヒストグラムとそれぞれヒストグラムマッチングを行う(ステップC3)。そして、物体位置検出部25は、物体位置検出工程において対象動物体の位置を検出する(ステップC4)。ここでは、対象動物体領域が候補領域として設定され易くなっているので、探索精度が向上されている。
【0069】
以上のように、色空間を変換した色ヒストグラム情報を用いて対象動物体の追跡を行うことによって、画像間での変化をAffine変換で近似できないような小さな対象動物体であっても、精度良く動画像中から追跡することが可能になる。
【0070】
なお、前述した各実施形態では、参照拡張領域と候補拡張領域は、それぞれ参照領域、候補領域と隣接する位置に設けられるものとしているが、参照領域、候補領域から離れた位置に設定されるようにしても良い。この場合、参照拡張領域と候補拡張領域は、参照領域と候補領域に対して相対的な決められた位置に設定される。
【0071】
また、参照拡張領域と候補拡張領域は、それぞれ参照領域、候補領域に対して1つが設定されているが、複数の参照拡張領域と候補拡張領域が設定されるようにしても良い。この場合、物体位置検出工程では、ヒストグラムインターセクションと、複数の拡張ヒストグラムインターセクションとを統合して、この統合したヒストグラムインターセクションをもとに対象動物体位置の候補領域を検出する。また、複数の拡張ヒストグラムインターセクションに対しては、個々に異なる重み付けをして統合するようにしても良い。
【0072】
また、参照拡張領域と候補拡張領域は、それぞれ参照領域、候補領域に対する面積比が固定であるものとして説明しているが、動画像中の対象動物体の追跡の経過に伴って動的に面積比が変更されるようにしても良い。この場合、例えば対象動物体の追跡の経過に伴って、対象動物体の位置として検出された候補拡張領域について色分散を求め、この色分散が大きい場合、すなわち候補拡張領域の色変化が大きい場合には信頼性が低いものとして候補拡張領域の候補領域に対する面積比を小さく、色分散が小さい場合には面積比を大きくしていく。なお、面積比は、予め決められた範囲内で変更されるようにしても良い。こうして、候補領域と候補拡張領域との面積比が動的に変更される場合には、物体位置検出工程において、変更後の面積比に応じて統合ヒストグラムインターセクションを算出する。
【0073】
また、前述した説明では、第1乃至第3実施形態についてそれぞれ個別に説明しているが、複数の実施形態において説明した画像処理方法を組み合わせて実施することも可能である。例えば、第1実施形態と第2実施形態とを組み合わせることにより、色ヒストグラムと色相ヒストグラムを用いたヒストグラムマッチングをそれぞれの候補領域に対して実行し、その中で統合ヒストグラムインターセクションが最大となる候補領域を対象動物体位置として検出したり、あるいは色ヒストグラムと色相ヒストグラムのそれぞれのヒストグラムマッチングにより算出された統合ヒストグラムインターセクションを、さらに何れかに重み付けするなどして統合し、この最終統合されたヒストグラムインターセクションが最大となる候補領域を対象動物体位置として検出したりすることもできる。また、第3実施形態は、第1実施形態あるいは第2実施形態に対して個別に適用してもよいし、前述したように第1実施形態と第2実施形態の組み合わせに対して適用しても良い。
【0074】
また、上述した実施形態において記載した手法は、コンピュータに実行させることのできる画像処理プログラムとして、例えば磁気ディスク(フレキシブルディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリなどの記録媒体に書き込んで各種装置に提供することができる。また、通信媒体により伝送して各種装置に提供することも可能である。本装置を実現するコンピュータは、記録媒体に記録された画像処理プログラムを読み込み、または通信媒体を介してプログラムを受信し、このプログラムによって動作が制御されることにより、上述した処理を実行する。
【0075】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【0076】
【発明の効果】
以上説明したように本発明によれば、画像間での変化をAffine変換で近似できないような小さな対象動物体であり、かつ、背景領域と対象動物体領域の色成分が似ている場合や、同じような色成分を持った動物体が映像中に複数含まれる場合、また、環境変動によって対象動物体領域の色成分が変化した場合にも、精度良く動画像中から追跡することができる。
【図面の簡単な説明】
【図1】 本発明の実施の形態に係わる画像処理装置の機能構成を示すブロック図。
【図2】 第1実施形態の画像処理方法の処理の流れを示すフローチャート。
【図3】 第1実施形態における参照領域の設定を示す図。
【図4】 第1実施形態における参照領域に対する参照拡張領域の設定を示す図。
【図5】 第1実施形態における参照領域と参照拡張領域を示す図。
【図6】 第1実施形態における参照ヒストグラム作成工程の流れを示す図。
【図7】 第1実施形態における候補領域と候補拡張領域を示す図。
【図8】 第1実施形態における候補ヒストグラム作成工程の流れを示す図。
【図9】 第1実施形態における統合ヒストグラムインターセクションの算出方法を示す図。
【図10】 背景領域と対象動物体領域の色成分が似ている場合の動物体の追跡例(参照画像)を示す図。
【図11】 背景領域と対象動物体領域の色成分が似ている場合の動物体の追跡例(処理画像)を示す図。
【図12】 同じような色成分を持った動物体が映像中に複数含まれている場合の追跡例(参照画像)を示す図。
【図13】 同じような色成分を持った動物体が映像中に複数含まれている場合の追跡例(処理画像)を示す図。
【図14】 第2実施形態の画像処理方法の処理の流れを示すフローチャート。
【図15】 環境変動によって対象動物体領域の色成分が変化した場合の追跡例(参照画像)を示す図。
【図16】 環境変動によって対象動物体領域の色成分が変化した場合の追跡例(参照画像)を示す図。
【図17】 第3実施形態の画像処理方法の処理の流れを示すフローチャート。
【図18】 Affine変換推定を用いた物体追跡手法を示す図。
【図19】 色ヒストグラムを用いた物体追跡手法の処理対象とする参照画像の一例を示す図。
【図20】 RGB色空間を表す図。
【符号の説明】
10…画像処理部、12…入力装置、14…表示装置、16…記憶装置、16a…参照画像データ、16b…処理画像データ、20…参照ヒストグラム作成部、22…候補ヒストグラム作成部、24…ヒストグラムマッチング部、25…物体位置検出部、26…追跡結果出力部。
Claims (7)
- 動画像中の対象動物体を追跡する画像処理方法において、
前記動画像中の参照画像をもとに、前記対象動物体に該当する参照領域についての参照領域ヒストグラムと、前記参照領域の近傍にある参照拡張領域についての参照拡張領域ヒストグラムを作成する参照ヒストグラム作成工程と、
前記動画像中の処理画像をもとに、前記対象動物体を探索するための候補領域についての候補領域ヒストグラムと、前記候補領域の近傍にある候補拡張領域についての候補拡張領域ヒストグラムを作成する候補ヒストグラム作成工程と、
前記参照領域ヒストグラムと前記候補領域ヒストグラムを用いたヒストグラムマッチングにより、ヒストグラムインターセクションを算出する第1のヒストグラムマッチング工程と、
前記参照拡張領域ヒストグラムと前記候補拡張領域ヒストグラムとのヒストグラムマッチングにより拡張ヒストグラムインターセクションを算出する第2のヒストグラムマッチング工程と、
前記ヒストグラムインターセクションと前記拡張ヒストグラムインターセクションを統合して、統合ヒストグラムインターセクションが最大となる候補領域を処理画像中の対象動物体位置として検出する物体位置検出工程と
を備えることを特徴とする画像処理方法。 - 前記候補ヒストグラム作成工程は、
前記参照領域ヒストグラムが作成された参照領域のアスペクト比と同じアスペクト比の候補領域を前記処理画像に設定するアスペクト比固定候補領域設定工程と、
前記アスペクト比固定候補領域設定工程により設定された候補領域と同候補領域の近傍の候補拡張領域から候補領域ヒストグラムと候補拡張領域ヒストグラムを作成するアスペクト比固定候補ヒストグラム作成工程と
を備えることを特徴とする請求項1記載の画像処理方法。 - 前記物体位置検出工程は、前記候補領域と前記候補拡張領域との面積比に応じて、前記ヒストグラムインターセクションと前記拡張インターセクションとを統合することを特徴とする請求項1記載の画像処理方法。
- 前記参照拡張領域は、前記参照領域と隣接する位置に設けられ、
前記候補拡張領域は、候補領域と隣接する位置に設けられることを特徴とする請求項1記載の画像処理方法。 - 動画像中の対象動物体を追跡する画像処理装置において、
前記動画像中の参照画像をもとに、前記対象動物体に該当する参照領域についての参照領域ヒストグラムと、前記参照領域の近傍にある参照拡張領域についての参照拡張領域ヒストグラムを作成する参照ヒストグラム作成手段と、
前記動画像中の処理画像をもとに、前記対象動物体を探索するための候補領域についての候補領域ヒストグラムと、前記候補領域の近傍にある候補拡張領域についての候補拡張領域ヒストグラムを作成する候補ヒストグラム作成手段と、
前記参照領域ヒストグラムと前記候補領域ヒストグラムとのヒストグラムマッチングにより、ヒストグラムインターセクションを算出する第1のヒストグラムマッチング手段と、
前記参照拡張領域ヒストグラムと前記候補拡張領域ヒストグラムとのヒストグラムマッチングにより拡張ヒストグラムインターセクションを算出する第2のヒストグラムマッチング手段と、
前記ヒストグラムインターセクションと前記拡張ヒストグラムインターセクションを統合して、統合ヒストグラムインターセクションが最大となる候補領域を処理画像中の対象動物体位置として検出する物体位置検出手段と
を具備したことを特徴とする画像処理装置。 - プロセッサと、
前記プロセッサによりアクセス可能なメモリと、
前記メモリに収容された画像処理プログラムとを備え、
前記画像処理プログラムが、
前記動画像中の参照画像をもとに、前記対象動物体に該当する参照領域についての参照領域ヒストグラムと、前記参照領域の近傍にある参照拡張領域についての参照拡張領域ヒストグラムを作成する参照ヒストグラム作成機能と、
前記動画像中の処理画像をもとに、前記対象動物体を探索するための候補領域についての候補領域ヒストグラムと、前記候補領域の近傍にある候補拡張領域についての候補拡張領域ヒストグラムを作成する候補ヒストグラム作成機能と、
前記参照領域ヒストグラムと前記候補領域ヒストグラムとのヒストグラムマッチングにより、ヒストグラムインターセクションを算出する第1のヒストグラムマッチング機能と、
前記参照拡張領域ヒストグラムと前記候補拡張領域ヒストグラムとのヒストグラムマッチングにより拡張ヒストグラムインターセクションを算出する第2のヒストグラムマッチング機能と、
前記ヒストグラムインターセクションと前記拡張ヒストグラムインターセクションを統合して、統合ヒストグラムインターセクションが最大となる候補領域を処理画像中の対象動物体位置として検出する物体位置検出機能とを有することを特徴とする画像処理装置。 - 動画像中の対象動物体を追跡する画像処理プログラムであって、
コンピュータに、
前記動画像中の参照画像をもとに、前記対象動物体に該当する参照領域についての参照領域ヒストグラムと、前記参照領域の近傍にある参照拡張領域についての参照拡張領域ヒストグラムを作成する参照ヒストグラム作成工程と、
前記動画像中の処理画像をもとに、前記対象動物体を探索するための候補領域についての候補領域ヒストグラムと、前記候補領域の近傍にある候補拡張領域についての候補拡張領域ヒストグラムを作成する候補ヒストグラム作成工程と、
前記参照領域ヒストグラムと前記候補領域ヒストグラムとのヒストグラムマッチングにより、ヒストグラムインターセクションを算出する第1のヒストグラムマッチング工程と、
前記参照拡張領域ヒストグラムと前記候補拡張領域ヒストグラムとのヒストグラムマッチングにより拡張ヒストグラムインターセクションを算出する第2のヒストグラムマッチング工程と、
前記ヒストグラムインターセクションと前記拡張ヒストグラムインターセクションを統合して、統合ヒストグラムインターセクションが最大となる候補領域を処理画像中の対象動物体位置として検出する物体位置検出工程とを実行させることを特徴とする画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003142490A JP3836814B2 (ja) | 2003-05-20 | 2003-05-20 | 画像処理方法、画像処理装置、画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003142490A JP3836814B2 (ja) | 2003-05-20 | 2003-05-20 | 画像処理方法、画像処理装置、画像処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004348273A JP2004348273A (ja) | 2004-12-09 |
JP3836814B2 true JP3836814B2 (ja) | 2006-10-25 |
Family
ID=33530562
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003142490A Expired - Fee Related JP3836814B2 (ja) | 2003-05-20 | 2003-05-20 | 画像処理方法、画像処理装置、画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3836814B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103714553A (zh) * | 2012-10-09 | 2014-04-09 | 杭州海康威视数字技术股份有限公司 | 一种多目标跟踪方法和装置 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4625949B2 (ja) * | 2005-02-18 | 2011-02-02 | 国立大学法人九州工業大学 | 物体追跡方法および物体追跡装置ならびにプログラム |
JP2006323437A (ja) * | 2005-05-17 | 2006-11-30 | Sony Corp | 物体追跡方法、物体追跡方法のプログラム、物体追跡方法のプログラムを記録した記録媒体及び物体追跡装置 |
JP4688147B2 (ja) * | 2005-06-15 | 2011-05-25 | Kddi株式会社 | 動画像処理装置 |
JP4830650B2 (ja) * | 2005-07-05 | 2011-12-07 | オムロン株式会社 | 追跡装置 |
JP2007096480A (ja) * | 2005-09-27 | 2007-04-12 | Konica Minolta Holdings Inc | 対象物追跡装置及び対象物追跡方法 |
JP4736985B2 (ja) * | 2006-07-14 | 2011-07-27 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
WO2008026434A1 (fr) * | 2006-08-30 | 2008-03-06 | Nikon Corporation | Appareil et procédé d'alignement d'image, ainsi que caméra |
JP5339065B2 (ja) * | 2009-03-17 | 2013-11-13 | 大日本印刷株式会社 | 対象物追跡装置 |
JP5279653B2 (ja) * | 2009-08-06 | 2013-09-04 | キヤノン株式会社 | 画像追尾装置、画像追尾方法、及びコンピュータプログラム |
KR101652261B1 (ko) | 2009-12-24 | 2016-08-30 | 삼성전자주식회사 | 카메라를 이용한 오브젝트 검출 방법 |
EP2395452A1 (en) * | 2010-06-11 | 2011-12-14 | Toyota Motor Europe NV/SA | Detection of objects in an image using self similarities |
JP5800559B2 (ja) * | 2011-04-26 | 2015-10-28 | キヤノン株式会社 | 被写体追尾装置、撮像装置、被写体追尾方法及びプログラム |
JP5864964B2 (ja) * | 2011-09-05 | 2016-02-17 | 株式会社日立製作所 | サービス提供システム |
JP6555940B2 (ja) | 2015-06-12 | 2019-08-07 | キヤノン株式会社 | 被写体追跡装置、撮像装置、及び被写体追跡装置の制御方法 |
CN115393402B (zh) * | 2022-08-24 | 2023-04-18 | 北京医智影科技有限公司 | 图像配准网络模型的训练方法、图像配准方法及设备 |
-
2003
- 2003-05-20 JP JP2003142490A patent/JP3836814B2/ja not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103714553A (zh) * | 2012-10-09 | 2014-04-09 | 杭州海康威视数字技术股份有限公司 | 一种多目标跟踪方法和装置 |
CN103714553B (zh) * | 2012-10-09 | 2016-12-21 | 杭州海康威视数字技术股份有限公司 | 一种多目标跟踪方法和装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2004348273A (ja) | 2004-12-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3836814B2 (ja) | 画像処理方法、画像処理装置、画像処理プログラム | |
Jiang et al. | Seeing invisible poses: Estimating 3d body pose from egocentric video | |
JP7130368B2 (ja) | 情報処理装置および情報処理システム | |
JP4782901B2 (ja) | 移動体検出装置および移動体検出方法 | |
Masoud et al. | A method for human action recognition | |
JP4784709B1 (ja) | 対象物追跡装置、対象物追跡方法、および制御プログラム | |
US8300892B2 (en) | Moving object detection apparatus and moving object detection method | |
US9727974B2 (en) | System for video super resolution using semantic components | |
KR100415266B1 (ko) | 물체영역정보 기술방법과 물체영역정보 생성장치 및 기록매체 | |
JP4181473B2 (ja) | 映像オブジェクト軌跡合成装置、その方法及びそのプログラム | |
US20190089923A1 (en) | Video processing apparatus for displaying a plurality of video images in superimposed manner and method thereof | |
US8363902B2 (en) | Moving object detection method and moving object detection apparatus | |
JP6139447B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
US20140044359A1 (en) | Landmark Detection in Digital Images | |
US10121251B2 (en) | Method for controlling tracking using a color model, corresponding apparatus and non-transitory program storage device | |
Bakalos et al. | Dance posture/steps classification using 3D joints from the kinect sensors | |
Xie et al. | Rcvs: A unified registration and fusion framework for video streams | |
WO2020178957A1 (ja) | 画像処理装置、画像処理方法及びプログラム記録媒体 | |
JP2004252748A (ja) | 画像処理方法、画像処理装置 | |
Barhoumi | Detection of highly articulated moving objects by using co-segmentation with application to athletic video sequences | |
Hammer et al. | Motion segmentation and appearance change detection based 2D hand tracking | |
JP7560015B2 (ja) | 物体認識装置、物体認識方法、及びプログラム | |
Kang et al. | MIRROR: Towards Generalizable On-Device Video Virtual Try-On for Mobile Shopping | |
JP7521704B2 (ja) | 姿勢推定装置、学習モデル生成装置、姿勢推定方法、学習モデル生成方法及び、プログラム | |
JP4750758B2 (ja) | 注目領域抽出方法、注目領域抽出装置、コンピュータプログラム、及び、記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060606 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060703 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060725 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060727 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090804 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100804 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100804 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110804 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110804 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120804 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120804 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130804 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |