JP5786879B2 - Subject tracking device, subject tracking method and program - Google Patents
Subject tracking device, subject tracking method and program Download PDFInfo
- Publication number
- JP5786879B2 JP5786879B2 JP2013031649A JP2013031649A JP5786879B2 JP 5786879 B2 JP5786879 B2 JP 5786879B2 JP 2013031649 A JP2013031649 A JP 2013031649A JP 2013031649 A JP2013031649 A JP 2013031649A JP 5786879 B2 JP5786879 B2 JP 5786879B2
- Authority
- JP
- Japan
- Prior art keywords
- tracking
- specific part
- frame image
- unit
- particles
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、被写体追跡装置、被写体追跡方法及びプログラムに関する。 The present invention relates to a subject tracking device, a subject tracking method, and a program.
従来、被写体の所定位置に取り付けられたマーカーを撮像して、当該マーカーを追跡することで被写体の動作を取得(キャプチャ)するモーションキャプチャが知られている(例えば、特許文献1参照)。
このモーションキャプチャは、近年盛んに実用化がなされており、例えば、コンピュータグラフィック(CG)を用いた映像作成にて、モーションキャプチャにより動作を取得して、その動作をCGに与えることにより動きのある映像を実現している。また、例えば、スポーツ分野では、モーションキャプチャにより取得した動作をコンピュータに取り込んで、その動作の解析に適用している。また、モーションキャプチャにより取得した動作を機器の操作とする活用もなされている。
2. Description of the Related Art Conventionally, motion capture is known in which a marker attached to a predetermined position of a subject is imaged and the motion of the subject is acquired (captured) by tracking the marker (see, for example, Patent Document 1).
This motion capture has been actively put into practical use in recent years. For example, in video creation using computer graphics (CG), a motion is acquired by motion capture, and the motion is given to the CG. Realizes video. For example, in the sports field, an action acquired by motion capture is taken into a computer and applied to an analysis of the action. In addition, the operation acquired by the motion capture is also used as the operation of the device.
ところで、撮像により生成された画像データ内でのマーカーの追跡は、テンプレートマッチングを用いて行われるが、テンプレートマッチングの結果からマーカー位置を特定するだけでは、外乱に強いシステムを構築することはできない。例えば、良好なテンプレートマッチングの結果が複数存在した場合、どれを選択するのが最良かの判断は困難である。 By the way, tracking of a marker in image data generated by imaging is performed by using template matching. However, a system that is resistant to disturbance cannot be constructed only by specifying a marker position from the result of template matching. For example, when there are a plurality of good template matching results, it is difficult to determine which is best to select.
そこで、本願発明の課題は、高精度で且つ安定性に優れた追跡処理を実現することができる被写体追跡装置、被写体追跡方法及びプログラムを提供することである。 Accordingly, an object of the present invention is to provide a subject tracking device, a subject tracking method, and a program capable of realizing tracking processing with high accuracy and excellent stability.
上記課題を解決するため、本発明に係る被写体追跡装置は、
被写体の動画像を取得する取得手段と、前記取得手段により取得された動画像を構成する複数のフレーム画像の各々にて、被写体の特定部位をパーティクルフィルタを用いた処理により追跡する追跡手段と、前記複数のフレーム画像のうちの何れか一のフレーム画像について、前記特定部位毎に前記追跡手段により生成された複数のパーティクルと前記何れか一のフレーム画像よりも前のフレーム画像における対応する領域との相違度を基準として動的計画法により所定のグラフ上で経路探索を行う探索手段と、前記探索手段による探索結果に基づいて、前記何れか一のフレーム画像における前記特定部位の複数のパーティクルの尤度を修正する修正手段と、前記修正手段による前記複数のフレーム画像のうちの最終フレーム画像よりも前のフレーム画像の各々に係る前記特定部位の前記複数のパーティクルの尤度の修正後に、前記追跡手段による前記最終フレーム画像の前記特定部位の追跡結果に基づいて、前記複数のフレーム画像の各々の前記特定部位の追跡結果を特定する特定手段と、を備えたことを特徴としている。
In order to solve the above problems, an object tracking device according to the present invention provides:
An acquisition means for acquiring a moving image of a subject; and a tracking means for tracking a specific part of the subject by processing using a particle filter in each of a plurality of frame images constituting the moving image acquired by the acquisition means; Regarding any one of the plurality of frame images, a plurality of particles generated by the tracking unit for each specific part and a corresponding region in a frame image before the one frame image, Search means for performing a route search on a predetermined graph by dynamic programming based on the difference between the plurality of particles of the specific part in the one frame image based on a search result by the search means Correction means for correcting likelihood, and a frame preceding the last frame image among the plurality of frame images by the correction means; After the likelihood of the plurality of particles at the specific part related to each of the frame images is corrected, the specification of each of the plurality of frame images is performed based on the tracking result of the specific part of the final frame image by the tracking unit. And a specifying means for specifying the tracking result of the part.
また、本発明に係る被写体追跡方法は、
被写体追跡装置を用いた被写体追跡方法であって、被写体の動画像を取得する取得処理と、前記取得処理により取得された動画像を構成する複数のフレーム画像の各々にて、被写体の特定部位をパーティクルフィルタを用いた処理により追跡する追跡処理と、前記複数のフレーム画像のうちの何れか一のフレーム画像について、前記特定部位毎に前記追跡処理により生成された複数のパーティクルと前記何れか一のフレーム画像よりも前のフレーム画像における対応する領域との相違度を基準として動的計画法により所定のグラフ上で経路探索を行う探索処理と、前記探索処理による探索結果に基づいて、前記何れか一のフレーム画像における前記特定部位の複数のパーティクルの尤度を修正する修正処理と、前記修正処理による前記複数のフレーム画像のうちの最終フレーム画像よりも前のフレーム画像の各々に係る前記特定部位の前記複数のパーティクルの尤度の修正後に、前記追跡処理による前記最終フレーム画像の前記特定部位の追跡結果に基づいて、前記複数のフレーム画像の各々の前記特定部位の追跡結果を特定する特定処理と、を含むことを特徴としている。
The subject tracking method according to the present invention includes:
A subject tracking method using a subject tracking device, wherein a specific part of a subject is obtained in each of an acquisition process for acquiring a moving image of a subject and a plurality of frame images constituting the moving image acquired by the acquisition process. A tracking process to be tracked by a process using a particle filter, and any one of the plurality of frame images, and any one of the plurality of particles generated by the tracking process for each specific part One of the above based on a search process for performing a route search on a predetermined graph by dynamic programming based on the degree of difference from the corresponding region in the frame image before the frame image, and a search result by the search process A correction process for correcting the likelihood of the plurality of particles in the specific part in one frame image; Based on the tracking result of the specific part of the final frame image by the tracking process after correcting the likelihood of the plurality of particles of the specific part of each frame image before the final frame image of the frame image Specific processing for specifying a tracking result of the specific part of each of the plurality of frame images.
また、本発明に係るプログラムは、
被写体追跡装置のコンピュータを、被写体の動画像を取得する取得手段、前記取得手段により取得された動画像を構成する複数のフレーム画像の各々にて、被写体の特定部位をパーティクルフィルタを用いた処理により追跡する追跡手段、前記複数のフレーム画像のうちの何れか一のフレーム画像について、前記特定部位毎に前記追跡手段により生成された複数のパーティクルと前記何れか一のフレーム画像よりも前のフレーム画像における対応する領域との相違度を基準として動的計画法により所定のグラフ上で経路探索を行う探索手段、前記探索手段による探索結果に基づいて、前記何れか一のフレーム画像における前記特定部位の複数のパーティクルの尤度を修正する修正手段、前記修正手段による前記複数のフレーム画像のうちの最終フレーム画像よりも前のフレーム画像の各々に係る前記特定部位の前記複数のパーティクルの尤度の修正後に、前記追跡手段による前記最終フレーム画像の前記特定部位の追跡結果に基づいて、前記複数のフレーム画像の各々の前記特定部位の追跡結果を特定する特定手段、として機能させることを特徴としている。
The program according to the present invention is
The computer of the subject tracking device is configured to acquire a moving image of the subject by processing using a particle filter in each of a plurality of frame images constituting the moving image acquired by the acquiring unit. A tracking unit for tracking, and for any one of the plurality of frame images, a plurality of particles generated by the tracking unit for each specific part and a frame image before the one of the frame images Search means for performing a route search on a predetermined graph by dynamic programming based on the degree of difference from the corresponding region in the above, based on the search result by the search means, the specific part of the frame image Correction means for correcting the likelihood of a plurality of particles, and a maximum of the plurality of frame images by the correction means; After correcting the likelihood of the plurality of particles of the specific part related to each of the frame images before the frame image, the plurality of frames based on the tracking result of the specific part of the final frame image by the tracking unit It is characterized by functioning as a specifying means for specifying the tracking result of the specific part of each image.
本発明によれば、高精度で且つ安定性に優れた追跡処理を実現することができる。 According to the present invention, tracking processing with high accuracy and excellent stability can be realized.
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図1は、本発明を適用した一実施形態の被写体追跡装置100の概略構成を示すブロック図である。
Hereinafter, specific embodiments of the present invention will be described with reference to the drawings. However, the scope of the invention is not limited to the illustrated examples.
FIG. 1 is a block diagram showing a schematic configuration of a
被写体追跡装置100は、例えば、ワークステーションなどのコンピュータにより構成され、図1に示すように、中央制御部1と、メモリ2と、記憶部3と、操作入力部4と、追跡処理部5と、表示部6と、表示制御部7と、外部通信部8とを備えている。
The
中央制御部1は、被写体追跡装置100の各部を制御するものである。具体的には、中央制御部1は、CPU(Central Processing Unit;図示略)を備え、被写体追跡装置100用の各種処理プログラム(図示略)に従って各種の制御動作を行う。
The
メモリ2は、例えば、DRAM(Dynamic Random Access Memory)等により構成され、中央制御部1、追跡処理部5等によって処理されるデータ等を一時記憶する。また、メモリ2は、外部機器200から当該被写体追跡装置100に対して送信されて、外部通信部8により受信された動画像データDを一時記憶する。
The
記憶部3は、例えば、不揮発性メモリ(フラッシュメモリ)等により構成され、中央制御部1の動作に必要な各種プログラムやデータ(図示略)を記憶している。
The storage unit 3 is composed of, for example, a nonvolatile memory (flash memory) or the like, and stores various programs and data (not shown) necessary for the operation of the
操作入力部4は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成されるキーボードやマウス等の操作部(図示略)を備え、これらの操作部の操作に応じて所定の操作信号を中央制御部1に出力する。
The
追跡処理部5は、動画像取得部5aと、テンプレート生成部5bと、追跡部5cと、パーティクル選択部5dと、経路探索部5eと、尤度修正部5fと、追跡結果特定部5gとを具備している。
なお、追跡処理部5の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
The
In addition, although each part of the
動画像取得部5aは、被写体Sの動画像を取得する。
即ち、動画像取得部(第1取得手段)5aは、複数のフレーム画像F、…を含む被写体Sの動画像データDを取得する。具体的には、動画像取得部5aは、メモリ2から外部機器200により生成された被写体Sの動画像データDを取得する。
ここで、動画像データDには、被写体Sが所定の動作(例えば、ゴルフスイング等)をなす複数のフレーム画像F、…が記憶されている。
The moving
That is, the moving image acquisition unit (first acquisition means) 5a acquires moving image data D of the subject S including a plurality of frame images F,. Specifically, the moving
Here, the moving image data D stores a plurality of frame images F,... In which the subject S performs a predetermined operation (for example, a golf swing).
なお、外部機器200としては、例えば、被写体Sの動画像を撮像する撮像装置や、この撮像装置から被写体Sの動画像データDを取得するコンピュータ等が挙げられるが、被写体Sの動画像データDを当該被写体追跡装置100に送信可能なものであれば如何なる構成であっても良く、その詳細な説明は省略する。また、外部機器200は、被写体Sの撮像により生成された動画像データDを構成するフレーム画像Fを逐次送信する構成であっても良いし、被写体Sの撮像終了後に動画像データDをまとめて送信する構成であっても良い。
また、動画像取得部5aは、当該被写体追跡装置100本体に対して着脱自在な記録媒体(図示略)などを介して取得するようにしても良い。
Examples of the
The moving
テンプレート生成部5bは、被写体Sの特定部位PのテンプレートPtを生成する。
具体的には、動画像取得部5aにより取得された動画像データDを構成する複数のフレーム画像F、…のうち、最初のフレーム画像F1(図5(a)参照)内で、ユーザによる操作入力部4の所定操作に基づいて追跡対象となる特定部位(例えば、左腕等)Pに係る初期位置(例えば、左手首、左肘、左肩等の関節位置;図5(a)中、黒丸で表す)が指定されると、テンプレート生成部5bは、当該最初のフレーム画像F1内から特定部位Pの色及び形状(太さ)をテンプレートPtとして生成する。例えば、テンプレート生成部5bは、最初のフレーム画像F1における初期位置から特定部位Pを構成する構成部分(例えば、上腕、前腕等)の色を特定した後、特定された色から前腕、上腕の太さを特定する(図5(b)参照)。
即ち、予め被写体Sに対して、前腕、上腕はできる限り単一色となるようなもの(例えば、細かい模様などは、フィルタ処理にて除去可能)を着衣するように指示しておけば、テンプレート生成部5bは、初期位置として指定された左肩と左肘の間から上腕の色を特定し、左肘と左手首の間から前腕の色を特定することができる。そして、テンプレート生成部5bは、適当な幅の上腕や前腕等の形状を複数用意して比較し、最も一致度が大きいと判定されたものを上腕や前腕等の形状のものを採用する。
The
Specifically, the user's operation in the first frame image F1 (see FIG. 5A) among the plurality of frame images F,... Constituting the moving image data D acquired by the moving
That is, if the subject S is instructed in advance to wear a forearm and upper arm that have as much a single color as possible (for example, fine patterns can be removed by filtering), a template is generated. The
追跡部5cは、動画像データDの複数のフレーム画像F、…の各々にて被写体Sの特定部位Pを追跡する。
即ち、追跡部(追跡手段)5cは、動画像取得部5aにより取得された動画像データDを構成する複数のフレーム画像F、…の各々にて、被写体Sの特定部位Pをパーティクルフィルタを用いた処理により追跡する。
ここで、パーティクルフィルタは、例えば、カルマンフィルタで扱うことのできない非ガウス性雑音が加算された信号の時系列解析にて有用である。また、パーティクルフィルタは、有限個のパーティクルPpを追跡候補として導入することにより対象の確率分布を表現し、それを用いて時系列推定や予測を行うことができるが、公知の技術であるので、ここでは詳細な説明は省略する。
The
That is, the tracking unit (tracking unit) 5c uses a particle filter for the specific part P of the subject S in each of the plurality of frame images F,... Constituting the moving image data D acquired by the moving
Here, the particle filter is useful in time series analysis of a signal to which non-Gaussian noise that cannot be handled by the Kalman filter is added, for example. In addition, the particle filter can express a target probability distribution by introducing a finite number of particles Pp as tracking candidates, and can perform time series estimation and prediction using the target probability distribution. Detailed description is omitted here.
具体的には、追跡部5cは、パーティクル生成部c1と、相違度算出部c2とを具備している。
Specifically, the
パーティクル生成部c1は、動画像データDの複数のフレーム画像F、…のうち、最初のフレーム画像F1内で指定された追跡対象となる被写体Sの特定部位P毎に初期位置(例えば、左手首、左肘、左肩等)の位置座標にランダムノイズを加えて、パーティクルフィルタの枠組みの中で複数(例えば、N個;Nは2以上の自然数)の状態のパーティクルPpを生成する(図5(c)参照)。
ここで、パーティクルPpとは、例えば、左腕、右腕、左脚、右脚、体幹部、頭部等の特定部位Pに係る一の状態を表す。具体的には、パーティクルPpは、例えば、特定部位Pの指定に係る初期位置(例えば、左肩、左肘、左手首等)の位置座標と、特定部位Pを構成する構成部分(例えば、上腕、前腕等)の幅の情報を含む。なお、図5(c)には、左腕のパーティクルPpの一例を模式的に表す。
Among the plurality of frame images F,... Of the moving image data D, the particle generation unit c1 sets the initial position (for example, the left wrist) for each specific part P of the subject S to be tracked specified in the first frame image F1. , Left elbow, left shoulder, etc.), random noise is added to the position coordinates to generate particles Pp in a plurality of states (for example, N; N is a natural number of 2 or more) within the framework of the particle filter (FIG. 5 ( c)).
Here, the particle Pp represents one state related to the specific part P such as the left arm, the right arm, the left leg, the right leg, the trunk, and the head. Specifically, the particle Pp includes, for example, the position coordinates of the initial position (for example, the left shoulder, the left elbow, the left wrist, etc.) related to the designation of the specific part P and the constituent parts (for example, the upper arm, Information on the width of the forearm, etc.). FIG. 5C schematically shows an example of the left arm particle Pp.
相違度算出部c2は、特定部位P毎に、複数のパーティクルPp、…の各々と処理対象となる特定部位PのテンプレートPtとの相違度を算出する。
即ち、相違度算出部c2は、処理対象となる一のフレーム画像Fについて、特定部位P毎にパーティクル生成部c1により生成された複数のパーティクルPp、…と当該特定部位PのテンプレートPtとの相違度DIFFを算出する。具体的には、相違度算出部c2は、例えば、差分二乗和SSD(Sum of Squared Differences)等を用いて相違度DIFFを算出する。
例えば、相違度算出部c2は、左腕についての複数のパーティクルPp、…のうち、何れか一のパーティクルPp(例えば、左腕モデルの状態)から、上腕の状態及び前腕の状態を取り出して、テンプレート生成部5bにより生成されたテンプレートPtと比較して、上腕及び前腕の相違度UD、LDを算出する。そして、相違度算出部c2は、算出された上腕及び前腕の相違度UD、LDに基づいて所定の演算を行って(例えば、相違度UDとLDを加算して)、当該パーティクルPpの相違度DIFFとして算出する。相違度算出部c2は、他のパーティクルPpについても同様の処理を行って、それぞれの相違度DIFFを算出する。
The difference calculation unit c2 calculates, for each specific part P, the degree of difference between each of the plurality of particles Pp,... And the template Pt of the specific part P to be processed.
That is, the difference calculation unit c2 differs between the plurality of particles Pp generated by the particle generation unit c1 for each specific part P and the template Pt of the specific part P for one frame image F to be processed. Calculate the degree DIFF. Specifically, the difference calculation unit c2 calculates the difference DIFF using, for example, a difference square sum SSD (Sum of Squared Differences).
For example, the dissimilarity calculation unit c2 extracts the upper arm state and the forearm state from any one of the plurality of particles Pp for the left arm,... (For example, the state of the left arm model), and generates a template. Compared with the template Pt generated by the
また、追跡部5cは、尤度修正部5fにより尤度が修正された一のフレーム画像Fに係る複数(例えば、N個)のパーティクルPpに基づいて、当該一のフレーム画像Fよりも後のフレーム画像Fの特定部位Pを追跡する。具体的には、処理対象を次のフレーム画像Fに進める際に、パーティクル生成部c1は、特定部位P毎に、尤度が修正された複数のパーティクルPp、…にランダムノイズを付加し、追跡部5cは、これら複数のパーティクルPp、…を用いて次のフレーム画像Fにて特定部位Pを追跡する。
Further, the
パーティクル選択部5dは、特定部位P毎に、複数のパーティクルPp、…の中で所定数のパーティクルPpを選択する。
即ち、パーティクル選択部(選択手段)5dは、処理対象となる一のフレーム画像Fについて、特定部位P毎にパーティクル生成部c1により生成された複数のパーティクルPp、…の中で、当該特定部位PのテンプレートPtとの相違度を基準として所定数のパーティクルPpを選択する。具体的には、パーティクル選択部5dは、複数(例えば、N個)のパーティクルPp、…について相違度算出部c2により算出された相違度DIFFを基準として、当該相違度DIFFの小さい方から順に所定数(例えば、K個;KはNより小さい自然数)のパーティクルPpを選択する。
図6(a)等には、パーティクル選択部5dにより選択された4個のパーティクルPp(ノード11〜14、21〜24、31〜34等)を例示しているが、一例であってこれに限られるものではなく、選択個数は適宜任意に変更可能である。
The
That is, the particle selection unit (selection unit) 5d, for one frame image F to be processed, among the plurality of particles Pp generated by the particle generation unit c1 for each specific part P,. A predetermined number of particles Pp are selected based on the degree of difference from the template Pt. Specifically, the
FIG. 6A and the like illustrate four particles Pp (
経路探索部5eは、動的計画法により所定のグラフ上で経路探索を行って、各経路の到達コストを算出する。
即ち、経路探索部(探索手段)5eは、処理対象となる一のフレーム画像Fについて、特定部位P毎に追跡部5cにより生成された複数のパーティクルPp、…と、複数のフレーム画像F、…を構成する当該一のフレーム画像Fよりも前の全てのフレーム画像Fにおける対応する領域との相違度を基準として動的計画法により所定のグラフ(例えば、重み付き有向グラフG等)上で経路探索を行う。
具体的には、経路探索部5eは、処理対象となる一のフレーム画像Fについて、特定部位P毎にパーティクル生成部c1により生成された複数のパーティクルPp、…を重み付き有向グラフGに逐次追加していき、重み付き有向グラフG上で動的計画法により経路探索を行う。より具体的には、経路探索部5eは、各フレーム画像Fについて、特定部位P毎にパーティクル選択部5dにより選択されたK個のパーティクルPpを重み付き有向グラフGに逐次追加していき、当該パーティクルPpと処理対象となるフレーム画像Fよりも前のフレーム画像Fにおける対応する領域との相違度を基準として経路探索を行う。また、経路探索部5eは、各フレーム画像Fについて、特定部位P毎にパーティクル生成部c1により生成された複数のパーティクルPp、…の各々と当該特定部位PのテンプレートPtとの相違度、即ち、相違度算出部c2により算出された各パーティクルPpの相違度DIFFを基準として動的計画法により所定のグラフ上で経路探索を行う。
例えば、特定部位P毎に、パーティクル選択部5dにより選択されたK個(例えば、4個等)のパーティクルPpについて、相違度算出部c2により算出された各パーティクルPpの相違度DIFFが重み付き有向グラフGの各フレーム画像F(例えば、フレーム画像F1、F2、F3等)毎のノード(ノード11〜14、21〜24、31〜34等)となる(図6(a)等参照)。処理対象が次のフレーム画像Fに移ると、当該フレーム画像Fの特定部位P毎に、新たにK個のパーティクルPpの相違度DIFFが重み付き有向グラフGのノードに追加される(図6(a)及び図6(b)参照)。ノードどうしを結ぶエッジの方向は、新しく追加されたパーティクルPpに向かう方向となり、隣合う2つのフレーム画像F、F間の状態変化量に応じて重み(経路コストE)が変化する。
例えば、経路探索部5eは、下記式に従って、隣合う2つのフレーム画像F、Fの特定部位Pを構成する代表点(例えば、特定部位Pが左腕の場合、左肩、左肘、左手首等)の位置座標どうしの所定の色空間でのユークリッド距離(座標間距離)Dに調整パラメータαを乗算したものと、パーティクルPpの相違度DIFFとを加算した値をエッジの経路コストEとして設定する。
経路コストE=相違度DIFF+α×D
なお、図6(a)〜図6(c)には、ノードを白丸で表し、エッジを実線で表している。また、各ノードは、パーティクルPpの尤度が高い順に上から下に並んでいるものとする。
The
That is, the route search unit (search unit) 5e, for one frame image F to be processed, has a plurality of particles Pp generated by the
Specifically, for one frame image F to be processed, the
For example, the difference degree DIFF of each particle Pp calculated by the difference degree calculation unit c2 for the K (for example, four, etc.) particles Pp selected by the
For example, the
Route cost E = Dissimilarity DIFF + α x D
In FIGS. 6A to 6C, nodes are represented by white circles and edges are represented by solid lines. In addition, it is assumed that the nodes are arranged from top to bottom in descending order of likelihood of the particles Pp.
また、経路探索部5eは、処理対象となるフレーム画像Fにて、特定部位P毎にパーティクル生成部c1により生成された複数のパーティクルPp、…の各々について、複数のフレーム画像F、…を構成する所定の基準フレーム画像(例えば、最初のフレーム画像F1)から当該処理対象のフレーム画像Fまでの経路の到達コストを動的計画法(Dynamic Programming法)により算出する。具体的には、経路探索部5eは、例えば、パーティクル選択部5dにより選択されたK個(例えば、4個等)のパーティクルPpについて、最初のフレーム画像F1から処理対象のフレーム画像F(例えば、3枚目のフレーム画像F3等)までの経路の到達コストを算出する(図6(b)参照)。
図6(b)には、最初のフレーム画像F1から処理対象となる3枚目のフレーム画像F3までの到達コストが最小となる最短経路を太線で表し、各ノード31〜34への到達コストを括弧内の数字で表している。
なお、動的計画法による経路探索は、公知の技術であるので、ここでは詳細な説明は省略する。
Further, the
In FIG. 6B, the shortest path with the minimum arrival cost from the first frame image F1 to the third frame image F3 to be processed is represented by a bold line, and the arrival cost to each of the
In addition, since the route search by dynamic programming is a well-known technique, detailed description is abbreviate | omitted here.
尤度修正部5fは、所定数のパーティクルPpの尤度を修正する。
即ち、尤度修正部(修正手段)5fは、経路探索部5eによる探索結果に基づいて、処理対象となる一のフレーム画像Fにおける特定部位Pの各パーティクルPpの尤度を修正する。具体的には、尤度修正部5fは、経路探索部5eにより算出されたパーティクルPp毎の最初のフレーム画像F1から処理対象のフレーム画像Fまでの経路の到達コストに基づいて、各パーティクルPpの尤度を修正する。例えば、尤度修正部5fは、経路探索部5eにより算出されたパーティクルPp毎の経路の到達コストの逆数の比を当該パーティクルPpの尤度として設定する。そして、尤度修正部5fは、各パーティクルPpの経路コストの逆数にNを乗算して正規化する。例えば、ノード31〜34のパーティクルPpの経路コストが120:340:100:800の場合、1/120:1/340:1/100:1/800=0.37:0.13:0.44:0.06の比率の尤度となる。そして、尤度修正部5fは、ノード31〜34の各々の尤度にNを乗算して、総計N個のパーティクルPpを設定する。
The
That is, the likelihood correcting unit (correcting unit) 5f corrects the likelihood of each particle Pp of the specific part P in the one frame image F to be processed based on the search result by the
追跡結果特定部5gは、動画像データDを構成する複数のフレーム画像F、…における特定部位Pの追跡結果を特定する。
即ち、追跡結果特定部5gは、尤度修正部5fによる複数のフレーム画像F、…のうちの最終フレーム画像Fnよりも前のフレーム画像Fの各々に係る特定部位Pの複数のパーティクルPp、…の尤度の修正後に、追跡部5cによる最終フレーム画像Fnの特定部位Ppの追跡結果に基づいて、複数のフレーム画像F、…の各々の特定部位Pの追跡結果を特定する。具体的には、追跡結果特定部5gは、経路探索部5eにより算出された複数のフレーム画像F、…のうちの最初のフレーム画像F1から最終フレーム画像FnまでのパーティクルPp毎の経路の到達コストに基づいて、複数のフレーム画像F、…の各々の特定部位Pの追跡結果を特定する。
例えば、経路探索部5eによる最終フレーム画像FnについてのパーティクルPp毎の複数の経路の到達コストの算出後に、追跡結果特定部5gは、到達コストが算出された複数の経路の中で到達コストが最小となる最短経路を特定する(図6(c)参照)。つまり、経路探索部5eは、最初のフレーム画像F1から最終フレーム画像Fnの一つ前のフレーム画像Fn−1について修正後の各パーティクルPp(ノード)の相違度DIFF及び各エッジの経路コストEに基づいて、最終フレーム画像FnについてパーティクルPp毎の各経路の到達コストを算出する。そして、追跡結果特定部5gは、到達コストが最小の最短経路を特定し、当該最短経路に係る各フレーム画像Fの各パーティクルPpを特定部位Pの追跡結果として特定する。
なお、図6(c)には、全てのフレーム画像F1〜Fnにおける到達コストが最小となる最短経路を太線で表している。
The tracking
That is, the tracking
For example, after calculating the arrival cost of the plurality of routes for each particle Pp for the final frame image Fn by the
In FIG. 6C, the shortest path with the lowest arrival cost in all the frame images F1 to Fn is indicated by a bold line.
表示部6は、例えば、LCD(Liquid Crystal Display)、CRT(Cathode Ray Tube)等のディスプレイから構成され、表示制御部7の制御下にて各種情報を表示画面に表示する。
The
表示制御部7は、表示用データを生成して表示部6の表示画面に表示させる制御を行う。
具体的には、表示制御部7は、例えば、GPU(Graphics Processing Unit)やVRAM(Video Random Access Memory)等を具備するビデオカード(図示略)を備えている。そして、表示制御部7は、中央制御部1からの表示指示に従って、動画像取得部5aにより取得された動画像データDに基づいて動画像の表示用データをビデオカードによる描画処理によって生成し、表示部6に出力する。
The
Specifically, the
外部通信部8は、外部機器200と所定の通信回線(例えば、LAN(Local Area Network)等)を介して情報を送受信可能に接続される。具体的には、外部通信部8は、例えば、図示は省略するが、外部機器200との接続用の端子(例えば、LAN端子等)に装着された所定の通信ケーブル(例えば、LANケーブル)を介してデータの送受信を行う。例えば、外部通信部8は、外部機器200から送信された動画像データDを受信する。外部通信部8により受信された動画像データDは、メモリ2に転送されて一時的に記憶される。
The
<被写体追跡処理>
次に、被写体追跡装置100による被写体追跡処理について、図2〜図6を参照して説明する。
図2及び図3は、被写体追跡処理に係る動作の一例を示すフローチャートである。
なお、以下の説明にあっては、動画像データDは、外部機器200により取得された後、外部通信部8を介してメモリ2に一時記憶されているものとする。
<Subject tracking process>
Next, subject tracking processing by the
2 and 3 are flowcharts showing an example of an operation related to the subject tracking process.
In the following description, it is assumed that the moving image data D is acquired by the
図3に示すように、先ず、動画像取得部5aは、メモリ2から被写体Sの動画像データDを読み出して取得する(ステップS1)。
次に、動画像取得部5aにより取得された動画像データDの最初のフレーム画像F1(図5(a)参照)内で、ユーザによる操作入力部4の所定操作に基づいて追跡対象となる特定部位Pに係る初期位置(例えば、左手首、左肘、左肩等)が指定されると(ステップS2)、テンプレート生成部5bは、最初のフレーム画像F1における初期位置から特定部位Pを構成する構成部分(例えば、上腕、前腕等)の色及び前腕、上腕の太さを特定して、特定部位Pの色及び形状(太さ)をテンプレートPtとして生成する(ステップS3)。
As shown in FIG. 3, first, the moving
Next, in the first frame image F1 (see FIG. 5A) of the moving image data D acquired by the moving
続けて、追跡部5cのパーティクル生成部c1は、追跡対象となる被写体Sの特定部位P毎に、指定された初期位置の位置座標にランダムノイズを加えてN個の状態のパーティクルPpを生成する(ステップS4)。
Subsequently, the particle generation unit c1 of the
次に、追跡部5cは、動画像データDを構成する複数のフレーム画像F、…のうち、開始フレーム(1枚目のフレーム画像F1)を処理対象のフレームとして指定した後(ステップS5)、追跡対象となる特定部位P(例えば、左腕等)の各々について、パーティクル生成部c1により生成されたN個のパーティクルPpの中で何れか一のパーティクルPpを指定する(ステップS6)。
続けて、追跡部5cの相違度算出部c2は、各特定部位P(例えば、左腕等)毎に、指定されたパーティクルPpとテンプレート生成部5bにより生成されたテンプレートPtとの相違度DIFFを算出する(ステップS7)。例えば、左腕を特定部位Pとした場合、相違度算出部c2は、左腕を構成する上腕及び前腕個別にパーティクルPpとの相違度UD、LDを算出して、算出された上腕及び前腕の相違度UD、LDを加算して、当該パーティクルPpとの相違度DIFFとして算出する。
相違度算出部c2は、各特定部位P毎に、算出された相違度DIFFをパーティクルPpの識別情報と対応付けて所定の格納手段(例えば、メモリ2等)に一時的に記憶する(ステップS8)。
Next, after the
Subsequently, the difference calculation unit c2 of the
The difference calculation unit c2 temporarily stores the calculated difference DIFF for each specific part P in association with the identification information of the particle Pp in a predetermined storage unit (for example, the memory 2) (step S8). ).
次に、追跡部5cは、パーティクル生成部c1により生成された全てのパーティクルPpについて相違度DIFFを算出する処理を行ったか否かを判定する(ステップS9)。
ここで、全てのパーティクルPpについて処理していないと判定されると(ステップS9;NO)、追跡部5cは、パーティクル生成部c1により生成されたN個のパーティクルPpの中で、未処理の次のパーティクルPpを新たに指定する(ステップS10)。その後、追跡部5cは、処理をステップS7に戻し、新たに指定されたパーティクルPpについて、上記と同様にしてステップS7、S8の各処理を実行する。
これにより、各特定部位P毎に、新たに指定されたパーティクルPpの相違度DIFFが算出されて所定の格納手段(例えば、メモリ2等)に一時的に記憶された状態となる。
上記の各処理は、ステップS9にて、全てのパーティクルPpについて処理したと判定されるまで繰り返し実行される。
Next, the
Here, if it is determined that all the particles Pp are not processed (step S9; NO), the
As a result, the degree of difference DIFF of the newly designated particle Pp is calculated for each specific part P and temporarily stored in a predetermined storage means (for example, the memory 2).
Each of the above processes is repeatedly executed until it is determined in step S9 that all the particles Pp have been processed.
一方、ステップS9にて、全てのパーティクルPpについて処理したと判定されると(ステップS9;YES)、図3に示すように、追跡処理部5は、処理対象のフレーム画像Fの一つ前のフレーム画像Fについて相違度を算出する処理を行ったか否かを判定する(ステップS11)。
ここで、処理対象が動画像データDの開始フレームである場合、一つ前のフレーム画像Fについて処理していないと判定され(ステップS11;NO)、追跡処理部5は、パーティクル尤度修正処理(ステップS12)をスキップして、動画像データDを構成する全てのフレーム画像F1〜Fnについて特定部位Pを追跡する処理を行ったか否かを判定する(ステップS13)。
ここで、全てのフレーム画像F1〜Fnについて処理していないと判定されると(ステップS13;NO)、追跡部5cは、動画像データDの複数のフレーム画像F、…の中で、未処理の次のフレーム画像F(例えば、2枚目のフレーム画像F2)を新たに指定する(ステップS14)。
On the other hand, if it is determined in step S9 that all the particles Pp have been processed (step S9; YES), the
Here, when the processing target is the start frame of the moving image data D, it is determined that the previous frame image F has not been processed (step S11; NO), and the
If it is determined that all the frame images F1 to Fn have not been processed (step S13; NO), the
次に、パーティクル生成部c1は、各特定部位P毎に、N個のパーティクルPpの各々にランダムノイズを付加し(ステップS15)、その後、処理をステップS6に戻し、新たに指定されたフレーム画像F(例えば、2枚目のフレーム画像F2)について、上記と同様にしてステップS6〜S10の各処理を実行する。
これにより、新たに指定されたフレーム画像F(例えば、2枚目のフレーム画像F2)の特定部位P毎に、パーティクルPpの相違度DIFFが算出される。
Next, the particle generation unit c1 adds random noise to each of the N particles Pp for each specific part P (step S15), and then returns the process to step S6 to newly specify a frame image. For F (for example, the second frame image F2), the processes in steps S6 to S10 are executed in the same manner as described above.
As a result, the difference DIFF of the particles Pp is calculated for each specific part P of the newly designated frame image F (for example, the second frame image F2).
その後、ステップS11にて、一つ前のフレーム画像F(例えば、2枚目のフレーム画像Fに対する1枚目のフレーム画像F1等)について処理したと判定されると(ステップS11;YES)、追跡処理部5は、パーティクル尤度修正処理(図4参照)を行う(ステップS12)。
Thereafter, if it is determined in step S11 that the previous frame image F (for example, the first frame image F1 with respect to the second frame image F) has been processed (step S11; YES), tracking is performed. The
<パーティクル尤度修正処理>
ここで、パーティクル尤度修正処理について図4を参照して説明する。
図4は、パーティクル尤度修正処理に係る動作の一例を示すフローチャートである。
<Particle likelihood correction processing>
Here, the particle likelihood correction processing will be described with reference to FIG.
FIG. 4 is a flowchart illustrating an example of an operation related to the particle likelihood correction process.
図4に示すように、先ず、パーティクル選択部5dは、各特定部位P毎に、所定の格納手段(例えば、メモリ2等)からN個のパーティクルPpの相違度DIFFを取得して、これらN個のパーティクルPpの中で相違度DIFFの小さい方から順にK個(KはNより小さい自然数)のパーティクルPpを選択する(ステップS21)。
As shown in FIG. 4, first, the
次に、経路探索部5eは、各特定部位P毎に、選択されたK個のパーティクルPpを重み付き有向グラフGのノードに追加して(ステップS22)、各パーティクルPpの相違度DIFFと一つ前のフレーム画像Fとの座標間距離(ユークリッド距離D)に基づいて、ノードどうしを結ぶエッジの経路コストEを設定する(ステップS23)。例えば、特定部位Pが左腕の場合、経路探索部5eは、処理対象のフレーム画像Fと一つ前のフレーム画像F(例えば、2枚目と1枚目のフレーム画像F1、F2等))との間で左腕における左肩、左肘、左手首等の位置座標どうしのユークリッド距離Dに調整パラメータαを乗算し、2枚目のフレーム画像Fに係るパーティクルPpの相違度DIFFを加算してエッジの経路コストEを算出する。
続けて、経路探索部5eは、各特定部位P毎に、K個(例えば、4個等)のパーティクルPpについて、最初のフレーム画像F1から処理対象のフレーム画像F(例えば、2枚目のフレーム画像F2等)までの経路の到達コストを算出する(ステップS24)。
Next, the
Subsequently, for each specific part P, the
その後、尤度修正部5fは、経路探索部5eにより算出されたパーティクルPp毎の経路の到達コストに基づいて、各パーティクルPpの尤度を修正して、N個のパーティクルPpを設定する(ステップS25)。例えば、尤度修正部5fは、算出されたパーティクルPp毎の経路の到達コストの逆数の比を当該パーティクルPpの尤度として設定し、各パーティクルPpの経路コストの逆数にNを乗算して正規化して、総計N個のパーティクルPpを設定する。
これにより、パーティクル尤度修正処理を終了する。
Thereafter, the
Thereby, the particle likelihood correction process is terminated.
図3に戻り、ステップS13にて、全てのフレーム画像F1〜Fnについて処理していないと判定されると(ステップS13;NO)、追跡部5cは、処理をステップS14に移行し、動画像データDの複数のフレーム画像F、…の中で、未処理の次のフレーム画像F(例えば、3枚目のフレーム画像F3)を新たに指定する(ステップS14)。
次に、パーティクル生成部c1は、各特定部位P毎に、尤度が修正されたN個のパーティクルPpの各々にランダムノイズを付加し(ステップS15)、その後、処理をステップS6に戻し、新たに指定されたフレーム画像F(例えば、3枚目のフレーム画像F3)について、上記と同様にしてステップS6〜S12の各処理を実行する。
これにより、3枚目のフレーム画像F3についてパーティクルPpの尤度が修正された状態となる。
上記の各処理は、ステップS13にて、全てのフレーム画像F1〜Fnについて処理したと判定されるまで繰り返し実行される。
Returning to FIG. 3, if it is determined in step S13 that all the frame images F1 to Fn have not been processed (step S13; NO), the
Next, the particle generation unit c1 adds random noise to each of the N particles Pp whose likelihood has been corrected for each specific part P (step S15), and then returns the process to step S6 to newly In the same manner as described above, the processes in steps S6 to S12 are performed on the frame image F specified in (3) (for example, the third frame image F3).
As a result, the likelihood of the particle Pp is corrected for the third frame image F3.
Each of the above processes is repeatedly executed until it is determined in step S13 that all the frame images F1 to Fn have been processed.
一方、ステップS13にて、全てのフレーム画像F1〜Fnについて処理したと判定されると(ステップS13;YES)、追跡結果特定部5gは、最終フレーム画像FnでのK個(例えば、4個等)のパーティクルPpについての到達コストが最小となる最短経路(図6(c)参照)を特定する(ステップS16)。具体的には、追跡結果特定部5gは、経路探索部5eによる最終フレーム画像FnについてのパーティクルPp毎の複数の経路の到達コストの算出結果に基づいて、これら複数の経路の中で到達コストが最小となる最短経路を特定する。そして、追跡結果特定部5gは、当該最短経路に係る各フレーム画像Fの各パーティクルPpを特定部位Pの追跡結果として特定する(ステップS17)。
追跡結果特定部5gは、算出された各特定部位Pの追跡結果を所定の格納手段(例えば、メモリ2等)に記憶して(ステップS18)、被写体追跡処理を終了する。
On the other hand, if it is determined in step S13 that all the frame images F1 to Fn have been processed (step S13; YES), the tracking
The tracking
以上のように、本実施形態の被写体追跡装置100によれば、動画像データDを構成する複数のフレーム画像F、…のうちの処理対象となる一のフレーム画像Fについて、被写体Sの特定部位P毎に生成された複数のパーティクルPp、…と一のフレーム画像Fよりも前のフレーム画像Fにおける対応する領域との相違度を基準として動的計画法により所定のグラフ(例えば、重み付き有向グラフG)上で経路探索を行い、探索結果に基づいて、一のフレーム画像Fにおける特定部位Pの複数のパーティクルPp、…の尤度を修正するので、尤度が修正された複数のパーティクルPp、…に基づいて、一のフレーム画像Fよりも後のフレーム画像Fにて特定部位Pを高精度に追跡することができる。即ち、処理対象となる一のフレーム画像Fにおける特定部位Pのパーティクルフィルタを用いた追跡結果を当該一のフレーム画像Fよりも後のフレーム画像Fにおける特定部位Pのパーティクルフィルタを用いる追跡に反映させることができることとなって、後のフレーム画像Fの処理にて余計なノイズの原因となるパーティクルPpの撒布範囲を広げたりパーティクルPpの個数を増やす必要がなくなり、パーティクルフィルタを用いる処理のロバスト性を確保して、外乱等に影響されにくい安定した追跡を実現することができる。
そして、最終フレーム画像Fnよりも前のフレーム画像Fの各々に係る特定部位Pの複数のパーティクルPp、…の尤度の修正後に、最終フレーム画像Fnの特定部位Ppの追跡結果に基づいて、複数のフレーム画像F、…の各々の特定部位Pの追跡結果を特定することができる。具体的には、最初のフレーム画像F1から最終フレーム画像FnまでのパーティクルPp毎の経路の到達コストに基づいて、複数のフレーム画像F、…の各々の特定部位Pの追跡結果を特定することができる。これにより、複数のフレーム画像F、…の時間軸を考慮して各フレーム画像F内で最適な状態のパーティクルPpを経る経路を探索することができ、この結果、特定された経路に係る各フレーム画像FのパーティクルPpを特定部位Pの追跡結果として特定することができる。
このように、高精度で且つ安定性に優れた特定部位Pの追跡処理を実現することができる。
As described above, according to the
Then, after the likelihood of the plurality of particles Pp,... Of the specific part P related to each of the frame images F before the final frame image Fn is corrected, a plurality of values are obtained based on the tracking result of the specific part Pp of the final frame image Fn. The tracking result of each specific part P of the frame images F,. Specifically, the tracking result of each specific part P of the plurality of frame images F,... Can be specified based on the arrival cost of the path for each particle Pp from the first frame image F1 to the final frame image Fn. it can. Accordingly, it is possible to search for a path through the particle Pp in an optimal state in each frame image F in consideration of the time axis of the plurality of frame images F,..., And as a result, each frame related to the identified path. The particle Pp of the image F can be specified as the tracking result of the specific part P.
Thus, the tracking process of the specific part P which is highly accurate and excellent in stability can be realized.
また、処理対象の一のフレーム画像Fについて、特定部位P毎に複数(例えば、N個)のパーティクルPpの中で特定部位PのテンプレートPtとの相違度を基準として所定数(例えば、K個)のパーティクルPpを選択して、選択されたパーティクルPpと一のフレーム画像Fよりも前のフレーム画像Fにおける対応する領域との相違度を基準として経路探索を行うので、処理対象のフレーム画像F内での複数のパーティクルPp、…の状態を考慮して動的計画法による経路探索に用いられる所定数のパーティクルPpを適正に選択することができ、この結果、動的計画法による経路探索を適正に行うことができる。 In addition, for one frame image F to be processed, a predetermined number (for example, K) of a plurality of (for example, N) particles Pp for each specific part P with reference to the degree of difference from the template Pt of the specific part P. ) And a route search is performed based on the degree of difference between the selected particle Pp and the corresponding region in the frame image F before the one frame image F. Therefore, the processing target frame image F The predetermined number of particles Pp used for the route search by the dynamic programming method can be appropriately selected in consideration of the state of the plurality of particles Pp,... It can be done properly.
また、処理対象となる一のフレーム画像Fの特定部位Pの複数のパーティクルPp、…の各々について、複数のフレーム画像F、…のうちの所定の基準フレーム画像Fから一のフレーム画像Fまでの経路の到達コストを動的計画法により算出し、算出されたパーティクルPp毎の経路の到達コストに基づいて、各パーティクルPpの尤度を修正するので、一のフレーム画像Fにおける特定部位Pの複数のパーティクルPp、…の尤度の修正を到達コストを考慮して適正に行うことができる。 Further, for each of a plurality of particles Pp,... Of a specific part P of one frame image F to be processed, a predetermined reference frame image F to a single frame image F of the plurality of frame images F,. The arrival cost of the route is calculated by dynamic programming, and the likelihood of each particle Pp is corrected based on the calculated arrival cost of the route for each particle Pp. Therefore, the plurality of specific parts P in one frame image F are corrected. The likelihood of the particles Pp,... Can be appropriately corrected in consideration of the arrival cost.
また、処理対象となる一のフレーム画像Fについて、特定部位P毎に生成された複数のパーティクルPp、…と当該特定部位PのテンプレートPtとの相違度を基準として動的計画法により所定のグラフ上で経路探索を行うので、複数のパーティクルPp、…と当該一のフレーム画像Fよりも前のフレーム画像Fにおける対応する領域との相違度、即ち、隣合う2つのフレーム画像F、F間の状態変化量に加えて、処理対象の一のフレーム画像F内での複数のパーティクルPp、…の状態を考慮して、動的計画法による経路探索を適正に行うことができる。 Further, with respect to one frame image F to be processed, a predetermined graph is obtained by dynamic programming based on the degree of difference between the plurality of particles Pp,... Generated for each specific part P and the template Pt of the specific part P. Since the route search is performed above, the degree of difference between the plurality of particles Pp,... And the corresponding region in the frame image F before the one frame image F, that is, between the two adjacent frame images F, F. In addition to the state change amount, it is possible to appropriately perform a route search by dynamic programming in consideration of the state of a plurality of particles Pp,... In one frame image F to be processed.
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、撮像装置により撮像された動画像データDを構成するフレーム画像Fの各々から逐次特定部位Pを追跡する場合には、特定部位Pの追跡状態を報知するようにしても良い。即ち、例えば、撮影中の最新のフレーム画像Fの処理による動的計画法で得られた最小の経路コストとなる状態を表示画面にリアルタイムで表示し、全ての撮影が終わった後に、最後のフレーム画像Fの処理で得られた経路による追跡過程を表示するようにしても良い。
The present invention is not limited to the above-described embodiment, and various improvements and design changes may be made without departing from the spirit of the present invention.
For example, when the specific part P is sequentially tracked from each of the frame images F constituting the moving image data D imaged by the imaging device, the tracking state of the specific part P may be notified. That is, for example, the state of the minimum path cost obtained by the dynamic programming method by processing the latest frame image F being captured is displayed in real time on the display screen, and after all the capturing is completed, the last frame is displayed. You may make it display the tracking process by the path | route obtained by the process of the image F. FIG.
さらに、被写体追跡装置100の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。例えば、被写体追跡装置100として、ワークステーションなどのコンピュータを例示したが、これに限られるものではなく、一般的なパーソナルコンピュータや撮像装置などにより構成しても良い。
Furthermore, the configuration of the
加えて、上記実施形態にあっては、取得手段、追跡手段、探索手段、修正手段、特定手段としての機能を、中央制御部1の制御下にて、動画像取得部5a、追跡部5c、経路探索部5e、尤度修正部5f、追跡結果特定部5gが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部1のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、取得処理ルーチン、追跡処理ルーチン、探索処理ルーチン、修正処理ルーチン、特定処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部1のCPUを、被写体Sの動画像を取得する手段として機能させるようにしても良い。また、追跡処理ルーチンにより中央制御部1のCPUを、取得された動画像を構成する複数のフレーム画像F、…の各々にて、被写体Sの特定部位Pをパーティクルフィルタを用いた処理により追跡する手段として機能させるようにしても良い。また、探索処理ルーチンにより中央制御部1のCPUを、複数のフレーム画像F、…のうちの何れか一のフレーム画像Fについて、特定部位P毎に生成された複数のパーティクルPp、…と何れか一のフレーム画像Fよりも前のフレーム画像Fにおける対応する領域との相違度を基準として動的計画法により所定のグラフ上で経路探索を行う手段として機能させるようにしても良い。また、修正処理ルーチンにより中央制御部1のCPUを、探索結果に基づいて、何れか一のフレーム画像Fにおける特定部位Pの複数のパーティクルPp、…の尤度を修正する手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部1のCPUを、複数のフレーム画像Fのうちの最終フレーム画像Fnよりも前のフレーム画像Fの各々に係る特定部位Pの複数のパーティクルPp、…の尤度の修正後に、最終フレーム画像Fnの特定部位Pの追跡結果に基づいて、複数のフレーム画像F、…の各々の特定部位Pの追跡結果を特定する手段として機能させるようにしても良い。
In addition, in the above-described embodiment, the functions of the acquisition unit, the tracking unit, the search unit, the correction unit, and the specifying unit are controlled under the control of the
That is, a program memory (not shown) that stores a program stores a program including an acquisition processing routine, a tracking processing routine, a search processing routine, a correction processing routine, and a specific processing routine. Then, the CPU of the
同様に、選択手段についても、中央制御部1のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
Similarly, the selection unit may be configured to be realized by executing a predetermined program or the like by the CPU of the
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ROMやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、CD−ROM等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ(搬送波)も適用される。 Furthermore, as a computer-readable medium storing a program for executing each of the above processes, a non-volatile memory such as a flash memory or a portable recording medium such as a CD-ROM is applied in addition to a ROM or a hard disk. Is also possible. A carrier wave is also used as a medium for providing program data via a predetermined communication line.
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
被写体の動画像を取得する取得手段と、
前記取得手段により取得された動画像を構成する複数のフレーム画像の各々にて、被写体の特定部位をパーティクルフィルタを用いた処理により追跡する追跡手段と、
前記複数のフレーム画像のうちの何れか一のフレーム画像について、前記特定部位毎に前記追跡手段により生成された複数のパーティクルと前記何れか一のフレーム画像よりも前のフレーム画像における対応する領域との相違度を基準として動的計画法により所定のグラフ上で経路探索を行う探索手段と、
前記探索手段による探索結果に基づいて、前記何れか一のフレーム画像における前記特定部位の複数のパーティクルの尤度を修正する修正手段と、
前記修正手段による前記複数のフレーム画像のうちの最終フレーム画像よりも前のフレーム画像の各々に係る前記特定部位の前記複数のパーティクルの尤度の修正後に、前記追跡手段による前記最終フレーム画像の前記特定部位の追跡結果に基づいて、前記複数のフレーム画像の各々の前記特定部位の追跡結果を特定する特定手段と、
を備えたことを特徴とする被写体追跡装置。
<請求項2>
前記追跡手段は、更に、
前記修正手段により尤度が修正された前記何れか一のフレーム画像に係る前記複数のパーティクルに基づいて、前記何れか一のフレーム画像よりも後のフレーム画像の前記特定部位を追跡することを特徴とする請求項1に記載の被写体追跡装置。
<請求項3>
前記探索手段は、更に、
前記追跡手段により生成された前記何れか一のフレーム画像の前記特定部位の複数のパーティクルの各々について、前記複数のフレーム画像のうちの所定の基準フレーム画像から前記何れか一のフレーム画像までの経路の到達コストを動的計画法により算出し、
前記修正手段は、更に、
前記探索手段により算出された各パーティクル毎の経路の到達コストに基づいて、各パーティクルの尤度を修正することを特徴とする請求項1又は2に記載の被写体追跡装置。
<請求項4>
前記特定手段は、更に、
前記探索手段により算出された前記複数のフレーム画像のうちの最初のフレーム画像から前記最終フレーム画像までの各パーティクル毎の経路の到達コストに基づいて、前記複数のフレーム画像の各々の前記特定部位の追跡結果を特定することを特徴とする請求項1〜3の何れか一項に記載の被写体追跡装置。
<請求項5>
前記探索手段は、更に、
前記各フレーム画像について、前記特定部位毎に前記追跡手段により生成された複数のパーティクルと前記特定部位のテンプレートとの相違度を基準として動的計画法により所定のグラフ上で経路探索を行うことを特徴とする請求項1〜4の何れか一項に記載の被写体追跡装置。
<請求項6>
前記探索手段は、更に、
前記各フレーム画像について、前記特定部位毎に前記追跡手段により生成された複数のパーティクルを重み付き有向グラフに逐次追加し、前記重み付き有向グラフ上で動的計画法により経路探索を行うことを特徴とする請求項1〜5の何れか一項に記載の被写体追跡装置。
<請求項7>
前記何れか一のフレーム画像について、前記特定部位毎に前記追跡手段により生成された複数のパーティクルの中で、前記特定部位のテンプレートとの相違度を基準として所定数のパーティクルを選択する選択手段を更に備え、
前記探索手段は、
前記選択手段により選択されたパーティクルと前記何れか一のフレーム画像よりも前のフレーム画像における対応する領域との相違度を基準として前記経路探索を行うことを特徴とする請求項1〜6の何れか一項に記載の被写体追跡装置。
<請求項8>
被写体追跡装置を用いた被写体追跡方法であって、
被写体の動画像を取得する取得処理と、
前記取得処理により取得された動画像を構成する複数のフレーム画像の各々にて、被写体の特定部位をパーティクルフィルタを用いた処理により追跡する追跡処理と、
前記複数のフレーム画像のうちの何れか一のフレーム画像について、前記特定部位毎に前記追跡処理により生成された複数のパーティクルと前記何れか一のフレーム画像よりも前のフレーム画像における対応する領域との相違度を基準として動的計画法により所定のグラフ上で経路探索を行う探索処理と、
前記探索処理による探索結果に基づいて、前記何れか一のフレーム画像における前記特定部位の複数のパーティクルの尤度を修正する修正処理と、
前記修正処理による前記複数のフレーム画像のうちの最終フレーム画像よりも前のフレーム画像の各々に係る前記特定部位の前記複数のパーティクルの尤度の修正後に、前記追跡処理による前記最終フレーム画像の前記特定部位の追跡結果に基づいて、前記複数のフレーム画像の各々の前記特定部位の追跡結果を特定する特定処理と、
を含むことを特徴とする被写体追跡方法。
<請求項9>
被写体追跡装置のコンピュータを、
被写体の動画像を取得する取得手段、
前記取得手段により取得された動画像を構成する複数のフレーム画像の各々にて、被写体の特定部位をパーティクルフィルタを用いた処理により追跡する追跡手段、
前記複数のフレーム画像のうちの何れか一のフレーム画像について、前記特定部位毎に前記追跡手段により生成された複数のパーティクルと前記何れか一のフレーム画像よりも前のフレーム画像における対応する領域との相違度を基準として動的計画法により所定のグラフ上で経路探索を行う探索手段、
前記探索手段による探索結果に基づいて、前記何れか一のフレーム画像における前記特定部位の複数のパーティクルの尤度を修正する修正手段、
前記修正手段による前記複数のフレーム画像のうちの最終フレーム画像よりも前のフレーム画像の各々に係る前記特定部位の前記複数のパーティクルの尤度の修正後に、前記追跡手段による前記最終フレーム画像の前記特定部位の追跡結果に基づいて、前記複数のフレーム画像の各々の前記特定部位の追跡結果を特定する特定手段、
として機能させることを特徴とするプログラム。
Although several embodiments of the present invention have been described, the scope of the present invention is not limited to the above-described embodiments, but includes the scope of the invention described in the claims and equivalents thereof.
The invention described in the scope of claims attached to the application of this application will be added below. The item numbers of the claims described in the appendix are as set forth in the claims attached to the application of this application.
[Appendix]
<Claim 1>
Acquisition means for acquiring a moving image of a subject;
In each of the plurality of frame images constituting the moving image acquired by the acquisition unit, a tracking unit that tracks a specific part of the subject by processing using a particle filter;
Regarding any one of the plurality of frame images, a plurality of particles generated by the tracking unit for each specific part and a corresponding region in a frame image before the one frame image, Search means for performing a route search on a predetermined graph by dynamic programming based on the difference between
Based on the search result by the search means, a correction means for correcting the likelihood of the plurality of particles in the specific part in the one frame image,
After correcting the likelihood of the plurality of particles in the specific part of each of the frame images before the final frame image of the plurality of frame images by the correcting unit, the tracking unit calculates the likelihood of the final frame image. A specifying means for specifying a tracking result of the specific part of each of the plurality of frame images based on a tracking result of the specific part;
A subject tracking device comprising:
<Claim 2>
The tracking means further includes:
The specific portion of the frame image after the one frame image is tracked based on the plurality of particles related to the one frame image whose likelihood is corrected by the correcting means. The subject tracking apparatus according to
<Claim 3>
The search means further includes:
A path from a predetermined reference frame image of the plurality of frame images to the one of the frame images for each of the plurality of particles at the specific part of the frame image generated by the tracking unit. The arrival cost of
The correction means further includes:
The subject tracking device according to
<Claim 4>
The specifying means further includes:
Based on the arrival cost of the path for each particle from the first frame image to the last frame image of the plurality of frame images calculated by the search means, the specific part of each of the plurality of frame images The subject tracking device according to any one of
<Claim 5>
The search means further includes:
For each frame image, a route search is performed on a predetermined graph by dynamic programming based on the difference between the plurality of particles generated by the tracking unit for each specific part and the template of the specific part. The subject tracking device according to any one of
<Claim 6>
The search means further includes:
For each frame image, a plurality of particles generated by the tracking unit for each specific part are sequentially added to a weighted directed graph, and a route search is performed on the weighted directed graph by dynamic programming. The subject tracking device according to any one of
<Claim 7>
Selecting means for selecting a predetermined number of particles from the plurality of particles generated by the tracking means for each specific part with respect to any one frame image on the basis of the degree of difference from the template of the specific part; In addition,
The search means includes
7. The route search is performed based on a degree of difference between a particle selected by the selection unit and a corresponding area in a frame image prior to any one of the frame images. The subject tracking device according to
<Claim 8>
A subject tracking method using a subject tracking device,
An acquisition process for acquiring a moving image of a subject;
In each of the plurality of frame images constituting the moving image acquired by the acquisition process, a tracking process for tracking a specific part of the subject by a process using a particle filter;
For any one of the plurality of frame images, a plurality of particles generated by the tracking process for each specific part and a corresponding region in a frame image before the one frame image, Search processing for performing route search on a predetermined graph by dynamic programming based on the difference between
Based on the search result by the search process, a correction process for correcting the likelihood of the plurality of particles in the specific part in the one frame image,
After the correction of the likelihood of the plurality of particles of the specific part related to each of the frame images before the final frame image of the plurality of frame images by the correction processing, the final frame image of the final frame image by the tracking processing A specifying process for specifying a tracking result of the specific part of each of the plurality of frame images based on a tracking result of the specific part;
A method for tracking an object, comprising:
<Claim 9>
Subject tracking device computer
An acquisition means for acquiring a moving image of a subject;
A tracking means for tracking a specific part of a subject by processing using a particle filter in each of a plurality of frame images constituting the moving image acquired by the acquisition means;
Regarding any one of the plurality of frame images, a plurality of particles generated by the tracking unit for each specific part and a corresponding region in a frame image before the one frame image, Search means for performing a route search on a predetermined graph by dynamic programming based on the difference between
Correction means for correcting the likelihood of the plurality of particles in the specific part in the one frame image based on the search result by the search means,
After correcting the likelihood of the plurality of particles in the specific part of each of the frame images before the final frame image of the plurality of frame images by the correcting unit, the tracking unit calculates the likelihood of the final frame image. Identification means for identifying the tracking result of the specific part of each of the plurality of frame images based on the tracking result of the specific part;
A program characterized by functioning as
100 被写体追跡装置
1 中央制御部
5 追跡処理部
5a 動画像取得部
5c 追跡部
5d パーティクル選択部
5e 経路探索部
5f 尤度修正部
5g 追跡結果特定部
100
Claims (9)
前記取得手段により取得された動画像を構成する複数のフレーム画像の各々にて、被写体の特定部位をパーティクルフィルタを用いた処理により追跡する追跡手段と、
前記複数のフレーム画像のうちの何れか一のフレーム画像について、前記特定部位毎に前記追跡手段により生成された複数のパーティクルと前記何れか一のフレーム画像よりも前のフレーム画像における対応する領域との相違度を基準として動的計画法により所定のグラフ上で経路探索を行う探索手段と、
前記探索手段による探索結果に基づいて、前記何れか一のフレーム画像における前記特定部位の複数のパーティクルの尤度を修正する修正手段と、
前記修正手段による前記複数のフレーム画像のうちの最終フレーム画像よりも前のフレーム画像の各々に係る前記特定部位の前記複数のパーティクルの尤度の修正後に、前記追跡手段による前記最終フレーム画像の前記特定部位の追跡結果に基づいて、前記複数のフレーム画像の各々の前記特定部位の追跡結果を特定する特定手段と、
を備えたことを特徴とする被写体追跡装置。 Acquisition means for acquiring a moving image of a subject;
In each of the plurality of frame images constituting the moving image acquired by the acquisition unit, a tracking unit that tracks a specific part of the subject by processing using a particle filter;
Regarding any one of the plurality of frame images, a plurality of particles generated by the tracking unit for each specific part and a corresponding region in a frame image before the one frame image, Search means for performing a route search on a predetermined graph by dynamic programming based on the difference between
Based on the search result by the search means, a correction means for correcting the likelihood of the plurality of particles in the specific part in the one frame image,
After correcting the likelihood of the plurality of particles in the specific part of each of the frame images before the final frame image of the plurality of frame images by the correcting unit, the tracking unit calculates the likelihood of the final frame image. A specifying means for specifying a tracking result of the specific part of each of the plurality of frame images based on a tracking result of the specific part;
A subject tracking device comprising:
前記修正手段により尤度が修正された前記何れか一のフレーム画像に係る前記複数のパーティクルに基づいて、前記何れか一のフレーム画像よりも後のフレーム画像の前記特定部位を追跡することを特徴とする請求項1に記載の被写体追跡装置。 The tracking means further includes:
The specific portion of the frame image after the one frame image is tracked based on the plurality of particles related to the one frame image whose likelihood is corrected by the correcting means. The subject tracking apparatus according to claim 1.
前記追跡手段により生成された前記何れか一のフレーム画像の前記特定部位の複数のパーティクルの各々について、前記複数のフレーム画像のうちの所定の基準フレーム画像から前記何れか一のフレーム画像までの経路の到達コストを動的計画法により算出し、
前記修正手段は、更に、
前記探索手段により算出された各パーティクル毎の経路の到達コストに基づいて、各パーティクルの尤度を修正することを特徴とする請求項1又は2に記載の被写体追跡装置。 The search means further includes:
A path from a predetermined reference frame image of the plurality of frame images to the one of the frame images for each of the plurality of particles at the specific part of the frame image generated by the tracking unit. The arrival cost of
The correction means further includes:
The subject tracking device according to claim 1, wherein the likelihood of each particle is corrected based on the arrival cost of the path for each particle calculated by the search unit.
前記探索手段により算出された前記複数のフレーム画像のうちの最初のフレーム画像から前記最終フレーム画像までの各パーティクル毎の経路の到達コストに基づいて、前記複数のフレーム画像の各々の前記特定部位の追跡結果を特定することを特徴とする請求項1〜3の何れか一項に記載の被写体追跡装置。 The specifying means further includes:
Based on the arrival cost of the path for each particle from the first frame image to the last frame image of the plurality of frame images calculated by the search means, the specific part of each of the plurality of frame images The subject tracking device according to any one of claims 1 to 3, wherein a tracking result is specified.
前記各フレーム画像について、前記特定部位毎に前記追跡手段により生成された複数のパーティクルと前記特定部位のテンプレートとの相違度を基準として動的計画法により所定のグラフ上で経路探索を行うことを特徴とする請求項1〜4の何れか一項に記載の被写体追跡装置。 The search means further includes:
For each frame image, a route search is performed on a predetermined graph by dynamic programming based on the difference between the plurality of particles generated by the tracking unit for each specific part and the template of the specific part. The subject tracking device according to any one of claims 1 to 4, wherein the subject tracking device is characterized.
前記各フレーム画像について、前記特定部位毎に前記追跡手段により生成された複数のパーティクルを重み付き有向グラフに逐次追加し、前記重み付き有向グラフ上で動的計画法により経路探索を行うことを特徴とする請求項1〜5の何れか一項に記載の被写体追跡装置。 The search means further includes:
For each frame image, a plurality of particles generated by the tracking unit for each specific part are sequentially added to a weighted directed graph, and a route search is performed on the weighted directed graph by dynamic programming. The subject tracking device according to any one of claims 1 to 5.
前記探索手段は、
前記選択手段により選択されたパーティクルと前記何れか一のフレーム画像よりも前のフレーム画像における対応する領域との相違度を基準として前記経路探索を行うことを特徴とする請求項1〜6の何れか一項に記載の被写体追跡装置。 Selecting means for selecting a predetermined number of particles from the plurality of particles generated by the tracking means for each specific part with respect to any one frame image on the basis of the degree of difference from the template of the specific part; In addition,
The search means includes
7. The route search is performed based on a degree of difference between a particle selected by the selection unit and a corresponding area in a frame image prior to any one of the frame images. The subject tracking device according to claim 1.
被写体の動画像を取得する取得処理と、
前記取得処理により取得された動画像を構成する複数のフレーム画像の各々にて、被写体の特定部位をパーティクルフィルタを用いた処理により追跡する追跡処理と、
前記複数のフレーム画像のうちの何れか一のフレーム画像について、前記特定部位毎に前記追跡処理により生成された複数のパーティクルと前記何れか一のフレーム画像よりも前のフレーム画像における対応する領域との相違度を基準として動的計画法により所定のグラフ上で経路探索を行う探索処理と、
前記探索処理による探索結果に基づいて、前記何れか一のフレーム画像における前記特定部位の複数のパーティクルの尤度を修正する修正処理と、
前記修正処理による前記複数のフレーム画像のうちの最終フレーム画像よりも前のフレーム画像の各々に係る前記特定部位の前記複数のパーティクルの尤度の修正後に、前記追跡処理による前記最終フレーム画像の前記特定部位の追跡結果に基づいて、前記複数のフレーム画像の各々の前記特定部位の追跡結果を特定する特定処理と、
を含むことを特徴とする被写体追跡方法。 A subject tracking method using a subject tracking device,
An acquisition process for acquiring a moving image of a subject;
In each of the plurality of frame images constituting the moving image acquired by the acquisition process, a tracking process for tracking a specific part of the subject by a process using a particle filter;
For any one of the plurality of frame images, a plurality of particles generated by the tracking process for each specific part and a corresponding region in a frame image before the one frame image, Search processing for performing route search on a predetermined graph by dynamic programming based on the difference between
Based on the search result by the search process, a correction process for correcting the likelihood of the plurality of particles in the specific part in the one frame image,
After the correction of the likelihood of the plurality of particles of the specific part related to each of the frame images before the final frame image of the plurality of frame images by the correction processing, the final frame image of the final frame image by the tracking processing A specifying process for specifying a tracking result of the specific part of each of the plurality of frame images based on a tracking result of the specific part;
A method for tracking an object, comprising:
被写体の動画像を取得する取得手段、
前記取得手段により取得された動画像を構成する複数のフレーム画像の各々にて、被写体の特定部位をパーティクルフィルタを用いた処理により追跡する追跡手段、
前記複数のフレーム画像のうちの何れか一のフレーム画像について、前記特定部位毎に前記追跡手段により生成された複数のパーティクルと前記何れか一のフレーム画像よりも前のフレーム画像における対応する領域との相違度を基準として動的計画法により所定のグラフ上で経路探索を行う探索手段、
前記探索手段による探索結果に基づいて、前記何れか一のフレーム画像における前記特定部位の複数のパーティクルの尤度を修正する修正手段、
前記修正手段による前記複数のフレーム画像のうちの最終フレーム画像よりも前のフレーム画像の各々に係る前記特定部位の前記複数のパーティクルの尤度の修正後に、前記追跡手段による前記最終フレーム画像の前記特定部位の追跡結果に基づいて、前記複数のフレーム画像の各々の前記特定部位の追跡結果を特定する特定手段、
として機能させることを特徴とするプログラム。 Subject tracking device computer
An acquisition means for acquiring a moving image of a subject;
A tracking means for tracking a specific part of a subject by processing using a particle filter in each of a plurality of frame images constituting the moving image acquired by the acquisition means;
Regarding any one of the plurality of frame images, a plurality of particles generated by the tracking unit for each specific part and a corresponding region in a frame image before the one frame image, Search means for performing a route search on a predetermined graph by dynamic programming based on the difference between
Correction means for correcting the likelihood of the plurality of particles in the specific part in the one frame image based on the search result by the search means,
After correcting the likelihood of the plurality of particles in the specific part of each of the frame images before the final frame image of the plurality of frame images by the correcting unit, the tracking unit calculates the likelihood of the final frame image. Identification means for identifying the tracking result of the specific part of each of the plurality of frame images based on the tracking result of the specific part;
A program characterized by functioning as
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013031649A JP5786879B2 (en) | 2013-02-21 | 2013-02-21 | Subject tracking device, subject tracking method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013031649A JP5786879B2 (en) | 2013-02-21 | 2013-02-21 | Subject tracking device, subject tracking method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014160440A JP2014160440A (en) | 2014-09-04 |
JP5786879B2 true JP5786879B2 (en) | 2015-09-30 |
Family
ID=51612073
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013031649A Active JP5786879B2 (en) | 2013-02-21 | 2013-02-21 | Subject tracking device, subject tracking method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5786879B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6336935B2 (en) * | 2015-03-12 | 2018-06-06 | セコム株式会社 | Moving object tracking device |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4766495B2 (en) * | 2007-09-28 | 2011-09-07 | 株式会社ソニー・コンピュータエンタテインメント | Object tracking device and object tracking method |
JP5177030B2 (en) * | 2009-03-17 | 2013-04-03 | 株式会社Jvcケンウッド | Target tracking device |
JP5528151B2 (en) * | 2010-02-19 | 2014-06-25 | パナソニック株式会社 | Object tracking device, object tracking method, and object tracking program |
-
2013
- 2013-02-21 JP JP2013031649A patent/JP5786879B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2014160440A (en) | 2014-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11295413B2 (en) | Neural networks for cropping images based on body key points | |
JP6433149B2 (en) | Posture estimation apparatus, posture estimation method and program | |
JP6970553B2 (en) | Image processing device, image processing method | |
JP6405891B2 (en) | Position / attitude estimation apparatus, position / attitude estimation method, and program | |
US11087493B2 (en) | Depth-image processing device, depth-image processing system, depth-image processing method, and recording medium | |
US20200042782A1 (en) | Distance image processing device, distance image processing system, distance image processing method, and non-transitory computer readable recording medium | |
JP6835218B2 (en) | Crowd state recognizer, learning method and learning program | |
CN109063584B (en) | Facial feature point positioning method, device, equipment and medium based on cascade regression | |
US10062007B2 (en) | Apparatus and method for creating an image recognizing program having high positional recognition accuracy | |
JP6894707B2 (en) | Information processing device and its control method, program | |
JPWO2017122810A1 (en) | Image processing apparatus, image processing method, image processing program, and storage medium | |
CN111626105B (en) | Gesture estimation method and device and electronic equipment | |
JP2016087433A (en) | Medical image processing apparatus and medical image processing method | |
JP5541426B1 (en) | Image processing apparatus, image processing method, and image processing program | |
CN111149101B (en) | Target pattern searching method and computer readable storage medium | |
JP6075294B2 (en) | Image processing system and image processing method | |
JP2023109570A (en) | Information processing device, learning device, image recognition device, information processing method, learning method, and image recognition method | |
JP6579727B1 (en) | Moving object detection device, moving object detection method, and moving object detection program | |
JP5786879B2 (en) | Subject tracking device, subject tracking method and program | |
CN109964229A (en) | Shape Prediction for face alignment | |
JP2003256850A (en) | Movement recognizing device and image processor and its program | |
JP6622150B2 (en) | Information processing apparatus and information processing method | |
US10440350B2 (en) | Constructing a user's face model using particle filters | |
JP5677234B2 (en) | Edge detection device and program thereof | |
JP2011232845A (en) | Feature point extracting device and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140929 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150624 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150630 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150713 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5786879 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |