JP6627450B2 - Feature point tracking device, feature point tracking method and program - Google Patents

Feature point tracking device, feature point tracking method and program Download PDF

Info

Publication number
JP6627450B2
JP6627450B2 JP2015227969A JP2015227969A JP6627450B2 JP 6627450 B2 JP6627450 B2 JP 6627450B2 JP 2015227969 A JP2015227969 A JP 2015227969A JP 2015227969 A JP2015227969 A JP 2015227969A JP 6627450 B2 JP6627450 B2 JP 6627450B2
Authority
JP
Japan
Prior art keywords
point
tracking
candidate
condition
feature point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015227969A
Other languages
Japanese (ja)
Other versions
JP2017097554A (en
Inventor
正雄 松原
正雄 松原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2015227969A priority Critical patent/JP6627450B2/en
Publication of JP2017097554A publication Critical patent/JP2017097554A/en
Application granted granted Critical
Publication of JP6627450B2 publication Critical patent/JP6627450B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

本発明は、特徴点追跡装置、特徴点追跡方法及びプログラムに関する。   The present invention relates to a feature point tracking device, a feature point tracking method, and a program.

動画中の特徴点を時間的に追跡する技術が知られている。例えば、特許文献１は、ビデオ画像中の特徴点を追跡することにより移動物体を追跡する画像処理装置を開示している。   A technique for temporally tracking feature points in a moving image is known. For example, Patent Literature 1 discloses an image processing apparatus that tracks a moving object by tracking feature points in a video image.

特開２００５−２５０９８９号公報JP 2005-250989 A

特許文献１に開示された画像処理装置は、特徴点を追跡している際、真正な追跡点ではない点を追跡点として誤認識してしまう場合がある。このような場合、特許文献１に開示された画像処理装置は、真正な追跡点ではないにも関わらず追跡点として誤認識した点を採用してしまうことも、この点に基づいて特徴点の追跡を続行することにより特徴点を不正確に追跡してしまうことも、防げなかった。   When the image processing apparatus disclosed in Patent Document 1 tracks a feature point, a point that is not a true tracking point may be erroneously recognized as a tracking point. In such a case, the image processing apparatus disclosed in Patent Literature 1 may employ a point that is incorrectly recognized as a tracking point although the tracking point is not a true tracking point. Incorrect tracking of feature points by continuing tracking could not be prevented.

本発明は、上記事情に鑑みてなされたものであり、追跡点の誤認識に対して頑健な特徴点追跡を行う特徴点追跡装置、特徴点追跡方法及びプログラムを提供することを目的とする。   The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a feature point tracking device, a feature point tracking method, and a program that perform feature point tracking robust against erroneous recognition of tracking points.

上記目的を達成するため、本発明に係る特徴点追跡装置は、
連続する複数の画像のうち一の画像から特徴点を抽出する抽出手段と、
前記複数の画像のうち前記一の画像よりも撮像時刻が新しい、又は古い他の画像を指定する指定手段と、
前記他の画像における前記特徴点の追跡点の候補である候補点の座標を、ＳＡＤ（Sum of Absolute Difference）の評価に基づいたブロックマッチング法を用いて算出する追跡手段と、
前記候補点の座標を算出した際に取得したＳＡＤの最小値が所定の複数の条件の何れにも該当しないことである第１条件と、前記候補点の座標が所定の式を満たすことである第２条件と、を満たすか否かを判定する判定手段と、
前記判定手段による判定の結果に基づいて、前記候補点を前記特徴点の追跡点として採用するか否かを決定する決定手段と、
前記決定手段が前記候補点を前記特徴点の追跡点として採用すると決定した場合に、前記候補点を前記連続する複数の画像中の前記特徴点の軌跡である特徴点軌道の構成点として取得すると共に、前記複数の画像のうち前記指定手段が指定する画像を変えて、前記追跡手段、前記判定手段及び前記決定手段の処理を繰り返すことにより、前記特徴点軌道を構築する構築手段と、を備え、
前記追跡手段は、前記候補点が前記第１条件を満たすものの前記第２条件を満たさないと前記判定手段が判定した場合、前記一の画像と前記他の画像との何れよりも撮像時刻の新しい、又は古いさらに他の画像における前記特徴点の追跡点の候補である他の候補点の座標を算出し、
前記判定手段は、前記他の候補点が前記第１条件と前記第２条件とを満たすか否かを判定し、
前記決定手段は、前記判定手段による判定の結果に基づいて、前記他の候補点を前記特徴点の追跡点として採用するか否かを決定し、
前記構築手段は、前記決定手段が前記他の候補点を前記特徴点の追跡点として採用すると決定した場合に、前記他の候補点を前記特徴点軌道の構成点として取得することを特徴とする。 In order to achieve the above object, a feature point tracking device according to the present invention includes:
Extracting means for extracting feature points from one image of a plurality of continuous images,
Designation means for designating another image whose imaging time is newer or older than the one image of the plurality of images,
Tracking means for calculating the coordinates of a candidate point which is a candidate for the tracking point of the feature point in the other image using a block matching method based on the evaluation of SAD (Sum of Absolute Difference) ;
A first condition that the minimum value of the SAD obtained when calculating the coordinates of the candidate point does not correspond to any of the predetermined conditions, and that the coordinates of the candidate point satisfy a predetermined expression. A second condition, and a determination means for determining whether or not the second condition is satisfied;
Determining means for determining whether to adopt the candidate point as a tracking point of the feature point, based on a result of the determination by the determining means;
When the determining unit determines that the candidate point is adopted as the tracking point of the feature point, the candidate point is acquired as a constituent point of a feature point trajectory that is a trajectory of the feature point in the plurality of continuous images. Constructing means for constructing the feature point trajectory by changing the image designated by the designation means among the plurality of images and repeating the processing of the tracking means, the determination means and the determination means. ,
The tracking unit, when the determination unit determines that the candidate point satisfies the first condition but does not satisfy the second condition, has a newer imaging time than any of the one image and the other image. , Or calculate the coordinates of another candidate point that is a candidate for the tracking point of the feature point in still another image,
The determination means determines whether the other candidate point satisfies the first condition and the second condition,
The determining unit determines whether to adopt the other candidate point as a tracking point of the feature point based on a result of the determination by the determining unit,
The construction means acquires the other candidate point as a constituent point of the feature point trajectory when the decision means decides to adopt the another candidate point as a tracking point of the feature point. .

本発明によれば、追跡点の誤認識に対して頑健な特徴点追跡を行う特徴点追跡装置、特徴点追跡方法及びプログラムを提供できる。   According to the present invention, it is possible to provide a feature point tracking device, a feature point tracking method, and a program that perform feature point tracking robust against erroneous recognition of tracking points.

本発明の実施形態に係る特徴点追跡装置の物理的構成例を示すブロック図である。FIG. 2 is a block diagram illustrating a physical configuration example of a feature point tracking device according to an embodiment of the present invention. 本発明の実施形態に係る特徴点追跡装置の機能的構成例を示すブロック図である。It is a block diagram showing the example of functional composition of the feature point tracking device concerning the embodiment of the present invention. 本発明の実施形態に係る特徴点追跡装置が実行する特徴点追跡処理を説明するためのフローチャートである。5 is a flowchart illustrating a feature point tracking process performed by the feature point tracking device according to the embodiment of the present invention. (ａ）、（ｂ）は、何れも、本発明の実施形態に係る特徴点追跡装置の特長を説明するための図である。（ａ）は、対比例に係る特徴点追跡装置による特徴点の追跡を説明するための図である。（ｂ）は、本発明の実施形態に係る特徴点追跡装置による特徴点の追跡を説明するための図である。(a), (b) is a figure for demonstrating the characteristic of the feature-point tracking apparatus which concerns on embodiment of this invention. (A) is a figure for demonstrating the tracking of the feature point by the feature point tracking apparatus concerning a comparative example. (B) is a figure for explaining feature point tracking by the feature point tracking device according to the embodiment of the present invention. （ａ）、（ｂ）は、何れも、本発明の実施形態に係る特徴点追跡装置の特長を説明するための他の図である。（ａ）は、他の対比例に係る特徴点追跡装置による特徴点の追跡を説明するための図である。（ｂ）は、本発明の実施形態に係る特徴点追跡装置による特徴点の追跡を説明するための他の図である。(A), (b) is another figure for demonstrating the characteristic of the feature-point tracking apparatus which concerns on embodiment of this invention. (A) is a figure for demonstrating the tracking of the feature point by the feature point tracking apparatus which concerns on another comparative example. (B) is another figure for explaining feature point tracking by the feature point tracking device according to the embodiment of the present invention.

以下、本発明の実施形態に係る特徴点追跡装置の機能及び動作を、図面を参照しながら詳細に説明する。図中、互いに同一又は同等の部分に同一の符号を付す。   Hereinafter, functions and operations of the feature point tracking device according to the embodiment of the present invention will be described in detail with reference to the drawings. In the drawings, the same or equivalent parts are denoted by the same reference numerals.

特徴点追跡装置は、連続する複数の画像中の特徴点を時間的に追跡し、連続する複数の画像中のこの特徴点の軌跡である特徴点軌道を構築する。この連続する複数の画像は、時間的に連続した複数の画像であり、以下、動画と称する。特徴点の定義は、ユーザの必要に応じて、任意に設定できる。本実施形態において、特徴点は、動画を構成する画像が含む画素のうち、その画素の輝度値と周囲の画素の輝度値との差が所定の閾値以上の画素である。   The feature point tracking device temporally tracks feature points in a plurality of continuous images, and constructs a feature point trajectory that is a trajectory of the feature points in a plurality of continuous images. The continuous plural images are temporally continuous plural images, and are hereinafter referred to as moving images. The definition of the feature points can be set arbitrarily as required by the user. In the present embodiment, the feature point is a pixel of which the difference between the luminance value of the pixel and the luminance value of the surrounding pixels is a predetermined threshold or more among the pixels included in the image forming the moving image.

特徴点追跡装置１は、図１に示すように、ＣＰＵ（Central Processing Unit）１０と、記憶部２０と、入力部３０と、出力部４０と、外部インタフェース５０と、を備えている。   The feature point tracking device 1 includes a CPU (Central Processing Unit) 10, a storage unit 20, an input unit 30, an output unit 40, and an external interface 50, as shown in FIG.

ＣＰＵ１０は、記憶部２０に記憶された各種プログラムを実行する。具体的に、ＣＰＵ１０は、記憶部２０に記憶された制御プログラムを実行することにより、特徴点追跡装置１全体を制御する。また、ＣＰＵ１０は、記憶部２０に記憶された特徴点追跡プログラムを実行することにより、後述する抽出部１００、指定部１１０、追跡部１２０、判定部１３０、決定部１４０及び構築部１５０の機能を実現する。   The CPU 10 executes various programs stored in the storage unit 20. Specifically, the CPU 10 controls the entire feature point tracking device 1 by executing a control program stored in the storage unit 20. Further, the CPU 10 executes the feature point tracking program stored in the storage unit 20 to execute the functions of the extraction unit 100, the designation unit 110, the tracking unit 120, the determination unit 130, the determination unit 140, and the construction unit 150, which will be described later. Realize.

記憶部２０は、ＲＯＭ（Read-Only Memory）及び不揮発性メモリ（例えば、フラッシュメモリ）を備え、各種データ及び各種プログラムを記憶する。具体的に、本実施形態において、記憶部２０は、特徴点追跡装置１が図示しない外部装置から取得した動画を予め記憶している。また、記憶部２０は、制御プログラム及び特徴点追跡プログラムを含む各種プログラムを記憶している。また、記憶部２０は、ＲＡＭ（Random Access Memory）を備え、ＣＰＵ１０のワークメモリとして機能する。   The storage unit 20 includes a ROM (Read-Only Memory) and a nonvolatile memory (for example, a flash memory), and stores various data and various programs. Specifically, in the present embodiment, the storage unit 20 stores in advance the moving image acquired by the feature point tracking device 1 from an external device (not shown). The storage unit 20 stores various programs including a control program and a feature point tracking program. The storage unit 20 includes a random access memory (RAM) and functions as a work memory of the CPU 10.

入力部３０は、ユーザの操作に従って入力を受け付ける。入力部３０は、受け付けた入力をＣＰＵ１０へ供給する。   The input unit 30 receives an input according to a user operation. The input unit 30 supplies the received input to the CPU 10.

出力部４０は、各種データを出力する。具体的に、出力部４０は、ディスプレイを備え、記憶部２０に記憶された動画及び特徴点追跡装置１が構築した特徴点軌道を示す画像を含む各種動画像を出力する。   The output unit 40 outputs various data. Specifically, the output unit 40 includes a display, and outputs various moving images including a moving image stored in the storage unit 20 and an image indicating the feature point trajectory constructed by the feature point tracking device 1.

外部インタフェース５０は、図示しない外部装置との間でデータをやり取りする。例えば、外部インタフェース５０は、外部装置から動画を取得する。   The external interface 50 exchanges data with an external device (not shown). For example, the external interface 50 acquires a moving image from an external device.

上記の物理的構成を有する特徴点追跡装置１は、機能的に、図２に示すように、抽出部１００と、指定部１１０と、追跡部１２０と、判定部１３０と、決定部１４０と、構築部１５０と、を備えている。   As shown in FIG. 2, the feature point tracking device 1 having the above-described physical configuration functionally includes an extraction unit 100, a designation unit 110, a tracking unit 120, a determination unit 130, a determination unit 140, And a construction unit 150.

抽出部１００は、動画を構成する複数の画像のうちＣＰＵ１０が指定した第ｎフレームの画像から追跡対象となる特徴点Ｐｎを抽出する。第ｎフレームの画像は、請求項中の「一の画像」に相当する。特徴点Ｐｎは、請求項中の「抽出手段」が抽出する「特徴点」に相当する。抽出部１００は、任意の公知技術を用いて画像から特徴点Ｐｎを抽出すればよい。特徴点Ｐｎの抽出に利用可能な公知技術の例としては、Harris/Plessey法、KLT法、Hessian法等が挙げられる。   The extraction unit 100 extracts a feature point Pn to be tracked from the image of the n-th frame specified by the CPU 10 among a plurality of images constituting a moving image. The image of the n-th frame corresponds to “one image” in the claims. The feature points Pn correspond to “feature points” extracted by “extraction means” in the claims. The extracting unit 100 may extract the feature point Pn from the image using any known technique. Examples of known techniques that can be used for extracting the feature point Pn include the Harris / Plessey method, the KLT method, and the Hessian method.

本実施形態において、抽出部１００は、画像中の点のうち、この点の座標（ｘ、ｙ）が下記の式（１）を満たす点を特徴点として抽出する。式（１）中、Ｔｈ１、Ｔｈ２及びＴｈ３は、何れも所定の閾値である。閾値Ｔｈ１、Ｔｈ２及びＴｈ３は、実験等の任意の手法を用いて、適宜設定すればよい。本実施形態において、閾値Ｔｈ３は、３に設定されている。式（１）中、λｍａｘとλｍｉｎとは、点の座標（ｘ、ｙ）に対して式（２）を満たす行列の固有値λである。なお、λｍａｘは、λｍｉｎより大きいものとする。式（２）を満たす行列の固有値λであるλｍａｘ及びλｍｉｎは、式（３）で表される。式（２）、（３）中、Ｉｘは、画像の輝度値のｘ軸方向における微分値を表す。Ｉｙは、画像の輝度値のｙ軸方向における微分値を表す。ｗは、ガウス関数で表される重みを表す。Σは、座標（ｘ、ｙ）を中心とする所定範囲内で積算することを表す。   In the present embodiment, the extraction unit 100 extracts, as feature points, points in the image at which the coordinates (x, y) of the points satisfy the following expression (1). In Expression (1), Th1, Th2, and Th3 are all predetermined thresholds. The thresholds Th1, Th2, and Th3 may be set as appropriate using any method such as an experiment. In the present embodiment, the threshold Th3 is set to 3. In Expression (1), λmax and λmin are eigenvalues λ of a matrix that satisfies Expression (2) with respect to point coordinates (x, y). Note that λmax is larger than λmin. [Lambda] max and [lambda] min, which are eigenvalues [lambda] of the matrix satisfying equation (2), are represented by equation (3). In the expressions (2) and (3), Ix represents a differential value of the luminance value of the image in the x-axis direction. Iy represents a differential value of the luminance value of the image in the y-axis direction. w represents a weight represented by a Gaussian function. Σ indicates that integration is performed within a predetermined range around the coordinates (x, y).

指定部１１０は、動画を構成する複数の画像のうち、第ｎフレームの画像よりも撮像時刻が新しい第ｓフレームの画像を指定する。「第ｓフレームの画像」は、請求項中の「他の画像」に相当する。   The specifying unit 110 specifies an image of the s-th frame whose imaging time is newer than that of the image of the n-th frame among a plurality of images constituting the moving image. The “image of the s-th frame” corresponds to “another image” in the claims.

また、指定部１１０は、動画を構成する複数の画像のうち、第ｎフレームの画像と第ｓフレームの画像との何れよりも撮像時刻の新しい第ｔフレームの画像を指定する。「第ｔフレームの画像」は、請求項中の「さらに他の画像」に相当する。   Further, the specifying unit 110 specifies an image of the t-th frame whose imaging time is newer than any of the image of the n-th frame and the image of the s-th frame among the plurality of images constituting the moving image. The “image of the t-th frame” corresponds to “another image” in the claims.

本実施形態において、指定部１１０は、第ｎフレームの画像の次に撮像時刻が新しい画像、すなわち第ｎフレームの次のフレームの画像を、第ｓフレームの画像として指定する。また、指定部１１０は、第ｓフレームの画像の次に撮像時刻が新しい画像、すなわち第ｓフレームの次のフレームの画像を、第ｔフレームの画像として指定する。   In the present embodiment, the specifying unit 110 specifies an image whose imaging time is new after the image of the n-th frame, that is, an image of a frame next to the n-th frame as an image of the s-th frame. Further, the specifying unit 110 specifies an image whose imaging time is new after the image of the s-th frame, that is, an image of a frame next to the s-th frame as an image of the t-th frame.

追跡部１２０は、第ｓフレームの画像における特徴点Ｐｎの追跡点の候補である候補点Ｑｓの座標を算出する。「候補点Ｑｓ」は、請求項中の「候補点」に相当する。   The tracking unit 120 calculates the coordinates of a candidate point Qs that is a candidate for a tracking point of the feature point Pn in the image of the s-th frame. “Candidate point Qs” corresponds to “candidate point” in the claims.

また、追跡部１２０は、候補点Ｑｓが、後述する第１条件を満たすものの後述する第２条件を満たさないと判定部１３０が判定した場合、第ｔフレームの画像における特徴点Ｐｎの追跡点の候補である候補点Ｑｔの座標を算出する。「候補点Ｑｔ」は、請求項中の「他の候補点」に相当する。   In addition, when the determination unit 130 determines that the candidate point Qs satisfies the first condition described later but does not satisfy the second condition described later, the tracking unit 120 determines the tracking point of the feature point Pn in the image of the t-th frame. The coordinates of the candidate point Qt that is a candidate are calculated. “Candidate point Qt” corresponds to “other candidate points” in the claims.

追跡部１２０は、任意の公知技術を用いて候補点Ｑｓ及び候補点Ｑｔの座標を算出すればよい。本実施形態において、追跡部１２０は、公知技術である差分絶対値和（以下、ＳＡＤ（Sum of Absolute Difference）と称する。）の評価に基づいたブロックマッチング法を用いて候補点の座標を算出する。以下、ある画像（以下、追跡元の画像と称する。）が含む点（以下、追跡対象の点と称する。）の別の画像（以下、追跡先の画像と称する。）における候補点の座標を、ＳＡＤの評価に基づいたブロックマッチング法を用いて算出する方法を説明する。   The tracking unit 120 may calculate the coordinates of the candidate point Qs and the candidate point Qt using any known technique. In the present embodiment, the tracking unit 120 calculates the coordinates of the candidate point using a block matching method based on the evaluation of the sum of absolute differences (hereinafter, referred to as SAD (Sum of Absolute Difference)), which is a known technique. . Hereinafter, the coordinates of a candidate point in another image (hereinafter, referred to as a tracking destination image) of a point (hereinafter, referred to as a tracking target point) included in a certain image (hereinafter, referred to as a tracking source image). , A calculation method using a block matching method based on the evaluation of the SAD will be described.

まず、追跡元の画像から、追跡対象の点を中心とし、所定の形状及びサイズを有する画像領域を切り出す。以下、この画像領域をテンプレートと称する。次に、追跡先の画像において、テンプレートとの間の相違度が最も小さい画像領域を特定する。そして、特定した画像領域の中心の座標を、候補点の座標として算出する。なお、本実施形態において、追跡部１２０は、追跡先の画像中のテンプレートとの間の相違度が最も小さい画像領域を探索するための方法として、処理負荷を抑制しつつ広範囲において探索を行える、粗密探索法を用いる。粗密探索法は公知技術であるため、説明は省略する。   First, an image area having a predetermined shape and size is cut out from a tracking source image, centering on a point to be tracked. Hereinafter, this image area is referred to as a template. Next, in the image of the tracking destination, an image area having the smallest difference from the template is specified. Then, the coordinates of the center of the specified image area are calculated as the coordinates of the candidate point. Note that, in the present embodiment, the tracking unit 120 can perform a search over a wide range while suppressing the processing load, as a method for searching for an image area having the smallest difference from the template in the image of the tracking destination. A coarse-to-fine search method is used. Since the coarse / fine search method is a known technique, its description is omitted.

ＳＡＤの評価に基づいたブロックマッチング法において、追跡先の画像が含む画像領域とテンプレートとの間の相違度は、下記の式（４）で表されるＳＡＤによって表される。式（４）で表されるＳＡＤの値が最も小さい画像領域が、テンプレートとの間の相違度が最も小さい画像領域である。式（４）中、Ｉ（ｘ，ｙ）は、追跡先の画像中の座標（ｘ，ｙ）における画素の輝度を表す。Ｔ（ｘ，ｙ）は、テンプレート中の座標（ｘ，ｙ）における画素の輝度を表す。Σは、テンプレートの全領域にわたって積算することを表す。   In the block matching method based on the evaluation of the SAD, the difference between the image area included in the image of the tracking destination and the template is represented by the SAD represented by the following equation (4). The image area with the smallest SAD value represented by equation (4) is the image area with the smallest difference from the template. In Expression (4), I (x, y) represents the luminance of a pixel at coordinates (x, y) in the image of the tracking destination. T (x, y) represents the luminance of the pixel at the coordinates (x, y) in the template. Σ represents integration over the entire area of the template.

判定部１３０は、候補点Ｑｓ又は候補点Ｑｔが、第１条件と、第１条件とは異なる第２条件と、を満たすか否かを判定する。ユーザは、入力部３０を介し、真正な追跡点を識別する上で有効な、互いに異なる任意の２つの条件を、第１条件及び第２条件としてそれぞれ設定できる。   The determining unit 130 determines whether the candidate point Qs or the candidate point Qt satisfies the first condition and a second condition different from the first condition. The user can set any two different conditions effective for identifying a genuine tracking point via the input unit 30 as the first condition and the second condition, respectively.

本実施形態において、第１条件は、特徴点Ｐｎの追跡点であるための必要条件である。本実施形態において、候補点Ｑｓ又は候補点Ｑｔが特徴点Ｐｎの追跡点であるための必要条件は、追跡部１２０がＳＡＤの評価に基づくブロックマッチング法を用いてこれらの候補点の座標を算出した際に取得したＳＡＤの最小値が、下記の条件（Ａ）〜（Ｃ）の何れにも該当しないことである。なお、条件（Ａ）における閾値と、条件（Ｃ）におけるエラー範囲は、実験等の任意の公知技術を用い、予め適宜設定しておけばよい。
（Ａ）ＳＡＤの最小値が所定の閾値以下である。
（Ｂ）隣り合わない複数の点が、ＳＡＤの最小値を有する。
（Ｃ）ＳＡＤの最小値を有する点が、探索範囲の外周部に予め設定されたエラー範囲内に含まれている。 In the present embodiment, the first condition is a necessary condition for being a tracking point of the feature point Pn. In the present embodiment, a necessary condition for the candidate point Qs or the candidate point Qt to be a tracking point of the feature point Pn is that the tracking unit 120 calculates the coordinates of these candidate points using a block matching method based on SAD evaluation. That is, the minimum value of the SAD obtained at this time does not correspond to any of the following conditions (A) to (C). Note that the threshold value in the condition (A) and the error range in the condition (C) may be appropriately set in advance by using any known technique such as an experiment.
(A) The minimum value of the SAD is equal to or less than a predetermined threshold.
(B) A plurality of non-adjacent points have the minimum value of SAD.
(C) The point having the minimum value of the SAD is included in an error range set in advance on the outer periphery of the search range.

また、本実施形態において、第２条件は、特徴点であるための十分条件である。本実施形態において、候補点Ｑｓ又は候補点Ｑｔが特徴点であるための十分条件は、これらの候補点の座標が、上記の式（１）を満たすことである。   Further, in the present embodiment, the second condition is a sufficient condition for being a feature point. In the present embodiment, a sufficient condition for the candidate point Qs or the candidate point Qt to be a feature point is that the coordinates of these candidate points satisfy the above equation (1).

決定部１４０は、判定部１３０による判定の結果に基づいて、候補点Ｑｓ又は候補点Ｑｔを、特徴点Ｐｎの追跡点として採用するか否かを決定する。   The determination unit 140 determines whether to adopt the candidate point Qs or the candidate point Qt as a tracking point of the feature point Pn based on the result of the determination by the determination unit 130.

具体的に、決定部１４０は、候補点Ｑｓが第１条件及び第２条件を満たすと判定部１３０が判定した場合、候補点Ｑｓを特徴点Ｐｎの追跡点として採用すると決定する。決定部１４０は、候補点Ｑｓが第１条件を満たさないと判定部１３０が判定した場合、候補点Ｑｓを特徴点Ｐｎの追跡点として採用しないと決定する。   Specifically, when the determining unit 130 determines that the candidate point Qs satisfies the first condition and the second condition, the determining unit 140 determines that the candidate point Qs is adopted as a tracking point of the feature point Pn. When the determination unit 130 determines that the candidate point Qs does not satisfy the first condition, the determination unit 140 determines that the candidate point Qs is not adopted as a tracking point of the feature point Pn.

前述したとおり、候補点Ｑｓが、第１条件を満たすものの第２条件を満たさないと判定部１３０が判定した場合、追跡部１２０は、候補点Ｑｔの座標を算出する。決定部１４０は、候補点Ｑｔが第１条件と第２条件とを満たすと判定部１３０が判定した場合、候補点Ｑｔと、第１条件を満たすものの第２条件を満たさないと判定部１３０が判定した候補点Ｑｓと、を特徴点Ｐｎの追跡点として採用すると決定する。決定部１４０は、候補点Ｑｔが第１条件と第２条件とのうち少なくとも何れか一方を満たさないと判定部１３０が判定した場合、候補点Ｑｔと、第１条件を満たすものの第２条件を満たさないと判定部１３０が判定した候補点Ｑｓと、を特徴点Ｐｎの追跡点として採用しないと決定する。   As described above, when the determination unit 130 determines that the candidate point Qs satisfies the first condition but does not satisfy the second condition, the tracking unit 120 calculates the coordinates of the candidate point Qt. When the determining unit 130 determines that the candidate point Qt satisfies the first condition and the second condition, the determining unit 140 determines that the candidate point Qt and the candidate point Qt satisfy the first condition but do not satisfy the second condition. It is determined that the determined candidate point Qs and the tracking point of the feature point Pn are adopted. When the determination unit 130 determines that the candidate point Qt does not satisfy at least one of the first condition and the second condition, the determination unit 140 determines the candidate point Qt and the second condition of the one that satisfies the first condition. It is determined that the candidate point Qs determined by the determination unit 130 not to be satisfied is not adopted as the tracking point of the feature point Pn.

すなわち、決定部１４０は、候補点Ｑｓが第１条件は満たすものの第２条件は満たさないと判定された場合であっても、候補点Ｑｔが第１条件と第２条件を満たしたことを条件として、候補点Ｑｔと共に候補点Ｑｓも特徴点Ｐｎの追跡点として採用すると決定する。   That is, the determination unit 140 determines that the candidate point Qt satisfies the first condition and the second condition even if it is determined that the candidate point Qs satisfies the first condition but does not satisfy the second condition. It is determined that the candidate point Qs is adopted as the tracking point of the feature point Pn together with the candidate point Qt.

構築部１５０は、決定部１４０が候補点Ｑｓを特徴点Ｐｎの追跡点として採用すると決定した場合に、候補点Ｑｓを動画中の特徴点Ｐｎの軌跡である特徴点軌道の構成点として取得する。具体的に、構築部１５０は、追跡点として採用されると決定された候補点Ｑｓの座標を、特徴点軌道の第ｓフレームにおける構成点として記憶部２０に記憶させる。また、構築部１５０は、決定部１４０が候補点Ｑｔを特徴点Ｐｎの追跡点として採用すると決定した場合に、候補点Ｑｔを動画中の特徴点Ｐｎの軌跡である特徴点軌道の構成点として取得する。具体的に、構築部１５０は、追跡点として採用されると決定された候補点Ｑｔの座標を、特徴点軌道の第ｔフレームにおける構成点の座標として取得し、記憶部２０に記憶させる。   When the deciding unit 140 decides to adopt the candidate point Qs as the tracking point of the feature point Pn, the construction unit 150 acquires the candidate point Qs as a constituent point of the feature point trajectory which is the trajectory of the feature point Pn in the moving image. . Specifically, the construction unit 150 causes the storage unit 20 to store the coordinates of the candidate point Qs determined to be adopted as the tracking point as a constituent point in the s-th frame of the feature point trajectory. In addition, when the determining unit 140 determines that the candidate point Qt is adopted as the tracking point of the feature point Pn, the construction unit 150 sets the candidate point Qt as a constituent point of a feature point trajectory that is a trajectory of the feature point Pn in the moving image. get. Specifically, the construction unit 150 acquires the coordinates of the candidate point Qt determined to be adopted as the tracking point as the coordinates of the constituent points in the t-th frame of the feature point trajectory, and stores the coordinates in the storage unit 20.

また、構築部１５０は、動画が含む複数の画像のうち指定部１１０が第ｎフレームの画像として指定する画像を変えて、追跡部１２０、判定部１３０及び決定部１４０の処理を繰り返すことにより、追跡開始フレームから追跡終了フレームにわたって特徴点軌道を構築する。追跡開始フレームは、特徴点追跡装置１が特徴点の追跡を開始するフレームである。追跡終了フレームは、特徴点追跡装置１が特徴点の追跡を終了するフレームである。ユーザは、入力部３０を介し、任意のフレームを追跡開始フレーム及び追跡終了フレームとして設定できる。本実施形態では、動画の最初のフレームが追跡開始フレームとして、動画の最後のフレームが追跡終了フレームとして、それぞれ予め設定されている。   Further, the construction unit 150 changes the image designated by the designation unit 110 as the image of the n-th frame among the plurality of images included in the moving image, and repeats the processing of the tracking unit 120, the determination unit 130, and the determination unit 140, A feature point trajectory is constructed from the tracking start frame to the tracking end frame. The tracking start frame is a frame at which the feature point tracking device 1 starts tracking feature points. The tracking end frame is a frame at which the feature point tracking device 1 ends tracking of the feature points. The user can set an arbitrary frame as the tracking start frame and the tracking end frame via the input unit 30. In the present embodiment, the first frame of the moving image is set in advance as the tracking start frame, and the last frame of the moving image is set in advance as the tracking end frame.

以下、上記の物理的・機能的構成を有する特徴点追跡装置１が実行する特徴点追跡処理を、図３のフローチャートを参照して説明する。特徴点追跡装置１は、特徴点追跡処理を実行することにより、動画中の特徴点を時間的に追跡し、動画中のこの特徴点の軌跡である特徴点軌道を構築する。   Hereinafter, a feature point tracking process executed by the feature point tracking device 1 having the above-described physical / functional configuration will be described with reference to a flowchart of FIG. The feature point tracking device 1 performs a feature point tracking process to temporally track a feature point in a moving image and constructs a feature point trajectory that is a trajectory of the feature point in the moving image.

なお、特徴点追跡装置１は任意の個数の特徴点を追跡できるものの、以下の説明では、理解を容易にするため、特徴点追跡装置１が１個の特徴点を追跡する場合を例に用いて説明する。   Although the feature point tracking device 1 can track an arbitrary number of feature points, the following description uses an example in which the feature point tracking device 1 tracks one feature point for easy understanding. Will be explained.

特徴点追跡装置１は、外部インタフェース５０を介して外部装置から動画を予め取得し、記憶部２０に記憶している。動画は、時間的に連続して撮像された複数の画像を含んでいる。この状態において、特徴点の追跡を所望するユーザが入力部３０を介して特徴点の追跡を指示すると、ＣＰＵ１０は、この指示に応答し、図３のフローチャートに示す特徴点追跡処理を開始する。   The feature point tracking device 1 previously acquires a moving image from an external device via the external interface 50, and stores the moving image in the storage unit 20. The moving image includes a plurality of images captured consecutively in time. In this state, when the user who wants to track the feature points instructs to track the feature points via the input unit 30, the CPU 10 starts the feature point tracking process shown in the flowchart of FIG.

まず、ＣＰＵ１０は、追跡開始フレームを第ｎフレームとして指定する（ステップＳ１０１）。抽出部１００は、動画の第ｎフレームの画像を取得し（ステップＳ１０２）、この画像から特徴点Ｐｎを抽出する（ステップＳ１０３）。具体的に、抽出部１００は、第ｎフレームの画像が含む点のうち、その点の座標（ｘ、ｙ）が上記の式（１）を満たす点を、特徴点Ｐｎとして抽出する。   First, the CPU 10 specifies a tracking start frame as an n-th frame (step S101). The extracting unit 100 acquires an image of the n-th frame of the moving image (Step S102), and extracts a feature point Pn from the image (Step S103). Specifically, the extraction unit 100 extracts, from the points included in the image of the n-th frame, a point at which the coordinates (x, y) of the point satisfy the above equation (1) as the feature point Pn.

以下の説明では、理解を容易にするため、ステップＳ１０３で１個の特徴点が抽出されたものとして説明する。ステップＳ１０３において複数の特徴点が抽出された場合には、抽出部１００が、抽出された複数の特徴点のうち任意の１個を、任意の基準に基づいて、追跡対象として選択すればよい。あるいは、ユーザが、入力部３０を介し、追跡対象の特徴点を指定してもよい。   In the following description, it is assumed that one feature point has been extracted in step S103 for easy understanding. When a plurality of feature points are extracted in step S103, the extraction unit 100 may select any one of the extracted plurality of feature points as a tracking target based on an arbitrary criterion. Alternatively, the user may specify a feature point to be tracked via the input unit 30.

次に、指定部１１０が、第ｎフレームの次のフレームである第（ｎ＋１）フレームを、第ｓフレームとして指定する（ステップＳ１０４）。   Next, the specifying unit 110 specifies the (n + 1) th frame, which is the next frame after the nth frame, as the sth frame (step S104).

追跡部１２０は、動画の第ｓフレームの画像を取得する（ステップＳ１０５）。追跡部１２０は、ステップＳ１０３で抽出した特徴点Ｐｎの座標に基づいて、特徴点Ｐｎの第ｓフレームの画像における追跡点の候補である候補点Ｑｓの座標を算出する（ステップＳ１０６）。具体的に、追跡部１２０は、特徴点Ｐｎの座標に基づき、ＳＡＤの評価に基づくブロックマッチング法を用いて、候補点Ｑｓの座標を算出する。   The tracking unit 120 acquires the image of the s-th frame of the moving image (Step S105). The tracking unit 120 calculates the coordinates of the candidate point Qs, which is a candidate for a tracking point in the image of the s-th frame of the feature point Pn, based on the coordinates of the feature point Pn extracted in step S103 (step S106). Specifically, the tracking unit 120 calculates the coordinates of the candidate point Qs based on the coordinates of the feature point Pn using a block matching method based on the evaluation of the SAD.

判定部１３０は、候補点Ｑｓが第１条件を満たすか否かを判定する。すなわち、判定部１３０は、候補点Ｑｓが特徴点Ｐｎの追跡点であるための必要条件を満たすか否かを判定する（ステップＳ１０７）。具体的に、判定部１３０は、ステップＳ１０６でＳＡＤの評価に基づくブロックマッチング法を用いて候補点Ｑｓの座標を算出した際に取得されたＳＡＤの最小値が、上記（Ａ）〜（Ｃ）の何れの条件にも該当しないか否かを判定する。   The determination unit 130 determines whether or not the candidate point Qs satisfies the first condition. That is, the determination unit 130 determines whether or not the candidate point Qs satisfies a necessary condition for being a tracking point of the feature point Pn (step S107). Specifically, the determination unit 130 determines that the minimum value of the SAD obtained when the coordinates of the candidate point Qs is calculated using the block matching method based on the evaluation of the SAD in step S106, as described above in (A) to (C). It is determined whether none of the above conditions is satisfied.

候補点Ｑｓが特徴点Ｐｎの追跡点であるための必要条件を満たさないと判定された場合（ステップＳ１０７；ＮＯ）、特徴点追跡装置１が、特徴点Ｐｎの第ｎフレームから第ｓフレームにわたる移動の追跡に失敗した可能性が高い。この場合、特徴点追跡装置１は、追跡を中止し、それまで追跡していた特徴点とは異なる特徴点の追跡を開始する。   When it is determined that the necessary condition for the candidate point Qs to be the tracking point of the feature point Pn is not satisfied (Step S107; NO), the feature point tracking device 1 extends from the nth frame to the sth frame of the feature point Pn. It is likely that tracking the movement failed. In this case, the feature point tracking device 1 stops tracking and starts tracking a feature point different from the feature point that has been tracked up to then.

具体的に、候補点Ｑｓが特徴点Ｐｎの追跡点であるための必要条件を満たさないと判定部１３０が判定すると（ステップＳ１０７；ＮＯ）、決定部１４０は、候補点Ｑｓを特徴点Ｐｎの追跡点として採用しないと決定する（ステップＳ１２１）。そして、ＣＰＵ１０が値ｎを１だけインクリメントし（ステップＳ１２０）、終了条件が成立したか否かを判定する（ステップＳ１１９）。終了条件が成立していないとＣＰＵ１０が判定すると（ステップＳ１１９；ＮＯ）、処理はステップＳ１０２へ戻る。特徴点追跡装置１は、値ｎをインクリメントした上でステップＳ１０２及びＳ１０３の処理を実行することにより、直前に第ｎフレームとして指定していたフレームとは異なるフレームの画像から、直前に追跡していた特徴点とは異なる特徴点を抽出し、この特徴点の追跡を開始する。ＣＰＵ１０は、終了条件が成立したと判定すると（ステップＳ１１９；ＹＥＳ）、特徴点追跡処理を終了する。   Specifically, when the determination unit 130 determines that the necessary condition for the candidate point Qs to be a tracking point of the feature point Pn is not satisfied (step S107; NO), the determination unit 140 determines the candidate point Qs as the feature point Pn. It is determined not to be adopted as a tracking point (step S121). Then, the CPU 10 increments the value n by 1 (step S120), and determines whether or not the end condition is satisfied (step S119). If the CPU 10 determines that the end condition is not satisfied (step S119; NO), the process returns to step S102. The feature point tracking device 1 increments the value n and then executes the processing of steps S102 and S103, so that the feature point tracking device 1 tracks immediately before the image of a frame different from the frame specified as the nth frame immediately before. A feature point different from the extracted feature point is extracted, and tracking of this feature point is started. When determining that the end condition is satisfied (step S119; YES), the CPU 10 ends the feature point tracking processing.

「値ｎを１だけインクリメントする」とは、直前に第ｎフレームとして指定されていたフレームの次のフレームを新たに第ｎフレームとして指定する処理を指す。終了条件は、特徴点追跡処理を終了する契機となる条件である。ユーザは、入力部３０を介し、任意の条件を終了条件として設定できる。本実施形態では、下記の（ａ）〜（ｃ）のうち少なくとも何れかが成立することを終了条件として予め設定している。
（ａ）インクリメント後の第ｎフレームと追跡終了フレームとが一致する。
（ｂ）インクリメント後の第ｓフレームと追跡終了フレームとが一致する。
（ｃ）入力部３０を介し、ユーザによる終了指示を受け付けた。 “Incrementing the value n by 1” refers to a process of newly specifying the frame next to the frame previously specified as the n-th frame as the n-th frame. The end condition is a condition that triggers the end of the feature point tracking process. The user can set an arbitrary condition as an end condition via the input unit 30. In the present embodiment, at least one of the following (a) to (c) is set as an end condition in advance.
(A) The n-th frame after the increment matches the tracking end frame.
(B) The s-th frame after the increment matches the tracking end frame.
(C) An end instruction from the user is received via the input unit 30.

候補点Ｑｓが特徴点Ｐｎの追跡点であるための必要条件を満たすと判定すると（ステップＳ１０７；ＹＥＳ）、判定部１３０は、候補点Ｑｓが第２条件を満たすか否かを判定する。すなわち、判定部１３０は、候補点Ｑｓが特徴点であるための十分条件を満たすか否かを判定する（ステップＳ１０８）。具体的に、判定部１３０は、候補点Ｑｓの座標が、上記式（１）を満たすか否かを判定する。   When determining that the candidate point Qs satisfies the necessary condition for being the tracking point of the feature point Pn (Step S107; YES), the determination unit 130 determines whether the candidate point Qs satisfies the second condition. That is, the determination unit 130 determines whether or not the candidate point Qs satisfies a sufficient condition for being a feature point (step S108). Specifically, the determination unit 130 determines whether or not the coordinates of the candidate point Qs satisfy the above expression (1).

候補点Ｑｓが特徴点であるための十分条件を満たすと判定部１３０が判定した場合（ステップＳ１０８；ＹＥＳ）、候補点Ｑｓは特徴点Ｐｎの真正な追跡点である可能性が高い。そこで、決定部１４０は、候補点Ｑｓを特徴点Ｐｎの追跡点として採用すると決定する（ステップＳ１１８）。構築部１５０は、特徴点Ｐｎの追跡点として採用された候補点Ｑｓの座標を、第ｓフレームにおける特徴点軌道の構成点の座標として取得し、記憶部２０に記憶させ（ステップＳ１１７）、処理はステップＳ１１６へ移る。   When the determination unit 130 determines that the candidate point Qs satisfies a sufficient condition for being a feature point (step S108; YES), there is a high possibility that the candidate point Qs is a genuine tracking point of the feature point Pn. Therefore, the determination unit 140 determines to adopt the candidate point Qs as a tracking point of the feature point Pn (Step S118). The construction unit 150 acquires the coordinates of the candidate point Qs adopted as the tracking point of the feature point Pn as the coordinates of the constituent points of the feature point trajectory in the s-th frame, stores the coordinates in the storage unit 20 (step S117), and performs the processing. Moves to step S116.

構築部１５０は、指定部１１０を制御して、値ｎを１だけインクリメントさせる（ステップＳ１１６）。次に、ＣＰＵ１０が、終了条件が成立したか否かを判定する（ステップＳ１１５）。終了条件が成立したと判定すると（ステップＳ１１５；ＹＥＳ）、ＣＰＵ１０は、特徴点追跡処理を終了する。終了条件が成立していないとＣＰＵ１０が判定すると（ステップＳ１１５；ＮＯ）、処理はステップＳ１０４へ戻り、直前に第ｓフレームとして指定していたフレームの次のフレームを新たに第ｓフレームとして指定する。特徴点追跡装置１は、値ｓをインクリメントしながらステップＳ１０４〜Ｓ１１５の処理を繰り返すことにより、動画中の複数フレームにわたって特徴点Ｐｎを追跡し、特徴点軌道を構築する。   The construction unit 150 controls the designation unit 110 to increment the value n by 1 (step S116). Next, the CPU 10 determines whether or not the termination condition has been satisfied (step S115). When determining that the end condition is satisfied (step S115; YES), the CPU 10 ends the feature point tracking processing. If the CPU 10 determines that the end condition is not satisfied (step S115; NO), the process returns to step S104, and a frame next to the frame previously specified as the s-th frame is newly specified as the s-th frame. . The feature point tracking device 1 repeats the processing of steps S104 to S115 while incrementing the value s, thereby tracking the feature points Pn over a plurality of frames in the moving image, and constructing a feature point trajectory.

なお、本実施形態では、ステップＳ１１５の後に実行されるステップＳ１０６の処理において、追跡部１２０は、直前のステップＳ１１８又はステップＳ１１４で特徴点Ｐｎの追跡点として採用された候補点Ｑｓの座標に基づき、ＳＡＤの評価に基づくブロックマッチング法を用いて、新たな候補点Ｑｓの座標を算出する。すなわち、新たな候補点Ｑｓは、ステップＳ１１６とステップＳ１０４で値ｓがインクリメントされた後の第ｓフレームの画像における、直前のステップＳ１１８又はステップＳ１１４で特徴点Ｐｎの追跡点として採用された候補点Ｑｓの追跡点の候補である。また、本実施形態では、ステップＳ１１５の後に実行されるステップＳ１１１の処理において、追跡部１２０は、直前のステップＳ１１８又はステップＳ１１４で特徴点Ｐｎの追跡点として採用された候補点Ｑｓの座標に基づき、ＳＡＤの評価に基づくブロックマッチング法を用いて、新たな候補点Ｑｔの座標を算出する。すなわち、新たな候補点Ｑｔは、第ｔフレームの画像における直前のステップＳ１１８又はステップＳ１１４で特徴点Ｐｎの追跡点として採用された候補点Ｑｓの追跡点の候補である。なお、新たな候補点Ｑｓ及び候補点Ｑｔの座標を以前の処理において既に算出していた場合、改めて座標を算出することなく、記憶部２０に記憶されている算出済みの座標を取得することとすればよい。   In the present embodiment, in the processing of step S106 performed after step S115, the tracking unit 120 determines the position of the candidate point Qs adopted as the tracking point of the feature point Pn in the immediately preceding step S118 or step S114. , The coordinates of the new candidate point Qs are calculated using a block matching method based on the evaluation of the SAD. That is, the new candidate point Qs is a candidate point adopted as the tracking point of the feature point Pn in the immediately preceding step S118 or step S114 in the image of the s-th frame after the value s has been incremented in step S116 and step S104. It is a candidate for a tracking point of Qs. Further, in the present embodiment, in the process of step S111 executed after step S115, the tracking unit 120 determines based on the coordinates of the candidate point Qs adopted as the tracking point of the feature point Pn in the immediately preceding step S118 or step S114. , The coordinates of the new candidate point Qt are calculated using the block matching method based on the evaluation of the SAD. That is, the new candidate point Qt is a tracking point candidate of the candidate point Qs adopted as the tracking point of the feature point Pn in the immediately preceding step S118 or step S114 in the image of the t-th frame. If the coordinates of the new candidate point Qs and the new candidate point Qt have already been calculated in the previous processing, the calculated coordinates stored in the storage unit 20 are acquired without calculating the coordinates again. do it.

候補点Ｑｓが特徴点であるための十分条件を満たさないと判定部１３０が判定すると（ステップＳ１０８；ＮＯ）、指定部１１０は、第ｓフレームの次のフレームである第（ｓ＋１）フレームを第ｔフレームとして指定する（ステップＳ１０９）。   When the determining unit 130 determines that the sufficient condition for the candidate point Qs to be a feature point is not satisfied (step S108; NO), the specifying unit 110 assigns the (s + 1) th frame, which is the frame next to the sth frame, to the It is designated as a t-frame (step S109).

追跡部１２０は、動画の第ｔフレームの画像を取得し（ステップＳ１１０）、特徴点Ｐｎの座標に基づき、特徴点Ｐｎの第ｔフレームの画像における追跡点の候補である候補点Ｑｔの座標を算出する（ステップＳ１１１）。具体的に、追跡部１２０は、特徴点Ｐｎの座標に基づき、ＳＡＤの評価に基づくブロックマッチング法を用いて、候補点Ｑｔの座標を算出する。   The tracking unit 120 acquires the image of the t-th frame of the moving image (Step S110), and based on the coordinates of the feature point Pn, calculates the coordinates of the candidate point Qt that is a candidate for the tracking point in the image of the t-th frame of the feature point Pn. It is calculated (step S111). Specifically, the tracking unit 120 calculates the coordinates of the candidate point Qt using the block matching method based on the evaluation of the SAD based on the coordinates of the feature point Pn.

判定部１３０は、候補点Ｑｔが第１条件を満たすか否かを判定する。すなわち、判定部１３０は、候補点Ｑｔが特徴点Ｐｎの追跡点であるための必要条件を満たすか否かを判定する（ステップＳ１１２）。具体的に、判定部１３０は、ステップＳ１１１でＳＡＤの評価に基づくブロックマッチング法を用いて候補点Ｑｔの座標を算出した際に取得されたＳＡＤの最小値が、上記（Ａ）〜（Ｃ）の何れの条件にも該当しないか否かを判定する。   The determination unit 130 determines whether or not the candidate point Qt satisfies the first condition. That is, the determination unit 130 determines whether or not the candidate point Qt satisfies a necessary condition for being a tracking point of the feature point Pn (step S112). Specifically, the determination unit 130 determines that the minimum value of the SAD obtained when the coordinates of the candidate point Qt is calculated by using the block matching method based on the evaluation of the SAD in step S111, the above (A) to (C) It is determined whether none of the above conditions is satisfied.

候補点Ｑｔが特徴点Ｐｎの追跡点であるための必要条件を満たさないと判定された場合（ステップＳ１１２；ＮＯ）、特徴点追跡装置１が、特徴点Ｐｎの第ｎフレームから第ｔフレームにわたる移動の追跡に失敗した可能性が高い。この場合、特徴点追跡装置１は、ステップＳ１０６においても、特徴点Ｐｎの第ｎフレームから第ｓフレームにわたる移動の追跡に失敗していた可能性が高い。そこで、特徴点追跡装置１は、候補点Ｑｓと候補点Ｑｔとの何れも特徴点Ｐｎの追跡点として採用することなく、特徴点の追跡を中止して、それまで追跡していた特徴点とは異なる特徴点の追跡を開始する。   When it is determined that the candidate point Qt does not satisfy the necessary condition for being the tracking point of the feature point Pn (step S112; NO), the feature point tracking device 1 extends from the nth frame to the tth frame of the feature point Pn. It is likely that tracking the movement failed. In this case, it is highly likely that the feature point tracking device 1 has failed to track the movement of the feature point Pn from the nth frame to the sth frame even in step S106. Therefore, the feature point tracking device 1 stops tracking the feature point without adopting any of the candidate point Qs and the candidate point Qt as the tracking point of the feature point Pn. Starts tracking different feature points.

具体的に、候補点Ｑｔが特徴点Ｐｎの追跡点であるための必要条件を満たさないと判定部１３０が判定した場合（ステップＳ１１２；ＮＯ）、決定部１４０は、候補点Ｑｓ及び候補点Ｑｔを特徴点軌道の構成点として採用しないと決定し（ステップＳ１２２）、処理はステップＳ１２０へ移る。特徴点追跡装置１は、ステップＳ１２０で値ｎをインクリメントした上でステップＳ１０２及びＳ１０３の処理を実行することにより、直前に追跡していた特徴点とは異なる特徴点の追跡を開始する。   Specifically, when the determination unit 130 determines that the necessary condition for the candidate point Qt to be the tracking point of the feature point Pn is not satisfied (step S112; NO), the determination unit 140 determines the candidate point Qs and the candidate point Qt. Is determined not to be employed as a constituent point of the feature point trajectory (step S122), and the process proceeds to step S120. The feature point tracking device 1 increments the value n in step S120, and then executes the processes in steps S102 and S103, thereby starting tracking of a feature point different from the feature point tracked immediately before.

候補点Ｑｔが特徴点Ｐｎの追跡点であるための必要条件を満たすと判定すると（ステップステップＳ１１２；ＹＥＳ）、判定部１３０は、候補点Ｑｔが第２条件を満たすか否かを判定する。すなわち、判定部１３０は、候補点Ｑｔが特徴点であるための十分条件を満たすか否かを判定する（ステップＳ１１３）。具体的に、判定部１３０は、候補点Ｑｔの座標が上記式（１）を満たすか否かを判定する。   When determining that the candidate point Qt satisfies the necessary condition for being the tracking point of the feature point Pn (Step S112; YES), the determining unit 130 determines whether the candidate point Qt satisfies the second condition. That is, the determination unit 130 determines whether or not the candidate point Qt satisfies a sufficient condition for being a feature point (step S113). Specifically, the determination unit 130 determines whether or not the coordinates of the candidate point Qt satisfy Expression (1).

候補点Ｑｔが特徴点であるための十分条件を満たさないと判定された場合（ステップＳ１１３；ＮＯ）、候補点Ｑｔは、特徴点Ｐｎの真正な追跡点ではない可能性が高い。また、候補点Ｑｓも、特徴点Ｐｎの真正な追跡点ではない可能性が高い。この場合、特徴点追跡装置１は、候補点Ｑｓと候補点Ｑｔとの何れも特徴点Ｐｎの追跡点として採用することなく、特徴点の追跡を中止して、それまで追跡していた特徴点とは異なる特徴点の追跡を開始する。   When it is determined that the candidate point Qt does not satisfy a sufficient condition for being a feature point (step S113; NO), there is a high possibility that the candidate point Qt is not a true tracking point of the feature point Pn. Also, it is highly possible that the candidate point Qs is not a genuine tracking point of the feature point Pn. In this case, the feature point tracking device 1 stops tracking the feature point without adopting either the candidate point Qs or the candidate point Qt as the tracking point of the feature point Pn, and the feature point that has been tracked up to that point. Tracking of a feature point different from the above is started.

具体的に、候補点Ｑｔが特徴点であるための十分条件を満たさないと判定部１３０が判定すると（ステップＳ１１３；ＮＯ）、決定部１４０は、候補点Ｑｓ及び候補点Ｑｔを特徴点Ｐｎの追跡点として採用しないと決定し（ステップＳ１２２）、処理はステップＳ１２０へ移る。特徴点追跡装置１は、ステップＳ１２０で値ｎをインクリメントした上でステップＳ１０２及びＳ１０３の処理を実行することにより、直前に追跡していた特徴点とは異なる特徴点の追跡を開始する。   Specifically, when the determination unit 130 determines that the candidate point Qt does not satisfy a sufficient condition for being a feature point (step S113; NO), the determination unit 140 determines the candidate point Qs and the candidate point Qt as the feature point Pn. It is determined not to be adopted as a tracking point (step S122), and the process proceeds to step S120. The feature point tracking device 1 increments the value n in step S120, and then executes the processes in steps S102 and S103, thereby starting tracking of a feature point different from the feature point tracked immediately before.

候補点Ｑｔが特徴点であるための十分条件を満たすと判定された場合（ステップＳ１１３；ＹＥＳ）、候補点Ｑｔは、特徴点Ｐｎの真正な追跡点である可能性が高い。また、候補点Ｑｓも、特徴点であるための十分条件を満たさないとステップＳ１０８において判定されたものの、特徴点Ｐｎの真正な追跡点である可能性が高い。そこで、候補点Ｑｔが特徴点であるための十分条件を満たすと判定部１３０が判定すると（ステップＳ１１３；ＹＥＳ）、決定部１４０は、候補点Ｑｓ及び候補点Ｑｔを特徴点Ｐｎの追跡点として採用すると決定し（ステップＳ１１４）、特徴点追跡装置１は、ステップＳ１２３で値ｎをインクリメントする。そして、構築部１５０が、候補点Ｑｓ及び候補点Ｑｔの座標を、それぞれ、第ｓフレーム及び第ｔフレームにおける特徴点軌道の構成点の座標として取得し、記憶部２０に記憶させ（ステップＳ１１７）、処理はステップＳ１１６へ移る。   When it is determined that the candidate point Qt satisfies a sufficient condition for being a feature point (step S113; YES), it is highly likely that the candidate point Qt is a genuine tracking point of the feature point Pn. In addition, although it is determined in step S108 that the candidate point Qs does not satisfy a sufficient condition for being a feature point, it is highly likely that the candidate point Qs is a genuine tracking point of the feature point Pn. Therefore, when the determination unit 130 determines that the sufficient condition for the candidate point Qt to be a feature point is satisfied (step S113; YES), the determination unit 140 uses the candidate point Qs and the candidate point Qt as tracking points of the feature point Pn. The feature point tracking device 1 determines to adopt (Step S114), and increments the value n in Step S123. Then, the construction unit 150 acquires the coordinates of the candidate point Qs and the candidate point Qt as the coordinates of the constituent points of the feature point trajectory in the s-th frame and the t-th frame, respectively, and stores the coordinates in the storage unit 20 (step S117). , The process proceeds to step S116.

このように、特徴点追跡装置１は、候補点Ｑｓが第１条件は満たすものの第２条件は満たさないと判定された場合（ステップＳ１０７；ＹＥＳかつステップＳ１０８；ＮＯ）であっても、候補点Ｑｔが第１条件と第２条件とを満たすことを条件として（ステップＳ１１２；ＹＥＳかつステップＳ１１３；ＹＥＳ）、候補点Ｑｔと共に候補点Ｑｓも特徴点Ｐｎの追跡点として採用する。   As described above, the feature point tracking apparatus 1 determines whether the candidate point Qs satisfies the first condition but does not satisfy the second condition (step S107; YES and step S108; NO). On condition that Qt satisfies the first condition and the second condition (step S112; YES and step S113; YES), the candidate point Qs is adopted as the tracking point of the feature point Pn together with the candidate point Qt.

以上説明したように、本実施形態に係る特徴点追跡装置１は、特徴点Ｐｎを時間的に追跡し、特徴点軌道を構築する。特徴点追跡装置１は、第１条件と第２条件とを満たした追跡点の候補を追跡点として採用することにより、追跡点の誤認識に対して頑健な特徴点追跡を行っている。以下、この点について、図４を参照しながら詳細に説明する。   As described above, the feature point tracking device 1 according to the present embodiment tracks a feature point Pn over time and constructs a feature point trajectory. The feature point tracking device 1 performs feature point tracking that is robust against erroneous recognition of tracking points by adopting tracking point candidates that satisfy the first condition and the second condition as tracking points. Hereinafter, this point will be described in detail with reference to FIG.

図４は、本実施形態に係る特徴点追跡装置１と対比例に係る特徴点追跡装置とが、同一の特徴点Ｐ１を、同一の動画において、第１フレームから第５フレームにわたってそれぞれ追跡する動作を示している。 Figure 4 is a feature tracking apparatus 1 according to this embodiment and the feature point tracking device according to the comparative example is the same feature point P 1, the same moving, tracking each for the fifth frame from the first frame The operation is shown.

図４（ａ）は、対比例に係る特徴点追跡装置による特徴点追跡を説明するための図である。対比例に係る特徴点追跡装置は、動画の任意のフレームにおける特徴点Ｐ１の追跡点の候補である候補点の座標を、このフレームの直前のフレームにおける追跡点の座標に基づいて算出するものとする。対比例に係る特徴点追跡装置は、追跡対象の特徴点の追跡点であるための必要条件を満たす候補点を、追跡点として採用するものとする。 FIG. 4A is a diagram for explaining feature point tracking by the feature point tracking device according to the comparative example. Those feature point tracking device according to the comparison example, the coordinates of the candidate point is a candidate of the tracking point of the feature point P 1 in an arbitrary frame of video is calculated based on the coordinates of the tracking point in the previous frame of the frame And The feature point tracking device according to the comparative example adopts a candidate point that satisfies a necessary condition for being a tracking point of a feature point to be tracked as a tracking point.

対比例に係る特徴点追跡装置は、図４（ａ）に示すように、特徴点Ｐ１の真正な追跡点の座標を第２フレームにおける候補点Ｑ２の座標として算出したものとする。しかしながら、動画の第３フレームにおいて、図４（ａ）に示すように、モーションブラーが発生したことが原因で、対比例に係る特徴点追跡装置は、特徴点Ｐ１の真正な追跡点ではない点の座標を第３フレームにおける候補点Ｑ３の座標として算出してしまったものとする。候補点Ｑ３は、追跡対象の特徴点の追跡点であるための必要条件は満たすものの、特徴点であるための十分条件は満たさないものとする。 Feature point tracking device according to the comparative example, as shown in FIG. 4 (a), and that calculates coordinates of authentic tracking point of the feature point P 1 as the coordinates of the candidate point Q 2 in the second frame. However, in the third frame of the video, as shown in FIG. 4 (a), because the motion blur occurs, feature point tracking device according to the comparative example is not a true tracking point of the feature point P 1 It shall had to calculate the coordinates of the point as the coordinates of the candidate point Q 3 in the third frame. Candidate point Q 3 are, although requirements for a tracking point of the feature point tracked satisfy, sufficient condition for a point feature shall not fulfilled.

この場合、対比例に係る特徴点追跡装置は、真正な追跡点ではないものの、追跡点であるための必要条件は満たす候補点Ｑ３を追跡点として採用してしまう。対比例に係る特徴点追跡装置は、真正な追跡点ではない候補点Ｑ３の座標に基づいて、真正な追跡点ではない点の座標を候補点Ｑ４及び候補点Ｑ５の座標として算出してしまう。そして、候補点Ｑ４及び候補点Ｑ５が追跡点であるための必要条件を満たす場合、対比例に係る特徴点追跡装置は、これらの真正な追跡点ではない点を追跡点として採用してしまう。この結果、対比例に係る特徴点追跡装置は、特徴点Ｐ１を不正確に追跡し、不正確な特徴点軌道を構築してしまう。すなわち、対比例に係る特徴点追跡装置は、真正な追跡点ではないにも関わらず追跡点であると誤認識した候補点Ｑ３を追跡点として採用してしまうことも、候補点Ｑ３に基づいて真正な追跡点ではない候補点Ｑ４及び候補点Ｑ５を追跡点として採用してしまうことも、防げなかった。 In this case, the feature point tracking unit according to comparative example, although not a true tracking point, requirements for a tracking point would employ candidate point Q 3 meet as the tracking point. Feature point tracking device according to the comparative example, based on the authentic non-tracking point coordinate of the candidate point Q 3, and calculates the coordinates of a point is not a true tracking point as the coordinates of the candidate point Q 4 and the candidate point Q 5 Would. When meet the requirements for the candidate points Q 4 and the candidate point Q 5 is tracking point, the feature point tracking device according to the comparative example, employs a point not these authentic tracking point as the tracking point I will. As a result, feature point tracking device according to the comparison example, the feature point P 1 incorrectly track, thereby constructing an incorrect feature point trajectory. That is, the feature point tracking device according to the comparative example is that would employ a candidate point Q 3 recognized erroneously as a tracking point despite not authentic tracking point as the tracking point also, the candidate point Q 3 the candidate points Q 4 and the candidate point Q 5 is not a true tracking point based thus adopted as the tracking point also failed to prevent.

図４（ｂ）は、本実施形態に係る特徴点追跡装置１による特徴点追跡を説明するための図である。特徴点追跡装置１は、図４（ｂ）に示すように、特徴点Ｐ１の真正な追跡点の座標を第２フレームにおける候補点Ｑ２の座標として算出したものとする。しかしながら、動画の第３フレームにおいて、図４（ｂ）に示すように、モーションブラーが発生したことが原因で、特徴点追跡装置１は、特徴点Ｐ１の真正な追跡点ではない点の座標を第３フレームにおける候補点Ｑ３の座標として算出してしまったものとする。候補点Ｑ３は、追跡対象の特徴点の追跡点であるための必要条件は満たすものの、特徴点であるための十分条件は満たさないものとする。 FIG. 4B is a diagram for explaining feature point tracking by the feature point tracking device 1 according to the present embodiment. Feature point tracking device 1, as shown in FIG. 4 (b), and that calculates the coordinates of the true tracking point of the feature point P 1 as the coordinates of the candidate point Q 2 in the second frame. However, in the third frame of the video, as shown in FIG. 4 (b), because the motion blur occurs, the feature point tracking device 1, the point is not a true tracking point of the feature point P 1 coordinates the assumed and which has been calculated as the coordinates of the candidate point Q 3 in the third frame. Candidate point Q 3 are, although requirements for a tracking point of the feature point tracked satisfy, sufficient condition for a point feature shall not fulfilled.

この場合、特徴点追跡装置１は、追跡点であるための必要条件は満たすものの（ステップＳ１０７；ＹＥＳ）、特徴点であるための十分条件を満たさない（ステップＳ１０８；ＮＯ）候補点Ｑ３を、特徴点Ｐｎの追跡点として直ちには採用しない。特徴点追跡装置１は、候補点Ｑ３が特徴点ではないと判定すると（ステップＳ１０８；ＮＯ）、特徴点Ｐ１の座標に基づいて候補点Ｑ４の座標を算出する（ステップＳ１１１）。そして、特徴点追跡装置１は、候補点Ｑ４が、特徴点Ｐ１の追跡点であるための必要条件を満たすか否かと（ステップＳ１１２）、特徴点であるための十分条件を満たすか否かと（ステップＳ１１３）、を判定する。ステップＳ１１１において、特徴点Ｐ１の追跡点であるための必要条件は満たすものの（ステップＳ１１２；ＹＥＳ）、特徴点であるための十分条件は満たさない（ステップＳ１１３；ＮＯ）ような点の座標が候補点Ｑ４の座標として算出されたものとする。この場合、特徴点追跡装置１は、候補点Ｑ４が特徴点であるための十分条件を満たさないと判定した（ステップＳ１１３；ＮＯ）ことに応答して、候補点Ｑ３及び候補点Ｑ４の何れも特徴点Ｐｎの追跡点として採用しないと決定する（ステップＳ１２２）。 In this case, feature point tracking device 1, although satisfy the requirements for a tracking point (step S107: YES), does not satisfy the sufficient condition for a feature point; a (step S108 NO) candidate point Q 3 , Are not immediately adopted as tracking points of the feature points Pn. Feature point tracking device 1, when the candidate point Q 3 is determined not to be a feature point (step S108; NO), calculates the coordinates of the candidate point Q 4 on the basis of the coordinate feature point P 1 (step S111). Then, the feature point tracking device 1 determines whether or not the candidate point Q 4 satisfies a necessary condition for being a tracking point of the feature point P 1 (step S112) and whether or not a sufficient condition for being a feature point is satisfied. (Step S113). In step S111, although satisfy requirements for a tracking point of the feature point P 1 (step S112; YES), sufficient conditions are not met for a point feature, the coordinates of (step S113 NO) such points It shall calculated as the coordinates of the candidate point Q 4. In this case, feature point tracking device 1, the candidate points Q 4 is determined not to satisfy a sufficient condition for a feature point (step S113; NO) in particular in response, the candidate point Q 3 and the candidate point Q 4 Is determined not to be adopted as the tracking point of the feature point Pn (step S122).

以上説明したように、特徴点追跡装置１は、対比例に係る特徴点追跡装置と同様に、第３フレームにおいて真正な追跡点ではない点を追跡点として誤認識した。しかし、特徴点追跡装置１は、対比例に係る特徴点追跡装置とは異なり、特徴点であるための十分条件を満たさない候補点を特徴点軌道の構成点として採用しないと決定した。このため、特徴点追跡装置１は、追跡点として誤認識した候補点Ｑ３を追跡点の採用を防ぐことができた。また、特徴点追跡装置１は、候補点Ｑ３に基づいて不正確に特徴点を追跡することも防いでいる。すなわち、特徴点追跡装置１は、真正な追跡点ではない点を追跡点として誤って認識してしまう誤認識に対して頑健な特徴点追跡を行っている。 As described above, similarly to the feature point tracking device according to the comparative example, the feature point tracking device 1 has erroneously recognized a point that is not a true tracking point in the third frame as a tracking point. However, unlike the feature point tracking device according to the comparative example, the feature point tracking device 1 has determined that a candidate point that does not satisfy a sufficient condition for being a feature point is not adopted as a constituent point of the feature point trajectory. Therefore, feature tracking apparatus 1 could prevent the adoption of tracking point candidate point Q 3 recognized erroneously as a tracking point. The feature point tracking device 1 is prevented also track incorrectly feature point based on the candidate point Q 3. That is, the feature point tracking device 1 performs feature point tracking robust against erroneous recognition in which a point that is not a true tracking point is erroneously recognized as a tracking point.

さらに、本実施形態に係る特徴点追跡装置１は、候補点Ｑｓが第１条件は満たすものの第２条件を満たさないと判定された場合であっても、候補点Ｑｔが第１条件と第２条件とを満たすと判定されたことを条件に、候補点Ｑｔと共に候補点Ｑｓも特徴点Ｐｎの追跡点として採用する。この態様によれば、特徴点追跡装置１は、誤認識に対して頑健な特徴点追跡を行うことができる。以下、この点について、図５を参照しながら詳細に説明する。   Furthermore, the feature point tracking device 1 according to the present embodiment allows the candidate point Qt to satisfy the first condition and the second condition even if it is determined that the candidate condition Qs satisfies the first condition but does not satisfy the second condition. On the condition that it is determined that the condition is satisfied, the candidate point Qs is adopted as the tracking point of the feature point Pn together with the candidate point Qt. According to this aspect, the feature point tracking device 1 can perform feature point tracking that is robust against erroneous recognition. Hereinafter, this point will be described in detail with reference to FIG.

図５は、本実施形態に係る特徴点追跡装置１と他の対比例に係る特徴点追跡装置とが、同一の特徴点Ｐ１を、同一の動画において、第１フレームから第５フレームにわたってそれぞれ追跡する動作を示している。 Figure 5 is a characteristic point tracking apparatus 1 according to this embodiment and the other feature point tracking device according to the comparative example is the same feature point P 1, the same moving, respectively over the fifth frame from the first frame The operation of tracking is shown.

図５（ａ）は、他の対比例に係る特徴点追跡装置による特徴点追跡を説明するための図である。他の対比例に係る特徴点追跡装置は、動画の任意のフレームにおける特徴点Ｐ１の追跡点の候補である候補点の座標を、このフレームの直前のフレームにおける追跡点の座標に基づいて算出するものとする。他の対比例に係る特徴点追跡装置は、追跡対象の特徴点の追跡点であるための必要条件を満たし、かつ、特徴点であるための十分条件を満たす候補点を、追跡点として採用するものとする。 FIG. 5A is a diagram for explaining feature point tracking by a feature point tracking device according to another comparative example. Other feature point tracking device according to the comparative example is calculated based on the coordinates of the candidate point is a candidate of the tracking point of the feature point P 1 in an arbitrary frame of video, the coordinates of the tracking point in the previous frame of the frame It shall be. A feature point tracking apparatus according to another comparative example satisfies a necessary condition for being a tracking point of a feature point to be tracked, and adopts a candidate point that satisfies a sufficient condition for being a feature point as a tracking point. Shall be.

他の対比例に係る特徴点追跡装置は、図５（ａ）に示すように、特徴点Ｐ１の真正な追跡点の座標を第２フレーム及び第３フレームにおける候補点Ｑ２及び候補点Ｑ３の座標としてそれぞれ算出したものとする。しかしながら、動画の第３フレームにおいて、図５（ａ）に示すように、モーションブラーが発生したことが原因で、特徴点Ｐ１の真正な追跡点である候補点Ｑ３は、特徴点であるための十分条件を満たさなくなるに至ったものとする。 Other contrasting feature point tracking apparatus according to the embodiment, as shown in FIG. 5 (a), the coordinates of the true tracking point of the feature point P 1 the second frame and the candidate points in the third frame Q 2 and the candidate point Q It is assumed that the coordinates are calculated as the coordinates of No. 3 respectively. However, in the third frame of the video, as shown in FIG. 5 (a), because the motion blur occurs, the candidate point Q 3 is authentic tracking point of the feature point P 1 is a point feature It is assumed that sufficient conditions for the application have not been satisfied.

この場合、他の対比例に係る特徴点追跡装置は、特徴点であるための十分条件を満たさない候補点Ｑ３を、特徴点Ｐ１の真正な追跡点であるにも関わらず、追跡点として採用しないと決定してしまう。この場合、第３フレームにおける追跡点に基づいて第４フレーム及び第５フレームにわたって特徴点Ｐ１の追跡を続行することは不可能なので、他の対比例に係る特徴点追跡装置は、特徴点の追跡を中止する。すなわち、他の対比例に係る特徴点追跡装置は、第３フレームにおいて、真正な追跡点である候補点Ｑ３を追跡点ではないと誤って認識したため、特徴点の追跡に失敗した。 In this case, the feature point tracking apparatus according to another comparative example, the candidate point Q 3 which does not satisfy the sufficient condition for a point feature, despite the genuine tracking points of the feature point P 1, the tracking point Will not be adopted. In this case, since to continue tracking of the feature point P 1 for the fourth frame and the fifth frame on the basis of the tracking point of the third frame is not possible, feature point tracking apparatus according to another comparative example, the feature points Stop tracking. That is, the feature point tracking apparatus according to another comparative example, in the third frame, for the misrecognized not the tracking point candidate point Q 3 is authentic tracking points failed to track the feature point.

図５（ｂ）は、本実施形態に係る特徴点追跡装置１による特徴点追跡を説明するための図である。特徴点追跡装置１は、図５（ｂ）に示すように、特徴点Ｐ１の真正な追跡点の座標を第２フレーム及び第３フレームにおける候補点Ｑ２及び候補点Ｑ３の座標としてそれぞれ算出したものとする。しかしながら、動画の第３フレームにおいて、図５（ｂ）に示すように、モーションブラーが発生したことが原因で、特徴点Ｐ１の真正な追跡点である候補点Ｑ３は、特徴点であるための十分条件を満たさなくなるに至ったものとする。 FIG. 5B is a diagram for explaining feature point tracking by the feature point tracking device 1 according to the present embodiment. Feature point tracking device 1, as shown in FIG. 5 (b), respectively the coordinates of the true tracking point of the feature point P 1 as the coordinates of the candidate point Q 2 and the candidate point Q 3 of the second frame and third frame It shall be calculated. However, in the third frame of the video, as shown in FIG. 5 (b), because the motion blur occurs, the candidate point Q 3 is authentic tracking point of the feature point P 1 is a point feature It is assumed that sufficient conditions for the application have not been satisfied.

この場合、特徴点追跡装置１は、追跡点であるための必要条件は満たすものの（ステップＳ１０７；ＹＥＳ）、特徴点であるための十分条件を満たさない（ステップＳ１０８；ＮＯ）候補点Ｑ３を、特徴点軌道の構成点として採用しないと直ちには決定しない。特徴点追跡装置１は、候補点Ｑ３が特徴点ではないと判定すると（ステップＳ１０８；ＮＯ）、特徴点Ｐ１の座標に基づいて候補点Ｑ４の座標を算出する（ステップＳ１１１）。そして、特徴点追跡装置１は、候補点Ｑ４が、特徴点Ｐ１の追跡点であるための必要条件を満たすか否かと（ステップＳ１１２）、特徴点であるための十分条件を満たすか否かと（ステップＳ１１３）、を判定する。ステップＳ１１１において、特徴点Ｐ１の追跡点であるための必要条件を満たし（ステップＳ１１２；ＹＥＳ）、特徴点であるための十分条件も満たす（ステップＳ１１３；ＹＥＳ）ような点の座標が候補点Ｑ４の座標として算出されたものとする。この場合、特徴点追跡装置１は、候補点Ｑ４が特徴点であるための十分条件を満たすと判定した（ステップＳ１１３；ＹＥＳ）ことに応答して、候補点Ｑ３及び候補点Ｑ４の両方を特徴点Ｐ１の追跡点として採用すると決定する（ステップＳ１１４）。 In this case, feature point tracking device 1, although satisfy the requirements for a tracking point (step S107: YES), does not satisfy the sufficient condition for a feature point; a (step S108 NO) candidate point Q 3 If it is not adopted as a constituent point of the feature point trajectory, it is not immediately determined. Feature point tracking device 1, when the candidate point Q 3 is determined not to be a feature point (step S108; NO), calculates the coordinates of the candidate point Q 4 on the basis of the coordinate feature point P 1 (step S111). Then, the feature point tracking device 1 determines whether or not the candidate point Q 4 satisfies a necessary condition for being a tracking point of the feature point P 1 (step S112) and whether or not a sufficient condition for being a feature point is satisfied. (Step S113). In step S111, it meets the requirements for a tracking point of the feature point P 1 (step S112; YES), also satisfy sufficient conditions for a feature point (step S113; YES) coordinate candidate points such points It shall calculated as the coordinates of Q 4. In this case, feature point tracking device 1, the candidate points Q 4 is determined and sufficient conditions are satisfied for a feature point (step S113; YES) especially in response, the candidate point Q 3 and the candidate point Q 4 both determined to adopt as the tracking point of the feature point P 1 a (step S114).

以上説明したように、特徴点追跡装置１は、候補点Ｑ３が第１条件を満たすものの第２条件を満たさない場合であっても、候補点Ｑ４が第１条件と第２条件とを満たしたことに応答して、候補点Ｑ４と共に候補点Ｑ３を追跡点として採用している。これにより、特徴点追跡装置１は、他の対比例に係る特徴点追跡装置とは異なり、真正な追跡点である候補点Ｑ３を見落とすことを防いでいる。この結果、特徴点追跡装置１は、他の対比例に係る特徴点追跡装置よりも長時間にわたって特徴点Ｐ１を追跡し、より多数のフレームにわたって特徴点軌道を構築している。すなわち、特徴点追跡装置１は、真正な追跡点を追跡点ではないと誤って認識してしまう誤認識に対して頑健な特徴点追跡を行っている。 As described above, the feature point tracking device 1, even when the candidate point Q 3 does not satisfy the second condition of the first condition is satisfied, the candidate point Q 4 is a first condition and a second condition in response to meet the adopts a candidate point Q 3 with a candidate point Q 4 as the tracking point. Thereby, the feature point tracking device 1 is different from the feature point tracking apparatus according to another comparative example, it prevents the possibility of overlooking a candidate point Q 3 is authentic tracking point. As a result, feature point tracking device 1 tracks the feature point P 1 for a long time than the characteristic point tracking apparatus according to another comparative example, are building feature point trajectory over a number of frames. That is, the feature point tracking device 1 performs feature point tracking robust against erroneous recognition in which a genuine tracking point is incorrectly recognized as not a tracking point.

以上、本発明の実施形態について説明したが、この実施形態は一例に過ぎず、本発明の範囲はこの実施形態に限定されるものではない。本発明は、種々の形態で実施可能であり、あらゆる実施形態が本発明の範囲に含まれる。   As described above, the embodiment of the present invention has been described. However, this embodiment is merely an example, and the scope of the present invention is not limited to this embodiment. The present invention can be implemented in various forms, and all the embodiments are included in the scope of the present invention.

上記の実施形態において、特徴点追跡装置１は、動画を外部装置から予め取得し、記憶していた。しかし、これは一例に過ぎず、特徴点追跡装置１は、動画を任意の方法で取得することができる。例えば、特徴点追跡装置１は、撮像部（図示せず）を備え、この撮像部で被写体を撮像することにより自ら動画を生成してもよい。   In the above embodiment, the feature point tracking device 1 previously acquired a moving image from an external device and stored the moving image. However, this is only an example, and the feature point tracking device 1 can acquire a moving image by an arbitrary method. For example, the feature point tracking device 1 may include an image capturing unit (not shown), and may generate a moving image by capturing an image of a subject with the image capturing unit.

上記の実施形態において、第１条件は、特徴点Ｐｎの追跡点であるための必要条件であり、第２条件は、特徴点であるための十分条件であった。しかし、これは一例に過ぎない。ユーザは、入力部３０を介し、真正な追跡点の識別に有効な、互いに異なる２つの任意の条件を、第１条件及び第２条件としてそれぞれ設定できる。   In the above embodiment, the first condition is a necessary condition for being a tracking point of the feature point Pn, and the second condition is a sufficient condition for being a tracking point of the feature point Pn. However, this is only an example. Through the input unit 30, the user can set, as the first condition and the second condition, two arbitrary conditions that are different from each other and that are effective for identifying a genuine tracking point.

上記の実施形態において、指定部１１０は、第ｎフレームの次のフレームの画像を、請求項中の「他の画像」に相当する第ｓフレームの画像として指定した。また、指定部１１０は、第ｓフレームの次の画像を、請求項中の「さらに他の画像」に相当する第ｔフレームの画像として指定した。しかし、これは一例に過ぎない。指定部１１０は、第ｎフレームの画像よりも撮像時刻の新しい任意の画像を第ｓフレームの画像として指定できる。また、指定部１１０は、第ｎフレーム及び第ｓフレームの画像の何れよりも撮像時刻の新しい任意の画像を第ｔフレームの画像として指定できる。   In the above embodiment, the specifying unit 110 specifies the image of the frame next to the n-th frame as the image of the s-th frame corresponding to “another image” in the claims. In addition, the specifying unit 110 has specified the image following the s-th frame as the image of the t-th frame corresponding to “another image” in the claims. However, this is only an example. The specifying unit 110 can specify an arbitrary image whose imaging time is later than the image of the n-th frame as the image of the s-th frame. In addition, the specifying unit 110 can specify an arbitrary image whose imaging time is newer than any of the images of the nth frame and the sth frame as the image of the tth frame.

上記の実施形態において、特徴点追跡装置１は、候補点Ｑｔが第１条件及び第２条件を満たすか否かに応じて、候補点Ｑｔとは異なる１つの候補点、すなわち候補点Ｑｓを特徴点Ｐｎの追跡点として採用するか否かを決定した。しかし、これは一例に過ぎない。特徴点追跡装置１は、候補点Ｑｔが第１条件及び第２条件を満たすか否かに応じて、第ｎフレームの画像よりも撮像時刻が新しく、かつ、第ｔフレームの画像よりも撮像時刻が古い任意の数の画像における特徴点Ｐｎの追跡点の候補である点について、特徴点Ｐｎの追跡点として採用するか否かを決定できる。   In the above embodiment, the feature point tracking device 1 determines one candidate point different from the candidate point Qt, that is, the candidate point Qs, according to whether the candidate point Qt satisfies the first condition and the second condition. It was determined whether or not to adopt the point Pn as a tracking point. However, this is only an example. The feature point tracking device 1 determines whether the candidate point Qt satisfies the first condition and the second condition, the imaging time is newer than the n-th frame image, and the imaging time is longer than the t-th frame image. Is a candidate for a tracking point of the feature point Pn in an arbitrary number of old images, it can be determined whether or not to be adopted as a tracking point of the feature point Pn.

具体的に、特徴点追跡装置１は、次のような態様により、候補点Ｑｔが第１条件及び第２条件を満たすか否かに応じて、第ｎフレームの画像よりも撮像時刻が新しく、かつ、第ｔフレームの画像よりも撮像時刻が古い任意の数の画像における特徴点Ｐｎの追跡点の候補である点について、特徴点Ｐｎの追跡点として採用するか否かを決定すればよい。まず、追跡部１２０が、請求項中の「一の画像」に相当する第ｎフレームの画像よりも撮像時刻が新しく、かつ、請求項中の「さらに他の画像」に相当する第ｔフレームの画像よりも撮像時刻が古い少なくとも１つ以上の画像それぞれにおける特徴点Ｐｎの追跡点の候補である少なくとも１つ以上の候補点の座標を算出する。次に、判定部１３０が、追跡部１２０が座標を算出した少なくとも１つ以上の候補点が、それぞれ、第１条件と第２条件とを満たすか否かを判定する。決定部１４０は、請求項中の「他の候補点」に相当する候補点Ｑｔが第１条件と第２条件とを満たすと判定部１３０が判定した場合、追跡部１２０が座標を算出した少なくとも１つ以上の候補点のうち、第１条件を満たすものの第２条件を満たさないと判定部１３０が判定した候補点を、特徴点Ｐｎの追跡点として採用すると決定する。決定部１４０は、候補点Ｑｔが第１条件と第２条件とのうち少なくとも何れか一方を満たさないと判定部１３０が判定した場合、追跡部１２０が座標を算出した少なくとも１つ以上の候補点のうち、第１条件を満たすものの第２条件を満たさない判定部１３０が判定した候補点を、特徴点Ｐｎの追跡点として採用しないと決定する。なお、決定部１４０が少なくとも１つ以上の候補点を特徴点Ｐｎの追跡点として採用すると決定した場合には、構築部１５０が、これらの候補点を特徴点軌道の構成点として取得することとしてもよい。   Specifically, in the following manner, the feature point tracking device 1 has a newer imaging time than the image of the n-th frame depending on whether the candidate point Qt satisfies the first condition and the second condition, In addition, it suffices to determine whether or not a point that is a candidate for a tracking point of the feature point Pn in an arbitrary number of images whose imaging time is earlier than the image of the t-th frame is adopted as a tracking point of the feature point Pn. First, the tracking unit 120 determines that the imaging time is newer than the image of the n-th frame corresponding to “one image” in the claims and that the t-th frame corresponds to “another image” in the claims. The coordinates of at least one or more candidate points which are candidates for the tracking point of the feature point Pn in each of at least one or more images whose imaging time is earlier than the image are calculated. Next, the determination unit 130 determines whether at least one or more candidate points whose coordinates have been calculated by the tracking unit 120 satisfy the first condition and the second condition, respectively. When the determination unit 130 determines that the candidate point Qt corresponding to “another candidate point” in the claims satisfies the first condition and the second condition, at least the determination unit 140 calculates the coordinates by the tracking unit 120. Among the one or more candidate points, the candidate point determined by the determination unit 130 that satisfies the first condition but does not satisfy the second condition is determined to be adopted as the tracking point of the feature point Pn. When the determination unit 130 determines that the candidate point Qt does not satisfy at least one of the first condition and the second condition, the determination unit 140 determines at least one or more candidate points for which the tracking unit 120 has calculated the coordinates. Among them, it is determined that the candidate point determined by the determination unit 130 that satisfies the first condition but does not satisfy the second condition is not adopted as the tracking point of the feature point Pn. When the determining unit 140 determines that at least one or more candidate points are to be adopted as tracking points of the feature points Pn, the constructing unit 150 acquires these candidate points as constituent points of the feature point trajectory. Is also good.

上記の実施形態において、指定部１１０は、動画を構成する複数の画像のうち、第ｎフレームの画像よりも撮像時刻が新しいフレームの画像を指定したが、第ｎフレームの画像よりも撮像時刻が古いフレームの画像を指定して、特徴点を追跡してもよい。   In the above embodiment, the specifying unit 110 specifies the image of the frame whose imaging time is newer than the image of the n-th frame among the plurality of images constituting the moving image, but the imaging time is longer than the image of the n-th frame. The feature point may be tracked by specifying an image of an old frame.

本発明に係る特徴点追跡装置は、カメラやコンピュータ、スマートフォン、ＰＤＡ（Personal Digital Assistance）等の任意の電子機器によって実現できる。具体的には、これらの電子機器を本発明に係る特徴点追跡装置として動作させるためのプログラムを、これらの電子機器が読み取り可能な記録媒体（例えば、メモリカードやＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read-Only Memory）等）に格納して配布し、これらの電子機器にインストールすることにより本発明に係る特徴点追跡装置を実現できる。   The feature point tracking device according to the present invention can be realized by any electronic device such as a camera, a computer, a smartphone, and a PDA (Personal Digital Assistance). Specifically, a program for operating these electronic devices as the feature point tracking device according to the present invention is stored in a recording medium (for example, a memory card or a CD-ROM (Compact Disc Read- Only memory), a DVD-ROM (Digital Versatile Disc Read-Only Memory), and the like, and distributed, and installed in these electronic devices, the feature point tracking device according to the present invention can be realized.

あるいは、上記プログラムを、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置（例えば、ディスク装置等）に格納しておき、カメラやコンピュータ、スマートフォン、ＰＤＡ等の電子機器がこのプログラムをダウンロードすることによって本発明に係る特徴点追跡装置を実現してもよい。   Alternatively, the program is stored in a storage device (for example, a disk device or the like) of a server device on a communication network such as the Internet, and an electronic device such as a camera, a computer, a smartphone, or a PDA downloads the program. Thus, the feature point tracking device according to the present invention may be realized.

また、本発明に係る特徴点追跡装置の機能を、ＯＳ（Operating System）とアプリケーションプログラムとの協働又は分担により実現する場合には、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。   When the function of the feature point tracking device according to the present invention is realized by cooperation or sharing between an OS (Operating System) and an application program, only the application program portion may be stored in a recording medium or a storage device. Good.

また、アプリケーションプログラムを搬送波に重畳し、通信ネットワークを介して配信してもよい。例えば、通信ネットワーク上の掲示板（BBS：Bulletin Board System）にアプリケーションプログラムを掲示し、ネットワークを介してアプリケーションプログラムを配信してもよい。そして、このアプリケーションプログラムをコンピュータにインストールして起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、本発明に係る特徴点追跡装置を実現してもよい。   Further, the application program may be superimposed on a carrier wave and distributed via a communication network. For example, an application program may be posted on a bulletin board (BBS: Bulletin Board System) on a communication network, and the application program may be distributed via the network. Then, the application program may be installed in a computer, activated, and executed in the same manner as other application programs under the control of the OS, thereby realizing the feature point tracking device according to the present invention.

以上、本発明の好ましい実施の形態について説明したが、本発明は係る特定の実施の形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願当初の特許請求の範囲に記載された発明を付記する。   The preferred embodiments of the present invention have been described above. However, the present invention is not limited to the specific embodiments, and the present invention includes the inventions described in the claims and the scope of equivalents thereof. Is included. Hereinafter, the inventions described in the claims at the time of filing the application of the present application are additionally described.

（付記１）
連続する複数の画像のうち一の画像から特徴点を抽出する抽出手段と、
前記複数の画像のうち前記一の画像よりも撮像時刻が新しい、又は古い他の画像を指定する指定手段と、
前記他の画像における前記特徴点の追跡点の候補である候補点の座標を算出する追跡手段と、
前記候補点が、第１条件と、前記第１条件とは異なる第２条件と、を満たすか否かを判定する判定手段と、
前記判定手段による判定の結果に基づいて、前記候補点を前記特徴点の追跡点として採用するか否かを決定する決定手段と、
前記決定手段が前記候補点を前記特徴点の追跡点として採用すると決定した場合に、前記候補点を前記連続する複数の画像中の前記特徴点の軌跡である特徴点軌道の構成点として取得すると共に、前記複数の画像のうち前記指定手段が指定する画像を変えて、前記追跡手段、前記判定手段及び前記決定手段の処理を繰り返すことにより、前記特徴点軌道を構築する構築手段と、を備えることを特徴とする特徴点追跡装置。 (Appendix 1)
Extracting means for extracting feature points from one image of a plurality of continuous images,
Designation means for designating another image whose imaging time is newer or older than the one image of the plurality of images,
Tracking means for calculating coordinates of a candidate point which is a candidate for a tracking point of the feature point in the other image;
Determining means for determining whether or not the candidate point satisfies a first condition and a second condition different from the first condition;
Determining means for determining whether to adopt the candidate point as a tracking point of the feature point, based on a result of the determination by the determining means;
When the determining unit determines that the candidate point is adopted as the tracking point of the feature point, the candidate point is acquired as a constituent point of a feature point trajectory that is a trajectory of the feature point in the plurality of continuous images. And constructing means for constructing the feature point trajectory by changing the image designated by the designating means among the plurality of images and repeating the processing of the tracking means, the determining means and the deciding means. A feature point tracking apparatus characterized in that:

（付記２）
前記決定手段は、前記候補点が前記第１条件及び前記第２条件を満たすと前記判定手段が判定した場合、前記候補点を前記特徴点の追跡点として採用すると決定することを特徴とする付記１に記載の特徴点追跡装置。 (Appendix 2)
Wherein the determining unit determines that the candidate point is adopted as a tracking point of the feature point when the determining unit determines that the candidate point satisfies the first condition and the second condition. 2. The feature point tracking device according to 1.

（付記３）
前記決定手段は、前記候補点が前記第１条件を満たさないと前記判定手段が判定した場合、前記候補点を前記特徴点の追跡点として採用しないと決定することを特徴とする付記１又は２に記載の特徴点追跡装置。 (Appendix 3)
Wherein the determining unit determines that the candidate point is not adopted as a tracking point of the feature point when the determining unit determines that the candidate point does not satisfy the first condition. 3. The feature point tracking device according to item 1.

（付記４）
前記追跡手段は、前記候補点が前記第１条件を満たすものの前記第２条件を満たさないと前記判定手段が判定した場合、前記一の画像と前記他の画像との何れよりも撮像時刻の新しい、又は古いさらに他の画像における前記特徴点の追跡点の候補である他の候補点の座標を算出し、
前記判定手段は、前記他の候補点が前記第１条件と前記第２条件とを満たすか否かを判定し、
前記決定手段は、前記判定手段による判定の結果に基づいて、前記他の候補点を前記特徴点の追跡点として採用するか否かを決定し、
前記構築手段は、前記決定手段が前記他の候補点を前記特徴点の追跡点として採用すると決定した場合に、前記他の候補点を前記特徴点軌道の構成点として取得することを特徴とする付記１乃至３の何れか一つに記載の特徴点追跡装置。 (Appendix 4)
The tracking unit, when the determination unit determines that the candidate point satisfies the first condition but does not satisfy the second condition, has a newer imaging time than any of the one image and the other image. , Or calculate the coordinates of another candidate point that is a candidate for the tracking point of the feature point in still another image,
The determination means determines whether the other candidate point satisfies the first condition and the second condition,
The determining unit determines whether to adopt the other candidate point as a tracking point of the feature point based on a result of the determination by the determining unit,
The construction means acquires the other candidate point as a constituent point of the feature point trajectory when the decision means decides to adopt the another candidate point as a tracking point of the feature point. The feature point tracking device according to any one of supplementary notes 1 to 3.

（付記５）
前記決定手段は、前記他の候補点が前記第１条件と前記第２条件とを満たすと前記判定手段が判定した場合、前記他の候補点と、前記第１条件を満たすものの前記第２条件を満たさないと前記判定手段が判定した前記候補点と、を前記特徴点の追跡点として採用すると決定することを特徴とする付記４に記載の特徴点追跡装置。 (Appendix 5)
The determining unit determines, when the determining unit determines that the other candidate point satisfies the first condition and the second condition, the other candidate point and the second condition that satisfies the first condition. 5. The feature point tracking device according to claim 4, wherein the candidate point determined by the determination means that the condition is not satisfied is determined to be adopted as the tracking point of the feature point.

（付記６）
前記決定手段は、前記他の候補点が前記第１条件と前記第２条件とのうち少なくとも何れか一方を満たさないと前記判定手段が判定した場合、前記他の候補点と、前記第１条件を満たすものの前記第２条件を満たさないと前記判定手段が判定した前記候補点と、を前記特徴点の追跡点として採用しないと決定することを特徴とする付記４又は５に記載の特徴点追跡装置。 (Appendix 6)
The determining unit determines the other candidate point and the first condition when the determining unit determines that the other candidate point does not satisfy at least one of the first condition and the second condition. 6. The feature point tracking according to claim 4, wherein the candidate point determined by the determination unit but satisfying the second condition but not satisfying the second condition is not adopted as a tracking point of the feature point. apparatus.

（付記７）
前記追跡手段は、前記一の画像よりも撮像時刻が新しく、かつ、前記さらに他の画像よりも撮像時刻が古い少なくとも１つ以上の画像それぞれにおける前記特徴点の追跡点の候補である少なくとも１つ以上の候補点の座標を算出し、
前記判定手段は、前記少なくとも１つ以上の候補点が、それぞれ、前記第１条件と前記第２条件とを満たすか否かを判定し、
前記決定手段は、
前記他の候補点が前記第１条件と前記第２条件とを満たすと前記判定手段が判定した場合、前記第１条件を満たすものの前記第２条件を満たさないと前記判定手段が判定した前記少なくとも１つ以上の候補点を、前記特徴点の追跡点として採用すると決定し、
前記他の候補点が前記第１条件と前記第２条件とのうち少なくとも何れか一方を満たさないと前記判定手段が判定した場合、前記第１条件を満たすものの前記第２条件を満たさない前記判定手段が判定した前記少なくとも１つ以上の候補点を、前記特徴点の追跡点として採用しないと決定し、
前記構築手段は、前記少なくとも１つ以上の候補点を、前記決定手段が前記少なくとも１つ以上の候補点を前記特徴点の追跡点として採用すると決定した場合に、前記特徴点軌道の構成点として取得することを特徴とする付記４乃至６の何れか一つに記載の特徴点追跡装置。 (Appendix 7)
The tracking means may include at least one candidate for a tracking point of the feature point in each of at least one or more images whose imaging time is later than the one image and whose imaging time is earlier than the further image. Calculate the coordinates of the above candidate points,
The determination means determines whether or not the at least one or more candidate points respectively satisfy the first condition and the second condition,
The determining means comprises:
When the determination unit determines that the other candidate point satisfies the first condition and the second condition, the at least determination unit determines that the first condition is satisfied but the second condition is not satisfied. Determining to employ one or more candidate points as tracking points for the feature points;
When the determination unit determines that the other candidate point does not satisfy at least one of the first condition and the second condition, the determination that the first condition is satisfied but the second condition is not satisfied is performed. Determining that the at least one or more candidate points determined by the means are not adopted as tracking points of the feature points;
The constructing means determines the at least one or more candidate points as constituent points of the feature point trajectory when the determining means determines to adopt the at least one or more candidate points as tracking points of the feature points. 7. The feature point tracking device according to any one of supplementary notes 4 to 6, wherein the feature point tracking device acquires the feature point.

（付記８）
前記他の画像は、前記一の画像の次に撮像時刻が新しい、又は古い画像であり、
前記さらに他の画像は、前記他の画像の次に撮像時刻が新しい、又は古い画像であることを特徴とする付記４乃至６の何れか一つに記載の特徴点追跡装置。 (Appendix 8)
The other image is a new or old image at the imaging time next to the one image,
7. The feature point tracking apparatus according to any one of supplementary notes 4 to 6, wherein the still other image is an image whose imaging time is newer or older than the other image.

（付記９）
前記第１条件は、前記特徴点の追跡点であるための必要条件であり、
前記第２条件は、特徴点であるための十分条件であることを特徴とする付記１乃至８の何れか一つに記載の特徴点追跡装置。 (Appendix 9)
The first condition is a necessary condition for being a tracking point of the feature point,
The feature point tracking device according to any one of supplementary notes 1 to 8, wherein the second condition is a sufficient condition for being a feature point.

（付記１０）
連続する複数の画像のうち一の画像から特徴点を抽出する抽出ステップと、
前記複数の画像のうち前記一の画像よりも撮像時刻が新しい、又は古い他の画像を指定する指定ステップと、
前記他の画像における前記特徴点の追跡点の候補である候補点の座標を算出する追跡ステップと、
前記候補点が、第１条件と、前記第１条件とは異なる第２条件と、を満たすか否かを判定する判定ステップと、
前記判定ステップにおける判定の結果に基づいて、前記候補点を前記特徴点の追跡点として採用するか否かを決定する決定ステップと、
前記決定ステップにおいて前記候補点を前記特徴点の追跡点として採用すると決定した場合に、前記候補点を前記連続する複数の画像中の前記特徴点の軌跡である特徴点軌道の構成点として取得すると共に、前記複数の画像のうち前記指定ステップにおいて指定する画像を変えて、前記追跡ステップ、前記判定ステップ及び前記決定ステップの処理を繰り返すことにより、前記特徴点軌道を構築する構築ステップと、を含むことを特徴とする特徴点追跡方法。 (Appendix 10)
An extracting step of extracting a feature point from one image among a plurality of continuous images,
A designation step of designating another image whose imaging time is newer or older than the one image of the plurality of images,
A tracking step of calculating coordinates of a candidate point that is a candidate for the tracking point of the feature point in the other image;
A determining step of determining whether the candidate point satisfies a first condition and a second condition different from the first condition;
A determining step of determining whether to adopt the candidate point as a tracking point of the feature point, based on a result of the determination in the determining step;
When it is determined in the determining step that the candidate point is adopted as a tracking point of the feature point, the candidate point is acquired as a constituent point of a feature point trajectory that is a trajectory of the feature point in the continuous plurality of images. And a construction step of constructing the feature point trajectory by changing the image designated in the designation step of the plurality of images and repeating the processes of the tracking step, the determination step, and the determination step. A feature point tracking method characterized in that:

（付記１１）
コンピュータを、
連続する複数の画像のうち一の画像から特徴点を抽出する抽出手段、
前記複数の画像のうち前記一の画像よりも撮像時刻が新しい、又は古い他の画像を指定する指定手段、
前記他の画像における前記特徴点の追跡点の候補である候補点の座標を算出する追跡手段、
前記候補点が、第１条件と、前記第１条件とは異なる第２条件と、を満たすか否かを判定する判定手段、
前記判定手段による判定の結果に基づいて、前記候補点を前記特徴点の追跡点として採用するか否かを決定する決定手段、
前記決定手段が前記候補点を前記特徴点の追跡点として採用すると決定した場合に、前記候補点を前記連続する複数の画像中の前記特徴点の軌跡である特徴点軌道の構成点として取得すると共に、前記複数の画像のうち前記指定手段が指定する画像を変えて、前記追跡手段、前記判定手段及び前記決定手段の処理を繰り返すことにより、前記特徴点軌道を構築する構築手段、として機能させることを特徴とするプログラム。 (Appendix 11)
Computer
Extracting means for extracting feature points from one image of a plurality of continuous images,
Designation means for designating another image whose imaging time is newer or older than the one image of the plurality of images,
Tracking means for calculating coordinates of a candidate point which is a candidate for a tracking point of the feature point in the other image;
Determining means for determining whether the candidate point satisfies a first condition and a second condition different from the first condition;
Determining means for determining whether to adopt the candidate point as a tracking point of the feature point based on a result of the determination by the determining means;
When the determining unit determines that the candidate point is adopted as the tracking point of the feature point, the candidate point is acquired as a constituent point of a feature point trajectory that is a trajectory of the feature point in the plurality of continuous images. In addition, by changing the image specified by the specifying unit out of the plurality of images and repeating the processing of the tracking unit, the determining unit, and the determining unit, the image processing unit functions as a constructing unit that constructs the feature point trajectory. A program characterized by the following.

１…特徴点追跡装置、１０…ＣＰＵ、２０…記憶部、３０…入力部、４０…出力部、５０…外部インタフェース、１００…抽出部、１１０…指定部、１２０…追跡部、１３０…判定部、１４０…決定部、１５０…構築部、Ｐｎ，Ｐ１…特徴点、Ｑｔ，Ｑｓ，Ｑ２〜Ｑ５…候補点 DESCRIPTION OF SYMBOLS 1 ... Feature point tracking apparatus, 10 ... CPU, 20 ... Storage part, 30 ... Input part, 40 ... Output part, 50 ... External interface, 100 ... Extraction part, 110 ... Designation part, 120 ... Tracking part, 130 ... Judgment part , 140 ... determining unit, 150 ... construction unit, Pn, P 1 ... feature point, Qt, Qs, Q 2 ~Q 5 ... candidate points

Claims (11)

連続する複数の画像のうち一の画像から特徴点を抽出する抽出手段と、
前記複数の画像のうち前記一の画像よりも撮像時刻が新しい、又は古い他の画像を指定する指定手段と、
前記他の画像における前記特徴点の追跡点の候補である候補点の座標を、ＳＡＤ（Sum of Absolute Difference）の評価に基づいたブロックマッチング法を用いて算出する追跡手段と、
前記候補点の座標を算出した際に取得したＳＡＤの最小値が所定の複数の条件の何れにも該当しないことである第１条件と、前記候補点の座標が所定の式を満たすことである第２条件と、を満たすか否かを判定する判定手段と、
前記判定手段による判定の結果に基づいて、前記候補点を前記特徴点の追跡点として採用するか否かを決定する決定手段と、
前記決定手段が前記候補点を前記特徴点の追跡点として採用すると決定した場合に、前記候補点を前記連続する複数の画像中の前記特徴点の軌跡である特徴点軌道の構成点として取得すると共に、前記複数の画像のうち前記指定手段が指定する画像を変えて、前記追跡手段、前記判定手段及び前記決定手段の処理を繰り返すことにより、前記特徴点軌道を構築する構築手段と、を備え、
前記追跡手段は、前記候補点が前記第１条件を満たすものの前記第２条件を満たさないと前記判定手段が判定した場合、前記一の画像と前記他の画像との何れよりも撮像時刻の新しい、又は古いさらに他の画像における前記特徴点の追跡点の候補である他の候補点の座標を算出し、
前記判定手段は、前記他の候補点が前記第１条件と前記第２条件とを満たすか否かを判定し、
前記決定手段は、前記判定手段による判定の結果に基づいて、前記他の候補点を前記特徴点の追跡点として採用するか否かを決定し、
前記構築手段は、前記決定手段が前記他の候補点を前記特徴点の追跡点として採用すると決定した場合に、前記他の候補点を前記特徴点軌道の構成点として取得することを特徴とする特徴点追跡装置。 Extracting means for extracting feature points from one image of a plurality of continuous images,
Designation means for designating another image whose imaging time is newer or older than the one image of the plurality of images,
Tracking means for calculating the coordinates of a candidate point which is a candidate for the tracking point of the feature point in the other image using a block matching method based on the evaluation of SAD (Sum of Absolute Difference) ;
A first condition that the minimum value of the SAD obtained when calculating the coordinates of the candidate point does not correspond to any of the predetermined conditions, and that the coordinates of the candidate point satisfy a predetermined expression. A second condition, and a determination means for determining whether or not the second condition is satisfied;
Determining means for determining whether to adopt the candidate point as a tracking point of the feature point, based on a result of the determination by the determining means;
When the determining unit determines that the candidate point is adopted as the tracking point of the feature point, the candidate point is acquired as a constituent point of a feature point trajectory that is a trajectory of the feature point in the plurality of continuous images. Constructing means for constructing the feature point trajectory by changing the image designated by the designation means among the plurality of images and repeating the processing of the tracking means, the determination means and the determination means. ,
The tracking unit, when the determination unit determines that the candidate point satisfies the first condition but does not satisfy the second condition, has a newer imaging time than any of the one image and the other image. , Or calculate the coordinates of another candidate point that is a candidate for the tracking point of the feature point in still another image,
The determination means determines whether the other candidate point satisfies the first condition and the second condition,
The determining unit determines whether to adopt the other candidate point as a tracking point of the feature point based on a result of the determination by the determining unit,
The construction means acquires the other candidate point as a constituent point of the feature point trajectory when the decision means decides to adopt the another candidate point as a tracking point of the feature point. Feature point tracking device. 前記決定手段は、前記候補点が前記第１条件及び前記第２条件を満たすと前記判定手段が判定した場合、前記候補点を前記特徴点の追跡点として採用すると決定することを特徴とする請求項１に記載の特徴点追跡装置。   The determination means, when the determination means determines that the candidate point satisfies the first condition and the second condition, determines that the candidate point is adopted as a tracking point of the feature point. Item 1. The feature point tracking device according to Item 1. 前記決定手段は、前記候補点が前記第１条件を満たさないと前記判定手段が判定した場合、前記候補点を前記特徴点の追跡点として採用しないと決定することを特徴とする請求項１又は２に記載の特徴点追跡装置。   The method according to claim 1, wherein the determining unit determines that the candidate point is not adopted as a tracking point of the feature point when the determining unit determines that the candidate point does not satisfy the first condition. 3. The feature point tracking device according to item 2. 前記決定手段は、前記他の候補点が前記第１条件と前記第２条件とを満たすと前記判定手段が判定した場合、前記他の候補点と、前記第１条件を満たすものの前記第２条件を満たさないと前記判定手段が判定した前記候補点と、を前記特徴点の追跡点として採用すると決定することを特徴とする請求項１乃至３の何れか一項に記載の特徴点追跡装置。 The determining unit determines, when the determining unit determines that the other candidate point satisfies the first condition and the second condition, the other candidate point and the second condition that satisfies the first condition. feature point tracking device according to any one of claims 1 to 3, characterized in that to determine the candidate point which is determined the determining means not to satisfy, and the adopted as the tracking point of the feature point. 前記決定手段は、前記他の候補点が前記第１条件と前記第２条件とのうち少なくとも何れか一方を満たさないと前記判定手段が判定した場合、前記他の候補点と、前記第１条件を満たすものの前記第２条件を満たさないと前記判定手段が判定した前記候補点と、を前記特徴点の追跡点として採用しないと決定することを特徴とする請求項１乃至４の何れか一項に記載の特徴点追跡装置。 The determining unit determines the other candidate point and the first condition when the determining unit determines that the other candidate point does not satisfy at least one of the first condition and the second condition. wherein the candidate point which is determined the determining means does not satisfy the second condition satisfies the, any one of claims 1 to 4, characterized in that determining not to adopt as the tracking point of the feature point 3. The feature point tracking device according to item 1. 前記追跡手段は、前記一の画像よりも撮像時刻が新しく、かつ、前記さらに他の画像よりも撮像時刻が古い少なくとも１つ以上の画像それぞれにおける前記特徴点の追跡点の候補である少なくとも１つ以上の候補点の座標を算出し、
前記判定手段は、前記少なくとも１つ以上の候補点が、それぞれ、前記第１条件と前記第２条件とを満たすか否かを判定し、
前記決定手段は、
前記他の候補点が前記第１条件と前記第２条件とを満たすと前記判定手段が判定した場合、前記第１条件を満たすものの前記第２条件を満たさないと前記判定手段が判定した前記少なくとも１つ以上の候補点を、前記特徴点の追跡点として採用すると決定し、
前記他の候補点が前記第１条件と前記第２条件とのうち少なくとも何れか一方を満たさないと前記判定手段が判定した場合、前記第１条件を満たすものの前記第２条件を満たさない前記判定手段が判定した前記少なくとも１つ以上の候補点を、前記特徴点の追跡点として採用しないと決定し、
前記構築手段は、前記少なくとも１つ以上の候補点を、前記決定手段が前記少なくとも１つ以上の候補点を前記特徴点の追跡点として採用すると決定した場合に、前記特徴点軌道の構成点として取得することを特徴とする請求項１乃至５の何れか一項に記載の特徴点追跡装置。 The tracking means may include at least one candidate for a tracking point of the feature point in each of at least one or more images whose imaging time is later than the one image and whose imaging time is earlier than the further image. Calculate the coordinates of the above candidate points,
The determination means determines whether or not the at least one or more candidate points respectively satisfy the first condition and the second condition,
The determining means comprises:
When the determination unit determines that the other candidate point satisfies the first condition and the second condition, the at least determination unit determines that the first condition is satisfied but the second condition is not satisfied. Determining to employ one or more candidate points as tracking points for the feature points;
When the determination unit determines that the other candidate point does not satisfy at least one of the first condition and the second condition, the determination that the first condition is satisfied but the second condition is not satisfied is performed. Determining that the at least one or more candidate points determined by the means are not adopted as tracking points of the feature points;
The constructing means determines the at least one or more candidate points as constituent points of the feature point trajectory when the determining means determines to adopt the at least one or more candidate points as tracking points of the feature points. The feature point tracking device according to claim 1 , wherein the feature point tracking device acquires the feature point. 前記他の画像は、前記一の画像の次に撮像時刻が新しい、又は古い画像であり、
前記さらに他の画像は、前記他の画像の次に撮像時刻が新しい、又は古い画像であることを特徴とする請求項１乃至６の何れか一項に記載の特徴点追跡装置。 The other image is a new or old image at the imaging time next to the one image,
It said still another image, the other next to the imaging time is new, or feature tracking apparatus according to any one of claims 1 to 6, characterized in that the old image of the image. 前記第１条件は、前記候補点の座標を算出した際に取得したＳＡＤの最小値が、The first condition is that the minimum value of the SAD obtained when calculating the coordinates of the candidate point is
（Ａ）ＳＡＤの最小値が所定の閾値以下である(A) The minimum value of SAD is equal to or less than a predetermined threshold
（Ｂ）隣り合わない複数の点が、ＳＡＤの最小値を有する(B) Non-adjacent points have minimum SAD
（Ｃ）ＳＡＤの最小値を有する点が、探索範囲の外周部に予め設定されたエラー範囲内に含まれている(C) The point having the minimum value of the SAD is included in an error range preset on the outer periphery of the search range.
の何れにも該当しないことであることを特徴とする請求項１乃至７の何れか一項に記載の特徴点追跡装置。The feature point tracking device according to claim 1, wherein the feature point tracking device does not correspond to any of the above. 前記第２条件は、前記候補点の座標（ｘ、ｙ）が、式（１）を満たすことであり、The second condition is that the coordinates (x, y) of the candidate point satisfy Expression (1),
式（１）中、Ｔｈ１、Ｔｈ２及びＴｈ３は所定の閾値であり、In Expression (1), Th1, Th2, and Th3 are predetermined thresholds,
式（１）中のλｍａｘとλｍｉｎは、前記候補点の座標（ｘ、ｙ）に対して式（２）を満たす行列の固有値であり、式（３）で表され、Λmax and λmin in Expression (1) are eigenvalues of a matrix satisfying Expression (2) with respect to the coordinates (x, y) of the candidate point, and are represented by Expression (3).
式（２）、（３）中のＩｘは、画像の輝度値のｘ軸方向における微分値を表し、Ｉｙは、画像の輝度値のｙ軸方向における微分値を表し、ｗはガウス関数で表される重みを表し、Σは前記候補点の座標（ｘ、ｙ）を中心とする所定範囲内で積算することを表す、ことを特徴とする請求項１乃至８の何れか一項に記載の特徴点追跡装置。In Expressions (2) and (3), Ix represents the differential value of the luminance value of the image in the x-axis direction, Iy represents the differential value of the luminance value of the image in the y-axis direction, and w represents the Gaussian function. 9. The weight according to claim 1, wherein 重 み represents integration within a predetermined range around the coordinates (x, y) of the candidate point. 10. Feature point tracking device. 連続する複数の画像のうち一の画像から特徴点を抽出する抽出ステップと、
前記複数の画像のうち前記一の画像よりも撮像時刻が新しい、又は古い他の画像を指定する指定ステップと、
前記他の画像における前記特徴点の追跡点の候補である候補点の座標を、ＳＡＤ（Sum of Absolute Difference）の評価に基づいたブロックマッチング法を用いて算出する追跡ステップと、
前記候補点の座標を算出した際に取得したＳＡＤの最小値が所定の複数の条件の何れにも該当しないことである第１条件と、前記候補点の座標が所定の式を満たすことである第２条件と、を満たすか否かを判定する判定ステップと、
前記判定ステップにおける判定の結果に基づいて、前記候補点を前記特徴点の追跡点として採用するか否かを決定する決定ステップと、
前記決定ステップにおいて前記候補点を前記特徴点の追跡点として採用すると決定した場合に、前記候補点を前記連続する複数の画像中の前記特徴点の軌跡である特徴点軌道の構成点として取得すると共に、前記複数の画像のうち前記指定ステップにおいて指定する画像を変えて、前記追跡ステップ、前記判定ステップ及び前記決定ステップの処理を繰り返すことにより、前記特徴点軌道を構築する構築ステップと、を含み、
前記追跡ステップは、前記候補点が前記第１条件を満たすものの前記第２条件を満たさないと前記判定ステップが判定した場合、前記一の画像と前記他の画像との何れよりも撮像時刻の新しい、又は古いさらに他の画像における前記特徴点の追跡点の候補である他の候補点の座標を算出し、
前記判定ステップは、前記他の候補点が前記第１条件と前記第２条件とを満たすか否かを判定し、
前記決定ステップは、前記判定ステップによる判定の結果に基づいて、前記他の候補点を前記特徴点の追跡点として採用するか否かを決定し、
前記構築ステップは、前記決定ステップが前記他の候補点を前記特徴点の追跡点として採用すると決定した場合に、前記他の候補点を前記特徴点軌道の構成点として取得することを特徴とする特徴点追跡方法。 An extracting step of extracting a feature point from one image among a plurality of continuous images,
A designation step of designating another image whose imaging time is newer or older than the one image of the plurality of images,
A tracking step of calculating the coordinates of a candidate point that is a candidate for the tracking point of the feature point in the other image using a block matching method based on evaluation of SAD (Sum of Absolute Difference) ;
A first condition that the minimum value of the SAD obtained when calculating the coordinates of the candidate point does not correspond to any of the predetermined conditions, and that the coordinates of the candidate point satisfy a predetermined expression. A second condition, and a determining step of determining whether or not the second condition is satisfied;
A determining step of determining whether to adopt the candidate point as a tracking point of the feature point, based on a result of the determination in the determining step;
When it is determined in the determining step that the candidate point is adopted as a tracking point of the feature point, the candidate point is acquired as a constituent point of a feature point trajectory that is a trajectory of the feature point in the continuous plurality of images. And a construction step of constructing the feature point trajectory by changing the image designated in the designation step of the plurality of images and repeating the processes of the tracking step, the determination step, and the determination step. See
The tracking step includes, when the candidate point satisfies the first condition but does not satisfy the second condition, the determination step determines that the candidate point has a newer imaging time than any of the one image and the other image. , Or calculate the coordinates of another candidate point that is a candidate for the tracking point of the feature point in still another image,
The determining step determines whether the other candidate point satisfies the first condition and the second condition,
The determining step, based on a result of the determination by the determining step, determines whether to adopt the other candidate point as a tracking point of the feature point,
The constructing step is characterized in that, when the determining step determines that the other candidate point is adopted as a tracking point of the feature point, acquiring the other candidate point as a constituent point of the feature point trajectory. Feature point tracking method. コンピュータを、
連続する複数の画像のうち一の画像から特徴点を抽出する抽出手段、
前記複数の画像のうち前記一の画像よりも撮像時刻が新しい、又は古い他の画像を指定する指定手段、
前記他の画像における前記特徴点の追跡点の候補である候補点の座標を、ＳＡＤ（Sum of Absolute Difference）の評価に基づいたブロックマッチング法を用いて算出する追跡手段、
前記候補点の座標を算出した際に取得したＳＡＤの最小値が所定の複数の条件の何れにも該当しないことである第１条件と、前記候補点の座標が所定の式を満たすことである第２条件と、を満たすか否かを判定する判定手段、
前記判定手段による判定の結果に基づいて、前記候補点を前記特徴点の追跡点として採用するか否かを決定する決定手段、
前記決定手段が前記候補点を前記特徴点の追跡点として採用すると決定した場合に、前記候補点を前記連続する複数の画像中の前記特徴点の軌跡である特徴点軌道の構成点として取得すると共に、前記複数の画像のうち前記指定手段が指定する画像を変えて、前記追跡手段、前記判定手段及び前記決定手段の処理を繰り返すことにより、前記特徴点軌道を構築する構築手段、として機能させるプログラムであって、
前記追跡手段は、前記候補点が前記第１条件を満たすものの前記第２条件を満たさないと前記判定手段が判定した場合、前記一の画像と前記他の画像との何れよりも撮像時刻の新しい、又は古いさらに他の画像における前記特徴点の追跡点の候補である他の候補点の座標を算出し、
前記判定手段は、前記他の候補点が前記第１条件と前記第２条件とを満たすか否かを判定し、
前記決定手段は、前記判定手段による判定の結果に基づいて、前記他の候補点を前記特徴点の追跡点として採用するか否かを決定し、
前記構築手段は、前記決定手段が前記他の候補点を前記特徴点の追跡点として採用すると決定した場合に、前記他の候補点を前記特徴点軌道の構成点として取得することを特徴とするプログラム。 Computer
Extracting means for extracting feature points from one image of a plurality of continuous images,
Designation means for designating another image whose imaging time is newer or older than the one image of the plurality of images,
A tracking unit that calculates the coordinates of a candidate point that is a candidate for the tracking point of the feature point in the other image using a block matching method based on an evaluation of SAD (Sum of Absolute Difference) ;
A first condition that the minimum value of the SAD obtained when calculating the coordinates of the candidate point does not correspond to any of a plurality of predetermined conditions, and that the coordinates of the candidate point satisfy a predetermined expression. A second condition, and a determination means for determining whether or not the second condition is satisfied;
Determining means for determining whether or not to adopt the candidate point as a tracking point of the feature point, based on a result of the determination by the determining means;
When the determining unit determines to adopt the candidate point as the tracking point of the feature point, the candidate point is acquired as a constituent point of a feature point trajectory that is a trajectory of the feature point in the plurality of continuous images. In addition, a function of constructing the feature point trajectory by changing the image designated by the designating unit among the plurality of images and repeating the processing of the tracking unit, the determining unit and the determining unit is repeated. A program,
The tracking unit, when the determination unit determines that the candidate point satisfies the first condition but does not satisfy the second condition, has a newer imaging time than either the one image or the other image. , Or calculate the coordinates of another candidate point that is a candidate for the tracking point of the feature point in still another image,
The determination means determines whether the other candidate point satisfies the first condition and the second condition,
The determining means determines whether to adopt the other candidate point as a tracking point of the feature point based on a result of the determination by the determining means,
The constructing means acquires the other candidate points as constituent points of the feature point trajectory when the determining means decides to adopt the other candidate points as tracking points of the feature points. program.
JP2015227969A 2015-11-20 2015-11-20 Feature point tracking device, feature point tracking method and program Active JP6627450B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015227969A JP6627450B2 (en) 2015-11-20 2015-11-20 Feature point tracking device, feature point tracking method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015227969A JP6627450B2 (en) 2015-11-20 2015-11-20 Feature point tracking device, feature point tracking method and program

Publications (2)

Publication Number Publication Date
JP2017097554A JP2017097554A (en) 2017-06-01
JP6627450B2 true JP6627450B2 (en) 2020-01-08

Family

ID=58803838

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015227969A Active JP6627450B2 (en) 2015-11-20 2015-11-20 Feature point tracking device, feature point tracking method and program

Country Status (1)

Country Link
JP (1) JP6627450B2 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4482795B2 (en) * 2004-03-05 2010-06-16 ソニー株式会社 Image processing apparatus, moving object tracking method, moving object tracking program, monitoring apparatus, and game apparatus
JP5087264B2 (en) * 2005-12-08 2012-12-05 株式会社トプコン Image processing apparatus and method
JP5429885B2 (en) * 2008-07-24 2014-02-26 国立大学法人静岡大学 Feature point tracking method and feature point tracking device
CN103460248B (en) * 2011-04-07 2015-04-22 富士胶片株式会社 Image processing method and device

Also Published As

Publication number Publication date
JP2017097554A (en) 2017-06-01

Similar Documents

Publication Publication Date Title
US10936911B2 (en) Logo detection
CN108876804B (en) Matting model training and image matting method, device and system and storage medium
WO2013012091A1 (en) Information processing apparatus, object tracking method, and program storage medium
US20130070105A1 (en) Tracking device, tracking method, and computer program product
WO2016085549A1 (en) Method and system for processing a sequence of images to identify, track, and/or target an object on a body of water
JP2013541096A (en) An adaptive framework for cloud-assisted augmented reality
US20120106784A1 (en) Apparatus and method for tracking object in image processing system
JP6652051B2 (en) Detection system, detection method and program
KR20220093187A (en) Positioning method and apparatus, electronic device, computer readable storage medium
US10643095B2 (en) Information processing apparatus, program, and information processing method
US10599942B2 (en) Target tracking method and system adaptable to multi-target tracking
JP5192437B2 (en) Object region detection apparatus, object region detection method, and object region detection program
JP2010039617A (en) Object tracking device and program
KR102374565B1 (en) Method and apparatus of tracking targets
US9836655B2 (en) Information processing apparatus, information processing method, and computer-readable medium
JP6548920B2 (en) INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM
CN111797652A (en) Object tracking method, device and storage medium
US11288816B2 (en) Image detection device, image detection method and storage medium storing program
JP6627450B2 (en) Feature point tracking device, feature point tracking method and program
WO2019003709A1 (en) Information processing device, control method, and program
JP6408414B2 (en) Moving body detection apparatus and background model construction method thereof
JP2015187769A (en) Object detection device, object detection method, and program
WO2016142965A1 (en) Video processing device, video processing method, and storage medium storing video processing program
JP5643147B2 (en) Motion vector detection apparatus, motion vector detection method, and motion vector detection program
WO2014030442A1 (en) Input device, input method, program, and electronic sign

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181010

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190827

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191118

R150 Certificate of patent or registration of utility model

Ref document number: 6627450

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150