JPH056434A - Automatic tracking device - Google Patents
Automatic tracking deviceInfo
- Publication number
- JPH056434A JPH056434A JP3156543A JP15654391A JPH056434A JP H056434 A JPH056434 A JP H056434A JP 3156543 A JP3156543 A JP 3156543A JP 15654391 A JP15654391 A JP 15654391A JP H056434 A JPH056434 A JP H056434A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- template
- target
- center
- gravity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、デジタル画像信号を用
いて、対象物を追尾する自動追尾装置に関するものであ
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an automatic tracking device for tracking an object using a digital image signal.
【０００２】[0002]
【従来の技術】画像のある部分が、他の画像のどの部分
に対応するのかを求める方法に、一般にはテンプレート
マッチングという手法が用いられている。テンプレート
マッチング法とは、検出しようとする対象を表すテンプ
レートを画像の全部または一部について移動させなが
ら、それぞれの位置についてテンプレートと重なる画像
の部分パターンとの相関値を求め、その値が最大となる
位置を求めるという方法である。したがって、最初に追
尾したい対象物のテンプレートを求めておき、フレーム
毎にテンプレートマッチングを行うことにより、動画像
におけるテンプレートによる対象物の追尾が実現する。
ところが、一般には、対象物がカメラに対して角度を変
えることが考えられ、その場合に対象物の視覚的な形状
が変化することになる。このような状況にも対応できる
ような方法として、例えば特開平１−３１５８８４号公
報に示されるような、テンプレートに最も近いパターン
を検出し、そのパターンをそれまでのテンプレートと置
き換えて追尾を行うという方法が提案されている。2. Description of the Related Art A method called template matching is generally used as a method for determining which part of an image corresponds to which part of another image. In the template matching method, the template representing the object to be detected is moved with respect to all or part of the image, and the correlation value between the template and the partial pattern of the overlapping image is obtained at each position, and the value is maximized. It is a method of obtaining the position. Therefore, by first obtaining the template of the target object to be tracked and performing template matching for each frame, tracking of the target object by the template in the moving image is realized.
However, it is generally considered that the object changes its angle with respect to the camera, and in that case, the visual shape of the object changes. As a method capable of coping with such a situation, for example, as shown in Japanese Patent Laid-Open No. 1-315884, a pattern closest to the template is detected, and the pattern is replaced with the existing template to perform tracking. A method has been proposed.
【０００３】[0003]
【発明が解決しようとする課題】しかしながら上記のよ
うな構成では、テンプレートの内容を順次置き換えてい
くため、例えば図７のように、対象物が回転した場合に
は、図８に示すようにテンプレートが少しづつずれてい
き、最終的に対象物からはずれてしまい追尾に失敗して
しまうという課題を有していた。また、例えば、対象物
が別の物体の後ろに隠れて再び現れるるような場合に
は、図９に示すようにテンプレートの内容が別の物体の
パターンと置き換わってしまい、対象物が再び現れても
追尾することができなくなるという課題を有していた。However, in the above-mentioned configuration, the contents of the template are sequentially replaced. Therefore, when the object is rotated as shown in FIG. 7, for example, as shown in FIG. However, there was a problem in that it gradually slipped off, and eventually it fell off the object and tracking failed. Further, for example, when the target object is hidden behind another object and reappears, the content of the template is replaced with the pattern of another object as shown in FIG. 9, and the target object reappears. It also had a problem that it could not be tracked.
【０００４】本発明はかかる従来の自動追尾装置の課題
に鑑み、対象物が回転したり、別の物体の後ろに隠れて
再び現れたりしたような場合でも追尾することのできる
自動追尾装置を提供することを目的とする。In view of the problems of the conventional automatic tracking device, the present invention provides an automatic tracking device capable of tracking even when an object rotates or hides behind another object and appears again. The purpose is to do.
【０００５】[0005]
【課題を解決するための手段】本発明は、初期設定時
に、対象物を追尾するための対象枠を設定するための対
象枠設定手段と、対象枠内で対象物を代表する特徴量を
決定するための代表特徴量決定手段と、対象追尾時に対
象枠のパターンをテンプレートとして記憶しておくテン
プレート記憶手段と、入力される画像信号中の、前記テ
ンプレートと最も相関の高い場所を対象物追尾結果枠と
して検出するためのテンプレートマッチング手段と、そ
の検出された対象物追尾結果枠で、前記代表特徴量を用
いて、それまでのテンプレートの更新を行うかどうかを
判定するテンプレート更新判定手段と、その判定結果に
基づき、それまでのテンプレートを前記対象追尾結果枠
のパターンに更新するテンプレート更新手段とを備えた
自動追尾装置である。According to the present invention, a target frame setting means for setting a target frame for tracking an object at the time of initial setting, and a feature amount representing the object in the target frame are determined. Representative feature amount determining means for storing, a template storage means for storing the pattern of the target frame as a template at the time of target tracking, and an object tracking result in a place in the input image signal having the highest correlation with the template. Template matching means for detecting as a frame, in the detected object tracking result frame, using the representative feature amount, the template update determination means for determining whether to update the template until then, An automatic tracking device including a template updating unit that updates the template up to that time to the pattern of the target tracking result frame based on the determination result.
【０００６】また、本発明は、初期設定時に、対象物を
追尾するための対象枠を設定するための対象枠設定手段
と、対象枠内で対象物を代表する特徴量を決定するため
の代表特徴量決定手段と、対象追尾時に対象枠のパター
ンをテンプレートとして記憶しておくテンプレート記憶
手段と、入力される画像信号中の、前記テンプレートと
最も相関の高い場所を対象物追尾結果枠として検出する
ためのテンプレートマッチング手段と、その検出された
対象物追尾結果枠で前記代表特徴量を用いて、前記対象
追尾結果枠の位置を補正するための枠位置補正手段と、
前記テンプレートを前記枠位置補正手段で補正された対
象追尾結果枠のパターンに更新するためのテンプレート
更新手段とを備えた自動追尾装置である。Further, according to the present invention, at the time of initial setting, a target frame setting means for setting a target frame for tracking the target object, and a representative for determining a feature amount representing the target object within the target frame. A feature amount determination means, a template storage means for storing a pattern of a target frame as a template at the time of target tracking, and a location in an input image signal having the highest correlation with the template is detected as a target tracking result frame. Template matching means for, and using the representative feature amount in the detected object tracking result frame, frame position correction means for correcting the position of the target tracking result frame,
An automatic tracking device comprising: a template updating unit for updating the template to the pattern of the target tracking result frame corrected by the frame position correcting unit.
【０００７】[0007]
【作用】本発明は、代表特徴量として、対象枠内での重
心位置をとる場合は、初期設定時に、対象物を追尾する
ための対象枠と、対象枠内での代表特徴量を決定し、代
表特徴量の対象枠内での重心位置を求めておき、対象追
尾時にはテンプレートマッチングの結果として得られる
対象追尾結果枠内での代表特徴量の重心位置を求め、初
期設定時に求めた重心位置との差が所定値より小さい場
合にテンプレートを対象追尾結果枠のパターンに更新す
る。According to the present invention, when the position of the center of gravity in the target frame is set as the representative feature amount, the target frame for tracking the object and the representative feature amount in the target frame are determined at the time of initial setting. , The center of gravity position of the representative feature amount in the target frame is obtained in advance, and the center of gravity position of the representative feature amount in the target tracking result frame obtained as a result of template matching during target tracking is obtained, and the center of gravity position obtained at initial setting If the difference between and is smaller than a predetermined value, the template is updated to the pattern of the target tracking result frame.
【０００８】また、初期設定時に、対象物を追尾するた
めの対象枠と、対象枠内での代表特徴量を決定し、代表
特徴量の対象枠内での重心位置を求めておき、対象追尾
時にはテンプレートマッチングの結果として得られる対
象追尾結果枠内での代表特徴量の重心位置を求め、初期
設定時に求めた重心位置を用いて対象追尾結果枠の位置
を補正し、テンプレートを枠位置補正後のパターンに更
新する。Further, at the time of initial setting, a target frame for tracking an object and a representative feature amount in the target frame are determined, and a barycentric position of the representative feature amount in the target frame is obtained in advance. Sometimes the centroid position of the representative feature amount in the target tracking result frame obtained as a result of template matching is found, and the position of the target tracking result frame is corrected using the barycentric position found at the time of initial setting. Update to the pattern.
【０００９】[0009]
【実施例】図１は本発明の第１の実施例における自動追
尾装置のブロック図を示すものである。図１において、
１は画像信号入力端子、２は操作者が対象枠を設定する
対象枠設定部、３は対象枠内で対象物を代表する色（以
下代表色と称す）を決定する代表色決定部、４は対象枠
内での代表色の重心を求める重心計算部、５はテンプレ
ートと最も相関の高い場所を検出するためのテンプレー
トマッチング部、６はテンプレート記憶部、７はテンプ
レートマッチング部５の結果として得られる対象追尾結
果枠内での代表色の重心を求めるための重心計算部、８
は重心計算部４と重心計算部７の結果を比較するための
比較部、９はテンプレートを対象追尾結果枠のパターン
に更新するためのテンプレート更新部、１０は入力切り
替え部である。1 is a block diagram of an automatic tracking device according to a first embodiment of the present invention. In FIG.
Reference numeral 1 is an image signal input terminal, 2 is a target frame setting section in which an operator sets a target frame, 3 is a representative color determining section for determining a color representative of an object in the target frame (hereinafter referred to as a representative color), 4 Is a center of gravity calculation unit for obtaining the center of gravity of the representative color in the target frame, 5 is a template matching unit for detecting a location having the highest correlation with the template, 6 is a template storage unit, and 7 is a result of the template matching unit 5. Center of gravity calculation unit for obtaining the center of gravity of the representative color in the target tracking result frame to be selected, 8
Is a comparison unit for comparing the results of the gravity center calculation unit 4 and the gravity center calculation unit 7, 9 is a template updating unit for updating the template to the pattern of the target tracking result frame, and 10 is an input switching unit.
【００１０】以上のように構成された第１の実施例の自
動追尾装置について、以下その動作を説明する。The operation of the automatic tracking device of the first embodiment constructed as above will be described below.
【００１１】まず、初期設定時の動作について説明す
る。初期設定時において操作者は、図２のように、追尾
する対象物２０を任意に決定し、対象枠設定部２によっ
て、対象物２０のまわりに矩形の対象枠２１を設定す
る。例えば、対象枠２１の左上の座標（ｉ，ｊ）と対象
枠２１の縦，横の長さをそれぞれ決定する。First, the operation at the time of initial setting will be described. At the time of initial setting, as shown in FIG. 2, the operator arbitrarily determines the target object 20 to be tracked, and the target frame setting unit 2 sets a rectangular target frame 21 around the target object 20. For example, the upper left coordinates (i, j) of the target frame 21 and the vertical and horizontal lengths of the target frame 21 are determined.
【００１２】入力切り替え部１０は初期設定時にはａ側
に切り替えられており、画像信号入力端子１に画像信号
が入力されると、代表色決定部３に入力される。代表色
決定部３では対象枠設定部２で設定された対象枠２１内
で最も画素数の多い色を選択し代表色とする。色として
は、例えば、図３のように、入力される画像信号がＲＧ
Ｂ（赤，緑，青）の３次元データの場合に、各信号につ
いて０から最大値までを８分割すると、色は８×８×８
で５１２分割され５１２色となる。従って、例えば画像
信号のＲＧＢのデータが斜線で示した範囲内に存在する
色はすべて、Ｒ（赤）：度数３、Ｇ（緑）：度数０、Ｂ
（青）：度数５という同一の色とみなされる。重心計算
部４では、対象枠設定部２で設定された対象枠内におい
て、代表色決定部３により決定された代表色の重心位置
を計算する。例えば、図４（ａ）に示すように対象枠３
０の中で代表色が斜線で示すように存在している場合に
は、代表色の重心３１の位置を計算し、対象枠３０の左
上からの相対位置（ｘ0，ｙ0）として重心位置を比較部
８に出力する。一方、テンプレート更新部９により、対
象枠設定部２により設定された対象枠内のパターンをテ
ンプレートの初期値としてテンプレート記憶部６に記憶
させておく。The input switching unit 10 is switched to the side a at the initial setting, and when an image signal is input to the image signal input terminal 1, it is input to the representative color determining unit 3. The representative color determination unit 3 selects the color having the largest number of pixels in the target frame 21 set by the target frame setting unit 2 and sets it as the representative color. As for the color, for example, as shown in FIG. 3, the input image signal is RG.
In the case of three-dimensional data of B (red, green, blue), if 0 to the maximum value is divided into 8 for each signal, the color is 8 × 8 × 8.
Are divided into 512 to obtain 512 colors. Therefore, for example, all the colors existing in the shaded range of the RGB data of the image signal are R (red): frequency 3, G (green): frequency 0, B
(Blue): Considered to be the same color with a frequency of 5. The center-of-gravity calculation unit 4 calculates the center-of-gravity position of the representative color determined by the representative-color determination unit 3 within the target frame set by the target frame setting unit 2. For example, as shown in FIG.
In the case where the representative color exists as indicated by diagonal lines in 0, the position of the center of gravity 31 of the representative color is calculated, and the position of the center of gravity is calculated as the relative position (x 0 , y 0 ) from the upper left of the target frame 30. Is output to the comparison unit 8. On the other hand, the template updating unit 9 stores the pattern in the target frame set by the target frame setting unit 2 in the template storage unit 6 as the initial value of the template.
【００１３】次に、初期設定が終了した後の動作につい
て説明する。入力切り替え部１０はｂ側に切り替わり、
入力端子１に入力された画像信号は、テンプレートマッ
チング部５と結果表示部１１に入力される。テンプレー
トマッチング部５では、テンプレート記憶部６に記憶さ
れているテンプレートと最も相関の高い場所を検出し対
象追尾結果枠としてその位置を出力する。テンプレート
マッチング部５の機能としては従来のテンプレートマッ
チングの方法を用いる。重心計算部７では、テンプレー
トマッチング部５により求められた対象追尾結果枠の内
部での代表色の重心位置を計算する。例えば、図４
（ｂ）に示すように対象追尾結果枠３３の内部の代表色
（斜線で示した部分）の重心３２の位置として対象追尾
結果枠３３の左上からの相対位置（ｘ1，ｙ1）を出力す
る。そして、比較部８では、重心計算部４の結果
（ｘ0，ｙ0）と重心計算部７の結果（ｘ1，ｙ1）を比較
し、その差｜ｘ1−ｘ0｜＋｜ｙ1−ｙ0｜を計算し、所定
の値（例えば対象枠の横の長さの１／４）より小さけれ
ばテンプレート更新部９にテンプレートの更新を指令す
る。もし、所定の値より大きければテンプレートの更新
を行わない。重心計算部４、７、比較部８などからテン
プレート更新判定手段は構成される。Next, the operation after the initialization is completed will be described. The input switching unit 10 switches to the b side,
The image signal input to the input terminal 1 is input to the template matching unit 5 and the result display unit 11. The template matching unit 5 detects a place having the highest correlation with the template stored in the template storage unit 6 and outputs the position as a target tracking result frame. As a function of the template matching unit 5, a conventional template matching method is used. The center-of-gravity calculator 7 calculates the center-of-gravity position of the representative color inside the target tracking result frame obtained by the template matching unit 5. For example, in FIG.
As shown in (b), the relative position (x 1 , y 1 ) from the upper left of the target tracking result frame 33 is output as the position of the center of gravity 32 of the representative color (shaded portion) inside the target tracking result frame 33. To do. Then, the comparing unit 8 compares the results of the center-of-gravity calculation section 4 (x 0, y 0) with the results of centroid calculation section 7 (x 1, y 1), the difference | x 1 -x 0 | + | y 1− y 0 | is calculated, and if it is smaller than a predetermined value (for example, 1/4 of the horizontal length of the target frame), the template updating unit 9 is instructed to update the template. If it is larger than the predetermined value, the template is not updated. Template update determination means is composed of the center of gravity calculation units 4 and 7, the comparison unit 8 and the like.
【００１４】テンプレート更新部９では、テンプレート
更新の指令を受けたら、テンプレート記憶部６の内容
を、テンプレートマッチング部５により求められた対象
追尾結果枠のパターンに更新する。結果表示部１１で
は、テンプレートマッチング部５により求められた対象
追尾結果枠３３を、画像入力端子１から入力された入力
画像に重畳してモニターテレビ等に出力する。以後、こ
の一連の処理を繰り返す。Upon receiving the template update command, the template update unit 9 updates the content of the template storage unit 6 to the pattern of the target tracking result frame obtained by the template matching unit 5. The result display unit 11 superimposes the target tracking result frame 33 obtained by the template matching unit 5 on the input image input from the image input terminal 1 and outputs it to the monitor TV or the like. After that, this series of processing is repeated.
【００１５】以上のように本実施例によれば、テンプレ
ートマッチングの結果として得られる対象追尾結果枠内
での代表色の重心位置と、初期設定時の対象枠内での代
表色の重心位置との差が所定値より小さい場合にのみテ
ンプレートの更新を行うため、対象物が回転したり、他
の物体の後ろに隠れたりした場合においてもテンプレー
トの内容が対象物を含まないように更新されることがな
くなり、良好に追従を行うことができる。As described above, according to this embodiment, the barycentric position of the representative color in the target tracking result frame obtained as a result of template matching and the barycentric position of the representative color in the target frame at the time of initialization are set. The template is updated only when the difference between the two is smaller than a predetermined value, so the template content is updated so that it does not include the object even if the object rotates or is hidden behind other objects. Can be followed and excellent tracking can be performed.
【００１６】図５は本発明の第２の実施例における自動
追尾装置のブロック図を示すものである。図５におい
て、図１と同じものには同一番号を付してあり、２０は
枠位置補正部である。FIG. 5 is a block diagram of an automatic tracking device according to the second embodiment of the present invention. 5, the same components as those in FIG. 1 are designated by the same reference numerals, and 20 is a frame position correction unit.
【００１７】以上のように構成された第２の実施例の自
動追尾装置について、以下その動作を説明する。The operation of the automatic tracking device of the second embodiment constructed as above will be described below.
【００１８】まず、初期設定時の動作について説明す
る。初期設定時においては、第１の実施例と同様に、操
作者が、対象枠設定部２によって、対象物のまわりに矩
形の対象枠を設定する。入力切り替え部１０は初期設定
時にはａ側に切り替えられており、入力端子１に画像信
号が入力されると、代表色決定部３に入力される。代表
色決定部では対象枠設定部２で設定された対象枠内で最
も画素数の多い色を選択し代表色とする。重心計算部４
では、対象枠設定部２で設定された対象枠内において、
代表色決定部３により決定された代表色の重心位置（ｘ
0，ｙ0）を計算し枠位置補正部２０に出力する。また、
テンプレート更新部９により、対象枠設定部２により設
定された対象枠内のパターンをテンプレートとしてテン
プレート記憶部６に記憶させておく。First, the operation at the time of initial setting will be described. At the time of initial setting, as in the first embodiment, the operator sets a rectangular target frame around the target object by the target frame setting unit 2. The input switching unit 10 is switched to the side a at the initial setting, and when the image signal is input to the input terminal 1, it is input to the representative color determination unit 3. The representative color determination unit selects a color having the largest number of pixels in the target frame set by the target frame setting unit 2 and sets it as a representative color. Center of gravity calculator 4
Then, within the target frame set by the target frame setting unit 2,
The barycentric position of the representative color determined by the representative color determination unit 3 (x
0 , y 0 ) is calculated and output to the frame position correction unit 20. Also,
The template updating unit 9 causes the template storage unit 6 to store the pattern in the target frame set by the target frame setting unit 2 as a template.
【００１９】初期設定が終了すると、入力切り替え部１
０はｂ側に切り替わり、入力端子１に入力された画像信
号は、テンプレートマッチング部５と結果表示部１１に
入力される。テンプレートマッチング部５では、テンプ
レート記憶部６に記憶されているテンプレートと最も相
関の高い場所を対象追尾結果枠として検出しその位置を
出力する。重心計算部７では、テンプレートマッチング
部５により求められた対象追尾結果枠の内部での代表色
の重心位置（ｘ1，ｙ1）を計算し枠位置補正部２０に出
力する。When the initial setting is completed, the input switching unit 1
0 is switched to the b side, and the image signal input to the input terminal 1 is input to the template matching unit 5 and the result display unit 11. The template matching unit 5 detects a place having the highest correlation with the template stored in the template storage unit 6 as a target tracking result frame and outputs the position. The center-of-gravity calculation unit 7 calculates the center-of-gravity position (x 1 , y 1 ) of the representative color inside the target tracking result frame obtained by the template matching unit 5 and outputs it to the frame position correction unit 20.
【００２０】そして、枠位置補正部２０では、重心位置
計算部４と重心位置計算部７との結果を用いて、対象追
尾結果枠の位置を補正する。初期設定時の状態が図６
（ａ）のように代表色の重心位置４１が（ｘ0，ｙ0）で
あり、テンプレートマッチング部５の結果図６（ｂ）に
示すように対象追尾結果枠４２が求まり、代表色の重心
位置４４が（ｘ1，ｙ1）であった場合には、枠位置補正
部２０では、対象追尾結果枠４２を｜ｘ1−ｘ0｜だけ横
方向（ｘ1＞ｘ0の場合はｘ1−ｘ0だけ右、ｘ1＜ｘ0の場
合はｘ0−ｘ1だけ左）に、｜ｙ1−ｙ0｜だけ縦方向（ｙ
1＞ｙ0の場合は、ｙ1−ｙ0だけ下、ｙ1＜ｙ0の場合はｙ
0−ｙ1だけ上）に補正して４３のような補正後の枠の位
置を出力する。テンプレート更新部９では、テンプレー
ト記憶部６の内容を、枠位置補正部２０により補正され
た対象追尾結果枠のパターンに更新する。結果表示部１
１では、枠位置補正部２０により求められた対象追尾結
果枠を、画像入力端子１から入力された入力画像に重畳
してモニターテレビ等に出力する。重心位置計算部４、
７、枠位置補正部２０で枠位置補正手段は構成される。Then, the frame position correction unit 20 corrects the position of the target tracking result frame using the results of the gravity center position calculation unit 4 and the gravity center position calculation unit 7. Figure 6 shows the initial settings.
As shown in (a), the barycentric position 41 of the representative color is (x 0 , y 0 ), and the result of the template matching unit 5 is the target tracking result frame 42 as shown in FIG. When the position 44 is (x 1 , y 1 ), the frame position correction unit 20 moves the target tracking result frame 42 by | x 1 −x 0 | in the horizontal direction (x 1 > x 0 , x 1− x 0 to the right, x 1 <x 0 to the left only x 0 −x 1 ), and only | y 1 −y 0 | in the vertical direction (y
If 1 > y 0 , y 1 −y 0 down, and if y 1 <y 0 , y
The position of the corrected frame such as 43 is output after correction by 0- y 1 ). The template updating unit 9 updates the contents of the template storage unit 6 to the pattern of the target tracking result frame corrected by the frame position correcting unit 20. Result display part 1
In 1, the target tracking result frame obtained by the frame position correction unit 20 is superimposed on the input image input from the image input terminal 1 and output to a monitor television or the like. Center-of-gravity position calculation unit 4,
7. The frame position correcting section 20 constitutes a frame position correcting means.
【００２１】以上のように本実施例によれば、テンプレ
ートマッチングの結果として得られる対象追尾結果枠内
での代表色の重心位置と、初期設定時の対象枠内での代
表色の重心位置との差により対象追尾結果枠の位置を補
正してから、テンプレートの更新を行うので、対象物が
回転したり、他の物体の後ろに隠れたりした場合におい
てもテンプレート位置が代表色により補正されるため、
良好に追従を行うことができる。As described above, according to the present embodiment, the barycentric position of the representative color in the target tracking result frame obtained as a result of template matching and the barycentric position of the representative color in the target frame at the time of initial setting are set. The template position is corrected after the position of the target tracking result frame is corrected based on the difference between, so that the template position is corrected by the representative color even when the target object rotates or is hidden behind another object. For,
Good tracking can be performed.
【００２２】なお、第１及び第２の実施例において、代
表色として対象枠内で最も画素数の多い色を選択するよ
うにしたが、例えばまとまった領域の面積が最大の色な
ど、対象枠内で対象物の特徴を表すものであれば別の基
準で選んでもよい。また、対象枠内で対象物の特徴を表
す量として色を用いたが、特に色に限定するものではな
く対象物の持つ特徴量であれば何を用いてもよい。In the first and second embodiments, the color having the largest number of pixels in the target frame is selected as the representative color. However, for example, the color having the largest area of the target region is the target frame. Other criteria may be selected as long as they represent the characteristics of the object. Further, although the color is used as the quantity representing the feature of the target object within the target frame, the color is not particularly limited, and any feature amount of the target object may be used.
【００２３】[0023]
【発明の効果】以上説明したように、本発明にかかる自
動追尾装置によれば、対象物が回転したり、別の物体の
後ろに隠れて再び現れたりしたような場合でも確実に自
動追尾することができ、その実用的効果は大きい。As described above, according to the automatic tracking device of the present invention, even if the object rotates or hides behind another object and appears again, the automatic tracking is surely performed. It is possible and its practical effect is great.
【図１】本発明の第１の実施例の自動追尾装置のブロッ
ク図である。FIG. 1 is a block diagram of an automatic tracking device according to a first embodiment of the present invention.
【図２】対象物と対象枠を説明するための説明図であ
る。FIG. 2 is an explanatory diagram for explaining an object and an object frame.
【図３】図１の動作を説明するための説明図である。FIG. 3 is an explanatory diagram for explaining the operation of FIG.
【図４】図１の動作を説明するための説明図である。FIG. 4 is an explanatory diagram for explaining the operation of FIG.
【図５】本発明の第２の実施例の自動追尾装置のブロッ
ク図である。FIG. 5 is a block diagram of an automatic tracking device according to a second embodiment of the present invention.
【図６】図５の動作を説明するための説明図である。6 is an explanatory diagram for explaining the operation of FIG. 5;
【図７】従来の自動追尾装置の動作を説明するための説
明図である。FIG. 7 is an explanatory diagram for explaining an operation of a conventional automatic tracking device.
【図８】従来の自動追尾装置の動作を説明するための説
明図である。FIG. 8 is an explanatory diagram for explaining the operation of the conventional automatic tracking device.
【図９】従来の自動追尾装置の動作を説明するための説
明図である。FIG. 9 is an explanatory diagram for explaining the operation of the conventional automatic tracking device.
１ 画像信号入力端子 ２ 対象枠設定部 ３ 代表色決定部 ４，７ 重心計算部 ５ テンプレートマッチング部 ６ テンプレート記憶部 ８ 比較部 ９ テンプレート更新部 １０ 入力切り替え部 １１ 結果表示部 １２ 探索範囲決定部 ２０ 枠位置補正部 1 Image signal input terminal 2 Target frame setting section 3 Representative color determination unit 4,7 Center of gravity calculator 5 Template matching section 6 Template storage 8 comparison section 9 Template update section 10 Input switching section 11 Result display section 12 Search range determination unit 20 Frame position correction unit
Claims (4)
対象枠を設定するための対象枠設定手段と、対象枠内で
対象物を代表する特徴量を決定するための代表特徴量決
定手段と、対象追尾時に対象枠のパターンをテンプレー
トとして記憶しておくテンプレート記憶手段と、入力さ
れる画像信号中の、前記テンプレートと最も相関の高い
場所を対象物追尾結果枠として検出するためのテンプレ
ートマッチング手段と、その検出された対象物追尾結果
枠で、前記代表特徴量を用いて、それまでのテンプレー
トの更新を行うかどうかを判定するテンプレート更新判
定手段と、その判定結果に基づき、それまでのテンプレ
ートを前記対象追尾結果枠のパターンに更新するテンプ
レート更新手段とを備えたことを特徴とする自動追尾装
置。1. A target frame setting means for setting a target frame for tracking an object at the time of initial setting, and a representative feature amount determining means for determining a feature amount representative of the object within the target frame. And a template storage unit for storing a pattern of a target frame as a template during target tracking, and template matching for detecting a location in an input image signal having the highest correlation with the template as a target tracking result frame. Means, in the detected object tracking result frame, using the representative feature amount, template update determination means for determining whether to update the template so far, and based on the determination result, An automatic tracking device, comprising: a template updating unit that updates a template to the pattern of the target tracking result frame.
時に代表特徴量の前記対象枠内での重心を求めるための
第１の重心計算手段と、前記テンプレートマッチング手
段の結果として得られる前記対象追尾結果枠内での前記
代表特徴量の重心を求めるための第２の重心計算手段
と、前記第１および第２の重心計算手段の結果を比較す
るための比較手段とにより構成され、前記比較手段によ
る前記第１および第２の重心計算手段の結果の差が所定
値より小さい場合は、前記テンプレート更新手段で更新
するように判定することを特徴とする請求項１記載の自
動追尾装置。2. A template update determination means, which is a first center of gravity calculation means for obtaining a center of gravity of a representative feature quantity in the target frame at the time of initial setting, and the target tracking result obtained as a result of the template matching means. It is composed of a second center of gravity calculating means for obtaining the center of gravity of the representative feature quantity within a frame, and a comparing means for comparing the results of the first and second center of gravity calculating means. The automatic tracking device according to claim 1, wherein when the difference between the results of the first and second center of gravity calculating means is smaller than a predetermined value, the template updating means determines to update.
対象枠を設定するための対象枠設定手段と、対象枠内で
対象物を代表する特徴量を決定するための代表特徴量決
定手段と、対象追尾時に対象枠のパターンをテンプレー
トとして記憶しておくテンプレート記憶手段と、入力さ
れる画像信号中の、前記テンプレートと最も相関の高い
場所を対象物追尾結果枠として検出するためのテンプレ
ートマッチング手段と、その検出された対象物追尾結果
枠で前記代表特徴量を用いて、前記対象追尾結果枠の位
置を補正するための枠位置補正手段と、前記テンプレー
トを前記枠位置補正手段で補正された対象追尾結果枠の
パターンに更新するためのテンプレート更新手段とを備
えたことを特徴とする自動追尾装置。3. A target frame setting means for setting a target frame for tracking an object at the time of initial setting, and a representative feature amount determining means for determining a feature amount representing the object in the target frame. And a template storage unit for storing a pattern of a target frame as a template during target tracking, and template matching for detecting a location in an input image signal having the highest correlation with the template as a target tracking result frame. Means and a frame position correction means for correcting the position of the target tracking result frame by using the representative feature amount in the detected object tracking result frame, and the template is corrected by the frame position correction means. An automatic tracking device comprising: a template updating unit for updating the pattern of the target tracking result frame.
徴量の前記対象枠内での重心を求めるための第１の重心
計算手段と、前記テンプレートマッチング手段の結果と
して得られる前記対象追尾結果枠内での前記代表特徴量
の重心を求めるための第２の重心計算手段と、前記第１
および第２の重心計算手段の結果を用いて前記対象追尾
結果枠の位置を補正する枠位置補正手段とを有すること
を特徴とする請求項３記載の自動追尾装置。4. The frame position correcting means includes a first center of gravity calculating means for obtaining a center of gravity of a representative feature amount in the target frame at the time of initial setting, and the target tracking result obtained as a result of the template matching means. A second center of gravity calculating means for obtaining a center of gravity of the representative feature quantity within a frame;
4. The automatic tracking device according to claim 3, further comprising: a frame position correction unit that corrects the position of the target tracking result frame using the result of the second center-of-gravity calculation unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3156543A JPH056434A (en) | 1991-06-27 | 1991-06-27 | Automatic tracking device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3156543A JPH056434A (en) | 1991-06-27 | 1991-06-27 | Automatic tracking device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH056434A true JPH056434A (en) | 1993-01-14 |
Family
ID=15630099
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3156543A Pending JPH056434A (en) | 1991-06-27 | 1991-06-27 | Automatic tracking device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH056434A (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20000054784A (en) * | 2000-06-23 | 2000-09-05 | 이성환 | system for tracking the movement of the multiple object using an Appearance Model Based on Temporal Color and controlling method therefore |
| KR100312427B1 (en) * | 1999-12-23 | 2001-11-03 | 오길록 | Method and device for tracking robust object from video images using template and kalman filter |
| KR100436049B1 (en) * | 2001-12-31 | 2004-06-12 | 주식회사 하이닉스반도체 | Movement prediction system |
| JP2008267872A (en) * | 2007-04-17 | 2008-11-06 | Toshiba Corp | Image guide device |
| JPWO2007037350A1 (en) * | 2005-09-29 | 2009-04-09 | 株式会社プラスミック | Horse position information analysis and display method |
| JP2010157924A (en) * | 2008-12-26 | 2010-07-15 | Canon Inc | Subject tracking apparatus, method for controlling the same, imaging apparatus, display apparatus and program |
| EP2242253A1 (en) * | 2008-02-06 | 2010-10-20 | Panasonic Corporation | Electronic camera and image processing method |
| WO2011145236A1 (en) * | 2010-05-21 | 2011-11-24 | パナソニック株式会社 | Traffic line creation device and traffic line creation method |
-
1991
- 1991-06-27 JP JP3156543A patent/JPH056434A/en active Pending
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100312427B1 (en) * | 1999-12-23 | 2001-11-03 | 오길록 | Method and device for tracking robust object from video images using template and kalman filter |
| KR20000054784A (en) * | 2000-06-23 | 2000-09-05 | 이성환 | system for tracking the movement of the multiple object using an Appearance Model Based on Temporal Color and controlling method therefore |
| KR100436049B1 (en) * | 2001-12-31 | 2004-06-12 | 주식회사 하이닉스반도체 | Movement prediction system |
| JPWO2007037350A1 (en) * | 2005-09-29 | 2009-04-09 | 株式会社プラスミック | Horse position information analysis and display method |
| JP4658266B2 (en) * | 2005-09-29 | 2011-03-23 | 株式会社山口シネマ | Horse position information analysis and display method |
| JP2008267872A (en) * | 2007-04-17 | 2008-11-06 | Toshiba Corp | Image guide device |
| EP2242253A1 (en) * | 2008-02-06 | 2010-10-20 | Panasonic Corporation | Electronic camera and image processing method |
| EP2242253A4 (en) * | 2008-02-06 | 2014-05-14 | Panasonic Corp | Electronic camera and image processing method |
| JP2010157924A (en) * | 2008-12-26 | 2010-07-15 | Canon Inc | Subject tracking apparatus, method for controlling the same, imaging apparatus, display apparatus and program |
| US8416987B2 (en) | 2008-12-26 | 2013-04-09 | Canon Kabushiki Kaisha | Subject tracking apparatus and control method therefor, image capturing apparatus, and display apparatus |
| WO2011145236A1 (en) * | 2010-05-21 | 2011-11-24 | パナソニック株式会社 | Traffic line creation device and traffic line creation method |
| JP2011243155A (en) * | 2010-05-21 | 2011-12-01 | Panasonic Corp | Flow line creation device and flow line creation method |
| US8934671B2 (en) | 2010-05-21 | 2015-01-13 | Panasonic Corporation | Traffic line creation device and traffic line creation method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9892493B2 (en) | Method, apparatus and system for performing geometric calibration for surround view camera solution | |
| US5532764A (en) | Convergence error detecting apparatus capable of being applied to projection-type displays having different scanning frequencies | |
| US5473369A (en) | Object tracking apparatus | |
| KR100600913B1 (en) | Image processing system, projector, and image processing method | |
| KR100440457B1 (en) | Video display apparatus and method for adjusting parameters on an on-screen display | |
| US6411742B1 (en) | Merging images to form a panoramic image | |
| US4962540A (en) | Method and apparatus for detecting corresponding regions between picture images | |
| JPH07193746A (en) | Image processing system | |
| US20030142883A1 (en) | Image correction data calculation method, image correction data calculation apparatus, and multi-projection system | |
| JPH11327520A (en) | Display control method and display controller | |
| JPH056434A (en) | Automatic tracking device | |
| US6956583B2 (en) | Error diffusion method and apparatus thereof for display system | |
| US6738497B2 (en) | Method, system and apparatus for image block matching | |
| JPH07184231A (en) | Automatic adjustment device for multi-display device | |
| US20020009211A1 (en) | Method, system and apparatus | |
| KR100189908B1 (en) | Color correction apparatus & method therefor using two-dimensional chromaticity partitioning | |
| US5963274A (en) | Vertical/horizontal interpolation device and method in convergence system | |
| JPH06105185A (en) | Brightness correction method | |
| JP3786300B2 (en) | Motion vector detection apparatus and motion vector detection method | |
| JPH066816A (en) | Convergence adjustment device and method therefor | |
| US6483262B2 (en) | Apparatus and method for ring spline convergence correction | |
| CN112489115A (en) | Light emitting module positioning method, device, electronic equipment, storage medium and system | |
| JP2502516B2 (en) | Convergence automatic adjustment device | |
| US6404146B1 (en) | Method and system for providing two-dimensional color convergence correction | |
| JP2988209B2 (en) | Color shading pattern recognition device |