WO2005066897A1

WO2005066897A1 - 画像処理装置および方法、記録媒体、並びにプログラム

Info

Publication number: WO2005066897A1
Application number: PCT/JP2005/000063
Authority: WO
Inventors: Tetsujiro Kondo; Tsutomu Watanabe; Tomoyuki Ohtsuki; Hitoshi Mukai; Nobuyuki Yamaguchi
Original assignee: Sony Corporation
Priority date: 2004-01-06
Filing date: 2005-01-06
Publication date: 2005-07-21
Also published as: EP1710751A1; KR101108634B1; US7899208B2; KR20060123438A; US20090175496A1

Abstract

本発明は追尾点を確実に追尾することができるようにする画像処理装置および方法、記録媒体、並びにプログラムに関する。フレームｎ−１において、人の顔５０４の右目５０２が追尾点として追尾されている場合において、フレームｎにおける場合のように、追尾点５０１が現れている場合には、その追尾点５０１がそのまま追尾される。フレームｎ＋１のように、追尾対象の物体の顔５０４が回転することで、追尾点５０１としての右目５０２が見えなくなった場合には、右目５０２を有する対象物としての顔５０４の他の点である左目５０３に追尾点が乗り換えられる。本発明は監視カメラシステムに適用することができる。

Description

明細書

画像処理装置および方法、記録媒体、並びにプログラム

技術分野

[0001] 本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、時々刻々と変化する動画像の中の所望の点を確実に追尾することができるようにした、画像処理装置および方法、記録媒体、並びにプログラムに関する。

背景技術

[0002] 動画像の所望の点を自動的に追尾する方法が種々提案されて!、る。

[0003] 例えば、特許文献 1には、追尾対象に対応する 1つのブロックに関する動きベクトルを用いて追尾を行うことが提案されて、る。

[0004] 特許文献 2には、追尾対象に関する領域の推定を行い、領域の動きの推定結果に基づいて、領域を追尾することが提案されている。

特許文献 1：特開平 6— 143235号公報

特許文献 2：特開平 5— 304065号公報

発明の開示

発明が解決しょうとする課題

[0005] し力しながら、特許文献 1に記載の技術においては、 1つの動きベクトルを用いて追尾を行うようにしているため、比較的ロバスト性に欠ける課題があった。また、追尾対象を含む画像が回転するなどして、追尾対象がユーザから見て見えなくなるような状態になった場合、その後、追尾点が再び見える状態になったとしても、その追尾点をもはや追尾することができなくなる課題があった。

[0006] 特許文献 2の技術においては、領域が利用される。その結果、ロバスト性が向上する。し力しながら、ロノスト性を向上させるために領域を広くしすぎると、例えば、ホームビデオで撮影した画像の中の子供の顔を追尾してズーム表示した、と、うような場合に、面積の広い子供の胴体を追尾してズーム表示してしまうという症状が生じる課題があった。

[0007] また、いずれの技術においても、追尾対象が他の物体により一時的に隠れてしまうォクルージョンが発生したり、あるいはシーンチェンジなどにより追尾対象が一時的に表示されなくなるような場合、ロバストな追尾を行うことが困難である課題があった。

[0008] 本発明はこのような状況に鑑みてなされたものであり、物体が回転したり、ォクルージョンが発生したり、シーンチェンジが発生したような場合においても、追尾点を確実に追尾することができるようにするものである。

課題を解決するための手段

[0009] 本発明の画像処理装置は、時間的に前の処理単位の画像上の追尾点としての第 1の点の時間的に後の処理単位における追尾点としての第 2の点の位置を推定する位置推定手段と、第 2の点の位置が推定可能でない場合における第 1の点の候補としての推定点を生成する生成手段と、後の処理単位における第 2の点の位置が推定可能である場合、位置推定手段による推定結果に基づいて、後の処理単位における第 2の点を決定する決定手段と、後の処理単位における第 2の点の位置が推定可能でない場合、推定点の中から第 1の点を選択する選択手段とを備えることを特徴とする。

[0010] 前記処理単位はフレームとするようにすることができる。

[0011] 前記位置推定手段は、さらに位置の推定の確度を演算し、演算された確度が基準値より大きい場合、第 2の点の位置が推定可能であると判定するようにすることができる。

[0012] 前記位置推定手段は、後の処理単位における第 2の点の位置が推定可能でな、場合、選択手段にて選択された第 1の点に基づいて、第 2の点の位置を推定するようにすることができる。

[0013] 前記位置推定手段は、第 2の点の位置が推定可能である場合に、第 2の点の位置を新たな第 1の点として、次の処理単位の画像上の追尾点の位置の推定を行うようにすることができる。

[0014] 前記生成手段は、第 1の点と同一の対象物に属する 1つ以上の点の集合を前の処理単位、または前の処理単位よりさらに前の処理単位において対象領域として推定する領域推定手段と、対象領域に基づき推定点を生成する推定点生成手段とを有するよう〖こすることがでさる。 [0015] 前記領域推定手段は、推定対象である対象領域に少なくとも重なる位置を予測により求め、予測された位置であって、対象領域を推定する処理単位における追尾点を含む位置に領域推定範囲を設定し、設定した領域推定範囲の中でサンプル点を設定し、サンプル点のうち、同一の動きを有するサンプル点の集合力もなる領域であつて最も大きい面積を持つサンプル点の集合力なる領域を対象領域と推定するようにすることができる。

[0016] 前記領域推定範囲は、固定形状とするようにすることができる。

[0017] 前記領域推定範囲は、可変形状とするようにすることができる。

[0018] 前記領域推定手段は、前の処理単位よりさらに前の処理単位において対象領域を推定し、生成手段は、対象領域の前の処理単位における推定された対象領域中の点を推定点として生成するようにすることができる。

[0019] 前記領域推定手段は、前の処理単位にお!ヽて対象領域を推定し、生成手段は、対象領域を構成する点を推定点として生成するようにすることができる。

[0020] 前記領域推定手段は、第 1の点と類似する画素値を有する点であって隣接する点およびその隣接する点にさらに隣接する点を、対象領域と推定するようにすることができる。

[0021] 前記領域推定手段は、前の処理単位よりも更に前の処理単位における第 1の点を含む所定の大きさの領域の中のサンプル点を抽出し、サンプル点のうち、同一の動きを有するサンプル点の領域であって最も大きい面積の領域を、その同一の動きの分だけシフトした前の処理単位上の点を含む領域を対象領域と推定するようにすることがでさる。

[0022] テンプレートを作成するテンプレート作成手段と、推定点に基づいて第 2の点を決定することができない場合、後の処理単位における所定の領域であるブロックと、そのブロックの処理単位より 1処理単位以上前の処理単位のテンプレートの所定の領域であるブロックとの相関を算出する相関算出手段とをさらに備え、相関算出手段により算出された相関に基づいて、相関が高いと判定された場合、少なくとも決定手段を用いて追尾点を検出するようにすることができる。

[0023] 前記テンプレート作成手段は、追尾点周辺の所定の領域をテンプレートとするようにすることができる。

[0024] 前記テンプレート作成手段は、対象領域に基づ、てテンプレートを作成するようにすることができる。

[0025] 前記相関算出手段により算出された相関に基づいて、相関が高いと判定された場合、後の処理単位における所定の領域であるブロックより 1処理単位以上前の処理単位におけるテンプレートの所定の領域であるブロックと追尾点との関係と、相関が高、と判定されたブロックの位置とに基づ、て、第 2の点を定めるようにすることができる。

[0026] 前記テンプレート作成手段は、対象領域中のサンプル点および、サンプル点の所定の周縁領域力もなる領域をテンプレートとするようにすることができる。

[0027] 前記相関算出手段は、後の処理単位におけるブロックと、そのブロックの処理単位より 1処理単位以上前の処理単位のテンプレートのブロックとの誤差を演算することで、相関を算出するようにすることができる。

[0028] シーンチェンジを検出する検出手段をさらに備え、位置推定手段と選択手段は、それぞれの処理を、予め定められた条件に基づいて終了するとともに、推定点の中から第 2の点を選択することができない時におけるシーンチェンジの有無に基づいて条件を変更するようにすることができる。

[0029] 前記決定手段は、さらに、記時間的に前の処理単位の第 1の点を含む少なくとも 1 つ以上の画素である注目画素と、時間的に後の処理単位の少なくとも 1つ以上の画素であって、注目画素の動きベクトルに基づいて規定される対応画素との相関を表す評価値を算出する評価値算出手段と、注目画素を基準とする画素値の変動を表す変動値を算出する変動値算出手段と、評価値と変動値に基づいて、動きベクトルの確度を演算する確度演算手段とを備えるようにすることができる。

[0030] 前記注目画素の画素数と対応画素の画素数は同じであるようにすることができる。

[0031] 前記変動値は、画素値の空間方向の変動を表わす値であるようにすることができる

[0032] 前記変動値は、分散値、またはダイナミックレンジであるようにすることができる。

[0033] 前記処理単位は、フレームまたはフィールドであるようにすることができる。 [0034] 前記確度演算手段は、評価値を変動値で正規化した値に基づ!、て動きベクトルの確度を演算するようにすることができる。

[0035] 前記確度演算手段は、変動値が所定の閾値よりも大きい場合には、評価値を変動値で正規ィ匕した値を動きベクトルの確度とし、変動値が閾値よりも小さい場合には、動きベクトルの確度が低、ことを表わす固定値を選択するようにすることができる。

[0036] 前記評価値算出手段は、注目画素を含むブロックと、対応画素を含むブロックの画素の差分の絶対値の総和として評価値を演算するようにすることができる。

[0037] 前記変動値算出手段は、注目画素を含むブロックにおいて、注目画素とそれに隣接する隣接画素との差分の絶対値の総和を隣接画素の数で除算して得られた値の、ブロック内の総和として変動値を演算するようにすることができる。

[0038] 前記確度演算手段は、変動値を第 1の基準値と比較する比較手段と、第 2の基準値と、評価値を変動値で正規化した値との差を演算する差演算手段と、比較手段による比較結果と、差演算手段により演算された差に基づいて、動きベクトルの確度を演算し、出力する出力手段とを備えるようにすることができる。

[0039] 入力画像力動きベクトルを検出し、評価値算出手段に供給する動きベクトル検出手段と、動きベクトル検出手段により検出された動きベクトルに基づいて、入力画像を動き補償する動き補償手段と、動き補償手段により動き補償された画像と動き補償されて、な、画像の、ずれかを、動きベクトルの確度に基づ、て選択する選択手段と、選択手段により選択された画像を符号ィヒする符号ィヒ手段とをさらに備えるようにすることがでさる。

[0040] 前記動きベクトルの確度で重み付けされた頻度分布を算出する頻度分布算出手段と、頻度分布算出手段により算出された頻度分布の最大値を検出し、検出された最大値に基づいて、背景動きを検出する最大値検出手段とをさらに備えるようにすることがでさる。

[0041] 前記動きベクトルの確度の処理単位における平均値を算出する平均値算出手段と、平均値算出手段により算出された平均値を基準値と比較し、その比較結果に基づいてシーンチェンジの有無を判定する判定手段とをさらに備えるようにすることができる。 [0042] 前記平均値算出手段は、 1つの処理単位について、 1つの平均値を演算するようにすることができる。

[0043] 画像の中の移動するオブジェクトにおける第 1の点を検出する第 1の点検出手段と、推定結果に基づいて、画像の中のオブジェクトの周囲に予め設定された大きさの補正領域を設定する補正領域設定手段と、画像の中の補正領域内の画像を補正する補正手段と、補正領域内が補正手段により補正された画像の表示を制御する表示制御手段とをさらに備えるようにすることができる。

[0044] 前記補正手段は、画像のぼけを補正するようにすることができる。

[0045] 前記補正手段は、補正領域内の画像を特定する制御信号と、画像のぼけの度合 Vヽ表すパラメータを供給する供給手段と、制御信号に基づ!/ヽて特定された補正領域内の画像の特徴を検出し、検出された特徴を表す特徴コードを出力する特徴検出手段と、画像のぼけの度合いを表すパラメータと、特徴検出手段により出力された特徴コードに対応する係数を記憶する記憶手段と、記憶手段から、パラメータと特徴検出手段により出力された特徴コードに対応する係数を読み出す読み出し手段と、読み出し手段により読み出された係数に基づいて、入力画像の画素の値に対して積和演算を行う積和演算手段と、積和演算手段による演算結果と入力画像の画素の値を選択して出力する選択出力手段とを備え、補正領域内の画像のぼけを除去するようにネ ΐ正するよう〖こすることができる。

[0046] 前記第 1の点検出手段は、入力画像の中から、積和演算を行う画素の周囲の、予め設定された第 1の領域に含まれる複数の画素を抽出する第 1の抽出手段と、第 1の領域と、垂直または水平の複数の方向に連続した、複数の第 2の領域に含まれる複数の画素を抽出する第 2の抽出手段と、第 1の抽出手段により抽出された画素と、第 2の抽出手段により抽出された画素において、対応する画素の値の差分の絶対値の総和を求めて、複数のブロック差分を演算するブロック差分演算手段と、ブロック差分が、予め設定された閾値より大きいか否かを判定する差分判定手段とを備えるようにすることができる。

[0047] 前記パラメータは、ぼけた画像の画素とぼけていない画像の画素の関係を表すモデル式におけるガウス関数のパラメータであるようにすることができる。 [0048] 前記記憶手段により記憶される係数は、モデル式の逆行列を演算することにより求められた係数であるようにすることができる。

[0049] 前記選択出力手段は、積和演算手段により積和演算が行われた複数の画素を抽出する第 1の抽出手段と、第 1の抽出手段により抽出された複数の画素の分散の度合いを表す分散度を演算する分散演算手段と、分散演算手段により演算された分散度が予め設定された閾値より大きいか否かを判定する分散判定手段とを備えるようにすることができる。

[0050] 前記選択出力手段は、分散判定手段の判定結果に基づいて、出力する画素の値を、積和演算手段による演算結果、または入力画像の画素の値のいずれかから選択する画素選択手段をさらに備えるようにすることができる。

[0051] 本発明の画像処理方法は、時間的に前の処理単位の画像上の追尾点としての第 1の点の時間的に後の処理単位における追尾点としての第 2の点の位置を推定する推定ステップと、第 2の点の位置が推定可能でない場合における第 1の点の候補としての推定点を生成する生成ステップと、後の処理単位における第 2の点の位置が推定可能である場合、位置推定ステップの処理による推定結果に基づいて、後の処理単位における第 2の点を決定する決定ステップと、後の処理単位における第 2の点の位置が推定可能でない場合、推定点の中から第 1の点を選択する選択ステップとを含むことを特徴とする。

[0052] 前記決定ステップの処理には、時間的に前の処理単位の第 1の点を含む少なくとも 1つ以上の画素である注目画素と、時間的に後の処理単位の少なくとも 1つ以上の画素であって、注目画素の動きベクトルに基づいて規定される対応画素との相関を表す評価値を算出する評価値算出ステップと、注目画素を基準とする画素値の変動を表す変動値を算出する変動値算出ステップと、評価値と変動値に基づいて、動きベクトルの確度を演算する確度演算ステップとが含まれるようにすることができる。

[0053] 画像の中の移動するオブジェクトにおける第 1の点を検出する第 1の点検出ステツプと、推定結果に基づいて、画像の中にオブジェクトの周囲に予め設定された大きさの補正領域を設定する補正領域設定ステップと、画像の中の補正領域内の画像を補正する補正ステップと、補正領域内が前記補正ステップの処理により補正された画像の表示を制御する表示制御ステップとをさらに含むようにすることができる。

[0054] 本発明の記録媒体のプログラムは、時間的に前の処理単位の画像上の追尾点としての第 1の点の時間的に後の処理単位における追尾点としての第 2の点の位置を推定する推定ステップと、第 2の点の位置が推定可能でない場合における第 1の点の候補としての推定点を生成する生成ステップと、後の処理単位における第 2の点の位置が推定可能である場合、位置推定ステップの処理による推定結果に基づいて、後の処理単位における第 2の点を決定する決定ステップと、後の処理単位における第 2 の点の位置が推定可能でない場合、推定点の中から第 1の点を選択する選択ステツプとを含むことを特徴とする。

[0055] 本発明のプログラムは、時間的に前の処理単位の画像上の追尾点としての第 1の点の時間的に後の処理単位における追尾点としての第 2の点の位置を推定する推定ステップと、第 2の点の位置が推定可能でない場合における第 1の点の候補としての推定点を生成する生成ステップと、後の処理単位における第 2の点の位置が推定可能である場合、位置推定ステップの処理による推定結果に基づいて、後の処理単位における第 2の点を決定する決定ステップと、後の処理単位における第 2の点の位置が推定可能でない場合、推定点の中から第 1の点を選択する選択ステップとをコンピュータに実行させることを特徴とする。

[0056] 本発明においては、後の処理単位における第 2の点の位置が推定可能である場合

、位置推定結果に基づいて後の処理単位における第 2の点が決定され、後の処理単位における第 2の点の位置が推定可能でない場合、生成された推定点の中から第 1 の点が選択される。

発明の効果

[0057] 本発明によれば、画像上の追尾点を追尾することが可能となる。特に、追尾におけるロバスト性を向上させることができる。その結果、対象物が回転して追尾点が一時的に見えなくなったり、ォクルージョンやシーンチェンジが発生した場合などにおいても、追尾点を確実に追尾することが可能となる。

図面の簡単な説明

[0058] [図 1]本発明を適用したオブジェクト追尾装置の構成例を示すブロック図である。 [図 2]図 1のオブジェクト追尾装置の追尾処理を説明するフローチャートである。圆 3]追尾対象が回転する場合の追尾を説明する図である。

圆 4]ォクルージョンが起きる場合の追尾を説明する図である。

圆 5]シーンチェンジが起きる場合の追尾を説明する図である。

[図 6]図 2のステップ S1の通常処理を説明するフローチャートである。

[図 7]図 6のステップ S21の通常処理の初期化処理を説明するフローチャートである。圆 8]乗り換え候補抽出処理を説明する図である。

[図 9]図 1の領域推定関連処理部の構成例を示すブロック図である。

[図 10]図 6のステップ S26の領域推定関連処理を説明するフローチャートである。

[図 11]図 10のステップ S61の領域推定処理を説明するフローチャートである。

[図 12A]図 11のステップ S81におけるサンプル点を決定する処理を説明する図である。

[図 12B]図 11のステップ S81におけるサンプル点を決定する処理を説明する図である。

[図 13A]図 11のステップ S81におけるサンプル点を決定する処理を説明する図である。

[図 13B]図 11のステップ S81におけるサンプル点を決定する処理を説明する図である。

[図 14A]図 11のステップ S81におけるサンプル点を決定する処理を説明する図である。

[図 14B]図 11のステップ S81におけるサンプル点を決定する処理を説明する図である。

[図 15]図 11のステップ S 81におけるサンプル点を決定する処理を説明する図である

[図 16]図 11のステップ S86の領域推定範囲の更新処理を説明するフローチャートである。

圆 17A]領域推定範囲の更新を説明する図である。

圆 17B]領域推定範囲の更新を説明する図である。圆 17C]領域推定範囲の更新を説明する図である。

圆 18A]領域推定範囲の更新を説明する図である。

圆 18B]領域推定範囲の更新を説明する図である。

圆 18C]領域推定範囲の更新を説明する図である。

圆 19A]領域推定範囲の更新を説明する図である。

圆 19B]領域推定範囲の更新を説明する図である。

圆 19C]領域推定範囲の更新を説明する図である。

圆 20A]領域推定範囲の更新を説明する図である。

圆 20B]領域推定範囲の更新を説明する図である。

圆 20C]領域推定範囲の更新を説明する図である。

[図 21]図 11のステップ S86の領域推定範囲の更新処理の他の例を説明するフローチャートである。

圆 22A]領域推定範囲の更新処理を説明する図である。

圆 22B]領域推定範囲の更新処理を説明する図である。

圆 22C]領域推定範囲の更新処理を説明する図である。

圆 22D]領域推定範囲の更新処理を説明する図である。

[図 23]図 10のステップ S62の乗り換え候補抽出処理を説明するフローチャートである図 24]図 10のステップ S63のテンプレート作成処理を説明するフローチャートである圆 25]テンプレート作成を説明する図である。

圆 26]テンプレート作成を説明する図である。

圆 27]テンプレートと追尾点の位置関係を説明する図である。

[図 28]図 1の領域推定関連処理部の他の構成例を示すブロック図である。

[図 29]図 10のステップ S61の領域推定処理の他の例を説明するフローチヤる。

圆 30A]同色領域の成長を説明する図である。

圆 30B]同色領域の成長を説明する図である。圆 30C]同色領域の成長を説明する図である。

圆 31]追尾点の同色領域と領域推定結果を説明する図である。

[図 32]図 10のステップ S62の乗り換え候補抽出処理の他の例を説明するフローートである。

[図 33]図 2のステップ S2の例外処理を説明するフローチャートである。

[図 34]図 33のステップ S301の例外処理の初期化処理を説明するフローチヤ一 1 ある。

圆 35]テンプレートの選択を説明する図である。

圆 36]探索範囲の設定を説明する図である。

[図 37]図 33のステップ S305の継続判定処理を説明するフローチャートである。

[図 38]図 2のステップ S1の通常処理の他の例を説明するフローチャートである。

[図 39]図 10のステップ S61の領域推定処理の他の例を説明するフローチャート- る。

[図 40]図 10のステップ S62の乗り換え候補抽出処理の他の例を説明するフローートである。

圆 41]図 6の通常処理を行った場合の乗り換え候補を説明する図である。

圆 42]図 38の通常処理を行った場合における乗り換え候補を説明する図である。

[図 43]図 1の動き推定部の構成例を示すブロック図である。

[図 44]動き演算処理を説明するためのフローチャートである。

[図 45]フレームの時間的な流れを説明するための図である。

[図 46]フレームのブロックを説明するための図である。

[図 47]ブロックマッチング法を説明するための図である。

[図 48]動きベクトルを説明するための図である。

[図 49]動きベクトル確度演算処理を説明するためのフローチャートである。

圆 50]評価値の算出方法を説明するための図である。

[図 51]アクティビティ算出処理を説明する図である。

[図 52]アクティビティの算出方法を説明するための図である。

[図 53A]ブロックアクティビティの算出方法を説明するための図である。 [図 53B]ブロックアクティビティの算出方法を説明するための図である。

[図 53C]ブロックアクティビティの算出方法を説明するための図である。

[図 53D]ブロックアクティビティの算出方法を説明するための図である。

[図 53E]ブロックアクティビティの算出方法を説明するための図である。

[図 53F]ブロックアクティビティの算出方法を説明するための図である。

[図 54]閾値処理を説明するためのフローチャートである。

[図 55]評価値とアクティビティの関係を説明するための図である。

[図 56]正規ィ匕処理を説明するためのフローチャートである。

[図 57]統合処理を説明するためのフローチャートである。

圆 58]背景動き推定部の構成例を示すブロック図である。

圆 59]背景動き推定処理を説明するフローチャートである。

[図 60]のシーンチェンジ検出部の構成例を示すブロック図である。

[図 61]シーンチェンジ検出処理を説明するフローチャートである。

[図 62]テレビジョン受像機の構成例を示すブロック図である。

[図 63]テレビジョン受像機の画像表示処理を説明するフローチャートである。

[図 64]本発明を適用した画像処理装置の構成例を示すブロック図である。

[図 65]動きベクトル確度算出部の構成例を示すブロック図である。

[図 66]画像処理装置の構成例を示すためのブロック図である。

[図 67]符号ィ匕装置の構成例を示すためのブロック図である。

圆 68]符号ィ匕装置の符号ィ匕処理を説明するためのフローチャートである。

[図 69]手振れ補正装置の構成例を示すためのブロック図である。

[図 70]背景動き検出部の構成例を示すためのブロック図である。

圆 71]手振れ補正装置の手振れ補正処理を説明するためのフローチャートである。

[図 72]蓄積装置の構成例を示すためのブロック図である。

[図 73]シーンチェンジ検出部の構成例を示すためのブロック図である。

[図 74]蓄積装置のインデックス画像作成処理を説明するためのフローチャートである圆 75]蓄積装置の画像出力処理を説明するためのフローチャートである。 [図 76]監視カメラシステムの構成例を示すブロック図である。

[図 77]監視カメラシステムの監視処理を説明するフローチャートである。

[図 78]監視カメラシステムの他の構成例を示すブロック図である。

[図 79]監視カメラシステムの監視処理を説明するフローチャートである。

[図 80]本発明を適用した監視カメラシステムの構成例を示すブロック図である。圆 81]監視処理を説明するフローチャートである。

[図 82A]監視カメラシステムにより表示される画像の例を示す図である。

[図 82B]監視カメラシステムにより表示される画像の例を示す図である。

[図 82C]監視カメラシステムにより表示される画像の例を示す図である。

[図 83]補正対象エリアの移動の例を示す図である。

[図 84]画像補正部の構成例を示すブロック図である。

[図 85]画像補正部の制御信号の例を示す図である。

[図 86A]画像のぼけの原理を説明する図である。

[図 86B]画像のぼけの原理を説明する図である。

[図 86C]画像のぼけの原理を説明する図である。

圆 87]画像のぼけの原理を説明する図である。

[図 88]画像のぼけの原理を説明する図である。

[図 89]画像のぼけの原理を説明する図である。

[図 90]パラメータコードの組み合わせの例を示す図である。

[図 91]画像のエッジ部分を説明する図である。

[図 92]ぼけ修正処理を説明するフローチャートである。

[図 93]画像補正処理を説明するフローチャートである。

[図 94]画像特徴検出処理を説明するフローチャートである。

圆 95]画像特徴検出部の構成例を示すブロック図である。

[図 96A]ブロック切り出し部により抽出される画像のブロックを説明する図である。

[図 96B]ブロック切り出し部により抽出される画像のブロックを説明する図である。

[図 96C]ブロック切り出し部により抽出される画像のブロックを説明する図である。

[図 96D]ブロック切り出し部により抽出される画像のブロックを説明する図である。 [図 96E]ブロック切り出し部により抽出される画像のブロックを説明する図である。

[図 97]画像合成処理を説明するフローチャートである。

[図 98]画像合成部の構成例を示すブロック図である。

[図 99]分散演算を説明する図である。

符号の説明

[0059] 1 オブジェクト追尾装置， 11 テンプレートマッチング部， 12 動き推定部， 1 3 シーンチェンジ検出部， 14 背景動き推定部， 15 領域推定関連処理部， 1 6 乗り換え候補保持部， 17 追尾点決定部， 18 テンプレート保持部， 19 制御部

発明を実施するための最良の形態

[0060] 以下に、図を参照して、本発明の実施の形態について説明する。

[0061] 図 1は、本発明の画像処理装置を適用したオブジェクト追尾装置の機能的構成例を表している。このオブジェクト追尾装置 1は、テンプレートマッチング部 11、動き推定部 12、シーンチェンジ検出部 13、背景動き推定部 14、領域推定関連処理部 15、乗り換え候補保持部 16、追尾点決定部 17、テンプレート保持部 18、および制御部 1 9により構成されている。

[0062] テンプレートマッチング部 11は、入力画像と、テンプレート保持部 18に保持されているテンプレート画像のマッチング処理を行う。動き推定部 12は、入力画像の動きを推定し、推定の結果得られた動きベクトルと、その動きベクトルの確度を、シーンチェンジ検出部 13、背景動き推定部 14、領域推定関連処理部 15、および追尾点決定部 17に出力する。動き推定部 12の詳細な構成は、図 43を参照して後述する。

[0063] シーンチェンジ検出部 13は、動き推定部 12より供給された確度に基づいて、シーンチェンジを検出する。シーンチェンジ検出部 13の詳細な構成は、図 50を参照して後述する。

[0064] 背景動き推定部 14は、動き推定部 12より供給された動きベクトルと確度に基づいて背景動きを推定する処理を実行し、推定結果を領域推定関連処理部 15に供給する。背景動き検出部 14の詳細な構成は図 48を参照して後述する。

[0065] 領域推定関連処理部 15は、動き推定部 12より供給された動きベクトルと確度、背景動き推定部 14より供給された背景動き、並びに追尾点決定部 17より供給された追尾点情報に基づいて、領域推定処理を行う。また、領域推定関連処理部 15は、入力された情報に基づいて乗り換え候補を生成し、乗り換え候補保持部 16へ供給し、保持させる。さらに、領域推定関連処理部 15は、入力画像に基づいてテンプレートを作成し、テンプレート保持部 18に供給し、保持させる。領域推定関連処理部 15の詳細な構成は、図 9を参照して後述する。

[0066] 追尾点決定部 17は、動き推定部 12より供給された動きベクトルと確度、並びに乗り換え候補保持部 16より供給された乗り換え候補に基づいて、追尾点を決定し、決定された追尾点に関する情報を領域推定関連処理部 15に出力する。

[0067] 制御部 19は、テンプレートマッチング部 11乃至テンプレート保持部 18の各部と接続され、ユーザからの追尾点指示入力に基づいて各部を制御し、追尾結果を図示せぬ装置に出力する。

[0068] 次に、オブジェクト追尾装置 1の動作について説明する。

[0069] 図 2に示されるように、オブジェクト追尾装置 1は、基本的に通常処理と例外処理を実行する。すなわち、ステップ S1で通常処理が行われる。この通常処理の詳細は、図 6を参照して後述するが、この処理によりユーザ力指定された追尾点を追尾する処理が実行される。ステップ S1の通常処理において追尾点の乗り換えができなくなつたとき、ステップ S2において、例外処理が実行される。この例外処理の詳細は、図 33のフローチャートを参照して後述するが、この例外処理により、追尾点が画像から見えなくなったとき、テンプレートマッチングにより通常処理への復帰処理が実行される。例外処理によって追尾処理を継続することができなくなった (通常処理へ復帰することができなくなった）と判定された場合には処理が終了されるが、テンプレートによる復帰処理の結果、通常処理への復帰が可能と判定された場合には、処理は再びステップ S1に戻る。このようにして、ステップ S1の通常処理とステップ S2の例外処理力各フレーム毎に順次繰り返し実行される。

[0070] 本発明においては、この通常処理と例外処理により、図 3乃至図 5に示されるように、追尾対象が回転したり、ォクルージョンが発生したり、シーンチェンジが発生する等、追尾点が一時的に見えなくなった場合においても、追尾が可能となる。 [0071] すなわち、例えば、図 3に示されるように、フレーム n— 1には追尾対象としての人の顔 504力表示されており、この人の顔 504は、右目 502と左目 503を有して!/、る。ュ一ザが、このうちの、例えば右目 502 (正確には、その中の 1つの画素）を追尾点 501 として指定したとする。図 3の例においては、次のフレーム nにおいて、人が図中左方向に移動しており、さらに次のフレーム n+ 1においては、人の顔 504が時計方向に回動している。その結果、今まで見えていた右目 502が表示されなくなり、いままでの方法では、追尾ができなくなる。そこで、上述したステップ S1の通常処理においては、右目 502と同一の対象物としての顔 504上の左目 503が選択され、追尾点が左目 503に乗り換えられる (設定される）。これにより追尾が可能となる。

[0072] 図 4の表示例では、フレーム n— 1において、顔 504の図中左側からボール 521が移動してきて、次のフレーム nにおいては、ボール 521がちょうど顔 504を覆う状態となつている。この状態において、追尾点 501として指定されていた右目 502を含む顔 5 04が表示されていない。このようなォクルージョンが起きると、対象物としての顔 504 が表示されていないので、追尾点 501に代えて追尾する乗り換え点もなくなり、以後、追尾点を追尾することが困難になる。しかし、本発明においては、追尾点 501としての右目 502をフレーム n— 1 (実際には時間的にもっと前のフレーム）の画像がテンプレートとして予め保存されており、ボール 521がさらに右側に移動し、フレーム n+ 1 において、追尾点 501として指定された右目 502が再び現れると、上述したステップ S2の例外処理により、追尾点 501としての右目 502が再び表示されたことが確認され、右目 502が再び追尾点 501として追尾されることになる。

[0073] 図 5の例では、フレーム n— 1においては、顔 504が表示されている力次のフレーム nにおいては、自動車 511が人の顔を含む全体を覆い隠している。すなわち、この場合、シーンチェンジが起きたことになる。本発明では、このようにシーンチェンジが起きて追尾点 501が画像力も存在しなくなっても、自動車 511が移動して、フレーム n + 1において再び右目 502が表示されると、ステップ S2の例外処理で、追尾点 501 としての右目 502が再び出現したことがテンプレートに基づいて確認され、この右目 5 02を再び追尾点 501として追尾することが可能となる。

[0074] 次に、図 6のフローチャートを参照して、図 2のステップ S1の通常処理の詳細について説明する。ステップ S21において、追尾点決定部 17により通常処理の初期化処理が実行される。その詳細は、図 7のフローチャートを参照して後述する力この処理によりユーザ力追尾するように指定された追尾点を基準とする領域推定範囲が指定される。この領域推定範囲は、ユーザにより指定された追尾点と同一の対象物 (例えば、追尾点が人の目である場合、目と同様の動きをする剛体としての人の顔、または人の体など）に属する点の範囲を推定する際に参照する範囲である。乗り換え点は、この領域推定範囲の中の点力選択される。

[0075] 次に、ステップ S22において、制御部 19は、次のフレームの画像の入力を待機するように各部を制御する。ステップ S23において、動き推定部 12は、追尾点の動きを推定する。すなわち、ユーザにより指定された追尾点を含むフレーム (前フレーム)より時間的に後のフレーム（後フレーム）をステップ S22の処理で取り込むことで、結局連続する 2フレームの画像が得られたことになるので、ステップ S23において、前フレームの追尾点に対応する後フレームの追尾点の位置を推定することで、追尾点の動きが推定される。

[0076] なお、時間的に前とは、処理の順番 (入力の順番）を、う。通常、撮像の順番に各フレームの画像が入力されるので、その場合、より時間的に前に撮像されたフレームが前フレームとなるが、時間的に後に撮像されたフレームが先に処理 (入力）される場合には、時間的に後に撮影されたフレームが前フレームとなる。

[0077] ステップ S24において、動き推定部 12 (後述する図 43の統合処理部 605)は、ステップ S23の処理の結果、追尾点が推定可能であった力否かを判定する。追尾点が推定可能であった力否かは、例えば、図 43を参照して後述する動き推定部 12が生成、出力する動きベクトルの確度の値を、予め設定されて、る閾値と比較することで判定される。具体的には、動きベクトルの確度が閾値以上であれば推定が可能であり、閾値より小さければ推定が不可能であると判定される。すなわち、ここにおける可能性は比較的厳格に判定され、実際には推定が不可能ではなくても確度が低い場合には、不可能と判定される。これにより、より確実な追尾処理が可能となる。

[0078] なお、ステップ S24では、追尾点での動き推定結果と追尾点の近傍の点での動き推定結果が、多数を占める動きと一致する場合には推定可能、一致しない場合には推定不可能と判定するようにすることも可能である。

[0079] 追尾点の動きが推定可能であると判定された場合 (追尾点が同一対象物上の対応する点上に正しく設定されている確率 (右目 502が追尾点 501として指定された場合、右目 502が正しく追尾されている確率）が比較的高い場合）、ステップ S 25に進み、追尾点決定部 17は、ステップ S 23の処理で得られた推定動き（動きベクトル)の分だけ追尾点をシフトする。すなわち、これにより、前フレームの追尾点の追尾後の後フレームにおける追尾の位置が決定されることになる。

[0080] ステップ S25の処理の後、ステップ S26において、領域推定関連処理が実行される。この領域推定関連処理の詳細は、図 10を参照して後述するが、この処理により、ステツプ S21の通常処理の初期化処理で指定された領域推定範囲が更新される。さらに、対象物体が回転するなどして、追尾点が表示されない状態になった場合に、追尾点を乗り換えるべき点としての乗り換え点としての候補 (乗り換え候補）が、この状態 (まだ追尾が可能な状態）にお、て、予め抽出 (作成)される。また、乗り換え候補への乗り換えもできなくなった場合、追尾は一旦中断されるが、再び追尾が可能になつた（追尾点が再び出現した)ことを確認するために、テンプレートが予め作成される

[0081] ステップ S26の領域推定関連処理が終了した後、処理は再びステップ S22に戻り、それ以降の処理が繰り返し実行される。

[0082] すなわち、ユーザ力指定された追尾点の動きが推定可能である限り、ステップ S2

2乃至ステップ S26の処理がフレーム毎に繰り返し実行され、追尾が行われることになる。

[0083] これに対して、ステップ S 24において、追尾点の動きが推定可能ではない（不可能である）と判定された場合、すなわち、上述したように、例えば動きベクトルの確度が閾値以下であるような場合、処理はステップ S 27に進む。ステップ S27において、追尾点決定部 17は、ステップ S 26の領域推定関連処理で生成された乗り換え候補が乗り換え候補保持部 16に保持されているので、その中から、元の追尾点に最も近い乗り換え候補を 1つ選択する。追尾点決定部 17は、ステップ S28で乗り換え候補が選択できたか否かを判定し、乗り換え候補が選択できた場合には、ステップ S29に進み、追尾点をステップ S27の処理で選択した乗り換え候補に乗り換える（変更する)。すなわち、乗り換え候補の点が新たな追尾点として設定される。その後、処理はステップ S23に戻り、乗り換え候補の中から選ばれた追尾点の動きを推定する処理が実行される。

[0084] ステップ S24にお、て新たに設定された追尾点の動きが推定可能である力否かが再び判定され、推定可能であれば、ステップ S25において追尾点を推定動き分だけシフトする処理が行われ、ステップ S26において、領域推定関連処理が実行される。その後、処理は再びステップ S22に戻り、それ以降の処理が繰り返し実行される。

[0085] ステップ S24において、新たに設定された追尾点も推定不可能であると判定された場合には、再びステップ S27に戻り、乗り換え候補の中から、元の追尾点に次に最も近い乗り換え候補が選択され、ステップ S29において、その乗り換え候補が新たな追尾点とされる。その新たな追尾点について、再びステップ S23以降の処理が繰り返される。

[0086] 用意されているすべての乗り換え候補を新たな追尾点としても、追尾点の動きを推定することができな力つた場合には、ステップ S28において、乗り換え候補が選択できな力つたと判定され、この通常処理は終了される。そして、図 2のステップ S2の例外処理に処理が進むことになる。

[0087] 図 6のステップ S21の通常処理の初期化処理の詳細は、図 7のフローチャートに示されている。

[0088] ステップ S41において、制御部 19は、今の処理は例外処理からの復帰の処理であるの力否かを判定する。すなわち、ステップ S2の例外処理を終了した後、再びステツプ S1の通常処理に戻ってきたのか否かが判定される。最初のフレームの処理においては、まだステップ S2の例外処理は実行されていないので、例外処理からの復帰ではないと判定され、処理はステップ S42に進む。ステップ S42において、追尾点決定部 17は、追尾点を追尾点指示の位置に設定する処理を実行する。すなわち、ユーザは、図示せぬマウス、その他の入力部を操作することで、制御部 19に、入力画像の中の所定の点を追尾点として指示する。制御部 19は、この指示に基づいて、追尾点決定部 17を制御し、追尾点決定部 17はこの指示に基づいて、ユーザが指定した点を追尾点として設定する。なお、追尾点は、入力画像の中で、例えば、最も輝度の高い点が設定されるなど、他の方法により設定されるようにしてもよい。追尾点決定部

17は、設定した追尾点の情報を領域推定関連処理部 15に供給する。

[0089] ステップ S43において、領域推定関連処理部 15は、ステップ S42の処理で設定された追尾点の位置に基づき、領域推定範囲を設定する。この領域推定範囲は、追尾点と同じ剛体上の点を推定する際の参照範囲であり、予め追尾点と同じ剛体部分が領域推定範囲の大部分を占めるように、より具体的には追尾点と同じ剛体部分に領域推定範囲の位置や大きさが追随するように設定することで、領域推定範囲の中で最も多数を占める動きを示す部分を追尾点と同じ剛体部分であると推定できるようにするためのものである。ステップ S43では初期値として、例えば、追尾点を中心とする予め設定された一定の範囲が領域推定範囲とされる。

[0090] その後処理は、図 3のステップ S22に進むことになる。

[0091] 一方、ステップ S41において、現在の処理が、ステップ S2の例外処理からの復帰の処理であると判定された場合、ステップ S44に進み、追尾点決定部 17は、後述する図 33のステップ S303の処理で、テンプレートにマッチした位置に基づき追尾点と領域推定範囲を設定する。例えば、テンプレート上の追尾点とマッチした現フレーム上の点が追尾点とされ、その点力予め設定されて、る一定の範囲が領域推定範囲とされる。その後、処理は図 3のステップ S22に進む。

[0092] 以上の処理を図 8を参照して説明すると次のようになる。すなわち、図 7のステップ S 42において、例えば、図 8に示されるように、フレーム n— 1の人の目 502が追尾点 50 1として指定されると、ステップ S43において、追尾点 501を含む所定の領域が領域推定範囲 533として指定される。ステップ S24において、領域推定範囲 533の範囲内のサンプル点が次のフレームにおいて推定可能であるか否かが判定される。図 8 の例の場合、フレーム nの次のフレーム n+ 1においては、領域推定範囲 533のうち、左目 502を含む図中左側半分の領域 534がボール 521で隠されているため、フレーム nの追尾点 501の動きを、次のフレーム n+ 1において推定することができない。そこで、このような場合においては、時間的に前のフレーム n— 1で乗り換え候補として予め用意されていた領域指定範囲 533内（右目 502を含む剛体としての顔 504内）の点の中から 1つの点（例えば、顔 504に含まれる左目 503 (正確には、その中の 1 つの画素））が選択され、その点がフレーム n+ 1における、追尾点とされる。

[0093] 領域推定関連処理部 15は、図 6のステップ S26における領域推定関連処理を実行するために、図 9に示されるような構成を有している。すなわち、領域推定関連処理部 15の領域推定部 41には、動き推定部 12より動きベクトルと確度が入力され、背景動き推定部 14より背景動きが入力され、そして追尾点決定部 17より追尾点の位置情報が入力される。乗り換え候補抽出部 42には、動き推定部 12より動きベクトルと確度が供給される他、領域推定部 41の出力が供給される。テンプレート作成部 43には、入力画像が入力される他、領域推定部 41の出力が入力される。

[0094] 領域推定部 41は、入力に基づいて、追尾点を含む剛体の領域を推定し、推定結果を乗り換え候補抽出部 42とテンプレート作成部 43に出力する。乗り換え候補抽出部 42は入力に基づき乗り換え候補を抽出し、抽出した乗り換え候補を乗り換え候補保持部 16へ供給する。テンプレート作成部 43は入力に基づきテンプレートを作成し、作成したテンプレートをテンプレート保持部 18へ供給する。

[0095] 図 10は、領域推定関連処理部 15により実行される領域推定関連処理（図 6のステップ S26の処理）の詳細を表している。最初にステップ S61において、領域推定部 41 により領域推定処理が実行される。その詳細は、図 11のフローチャートを参照して後述するが、この処理により、追尾点が属する対象と同一の対象 (追尾点と同期した動きをする剛体）に属すると推定される画像上の領域の点が領域推定範囲 (後述する図 17の領域推定範囲 81)の点として抽出される。

[0096] ステップ S62において、乗り換え候補抽出部 42により乗り換え候補抽出処理が実行される。その処理の詳細は、図 23のフローチャート参照して後述する力領域推定部 41により領域推定範囲として推定された範囲の点力乗り換え候補の点が抽出され、乗り換え候補保持部 16に保持される。

[0097] ステップ S63においてテンプレート作成部 43によりテンプレート作成処理が実行される。その詳細は、図 24のフローチャートを参照して後述するが、この処理によりテンプレートが作成される。

[0098] 次に、図 11のフローチャートを参照して、図 10のステップ S61の領域推定処理の詳細について説明する。

[0099] 最初に、ステップ S81において、領域推定部 41は、追尾点と同一の対象に属すると推定される点の候補の点としてのサンプル点を決定する。

[0100] このサンプル点は、例えば図 12に示されるように、図中、白い四角形で示されるフレームの全画面における画素のうち、固定された基準点 541を基準として、水平方向および垂直方向に、所定の画素数ずつ離れた位置の画素をサンプル点（図中、黒い四角形で表されている）とすることができる。図 12の例においては、各フレームの左上の画素が基準点 541とされ（図中基準点 541は X印で示されて、る）、水平方向に 5個、並びに垂直方向に 5個ずつ離れた位置の画素がサンプル点とされる。すなわち、この例の場合、全画面中に分散した位置の画素がサンプル点とされる。また、この例の場合、基準点は、各フレーム n, n+ 1において固定された同一の位置の点とされる。

[0101] 基準点 541は、例えば図 13に示されるように、各フレーム n, n+ 1毎に異なる位置の点となるように、動的に変化させることもできる。

[0102] 図 12と図 13の例においては、サンプル点の間隔が各フレームにおいて固定された値とされている力例えば図 14に示されるように、フレーム毎にサンプル点の間隔を可変とすることもできる。図 14の例においては、フレーム nにおいては、サンプル点の間隔は 5画素とされているのに対し、フレーム n+ 1においては 8画素とされている。このときの間隔の基準としては、追尾点と同一の対象に属すると推定される領域の面積を用いることができる。具体的には、領域推定範囲の面積が狭くなれば間隔も短くなる。

[0103] あるいはまた、図 15に示されるように、 1つのフレーム内においてサンプル点の間隔を可変とすることもできる。このときの間隔の基準としては、追尾点力もの距離を用いることができる。すなわち、追尾点に近いサンプル点ほど間隔が小さぐ追尾点から遠くなるほど間隔が大きくなる。

[0104] 以上のようにしてサンプル点が決定されると、次にステップ S82において、領域推定部 41は、領域推定範囲（図 7のステップ S43, S44の処理、または、後述する図 16 のステップ S 106, S 108の処理で決定されている）内のサンプル点の動きを推定する処理を実行する。すなわち、領域推定部 41は、動き推定部 12より供給された動きベクトルに基づいて、領域推定範囲内のサンプル点に対応する次のフレームの対応する点を抽出する。

[0105] ステップ S83において、領域推定部 41は、ステップ S82の処理で推定したサンプル点のうち、確度が予め設定されている閾値より低い動きベクトルに基づく点を対象外とする処理を実行する。この処理に必要な動きベクトルの確度は、動き推定部 12より供給される。これにより、領域推定範囲内のサンプル点のうち、確度が高い動きべクトルに基づいて推定された点だけが抽出される。

[0106] ステップ S84において、領域推定部 41は、領域推定範囲内の動き推定結果での全画面動きを抽出する。全画面動きとは、同一の動きに対応する領域を考え、その面積が最大となる動きのことを意味する。具体的には、各サンプル点の動きに、そのサンプル点におけるサンプル点間隔に比例する重みを付けて動きのヒストグラムを生成し、この重み付け頻度が最大となる 1つの動き（1つの動きベクトル）が全画面動きとして抽出される。なお、ヒストグラムを生成する場合、例えば、動きの代表値を画素精度で準備し、画素精度で 1異なる値を持つ動きについてもヒストグラムへの加算を行うようにすることちでさる。

[0107] ステップ S85において、領域推定部 41は、全画面動きを持つ領域推定範囲内のサンプル点を領域推定の結果として抽出する。この場合における全画面動きを持つサンプル点としては、全画面動きと同一の動きを持つサンプル点はもちろんのこと、全画面動きとの動きの差が予め設定されている所定の閾値以下である場合には、そのサンプル点もここにおける全画面動きを持つサンプル点とすることも可能である。

[0108] このようにして、ステップ S43, S44, S106, S 108の処理で決定された領域推定範囲内のサンプル点のうち、全画面動きを有するサンプル点力追尾点と同一対象に属すると推定される点として最終的に抽出（生成)される。

[0109] 次に、ステップ S86において、領域推定部 41は、領域推定範囲の更新処理を実行する。その後、処理は、図 6のステップ S22に進む。

[0110] 図 16は、図 11のステップ S86の領域推定範囲の更新処理の詳細を表している。ステツプ S101において、領域推定部 41は、領域の重心を算出する。この領域とは、図 11のステップ S85の処理で抽出されたサンプル点で構成される領域（追尾点と同一対象に属すると推定される点で構成される領域)を意味する。すなわち、この領域には 1つの動きベクトル (全画面動き）が対応している。例えば、図 17Aに示されるように、図中白い四角形で示されるサンプル点のうち、領域推定範囲 81内のサンプル点の中から、図 11のステップ S85の処理で全画面動きを持つサンプル点として、図 17A において黒い四角形で示されるサンプル点が抽出され、そのサンプル点で構成される領域が、領域 82として抽出 (推定)される。そして、領域 82の重心 84がさらに算出される。具体的には、各サンプル点にサンプル点間隔の重みを付けたサンプル点重心が領域の重心として求められる。この処理は、現フレームにおける領域の位置を求めるという意味を有する。

[0111] 次にステップ S102において、領域推定部 41は、領域の重心を全画面動きによりシフトする処理を実行する。この処理は、領域推定範囲 81を領域の位置の動きに追従させ、次フレームにおける推定位置に移動させるという意味を有する。図 17Bに示されるように、現フレームにおける追尾点 83が、その動きベクトル 88に基づいて次フレームにおいて追尾点 93として出現する場合、全画面動きの動きベクトル 90が追尾点の動きベクトル 88にほぼ対応しているので、現フレームにおける重心 84を動きべタトル（全画面動き） 90に基づいてシフトすることで、追尾点 93と同一のフレーム（次フレーム）上の点 94が求められる。この点 94を中心として領域推定範囲 91を設定すれば、領域推定範囲 81を領域 82の位置の動きに追従させて、次のフレームにおける推定位置に移動させることになる。

[0112] ステップ S103において、領域推定部 41は、領域推定結果に基づき、次の領域推定範囲の大きさを決定する。具体的には、領域と推定された全てのサンプル点に関するサンプル点の間隔（図 17Aにおける領域 82の中の黒ヽ四角形で示される点の間隔）の 2乗和を領域 82の面積と見なし、この面積よりも少し大きめの大きさとなるように、次フレームにおける領域推定範囲 91の大きさが決定される。すなわち、領域推定範囲 91の大きさは、領域 82の中のサンプル点の数が多ければ広くなり、少なければ狭くなる。このようにすることで、領域 82の拡大縮小に追従することができるばかりでなぐ領域推定範囲 81内の全画面領域が追尾対象の周辺領域となるのを防ぐことができる。

[0113] 図 11のステップ S84で抽出された全画面動きが、背景動きと一致する場合には、動きにより背景と追尾対象を区別することができない。そこで、背景動き推定部 14は背景動き推定処理を常に行っており（その詳細は、図 49を参照して後述する）、ステップ S104において、領域推定部 41は、背景動き推定部 14より供給される背景動きと、図 11のステップ S84の処理で抽出された全画面動きとがー致する力否かを判定する。全画面動きと背景動きが一致する場合には、ステップ S105において、領域推定部 41は、次の領域推定範囲の大きさを、今の領域推定範囲の大きさが最大となるように制限する。これにより、背景が追尾対象として誤認識され、領域推定範囲の大きさが拡大してしまうようなことが抑制される。

[0114] ステップ S104において、全画面動きと背景動きが一致しないと判定された場合には、ステップ S 105の処理は必要がないのでスキップされる。

[0115] 次に、ステップ S106において、領域推定部 41は、シフト後の領域重心を中心として次の領域推定範囲の大きさを決定する。これにより、領域推定範囲が、その重心が既に求めたシフト後の領域重心と一致し、かつ、その大きさが領域の広さに比例するように決定される。

[0116] 図 17Bの例では、領域推定範囲 91が、動きベクトル（全画面動き） 90に基づくシフト後の重心 94を中心として、領域 82の面積に応じた広さに決定されている。

[0117] 領域推定範囲 91内での全画面動きを有する領域が追尾対象 (例えば、図 8の顔 5 04)の領域であることを担保する（確実にする）必要がある。そこで、ステップ S107において、領域推定部 41は、追尾点が次の領域推定範囲に含まれるカゝ否かを判定し、含まれていない場合には、ステップ S 108において、追尾点を含むように次の領域推定範囲をシフトする処理を実行する。追尾点が次の領域推定範囲に含まれている場合には、ステップ S108の処理は必要がないのでスキップされる。

[0118] この場合における具体的なシフトの方法としては、移動距離が最小となるようにする方法、シフト前の領域推定範囲の重心から追尾点に向力うベクトルに沿って追尾点が含まれるようになる最小距離だけ移動する方法などが考えられる。

[0119] なお、追尾のロバスト性を重視するために、領域に追尾点を含むようにするためのシフトを行わな、方法も考えられる。

[0120] 図 17Cの例においては、領域推定範囲 91が追尾点 93を含んでいないので、領域推定範囲 101として示される位置 (追尾点 93をその左上に含む位置）に領域推定範囲 91がシフトされる。

[0121] 図 17A乃至図 17Cは、ステップ S108のシフト処理が必要な場合を示しているが、図 18A乃至図 18Cは、ステップ S 108のシフト処理が必要でない場合 (ステップ S 10 7におヽて追尾点が次の領域推定範囲に含まれると判定された場合)の例を表している。

[0122] 図 18A乃至図 18Cに示されるように、領域推定範囲 81内のすべてのサンプル点が領域の点である場合には、図 16のステップ S108のシフト処理が必要なくなることになる。

[0123] 図 17A乃至図 17Cと図 18A乃至図 18Cは、領域推定範囲が矩形である例を示した力図 19A乃至図 19Cと図 20A乃至図 20Cに示されるように、領域推定範囲は円形とすることも可能である。図 19A乃至図 19Cは、図 17A乃至図 17Cに対応する図であり、ステップ S108のシフト処理が必要である場合を表し、図 20A乃至図 20Cは図 18A乃至図 18Cに対応する図であり、ステップ S108のシフト処理が必要でない場合を表している。

[0124] 以上のようにして、図 16 (図 11のステップ S86)の領域推定範囲の更新処理により、次フレームのための領域推定範囲の位置と大きさが追尾点を含むように決定される

[0125] 図 16の領域推定範囲の更新処理においては、領域推定範囲を矩形または円形の固定形状としたが、可変形状とすることも可能である。この場合における図 11のステップ S86における領域推定範囲の更新処理の例について、図 21を参照して説明する。

[0126] ステップ S131において、領域推定部 41は、図 11のステップ S84の処理で抽出された全画面動きと背景動き推定部 14により推定された背景動きとがー致するか否かを判定する。両者の動きが一致しない場合には、ステップ S133に進み、領域推定部 41は、領域 (全画面動きと一致する画素で構成される領域)と推定されたすベての点にっき、それぞれに対応する小領域を決定する（1個の点に対して 1個の小領域を決定する)。

図 22Aと図 22Bの例においては、領域推定範囲 161のうち、図中黒い四角形で示される領域の点に対応する小領域 171, 172が決定される。図中 171は 4つの点に対応する 4つの小領域が重なりあった例を表示している。小領域の大きさは、例えば、サンプル点の間隔に比例するように決定してもよ、。

[0127] 次に、ステップ S134において、領域推定部 41は、ステップ S 133の処理で決定した各小領域の和の領域を暫定領域推定範囲とする。図 22Cの例においては、小領域 171と小領域 172の和の領域 181が暫定領域推定範囲とされる。小領域の和をとつた結果、不連続な複数の領域が形成される場合には、その中の最大面積を持つ領域のみを暫定領域推定範囲とすることもできる。

[0128] ステップ S131において、全画面動きと背景動きとがー致すると判定された場合には、ステップ S132において、領域推定部 41は、現在の領域推定範囲を暫定領域推定範囲とする。現在の領域推定範囲を暫定推定領域範囲とするのは、背景動き推定の結果と全画面動きが一致する場合には、動きにより背景と追尾対象を区別することができな!/、ので、現在の領域推定範囲を変更しな！ヽようにするためである。

[0129] ステップ S134またはステップ S132の処理の後、ステップ S 135において領域推定部 41は、ステップ S 134またはステップ S 132で決定された暫定領域推定範囲の全画面動きによるシフトで、次の領域推定範囲を決定する。図 22Cの例においては、暫定領域推定範囲 181が全画面動きによる動きベクトル 183に基づ、てシフトされ、暫定領域推定範囲 182とされている。

[0130] ステップ S136において、領域推定部 41は、追尾点がステップ S135の処理で決定された次の領域推定範囲に含まれるか否かを判定し、含まれない場合には、ステツプ S137〖こ進み、追尾点を含むように次の領域推定範囲をシフトする。図 22Cと図 22 Dの例においては、領域推定範囲 182が追尾点 184を含んでいないので、追尾点 1 84を左上に含むようにシフトされ、領域推定範囲 191とされて、る。

[0131] ステップ S136において、追尾点が次の領域推定範囲に含まれると判定された場合には、ステップ S 137のシフト処理は必要ないのでスキップされる。 [0132] 次に図 10のステップ S62における乗り換え候補抽出処理について、図 23のフローチャートを参照して説明する。

[0133] ステップ S161において、乗り換え候補抽出部 42は、全画面動きの領域と推定されたすベての点につき、それぞれに対応する推定動きでの点のシフト結果を乗り換え候補として保持する。すなわち、領域推定結果として得られた点をそのまま用いるのではなぐそれらを次のフレームでの使用のために、それぞれの動き推定結果に基づきシフトされた結果を抽出する処理が行われ、その抽出された乗り換え候補が、乗り換え候保持部 16に供給され、保持される。

[0134] この処理を図 8を参照して説明すると、次のようになる。すなわち、図 8の例において、フレーム n— 1, nでは追尾点 501が存在する力フレーム n+ 1においては、図中左側力も飛んできたボール 521により隠されてしまい、追尾点 501が存在しない。そこでフレーム n+ 1において、追尾点を追尾対象としての顔 504上の他の点（例えば、左目 503 (実際には右目 502にもつと近接した点））に乗り換える必要が生じる。そこで、乗り換えが実際に必要になる前のフレームで、乗り換え候補を予め用意しておくのである。

[0135] 具体的には、図 8の例の場合、フレーム nからフレーム n+ 1への領域推定範囲 533 内での動き推定結果は、領域推定範囲 533において乗り換えが必要なことから、正しく推定できない確率が高いことが予想される。すなわち、図 8の例では、乗り換えが追尾点と、それと同一の対象物の一部が隠れることに起因して起きる。その結果、フレーム nでの領域推定範囲 533のうち、フレーム n+ 1で対象が隠れる部分（図 8において影を付した部分） 534については、動きが正しく推定されず、動きの確度が低いことが推定される力または確度が低くないと推定され、かつ、動き推定結果としては意味のないものが得られることになる。

[0136] このような場合には、領域推定の際に用いることが可能な動き推定結果が減少する、あるいは誤った動き推定結果が混入するなどの理由で、領域推定が誤る可能性が高まる。一方、このような可能性は、一般的に、より時間的に前のフレーム n— 1からフレーム nの間での領域推定においては、フレーム nからフレーム n+ 1での間での推定に比較して低くなることが予想される。 [0137] そこで、リスク低減のため、領域推定結果をそのまま用いるのではなぐ前のフレーム n— 1 (あるいは、時間的にもっと前のフレーム）で求めた領域推定結果を、その次のフレームでの移動先の乗り換え候補として用いるのが性能向上の上で望ましい。

[0138] ただし、領域推定結果をそのまま用いることも可能である。この場合の処理については、図 38を参照して説明する。

[0139] 図 24は、図 10のステップ S63におけるテンプレート作成処理の詳細を表している。

ステップ S181においてテンプレート作成部 43は、領域 (全画面動きの領域）と推定されたすべての点につき、それぞれに対応する小領域決定する。図 25の例においては、領域の点 221に対応して小領域 222が決定されて!、る。

[0140] ステップ S182において、テンプレート作成部 43は、ステップ S 181の処理で決定された小領域の和の領域をテンプレート範囲に設定する。図 25の例においては、小領域 222の和の領域がテンプレート範囲 231とされている。

[0141] 次にステップ S183において、テンプレート作成部 43は、ステップ S182において設定したテンプレート範囲の情報と画像情報力もテンプレートを作成し、テンプレート保持部 18に供給し、保持させる。具体的には、テンプレート範囲 231内の画素データがテンプレートとされる。

[0142] 図 26では、領域の点 221に対応する小領域 241が、図 25〖こおける小領域 222に較べてより大きな面積とされている。その結果、小領域 241の和の領域のテンプレート範囲 251も、図 25のテンプレート範囲 231に較べてより広くなつている。

[0143] 小領域の大きさは、サンプル点の間隔に比例させることが考えられる力その際の比例定数は、面積がサンプル点間隔の自乗になるように決めることもできるし、それより大きくまたは小さく決めることも可能である。

[0144] なお、領域推定結果を用いず、例えば追尾点を中心とする固定の大きさや形状の範囲をテンプレート範囲として用いることも可能である。

[0145] 図 27は、テンプレートと領域推定範囲の位置関係を表している。テンプレート範囲 303〖こは、追尾点 305が含まれている。テンプレート範囲 303に外接する外接矩形 3 01の図中左上の点がテンプレート基準点 304とされている。テンプレート基準点 304 から追尾点 305に向力うベクトル 306、並びにテンプレート基準点 304力領域推定範囲 302の図中左上の基準点 308に向力うベクトル 307が、テンプレート範囲 303の情報とされる。テンプレートは、テンプレート範囲 303に含まれる画素で構成される。ベクトル 306, 307は、テンプレートと同じ画像が検出された際の通常処理への復帰に用いられる。

[0146] 以上の処理においては、乗り換え候補の場合と異なり、範囲、画素ともに、現フレームに対応するものをテンプレートとする例を説明したが、乗り換え候補の場合と同様に、次フレームでの移動先をテンプレートとして用いることも可能である。

[0147] 以上のようにして、追尾点を含む画素データ力なるテンプレートが乗り換え候補と同様に、通常処理中に、予め作成される。

[0148] 図 6のステップ S26における領域推定関連処理は、領域推定関連処理部 15を、例えば図 28に示されるように構成することで処理することも可能である。

[0149] この場合においても、領域推定関連処理部 15は、図 9における場合と同様に、領域推定部 41、乗り換え候補抽出部 42、およびテンプレート作成部 43により構成される力この実施の形態の場合、領域推定部 41には、追尾点決定部 17より追尾点の情報と入力画像が入力される。乗り換え候補抽出部 42には、領域推定部 41の出力のみが供給されている。テンプレート作成部 43には、領域推定部 41の出力と入力画像とが供給されている。

[0150] この場合においても、基本的な処理は、図 10に示される場合と同様に、ステップ S6 1において、領域推定処理が行われ、ステップ S62において、乗り換え候補抽出処理が行われ、ステップ S63において、テンプレート作成処理が行われる。このうちのステツプ S63のテンプレート作成処理は、図 24に示した場合と同様であるので、ステツプ S61の領域推定処理と、ステップ S62の乗り換え候補抽出処理についてのみ以下に説明する。

[0151] 最初に、図 29のフローチャートを参照して、ステップ S61における領域推定処理の詳細について説明する。ステップ S201において、図 28の領域推定部 41は、追尾点と同一対象に属する画像上の領域を推定するためにサンプル点を決定する。この処理は、図 11のステップ S81の処理と同様の処理である。

[0152] ただし、このステップ S201の処理において対象とされるフレームは、追尾点を求め終わったフレーム（追尾後の追尾点を含むフレーム）であり、この点、図 11のステップ S81においてサンプル点を求めるフレームが前フレームであるのと異なる。

[0153] 次に、このステップ S202において、領域推定部 41は、次フレーム（ステップ S 201 でサンプル点を決定したフレーム）の画像に空間方向のローパスフィルタを施す処理を実行する。すなわちローパスフィルタを施すことにより、高周波成分が除去され、画像が平滑ィ匕される。これにより、次のステップ S203における同色領域の成長処理が容易になる。

[0154] 次に、ステップ S203において、領域推定部 41は、追尾点を出発点として、画素値の差分が閾値 THimg未満であるという条件で、追尾点の同色領域を成長させ、同色領域に含まれるサンプル点を領域の推定結果とする処理を実行する。領域の推定結果としては、成長させた結果の同色領域に含まれるサンプル点が利用される。

[0155] 具体的には、例えば図 30Aに示されるように、追尾点 321に隣接する 8個の方向の画素の画素値が読み取られる。すなわち、上方向、右上方向、右方向、右下方向、下方向、左下方向、左方向、および左上方向の 8つの方向に隣接する画素の画素値が読み取られる。読み取られた画素値と追尾点 321の画素値との差分が演算される。そして、演算された差分値が閾値 THimg以上であるか否かが判定される。図 30A の場合、矢印を付して示される方向の画素値、すなわち上方向、右上方向、下方向、左方向、および左上方向の画素値と追尾点 321の差分が閾値 THimg未満であり、図中矢印を付さずに示されている方向、すなわち右方向、右下方向、および左下方向の画素値と追尾点 321の差分が閾値 THimg以上であったとされる。

[0156] この場合、図 30Bに示されるように、差分が閾値 THimg未満である画素（図 30Aにおいて、追尾点 321に対して矢印で示される方向の画素）が追尾点 321と同色領域の画素 322として登録される。同様の処理が同色領域に登録された各画素 322において行われる。図 30Bに示される例では、図中左上の白い円で示される画素 322とそれに隣接する画素 (既に同色領域であるとの判定が行われた画素を除く）の画素値の差分が演算され、その差分が閾値 THimg以上である力否かが判定される。図 30 Bの例においては、右方向、右下方向、および下方向の画素は、既に同色領域の判定処理が終了している方向なので、上方向、右上方向、左下方向、左方向、および左上方向においての差分が演算される。そして、この例では、上方向、右上方向、および左上方向の 3つの方向の差分が閾値 THimg未満とされ、図 30Cに示されるように、その方向の画素が追尾点 321と同色領域の画素として登録される。

[0157] 以上のような処理が順次繰り返されることで、図 31に示されるように、サンプル点のうち、同色領域 331に含まれる点が追尾点 321と同一対象物上の点として推定される。

[0158] 図 29に示される領域推定処理（図 10のステップ S61)に続いて、図 28の乗り換え候補抽出部 42において実行される図 10のステップ S62の乗り換え候補抽出処理は

、図 32のフローチャートに示されるようになる。

[0159] すなわち、ステップ S231において、乗り換え候補抽出部 42は、領域（同色領域）と推定されたすベての点をそのまま乗り換え候補とし、それを乗り換え候補保持部 16 に供給し、保持させる。

[0160] 図 28の領域推定関連処理部 15において、図 29の領域推定処理（図 10のステップ S61)、図 32の乗り換え候補抽出処理（図 10のステップ S62)に引き続き、図 28のテンプレート作成部 43で実行される図 10のステップ S63のテンプレート作成処理は、図 24に示される場合と同様であるので、その説明は省略する。

[0161] ただし、この場合においては、追尾点の同色領域をそのままテンプレートの範囲とすることも可會である。

[0162] 以上に説明した図 2のステップ S1の通常処理に続いて行われるステップ S2の例外処理の詳細について、図 33のフローチャートを参照して説明する。この処理は、上述したように、図 6のステップ S24において追尾点の動きを推定することが不可能と判定され、さらにステップ S28において追尾点を乗り換える乗り換え候補が選択できなかつたと判定された場合に実行されることになる。

[0163] ステップ S301において、制御部 19は、例外処理の初期化処理を実行する。この処理の詳細は図 34のフローチャートに示されている。

[0164] ステップ S321において、制御部 19は、追尾点の追尾ができなくなった際（追尾点の動きを推定することが不可能かつ、追尾点を乗り換える乗り換え候補が選択できなかった際）にシーンチェンジが起きていたか否かを判定する。シーンチェンジ検出部 13は、動き推定部 12の推定結果に基づ、てシーンチェンがあつたか否かを常に監視しており、制御部 19は、そのシーンチェンジ検出部 13の検出結果に基づいて、ステツプ S321の判定を実行する。シーンチェンジ検出部 13の具体的処理については、図 50と図 51を参照して後述する。

[0165] シーンチェンジが起きている場合、追尾ができなくなった理由がシーンチェンジが発生したことによるものと推定して、ステップ S322において制御部 19は、モードをシーンチェンジに設定する。これに対して、ステップ S321においてシーンチェンジが発生していないと判定された場合には、制御部 19は、ステップ S323においてモードをその他のモードに設定する。

[0166] ステップ S322またはステップ S323の処理の後、ステップ S324においてテンプレートマッチング部 11は、時間的に最も古いテンプレートを選択する処理を実行する。具体的には、図 35に示されるように、例えばフレーム nからフレーム n+ 1に移行するとき、例外処理が実行されるものとすると、フレーム n— m+ 1からフレーム nに関して生成され、テンプレート保持部 18に保持されている m個のフレームのテンプレートの中から、時間的に最も古いテンプレートであるフレーム n— m+ 1に関して生成されたテンプレートが選択される。

[0167] このように例外処理への移行直前のテンプレート（図 35の例の場合フレーム nに関して生成されたテンプレート）を用いずに、時間的に少し前のテンプレートを選択するのは、追尾対象のォクルージョンなどで例外処理への移行が発生した場合には、移行の直前には追尾対象が既にかなり隠れており、その時点のテンプレートでは、追尾対象を充分に大きく捉えることができない可能性が高いからである。従って、このように時間的に若干前のフレームにおけるテンプレートを選択することで、確実な追尾が可能となる。

[0168] 次に、ステップ S325において、テンプレートマッチング部 11は、テンプレート探索範囲を設定する処理を実行する。テンプレート探索範囲は、例えば、例外処理に移行する直前の追尾点の位置がテンプレート探索範囲の中心となるように設定される。

[0169] すなわち、図 36に示されるように、フレーム nにおいて被写体の顔 504の右目 502 が追尾点 501として指定されて!、る場合にぉ、て、図中左方向からボール 521が飛んできて、フレーム n+ 1において追尾点 501を含む顔 504が隠れ、フレーム n+ 2において、再び追尾点 501が現れる場合を想定する。この場合において、追尾点 501 ( テンプレート範囲 311に含まれる）を中心とする領域がテンプレート探索範囲 312として設定される。

[0170] ステップ S326において、テンプレートマッチング部 11は、例外処理への移行後の経過フレーム数およびシーンチェンジ数を 0にリセットする。このフレーム数とシーンチェンジ数は、後述する図 33のステップ S305における継続判定処理（図 37のステツプ S361, S363, S365, S367)【こお!ヽて使用される。

[0171] 以上のようにして、例外処理の初期化処理が終了した後、図 33のステップ S302において、制御部 19は次のフレームを待つ処理を実行する。ステップ S303において、テンプレートマッチング部 11は、テンプレート探索範囲内においてテンプレートマツチング処理を行う。ステップ S304においてテンプレートマッチング部 11は、通常処理への復帰が可能である力否かを判定する。

[0172] 具体的には、テンプレートマッチング処理により、数フレーム前のテンプレート（図 3 6のテンプレート範囲 311内の画素）と、テンプレート探索範囲内のマッチング対象の画素の差分の絶対値和が演算される。より詳細には、テンプレート範囲 311内の所定のブロックと、テンプレート探索範囲内の所定のブロックにおけるそれぞれの画素の差分の絶対値和が演算される。ブロックの位置がテンプレート範囲 311内で順次移動され、各ブロックの差分絶対値和が加算され、そのテンプレートの位置における値とされる。そして、テンプレートをテンプレート探索範囲内で順次移動させた場合における差分の絶対値和が最も小さくなる位置とその値が検索される。ステップ S304 において、最小の差分の絶対値和が、予め設定されている所定の閾値と比較される。差分の絶対値和が閾値以下である場合には、追尾点 (テンプレートに含まれている )を含む画像が再び出現したことになるので、通常処理への復帰が可能であると判定され、処理は図 2のステップ S1の通常処理に戻る。

[0173] そして上述したように、図 7のステップ S41において、例外処理からの復帰であると判定され、ステップ S44において、差分絶対値和が最小となる位置をテンプレートのマッチした位置として、このマッチした位置とテンプレートに対応して保持してあったテンプレート位置と追尾点領域推定範囲の位置関係から、追尾点と領域推定範囲の設定が行われる。すなわち、図 27を参照して説明したように、追尾点 305を基準とするベクトル 306, 307に基づいて、領域推定範囲 302が設定される。

[0174] ただし、図 10のステップ S61の領域推定処理において、領域推定範囲を用いない手法を用いる場合 (例えば、図 29に示される領域推定処理が用いられる場合）には、領域推定範囲の設定は行われなヽ。

[0175] 図 33のステップ S304における通常処理への復帰が可能であるか否かの判定は、最小の差分絶対値和をテンプレートのアクティビティで除算して得られる値を閾値と比較することで行うようにしてもよい。この場合におけるアクティビティは、後述する図 43のアクティビティ算出部 602により、図 49のステップ S532において算出された値を用いることができる。

[0176] あるいはまた、今回の最小の差分絶対値和を 1フレーム前における最小の差分絶対値和で除算することで得られた値を所定の閾値と比較することで、通常処理への復帰が可能であるカゝ否かを判定するようにしてもよい。この場合、アクティビティの計算が不要となる。

[0177] すなわち、ステップ S304では、テンプレートとテンプレート探索範囲の相関が演算され、相関値と閾値の比較に基づいて判定が行われる。

[0178] ステップ S304において、通常処理への復帰が可能ではないと判定された場合、ステツプ S305に進み、継続判定処理が実行される。継続判定処理の詳細は、図 37のフローチャートを参照して後述するが、これにより、追尾処理が ¾続可能であるか否かの判定が行われる。

[0179] ステップ S306において、制御部 19は、追尾点の追尾が «続可能であるか否かを継続判定処理の結果に基づいて（後述する図 37のステップ S366, S368で設定されたフラグに基づ!/、て)判定する。追尾点の追尾処理が継続可能である場合には、処理はステップ S302に戻り、それ以降の処理が繰り返し実行される。すなわち、追尾点が再び出現するまで待機する処理が繰り返し実行される。

[0180] これに対して、ステップ S306において、追尾点の追尾処理が継続可能ではないと判定された場合 (後述する図 37のステップ S365で、追尾点が消失した後の経過フレーム数が閾値 THfr以上と判定される力、または、ステップ S367でシーンチェンジ数が閾値 THsc以上と判定された場合)、最早、追尾処理は不可能として、追尾処理は終了される。

[0181] 図 37は、図 33のステップ S305における継続判定処理の詳細を表している。ステツプ S361において、制御部 19は、変数としての経過フレーム数に 1を加算する処理を実行する。経過フレーム数は、図 33のステップ S301の例外処理の初期化処理（図 3 4のステップ S326)【こお!/ヽて、予め 0【こリセットされて!/ヽる。

[0182] 次〖こステップ S362〖こおいて、制御部 19は、シーンチェンジがあるか否かを判定する。シーンチェンジがある力否かは、シーンチェンジ検出部 13が、常にその検出処理を実行しており、その検出結果に基づいて判定が可能である。シーンチェンジがある場合には、ステップ S363に進み、制御部 19は変数としてのシーンチェンジ数に 1を加算する。このシーンチェンジ数も、図 34のステップ S326の初期化処理において 0 にリセットされて、る。通常処理力も例外処理への移行時にシーンチェンジが発生してヽな、場合には、ステップ S363の処理はスキップされる。

[0183] 次に、ステップ S364において、制御部 19は、現在設定されているモードがシーンチェンジであるか否かを判定する。このモードは、図 34のステップ S322, S323にお V、て設定されたものである。現在設定されて!、るモードがシーンチェンジである場合には、ステップ S367に進み、制御部 19は、シーンチェンジ数が予め設定されている閾値 THscより小さいか否かを判定する。シーンチェンジ数が閾値 THscより小さい場合には、ステップ S366に進み、制御部 19は継続可のフラグを設定し、シーンチェンジ数が閾値 THsc以上である場合には、ステップ S368に進み、継続不可のフラグを設定する。

[0184] 一方、ステップ S364において、モードがシーンチェンジではないと判定された場合

(モードがその他であると判定された場合）、ステップ S365に進み、制御部 19は、経過フレーム数が閾値 THfrより小さいか否かを判定する。この経過フレーム数も、図 32 の例外処理の初期化処理のステップ S326において、予め 0にリセットされている。経過フレーム数が閾値 THfrより小さいと判定された場合には、ステップ S366において、継続可のフラグが設定され、経過フレーム数が閾値 THfr以上であると判定された場合には、ステップ S368において、継続不可のフラグが設定される。

[0185] このように、テンプレートマッチング処理時におけるシーンチェンジ数が閾値 THsc 以上になる力、または経過フレーム数が閾値 THfr以上になった場合には、それ以上の追尾処理は不可能とされる。

[0186] なお、モードがその他である場合には、シーンチェンジ数が 0であるという条件も加えて、継続が可能である力否かを判定するようにしてもょ、。

[0187] 以上にお!、ては、画像のフレームを処理単位とし、すべてのフレームを用いることを前提としたが、フィールド単位で処理したり、すべてのフレームまたはフィールドを利用するのではなく、所定の間隔で間弓 I V、て抽出されたフレームまたはフィールドを用 V、るようにすることも可能である。

[0188] また、以上においては、乗り換え候補として、推定した領域内の点の移動先を用いるようにした力領域内の点をそのまま用いるようにすることも可能である。この場合、図 2のステップ S1の通常処理は、図 6の処理に代えて、図 38の処理に変更される。

[0189] 図 38のステップ S401乃至ステップ S410の処理は、基本的に図 6のステップ S21 乃至ステップ S29の処理と同様の処理である力図 6のステップ S22に対応する図 3 8のステップ S402の次のフレームを待つ処理の次に、ステップ S403の領域推定関連処理が挿入されている点と、図 6におけるステップ S26における領域推定関連処理に代えて、ステップ S407の領域推定範囲の更新処理が実行される点が異なっている。その他の処理は、図 6における場合と同様であるので、その説明は省略する。

[0190] 図 38のステップ S403の領域推定関連処理の詳細は、図 10を参照して説明した場合と同様となり、ステップ S407の領域推定範囲の更新処理は、図 16を参照して説明した場合と同様の処理となる。

[0191] 通常処理を、図 38のフローチャートに示されるように実行した場合における、ステツプ S403の領域推定関連処理（図 10の領域推定関連処理)の領域推定処理（図 10 のステップ S61における領域推定処理）は、図 39のフローチャートに示されるようになる。

[0192] そのステップ S431乃至ステップ S435の処理は、基本的に図 11のステップ S81乃至ステップ S86の処理と同様の処理となる。ただし、図 11のステップ S86における領域推定範囲の更新処理が図 39においては省略されている。その他の処理は、図 11 における場合と同様である。すなわち、領域推定範囲の更新処理は、図 38のステツプ S407において実行されるため、図 39の領域推定処理では不要とされるのである。

[0193] さらに、図 38の通常処理を行う場合におけるステップ S403の領域推定関連処理（図 10の領域推定関連処理)の乗り換え候補抽出処理（図 10のステップ S62における乗り換え候補抽出処理）は、図 40に示されるようになる。このステップ S451の処理は、図 32におけるステップ S 231の乗り換え候補抽出処理と同様の処理となる。

[0194] 以上のように、通常処理を図 38のフローチャートに示されるように行った場合と、図 6に示されるように行った場合とにおける処理の違いを説明すると、図 41と図 42に示されるようになる。

[0195] 図 6のフローチャートに示される通常処理を行った場合には、図 41に示されるように、フレーム nにおいて、領域推定範囲 81内の図中黒い四角形で示される点 551により領域 82が構成されているとすると、次のフレーム n+ 1において、前のフレーム nにおける領域 82の各点 551をそれぞれの動きベクトル 553に基づいてシフトした位置におけるフレーム n+ 1上の点 552が乗り換え候補とされる（図 23のステップ S161の処理)。

[0196] 各点 551の動きベクトル 553は、全画面動きの動きベクトルと同じになることもあるが、全画面動きと同じ動きとみなす精度によっては各点の推定動きに多少のばらつきがでる。例えば、水平方向、垂直方向とも、 ± 1画素の違いは同じとみなすとすると、 (0 , 0)の動きには、（一 1, 1)や（1, 0)の動きも含まれる。この場合、全画面動きが（0, 0 )であったとしても、各点 551が、（一 1, 1)、 (1, 0)等の動きを持っているときは、それぞれの動きの分だけシフトされる。移動先の点をそのまま乗り換え候補として用いるのではなぐ予め求められたサンプル点のうち、最も近い点を乗り換え候補とすることも可能である。勿論、処理負荷軽減のため、各点 551を、全画面動きの分だけシフトしてもよい。

[0197] これに対して、通常処理を図 38のフローチャートに示されるように実行した場合においては、図 42に示されるように、フレーム nにおける領域推定範囲 81内の点 561 が乗り換え候補とされる。 [0198] 次に、図 43を参照して、図 1の動き推定部 12の構成例について説明する。この動き推定部 12は、動きベクトル検出部 606— 1、および動きベクトル確度算出部 606— 2 により構成されている。実施の形態においては、入力画像が、評価値算出部 601、ァクテイビティ算出部 602、および動きベクトル検出部 606— 1に供給されている。

[0199] 動きベクトル検出部 606— 1は、入力画像力も動きベクトルを検出し、検出した動きベクトルと入力画像を動きベクトル確度算出部 606— 2に供給する。また、動きべタトル検出部 606— 1は、入力画像が既に動きベクトルを含む場合、画像データと動きべタトルを分離して、動きベクトル確度算出部 606— 2に供給する。画像データとその動きベクトルが既に分離された状態で入力される場合、動きベクトル検出部 606— 1は省略することができる。

[0200] 動きベクトル確度算出部 606— 2は、入力された入力画像 (画像データ）に基づいて、対応する動きベクトルの確度（以下、動きベクトル確度と称する）を演算し、得られた確度を動きベクトル検出部 606— 1より供給された動きベクトルとともに出力する。

[0201] この実施の形態においては、動きベクトル確度算出部 606— 2は、評価値算出部 60 1、アクティビティ算出部 602、および演算部 606— 3により構成されている。演算部 6 06 - 3は、閾値判定部 603、正規化処理部 604、および統合処理部 605により構成されている。

[0202] 図 43の動きベクトル検出部 606-1から出力された動きベクトルが、評価値算出部 6 01に入力され、入力画像 (画像データ)が、評価値算出部 601とアクティビティ算出部 602に入力されている。

[0203] 評価値算出部 601は、入力画像の評価値を算出し、演算部 606— 3の正規ィ匕処理部 604に供給する。アクティビティ算出部 602は、入力画像のアクティビティを算出し、演算部 606 - 3の閾値判定部 603と正規化処理部 604に供給する。

[0204] 正規化処理部 604は、評価値算出部 601より供給された評価値を、アクティビティ算出部 602より供給されたアクティビティに基づ、て正規化し、得られた値を統合処理部 605に供給する。閾値判定部 603は、アクティビティ算出部 602より供給されたアクティビティを所定の閾値と比較し、その判定結果を統合処理部 605に供給する。統合処理部 605は、正規化処理部 604から供給された正規化情報と、閾値判定部 6 03より供給された判定結果に基づいて、動きベクトル確度を演算し、得られた動きべタトル確度を装置に出力する。このとき、ベクトル検出部 606— 1より供給された動きべタトルも一緒に出力するようにしてもよい。

[0205] 次に図 44のフローチャートを参照して、動き推定部 12の動き演算処理の詳細について説明する。動きベクトル検出部 606— 1は、ステップ S501において、入力画像を取得し、ステップ S502で、入力画像のフレームを所定のブロックに分割し、ステップ S503で、時間的に後（または前）のフレームと比較することで動きベクトルを検出する。具体的には、ブロックマッチグ法により動きベクトルが検出される。検出された動きベクトルは、評価値算出部 601に供給される。

[0206] 以上の処理を図 45乃至図 48を参照して説明すると次のようになる。すなわち、図 4 4のステップ S501において、例えば、図 45に示されるように、フレーム F (第 1フレー

1 ム）乃至フレーム F (第 Nフレーム）の N個のフレームが順次取得されると、ステップ S

N

502において、 1つのフレームの画像が一辺 2L+ 1画素の正方形のブロックに分割される。ここで、分割されたフレーム Fの任意のブロックをブロック Bとし、図 46に示さ n P

れるように、ブロック Bの中心座標（画素）を点 Ρ (Χ , Y )とする。

P P P

[0207] 次〖こステップ S503〖こおいて、例えば、図 47〖こ示されるよう〖こ、フレーム Fnの次のフレームであるフレーム F において、ブロック Bをフレーム F 上の所定の走査範囲内 n+1 p n+1

で走査させながら、対応する画素の差分絶対値和が最小となる位置が調べられ、その値が最小となる位置のブロック (ブロック B )が検出される。その中心点 Q (X , Y ) q q q 力 sブロック Bの点 p (x , Υ )との対応点とされる。

Ρ Ρ Ρ

[0208] 図 48に示されるように、ブロック Βの中心点 Ρ (Χ , Υ )とブロック Βの中心点 Q (X ,

P P P Q Q

Y )とを結んで表される線 (矢印）が、動きベクトル V(vx,vy)として検出される。すなわち、次式に基づいて動きベクトル V (vx,vy)が演算される。

V(vx,vy) =Q (X , Y )-P (X , Υ )

Q Q P P …（1)

[0209] 図 44のステップ S504において、動きベクトル確度算出部 22により動きベクトル確度演算処理が実行される。その詳細は、図 49を参照して後述する力この処理により、動きベクトル確度が定量的な数値として算出される。

[0210] ステップ S505において、動きベクトル確度算出部 606— 2は、 1つのフレームの全てのブロックに対して、動きベクトル確度の算出が終了した力否かを判定する。

[0211] 動きベクトル確度算出部 606— 2は、ステップ S505において、まだ全てのブロックに対して動きベクトル確度が算出されて、な、と判定した場合、処理をステップ S504 に戻し、以降の処理を繰り返し実行する。全てのブロックに対して動きベクトル確度の算出が終了したと判定された場合、そのフレームについての処理を終了する。以上の処理は、各フレーム毎に行われる。

[0212] 次に図 49のフローチャートを参照して、図 44のステップ S504の動きベクトル確度演算処理の詳細について説明する。ステップ S531において、評価値算出部 601は、次式に基づいて評価値 Eval(P,Q,i,j)を演算する。

[0213] [数 1]

Eval (P, Q， I, j) =∑∑\ Fj (X_q + x， Y_q +y)― / (X_P + x_f Y_P +y)\

••' (2)

[0214] 上記式（2)における総和∑∑は、 Xがー L力も Lについて、 yがー L力も Lについて行われる。すなわち、簡単のため、図 50に示されるように、ブロック Bとブロック Bの一

P Q

辺を 5 ( = 2L+ 1 = 2 X 2+ 1)画素とする場合、フレーム Fのブロック Bの左上端の n p

座標（点 P (X -2, Y— 2) )に位置する画素 71の画素値と、画素 771に対応するフレ

P P

ーム F のブロック Bの座標（点 Q (X—2, Y— 2) )に位置する画素 811の画素値と n+1 q 1 q q

の差が演算される。同様の演算が、点 P (X—2, Y—2)乃至点 P (X + 2, Y + 2)

1 p p 25 p p に位置する画素のそれぞれに対応するブロック Bの点 Q (X— 2, Y— 2)乃至 Q (X q 1 q q 25 q

+ 2, Y + 2)に位置する画素の画素値とのそれぞれの差が演算される。 L= 2である場合、 25個の差分が得られ、その絶対値の総和が演算される。

[0215] なお、上述したフレーム Fのブロック Bの中心座標の点 P (X , Y )に位置する画素 n p P P

(注目画素）、及びその対応点であるフレーム F のブロック Bの中心座標の点 Q (X n+1 q q

, Υ )に位置する画素（対応画素）の画素数は、少なくとも 1個であればよい。但し、複数にする場合には、その数を同じにする必要がある。

[0216] この評価値は、一方のフレームの画像上の点と、他方のフレームの画像上の点のそれぞれを中心とするブロックの評価値 (従って、動きベクトルの評価値)を示すものであり、評価値力^に近づくほど、よく一致していることを表している。また、上記式（2 )において、 F_;およびは、時間的に異なるフレームを示し、上述した説明では、 F_nが Fに対応し、 F 力に対応する。上記式（2)では、差分絶対和を評価値として!/、る i n+1 j

力差分二乗和を評価値としてもよい。

[0217] ブロックマッチング法以外に、勾配法や、ベクトル検出方法によって評価値を演算することも可會である。

[0218] 評価値算出部 601は、生成した評価値を正規化処理部 604に供給する。

[0219] ステップ S532において、アクティビティ算出部 602は、入力画像力もアクティビティを算出する。アクティビティは、画像の複雑さを表す特徴量であり、図 51、図 52に示されるように、各画素毎の注目画素 Y(x, y)と、それに隣接する 8画素、すなわち隣接画素 Y (X— 1 , y-1) ,Y (x,y-l) ,Y(x+ l ,y—l) ,Υ(χ+ 1 ,y) ,Υ(χ+ l,y+ 1) ,Υ (χ, y+ 1) ,Y(x-l,y+ 1) ,Υ(χ-Ι,γ)との差分絶対和の平均値力注目画素のァクティビティとして次式に基づ、て演算される。

[0220] [数 2]

, . . , 、 ∑ =- ∑;=- I Y(x + y+j) - Y(x_fy)\

Activity (x,y) = "- (3)

8

[0221] 図 52の例の場合、 3 X 3画素のうち、中央に位置する注目画素 Y(x, y)の値は 110 であり、それに隣接する 8個の画素（隣接画素 Y(x— 1, y-l) ,Y(x,y-l) ,Y(x+ l,y -1) ,Y(x+ l,y) ,Y(x+ l,y+ 1) ,Y(x,y+ 1) ,Y(x— l,y+ 1) ,Y(x— l,y) )の値は、それぞれ 80, 70, 75, 100, 100, 100,80, 80である力ら、アクティビティ ίま次式で表される。

Activity .y)

= { I 80-110 I + I 70-110 I + I 75-110 I + I 100-110 I

+ I 100-110 I + I 100-110 | + | 80-110 I + | 80— 110 I }

/8

= 24. 375

となる。

[0222] 動きベクトル確度を画素単位で算出する場合には、このアクティビティがそのまま動きベクトル確度の算出に用いられる。複数の画素よりなるブロック単位で動きベクトル確度を算出するには、ブロックのアクティビティがさらに算出される。

[0223] ブロック単位で動きベクトル確度を算出するため、ブロックのアクティビティは、例えば、図 53Aに示されるように、一辺を 5 ( = 2L+ 1 = 2 X 2+ 1)画素としたブロック B

P

では、アクティビティ算出範囲 851aの中央に含まれる画素 771が注目画素とされ、画素 771の値と、それに隣接する 8つの画素の値においてアクティビティが演算される。

[0224] また、図 53B乃至 Fに示されるように、ブロック B内の画素が順に走査され、ァクティ

P

ビティ算出範囲 851b乃至 851fに含まれる注目画素と隣接画素とのアクティビティが演算される。ブロック Bの全ての画素に対して演算されたアクティビティの総和がブロ

P

ック Bのブロックのアクティビティとされる。

P

[0225] 従って、次式で表されるブロック内の全画素のアクティビティの総和力そのブロックのアクティビティ（ブロックアクティビティ） Blockactivity(U)と定義される。

[0226] [数 3]

Block _a cttvitv (i_f j) = X Z-l Acnvitv (x. v) \ … (4)

[0227] 上記式（4)における総和は、 Xがー Lから Lにつ!/、て、 yがー Lから Lにつ!/、て行われる。式 (4)の i,jは、ブロックの中心位置を表しており、式（3)の i,jとは異なるものである

[0228] なお、アクティビティとしては、この他、ブロックにおける分散値、ダイナミックレンジ、その他の画素値の空間方向の変動を表す値などとすることも可能である。

[0229] 閾値判定部 603は、ステップ S533において、アクティビティ算出部 602により、ステップ S532の処理で算出されたブロックアクティビティ力予め設定してある閾値（図 5 3を参照して後述する閾値 THa)より大きいか否かを判定する。その詳細は、図 54のフローチャートを参照して説明する力この処理により、ブロックアクティビティが閾値

THaより大き、か否かのフラグが設定される。

[0230] ステップ S534におヽて、正規化処理部 604は、正規化処理を実行する。その詳細は、図 56を参照して後述する力この処理によりステップ S31の処理で算出された評価値、ステップ S532の処理で算出されたブロックアクティビティ、および閾値（図 55 を参照して後述する直線 903の傾き）に基づ、た動きベクトル確度が演算される。 [0231] ステップ S535において、統合処理部 605により統合処理が実行される。その詳細は、図 57を参照して後述する力この処理によりステップ S533の処理（図 54のステツプ 552またはステップ S553の処理）で設定されたフラグに基づ!/、て、図示せぬ装置に出力する動きベクトル確度が決定される。

[0232] 次に、図 54を参照して、図 49のステップ S533の処理の閾値処理の詳細について説明する。ステップ S551にお!/ヽて、閾値半 IJ定咅 603 ίま、図 49のステップ S532の処理の結果、算出されたブロックアクティビティが閾値 THaより大きいか否かを判定する

[0233] 具体的には、実験の結果、ブロックアクティビティと評価値は、動きベクトルをパラメータとして、図 55に示される関係を有する。図 55において、横軸はブロックァクテイビティ Blockactivity(U)を表し、縦軸は評価値 Evalを表している。動きが正しく検出されて、る場合 (正し、動きベクトルが与えられて、る場合）、そのブロックアクティビティと評価値の値は、曲線 901より図中下側の領域 R1に分布する。これに対して誤った動き（不正解の動きベクトル）が与えられた場合、そのブロックアクティビティと評価値の値は、曲線 902より、図中左側の領域 R2に分布する（曲線 902より上側の領域 R2以外と曲線 901より下側の領域 R1以外の領域には殆ど分布がない)。曲線 901と曲線 902は、点 Pにおいて交差する。この点 Pにおけるブロックアクティビティの値が閾値 THaとされる。閾値 THaは、ブロックアクティビティの値がそれより小さい場合には、対応する動きベクトルが正しくない可能性があることを意味する（この点については後に詳述する）。閾値判定部 603は、アクティビティ算出部 602より入力されたブロックァクテイビティの値力この閾値 THaより大きいか否かを表すフラグを統合処理部 605に出力する。

[0234] ステップ S551にお!/、て、ブロックアクティビティが閾値 THaより大き!/、と判定された場合 (対応する動きベクトルが正しい可能性が高い場合）、ステップ S552に進み、閾値判定部 603は、ブロックアクティビティが閾値 THaより大きヽことを示すフラグを設定する。

[0235] これに対して、ステップ S551において、ブロックアクティビティが閾値 THaより大きくはなヽ (小さ!/、）と判定された場合 (対応する動きベクトルが正しくな、可能性がある場合）、ステップ S553に進み、ブロックアクティビティが大きくはない（小さい）ことを示すフラグが設定される。

[0236] そして、閾値判定部 603は、入力されたブロックアクティビティが閾値より大きいか否かを示すフラグを統合処理部 605に出力する。

[0237] 次に、図 56のフローチャートを参照して、図 49のステップ S534の正規化処理の詳細について説明する。ステップ S571〖こおいて、正規化処理部 604は、図 49のステツプ S 531の処理で算出された評価値、ステップ S 532の処理で算出されたブロックァクテイビティ、および予め設定されている閾値（図 55の直線 903の傾き）に基づいて、次式に従って動きベクトル確度 VCを演算する。

[0238] VC = 1 評価値 Zブロックアクティビティ · · ·（5)

[0239] 動きベクトル確度 VCのうち、評価値をブロックアクティビティで割り算して得られた値は、その値によって規定される図 55のグラフ上の位置が、原点 Oと点 Pを結ぶ傾きが 1の直線 903より、図中下側の領域内であるの力図中上側の領域内であるのかを表す。すなわち、直線 903の傾きは 1であり、評価値をブロックアクティビティで割り算して得られた値が 1より大きければ、その値に対応する点は、直線 903の上側の領域に分布する点であることを意味する。そしてこの値を 1から減算して得られる動きべタトル確度 VCは、その値力、さい程 (負に大きい程)、対応する点が領域 R2に分布する可能性が高、ことを意味する。

[0240] これに対して、評価値をブロックアクティビティで割り算して得られた値が 1より小さければ、その値に対応する点は、直線 903の図中下側の領域に分布することを意味する。そして、そのときの動きベクトル確度 VCは、その値が大きい程 (0に近い程）、対応する点が領域 R1に分布することを意味する。正規化処理部 604は、このようにして演算して得られた動きベクトル確度 VCを統合処理部 605に出力する。

[0241] ステップ S572において、正規化処理部 604は、式（5)に基づいて算出された動きベクトル確度 VCが 0より小さいか否力（動きベクトル確度 VCが負の値か否力）を判定する。動きベクトル確度 VCが 0以上の値の場合、正規化処理部 604は、ステップ S57 3に進み、ステップ S571の処理で演算された動きベクトル確度 VCをそのまま統合処理部 605に供給する。 [0242] これに対して、ステップ S572において、動きベクトル確度 VCが 0より小さい（動きべタトル確度 VCが負の値）と判定された場合、ステップ S574に進み、正規化処理部 60 4は、動きベクトル確度 VCを固定値として 0に設定し、統合処理部 605に供給する。

[0243] 以上のようにして、動きベクトルが正しくな、可能性がある（不正解ベクトルの可能性がある）場合 (動きベクトル確度 VCが負の場合）、動きベクトル確度は 0に設定される。

[0244] 次に、図 57のフローチャートを参照して、図 49のステップ S535の統合処理の詳細について説明する。

[0245] 統合処理部 605は、ステップ S591において、ブロックアクティビティが閾値 THa以下か否かを判定する。この判定は、閾値判定部 603より供給されたフラグに基づいて行われる。ブロックアクティビティの値が閾値 THaより大きい場合には、ステップ S592 において、統合処理部 605は、正規ィ匕処理部 604によって演算された動きベクトル確度 VCの値がそのまま動きベクトルとともに出力される。

[0246] これに対して、ブロックアクティビティが閾値 THa以下であると判定された場合には、ステップ S593において、正規ィ匕処理部 604によって算出された動きベクトル確度 VC の値力^に設定され、出力される。

[0247] これは、正規化処理部 604において演算された動きベクトルの確度 VCの値が正であつたとしても、ブロックアクティビティの値が閾値 THaより小さい場合には、正しい動きベクトルが得られていない可能性がある力もである。すなわち、図 55に示されるように、原点 Oと点 Pの間においては、曲線 202が、曲線 901より図中下側に（直線 903 より下側に)突出することになる。ブロックアクティビティの値が閾値 THaより小さい区間であって、曲線 901と曲線 902において囲まれる領域 R3においては、評価値をブロックアクティビティで割り算して得られる値は、領域 R1と R2の両方に分布し、正しい動きベクトルが得られていない可能性が高い。そこで、このような分布状態である場合には、動きベクトルの確度は低いものとして処理するようにする。このため、ステップ S593において、動きベクトル確度 VCは、その値が負である場合はもとより、正であつたとしても、閾値 THaより小さい場合には、 0に設定される。このようにすることで、動きベクトル確度 VCの値が正である場合には、正し!/、動きベクトルが得られて!/、る場合であることを確実に表すことが可能となる。し力も、動きベクトル確度 VCの値が大きい程、正、動きベクトルが得られて、る確率が高くなる（分布が領域 R1に含まれた確率が高くなる)。

[0248] このことは、一般的に輝度変化が少な、領域 (アクティビティが小さ!/、領域)では信頼性が高い動きベクトルを検出することが困難であるとの経験上の法則とも一致する

[0249] 以上のようにして、動きベクトル確度が算出される。従って、動きベクトル確度を定量的な数値として表すことが可能になり、信頼性の高い動きベクトルを検出することが可能になる。なお、フレームの画像を処理単位として説明した力フィールドを処理単位としてちよい。

[0250] 図 58は，図 1の背景動き推定部 14の構成例を表している。この構成例においては、背景動き推定部 14は、頻度分布算出部 1051と背景動き決定部 1052により構成されている。

[0251] 頻度分布算出部 1051は、動きベクトルの頻度分布を算出する。ただし、この頻度には、動き推定部 12より供給される動きベクトル確度 VCを用いることで、確からしい動きに重みが与えられるように、重み付けが行われる。背景動き決定部 1052は、頻度分布算出部 1051により算出された頻度分布に基づいて、頻度が最大となる動きを背景動きとして決定する処理を行い、領域推定関連処理部 15へ出力する。

[0252] 図 59を参照して、背景動き推定部 14の背景動き推定処理について説明する。

[0253] ステップ S651において、頻度分布算出部 1051は、動き頻度分布を算出する。具体的には、頻度分布算出部 1051は、背景動きの候補としての動きベクトルの X座標と y座標がそれぞれ基準点から ± 16画素分の範囲で表されるとすると、 1089個（= 1 6 X 2 + 1) X (16 X 2+ 1) )の箱、すなわち動きベクトルがとり得る値に対応する座標分の箱を用意し、動きベクトルが発生した場合、その動きベクトルに対応する座標に 1 を加算する。このようにすることで、動きベクトルの頻度分布を算出することができる。

[0254] ただし、 1個の動きベクトルが発生した場合、 1を加算していくと、確度が低い動きべタトルの発生頻度が多、場合、その確実性が低、動きベクトルが背景動きとして決定されてしまう恐れがある。そこで、頻度分布算出部 1051は、動きベクトルが発生した場合、その動きベクトルに対応する箱 (座標）に、値 1を加算するのではなぐ値 1に動きベクトル確度 VCを乗算した値（=動きベクトル確度 VCの値)を加算する。動きべタトル確 VCの値は、 0から 1の間の値として正規化されており、その値が 1に近いほど確度が高い値である。従って、このようにして得られた頻度分布は、動きベクトルをその確度に基づいて重み付けした頻度分布となる。これにより、確度の低い動きが背景動きとして決定される恐れが少なくなる。

[0255] 次に、ステップ S652において、頻度分布算出部 1051は、動き頻度分布を算出する処理を全ブロックにつ、て終了した力否かを判定する。まだ処理して!/、な、ブロックが存在する場合には、ステップ S651に戻り、次のブロックについてステップ S651 の処理が実行される。

[0256] 以上のようにして、全画面に対して動き頻度分布算出処理が行われ、ステップ S65 2において、全ブロックの処理が終了したと判定された場合、ステップ S653に進み、背景動き決定部 1052は、頻度分布の最大値を検索する処理を実行する。すなわち、背景動き決定部 1052は、頻度分布算出部 1051により算出された頻度の中から最大の頻度のものを選択し、その頻度に対応する動きベクトルを背景動きの動きべタトルとして決定する。この背景動きの動きベクトルは、領域推定関連処理部 15に供給され、例えば、図 16のステップ S104や図 21のステップ S131の全画面動きと背景動きがー致する力否かの判定処理に用いられる。

[0257] 図 60は、図 1のシーンチェンジ検出部 13の詳細な構成例を表している。この例においては、動きベクトル確度平均算出部 1071と閾値判定部 1072によりシーンチェンジ検出部 13が構成されて、る。

[0258] 動きベクトル確度平均算出部 1071は、動き推定部 12より供給された動きベクトル確度 VCの全画面の平均値を算出し、閾値判定部 1072に出力する。閾値判定部 10 72は、動きベクトル確度平均算出部 1071より供給された平均値を、予め定められている閾値と比較し、その比較結果に基づいて、シーンチェンジであるか否かを判定し、判定結果を制御部 19に出力する。

[0259] 次に、図 61のフローチャートを参照して、シーンチェンジ検出部 13の動作について説明する。ステップ S681において、動きベクトル確度平均算出部 1071は、ベクトル確度の総和を算出する。具体的には、動きベクトル確度平均算出部 1071は、動き推定部 12の統合処理部 605より出力された各ブロック毎に算出された動きベクトル確度 VCの値を加算する処理を実行する。ステップ S682において、動きベクトル確度平均算出部 1071は、ベクトル確度 VCの総和を算出する処理が全ブロックについて終了した力否かを判定し、まだ終了していない場合には、ステップ S681の処理を繰り返す。この処理を繰り返すことで、 1画面分の各ブロックの動きベクトル確度 VCの総和が算出される。ステップ S682において 1画面全部についての動きベクトル確度 VC の総和の算出処理が終了したと判定された場合、ステップ S683に進み、動きべタトル確度平均算出部 1071は、ベクトル確度 VCの平均値を算出する処理を実行する。具体的には、ステップ S681の処理で算出された 1画面分のベクトル確度 VCの総和を、足し込まれたブロック数で除算して得られた値が平均値として算出される。

[0260] ステップ S684において、閾値判定部 1072は、ステップ S683の処理で動きべタトル確度平均算出部 1071により算出された動きベクトル確度 VCの平均値を、予め設定されている閾値と比較し、閾値より小さいか否かを判定する。一般的に、動画中の時刻が異なる 2フレーム間でシーンチェンジが発生すると、対応する画像が存在しないため、動きベクトルを算出しても、その動きベクトルは確からしくないことになる。そこで、ベクトル確度 VCの平均値が閾値より小さい場合には、ステップ S685において、閾値判定部 1072はシーンチェンジフラグをオンし、閾値より小さくない場合（閾値以上である場合）、ステップ S686において、シーンチェンジフラグをオフにする。シーンチェンジフラグのオンは、シーンチェンジがあったことを表し、そのオフは、シーンチェンジが無いことを表す。

[0261] このシーンチェンジフラグは、制御部 19へ供給され、図 34のステップ S321におけるシーンチェンジの有無の判定、並びに図 37のステップ S362のシーンチェンジの有無の判定に利用される。

[0262] 次に、以上のオブジェクト追尾装置を応用した画像処理装置について説明する。図 62は、オブジェクト追尾装置をテレビジョン受像機 1700に応用した場合の例を表している。チューナ 1701は、 RF信号を入力し、復調して画像信号と音声信号とに分離し、画像信号を画像処理部 1702に出力し、音声信号を音声処理部 1707に出力する。

[0263] 画像処理部 1702は、チューナ 1701より入力された画像信号を復調し、オブジェクト追尾部 1703、ズーム画像作成部 1704、および選択部 1705に出力する。オブジェタト追尾部 1703は、上述した図 1のオブジェクト追尾装置 1と実質的に同様の構成とされている。オブジェクト追尾部 1703は、入力画像力もユーザにより指定されたォブジェタトの追尾点を追尾する処理を実行し、その追尾点に関する座標情報をズーム画像作成部 1704に出力する。ズーム画像作成部 1704は、追尾点を中心とするズーム画像を作成し、選択部 1705に出力する。選択部 1705は、画像処理部 1702より供給された画像またはズーム画像作成部 1704より供給された画像の一方をユーザからの指示に基づいて選択し、画像ディスプレイ 1706に出力し、表示させる。

[0264] 音声処理部 1707は、チューナ 1701より入力された音声信号を復調し、スピーカ 7 08に出力する。

[0265] リモートコントローラ 1710は、ユーザにより操作され、その操作に対応する信号を制御部 1709に出力する。制御部 1709は、例えばマイクロコンピュータなどにより構成され、ユーザの指示に基づいて各部を制御する。リムーバブルメディア 1711は、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスクなどにより構成され、必要に応じて装着され、制御部 1709に、プログラム、その他各種のデータを提供する。

[0266] 次に、テレビジョン受像機 1700の処理について、図 63のフローチャートを参照して説明する。

[0267] ステップ S701において、チューナ 1701は、図示せぬアンテナを介して受信した RF信号から、ユーザにより指示されたチャンネルの信号を復調して、画像信号を画像処理部 1702に出力し、音声信号を音声処理部 1707に出力する。音声信号は、音声処理部 1707で復調された後、スピーカ 1708から出力される。

[0268] 画像処理部 1702は、入力された画像信号を復調し、オブジェクト追尾部 1703、ズーム画像作成部 1704、および選択部 1705に出力する。

[0269] ステップ S702において、オブジェクト追尾部 1703は、追尾が指示されたか否かを判定し、追尾が指示されていないと判定された場合、ステップ S703, S704の処理をスキップする。ステップ S705において、選択部 1705は、画像処理部 1702より供給される画像信号と、ズーム画像作成部 1704より入力される画像信号のいずれか一方を制御部 1709からの制御に基づいて選択する。いまの場合、ユーザから特に指示がなされていないので、制御部 1709は、選択部 1705に画像処理部 1702からの画像信号を選択させる。ステップ S706において画像ディスプレイ 1706は、選択部 170 5により選択された画像を表示する。

[0270] ステップ S707において、制御部 1709は、ユーザの指示に基づいて画像表示処理を終了するカゝ否かを判定する。すなわちユーザは、画像表示処理を終了するとき、リモートコントローラ 1710を操作して、制御部 1709にそれを指示する。ユーザから終了が指示されていない場合、処理はステップ S701に戻り、それ以降の処理が繰り返し実行される。

[0271] 以上のようにして、チューナ 1701により受信された信号に対応する画像をそのまま表示する通常の処理が実行される。

[0272] ユーザは、画像ディスプレイ 1706に表示されている画像を見て追尾したいと思う画像が表示されたとき、リモートコントローラ 1710を操作することで、その画像を指定する。この操作がなされたとき、ステップ S702において制御部 1709は、追尾が指示されたと判定し、オブジェクト追尾部 1703を制御する。オブジェクト追尾部 1703は、この制御に基づいて、ユーザにより指定された追尾点の追尾処理を開始する。この処理は、上述したオブジェクト追尾装置 1の処理と同様の処理である。

[0273] ステップ S704において、ズーム画像作成部 1704は、オブジェクト追尾部 1703により追尾されて、る追尾点を中心とするズーム画像を生成し、選択部 1705に出力する。

[0274] このズーム画像作成処理は、本出願人が先に提案しているクラス分類適応処理を利用して行うことができる。例えば、特開 2002— 196737公報には、予め学習して得た係数を用いて、 525i信号を 1080i信号に変換する処理が開示されている。この処理は、垂直方向と水平方向の両方に 9Z4倍に画像を拡大する処理と実質的に同様の処理である。ただし、画像ディスプレイ 706は、画素数が一定であるため、ズーム画像作成部 704は、例えば 9Z4倍の画像を作成する場合、 525i信号を 1080i信号に変換した後、追尾点を中心とする所定の数の画素（画像ディスプレイ 706に対応する数の画素）を選択することでズーム画像を作成することができる。縮小する処理は、その逆の処理となる。

[0275] この原理に基づいて、任意の倍率のズーム画像を生成することができる。

[0276] 追尾が指示されている場合、ステップ S705において選択部 1705は、ズーム画像作成部 1704により作成されたズーム画像を選択する。その結果、ステップ S706において、画像ディスプレイ 1706は、ズーム画像作成部 1704により作成されたズーム画像を表示することになる。

[0277] 以上のようにして、画像ディスプレイ 1706には、ユーザが指定した追尾点を中心とするズーム画像が表示される。倍率が 1に設定された場合には、追尾だけが行われる。

[0278] 図 64は本発明を適用した画像処理装置 1801の機能的構成例を表している。この画像処理装置 1801は、動きベクトル検出部 1821、および動きベクトル確度算出部 1 822により構成されている。

[0279] 動きベクトル検出部 1821は、入力画像力も動きベクトルを検出し、検出した動きべタトルと入力画像を動きベクトル確度算出部 1822に供給する。また、動きベクトル検出部 1821は、入力画像が既に動きベクトルを含む場合、画像データと動きベクトルを分離して、動きベクトル確度算出部 1822に供給する。画像データとその動きべタトルが既に分離された状態で入力される場合、動きベクトル検出部 1821は省略することがでさる。

[0280] 動きベクトル確度算出部 1822は、入力された入力画像 (画像データ）に基づいて、対応する動きベクトルの確度（以下、動きベクトル確度と称する）を演算し、動きべタトル確度を図示せぬ装置に出力する。

[0281] 図 65は、図 64の動きベクトル確度算出部 1822の構成例を表している。この実施の形態においては、動きベクトル確度算出部 1822は、評価値算出部 1841、ァクテイビティ算出部 1842、および演算部 1843により構成されている。演算部 1843は、閾値判定部 1851、正規化処理部 1852、および統合処理部 1853により構成されている

[0282] 図 64の動きベクトル検出部 1821から出力された動きベクトル力評価値算出部 18 41に入力され、入力画像 (画像データ）が、評価値算出部 1841とアクティビティ算出部 1842に入力されている。

[0283] 評価値算出部 1841は、入力画像の評価値を算出し、演算部 1843の正規ィ匕処理部 1852に供給する。アクティビティ算出部 1842は、入力画像のアクティビティを算出し、演算部 1843の閾値判定部 1851と正規化処理部 1852に供給する。

[0284] 正規ィ匕処理部 1852は、評価値算出部 1841より供給された評価値を、ァクティビティ算出部 1842より供給されたアクティビティに基づいて正規ィ匕し、得られた値を統合処理部 1853に供給する。閾値判定部 1851は、アクティビティ算出部 1842より供給されたアクティビティを所定の閾値と比較し、その判定結果を統合処理部 1853に供給する。統合処理部 1853は、正規化処理部 1852から供給された正規化情報と、閾値判定部 1851より供給された判定結果に基づいて、動きベクトル確度を演算し、得られた動きベクトル確度を図示せぬ装置に出力する。

[0285] 動きベクトル検出部 1821、動きベクトル確度算出部 1822、評価値算出部 1841、アクティビティ算出部 1842、演算部 1843、閾値判定部 1851、正規化処理部 1852 、統合処理部 1853は、それぞれ上述した図 43の動きベクトル検出部 606— 1、動きベクトル確度算出部 606— 2、評価値算出部 601、アクティビティ算出部 602、演算部 606 - 3、閾値判定部 603、正規化処理部 604、統合処理部 605と基本的に同様の構成をしているため、ここではこれ以上の詳細な説明は省略する。

[0286] 上述した画像処理装置 1801は、例えば、パーソナルコンピュータなどで構成することができる。

[0287] この場合、画像処理装置 1は、例えば、図 66で示されるように構成される。 CPU (

Central Processing Unit) 1931は、 ROM (Read Only Memory) 1932に記憶されているプログラム、または記憶部 1939から RAM (Random Access Memory) 1933〖こロードされたプログラムに従って各種の処理を実行する。 RAM233にはまた、 CPU1931が各種の処理を実行する上において必要なデータなども適宜記憶される。

[0288] CPU1931, ROM1932,および RAM1933は、バス 1934を介して相互に接続されている。このバス 1934にはまた、入出力インタフェース 1935も接続されている。

[0289] 入出力インタフェース 1935には、キーボード、マウスなどよりなる入力部 1936, CRT (Cathode Ray Tube) , LCD (Liquid Crystal Display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部 1937、モデム、ターミナルアダプタなどより構成される通信部 1938、ハードディスクなどより構成される記憶部 1939が接続されている。通信部 1938は、図示せぬ LANやインターネットを介して他の装置との通信処理を行う。

[0290] 入出力インタフェース 1935にはまた、ドライブ 1940が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア 1941が適宜装着され、それら力読み出されたコンピュータプログラムが、必要に応じて記憶部 1939にインストールされる。

[0291] 次に、本発明を応用した符号ィ匕装置 2261について、図 67を参照して説明する。

[0292] この符号ィ匕装置 2261においては、入力画像は、動き演算部 2271の動きベクトル検出部 1821、動き補償部 2272、および選択部 2273に供給される。動き演算部 22 71は、上述した図 64の画像処理装置 1801と実質的に同様の構成とされている。動きベクトル検出部 1821は、入力画像力動きベクトルを検出し、検出した動きべタトルを動き補償部 2272、および付加コード作成部 2275に出力する。また、動きべタトル検出部 1821は、動きベクトル、および入力画像を動きベクトル確度算出部 1822 に出力する。

[0293] 動きベクトル確度算出部 1822は、動きベクトル検出部 1821より入力された動きべタトル、および入力画像力も動きベクトル確度を算出し、制御部 2274に出力する。制御部 2274は、入力された動きベクトル確度に基づいて選択部 2273、および付加コード作成部 2275を制御する。

[0294] 動き補償部 2272は、供給された入力画像と動きベクトル検出部 1821より供給された動きベクトルに基づいて、動き補償を行い、動き補償した画像を選択部 2273に供給する。選択部 2273は、制御部 2274の制御に基づいて、画素値符号ィ匕部 2276に入力画像、または動き補償された画像を選択して出力する。画素値符号化部 2276 は、入力された画像の符号化を行い、統合部 2277に出力する。

[0295] 付加コード作成部 2275は、制御部 2274の制御に基づいて、各フレームの画像に対し、動き補償を行ったカゝ否かを表す付加コードを作成し、動きベクトル検出部 182 1より入力された動きベクトルと合成し、必要に応じて、さらに動きベクトル確度を付加して、統合部 2277に出力する。

[0296] 統合部 2277は、画素値符号化部 2276から入力された符号、および付加コード作成部 2275から入力された付加コードを統合して図示せぬ装置に出力する。

[0297] 次に、符号ィ匕装置 2261の処理について、図 68のフローチャートを参照して説明する。なお、ステップ S821乃至ステップ S825の処理では、画像が入力され、画像の各フレームが所定のブロックに分割される。分割されたブロックに基づいて、動きべタトルが検出され、各動きベクトルの確度 (動きベクトル確度）が算出され、全てのブロックに対して動きベクトル確度が算出されるまで同様の処理が繰り返し実行される。

[0298] その後、ステップ S826において、動き補償部 2272は、入力画像と動きベクトルに基づいて動き補償を行う。すなわち、動きベクトルに基づいて、前後のフレームの画像の差分を算出し、差分画像 (動き補償画像)を作成する。

[0299] ステップ S827において、選択部 2273は、制御部 2274の制御に基づいて、入力画像、または動き補償部 2272より供給された動き補償された画像のどちらかを選択する。すなわち、制御部 2274は、動きベクトル確度が充分大きいとき、選択部 2273 に、符号ィ匕する画像として動き補償された画像を選択させ、そうでないとき入力画像を選択させる。動きベクトル確度に基づいて、入力画像と動き補償された画像のいずれかが選択されるので、信頼性の低、動きベクトルによって動き補償された画像が利用されることを防ぐことが可能となる。選択部 2273は、選択した画像を画素値符号化部 2276に供給する。

[0300] ステップ S828において、画素値符号化部 2276は、ステップ S828の処理で選択された画像 (入力画像、または動き補償された画像)の符号化を行う。

[0301] ステップ S829において、付加コード作成部 2275は、制御部 2274からの制御に基づヽて、復号時に必要な符号化された画像が動き補償された画像か否かを表す付加コードを作成する。この付加コードには、動きベクトル確度を含めることができる。

[0302] ステップ S830において、統合部 2277は、ステップ S828の処理により符号化された画像とステップ S829の処理により作成された付加コードを統合し、図示せぬ装置に出力する。 [0303] 以上のようにして、画像が符号化され、正しくな、可能性がある（不正解ベクトルの可能性がある)動きベクトルに基づいて動き補償された画像が利用されることを防ぐことが可能となる。従って、信頼性のない動きベクトルを用いて動き補償を行うことで画像が破綻してしまうことを防ぎ、復号時に高画質な画像を得ることが可能となる。

[0304] 図 69は、本発明を手振れ補正装置 2301に応用した場合の例を表している。手振れ補正装置 2301は、例えば、デジタルビデオカメラ等に適用される。

[0305] 入力画像は、背景動き検出部 2311、および出力画像生成部 2314に入力される。

背景動き検出部 2311は、入力画像力も背景動きを検出し、変位蓄積部 2312に出力する。背景動き検出部 2311の詳細な構成は図 70を参照して後述する。変位蓄積部 2312は、入力された背景動きから変位量を蓄積し、蓄積した変位量を手振れ判定部 2313、および出力画像生成部 2314に出力する。手振れ判定部 2313は、入力された変位情報を所定の閾値に基づいて、手振れ力否かを判定し、判定結果を出力画像生成部 2314に出力する。

[0306] 出力画像生成部 2314は、供給されている入力画像から、変位蓄積部 2312より入力された変位量と手振れ判定部 2313から入力された判定結果に基づいて、出力画像を生成し、例えば、 HDD (Hard Disk Drive)、ビデオテープ等のような書き込み可能な記録媒体 315に記録する。また、出力画像生成部 2314は、生成した画像を、例えば、 LCD (Liquid Crystal Display)等で構成される表示部 2316に出力し、表示させる。

[0307] 図 70は、図 69の背景動き検出部 2311の詳細な構成例を表している。この構成例においては、背景動き検出部 2311は、動き演算部 2321、頻度分布算出部 2322、および背景動き決定部 2323により構成されている。動き演算部 2321は、上述した図 63の画像処理装置 1801と実質的に同様の構成とされている。

[0308] 入力画像は、動き演算部 2321の動きベクトル検出部 1821に供給される。動きべクトル検出部 1821は、入力画像力動きベクトルを検出し、検出した動きベクトル、および入力画像を動きベクトル確度算出部 1822に出力する。動きベクトル確度算出部 1822は、入力された動きベクトルおよび入力画像に基づいて、対応する動きべタトルの確度 (動きベクトル確度)を算出し、頻度分布算出部 2322に出力する。 [0309] 頻度分布算出部 2322は、動きベクトルの頻度分布を算出する。ただし、この頻度には、動き演算部 2321より供給される動きベクトル確度 VCを用いることで、確からしい動きに重みが与えられるように、重み付けが行われる。背景動き決定部 2323は、頻度分布算出部 2322により算出された頻度分布に基づいて、頻度が最大となる動きを背景動きとして決定する処理を行い、変位蓄積部 2312へ出力する。

[0310] 次に、図 71のフローチャートを参照して、手振れ補正装置 2301の手振れ補正処理を説明する。ステップ S831乃至ステップ S834の処理の処理で、入力画像が取得され、画像のフレームが所定のブロックに分割される。分割されたブロックに基づいて、例えば、ブロックマッチング法により動きベクトルが検出され、各動きベクトルの確度 (動きベクトル確度）が算出される。

[0311] ステップ S835において、頻度分布算出部 2322は、動き頻度分布を算出する。具体的には、頻度分布算出部 2322は、例えば、背景動きの候補としての動きベクトルの X座標と y座標がそれぞれ基準点から ± 16画素分の範囲で表されるとすると、 108 9個（ = 16 X 2+ 1) X (16 X 2+ 1) )の箱、すなわち動きベクトルが取り得る値に対応する座標分の箱を用意し、動きベクトルが発生した場合、その動きベクトルに対応する座標に 1を加算する。このようにすることで、動きベクトルの頻度分布を算出することができる。

[0312] ただし、 1個の動きベクトルが発生した場合、 1を加算していくと、確度が低い動きべタトルの発生頻度が多、場合、その確実性が低、動きベクトルが背景動きとして決定されてしまう恐れがある。そこで、頻度分布算出部 2322は、動きベクトルが発生した場合、その動きベクトルに対応する箱 (座標）に、値 1を加算するのではなぐ値 1に動きベクトル確度 VCを乗算した値（=動きベクトル確度 VCの値)を加算する。動きべタトル確度 VCの値は、 0から 1の間の値として正規化されており、その値が 1に近いほど確度が高い値である。従って、このようにして得られた頻度分布は、動きベクトルをその確度に基づいて重み付けした頻度分布となる。これにより、確度の低い動きが背景動きとして決定される恐れが少なくなる。

[0313] 次に、ステップ S836において、動きベクトル確度算出部 1822は、全てのブロックに対して動きベクトルの確度が算出された力否かを判定する。まだ処理して、な、プロックが存在する場合には、ステップ S834に戻り、次のブロックについてステップ S834 、およびステップ S835の処理が繰り返し実行される。

[0314] 以上のようにして、全画面に対して動き頻度分布算出処理が行われた場合、ステツプ S837に進み、背景動き決定部 2323は、頻度分布の最大値を検索する処理を実行する。すなわち、背景動き決定部 2323は、頻度分布算出部 2322により算出された頻度の中から最大の頻度のものを選択し、その頻度に対応する動きベクトルを背景動きの動きベクトルとして決定する。この背景動きの動きベクトルは、変位蓄積部 2 312に供給される。

[0315] ステップ S838において、変位蓄積部 2312は、各フレームの背景動きとしての動きベクトルを順次記憶する。

[0316] ステップ S839において、手振れ判定部 2313は、背景動きとしての動きベクトルの変位量 (絶対値)が予め設定されている閾値より大きいか否かを判定することで、入力画像がユーザの手振れによってブレた画像か否かを判定する。変位量が閾値より大きい場合、手振れであると判定され、閾値より小さい場合、手振れではないと判定される。手振れ判定部 2313は、判定結果を出力画像生成部 2314に供給する。

[0317] ステップ S839において、手振れ判定部 2313は、手振れが発生したと判定された場合、ステップ S840において、出力画像生成部 2314は、そのときの変位量とは逆の変位量分シフトした画像を生成し、出力する。これにより、ユーザは、手振れの少な V、画像を記録または見ることが可能となる。

[0318] これに対して、ステップ S839において、手振れではなかったと判定された場合、ステツプ S841に進み、出力画像生成部 2314は、入力された画像をそのまま出力する。出力された画像は、記録媒体 2315に記録され、また表示部 2316に表示される。

[0319] 以上のようにして、手振れが検出、補正される。動きベクトル確度を利用することで、背景動きを精度良く検出することが可能となり、ユーザに手振れの少ない画像を提供することが可能となる。

[0320] 図 72は、本発明を適用した蓄積装置 2341の例を表している。 HDD (Hard Disk

Drive)レコーダとしての蓄積装置 2341は、選択部 2351、記録媒体（HDD) 2352、ィンデッタス作成部 2353、シーンチェンジ検出部 2354、制御部 2355、インデックステ一ブル 2356、選択部 2357、表示画像作成部 2358、全体制御部 2359、指示入力部 2360で構成されている。

[0321] 選択部 2351は、全体制御部 2351の制御に基づいて記録媒体 2352に記録されている画像、または入力画像を選択し、インデックス作成部 2353、シーンチェンジ検出部 2354、および選択部 2357に供給する。 HDDで構成される記録媒体 2352には、全体制御部 2359の制御に基づヽて画像が記録される。

[0322] シーンチェンジ検出部 2354は、供給された画像力もシーンチェンジを検出し、検出結果を制御部 2355に供給する。制御部 2355は、供給された検出結果に基づいてインデックス作成部 2353、およびインデックステーブル 2356を制御する。

[0323] インデックス作成部 2353は、制御部 2355の制御〖こ基づいて、記録媒体 2352に記録された画像であって、シーンチェンジと判定されたときの各シーンの先頭の画像を縮小した画像であるインデックス画像、およびそのインデックス画像に対応する画像の記録媒体 2352上での位置を特定する付加情報 (タイムコード、アドレスなど）を抽出し、インデックステーブル 2356に供給する。

[0324] インデックステーブル 2356は、供給されたインデックス画像とそれに対応する付カロ情報を保持する。また、インデックステーブル 2356は、制御部 2355の制御に基づいて、保持して!/ヽるインデックス画像に対応する付加情報を全体制御部 2359に供給する。

[0325] 選択部 2357は、全体制御部 2359の指示に従って、選択部 2351から供給された画像、またはインデックステーブル 2356から入力されたインデックス画像の一方を選択し、表示画像作成部 2358に出力する。表示画像作成部 2358は、全体制御部 23 59の指示に従って、入力された画像から、画像表示装置 2365で表示可能な画像を作成、出力し、表示させる。

[0326] 制御部 2355は、シーンチェンジ検出部 2354から出力されるシーンチェンジフラグ、および全体制御部 2359の制御に基づいて、インデックス作成部 2353やインデックステーブル 2356を制御する。

[0327] 全体制御部 2359は、例えばマイクロコンピュータなどにより構成され、各部を制御する。指示入力部 2360は、各種のボタン、スィッチ、あるいはリモートコントローラなどにより構成され、ユーザ力もの指示に対応する信号を全体制御部 2359に出力する。

[0328] 図 73は、図 72のシーンチェンジ検出部 2354の詳細な構成例を表している。この例においては、動き演算部 2371、動きベクトル確度平均値算出部 2372、閾値判定部 2373によりシーンチェンジ検出部 2354が構成されている。動き演算部 2371は、上述した図 64の画像処理装置 1801と実質的に同様の構成とされている。

[0329] 動きベクトル検出部 1821は、選択部 2351より入力された画像力も動きベクトルを検出し、検出した動きベクトル、および入力画像を動きベクトル確度算出部 1822に出力する。動きベクトル確度算出部 1822は、入力された動きベクトルおよび入力画像に基づいて、対応する動きベクトルの確度 (動きベクトル確度）を算出し、動きべタトル確度平均値算出部 2372に出力する。

[0330] 動きベクトル確度平均値算出部 2372は、動き演算部 2371より供給された動きべクトル確度 VCの全画面の平均値を算出し、閾値判定部 2373に出力する。閾値判定部 2373は、動きベクトル確度平均値算出部 2372より供給された平均値を、予め定められている閾値と比較し、その比較結果に基づいて、シーンチェンジであるか否かを判定し、判定結果を制御部 2355に出力する。

[0331] 次に、図 74のフローチャートを参照して、蓄積装置 2341が記録媒体 2352に画像を記録する場合に実行されるインデックス画像作成処理の詳細について説明する。この処理は、入力された画像が記録媒体 2352に記録されているとき実行される。

[0332] ステップ S871乃至ステップ S874の処理のそれぞれは、図 44を参照して説明したステップ S501乃至 S504の処理と同様である。すなわち、これらの処理で画像が入力され、画像のフレームが所定のブロックに分割される。分割されたブロックに基づいて、例えば、ブロックマッチング法により動きベクトルが検出され、各動きベクトルの確度 (動きベクトル確度）が算出される。

[0333] ステップ S875において、動きベクトル確度平均値算出部 2372は、選択部 2351を介して入力される画像 (記録媒体 2352に記録中の画像)の動きベクトル確度の総和を算出する。具体的には、動きベクトル確度平均値算出部 2372は、動き演算部 237 1の動きベクトル確度算出部 1822の統合処理部 1853より出力された各ブロック毎に算出された動きベクトル確度 VCの値を加算する処理を実行する。ステップ S876において、動きベクトル確度算出部 1822は、全ブロックについて動きベクトル確度 VCを算出した力否かを判定し、まだ終了していない場合には、ステップ S874およびステツプ S875の処理を繰り返す。これらの処理を繰り返すことで、 1画面分の全ブロックの動きベクトル確度 VCの総和が算出される。ステップ S876において 1画面全部についての動きベクトル確度 VCの総和の算出処理が終了したと判定された場合、ステップ S 877に進み、動きベクトル確度平均値算出部 2372は、動きベクトル確度 VCの平均値を算出する処理を実行する。具体的には、ステップ S875の処理で算出された 1画面分の動きベクトル確度 VCの総和を、足し込まれたブロック数で除算して得られた値が平均値として算出される。従って、この平均値は 1画面（1フレーム）について 1個となる。

[0334] ステップ S878において、閾値判定部 2373は、ステップ S877の処理で動きべタトル確度平均値算出部 2373により算出された動きベクトル確度 VCの平均値を、予め設定されている閾値と比較し、その比較結果を制御部 2355に出力する。ステップ S8 79において、制御部 2355は、閾値判定部 2373の比較結果に基づいて、平均値が閾値より小さいか否かを判定する。一般的に動画中の連続する 2フレーム間でシーンチェンジが発生すると、対応する画像が存在しないため、動きベクトルを算出しても、その動きベクトルは確からしくないことになる。そこで、動きベクトル確度 VCの平均値が閾値より小さい場合には、制御部 2355は、ステップ S880において、インデックス作成部 2353を制御し、インデックス画像を作成させる。

[0335] すなわち、ステップ S881において、インデックス作成部 2353は、制御部 2355の制御に基づいて、新たなシーンの先頭のフレームの画像のサイズを縮小し、インデッタス画像を生成する。インデックス画像が、例えば 1画面中に 3 X 3個配置されて表示される場合、元の画像の縦方向と横方向のサイズをそれぞれ 1/3に縮小することでィンデッタス画像が生成される。また、このとき、インデックス作成部 2353は、そのフレームの画像の記録媒体 2352上での記録位置を特定する付加情報 (タイムコード、ァドレスなど）を抽出する。

[0336] ステップ S881において、インデック作成部 2353は、ステップ S880の処理で作成したインデックス画像、およびそれに対応する付加情報をインデックステーブル 2356 に記録する。

[0337] ステップ S879で、動きベクトル確度 VCの平均値が閾値以上であると判定された場合、シーンチェンジが発生した可能性は低いので、ステップ S880,S881の処理はスキップされ、インデックス画像は作成されない。

[0338] その後、ステップ S882で、制御部 2355は、ユーザより、記録の終了が指令されたか否かを判定し、終了が指示されていない場合には処理はステップ S871に戻り、それ以降の処理が繰り返される。記録の終了が指示された場合、処理は終了される。

[0339] 以上のようにして、記録動作中にシーンチェンジが自動的に検出され、インデックス画像が自動的に作成される。

[0340] 次に図 75のフローチャートを参照して、蓄積装置 2341の画像表示装置 2365に対する画像出力処理を説明する。この処理は、ユーザにより記録画像の再生出力が指令されたとき実行される。

[0341] ステップ S901において、全体制御部 2359は、ユーザの指示入力部 2360の操作に基づいて、記録媒体 2352に記録されている画像を再生出力させる。選択部 2351 は、記録媒体 2352により再生された画像を、選択部 2357を介して、表示画像作成部 2358に供給する。表示画像作成部 2358は、入力された画像を画像表示装置 23 65に表示可能な画像に変換し、画像表示装置 2365に出力し、表示させる。

[0342] ステップ S902において、全体制御部 2359は、ユーザによって指示入力部 2360 が操作されることでインデックス画像の表示が指示されたカゝ否かを判定する。ユーザからインデックス画像を表示する指示が入力されて、な、場合、処理はステップ S 90 1に戻り、それ以降の処理が繰り返し実行される。すなわち、記録媒体 2352の記録画像を画像表示装置 2365に再生、出力（表示)する処理が継続される。

[0343] これに対して、ユーザからインデックス画像の表示が指示された場合、ステップ 903 において、全体制御部 2359は、インデックステーブル 2356を制御し、そこに記録されているインデックス画像を出力させる。すなわち、インデックステーブル 2356は、ィンデッタス画像を一覧として読み出し、選択部 2357を介して、表示画像作成部 235 8に出力する。表示画像作成部 2358は、入力されたインデックス画像の一覧を画像表示装置 2365に出力し、表示させる。これにより、画像表示装置 2365には、 1画面中〖こ、 3 X 3個のインデックス画像が配置された一覧が表示される。

[0344] ユーザは、指示入力部 2360を操作することで、複数表示されて!、るインデックス画像 (インデックス画像の一覧）の中から、 1つを選択することができる。そこで、ステップ S906〖こおいて、全体制御部 2359は、画像表示装置 2365に表示されているインデックス画像が選択されたカゝ否かを判定する。インデックス画像が選択されてヽなヽと判定された場合、処理はステップ S903に戻り、それ以降の処理が繰り返し実行される。すなわち、インデックス画像の一覧が画像表示装置 2365により継続的に表示される。

[0345] これに対し、インデックス画像が選択されたと判定された場合 (ユーザからインデックス画像の一覧の中の所望のインデックス画像が選択 (指示）された場合）、ステップ S 905において、全体制御部 2359は、その選択されたインデックス画像に対応する画像力も始まる記録画像を記録媒体 2352から再生させ、選択部 2351、選択部 2357 および表示画像作成部 2358を介し画像表示装置 2365に出力し、表示させる。すなわち、インデックス画像が選択されたと判定された場合、全体制御部 2359は、インデックステーブル 2356から、ステップ S904の処理で選択されたインデックス画像に対応する付加情報 (タイムコード、アドレスなど）を読み込み、記録媒体 2352を制御し、そのインデックス画像に対応する画像からそれに続く画像を再生させ、画像表示装置 2365に出力し、表示させる。

[0346] ステップ S906において、全体制御部 2359は、終了が指示されたか否かを判定する。ユーザによって指示入力部 2360が操作されることで、画像の出力（表示）終了の指示が入力されたか否かが判定される。終了の指示が入力されていないと判定された場合、処理はステップ S901に戻り、それ以降の処理が繰り返し実行される。これに対し、終了の指示が入力されたと判定された場合、処理は終了する。

[0347] また、蓄積装置 2341は、その記録媒体が例えば、 DVD,ビデオテープ等である場合にも適用可能である。

[0348] 上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラム力専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

[0349] 本明細書において、上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくても、並列的あるいは個別に実行される処理を含むものである。

[0350] 図 76は、本発明を監視カメラシステムに適用した場合の例を表している。この監視カメラシステム 2800においては、 CCDビデオカメラ等よりなる撮像部 2801により撮像された画像が画像ディスプレイ 2802に表示される。追尾対象検出部 2803は、撮像部 2801より入力された画像から追尾対象を検出し、検出結果をオブジェクト追尾部 2805に出力する。オブジェクト追尾部 2805は、撮像部 2801より供給された画像中の、追尾対象検出部 2803により指定された追尾対象を追尾するように動作する。ォブジェクト追尾部 2805は、上述した図 1のオブジェクト追尾装置 1と基本的に同様の構成を有している。カメラ駆動部 2804は、オブジェクト追尾部 2805からの制御に基づいて、撮像部 2801が追尾対象の追尾点を中心とする画像を撮影するように撮像部 2801を駆動する。

[0351] 制御部 2806は、例えば、マイクロコンピュータなどにより構成され、各部を制御する。制御部 2806には、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスクなど〖こより構成されるリムーバブルメディア 2807が必要に応じて接続され、プログラム、その他各種のデータが必要に応じて供給される。

[0352] 次に、図 77のフローチャートを参照して、監視処理の動作について説明する。監視システム 2800の電源がオンされているとき、撮像部 2801は監視領域を撮像し、その撮像して得られた画像を追尾対象検出部 2803、オブジェクト追尾部 2805、および画像ディスプレイ 2802に出力している。追尾対象検出部 2803は、ステップ S931において、撮像部 2801から入力された画像から追尾対象を検出する処理を実行する。追尾対象検出部 2803は、例えば、動く物体が検出された場合、その動く物体を追尾対象として検出する。追尾対象検出部 2803は、追尾対象の中から、例えば、最も輝度の高い点、あるいは追尾対象の中心の点などを追尾点として検出し、オブジェクト追尾部 2805に出力する。

[0353] ステップ S932において、オブジェクト追尾部 2805は、ステップ S931で検出された追尾点を追尾する追尾処理を実行する。この追尾処理は、上述した図 1のオブジェクト追尾装置 1の処理と同様の処理である。

[0354] ステップ S933において、オブジェクト追尾部 2805は、追尾点の画面上の位置を検出する。そして、ステップ S934においてオブジェクト追尾部 2805は、ステップ S933 の処理により検出された追尾点の位置と画像の中央との差を検出する。ステップ S93 5において、オブジェクト追尾部 2805は、ステップ S934の処理で検出した差に対応するカメラ駆動信号を生成し、カメラ駆動部 2804に出力する。ステップ S936において、カメラ駆動部 2804はカメラ駆動信号に基づいて撮像部 2801を駆動する。これにより撮像部 2801は、追尾点が画面の中央に位置するようにパンまたはチルトする。

[0355] ステップ S937において、制御部 2806は、ユーザからの指示に基づいて監視処理を終了する力否かを判定し、ユーザから終了が指示されていない場合には、ステップ S931に戻り、それ以降の処理を繰り返し実行する。ユーザから監視処理の終了が指示された場合、ステップ S937において終了すると判定され、制御部 2806は監視処理を終了する。

[0356] 以上のようにして、この監視カメラシステム 2800においては、動く物体が自動的に追尾点として検出され、その追尾点を中心とする画像が画像ディスプレイ 2802に表示される。これにより、より簡単かつ確実に、監視処理を行うことが可能となる。

[0357] 図 78は、本発明を適用した他の監視カメラシステムの構成例を表している。この監視力メラシステム 2900は、撮像部 2901、画像ディスプレイ 2902、オブジェクト追尾部 2903、カメラ駆動部 2904、制御部 2905、指示入力部 2906、およびリムーパブルメディア 2907により構成されている。

[0358] 撮像部 2901は、撮像部 2801と同様に、 CCDビデオカメラなどにより構成され、撮像した画像を画像ディスプレイ 2902とオブジェクト追尾部 2903に出力する。画像デイスプレイ 2902は、入力された画像を表示する。オブジェクト追尾部 2903は、上述した図 1のオブジェクト追尾装置 1と基本的に同様の構成とされている。カメラ駆動部 29 04は、オブジェクト追尾部 2903からの制御に基づいて、撮像部 2901を所定の方向にパン、チルト駆動する。

[0359] 制御部 2905は、例えばマイクロコンピュータなどにより構成され、各部を制御する。

指示入力部 2906は、各種のボタン、スィッチ、あるいはリモートコントローラなどにより構成され、ユーザ力もの指示に対応する信号を制御部 2905に出力する。リムーパブルメディア 2907は、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスクなどにより構成され、必要に応じて接続され、制御部 2905に必要なプログラムやデータなどを適宜供給する。

[0360] 次に、図 79のフローチャートを参照して、その動作について説明する。

[0361] ステップ S961において、制御部 2905は、ユーザより追尾点が指定されたか否かを判定する。追尾点が指定されていなければ、ステップ S969に進み、制御部 2905は、ユーザより処理の終了が指示された力否かを判定し、終了が指示されていなければ、ステップ S961に戻り、それ以降の処理を繰り返し実行する。

[0362] すなわち、この間、撮像部 2901が撮像エリアを撮像して得られた画像が画像デイスプレイ 2902に出力され、表示されている。この画像を見て、監視エリアを監視する処理を終了させる場合、ユーザ (監視者)は指示入力部 2906を操作して終了を指令する。終了が指令されたとき、制御部 2905は、監視処理を終了する。

[0363] 一方、ユーザは、画像ディスプレイ 2902に表示されている画像を見て、例えば不審者などが表示されたとき、その不審者の所定の点を追尾点として指定する。この指定は、指示入力部 2906を操作することで行われる。ユーザが追尾点を指定したとき、ステップ S961において、追尾点が指定されたと判定され、ステップ S962に進み、追尾処理が実行される。以下、ステップ S962乃至ステップ S967において実行される処理は、図 77のステップ S932乃至ステップ S937において行われる処理と同様の処理である。すなわち、これにより、撮像部 2901が指定された追尾点が画面の中央に来るように駆動される。

[0364] ステップ S967において、制御部 2905は、監視の終了が指示されたか否かを判定し、指示された場合処理を終了するが、指示されていない場合には、ステップ S968 に進み、ユーザより追尾の解除が指示された力否かを判定する。ユーザは、例えば、一旦追尾を指定したものが不審者でないとわ力つたとき、指示入力部 2906を操作して、追尾の解除を指示することができる。制御部 2905は、ステップ S968で、追尾の解除が指示されていないと判定された場合、ステップ S962に戻り、それ以降の処理を実行する。すなわち、この場合には、指定された追尾点を追尾する処理が継続される。

[0365] ステップ S968において追尾の解除が指示されたと判定された場合、追尾処理は解除され、処理はステップ S961に戻り、それ以降の処理が繰り返し実行される。

[0366] 以上のようにして、この監視カメラシステム 2900においては、ユーザが指示した追尾点の画像が画像ディスプレイ 2902の中央に表示される。従って、ユーザは、所望の画像を任意に選択して、きめ細やかに監視を行うことが可能となる。

[0367] 本発明は、テレビジョン受像機や監視カメラシステムに限らず、各種の画像処理装置に適応することが可能である。

[0368] なお、以上においては、画像の処理単位をフレームとした力フィールドを処理単位とする場合にも本発明は適用が可能である。

[0369] 上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラム力専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

[0370] この記録媒体は、図 76、または図 78に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されてヽる磁気ディスク (フロッピディスクを含む）、光ディスク（CD- ROM(Compact Disk-Read Only

Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク (MD (Mini-Disk)を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア 2807, 2907により構成されるだけでなぐ装置本体に予め組み込まれた状態でユーザに提供される、プロダラムが記録されている ROMゃノヽードディスクなどで構成される。

[0371] なお、本明細書にぉ、て、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

[0372] また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

[0373] 図 80は、本発明を監視カメラシステムに適用した場合の構成例を表している。この監視カメラシステム 3001においては、 CCDビデオカメラ等よりなる撮像部 3021により撮像された画像が画像ディスプレイ 3023に表示される。追尾対象検出部 3024は、撮像部 3021より入力された画像から追尾対象を検出し、検出結果をオブジェクト追尾部 3026に出力する。オブジェクト追尾部 3026は、上述した図 1のオブジェクト追尾装置 1と基本的に同様の構成を有して！/、る。

[0374] オブジェクト追尾部 3026は、撮像部 3021より供給された画像中の、追尾対象検出部 3024により指定された追尾点を追尾するように動作する。エリア設定部 3025は、オブジェクト追尾部 3026からの出力結果に基づいて、撮像部 3021により撮像された画像の中から、追尾点を含むオブジェクトの周辺の所定の領域 (エリア）を設定し、その領域を指定する位置情報を画像補正部 3022に出力する。画像補正部 3022は、撮像部 3021により撮像された画像の中のエリア設定部 3025により設定された領域について、画像のぼけ（フォーカスぼけ）を除去する補正を行い、画像ディスプレイ 3023に出力する。カメラ駆動部 3029は、オブジェクト追尾部 3026からの制御に基づいて、撮像部 3021が追尾点を中心とする画像を撮影するように撮像部 3021を駆動する。

[0375] 制御部 3027は、例えば、マイクロコンピュータなどにより構成され、各部を制御する。制御部 3027には、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスクなど〖こより構成されるリムーバブルメディア 3028が必要に応じて接続され、プログラム、その他各種のデータが必要に応じて供給される。制御部 3027は、また、図示せぬ入出力インタフェースを介して、ユーザからの指示（コマンドなど）の入力を受け付ける。

[0376] 次に、図 81のフローチャートを参照して、監視処理の動作について説明する。監視システム 3001の電源がオンされているとき、撮像部 3021は監視する領域を撮像し、その撮像して得られた画像を追尾対象検出部 3024、オブジェクト追尾部 3026、および画像補正部 3022を介して画像ディスプレイ 3023に出力する。追尾対象検出部 3024は、ステップ S 1001において、撮像部 3021から入力された画像から追尾対象を検出する処理を実行する。追尾対象検出部 3024は、例えば、動く物体が検出された場合、その動く物体を追尾対象として検出する。追尾対象検出部 3024は、追尾対象の中から、例えば、最も輝度の高い点、あるいは追尾対象の中心の点などを追尾点として検出し、オブジェクト追尾部 3026に出力する。

[0377] ステップ S1002において、オブジェクト追尾部 3026は、ステップ S1001で検出された追尾点を追尾する追尾処理を実行する。この処理により、撮像部 8021により撮像された画像の中の追尾対象となるオブジェクト (例えば、人、動物など）の中の追尾点 (例えば、目、頭の中心）が追尾され、その追尾位置を表す位置情報がエリア設定部 3025に出力される。

[0378] ステップ S1003において、エリア設定部 3025は、オブジェクト追尾部 3026からの出力に基づいて、追尾対象のオブジェクトの周辺の所定の領域 (例えば、追尾点を中心として、所定の大きさの四角形で表される領域)を補正対象エリアとして設定する

[0379] ステップ S1004において、画像補正部 3022は、撮像部 3021により撮像された画像の中で、エリア設定部 3025により設定された補正対象エリア内の画像を補正する画像補正処理を実行する。画像補正処理の詳細については、図 93を参照して後述するが、この処理により、補正対象エリア内の画像について、画像のぼけが除去された鮮明な映像が提供される。

[0380] ステップ S1005において、画像ディスプレイ 3023は、ステップ S 1004で補正された画像、すなわち、撮像部 3021により撮像された画像であって、特に、補正対象エリァ内のみが鮮明になるように補正された画像を出力する。

[0381] ステップ S1006において、オブジェクト追尾部 3026は、ステップ S1002の処理による追尾結果に基づいて、オブジェクトの移動を検出し、移動したオブジェクトを撮像できるようにカメラを駆動させるカメラ駆動信号を生成し、カメラ駆動部 3027に出力する。ステップ S1007において、カメラ駆動部 3027はカメラ駆動信号に基づいて撮像部 3021を駆動する。これにより撮像部 3021は、追尾点が画面の力も外れてしまうことがな、ようにカメラをパンまたはチルトする。

[0382] ステップ S1008において、制御部 3027は、ユーザからの指示に基づいて監視処理を終了する力否かを判定し、ユーザから終了が指示されていない場合には、ステツプ S1001に戻り、それ以降の処理を繰り返し実行する。ユーザから監視処理の終了が指示された場合、ステップ S1008において終了すると判定され、制御部 3027は監視処理を終了する。

[0383] なお、追尾対象検出部 3024から出力された追尾点の情報に基づいて、検出された追尾対象を追尾させるとともに、画像ディスプレイ 3023に表示される画面の中に、追尾点が表示されるように（追尾点が画面の外にでないように）、カメラ駆動部 3029 に制御信号が出力され、カメラ (撮像部 3021)の駆動が制御され、また、追尾点の画面上での位置の情報などの追尾結果が、エリア設定部 3025、制御部 3027などに出力される。

[0384] 図 82A乃至 Cは、このとき画像ディスプレイ 3023に表示される画像の例を、時系列に示した図である。図 82Aは、撮像部 3021により、追尾対象となるオブジェクト 3051 が撮像された画像の例であり、この例では、図中左方向に走って移動する人が、ォブジェタト 3051として撮像されている。図 82Bでは、オブジェクト 3051力図 82Aの位置から図中左に移動しており、図 82Cでは、オブジェクト 3051が、図 82Bの位置からさらに左に移動している。

[0385] 追尾対象検出部 3024は、図 81のステップ S1001で、オブジェクト 3051を検出し、このオブジェクト 3051 (人）の目を、追尾点 3051 Aとしてオブジェクト追尾部 3026に出力する。ステップ S1002ではオブジェクト追尾部 3026により追尾処理が行われ、エリア設定部 3025により、ステップ S 1003で追尾対象のオブジェクト 3051 (追尾点 3 051 A)の周辺の所定領域が補正対象エリア 3052として設定される。

[0386] 上述したように、オブジェクト追尾部 3026は、追尾点 3051Aに基づいて、オブジェタト 3051を追尾するので、オブジェクト 3051が移動すると、追尾点 3051Aも移動し、その追尾結果 (位置）がエリア設定部 3025に出力される。このため、図 82A乃至図 82Cに示されるように、オブジェクト 3051が図中左に移動していくと、補正対象エリア 3052も図中左に移動していく。 [0387] 移動するオブジェクト 3051 (追尾点 3051 A)に対応する補正対象エリア 3052の設定は、例えば、次のようにして行われる。図 83は、補正対象エリアとして、追尾点の周辺に所定の大きさの四角形の領域が設定される例を示す。同図において、最初に補正対象エリア 3071Aが設定されたものとする。最初の補正対象エリア 3071Aとしては、例えば、追尾点 3051Aを基準として、それを中心とする一定の範囲が設定される。勿論、ユーザにより指定された場合には、その指定された範囲が補正対象エリア 3071Aとして設定される。このときエリア設定部 25は、補正対象エリア 3071Aの左上の角の座標（χ,γ)を、内蔵するメモリに記憶する。オブジェクト 3051の追尾点 305 1Aが移動すると、オブジェクト追尾部 3026による追尾が行われ、追尾点 3051Aの、画面上における X軸方向（図中左右の方向）、 Υ軸方向（図中上下方向）の位置 (または移動距離)の情報が、追尾結果としてエリア設定部 3025に供給される。

[0388] そして、上述した左上の角の座標に基づいて、補正対象エリアが設定される。例えば、追尾点 3051Aが画面上で、 X軸方向に χ、 Υ軸方向に yだけそれぞれ移動すると、エリア設定部 3025は、補正対象エリア 3071Aの左上の座標 (Χ,Υ)に、 χと yを加算し、座標 (X+x, Y+y)を計算し、その座標を新たな補正対象エリア 3071Bの左上の角の座標として記憶するとともに、補正対象エリア 3071Bを設定する。追尾点 3051 八カ¾ (軸方向に a、 Y軸方向に bだけさらに移動すると、エリア設定部 3025は、補正対象エリア 3071Aの左上の座標（Χ+χ,Υ+y)に、 aと bをカ卩算し、座標（X+x+a, Y+y+b) を計算し、その座標を新たな補正対象エリア 3071Cの左上の角の座標として記憶するとともに、補正対象エリア 3071Cを設定する。

[0389] このように、オブジェクト（追尾点）の移動に伴って、補正対象エリアも移動していく。

[0390] また、上述したように、補正対象エリア 3052内の画像については、画像補正部 302 2による画像補正処理（図 81のステップ S1004)が行われ、画像のぼけが除去されて、画像ディスプレイ 3023に表示される。従って、図 82A乃至 Cに示される画像は、補正対象エリア 3052内が鮮明に表示され、補正対象エリア 3052の外の領域 (背景）である背景 3053の画像は、補正対象エリア 3052内の画像と比較すると、相対的に不鮮明に表示される。

[0391] このようにすることで、画像ディスプレイ 3023に表示される画像の中で、補正対象エリア 3052内のオブジェクト 3051が、常に鮮明に表示されるので、画像ディスプレイ 3023を観察するユーザは、自然にオブジェクト 3051を注目するようになり、その結果、例えば不審者の侵入、物体の移動などをより迅速に発見することができる。また、オブジェクト 3051は、鮮明に表示されるので、移動するオブジェクト（例えば、人物）が何 (誰）であるの力、ユーザに、正確に認識させることができる。

[0392] 前述の通り、オブジェクト追尾部 3026は、上述した図 1のオブジェクト追尾装置 1と基本的に同様の構成を有しているため、その構成および動作に関して、ここでのこれ以上の詳細な説明を省略する。

[0393] 以上のように、図 80のオブジェクト追尾部 3026を構成することにより、追尾すべきオブジェクト 3051 (図 82)が回転したり、ォクルージョンが発生したり、あるいはシーンチェンジにより、オブジェクト 3051の追尾点 3051Aが一時的に表示されなくなるような場合でも、画像の中で移動するオブジェクト 3051 (追尾点 3051 A)を正確に追尾することができる。

[0394] このようにして追尾されるオブジェクト 3051の追尾点 3051Aの位置情報力図 80 のオブジェクト追尾部 3026による追尾結果としてエリア設定部 3025に出力されることにより、エリア設定部 3025によって、上述したように補正対象エリア 3052が設定される。そして、画像補正部 3022が補正対象エリア 3052の中の画像のぼけ（フォー力スぼけ）を除去する。

[0395] 次に、図 80の画像補正部 3022の詳細な構成例と、その動作について説明する。

図 84は、画像補正部 3022の詳細な構成例を示すブロック図である。この例では画像補正部 3022に、エリア設定部 3025の出力信号に基づいて制御信号を生成し、その制御信号を各部に供給する制御信号生成部 3741、入力画像の特徴を検出する画像特徴検出部 3742、制御信号に基づいて、アドレスの演算を行うアドレス演算部 3743、アドレス演算部 3743により演算されたアドレスに基づいて、予め記憶された所定の係数を出力する係数 ROM3744、および入力画像の中の所定の領域に対応する複数の画素を抽出する領域抽出部 3745が設けられている。

[0396] また、領域抽出部 3745から出力された画素のレベルに対して、係数 ROM3744から出力された係数に基づく積和演算を行い、新たに修正された画素レベルを出力する積和演算部 3746、および積和演算部 3746の出力結果と制御信号に基づいて、補正対象エリア 3052内の画像と、背景 3053を合成し、出力する画像合成部 3747 が設けられている。

[0397] 図 85は、制御信号生成部 3741が生成する制御信号の例を示す図である。制御信号 Aは、入力画像の中の修正すべき部分 (補正対象エリア 3052)を特定する信号であり、エリア設定部 3025の出力に基づいて生成され、領域抽出部 3745と画像合成部 3747に供給される。制御信号 Bは、後述するぼけの度合いを表すパラメータ σを特定する信号であり、アドレス演算部 3743に供給される。ノラメータ σの値は、例えば、制御部 3027を介して行われる、ユーザの指定に基づいて特定されるようにしてちょいし、予め設定されるようにしてちょい。

[0398] 制御信号 Cは、後述するぼけのモデル式を解くために用いられる関係式の重み Wa の切り替えを指定する信号であり、アドレス演算部 3743に供給される。制御信号 Dは、画像の特徴を検出するとき用いられる閾値の切り替えを指定する信号であり、画像特徴検出部 742に供給される。制御信号 Cと Dについては、監視カメラシステム 3001 の特性などを考慮して予め設定されるようにしてもょ、し、制御部 3027を介して行われる、ユーザの指定に基づ、て生成されるようにしてもょ、。

[0399] 次に、画像のぼけの原理について説明する。いま、カメラのピントが適正に設定され被写体がフォーカスぼけして、な、画像の画素のレベル Xを真値とし、カメラのピントが外れて被写体がフォーカスぼけした画像の画素のレベル Yを観測値とする。画像を構成する複数の画素を表現するために、画像の水平方向の座標を Xであらわし、垂直方向の座標を yで表すと、真値は、 X(x,y)で表され、観測値は、 Y(x,y)で表すことができる。

[0400] 本発明では、ぼけのモデル式として、式（6)を適用する。式（6)においては、式（7) に示されるガウス関数を用い、真値 X(x,y)にガウス関数を畳み込むことにより観測値 Y(x,y)が得られる。

[0401] 画

- r< i < r

— rく」く r

Y (x, y) = ∑ [W ( i , j ) x X (x+ i , y+j ) ] · · · ( 6 ) [0402] [数 5]

1

"、 J， ■ ノ e -2σ

[0403] 式（6)にお、て、パラメータ σは、ぼけの度合、を表すパラメータである。

[0404] 式（6)によれば、 1つの観測値 Y (x, y)は、変数 iと j (一 r< i<r, r<j <r)により変化する複数の真値 X(x+i, y+j)を係数 Wで重みづけすることにより求められる。従つて、ぼけのない画像の 1つの画素のレベルは、ぼけた画像の複数の画素のレベルに基づいて得られたものとされる。

[0405] また、上述したパラメータ σの値により画像のぼけの度合、が変化する。パラメータ σの値が比較的小さい場合、真値の情報が観測値において広範囲に拡散されておらず、比較的ぼけの小さい画像となる。これに対して、パラメータ σの値が比較的大きい場合、真値の情報が観測値において広範囲に拡散され、比較的ぼけの大きい画像となる。

[0406] このように、パラメータ σの値の変化により、画像のぼけの度合いは変化する。このため、画像のぼけを正確に修正するためには、パラメータ σの値を適切に求める必要がある。本発明においては、パラメータ σの値をユーザが指定する。あるいは、監視力メラシステム 1の特性などが考慮され、最適な値が予め設定されるようにしてもよい。

[0407] 図 86乃至図 89を参照して、画像のぼけの原理についてさらに詳しく説明する。図 8 6Αは、簡単のため、画素が水平方向に一次元に配列されたものとして、ある画像における、真値 Χ0乃至 Χ8を表す図である。図 86Cは、図 86Αに対応する観測値を表す図である。図 86Βは、係数 W(i)の大きさを棒グラフ状に表した図である。この例では、変数 iが、— 2< i< 2とされ、中央の棒グラフが、係数 W(0)とされ、左端の棒グラフ力順番に係数 W(-2), W(-l), W(0), W(l), W(2)とされる。

[0408] ここで、式（6)に基づ!/、て、図 86Cの観測値 Y2を求めると、次のようになる。

[0409] Y2 = W(-2)X2 + W(-1)X3 + W(0)X4+ W(1)X5 + W(2)X6

[0410] 同様にして、図 86Cの観測値 Y0を求める場合、真値の中で、図 87の枠 3790—1で示される部分に基づいて、演算を行うことにより、次のように観測値 Υ0が求められる。 [0411] Y0= W(-2)X0 + W(-1)X1 + W(0)X2 + W(1)X3 + W(2)X4

[0412] さらに、観測値 Ylを求める場合、図 87の枠 3790— 2で示される部分に基づいて、演算を行うことにより、次のように観測値 Y1が求められる。

[0413] Yl =W(-2)X1 + W(-1)X2 + W(0)X3 + W(1)X4 + W(2)X5

[0414] Y3、Y4についても、同様にして求めることができる。

[0415] 図 88と図 89は、図 86Αと図 86Cの関係を 2次元で表したものである。すなわち、図 84を構成する各画素のレベルは、観測値であり、図 89を構成する各画素のレベルを真値として、得られたものである。この場合、図 88における画素 Αに対応する観測値 Y(x,y)は次のようにして求められる。

[0416] (Y (X, y) = W(-2,-2)X(x-2, y-2) +W(— 1,— 2)X(x— 1, y-2)

+W(0,.2)X(x, y-2). . . +W(2, 2)X(x+2, y+ 2)

[0417] すなわち、図 88の画素 Aに対応する観測値は、図 89において画素 A' (画素 Aに対応する）を中心として枠 aで示される 25 (=5 X 5)個の画素に対応する真値に基づ!/、て求められる。同様に、図 88の画素 B (画素 Aの図中右隣の画素）に対応する観測値は、図 89において、画素 B' (画素 Bに対応する）を中心とした 25個の画素に対応する真値に基づいて求められ、図 88の画素 Cに対応する観測値は、図 89において、画素 C' (画素 Cに対応する）を中心とした 25個の画素に対応する真値に基づいて求められる。図 88の画素 Bと Cに対応する観測値 Y(x+l,y)と Y(x+2,y)を求める式を次に示す。

[0418] Y(x+1, y) = W(— 2,— 2)X(x— 1, y-2) +W(— 1,— 2)X(x,y— 2) +W(0，— 2)X(x— l,y— 2). . .

+W(2,2)X(x+3,y+2)

[0419] Y(x+2,y) = W(— 2,— 2)X(x,y— 2) +W(— 1,— 2)X(x+l,y— 2) +W(0,-2)X(x+2,y-2). . .

+W(2,2)X

(x+4,y+2)

[0420] このようにして、図 88の各画素に対応する観測値をもとめていくと、式（8)乃至（11

)に示されるような行列式が得られる

[0421] [数 6]

[0422] [数 7]

[数 8]

[0424] [数 9]

Y_f = w_fx_f

[0425] ここで、式（11)に示した行列式において、行列 Wfの逆行列を求めることができれば、観測値 Yfに基づいて真値 Χί^求めることができる。すなわち、ぼけた画像の画素に基づいて、ぼけのない画像の画素を得ることができ、ぼけた画像を修正することができる。

[0426] しかし、式（8)乃至式（11)に示した行列式は、図 86乃至図 89を参照して上述したように、観測値の画素に対して、真値の画素が多ぐこのままでは逆行列を求めることができない (例えば、図 87の例では、観測値の画素 1個に対して真値の画素 5個が必要となる。 )o

[0427] そこで、式（8)乃至式（11)にカ卩えて、式（12)乃至式（15)に示される関係

式を導入する。

[0428] [数 10]

a(p₁)W₁ (p₂) (X(x,y)-X(x, y-D) =0 · · · (12)

[0429] [数 11]

a(p₁)W₂(p₂) (X(x,y)-X(x+1, y)) =0 · · · (13)

[0430] [数 12]

W_a(Pi)W₃(p₂) (X(x,y)-X(x, y+D) =0 · · · (14)

[0431] [数 13]

a(p₁)W₄(p₂) (X(x,y)-X(x-1, y)) =0 · · · (15)

[0432] 式（12)乃至式（15)は、隣接する画素のレベルの差分について限定をカ卩えるものであり、求めるべき真値が、画像の平坦な（隣接する画素のレベルと大きな差がない) 部分である場合には矛盾がない。しかし、求めるべき真値がエッジ部分である（隣接する画素のレベルと大きな差がある）場合には矛盾が生じ、修正した画像に劣化が生じる恐れがある。このため、ぼけた画像を適正に修正するためには、式（12)乃至式（15)の 4つの関係式を、真値のエッジ部分をまたがないように画素ごとに使い分ける必要がある。

[0433] そこで、画像特徴検出部 3742におヽて、入力画像の中のエッジ部分と平坦部分の判定を行い、どの方向（例えば、上下左右）に平坦になっているかを表すコード p2 を生成する。なお、画像特徴検出部 3742の詳細な動作については、図 94を参照して後述する。また、本発明では、入力画像 (観測値)の中のエッジ部分と平坦部分の判定結果が、真値の中でのエッジ部分と平坦部分の判定結果に等、と仮定する。

[0434] 式（12)乃至式（15)において、コード p2の関数である関数 W1乃至 W4は、重み関数とされる。本発明においては、コード p2に応じてこの重み関数 W1乃至 W4が制御されることで，画素ごとの関係式の使い分けが行われるようにする。図 90にコード p2 に対応する重み関数 Wl乃至 W4の値を示す。この重み関数の値が大きい場合、式（ 12)乃至式 (15)において平坦であるという意味合いが強くなり、重み関数の値が小さ V、場合、その意味合!、が弱くなる（エッジである意味合、が強くなる）。

[0435] コード p2は、 4ビットにより構成されており、それぞれのビットは、左力も順番に、上、右、下または左方向に平坦か否かを示しており、その方向に平坦である場合には、対応するビットが「1」に設定される。例えば、コード p2が「0001」の場合、注目画素の左方向に平坦であり、それ以外の方向は平坦ではない（エッジが存在する）ことを表す。このため、コード p2が「0001」の場合、重み関数 W4の値が大きくなり、式（12)乃至式（15)の 4つの関係式の中で式（ 15)の重みが大きくなる。このようにすることで、コード p2により、 4つの関係式の重みを変化させることができ、 4つの関係式を、エッジをまたがな、ように画素ごとに使!、分けることができる。

[0436] 例えば、図 91に示されるように、注目画素 Xaの上方向と左方向が平坦であり、右方向と下方向がエッジである場合、コード p2により、式（12)乃至式（15)の 4つの関係式の重みを変化させることにより、隣接する画素のレベルの差分について、「Xa— Xb = 0」、「Xa— Xc = 0」という限定が加えられるが、「Xa— Xd = 0」、「Xa— Xe = 0」という限定は加えられない。なお、 Xb, Xc, Xd, Xeは、それぞれ注目画素 Xaの右、下、上、または左に隣接する画素を表す。

[0437] また、式（12)乃至式（15)において、関数 Waは、別の重み関数であり、やはりコード piにより重み関数 Waの値が変化する。重み関数 Waの値を変化させることで、修正された画像の全体のノイズ、ディテールを制御することができる。重み関数 Waの値が大きいと、修正された画像においてノイズの影響が小さく感じられ、ノイズ感が減少する。また、重み関数 Waの値が小さいと、修正された画像においてディテールが強調されたように感じられ、ディテール感が向上する。なお、重み関数 Waの値を変化させるコード piは、図 85の制御信号 Cに対応している。

[0438] このように、式（8)乃至式（11)にカ卩えて、式（12)乃至式（15)に示される関係式を導入する。これにより、式（16)に示されるような逆行列を演算することが可能になり、その結果、観測値に基づ、て真値を求めることができる。

[0439] [数 14] X_S = W_S ^_1 Y_S · · · (16)

[0440] 本発明では、観測値 Ysにかかる係数 Ws-1が係数 ROM3744に予め保持され、領域抽出部 3745により抽出された入力画像に対して、式（16)の行列式の演算 (積和演算）が積和演算部 3746により行われる。このようにすることで、画像の修正を行う都度、逆行列演算を行う必要がなぐ積和演算だけでぼけを修正することが可能になる。ただし、入力画像に応じて、パラメータ σや、上述した 4つの関係式が異なるため、想定しうるそれらの全ての組み合わせでの逆行列演算を予め行っておき、パラメ一タ σ、コード ρ2などに対応するアドレスを定めて、そのアドレス毎に異なる係数が係数 ROM3744に格納される。

[0441] し力し、例えば、図 89に示される枠 (t)内の 25 (=5 X 5)個のすべてに画素において、重み関数 W1乃至 W4の組み合わせを変化させ、 4つの関係式を切り替えた場合、 15(=図 55に示した関数 W1乃至 W4の組み合わせ)の 25 (枠 (t)内の画素数)乗の組み合わせが存在し、それぞれの組み合わせごとに逆行列演算を行うと、係数の数が膨大になり、係数 ROM3744の容量には制限があるため、全ての係数を格納しきれなくなるおそれがある。このような場合、枠 (t)内の中心画素である Xtのみ、その特徴に基づいて、コード p2を変化させて関係式を切り替え、枠 (t)内の画素 Xt以外画素の関係式については、例えばコード p2が擬似的に、「1111」に固定されるようにしてもよい。このようにすることで、係数の組み合わせを 15通りに限定することができる。

[0442] なお以上においては、ぼけの原理 (モデル式)を説明するために、ガウス関数の定義域を、 -2≤ (x,y)≤2としたが、実際には、パラメータ σの値が十分大きくても対応できるような範囲が設定される。また、式（12)乃至式（15)に示した関係式についても，画像の特徴を記述する式であれば，これに限定されるものではない。さらに、係数 ROM3744の容量に制限がある場合の例として、ぼけの中心位相（Xt)のみに限定して関係式を切り替える例を説明したが、それに限定されるものではなぐ係数 ROM3744の容量に応じて、関係式の切り替え方法を変えてもよ!、。

[0443] 次に図 92を参照して、画像補正部 3022によるぼけ修正処理について説明する。

ステップ S1801において、画像補正部 3022は、処理対象領域を検出する。この処理対象領域は、ぼけの修正を行うべき領域、すなわち補正対象エリア 3052であり、エリア設定部 3025から出力される信号に基づいて検出される。

[0444] ステップ S1802において、画像補正部 22は、パラメータ σの値を取得する。パラメータ σは、ユーザにより指定されるようにしてもよいし、予め設定された値が取得されるようにしてもよい。ステップ S1803において、画像補正部 22は、図 93を参照して後述する画像補正処理を実行する。これにより、ぼけた画像が修正され、出力される。

[0445] このようにして、補正対象エリア 3052内の画像については、画像のぼけが除去されて鮮明な画像となる。

[0446] 次に、図 93を参照して、図 92のステップ S1803の画像補正処理の詳細について説明する。

[0447] ステップ S1821において、画像特徴検出部 3742は、図 94を参照して後述する画像特徴検出処理を実行する。これにより、注目画素に対して、どの方向に平坦なのかが判定され、図 90を参照して上述したコード ρ2が生成され、アドレス演算部 3743に出力される。

[0448] ステップ S1822において、アドレス演算部 3743は、係数 ROM3744のアドレスを演算する。係数 ROM3744のアドレスは、例えば、コード ρ2に対応する 4ビット（画像特徴検出部 3742の出力）、パラメータ σの値を表す 4ビット（図 85の制御信号 Β)、および、上述した 4つの関係式の重み関数 Waを切り替えるコード piに対応する 2ビット（図 85の制御信号 C)により構成され、 0乃至 1023の 1024 (2の 10乗）個アドレスが存在する。アドレス演算部 3743は、画像特徴検出部 3742の出力、制御信号 B、および制御信号 Cに基づ、て、対応するアドレスを演算する。

[0449] ステップ S1823において、アドレス演算部 3743は、ステップ S 1822で演算したアドレスに基づいて、係数 ROM3744から係数を読み出し、積和演算部 3746に供給する。

[0450] ステップ S1824において、積和演算部 3746は、ステップ S1823で読み出された係数に基づいて、画素毎に積和演算を行い、その結果を後処理部 3747に出力する。これにより、上述したように、観測値力真値が求められ、ぼけた画像が修正される [0451] ステップ S1825において、画像合成部 3747は、図 97を参照して後述する画像合成処理を実行する。これにより、画素毎に、積和演算部 3746の処理結果を出力する力入力画像をそのまま出力するかが判定される。ステップ S1826において、後処理部 3747は、補正後処理され、選択された画像を出力する。

[0452] 次に図 94を参照して、図 93のステップ S1821の画像特徴検出処理について説明する。ステップ S 1841において、画像特徴検出部 3742は、ブロックを抽出し、ステツプ S1842において、ステップ S1841で抽出されたブロック間の差分を演算する（その詳細は、図 96を参照して後述する）。ステップ S1843において、画像特徴検出部 37 42は、ステップ S 1842で演算されたブロック差分を予め設定されている閾値と比較し、その比較結果に基づいて、ステップ S1844において、注目画素に対して平坦な方向を表すコードであるコード p2を出力する。

[0453] 図 95と図 96を参照して、画像特徴検出処理について、さらに詳しく説明する。図 9 5は、画像特徴検出部 3742の詳細な構成例を示すブロック図である。同図の左側には、入力された画像の中から所定のブロックを抽出するブロック切り出し部 3841— 1 乃至 3841— 5が設けられている。ブロック切り出し部 3841— 1乃至 3841— 5は、例えば、図 96A乃至図 96Eに示されるように、図中黒い丸で示される注目画素（いま修正すべき画素）の周辺の、注目画素を含む 9 (=3 X 3)個の画素で構成される 5つのブロックを抽出する。

[0454] 図 96Aに示されるブロック 3881は、その中心に注目画素を有する中心ブロックであり、ブロック切り出し部 3841— 5により抽出される。図 96Bに示されるブロック 3882 は、ブロック 3881を画素 1個分図中上に移動した上側ブロックであり、ブロック切り出し咅 3841— 3により抽出される。図 96Cに示されるブロック 3883ίま、ブロック 3881を画素 1個分図中左に移動した左側ブロックであり、ブロック切り出し部 3841— 4により抽出される。

[0455] 図 96Dに示されるブロック 3884は、ブロック 3881を画素 1個分図中下に移動した下側ブロックであり、ブロック切り出し部 3841— 1により抽出される。図 96Εに示されるブロック 3885は、ブロック 3881を画素 1個分図中右に移動した右側ブロックであり、ブロック切り出し部 3841— 2により抽出される。ステップ S 1841においては、注目画素毎に、ブロック 3881乃至 3885の 5つのブロックが抽出される。

[0456] ブロック切り出し部 3841— 1乃至 3841— 5により抽出された各ブロックを構成する画素の情報は、ブロック差分演算部 3842— 1乃至 3842— 4に出力される。ブロック差分演算部 3842— 1乃至 3842-4は、各ブロックの画素の差分を、例えば、次のようにして演算する。

[0457] いま、ブロック 3881の 9個の画素のうち一番上の行の 3個の画素（のレベル）を左から a (3881) , b (3881) , c(3881)とする。中央の行の 3個の画素を左から d (3881) , e ( 3881) , 3881)とする。一番下の行の 3個の画素を左から g(3881) , h (3881) , i(3881) とする。同様に、ブロック 3884の 9個の画素についても、一番上の行の 3個の画素（のレベル）を左から a (3884) , b (3884) , c(3884)とし、中央の行の 3個の画素を左から d (3884) , e (3884) , 3884)とし、一番上の行の 3個の画素を左から g (3884) , h (3884 ) , i(3884)とする。ブロック差分演算部 3842— 1は、ブロック差分 B(l)を次のように演算する。

[0458] B(l)= I a(3881)-a(3884) | + | b(3881)-b(3884) | + | c(3881)-c(3884) | H

+ I i(3881)-i(3884) |

[0459] すなわち、ブロック差分 B(l)は、ブロック 3881 (中心）とブロック 3884 (下）において対応する各画素のレベルの差分の絶対値の総和である。同様にして、ブロック差分演算部 3842— 2は、ブロック 3881 (中心）とブロック 3885 (右）において対応する各画素のレベルの差分の絶対値の総和を求め、ブロック差分 B (2)を演算する。さらに、ブロック差分演算部 3842—3は、ブロック 3881 (中心）とブロック 3882 (上）について、ブロック差分演算部 3842—3は、ブロック 3881 (中心）とブロック 3883 (左）について、それぞれ対応する各画素のレベルの差分の絶対値の総和を求め、ブロック差分 B (3)と B (4)を演算する。

[0460] ステップ S1842においては、このように中心ブロックと上下左右の 4方向のブロックとの差分であるブロック差分 B (l)乃至 B (4)が演算され、その結果は、対応する閾値判定部 3843-1乃至 3843-4にそれぞれ出力されると同時に、最小方向判定部 84 4にも供給される。

[0461] 閾値判定部 3843— 1乃至 3843-4は、それぞれブロック差分 B (l)乃至 B (4)を予め設定された閾値と比較し、その大小を判定する。なお、この閾値は制御信号 Dに基づいて切り替えられる。閾値判定部 3843— 1乃至 3843-4は、それぞれブロック差分 B (1)乃至 B (4)が予め設定された閾値より大き!/、場合、その方向はエッジ部分であると判定し、「0」を出力し、閾値より小さい場合、その方向は平坦な部分であると判定し、「1」を出力する。

[0462] ステップ S1843おいては、このようにしてブロック差分と閾値の比較が行われる。閾値判定部 3843— 1乃至 3843-4の出力結果は、 4ビットのコードとしてセレクタ 845に出力される。例えば、ブロック差分 B (l)、 B (3)および B (4)が閾値より小さぐブロック差分 B (2)が閾値より大きい場合、コードとして「1011」が出力される。

[0463] ところで、ブロック差分 B (l)乃至 B (4)が、全て閾値より大きくなつてしまう場合 (平坦な部分がない場合)も考えられる。この場合、閾値判定部 3843- 1乃至 3843-4から、コードとして「0000」が出力される。し力し、図 90に示されるように、コード p2が「 0000」の場合、対応する重み関数 W1乃至 W4が特定できない。そこで、セレクタ 384 5は、閾値判定部 3843— 1乃至 3843-4からの出力結果が「0000」か否かを判定し、閾値判定部 3843— 1乃至 3843-4力もの出力結果が「0000」であると判定された場合、最小方向判定部 3844からの出力をコード p2として出力する。

[0464] 最小方向判定部 3844は、ブロック差分 B (1)乃至 B (4)の中で、最小の値を判定し、判定結果に対応した 4ビットのコードを、閾値判定部 3843— 1乃至 3843-4がコードを出力するのと同じタイミングで、セレクタ 3845に出力する。例えば、ブロック差分（1)乃至 (4)の中で、 B(l)が最小であると判定された場合、最小方向判定部 384 4は、コードとして「1000」をセレクタ 3845に出力する。

[0465] このようにすることで、閾値判定部 3843— 1乃至 3843-4からコード「0000」が出力されても、最小方向判定部 3844から出力されたコード「1000」がコード p2として出力されるようにすることができる。勿論、閾値判定部 3843— 1乃至 3843-4力もの出力結果が「0000」ではない場合は、閾値判定部 3843— 1乃至 3843— 4からの出力結果力 Sコード p2として出力される。ステップ S3844においては、このようにしてコード p2が生成され、アドレス演算部 743に出力される。

[0466] 次に、図 97を参照して、図 93のステップ S1825の画像合成処理について説明する。ステップ S1861において、画像合成部 3747は、積和演算部 3746からの出力結果に基づいて、画素の分散度を演算する。これにより、注目画素の周囲の画素の分散度合いが演算される。ステップ S 1862において、画像合成部 3747は、ステップ S1 862で演算された分散度は予め設定された閾値より大きいか否かを判定する。

[0467] ステップ S1862において、分散度が閾値より大きいと判定された場合、画像合成部 3747は、ステップ S1863において、注目画素に対応する入力画像入れ替えフラグを ONに設定する。一方、分散度が閾値より大きくないと判定された場合、画像合成部 3747は、ステップ S1864において、注目画素に対応する入力画像入れ替えフラグを OFFに設定する。

[0468] 入力画像において、もともとぼけていない部分の画素に対して、積和演算部 3746 により積和演算を行うと、その画素の周囲の画像のアクティビティが大きくなり、かえつて画像が劣化してしまう場合がある。ここで、分散度が閾値より大きい場合、その画素は劣化した画素であると判定され、入力画像入れ替えフラグ力 SONに設定される。入力画像入れ替えフラグが ONに設定された画素は、出力されるとき、入力画像の画素と入れ替えられて (元の状態に戻されて）出力される。

[0469] ステップ S1865において、画像合成部 3747は、全ての画素についてチェックしたか否かを判定し、まだ全画素をチェックしていないと判定された場合、ステップ S186 1に戻り、それ以降の処理が繰り返し実行される。ステップ S1865において、全ての画素についてチェックしたと判定された場合、ステップ S1866において、画像合成部 3747は、画像が補正され、ぼけが除去された補正対象エリア 3052内の画像と、背景 3053の画像を合成し、画像ディスプレイ 3023に出力する。

[0470] このようにして、画素毎に、積和演算結果を出力するか、または入力画像の画素をそのまま出力するかが判定される。このようにすることで、入力画像の中で、もともとぼけていない部分に対して、画像の修正を行うことにより、かえって画像が劣化してしまうことを防止することができる。

[0471] この点について、図 98と図 99を参照して、さらに詳しく説明する。図 98は、画像合成部 3747の構成例を示すブロック図である。積和演算部 3746からの出力結果が、ブロック切り出し部 3901に入力され、ブロック切り出し部 3901は、図 99に示されるように、注目画素 a5を中心とした 9 ( = 3 X 3)個の画素 al乃至 a9を切り出し、分散演算部 3802に出力する。分散演算部 3802は、分散度を次のようにして演算する。

[0472] [数 15]

9 つ

V = ∑ ( a*— m) · * · (17)

*=1

[0473] ここで、 mは、ブロック内の 9個の画素（のレベル）の平均値を表し、 vは、それぞれの画素の平均値との差の 2乗の総和であり、ブロック内の画素の分散度を表す。ステップ S1861においては、このようにして分散度が演算され、演算結果が閾値判定部 3 903に出力される。

[0474] 閾値判定部 3903は、分散演算部 3902からの出力結果 (分散度)と予め設定された閾値を比較し、分散度が閾値より大きいと判定された場合、画像合成部 3747は、注目画素に対応する入力画像入れ替えフラグを ONに設定するように選択部 3904 を制御する。分散度が閾値より大きくないと判定された場合、画像合成部 3747は、注目画素に対応する入力画像入れ替えフラグを OFFに設定するように選択部 3804 を制御する。ステップ S1862乃至 S1864においては、このように、分散度が閾値より大きいか否かが判定され、判定結果に基づいて、入力画像入れ替えフラグが設定される。

[0475] そして、切り替え部 3905により、選択部 3904による最終処理結果と、入力画像の画素が切り替えられ、出力される。すなわち補正対象エリア 3052内の画像の画素は、選択部 3904による最終処理結果とされ、背景 3053の画像の画素は、入力画像の画素となるように切り替えられる。

[0476] このようにして、オブジェクト 3051 (図 82)が追尾され、オブジェクト 3051が含まれる補正対象エリア 3052内の画像のみ力画像のぼけが除去されるように修正 (補正）され鮮明に表示される。一方、背景 3053の画像は、画像のぼけが除去されずに表示されるので、自然に、ユーザを、移動するオブジェクト 3051に注目させることができる。

[0477] 以上においては、画像補正部 3022により、撮像部 3021により撮像された画像の中の補正対象エリア 3052内の画像について、画像のぼけが除去されるように、補正される例について説明した力画像補正部 3022により、画像のぼけが除去されることなぐ補正対象エリア 3052内の画像について、例えば、画像を構成する各画素の輝度や色などの設定が変更され、単純にハイライト表示されるように、画像が補正されるようにしてもよい。このようにすることで、ユーザがオブジェクト 3051を正確に視認することができなくなるおそれはあるものの、やはり、自然に、ユーザを、移動するオブジェタト 3051に注目させることができ、また、画像のぼけが除去されるように補正される場合と比較して、画像補正部 3022を、より簡単な構成とすることができ、その結果、監視力メラシステム 1を、より低コストで実現することができる。

[0478] なお、上述した一連の処理をノヽードウエアで実現する力、ソフトウェアで実現するかは問わない。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウエアを構成するプログラム力専用のハードウェアに組み込まれているコンビユータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、汎用のパーソナルコンピュータなどに、ネットワークやリムーバブルメディアなどの記録媒体力インストールされる。

[0479] また、本明細書にぉ、て上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

Claims

請求の範囲

[1] 時間的に前の処理単位の画像上の追尾点としての第 1の点の時間的に後の処理単位における追尾点としての第 2の点の位置を推定する位置推定手段と、

前記第 2の点の位置が推定可能でない場合における前記第 1の点の候補としての推定点を生成する生成手段と、

前記後の処理単位における前記第 2の点の位置が推定可能である場合、前記位置推定手段による前記推定結果に基づいて、前記後の処理単位における前記第 2 の点を決定する決定手段と、

前記後の処理単位における前記第 2の点の位置が推定可能でな、場合、前記推定点の中から前記第 1の点を選択する選択手段と

を備えることを特徴とする画像処理装置。

[2] 前記処理単位はフレームである

ことを特徴とする請求項 1に記載の画像処理装置。

[3] 前記位置推定手段は、さらに位置の推定の確度を演算し、演算された前記確度が基準値より大きい場合、前記第 2の点の位置が推定可能であると判定する

ことを特徴とする請求項 1に記載の画像処理装置。

[4] 前記位置推定手段は、前記後の処理単位における前記第 2の点の位置が推定可能でない場合、前記選択手段にて選択された前記第 1の点に基づいて、前記第 2の点の位置を推定する

ことを特徴とする請求項 1に記載の画像処理装置。

[5] 前記位置推定手段は、前記第 2の点の位置が推定可能である場合に、前記第 2の点の位置を新たな第 1の点として、次の処理単位の画像上の追尾点の位置の推定を行う

ことを特徴とする請求項 1記載の画像処理装置。

[6] 前記生成手段は、

前記第 1の点と同一の対象物に属する 1つ以上の点の集合を前記前の処理単位、または前記前の処理単位よりさらに前の処理単位において対象領域として推定する領域推定手段と、前記対象領域に基づき前記推定点を生成する推定点生成手段とを有することを特徴とする請求項 1に記載の画像処理装置。

[7] 前記領域推定手段は、

推定対象である前記対象領域に少なくとも重なる位置を予測により求め、前記予測された位置であって、対象領域を推定する処理単位における前記追尾点を含む位置に領域推定範囲を設定し、

設定した領域推定範囲の中でサンプル点を設定し、前記サンプル点のうち、同一の動きを有するサンプル点の集合力なる領域であって最も大きい面積を持つサンプル点の集合からなる領域を前記対象領域と推定する

ことを特徴とする請求項 6に記載の画像処理装置。

[8] 前記領域推定範囲は、固定形状である

ことを特徴とする請求項 7に記載の画像処理装置。

[9] 前記領域推定範囲は、可変形状である

ことを特徴とする請求項 7に記載の画像処理装置。

[10] 前記領域推定手段は、前記前の処理単位よりさらに前の処理単位において前記対象領域を推定し、

前記生成手段は、前記対象領域の前記前の処理単位における推定された前記対象領域中の点を前記推定点として生成する

ことを特徴とする請求項 7に記載の画像処理装置。

[11] 前記領域推定手段は、前記前の処理単位において前記対象領域を推定し、

前記生成手段は、前記対象領域を構成する点を前記推定点として生成することを特徴とする請求項 7に記載の画像処理装置。

[12] 前記領域推定手段は、前記第 1の点と類似する画素値を有する点であって隣接する点およびその隣接する点にさらに隣接する点を、前記対象領域と推定する

ことを特徴とする請求項 6に記載の画像処理装置。

[13] 前記領域推定手段は、前記前の処理単位よりも更に前の処理単位における前記第 1 の点を含む所定の大きさの領域の中のサンプル点を抽出し、前記サンプル点のうち、同一の動きを有するサンプル点の領域であって最も大きい面積の領域を、その同一の動きの分だけシフトした前記前の処理単位上の点を含む領域を対象領域と推定する

ことを特徴とする請求項 6に記載の画像処理装置。

[14] テンプレートを作成するテンプレート作成手段と、

前記推定点に基づヽて前記第 2の点を決定することができなヽ場合、前記後の処理単位における所定の領域であるブロックと、そのブロックの処理単位より 1処理単位以上前の処理単位の前記テンプレートの所定の領域であるブロックとの相関を算出する相関算出手段とをさらに備え、

前記相関算出手段により算出された前記相関に基づいて、相関が高いと判定された場合、少なくとも前記決定手段を用いて追尾点を検出する

ことを特徴とする請求項 6に記載の画像処理装置。

[15] 前記テンプレート作成手段は、

前記追尾点周辺の所定の領域を前記テンプレートとする

ことを特徴とする請求項 14記載の画像処理装置。

[16] 前記テンプレート作成手段は、

前記対象領域に基づいて前記テンプレートを作成する

ことを特徴とする請求項 14記載の画像処理装置。

[17] 前記相関算出手段により算出された前記相関に基づいて、相関が高いと判定された場合、前記後の処理単位における所定の領域であるブロックより 1処理単位以上前の処理単位における前記テンプレートの所定の領域であるブロックと前記追尾点との関係と、相関が高いと判定された前記ブロックの位置とに基づいて、前記第 2の点を定める

ことを特徴とする請求項 14記載の画像処理装置。

[18] 前記テンプレート作成手段は、前記対象領域中のサンプル点および、サンプル点の所定の周縁領域力もなる領域をテンプレートとする

ことを特徴とする請求項 14に記載の画像処理装置。

[19] 前記相関算出手段は、前記後の処理単位におけるブロックと、そのブロックの処理単位より 1処理単位以上前の処理単位の前記テンプレートのブロックとの誤差を演算することで、前記相関を算出する

ことを特徴とする請求項 14記載の画像処理装置。

[20] シーンチェンジを検出する検出手段をさらに備え、

前記位置推定手段と前記選択手段は、それぞれの処理を、予め定められた条件に基づいて終了するとともに、前記推定点の中力前記第 2の点を選択することができな、時における前記シーンチェンジの有無に基づ、て前記条件を変更することを特徴とする請求項 1に記載の画像処理装置。

[21] 前記決定手段は、さらに、

前記時間的に前の処理単位の前記第 1の点を含む少なくとも 1つ以上の画素である注目画素と、前記時間的に後の処理単位の少なくとも 1つ以上の画素であって、前記注目画素の動きベクトルに基づいて規定される対応画素との相関を表す評価値を算出する評価値算出手段と、

前記注目画素を基準とする画素値の変動を表す変動値を算出する変動値算出手段と、

前記評価値と前記変動値に基づ!/、て、前記動きベクトルの確度を演算する確度演算手段と

を備えることを特徴とする請求項 1に記載の画像処理装置。

[22] 前記注目画素の画素数と前記対応画素の画素数は同じである

ことを特徴とする請求項 21に記載の画像処理装置。

[23] 前記変動値は、画素値の空間方向の変動を表わす値である

ことを特徴とする請求項 21に記載の画像処理装置。

[24] 前記変動値は、分散値、またはダイナミックレンジである

ことを特徴とする請求項 21に記載の画像処理装置。

[25] 前記処理単位は、フレームまたはフィールドである

ことを特徴とする請求項 21に記載の画像処理装置。

[26] 前記確度演算手段は、前記評価値を前記変動値で正規化した値に基づ!、て前記動きベクトルの確度を演算する

ことを特徴とする請求項 21に記載の画像処理装置。

[27] 前記確度演算手段は、前記変動値が所定の閾値よりも大きい場合には、前記評価値を前記変動値で正規化した値を前記動きベクトルの確度とし、前記変動値が前記閾値よりも小さい場合には、前記動きベクトルの確度が低いことを表わす固定値を選択する

ことを特徴とする請求項 21に記載の画像処理装置。

[28] 前記評価値算出手段は、前記注目画素を含むブロックと、前記対応画素を含むブロックの画素の差分の絶対値の総和として前記評価値を演算する

ことを特徴とする請求項 21に記載の画像処理装置。

[29] 前記変動値算出手段は、前記注目画素を含むブロックにおいて、前記注目画素とそれに隣接する隣接画素との差分の絶対値の総和を前記隣接画素の数で除算して得られた値の、前記ブロック内の総和として前記変動値を演算する

ことを特徴とする請求項 21に記載の画像処理装置。

[30] 前記確度演算手段は、

前記変動値を第 1の基準値と比較する比較手段と、

第 2の基準値と、前記評価値を前記変動値で正規化した値との差を演算する差演算手段と、

前記比較手段による比較結果と、前記差演算手段により演算された差に基づいて、前記動きベクトルの確度を演算し、出力する出力手段と

を備えることを特徴とする請求項 21に記載の画像処理装置。

[31] 入力画像から前記動きベクトルを検出し、前記評価値算出手段に供給する動きべタトル検出手段と、

前記動きベクトル検出手段により検出された前記動きベクトルに基づいて、前記入力画像を動き補償する動き補償手段と、

前記動き補償手段により動き補償された画像と動き補償されてヽな!ヽ画像のヽずれかを、前記動きベクトルの確度に基づ、て選択する選択手段と、

前記選択手段により選択された画像を符号化する符号化手段と

をさらに備えることを特徴とする請求項 21に記載の画像処理装置。

[32] 前記動きベクトルの確度で重み付けされた頻度分布を算出する頻度分布算出手段と、

前記頻度分布算出手段により算出された前記頻度分布の最大値を検出し、検出された前記最大値に基づいて、背景動きを検出する最大値検出手段と

[33] 前記動きベクトルの確度の前記処理単位における平均値を算出する平均値算出手段と、

前記平均値算出手段により算出された前記平均値を基準値と比較し、その比較結果に基づいてシーンチェンジの有無を判定する判定手段と

[34] 前記平均値算出手段は、 1つの前記処理単位について、 1つの前記平均値を演算する

ことを特徴とする請求項 33に記載の画像処理装置。

[35] 画像の中の移動するオブジェクトにおける前記第 1の点を検出する第 1の点検出手段と、

前記推定結果に基づいて、前記画像の中の前記オブジェクトの周囲に予め設定された大きさの補正領域を設定する補正領域設定手段と、

前記画像の中の前記補正領域内の画像を補正する補正手段と、

前記補正領域内が前記補正手段により補正された画像の表示を制御する表示制御手段と

をさらに備えることを特徴とする請求項 1に記載の画像処理装置。

[36] 前記補正手段は、前記画像のぼけを補正する

ことを特徴とする請求項 35に記載の画像処理装置。

[37] 前記補正手段は、

前記補正領域内の画像を特定する制御信号と、画像のぼけの度合!ヽ表すパラメータを供給する供給手段と、

前記制御信号に基づいて特定された前記補正領域内の画像の特徴を検出し、検出された特徴を表す特徴コードを出力する特徴検出手段と、

前記画像のぼけの度合いを表すパラメータと、前記特徴検出手段により出力された特徴コードに対応する係数を記憶する記憶手段と、

前記記憶手段から、前記パラメータと前記特徴検出手段により出力された前記特徴コードに対応する係数を読み出す読み出し手段と、

前記読み出し手段により読み出された係数に基づいて、入力画像の画素の値に対して積和演算を行う積和演算手段と、

前記積和演算手段による演算結果と前記入力画像の画素の値を選択して出力する選択出力手段とを備え、

前記補正領域内の画像のぼけを除去するように補正する

ことを特徴とする請求項 36に記載の画像処理装置。

[38] 前記第 1の点検出手段は、

入力画像の中から、積和演算を行う画素の周囲の、予め設定された第 1の領域に含まれる複数の画素を抽出する第 1の抽出手段と、

前記第 1の領域と、垂直または水平の複数の方向に連続した、複数の第 2の領域に含まれる複数の画素を抽出する第 2の抽出手段と、

前記第 1の抽出手段により抽出された画素と、前記第 2の抽出手段により抽出された画素において、対応する画素の値の差分の絶対値の総和を求めて、複数のブロック差分を演算するブロック差分演算手段と、

前記ブロック差分が、予め設定された閾値より大きいか否かを判定する差分判定手段と

を備えることを特徴とする請求項 37に記載の画像処理装置。

[39] 前記パラメータは、ぼけた画像の画素とぼけていない画像の画素の関係を表すモデル式におけるガウス関数のパラメータである

ことを特徴とする請求項 37に記載の画像処理装置。

[40] 前記記憶手段により記憶される係数は、前記モデル式の逆行列を演算することにより求められた係数である

ことを特徴とする請求項 39に記載の画像処理装置。

[41] 前記選択出力手段は、

前記積和演算手段により積和演算が行われた複数の画素を抽出する第 1の抽出手段と、

前記第 1の抽出手段により抽出された複数の画素の分散の度合いを表す分散度を演算する分散演算手段と、

前記分散演算手段により演算された分散度が予め設定された閾値より大きいか否かを判定する分散判定手段と

[42] 前記選択出力手段は、前記分散判定手段の判定結果に基づいて、出力する画素の値を、前記積和演算手段による演算結果、または前記入力画像の画素の値のいずれ力から選択する画素選択手段

をさらに備えることを特徴とする請求項 41に記載の画像処理装置。

[43] 時間的に前の処理単位の画像上の追尾点としての第 1の点の時間的に後の処理単位における追尾点としての第 2の点の位置を推定する推定ステップと、

前記第 2の点の位置が推定可能でない場合における前記第 1の点の候補としての推定点を生成する生成ステップと、

前記後の処理単位における前記第 2の点の位置が推定可能である場合、前記位置推定ステップの処理による前記推定結果に基づ、て、前記後の処理単位における前記第 2の点を決定する決定ステップと、

前記後の処理単位における前記第 2の点の位置が推定可能でな、場合、前記推定点の中から前記第 1の点を選択する選択ステップと

を含むことを特徴とする画像処理方法。

[44] 前記決定ステップの処理には、

前記時間的に前の処理単位の前記第 1の点を含む少なくとも 1つ以上の画素である注目画素と、前記時間的に後の処理単位の少なくとも 1つ以上の画素であって、前記注目画素の動きベクトルに基づいて規定される対応画素との相関を表す評価値を算出する評価値算出ステップと、

前記注目画素を基準とする画素値の変動を表す変動値を算出する変動値算出ステツプと、

前記評価値と前記変動値に基づ!/、て、前記動きベクトルの確度を演算する確度演算ステップと

が含まれることを特徴とする請求項 43に記載の画像処理方法。

[45] 画像の中の移動するオブジェクトにおける前記第 1の点を検出する第 1の点検出ステツプと、

前記推定結果に基づ、て、前記画像の中に前記オブジェクトの周囲に予め設定された大きさの補正領域を設定する補正領域設定ステップと、

前記画像の中の前記補正領域内の画像を補正する補正ステップと、

前記補正領域内が前記補正ステップの処理により補正された画像の表示を制御する表示制御ステップと

をさらに含むことを特徴とする請求項 43に記載の画像処理方法。

[46] 時間的に前の処理単位の画像上の追尾点としての第 1の点の時間的に後の処理単位における追尾点としての第 2の点の位置を推定する推定ステップと、

を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。

[47] 時間的に前の処理単位の画像上の追尾点としての第 1の点の時間的に後の処理単位における追尾点としての第 2の点の位置を推定する推定ステップと、

前記後の処理単位における前記第 2の点の位置が推定可能である場合、前記位置推定ステップの処理による前記推定結果に基づ、て、前記後の処理単位における前記第 2の点を決定する決定ステップと、前記後の処理単位における前記第 2の点の位置が推定可能でな、場合、前記推定点の中から前記第 1の点を選択する選択ステップと

をコンピュータに実行させることを特徴とするプログラム。