JP5279653B2 - 画像追尾装置、画像追尾方法、及びコンピュータプログラム - Google Patents

Description

本発明は、画像追尾装置、画像追尾方法、及びコンピュータプログラムに関し、特に、画像を用いて対象物を追尾するために用いて好適なものである。

任意の対象物を追尾する方法として、予め記憶したテンプレート画像との一致度の高い領域を探すパターンマッチ法が知られている。また、テンプレート画像を逐次更新することで、現フレームと前フレームとの差分から対象位置を探す相対差分法や、対象物の色や輝度のヒストグラムとの一致度の高い領域を探すヒストグラムマッチ法等も知られている。

パターンマッチ法は、静止物へのサーチに関しては高い精度が実現できる反面、対象物と追尾装置との距離の変化、対象物の回転、追尾装置自体の姿勢変化等、動きのある状況での追尾性能が十分ではない。また、相対差分法は、対象物の前に他の物体が横切ったり、対象が完全にフレームアウトしたりした後に対象物を追尾できなくなる虞がある。また、ヒストグラムマッチ法では、対象物が動いてもある程度対象物を追尾できるが、色や輝度のヒストグラムだけでは対象物を特定する能力が低く、類似する色や輝度が対象物の背景に多く分布する状況では追尾性能が十分ではない。

このような各種の追尾方式において追尾性能を向上させるために、ヒストマッチ法において、参照領域のヒストグラムと参照領域とは独立した拡張参照領域のヒストグラムとを作成し、これらのヒストグラムを併用する技術がある（特許文献１を参照）。特許文献１には、例えば、参照領域として人物の顔付近のヒストグラムを作成し、拡張参照領域として首付近のヒストグラムを作成することが記載されている。

特開２００４−３４８２７３号公報

しかしながら、特許文献１に記載の技術では、ヒストグラムの作成対象領域として、参照領域と、拡張参照領域の相互に独立した２つの領域を設定する必要がある。したがって、拡張参照領域において対象物が隠れてしまうと、追尾性能が落ちてしまうという問題点があった。
本発明は、このような問題点に鑑みてなされたものであり、従来の追尾方式では十分な追尾が実現できなかった状況での追尾性能を向上させることを目的とする。

本発明の画像追尾装置は、画像に対して設定された追尾対象領域内のそれぞれの画素の属性と、当該画素に隣接する画素の属性とを記憶する記憶手段と、前記画像における追尾対象物を追尾するに際し、前記画像における評価対象の画素の属性と、前記追尾対象領域内の画素の属性とを比較した結果と、当該評価対象の画素に隣接する画素の属性と、当該追尾対象領域内の画素に隣接する画素の属性とを比較した結果に応じて、当該評価対象の画素に評価値を付与する付与手段と、前記付与手段により付与された評価値に基づいて、前記追尾対象領域を変更する変更手段と、を有することを特徴とする。

本発明によれば、従来の追尾方式では十分な追尾が実現できなかった状況での追尾性能を向上できる。

第１の実施形態における撮像装置の基本構成を示す図である。 従来の追尾方式では追尾が困難なシーンの例を示す図である。 対象物を追尾する際の撮像装置の処理を説明するフローチャートである。 ステップＳ１０２の追尾対象物認識処理を説明するフローチャートである。 画像と、当該画像の追尾対象領域の画素の一例を示す図である。 色相ヒストグラムと、平均色相ヒストグラムを示す図である。 輝度ヒストグラムと、平均輝度ヒストグラムを示す図である。 隣接ヒストグラムの作成対象となる画素の第１の例を概念的に示す図である。 隣接ヒストグラムの作成対象となる画素の第２の例を概念的に示す図である。 主ヒストグラムの色相ヒストグラムに対応する隣接ヒストグラムを示す図である。 主ヒストグラムの輝度ヒストグラムに対応する隣接ヒストグラムを示す図である。 ステップＳ１０３の追尾可否判定処理を説明するフローチャートである。 ステップＳ１０５の追尾継続可否判定処理を説明するフローチャートである。 ステップＳ１０７の追尾対象検出処理を説明するフローチャートである。 追尾対象領域を追尾する方法を概念的に示す図である。 追尾対象を検出するために探索される画素にポイントを付加する方法を概念的に示す図である。 評価値の算出結果を示す図である。 対象物を追尾する際の撮像装置の処理を説明するフローチャートである。

以下、図面を参照しながら、本発明の実施形態を説明する。
（第１の実施形態）
まず、本発明の第１の実施形態を説明する。
図１は、撮像装置の基本構成の一例を示す図である。撮像装置は、静止画像及び動画像の何れも撮像することができる。
図１において、被写体からの光は、絞り、フォーカスレンズ、変倍レンズ、固定レンズを備えた撮像光学系１０１によって撮像素子１０２に結像される。撮像素子１０２は、受光面上に結像された像による光信号を、対応する位置の受光画素毎に電気信号に変換する光電変換素子である。撮像素子１０２に結像された光は撮像素子１０２で電気信号に変換され、その電気信号がＡ／Ｄコンバータ１０３でデジタル信号に変換され、画像処理回路１０４に入力される。

画像処理回路１０４は、入力されたデジタル信号（画像データ）に対して画像処理を行う。表示装置１０５は、撮像装置１００の背面に設けられた表示部であり、電子ビューファインダとしての機能を有する。また、表示装置１０５は、撮像装置１００の設定状況を表示したり、撮影後、撮像装置１００で作成されたサムネイル画像を表示したりする。撮像光学系制御回路１０６は、絞りの開口径を変化させたり、フォーカスレンズの移動制御を行ったりする。また、撮像光学系制御回路１０６は、被写体距離と、変倍レンズ群の位置情報に基づく焦点距離と、絞りの開口径に基づくＦナンバとを含むレンズ情報を生成する。システムコントローラ１０７は、例えばマイクロコンピュータを有し、コンピュータプログラムを実行する等して撮像装置１００を統括制御する。画像記録媒体１０８は、画像データを記録する。

本実施形態では、このような構成からなる撮像装置１００において、任意の対象物について画像追尾を行う方法の一例について述べる。
図２は、従来の追尾方式では追尾が困難なシーンの例を示す図である。
図２（ａ）において、画面２００の中央付近に位置する動物を追尾対象とする。追尾対象の指定方法は、予め決められた色条件や輝度条件を満たした領域を自動で判別して追尾対象としても、タッチパネル式とした表示装置１０５において、ユーザが任意の位置をタッチすることで追尾対象を確定してもよい。

図２では、動物の胴体付近の領域２０２を追尾対象の領域とした後、動物が他の場所へ移動すると共に、動物の体の向きが変化した場合を示している。このような変化をした場合、図２（ａ）に示す、追尾対象の領域２０２の画像と、図２（ｂ）で示す、移動後の動物の胴体付近の領域２１０の画像とを比較するパターンマッチング法では、動物の追尾は困難なものとなる。また、図２に示すように、追尾対象の領域２０２の画像のヒストグラム２２０と、移動後の動物の胴体付近の領域２１０の画像のヒストグラム２２２とを比較するヒストグラムマッチ法でも、これらの一致がとれなくなるので、動物の追尾は困難なものとなる。

続いて、フローチャートを参照しながら、本実施形態において任意の対象物を追尾する方法の一例を説明する。尚、本実施形態では、システムコントローラ１０７が以下のフローチャートによる処理を実行する場合を例に挙げて説明するが、その処理の一部又は全部をシステムコントローラ１０７以外（例えば画像処理回路１０４）で行うようにしてもよい。

図３は、対象物を追尾する際の撮像装置の処理の一例を説明するメインフローチャートである。
まず、システムコントローラ１０７は、追尾対象物の位置とサイズとを確定する（ステップＳ１０１）。先に述べたように、自動で追尾対象物を確定する方法や、ユーザが電子ビューファインダから任意の領域を指定して追尾対象物を確定する方法がある。追尾対象物の位置とサイズとが決まった後、システムコントローラ１０７は、追尾対象領域の色情報と輝度情報とから追尾対象物の認識処理を行う（ステップＳ１０２）。

図４は、ステップＳ１０２の追尾対象物認識処理の一例を説明するフローチャートである。まず、システムコントローラ１０７は、追尾対象領域のヒストグラム（主ヒストグラム）を作成する（ステップＳ２０１）。
図５は、画像と、当該画像の追尾対象領域の画素の一例を示す図である。図５では、ペンギンのシーンをカメラで捉えている画像３００において、ペンギンの頭部を追尾対象領域３０２としてタッチパネルによりユーザが指定することで、追尾対象領域を確定する様子を示している。

追尾対象領域３０２は、太線で囲われた領域３０４であることを示しており、この領域３０４内外のヒストグラムを作成する。ヒストグラムは、色相ヒストグラムと輝度ヒストグラムとに分かれており、各画素が有彩色画素であるか無彩色画素であるかに応じて、それぞれ色相ヒストグラムと輝度ヒストグラムに分布を取っていく。有彩色画素であるか無彩色画素であるかの判定は、各画素の彩度を閾値と比較することで行う。このとき、追尾対象領域３０２内と追尾対象領域３０２外のそれぞれの領域毎にヒストグラムを取る。

図６は、色相ヒストグラム（有彩色画素のヒストグラム）と（図６（ａ））と、色相ヒストグラムで分類された画素の平均輝度、平均彩度、及び平均色相を示す平均色相ヒストグラム（図６（ｂ））の一例を示す。また、図７は、輝度ヒストグラム（無彩色画素のヒストグラム）と（図７（ａ））、輝度ヒストグラムで分類された画素の平均輝度を示す平均輝度ヒストグラム（図７（ｂ））の一例を示す図である。

有彩色画素は、色相ヒストグラム４００に分類（登録）される。システムコントローラ１０７は、追尾対象領域３０２内に存在する色相Hue毎に、追尾対象領域内In、追尾対象領域外Outの画素数をカウントしていく。図６では、４０°毎の分割単位（分類単位）で色相ヒストグラム４００を作成しているが、要求される追尾精度に応じて分割単位を変更してもよい。
無彩色画素は、輝度ヒストグラム４４０に分類（登録）される。システムコントローラ１０７は、追尾対象領域３０２内に存在する輝度Y毎に、追尾対象領域内In、追尾対象領域外Outの画素数をカウントしていく。図７では、40LSB毎の分割単位で輝度ヒストグラム４４０を作成しているが、要求される追尾精度に応じて分割単位を変更してもよい。

システムコントローラ１０７は色相ヒストグラム４００及び輝度ヒストグラム４４０を取った後、追尾対象領域内外の各色相の存在比率Ratio［％］（＝（追尾対象領域内の画素数／追尾対象領域外の画素数）×１００）を算出する。例えば、Pink色の色相は、追尾対象領域３０２内に２画素、追尾対象領域３０２外に１３画素あるので、その存在比率Ratioは１５％（＝（２／１３）×１００）となる。ただし、追尾対象領域内の画素数が１以上であって追尾対象領域外の画素数が０の場合は、存在比率Ratioを１００とする。
尚、この存在比率Ratioは、必ずしもこのようにする必要はなく、例えば、「存在比率Ratio［％］＝[追尾対象領域内の画素数／（追尾対象領域内の画素数＋追尾対象領域外の画素数）]×１００」としてもよい。

また、システムコントローラ１０７は、色相の分布を取る処理と共に、追尾対象領域３０２内のヒストグラムの分割単位毎に、当該分割単位に分類された画素の平均輝度AveY、平均彩度AveChroma、及び平均色相AveHueを算出する。
例えば、図６（ａ）に示す色相ヒストグラム４００では、Yellowは、追尾対象領域３０２内に３画素ある。よって、図６（ｂ）に示す平均色相ヒストグラム４２０では、この３画素の平均輝度AveYが153LSB、平均彩度AveChromaが55LSB、平均色相AveHueが113°であることを示している。
同様に、図７（ａ）に示す輝度ヒストグラム４４０では、無彩色のWhiteは、追尾対象領域３０２内に３画素ある。よって、図７（ｂ）に示す平均輝度ヒストグラム４８０では、この３画素の平均輝度が210LSBであることを示している。

このように、追尾対象領域３０２内の有彩色画素の情報として、色相ヒストグラム４００と、色相ヒストグラム４００で分類される画素の平均輝度AveY、平均彩度AveChroma及び平均色相AveHue（平均色相ヒストグラム４２０）が得られる。更に、図５に示した追尾対象領域３０２内の無彩色画素の情報として、輝度ヒストグラム４４０と、当該輝度ヒストグラム４４０で分類される画素の平均輝度AveY（平均輝度ヒストグラム４８０）が得られる。
尚、以下の説明では、色相ヒストグラム４００、平均色相ヒストグラム４２０、輝度ヒストグラム４４０、及び平均輝度ヒストグラム４８０を必要に応じて主ヒストグラムと総称する。

図４の説明に戻り、システムコントローラ１０７は、主ヒストグラムの色相ヒストグラム４００、輝度ヒストグラム４４０のそれぞれにおいて分割単位に分類された各画素に隣接する画素集合のヒストグラム５００、５２０を作成する（ステップＳ２０２）。尚、以下の説明では、このヒストグラム５００、５２０を必要に応じて隣接ヒストグラムと称する。
図８、図９は、隣接ヒストグラムの作成対象となる画素の第１、第２の例を概念的に示す図である。図６、図７に示したように、追尾対象領域３０２内の有彩色の情報として、Pink、Yellow、Green、Blue2の４つ、無彩色の情報としてBlack0、Black1、Gray2、Whiteの４つ、計８つの分布が取れたものとする。この８つに分布した各画素の隣接画素の様子が、図８、図９に示されている。

図８（ａ）では、２つのPink画素５５０、５５２の隣接画素を、円で囲って示している。Pink画素５５０の周囲には、Blue2が１画素、Gary2が１画素、Black1が１画素、Pinkが２画素、Whiteが１画素、Greenが２画素、の計８画素が分布している。Pink画素５５２の周囲には、Gray2が１画素、Black1が３画素、Black0が１画素、Whiteが１画素、Greenが１画素、Pinkが１画素、の計８画素が分布している。このPink画素５５０、５５２の周囲にある延べ１６画素を、Pink画素に隣接する画素集合として、ヒストグラムを取る。

同様に図８（ｂ）では３つのYellow画素５５４、５５６、５５８に隣接する延べ２４画素、図８（ｃ）では２つのGreen画素５６０、５６２に隣接する延べ１６画素、図８（ｄ）では１つのBlue2画素５６４に隣接する述べ８画素の様子を示す。
また、図９（ａ）〜（ｄ）では、無彩色の画素の隣接画素の様子として、それぞれBlack0、Black1、Gray2、White画素の隣接画素の様子を示している。

本実施形態では、図５に示した追尾対象領域３０４に対し、主ヒストグラムはその追尾対象領域３０４内の画素のヒストグラムを取るようにする。これに対し、隣接関係については、追尾対象領域３０４よりも一回り広い領域を対象として認識するようにしている。こうすることで追尾対象と背景との関係も含めた隣接関係を取れるため、良好な追尾結果が得られる場合がある。ただし、両者を同じ領域を参照するようにしてもよい。
システムコントローラ１０７は、図８、図９で示した主ヒストグラムの各分割単位に分類された各画素の隣接画素からなる画素集合のヒストグラム（隣接ヒストグラム）を、主ヒストグラムと相互に対応させ、図１０、図１１に示す形式で記憶する。

図１０は、主ヒストグラムの色相ヒストグラムに対応する隣接ヒストグラム、図１１は主ヒストグラムの輝度ヒストグラムに対応する隣接ヒストグラムを示している。隣接ヒストグラムにおいて、隣接する画素の分布情報として、有彩色Colorの画素から輝度Y、彩度Chroma、色相Hueを抽出してそれぞれの分布を取り、無彩色Colorlessの画素から輝度Yの分布を取れるようになっている。
以上のように本実施形態では、例えば、ステップＳ２０１、Ｓ２０２の処理を行うことにより記憶手段の一例が実現される。また、例えば、ステップＳ２０１の処理を行うことにより主ヒストグラムの記憶手段の一例が実現され、ステップＳ２０２の処理を行うことにより隣接ヒストグラムの記憶手段の一例が実現される。
また、本実施形態では、例えば、評価対象の画素が有彩色である場合には、第１の属性は色相Hueとなり、評価対象の画素が無彩色である場合には、第１の属性は輝度Yとなるようにしている。また、本実施形態では、例えば、評価対象の画素に隣接する画素が有彩色である場合には、第２の属性は色相Hue、彩度Chroma、及び輝度Yとなり、評価対象の画素に隣接する画素が無彩色である場合には、第２の属性は輝度Yとなるようにしている。

以上のようにして図４のフローチャートに示す追尾対象物認識処理（主ヒストグラムの取得と、隣接ヒストグラムの取得）が終了すると、システムコントローラ１０７は、追尾対象物を追尾することが可能かどうかの判定処理を行う（図３のステップＳ１０３）。図１２は、ステップＳ１０３の追尾可否判定処理の一例を説明するフローチャートである。
まず、システムコントローラ１０７は、図４、図６、及び図７で示したように、追尾対象領域の内外において、色相ヒストグラムと輝度ヒストグラムとからなる主ヒストグラムを取る（ステップＳ３０１、Ｓ３０２）。

ここで、図１２において、aHistColorTarget(m)は、図６（ａ）の色相ヒストグラム４００における色相Hue毎の追尾対象領域内Inの画素数を示す。aHistYTarget(n)は、図７（ａ）の輝度ヒストグラム４４０における輝度Y毎の追尾対象領域内Inの画素数を示す。aHistColorOther(m)は、図６（ａ）の色相ヒストグラム４００における色相Hue毎の追尾対象領域外Outの画素数を示す。aHistYOther(n)は、図７（ａ）の輝度ヒストグラム４４０における輝度Y毎の追尾対象領域外Outの画素数を示す。また、システムコントローラ１０７は、これらの値から、図６（ｂ）に示す平均色相ヒストグラムと、図７（ｂ）に示す平均輝度ヒストグラムも作成する。

次に、システムコントローラ１０７は、色相ヒストグラムの分割単位ごとに、追尾対象領域内に画素が分布しているか否かを判定する（ステップＳ３０３）。aHistColorTarget(i)は、色相ヒストグラム４００におけるある色相Hue(i)に対応する追尾対象領域内Inの画素数を示す値である。追尾対象領域内にその色相Hue(i)の１以上の画素が存在している場合、システムコントローラ１０７は、その色相Hue(i)に対して追尾対象領域の内外の存在比率Ratioを算出する（ステップＳ３０４）。追尾対象領域内外の各色相の存在比率Ratioについては、図６（ａ）、図７（ａ）を参照して示した通りである。つまり、システムコントローラ１０７は、その色相Hue(i)における追尾対象領域内Inの画素数（aHistColorTarget(i)）を追尾対象領域外Outの画素数（aHistColorOther (i)）で除した値に１００を乗じてこの存在比率Ratioを算出する。ただし、aHistColorTarget(i)が１以上であってaHistColorOther(i)が０の場合は、存在比率Ratioを１００とする。

次に、システムコントローラ１０７は、この存在比率Ratioが、所定の色相採用条件となる比率を上回っているか否かを判定する（ステップＳ３０５）。この判定の結果、存在比率Ratioが、所定の色相採用条件となる比率を上回っていない場合には、追尾対象と同じ色が背景にも多く分布しており、この色を用いた追尾の実施は精度が低下すると判断される。このため、システムコントローラ１０７は、高い追尾精度を実現するために、処理対象の色相Hue(i)を"不採用"と判断する（ステップＳ３０６）。一方、存在比率Ratioが、所定の色相採用条件となる比率を上回っている場合、システムコントローラ１０７は、処理対象の色相Hue(i)を"採用"と判断する（ステップＳ３０７）。

そして、システムコントローラ１０７は、処理対象となった色相Hue(i)の追尾対象領域内の画素数aHistColorTarget(i)の総数SumOKTargetと、追尾対象領域外の画素数aHistColorOther (i)の総数SumOKOtherを記憶する（ステップＳ３０８）。システムコントローラ１０７は、全ての色相Hue(i)に対して、このステップＳ３０３からＳ３０８までの処理を繰り返す（ステップＳ３０９）。このように本実施形態では、色相ヒストグラムの全ての分割単位の色相Hue(i)に対して採用／不採用のチェックを行うと共に、採用された画素数の総和を記憶する。

同様に、輝度ヒストグラムに対しても追尾対象領域の内外の存在比率が、所定の輝度採用条件となる比率を上回っているか否かを判定し、輝度ヒストグラムの分割単位の輝度Y(i)ごとに採用／不採用のチェックを行う（ステップＳ３１０〜Ｓ３１６）。なお、ステップＳ３１５で求める追尾対象領域内の画素の総数SumOKTarget、追尾対象領域外の画素の総数SumOKOtherは、それぞれ採用された色相Hue(i)の画素数の総和に、採用された輝度Y(i)の画素数を加算して求める値である。よって、最終的に得られる追尾対象領域内の画素の総数SumOKTarget、追尾対象領域外の画素の総数SumOKOtherは、それぞれ採用された色相Hue(i)の画素数と採用された輝度Y(i)の画素数の総和となる。

ここで、"色相採用条件"と"輝度採用条件"は個別に設定できるものとしておく。特に無彩色は有彩色に比べ、追尾対象の特徴と成り得ない場合が多く、輝度採用条件として色相採用条件よりも厳しい採用基準を設けるようにすることができる。また、図示してはいないが、有彩色、無彩色という採用条件設定だけでなく、特定の色や輝度の場合にだけ採用条件を変える形態にしてもよい。また、ステップＳ３０３〜Ｓ３０９と、ステップＳ３１０〜Ｓ３１６の何れか一方を行わないようにしてもよい。

主ヒストグラムの色相ヒストグラムと輝度ヒストグラムの分割単位ごとに採用するか否かを確認した後、システムコントローラ１０７は、追尾対象領域内に、採用された有彩色や無彩色の画素がどの程度の割合で存在しているかを判断する（ステップＳ３１７）。具体的にシステムコントローラ１０７は、採用された追尾対象領域内の画素の総数SumOKTargetを枠内の画素数で除した値に１００を乗じてこの割合Ratioを算出する。
そして、システムコントローラ１０７は、この割合Ratioが所定の枠内条件を上回っているか否かを判定する（ステップＳ３１８）。この判定の結果、割合Ratioが所定の枠内条件を上回っていない場合、システムコントローラ１０７は、追尾対象の特徴を十分に捉えることが出来なかったと判断し、追尾不可とする（ステップＳ３１９）。

一方、割合Ratioが所定の枠内条件を上回っている場合、システムコントローラ１０７は、追尾対象の特徴を捉えることができたと判断し、採用された有彩色や無彩色の画素が、画面内にどの程度存在しているかの割合を算出する（ステップＳ３２０）。具体的にシステムコントローラ１０７は、追尾対象領域内の画素の総数SumOKTargetと、追尾対象領域外の画素の総数SumOKOtherとを加算した値を全画面の画素数で除した値に１００を乗じてこの割合Ratioを算出する。
そして、システムコントローラ１０７は、この割合Ratioが所定の全画面条件Ｂを下回っているか否かを判定する（ステップＳ３２１）。この判定の結果、割合Ratioが所定の全画面条件Ｂを下回っていない場合、システムコントローラ１０７は、追尾対象となる有彩色や無彩色の画素が追尾対象以外の背景領域に多くあり、追尾性能が低下する懸念があるとして追尾不可とする（ステップＳ３１９）。

一方、割合Ratioが所定の全画面条件Ｂを下回っている場合、システムコントローラ１０７は、追尾可能と判断する（ステップＳ３２２）。
このように、追尾可能か否かの判断を、色・輝度ごとの単体評価、追尾領域内評価、画面全体評価と、幾重にも渡ってチェックすることで追尾可否を確実に行うことが可能となる。ただし、画面全体評価（ステップＳ３２０、Ｓ３２１）については必ずしも行う必要はない。

図３の説明に戻り、システムコントローラ１０７は、以上の追尾可否判定処理の結果に基づいて、追尾対象領域を追尾することが可能であるか否かを判定する（ステップＳ１０４）。この判定の結果、追尾対象領域を追尾することが可能でない場合には、図３のフローチャートによる処理を終了する。一方、追尾対象領域を追尾することが可能である場合には、追尾ループ処理が開始される。
追尾ループではまず、追尾継続可否判定が行われる（ステップＳ１０５）。図１３は、ステップＳ１０５の追尾継続可否判定処理の一例を説明するフローチャートである。まず、システムコントローラ１０７は、図６（ａ）、図７（ａ）に示したヒストグラムで採用された有彩色及び無彩色の画素が、画面内に存在する割合Ratioを算出する（ステップＳ４０１）。具体的にシステムコントローラ１０７は、図６（ａ）、図７（ａ）に示したヒストグラムで採用された有彩色及び無彩色の画素の総数SumOKALLを全画面の画素数で除した値に１００を乗じてこの割合Ratioを算出する。この総数SumOKALLは、追尾対象領域内の画素の総数SumOKTargetと、追尾対象領域外の画素の総数SumOKOtherとを加算した値である。

そして、システムコントローラ１０７は、この割合Ratioが所定の全画面条件Ｃを下回っているか否かを判定する（ステップＳ４０２）。この判定の結果、割合Ratioが所定の全画面条件Ｃを下回っていない場合、システムコントローラ１０７は、追尾対象となる有彩色や無彩色の画素が追尾対象以外の背景領域に多くあり、追尾性能が低下する懸念がある判断する。すなわち、システムコントローラ１０７は、追尾不可と判断する（ステップＳ４０３）。一方、割合Ratioが所定の全画面条件Ｃを下回っている場合、システムコントローラ１０７は、追尾可能と判断する（ステップＳ４０４）。

ここで、"全画面条件Ｃ"は、図１２のステップＳ３２１で示した追尾可否の最終判断条件である"全画面条件Ｂ"とは別の条件にすることができる。全画面条件Ｃを全画面条件Ｂよりも厳しい条件としておくことで、追尾開始後に背景の状況が変化し、追尾対象と同じ色相や同じ輝度の画素が増加してきても、適切に追尾を中断するか否かの判断を行うことができる。また、図１３では、"全画面条件Ｃ"のまま条件を固定する場合を例に挙げて示しているが、追尾開始からの経過時間に応じて徐々に条件を異ならせる（例えば、厳しくしていく）ようにしてもよい。さらに、図１２のステップＳ３１８で示した"枠内条件"、ステップＳ３２１で示した"全画面条件Ｂ"、及び図１３のステップＳ４０２で示した"全画面条件Ｃ"を、追尾対象が色相のみ、輝度のみ、色相と輝度との双方の場合に応じて分けて細分化してもよい。また、特定の色のみ、特定の輝度のみに対する条件をさらに変えるようにしても良い。

図３の説明に戻り、システムコントローラ１０７は、以上の追尾継続可否判定処理の結果に基づいて、追尾対象領域の追尾を継続することが可能であるか否かを判定する（ステップＳ１０６）。この判定の結果、追尾対象領域の追尾を継続することが可能でない場合には、図３のフローチャートによる処理を終了する。一方、追尾対象領域の追尾を継続することが可能である場合には、追尾対象の検出処理が行われる（ステップＳ１０７）。
図１４は、ステップＳ１０７の追尾対象検出処理の一例を説明するフローチャートである。追尾対象検出処理は画面全体や、画面内の任意の領域に対してのみ実施することができるが、ここでは画面全体に対して追尾対象検出処理を実施する場合を例に挙げて示す。

図１５は、追尾対象検出処理で追尾対象領域を追尾する方法の一例を概念的に示す図である。画面内を追尾する基点や方向や順序も様々に設定することができるが、ここでは図１５に示すように、画面左上を基点に水平方向へ探索し、次いで下のラインへ、順次探索する場合を例に挙げて説明する。
まず、システムコントローラ１０７は、処理対象（評価対象）の画素が、主ヒストグラムに分布した画素に一致するとみなせるか否かを判定する（ステップＳ５０１）。具体的にシステムコントローラ１０７は、処理対象の画素が、追尾対象領域内に存在するものとして図６（ａ）、図７（ａ）に示した主ヒストグラムに記憶された有彩色や無彩色であるか否かをチェックする。

また、システムコントローラ１０７は、処理対象の画素が、図６（ｂ）、図７（ｂ）に示した平均ヒストグラムに記憶した各平均（平均輝度、平均彩度、平均色相）に対して所定の範囲内に入っているか否かをチェックする。この判定の結果、処理対象の画素が、主ヒストグラムに分布した画素に一致するとみなせない場合には、後述するステップＳ５０６に進む。一方、処理対象の画素が、主ヒストグラムに分布した画素に一致するとみなせる場合、システムコントローラ１０７は、その画素の位置に対してポイントを付加する（ステップＳ５０２）。

図１６は、追尾対象を検出するために探索される画素にポイントを付与する方法の一例を概念的に示す図である。図１６（ａ）に示すように、処理対象の画素６５０が主ヒストグラムの有彩色と一致する場合に、その画素６５０に１ポイントが付加される。一方、図１６（ｂ）に示すように、処理対象の画素６５０が主ヒストグラムの無彩色と一致する場合に、その画素６６０に０ポイントが付加される（ポイントが付加されない）。あるいは、処理対象の画素６５０が主ヒストグラムの有彩色と一致する場合には、２ポイントを付加し、処理対象の画素６５０が主ヒストグラムの無彩色と一致する場合には、有彩色と一致する場合よりも小さな１ポイントを付加するようにしてもよい。

次に、システムコントローラ１０７は、処理対象の画素に隣接する画素が、隣接ヒストグラムに分布した画素に一致するとみなせるか否かを判定する（ステップＳ５０３）。例えば、システムコントローラ１０７は、主ヒストグラムとの一致が取れた画素に関し、図１５に示すように、処理対象の画素６１０の周辺の８画素が、図１０、図１１で示した隣接ヒストグラムと一致するとみなせるか否かを判定する。この判定の結果、処理対象の画素に隣接する画素が、隣接ヒストグラムに分布した画素に一致するとみなせない場合には、後述するステップＳ５０５に進む。一方、処理対象の画素に隣接する画素が、隣接ヒストグラムに分布した画素に一致するとみなせた場合、システムコントローラ１０７は、その画素の位置に対してポイントを付加する（ステップＳ５０４）。

具体例を説明すると、図１６（ｃ）に示すように、主ヒストグラムと一致した有彩色の画素の隣に、隣接ヒストグラムに分布する画素であって、当該有彩色の色相と異なる色相の有彩色の画素６５２がある場合、５ポイントが付加される。また、図１６（ｃ）に示すように、主ヒストグラムと一致した有彩色の画素の隣に、隣接ヒストグラムに分布する画素であって、当該有彩色の色相と同じ色相の有彩色の画素６５４がある場合、４ポイントが付加される。また、主ヒストグラムと一致した有彩色の画素の隣に、隣接ヒストグラムに分布する画素であって、無彩色の画素６５６がある場合、３ポイントが付加される。

また、図１６（ｄ）に示すように、主ヒストグラムと一致した無彩色の画素の隣に、隣接ヒストグラムに分布する有彩色の画素６６２がある場合、３ポイントが付加される。また、主ヒストグラムと一致した無彩色の画素の隣に、当該無彩色と異なる輝度の無彩色の画素６６４がある場合、２ポイントが付加される。また、主ヒストグラムと一致した無彩色の画素の隣に、当該無彩色と同じ輝度の無彩色の画素６６６がある場合、２ポイントが付加される。

処理対象の画素に隣接する画素が、図１０、図１１に示した隣接ヒストグラムの分布のいずれかと一致しているか否かを判定する際、隣接する画素が有彩色Colorであれば、色相Hueのみの一致を取るようにしてもよい。また、色相Hueの一致と、彩度Chroma、輝度Yの一致との双方の一致を取るようにしてもよい。また、図１６に示す例では、処理対象の画素と隣接する画素との組み合わせに応じて与えるポイント数を変える仕組みを例に挙げて示しているが、全て同じポイントを付加するようにしてもよいし、前述したのと異なるポイントを付加するようにしてもよい。
尚、システムコントローラ１０７は、この追尾対象検出処理では、処理対象の画素が主ヒストグラムの分布のいずれかと一致するとみなせるか否か、処理対象の画素に隣接する画素が隣接ヒストグラムの分布のいずれかと一致するとみなせるか否かを判定している。このとき、システムコントローラ１０７は、主ヒストグラム、隣接ヒストグラム中に含まれる画素数に関する情報は判定に用いていないため、この主ヒストグラム、隣接ヒストグラムから画素数に関する情報は削除しても構わない。

すなわち、この追尾対象検出処理では、追尾対象領域に含まれるそれぞれの画素の属性が何であるのか、追尾対象領域に含まれるそれぞれの画素に隣接するそれぞれの画素の属性が何であるのか、という情報が必要とされる。言い換えれば、追尾対象領域にはどの属性の画素が含まれているのか、追尾対象領域に含まれるそれぞれの画素にはどの属性の画素が隣接しているのか、という情報が必要とされる。
そして、この情報を示すことができるものであれば、この追尾対象検出処理で用いられる分類データは、図６、図７に示す主ヒストグラムに限定されるものではなく、他の形態の主分類データであっても構わない。同様に、図１０、図１１に示す隣接ヒストグラムに限定されるものではなく、他の形態の隣接分類データであっても構わない。例えば、図６、図７に示す主ヒストグラムの代わりに、追尾対象領域内に存在する画素が属する色相Hueの種類のみを表す主分類データを作成してもよい。あるいは、図１０、図１１に示す隣接ヒストグラムの代わりに、追尾対象領域内に存在する画素が属する色相Hueの種類と、その画素に隣接する全ての画素がそれぞれ属する色相Hueの種類のみを表す隣接分類データを作成してもよい。

図１５、図１６に示したように、画面内の処理対象の画素とその隣接画素との関係を評価し、処理対象との画素と主ヒストグラムとの一致、隣接画素と隣接ヒストグラムとの一致が確認されるごとに、評価画素位置にポイントを付加していく。システムコントローラ１０７は、このような処理を全ての隣接画素について行う（ステップＳ５０５）。
次に、システムコントローラ１０７は、獲得したポイントと、図６（ｂ）、図７（ｂ）で記憶しておいた、主ヒストグラムの分割単位ごとの平均輝度、平均彩度、平均色相値を用いて、評価画素位置ごとに評価値を算出する（ステップＳ５０６）。具体的にシステムコントローラ１０７は、評価画素が有彩色の場合には以下の（式１）で評価値を算出し、無彩色の場合には以下の（式２）で評価値を算出する。

ここで、ΔHueは、評価画素の色相と、図６（ｂ）、図７（ｂ）に示した平均ヒストグラムに記憶済み平均色相との差である。ΔChroma、は評価画素の彩度と、図６（ｂ）、図７（ｂ）に示した平均ヒストグラムに記憶済みの平均彩度との差である。ΔYは、評価画素の輝度と、図６（ｂ）、図７（ｂ）に示した平均ヒストグラムに記憶済みの平均輝度との差を示している。ΔDistanceは、表示装置１０５に表示している追尾対象位置を示す枠位置と、評価画素の位置との距離を示している。追尾対象を検出する精度が極めて高い場合、このΔDistanceは不要であるか極めて小さくてもよい。

ただし、類似する色相や輝度の画素が評価画素の周辺に多く分布している場合等には、ある程度の距離係数を足し合わせることで、追尾対象検出精度不足による枠表示のハンチング現象を抑えることができる。また、（式１）、（式２）では、異なる単位系を持つ要素を足し合わせているため、それぞれのバランスを取るために係数[Ｋ０］〜［Ｋ４］を掛け合わせている。
あるいは、処理を簡素化するため、（式１）と（式２）の分母を定数としても構わない。ステップＳ５０１での判定基準を厳しく設定すれば、この（式１）と（式２）の分母におけるΔHueとΔChromaの値の変化幅が小さくなるためである。

システムコントローラ１０７は、画面内の全ての画素の評価値を算出したか否かを判定する（ステップＳ５０７）。この判定の結果、画面内の全ての画素の評価値を算出していない場合には、ステップＳ５０１に戻る。
一方、画面内の全ての画素の評価値を算出した場合、システムコントローラ１０７は、算出した評価値を用いて、追尾対象位置を特定する（ステップＳ５０８）。例えば、システムコントローラ１０７は、算出した評価値の画素単位のピーク位置を探したり、ある程度のレベルの評価値以上を持つ画素の集合の位置を探したりして、その位置を追尾対象位置とすることができる。

ただし、例えば、ある程度のレベルを持った評価値の位置が求まらない場合等、算出した評価値を用いて、追尾対象位置を特定することができない場合には、システムコントローラ１０７は、追尾対象位置を特定しない。そして、システムコントローラ１０７は、特定した追尾対象位置に合わせて枠表示位置を決定する。尚、追尾対象位置が特定されていない場合には、システムコントローラ１０７は、枠表示位置を決定しない。
以上のように本実施形態では、例えば、ステップＳ５０２、Ｓ５０４、Ｓ５０６の処理を行うことにより付与手段の一例が実現される。また、例えば、ステップＳ５０８、Ｓ５０９の処理を行うことにより変更手段の一例が実現される。

図１７は、評価値の算出結果の一例を示す図である。図１７では、図２（ａ）に示す画像から図２（ｂ）に示す画像になった場合の、図２（ｂ）の画像における評価値の一例を示す。図１７の縦軸、横軸は、それぞれ図２（ｂ）の画像の垂直方向の座標、水平方向の座標を示す軸であり、この２つの軸に平行な平面に対して直交するもう１つの軸は、各座標における評価値の値を示す。
図２（ａ）では、追尾対象領域が確定した時点の画像を示している。この画像において、領域２０２内を追尾対象として認識し、主ヒストグラム及び隣接ヒストグラムを取る。図２（ｂ）では、追尾対象領域が移動した後の画像を示す。

このような状況において算出した評価値は、図１７に示すような分布となる。この結果、高い評価値６１２を示す領域に追尾対象領域を示す枠を表示することができる。またこのとき、図１７に示す例では、評価値６１２の他にも高い評価値６２０、６２２、６２４の領域が、複数存在している。
例えば、現在表示している追尾対象領域を示す枠が評価値６２０の位置にあったとする。この評価値６２０は、評価値６１２に対して評価値レベルが近く、さらにこの評価値６２０の位置は評価値６１２の位置に近いことから、既に追尾対象上に枠を表示していることも考えられる。したがって、このような場合には、枠表示位置をあえて評価値６１２の位置に移動せず、評価値６２０の位置のまま変更しない、といった処理を行うようにしてもよい。

そして、図３の説明に戻り、システムコントローラ１０７は、図１４のステップＳ５０８の処理の結果に基づいて、追尾対象領域を検出することができたか否かを判定する（ステップＳ１０８）。この判定の結果、追尾対象領域を検出することができた場合、システムコントローラ１０７は、図１４のステップＳ５０９で決定した枠表示位置に枠を表示させる（ステップＳ１０９）。そして、ステップＳ１０５の処理に戻る。
一方、追尾対象領域を検出することができなかった場合、システムコントローラ１０７は、タイムアウト（例えば、追尾対象を検出できなくなってから所定の時間が経過）したか否かを判定する（ステップＳ１１０）。この判定の結果、タイムアウトした場合には、図３のフローチャートによる処理を終了する。一方、タイムアウトした場合にはステップＳ１０５の処理に戻る。

以上のように本実施形態では、追尾対象領域内外の画素の主分類データであるヒストグラム（主ヒストグラム）を作成する。有彩色については色相ヒストグラム４００を作成し、無彩色については輝度ヒストグラム４４０を作成する。また、追尾対象領域の各画素について、当該画素に隣接する画素の隣接分類データであるヒストグラム５００、５２０（隣接ヒストグラム）を作成する。
追尾対象を検出する場合に、処理対象の画素について、当該画素の属性と対応する属性の画素が主ヒストグラム内にある場合に、その処理対象の画素の評価値を高める。また、処理対象の画素に隣接する画素について、当該画素の属性と対応する属性の画素が隣接ヒストグラム内にある場合に処理対象の画素の評価値を高める。

この隣接ヒストグラムは処理対象の画素に隣接する画素の属性を判定してだけであって、処理対象の画素に対してどの方向に隣接しているかは判定していない。そのため、追尾対象物の向きが回転したり、追尾装置（撮像装置）自体の縦横方向等の姿勢が変化したりしても、その評価値は影響を受けにくい。
また、この隣接ヒストグラムは処理対象の画素ごとに隣接する画素の属性を判定するので、追尾対象物自体の変形に対しても、追尾性能の向上を維持することができる。例えば、正面を向いている顔を追尾対象とした場合に、この顔が斜め横を向いてしまうと、顔の横幅が狭くなってしまい、追尾対象として設定したときの顔とその形状が異なるものになってしまう。あるいは、正面を向いている顔を追尾対象とした場合に、この顔の人物が追尾装置側に近づいてくると、追尾対象として設定したときの顔とそのサイズが異なるものになってしまう。

ここで、例えば、顔の中の目尻に相当する画素、黒目の外縁に相当する画素、唇の端部に相当する画素の３つの画素について着目してみる。顔の向きが変わったり、顔が近づいたりすることで、これら３つの画素が位置する相対的な方向や、相対的な距離については変化してしまっているが、それぞれの画素とその画素に隣接する画素の属性の変化が小さいことは容易に想像がつく。
このような評価値の算出を画面内の全ての画素について行い、その評価値の高い画素の領域を追尾対象とする。したがって、従来の追尾方式では十分な追尾が実現できなかった状況での追尾性能を向上できる。

また、以上の本実施形態の構成では、追尾用のテンプレート画像を保持する必要がないためメモリ容量を削減することができる。また、低解像度の画像でも追尾性能の向上が可能なため、高い画像処理能力を必要としない。

（第２の実施形態）
次に、本発明の第２の実施形態を説明する。本実施形態では、フレーム間差分方式による追尾が行える場合には、フレーム間差分方式による追尾を行い、フレーム間差分方式による追尾が行えない場合に、第１の実施形態のようにして追尾を行う場合について説明する。このように本実施形態は、前述した第１の実施形態に対し、フレーム間差分方式を併用する点が主として異なる。したがって、本実施形態の説明において、前述した第１の実施形態と同一の部分については、図１〜図１７に付した符号と同一の符号を付す等して詳細な説明を省略する。

図１８は、対象物を追尾する際の撮像装置の処理の一例を説明するメインフローチャートである。
まず、システムコントローラ１０７は、追尾対象物の位置とサイズを確定した後（ステップＳ１００１）、追尾対象物認識処理（ステップＳ１００２）、追尾可否判定処理（ステップＳ１００３）を行う。ステップＳ１００１、Ｓ１００２、Ｓ１００３は、それぞれ図３のステップＳ１０１、Ｓ１０２、Ｓ１０３と同じ処理である。

その後、システムコントローラ１０７は、フレーム間相対差分法にて追尾対象領域を追尾する（ステップＳ１００４）。フレーム間相対差分法では、指定された追尾位置の画像データをテンプレート画像として、次の画像フレームの中からパターンマッチする領域を探す方法を取る。更に、パターンマッチする領域として検出した位置の画像データをテンプレート画像として更新し、また次のフレーム画像の中からパターンマッチする領域を探し続けていく。このように、テンプレート画像を順次更新していきながら、次のフレーム画像から追尾対象を追い続けていく。

このフレーム間相対差分法では、パターンマッチが取れなくなり、追尾不能と判断される場合がある。そこで、システムコントローラ１０７は、フレーム間相対差分法での追尾が可能であるか否かを判定する（ステップＳ１００５）。
例えば、追尾対象の向きが回転等により急に変化した場合や、追尾装置自体の縦横方向等の姿勢が変化した場合のように、パターンマッチが取れなくなると、フレーム間相対差分法での追尾が不可能になる。この判定の結果、フレーム間相対差分法での追尾が可能である場合には、ステップＳ１００４に戻り、フレーム間相対差分法での追尾を継続する。

一方、フレーム間相対差分法での追尾が不可能である場合には、ステップＳ１００６に進む。そして、システムコントローラ１０７は、追尾継続可否判定処理（ステップＳ１００６）、追尾の継続が可能であるか否かの判定処理（ステップＳ１００７）、追尾対象検出処理（ステップＳ１００８）を行う。そして、追尾対象領域が検出されると、システムコントローラ１０７は、枠表示位置に枠を表示させ、ステップＳ１００４に戻る（ステップＳ１０１０）。

ステップＳ１００４に戻った場合には、差分ステップＳ１００８検出された追尾対象領域（位置）を基点に、フレーム間相対差分法での追尾を再開していくこととなる。一方、追尾対象領域が検出されない場合には、システムコントローラ１０７は、タイムアウトしたか否かを判定し（ステップＳ１０１１）、タイムアウトした場合には図１８のフローチャートによる終了する。一方、タイムアウトしていない場合には、ステップＳ１００６に戻る。ステップＳ１００６、Ｓ１００７、Ｓ１００８、Ｓ１００９、Ｓ１０１０、Ｓ１０１１は、それぞれ図３のステップＳ１０５、Ｓ１０６、Ｓ１０７、Ｓ１０８、Ｓ１０９、Ｓ１１０と同じ処理である。

このように、図１８に示すフローチャートでは、フレーム間相対差分法での追尾と、第１の実施形態で説明した追尾とが同時には動作しないフローを示したが、必ずしもこのようにする必要はない。例えば両者を同時平行的に実施し、逐次、いずれの追尾結果の追尾確度が高いかを判断し、精度の高い方の検出結果を用いて追尾していくといった方法も考えられる。また、フレーム間相対差分法の代わりに、背景技術で示したようなその他の追尾方法を採用してもよい。
尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１ 撮像光学系、１０５ 表示装置、１０７ システムコントローラ

Claims (9)

1. 画像に対して設定された追尾対象領域内のそれぞれの画素の属性と、当該画素に隣接する画素の属性とを記憶する記憶手段と、
   前記画像における追尾対象物を追尾するに際し、前記画像における評価対象の画素の属性と、前記追尾対象領域内の画素の属性とを比較した結果と、当該評価対象の画素に隣接する画素の属性と、当該追尾対象領域内の画素に隣接する画素の属性とを比較した結果に応じて、当該評価対象の画素に評価値を付与する付与手段と、
   前記付与手段により付与された評価値に基づいて、前記追尾対象領域を変更する変更手段と、を有することを特徴とする画像追尾装置。
2. 前記記憶手段は、画像に対して設定された追尾対象領域内の各画素の分類であって、第１の属性における所定の分類単位で分類された主分類データを作成して記憶媒体に記憶する主分類データの記憶手段と、
   前記追尾対象領域内の各画素に隣接する画素の分類データであって、前記第１の属性における前記所定の分類単位と、第２の属性における所定の分類単位とで分類された隣接分類データを作成して記憶媒体に記憶する隣接分類データの記憶手段と、を有し、
   前記付与手段は、前記評価対象の画素における前記第１の属性の少なくとも１つに対応する画素が、前記主分類データに登録されているときと、当該評価対象の画素における前記第１の属性の少なくとも１つと、当該評価対象の画素に隣接する画素における前記第２の属性の少なくとも１つとに対応する画素が、前記隣接分類データに登録されているときに、当該評価対象の画素に評価値を付与することを特徴とする請求項１に記載の画像追尾装置。
3. 前記付与手段は、前記評価対象の画素における前記第１の属性の少なくとも１つと、当該評価対象の画素に隣接する画素における前記第２の属性の少なくとも１つとに対応する画素が、前記隣接分類データに登録されているときには、前記評価対象の画素の属性と、当該評価対象の画素に隣接する画素の属性との組み合わせに応じて、当該評価対象の画素に付与する評価値を異ならせることを特徴とする請求項２に記載の画像追尾装置。
4. 前記付与手段は、前記評価対象の画素における前記第１の属性の少なくとも１つと、当該評価対象の画素に隣接する画素における前記第２の属性の少なくとも１つとに対応する画素が、前記隣接分類データに登録されており、且つ、当該評価対象の画素が有彩色であるときには、当該評価対象の画素に隣接する画素が、当該評価対象の画素と異なる有彩色である場合、当該評価対象の画素に隣接する画素が、当該評価対象の画素と同じ有彩色である場合、当該評価対象の画素に隣接する画素が、無彩色である場合、の順に、当該評価対象の画素に高い評価値を付与することを特徴とする請求項３に記載の画像追尾装置。
5. 前記付与手段は、前記評価対象の画素における前記第１の属性の少なくとも１つと、当該評価対象の画素に隣接する画素における前記第２の属性の少なくとも１つとに対応する画素が、前記隣接分類データに登録されており、且つ、当該評価対象の画素が無彩色であるときには、当該評価対象の画素に隣接する画素が、有彩色である場合、当該評価対象の画素に隣接する画素が、当該評価対象の画素と輝度が異なる無彩色である場合、当該評価対象の画素に隣接する画素が、当該評価対象の画素と輝度が同じ無彩色である場合、の順に、当該評価対象の画素に高い評価値を付与することを特徴とする請求項３又は４に記載の画像追尾装置。
6. 前記評価対象の画素が有彩色である場合には、前記第１の属性は色相であり、前記評価対象の画素が無彩色である場合には、前記第１の属性は輝度であることを特徴とする請求項２〜５の何れか１項に記載の画像追尾装置。
7. 前記評価対象の画素に隣接する画素が有彩色である場合には、前記第２の属性は色相、彩度、及び輝度であり、前記評価対象の画素に隣接する画素が無彩色である場合には、前記第２の属性は輝度であることを特徴とする請求項２〜６の何れか１項に記載の画像追尾装置。
8. 画像に対して設定された追尾対象領域内のそれぞれの画素の属性と、当該画素に隣接する画素の属性とを記憶する記憶ステップと、
   前記画像における追尾対象物を追尾するに際し、前記画像における評価対象の画素の属性と、前記追尾対象領域内の画素の属性とを比較した結果と、当該評価対象の画素に隣接する画素の属性と、当該追尾対象領域内の画素に隣接する画素の属性とを比較した結果に応じて、当該評価対象の画素に評価値を付与する付与ステップと、
   前記付与ステップにより付与された評価値に基づいて、前記追尾対象領域を変更する変更ステップと、を有することを特徴とする画像追尾方法。
9. 画像に対して設定された追尾対象領域内のそれぞれの画素の属性と、当該画素に隣接する画素の属性とを記憶媒体に記憶する記憶ステップと、
   前記画像における追尾対象物を追尾するに際し、前記画像における評価対象の画素の属性と、前記追尾対象領域内の画素の属性とを比較した結果と、当該評価対象の画素に隣接する画素の属性と、当該追尾対象領域内の画素に隣接する画素の属性とを比較した結果に応じて、当該評価対象の画素に評価値を付与する付与ステップと、
   前記付与ステップにより付与された評価値に基づいて、前記追尾対象領域を変更する変更ステップと、をコンピュータに実行させることを特徴とするコンピュータプログラム。

Images