JP5383366B2 - 画像処理装置、画像処理方法、および、そのプログラム - Google Patents

Description

本発明は、画像中における特定の被写体を追尾する機能に関するものである。

デジタルカメラ、ビデオカメラ、あるいは、カメラとコンピュータが通信可能に接続された監視カメラシステムなどでは、動画像の中から特定の被写体を連続して検出することで、この特定の被写体を追尾する機能を備えたものがある。

例えば、あるフレーム画像から追尾すべき被写体が特定できると、その被写体の領域の輝度信号を記憶し、他のフレーム画像から記憶した輝度信号と最も類似する領域を抽出することで、その被写体の追尾を行う手法が知られている（例えば、特許文献１を参照）。

図７は、被写体の領域の輝度信号を用いて、被写体の追尾を行う手法を説明するための図である。図７（ａ）はデジタルカメラで撮影された動画像のあるフレーム画像を示したものであり、右向きの人物の顔が追尾対象として指定されているものとする。追尾対象を示す追尾枠が、この人物の顔を囲うように画像に重畳されて、デジタルカメラのモニターに表示されている。

デジタルカメラは、このフレーム画像における、追尾枠で囲まれた追尾対象としての被写体領域の輝度信号を画素ごとに記憶する。そして、その後のフレーム画像において、この追尾対象の被写体領域と同サイズの比較領域を設定し、追尾対象の被写体領域と比較領域とで、画素間の輝度信号の差分の総和を求める。この比較領域の位置を同一のフレーム画像内で順にシフトさせ、それぞれの位置で輝度信号の差分の総和を求め、この差分の総和が最も小さくなる比較領域の位置を検出する。

すなわち、この別のフレーム画像において、あるフレーム画像における追尾対象の被写体領域の輝度信号のパターン（形状）と最も類似する輝度信号のパターンを有する領域を、追尾対象とした被写体と同一被写体が存在する領域であると判断し、追尾枠を更新する。

その様子を図７（ｂ）に示す。図７（ｂ）では、追尾枠内の輝度信号が、図７（ａ）の追尾枠内の領域の輝度信号と最も相関の高い領域となるように、追尾枠の位置が更新されている。そして、記憶した輝度信号のパターンを、新たに設定された追尾枠内の輝度信号のパターンに更新し、これらの動作を繰り返すことで、動画像における特定の被写体の追尾を行う。

特開平０４−１７０８７０号公報

図８は、被写体領域の輝度信号を用いて、被写体の追尾を行う手法における課題を説明するための図である。

図８（ａ）に示すフレーム画像では、人物の顔を追尾対象として特定されているが、その後の図８（ｂ）のフレーム画像では、追尾対象とした人物の顔の手前に遮蔽物として木が進入してしまっている。このとき、図８（ｂ）のフレーム画像において、図８（ａ）の追尾枠内の領域の輝度信号のパターンと最も相関の高い領域を検出し、新たな追尾枠として設定すると、顔の一部と、遮蔽物である木の一部が新たな追尾枠内の領域に含まれてしまう。そのため、その後の図８（ｃ）のフレーム画像において、追尾枠内の輝度信号のパターンと相関の高い領域として、この遮蔽物である木の一部が存在する領域が選択されてしまい、それ以降のフレーム画像では、この木に対する追尾が継続されてしまうことがある。

これを回避するため、記憶した追尾枠内の領域の輝度信号と最も相関の高い領域であっても、その相関が所定値以下であれば、追尾対象とする被写体を見失ったものとして追尾を停止することが考えられる。すなわち、図８（ｂ）のフレーム画像で図８（ａ）のフレーム画像の追尾枠内の輝度信号のパターンと最も相関の高い領域が検出されたが、その相関が所定値に達していないと判断されたため、その後の図８（ｃ）のフレーム画像では追尾枠を消去している。このようにすることによって、途中で異なる被写体を追尾対象として設定しまった可能性の高い場合には、追尾を停止することが可能となる。

しかしながら、このような追尾停止の処理を行うことで、別の課題が生じてしまっていた。輝度信号のパターンの相関を用いて追尾を行う場合、被写体が向きを変えたり、被写体の姿勢が変化したりしてしまうと、輝度信号のパターンの相関が一時的に大きく変化してしまう。

この様子を図９に示す。図９は、被写体の領域の輝度信号を用いて、被写体の追尾を行う手法における別の課題を説明するための図である。

図９（ａ）に示すフレーム画像では、人物の顔を追尾対象として特定している。その後の図９（ｂ）のフレーム画像では、この人物が後ろを向いたため、右向きの顔が隠れて後頭部のみが見えるようになり、図９（ｃ）のフレーム画像では、この人物が左を向いたため、今度は後頭部が隠れて左向きの横顔が見えるようになる。この図９（ａ）〜（ｃ）におけるフレーム画像中で、追尾対象の人物は向きを変えただけであるが、その間に輝度信号のパターンの相関が所定値に達しなくなるため、図９（ｃ）、図９（ｄ）のフレーム画像では追尾枠が消去されてしまう。

このように、輝度信号のマッチングの相関が低くなったからといって、それが異なる被写体を追尾してしまった結果によるものであるのか、追尾対象である被写体が向きを変えたりしただけなのかを区別することは難しい。

これは、輝度信号の代わりに彩度信号や色相信号などの色信号を用いて、パターンの相関による追尾を行った場合であっても同様である。

本願はこのような課題を鑑みてなされたものであり、被写体を追尾する精度を維持しつつも、安易に追尾を停止しない画像処理装置を提供することを目的とするものである。

上記課題を解決するため、本願請求項１に係る発明は、複数の画像データから構成された動画像から追尾すべき被写体の領域である追尾領域を連続して検出することで追尾を行う画像処理装置において、画像データにおける前記追尾領域を設定する設定手段と、画像データの前記追尾領域から抽出された第１の信号および第２の信号を記憶する記憶手段と、前記記憶手段に記憶した第１の信号と最も差分の小さい信号を有する領域を画像データから抽出し、抽出した領域を前記追尾領域として更新する被写体検出手段とを有し、前記被写体検出手段は、前記記憶手段に記憶した前記第１の信号との差分が閾値未満である信号を有する領域が画像データから抽出できない場合には、前記記憶手段に記憶した前記第２の信号との差分が閾値未満である信号を有する領域が画像データから抽出できるか否かを判断し、抽出できなければ前記追尾領域をリセットし、抽出できれば前記追尾領域の更新を継続し、前記記憶手段は、前記第１の信号については、前記追尾領域に含まれる画素のそれぞれの位置に応じた信号の値を記憶し、前記第２の信号については、前記追尾領域に含まれるそれぞれの画素の値をグループ分けして、それぞれのグループに含まれる画素の数を記憶し、前記被写体検出手段によって前記追尾領域が更新されると、前記第１の信号を更新するが、前記第２の信号は更新しないことを特徴とする。

同様に、上記課題を解決するため、本願請求項２に係る発明は、複数の画像データから構成された動画像から追尾すべき被写体の領域である追尾領域を連続して検出することで追尾を行う画像処理装置において、画像データにおける前記追尾領域を設定する設定手段と、画像データの前記追尾領域から抽出された第１の信号および第２の信号を記憶する記憶手段と、前記記憶手段に記憶した第１の信号と最も差分の小さい信号を有する領域を画像データから抽出し、抽出した領域を前記追尾領域として更新する被写体検出手段と、タイマーを有し、前記被写体検出手段は、前記記憶手段に記憶した前記第１の信号との差分が閾値未満である信号を有する領域が画像データから抽出できない場合には、前記記憶手段に記憶した前記第２の信号との差分が閾値未満である信号を有する領域が画像データから抽出できるか否かを判断し、抽出できなければ前記追尾領域をリセットし、抽出できれば前記追尾領域の更新を継続し、前記記憶手段は、前記被写体検出手段によって前記追尾領域が更新された場合に、前記タイマーが計測した時間が所定値に達していなくとも前記第１の信号を更新するが、前記タイマーが計測した時間が前記所定値に達していなければ前記第２の信号は更新しないことによって、前記第２の信号を前記第１の信号よりも長い周期で更新することを特徴とする。

本発明によれば、被写体を追尾する精度を維持しつつも、安易に追尾を停止しない画像処理装置を提供することができる。

本発明の第１の実施形態にかかるデジタルカメラの構成を示すブロック図である。 本発明の第１の実施形態にかかるデジタルカメラの追尾判定処理を示すフローチャートである。 本発明の第１の実施形態にかかる被写体情報記憶部が記憶する初期色相信号を説明するための図である。 本発明の第１の実施形態にかかる追尾領域の輝度信号のパターンと最も高い相関を持つ領域を抽出する様子を説明するための図である。 本発明の第１の実施形態にかかる追尾処理の様子を説明するための図である。 本発明の第２の実施形態にかかるデジタルカメラの追尾判定処理を示すフローチャートである。 被写体の領域の輝度信号を用いて、被写体の追尾を行う手法を説明するための図である。 被写体の領域の輝度信号を用いて、被写体の追尾を行う手法における課題を説明するための図である。 被写体の領域の輝度信号を用いて、被写体の追尾を行う手法における別の課題を説明するための図である。

以下で図面を用いながら、本発明の好ましい実施形態について詳細に説明する。

（第１の実施形態）
第１の実施形態では、動画像における特定の被写体を追尾する機能を有する画像処理装置として、撮像装置であるデジタルカメラを例にあげて説明を行う。無論、デジタルビデオカメラや監視カメラシステムのような撮像装置や、複数のカメラと通信可能に接続されたサーバー用コンピュータのような演算装置であっても、本発明を適用することはできる。つまり、動画像の中の特定の被写体を追尾する機能を備えた画像処理装置として機能するものであればよい。

図１は、本実施形態におけるデジタルカメラの構成を示すブロック図である。

操作部１０１は、デジタルカメラの操作者が、このデジタルカメラに対して各種の指示を入力するために操作するスイッチやボタンなどにより構成されている。操作部１０１の中には、シャッタースイッチや、タッチセンサ（表示部１０７の画面をタッチすることで操作が可能となるもの）が含まれている。このタッチセンサにより、操作者は追尾対象とする被写体の位置を指定することができる。このタッチセンサにて指定された被写体の位置の情報は、制御部１０２を通して被写体位置設定部１１５へと伝えられる。もちろん、タッチセンサ以外の操作部で追尾対象を指定してもよいし、最も距離情報が近い被写体や、動きのある被写体を自動的に追尾対象として選択するようにしてもよい。

制御部１０２は、このデジタルカメラ全体の動作を制御するものであり、操作部１０１からの指示に応じて各部を制御する。

撮像素子１０３は、受光した被写体像を、露光量に応じた電荷に変換する光電変換素子である。光電変換素子としてはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサや、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサが適用される。

Ａ／Ｄ変換部１０４は、撮像素子１０３から出力されたアナログ信号に対して、サンプリング、ゲイン調整、Ａ／Ｄ変換等を行い、ディジタル信号の画像データとして出力する。

画像処理部１０５は、Ａ／Ｄ変換部１０４から出力されたディジタル信号の画像データに対して各種の画像処理を行い、処理済みの輝度信号、色差信号からなる画像データを出力する。例えば、各種の画像処理としてはホワイトバランス処理、色収差補正処理、色滲み抑圧処理、歪曲収差補正処理、エッジ強調処理、あるいは、ノイズリダクション処理等が含まれている。

被写体検出部１０６は、追尾開始時には、操作部１０１から被写体位置設定部１１５に出力された位置情報をもとに、画像から追尾対象とすべき被写体の位置と、その被写体が占める範囲を求める。被写体検出部１０６は、例えば、操作部１０１で指定された座標を中心とする矩形の領域を画像データ中に設定し、その領域内の画像データから算出したコントラスト値が所定値を超えるまで、矩形領域を広げていく。領域内から算出したコントラスト値が所定値を超えた段階で、そのときの矩形領域の位置、および、範囲を追尾領域として設定する。あるいは、被写体検出部１０６が顔検出機能を備えており、操作部１０１で指定された座標が人物の顔に重なっている、あるいは、顔の近傍である場合に、その顔が占める領域を追尾領域として設定するようにしてもよい。

また、被写体検出部１０６は、追尾開始後には、画像処理部１０５から出力された画像データを取得し、前フレームの画像データから抽出された追尾領域の輝度信号を参照して、追尾対象となる被写体の新たな画像データにおける位置を検出する。具体的には、被写体検出部１０６は、新たな画像データから、予め記憶した追尾領域の輝度信号のパターンと最も相関が高い領域を抽出する。そして、この抽出した領域を新たな追尾領域として設定し、追尾領域の位置および範囲を更新し、被写体情報記憶部１１６に記憶させた輝度信号のパターンの情報を更新する。また、被写体検出部１０６は、追尾開始時に求めた追尾領域における画像データから、さらに色相信号を求める。

被写体位置設定部１１５は、操作部１０１から操作者がタッチセンサにて指定した被写体の位置、あるいは、被写体検出部１０６から追尾領域の位置および範囲の情報を受けとる。さらに、被写体位置設定部１１５は、表示部１０７にその情報を通知する。

被写体情報記憶部１１６は、被写体検出部１０６が追尾開始時に求めた追尾領域における色相信号を初期色相信号として記憶する。また、追尾開始時に求めた追尾領域における輝度信号を記憶し、追尾領域が更新される度に、この更新された追尾領域から求められた輝度信号に更新する。

表示部１０７は、液晶画面で構成されており、画像処理部１０５による処理済みの画像データを用いて動画像を表示する。表示部１０７は、被写体位置設定部１１５から通知された追尾領域の位置、および、範囲がわかるように、追尾領域を囲う追尾枠を、この動画像に重畳して表示する。

ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）処理部１０８は、画像処理部１０５より出力された画像データから制御部１０２によって求められたＡＦ評価値に応じて、レンズ１０８ａの位置を調整して、撮像素子１０３に入射する被写体像の結像位置を変更する。

ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）処理部１０９は、画像処理部１０５より出力された画像データから制御部１０２によって求められた被写体輝度に応じて、絞り機構１０９ａの開口径を調整して、撮像素子１０３に入射する光量を変更する。

フォーマット変換部１１２は、画像処理部１０５から出力されたディジタル信号の画像データのフォーマットをＪＰＥＧなどのフォーマットに変換し、画像記憶部１１３に出力する。

画像記憶部１１３は、フォーマット変換部１１２から出力されたフォーマット変換済みの画像データを、デジタルカメラ内の不図示のメモリや、デジタルカメラに挿入されている外部メモリなどに記憶する処理を行う。

次に、デジタルカメラの動作について説明する。

図２は、本実施形態におけるデジタルカメラの追尾判定処理を示すフローチャートである。

デジタルカメラの操作者が、操作部１０１に含まれている電源スイッチをオンにすると、制御部１０２はこれを検知し、デジタルカメラを構成する各部に電源を供給する。これにより、撮像素子１０３にて被写体像に応じた画像データが連続して生成され、画像処理部１０５を介して出力された画像データをもとに、表示部１０７が動画像をリアルタイムで表示し、図２のフローチャートが開始される。

ステップＳ２０１では、制御部１０２は、操作部１０１に含まれるタッチセンサによって、表示部１０７の画面上の任意の点がタッチされたか否かを判定する。制御部１０２は、表示部１０７の画面上の任意の点がタッチされていれば、すなわち、デジタルカメラの操作者によって追尾対象とする被写体の位置の指示が出されていれば、ステップＳ２０２に進み、そうでなければステップＳ２１２に進む。

ステップＳ２０２では、制御部１０２は画面上のタッチされた点の座標を被写体位置設定部１１５を介して被写体検出部１０６に通知し、被写体検出部１０６は変数Ｎを０に設定する。

ステップＳ２０３では、被写体検出部１０６は、撮像素子１０３から読み出された動画像を構成するフレーム画像である第１の画像データに対して、制御部１０２から通知された座標を中心とした所定の大きさの追尾領域を設定する。この所定の大きさは、追尾可能な最小サイズに設定されている。

ステップＳ２０４では、被写体検出部１０６は、追尾領域内の画像データのコントラスト値を算出する。

ステップＳ２０５では、被写体検出部１０６は、追尾領域内の画像データのコントラスト値が閾値以上であるか否かを判定する。そして、コントラスト値が閾値以上であればステップＳ２０６に進む。この判定は、追尾領域内の画像データが、追尾処理に必要なコントラスト値を満たしているか否かを判定するために行われる。被写体検出部１０６は、制御部１０２から通知された点の座標をもとに追尾領域を設定しているが、被写体の大きさに関する情報は通知されていない。そのため、被写体検出部１０６が最初に設定した追尾領域が、必ずしもその被写体を追尾するために適切な大きさに設定されているとは限らない。よって、被写体検出部１０６は、追尾領域内の画像データのコントラスト値を求め、その値が小さい場合は、追尾対象として指定された被写体の一部の領域にしか追尾領域が設定されていない可能性が高いと判断する。これは、追尾対象とする被写体は、背景と独立しているため、追尾領域が適切な大きさに設定されていれば、追尾対象とした被写体と背景との境界におけるコントラスト値がある程度の大きさに達するはずであるという考えに基づく。また、追尾領域に追尾対象とした被写体と背景との境界が含まれていなくとも、コントラスト値がある程度の大きさに達しているならば、追尾対象を特定するために有効な模様やパターンの量が追尾に必要なレベルに達しているとの考えに基づく。

ステップＳ２０６では、被写体検出部１０６は、追尾領域が適切な大きさに設定されていると判断されるため、その追尾領域に含まれる画素ごとの輝度信号を検出する。そして、その輝度信号の位置と値を対応づけた輝度信号のパターンを被写体情報記憶部１１６に記憶させる。

ステップＳ２０７では、被写体検出部１０６は、追尾領域に含まれる画素ごとの色信号を検出する。本実施形態では、色信号として色相信号を検出し、追尾領域内に、どの色相が、どの程度の量だけ存在するかという色相信号の情報を被写体情報記憶部１１６に初期色相信号として記憶させる。図３に、被写体情報記憶部１１６の記憶する初期色相信号を示す。全ての色相を０〜３６０の間の値に分類し、この色相を４０の値ごとに区切ってグループ分けする。そして、各グループに属する色相信号を出力した画素の個数を記憶する。この初期位相信号に含まれる画素の個数の総和は、追尾領域内に存在する画素の個数の総和と一致する。つまり、この図３に占めす例では、追尾領域に含まれる画素の総和が２５ということになる。あるいは、色相信号の情報を、グループ分けではなく、色相を横軸、画素数を縦軸にとったヒストグラムの形態で被写体情報記憶部１１６に記憶させても構わない。

被写体検出部１０６は設定した追尾領域の位置および大きさを被写体位置設定部１１５に通知し、表示部１０７はこれらの情報を被写体位置設定部１１５から受け取り、追尾領域の位置、および、範囲がわかるように、追尾領域を囲う追尾枠を画像に重畳して表示する。

ステップＳ２０５に戻り、被写体検出部１０６は、追尾領域内の画像データのコントラスト値が閾値未満であればステップＳ２０８に進む。

ステップＳ２０８では、被写体検出部１０６は、変数Ｎをインクリメントする。

ステップＳ２０９では、被写体検出部１０６は、変数Ｎが基準値Ｎｔｈに達しているか否かを判定する。後述するように、被写体検出部１０６はステップＳ２１１で所定の大きさだけ追尾領域を拡大する処理を行う。そのため、変数Ｎが基準値Ｎｔｈに達しているということは、追尾領域の拡大を繰り返し、追尾領域として設定可能な最大の大きさに設定した場合であっても、追尾領域内において十分なコントラスト値が得られなかったことを意味する。被写体検出部１０６は、変数Ｎが基準値Ｎｔｈに達していればステップＳ２１０に進み、達していなければステップＳ２１１に進む。

ステップＳ２１０では、制御部１０２から通知された点の座標において、追尾対象としてのコントラスト値を満たす被写体を検出できなかったため、表示部１０７が追尾対象としての被写体の抽出に失敗した旨を示すエラー表示を行い、ステップＳ２１２へと進む。

ステップＳ２１１では、被写体検出部１０６は、追尾領域が設定可能な最大に達していないため、追尾領域の中心位置を変えずに、その大きさを所定量だけ拡大し、再びステップＳ２０４に戻って追尾領域内の画像データのコントラスト値を算出する。

このように、ステップＳ２０４乃至ステップＳ２１１の処理を繰り返すことで、タッチセンサを用いた操作者の指示に応じて、追尾に必要なコントラスト値を満たす追尾領域を自動的に設定し、その追尾領域内の輝度信号のパターンを算出することができる。

続いて、ステップＳ２１２では、制御部１０２は追尾領域が設定されているか否かを判定する。タッチセンサを用いた操作者の指示に応じて、新規の追尾領域が設定された場合、あるいは、後述する追尾処理に成功して追尾領域が更新された場合は、ステップＳ２１３に進む。追尾領域が設定されていなければ、ステップＳ２２０に進む。

ステップＳ２１３では、被写体検出部１０６は、撮像素子１０３から新たに得られたフレーム画像である第２の画像データから、被写体情報記憶部１１６に記憶させた追尾領域の輝度信号のパターンと最も高い相関を持つ領域を抽出する。

図４は、被写体情報記憶部１１６に記憶させた追尾領域の輝度信号のパターンと最も高い相関を持つ領域を抽出する様子を説明するための図である。図４（ａ）において、３０１は第１の画像データ、３０２は追尾領域、３０３は追尾領域の画素ごとの輝度信号の値（ｐ１〜ｐ２５）を示している。図４（ｂ）において、４０１は第２の画像データ、４０２は比較領域、４０３は比較領域の画素ごとの輝度信号の値（ｑ１〜ｑ２５）を示している。被写体検出部１０６は、追尾領域３０２同じ画素数となる比較領域４０２を設定し、第２の画像データ内を矢印で示すようにシフトしながら、それぞれの位置での比較領域４０２の輝度信号の値（ｑ１〜ｑ２５）を算出する。被写体検出部１０６は、追尾領域３０２と比較領域４０２とで、領域内で同じ位置となる画素の輝度信号の差分（ｐ１とｑ１の差分、ｐ２とｑ２の差分、・・・、ｐ２５とｑ２５の差分）を求め、それらの総和を求める。被写体検出部１０６は、記憶した追尾領域の位置を中心とした所定範囲をカバーするまでこの処理を繰り返し、その結果、輝度信号の総和が最小値となった比較領域４０２に、追尾対象として指定した被写体が存在するものと判断する。

ステップＳ２１４では、被写体検出部１０６は、ステップＳ２１３にて最小値とした判断した輝度信号の差分の総和が、閾値以上であるか否かを判定する。輝度信号の差分の総和が閾値以上であれば、輝度信号の差分が大きく、追尾対象として指定した被写体とは別の被写体を追尾する可能性が高いと判断し、ステップＳ２１５へと進む。反対に、輝度信号の差分の総和が閾値未満であれば、追尾対象として指定した被写体と同一の被写体を追尾できている可能性が高いと判断し、ステップＳ２１８へと進む。

ステップＳ２１８では、追尾領域の位置および範囲を、総和が最小値となった比較領域の位置および範囲となるように更新する。

ステップＳ２１５では、被写体検出部１０６は、撮像素子１０３から新たに得られたフレーム画像である第３の画像データから、追尾領域と同じ位置および範囲における領域の色相信号を算出する。ここで、被写体検出部１０６が第２の画像データではなく、それよりも後に撮像素子１０３で生成された第３の画像データから色相信号を算出するのは、追尾対象である被写体に生じた一時的な状態の変化が収束することを待つためである。例えば、操作者が選択した被写体の手前側に一時的に車が進入したり、操作者が選択した被写体が右から左へと向きを変えたりした場合には、その変化を終えてからでなければ、その位置に存在する被写体がもとの被写体と同一であるか否かを判断することは難しい。そこで、被写体検出部１０６は、追尾領域と比較領域の輝度信号の差が大きいと判断した場合には、判断に用いた画像データよりも後に生成された画像データの色相信号を用いて、追尾領域と同じ位置に存在する被写体が追尾対象の被写体であるか否かを判定する。

ステップＳ２１６では、被写体検出部１０６は、ステップＳ２１５にて求めた色相信号と、ステップＳ２０７で被写体情報記憶部１１６に記憶させた初期色相信号とを比較し、その差分が大きいか否かを判定する。具体的には被写体検出部１０６は、ステップＳ２１５で求めた色相信号を、初期色相信号と同様に図３に示すように、色相の各グループに対応する色相信号を出力した画素の個数を求める。そして、ステップＳ２０７で被写体情報記憶部１１６に記憶させた初期色相信号と同一グループに属する画素の割合が閾値以上（例えば、８割以上）であれば、追尾対象として指定した被写体と同一の被写体を追尾している可能性が高いと判断する。そして、追尾領域の位置と範囲を更新せずにステップＳ２１９へと進む。反対に、この割合が閾値未満であれば、色相信号の差分が大きく、追尾対象として指定した被写体とは別の被写体を追尾している可能性が高いと判断し、ステップＳ２１７へと進む。

追尾対象である被写体がゆっくりと向きを変えたり、姿勢を変えた場合であっても、追尾対象となる被写体を検出し続けるためには、この追尾領域を更新するたびに、追尾に用いる輝度信号のパターン情報を更新すればよい。このようにすれば、段階的に被写体の様子が変化すれば、その変化の総和が大きくとも、連続して得られた画像データ間における追尾対象である被写体の輝度信号の相関が小さくならないため、追尾を継続することができる。しかしながら、輝度信号だけでは追尾に失敗した可能性が高いと判断される場合には、輝度信号だけでは、追尾対象の被写体の状況が大きく変化したのか、あるいは、追尾対象そのものを見失ったのかを区別することが難しい。そこで、本実施形態では、被写体検出部１０６は、輝度信号だけでは追尾対象の被写体を見失った可能性が高いと判断される場合には、輝度信号とは別の色相信号を用いて、追尾対象の被写体を見失ったか否かの判断を行う。

被写体検出部１０６が被写体を見失ったか否かの判断に用いる色相信号は、輝度信号とは異なり、追尾領域が更新されたとしても、追尾処理の開始時に設定された追尾領域から得られたものをそのまま用いる。これは、色相信号も輝度信号と同様に、追尾領域が更新されるたびにその情報を更新してしまうと、操作者が始めに指定した被写体とは別の被写体を追尾していても、その判断が付きにくくなるためである。操作者が追尾対象となる被写体を指示したときに設定された追尾領域における被写体を見失ったかどうかを判断するためには、この追尾処理の開始時点における色相信号との差分が大きくないか否かを判断することが有効である。

さらに、輝度信号が追尾領域と比較領域の間で対応する画素間の差分を求めるため、被写体の向きや姿勢が変化するだけでも相関の値が大きく変化してしまうのに対し、色相信号はその色相の種類別の数のみを比較するため、被写体の向きや姿勢の影響を受けにくい。このように、第１の信号（輝度信号）は、追尾精度を向上させるため、信号の値だけではなく、その信号の配列によっても評価値が変動する手法を用いている。これに対し、第２の信号（色相信号）は、この第１の信号での追尾結果の信頼性が高くない場合に、追尾が成功できているか否かを判定を補助するため、信号の配列によらずに、信号の値だけで評価値を求める手法を用いている。これらを組み合わせることで、位置検出の精度が高い追尾処理を達成しつつも、追尾対象となる被写体の状況が多少変化した場合であっても、安易に見失ったと判断しない追尾処理を行わせることが可能となる。

ステップＳ２１７では、被写体検出部１０６は、被写体情報記憶部１１６に記憶させた追尾領域の輝度信号のパターンをリセットするとともに、追尾に失敗した旨を被写体位置設定部１１５に通知する。被写体位置設定部１１５は追尾領域の位置および範囲の情報をリセットし、表示部１０７は画像に重畳して表示していた追尾枠を消去する。

ステップＳ２１９では、被写体検出部１０６は、最新の追尾領域に含まれる画素ごとの輝度信号を用いて、被写体情報記憶部１１６に記憶させた追尾領域の輝度信号のパターンを更新する。被写体検出部１０６は、ステップＳ２１８にて追尾領域が更新されていれば、第２の画像データにおける追尾領域の輝度信号を用いて更新を行う。ステップ２１６にて追尾対象として指定した被写体と同一の被写体を追尾している可能性が高いと判断していれば、第３の画像データにおける追尾領域の輝度信号を用いて更新を行う。被写体検出部１０６は、輝度信号を更新した追尾領域の位置および大きさを被写体位置設定部１１５に通知し、表示部１０７はこの情報を被写体位置設定部１１５から受け取り、これに応じて画像に重畳して表示していた追尾枠を維持、あるいは、更新する。

なお、被写体検出部１０６は、ステップＳ２１４で輝度信号の差分が大きいと判断した場合には、それよりも後に得られた１フレームの画像データだけでなく、複数フレームの画像データに対して、色相信号の差分が大きいか否かを判定するようにしてもよい。これは、追尾対象とした被写体の手前に遮蔽物が進入した場合には、この遮蔽物がすぐに追尾対象とした被写体の前からいなくなるとは限らず、数フレームにわたって追尾対象とする被写体が画像データに現れないことも考えられるためである。このような場合を考慮し、追尾領域と比較領域の輝度信号の差分が大きくなった場合には、その後の数フレームにわたって比較領域の色相信号と初期色相信号を比較し、その差分が一度でも小さくなることがあれば、すぐさまステップＳ２１９に進むようにしてもよい。

図５は、本実施形態における追尾処理の様子を説明するための図である。

図５（ａ）に示すフレーム画像で、操作者が右を向いた人物の顔を追尾対象として設定し、図５（ｂ）に示すフレーム画像では、輝度信号のパターンの相関を用いることで、この人物の顔の追尾に成功している。図５（ｃ）のフレーム画像では、この人物が後ろを向いたため、右向きの顔が隠れて後頭部のみが見えるようになり、図５（ｄ）のフレーム画像では、この人物が左を向いたため、今度は後頭部が隠れて左向きの横顔が見えるようになる。この図５（ｃ）のフレーム画像において人物が向きを変えたため、図５（ｃ）のフレーム画像中に、図５（ｂ）のフレーム画像中の追尾領域の輝度信号との相関が閾値以上となる領域が存在しなくなる。そのため、追尾領域の位置は移動させずに、次の図５（ｄ）に示すフレーム画像における追尾領域の色差信号と、図５（ａ）に示すフレーム画像における追尾領域の色差信号を比較する。図５（ａ）と図５（ｄ）とで、人物の顔の向きは逆になったが、その顔を構成する色相信号の値の差分に大きな差はないため、図５（ｄ）では追尾に成功していると判断される。そして、この図５（ｄ）における追尾領域の輝度信号を被写体情報記憶部１１６に新たに記憶させる。そして、図５（ｅ）に示すフレーム画像から、この新たに記憶した輝度信号と相関の高い領域として左向きの横顔を検出し、新たな追尾領域として更新する。

ステップＳ２２０では、制御部１０２は、操作部１０１に含まれるシャッタースイッチが半押しされた（ＳＷ１がオンされた）か否かを判定し、半押しされていればステップＳ２２１に進み、そうでなければステップＳ２０１に戻る。

ステップＳ２２１では、制御部１０２は、ＡＦ処理部１０８およびＡＥ処理部１０９に指示を出してＡＦ処理、ＡＥ処理を行う。ここで、追尾領域が設定されていれば、追尾領域が設定されていない場合に比較して、追尾領域に対する重み付けを大きくしたＡＦ処理、ＡＥ処理を行う。

ステップＳ２２２では、制御部１０２は、操作部１０１に含まれるシャッタースイッチが全押しされた（ＳＷ２がオンされた）か否かを判定し、全押しされていればステップＳ２２３に進み、そうでなければステップＳ２２０に戻る。

ステップＳ２２３では、制御部１０２は、本露光を行って静止画の画像データを生成させ、得られた画像データをフォーマット変換部１１２によって処理の形式に変換させ、画像記憶部１１３によって外部メモリに記憶させる。

以上説明したように、本実施形態では、輝度信号のパターンの相関を用いて、対象となる被写体の追尾処理を行い、この対象となる被写体を見失った可能性が高い場合には、色相信号の相関を用いて、追尾の成否について判断する。

輝度信号による追尾は、信号の値および信号の配列の両方の一致度が高くないと、同一の被写体とみなさないため、誤追尾の可能性を低くすることができる。ただし、その反面、被写体が向きを変えたり、一時的に遮蔽物が進入したような場合には、対象となる被写体を見失いやすい。色相信号による追尾は、信号の配列は一致せずとも、信号の値が一致度が高ければ、同一の被写体とみなすため、被写体が向きを変えたりしても、対象となる被写体を見失いにくい。ただし、その反面、色が類似した被写体を誤追尾する可能性が高い。

そこで、本実施形態では、これら複数の種類（２種類）の信号を補間的に用いて追尾処理を行うことで、誤追尾の可能性を低く抑制しつつも、安易に対象を見失わない追尾処理を実現することができる。

（第２の実施形態）
第１の実施形態では、ステップＳ２０７で被写体情報記憶部１１６が初期色相信号を記憶すると、追尾処理を継続している間は、この初期色相信号が更新されることはなかった。これに対し、第２の実施形態では、被写体が屋内から屋外に移動したり、店に入ったりして、被写体を照射する光源の色温度が変化する可能性を考慮して、被写体情報記憶部１１６が記憶する色相信号も定期的に更新する点で異なる。

本実施形態における画像処理装置は、第１の実施形態と同じく、図１に示す構成のデジタルカメラであるものとする。

図６は、本実施形態におけるデジタルカメラの追尾判定処理を示すフローチャートである。図２に示すフローチャートと同じ処理を行うステップには同じ番号が割り当てられている。ここでは、図２に示すフローチャートと異なる処理を中心に説明を行う。

被写体検出部１０６が、ステップＳ２０５で追尾領域内の画像データが必要なコントラスト値を満たしていると判定すると、ステップＳ２０６で、その追尾領域に含まれる輝度信号を検出し、その輝度信号のパターンを被写体情報記憶部１１６に記憶させる。

続いて、ステップＳ５０１では、被写体検出部１０６は、追尾領域に含まれる画素ごとの色相信号を検出し、追尾領域内に、どの色相が、どの程度の量だけ存在するかという図３に示す色相信号の情報を、被写体情報記憶部１１６に色相信号として記憶させる。

ステップＳ５０２では、被写体検出部１０６は、不図示のタイマーをリセットし、時間の計測を開始して、ステップＳ２１２へ進む。後述するが、このタイマーは色相信号を更新するタイミングを検知するためのものであり、本実施形態ではこのタイマーが所定値Ｔｔｈに達していれば、被写体情報記憶部１１６に記憶させた色相信号を更新する。

ステップＳ２１３へと進み、被写体検出部１０６は、被写体情報記憶部１１６に記憶させた追尾領域の輝度信号のパターンと最も高い相関を持つ領域を、第２の画像データから抽出する。そして、ステップＳ２１４で、この最も高い相関を持つ領域と追尾領域の輝度信号の差分の総和が閾値以上であるか否かを判断する。被写体検出部１０６は、この差分の総和が閾値未満であれば、ステップＳ２１８に進んで、追尾領域の位置および範囲の情報を更新する。この差分の総和が閾値以上であれば、ステップＳ２１５に進み、第３の画像データから、追尾領域と同じ位置および範囲における領域の色相信号を算出し、ステップＳ５０３に進む。

ステップＳ５０３で、被写体検出部１０６は、ステップＳ２１５にて求めた色相信号と、被写体情報記憶部１１６に記憶させた色相信号とを比較し、その差分が大きいか否かを判定する。その差分が大きければ、ステップＳ２１７へ進んで追尾領域をリセットし、その差分が大きくなければ、ステップＳ２１９に進む。

ステップＳ２１９では、被写体検出部１０６は、追尾領域に含まれる画素ごとの輝度信号を用いて、追尾領域の輝度信号のパターンを更新し、ステップＳ５０４に進む。

ステップＳ５０４では、被写体検出部１０６は、タイマーで計測した時間ｔが所定値Ｔｔｈに達しているか否かを判定し、達していればステップＳ５０５へ進み、達していなければステップＳ２２０へ進む。例えば、この所定値Ｔｔｈは数秒単位、あるいは、十数秒単位に設定されており、追尾領域の色相信号の更新周期は、数フレームごとに更新される追尾領域の輝度情報の更新周期に比較して、十分に長い期間に設定される。これは、色相信号の更新を輝度信号と同様に高い頻度で行ってしまうと、輝度信号と同様に、被写体が向きを変えたり、遮蔽物が一時的に進入したりした場合に、これらの影響を受けやすくなるためである。

ステップＳ５０５では、被写体検出部１０６は、ステップＳ２１９で輝度信号のパターンの更新に用いた追尾領域の画像データから色相信号を抽出し、被写体情報記憶部１１６に記憶しておいた図３の形態の色相信号を更新する。

ステップＳ５０６では、被写体検出部１０６は、タイマーをリセットとして再び時間の計測を開始する。

このように、本実施形態によれば、追尾対象となる被写体の一時的な状況変化に影響を受けにくい周期で、被写体情報記憶部１１６に記憶させた色相信号も更新する。そのため、屋外と屋内の違いや照明の変化など、被写体を取り巻く環境の変化によって被写体の色相信号に変化が生じた場合であっても、追尾対象を見失いにくくすることが可能となる。

また、本実施形態では、色相信号を更新する度にタイマーをリセットし、このタイマーの計測時間が所定値に達していれば色相信号の更新を許可するように構成しているが、これに限られるものではない。追尾対象とする被写体の周囲の輝度、色相、あるいは、彩度などの変化量が基準値を超えた場合に、追尾対象となる被写体の色相信号にも変化が生じる可能性があると判断し、被写体情報記憶部１１６に記憶させた色相信号を更新するようにしても構わない。

また、本実施形態では、更新された追尾領域から実際に色相信号を抽出することで、被写体情報記憶部１１６に記憶させた色相信号を更新しているが、これに限られるものではない。例えば、デジタルカメラが被写体の環境光の色温度を検知する色温度検知回路を備え、この色温度検知回路にて検知した色温度の変化に合わせて、被写体情報記憶部１１６に記憶させた色相信号を補正するようにしても構わない。あるいは、デジタルカメラが被写体を除く領域におけるホワイトバランスの値を算出し、このホワイトバランスの値の変化に合わせて、被写体情報記憶部１１６に記憶させた色相信号を補正するようにしても構わない。

なお、上述した各実施形態では、輝度信号のパターンの相関を用いてフレーム間における被写体の追尾を行い、輝度信号の相関だけでは被写体を見失った可能性が高いと判断されるような場合に、色相信号を用いて被写体を見失ったか否かの判断を行っている。しかしながら、これに限られるものではない。色相信号に代えて、色差信号や、彩度を示す信号などの他の色信号を用いても構わないし、これらを併用しても構わない。

また、図４に示す画素ごとの信号レベルの差分の総和を、輝度信号ではなく彩度信号や色相信号を用いて求めることで、被写体の追尾を行うようにしてもよい。さらに、この彩度信号や色相信号の相関だけでは被写体を見失った可能性が高いと判断されるような場合に、輝度信号を用いて被写体を見失ったか否かの判断を行うようにしても構わない。この場合は、例えば、輝度信号はそのレベルに応じて複数のグループに分け、各グループに属する輝度信号を出力した画素の個数を記憶することで、上述した第１および第２の実施形態の色相信号を用いた場合と同様の判断を行えばよい。

ただし、被写体の詳細な模様を区別して精度の高い追尾を行うことが可能であるという点で、被写体の形状を詳細に表現できる輝度信号を優先的に用いた第１および第２の実施形態のほうが、色信号を優先的に用いた場合よりも好ましい形態であると考えられる。

（他の実施形態）
上述の実施形態は、上述した撮像装置や画像再生装置に限らず、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。記憶媒体又は有線／無線通信により画像データを受け取り、この画像データに対して、追尾処理を行う構成であっても構わない。

従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。

なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。

つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。

また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、コンピュータへのインストールを許可してもよい。

また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。

１０１ 操作部
１０２ 制御部
１０３ 撮像素子
１０４ Ａ／Ｄ変換部
１０５ 画像処理部
１０６ 被写体検出部
１０７ 表示部
１０８ ＡＦ処理部
１０８ａ レンズ
１０９ ＡＥ処理部
１０９ａ メカ機構
１１２ フォーマット変換部
１１３ 画像記憶部
１１５ 被写体位置設定部
１１６ 被写体情報記憶部

Claims (9)

1. 複数の画像データから構成された動画像から追尾すべき被写体の領域である追尾領域を連続して検出することで追尾を行う画像処理装置において、
   画像データにおける前記追尾領域を設定する設定手段と、
   画像データの前記追尾領域から抽出された第１の信号および第２の信号を記憶する記憶手段と、
   前記記憶手段に記憶した第１の信号と最も差分の小さい信号を有する領域を画像データから抽出し、抽出した領域を前記追尾領域として更新する被写体検出手段とを有し、
   前記被写体検出手段は、前記記憶手段に記憶した前記第１の信号との差分が閾値未満である信号を有する領域が画像データから抽出できない場合には、前記記憶手段に記憶した前記第２の信号との差分が閾値未満である信号を有する領域が画像データから抽出できるか否かを判断し、抽出できなければ前記追尾領域をリセットし、抽出できれば前記追尾領域の更新を継続し、
   前記記憶手段は、前記第１の信号については、前記追尾領域に含まれる画素のそれぞれの位置に応じた信号の値を記憶し、前記第２の信号については、前記追尾領域に含まれるそれぞれの画素の値をグループ分けして、それぞれのグループに含まれる画素の数を記憶し、前記被写体検出手段によって前記追尾領域が更新されると、前記第１の信号を更新するが、前記第２の信号は更新しないことを特徴とする画像処理装置。
2. 複数の画像データから構成された動画像から追尾すべき被写体の領域である追尾領域を連続して検出することで追尾を行う画像処理装置において、
   画像データにおける前記追尾領域を設定する設定手段と、
   画像データの前記追尾領域から抽出された第１の信号および第２の信号を記憶する記憶手段と、
   前記記憶手段に記憶した第１の信号と最も差分の小さい信号を有する領域を画像データから抽出し、抽出した領域を前記追尾領域として更新する被写体検出手段と、
   タイマーを有し、
   前記被写体検出手段は、前記記憶手段に記憶した前記第１の信号との差分が閾値未満である信号を有する領域が画像データから抽出できない場合には、前記記憶手段に記憶した前記第２の信号との差分が閾値未満である信号を有する領域が画像データから抽出できるか否かを判断し、抽出できなければ前記追尾領域をリセットし、抽出できれば前記追尾領域の更新を継続し、
   前記記憶手段は、前記被写体検出手段によって前記追尾領域が更新された場合に、前記タイマーが計測した時間が所定値に達していなくとも前記第１の信号を更新するが、前記タイマーが計測した時間が前記所定値に達していなければ前記第２の信号は更新しないことによって、前記第２の信号を前記第１の信号よりも長い周期で更新することを特徴とする画像処理装置。
3. 前記記憶手段は、前記第１の信号については、前記追尾領域に含まれる画素のそれぞれの位置に応じた信号の値を記憶し、前記第２の信号については、前記追尾領域に含まれるそれぞれの画素の値をグループ分けし、それぞれのグループに含まれる画素の数を記憶することを特徴とする請求項２に記載の画像処理装置。
4. 前記記憶手段は、前記設定手段が前記追尾領域を設定する際に抽出された前記第１の信号と前記第２の信号を記憶することを特徴とする請求項１乃至３に記載の画像処理装置。
5. 前記第１の信号は輝度信号であり、前記第２の信号は色信号であることを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。
6. 前記第２の信号は色相信号であり、被写体の環境光の色温度の変化、あるいは、画像データから算出したホワイトバランスの値の変化にあわせて、前記第２の信号の値が更新されることを特徴とする請求項２に記載の画像処理装置。
7. 複数の画像データから構成された動画像から追尾すべき被写体の領域である追尾領域を連続して検出することで追尾を行う画像処理方法において、
   画像データにおける前記追尾領域を設定する設定工程と、
   画像データの前記追尾領域から抽出された第１の信号および第２の信号を記憶手段に記憶する記憶工程と、
   前記記憶手段に記憶した第１の信号と最も差分の小さい信号を有する領域を画像データから抽出し、抽出した領域を前記追尾領域として更新する被写体検出工程と、
   前記被写体検出工程で前記追尾領域が更新されると、前記第２の信号は更新しないが、前記第１の信号を更新する更新工程と、を有し、
   前記記憶工程では、前記第１の信号については、前記追尾領域に含まれる画素のそれぞれの位置に応じた信号の値を記憶し、前記第２の信号については、前記追尾領域に含まれるそれぞれの画素の値をグループ分けして、それぞれのグループに含まれる画素の数を記憶し、
   前記被写体検出工程では、前記記憶手段に記憶した前記第１の信号との差分が閾値未満である信号を有する領域が画像データから抽出できない場合には、前記記憶手段に記憶した前記第２の信号との差分が閾値未満である信号を有する領域が画像データから抽出できるか否かを判断し、抽出できなければ前記追尾領域をリセットし、抽出できれば前記追尾領域の更新を継続することを特徴とする画像処理方法。
8. 複数の画像データから構成された動画像から追尾すべき被写体の領域である追尾領域を連続して検出することで追尾を行う画像処理方法において、
   画像データにおける前記追尾領域を設定する設定工程と、
   画像データの前記追尾領域から抽出された第１の信号および第２の信号を記憶手段に記憶する記憶工程と、
   前記記憶手段に記憶した第１の信号と最も差分の小さい信号を有する領域を画像データから抽出し、抽出した領域を前記追尾領域として更新する被写体検出工程と、
   前記追尾領域の更新が継続されている間に、前記第１の信号および前記第２の信号を更新する更新工程と、を有し
   前記被写体検出工程では、前記記憶手段に記憶した前記第１の信号との差分が閾値未満である信号を有する領域が画像データから抽出できない場合には、前記記憶手段に記憶した前記第２の信号との差分が閾値未満である信号を有する領域が画像データから抽出できるか否かを判断し、抽出できなければ前記追尾領域をリセットし、抽出できれば前記追尾領域の更新を継続し、
   前記更新工程では、前記被写体検出工程にて前記追尾領域が更新されると、タイマーが計測した時間が所定値に達していなくとも前記第１の信号を更新するが、前記タイマーが計測した時間が前記所定値に達していなければ前記第２の信号を更新しないことによって、前記第２の信号を前記第１の信号よりも長い周期で更新することを特徴とする画像処理方法。
9. 請求項７または８のいずれかに記載の画像処理方法をコンピュータに実行させるためのプログラム。

Images