JP5720275B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明は、撮像装置および撮像方法に関する。

従来より、連続する時系列の画像フレームから、その画像フレームに写された物体を追尾し、追尾結果に応じたカメラの制御方法が提案されている。例えば、特許文献１では、画像フレーム中の物体を追尾し、追尾した結果の動きベクトルを用いて、カメラを制御するトルク量を調整する自動追尾撮影装置が提案されている。

また、特許文献２では、物体追尾を行うとき、画像のノイズや追尾対象物体の変形により、追尾誤差が生じるため、このような追尾の失敗に対する対処法が提案されている。具体的には、追尾結果に対して、この追尾結果を補正するための追尾点をユーザが入力することで、追尾を中断することなく続ける方法が提案されている。

一般的な追尾方法は、連続する画像フレームに写された物体に対し物体追尾を行うとき、図９に示すように画像フレームＦ０において初期追尾対象領域ＡＢＣＤを決めた後、次の画像フレームに対して、物体に対する追尾処理を行う。図１０（Ａ）に示すＦ０フレーム（初期の画像フレーム）の初期追尾対象領域ＡＢＣＤに対して、図１０（Ｂ）に示すＦＭフレーム（Ｍ番目の画像フレーム）の追尾結果領域Ａ’Ｂ’Ｃ’Ｄ’が得られると、ＦＭフレームの追尾結果領域を新しい追尾対象領域として、次の画像フレームに対して、追尾処理を行う。

しかしながら、初期追尾対象領域が制限される場合などでは、図１１（Ａ）に示すように初期追尾対象領域ＡＢＣＤを選定した場合、ＦＭフレームでの追尾結果が本来追尾対象となる領域と異なる領域Ａ’Ｂ’Ｃ’Ｄ’となってしまうことがある。図１１の例では、初期追尾対象領域は物体の一部しか選択できず、初期追尾対象領域が適切に選択されないので、追尾結果領域は対象物体の他の部分を追尾する結果となってしまい、追尾結果は不安定になってしまう。

特許文献１等の従来技術では、図１１に示すような初期追尾対象領域を選定してしまうと、追尾を失敗する可能性が高くなる。

また、特許文献２の技術では、追尾が失敗するとき、その修正が可能であるが、初期追尾対象領域が適切に選択されないと、やはり追尾結果が不安定になり、頻繁に人間の介入が必要となって、ユーザにとって大きな負担となる。

以上のようなことから、適切な初期追尾対象領域が自動的に選択され、追尾の失敗が少なくなるようにする物体追尾方法が望まれた。

本発明は、上記に鑑みてなされたものであって、時系列の画像フレーム中の物体の追尾について、安定な追尾結果が得られ、追尾の成功率を高めることができる物体追尾機能を有する撮像装置および撮像方法を提供するものである。

上述した課題を解決し、目的を達成するために、本発明の撮像装置は、画像入力する画像入力手段と、入力した時系列の画像フレームから初期追尾対象領域の指定を受け付ける指定手段と、前記画像フレーム内で対象とする領域における所定の特徴量を抽出する特徴量抽出手段と、前記初期追尾対象領域のサイズを変化させて、該変化させた領域から抽出された前記特徴量が追尾を成功させる所定の条件を満たす領域を新たな初期追尾対象領域として探索する第１の探索手段と、時系列の次の画像フレームにおいて、前記新たな初期追尾対象領域に類似する領域を追尾結果領域として探索する第２の探索手段とを備えることを特徴とする。

また、本発明は、撮像装置における撮像方法であって、画像入力手段により画像入力する工程と、指定手段により、入力した時系列の画像フレームから初期追尾対象領域の指定を受け付ける工程と、特徴量抽出手段により、前記画像フレーム内で対象とする領域における所定の特徴量を抽出する工程と、第１の探索手段により、前記初期追尾対象領域のサイズを変化させて、該変化させた領域から抽出された前記特徴量が追尾を成功させる所定の条件を満たす領域を新たな初期追尾対象領域として探索する工程と、第２の探索手段により、時系列の次の画像フレームにおいて、前記新たな初期追尾対象領域に類似する領域を追尾結果領域として探索する工程とを含むことを特徴とする。

本発明によれば、撮像装置で撮像された物体の追尾を行うとき、指定された初期追尾対象領域から自動的に適切な初期追尾対象領域を決定するので、物体追尾処理において安定な追尾結果が得られ、物体追尾の成功率を高められるという効果を奏する。

図１は、一実施の形態にかかる物体追尾装置の構成を示すブロック図である。 図２は、同実施形態における初期追尾対象領域算出処理および追尾処理を説明する図である。 図３は、同実施形態における追尾処理を説明する図である。 図４は、同実施形態の物体追尾装置における物体追尾にかかる一連の処理について説明するためのフローチャートである。 図５は、物体追尾機能を有する撮像装置の一例として、デジタルスチルカメラの外観を示す図である。 図６は、物体追尾機能を有する撮像装置の一例として、デジタルスチルカメラの外観を示す図である。 図７は、デジタルスチルカメラの内部構成を示すブロック図である。 図８は、タップ操作により初期追尾対象領域を指定する場合を例示した図である。 図９は、一般的な追尾方法を説明する図である。 図１０は、一般的な追尾方法を説明する図である。 図１１は、一般的な追尾方法での追尾の失敗を示す図である。

以下に添付図面を参照して、この発明にかかる撮像装置が有する物体追尾機能を実現する装置の一実施の形態としての物体追尾装置について詳細に説明する。

はじめに、一実施の形態にかかる物体追尾装置の構成について、図１を用いて説明する。図１は、一実施の形態にかかる物体追尾装置の構成を示すブロック図である。以下に説明する物体追尾装置の構成は、デジタルスチルカメラ等の撮像装置に備わる制御部や画像処理部等に適用することができる。

図１に示す物体追尾装置は、画像入力部１０１、初期追尾対象領域指定部１０２、追尾対象領域算出部１０３、追尾処理部１０４、追尾結果出力部１０５、および制御処理部１０６を備えている。

画像入力部１０１は、撮像装置もしくは画像処理装置により撮影された動画像、もしくは複数の静止画像から、連続する時系列の画像フレームのデータを順次入力する。図９に示すようにＦ０は最初の画像フレームであり、次にΔｔの時間間隔経過後の画像フレームＦ１が入力される。このように、Ｎ枚の時系列画像フレームが順次入力される。これらの画像フレームからなる画像フレームのセットは追尾対象画像データとなる。

初期追尾対象領域指定部１０２は、最初の画像フレームＦ０に対する初期追尾対象領域Ａ０Ｂ０Ｃ０Ｄ０の指定を受け付ける。図２（Ａ）の例では、領域Ａ０Ｂ０Ｃ０Ｄ０が初期追尾対象領域として指定されている。初期追尾対象領域Ａ０Ｂ０Ｃ０Ｄ０の指定については、例えば、デジタルスチルカメラ等に備わるタッチパネルと一体となった液晶ディスプレイ等を用いて、ユーザが初期追尾対象領域Ａ０Ｂ０Ｃ０Ｄ０の四隅をタップすることにより、直接追尾対象領域の座標値Ａ０Ｂ０Ｃ０Ｄ０を入力することができる。あるいは、ユーザにより指定されたある点、例えば、領域Ａ０Ｂ０Ｃ０Ｄ０付近の一点の座標値の入力を受け付け、入力された座標値を中心に自動的に予め決めた大きさで、初期追尾対象領域Ａ０Ｂ０Ｃ０Ｄ０を自動的に算出するようにしてもよい。なお、初期追尾対象領域Ａ０Ｂ０Ｃ０Ｄ０や下記の追尾対象領域ＡＢＣＤの形状は、図２等に例示した四角形に限らず、楕円形、円形、多角形や、四角形の組み合わせなど、他の形としてもよい。

初期追尾対象領域算出部１０３は、初期追尾領域指定部１０２で指定された初期追尾対象領域Ａ０Ｂ０Ｃ０Ｄ０に基づいて、下記の条件を満たす領域を新たな初期追尾対象領域ＡＢＣＤとして算出する。具体的には、特徴量抽出部１０３ａが、図２（Ａ）に示す指定された初期追尾対象領域Ａ０Ｂ０Ｃ０Ｄ０のカラー画像のＮビンのカラーヒストグラムを計算する。次に、特徴量抽出部１０３ａが、計算したカラーヒストグラムについて、下記の式（１）を用いて、エントロピーＥを計算する。ここで、ｈ_ｉはカラーヒストグラムのｉ番目のビンの値である。

そして、第１の探索部１０３ｂが、初期追尾対象領域Ａ０Ｂ０Ｃ０Ｄ０のサイズを変えながら（ここではサイズを拡大させながら）、カラーヒストグラムのエントロピーＥを再計算する。そして、エントロピーＥが最大になる領域ＡＢＣＤを新たな初期追尾対象領域とする。このように初期追尾対象領域ＡＢＣＤを決定することで、図１１に示したような追尾失敗を防げ、正しく安定な追尾ができるようになる。なお、初期対象追尾領域Ａ０Ｂ０Ｃ０Ｄ０のサイズを順次変化させて計算したエントロピーＥが閾値Ｅｔｈを超えることがない場合、すなわち、エントロピーＥの最大値が閾値Ｅｔｈを超えることがない場合、初期追尾対象領域算出不能の警告（例えば、図１にて図示しない液晶ディスプレイ等の表示装置を用いた警告表示やスピーカー等の音声出力装置を用いた警告音等）を出して、下記の追尾処理部１０４による追尾処理を終了させる。

追尾処理部１０４は、初期追尾対象領域算出部１０３で算出した初期追尾対象領域ＡＢＣＤをテンプレートとして、図２（Ｂ）に示すように次の画像フレームＦＭ上で初期追尾対象領域ＡＢＣＤと最も類似度の高い領域Ａ’Ｂ’Ｃ’Ｄ’を探索し抽出する。具体的には、類似度算出部１０４ａが、後述のようにして類似度を算出し、第２の探索部１０４ｂが、初期追尾対象領域ＡＢＣＤと最も類似度の高い領域Ａ’Ｂ’Ｃ’Ｄ’を探索する（詳細は後述）。このＡ’Ｂ’Ｃ’Ｄ’の頂点座標で囲まれる領域が追尾結果領域となる。

追尾結果出力部１０５は、追尾処理部１０４による追尾結果として追尾結果領域の情報を出力する。

制御処理部１０６は、追尾結果出力部１０５から出力される追尾結果（追尾結果領域の情報）を受けて、この追尾結果に応じた制御を行う。例えば、追尾対象領域ＡＢＣＤに焦点をフォーカスする場合、後続する各画像フレームの追尾結果領域Ａ’Ｂ’Ｃ’Ｄ’に焦点を合わせ続ける制御を行う。

以上のように、本実施形態の物体追尾装置は、初期追尾対象領域算出部１０３により、指定された初期追尾対象領域の特徴量であるカラーヒストグラムのエントロピーＥを評価し、初期追尾対象領域のエントロピーＥが、追尾を成功させるための所定の閾値より大きくなるよう初期追尾対象領域の大きさを変更することにより、物体追尾を安定させることを特徴としている。

続いて、本実施形態の物体追尾装置による追尾処理の詳細を説明する。図３は、本追尾処理を説明する図である。

図３に示すように、追尾対象となる画像フレームＦＭ内で、探索領域となるウィンドウＡ’Ｂ’Ｃ’Ｄ’を移動しながら、初期追尾対象領域ＡＢＣＤと最も類似する領域Ａ’Ｂ’Ｃ’Ｄ’（これが追尾結果領域となる）を探索する。具体的には、追尾結果領域の候補となる探索領域Ａ’Ｂ’Ｃ’Ｄ’（この領域は、一番最初の探索の段階では、初期追尾対象領域算出部１０３により算出された初期追尾対象領域ＡＢＣＤと同一形状・同一サイズの領域である）を、左上から画素ごとに移動させながら探索し、画像フレームＦ０の初期追尾対象領域ＡＢＣＤと最も類似度の高い領域を探す。

画像フレームＦ０の初期追尾対象領域ＡＢＣＤと画像フレームＦＭの探索領域Ａ’Ｂ’Ｃ’Ｄ’の類似度を計算するとき、画像の特徴量を利用する。ここでは、初期追尾対象領域ＡＢＣＤと探索領域Ａ’Ｂ’Ｃ’Ｄ’のカラーヒストグラムを使う。ここで、ｑ＝［ｑ_１，ｑ_２，…，ｑ_ｎ］は、ＡＢＣＤ領域のカラーヒストグラムとする。ｑ_１，ｑ_２，…，ｑ_ｎは各カラー成分の輝度レベル１から輝度レベルｎでの画素数である。探索領域Ａ’Ｂ’Ｃ’Ｄ’のカラーヒストグラムはｐ＝［ｐ_１，ｐ_２，…，ｐ_ｎ］とする。カラーヒストグラムを求めるとき、対象領域の全画素で正規化を行い、面積変化の影響を最小にする。

初期追尾対象領域ＡＢＣＤと探索領域Ａ’Ｂ’Ｃ’Ｄ’の類似度Ｓｉｍは、以下の式（２）で計算する。

類似度Ｓｉｍが最も大きくなる探索領域Ａ’Ｂ’Ｃ’Ｄ’が追尾結果領域となる。

なお、フレーム間で被写体サイズの変倍がありうるので、実際の探索の際は、初期のサイズ（最初の探索領域Ａ’Ｂ’Ｃ’Ｄ’のサイズ）のウィンドウで全画面探索した後、そのウィンドウサイズを変倍係数Ｍでサイズ変更しながら、さらに探索を行う。このようにして、すべてのサイズのウィンドウを用いてすべての位置で探索を行い、式（２）で計算した類似度Ｓｉｍが最大となる探索領域Ａ’Ｂ’Ｃ’Ｄ’が追尾結果領域となる。

次に、物体追尾装置における物体追尾にかかる一連の処理について、図４のフローチャートを用いて説明する。

まず、撮像装置もしくは画像処理装置から画像入力する（ステップＳ１０１）。ここでは、撮像装置もしくは画像処理装置により撮影された動画像、もしくは複数の静止画から、時系列の画像フレームのデータが入力される。

次に、入力された時系列の画像フレームの最初の画像フレームに初期追尾対象領域の指定を受け付ける（ステップＳ１０２）。例えば、図２（Ａ）に示すような初期追尾対象領域Ａ０Ｂ０Ｃ０Ｄ０が指定される。

次いで、初期追尾対象領域Ａ０Ｂ０Ｃ０Ｄ０の特徴量を計算する。ここではまず、初期追尾対象領域Ａ０Ｂ０Ｃ０Ｄ０内の画素のカラーヒストグラムを求める（ステップＳ１０３）。追尾対象の画像がカラー画像の場合、Ｒ、Ｇ、Ｂそれぞれの色成分についてヒストグラムを求める。ＲＧＢ各成分のヒストグラムを合わせて、Ｎビンのカラーヒストグラムを求めることができる。なお、ＲＧＢでなく、他の色成分、例えば、ＹＣｒＣｂや、Ｌａｂにより、それぞれの成分のヒストグラムを求め、カラーヒストグラムを求めてもよい。また、入力画像が輝度画像のみの場合は、特徴量として輝度のヒストグラムを求めることとする。

そして、前述の式（１）によりカラーヒストグラムのエントロピーＥを計算する（ステップＳ１０４）。エントロピーＥの値は大きければ大きいほど追尾対象領域内の特徴量が多いことを示す。

上記カラーヒストグラムの計算およびエントロピーＥの計算は、ステップＳ１０３〜ステップＳ１０６に示されるように、初期設定された領域の大きさの範囲内（ｗｉｄｔｈ＿ｍｉｎ， ｗｉｄｔｈ＿ｍａｘ）で（範囲内にある場合ステップＳ１０５でＹｅｓと判定される）、図２（Ａ）に示すように初期追尾対象領域Ａ０Ｂ０Ｃ０Ｄ０のサイズを最初のサイズから順次変化させて（ステップＳ１０６）、繰り返し実行する。

初期設定された領域の大きさの範囲内（ｗｉｄｔｈ＿ｍｉｎ， ｗｉｄｔｈ＿ｍａｘ）のすべてについてカラーヒストグラムの計算およびエントロピーＥの計算が終了すると（この場合ステップＳ１０５でＮｏと判定される）、エントロピーＥの最大値が閾値Ｅｔｈ（第１の閾値）より大きければ、このエントロピーＥが最大となる領域を初期追尾対象領域ＡＢＣＤとして決定する。つまり、初期追尾対象領域Ａ０Ｂ０Ｃ０Ｄ０のサイズを順次変化させそのエントロピーＥを求め、エントロピーが最大かつ閾値Ｅｔｈ以上となる図２（Ａ）に示すような領域ＡＢＣＤを、最終的に初期追尾対象領域とする。この初期追尾対象領域ＡＢＣＤを用いて追尾処理を実行することとなる。

ここで、上記ステップＳ１０６での領域サイズ変更について詳細について説明する。エントロピーＥの最大値を探すとき、初期設定した領域サイズから、まずサイズの小さい方向へ探し、初期設定したサイズの最小値ｗｉｄｔｈ＿ｍｉｎまで、領域を小さくしながら、エントロピーＥの最大値Ｅ１を探す。さらに初期設定したサイズに戻し、サイズの大きい方向へ、設定したサイズの最大値ｗｉｄｔｈ＿ｍａｘまで、領域を大きくしながら、エントロピーＥの最大値Ｅ２を探す。エントロピーＥ１とＥ２の大きいほうを全体の最大値とし、この全体の最大値が閾値Ｅｔｈより大きければ、そのときのサイズの領域を最終的な初期追尾対象領域とする。なお、エントロピーＥの最大値を探すとき、上記とは逆に、初期設定したサイズからサイズを大きくする方向に探し、次いで、初期サイズに戻し、初期設定したサイズからサイズを小さくする方向へ探すようにしてもよい。

図４に戻り、最初に指定された初期追尾対象領域Ａ０Ｂ０Ｃ０Ｄ０のサイズを順次変化させ探索しても、カラーヒストグラムのエントロピーＥの最大値が閾値Ｅｔｈより小さい場合（ステップＳ１０７でＮｏ）、ステップＳ１０８以降の追尾処理は中止して、ステップＳ１１７へ移行する。エントロピーＥの最大値が閾値Ｅｔｈより小さい場合は、探索範囲内の領域の特徴量が小さく、追尾失敗の可能性が高いので、警告を出すようにする（ステップＳ１１７）。これにより、失敗する可能性が高い追尾処理を省くことができるとともに、ユーザは、最初に指定した物体（被写体）の追尾ができないことを知ることができる。

一方、上記のようにして初期追尾対象領域ＡＢＣＤを決定することができた場合、すなわちステップＳ１０７でＹｅｓと判定される場合、決定された初期追尾対象領域ＡＢＣＤを用いて、追尾処理を行う。この追尾処理は、前述のとおりであるが、以下では図４のフローチャートに沿って説明する。

図３に示したように、追尾対象となる画像フレームＦＭ内で、探索領域となるウィンドウＡ’Ｂ’Ｃ’Ｄ’を移動しながら、初期追尾対象領域ＡＢＣＤと最も類似する領域である追尾結果領域を探索する。具体的には、まず初期追尾対象領域ＡＢＣＤの特徴量（ここではカラーヒストグラム）を算出する（ステップＳ１０８）。ここで算出する初期追尾対象領域ＡＢＣＤの特徴量は、先のステップＳ１０３〜ステップＳ１０６で算出された初期追尾対象領域ＡＢＣＤの特徴量を保存しておき、それを利用するようにしてもよい。

次いで、ステップＳ１０９の追尾結果領域探索で、追尾結果領域の候補となる探索領域Ａ’Ｂ’Ｃ’Ｄ’（この領域は、一番最初の探索の段階では、初期追尾対象領域算出部１０３により算出された初期追尾対象領域ＡＢＣＤと同一形状・同一サイズの領域である）を、左上から画素ごとに移動させさらに次のラインの左端から画素ごとに移動させながら探索対象の画像フレームＦＭ内の全位置について、各位置における探索領域Ａ’Ｂ’Ｃ’Ｄ’のカラーヒストグラムを求める。

次いで、初期追尾対象領域ＡＢＣＤのカラーヒストグラムと、追尾結果領域の候補である探索領域Ａ’Ｂ’Ｃ’Ｄ’のカラーヒストグラムとから、初期追尾対象領域ＡＢＣＤと追尾結果領域の候補である各探索領域Ａ’Ｂ’Ｃ’Ｄ’との類似度を計算する（ステップＳ１１０）。初期追尾対象領域ＡＢＣＤと探索領域Ａ’Ｂ’Ｃ’Ｄ’の類似度Ｓｉｍは、前述の式（２）で計算する。

続いて、全サイズの探索領域について探索が完了しているか判定する（ステップＳ１１１）。これは、フレーム間で被写体サイズの変倍がありうるため、前述のように実際の探索処理の際、初期のサイズのウィンドウ（探索領域Ａ’Ｂ’Ｃ’Ｄ’）で全画面探索した後、そのウィンドウサイズを変倍係数Ｍでサイズ変更しながら、さらにステップＳ１０９以降の探索処理をするための判断処理である。全サイズの探索領域について探索が完了していない場合（ステップＳ１１１でＮｏ）、ステップＳ１１２へ移行し、探索領域Ａ’Ｂ’Ｃ’Ｄのサイズを変更する。

一方、全サイズの探索領域について探索が完了している場合（ステップＳ１１１でＹｅｓ）、ステップＳ１１３へ移行し、初期追尾対象領域ＡＢＣＤと追尾結果領域の候補である各探索領域Ａ’Ｂ’Ｃ’Ｄ’との類似度の最大値が所定の閾値（第２の閾値）より大きいか判定する（ステップＳ１１３）。

上記類似度の最大値が所定の閾値以下である場合（ステップＳ１１３でＮｏ）、画像フレームＦＭ内に初期追尾対象領域ＡＢＣＤと類似する領域は存在しないことになり、ステップＳ１１６へ移行して、初期追尾対象領域ＡＢＣＤと類似する領域が存在しないことを示す警告を出す。

一方、上記類似度の最大値が所定の閾値より大きい場合（ステップＳ１１３でＹｅｓ）、類似度Ｓｉｍが最大となる探索領域Ａ’Ｂ’Ｃ’Ｄ’を追尾結果領域として出力する（ステップＳ１１４）。

そして、制御処理部１０６は、追尾結果に応じた撮像装置の制御、例えば追尾している物体に対するオートフォーカス制御を行う（ステップＳ１１５）。以後、続く画像フレームに対して、ステップＳ１０９以降の追尾処理を繰り返す。なお、画像フレームＦＭの追尾結果領域を新たな初期追尾対象領域ＡＢＣＤとして次の画像フレーム内での探索を行う場合には、ステップＳ１１４で得られる追尾結果領域のカラーヒストグラムを保持しておき、ステップＳ１１０での類似度計算に用いる。

以上、物体追尾装置における物体追尾にかかる一連の処理について説明した。

次に、上述した物体追尾処理を含む画像処理を実施する撮像装置の一実施例であるデジタルスチルカメラのハードウェア構成について説明する。

図５，６は、本実施例のデジタルスチルカメラの外観を示す図である。デジタルカメラ２０本体の前面および上面には、一般的なデジタルカメラと同様に、ＰＯＷＥＲ（電源）ボタン２１、シャッターボタン２２、フラッシュ発光部２３、ＡＦ補助光／セルフタイマーランプ２４、レンズカバー２５、マイク２６、スピーカー２７、レンズ（撮像光学系）１が配置されている。

また、デジタルカメラ２０の背面には、図６に示すように、液晶ディスプレイ１６（以下、「ＬＣＤ１６」と略記する）、モード切替スイッチ３１、再生ボタン３２、ＡＤＪ．ボタン３３、削除／セルフタイマーボタン３４、↑／ＭＯＤＥボタン３５、→／クイックレビューボタン３６、ＭＥＮＵ／ＯＫボタン３７、↓／マクロボタン３８、←／フラッシュボタン３９、ＤＩＳＰ．ボタン４０等、周知の各種ボタン、スイッチが配置されている。本デジタルスチルカメラの上面および背面に配置された各種ボタン、スイッチは、デジタルスチルカメラ２０の操作部（後述の操作部１５）を構成する。

レンズ１は、沈胴式のズームレンズで構成されており、ＰＯＷＥＲ（電源）ボタン２１によりカメラの電源が投入され、モード切替スイッチ３１によりカメラのモードを撮影モードに設定することにより、デジタルカメラ２０から繰り出される。

ＬＣＤ１６は、カラー表示が可能な液晶パネルと、タッチパネルとで構成されており、再生モード時には撮影済み画像を表示するための画像表示パネルとして利用されるとともに、各種設定操作を行なう際のユーザインターフェース表示パネルとして利用され、タッチパネルによりユーザによるタップ、ドラッグ操作等の入力を受け付けることができる。また、撮影モード時には、必要に応じてライブビューが表示されて、画角確認用のファインダとして利用される。

続いて、本実施例のデジタルスチルカメラ２０の内部構成について図７を用いて説明する。図７は、デジタルスチルカメラ２０の内部構成を示すブロック図である。

図７に示すように被写体光は、まず撮影光学系１を通してＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）３に入射される。また、撮影光学系１とＣＣＤ３との間は、メカシャッタ２が配置されており、このメカシャッタ２によりＣＣＤ３への入射光を遮断することができる。なお、撮影光学系１及びメカシャッタ２は、モータドライバ６より駆動される。

ＣＣＤ３は、その撮像面に結像された光学像を電気信号に変換して、アナログの画像信号として出力する。ＣＣＤ３から出力された画像信号は、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ：相関２重サンプリング）回路４によりノイズ成分を除去され、Ａ／Ｄ変換器５によりデジタル値（ＲＧＢ）に変換された後、画像処理回路８に対して出力される。

画像処理回路８は、画像データを一時格納するＳＤＲＡＭ（ＳｙｎｃｈｒｏｎｏｕｓＤＲＡＭ）１２を用いて、ＹＣｒＣｂ変換処理や、ホワイトバランス制御処理、コントラスト補正処理、エッジ強調処理、色変換処理などの各種画像処理を行う。なお、ホワイトバランス処理は、画像情報の色濃さを調整し、コントラスト補正処理は、画像情報のコントラストを調整する画像処理である。エッジ強調処理は、画像情報のシャープネスを調整し、色変換処理は、画像情報の色合いを調整する画像処理である。また、画像処理回路８は、各種信号処理や画像処理が施された画像情報を液晶ディスプレイ１６（以下、「ＬＣＤ１６」と略記する）に表示する。

また、各種信号処理、画像処理が施された画像情報は、圧縮伸張回路１３を介して、メモリカード１４（図中、メモリと略記）に記録される。上記圧縮伸張回路１３は、操作部１５から取得した指示によって、画像処理回路８から出力される画像情報を圧縮してメモリカード１４に出力し、またメモリカード１４から読み出した画像情報を伸張して画像処理回路８に出力する回路である。

また、ＣＣＤ３、ＣＤＳ回路４及びＡ／Ｄ変換器５は、タイミング信号を発生するタイミング信号発生器７を介してＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）９によって、それらの動作タイミングが制御されている。さらに、画像処理回路８、圧縮伸張回路１３、メモリカード１４も、ＣＰＵ９によって制御されている。

また、本デジタルスチルカメラは、制御プログラムなどを格納した読み出し専用メモリであるＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１および各種の処理過程で利用するワークエリア、各種データ格納エリアなどを有する読み出し書き込み自在のメモリであるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０などを内蔵し、これらがバスラインによって相互接続されている。ＣＰＵ９は、画像処理プログラムを含む上記制御プログラムに従って各種演算処理を行うとともに、本デジタルスチルカメラの各部を制御する。

また、本実施例のデジタルスチルカメラで実行される画像処理プログラムは、上述した追尾機能を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）９が上記記憶媒体のＲＯＭ１１から画像処理プログラムを読み出して実行することにより図１に示した各部が主記憶装置となるＲＡＭ１０上にロードされ、物体追尾を行う。得られた物体追尾結果を用いて、本デジタルスチルカメラを最適に制御し、画像撮影、画像処理を行い、画像を圧縮してメモリカード１４に格納するようになっている。

続いて、本実施例のデジタルスチルカメラ２０における物体追尾にかかる処理の概要を説明する。

まず、レンズ１、ＣＣＤ３、ＣＤＳ回路４およびＡ／Ｄ変換器５を介して画像処理回路８に入力されたモニタ表示用動画像の画像データから、Δｔの時間間隔で、最新の２フレームの画像データをＳＤＲＡＭ１２に保存する。この動画像から得られた画像フレームを用いて、物体追尾を行う。

初期追尾対象領域の指定は、ここでは、デジタルスチルカメラにおいて、ユーザが指定入力したある点の座標を受け付け、その点を含む図２の（Ａ）に示したＡ０Ｂ０Ｃ０Ｄ０の矩形領域、もしくは楕円形、円形、多角形などの他の形の領域を初期追尾対象領域とする。本実施例のデジタルスチルカメラにおいては、例えば、図８に示すように、ＬＣＤ１６のタッチパネルを介して、ユーザがＬＣＤ１６に表示された画像のある点を、マウスのクリック操作に相当するタップ操作をすることにより上記座標を指定することができる。

図２（Ａ）に示すような初期追尾対象領域Ａ０Ｂ０Ｃ０Ｄ０が入力されると、画像処理プログラムに従ってＣＰＵ９は、前述のように、この領域のカラーヒストグラムを計算し、さらに式（１）を用いてカラーヒストグラムのエントロピーＥを計算し、エントロピーＥが最大になる領域を探索して、その領域を初期追尾対象領域ＡＢＣＤとする。

続いて、ＣＰＵ９は，図６に示すように、追尾結果領域の候補となる探索領域Ａ’Ｂ’Ｃ’Ｄ’のサイズと位置を変更しながら、初期追尾対象領域ＡＢＣＤと探索領域Ａ’Ｂ’Ｃ’Ｄ’のカラーヒストグラムの類似度を求める。そして、類似度の最も高い領域Ａ’Ｂ’Ｃ’Ｄ’を追尾結果領域とする。

追尾結果領域Ａ’Ｂ’Ｃ’Ｄ’が得られると、ＣＰＵ９はこの追尾結果領域Ａ’Ｂ’Ｃ’Ｄ’の情報を用いて、本実施例のデジタルスチルカメラ２０の制御を行う。例えば、初期追尾対象領域ＡＢＣＤに焦点をフォーカスする場合、後続する各画像フレームの追尾結果領域Ａ’Ｂ’Ｃ’Ｄ’に焦点を合わせ続ける。

そして、ユーザがシャッター２２を押した後入力された画像データは、画像処理回路８により所定の信号処理および画像処理が施され、これらの処理が施された画像情報は、圧縮伸張回路１３を介して、メモリカード１４に記録される。

以上、物体追尾処理を含む画像処理を実施する撮像装置の一実施例としてデジタルスチルカメラを例示し説明した。このように、前述の物体追尾装置における物体追尾の機能は、デジタルスチルカメラ等の撮像装置に適用し実施することができる。そして、この物体追尾機能をもたせたデジタルスチルカメラ等の撮像装置は、時系列の画像フレーム中の物体（被写体）の追尾に関して安定な追尾結果が得られ、追尾の成功率を高めることができるものとなる。

なお、以上において、発明を実施するための実施の形態について説明を行ったが、本発明は、上述した実施の形態に限定されるものではない。本発明の主旨を損なわない範囲で変更することが可能である。

１ レンズ（撮像光学系）
２ メカシャッタ
３ ＣＣＤ
４ ＣＤＳ回路
５ Ａ／Ｄ変換器
６ モータ
７ タイミング信号発生器
８ 画像処理回路
９ ＣＰＵ
１０ ＲＡＭ
１１ ＲＯＭ
１２ ＳＤＲＡＭ
１３ 圧縮伸長回路
１４ メモリカード
１５ 操作部
１６ ＬＣＤ（液晶ディスプレイ）
２１ ＰＯＷＥＲ（電源）ボタン
２２ シャッターボタン
２３ フラッシュ発光部
２４ ＡＦ補助光／セルフタイマーランプ
２５ レンズカバー
２６ マイク
２７ スピーカー
１０１ 画像入力部
１０２ 初期追尾対象領域指定部
１０３ 初期追尾対象領域算出部
１０３ａ 特徴量抽出部
１０３ｂ 第１の探索部
１０４ 追尾処理部
１０４ａ 類似度算出部
１０４ｂ 第２の探索部
１０５ 追尾結果出力部
１０６ 制御処理部

特開２００８‐１５３８７９号公報 特開２００９‐１０４５３号公報

Claims (10)

1. 画像入力する画像入力手段と、
   入力した時系列の画像フレームから初期追尾対象領域の指定を受け付ける指定手段と、
   前記画像フレーム内で対象とする領域における所定の特徴量を抽出する特徴量抽出手段と、
   前記初期追尾対象領域のサイズを変化させて、該変化させた領域から抽出された前記特徴量が追尾を成功させる所定の条件を満たす領域を新たな初期追尾対象領域として探索する第１の探索手段と、
   時系列の次の画像フレームにおいて、前記新たな初期追尾対象領域に類似する領域を追尾結果領域として探索する第２の探索手段と
   を備えることを特徴とする撮像装置。
2. 前記第２の探索手段による探索結果である前記追尾結果領域の情報を基に、本撮像装置の制御をする制御手段をさらに備えることを特徴とする請求項１に記載の撮像装置。
3. 前記特徴量は、画像フレームにおけるカラーヒストグラムのエントロピーであって、前記第１の探索手段は、前記エントロピーが最大となる領域を前記新たな初期追尾対象領域として探索することを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記新たな初期追尾対象領域のカラーヒストグラムと探索される領域のカラーヒストグラムとから類似度を算出する類似度算出手段をさらに備え、
   前記第２の探索手段は、前記類似度算出手段により算出された類似度を基に前記追尾結果領域を探索する
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記エントロピーの最大値が初期設定された閾値以下の場合、前記第１の探索手段は、前記第２の探索手段による探索を中止させる
   ことを特徴とする請求項３または請求項４に記載の撮像装置。
6. 撮像装置における撮像方法であって、
   画像入力手段により画像入力する工程と、
   指定手段により、入力した時系列の画像フレームから初期追尾対象領域の指定を受け付ける工程と、
   特徴量抽出手段により、前記画像フレーム内で対象とする領域における所定の特徴量を抽出する工程と、
   第１の探索手段により、前記初期追尾対象領域のサイズを変化させて、該変化させた領域から抽出された前記特徴量が追尾を成功させる所定の条件を満たす領域を新たな初期追尾対象領域として探索する工程と、
   第２の探索手段により、時系列の次の画像フレームにおいて、前記新たな初期追尾対象領域に類似する領域を追尾結果領域として探索する工程と
   を含むことを特徴とする撮像方法。
7. 制御手段により、前記第２の探索手段による探索結果である前記追尾結果領域の情報を基に、撮像装置の制御をする工程をさらに含むことを特徴とする請求項６に記載の撮像方法。
8. 前記特徴量は、画像フレームにおけるカラーヒストグラムのエントロピーであって、前記第１の探索手段により探索する工程は、前記エントロピーが最大となる領域を前記新たな初期追尾対象領域として探索する工程を含むことを特徴とする請求項６または請求項７に記載の撮像方法。
9. 類似度算出手段により、前記新たな初期追尾対象領域のカラーヒストグラムと探索される領域のカラーヒストグラムとから類似度を算出する工程をさらに含み、
   前記第２の探索手段により探索する工程、前記類似度算出手段により算出された類似度を基に前記追尾結果領域を探索する工程を含む
   ことを特徴とする請求項８に記載の撮像方法。
10. 前記第１の探索手段により探索する工程は、前記エントロピーの最大値が初期設定された第１の閾値以下の場合に、前記第２の探索手段による探索を中止させる工程を含む
    ことを特徴とする請求項８または請求項９に記載の撮像方法。

Images