JP5553109B2 - 画像処理装置および画像処理プログラム - Google Patents

Description

本発明は、デジタルカメラにより得られる画像データを処理する画像処理装置および画像処理プログラムに係わる。

従来より、移動する被写体を追尾する機能を備えるデジタルカメラ（または、電子カメラ）が知られている。このようなデジタルカメラは、例えば、ユーザが所望する被写体が動く場合であっても、その被写体を追尾してフォーカスを保持することができる。

従来技術の１つとして、高速でズームアップまたはズームダウンを行いつつ、ズームに伴う自動追尾の失敗を解消し、物体を安定して追尾できる自動追尾装置が知られている。この自動追尾装置は、第１物体検出部、第１ズーム制御部、第２物体検出部、テンプレートマッチング部、第２ズーム制御部を備える。第１物体検出部は、カメラによって撮影され入力された画像から物体を検出する。第１ズーム制御部は、検出された物体の大きさが画像上で所定より小さい場合、カメラのズーム倍率を変更する。第２物体検出部は、ズーム倍率が変更された後、再びカメラによって撮影された画像から物体を検出する。テンプレートマッチング部は、第２物体検出部によって検出された物体とカメラによって撮影された画像とを比較して物体の位置を特定し、画像上で物体を追跡する。第２ズーム制御部は、追跡される物体がカメラによって撮影される画像上で所定の大きさになるように、カメラのズーム倍率を制御する。（例えば、特許文献１）

また、他の従来技術として、カメラ、第１のメモリ、第２のメモリ、相関器を備える移動物体追跡装置が知られている。カメラは、ズーム機構を含む。第１のメモリは、カメラから時々刻々入力する画像信号を記憶する。第２のメモリは、第１のメモリから予め定められた追跡目標物体の画像を抽出して記憶する。相関器は、第２のメモリからの画像に最も近似する画像を第１のメモリの画像から抽出する。そして、移動物体追跡装置は、この相関器で抽出された画像を第２のメモリに追跡目標物体の新たな画像として記憶し、この記憶と前回の記憶の偏差によりカメラの角度およびズーム機構を制御する。（例えば、特許文献２）

さらに他の従来技術として、ビデオカメラで撮影された撮影画像から一部を切り出した連続画像、又は動画像をモバイル端末機に容易に表示できる画像伝送システムが知られている。この画像伝送システムは、制御用駆動装置を備えたビデオカメラと、該撮影画像データから対象動物の顔を検出して該ビデオカメラが該対象動物の顔を追跡する制御信号を生成するカメラ制御部と、該撮影画像データを補正及び編集する画像データ編集部と、該画像データ編集部によって撮影画像データの一部を切り出した連続画像又は動画像データをモバイル端末機に伝送する伝送するシステムとを具備する。そして、画像データ編集部は、該撮影画像データから該対象動物の顔部分を切り出した画像を略一定の画素数又は一定のサイズを有する画像に変換して伝送する。（例えば、特許文献３）

特開２００７−２０８４５３号公報 特開昭５９−７９８６８号公報 特開２００３−３１９３８６号公報

デジタルカメラの画像を利用して被写体を追尾する動体追尾においては、例えば、各画像フレーム上で被写体に対応する色領域が抽出される。このとき、画像フレーム上で色成分に基づいて目標被写体を抽出するためには、注目画素を基準として、隣接する画素の画素値が注目画素と同じとみなせるか否かの判定を繰り返す手順が必要となる。

他方、動体追尾の結果を利用して自動焦点制御を行うデジタルカメラにおいては、リアルタイムでの追尾が要求される。すなわち、各画像フレームにおいて目標被写体に対応する領域を抽出するための処理時間が短縮化されることが好ましい。

ところが、画像フレーム上で目標被写体が大きいときは、その目標被写体に対応する領域を抽出するための処理量が多くなる。すなわち、画像フレーム上での目標被写体の状態によっては、動体追尾に要する処理時間が長くなってしまう。

本発明の課題は、画像データを利用する動体追尾のデータ処理量を少なくすることである。

本発明の１つの態様に係る画像処理装置は、第１の画像フレームにおいて所定の条件を満たす注目領域を抽出する抽出部と、前記抽出部により抽出された注目領域の大きさに基づいて画像サイズを決定するサイズ決定部と、処理対象画像フレームを前記サイズ決定部により決定された画像サイズに変換する画像変換部、を備える。そして、前記抽出部は、前記画像変換部により変換された処理対象画像フレームにおいて前記所定の条件を満たす注目領域を抽出する。

開示の装置または方法によれば、画像データを利用する動体追尾においてデータ処理量が少なくなる。

実施形態の画像処理装置を含むデジタルカメラの構成を示す図である。 デジタルカメラによる動体追尾について説明する図である。 動体追尾部の動作の概要を説明する図である。 動体追尾部による画像処理の実施例を示す図である。 画像変換テーブルの実施例である。 動体追尾部による画像処理の他の実施例を示す図である。 動体追尾部の処理を示すフローチャートである。 他の実施形態における動体追尾部による画像処理の実施例を示す図である。 他の実施形態における動体追尾部の処理を示すフローチャート（その１）である。 他の実施形態における動体追尾部の処理を示すフローチャート（その２）である。 実施形態の画像処理装置のハードウェア構成を示す図である。

図１は、実施形態の画像処理装置を含むデジタルカメラ１の構成を示す図である。デジタルカメラ（電子カメラ）１は、画像入力部１１、制御部１２、動体追尾部１３、出力部１４を備える。

画像入力部１１は、例えば、ＣＣＤセンサまたはＣＭＯＳセンサ等の撮像素子を含み、撮影によって画像データを生成する。このとき、画像入力部１１は、所定の時間間隔で画像データを生成する。すなわち、画像入力部１１は、撮影時刻の異なる画像データを次々と生成して出力する。この時間間隔は、特に限定されるものではないが、例えば、３０フレーム／秒程度である。また、画像入力部１１は、制御部１２からのフォーカス指示に従って焦点距離を調節するフォーカス制御部２１を備えている。また、画像入力部１１は、画像データを一時的に保存する画像メモリ２２を備えている。

制御部１２は、デジタルカメラ１の動作を制御する。すなわち、制御部１２は、動体追尾部１３を起動すると共に、画像入力部１１から出力される画像データを動体追尾部１３に転送して動体追尾処理を依頼する。そして、制御部１２は、動体追尾部１３による追尾結果に基づいて、画像入力部１１に対してフォーカス指示を送る。また、制御部１２は、画像入力部１１により得られる画像データおよび動体追尾部１３による追尾結果を出力部１４に送信する。

なお、制御部１２は、他の制御動作も実行する。例えば、制御部１２は、ユーザインタフェースを提供し、ユーザからの指示に従ってデジタルカメラ１の動作を制御する。さらに、制御部１２は、デジタルカメラ１が備える各種センサを利用して、デジタルカメラ１の動作を制御するようにしてもよい。

出力部１４は、例えば液晶ディスプレイであり、画像入力部１１により得られる画像データを表示する。このとき、出力部１４は、画像入力部１１により得られる画像データに動体追尾部１３による追尾結果を重ねて表示することができる。なお、画像入力部１１により得られる画像データに追尾結果を表す画像データを合成する処理は、制御部１２により実行されてもよいし、出力部１４により実行されてもよい。また、出力部１４は、タッチパネル素子を利用して、ユーザの指示を受け付ける機能を提供するようにしてもよい。出力部１４に表示される画像データは、画像入力部１１により得られた画像データであるが、この画像データが実際に撮影された画像データとして記憶されなくても良い。すなわち、出力部１４は、画像入力部１１により得られた画像データをファインダ画像として表示できる。

動体追尾部１３は、画像入力部１１から出力される画像データを利用して、動体追尾処理を実行する。すなわち、動体追尾部１３は、画像処理装置により実現される。ここで、画像処理装置は、例えば、動体追尾手順を記述した画像処理プログラムを実行するプロセッサを含む１または複数の半導体チップにより実現される。或いは、画像処理装置は、動体追尾手順を実現するハードウェア回路により実現されてもよい。さらに、画像処理装置は、ハードウェアおよびソフトウェアを含んでもよい。

図２は、デジタルカメラ１による動体追尾について説明する図である。ここでは、画像入力部１１により時刻Ｔ、Ｔ＋１、Ｔ＋２において撮影が行われ、画像フレームｎ、ｎ＋１、ｎ＋２が生成される。このとき、出力部１４は、画像フレームｎ、ｎ＋１、ｎ＋２を順番に表示する。また、各画像フレームには、被写体Ａおよび物体Ｂに対応する画像領域が形成されている。この例では、被写体Ａは動体であり、物体Ｂは非動体である。

ユーザは、例えば、出力部１４に表示される画像を見ながら、フォーカスしたい被写体を指定するものとする。ここでは、ユーザは、被写体Ａを選択するものとする。そして、被写体Ａを選択するユーザ指示は、制御部１２により受け付けられる。そうすると、制御部１２は、このユーザ指示に応じて、画像入力部１１に対してフォーカス指示を与える。これにより、フォーカス制御部２１は、被写体Ａに焦点が合うように、焦点調整メカニズム（例えば、１または複数のレンズを含む光学系）を制御する。そして、画像入力部１１は、焦点距離が制御された状態で次の撮影を行う。なお、焦点距離が制御された状態での撮影により得られる画像データは、画像メモリ２２に格納される。また、制御部１２は、出力部１４に対して、フォーカスマークの表示を指示する。これにより、出力部１４により表示される画像において、被写体Ａに重ねてフォーカスマーク４１が表示される。

動体追尾部１３は、画像入力部１１から出力される画像データを利用して、ユーザにより指定された被写体Ａを追尾する。このとき、動体追尾部１３は、各画像フレームｎ、ｎ＋１、ｎ＋２において、それぞれ被写体Ａに対応する画像領域を検出する。そして、動体追尾部１３による追尾結果は、制御部１２に送られる。

制御部１２は、上述したように、動体追尾部１３による追尾結果に応じて画像入力部１１へフォーカス指示を送ると共に、その追尾結果を出力部１４に通知する。これにより、画像入力部１１は、被写体Ａが動いている場合であっても、被写体Ａに対するフォーカスを維持しながら撮影動作を継続することができる。また、出力部１４により表示される画像において、フォーカスマーク４１の表示位置は、被写体Ａの動きに応じて制御される。すなわち、図２に示すように、被写体Ａに対応する画像領域にフォーカスマーク４１が重ねて表示される状態が維持される。

次に、図３を参照しながら、動体追尾部１３の動作の概要を説明する。図３において、画像フレーム５１Ａ、５１Ｂ、５１Ｃは、それぞれ、画像入力部１１により生成され動体追尾部１３に入力される画像フレームである。また、画像フレーム５１Ａ、５１Ｂ、５１Ｃには、被写体５２が写っている。被写体５２は、ユーザにより指定された追尾対象物体である。

動体追尾部１３は、動体追尾を実現する画像処理方法を提供するために、画像メモリ３１、抽出部３２、サイズ決定部３３、画像変換部３４を備えている。画像メモリ３１は、画像フレームを一時的に格納する。また、動体追尾部１３は、特に図示しないが、抽出部３２、サイズ決定部３３、画像変換部３４が画像処理のための作業領域として使用するメモリを備えている。

画像入力部１１から出力される各画像フレームは、順番に、制御部１２により動体追尾部１３へ転送される。動体追尾部１３は、各入力画像フレームを画像メモリ３１に格納する。

抽出部３２は、各入力画像フレームにおいて所定の条件を満たす注目領域を抽出する。このとき、抽出部３２は、入力画像フレームにおいて、注目点を含み且つ所定の条件を満たす注目領域を抽出する。注目点は、後で詳しく説明するが、直前の画像フレームにおいて指定された画素（または、座標）である。ただし、注目点の初期値は、例えば、ユーザにより指定される。ユーザは、出力部１４に表示される画像を見ながら、フォーカスしたい被写体を指定することができる。この場合、注目点の初期値として、ユーザにより指定された被写体に対応する画像領域の中心（または、重心）が使用される。

「所定の条件」は、この例では、画素の特徴量により表わされる。画素の特長量としては、例えば、輝度成分および／または色差成分が使用される。そして、抽出部３２は、注目点の画素と同じまたは類似する特徴量を有する画素を抽出する。一例として、画素の輝度成分が０〜２５５で表わされるときに、注目点の画素の輝度成分が「２１０」であるものとする。この場合、抽出部３２は、例えば、入力画像フレームにおいて、輝度成分の値が２００から２２０の範囲にある画素を抽出する。また一例として、画素の色成分がＲＧＢのそれぞれについて０〜２５５で表わされるときに、注目点の画素のＲ成分が「１００」、Ｇ成分が「１４０」、Ｂ成分が「８５」であるものとする。この場合、抽出部２１は、例えば、入力画像フレームにおいて、Ｒ成分の値が９０から１１０の範囲、Ｇ成分が１３０から１５０の範囲、Ｂ成分が７５から９５の範囲の３つの条件を満たす画素を抽出する。また一例として、画素の色成分が輝度、彩度、色相の３成分から表されるときに、同様に各成分の範囲を決めて、その範囲の条件を満たす画素を抽出するようにしてもよい。

このとき、抽出部３２は、注目点を含む連続する画像領域を抽出する。したがって、抽出部３２は、例えば、以下の手順により注目領域を抽出する。
（１）注目点画素の特徴量を検出する。
（２）注目点の隣接画素（上、下、右、左）の特徴量と、注目点画素の特徴量との差分が閾値よりも小さければ、その隣接画素を注目領域に属する画素として抽出する。
（３）上記手順（２）により抽出された画素の隣接画素について、上記手順（２）と同様の抽出処理を行う。
（４）注目点画素の特徴量との差分が閾値よりも小さい隣接画素が検出されなくなるまで上記手順（２）〜（３）の処理を実行する。

上記手順（１）〜（４）により、入力画像フレームにおいて、注目点画素と類似する特徴量を有する連続した画素領域（すなわち、注目領域）が抽出される。ここで、注目領域の抽出は、特に限定されるものではないが、公知の方法により実現することができる。

なお、抽出部３２は、必要に応じて、入力画像フレームから注目領域を抽出する代わりに、入力画像フレームの画像サイズを変更することにより得られる変換画像フレームにおいて注目領域を抽出する。例えば、抽出部３２は、入力画像フレームを縮小することにより得られる変換画像フレームにおいて注目領域を抽出する。

動体追尾部１３は、各画像フレームにおいてそれぞれ注目領域を抽出し、追尾結果としてその注目領域の位置（すなわち、画像フレーム内の座標）を表す情報を出力する。このとき、画像フレーム上で注目領域の面積が大きいと、注目領域を形成する画素の個数が多くなるので、上述した手順（１）〜（４）の実行時間が長くなる。そこで、動体追尾部１３は、画像フレーム上での注目領域の大きさに応じて画像フレームのサイズを縮小する。そして、縮小された画像フレームにおいて注目領域が抽出される。

例えば、図３に示す画像フレーム５１Ａが動体追尾部１３に入力されたものとする。画像フレーム５１Ａにおいては、追尾対象物体である被写体５２に対応する画像領域は小さい。この場合、動体追尾部１３は、入力画像フレーム５１Ａを縮小する必要がないと判定する。すなわち、動体追尾部１３は、入力画像フレーム５１Ａのサイズを変更することなく、その入力画像フレーム５１Ａにおいて被写体５２を抽出する。

画像フレーム５１Ｂにおいては、画像フレーム５１Ａと比較すると、被写体５２に対応する画像領域は大きい。この場合、動体追尾部１３は、入力画像フレーム５１Ｂを縮小する必要があると判定する。図３に示す例では、縮小率は５０パーセントである。ここで、縮小率５０パーセントは、面積が４分の１に縮小することを意味する。そして、動体追尾部１３は、この縮小率で入力画像フレーム５１Ｂを縮小することにより得られる変換画像フレーム５３Ｂにおいて被写体５２を抽出する。

画像フレーム５１Ｃにおいては、画像フレーム５１Ｂと比較すると、被写体５２に対応する画像領域はさらに大きい。この場合、動体追尾部１３は、入力画像フレーム５１Ｃをさらに縮小する必要があると判定する。図３に示す例では、縮小率は２５パーセントである。ここで、縮小率２５パーセントは、面積が１６分の１に縮小することを意味する。そして、動体追尾部１３は、この縮小率で入力画像フレーム５１Ｃを縮小することにより得られる変換画像フレーム５３Ｃにおいて被写体５２を抽出する。

このとき、縮小率は、例えば、各画像フレームにおいて追尾対象物体に対応する画像領域の面積がほぼ一定となるように決定される。図３に示す例では、入力画像フレーム５１Ａ、変換画像フレーム５３Ｂ、５３Ｃにおいて被写体５２の画像領域が互いにほぼ同じになるように、縮小率が決定されている。

ところで、実施形態のデジタルカメラ１は、上述したように、短い時間間隔で繰り返し画像の取り込みを行う。一例としては、３０フレーム／秒である。このため、被写体が動いている場合であっても、通常、連続する２枚の画像フレーム間で、被写体領域の位置、形状、大きさが大きく変わることはない。すなわち、入力画像フレームにおいて追尾対象領域として抽出される注目領域の大きさは、直前の画像フレームにおいて抽出される注目領域とほぼ同じである。

したがって、動体追尾部１３は、入力画像フレームの注目領域の大きさに基づいてその入力画像フレームの画像サイズを決定する代わりに、直前の画像フレームの注目領域の大きさに基づいて入力画像フレームの画像サイズを決定することができる。そこで、追尾部１３は、各画像フレームにおいて注目領域の大きさに基づいて画像サイズ（すなわち、縮小率）を決定し、その画像サイズに従ってそれぞれ次の画像フレームを縮小する。あるいは、動体追尾部１３は、直前の画像フレームの注目領域の大きさに基づいて決定された縮小率で、新たな入力画像フレームを縮小する。

図３に示す例では、画像フレーム５１Ａに対して、その直前の画像フレームの注目領域の大きさに基づいて「縮小率１００％」が得られている。このため、画像フレーム５１Ａは縮小されていない。また、画像フレーム５１Ｂに対しては、その直前の画像フレームの注目領域の大きさに基づいて「縮小率５０％」が得られている。この結果、画像フレーム５１Ｂから変換画像フレーム５３Ｂが生成されている。同様に、画像フレーム５１Ｃに対しては、その直前の画像フレームの注目領域の大きさに基づいて「縮小率２５％」が得られている。したがって、画像フレーム５１Ｃから変換画像フレーム５３Ｃが生成されている。

上述の画像変換処理は、サイズ決定部３３および画像変換部３４により実行される。すなわち、サイズ決定部３３は、抽出部３２により抽出された注目領域の大きさに基づいて画像サイズを決定する。このとき、サイズ決定部３３は、画像フレーム全体に対して注目領域が占有する面積の比率に基づいて画像サイズを決定するようにしてもよい。画像サイズは、上述の例では、縮小率で表わされる。また、注目領域の大きさは、例えば、注目領域を形成する画素の個数で表わされる。

画像変換部３４は、サイズ決定部３３により決定された画像サイズに従って、処理対象画像フレームを変換する。ここで、処理対象画像フレームは、上述の例では、サイズ決定部３３が画像サイズ（すなわち、縮小率）を決定するために参照した画像フレームの次の画像フレームである。この場合、画像変換部３４は、直前の画像フレームの注目領域に基づいてサイズ決定部３３により決定された画像サイズに従って、入力画像フレームを変換する。

抽出部３２は、画像変換部３４により生成される変換画像フレームにおいて注目領域を抽出する。ただし、画像変換部３４により画像変換が行われない場合（すなわち、縮小率１００％のとき）は、抽出部３２は、入力画像フレームにおいて注目領域を抽出する。そして、抽出部３２は、追尾結果として、各画像フレーム（入力画像フレームまたは変換画像フレーム）において抽出される注目領域の位置を表す情報を出力する。

このように、実施形態の画像処理方法においては、画像フレーム上での注目領域の大きさに応じて画像フレームのサイズが制御される。例えば、被写体５２がデジタルカメラ１に接近し、画像フレーム上で被写体５２に対応する画像領域が大きくなると、画像フレームは縮小される。このとき、画像フレームの縮小に伴って、被写体５２に対応する画像領域が小さくなり、被写体５２に対応する画像領域を形成する画素数も少なくなる。したがって、被写体５２に対応する画像領域（すなわち、注目領域）を抽出するために要する時間は短縮される。よって、画像フレーム上で被写体が大きくなっても、注目領域の抽出のために要する時間はさほど長くなることはなく、リアルタイム動体追尾の実現が容易になる。

図４は、動体追尾部１３による画像処理の実施例を示す図である。図４において、画像フレームＮ、Ｎ＋１、Ｎ＋２は、動体追尾部１３への入力画像フレームである。ここで、画像フレームＮ＋１は、画像フレームＮの次の画像フレームであり、画像フレームＮ＋２は、画像フレームＮ＋１の次の画像フレームである。また、入力画像フレーム（Ｎ、Ｎ＋１、Ｎ＋２）のサイズは、４０×３２画素である。すなわち、入力画像フレームの幅は４０画素であり、その高さは３２画素である。さらに、画像フレームＮ、Ｎ＋１、Ｎ＋２上の斜線領域は、追尾対象の被写体に対応する画像領域である。この例では、被写体が、デジタルカメラ１に徐々に近づいてきており、また、デジタルカメラ１から見て右方向に移動している。

動体追尾部１３は、画像フレームのサイズを制御するために、図５に示す画像変換テーブルを備える。この実施例では、画像変換テーブルにおいて３つの縮小レベルが定義されている。縮小レベル１は、入力画像フレームのサイズを変更しない動作モードを表す。よって、縮小レベル１が設定されているときは、入力画像フレームから注目領域が抽出される。また、縮小レベル２は、入力画像フレームを２０×１６画像フレームに変換する動作モードを表す。よって、縮小レベル２が設定されているときは、入力画像フレームは２０×１６画素の変換画像フレームに変換され、その変換画像フレームから注目領域が抽出される。さらに、縮小レベル３は、入力画像フレームを１０×８画像フレームに変換する動作モードを表す。よって、縮小レベル３が設定されているときは、入力画像フレームは１０×８画素の変換画像フレームに変換され、その変換画像フレームから注目領域が抽出される。

画像変換テーブルにおいて、各縮小レベルに対して閾値１および閾値２が登録されている。閾値１および閾値２は、この例では、画素数で表わされる。閾値１は、縮小レベルを維持するか下げるかを判定するために使用される。例えば、動体追尾部１３が縮小レベル２で動作しているものとする。ここで、縮小レベル２の閾値１は「２５」である。この場合、変換画像フレームから抽出される注目領域の画素数が２５以上であれば、縮小レベル２が維持される。一方、変換画像フレームから抽出される注目領域の画素数が２５よりも少なければ、縮小レベル２から縮小レベル１への変更が行われる。

閾値２は、縮小レベルを維持するか上げるかを判定するために使用される。例えば、上述の例と同様に、動体追尾部１３が縮小レベル２で動作しているものとする。ここで、縮小レベル２の閾値２は「１００」である。この場合、変換画像フレームから抽出される注目領域の画素数が１００以下であれば、縮小レベル２が維持される。一方、変換画像フレームから抽出される注目領域の画素数が１００を超えていれば、縮小レベル２から縮小レベル３への変更が行われる。

縮小レベル１の閾値１は、「−１」である。したがって、動体追尾部１３が縮小レベル１で動作しているときは、「縮小レベルを下げる」と判定されることはない。また、縮小レベル３の閾値２は、無限大である。したがって、動体追尾部１３が縮小レベル３で動作しているときは、「縮小レベルを上げる」と判定されることはない。

なお、図５に示す画像変換テーブルは、１つの実施例である。すなわち、縮小レベルの数は、２であってもよいし、４以上であってもよい。また、変換画像フレームの幅および高さ、閾値１および閾値２の値は、図５に示す値に限定されるものではない。

図４に戻る。ここでは、画像フレームＮが入力されたときに、動体追尾部１３は縮小レベル２で動作しているものとする。この場合、画像変換部３４は、画像フレームＮを２０×１６画素の画像フレームに縮小する。これにより、変換画像フレームｎが生成される。

そうすると、抽出部３２は、変換画像フレームｎにおいて注目領域を抽出する。このとき、抽出部３２は、★印で表わされる注目点を含む注目領域を抽出する。注目点は、注目領域を抽出する処理を開始する位置または画素を表す。なお、注目点の座標は、前回の画像フレームにおいて算出されているものとする。また、抽出部３２は、変換画像フレームｎにおいて抽出した注目領域の大きさ（または、面積）を検出する。この実施例では、注目領域の大きさは「５６」である。

さらに、抽出部３２は、変換画像フレームｎにおいて抽出した注目領域の中心座標（または、重心）を算出する。算出した中心座標は、次の画像フレームにおいて注目領域を抽出するための注目点として使用される。

動体追尾部１３は、追尾結果として、抽出部３２により抽出された注目領域の位置を表す追尾対象位置情報を出力する。ただし、この注目領域は、画像フレームＮを縮小率５０％で変換することにより得られた変換画像フレームｎから抽出されている。したがって、変換画像フレームｎから抽出された注目領域の座標は、追尾対象位置情報として出力されるときは、４０×３２画素の画像フレーム上にマッピングされる。例えば、変換画像フレームｎから抽出された注目領域は長方形であり、その４角の座標が（２，２）（９，２）（２，８）（９，８）であるものとする。この場合、動体追尾部１３は、追尾対象位置情報として、座標（４，４）（１８，４）（４，１６）（１８，１６）を出力する。

続いて、動体追尾部１３に画像フレームＮ＋１が入力される。そうすると、サイズ決定部３３は、前回フレーム（すなわち、変換画像フレームｎ）において抽出された注目領域の大きさに基づいて、画像フレームＮ＋１の縮小レベルを決定する。この例では、変換画像フレームｎの注目領域の大きさは「５６」である。また、動体追尾部１３は、縮小レベル２で動作している。ここで、縮小レベル２における閾値１、２は、それぞれ「２５」「１００」である。すなわち、閾値１≦注目領域の大きさ≦閾値２である。したがって、サイズ決定部３３は、縮小レベルをそのまま維持する。すなわち、画像フレームＮ＋１の縮小レベルは「２」である。

画像変換部３４は、サイズ決定部３３により決定された縮小レベルで入力画像フレームを変換する。よって、画像変換部３４は、画像フレームＮ＋１を２０×１６画素の画像フレームに縮小する。これにより、変換画像フレームｎ＋１が生成される。

抽出部３２は、変換画像フレームｎ＋１において注目領域を抽出する。このとき、抽出部３２は、前回フレームにおいて算出された注目点を含む注目領域を抽出する。また、抽出部３２は、変換画像フレームｎ＋１において抽出した注目領域の大きさを検出する。この実施例では、注目領域の大きさは「１１０」である。さらに、抽出部３２は、次のフレームで使用する注目点として、変換画像フレームｎ＋１において抽出した注目領域の中心座標を算出する。

動体追尾部１３は、追尾結果として、抽出部３２により抽出された注目領域の位置を表す追尾対象位置情報を出力する。このとき、変換画像フレームｎ＋１から抽出された注目領域の座標は、上述のように、４０×３２画素の画像フレーム上にマッピングされる。

続いて、動体追尾部１３に画像フレームＮ＋２が入力される。そうすると、サイズ決定部３３は、前回フレーム（すなわち、変換画像フレームｎ＋１）において抽出された注目領域の大きさに基づいて、画像フレームＮ＋２の縮小レベルを決定する。この例では、変換画像フレームｎ＋１の注目領域の大きさは「１１０」である。また、動体追尾部１３は、縮小レベル２で動作している。ここで、縮小レベル２における閾値２は、上述したように「１００」である。すなわち、注目領域の大きさは閾値２よりも大きい。したがって、サイズ決定部３３は、縮小レベルを高くする。すなわち、画像フレームＮ＋２の縮小レベルは「３」と判定される。

画像変換部３４は、サイズ決定部３３により決定された縮小レベルで入力画像フレームを変換する。よって、画像変換部３４は、画像フレームＮ＋２を１０×８画素の画像フレームに縮小する。これにより、変換画像フレームｎ＋２が生成される。

抽出部３２は、変換画像フレームｎ＋２において注目領域を抽出する。このとき、抽出部３２は、前回フレームにおいて算出された注目点を含む注目領域を抽出する。ただし、画像フレームＮ＋２の縮小率は、前回フレームとは異なっている。具体的には、画像フレームＮ＋１は縮小レベル２で処理されたが、画像フレームＮ＋２は縮小レベル３で処理される。したがって、前回フレームにおいて算出された注目点（注目領域の中心座標）は、縮小率の変更に応じてサイズ決定部３３によりマッピングされる。ここで、縮小レベル２の縮小率は５０％であり、縮小レベル３の縮小率は２５％である。よって、例えば、変換画像フレームｎ＋１から抽出された注目領域の中心座標が（１０，８）であるものとすると、変換画像フレームｎ＋２で使用される注目点の座標は（５，４）となる。

また、抽出部３２は、変換画像フレームｎ＋２において抽出した注目領域の大きさを検出する。この実施例では、注目領域の大きさは「３０」である。さらに、抽出部３２は、次のフレームで使用する注目点として、変換画像フレームｎ＋２において抽出した注目領域の中心座標を算出する。

動体追尾部１３は、追尾結果として、抽出部３２により抽出された注目領域の位置を表す追尾対象位置情報を出力する。このとき、変換画像フレームｎ＋２から抽出された注目領域の座標は、４０×３２画素の画像フレーム上にマッピングされる。

このように、動体追尾部１３は、各入力画像フレームにおいて注目領域を抽出する。具体的には、動体追尾部１３は、各変換画像フレームにおいて注目領域を抽出し、抽出した注目領域を入力画像フォーマット上にマッピングしている。ここで、注目領域は、追尾対象の被写体に対応する画像領域である。したがって、上述の画像処理により、動体追尾が実現される。

また、上述の画像処理においては、画像フレーム上の注目領域の大きさに基づいて画像フレームの縮小レベルが決定される。例えば、図４に示す例では、画像フレームＮ＋１において注目領域の大きさが閾値２を超えると、以降の画像フレームの縮小レベルが高くなる。この結果、以降の画像フレームにおいて抽出される注目領域の画素数は抑制される。すなわち、入力画像フレームにおいて被写体を表す注目領域が大きくなっても、注目領域を抽出するために要する処理時間が長くなることはない。

図６は、動体追尾部１３による画像処理の他の実施例を示す図である。図６に示す実施例では、入力画像フレームにおいて、被写体を表す注目領域が徐々に小さくなっている。
この例では、画像フレームＮ＋１において、注目領域の大きさが閾値よりも小さくなっている。すなわち、変換画像フレームｎ＋１から抽出される注目領域の大きさは「２０」である。そして、このサイズは、縮小レベル３における閾値１よりも小さい。よって、縮小レベルは「３」から「２」に変更される。この結果、画像フレームＮ＋２および以降の画像フレームは、縮小レベル２で縮小されて処理される。

このように、注目領域の大きさが閾値よりも小さくなると、以降のフレームでは、変換画像フレームのサイズが大きくなる。ここで、追尾対象の被写体に対応する注目領域の大きさが小さいときは、一般に、追尾対象を見失うおそれがある。したがって、図６に示す実施例のように、注目領域の大きさに応じて縮小レベルが設定されると、画像フレーム上で追尾対象を見失う可能性が低くなる。

図７は、動体追尾部１３の処理を示すフローチャートである。このフローチャートの処理は、たとえば、デジタルカメラ１のユーザにより追尾対象が指定されたときに実行される。

ステップＳ１において、動体追尾部１３は、領域抽出開始座標としての注目点を設定する。この注目点は、例えば、ユーザにより指定された追尾対象の画像フレーム上の座標に基づいて決定される。

ステップＳ２において、動体追尾部１３は、縮小レベルの初期値として「１」を設定すると共に、縮小レベル１に対応する閾値１、２を設定する。また、動体追尾部１３は、前回領域サイズデータを初期化する。前回領域サイズデータは、前回フレームにおいて抽出された注目領域のサイズを表す。なお、前回領域サイズデータは、動体追尾部１３が備えるメモリに記録される。

ステップＳ３において、抽出部３２は、画像メモリ３１に格納されている画像フレームを読み込む。なお、画像メモリ３１には、画像入力部１１から出力される画像フレームが格納されている。また、サイズ決定部３３は、上記メモリから前回領域サイズデータを取得する。

ステップＳ４において、サイズ決定部３３は、前回領域サイズデータと閾値１とを比較する。前回領域サイズデータが閾値１よりも小さければ、サイズ決定部３３は、ステップＳ６において縮小レベルを１段階引き下げる。また、ステップＳ５において、サイズ決定部３３は、前回領域サイズデータと閾値２とを比較する。前回領域サイズデータが閾値２よりも大きければ、サイズ決定部３３は、ステップＳ７において縮小レベルを１段階引き上げる。

ステップＳ８において、サイズ決定部３３は、ステップＳ６またはＳ７における縮小レベルの変更に応じて、閾値１、２を変更する。例えば、ステップＳ７において縮小レベルが「２」から「３」に引き上げられたときは、閾値２は「１００」から「∞」に変更される。さらに、ステップＳ９においてサイズ決定部３３は、ステップＳ６またはＳ７における縮小レベルの変更に応じて、注目点のマッピングを行う。なお、ステップＳ９でマッピングされる注目点の座標は、前回フレームに対するステップＳ１２で算出されているものとする。

前回領域サイズデータが閾値１以上かつ閾値２以下であれば（ステップＳ４：Ｎｏ、ステップＳ５：Ｎｏ）、ステップＳ６〜Ｓ９はスキップされる。この場合、縮小レベルは維持される。また、前回フレームで算出された注目点のマッピングも実行されない。

ステップＳ１０において、画像変換部３４は、縮小レベルに従って、入力画像フレームから変換画像フレームを生成する。すなわち、画像変換部３４は、サイズ決定部３３により決定された縮小レベルに従って、処理対象画像フレームの画像サイズを変換する。ただし、この実施例では、動体追尾部１３が縮小レベル１で動作しているときは、画像サイズの変更は実行されない。

ステップＳ１１において、抽出部３２は、ステップＳ１０で生成される変換画像フレームにおいて、注目点を基準として注目領域を抽出する。注目点の座標は、前回フレームにおいて算出されている。なお、ステップＳ６またはＳ７において縮小サイズが変更されたときは、注目点の座標は、前回フレームにおいて算出され座標をステップＳ９でマッピングすることにより得られている。

ステップＳ１２において、抽出部３２は、抽出した注目領域に基づいて、次のフレームのための注目点の座標を算出する。次のフレームの注目点の座標は、例えば、抽出した注目領域の中心座標を算出することにより得られる。

ステップＳ１３において、抽出部３２は、ステップＳ１１で抽出した注目領域のサイズを検出する。そして、抽出部３２は、検出した注目領域のサイズを、次のフレームのための前回領域サイズデータとして設定する。注目領域のサイズは、注目領域内の画素数をカウントすることにより検出される。この後、動体追尾部１３の処理は、ステップＳ３に戻る。

図７に示すフローチャートにおいて、例えば、図６の画像フレームＮ＋１、Ｎ＋２が入力されると、以下の処理が行われる。ここで、画像フレームＮ＋１に対してステップＳ１０〜Ｓ１３が実行されるものとする。すなわち、ステップＳ１０において、画像フレームＮ＋１から変換画像フレームｎ＋１が生成される。ステップＳ１１において、変換画像フレームｎ＋１において注目領域が抽出される。ステップＳ１２において、抽出された注目領域の中心座標を算出することにより、次の画像フレームの注目点が決定される。ステップＳ１３において、抽出された注目領域のサイズが検出される。ここでは、注目領域のサイズは「２０」である。そして、この値が、前回領域サイズデータとして保存される。

続いて、画像フレームＮ＋２に対してステップＳ３〜Ｓ１３の処理が実行される。ここで、画像フレームＮ＋２が入力されたときの縮小レベルは「３」である。また、変換画像フレームｎ＋１の注目領域のサイズを表す前回領域サイズデータは「２０」である。すなわち、前回領域サイズデータは、縮小レベル３の閾値１よりも小さい。したがって、ステップＳ４において「Ｙｅｓ」と判定され、ステップＳ６において縮小レベルが「３」から「２」に引き下げられる。さらに、前回フレーム（すなわち、変換画像フレームｎ＋１）で算出された注目点の座標は、ステップＳ９において、縮小レベル３から縮小レベル２への変更に応じてマッピングされる。この後、ステップＳ１０〜Ｓ１３において、変換画像フレームｎ＋２から注目領域が抽出され、次の画像フレームのための注目点の座標が算出され、注目領域のサイズが検出される。

このように、動体追尾部１３は、各画像フレームに対してステップＳ３〜Ｓ１３の処理を実行する。そして、各画像フレームについてステップＳ１１で抽出される注目領域が、追尾対象領域として出力される。これにより、動体追尾が実現される。

なお、図７のフローチャートに示す手順では、入力画像フレームの処理時に、前回フレームの注目領域のサイズに基づいて、その入力画像フレームの縮小レベルが決定される。しかし、実施形態の画像処理方法は、この手順に限定されるものではない。すなわち、例えば、入力画像フレームにおいて注目領域を抽出したときに、その注目領域のサイズに基づいて次の画像フレームの縮小レベルを決定するようにしてもよい。

＜他の実施形態＞
上述のように、図４〜図７に示す実施形態においては、前回フレームの注目領域の大きさに基づいて、入力画像フレームの縮小レベルが決定される。これに対して、以下に説明する他の実施形態では、入力画像フレームの注目領域の大きさに基づいて、その入力画像フレームの縮小レベルが決定される。

他の実施形態においては、サイズ決定部３３は、例えば、抽出部３２が入力画像フレーム（または、変換画像フレーム）において注目領域を抽出する抽出処理の途中で注目領域の大きさが閾値サイズを超えると判定したときは、抽出部３２による抽出処理が終了する前に、新たな画像サイズを決定する。また、画像変換部３４は、上述の入力画像フレーム（または、変換画像フレーム）を、サイズ決定部３３により決定された新たな画像サイズに変換する。そして、抽出部３２は、画像変換部３４により変換された画像フレームにおいて注目領域を抽出する。

図８は、他の実施形態における画像処理の実施例を示す図である。ここでは、動体追尾部１３に画像フレームＮ、Ｎ＋１が入力されるものとする。画像フレームＮ＋１は、画像フレームＮの次の画像フレームである。そして、この例では、被写体が、デジタルカメラ１に急速に近づいてきている。

画像フレームＮが入力されると、動体追尾部１３は、図４〜図７を参照しながら説明した手順と同様の画像処理を行う。すなわち、画像変換部３４は、画像フレームＮを縮小することにより変換画像フレームｎを生成する。このとき、縮小レベルは「２」であるものとする。また、抽出部３２は、変換画像フレームｎにおいて注目領域を抽出し、その注目領域の大きさを検出する。この例では、注目領域の大きさは「５６」である。さらに、抽出部３２は、次のフレームのための注目点の座標を算出する。

続いて、画像フレームＮ＋１が入力されると、動体追尾部１３は、図４〜図７を参照しながら説明した手順と同様の画像処理を行う。すなわち、サイズ検出部３３は、前回フレーム（すなわち、変換画像フレームｎ）の注目領域の大きさに基づいて縮小レベルを判定する。この例では、注目領域の大きさが閾値１以上かつ閾値２以下であるので、縮小レベル２が維持される。そうすると、画像変換部３４は、画像フレームＮ＋１を縮小することにより変換画像フレームｎ＋１を生成する。

抽出部３２は、前回フレームにおいて算出された注目点を基準として、注目領域の抽出を開始する。注目領域は、上述したように、注目点に近い画素から順番に、注目点画素と近い特徴量（例えば、色成分）を有する隣接画素を抽出することで検出される。このとき、抽出部３２は、注目点画素と近い特徴量（例えば、色成分）を有する隣接画素を抽出する毎に、領域カウンタをカウントアップしてゆく。

図８に示す例では、変換画像フレームｎ＋１における注目領域は、１３×１１画素に渡って広がっている。すなわち、注目領域の画素数は、１４３である。そして、抽出部３２は、注目点に近い画素から順番に、注目領域に属する画素を抽出している。このとき、抽出部３２は、領域カウンタを利用して、抽出した画素の数をカウントしている。

サイズ決定部３３は、領域カウンタが閾値２に達するか否かをモニタする。そして、領域カウンタが閾値２に達すると、抽出部３２は、サイズ決定部３３からの通知に応じて、注目領域を抽出する処理を停止する。また、サイズ決定部３３は、縮小レベルを引き上げる。ここで、縮小レベル２の閾値２は「１００」である。よって、図８に示すように、抽出部３２により抽出される画素の数が１００に達すると、抽出部３２は抽出処理を停止する。また、サイズ決定部３３により、縮小レベルは「２」から「３」に変更される。

続いて、画像変換部３４は、サイズ決定部３３により決定された縮小レベルで変換画像フレームｎ＋１をさらに変換する。これにより、１０×８画素の画像フレームＸが生成される。なお、画像変換部３４は、入力画像フレームＮ＋１から１０×８画素の画像フレームＸを生成してもよい。

この後、動体追尾部１３は、画像フレームＸに対して下記の画像処理を行う。抽出部３２は、画像フレームＸから注目領域を抽出する。この注目領域は、追尾結果として出力される際には、４０×３２画素の画像フレーム上にマッピングされる。さらに、抽出部３２は、画像フレームＸから抽出した注目領域を利用して、次の画像フレームのための注目点の座標を算出する。

このように、他の実施形態においては、注目領域の抽出処理の途中で、その注目領域の大きさが閾値２を超えると見込まれる場合は、抽出処理はいったん停止され、画像フレームがさらに縮小される。そして、その縮小画像フレームにおいて注目領域を抽出する処理が実行される。このため、注目領域を抽出するための処理時間が短縮される。

例えば、図８に示す例では、変換画像フレームｎ＋１において注目領域から１００個の画素が抽出された時点で、変換画像フレームｎ＋１に対する画像処理は終了する。すなわち、残りの４３個の画素を抽出する処理に要する時間が節約される。この後、画像フレームＸにおいて注目領域に属する３０個の画素が抽出される。このとき、画像フレームｎ＋１において残りの４３個の画素を抽出するための処理時間よりも、画像フレームＸにおいて注目領域に属する３０個の画素を抽出するための処理時間の方が短いものとすると、画像フレームＮ＋１の注目領域を抽出するための処理時間は短縮されることになる。

図９Ａ〜図９Ｂは、他の実施形態における動体追尾部の処理を示すフローチャートである。このフローチャートの処理は、図７に示す手順と同様に、例えば、デジタルカメラ１のユーザにより追尾対象が指定されたときに実行される。

他の実施形態の手順は、基本的には、図７に示すステップＳ１〜Ｓ１３と同じである。ただし、他の実施形態では、図７に示すステップＳ５およびＳ７は実行されない。また、他の実施形態では、図７に示すステップＳ１１の代わりにステップＳ２０が実行される。ステップＳ２０においては、ステップＳ１１と同様に、注目領域が抽出されるが、詳しくは図９Ｂに示すステップＳ２１〜Ｓ２８が実行される。また、ステップＳ２０は、抽出部３２、サイズ決定部３３、画像変換部３４が連携して動作することにより実現される。

ステップＳ２１においては、抽出部３２は、領域カウンタを初期化する。すなわち、領域カウンタにゼロが書き込まれる。領域カウンタは、抽出部３２により検出される画素の数をカウントする。

ステップＳ２２において、抽出部３２は、注目領域の抽出が完了したか判定する。ここで、抽出部３２は、上述した手順（１）〜（４）で隣接画素を抽出する。したがって、ステップＳ２２では、一例としては、注目点画素の特徴量との差分が閾値よりも小さい隣接画素が存在するか否かが判定される。そして、注目領域の抽出が完了していれば、ステップＳ２０の処理は終了する。

注目領域の抽出が完了していなければ、ステップＳ２３において、抽出部３２は、注目領域内の画素を１つ抽出し、領域カウンタを１だけカウントアップする。続いて、ステップＳ２４において、抽出部３２は、領域カウンタが閾値２以上であるか否かを判定する。そして、領域カウンタが閾値２以上であれば、処理はステップＳ２５に移行する。一方、領域カウンタが閾値２よりも小さければ、処理はステップＳ２２に戻る。このように、抽出部３２は、領域カウンタが閾値２に達するまで注目領域内の画素を１つずつ抽出してゆく。ただし、領域カウンタが閾値２に達することなく注目領域内のすべての画素が抽出されたときは、ステップＳ２０の処理は終了する。

ステップＳ２５において、サイズ決定部３３は、縮小レベルを１段階引き上げる。ステップＳ２６〜Ｓ２７は、ステップＳ８〜Ｓ９と同じである。すなわち、縮小レベルの変更に応じて閾値１、２が更新され、また、注目点の座標がマッピングされる。

ステップＳ２８において、画像変換部３４は、ステップＳ２５で新たに決定された縮小レベルに応じて、画像フレームをさらに縮小する。この後、動体追尾部１３の処理はステップＳ２１に戻る。したがって、動体追尾部１３は、ステップＳ２８で新たに生成された縮小画像フレームから注目領域を抽出する処理を開始する。

以下、図９Ａ〜図９Ｂに示す手順で図８に示す画像フレームＮ＋１を処理する実施例を説明する。ここでは、画像フレームＮ＋１が入力されたとき、動体追尾部１３は縮小レベル２で動作しているものとする。また、前回フレーム（すなわち、変換画像フレームｎ）の注目領域の大きさは「５６」である。したがって、前回領域サイズデータは「５６」である。

ステップＳ３において画像データＮ＋１が読み込まれる。このとき、前回領域サイズデータは「５６」であり、縮小レベル２の閾値１（＝２５）よりも大きいので、ステップＳ６、Ｓ８、Ｓ９は実行されることなく、ステップＳ１０が実行される。

ステップＳ１０において、画像フレームＮ＋１は、縮小レベル２に従って変換され、変換画像フレームｎ＋１が生成される。続いて、この変換画像フレームｎ＋１に対してステップＳ２０の処理が実行される。すなわち、図９Ｂに示すステップＳ２１〜Ｓ２８が実行される。

ステップＳ２２〜Ｓ２４では、変換画像フレームｎ＋１において注目領域を形成する画素が抽出され、領域カウンタがカウントアップされる。そして、この領域カウンタが「１００」に達すると、ステップＳ２５において、縮小レベルが「２」から「３」に引き上げられる。さらに、ステップＳ２７でマッピングされた注目点を利用して、ステップＳ２８において、画像フレームＮ＋１または変換画像フレームｎ＋１から画像フレームＸが生成される。

この後、画像フレームＸに対してステップＳ２２〜Ｓ２４の処理が実行される。このとき、画像フレームＸの注目領域の画素数は「３０」であり、縮小レベル３の閾値２よりも少ない。したがって、ステップＳ２２〜Ｓ２４が繰り返し実行されたとき、ステップＳ２４で「Ｙｅｓ」と判定されることなく、注目領域のすべての画素が抽出され、ステップＳ２０の処理は終了する。さらに、図９ＡのステップＳ１２〜Ｓ１３が実行され、画像フレームＮ＋１に対する画像処理は終了する。

なお、図８〜図９Ｂに示す方法では、領域カウンタが閾値２に達したことに伴って画像フレームが縮小されると（ステップＳ２４〜Ｓ２８）、縮小画像フレームにおいて注目領域が最初から抽出される。しかし、他の実施形態は、これに限定されるものではない。すなわち、例えば、領域カウンタが閾値２に達したときの状態情報を、縮小画像フレームに引き継ぐようにしてもよい。例えば、図８に示す例では、変換画像フレームＮ＋１において注目領域内の画素として１００個の画素が抽出されている。この場合、まず、変換画像フレームＮ＋１において抽出された１００個の画素に対応する領域を、画像フレームＸにマッピングする。続いて、画像フレームＸにおいて、変換画像フレームＮ＋１からマッピングされた領域を注目領域の一部として設定する。そして、画像フレームＸにおいて、残りの注目領域を抽出する。この方法によれば、図８〜図９Ｂに示す方法により、注目領域を抽出するための処理時間がさらに短縮される。

＜その他＞
図４〜図７に示す例では、ある画像フレームの注目領域の大きさに基づいてその次の画像フレームの画像サイズが決定される。また、図８〜図９Ｂに示す例では、ある画像フレームの注目領域の大きさに基づいてその画像フレームの画像サイズが決定される。しかしながら、発明に係る画像処理方法は、これらに限定されるものではない。すなわち、ある画像フレームの注目領域の大きさに基づいてその画像フレームから２フレーム以上後の画像フレームの画像サイズが決定されるようにしてもよい。或いは、リアルタイム処理が要求されないときは、ある画像フレームの注目領域の大きさに基づいてその画像フレームよりも前の画像フレームの画像サイズが決定されるようにしてもよい。

また、上述の実施例では、画素の特徴量（例えば、色成分）を利用して注目領域が抽出されるが、他の方法で注目領域を抽出してもよい。例えば、発明の画像処理方法は、追尾対象の輪郭の形状を利用して各画像フレームから注目領域を検出する場合にも適用可能である。

さらに、上述の実施例では、実施形態に係る画像処理装置は、デジタルカメラ内に設けられているが、デジタルカメラの外部に設けられてもよい。すなわち、実施形態に係る画像処理装置は、例えば、サーバコンピュータに設けられる。この場合、デジタルカメラから出力される画像データはサーバコンピュータへ送信される。そうすると、サーバコンピュータは、動体追尾処理を実行し、その結果をデジタルカメラへ返送する。そして、デジタルカメラは、サーバコンピュータから受信した追尾結果に応じて、例えば、焦点距離を制御する。

＜ハードウェア構成＞
図１０は、各実施形態の画像処理装置のハードウェア構成を示す図である。図１０において、ＣＰＵ１０１は、メモリ１０３を利用して画像処理プログラムを実行する。記憶装置１０２は、画像処理プログラムを格納する。なお、記憶装置１０２は、外部記憶装置であってもよい。メモリ１０３は、例えば半導体メモリであり、ＲＡＭ領域およびＲＯＭ領域を含んで構成される。また、メモリ１０３は、例えば、画像フレームを一時的に格納するために使用されてもよい。このように、実施形態の画像処理装置は、プロセッサおよびメモリを含むコンピュータ（または、プロセッサシステム）により実現される。

読み取り装置１０４は、ＣＰＵ１０１の指示に従って可搬型記録媒体１０５にアクセスする。可搬型記録媒体１０５は、例えば、半導体デバイス、磁気的作用により情報が入出力される媒体、光学的作用により情報が入出力される媒体を含むものとする。通信インタフェース１０６は、ＣＰＵ１０１の指示に従って、ネットワークを介してデータを送受信する。入出力装置１０７は、この実施例では、表示装置、ユーザからの指示を受け付けるデバイス等に相当する。ただし、実施形態の画像処理装置は、通信インタフェース１０６および／または入出力装置１０７を含まなくてもよい。

実施形態に係わる画像処理プログラムは、例えば、下記の形態で提供される。
（１）記憶装置１０２に予めインストールされている。
（２）可搬型記録媒体１０５により提供される。
（３）プログラムサーバ１１０からダウンロードする。
そして、上記構成のコンピュータで画像処理プログラムを実行することにより、実施形態に係わる動体追尾部１３（すなわち、抽出部３２、サイズ決定部３３、画像変換部３４）の少なくとも一部が実現される。

Claims (10)

1. 第１の画像フレームにおいて所定の条件を満たす注目領域を抽出する抽出部と、
   前記抽出部により抽出された注目領域の大きさに基づいて画像サイズを決定するサイズ決定部と、
   前記第１の画像フレームとは異なる処理対象画像フレームを前記サイズ決定部により決定された画像サイズに変換する画像変換部、を備え、
   前記抽出部は、前記画像変換部により変換された処理対象画像フレームにおいて前記所定の条件を満たす注目領域を抽出する
   ことを特徴とする画像処理装置。
2. 前記画像変換部は、前記第１の画像フレームよりも後の撮影時刻に得られた第２の画像フレームを前記サイズ決定部により決定された画像サイズに変換し、
   前記抽出部は、前記画像変換部により変換された前記第２の画像フレームにおいて前記所定の条件を満たす注目領域を抽出する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像変換部は、前記第１の画像フレームの次の撮影時刻に得られる第２の画像フレームを前記サイズ決定部により決定された画像サイズに変換し、
   前記抽出部は、前記画像変換部により変換された前記第２の画像フレームにおいて前記所定の条件を満たす注目領域を抽出する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 入力画像フレームにおいて所定の条件を満たす注目領域を抽出する抽出部と、
   前記抽出部により抽出された注目領域の大きさに基づいて画像サイズを決定するサイズ決定部と、
   前記入力画像フレームを前記サイズ決定部により決定された画像サイズに変換する画像変換部、を備え、
   前記サイズ決定部は、前記抽出部が前記入力画像フレームにおいて前記注目領域を抽出する抽出処理の途中で前記注目領域の大きさが閾値サイズを超えると判定したときは、前記抽出部による前記抽出処理が終了する前に前記画像サイズを決定し、
   前記画像変換部は、前記入力画像フレームを前記サイズ決定部により決定された画像サイズに変換し、
   前記抽出部は、前記画像変換部により変換された前記入力画像フレームにおいて前記所定の条件を満たす注目領域を抽出する
   ことを特徴とする画像処理装置。
5. コンピュータに、
   第１の画像フレームにおいて所定の条件を満たす注目領域を抽出する工程、
   前記注目領域の大きさに基づいて画像サイズを決定する工程、
   前記第１の画像フレームとは異なる処理対象画像フレームを前記画像サイズに変換する工程、
   前記画像サイズに変換された処理対象画像フレームにおいて前記所定の条件を満たす注目領域を抽出する工程、
   を実行させることを特徴とする画像処理プログラム。
6. 前記変換する工程は、前記第１の画像フレームの次の撮影時刻に得られる第２の画像フレームを前記決定する工程で決定された画像サイズに変換し、
   前記抽出する工程は、前記変換する工程で変換された前記第２の画像フレームにおいて前記所定の条件を満たす注目領域を抽出する
   ことを特徴とする請求項５に記載の画像処理プログラム。
7. コンピュータに、
   入力画像フレームにおいて所定の条件を満たす注目領域を抽出する工程、
   前記注目領域の大きさに基づいて画像サイズを決定する工程、
   前記入力画像フレームを前記画像サイズに変換する工程、
   前記画像サイズに変換された入力画像フレームにおいて前記所定の条件を満たす注目領域を抽出する工程、を実行させるプログラムであり、
   前記決定する工程は、前記抽出する工程で前記入力画像フレームにおいて前記注目領域を抽出する抽出処理の途中で前記注目領域の大きさが閾値サイズを超えるか否か判定し、
   前記注目領域を抽出する抽出処理の途中で前記注目領域の大きさが前記閾値サイズを超えると判定される場合、
   前記決定する工程は、前記抽出処理が終了する前に前記画像サイズを決定し、
   前記変換する工程は、前記入力画像フレームを前記抽出処理が終了する前に決定された画像サイズに変換し、
   前記抽出する工程は、前記抽出処理が終了する前に決定された画像サイズに変換された前記入力画像フレームにおいて前記所定の条件を満たす注目領域を抽出する
   ことを特徴とする画像処理プログラム。
8. 画像入力部と、
   前記画像入力部を制御する制御部と、
   前記画像入力部による生成された第１の画像フレームにおいて所定の条件を満たす注目領域を抽出する抽出部と、
   前記抽出部により抽出された注目領域の大きさに基づいて画像サイズを決定するサイズ決定部と、
   前記第１の画像フレームとは異なる処理対象画像フレームを前記サイズ決定部により決定された画像サイズに変換する画像変換部と、を備え、
   前記抽出部は、前記画像変換部により変換された処理対象画像フレームにおいて前記所定の条件を満たす注目領域を抽出し、
   前記制御部は、前記処理対象画像フレームにおいて抽出された注目領域に焦点を合わせるように前記画像入力部を制御する
   ことを特徴とするデジタルカメラ。
9. 前記画像変換部は、前記第１の画像フレームの次の撮影時刻に得られる第２の画像フレームを前記サイズ決定部により決定された画像サイズに変換し、
   前記抽出部は、前記画像変換部により変換された前記第２の画像フレームにおいて前記所定の条件を満たす注目領域を抽出する
   ことを特徴とする請求項８に記載のデジタルカメラ。
10. 画像入力部と、
    前記画像入力部を制御する制御部と、
    入力画像フレームにおいて所定の条件を満たす注目領域を抽出する抽出部と、
    前記抽出部により抽出された注目領域の大きさに基づいて画像サイズを決定するサイズ決定部と、
    前記入力画像フレームを前記サイズ決定部により決定された画像サイズに変換する画像変換部、を備え、
    前記サイズ決定部は、前記抽出部が前記入力画像フレームにおいて前記注目領域を抽出する抽出処理の途中で前記注目領域の大きさが閾値サイズを超えると判定したときは、前記抽出部による前記抽出処理が終了する前に前記画像サイズを決定し、
    前記画像変換部は、前記入力画像フレームを前記サイズ決定部により決定された画像サイズに変換し、
    前記抽出部は、前記画像変換部により変換された前記入力画像フレームにおいて前記所定の条件を満たす注目領域を抽出し、
    前記制御部は、前記入力画像フレームにおいて抽出された注目領域に焦点を合わせるように前記画像入力部を制御する
    ことを特徴とするデジタルカメラ。

Images