JP4852652B2 - 電子ズーム装置、電子ズーム方法、及びプログラム - Google Patents

Description

本発明は、電子ズーム装置、電子ズーム方法、及びプログラムに関する。

デジタルカメラ等の撮影装置には、ズーム機能が備わっている場合が多い。一般的なズーム機能は、光学レンズの焦点距離を調整して撮影する領域の大きさを変更する光学ズームであるが、デジタルカメラのようにデジタル処理が可能な装置にはデジタルズームあるいは電子ズームと呼ばれる機能が搭載されている場合も多い。電子ズームでは、撮影により得られた画像を電子的に処理し、その画像の中の領域を抽出して拡大表示したり縮小表示したりすることができる。また、光学ズームのように、画面の中心への拡大縮小処理以外にも、任意位置への拡大縮小処理ができる。

このような電子ズームは、デジタルカメラの撮影時に、撮影領域の画像を表示画面にプレビュー表示する際、撮影後の画像を任意の表示装置で再生表示する際、などに利用される。また、電子ズームは、デジタルカメラのような撮影装置以外でも表示領域拡大機能をもつフォトフレームのような様々な表示装置で利用できる。

電子ズームに関する従来技術としては、例えば特許文献１および特許文献２に開示された技術が知られている。

特許文献１では、ビデオカメラ等の撮影装置において、撮影可能な領域の中で被写体が動く場合であっても、目的の被写体を自動的に追尾するように処理する電子ズームについて開示されている。具体的には、複数フィード間の画像の特徴量を比較して動きベクトルを検出し、被写体の動きと大きさに追従するように、電子ズーム処理と表示領域の移動とを自動的に行う。

特許文献２では、移動する被写体をテレビジョンカメラで監視する場合に、被写体の動きに自動的に追従し、被写体を常に画面の中央で拡大表示することが開示されている。具体的には、撮影可能な範囲を多数の領域に分割し、領域毎に輝度レベルや色の特徴の変化を複数フィールドについて検出し、変化を検出した領域に応じてズームの中心位置やズーム倍率を自動的に調整する。

特開平５−１３３１３３号公報 特開平１１−７５１０３号公報

ところで、近年では画像内に含まれる様々な物体を認識する技術が急速に進歩している。これにより、画像内に含まれる人物等の物体を認識するだけでなく、人物の顔の領域を認識したり、複数の人物の顔の違いを区別したり、更に顔の細かい部位についても認識したりすることが可能になりつつある。

従って、物体認識の技術と電子ズームとを組み合わせることも可能である。例えば、静止画を表示する場合に、この静止画の中で特定の人物が存在する領域を検出し、この領域を拡大表示制御（ズームイン）して、拡大された画像を表示画面の中央に表示することが可能である。

しかしながら、特許文献１および２に開示された従来技術では、追跡すべき物体が１つだけの場合を想定しており、複数の物体を追跡することはできない。従って、静止画の中で同時に複数の物体が認識された場合には、追跡対象の物体を特定するためにユーザが何らかの入力操作を行っていずれか１つの物体を選択せざるを得ず、操作性が不十分であった。

本発明は、処理対象の画像内で複数の物体／領域を認識した場合であっても、ズーム処理対象の物体を操作性良く切り替えることが可能な電子ズーム装置、電子ズーム方法、プログラムを提供することを目的とする。

本発明の電子ズーム装置は、表示画面に画像を表示する画像表示部と、前記表示画面に表示される画像内の物体を複数検出する物体検出部と、前記物体検出部により検出された物体の基準位置を検出する基準位置検出部と、前記物体検出部により検出された物体の前記表示画面に対する大きさに応じて変化する割合パラメータを算出する割合算出部と、前記割合算出部により算出された割合パラメータが所定基準を満たす第１の物体の基準位置を、ズーム中心位置として設定するズーム中心位置設定部と、前記ズーム中心位置を中心として、前記表示画面に表示される画像のズーム処理を行うズーム処理部と、を備え、前記ズーム中心位置設定部が、前記第１の物体の前記割合パラメータが前記所定基準を満たさなくなったとき、前記ズーム中心位置を、前記第１の物体の基準位置から、前記割合パラメータが前記所定基準を満たす第２の物体の基準位置へ変更する。

この電子ズーム装置によれば、処理対象の画像内で複数の物体を認識した場合であっても、ズーム処理対象の物体を操作性良く切り替えることが可能である。したがって、ユーザが表示画面を見たときに、自然なズーム処理を行うことができる。

また、本発明の電子ズーム装置は、前記割合算出部が、前記表示画面全体に対する、前記物体検出部により検出された物体の画像の割合を前記割合パラメータとして算出し、前記ズーム中心位置設定部が、前記割合算出部により算出された前記物体の画像の割合が所定割合未満である前記第１の物体の基準位置を、前記ズーム中心位置として設定し、前記第１の物体の画像の割合が前記所定割合以上となったとき、前記ズーム中心位置を、前記第１の物体の基準位置から、画像の割合が前記所定割合未満である前記第２の物体の基準位置へ変更する。

この電子ズーム装置によれば、ズーム処理時に、各物体の表示サイズの表示画面全体に対する割合に応じて、適切な物体へズーム処理対象を移行することができる。

また、本発明の電子ズーム装置は、前記第２の物体が、画像の割合が前記所定割合未満である物体の中で最大である。

この電子ズーム装置によれば、ズーム処理時に、各物体の表示サイズの変化に伴って、物体の大きさに応じた適切な物体へズーム処理対象を移行することができる。したがって、画面表示が大きく変化することなく、自然なズーム処理を行うことができる。

また、本発明の電子ズーム装置は、前記第２の物体の基準位置が前記表示画面の中心位置に最も近い。

この電子ズーム装置によれば、ズーム処理時に、各物体の表示サイズの変化に伴って、表示画面中央位置からの距離が短い物体へズーム処理対象を移行することができる。したがって、画面表示が大きく変化することなく、自然なズーム処理を行うことができる。

また、本発明の電子ズーム装置は、前記第２の物体の基準位置が前記第１の物体の領域内に位置する。

この電子ズーム装置によれば、ズーム処理時に、各物体の表示サイズの変化に伴って、第１の物体の基準位置との距離が短い物体へズーム処理対象を移行することができる。したがって、画面表示が大きく変化することなく、自然なズーム処理を行うことができる。

また、本発明の電子ズーム装置は、前記ズーム中心位置設定部が、前記物体検出部により物体が検出されない未検出状態に変化した場合、最広角状態に達するまで、前記ズーム中心位置の変更を禁止する。

この電子ズーム装置によれば、物体を検出できない状態になった場合であっても、ズーム中心位置が急に変更されることがなく、自然なズーム処理を行うことができる。

また、本発明の電子ズーム装置は、前記画像表示部が、前記ズーム中心位置設定部により前記ズーム中心位置が変更された場合、前記ズーム中心位置が変更された旨を表示する。

この電子ズーム装置によれば、表示される可視情報により、ズーム処理対象の物体を確実に把握できる。

また、本発明の電子ズーム方法は、表示画面に画像を表示する電子ズーム装置の電子ズーム方法であって、前記表示画面に表示される画像内の物体を複数検出するステップと、前記検出された物体の基準位置を検出するステップと、前記検出された物体の前記表示画面に対する大きさに応じて変化する割合パラメータを算出するステップと、前記算出された割合パラメータが所定基準を満たす第１の物体の基準位置を、ズーム中心位置として設定するステップと、前記ズーム中心位置を中心として、前記表示画面に表示される画像のズーム処理を行うステップと、前記第１の物体の前記割合パラメータが前記所定基準を満たさなくなったとき、前記ズーム中心位置を、前記第１の物体の基準位置から、前記割合パラメータが前記所定基準を満たす第２の物体の基準位置へ変更するステップと、を有する。

この電子ズーム方法によれば、処理対象の画像内で複数の物体を認識した場合であっても、ズーム処理対象の物体を操作性良く切り替えることが可能である。したがって、ユーザが表示画面を見たときに、自然なズーム処理を行うことができる。

また、本発明のプログラムは、上記電子ズーム方法の各ステップをコンピュータに実行させるためのプログラムである。

このプログラムによれば、処理対象の画像内で複数の物体を認識した場合であっても、ズーム処理対象の物体を操作性良く切り替えることが可能である。したがって、ユーザが表示画面を見たときに、自然なズーム処理を行うことができる。

本発明によれば、処理対象の画像内で複数の物体を認識した場合であっても、ズーム処理対象の物体を操作性良く切り替えることが可能である。

本発明の実施形態のデジタルカメラの主要な構成例を示すブロック図 本発明の実施形態のデジタルカメラによるズーム中心位置制御の一例を示すフローチャート 図２に示したズーム中心位置制御を行った場合の表示例を示す図 本発明の実施形態のデジタルカメラによるズーム中心位置制御の変形例１を示すフローチャート 図４に示したズーム中心位置制御を行った場合の表示例を示す図 本発明の実施形態のデジタルカメラによるズーム中心位置制御の変形例２を示すフローチャート 図６に示したズーム中心位置制御を行った場合の表示例を示す図 本発明の実施形態のデジタルカメラによるズーム中心位置制御の変形例３を示すフローチャート 図８に示したズーム中心位置制御を行った場合の表示例を示す図の具体例を表す正面図

本発明の実施形態の電子ズーム装置、電子ズーム方法、プログラムについて、図面を参照しながら以下に説明する。

本実施形態の電子ズーム装置としては、画像を撮影するデジタルカメラ、事前に撮影して得られた画像データをメモリカードなどの記録媒体から読み込んで再生し表示する画像表示装置、などが考えられる。ここでは、電子ズーム装置の一例として、デジタルカメラを想定する。

図１は、本実施形態のデジタルカメラの主要な構成例を示すブロック図である。
図１に示すデジタルカメラ１０は、画像撮影部１１、画像記憶部１２、物体検出部１３、基準位置検出部１４、割合算出部１５、中心位置変更部１６、ズーム制御部１７、操作部１８、画像表示部１９を備えている。

画像撮影部１１は、任意の被写体を含む所定の撮影範囲を撮影するために、ＣＣＤイメージセンサ等の撮像デバイスを備えている。この撮像デバイスによる撮影で得られる画像は、写真のような静止画や複数フレームの画像の集合で構成される動画の画像データとして、物体検出部１３へ出力される。

画像記憶部１２は、メモリカード等の不揮発性の記憶装置で構成されており、画像撮影部１１の撮影で得られた画像データやズーム制御部１７によりズーム処理された画像を、静止画や動画のデータとして蓄積する。

画像表示部１９は、液晶表示デバイス等を用いて構成される。画像表示部１９は、撮影対象の画像のプレビュー表示や、撮影後の画像をユーザが鑑賞するための再生表示に用いられる。例えば、画像撮影部１１から出力される画像データを、ズーム制御部１７によりズーム処理した後に画像表示部１９に入力し、リアルタイムで画像を表示することにより、撮影対象の画像をプレビュー表示することができる。また、事前に撮影され画像記憶部１２に保存された任意の画像データを画像記憶部１２から読み出し、ズーム制御部１７によりズーム処理した後に画像表示部１９に入力すれば、撮影済みの静止画や動画を再生表示することができる。

ズーム制御部１７は、処理対象の画像からその一部分を抽出して、デジタル画像処理によりズーム処理を行う電子ズーム機能を提供する。ズーム処理では、拡大表示制御（ズームイン）及び縮小表示制御（ズームアウト）の少なくとも一方が行われる。すなわち、ズーム制御部１７は、処理対象の画像の領域の中で指定された位置（ズーム中心位置）を中心として、ズーム倍率により定まる範囲を画像から抽出し、拡大及び縮小の少なくとも一方を行って出力する。ズーム制御部１７は、ズーム処理後の画像を画像表示部１９又は画像記憶部１２へ出力する。

操作部１８は、ユーザからの入力操作を受け付けるための複数の操作ボタン等を有して構成される。操作部１８には、例えばズームインボタン、ズームアウトボタン、撮影ボタン等（図９参照）が含まれる。操作部１８は、入力操作に伴い、ズームイン／ズームアウト等の指示信号をズーム制御部１７へ出力する。なお、操作部１８は、画像表示部１９の表示画面と重ねて配置されたタッチパネルであっても良い。

物体検出部１３は、画像撮影部１１又は画像記憶部１２からの画像データの内容を解析することにより、この画像の中に含まれている様々な物体を認識し、それぞれの物体の情報を基準位置検出部１４へ出力する。つまり、画像表示部１９により表示される画像内の物体を複数検出する。なお、本実施形態では、「複数の物体」には１つの物体の複数の領域の意味も含まれる。物体検出機能については、公知の様々な画像認識技術を用いて実現することができる。

例えば、物体検出部１３は、画像の中に被写体として人物が含まれる場合には、各人物の体全体の領域、各人物の顔の領域、などをそれぞれ独立した物体として認識することができる。また、物体検出部１３は、様々な種類の料理が並んだ食卓が画像中に被写体として含まれている場合には、料理全体を含む領域を１つの物体として認識したり、特定の料理だけを１つの物体として認識したりすることもできる。

また、物体検出部１３は、検出した１つ又は複数の物体のそれぞれについて、その物体の領域を表す領域情報を割合算出部１５へ出力する。領域情報には、検出された物体を囲む矩形のような所定の領域の位置や大きさを表す情報が含まれる。

基準位置検出部１４は、物体検出部１３が検出した物体のそれぞれについて、その基準位置を検出する。例えば、検出された物体を囲む領域の中心位置や、検出された物体の重心位置のように、物体の中心近傍の位置が基準位置として検出される。

割合算出部１５は、物体検出部１３が検出した物体のそれぞれについて、割合パラメータＰｘを算出する。この割合パラメータＰｘは、物体検出部１３により検出された物体の表示画面に対する大きさに応じて変化するものである。割合パラメータＰｘの一例として、画像表示部１９の表示画面全体のサイズ（高さ又は幅方向の画素数）に対する、表示画面上に表示された各物体を囲む領域の表示サイズ（高さ又は幅方向の画素数）の割合が考えられる。例えば、表示画面全体のサイズが１０００画素、物体のサイズが８５０画素の場合は、割合パラメータＰｘは０．８５になる。また、割合の算出時には、ズーム制御部１７からのズーム倍率も考慮される。割合算出部１５は、算出された割合の情報を中心位置変更部１６へ出力する。また、割合パラメータとして、表示画面全体の面積に対する物体の面積の割合も考えられる。

なお、一般的には画像表示部１９の表示画面全体のサイズが一定であるので、割合算出部１５の計算を一部省略してもよい。例えば、各物体を囲む領域の表示サイズをそのまま割合パラメータＰｘとしても良い。あるいは、表示画面全体のサイズから物体の表示サイズを差し引いた結果を割合パラメータＰｘとしても良い。

中心位置変更部１６は、物体検出部１３が検出した複数の物体のそれぞれについて、割合算出部１５からの割合パラメータＰｘを参照し、ズーム制御部１７によるズーム処理の対象となる物体（ズーム対象物）の候補（ズーム対象候補）を決定する。そして、中心位置変更部１６は、ズーム対象候補の中からズーム対象物を決定する。そして、中心位置変更部１６は、決定されたズーム対象物の基準位置を、ズーム処理を行う際の中心位置（ズーム中心位置）として、ズーム制御部１７に出力する。ズーム対象物は、物体の移動やズーム倍率の変化に伴って変更される。

つまり、中心位置変更部１６は、割合パラメータＰｘが所定基準（例えば、表示画面全体に対する物体の大きさの割合が所定割合Ｐｔｈ以下であること）を満たす物体の基準位置をズーム中心位置として設定する。例えば、所定割合Ｐｔｈが０．９と設定された場合は、割合パラメータＰｘが０．８５のとき、所定割合より小さいので、所定基準に満たすこととなる。そして、中心位置変更部１６は、ズーム中心位置に設定された基準位置を有する物体の割合パラメータが所定基準を満たさなくなったときに、ズーム中心位置を、所定基準を満たす他の物体の基準位置へ変更する。

次に、デジタルカメラ１０によるズーム中心位置制御について説明する。
図２は、デジタルカメラ１０によるズーム中心位置制御の一例を示すフローチャートである。図２に示す制御は、画像撮影部１１からリアルタイムで出力される画像を画像表示部１９でプレビュー表示する際、画像記憶部１２から読み出した画像を画像表示部１９で表示する際、などに実行される。

ステップＳ１１では、ズーム制御部１７は、ズーム中心位置を初期化する。初期化では、画像表示部１９の表示画面における中心位置をズーム中心位置に定める。また、ズーム倍率を例えば１倍にする。初期化された状態では、画像撮影部１１から出力される画像又は画像記憶部１２から読み出された画像が、ズーム処理されずに、画像表示部１９の画面上に表示される。

ステップＳ１２では、物体検出部１３は、画像撮影部１１又は画像記憶部１２から物体検出部１３に入力される画像で、画像表示部１９の表示画面に表示される画像の中から、物体を１つ以上検出したか否かを識別する。物体を検出すると次のステップＳ１３に進む。

ステップＳ１３では、物体検出部１３は、検出された物体の情報を参照する。そして、複数の物体を検出したか否かを識別する。複数の物体を検出した場合には、ズーム対象物を特定するために、ステップＳ１４に進む。一方、１つの物体のみ検出した場合には、その物体をズーム対象物に定めてステップＳ１６に進む。

ステップＳ１４では、中心位置変更部１６は、物体検出部１３が検出した複数の物体のそれぞれについて、ズーム対象候補を決定するための条件を満たすか否かを識別する。例えば、割合算出部１５から出力される割合パラメータＰｘが閾値Ｐｔｈ以下か否かを識別する。そして、「Ｐｘ≦Ｐｔｈ」の条件を満たす物体をズーム対象候補に決定する。例えば、閾値Ｐｔｈが０．８の場合には、表示画面全体のサイズに対して画面上の表示サイズが８０％以下の物体のみがズーム対象候補の条件を満たすことになり、表示サイズが８０％以上の物体はズーム対象候補から除外される。

ステップＳ１５では、中心位置変更部１６は、決定されたズーム対象候補の中から、ズーム対象物を決定する。ズーム対象候補の物体が１つだけの場合は、その候補をズーム対象物に決定する。また、ズーム対象候補が複数存在する場合には、それらの中で割合パラメータＰｘが最大の物体をズーム対象物に決定することが好ましい。これにより、Ｐｘが最大の物体は表示画面に占める割合が他の物体よりも大きいため、ズーム処理時の表示画面の変化をより滑らかにすることができる。さらに、表示サイズが同等のズーム対象候補が複数存在する場合には、それらのズーム対象候補の中で、その基準位置が表示画面の中央により近い物体を優先的にズーム対象物に決定しても良い。これにより、ズーム中心位置の変化が最低限で済むため、ズーム処理時の表示画面の変化をより滑らかにすることができる。

ステップＳ１６では、基準位置検出部１４は、中心位置変更部１６により決定されたズーム対象物の基準位置を算出する。

ステップＳ１７では、中心位置変更部１６は、基準位置検出部１４が算出した基準位置を新しいズーム中心位置として決定する。そして、このズーム中心位置の情報をズーム制御部１７に与える。ズーム制御部１７は、新しいズーム中心位置が入力されると、ズーム中心位置を中心に、指定されたズーム倍率に応じて画像をズーム処理する。ズーム制御部１７は、処理後の画像を画像表示部１９に与える。

ステップＳ１８では、中心位置変更部１６は、ズーム対象候補が変化したか否かを識別する。具体的には、ズーム倍率の変化等に伴って新たな物体がズーム対象候補に追加されたり、既存のズーム対象候補の物体が所定条件を満たさなくなったりした場合には、ズーム対象候補が変化する。ズーム対象候補に変化があった場合には、ステップＳ１３に戻り、変化がない場合には、再びステップＳ１８の処理を行う。

このような図２に示したズーム中心位置制御によれば、処理対象の画像内で複数の物体を認識した場合であっても、ズーム対象物を操作性良く切り替えることが可能である。すなわち、ズーム対象候補が複数ある場合であっても、操作部１８を介した指示を受けることなく、自動的に特定の物体をズーム対象物として追従することが可能である。

次に、画像表示部１９による具体的な表示例について説明する。
図３は、図２に示したズーム中心位置制御を行った場合の表示例を示す図である。

図３（Ａ）では、ズーム中心位置制御を開始する前の状態を示しており、画像撮影部１１から出力される画像全体がこの表示画面３１上に現れている。図３（Ａ）では一人の人物が被写体として含まれている。また、図３（Ａ）では、画像表示部１９により表示された画像全体の基準位置がズーム中心位置Ｏとされる。

図３（Ａ）のプレビュー表示が行われると、物体検出部１３が画像解析を行って、図３（Ｂ）に示すように、物体３３、３４が検出される。図３（Ｂ）では、一人の人物３２の体全体に相当する物体３３が１つの物体として検出され、更にこの人物３２の顔の領域に相当する物体３４が１つの物体として検出されている。図３（Ｂ）の例では、検出された各々の物体を囲むように、画像表示部１９により矩形の枠が描かれている。なお、矩形以外が描かれても良いし、特に枠が表示されなくてもよい。

図３（Ｂ）の画像の表示中では、人物３２の体全体を表す物体３３と、顔の領域を表す物体３４とがそれぞれズーム対象候補になり、表示サイズの大きい物体、つまり人物３２の体全体を表す物体３３がズーム対象物に指定される。そして、図３（Ｃ）に示すように、このズーム対象物の領域の中心近傍が基準位置として検出され、この位置が新たなズーム中心位置Ｏに指定される。

例えば、操作部１８のズームインボタンを操作してズーム制御部１７にズームインの指示を与えると、ズーム処理が開始される。ズームインの指示に従って、ズーム倍率は大きくなり、ズーム対象物である物体３３を含む領域が拡大され、図３（Ｄ）、（Ｅ）のように表示画面３１に表示される。ズーム対象物である物体３３の基準位置がズーム中心位置Ｏになるので、図３（Ｅ）のように表示画面３１の中央に拡大された物体３３が表示される。

一方、図３（Ｅ）の状態では、ズーム対象物である物体３３が表示画面３１全体と同等の大きさまで拡大されており、Ｐｘ≦Ｐｔｈの条件を満たさなくなることが考えられる。この場合、ズーム対象物はズーム対象候補の条件を満たさなくなり、他のズーム対象候補で当該条件を満たす物体がズーム対象物として選択される。ここでは、ズーム対象候補の条件を満たす顔の領域を表す物体３４が次のズーム対象物として選択される。

そして、図３（Ｆ）のように、顔の領域を表す物体３４の基準位置が検出され、この位置が新たなズーム中心位置Ｏに指定される。このように、ユーザが特別な操作をしなくても、状況の変化に伴ってズーム対象物が物体３４に変更され、ズーム中心位置Ｏも変更される。

更にズームインボタンの操作を繰り返すと、新たなズーム中心位置Ｏを中心にズームインが行われる。そのため、図３（Ｇ）、（Ｈ）のように変更されたズーム対象物である物体３４の中心付近が表示画面３１の中央に移動し、拡大されて表示される。

従って、表示画面３１内に認識された複数の物体が存在する場合には、いずれか１つの物体をユーザが選択操作しなくても、表示に適した物体を自動的に選択することができ、操作性が改善される。

なお、ズームアウトボタンが操作された場合には、ズーム倍率が小さくなって表示画面３１内に現れる各物体の表示サイズが変化したり、新たな物体が表示画面３１内で検出されたりすることになる。その場合、ズーム対象候補が変化するので、必要に応じてズーム対象物やズーム中心位置が変更される。例えば、図３（Ｇ）の状態からズームアウトして図３（Ｄ）の状態に変化したとき、図３（Ｇ）ではズーム対象物として物体３４が検出され、図３（Ｄ）ではズーム対象物として物体３３が検出される。このように、割合パラメータが所定基準を継続して満たしている場合であっても、状況変化に伴い、より好適な物体にズーム対象物が変更されることがある。ここでは、割合パラメータが所定割合以下である物体の中で最大であるか否かが、判断基準となっている。

また、下記のような場面を想定することもできる。

図３（Ｄ）の状態でズーム処理を終了した後、被写体の人物３２が自ら移動して画像撮影部１１に近づくと、図３（Ｅ）のように表示画面３１に表示される。図３（Ｅ）の状態では、人物３２の体全体に相当する物体３３がズーム対象物として選択されている。しかし、人物３２が画像撮影部１１に近づいたために、人物３２の表示サイズが表示画面３１全体のサイズと同等まで大きくなっている。この人物３２の体全体に相当する物体３３の割合パラメータＰｘがズーム対象候補の条件を満たさなくなると、物体３３以外の他の物体がズーム対象物として決定される。ここでは、図３（Ｅ）の表示画面３１内で検出されている物体のうち、人物３２の体全体よりも小さい顔の領域を表す物体３４が、新たにズーム対象物として選択される。したがって、図３（Ｆ）のように、物体３４の基準位置が新たなズーム中心位置Ｏに指定される。

このように、検出された物体が移動し、ズーム対象候補の条件を満たさなくなった場合であっても、操作部１８を介した指示を受けることなく、操作性良く他の物体をズーム対象物として追従することが可能である。

（変形例１）
次に、デジタルカメラ１０によるズーム中心位置制御の変形例１について説明する。
図４は、デジタルカメラ１０によるズーム中心位置制御の変形例１を示すフローチャートである。なお、図４において、図２に示したステップと同一のステップには同一の番号を付けて示してある。図４に示す制御においては、ステップＳ１４Ｂの内容が図２と異なっている。

ステップＳ１４Ｂでは、中心位置変更部１６は、既に決定されている（選択中の）ズーム対象物の領域内の物体から、ズーム対象候補を決定する。ズーム対象候補の基準位置は、物体の基準既に決定されているズーム対象物の領域内に位置する。

図５は、図４に示したズーム中心位置制御を行った場合の表示例を示す図である。

図５（Ａ）は、ズーム中心位置制御を開始する前の状態であり、画像撮影部１１から出力される画像全体がこの表示画面５１上に現れている。図５（Ａ）では、二人の人物１５２、５３が被写体として含まれている。また、図５（Ａ）の状態では、右側の人物５２の体全体に相当する物体５４と、右側の人物５２の顔の領域に相当する物体５５と、左側の人物５３の顔の領域に相当する物体５６とが、物体検出部１３によりそれぞれ検出される。

図５（Ａ）に示すプレビュー表示を行う時には、人物５２の体全体に相当する物体５４と、人物５２の顔の領域に相当する物体５５と、人物５３の顔の領域に相当する物体５６と、がそれぞれズーム対象候補になる。これらのズーム対象候補の中で、例えば表示サイズが最大の物体である人物５２の体全体に相当する物体５４が、ズーム対象物として選択される。

そして、操作部１８によりズームインの操作を行うと、図５（Ｂ）に示すように、人物５２の体全体に相当する物体５４の基準位置がズーム中心位置Ｏとして指定され、ズーム中心位置Ｏを中心としてこの物体５４が拡大されて表示される。

図５（Ａ）のように、人物５２の体全体に相当する物体５４をズーム対象物として決定した後、図５（Ｂ）のようにズームインの操作を行うと、人物５２の体全体に相当する物体５４の割合パラメータＰｘがズーム対象候補の条件を満たさなくなる。また、図５（Ａ）では、人物５２の顔の領域に相当する物体５５と、人物５３の顔の領域に相当する物体５６と、の２つが互いに同等の表示サイズで表示画面５１に現れている。この場合、図４に示した制御を行うことで、物体５２のみがズーム対象候補となり、これが新たなズーム対象物として選択される。これは、人物５２の顔の領域に相当する物体５５が、既に決定された現在のズーム対象物である人物５２の体全体の領域に相当する物体５４の内側にあるためである。従って、図５（Ｃ）に示すように人物５２の顔の領域に相当する物体５５の基準位置をズーム中心位置Ｏとしてズーム処理がされる。

一方、人物５３の顔の領域に相当する物体５６は、人物５２の体全体の領域に相当する物体５４の外側に位置するため、ズーム対象候補とはならない。従って、図４に示した制御を行う場合には、図５（Ｄ）に示すように人物５３の顔の領域に相当する物体５６をズーム中心位置Ｏとしてズーム処理がされることはない。

このように、ズームインの操作において、人物５２の体全体の領域に相当する物体５４の次には、人物５３の顔の領域に相当する物体５６ではなく、人物５２の顔の領域に相当する物体５５の基準位置がズーム中心位置として指定される。したがって、表示される物体の位置が突然大きく変化するなど、ユーザからみて不自然な表示が行われずに、より自然に見える状態でズーム処理時に追従する物体を切り替えることができる。

（変形例２）
次に、デジタルカメラ１０によるズーム中心位置制御の変形例２について説明する。
図６は、デジタルカメラ１０によるズーム中心位置制御の変形例２を示すフローチャートである。なお、図６において、図２に示したステップと同一のステップには同一の番号を付けて示してある。図６に示す制御では、ステップＳ２１、２２が追加された点が図２と異なっている。

ステップＳ２１では、ステップＳ１７の後に、物体検出部１３は、画像表示部１９により表示される画像の中に物体が１つも検出されない状態か否かを識別する。１つ以上の物体を検出中であればステップＳ１８に進み、検出物体なしであればステップＳ２２に進む。

ステップＳ２２では、ズーム制御部１７は、画像表示部１９により表示される画像が、画像撮影部１１が最も広角の状態（最広角状態）で撮影された画像であるか否かを識別する。最広角状態であればステップＳ１１に進み、最広角状態でなければステップＳ２１に進む。

従って、中心位置変更部１６は、ズーム対象物として決定されていた物体が物体検出部１３により検出されない状態となっても、最広角状態にズームアウトされるまでは、ズーム中心位置の変更を禁止することになる。これにより、ユーザからより自然に見える状態で各物体をズーム処理することができる。なお、最広角状態になると、ステップＳ１１から処理を再開するため、ズーム中心位置Ｏも初期化されることになる。

図７は、図６に示したズーム中心位置制御を行った場合の表示例を示す図である。

ここでは、図７（Ａ）のように表示画面７１にプレビュー表示し、図７（Ｂ）のように、人物７２をズーム対象物としてズームインすることを想定している。そして、人物７２のズームイン中に、図７（Ｃ）のように、何らかの原因でそれまでズーム対象物であった人物７２の体全体に相当する物体７３が、物体検出部１３により検出されない状態となることを想定している。

ズーム対象物が検出されない状態で、仮にズーム中心位置Ｏを初期状態に戻すと、つまりズーム中心位置Ｏを画像撮影部１１により撮影された画像全体の基準位置に急に戻すと、ズームインを継続した場合、図７（Ｄ）のように、初期状態のズーム中心位置Ｏを中心とした拡大画像を表示する状態に変化してしまう。つまり、デジタルカメラ１０のユーザがズーム対象物であった人物７２に注目していた場合であっても、急に他の対象物が拡大表示された状態となるので、不自然に見えることがある。

そこで、図７（Ｅ）のように、ズーム中心位置Ｏを、画像撮影部１１により撮影された画像全体の基準位置に変更するのではなく、検出されなくなったズーム対象物の基準位置に維持する。この場合、ズームインを行うと、ズーム倍率が変更され、図７（Ｆ）のようにズーム中心位置Ｏを中心として拡大表示されるが、最広角状態となるまではズーム中心位置Ｏは変更されない。一方、ズームアウトを継続して最広角状態に達すると、図７（Ｇ）のようにズーム中心位置Ｏが変更され、初期化される。

このように、図６に示したズーム中心位置制御によれば、急に表示画面に表示される画像が変化することなく、自然なズーム処理が可能である。

（変形例３）
次に、デジタルカメラ１０によるズーム中心位置制御の変形例３について説明する。
図８は、デジタルカメラ１０によるズーム中心位置制御の変形例３を示すフローチャートである。なお、図８において、図２に示したステップと同一のステップには同一の番号を付けて示してある。図８に示す制御では、ステップＳ１７の後にステップＳ３１が追加された点が図２と異なっている。

ステップＳ３１では、ズーム制御部１７の指令に応じて、画像表示部１９は、決定されたズーム対象物を囲む枠、ズームインボタン、ズームアウトボタン、移動ボタンなどを表示する。枠の形状は、例えば矩形であってもよいし、楕円形であってもよいし、その他の形状であってもよい。また、ズームインボタンは、所定倍率ずつズーム倍率を増大させるためのボタンである。ズームアウトボタンは、所定倍率ずつズーム倍率を減少させるためのボタンである。また、ズーム対象物を囲む枠の表示が変更されることは、ズーム中心位置が変更された旨を表示することに相当する。

図９は、図８に示したズーム中心位置制御を行った場合の表示例を示す図である。
なお、図９に示す例では、操作部１８の一部分がタッチパネルとして画像表示部１９の表示画面９１上に重ねて配置されている場合を想定している。この場合、ユーザは表示画面９１上に現れたボタンを操作して入力操作を行うことができる。

図９（Ａ）では、表示画面９１に、ズームインボタン９５とズームアウトボタン９６が表示されている。図９（Ｂ）では、表示画面９１に、ズームインボタン９５、ズームアウトボタン９６の他に移動ボタン９７が表示されている。図９（Ｃ）では、表示画面９１に、ズームインボタン９５、ズームアウトボタン９６、移動ボタン９７の他に移動ボタン９８も表示されている。

図９（Ａ）、図９（Ｂ）のように、表示画面９１内に人物９２が存在しない状態から存在する状態に変化した場合を想定する。この場合、表示画面９１において人物９２の体全体に相当する物体が１つの物体として検出され、人物９２の顔の領域に相当する物体も１つの物体として検出される。

すると、図９（Ｂ）に示すように、それぞれの物体を囲む矩形等の枠９３、９４が可視情報として、表示画面９１に表示される。また、ズーム制御部１７は、枠９３、９４で囲まれた各物体をズーム対象物として選択できることがユーザに分かるように、ズームインボタン９５、ズームボタン９６の表示形態（例えばアイコンのデザイン）を切り替える。また、表示画面９１には、移動ボタン９７も表示される。移動ボタン９７は、最初に決定されたズーム対象物に一気に移動するための指示を与える機能を有する。移動ボタン９７の機能を実現するために、最初に決定されたズーム対象物の基準位置やズーム倍率に関する情報が、画像記憶部１２に保存される。移動ボタン９７が押下されると、人物９２の体全体に相当する物体がズーム対象物として決定され、この物体が表示画面９１の中央に拡大された状態で表示される。

また、図９（Ｃ）では、人物９２の表示サイズが所定以上の大きさとなり、ズーム対象候補の条件を満たさなくなったため、人物９２の顔の領域に相当する物体がズーム対象物として決定される。この場合、表示画面９１に移動ボタン９８が表示される。移動ボタン９８は、１つ前に決定されたズーム対象物（ここでは人物９２の体全体に相当する物体）の表示に一気に戻る指示を与えるための機能を有する。移動ボタン９８の機能を実現するために、１つ前に選択されたズーム対象物の基準位置やズーム倍率に関する情報が、画像記憶部１２に保存される。移動ボタン９８が押下されると、人物９２の体全体に相当する物体がズーム対象物として決定され、ズーム処理がされる図９（Ｂ）の表示に切り替わる。
なお、ここでは、枠が表示される一例を示したが、枠がなくても対象物が分かる場合、枠が表示されなくても良い。

このように、図８に示したズーム中心位置制御によれば、ズーム対象物やズーム対象物の切り替えをユーザが容易に認識することができる。

本発明は、処理対象の画像内で複数の物体を認識した場合であっても、ズーム処理対象の物体を操作性良く切り替えることが可能な電子ズーム等に有用である。

１０ デジタルカメラ
１１ 画像撮影部
１２ 画像記憶部
１３ 物体検出部
１４ 基準位置検出部
１５ 割合算出部
１６ 中心位置変更部
１７ ズーム制御部
１８ 操作部
１９ 画像表示部

Claims (9)

1. 表示画面に画像を表示する画像表示部と、
   前記表示画面に表示される画像内の物体を複数検出する物体検出部と、
   前記物体検出部により検出された物体の基準位置を検出する基準位置検出部と、
   前記物体検出部により検出された物体の前記表示画面に対する大きさに応じて変化する割合パラメータを算出する割合算出部と、
   前記割合算出部により算出された割合パラメータが所定基準を満たす第１の物体の基準位置を、ズーム中心位置として設定するズーム中心位置設定部と、
   前記ズーム中心位置を中心として、前記表示画面に表示される画像のズーム処理を行うズーム処理部と、
   を備え、
   前記ズーム中心位置設定部は、前記第１の物体の前記割合パラメータが前記所定基準を満たさなくなったとき、前記ズーム中心位置を、前記第１の物体の基準位置から、前記割合パラメータが前記所定基準を満たす第２の物体の基準位置へ変更する電子ズーム装置。
2. 請求項１に記載の電子ズーム装置であって、
   前記割合算出部は、前記表示画面全体に対する、前記物体検出部により検出された物体の画像の割合を前記割合パラメータとして算出し、
   前記所定基準は、前記割合パラメータが所定割合以下であることである電子ズーム装置。
3. 請求項２に記載の電子ズーム装置であって、
   前記所定基準は、前記割合パラメータが前記所定割合以下である物体の中で最大であることである電子ズーム装置。
4. 請求項２または３に記載の電子ズーム装置であって、
   前記第２の物体は、当該物体の基準位置が前記表示画面の中心位置に最も近い電子ズーム装置。
5. 請求項１ないし４のいずれか１項に記載の電子ズーム装置であって、
   前記第２の物体は、当該物体の基準位置が前記第１の物体の領域内に位置する電子ズーム装置。
6. 請求項１ないし５のいずれか１項に記載の電子ズーム装置であって、
   前記ズーム中心位置設定部は、前記物体検出部により物体が検出されない未検出状態に変化した場合、最広角状態に達するまで、前記ズーム中心位置の変更を禁止する電子ズーム装置。
7. 請求項１ないし６のいずれか１項に記載の電子ズーム装置であって、
   前記画像表示部は、前記ズーム中心位置設定部により前記ズーム中心位置が変更された場合、前記ズーム中心位置が変更された旨を表示する電子ズーム装置。
8. 表示画面に画像を表示する電子ズーム装置の電子ズーム方法であって、
   前記表示画面に表示される画像内の物体を複数検出するステップと、
   前記検出された物体の基準位置を検出するステップと、
   前記検出された物体の前記表示画面に対する大きさに応じて変化する割合パラメータを算出するステップと、
   前記算出された割合パラメータが所定基準を満たす第１の物体の基準位置を、ズーム中心位置として設定するステップと、
   前記ズーム中心位置を中心として、前記表示画面に表示される画像のズーム処理を行うステップと、
   前記第１の物体の前記割合パラメータが前記所定基準を満たさなくなったとき、前記ズーム中心位置を、前記第１の物体の基準位置から、前記割合パラメータが前記所定基準を満たす第２の物体の基準位置へ変更するステップと、
   を有する電子ズーム方法。
9. 請求項８に記載の電子ズーム方法の各ステップをコンピュータに実行させるためのプログラム。

Images