JP5459031B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、例えば、表示部に被写体の画像を表示させ、この被写体を撮像する撮像装置等に適用して好適な情報処理装置、情報処理方法及びプログラムに関する。

近年、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置は、被写体をその場で確認できるようにするため、液晶ディスプレイパネル等の表示部を備えるものが多い。ところで、撮像装置には、撮影時のフォーカス（焦点）を自動で合わせる機能（オートフォーカス：ＡＦ）があるが、このオートフォーカスを行う位置（被写体）を、表示部に実装されたタッチパネルをタッチすることで指定できる機種がある。

例えば、ユーザが２次元タッチパッドの検出面をタッチし、２次元タッチパッドから得られる被写体の座標信号に応じてフォーカスを合わせるためのＡＦエリア（評価枠）の位置を調整する技術がある（例えば、特許文献１参照。）。

特開平１０−１７３９８０号公報

しかしながら、特許文献１に記載の技術では、ＡＦエリアの位置を一定の範囲に固定された評価枠を移動させて指定しており、その評価枠内でさらにフォーカスを合わせる位置（被写体）や評価枠の範囲等を詳細に指定することはできなかった。ここでは特許文献１に記載の評価枠を例示したが、従来、画像に対して所定の画像処理を行うために設けられる枠（以下、「検波枠」という）の位置や範囲等を、詳細に調整することはできなかった。

本発明は、上記の状況に鑑みてなされたものであり、簡単な操作により、表示部に表示された画像に対して検波枠の範囲を制御できるようにするものである。

本発明は、まず撮像部より出力される画像信号を表示する表示部に対して、指示物体が付与する圧力の強さを撮像装置が備える圧力検出部により検出する。そして、圧力検出部より検出される圧力の強さに応じて、表示部に表示される画像に対して設定される検波枠の範囲を撮像装置が備える制御部により制御することを特徴とする。
一例として、表示部に対して指示物体が付与する圧力の強さが増加するにつれて、検波枠の範囲が縮小するように制御する。例えば、検出される圧力の強さが閾値以上で段階的に増加するとき、その圧力の強さの段階的な増加に合わせて検波枠の範囲を段階的に縮小するようにする。

本発明の構成によれば、指示物体が表示部に付与する圧力が検出され、その検出された圧力の強さに応じて、表示部に表示される画像に対して設定される検波枠の範囲が制御される。

本発明によれば、表示部に対して指示部材を押し込む等の簡単な操作により、表示部に表示された画像に対して検波枠の範囲を調整することができる。

本発明の第１の実施の形態における撮像装置の内部構成例を示すブロック図である。 本発明の第１の実施の形態における制御部の内部構成例を示すブロック図である。 本発明の第１の実施の形態におけるフォーカス枠を変更する場合の操作例を示す説明図である。 本発明の第１の実施の形態における座標取得部が座標を取得する処理の例を示すフローチャートである。 本発明の第１の実施の形態における、タッチパネルから指示物体が離されたときの制御部によるオートフォーカス処理の例を示すフローチャートである。 本発明の第１の実施の形態における、タッチパネルに対する指示物体の圧力が変化したときの枠決定部によるフォーカス枠の変更処理の例を示すフローチャートである。 本発明の第１の実施の形態における、フォーカス枠内に物体が検出された場合の枠決定部によるフォーカス枠の変更処理の概要を示す説明図である。 本発明の第１の実施の形態における、フォーカス枠内に物体がある場合の枠決定部によるフォーカス枠の縮小方法を示す説明図（その１）である。 本発明の第１の実施の形態における、フォーカス枠内に物体がない場合の枠決定部によるフォーカス枠の縮小方法を示す説明図（その２）である。 本発明の第１の実施の形態における、フォーカス枠内に物体がない場合の枠決定部によるフォーカス枠の変更処理の概要を示す説明図である。 本発明の第１の実施の形態における、フォーカス枠内に物体がない場合の圧力とフォーカス枠の範囲の関係を示すグラフ（１）である。 本発明の第１の実施の形態における、フォーカス枠内に物体がない場合の圧力とフォーカス枠の範囲の関係を示すグラフ（２）である。 本発明の第２の実施の形態におけるフォーカス枠を変更する場合の操作例を示す説明図である。

以下、本発明を実施するための形態の例について、添付図面を参照しながら説明する。なお、説明は下記項目の順に行う。
１．第１の実施の形態（枠決定部：圧力に応じて検波枠の範囲を変更する例）
２．第２の実施の形態（枠決定部：検波枠を固定して被写体の大きさを変更する例）
３．変形例（枠決定部：操作方法を変えて検波枠の範囲を指定する例）

＜１．第１の実施の形態＞
［撮像装置の構成例］
以下、本発明の一実施の形態について、添付図面を参照して説明する。本実施の形態では、タッチパネルを介して入力操作が可能な撮像装置１００に適用した例について説明する。

図１は、撮像装置１００の内部構成例を示すブロック図である。
撮像装置１００は、複数のレンズ、メカシャッター、絞り等を含み、被写体の像光を透過する光学系２を介して撮像素子４に結像した像光を画像信号として出力する撮像部１を備える。撮像部１は、光学系２と、光学系２を介して透過する像光のシャッタ動作を行うシャッタ／アイリス３と、結像した像光からアナログ画像信号を出力する撮像素子４と、を備える。撮像素子４には、例えば、ＣＣＤ（Charge Coupled Devices）イメージャまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサが用いられる。

また、撮像装置１００は、撮像素子４から入力するアナログ画像信号のゲインや露出を調整して、デジタル画像信号に変換するフロントエンド部５と、フロントエンド部５から出力されたデジタル画像信号に所定の信号処理を施すＤＳＰ６と、を備える。ＤＳＰ（Digital Signal Processor）６は、画像処理に用いるＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）７を備え、変数、パラメータ等を適宜ＳＤＲＡＭ７に書込み、読み出しを行う。

また、撮像装置１００は、各種のデータを一時的に保存するワーク領域として用いるＲＡＭ８と、フラッシュメモリ等の記録メディア１０に対して、デジタル画像信号から得た画像の書込み又は読み出しを制御するメディアインタフェース９と、を備える。記録メディア１０には、例えば半導体メモリを用いたメモリカードが用いられる。また、撮像装置１００は、ＵＳＢケーブルを介して接続された不図示のコンピュータ装置に画像を出力したり、取込んだりする処理を制御するネットワークインタフェース１１を備える。

また、撮像装置１００は、各処理ブロックの動作を制御する制御部１５と、プログラム等を記憶するＲＯＭ１６を備える。また、撮像装置１００は、デジタル画像信号に基づいて表示部１８に画像を表示する表示制御部１７と、表示制御部１７に接続され、画像を外部のモニタ等に出力する画像出力部１９と、を備える。また、撮像装置１００は、ユーザが指示物体（ユーザの指、スタイラスペン等）により操作入力を行うタッチパネル２１と、画像信号に基づいて画像を表示する表示部１８に対する指示物体の接触位置における座標を検出する位置検出部２０と、を備える。タッチパネル２１の大きさは、一例として３〜３．５インチであり、画面アスペクト比を１６：９としている。また位置検出部２０は接触位置検出部の一例であり、大きく分けて、圧力の変化を感知する感圧式と静電気による電気信号を感知する静電式の２通りがある。

また、撮像装置１００は、タッチパネル２１と重ねて配置される感圧センサ２３と、感圧センサ２３に圧力が加えられたことを検出する圧力検出部２２を備える。圧力検出部２２は、感圧センサ２３から出力されるアナログ信号をデジタル信号に変換して、制御部１５に送出する。

また、撮像装置１００は、制御部１５の制御によって、各部の動作タイミングの同期を取るタイミング信号を生成するタイミング生成部２４と、撮像素子４の垂直読み出しを制御する垂直制御部２５を備える。垂直制御部２５は、タイミング生成部２４から供給されるタイミング信号に同期して撮像素子４からアナログ画像信号を読み出す。また、撮像装置１００は、シャッタ／アイリス３の動作タイミングを制御するアイリス制御部２６と、被写体にストロボ光を照射するストロボ２８の発光タイミングを制御するストロボ制御部２７と、を備える。

次に、撮像装置１００の各部の動作について説明する。
ユーザが不図示のシャッタボタン等を押下すると、制御部１５は、シャッタ／アイリス３にアイリス動作とシャッタ動作を行わせる。また、周囲の環境が暗い場合、制御部１５は、ストロボ制御部２７を制御して、ストロボ２８にストロボ光を発光させる。制御部１５が動作するプログラムは、ＲＯＭ１６から適宜読出され、制御パラメータ等がＲＡＭ８に書き込まれて処理が実行される。

光学系２を通過した被写体の像光は、シャッタ／アイリス３によって光量が調整され、撮像素子４に結像する。撮像素子４は、結像した像光によりアナログ画像信号を出力し、フロントエンド部５は、アナログ画像信号をデジタル画像信号に変換すると共に、ノイズを除去したり、デジタル画像信号を増幅したりする処理を行う。撮像素子４からアナログ画像信号を読み出すタイミングや、フロントエンド部５がデジタル画像信号を出力するタイミングは、制御部１５によって行われる。ＤＳＰ６は、フロントエンド部５からデジタル画像信号を受け取ると、各種の補正処理を行い、メディアインタフェース９を介して出力したデジタル画像信号に基づく画像を記録メディア１０に保存する。

また、ＤＳＰ６は、表示制御部１７にデジタル画像信号を出力し、シャッタ動作によって記録メディア１０に保存するに至らない被写体のスルー画像を表示部１８に表示させる。また、ユーザは、指示物体をタッチパネル２１に接触させることにより、撮像装置１００の動作を設定することができる。この設定には、メニュー画面の切替えや撮影モードの変更等がある。

そして、制御部１５は、タッチパネル２１に接触した指示物体の座標を位置検出部２０から受け取ると、指示に従って各部を動作させる。例えば制御部１５は、検波枠としてのフォーカス枠内の画像に存在する顔などの物体（被写体）を検出して、検出した物体にフォーカス（焦点）を合わせる制御を行う。また、制御部１５は、表示制御部１７に対して、表示部１８に各種の情報を表示させる制御を行う。なお、本実施の形態では、検波枠をフォーカス合わせのためのフォーカス枠に適用したが、その他の画像処理に用いてもよいことは勿論である。

また、制御部１５は、位置検出部２０より、指示物体がタッチパネル２１に接触する位置を始点とする始点座標と、指示物体がタッチパネル２１上を移動してタッチパネル２１から離れる位置を終点とする終点座標を取得する。さらに、制御部１５は、圧力検出部２２より、指示物体がタッチパネル２１に接触しているときに感圧センサ２３に加わる圧力の情報を取得する。

また、制御部１５は、ネットワークインタフェース１１にＵＳＢケーブルが接続されると、外部のコンピュータ装置等による指示に従って、記録メディア１０から読出した画像をネットワークインタフェース１１に出力する。

図２は、制御部１５の内部構成例を示すブロック図である。
制御部１５は、座標取得部３１と、物体検出部３２と、枠決定部３３を備える。

座標取得部３１は、位置検出部２０からタッチパネル２１に接触（オン）した指示物体の座標を取得するものである。位置検出部２０から受け取った座標のうち、タッチパネル２１に指示物体が接触した瞬間の座標を始点座標（始点位置）としてＲＡＭ８の第１の記憶領域に書込む。また、座標取得部３１は、指示物体がタッチパネル２１上を動いた場合にその指示物体の座標を取得し続け、指示物体がタッチパネル２１から離れるまで、すなわち終点座標（終点位置）に達するまでＲＡＭ８の第２の記憶領域に上書きする。なお、このようなユーザの操作は、なぞり操作などと呼ばれ、例えばフォーカス枠を移動させるときに行われる。

位置検出部２０の処理と並行して、圧力検出部２２では、感圧センサ２３で感知した圧力に基づくデジタル信号（圧力情報）が制御部１５に出力する処理を行う。そして、制御部１５に入力された圧力情報は枠決定部３３に入力され、指示物体の座標と対応づけてＲＡＭ８に書き込む。圧力検出部２２から直接ＲＡＭ８に書き込まれるようにしてもよい。

枠決定部３３は、座標取得部３１が始点位置の座標を取得した瞬間から指示物体がタッチパネル２１に接触した状態である間、指示物体の操作に応じてフォーカス枠の範囲（領域）を決定するものである。枠決定部３３は、座標取得部３１より、指示物体がタッチパネル２１に接触した旨の通知を受けると、指示物体がタッチパネル２１から離れる（オフ）まで接触状態を検出し続ける。このとき、枠決定部３３は、圧力検出部２２からの圧力情報に基いて、指示物体が始点座標から終点座標へ達するまでの間に、指示物体から加えられる圧力が増加した場合に、指示物体がフォーカス枠の範囲を変更することを指示する指示動作が行われたことを検出する。そして、指示動作に合わせた範囲のフォーカス枠を、表示部１８の画面のうち位置検出部２０で検出された指示物体の接触位置に対応する位置に表示させる指示を表示制御部１７に行う。

このとき枠決定部３３は、指示物体から感圧センサ２３に加えられた圧力の強さに応じて、または最初に表示されたフォーカス枠内に検出された物体（被写体）の範囲に合わせて、フォーカス枠の範囲を決定する。なお、表示部１８に表示された画像中のフォーカス枠内に物体（被写体）が存在するか否かは、物体検出部３２が枠決定部３３からの指示を受け、フォーカス枠内の画像について周知の画像処理技術を利用して判断する。

表示部１８は、表示制御部１７の制御に従って、フォーカス枠を画面に表示する。表示部１８の画面には、指示物体から感圧センサ２３に加えられる圧力の強さに応じた範囲、または最初に表示されたフォーカス枠内に検出した物体（被写体）の範囲のフォーカス枠が表示される。

［操作および表示の概要］
図３は、本発明の第１の実施の形態におけるフォーカス枠を変更する場合の操作例を示す説明図である。
本例では、表示部１８の上面にタッチパネル２１および感圧センサ２３を重ねて配置してある。このため、表示部１８が画像を表示する表示範囲（画面）と、タッチパネル２１が指示物体の接触を検出する検出範囲と、感圧センサ２３が指示物体から圧力を受けたことを検出する検出範囲はほぼ等しいものとする。そして制御部１５は、タッチパネル２１における指示物体の接触位置と圧力に応じてフォーカス枠を表示すべく制御を行う。撮像装置１００は、画像上の当該フォーカス枠で囲まれる物体（被写体）にフォーカスを合わせる。

図３において、表示部１８に表示された画像４０Ａに、４人の人物が手前から奥へ一列に並んでいる様子が表示されている。ユーザがタッチパネル２１の人物４２に対応する部分を指４１でタッチすると、画像４０Ｂへ移行する。画像４０Ｂでは、位置検出部２０で検出された指４１の接触位置を中心にフォーカス枠４３Ｂを表示する。

ここで、ユーザが指４１で画像４０Ｂのフォーカス枠４３Ｂの内側部分を押し込んで圧力を加える。すると、フォーカス枠４３Ｂが縮小され、フォーカス枠４３Ｂ内にある人物４２の頭部が適度に囲まれる大きさのフォーカス枠４３Ｃが表示される（画像４０Ｃ）。このとき画像４０Ｃには、縮小されたフォーカス枠を拡大するための拡大ボタン４４がアイコン表示される。画像４０Ｃにおいて拡大ボタン４４の部分を押下すると、フォーカス枠４３Ｃが拡大されて一段階大きなフォーカス枠４３Ｂが表示された画像４０Ｂに移行する。

さらに、ユーザが画像４０Ｃにおいて、指４１でタッチパネル２１のフォーカス枠４３Ｃの内側部分を押し込んでより強い圧力を加える。すると、フォーカス枠４３Ｃが縮小され、フォーカス枠４３Ｃ内に存在する人物４２の頭部がちょうど囲まれる、例えば外接矩形に近い大きさのフォーカス枠４３Ｄが表示される（画像４０Ｄ）。画像４０Ｄにおいて拡大ボタン４４の部分を押下すると、フォーカス枠４３Ｄが拡大されて一段階大きなフォーカス枠４３Ｃが表示された画像４０Ｃに移行する。

なお、図３例のように、押し込み操作で小さくしたフォーカス枠を大きいサイズのフォーカス枠に戻せるようにするため、画面上にフォーカス枠のサイズを変更するための拡大ボタンを設けると、ユーザの操作性が向上する。

［座標取得部の動作］
次に、座標取得部３１が座標を取得する処理を説明する。
図４は、座標取得部３１が座標を取得する処理の例を示すフローチャートである。座標取得部３１は、タイミング生成部２４から出力されるタイミング信号に同期して、下記ステップＳ１〜Ｓ１０の処理を常時実行する。

始めに、座標取得部３１は、タッチパネル２１に指示物体（本例では、指４１）が接触したか否かを判断する（ステップＳ１）。タッチパネル２１に指示物体が接触していると判断した場合、座標取得部３１は、指示物体が接触した位置の座標を取得する（ステップＳ２）。

次に、座標取得部３１は、ＲＡＭ８に保持している座標があるか否かを判断する（ステップＳ３）。ＲＡＭ８に保持している座標が無い場合、座標取得部３１は、指示物体がタッチパネル２１に初めて接触したことを枠決定部３３に通知する（ステップＳ４）。そして、座標取得部３１は、ＲＡＭ８に接触した座標を書き込む。また、枠決定部３３は、圧力検出部２２から入力されるタッチパネル２１に接触した指示物体の圧力情報を、当該接触した座標と対応づけてＲＡＭ８に書き込む。ＲＡＭ８が始点位置としての座標と圧力情報を保持して（ステップＳ５）、処理を終了する。

ステップＳ３の処理において、ＲＡＭ８に保持している座標が存在していると判断した場合、座標取得部３１は、ＲＡＭ８に保持している座標と取得した座標との間に差分があるか否かを判断する（ステップＳ６）。ＲＡＭ８に保持している座標と取得した座標との間に差分がある場合、座標取得部３１は、指示物体がタッチパネル２１に接触している位置が動いたことを枠決定部３３に通知する（ステップＳ７）。そして、座標取得部３１は、指示物体の移動後の座標をＲＡＭ８に書き込み、ＲＡＭ８が保持している座標を更新する（ステップＳ８）。
ここで、枠決定部３３は、ＲＡＭ８に保持されている座標に対応づけられた圧力と新たに取得した座標に対応する圧力との間に差分があるか否かを判断する（ステップＳ９）。次に、ＲＡＭ８に保持されている圧力と取得した圧力との間に差分がある場合、枠決定部３１は、圧力が変化したことを通知する（ステップＳ１０）。そして、枠決定部３３は、指示物体の新しい圧力をＲＡＭ８に書き込み、ＲＡＭ８が保持している圧力を更新する（ステップＳ１１）。

ステップＳ６の処理において、ＲＡＭ８に保持している座標と取得した座標との間に差分がないと判断した場合、座標取得部３１は、指示物体がタッチパネル２１に接触している位置が動いていないことを通知して、ステップＳ９へ進む。

ステップＳ１の処理において、指示物体がタッチパネル２１に接触していないと判断した場合、座標取得部３１は、ＲＡＭ８に保持している座標があるか否かを判断する（ステップＳ１２）。ＲＡＭ８に保持している座標がある場合、座標取得部３１は、指示物体がタッチパネル２１から離れたことを枠決定部３３に通知する（ステップＳ１３）。そして、座標取得部３１は、ＲＡＭ８が保持している座標及び対応する圧力をクリアして処理を終了する（ステップＳ１４）。

ステップＳ１２の処理において、ＲＡＭ８に座標を保持していないと判断した場合、座標取得部３１は、処理を終了する。

［枠決定部の動作］
座標取得部３１が指示物体の接触した座標を取得する処理と並行して、枠決定部３３では圧力検出部２２から指示物体の圧力の情報を取得する。枠決定部３３は、タッチパネル２１に指示物体が接触していてＲＡＭ８に保持している座標がある場合、保持座標に対する圧力と取得座標に対する圧力を比較する。そして、取得座標に対する圧力が設定した第１閾値を超えるものである場合、表示制御部１７に対してフォーカス枠の範囲を縮小する指示を行う。

その後、枠決定部３３は、タッチパネル２１に指示物体が接触していてＲＡＭ８に保持している座標がある場合、保持座標に対する圧力と取得座標に対する圧力を比較する。そして、取得座標に対する圧力が第１閾値より大きい第２閾値を超えるものである場合、表示制御部１７に対してフォーカス枠の範囲をさらに縮小する指示を行う。

［指示物体がタッチパネルから離れたときの処理］
図５は、指示物体がタッチパネル２１から離れたときの制御部１５（特に枠決定部３３）の処理を示すフローチャートである。
この処理は、座標取得部３１が、タッチパネル２１から指示物体が離れた旨を枠決定部３３に通知（図４のステップＳ１３）したことを前提とする。

まず、枠決定部３３は、タッチパネル２１から指示物体が離れた旨の通知があった場合、表示部１８にフォーカス枠が表示されているか否かを判断する（ステップＳ２１）。表示部１８にフォーカス枠が表示されていないと判断された場合、枠決定部３３は、ＲＡＭ８に保持している座標を中心とする位置にフォーカス枠を表示するよう表示制御部１７に対し指示する（ステップＳ２２）。そして、表示されたフォーカス枠内の画像に存在する物体に対し、オートフォーカスを実行して（ステップＳ２３）、処理を終了する。

なお、表示部１８にフォーカス枠が表示されない場合としては、例えばフォーカス枠の画像データを作成する途中である場合や、後述するフォーカス枠の範囲に合わせてフォーカス枠内の物体を拡大する画像処理の途中などがある。

ステップＳ２１の処理において表示部１８にフォーカス枠が表示されている場合、ステップＳ２３へ移行し、表示されたフォーカス枠内の画像に存在する物体に対し、オートフォーカスを実行して、処理を終了する。

［指示物体の圧力が変化したときの処理］
図６は、タッチパネル２１に対する指示物体の圧力が変化したときの制御部１５（特に枠決定部３３）によるフォーカス枠の変更処理を示すフローチャートである。
この処理は、座標取得部３１が、タッチパネル２１に指示物体が接触してかつＲＡＭ８に保持されている座標がある旨を枠決定部３３に通知（図４のステップＳ７，ステップＳ６のＮＯ）したことを前提とする。

まず、枠決定部３３は、タッチパネル２１に指示物体が接触してかつＲＡＭ８に保持されている座標がある旨の通知があった場合、圧力検出部２２からの圧力情報とＲＡＭ８に保持された圧力情報を比較して、圧力が増加したか否かを判断する（ステップＳ３１）。圧力が増加した場合、枠決定部３３は、増加後の圧力が閾値以上であるか否かを判断する（ステップＳ３２）。

ステップＳ３２の処理において、圧力が閾値以上であると判断された場合、枠決定部３３は、フォーカス枠内の画像に対して顔などの物体（被写体）を検出するよう物体検出部３２に指示する。物体検出部３２は、枠決定部３３からの指示を受けて、フォーカス枠内の画像に対して物体を検出する処理を実行する（ステップＳ３３）。

枠決定部３３は、物体検出部３２の検出結果を受けて、フォーカス枠内の画像に対して物体が検出されたかどうかを判断する（ステップＳ３４）。フォーカス枠内の画像に対して物体が検出された場合、枠決定部３３は、検出された物体の大きさに応じてフォーカス枠の範囲を決定する。そして、枠決定部３３は、決定した範囲のフォーカス枠を表示するよう表示制御部１７に指示する。表示制御部１７は範囲が調整されたフォーカス枠を表示部１８に表示させて（ステップＳ３５）、処理を終了する。なお、この検出された物体の大きさに応じてフォーカス枠の範囲を決定する方法については後に詳述する。

一方、ステップＳ３４の処理において、フォーカス枠内の画像に対して物体が検出されなかった場合、枠決定部３３は、指示物体がタッチパネル２１に加えた圧力に応じてフォーカス枠の範囲を決定する。そして、枠決定部３３は、決定した範囲のフォーカス枠を、圧力が加えられた際に保持された座標を中心とする位置に表示するよう表示制御部１７に指示する。表示制御部１７は範囲が調整されたフォーカス枠を表示部１８に表示させて（ステップＳ３６）、処理を終了する。なお、指示物体がタッチパネル２１に加えた圧力に応じてフォーカス枠の範囲を決定する方法ついては、後に詳述する。

ステップＳ３１の処理において圧力が増加していないと判断した場合、またはステップＳ３２の処理において増加後の圧力が閾値以上でないと判断した場合、枠決定部３３は、処理を終了する。

図６では１周期の例を記載したが、座標取得部３１が、タッチパネル２１に指示物体が接触してかつＲＡＭ８に保持されている座標があることを検出している間、図６の処理を繰り返し実行する。そして、図６に示した指示物体の圧力が変化したときの処理が終了後、座標取得部３１がタッチパネル２１から指示物体が離れたことを検出した場合には、図５に示した指示物体がタッチパネルから離れたときの処理を実行する。

［物体が検出された場合のフォーカス枠の決定］
図７は、フォーカス枠内の画像に対して顔などの物体が検出された場合の枠決定部３３によるフォーカス枠の変更処理の概要を示す説明図である。この変更処理は、検出した顔などの物体を囲うサイズにフォーカス枠を小さくする。図７の例は、図６のステップＳ３５において物体が検出された場合の処理に対応する。

撮像部１により人物５１，５２を撮像した画像が表示部１８に表示されている。現在、人物５１の頭部と人物５２のほぼ全体を囲むようにフォーカス枠５３が表示されている。ここで、ユーザがタッチパネル２１上でフォーカス枠５３内の任意の位置を押し込み、枠決定部３３が圧力検出部２２からの圧力情報に基づいて、閾値以上の圧力で押し込まれたことを検出したとする（図６のステップＳ３２のＹｅｓ）。枠決定部３３は、物体検出部３２に対して顔情報や色情報を用いて物体検出を行うよう指示する（図６のステップＳ３３）。そして、枠決定部３３は、物体検出部３２の検出結果から、フォーカス枠５３内の画像に対し、顔などの物体を認識する（図６のステップＳ３４のＹｅｓ）。図７の例では、フォーカス枠５３を例えば人物５２の頭部５２ｆを囲うサイズと同等の範囲に縮小し、縮小後のフォーカス枠５４を人物５２の頭部５２ｆに対応する位置に表示している（図６のステップＳ３５）。

［物体の数に基づいてフォーカス枠を縮小する例］
図８は、フォーカス枠内に顔などの物体がある場合の枠決定部３３によるフォーカス枠の縮小方法を示す説明図（その１）である。この方法は、まずフォーカス枠を検出した顔などの物体がすべて入る範囲にし、そこからさらに押し込まれるとフォーカス枠に入る物体の数を減らして調整する方法である。

撮像部１により人物６１，６２，６３を撮像した画像が表示部１８に表示されている。現在、人物６１〜６３のほぼ全体を囲むようにフォーカス枠６４が表示されている。ここで、ユーザがタッチパネル２１上でフォーカス枠６４内の任意の位置を押し込み、枠決定部３３が圧力検出部２２からの圧力情報に基づいて、閾値以上の圧力で押し込まれたことを検出したとする。

枠決定部３３は、タッチパネル２１のフォーカス枠６４内の任意の位置が第１閾値以上の圧力で押し込まれたことを検出する。この場合、枠決定部３３は、まずフォーカス枠の範囲を、フォーカス枠６４内で検出した物体（本例では人物６１〜６３の頭部６１ｆ〜６３ｆ）がすべて入る少し縮小した範囲に決定する。そして、表示制御部１７に対し決定後の縮小したフォーカス枠６５を表示するよう指示する。表示部１８には、フォーカス枠６４より小さいフォーカス枠６５が表示される。

続いて、タッチパネル２１に指示物体が接触したまま第１閾値より大きな第２閾値以上の圧力で押し込むと、枠決定部３３は、第１閾値より大きな第２閾値以上の圧力で押し込まれたことを検出する。この場合、枠決定部３３は、フォーカス枠の範囲を、頭部の数を減らして頭部６１ｆ，６２ｆが入る少し縮小した範囲に決定する。そして、表示制御部１７に対し決定後の縮小したフォーカス枠６６を表示するよう指示する。表示部１８には、フォーカス枠６５より小さいフォーカス枠６６が表示される。

さらに、タッチパネル２１に指示物体が接触したまま第２閾値より大きな第３閾値以上の圧力で押し込むと、枠決定部３３は、第２閾値より大きな第３閾値以上の圧力で押し込まれたことを検出する。この場合、枠決定部３３は、フォーカス枠の範囲を、頭部の数を減らして頭部６１ｆが入る少し縮小した範囲に決定する。そして、表示制御部１７に対し決定後の縮小したフォーカス枠６７を表示するよう指示する。表示部１８には、フォーカス枠６６より小さいフォーカス枠６７が表示される。

ここで、ユーザがタッチパネル２１上で別の場所、例えば人物６２の頭部６２ｆを含む部分をタッチ（またはなぞり操作）したとする。この場合、枠決定部３３は、フォーカス枠６７を移動させて同じ大きさのフォーカス枠を、頭部６２ｆを含むように表示するよう表示制御部１７に対し指示する。表示部１８には、フォーカス枠６７と同じ範囲のフォーカス枠６８が頭部６２ｆを含むようにして表示部１８に表示される。

また、表示部１８にフォーカス枠６６が表示されているとき、ユーザがタッチパネル２１上で別の場所、例えば人物６２，６３の頭部６２ｆ，６３ｆを含む部分をタッチ（なぞり操作）したとする。この場合、枠決定部３３は、フォーカス枠６６を移動させて同じ大きさのフォーカス枠を、頭部６２ｆ，６３ｆを含むように表示するよう表示制御部１７に対し指示する。表示部１８には、フォーカス枠６６と同じ範囲のフォーカス枠６９が頭部６２ｆ，６３ｆを含むようにして表示部１８に表示される。

タッチパネル２１のフォーカス枠６９内の任意の位置を押し込むと、枠決定部３３は、フォーカス枠６９内の任意の位置が第１閾値以上の圧力で押し込まれたことを検出する。この場合、枠決定部３３は、フォーカス枠の範囲を、頭部６２ｆ，６３ｆが入る少し縮小した範囲に決定する。そして、表示制御部１７に対し決定後の縮小したフォーカス枠７０を表示するよう指示する。表示部１８には、フォーカス枠６９より小さいフォーカス枠７０が表示される。

さらに、タッチパネル２１に指示物体が接触したまま第１閾値より大きな第２閾値以上の圧力で押し込むと、枠決定部３３は、第１閾値より大きな第２閾値以上の圧力で押し込まれたことを検出する。この場合、枠決定部３３は、フォーカス枠の範囲を、頭部の数を減らして頭部６２ｆが入る少し縮小した範囲に決定する。そして、表示制御部１７に対し決定後の縮小したフォーカス枠７１を表示するよう指示する。表示部１８には、フォーカス枠７０より小さいフォーカス枠７１が表示される。

また、タッチパネル２１のフォーカス枠６８内の任意の位置を押し込むと、枠決定部３３は、フォーカス枠６８内の任意の位置が第１閾値以上の圧力で押し込まれたことを検出する。この場合、枠決定部３３は、フォーカス枠の範囲を、頭部６２ｆが入る少し縮小した範囲に決定する。そして、表示制御部１７に対し決定後の縮小したフォーカス枠７１を表示するよう指示する。表示部１８には、フォーカス枠６８より小さいフォーカス枠７１が表示される。

なお、図８に示した例では、物体検出部３２で検出した顔などの物体が入る範囲（顔などの物体が入る数を減らした範囲）にフォーカス枠を縮小する際、大きい方の物体に合わせてフォーカス枠の範囲を決定していた。例えば、フォーカス枠６６→６７、フォーカス枠７０→７１への変更などである。しかし、この例に限らず、小さい方の物体に合わせてフォーカス枠の範囲を決定するようにしてもよい。それによって、より小さな物体にフォーカスを合わせることができる。

また、図８の例においては、指示物体の圧力が一旦所定の値（例えば第２閾値）に達したら、前回の圧力値（例えば第１閾値）に戻るまで、フォーカス枠の範囲を変更しないものとする。そのような規定とすることにより、フォーカス枠の範囲を設定する際に連続で押し込み操作をしたとき、容易にフォーカス枠が元に戻らないようになるので操作性が向上する。

また、図８に示した例では、物体の検出単位を頭部までとしているが、例えば顔の目、口、鼻、手や足、指などを含む領域を物体の検出単位として、フォーカス枠の範囲をこれら顔の各部に合わせて縮小するようにしてもよい。また、フォーカス合わせの対象となる物体には、人工物や自然物、人間以外の動物なども含まれることは勿論である。

［物体の大きさに基づいてフォーカス枠を縮小する例］
図９は、フォーカス枠内に顔などの物体がある場合の枠決定部３３によるフォーカス枠の縮小方法を示す説明図（その２）である。この方法は、検出した顔などの物体の中で一番大きいものをフォーカス枠で囲うようにする方法である。

図８の例と同様に、人物６１，６２，６３が表示部１８に表示されている。現在、人物６１〜６３のほぼ全体を囲むようにフォーカス枠８１（図８のフォーカス枠６４と同一）が表示されている。ここで、ユーザがタッチパネル２１上でフォーカス枠８１内の任意の位置を押し込み、枠決定部３３が圧力検出部２２からの圧力情報に基づいて、閾値以上の圧力で押し込まれたことを検出したとする。

枠決定部３３は、タッチパネル２１のフォーカス枠８１内の任意の位置が第１閾値以上の圧力で押し込まれたことを検出する。この場合、枠決定部３３は、まずフォーカス枠の範囲を、フォーカス枠８１内で検出した物体のうち一番大きいものに合わせて決定する。本例では人物６１〜６３の頭部６１ｆ〜６３ｆのうち頭部６１ｆに合わせる。そして、表示制御部１７に対し決定後の縮小したフォーカス枠８２を表示するよう指示する。表示部１８には、フォーカス枠８１より小さいフォーカス枠８２が表示される。

ここで、ユーザがタッチパネル２１上で別の場所、例えば人物６２の頭部６２ｆを含む部分をタッチ（またはなぞり操作）したとする。この場合、枠決定部３３は、フォーカス枠８２を移動させて同じ大きさのフォーカス枠を、頭部６２ｆを含むように表示するよう表示制御部１７に対し指示する。表示部１８には、フォーカス枠８２と同じ範囲のフォーカス枠８３が頭部６２ｆを含むようにして表示部１８に表示される。

次に、タッチパネル２１のフォーカス枠８３内の任意の位置を押し込むと、枠決定部３３は、フォーカス枠８３内の任意の位置が第１閾値以上の圧力で押し込まれたことを検出する。この場合、枠決定部３３は、フォーカス枠の範囲を、頭部６２ｆが入る少し縮小した範囲に決定する。そして、表示制御部１７に対し決定後の縮小したフォーカス枠８４を表示するよう指示する。表示部１８には、フォーカス枠８３より小さいフォーカス枠８４が表示される。

［物体が検出されない場合のフォーカス枠の決定］
図１０は、フォーカス枠内の画像に対して顔などの物体が検出されない場合の枠決定部３３によるフォーカス枠の変更処理の概要を示す説明図である。この変更処理は、顔などの物体を認識できない場合に、圧力の強さに応じてフォーカス枠を小さくするというものである。

表示部１８に表示された画像中にフォーカス枠９１があるとき、フォーカス枠９１内に物体が検出されなかった場合には、枠決定部３３は、タッチパネル２１に対して押し込まれた指示物体の圧力の強さに応じてフォーカス枠９１を、縮小したフォーカス枠９２に変更する。

図１１は、フォーカス枠内の画像に対して顔などの物体が検出されない場合における圧力とフォーカス枠の大きさ（範囲）の関係を示すグラフ（１）である。
この例では、圧力とフォーカス枠の大きさの関係は、圧力に対し一定の割合でフォーカス枠の大きさが小さくなる。例えば、圧力Ｐ１のときフォーカス枠の大きさＬ１、圧力Ｐ２（Ｐ１＜Ｐ２）のときフォーカス枠の大きさＬ２（Ｌ１＞Ｌ２）であり、圧力Ｐ１と圧力Ｐ２の間では、フォーカス枠の大きさが所定の割合（傾き）で小さくなっている。

なお、圧力に対し一定の割合でフォーカス枠の大きさが小さくなる場合、指示物体によりタッチパネルを押し続けた時間に応じて一定の割合でフォーカス枠を小さくするようにしてもよい。あるいは、フォーカス枠をある大きさまで一気に縮小するようにしてもよい。

図１２は、フォーカス枠内の画像に対して顔などの物体が検出されない場合における圧力とフォーカス枠の大きさ（範囲）の関係を示すグラフ（２）である。
この例では、圧力とフォーカス枠の大きさの関係は、圧力に対してフォーカス枠の範囲が段階的に小さくなる。例えば、圧力Ｐ１未満のときフォーカス枠の大きさＬ１、圧力Ｐ１−Ｐ２のときフォーカス枠の大きさＬ２、圧力Ｐ２−Ｐ３のときフォーカス枠の大きさＬ３、圧力Ｐ３以上のときフォーカス枠の大きさＬ４である。それゆえ、フォーカス枠の大きさを４段階で調整できる。

なお、圧力に対し段階的にフォーカス枠の大きさが小さくなる場合、指示物体によりタッチパネルを押し続けた時間に応じて段階的にフォーカス枠を小さくするようにしてもよい。

［第１の実施の形態の効果］
第１の実施の形態のように構成された本発明によれば、フォーカスしたい画面上の被写体を押し込むだけで、フォーカス枠を所望の範囲に自動で調整（縮小）することができる。また、フォーカス枠の範囲を画像内の被写体の大きさに合わせて調整できるので、結果として所望の被写体が小さいものであっても、当該被写体に簡単に素早くフォーカスを合わせることが可能となる。

＜２．第２の実施の形態＞
第２の実施の形態では、画像中のフォーカス枠が小さくなった際に被写体を確認しやすくするため、第１の実施の形態（例えば図３参照）のようにフォーカス枠の範囲を変えるのではなく、一時的に画像の方を大きくする。

図１３は、本発明の第２の実施の形態におけるフォーカス枠を変更する場合の操作例を示す説明図である。
画像１００Ａは、図３に示した画像４０Ｂと同じである。ユーザが指４１で画像１００Ａのフォーカス枠４３Ｂの内側部分を押し込んで圧力を加える。すると、枠決定部３３は、圧力検出部２２からの圧力情報に基づいて、フォーカス枠４３Ｂの内側部分に圧力が加えられたことを検出する。そして、枠決定部３３は、フォーカス枠４３Ｂの範囲は固定したまま人物４２を中心に画像１００Ａを拡大するよう表示制御部１７に指示を行う。表示制御部１７は、フォーカス枠４３Ｂの範囲を固定して画像１００Ａを拡大した画像１００Ｂを表示部１８に表示させる。このとき、画像１００Ｂの人物４２は拡大されて人物４２Ａとなっているため、フォーカス枠４３Ｂは、人物４２Ａとの関係では相対的に小さくなり縮小されたことに相当する。この場合、被写体（人物４２）に対する実質の検波エリアが変化する。なお、画像１００Ｂにおいて、フォーカス枠の範囲を確定するための確定ボタン１０１（図１３の「ＯＫ」）を表示する。

画像１００Ｂにおいて、指４１でタッチパネル２１上の確定ボタン１０１に対応する部分を押すと、枠決定部３３は、座標取得部３１から得られる情報に基づいて確定ボタン１０１が押されたことを検出する。そして、枠決定部３３は、人物４２Ａ等を含む画像１００Ｂとフォーカス枠４３Ｂの範囲との関係を維持しつつ、画像１００Ｂを拡大する前の画像１００Ａと同じ拡大率の画像１００Ｃに変更するよう表示制御部１７に対して指示を行う。このとき、表示部１８には、画像１００Ｃの人物４２に対し、フォーカス枠４３Ｂを縮小したフォーカス枠４３Ｃが表示される。

第２の実施の形態のように構成された本発明によれば、フォーカス枠を小さくするのではなく、画像を大きく表示することで、視認性を確保することも可能となる。またフォーカス枠の範囲を設定するときだけ一時的に画像を大きく表示し、その後に元の拡大率の画像に戻すことで、撮影時とフォーカス時で画像を使い分けることができ、ユーザの使い勝手が向上する。その他、第２の実施の形態は、第１の実施の形態と同様の作用および効果を奏することは勿論である。

＜３．変形例＞
上述した第１及び第２の実施の形態では、フォーカス枠の範囲の変更を押し込み操作やボタン操作で実現しているが、２本の指による操作で実現してもよい。例えば、タッチパネルに２本の指でタッチして、その指の間隔を狭くなるように動かしたらフォーカス枠を小さくする、広くしたらフォーカス枠を大きくするなどのようにする。さらに別の操作方法で同様の効果を実現してもよい。

また、上述した第１及び第２の実施の形態では、指示物体がタッチパネルにタッチした後そのまま指示物体の位置をずらした場合でも特に処理を変えていないが、例えば先にタッチした位置から大きくずれた場合には、処理をキャンセルするなどしてもよい。

また、上述した第１及び第２の実施の形態では、連続的に圧力の変化を監視（例えば図６のステップＳ３１）するようにしたが、この例に限られない。例えば１回１回、指示物体がタッチパネルから離れたときに、フォーカス枠の範囲を変更する処理を行うようにしてもよい。

なお、図５の例では、オートフォーカス処理は、指示物体がタッチパネルから離れたときに実行するようにしたが、指示物体がタッチパネルに接触したままの状態（例えば図６のステップＳ３５，Ｓ３６のとき）で実行するようにしてもよい。

以上、本発明の各実施の形態の例について説明したが、本発明は上記各実施の形態例に限定されるものではなく、特許請求の範囲に記載された本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含むことはいうまでもない。

また、本明細書において、時系列的な処理を記述する処理ステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）をも含むものである。

１…撮像部、２…光学系、３…シャッタ／アイリス、４…撮像素子、５…フロントエンド部、６…ＤＳＰ、７…ＳＤＲＡＭ、８…ＲＡＭ、９…メディアインタフェース、１０…記録メディア、１１…ネットワークインタフェース、１５…制御部、１６…ＲＯＭ、１７…表示制御部、１８…表示部、１９…画像出力部、２０…位置検出部、２１…タッチパネル、２２…圧力検出部、２３…感圧センサ、２４…タイミング生成部、２５…垂直制御部、２６…アイリス制御部、２７…ストロボ制御部、２８…ストロボ、３１…座標取得部、３２…物体検出部、３３…枠決定部、４４…拡大ボタン、４３Ｂ，４３Ｃ，４３Ｄ，５３，５４，６４，６５，６６，６７，６８，６９，７０，７１，８１，８２，８３，８４，９１，９２…フォーカス枠、１００…撮像装置、１０１…確認ボタン

Claims (12)

1. 画像と、前記画像に対して設定される領域枠とを、表示部に表示させる制御を行う制御部を有する情報処理装置であって、
   前記制御部は、検出される前記表示部に対する指示物体の圧力に基づいて、前記領域枠の範囲を変更するとともに、変更後の前記領域枠の範囲を変更前の前記領域枠の範囲に戻す操作子への操作指示に基づいて、前記領域枠の範囲を前記変更前の範囲とする制御を行う
   情報処理装置。
2. 前記制御部は、前記検出される前記圧力の強さが増加するにつれて、前記領域枠の範囲が縮小するように制御する
   請求項１に記載の情報処理装置。
3. 前記制御部は、前記検出される前記圧力の強さが閾値以上で段階的に増加するとき、前記圧力の強さの段階的な増加に合わせて前記領域枠の範囲を段階的に縮小する指示を行う
   請求項２に記載の情報処理装置。
4. 前記制御部は、前記検出される前記圧力の強さが段階的に増加するとき、前記圧力の強さが第１閾値より大きい第２閾値に達した場合、当該圧力の強さが第１閾値となるまで前記領域枠の範囲を変更しないよう指示を行う
   請求項３に記載の情報処理装置。
5. 前記制御部は、前記検出される前記圧力の強さが閾値以上であるとき、前記領域枠内の画像に対して物体を検出する処理を行い、物体が検出された場合、領域枠に入る物体の数を調整して前記領域枠の範囲を縮小する指示を行う
   請求項４に記載の情報処理装置。
6. 前記制御部は、前記検出される前記圧力の強さが閾値以上であるとき、前記領域枠内の画像に対して物体を検出する処理を行い、物体が検出された場合、検出された物体のうち一番大きな物体に合わせて前記領域枠の範囲を縮小する指示を行う
   請求項４に記載の情報処理装置。
7. 前記制御部は、前記検出される前記圧力の強さが閾値以上であるとき、前記領域枠内の画像に対して物体を検出する処理を行い、物体が検出されない場合、前記検出される前記圧力の強さに従って、前記領域枠の範囲を縮小する指示を行う
   請求項４に記載の情報処理装置。
8. 前記制御部は、前記検出される前記圧力の強さが閾値以上であるとき、前記領域枠内の画像に対して物体を検出する処理を行い、物体が検出された場合、前記領域枠の範囲は一定とし、かつ前記領域枠内の画像中の物体を中心として拡大表示をするよう指示を行う
   請求項４に記載の情報処理装置。
9. 前記領域枠は、フォーカス調整に用いられるフォーカス枠である
   請求項１に記載の情報処理装置。
10. 前記表示部に対する前記指示物体の接触位置を検出する接触位置検出部を備え、
    前記制御部は、前記領域枠の位置を、前記接触位置検出部により検出される前記指示物体の接触位置に対応する位置に設定する
    請求項１乃至９のいずれかに記載の情報処理装置。
11. 画像と、前記画像に対して設定される領域枠とを、表示部に表示させる制御を行う制御部を有する情報処理装置による情報処理方法であって、
    前記制御部は、前記表示部に対する指示物体の圧力に基づいて、前記領域枠の範囲を変更し、
    変更後の前記領域枠の範囲を変更前の前記領域枠の範囲に戻す操作子への操作指示に基づいて、前記領域枠の範囲を前記変更前の範囲とする
    情報処理方法。
12. 画像と、前記画像に対して設定される領域枠とを、表示部に表示させる制御を行う制御部を有する情報処理装置のコンピュータに、
    前記表示部に対する指示物体の圧力に基づいて、前記領域枠の範囲を変更する手順と、
    変更後の前記領域枠の範囲を変更前の前記領域枠の範囲に戻す操作子への操作指示に基づいて、前記領域枠の範囲を前記変更前の範囲とする手順と、
    を実現させるためのプログラム。