WO2015107927A1 - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

　本技術は、より簡単に撮影後の画像のピント具合を知ることができるようにする画像処理装置および方法、並びにプログラムに関する。 合焦領域判定処理部は、撮影画像に基づいて、撮影画像の各領域の合焦度合いを示す合焦スコアを算出する。警告制御処理部は、各領域の合焦スコアに基づいて撮影画像上の所定領域のピント具合を判定し、その判定結果に応じて警告を発するように指示する。例えば、警告は、警告表示、警告音声、振動、発光などにより行われる。このように合焦スコアに基づいてピント具合を判定することで、ぼけやぶれの要因によらず、ユーザにピント具合の確認を促すことができる。本技術は、デジタルスチルカメラに適用することができる。

Description

画像処理装置および方法、並びにプログラム

　本技術は画像処理装置および方法、並びにプログラムに関し、特に、より簡単に撮影後の画像のピント具合を知ることができるようにした画像処理装置および方法、並びにプログラムに関する。

　近年のデジタルカメラや、デジタルカメラを搭載したモバイルフォンでは、撮像素子、すなわち記録画素の高画素化が進むと同時に、撮影画像を確認するために搭載されている表示装置もその高サイズ化、多画素化が進んでいる。

　ところが、撮像素子（記録画素）の高画素化と比較すると、一般的に搭載されている表示装置の画素数は十分とはいえない状況にある。

　そのため、撮影直後に再生機能を利用して撮影した画像を確認し、ピントが合っていると判断しても、例えば自宅に戻りテレビジョン受像機やパーソナルコンピュータ等の大画面モニタに表示させたり、あるいはプリンタで大きいサイズに引き延ばして印刷してみたりすると、実際にはピントがボケていてがっかりしてしまうといった事象が良く起きる。

　これに対し、近年ではデジタルカメラ等で、撮影時のぶれや動きの軌跡といった機器の状態を測定し、撮影結果にその影響がでることが予想される場合には、撮影者に予め警告表示を行う技術が提案され、実用化されている（例えば、特許文献１乃至３参照）。

特許第３４０２７７４号公報 特許第３１４４４６９号公報 特許第５１６３４０９号公報

　しかしながら上述した技術では、撮影時の状況に基づいて予測警告を行っており、実際に撮影され、記録された画像に対して警告が行われるわけではない。そのため、ユーザは、警告表示が出なかったので安心して撮影した場合でも、実際に撮影され、記録された画像のピント具合が十分でないといった事例もよく発生する。

　また、特許文献１や特許文献２に記載の技術では、撮影の失敗要因として手ぶれのみが対象とされているため、光学的なピンボケなどによりピント具合が不十分となるときには警告が表示されず、撮影者は撮影の失敗に気付くことができなかった。

　同様に特許文献３に記載の技術では、撮影の失敗要因としてパノラマ撮影時の視差発生のみが対象とされているため、光学的なピンボケや手ぶれなどによりピント具合が不十分となるときには警告が表示されず、撮影者は撮影の失敗に気付くことができなかった。

　本技術は、このような状況に鑑みてなされたものであり、より簡単に撮影後の画像のピント具合を知ることができるようにするものである。

　本技術の一側面の画像処理装置は、撮影画像に基づいて、前記撮影画像の各領域の合焦度合いを示す合焦スコアを算出する合焦領域判定処理部と、前記合焦スコアに基づいて、前記撮影画像上の所定領域におけるピント具合を判定する警告判定処理部と、前記ピント具合の判定結果に基づいて警告を発する警告部とを備える。

　前記警告判定処理部には、前記所定領域内の各領域の前記合焦スコアの平均と閾値とを比較することで、前記ピント具合を判定させることができる。

　前記所定領域を、前記撮影画像の撮影時にフォーカス対象とされたフォーカス領域とすることができる。

　前記合焦領域判定処理部には、前記撮影画像上の前記所定領域のみを対象として前記合焦スコアの算出を行わせることができる。

　前記所定領域を、ユーザにより指定された前記撮影画像の領域とすることができる。

　前記所定領域を、前記撮影画像から検出された顔領域とすることができる。

　前記警告部には、前記撮影画像に重畳させて警告表示をすることで前記警告を発するようにさせることができる。

　前記警告部には、警告音声を出力することで前記警告を発するようにさせることができる。

　前記警告部には、振動することで前記警告を発するようにさせることができる。

　前記警告部には、発光することで前記警告を発するようにさせることができる。

　前記警告部には、前記合焦スコアの平均に応じて前記警告を変化させるようにさせることができる。

　本技術の一側面の画像処理方法またはプログラムは、撮影画像に基づいて、前記撮影画像の各領域の合焦度合いを示す合焦スコアを算出し、前記合焦スコアに基づいて、前記撮影画像上の所定領域におけるピント具合を判定し、前記ピント具合の判定結果に基づいて警告を発するステップを含む。

　本技術の一側面においては、撮影画像に基づいて、前記撮影画像の各領域の合焦度合いを示す合焦スコアが算出され、前記合焦スコアに基づいて、前記撮影画像上の所定領域におけるピント具合が判定され、前記ピント具合の判定結果に基づいて警告が発せられる。

　本技術の一側面によれば、より簡単に撮影後の画像のピント具合を知ることができる。

　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。

撮像装置の外観の構成例を示す図である。 撮像装置の機能の構成例を示す図である。 撮影処理について説明する図である。 警告処理について説明する図である。 警告表示の他の例を示す図である。 撮影処理を説明するフローチャートである。 警告処理を説明するフローチャートである。 警告処理を説明するフローチャートである。 警告処理について説明する図である。 警告処理を説明するフローチャートである。 撮影処理について説明する図である。 警告処理について説明する図である。 警告表示の他の例を示す図である。 撮影処理を説明するフローチャートである。 警告処理を説明するフローチャートである。 警告処理を説明するフローチャートである。 警告処理を説明するフローチャートである。 警告処理を説明するフローチャートである。 警告処理を説明するフローチャートである。 警告処理を説明するフローチャートである。 警告処理を説明するフローチャートである。 警告処理を説明するフローチャートである。 警告処理を説明するフローチャートである。 警告処理を説明するフローチャートである。 警告処理を説明するフローチャートである。 警告処理を説明するフローチャートである。 警告処理を説明するフローチャートである。 多機能型携帯電話機の外観の構成例を示す図である。 多機能型携帯電話機の機能の構成例を示す図である。 撮影処理を説明するフローチャートである。 警告処理を説明するフローチャートである。 ウェアラブルカメラの外観の構成例を示す図である。 ウェアラブルカメラの機能の構成例を示す図である。 撮影処理を説明するフローチャートである。 警告判定処理を説明するフローチャートである。 表示処理を説明するフローチャートである。 コンピュータの構成例を示す図である。

　以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
〈撮像装置の外観の構成例〉
　まず、本技術の概要について説明する。

　本技術は、小さな表示画面であっても、撮影者であるユーザが被写体の撮影後に、手ぶれや光学的なピンボケといった画像のピント具合を、より簡単かつ直感的に知ることができるようにするものである。

　例えば、従来では小型の表示装置に画像が表示されていたために、ピント具合が不十分であることに気付かなかったシーンにおいても、ユーザがより簡単かつ直感的に画像のピント具合を知ることができるようになれば、撮影の失敗に気付かなかったことによる撮影機会の損失も減少させることができるようになる。特に、本技術では、撮影前の状況からのピント具合の予測ではなく、撮影後の結果に対してピント具合の警告が発せられるので、ユーザは、必要に応じて直ちに再撮影を行うことができる。

　本技術は、デジタルスチルカメラや、デジタルビデオカメラ、カメラ機能を有する多機能型携帯電話機、ウェアラブルカメラなど、画像を撮影可能な機器全般に適用可能である。以下においては、まず本技術をデジタルスチルカメラに適用した例について説明する。

　図１は、本技術を適用した撮像装置の外観の構成例を示す図である。

　撮像装置１１はデジタルスチルカメラからなり、図１では矢印Ａ１１に示す図は撮像装置１１を表面側から見た図であり、矢印Ａ１２に示す図は撮像装置１１を裏面側から見た図である。

　撮像装置１１の表面には、被写体から入射してくる光を図示せぬイメージャへと導く光学系２１が設けられており、ユーザは光学系２１を所望の被写体に向けて撮影を行う。

　また、撮像装置１１の上面には、シャッタボタン２２およびダイヤル２３が設けられており、撮像装置１１の裏面には、再生ボタン２４やダイヤル２５が設けられている。ユーザは、これらのシャッタボタン２２乃至ダイヤル２５等を操作しながら撮影や再生などの作業を行う。

　さらに、撮像装置１１の裏面には、液晶パネル等からなる表示部２６も設けられており、ユーザは表示部２６に表示される画像等を見て、撮影された画像や、その画像のピント具合などを確認することができる。

〈撮像装置の機能の構成例〉
　また、図１に示した撮像装置１１の機能の構成は、例えば図２に示す構成とされる。なお、図２において、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

　図２の撮像装置１１は、光学系２１、イメージャ５１、デジタル信号処理LSI（Large Scale Integration）５２、ユーザインターフェース５３、制御部５４、レンズ駆動用ドライバIC（Integrated Circuit）５５、手ぶれセンサ５６、記録部５７、表示部２６、振動部５８、スピーカ５９、および発光素子６０を有している。

　光学系２１は、ズームレンズやフォーカスレンズ等の複数のレンズや絞り機構などからなり、被写体から入射した光をイメージャ５１の受光面に集光する。

　イメージャ５１は、例えばCCD（Charge Coupled Devices）やCMOS（Complementary Metal Oxide Semiconductor）などの撮像素子からなる。イメージャ５１は、光学系２１から入射した光を受光して光電変換し、その結果得られた撮影画像、より詳細には撮影画像の画像データをデジタル信号処理LSI５２に供給する。

　デジタル信号処理LSI５２は、イメージャ５１から供給された撮影画像に各種の信号処理を施す。デジタル信号処理LSI５２は、プリ処理部７１、同時化部７２、YC生成部７３、解像度変換部７４、CODEC７５、AF（Autofocus）検波処理部７６、合焦領域判定処理部７７、顔検出処理部７８、メモリ７９、表示用処理部８０、振動駆動処理部８１、スピーカ駆動処理部８２、および発光素子駆動処理部８３を備えている。

　プリ処理部７１は、撮影画像に対してクランプ処理や欠陥画素補正処理などを施す。同時化部７２は、欠陥画素補正処理等が施された撮影画像の各画素がR，G，Bの各色成分を有するように撮影画像に対するデモザイク処理を行う。

　YC生成部７３は、デモザイク処理された撮影画像から、輝度信号と色信号を生成する。解像度変換部７４は、撮影画像に対する解像度変換を行う。CODEC７５は、解像度変換された撮影画像に対して符号化処理を行ったり、符号化された撮影画像を復号したりする。

　AF検波処理部７６は、オートフォーカス動作を行うときに、必要に応じて撮影画像等を用いて、オートフォーカスの状態を示す評価値を算出する。合焦領域判定処理部７７は、デモザイク処理された撮影画像に基づいて合焦領域判定処理を行い、撮影画像の各領域における合焦の度合いを示す合焦スコアを算出する。

　顔検出処理部７８は、撮影画像から人の顔を検出する。メモリ７９は、プリ処理部７１乃至解像度変換部７４の一部または全部により適宜処理された撮影画像（以下、現像処理された撮影画像とも称する）などを一時的に記録する。表示用処理部８０は、例えば撮影画像を表示部２６に表示可能なフォーマットに変換し、表示部２６に供給する。

　振動駆動処理部８１は、振動部５８を駆動して振動させる。スピーカ駆動処理部８２は、音声信号をスピーカ５９に供給して音声を再生させる。発光素子駆動処理部８３は、発光素子６０を駆動して発光させる。

　ユーザインターフェース５３は、例えば図１に示したシャッタボタン２２乃至ダイヤル２５や、表示部２６に重畳されているタッチパネルなどからなり、ユーザの操作に応じた信号を制御部５４に供給する。

　制御部５４は、撮像装置１１全体の動作を制御する。例えば制御部５４は、イメージャ５１による撮影画像の撮影を制御する。また、制御部５４は、手ぶれセンサ５６の出力に基づいて、レンズ駆動用ドライバIC５５を制御し、光学系２１のレンズを移動させて光学的な手ぶれ補正を行ったり、レンズ駆動用ドライバIC５５を制御して光学系２１の絞り機構を駆動させたりする。

　さらに制御部５４は、フォーカスレンズ制御処理部８４および警告制御処理部８５を備えている。フォーカスレンズ制御処理部８４は、AF検波処理部７６から供給された評価値に基づいてレンズ駆動用ドライバIC５５を制御し、フォーカス動作を実行させる。警告制御処理部８５は、デジタル信号処理LSI５２の各部に撮影画像のピント具合の警告に関する処理の実行を指示する。

　レンズ駆動用ドライバIC５５は、制御部５４の制御に従って光学系２１を構成するフォーカスレンズ等を移動させてフォーカス動作を実行したり、絞り機構の駆動や光学手ぶれ補正を行ったりする。手ぶれセンサ５６は、例えばジャイロセンサからなり、撮像装置１１の動きを検出して制御部５４に供給する。

　記録部５７は、例えば撮像装置１１に着脱可能なリムーバブルメディアからなり、デジタル信号処理LSI５２から供給された撮影画像等のデータを記録したり、記録しているデータをデジタル信号処理LSI５２に供給したりする。

　振動部５８は、振動駆動処理部８１の制御に従って、所定パターンで振動することで、撮像装置１１を振動させる。スピーカ５９は、スピーカ駆動処理部８２から供給された音声信号に基づいて、音声を再生する。発光素子６０は、例えばLED（Light Emitting Diode）などからなり、発光素子駆動処理部８３の制御に従って所定パターンで発光する。

〈撮像装置の処理の概要〉
　続いて、図３および図４を参照して、撮像装置１１の処理の概要について説明する。なお、この例では、オートフォーカス撮影が行われる。

　例えば図３に示すように、撮影動作が開始されると、イメージャ５１は、光学系２１を介して入射する光を受光して光電変換する。これにより各時刻、すなわち各フレームの撮影画像Ｆ１１乃至撮影画像Ｆ１６が得られる。

　ここで、撮影画像Ｆ１１乃至撮影画像Ｆ１６のうち、図中、手前側にあるものほど後の時刻、つまり現在時刻により近い時刻に撮影された撮影画像となっている。したがって、この例では、最初に撮影されたものが撮影画像Ｆ１１であり、最後に撮影されたものが撮影画像Ｆ１６となっている。

　このような各フレームの撮影画像の撮影時には、AF検波処理部７６は、各フレームの撮影画像に基づいてオートフォーカスの状態を示す評価値を算出し、制御部５４に供給する。制御部５４のフォーカスレンズ制御処理部８４は、AF検波処理部７６から供給された評価値に基づいてレンズ駆動用ドライバIC５５を制御し、フォーカス動作を実行させる。

　これにより、レンズ駆動用ドライバIC５５によって光学系２１のフォーカスレンズ等が駆動され、被写体にピントが合う状態とされる。

　また、各フレームの撮影画像Ｆ１１乃至撮影画像Ｆ１６が得られると、順次、これらの撮影画像に対して現像処理が行われ、その結果得られた撮影画像Ｒ１１乃至撮影画像Ｒ１６が撮影時のスルー画像として表示部２６に順番に表示される。

　ユーザは、表示部２６に表示されたスルー画像を見ながら被写体を確認し、シャッタボタン２２等を操作して、撮影を行う。

　この例では、ユーザは矢印Ｑ１１に示すように、撮影画像Ｆ１３の取り込み時（撮影時）にシャッタボタン２２を半押している。そのため、撮影画像Ｆ１３に対応するスルー画像である撮影画像Ｒ１３と、それ以降のフレームの撮影画像Ｒ１４および撮影画像Ｒ１５とには、オートフォーカスのターゲットの枠ＦＲ１１が表示されている。

　この枠ＦＲ１１は、フォーカスレンズ制御処理部８４がフォーカスを合わせようとする領域を示す枠の画像であり、撮影画像上の被写体の大きさに応じて、各フレームにおける枠ＦＲ１１の大きさも変化する。

　ユーザは、枠ＦＲ１１内の被写体にフォーカス（ピント）が合った状態となったと判断すると、シャッタボタン２２を全押しして、つまり半押しの状態よりもより深くシャッタボタン２２を押し込んで、画像の撮影を指示する。

　この例では、矢印Ｑ１２に示すように、撮影画像Ｆ１６の取り込み時にシャッタボタン２２が全押しされているので、撮影画像Ｆ１６を現像処理して得られた撮影画像Ｒ１６が、撮影により得られた画像としてキャプチャされる。

　このようにして撮影された撮影画像Ｒ１６は、図中、右側に示すようにメモリ７９に保持された後、記録部５７に記録されるとともに、撮影後のプレビュー画像として表示部２６に表示される。ここで、プレビュー画像とは、撮影の直後に、ユーザが撮影した画像を確認するために表示される画像である。

　また、撮像装置１１では、撮影画像Ｒ１６がメモリ７９に保持されると同時に、撮影画像Ｆ１６の撮影時にオートフォーカスにおける合焦（フォーカス）の対象とされた領域、つまりAFターゲットの領域を示す情報もAF領域情報としてメモリ７９に保持される。

　例えば、コントラスト方式によりフォーカス動作が行われる場合には、フォーカスレンズ制御処理部８４により定められた、AFターゲットの領域、すなわちオートフォーカスのターゲットの枠ＦＲ１１の領域を示す情報がAF領域情報とされる。

　また、例えば位相差センサ方式によりフォーカス動作が行われる場合には、予め定められた複数のAFポイントのうち、撮影画像Ｆ１６の撮影時に、フォーカスを合わせる位置として選択されたAFポイントを示す情報がAF領域情報とされる。

　さらに図３の例では、メモリ７９には、AF領域情報に加えて、AF領域情報が格納されたEXIF（Exchangeable Image File Format）データも保持されている。このEXIFデータは、撮影画像Ｒ１６のメタデータとして付加されるデータであり、例えばAF領域情報は、EXIFデータの自由領域に記録される。

　以上のようにして撮影画像Ｒ１６、AF領域情報、およびEXIFデータがメモリ７９に保持されると、その後、適切なタイミングで、撮影画像Ｒ１６にEXIFデータが付加されて、EXIFデータが付加された撮影画像Ｒ１６が記録部５７に記録される。また、撮影画像Ｒ１６が、撮影後のプレビュー画像として表示部２６に表示される。

　さらに、撮影画像Ｒ１６がプレビュー画像として表示された状態で、例えば図４の左下部分の矢印Ｑ２１に示すように、ユーザがユーザインターフェース５３に対する操作を行い、ピント具合の確認指示をしたとする。

　すると、撮像装置１１では、撮影した撮影画像Ｒ１６のピント具合が十分であるかどうかを確認し、必要に応じて警告を発する警告処理が行われる。

　なお、警告処理はユーザにより指示されたときに行われる他、メニュー設定等により、自動的に開始されるようにしてもよい。そのような場合、例えばプレビュー画像が表示されてから、所定時間が経過した後、自動的に警告処理が開始されるようにすればよい。

　警告処理が開始されると、まず、処理対象となっている撮影画像Ｒ１６が、必要に応じて記録部５７から読み出され、メモリ７９に供給される。なお、撮影直後に警告処理が行われる場合には、撮影画像Ｒ１６はすでにメモリ７９に保持されているため、撮影画像Ｒ１６のロードは不要である。この場合、メモリ７９には、AF領域情報とEXIFデータも保持されている。

　次に、制御部５４の警告制御処理部８５は、合焦領域判定処理部７７に合焦領域判定処理の実行を指示する。

　すると、合焦領域判定処理部７７は、メモリ７９から撮影画像Ｒ１６を読み出して、撮影画像Ｒ１６に対する合焦領域判定処理を行う。

　合焦領域判定処理では、例えば矢印Ｑ２２に示すように撮影画像Ｒ１６が、図中、横方向にＭ分割、縦方向にＮ分割される。つまり、撮影画像Ｒ１６全体がＭ×Ｎ個の領域に分割される。そして、Ｍ×Ｎ個の各領域について、合焦の度合いを示す合焦スコアが算出され、各領域の合焦スコアが合焦領域判定処理の結果として警告制御処理部８５に供給される。

　続いて、警告制御処理部８５は、矢印Ｑ２３に示すように、メモリ７９に保持されているAF領域情報またはEXIFデータに基づいて、撮影画像Ｒ１６における、ピント具合が十分であるかを判定する対象となる判定対象領域を定める。

　この例では、AF領域情報により示される、オートフォーカスのターゲットの枠ＦＲ１１の領域全体が判定対象領域とされている。この判定対象領域は、AF領域情報により示される領域を含む領域であれば、どのような大きさや形状であってもよい。

　判定対象領域を定めると、警告制御処理部８５は、矢印Ｑ２４に示すように判定対象領域内の各領域の合焦スコアに基づいて、判定対象領域のピント具合を示す平均スコアを算出する。

　この例では判定対象領域とされた枠ＦＲ１１の領域は、Ｍ’×Ｎ’個の分割された領域から構成されており、１つの四角形は１つの分割された領域を表している。また、その四角形内の数値は合焦スコアを表している。

　特に、枠ＦＲ１１の領域内において、最も合焦スコアの高い領域が最もピントが合っている領域であり、この例では、最もピントが合っている領域の合焦スコアは８５となっている。警告制御処理部８５は、最もピントが合っている領域近傍の領域、つまりフォーカス動作でフォーカスを合わせた領域周辺の領域におけるピント具合を示す平均スコアを算出する。

　具体的には、警告制御処理部８５は、判定対象領域の各領域の合焦スコアの和を、判定対象領域を構成する領域の数、すなわちＭ’×Ｎ’で除算することにより、平均スコアを求める。したがって平均スコアは、判定対象領域内の各領域の合焦スコアの平均値となる。

　警告制御処理部８５は、求めた平均スコアが予め定めた閾値ｔｈ未満である場合、撮影により得られた撮影画像Ｒ１６における、フォーカスを合わせようとした部分のピント具合が不十分であるとし、表示用処理部８０に警告表示を指示する。

　平均スコアが閾値ｔｈ未満であるということは、フォーカスを合わせようとした部分近傍において、平均的にみるとピントが合っていないということであるので、撮影画像Ｒ１６は手ぶれによりぼけていたり、光学的なピンボケが生じていたりする可能性が高い。

　表示用処理部８０は、警告制御処理部８５の指示に応じて、適宜、解像度変換部７４により解像度変換された撮影画像Ｒ１６に、ピント具合に関する警告を示す情報を重畳して表示部２６に表示させる。

　これにより、例えば矢印Ｑ２５に示すように、撮影画像Ｒ１６に重畳して警告アイコンＡＣ１１が表示されるとともに、警告を示す文字メッセージ「ピントの確認をお勧めします」が表示される。このように、ピント具合に関する警告を示す警告アイコンＡＣ１１や文字メッセージを表示させることで、ユーザは、画像がぼけているかどうかの確認、つまりピント具合の確認が必要であるかどうかを簡単かつ直感的に知ることができる。この表示を見たユーザは、適宜、撮影画像Ｒ１６を拡大表示させるなどして、ピント具合を詳細に確認する。

　図４の例では、警告アイコンＡＣ１１および文字メッセージは、撮影画像Ｒ１６を見やすくするために、表示画面の予め定められた位置に表示されている。すなわち、警告アイコンＡＣ１１は表示画面の図中、左上に表示されており、文字メッセージは表示画面の図中、下側に表示されている。

　なお、警告アイコンＡＣ１１は、表示画面の左上の位置に限らず、どのような位置に表示されてもよい。例えば、図５に示すように判定対象領域の近傍に表示されるようにしてもよい。この場合、ユーザは、撮影画像Ｒ１６上のどの部分のピントがぼけているかを簡単かつ直感的に知ることができる。なお、図５において、図４における場合と対応する部分には同一の符号を付してあり、その説明は省略する。

　また、平均スコアが閾値ｔｈ以上であり、撮影画像Ｒ１６のピント具合が十分である場合には、その旨の文字メッセージやアイコン等を表示部２６に表示させるようにしてもよい。

〈撮影処理の説明〉
　次に、以上において説明した処理が行われる場合における、撮像装置１１の具体的な動作について説明する。

　まず、図６のフローチャートを参照して、撮像装置１１による撮影処理について説明する。

　ステップＳ１１において、イメージャ５１は、撮影画像を撮影する。

　具体的には、イメージャ５１は、光学系２１を介して被写体から入射した光を受光して光電変換し、その結果得られた撮影画像をデジタル信号処理LSI５２に供給する。プリ処理部７１や同時化部７２等のデジタル信号処理LSI５２を構成する各部は、イメージャ５１から供給された撮影画像に対して各種の処理を施して撮影画像の現像を行う。

　また、現像処理された撮影画像は、表示用処理部８０により表示部２６に供給され、表示される。すなわち、現像処理された撮影画像がスルー画像として表示される。さらに、AF検波処理部７６は、必要に応じて撮影画像や、イメージャ５１等で取得されたフォーカス動作のための情報に基づいて、オートフォーカスの状態の評価値を算出し、フォーカスレンズ制御処理部８４に供給する。

　ステップＳ１２において、フォーカスレンズ制御処理部８４は、AF検波処理部７６から供給された評価値に基づいてレンズ駆動用ドライバIC５５を制御し、フォーカス動作を実行させる。

　ステップＳ１３において、制御部５４は、ユーザインターフェース５３としてのシャッタボタン２２から供給される信号に基づいて、シャッタボタン２２が押されたか否かを判定する。例えば、シャッタボタン２２が全押しされて撮影が指示されると、シャッタボタン２２が押されたと判定される。

　ステップＳ１３において、シャッタボタン２２が押されていないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。

　これに対して、ステップＳ１３において、シャッタボタン２２が押されたと判定された場合、ステップＳ１４において、デジタル信号処理LSI５２は、制御部５４の制御に従って現像処理された撮影画像をキャプチャする。

　すなわち、デジタル信号処理LSI５２は、現像処理された撮影画像を、撮影された撮影画像としてメモリ７９に供給し、保持させる。

　ステップＳ１５において、フォーカスレンズ制御処理部８４は、撮影時のフォーカス動作に用いた情報に基づいてAF領域情報を生成するとともに、AF領域情報をデジタル信号処理LSI５２に供給し、保持させる。

　デジタル信号処理LSI５２は、フォーカスレンズ制御処理部８４から供給されたAF領域情報をメモリ７９に供給し、撮影画像と対応付けて保持させる。なお、必要に応じてEXIFデータにAF領域情報が格納されて、そのEXIFデータがメモリ７９に保持されるようにしたり、AF領域情報が格納されたEXIFデータが撮影画像に付加されたりしてもよい。

　このようにしてAF領域情報が保持されると、撮影処理は終了する。

　以上のようにして撮影画像が得られると、得られた撮影画像は表示用処理部８０により表示部２６に供給され、プレビュー画像として表示される。また、撮影画像は、適切なタイミングで、適宜CODEC７５により符号化されて記録部５７に記録される。

〈警告処理の説明〉
　また、プレビュー画像が表示されている状態等において、ユーザがユーザインターフェース５３を操作して警告表示を指示した場合や、警告処理が自動的に開始される設定となっている状態で、プレビュー画像が所定時間表示された場合、警告処理が開始される。以下、図７のフローチャートを参照して、撮像装置１１による警告処理について説明する。

　ステップＳ４１において、警告制御処理部８５は、メモリ７９からAF領域情報を取得する。なお、AF領域情報は、メモリ７９に保持されている撮影画像に付加されているEXIFデータから読み出されてもよい。

　ステップＳ４２において、警告制御処理部８５は、合焦領域判定処理部７７に合焦領域判定処理の実行を指示する。

　ステップＳ４３において、合焦領域判定処理部７７は、警告制御処理部８５の指示に応じてメモリ７９から撮影画像を読み出して、合焦領域判定処理を行う。

　例えば、合焦領域判定処理部７７は、撮影画像をＭ×Ｎ個の領域に分割し、分割された各領域について、領域内の各画素の輝度信号を生成する。例えば輝度信号はYC生成部７３が生成するようにしてもよい。

　また、合焦領域判定処理部７７は、分割された領域内の各画素の輝度信号に対してハイパスフィルタ等を用いたフィルタ処理を施して高域成分を抽出し、得られた高域成分を絶対値化する。さらに、合焦領域判定処理部７７は、分割された領域内の各画素について得られた高域成分の絶対値に対して高域成分ノイズ除去とリミッタ処理を行った後、領域内の各画素の高域成分の絶対値を積分することで、分割された領域の合焦スコアを算出する。すなわち、分割された領域の各画素の高域成分の絶対値の総和が、その領域の合焦スコアとされる。

　撮影画像では、ピントが合っている領域、つまり合焦の度合いの高い領域ではエッジ成分が顕著に表れることから、ピントが合っている領域ほど、高域成分の積算値である合焦スコアが大きい値となる。

　合焦領域判定処理部７７は、このようにして得られた撮影画像の各領域の合焦スコアを、合焦領域判定処理の結果として警告制御処理部８５に供給する。

　なお、合焦領域判定処理は、以上において説明した処理に限らず、撮影画像の各領域の合焦度合いが得られるものであれば、どのような処理であってもよい。

　例えば、ピントが合っている学習画像と、ピントが合っていない、ぶれやぼけが生じた学習画像とを用いた機械学習により得られた識別器（辞書）が用いられて、撮影画像の各領域の合焦スコアが求められてもよい。そのような場合、合焦領域判定処理部７７は、撮影画像の各領域から特徴量を抽出するとともに、各領域の特徴量を識別器に代入して演算を行い、その結果得られた値を各領域の合焦スコアとする。

　ステップＳ４４において、警告制御処理部８５は、合焦領域判定処理部７７から、合焦領域判定処理の結果として撮影画像の各領域の合焦スコアを取得する。

　ステップＳ４５において、警告制御処理部８５は、取得したＭ×Ｎ個の各領域の合焦スコアのなかから、AF領域情報により定まる判定対象領域を構成するＭ’×Ｎ’個の各領域の合焦スコアを抽出する。例えば、AF領域情報により示される領域が、そのまま判定対象領域とされる。

　ステップＳ４６において、警告制御処理部８５は、判定対象領域を構成するＭ’×Ｎ’個の各領域の合焦スコアに基づいて、判定対象領域の平均スコアを算出する。

　なお、ここでは、撮影画像の撮影時にフォーカスを合わせようとした部分で十分にピントが合っているかを判定するための情報として、判定対象領域の平均スコアを用いる例について説明するが、他のどのような情報が用いられてもよい。

　例えば、判定対象領域内の合焦スコアの高い領域の平均スコアを用いてもよいし、判定対象領域内の最も高い合焦スコアを用いるようにしてもよい。但し、１つの領域の合焦スコアでピント具合が十分であるかを判定するよりも、複数の領域の合焦スコアの平均値である平均スコアを用いて判定を行う方が、より精度よくピント具合を判定することができる。

　ステップＳ４７において、警告制御処理部８５は、求めた平均スコアと閾値ｔｈとを比較して、平均スコアが閾値ｔｈ未満であるか否かを判定する。

　ステップＳ４７において閾値ｔｈ未満でないと判定された場合、判定対象領域の平均スコアは十分に大きく、判定対象領域は十分ピントが合っている状態となっているので、見栄えのよい撮影画像が得られた、つまり撮影画像の撮り直しは不要であるとされ、警告処理は終了する。なお、この場合、特にユーザの指示により警告処理が開始されるときには、撮り直しが不要であることがユーザに対して通知されるようにしてもよい。

　これに対して、ステップＳ４７において閾値ｔｈ未満であると判定された場合、処理はステップＳ４８に進む。この場合、判定対象領域の平均スコアは小さく、判定対象領域は十分にピントが合っていない状態となっているので、必要に応じて撮影画像の撮り直しを行った方がよい。

　そこで、ステップＳ４８において、警告制御処理部８５は、必要に応じて判定対象領域の位置を示す情報を表示用処理部８０に供給し、表示用処理部８０に警告表示を指示する。

　ステップＳ４９において、表示用処理部８０は、警告制御処理部８５の指示に応じて警告アイコン等の警告表示を行うための画像や文字メッセージを生成して表示部２６に供給し、表示させることで、警告表示を行う。表示部２６は、表示用処理部８０から供給された画像等に基づいて警告を表示する。

　これにより、例えば図４や図５に示したように、撮影画像に重畳されて警告アイコンや文字メッセージが表示される。警告表示が行われると、警告処理は終了する。

　以上のようにして、撮像装置１１は、撮影により得られた撮影画像における、フォーカスを合わせようとしていた領域近傍のピント具合を示す平均スコアを算出し、その平均スコアに応じて警告表示を行う。

　このように、撮影により得られた撮影画像から、その撮影画像のピント具合が十分であるか否かを判定し、その判定結果に応じて警告表示を行うことで、手ぶれや光学的なピンボケ等の要因によらず、ユーザにピント具合の確認を促すことができる。これにより、ユーザは、より簡単かつ直感的に撮影後の画像のピント具合を知ることができる。

　したがって、撮影画像が表示される画面が小型であったために、これまではユーザがピントのぼけやぶれに気付かなかったシーンでも、撮影直後に、その場で再度の撮影が必要かどうかを判断することができ、撮影機会の損失を減少させることができる。

〈第１の実施の形態の変形例１〉
〈警告処理の説明〉
　なお、第１の実施の形態では、撮影画像全体を対象として合焦領域判定処理を行う場合について説明したが、判定対象領域のみが対象とされて合焦領域判定処理が行われるようにしてもよい。

　そのような場合、図６を参照して説明した撮影処理が行われた後、図８に示す警告処理が行われる。以下、図８のフローチャートを参照して、撮像装置１１による警告処理を説明する。

　なお、ステップＳ７１の処理は、図７のステップＳ４１の処理と同様であるので、その説明は省略する。

　ステップＳ７２において、警告制御処理部８５は、AF領域情報により定まる判定対象領域を示す情報を合焦領域判定処理部７７に供給して、判定対象領域のみを対象とする合焦領域判定処理の実行を合焦領域判定処理部７７に指示する。

　ステップＳ７３において、合焦領域判定処理部７７は、警告制御処理部８５の指示に応じて、メモリ７９から撮影画像のうちの判定対象領域の部分を読み出して、合焦領域判定処理を行う。これにより、判定対象領域を構成するＭ’×Ｎ’個の各領域の合焦スコアが得られる。

　ステップＳ７４において、警告制御処理部８５は、合焦領域判定処理部７７から、合焦領域判定処理の結果として判定対象領域を構成するＭ’×Ｎ’個の各領域の合焦スコアを取得する。

　ステップＳ７５において、警告制御処理部８５は、判定対象領域を構成するＭ’×Ｎ’個の各領域の合焦スコアに基づいて、判定対象領域の平均スコアを算出する。

　平均スコアが算出されると、その後、ステップＳ７６乃至ステップＳ７８の処理が行われて警告処理は終了するが、これらの処理は図７のステップＳ４７乃至ステップＳ４９の処理と同様であるので、その説明は省略する。

　以上のようにして、撮像装置１１は、撮影画像上の判定対象領域のみを対象として合焦領域判定処理を行って、判定対象領域の平均スコアを算出し、その平均スコアに応じて警告表示を行う。

　このように、判定対象領域の平均スコアに応じて警告表示を行うことで、手ぶれや光学的なピンボケ等の要因によらず、ユーザにピント具合の確認を促すことができる。これにより、ユーザは、より簡単かつ直感的に撮影後の画像のピント具合を知ることができる。

　また、判定対象領域のみを対象として合焦領域判定処理を行うことで、図７を参照して説明した例よりも、さらに合焦領域判定処理の処理時間を短くすることができる。さらに、メモリ７９から読み出される撮影画像の帯域（領域）も少なくて済むので、より迅速に処理を行うことができるだけでなく、消費電力も少なくすることができる。

〈第２の実施の形態〉
〈撮像装置の処理の概要〉
　なお、以上においてはAF領域情報から定まる領域が判定対象領域とされる場合について説明したが、ユーザによりピント具合の確認を行おうとする領域（位置）が指定されるようにしてもよい。

　そのような場合、図３を参照して説明した撮影処理が行われた後、例えば図９に示す警告処理が行われる。なお、図９において、図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

　警告処理が開始される場合、まず、図中、左上に示すように処理対象となっている撮影画像Ｒ１６が、必要に応じて記録部５７から読み出され、メモリ７９に供給される。なお、撮影直後に警告処理が行われる場合には、撮影画像Ｒ１６はすでにメモリ７９に保持されているため、撮影画像Ｒ１６のロードは不要である。この場合、メモリ７９には、AF領域情報とEXIFデータも保持されている。

　続いて、プレビュー画像として撮影画像Ｒ１６が表示されている状態で、矢印Ｑ３１に示すように、ユーザはユーザインターフェース５３を操作して、ピント具合を確認しようとする領域（以下、指定領域とも称する）を指示する。

　この例では、ユーザが表示部２６に重畳されている、ユーザインターフェース５３としてのタッチパネルを直接タッチして、撮影画像Ｒ１６上のピント具合を確認しようとする位置を指定領域として指定している。なお、指定領域の指定は、ユーザインターフェース５３としてのダイヤル等が操作されて指定されてもよいし、撮影画像Ｒ１６上の所定の大きさの領域が指定されてもよい。

　このようにユーザによって指定領域が指定されると、矢印Ｑ３２に示すように、警告制御処理部８５は指定領域に基づいて判定対象領域ＤＲ１１を定め、合焦領域判定処理部７７に判定対象領域ＤＲ１１のみを対象とする合焦領域判定処理の実行を指示する。なお、判定対象領域ＤＲ１１は、例えば指定領域を中心とし、指定領域全体を含む領域とされる。

　合焦領域判定処理部７７は、警告制御処理部８５の指示に従って、メモリ７９から撮影画像Ｒ１６の判定対象領域ＤＲ１１の部分を読み出し、合焦領域判定処理を行う。

　合焦領域判定処理では、例えば矢印Ｑ２２に示すように撮影画像Ｒ１６が、Ｍ×Ｎ個の領域に分割される。そして、矢印Ｑ３３に示すように、それらのＭ×Ｎ個の領域のうちの判定対象領域ＤＲ１１のみが処理対象とされて、判定対象領域ＤＲ１１を構成するＭ’×Ｎ’個の各領域の合焦スコアが算出され、警告制御処理部８５に供給される。

　警告制御処理部８５は、合焦領域判定処理部７７から供給された判定対象領域ＤＲ１１の各領域の合焦スコアに基づいて平均スコアを算出し、平均スコアが閾値ｔｈ未満である場合、表示用処理部８０に警告表示を指示する。

　表示用処理部８０は、警告制御処理部８５の指示に応じて、適宜、解像度変換部７４により解像度変換された撮影画像Ｒ１６に、ピント具合に関する警告を示す情報を重畳して表示部２６に表示させる。

　これにより、例えば矢印Ｑ３４に示すように、撮影画像Ｒ１６に重畳して警告アイコンＡＣ１１が表示されるとともに、警告を示す文字メッセージ「ピントの確認をお勧めします」が表示される。このように、警告アイコンＡＣ１１や文字メッセージを表示させることで、ユーザは、ピント具合の確認が必要であるかどうかを簡単かつ直感的に知ることができる。

　図９の例では、警告アイコンＡＣ１１は表示画面の図中、左上に表示されており、文字メッセージは表示画面の図中、下側に表示されている。

　なお、警告アイコンＡＣ１１は、表示画面の左上の位置に限らず、どのような位置に表示されてもよい。例えば、図５に示した例と同様に、判定対象領域ＤＲ１１の近傍に警告アイコンＡＣ１１が表示されるようにしてもよい。

〈警告処理の説明〉
　次に、図９に示した警告処理のより具体的な処理内容について説明する。以下、図１０のフローチャートを参照して、撮像装置１１による警告処理を説明する。

　ステップＳ１０１において、警告制御処理部８５は、ユーザインターフェース５３から、指定領域を示す情報を取得する。

　例えば、ユーザはユーザインターフェース５３としてのタッチパネルをタッチして指定領域を指定したり、ユーザインターフェース５３としてのダイヤル等を操作して指定領域を指定したりする。警告制御処理部８５は、ユーザによる操作に応じてユーザインターフェース５３から出力される情報を、指定領域を示す情報として取得する。

　ステップＳ１０２において、警告制御処理部８５は、指定領域に対して定まる判定対象領域を示す情報を合焦領域判定処理部７７に供給して、判定対象領域のみを対象とする合焦領域判定処理の実行を合焦領域判定処理部７７に指示する。例えば判定対象領域は、指定領域を中心とする所定の大きさの領域とされる。

　ステップＳ１０３において、合焦領域判定処理部７７は、警告制御処理部８５の指示に応じて、メモリ７９から撮影画像のうちの判定対象領域の部分を読み出して、合焦領域判定処理を行う。これにより、判定対象領域を構成するＭ’×Ｎ’個の各領域の合焦スコアが得られる。

　ステップＳ１０４において、警告制御処理部８５は、合焦領域判定処理部７７から、合焦領域判定処理の結果として判定対象領域を構成するＭ’×Ｎ’個の各領域の合焦スコアを取得する。

　ステップＳ１０５において、警告制御処理部８５は、判定対象領域を構成するＭ’×Ｎ’個の各領域の合焦スコアに基づいて、判定対象領域の平均スコアを算出する。

　平均スコアが算出されると、その後、ステップＳ１０６乃至ステップＳ１０８の処理が行われて警告処理は終了するが、これらの処理は図７のステップＳ４７乃至ステップＳ４９の処理と同様であるので、その説明は省略する。

　以上のようにして、撮像装置１１は、ユーザにより指定された領域を含む判定対象領域のみを対象として合焦領域判定処理を行って、判定対象領域の平均スコアを算出し、その平均スコアに応じて警告表示を行う。

　このように、判定対象領域の平均スコアに応じて警告表示を行うことで、手ぶれや光学的なピンボケ等の要因によらず、ユーザにピント具合の確認を促すことができる。これにより、ユーザは、より簡単かつ直感的に撮影後の画像のピント具合を知ることができる。

　特に、ユーザにより指定された領域を含む判定対象領域のみを処理の対象とすることで、より迅速に処理を行うことができるだけでなく、消費電力も少なくすることができる。また、ユーザは所望する領域のピント具合を確実に知ることができる。

〈第３の実施の形態〉
〈撮像装置の処理の概要〉
　ところで、人の顔を被写体として撮影画像を撮影するときには、ユーザは人の顔の部分にピントを合わせ、撮影後には、その顔の部分のピント具合を確認したいはずである。そこで、撮影画像から顔領域を検出し、その顔領域のみを合焦領域判定処理の対象である判定対象領域とするようにしてもよい。

　そのような場合、例えば図１１に示す撮影処理と図１２に示す警告処理が行われる。

　すなわち、図１１に示すように、撮影動作が開始されると、イメージャ５１は、光学系２１を介して入射する光を受光して光電変換する。これにより、各フレームの撮影画像Ｆ３１乃至撮影画像Ｆ３６が得られる。なお、撮影画像Ｆ３１乃至撮影画像Ｆ３６のうち、図中、手前側にあるものほど後の時刻、つまり現在時刻により近い時刻に撮影された撮影画像となっている。

　このような各フレームの撮影画像の撮影時には、顔検出処理部７８は、撮影画像から人の顔の領域を検出する。また、AF検波処理部７６は、各フレームの撮影画像に基づいてオートフォーカスの状態を示す評価値を算出し、制御部５４に供給する。制御部５４のフォーカスレンズ制御処理部８４は、AF検波処理部７６から供給された評価値に基づいてレンズ駆動用ドライバIC５５を制御し、フォーカス動作を実行させる。

　これにより、レンズ駆動用ドライバIC５５によって光学系２１のフォーカスレンズ等が駆動され、被写体にピントが合う状態とされる。特に、撮影画像から顔領域が検出された場合には、その顔領域にピントがあうようにフォーカス動作が行われる。

　また、各フレームの撮影画像Ｆ３１乃至撮影画像Ｆ３６が得られると、これらの撮影画像に対して現像処理が行われ、その結果得られた撮影画像Ｒ３１乃至撮影画像Ｒ３６が撮影時のスルー画像として表示部２６に順番に表示される。

　ユーザは、表示部２６に表示されたスルー画像を見ながら被写体を確認し、シャッタボタン２２等を操作して、撮影を行う。

　この例では、撮影画像Ｆ３１乃至撮影画像Ｆ３３からは顔領域が検出されているので、それらの撮影画像を現像して得られた撮影画像Ｒ３１乃至撮影画像Ｒ３３には、検出された顔領域を示す枠ＦＣ１１が表示されている。

　さらに、矢印Ｑ４１に示すように、ユーザが撮影画像Ｆ３３の取り込み時にシャッタボタン２２を半押しすると、それ以降のフレームの撮影画像Ｒ３４乃至撮影画像Ｒ３６には、オートフォーカスのターゲットの枠ＦＲ３１が表示される。この例では、顔領域を示す枠ＦＣ１１の領域が、そのままターゲットの枠ＦＲ３１とされている。

　ユーザは、枠ＦＲ３１内の被写体にフォーカス（ピント）が合った状態となったと判断すると、シャッタボタン２２を全押しして画像の撮影を指示する。

　この例では、矢印Ｑ４２に示すように、撮影画像Ｆ３６の取り込み時にシャッタボタン２２が全押しされているので、撮影画像Ｆ３６を現像処理して得られた撮影画像Ｒ３６が、撮影により得られた画像としてキャプチャされる。

　このようにして撮影された撮影画像Ｒ３６は、図中、右側に示すようにメモリ７９に保持された後、記録部５７に記録されるとともに、撮影後のプレビュー画像として表示部２６に表示される。

　また、撮像装置１１では、撮影画像Ｒ３６がメモリ７９に保持されると同時に、撮影画像Ｆ３６の撮影時にオートフォーカスにおける合焦の対象とされた顔領域を示す情報も顔領域情報としてメモリ７９に保持される。

　さらに図１１の例では、メモリ７９には、顔領域情報に加えて、顔領域情報が格納されたEXIFデータも保持されている。このEXIFデータは、撮影画像Ｒ３６のメタデータとして付加されるデータであり、例えば顔領域情報は、EXIFデータの自由領域に記録される。なお、撮影画像から顔が検出されなかった場合には、顔領域情報の記録は行われない。

　以上のようにして撮影画像Ｒ３６、顔領域情報、およびEXIFデータがメモリ７９に保持されると、その後、適切なタイミングで、撮影画像Ｒ３６にEXIFデータが付加されて、EXIFデータが付加された撮影画像Ｒ３６が記録部５７に記録される。また、撮影画像Ｒ３６が、撮影後のプレビュー画像として表示部２６に表示される。

　さらに、撮影画像Ｒ３６がプレビュー画像として表示された状態で、例えば図１２の左下部分の矢印Ｑ５１に示すように、ユーザがユーザインターフェース５３に対する操作を行い、ピント具合の確認指示をしたとする。

　すると、撮像装置１１では、撮影した撮影画像Ｒ３６のピント具合が十分であるかどうかを確認して、必要に応じて警告を発する警告処理が行われる。なお、上述したように警告処理は自動的に開始されるようにしてもよい。

　警告処理が開始されると、まず、撮影画像Ｒ３６が、必要に応じて記録部５７から読み出され、メモリ７９に供給される。なお、撮影直後に警告処理が行われる場合には、撮影画像Ｒ３６はすでにメモリ７９に保持されているため、撮影画像Ｒ３６のロードは不要である。この場合、メモリ７９には、顔領域情報とEXIFデータも保持されている。

　次に、警告制御処理部８５は、撮影画像Ｒ３６における、メモリ７９に保持されている顔領域情報により示される顔領域である枠ＦＲ３１のみを対象とする合焦領域判定処理の実行を合焦領域判定処理部７７に指示する。

　すると、合焦領域判定処理部７７は、メモリ７９から、撮影画像Ｒ３６の顔領域の部分を読み出して、顔領域に対する合焦領域判定処理を行う。

　合焦領域判定処理では、例えば矢印Ｑ５２に示すように撮影画像Ｒ３６が、Ｍ×Ｎ個の領域に分割される。そして、矢印Ｑ５３に示すように、それらのＭ×Ｎ個の領域のうちの顔領域であるとされた枠ＦＲ３１の領域のみが処理対象とされて、枠ＦＲ３１の領域を構成するＭ’×Ｎ’個の各領域の合焦スコアが算出され、警告制御処理部８５に供給される。

　警告制御処理部８５は、合焦領域判定処理部７７から供給された顔領域内の各領域の合焦スコアに基づいて平均スコアを算出し、平均スコアが閾値ｔｈ未満である場合、表示用処理部８０に警告表示を指示する。

　表示用処理部８０は、警告制御処理部８５の指示に応じて、適宜、解像度変換部７４により解像度変換された撮影画像Ｒ３６に、ピント具合に関する警告を示す情報を重畳して表示部２６に表示させる。

　これにより、例えば矢印Ｑ５４に示すように、撮影画像Ｒ３６に重畳して警告アイコンＡＣ３１が表示されるとともに、警告を示す文字メッセージ「ピントの確認をお勧めします」が表示される。このように、警告アイコンＡＣ３１や文字メッセージを表示させることで、ユーザは、ピント具合の確認が必要であるかどうかを簡単かつ直感的に知ることができる。

　図１２の例では、警告アイコンＡＣ３１は表示画面の図中、右上に表示されており、文字メッセージは表示画面の図中、下側に表示されている。また、撮影画像Ｒ３６上には、顔領域を示す枠ＦＲ３１も表示されている。

　なお、警告アイコンＡＣ３１は、表示画面の右上の位置に限らず、どのような位置に表示されてもよい。例えば、図１３に示すように顔領域の近傍に表示されるようにしてもよい。この場合、ユーザは、撮影画像Ｒ３６上のどの部分のピントがぼけているかを簡単かつ直感的に知ることができる。また、警告アイコンＡＣ３１により顔が隠れてしまうこともない。なお、図１３において、図１２における場合と対応する部分には同一の符号を付してあり、その説明は省略する。

〈撮影処理の説明〉
　次に、図１１および図１２において説明した処理が行われる場合における、撮像装置１１の具体的な動作について説明する。

　まず、図１４のフローチャートを参照して、撮像装置１１による撮影処理について説明する。なお、ステップＳ１３１の処理は、図６のステップＳ１１の処理と同様であるので、その説明は省略する。

　ステップＳ１３２において、顔検出処理部７８は、撮影により得られた撮影画像に対して顔検出を行い、人の顔の領域を検出する。例えば顔検出では、撮影画像から抽出された特徴量に基づいて、顔領域が検出される。顔検出処理部７８は、顔領域の検出結果を制御部５４に供給する。

　ステップＳ１３３において、フォーカスレンズ制御処理部８４は、AF検波処理部７６から供給された評価値に基づいてレンズ駆動用ドライバIC５５を制御し、フォーカス動作を実行させる。このとき、例えば撮影画像から検出された顔領域がフォーカスを合わせる対象となる領域とされる。

　フォーカス動作が行われると、その後、ステップＳ１３４およびステップＳ１３５の処理が行われて撮影画像のキャプチャが行われるが、これらの処理は図６のステップＳ１３およびステップＳ１４の処理と同様であるので、その説明は省略する。

　ステップＳ１３６において、フォーカスレンズ制御処理部８４は、顔検出処理部７８により検出された顔領域を示す顔領域情報をデジタル信号処理LSI５２に供給し、保持させる。

　デジタル信号処理LSI５２は、フォーカスレンズ制御処理部８４から供給された顔領域情報をメモリ７９に供給し、撮影画像と対応付けて保持させる。なお、必要に応じてEXIFデータに顔領域情報が格納されて、そのEXIFデータがメモリ７９に保持されるようにしたり、顔領域情報が格納されたEXIFデータが撮影画像に付加されたりしてもよい。

　このようにして顔領域情報が保持されると、撮影処理は終了する。なお、撮影画像から顔領域が検出されなかった場合には、顔領域情報は記録されない。

　以上のようにして撮影画像が得られると、得られた撮影画像はプレビュー画像として表示部２６に表示される。また、撮影画像は、適切なタイミングで、適宜CODEC７５により符号化されて記録部５７に記録される。

〈警告処理の説明〉
　プレビュー画像が表示されている状態等において、ユーザがユーザインターフェース５３を操作して警告表示を指示した場合や、警告処理が自動的に開始される設定となっている状態で、プレビュー画像が所定時間表示された場合、警告処理が開始される。以下、図１５のフローチャートを参照して、撮像装置１１による警告処理について説明する。

　ステップＳ１６１において、警告制御処理部８５は、メモリ７９から顔領域情報を取得する。なお、顔領域情報は、メモリ７９に保持されている撮影画像に付加されているEXIFデータから読み出されてもよい。

　ステップＳ１６２において、警告制御処理部８５は、撮影画像の撮影時に顔が検出されたか否かを判定する。例えば、顔領域情報がメモリ７９に保持されていたか、またはEXIFデータに含まれていた場合、顔が検出されたと判定される。

　ステップＳ１６２において、顔が検出されなかったと判定された場合、顔部分のピント具合を判定することができないので、警告処理は終了する。

　これに対して、ステップＳ１６２において、顔が検出されたと判定された場合、ステップＳ１６３において、警告制御処理部８５は、顔領域情報を合焦領域判定処理部７７に供給して、顔領域のみを対象とする合焦領域判定処理の実行を合焦領域判定処理部７７に指示する。

　ステップＳ１６４において、合焦領域判定処理部７７は、警告制御処理部８５の指示に応じて、メモリ７９から撮影画像のうちの顔領域の部分を読み出して、合焦領域判定処理を行う。これにより、顔領域を構成するＭ’×Ｎ’個の各領域の合焦スコアが得られる。

　ステップＳ１６５において、警告制御処理部８５は、合焦領域判定処理部７７から、合焦領域判定処理の結果として顔領域を構成するＭ’×Ｎ’個の各領域の合焦スコアを取得する。

　ステップＳ１６６において、警告制御処理部８５は、顔領域を構成するＭ’×Ｎ’個の各領域の合焦スコアに基づいて、顔領域の平均スコアを算出する。

　平均スコアが算出されると、その後、ステップＳ１６７乃至ステップＳ１６９の処理が行われて警告処理は終了するが、これらの処理は図７のステップＳ４７乃至ステップＳ４９の処理と同様であるので、その説明は省略する。

　以上のようにして、撮像装置１１は、撮影画像上の顔領域のみを対象として合焦領域判定処理を行って、顔領域の平均スコアを算出し、その平均スコアに応じて警告表示を行う。

　このように、顔領域の平均スコアに応じて警告表示を行うことで、手ぶれや光学的なピンボケ等の要因によらず、ユーザにピント具合の確認を促すことができる。これにより、ユーザは、より簡単かつ直感的に撮影後の画像のピント具合を知ることができる。

　また、顔領域のみを対象として合焦領域判定処理を行うことで、さらに合焦領域判定処理の処理時間を短くすることができるとともに、消費電力も少なくすることができる。

〈第４の実施の形態〉
〈警告処理の説明〉
　なお、以上においては、ユーザに対する警告を発する方法として、警告表示を行う場合について説明したが、警告音声を出力することにより、ユーザに対して警告を発するようにしてもよい。

　そのような場合、図７、図８、図１０、および図１５を参照して説明した各警告処理に対応する処理として、例えば図１６乃至図１９に示す処理が行われる。以下、図１６乃至図１９のフローチャートを参照して、警告音声による警告処理について説明する。

　まず、図１６のフローチャートを参照して、図７に示した警告処理に対応する警告処理について説明する。なお、ステップＳ１９１乃至ステップＳ１９７の処理は、図７のステップＳ４１乃至ステップＳ４７の処理と同様であるので、その説明は省略する。

　ステップＳ１９８において、警告制御処理部８５は、スピーカ駆動処理部８２に警告を指示する。

　すると、ステップＳ１９９において、スピーカ駆動処理部８２は、警告制御処理部８５の指示に応じて警告音声の音声信号をスピーカ５９に供給し、警告音声を出力させる。スピーカ５９は、スピーカ駆動処理部８２から供給された音声信号に基づいて、警告音声を再生することで警告を発し、警告処理は終了する。

　なお、警告音声は、音声メッセージでもよいし、所定のパターンの音でもよい。

　以上のようにして、撮像装置１１は警告音声によりピント具合の確認を促す警告を発する。これにより、ユーザは表示部２６を見ていない時でも、ピント具合の確認が必要であることを簡単かつ直感的にに知ることができる。

　次に、図１７のフローチャートを参照して、図８に示した警告処理に対応する警告処理について説明する。なお、ステップＳ２２１乃至ステップＳ２２６の処理は、図８のステップＳ７１乃至ステップＳ７６の処理と同様であるので、その説明は省略する。

　ステップＳ２２７において、警告制御処理部８５は、スピーカ駆動処理部８２に警告を指示する。そして、ステップＳ２２８において、スピーカ駆動処理部８２は、警告制御処理部８５の指示に応じて警告音声の音声信号をスピーカ５９に供給し、警告音声を出力させる。スピーカ５９は、スピーカ駆動処理部８２からの音声信号に基づいて、警告音声を再生することで警告を発し、警告処理は終了する。

　以上のようにして、撮像装置１１は警告音声によりピント具合の確認を促す警告を発する。これにより、ユーザは表示部２６を見ていない時でも、ピント具合の確認が必要であることを簡単かつ直感的に知ることができる。

　また、図１８のフローチャートを参照して、図１０に示した警告処理に対応する警告処理について説明する。なお、ステップＳ２５１乃至ステップＳ２５６の処理は、図１０のステップＳ１０１乃至ステップＳ１０６の処理と同様であるので、その説明は省略する。

　ステップＳ２５７において、警告制御処理部８５は、スピーカ駆動処理部８２に警告を指示する。そして、ステップＳ２５８において、スピーカ駆動処理部８２は、警告制御処理部８５の指示に応じて警告音声の音声信号をスピーカ５９に供給し、警告音声を出力させる。スピーカ５９は、スピーカ駆動処理部８２からの音声信号に基づいて、警告音声を再生することで警告を発し、警告処理は終了する。

　以上のようにして、撮像装置１１は警告音声によりピント具合の確認を促す警告を発する。これにより、ユーザは表示部２６を見ていない時でも、ピント具合の確認が必要であることを簡単かつ直感的に知ることができる。

　さらに、図１９のフローチャートを参照して、図１５に示した警告処理に対応する警告処理について説明する。なお、ステップＳ２８１乃至ステップＳ２８７の処理は、図１５のステップＳ１６１乃至ステップＳ１６７の処理と同様であるので、その説明は省略する。

　ステップＳ２８８において、警告制御処理部８５は、スピーカ駆動処理部８２に警告を指示する。そして、ステップＳ２８９において、スピーカ駆動処理部８２は、警告制御処理部８５の指示に応じて警告音声の音声信号をスピーカ５９に供給し、警告音声を出力させる。スピーカ５９は、スピーカ駆動処理部８２からの音声信号に基づいて、警告音声を再生することで警告を発し、警告処理は終了する。

　以上のようにして、撮像装置１１は警告音声によりピント具合の確認を促す警告を発する。これにより、ユーザは表示部２６を見ていない時でも、ピント具合の確認が必要であることを簡単かつ直感的に知ることができる。

〈第５の実施の形態〉
〈警告処理の説明〉
　また、以上においては、ユーザに対する警告を発する他の方法として、音声による警告を例として説明したが、ユーザに対して光により警告を発するようにしてもよい。

　そのような場合、図７、図８、図１０、および図１５を参照して説明した各警告処理に対応する処理として、例えば図２０乃至図２３に示す処理が行われる。以下、図２０乃至図２３のフローチャートを参照して、発光による警告処理について説明する。

　まず、図２０のフローチャートを参照して、図７に示した警告処理に対応する警告処理について説明する。なお、ステップＳ３１１乃至ステップＳ３１７の処理は、図７のステップＳ４１乃至ステップＳ４７の処理と同様であるので、その説明は省略する。

　ステップＳ３１８において、警告制御処理部８５は、発光素子駆動処理部８３に警告を指示する。

　すると、ステップＳ３１９において、発光素子駆動処理部８３は、警告制御処理部８５の指示に応じて発光素子６０を駆動し、発光による警告を行う。発光素子６０は、発光素子駆動処理部８３により駆動されると所定パターンで発光（点灯）することで警告を発し、警告処理は終了する。

　以上のようにして、撮像装置１１は発光によりピント具合の確認を促す警告を発する。これにより、ユーザは表示部２６を見ていない時でも、ピント具合の確認が必要であることを簡単かつ直感的に知ることができる。

　次に、図２１のフローチャートを参照して、図８に示した警告処理に対応する警告処理について説明する。なお、ステップＳ３４１乃至ステップＳ３４６の処理は、図８のステップＳ７１乃至ステップＳ７６の処理と同様であるので、その説明は省略する。

　ステップＳ３４７において、警告制御処理部８５は、発光素子駆動処理部８３に警告を指示する。すると、ステップＳ３４８において、発光素子駆動処理部８３は、警告制御処理部８５の指示に応じて発光素子６０を駆動し、発光による警告を行う。発光素子６０は、発光素子駆動処理部８３により駆動されると所定パターンで発光することで警告を発し、警告処理は終了する。

　以上のようにして、撮像装置１１は発光によりピント具合の確認を促す警告を発する。これにより、ユーザは表示部２６を見ていない時でも、ピント具合の確認が必要であることを簡単かつ直感的に知ることができる。

　また、図２２のフローチャートを参照して、図１０に示した警告処理に対応する警告処理について説明する。なお、ステップＳ３７１乃至ステップＳ３７６の処理は、図１０のステップＳ１０１乃至ステップＳ１０６の処理と同様であるので、その説明は省略する。

　ステップＳ３７７において、警告制御処理部８５は、発光素子駆動処理部８３に警告を指示する。すると、ステップＳ３７８において、発光素子駆動処理部８３は、警告制御処理部８５の指示に応じて発光素子６０を駆動し、発光による警告を行う。発光素子６０は、発光素子駆動処理部８３により駆動されると所定パターンで発光することで警告を発し、警告処理は終了する。

　以上のようにして、撮像装置１１は発光によりピント具合の確認を促す警告を発する。これにより、ユーザは表示部２６を見ていない時でも、ピント具合の確認が必要であることを簡単かつ直感的に知ることができる。

　さらに、図２３のフローチャートを参照して、図１５に示した警告処理に対応する警告処理について説明する。なお、ステップＳ４０１乃至ステップＳ４０７の処理は、図１５のステップＳ１６１乃至ステップＳ１６７の処理と同様であるので、その説明は省略する。

　ステップＳ４０８において、警告制御処理部８５は、発光素子駆動処理部８３に警告を指示する。すると、ステップＳ４０９において、発光素子駆動処理部８３は、警告制御処理部８５の指示に応じて発光素子６０を駆動し、発光による警告を行う。発光素子６０は、発光素子駆動処理部８３により駆動されると所定パターンで発光することで警告を発し、警告処理は終了する。

　以上のようにして、撮像装置１１は発光によりピント具合の確認を促す警告を発する。これにより、ユーザは表示部２６を見ていない時でも、ピント具合の確認が必要であることを簡単かつ直感的に知ることができる。

〈第６の実施の形態〉
〈警告処理の説明〉
　さらに、ユーザに対する警告を発する他の方法として、振動による警告を行うようにしてもよい。

　そのような場合、図７、図８、図１０、および図１５を参照して説明した各警告処理に対応する処理として、例えば図２４乃至図２７に示す処理が行われる。以下、図２４乃至図２７のフローチャートを参照して、振動による警告処理について説明する。

　まず、図２４のフローチャートを参照して、図７に示した警告処理に対応する警告処理について説明する。なお、ステップＳ４３１乃至ステップＳ４３７の処理は、図７のステップＳ４１乃至ステップＳ４７の処理と同様であるので、その説明は省略する。

　ステップＳ４３８において、警告制御処理部８５は、振動駆動処理部８１に警告を指示する。すると、ステップＳ４３９において、振動駆動処理部８１は、警告制御処理部８５の指示に応じて振動部５８を駆動し、振動による警告を行う。振動部５８は、振動駆動処理部８１により駆動されると所定パターンで振動することで警告を発し、警告処理は終了する。

　以上のようにして、撮像装置１１は振動によりピント具合の確認を促す警告を発する。これにより、ユーザは表示部２６を見ていない時でも、ピント具合の確認が必要であることを簡単かつ直感的に知ることができる。

　次に、図２５のフローチャートを参照して、図８に示した警告処理に対応する警告処理について説明する。なお、ステップＳ４６１乃至ステップＳ４６６の処理は、図８のステップＳ７１乃至ステップＳ７６の処理と同様であるので、その説明は省略する。

　ステップＳ４６７において、警告制御処理部８５は、振動駆動処理部８１に警告を指示する。すると、ステップＳ４６８において、振動駆動処理部８１は、警告制御処理部８５の指示に応じて振動部５８を駆動し、振動による警告を行う。振動部５８は、振動駆動処理部８１により駆動されると所定パターンで振動することで警告を発し、警告処理は終了する。

　以上のようにして、撮像装置１１は振動によりピント具合の確認を促す警告を発する。これにより、ユーザは表示部２６を見ていない時でも、ピント具合の確認が必要であることを簡単かつ直感的に知ることができる。

　また、図２６のフローチャートを参照して、図１０に示した警告処理に対応する警告処理について説明する。なお、ステップＳ４９１乃至ステップＳ４９６の処理は、図１０のステップＳ１０１乃至ステップＳ１０６の処理と同様であるので、その説明は省略する。

　ステップＳ４９７において、警告制御処理部８５は、振動駆動処理部８１に警告を指示する。すると、ステップＳ４９８において、振動駆動処理部８１は、警告制御処理部８５の指示に応じて振動部５８を駆動し、振動による警告を行う。振動部５８は、振動駆動処理部８１により駆動されると所定パターンで振動することで警告を発し、警告処理は終了する。

　以上のようにして、撮像装置１１は振動によりピント具合の確認を促す警告を発する。これにより、ユーザは表示部２６を見ていない時でも、ピント具合の確認が必要であることを簡単かつ直感的に知ることができる。

　さらに、図２７のフローチャートを参照して、図１５に示した警告処理に対応する警告処理について説明する。なお、ステップＳ５２１乃至ステップＳ５２７の処理は、図１５のステップＳ１６１乃至ステップＳ１６７の処理と同様であるので、その説明は省略する。

　ステップＳ５２８において、警告制御処理部８５は、振動駆動処理部８１に警告を指示する。すると、ステップＳ５２９において、振動駆動処理部８１は、警告制御処理部８５の指示に応じて振動部５８を駆動し、振動による警告を行う。振動部５８は、振動駆動処理部８１により駆動されると所定パターンで振動することで警告を発し、警告処理は終了する。

　以上のようにして、撮像装置１１は振動によりピント具合の確認を促す警告を発する。これにより、ユーザは表示部２６を見ていない時でも、ピント具合の確認が必要であることを簡単かつ直感的に知ることができる。

　なお、以上においては、警告方法として、表示による警告、音声による警告、発光（点灯）による警告、および振動による警告を例として説明したが、これらの表示、音声、発光、および振動の一部または全部を適宜、組み合わせて警告を行うことも勿論可能である。

　また、平均スコアの値に応じて段階的に、または線形に警告表示の色や濃度、音声の音量、発光強度、振動時間等を変化させてもよい。すなわち、平均スコアの値によって定まる色や濃度、音量、発光強度等で警告が発せられるようにしてもよい。さらに平均スコアに応じて表示の点滅パターン、音声や発光、振動のパターンを変化させてもよい。

〈第７の実施の形態〉
〈多機能型携帯電話機の外観の構成例〉
　さらに、以上においては、本技術をデジタルスチルカメラ等の撮像装置１１に適用した場合について説明したが、上述したように本技術は、多機能型携帯電話機等にも適用可能である。以下、本技術を多機能型携帯電話機に適用した場合を例として説明する。

　図２８は、本技術を適用した多機能型携帯電話機の外観の構成例を示す図である。

　多機能型携帯電話機１２１は、カメラ機能を有する携帯型電話機からなり、図２８では矢印Ａ４１に示す図は多機能型携帯電話機１２１を表面側から見た図であり、矢印Ａ４２に示す図は多機能型携帯電話機１２１を裏面側から見た図である。

　多機能型携帯電話機１２１の表面には、液晶パネル等からなる表示部１３１が設けられており、表示部１３１には図示せぬタッチパネルが重畳して設けられている。例えばユーザは、表示部１３１に表示される画像等を見たり、表示部１３１に表示されるアイコン等を操作したりする。

　また、多機能型携帯電話機１２１の側面には、カメラ機能による撮影時にシャッタボタンとして機能するシャッタボタン１３２や、音量調整などのためのボタン１３３等の各種のボタンが設けられている。

　さらに、多機能型携帯電話機１２１の裏面には、被写体から入射してくる光を図示せぬイメージャへと導く光学系１３４が設けられており、ユーザは光学系１３４を所望の被写体に向けて撮影を行う。

〈多機能型携帯電話機の機能の構成例〉
　また、図２８に示した多機能型携帯電話機１２１の機能の構成は、例えば図２９に示す構成とされる。なお、図２９において、図２８または図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

　多機能型携帯電話機１２１は、光学系１３４、イメージャ１６１、デジタル信号処理LSI１６２、ユーザインターフェース１６３、制御部１６４、手ぶれセンサ１６５、記録部１６６、表示部１３１、振動部１６７、スピーカ１６８、発光素子１６９、マイクロホン１７０、および無線通信部１７１を有している。

　なお、光学系１３４、イメージャ１６１乃至記録部１６６、表示部１３１、および振動部１６７乃至発光素子１６９は、撮像装置１１の光学系２１、イメージャ５１乃至制御部５４、手ぶれセンサ５６、記録部５７、表示部２６、および振動部５８乃至発光素子６０と同様であるので、その説明は適宜省略する。

　この例では、制御部１６４には、フォーカスレンズ制御処理部８４および警告制御処理部８５が設けられている。また、ユーザインターフェース１６３は、例えば表示部１３１に重畳されたタッチパネルや、シャッタボタン１３２、ボタン１３３などから構成される。

　デジタル信号処理LSI１６２は、手ぶれセンサ１６５の出力に基づいて、撮影画像に対して電子的な手ぶれ補正を施す。さらに、デジタル信号処理LSI１６２は、プリ処理部７１、同時化部７２、YC生成部７３、解像度変換部７４、CODEC７５、AF検波処理部７６、合焦領域判定処理部７７、顔検出処理部７８、メモリ７９、表示用処理部８０、振動駆動処理部８１、スピーカ駆動処理部８２、発光素子駆動処理部８３、および通話処理部１８１を備えている。

　通話処理部１８１は、ユーザによる他の電話機との通話に関する処理を行う。例えば通話処理部１８１は、マイクロホン１７０がユーザの音声を収音することで得られた音声信号を無線通信部１７１に供給し、基地局等を介して通話相手の電話機に送信させる。また、例えば通話処理部１８１は、通話相手の電話機から送信され、無線通信部１７１により受信された音声信号を、スピーカ駆動処理部８２を介してスピーカ１６８に供給し、再生させる。

　無線通信部１７１は、制御部１６４の制御に従って無線通信を行う。例えば、無線通信部１７１は、基地局等を介して通話相手との音声信号の送受信を行ったり、Wi-Fi（登録商標）等の比較的近距離での無線による情報の送受信を行ったりする。

〈撮影処理および警告処理の説明〉
　次に、以上において説明した多機能型携帯電話機１２１の具体的な動作について説明する。まず、図３０のフローチャートを参照して、多機能型携帯電話機１２１による撮影処理について説明する。なお、撮影処理では、ステップＳ５５１乃至ステップＳ５５５の処理が行われるが、これらの処理は図６のステップＳ１１乃至ステップＳ１５と同様であるので、その説明は省略する。

　また、多機能型携帯電話機１２１は、撮影処理を行った後、プレビュー画像が表示されている状態等で、ユーザがユーザインターフェース１６３を操作して警告表示を指示した場合や、警告処理が自動的に開始される設定となっている状態で、プレビュー画像が所定時間表示された場合、警告処理を行う。

　以下、図３１のフローチャートを参照して、多機能型携帯電話機１２１による警告処理について説明する。図３１の警告処理では、ステップＳ５８１乃至ステップＳ５８９の処理が行われるが、これらの処理は図７のステップＳ４１乃至ステップＳ４９の処理と同様であるので、その説明は省略する。

　また、多機能型携帯電話機１２１では、図１４に示した撮影処理と同様の処理、図８や図１０、図１５乃至図２７に示した警告処理と同様の処理が行われるようにしてもよい。

〈第８の実施の形態〉
〈ウェアラブルカメラの外観の構成例〉
　さらに、本技術はウェアラブルカメラと呼ばれる、小型でユーザの頭部等に装着可能なデジタルビデオカメラなどにも適用可能である。以下、本技術をウェアラブルカメラに適用した場合を例として説明する。

　図３２は、本技術を適用したウェアラブルカメラの外観の構成例を示す図である。

　ウェアラブルカメラ２１１の正面には、被写体から入射してくる光を図示せぬイメージャへと導く光学系２２１が設けられており、ユーザは光学系２２１を所望の被写体に向けて撮影を行う。

　また、ウェアラブルカメラ２１１の背面には、図示せぬ録画ボタン等の各種のボタンが設けられており、ユーザはそれらのボタンを操作して、撮影や再生を指示する。さらに、ウェアラブルカメラ２１１は、無線通信により他の機器、例えば図２８に示した多機能型携帯電話機１２１と情報の授受を行うことができるようになされている。

〈ウェアラブルカメラの機能の構成例〉
　また、図３２に示したウェアラブルカメラ２１１の機能の構成は、例えば図３３に示す構成とされる。なお、図３３において、図３２または図２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

　ウェアラブルカメラ２１１は、光学系２２１、イメージャ２５１、デジタル信号処理LSI２５２、ユーザインターフェース２５３、制御部２５４、レンズ駆動用ドライバIC２５５、手ぶれセンサ２５６、記録部２５７、および無線通信部２５８を有している。

　なお、光学系２２１、およびイメージャ２５１乃至記録部２５７は、図２の光学系２１、およびイメージャ５１乃至記録部５７と同様であるので、その説明は適宜省略する。

　この例では、制御部２５４には、フォーカスレンズ制御処理部８４および警告制御処理部８５が設けられている。また、デジタル信号処理LSI２５２は、プリ処理部７１、同時化部７２、YC生成部７３、解像度変換部７４、CODEC７５、AF検波処理部７６、合焦領域判定処理部７７、顔検出処理部７８、メモリ７９、および表示用処理部８０を備えている。

　無線通信部２５８は、デジタル信号処理LSI２５２の制御に従って無線通信を行う。例えば、無線通信部２５８は、Wi-Fi（登録商標）等の比較的近距離での無線による情報の送受信を行う。

〈撮影処理の説明〉
　次に、以上において説明したウェアラブルカメラ２１１の具体的な動作について説明する。まず、図３４のフローチャートを参照して、ウェアラブルカメラ２１１による撮影処理について説明する。

　なお、ステップＳ６１１乃至ステップＳ６１５の処理は、図６のステップＳ１１乃至ステップＳ１５の処理と同様であるので、その説明は省略する。

　また、表示用処理部８０は、撮影画像を無線通信部２５８に供給し、多機能型携帯電話機１２１への撮影画像の送信を指示する。

　ステップＳ６１６において、無線通信部２５８は、表示用処理部８０から供給された撮影画像を無線により多機能型携帯電話機１２１に送信し、撮影処理は終了する。

〈警告判定処理の説明〉
　また、ウェアラブルカメラ２１１は、撮影処理を行って撮影画像をキャプチャすると、その後、例えばピント具合について警告が必要であるかを判定し、その判定結果に応じて警告表示を多機能型携帯電話機１２１に指示する警告判定処理を行う。この警告判定処理は、ユーザにより指示があったとき、または設定に応じて自動的に開始される。

　以下、図３５のフローチャートを参照して、ウェアラブルカメラ２１１による警告判定処理について説明する。

　なお、ステップＳ６４１乃至ステップＳ６４７の処理は、図７のステップＳ４１乃至ステップＳ４７の処理と同様であるので、その説明は省略する。

　ステップＳ６４８において、警告制御処理部８５は、表示用処理部８０に警告表示を指示する。すると、表示用処理部８０は、警告表示を行う旨の情報を警告指示として生成し、無線通信部２５８に供給する。

　ステップＳ６４９において、無線通信部２５８は、表示用処理部８０から供給された警告指示を、無線により多機能型携帯電話機１２１に送信し、警告判定処理は終了する。

　以上のようにして、ウェアラブルカメラ２１１は、撮影により得られた撮影画像に対して合焦領域判定処理を行って警告表示を行うかを判定し、その判定結果に応じて警告表示の指示を多機能型携帯電話機１２１に送信する。

　このように、必要に応じて警告表示の指示を送信することで、ユーザは撮影後、多機能型携帯電話機１２１において、より簡単かつ直感的に撮影画像のピント具合を確認することができる。

〈表示処理の説明〉
　また、多機能型携帯電話機１２１は、ウェアラブルカメラ２１１から撮影画像が送信されてくると、撮影画像を受信して表示する表示処理を開始する。以下、図３６のフローチャートを参照して、多機能型携帯電話機１２１による表示処理を説明する。

　ステップＳ６７１において、無線通信部１７１は、ウェアラブルカメラ２１１から無線通信により送信されてきた撮影画像を受信して、デジタル信号処理LSI１６２に供給する。

　ステップＳ６７２において、表示用処理部８０は、無線通信部１７１から供給された撮影画像を表示部１３１に供給し、表示させる。これにより、撮影画像がプレビュー画像として表示される。

　ステップＳ６７３において、警告制御処理部８５は、ウェアラブルカメラ２１１から警告指示が送信されてきたか否かを判定する。

　ステップＳ６７３において、警告指示が送信されてきていないと判定された場合、警告表示は行われず、表示処理は終了する。

　これに対して、ステップＳ６７３において警告指示が送信されてきたと判定された場合、ステップＳ６７４において、無線通信部１７１はウェアラブルカメラ２１１から送信されてきた警告指示を受信し、デジタル信号処理LSI１６２を介して制御部１６４に供給する。

　ステップＳ６７５において、警告制御処理部８５は、デジタル信号処理LSI１６２から供給された警告指示に応じて警告表示を行い、表示処理は終了する。

　具体的には、警告制御処理部８５は、表示用処理部８０に警告表示を指示する。表示用処理部８０は、警告制御処理部８５の指示に応じて警告アイコン等の警告表示を行うための画像や文字メッセージを生成して表示部１３１に供給して表示させることで、警告表示を行う。

　以上のようにして、多機能型携帯電話機１２１は、ウェアラブルカメラ２１１からの指示に応じて、警告表示を行う。これにより、ユーザは、より大きい画面で、より簡単かつ直感的に撮影画像のピント具合の確認が必要であるかを知ることができる。

　なお、ウェアラブルカメラ２１１においても図１４に示した撮影処理と同様の処理、図８や図１０、図１５乃至図２７に示した警告処理と同様の処理が行われるようにしてもよい。

〈第９の実施の形態〉
　ところで、以上において説明した本技術は静止画像に限らず動画像に対しても、勿論、適用可能である。

　例えば、撮影画像としての動画像を撮影した後、撮影により得られた動画像を再生するときにピント具合に関する情報をユーザに対して通知するようにすることができる。

　具体的には、ピント具合に関する情報として、ピント具合を示す画像（アイコン）等の表示が行われる場合、例えば図７に示した警告処理と同様の処理が行われる。この処理では、撮影により得られた撮影画像が、適宜、記録部５７から読み出されて、撮影画像としての動画像のフレームごとに警告制御処理部８５により平均スコアが算出される。

　そして、ステップＳ４８に対応する処理では、警告制御処理部８５によって、例えばフレームごとに平均スコアの値に応じた色や濃度の画像等が表示部２６に表示されるように、表示用処理部８０に対する指示が行われる。すなわち、平均スコアの値に対して予め定められた色や濃度の画像等が、ピント具合を示す画像等として、再生中の動画像に重畳表示される。

　したがって、この場合、撮影画像としての動画像の再生中、継続してピント具合を示す画像等の表示が行われ、その画像等の色や濃度が各フレームの平均スコアの値によって、時間とともに変化することになる。

　このように、平均スコアの時間変化に応じて、表示部２６に表示される、ピント具合を示す画像等の色や濃度を時間とともに変化させることで、ユーザは、次第にピントが合ってきているなど、ピント具合の変化を容易に把握することができる。これにより、ユーザは、撮影後に、撮影画像のピント具合を簡単に知ることができる。

　なお、フレームごとにピント具合を示す画像等を表示させる場合には、表示された画像等を見たユーザが、ピント具合が十分であるか、または不十分であるかを直感的に、かつ瞬時に把握できるような画像等が表示されることが望ましい。また、画像に限らず、ピント具合を示す数値や文字メッセージなども表示されるようにしてもよい。

　以上のように、ピント具合を示す表示を行うことは、ピント具合に関する警告を表示することであるともいうことができる。

　また、ここでは撮影された動画像のピント具合について通知を行う処理を、第１の実施の形態で説明した処理に適用する例について説明したが、この処理を上述した第１の実施の形態の変形例１乃至第８の実施の形態で説明した例に対して適用することも勿論可能である。

〈第１０の実施の形態〉
　また、以上においては、撮影画像としての動画像の再生時に、再生開始から再生終了まで継続してピント具合に関する表示を行う例について説明したが、ピント具合が不十分である区間についてのみピント具合の表示、例えばピント具合に関する警告表示を行うようにしてもよい。

　そのような場合、例えば図７に示した警告処理では、撮影により得られた撮影画像が、適宜、記録部５７から読み出されて、撮影画像としての動画像のフレームごとに警告制御処理部８５により平均スコアが算出される。また、ステップＳ４７では、警告制御処理部８５によって、フレームごとに平均スコアに対する閾値処理が行われる。

　そして、警告制御処理部８５は、連続して並ぶ、平均スコアが閾値未満であると判定された１または複数のフレームからなる区間を、警告表示を行う区間として選択する。

　警告制御処理部８５は、撮影画像の再生時には、このようにして選択された区間ごとに警告表示を表示用処理部８０に指示し、表示用処理部８０は、その指示に従って、表示部２６に警告表示を行わせる。

　具体的には、警告制御処理部８５は、処理対象の区間について平均スコアの代表値を求め、その代表値に対して予め定められている色や濃度で画像等が表示されるように制御する。ここで、代表値は、例えば処理対象の区間の各フレームの平均スコアの平均値などとされる。

　したがって、この例では、ピント具合が十分であると判定されている間は警告が表示されず、ピント具合が不十分であると判定されたフレームからなる区間において警告が表示されることになる。また、警告表示が行われる場合には、ピント具合が不十分である、つまり平均スコアが閾値未満であると判定されたフレームからなる区間では、その区間において継続して同じ色や濃度で警告が表示され続けることになる。

　さらに、撮影画像の再生時には、撮影画像の先頭位置から終端位置までの各再生位置を示すタイムバーが表示され、タイムバー上にピント具合を示す表示がされるようにしてもよい。例えばタイムバーの各位置が、それらの位置に対応する撮影画像のフレームにおける平均スコアに対して予め定められた色や濃度で表示されるようにすれば、ユーザはタイムバーを見ることで、動画像全体のどの区間でピント具合が不十分であるかを簡単に把握することができる。

　なお、ここでは、１フレームでも平均スコアが閾値未満となるときには、警告を表示する例について説明したが、ピント具合が不十分である状態が数秒など所定時間だけ続いた場合、つまり所定数のフレームだけ継続して平均スコアが閾値未満となった場合に、その区間において警告表示が行われるようにしてもよい。

　なお、ここでは撮影された動画像のピント具合について警告を発する処理を、第１の実施の形態で説明した処理に適用する例について説明したが、この処理を上述した第１の実施の形態の変形例１乃至第８の実施の形態で説明した例に対して適用することも勿論可能である。

〈第１１の実施の形態〉
　さらに、撮影画像が動画像とされる場合、撮影画像の撮影時に本技術を適用することも可能である。

　そのような場合、例えば撮影されている撮影画像としての動画像が処理対象とされて図７を参照して説明した警告処理に対応する処理が行われる。すなわち、例えば現時点で撮影されている撮影画像よりも数フレームだけ前の撮影画像、つまり現フレームよりも時間的に前の過去フレームの撮影画像が処理対象とされて、上述した第９の実施の形態で説明した処理と同様の処理が行われる。

　具体的には、例えばステップＳ４６に対応する処理において、警告制御処理部８５は、撮影画像としての動画像を構成する、処理対象とされた過去フレームの画像について平均スコアを算出する。そして、ステップＳ４８に対応する処理では、警告制御処理部８５は、例えば過去フレームについて求めた平均スコアの値に応じた色や濃度の画像等が表示部２６に表示されるように、表示用処理部８０に対する指示が行われる。すなわち、平均スコアの値に対して予め定められた色や濃度の画像等が、ピント具合を示す画像等として表示される。

　したがって、この例では、撮影画像としての動画像の撮影時に、現在撮影しているフレームよりも数フレームだけ前のフレームについて求められた平均スコアに応じた画像等が、ピント具合を示す情報として表示される。

　この例では、過去のフレームに基づいてピント具合を示す画像等の表示が行われることになるが、通常、撮影中、数フレームの間でピント具合が急激に変化することは稀である。したがって、数フレームだけ前のフレームに基づいてピント具合の表示を行っても、現在のピント具合の状態と、ピント具合の表示とに大きなずれが生じることは殆どない。

　以上のようにして、撮影画像としての動画像の撮影中に継続してピント具合を示す画像等を表示すれば、その画像等の色や濃度が各フレームの平均スコアの値によって、時間とともに変化することになる。

　このように、平均スコアの時間変化に応じて、表示部２６に表示される、ピント具合を示す画像等の色や濃度を時間とともに変化させることで、ユーザは、次第にピントが合ってきているなど、ピント具合の変化を容易に把握することができる。これにより、ユーザは、撮影中においても撮影画像のピント具合を簡単に知ることができる。

　なお、ここでは、撮影中に継続してピント具合を示す表示が行われると説明したが、ピント具合が不十分である場合にのみ、その旨の警告が表示されるようにしてもよい。

　そのような場合、例えば図７に示した警告処理が撮影画像の撮影中に行われる。この警告処理では、ステップＳ４６において、警告制御処理部８５は、現時点で撮影されている現フレームよりも数フレームだけ前の過去フレームの撮影画像について平均スコアを算出する。そして、ステップＳ４７では、警告制御処理部８５は、求めた平均スコアに対する閾値処理を行い、その閾値処理の結果に応じて警告表示を表示用処理部８０に指示し、表示用処理部８０は、その指示に従って表示部２６に警告表示を行わせる。このとき、警告制御処理部８５は、平均スコアの値に対して予め定められている色や濃度で画像等が表示されるように制御する。

　したがって、この例では、撮影画像としての動画像の撮影時に、現在撮影しているフレームよりも数フレームだけ前のフレームに基づいて警告表示の要否が判定され、その判定結果に応じて警告表示が行われる。

　このようにして警告表示が行われる場合には、ピント具合が十分であると判定されている間は警告が表示されず、ピント具合が不十分であると判定されているときに警告が表示されることになる。また、警告として表示されている画像等の色や濃度は、ピント具合、つまり平均スコアの値に応じて、時間とともに変化する。

　また、ここでは撮影中にピント具合を示す画像等や警告を表示する処理を、第１の実施の形態で説明した処理に適用する例について説明したが、この処理を上述した第１の実施の形態の変形例１乃至第８の実施の形態で説明した例に対して適用することも勿論可能である。

　ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のコンピュータなどが含まれる。

　図３７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

　コンピュータにおいて、ＣＰＵ（Central Processing Unit）５０１，ＲＯＭ（Read Only Me mory）５０２，ＲＡＭ（Random Access Memory）５０３は、バス５０４により相互に接続されている。

　バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。

　入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。

　以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。

　コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

　コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記録部５０８に、あらかじめインストールしておくことができる。

　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

　また、本明細書中に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

　さらに、本技術は、以下の構成とすることも可能である。

（１）
　撮影画像に基づいて、前記撮影画像の各領域の合焦度合いを示す合焦スコアを算出する合焦領域判定処理部と、
　前記合焦スコアに基づいて、前記撮影画像上の所定領域におけるピント具合を判定する警告判定処理部と、
　前記ピント具合の判定結果に基づいて警告を発する警告部と
　を備える画像処理装置。
（２）
　前記警告判定処理部は、前記所定領域内の各領域の前記合焦スコアの平均と閾値とを比較することで、前記ピント具合を判定する
　（１）に記載の画像処理装置。
（３）
　前記所定領域は、前記撮影画像の撮影時にフォーカス対象とされたフォーカス領域である
　（１）または（２）に記載の画像処理装置。
（４）
　前記合焦領域判定処理部は、前記撮影画像上の前記所定領域のみを対象として前記合焦スコアの算出を行う
　（３）に記載の画像処理装置。
（５）
　前記所定領域は、ユーザにより指定された前記撮影画像の領域である
　（１）または（２）に記載の画像処理装置。
（６）
　前記所定領域は、前記撮影画像から検出された顔領域である
　（１）または（２）に記載の画像処理装置。
（７）
　前記警告部は、前記撮影画像に重畳させて警告表示をすることで前記警告を発する
　（１）乃至（６）の何れか一項に記載の画像処理装置。
（８）
　前記警告部は、警告音声を出力することで前記警告を発する
　（１）乃至（６）の何れか一項に記載の画像処理装置。
（９）
　前記警告部は、振動することで前記警告を発する
　（１）乃至（６）の何れか一項に記載の画像処理装置。
（１０）
　前記警告部は、発光することで前記警告を発する
　（１）乃至（６）の何れか一項に記載の画像処理装置。
（１１）
　前記警告部は、前記合焦スコアの平均に応じて前記警告を変化させる
　（１）乃至（１０）の何れか一項に記載の画像処理装置。
（１２）
　撮影画像に基づいて、前記撮影画像の各領域の合焦度合いを示す合焦スコアを算出し、
　前記合焦スコアに基づいて、前記撮影画像上の所定領域におけるピント具合を判定し、
　前記ピント具合の判定結果に基づいて警告を発する
　ステップを含む画像処理方法。
（１３）
　撮影画像に基づいて、前記撮影画像の各領域の合焦度合いを示す合焦スコアを算出し、
　前記合焦スコアに基づいて、前記撮影画像上の所定領域におけるピント具合を判定し、
　前記ピント具合の判定結果に基づいて警告を発する
　ステップを含む処理をコンピュータに実行させるプログラム。

　１１　撮像装置，　２６　表示部，　５３　ユーザインターフェース，　５８　振動部，　５９　スピーカ，　６０　発光素子，　７７　合焦領域判定処理部，　７８　顔検出処理部，　７９　メモリ，　８０　表示用処理部，　８１　振動駆動処理部，　８２　スピーカ駆動処理部，　８３　発光素子駆動処理部，　８４　フォーカスレンズ制御処理部，　８５　警告制御処理部，　１２１　多機能型携帯電話機，　２１１　ウェアラブルカメラ

Claims (13)

1. 　撮影画像に基づいて、前記撮影画像の各領域の合焦度合いを示す合焦スコアを算出する合焦領域判定処理部と、
   　前記合焦スコアに基づいて、前記撮影画像上の所定領域におけるピント具合を判定する警告判定処理部と、
   　前記ピント具合の判定結果に基づいて警告を発する警告部と
   　を備える画像処理装置。
2. 　前記警告判定処理部は、前記所定領域内の各領域の前記合焦スコアの平均と閾値とを比較することで、前記ピント具合を判定する
   　請求項１に記載の画像処理装置。
3. 　前記所定領域は、前記撮影画像の撮影時にフォーカス対象とされたフォーカス領域である
   　請求項１に記載の画像処理装置。
4. 　前記合焦領域判定処理部は、前記撮影画像上の前記所定領域のみを対象として前記合焦スコアの算出を行う
   　請求項３に記載の画像処理装置。
5. 　前記所定領域は、ユーザにより指定された前記撮影画像の領域である
   　請求項１に記載の画像処理装置。
6. 　前記所定領域は、前記撮影画像から検出された顔領域である
   　請求項１に記載の画像処理装置。
7. 　前記警告部は、前記撮影画像に重畳させて警告表示をすることで前記警告を発する
   　請求項１に記載の画像処理装置。
8. 　前記警告部は、警告音声を出力することで前記警告を発する
   　請求項１に記載の画像処理装置。
9. 　前記警告部は、振動することで前記警告を発する
   　請求項１に記載の画像処理装置。
10. 　前記警告部は、発光することで前記警告を発する
    　請求項１に記載の画像処理装置。
11. 　前記警告部は、前記合焦スコアの平均に応じて前記警告を変化させる
    　請求項１に記載の画像処理装置。
12. 　撮影画像に基づいて、前記撮影画像の各領域の合焦度合いを示す合焦スコアを算出し、
    　前記合焦スコアに基づいて、前記撮影画像上の所定領域におけるピント具合を判定し、
    　前記ピント具合の判定結果に基づいて警告を発する
    　ステップを含む画像処理方法。
13. 　撮影画像に基づいて、前記撮影画像の各領域の合焦度合いを示す合焦スコアを算出し、
    　前記合焦スコアに基づいて、前記撮影画像上の所定領域におけるピント具合を判定し、
    　前記ピント具合の判定結果に基づいて警告を発する
    　ステップを含む処理をコンピュータに実行させるプログラム。

Images