JP5109866B2

JP5109866B2 - 撮像装置、撮像方法及びプログラム

Info

Publication number: JP5109866B2
Application number: JP2008208550A
Authority: JP
Inventors: 博清水
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2008-08-13
Filing date: 2008-08-13
Publication date: 2012-12-26
Anticipated expiration: 2028-08-13
Also published as: JP2010045632A

Description

本発明は、手ブレ補正機能を備えた撮像装置、撮像方法及びプログラムに関する。

従来より、角速度センサや画像データの経時的な変化などから撮影画像に生じる手ブレの方向と大きさとを検出し、撮影時にブレを軽減するようにした技術が種々考えられている。また、人物撮影を考慮して、画像から検出された人物の顔部分のブレをキャンセルするようにブレ補正を行なう技術が開示されている。（特許文献１）
特開２００７−０４１５７０号公報

上記特許文献の技術は、人物の顔部分から検出したブレの内容に応じて一義的にブレ補正を行なうものである。従来より、手振れ補正を行なうか否かや、どのような手ブレ補正処理を行なうかは、手ブレ補正機能のオン／オフや処理内容を指示するユーザのキー操作に負うものとしている。上記特許文献の如く人物撮影を考慮した手ブレ補正を行なう場合であっても、ユーザが撮影状況を判断して手ブレ補正機能の実行の有無や処理内容を指示する必要がある。

したがって、ユーザ操作が面倒であったり、撮影の正否がユーザのスキルに影響されるという不具合があった。

本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、人物を含む撮影において、撮影状況に適した手ブレ補正条件を容易に選択して撮影を実施することが可能となる。

請求項１記載の発明は、被写体像を撮影する撮像手段と、上記撮像手段で得る画像から顔部分を認識する顔認識手段と、上記撮像手段で得る画像の少なくとも一部の領域に生じるブレの方向と大きさとを検出するブレ検出手段と、上記ブレ検出手段で検出したブレの大きさと方向とにより上記撮像手段で得る画像のブレ補正を行なうブレ補正手段と、上記顔認識手段で認識した顔部分の数に基づいて、上記ブレ検出手段がブレ検出を行なう画像の対象領域を可変設定する制御手段とを備え、上記制御手段は、上記顔認識手段で認識した顔部分の数を所定値と比較し、この比較結果に基づいて、上記ブレ検出手段がブレ検出を行なう画像の対象領域として、上記撮像手段で得られた画像の全体と上記顔認識手段で認識した顔部分のいずれかを選択的に設定することを特徴とする。

請求項２記載の発明は、上記制御手段は、上記顔認識手段で認識した顔部分の数を所定値と比較し、この比較結果に基づいて、上記ブレ検出手段がブレ検出を行なう画像の対象領域として、上記撮像手段で得られた画像の全体と上記顔認識手段で認識した顔部分のいずれかを選択的に設定することを特徴とする。

請求項３記載の発明は、特定の顔部分の特徴情報を登録する顔登録手段をさらに具備し、上記顔認識手段は、画像から認識した顔部分の特徴情報と上記顔登録手段の登録内容とを比較し、画像から認識した顔部分が登録済みであるか否かを判定し、上記制御手段は、上記顔認識手段で認識した顔部分全体の数と登録済みであると判定された顔部分の数との組み合わせに応じて、上記ブレ検出手段がブレ検出を行なう画像の対象領域として、上記撮像手段で得られた画像の全体と上記顔認識手段で認識した顔部分全体と上記顔認識手段で登録済みであると判定された特定の顔部分のいずれかを選択的に設定することを特徴とする。

請求項４記載の発明は、上記顔登録手段は、特定の顔部分の特徴情報と関連付けて優先度情報を登録し、上記制御手段は、上記顔認識手段で認識した顔部分の優先度情報も含めて、上記ブレ検出手段がブレ検出を行なう画像の対象領域を選択的に設定することを特徴とする。

請求項５記載の発明は、上記制御手段は、上記顔認識手段による顔部分の大きさも勘案して、上記ブレ検出手段がブレ検出を行なう画像の対象領域を選択的に設定することを特徴とする。

請求項６記載の発明は、上記制御手段は、上記顔認識手段で認識した顔部分の数がＮ個以上Ｍ個未満（Ｎ，Ｍは共に自然数で、Ｎ＜Ｍ）である場合には、上記ブレ検出手段がブレ検出を行なう画像の対象領域として上記顔認識手段で認識した顔部分を選択し、上記顔認識手段で認識した顔部分の数がＮ個以上Ｍ個未満の範囲を外れる場合には、上記ブレ検出手段がブレ検出を行なう画像の対象領域として上記撮像手段で得られた画像の全体を選択することを特徴とする。

請求項７記載の発明は、上記制御手段は、上記Ｍの値を、集合写真を撮影する場合の人数に対応した数に設定することを特徴とする。

請求項８記載の発明は、上記制御手段は、上記ＮまたはＭの値を任意に設定可能としたことを特徴とする。

請求項９記載の発明は、被写体像を撮影する撮像部を備えた装置での撮像方法であって、上記撮像部で得る画像から顔部分を認識する顔認識工程と、上記撮像部で得る画像の少なくとも一部の領域に生じるブレの方向と大きさとを検出するブレ検出工程と、上記ブレ検出工程で検出したブレの大きさと方向とにより上記撮像部で得る画像のブレ補正を行なうブレ補正工程と、上記顔認識工程で認識した顔部分の数に基づいて、上記ブレ検出工程でブレ検出を行なう画像の対象領域を可変設定する制御工程とを有し、上記制御工程は、上記顔認識工程で認識した顔部分の数を所定値と比較し、この比較結果に基づいて、上記ブレ検出工程がブレ検出を行なう画像の対象領域として、上記撮像部で得られた画像の全体と上記顔認識工程で認識した顔部分のいずれかを選択的に設定することを特徴とする。

請求項１０記載の発明は、被写体像を撮影する撮像部を備えた装置が内蔵するコンピュータが実行するプログラムであって、上記撮像部で得る画像から顔部分を認識する顔認識ステップと、上記撮像部で得る画像の少なくとも一部の領域に生じるブレの方向と大きさとを検出するブレ検出ステップと、上記ブレ検出ステップで検出したブレの大きさと方向とにより上記撮像部で得る画像のブレ補正を行なうブレ補正ステップと、上記顔認識ステップで認識した顔部分の数に基づいて、上記ブレ検出ステップでブレ検出を行なう画像の対象領域を可変設定する制御ステップとをコンピュータに実行させ、上記制御ステップは、上記顔認識ステップで認識した顔部分の数を所定値と比較し、この比較結果に基づいて、上記ブレ検出ステップがブレ検出を行なう画像の対象領域として、上記撮像部で得られた画像の全体と上記顔認識ステップで認識した顔部分のいずれかを選択的に設定することを特徴とする。

本発明によれば、ユーザが特に手ブレ補正機能に関する知識等を有していなくても、手軽に被写体像に対応した適切な手ブレ補正機能を選択して撮影を実施することが可能となる。

以下本発明をデジタルカメラに適用した場合の一実施形態について図面を参照して説明する。
（構成）
図１は、本実施形態に係るデジタルカメラ１０の回路構成を示すものである。同図で、レンズ光学系１１により撮像素子であるＣＣＤ１２上に被写体の光像が結像される。

このＣＣＤ１２は、撮影光軸と直交する面内で互いに直交する方向に位置がシフトするＸステージ１３及びＹステージ１４と一体的に構成される。

Ｘステージ１３及びＹステージ１４はそれぞれアクチュエータ（Ａ）１５，１６の駆動により位置をシフトするものであり、アクチュエータ１５，１６は手ブレ制御部１７からの駆動信号に応じて動作する。

手ブレ制御部１７は、後述する制御部２１の制御の下、画像処理部１８から送られてくるシフト信号に基づいて上記アクチュエータ１５，１６によりＸステージ１３及びＹステージ１４の位置をシフトさせる。

一方、上記ＣＣＤ１２での撮像により得た画像信号は画像処理部１８に送られ、その時点で設定されているＩＳＯ感度に応じた自動ゲイン調整とＡ／Ｄ変換処理が実行された後に画素補間処理、γ補正処理を含むカラープロセス処理が施されてバッファメモリ１９に一時的に保持される。

このバッファメモリ１９に保持された画像データが画像処理部１８に読出されて表示部２０へ送られ、モニタ画像として表示される。

以上の動作をすべて制御部２１が統括制御する。この制御部２１は、ＣＰＵで構成され、メインメモリ２２及びプログラムメモリ２３と直接接続される。メインメモリ２２は、例えばＳＤＲＡＭ（シンクロナスＤＲＡＭ）で構成される。プログラムメモリ２３は、動作プログラムやデータ等を固定的に記憶した、例えばフラッシュメモリなどの不揮発性メモリで構成される。

制御部２１は、プログラムメモリ２３から必要なプログラムやデータ、テーブル等を読出し、メインメモリ２２に適宜必要な内容を一時的に展開して書込みながら、このデジタルカメラ１０全体の制御動作を司る。

この制御部２１は、キー入力部２４から直接入力されるキー操作信号に対応して各種制御動作を実行するもので、システムバスＳＢを介して上記手ブレ制御部１７、画像処理部１８、表示部２０の他、レンズ光学系駆動部２５、フラッシュ駆動部２６、メモリカードコントローラ２７、音声処理部２８、及びＵＳＢインターフェイス（Ｉ／Ｆ）２９とも接続される。

キー入力部２４は、例えば電源キー、撮影モードキー、再生モードキー、ズームキー、動画撮影時には撮影開始と撮影停止の指示キーとしても機能するシャッタキー、メニューキー、カーソルキー、セットキー等を備える。

レンズ光学系駆動部２５は、制御部２１からの制御信号を受けてレンズモータ（Ｍ）３０を回動制御し、上記レンズ光学系１１を構成する一部のレンズ、具体的にはフォーカスレンズ及びズームレンズの位置をそれぞれ個別に光軸方向に沿って移動させる。

フラッシュ駆動部２６は、制御部２１からの制御信号を受けて、複数の高輝度白色ＬＥＤ３１を撮影タイミングに同期して発光駆動する。

メモリカードコントローラ２７は、コネクタＣを介してメモリカード３２と接続される。メモリカード３２は、このデジタルカメラ１０に記録媒体として着脱自在に装着される。メモリカードコントローラ２７は、メモリカード３２に対する入出力制御を行なうものであり、撮影時には撮影により得た画像データをメモリカード３２に記録し、また再生時にはメモリカード３２に記録されている画像データを読出して上記画像処理部１８に転送する。

音声処理部２８は、ＰＣＭ音源等の音源回路を備え、音声の録音時にはこのデジタルカメラ１０の筐体前面に配設されたマイクロホン部３３より入力された音声信号をデジタル化し、所定のデータファイル形式、例えばＡＡＣ（ｍｏｖｉｎｇｐｉｃｔｕｒｅｅｘｐｅｒｔｓｇｒｏｕｐ−２ＡｄｖａｎｃｅｄＡｕｄｉｏＣｏｄｉｎｇ）規格にしたがってデータ圧縮して音声データファイルを作成し、上記メモリカード３２へ送出する。

一方、音声処理部２８は、音声の再生時にメモリカード３２から読出されてきた音声データファイルの圧縮を解いてアナログ化し、上記デジタルカメラ１０の背面に設けられるスピーカ部３４を駆動して、拡声放音させる。

ＵＳＢインターフェイス２９は、ＵＳＢコネクタ３５を介してこのデジタルカメラ１０の外部機器、例えばパーソナルコンピュータと接続する際のデータの送受を司る。

なお、上記画像処理部１８は、顔認識部３６及び圧縮伸長処理部３７を併設する。
顔認識部３６は、バッファメモリ１９に保持される画像データに対して輪郭抽出及び顔特徴点の抽出を行なって顔グラフを作成することで顔認識を行なう他、認識した顔部分の画像フレーム間の動き量を動きベクトルの形で算出するなど、画像データに対する顔認識に関する各種処理を実行する。

また、顔認識部３６は、ユーザが指定した人物の顔グラフを複数人数分登録する顔データベース（ＤＢ）３６Ａを備え、バッファメモリ１９に保持される画像データ中から顔データベース３６Ａに登録された人物の顔があるか否かを判断する。

圧縮伸長処理部３７は、上記キー入力部２４のシャッタキー操作に伴う動画像撮影時に、バッファメモリ１９に時間的に連続して保持される複数の画像データを所定のデータファイル形式、例えばＨ．２６４／ＡＶＣ（ＭＰＥＧ−４パート１０／ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ）であればＤＣＴ（離散コサイン変換）量子化やエントロピー符号化としての可変長符号化、及びＧＯＰ（ＧｒｏｕｐＯｆＰｉｃｔｕｒｅｓ）を単位とした動き補償フレーム間予測符号化等のデータ圧縮処理を施してデータ量を大幅に削減し、作成した画像データファイルを順次上記メモリカード３２に記録させると共に、全ての画像データファイルの記録を終えた時点でメモリカード３２に記録された一連の画像データファイルを１つのデータファイルとして纏めるべく設定する。

また圧縮伸長処理部３７は、動画像データの再生モード時に上記メモリカード３２から読出されてくる一連の画像データを記録時とは逆の手順で圧縮を解く伸長処理により順次元のサイズの画像データを得、これをバッファメモリ１９に時間的に連続して順次保持させるもので、バッファメモリ１９に保持された画像データにより表示部２０で再生のための表示が連続して実行される。

（動作）
次に上記実施形態の動作について説明する。
（第１の動作例）
図２は、動画撮影時の基本的な処理内容を示すものである。その当初には、ＡＦ（自動合焦）処理とＡＥ（自動露光）処理とを実施して撮影条件を整える（ステップＳ１０１）。その上で、ＣＣＤ１２を所定の駆動条件、例えば１／３０［秒］より高いシャッタ速度、フレームレート：３０［フレーム／秒］で周期的に撮影駆動し、バッファメモリ１９に随時保持される画像データを表示部２０にて表示することで、その時点でＣＣＤ１２に得られている画像をモニタ表示する、所謂スルー画像表示を実行する（ステップＳ１０２）。

このスルー画像を表示した状態から、キー入力部２４の一部を構成する上記シャッタキーが操作されたか否かにより動画の撮影開始が指示されたか否かを判断する（ステップＳ１０３）。ここでシャッタキーが操作されていなければ、再び上記ステップＳ１０１からの処理に戻り、以後ステップＳ１０１〜Ｓ１０３の処理を繰返し実行することで、スルー画像の表示を行ないながら、シャッタキーが操作されて動画の撮影開始が指示されるのを待機する。

そして、シャッタキーが操作されると上記ステップＳ１０３でそれを判断し、その時点でＡＦ処理及びＡＥ処理を実行して、適正な合焦値と絞り値及びシャッタ速度を得て撮影条件を整える（ステップＳ１０４）。

その状態であらためて撮影を実行する（ステップＳ１０５）。撮影により得た画像データをバッファメモリ１９に保持し、保持した画像データを用いて顔認識部３６で人物その他の顔認識を行なう（ステップＳ１０６）。

この顔認識の結果に基づき、画像データ中に、予め設定された自然数による定数Ｎ個、例えば「１」個以上の顔部分を認識することができたか否かを判断する（ステップＳ１０６）。この判断に用いる定数「Ｎ」は、任意設定することが可能であるが、初期状態では、撮影フレーム内に顔が存在するか否か（人物撮影であるか否か）の判定に適した数である「１」に設定されているものとする。

ここで定数Ｎ個以上の顔部分を認識できたと判断した場合には、さらに上記定数Ｎ個より大きい自然数による定数Ｍ個、例えば「３」個以上の顔部分を認識することができたか否かを判断する（ステップＳ１０７）。この判断に用いる定数Ｍ個は、任意設定することが可能であるが、初期状態では、集合写真の撮影であるか否かの判定に適した数である「３」個に設定されている。

上記ステップＳ１０７で定数Ｎ個以上の顔部分を認識することができなかったと判断した場合、画像データ中の顔部分はＮ個未満であるとして、画像データ全面の動きベクトル（ＧＭＶ：ＧｌｏｂａｌＭｏｔｉｏｎＶｅｃｔｏｒ）を用いた手ブレ補正を設定する（ステップＳ１１０）。

また、上記ステップＳ１０８で定数Ｍ個以上の顔部分を認識したと判断した場合も、同じく、画像データ全面の動きベクトルを用いた手ブレ補正を設定する（ステップＳ１１０）。

一方、上記ステップＳ１０８で定数Ｍ個以上の顔部分を認識することができなかったと判断した場合、画像データ中の顔部分はＮ個以上Ｍ個未満であるとして、画像データ中で認識できた顔部分の動きベクトルを用いた手ブレ補正を設定する（ステップＳ１０９）。

同時に、バッファメモリ１９に保持される撮影済みの画像データをメモリカード３２に記録するための適宜データ圧縮処理を圧縮伸長処理部３７で実行させ、必要によりメモリカード３２に記録させる（ステップＳ１１１）。

そして、再びシャッタキーが操作されたか否かにより、動画撮影の終了が指示されたか否かを判断する（ステップＳ１１２）。

ここでまたシャッタキーが操作されず、動画撮影の終了が指示されていないと判断すると、再び上記ステップＳ１０４からの動画撮影と記録に関する処理を継続し、上記と同様にステップＳ１０９またはステップＳ１１０で設定された手ブレ補正条件に基づいた手ブレ補正処理を実行する。

つまり、画像データ中の顔部分の数がＮ個未満である場合、及びＭ個以上である場合には、特に顔部分を優先した手ブレ補正を行なう必要がないものとして、画像全面を対象として動きベクトルを算出し、算出した動きベクトルに基づいた手ブレ補正を行なう。

一方で、画像データ中の顔部分の数がＮ個以上Ｍ個未満である場合には、特に顔部分を優先した手ブレ補正を行なうものとして顔部分の動きベクトルを算出し、算出した動きベクトルに基づいた手ブレ補正を行なう。

そして、取得したフレームの画像データを他の動画フレームと共に逐次圧縮伸長処理部３７でデータ圧縮し、所定のデータフォーマットの動画ファイルとしてメモリカード３２に追加記録していく（ステップＳ１１１）。

その後、再度上記シャッタキーが操作されたか否かにより動画の撮影終了が指示されたか否かを判断する（ステップＳ１１２）。ここでシャッタキーが操作されていなければ、まだ撮影の終了は指示されていないものとして、再び上記ステップＳ１０４からの処理に戻り、以後ステップＳ１０４〜Ｓ１１２の処理を繰返し実行することで、動画の撮影を継続する。

そして、再度上記シャッタキーが操作されると、ステップＳ１１２で動画の撮影終了が指示されたものと判断し、その時点でメモリカード３２に記録した一連の動画ファイル全体に対するシーケンスの設定などの調整を行ない（ステップＳ１１３）、以上で一連の動画撮影を終えたものとして、次の撮影に備えるべく上記ステップＳ１０１からの処理に戻る。

このように上記動作例では、画像データ中の顔部分の数が所定の範囲内（Ｎ個以上Ｍ個未満）に収まっている場合に当該顔部分の動きベクトルに基づいた手ブレ補正を行なうものとして、特に顔部分を優先した手ブレ補正を自動的に設定するものとしている。

他方、画像データ中の顔部分の数が少ないか（Ｎ個未満）、あるいは多すぎる（Ｍ個以上）場合は、特に顔部分を優先することなく、画像全面の動きベクトルにより手ブレ補正を行なうよう自動的に設定するものとしている。

なお、上記判断基準となる定数Ｎ，Ｍは、いずれもユーザが任意に設定、あるいは複数の選択候補の中から選択できるものとすることで、ユーザの撮影意図に応じてデジタルカメラ１０側で手ブレ補正の基準となる動きベクトルの算出領域を自動的に設定可能となる。

以上詳記した如く本動作例によれば、人物を含む撮影において、撮影状況に適した手ブレ補正条件を容易に選択して撮影を実施することが可能となる。

加えて本動作例では、顔認識部３６で認識した顔部分の数に基づいて、ブレ検出を行なう画像の対象領域を、撮影した画像の全体または認識した顔部分のいずれかに設定するものとしたので、被写体となる人物の状況に応じて最適な手ブレ補正条件を選択できる。

この場合、上記動作例においては、特に認識された人物の数を自然数Ｎ，Ｍ（Ｎ＜Ｍ）を用い、認識した人物の数がＮ個以上Ｍ個未満である場合には、ブレ検出を行なう画像の対象領域を認識した顔部分に設定する一方で、Ｎ個以上Ｍ個未満の範囲を外れる場合には、ブレ検出を行なう画像の対象領域を画像全体に設定するものとしたので、被写体となる人物の数に応じた、より詳細な設定が可能となる。

また、本動作例では、初期状態において、定数Ｎを、撮影フレーム内に顔が存在するか否か（人物撮影であるか否か）の判定に適した数である「１」に設定しているので、人物が存在しない場合には自動的に背景全体（画像全面）を対象とした手振れ補正を行い、人物が存在する場合には自動的に人物を対象とした手振れ補正を行なうことができる。

さらに、初期状態において、定数Ｍを、集合写真の撮影であるか否かの判定に適した数、例えば「５」に設定しているので、人物が存在している場合であっても、集合写真のように特定の人物だけが特定の方向に動くような状況ではない場合には自動的に背景全体（画像全面）を対象とした手振れ補正を行なうことが可能となる。

また、画像データ中の顔部分の数を基準とし、任意に設定可能とした顔部分の数に応じて手ブレ補正のための動きベクトルの算出方法を自動的に切換えるものとしたので、例えば、３人の子供を遊園地に連れて行って撮影を行なう場合などで、３人の子供が同じ乗り物に乗るなどして、３人の子供が同じ方向に動くような場面を撮影することが予めわかっているような場合には、集合写真の撮影であるか否かの判定に用いる定数Ｍ個を「３」個ではなく「５」個に変更することも可能となり、ユーザの撮影意図を理解し易い形で設定に活かすことができる。

（第２の動作例）
第２の動作例では、顔認識部３６の顔データベース３６Ａに予めユーザが知人の顔グラフを何人分か登録済みであるものする。

なお、上記第１の動作例と説明が重複するのを避けるために、図２のステップＳ１０１〜Ｓ１０６までの処理、すなわちスルー画像を表示部２０で表示するモニタ状態からシャッタキーが操作され、動画撮影を開始してＡＦ及びＡＥ五に撮影を実施し、さらに顔認識を行なって撮影で得た画像データ中の顔部分を抽出するまでの処理と、ステップＳ１１１１以降の処理、すなわちシャッタキーの再度の操作を待って必要により撮影を終了するまでの処理に関しては、上記第１の動作例と基本的に同様であるものとして、それらの説明については省略する。

図３は、動画撮影時に撮影開始を指示するシャッタキーが操作され、顔認識を行なった後の処理内容を示すものである。顔認識を行なった結果、顔認識部３６の顔データベース３６Ａに登録されている顔グラフと相互に比較参照することで、画像データ中に、予め設定された自然数による定数Ｎ個、例えば「１」個以上の登録済みの顔を認識することができたか否かを判断する（ステップＳ２０１）。

ここで定数Ｎ個以上の登録済みの顔を認識できたと判断した場合には、さらに上記定数Ｎ個より大きい自然数による定数Ｍ個、例えば「３」個以上の登録済みの顔を認識することができたか否かを判断する（ステップＳ２０２）。

上記ステップＳ２０１で定数Ｎ個以上の登録済みの顔を認識することができなかったと判断した場合、画像データ中の登録済みの顔はＮ個未満であるとして、画像データ全面の動きベクトルを用いた手ブレ補正を設定する（ステップＳ２０４）。

また、上記ステップＳ２０２で定数Ｍ個以上の登録済みの顔を認識したと判断した場合も、同じく、画像データ全面の動きベクトルを用いた手ブレ補正を設定する（ステップＳ２０４）。

一方、上記ステップＳ２０２で定数Ｍ個以上の登録済みの顔を認識することができなかったと判断した場合、画像データ中の登録済みの顔はＮ個以上Ｍ個未満であるとして、画像データ中で認識できた登録済みの顔部分の動きベクトルを用いた手ブレ補正を設定する（ステップＳ２０３）。

こうして、画像データ中の登録済みの顔の数がＮ個未満である場合、及びＭ個以上である場合には、特に顔部分を優先した手ブレ補正を行なう必要がないものとして、画像全面を対象として動きベクトルを算出し、算出した動きベクトルに基づいた手ブレ補正を行なう。

一方で、画像データ中の登録済みの顔の数がＮ個以上Ｍ個未満である場合には、特に登録済みの顔を優先した手ブレ補正を行なうものとして該当する顔部分の動きベクトルを算出し、算出した動きベクトルに基づいた手ブレ補正を行なう。

このように画像データ中の登録済みの顔の数に応じた手ブレ補正を設定した状態で、上記ステップＳ１１１に進んで、画像データのメモリカード３２への追加記録に移行する。

このように上記動作例では、画像データ中の登録済みの顔の数が所定の範囲内（Ｎ個以上Ｍ個未満）に収まっている場合に当該顔部分の動きベクトルに基づいた手ブレ補正を行なうものとして、特に登録済みである顔部分を優先した手ブレ補正を自動的に設定するものとしている。

他方、画像データ中の登録済みの顔の数が少ないか（Ｎ個未満）、あるいは多すぎる（Ｍ個以上）場合は、特に登録済みの顔部分を優先することなく、画像全面の動きベクトルにより手ブレ補正を行なうよう自動的に設定するものとしている。

以上本動作例では、画像データ中の特に登録済みである顔の数を基準とし、任意に設定可能とした登録済みの顔の数に応じて手ブレ補正のための動きベクトルの算出方法を自動的に切換えるものとしたので、例えば画像データ中に１人あるいは少数の人物が写っている場合、それが家族や知人で無い場合には背景を対象とした手振れ補正を行なったり、画像データ中に大勢の人物が写っている場合であっても、家族や知人が１人あるいは少数である場合には家族や知人を対象とした手振れ補正を行なうなど、より柔軟に対応することができ、家族や知人などの撮影者にとって重要な人物が撮影対象である場合を明確に他の場合と区別するものとして、ユーザの撮影意図を理解し易い形で設定に活かすことができる。

（第３の動作例）
第３の動作例では、上記第２の動作例と同様に、顔認識部３６の顔データベース３６Ａに予めユーザが知人の顔グラフを何人分か登録済みであるものする。

図４は、動画撮影時に撮影開始を指示するシャッタキーが操作され、顔認識を行なった後の処理内容を示すものである。顔認識を行なった結果、顔認識部３６の顔データベース３６Ａに登録されている顔グラフと相互に比較参照することで、画像データ中に、予め設定された自然数による定数Ｎ個、例えば「１」個以上の登録済みの顔を認識することができたか否かを判断する（ステップＳ３０１）。

ここで定数Ｎ個以上の登録済みの顔を認識できたと判断した場合には、さらに上記定数Ｎ個より大きい自然数による定数Ｍ個、例えば「３」個以上の登録済みの顔を認識することができたか否かを判断する（ステップＳ３０２）。

ここで認識できた登録済みの顔がＭ個未満であると判断した場合には、さらに登録済みか否かを問わず、画像データ中で認識できた顔部分の総数が、上記定数Ｍ個より大きい自然数による定数Ｌ個、例えば「５」個以上であるか否かを判断する（ステップＳ３０３）。

上記ステップＳ３０１で定数Ｎ個以上の登録済みの顔を認識することができなかったと判断した場合、画像データ中の登録済みの顔はＮ個未満であるとして、画像データ全面の動きベクトルを用いた手ブレ補正を設定する（ステップＳ３０５）。

また、上記ステップＳ３０２で定数Ｍ個以上の登録済みの顔を認識したと判断した場合も、同じく、画像データ全面の動きベクトルを用いた手ブレ補正を設定する（ステップＳ３０５）。

さらに、上記ステップＳ３０３で画像データ中の顔部分の総数が定数Ｌ個以上であると判断した場合も、同じく、画像データ全面の動きベクトルを用いた手ブレ補正を設定する（ステップＳ３０５）。

一方、上記ステップＳ３０３で顔部分の総数が定数Ｌ個未満であると判断した場合、画像データ中の登録済みの顔がＮ個以上Ｍ個未満であり、且つ顔の総数がＬ個未満であるとして、画像データ中で認識できた登録済みの顔部分の動きベクトルを用いた手ブレ補正を設定する（ステップＳ３０４）。

こうして、画像データ中の登録済みの顔の数がＮ個未満である場合、Ｍ個以上である場合、及び顔の総数がＬ個以上である場合には、特に顔部分を優先した手ブレ補正を行なう必要がないものとして、画像全面を対象として動きベクトルを算出し、算出した動きベクトルに基づいた手ブレ補正を行なう。

一方で、画像データ中の登録済みの顔の数がＮ個以上Ｍ個未満であり、且つ顔の総数がＬ個未満である場合には、特に登録済みの顔を優先した手ブレ補正を行なうものとして該当する顔部分の動きベクトルを算出し、算出した動きベクトルに基づいた手ブレ補正を行なう。

こうして画像データ中の登録済みの顔の数と登録の如何を問わない総数とに応じた手ブレ補正を設定した状態で、上記ステップＳ１１０に進んで、シャッタキーが全押し操作されるのを待機する。

このように上記動作例では、画像データ中の登録済みの顔の数が所定の範囲内（Ｎ個以上Ｍ個未満）に収まっており、且つ登録の如何を問わない総数も多すぎない（Ｌ個未満）場合に登録済みの顔部分の動きベクトルに基づいた手ブレ補正を行なうものとして、特に登録済みである顔部分を優先した手ブレ補正を自動的に設定するものとしている。

他方、画像データ中の登録済みの顔の数が少ないか（Ｎ個未満）、あるいは多すぎる（Ｍ個以上）場合、あるいは登録の如何を問わない総数が多すぎる（Ｌ以上）場合には、特に登録済みの顔部分を優先することなく、画像全面の動きベクトルにより手ブレ補正を行なうよう自動的に設定するものとしている。

なお、上記判断基準となる定数Ｎ，Ｍ，Ｌは、いずれもユーザが任意に設定、あるいは複数の選択候補の中から選択できるものとすることで、ユーザの撮影意図に応じてデジタルカメラ１０側で手ブレ補正の基準となる動きベクトルの算出領域を自動的に設定可能となる。

以上本動作例では、画像データ中の特に登録済みである顔の数と、登録の如何を問わない顔の数の双方を基準とし、任意に設定可能としたそれら基準の組合せに応じて手ブレ補正のための動きベクトルの算出方法を自動的に切換えるものとしたので、例えば画像データ中に写っている人物の総数が５人未満と比較的少数であり、且つ１人あるいは２人の知人が写っている場合にはそれらの人物の顔部分を重点的に手ブレ補正の対象とするなど、全体の人物の総数との関係も考慮しながら、知人が撮影対象である場合を明確に他の場合と区別するものとして、ユーザの撮影意図を理解し易い形で設定に活かすことができる。

また、上記動作例で用いた、登録の如何を問わない顔の総数Ｌに代えて、登録されていない顔の数をＬとして、ステップＳ３０３で登録されていない顔の数がＬ個以上あるか否かを判断し、Ｌ個未満である場合には登録済みである顔部分を優先した手ブレ補正を行なう一方で、Ｌ個以上ある場合には画像全面の動きベクトルにより手ブレ補正を行なうものとしてもよい。

このようにした場合も、知人以外の人物の数も考慮しながら、知人が撮影対象である場合を明確に他の場合と区別するものとして、ユーザの撮影意図を理解し易い形で設定に活かすことができる。

（第４の動作例）
第４の動作例では、上記第２の動作例と同様に、顔認識部３６の顔データベース３６Ａに予めユーザが知人の顔グラフを何人分か登録済みであるものする。

加えて、顔データベース３６Ａに登録済みの知人の顔グラフには、例えば最小値「１」〜最大値「５」の５段階のいずれかの優先度情報が関連付けて登録されているものとする。

図５は、動画撮影時に撮影開始を指示するシャッタキーが操作され、顔認識を行なった後の処理内容を示すものである。顔認識を行なった結果、顔認識部３６の顔データベース３６Ａに登録されている顔グラフ及びその優先度情報と相互に比較参照することで、画像データ中に、優先度Ｌ、例えば「３」以上の登録済みの顔を認識することができたか否かを判断する（ステップＳ４０１）。

ここで、優先度Ｌ以上の登録済みの顔を認識することができなかった場合、次いで、認識できた登録済みの顔の各優先度情報の総和が、予め設定された定数Ｎ、例えば「７」以上であるか否かを判断する（ステップＳ４０２）。

ここで認識できた登録済みの顔の優先度情報の総和が定数Ｎ以上であったと判断した場合には、さらに認識できた登録済みの顔の各優先度情報の総和が、上記定数Ｎより大きい定数Ｍ、例えば「９」以上であるか否かを判断する（ステップＳ４０３）。

ここで認識できた登録済みの顔の優先度情報の総和が定数Ｍ以上であったと判断した場合には、画像データ全面の動きベクトルを用いた手ブレ補正を設定する（ステップＳ４０５）。

また、上記ステップＳ４０２で認識できた登録済みの顔の優先度情報の総和が定数Ｎ未満であると判断した場合にも、画像データ全面の動きベクトルを用いた手ブレ補正を設定する（ステップＳ４０５）。

一方、上記ステップＳ４０１で優先度Ｌ以上の登録済みの顔を認識することができたと判断した場合、画像データ中で認識できた、優先度Ｌ以上の登録済みの顔部分の動きベクトルを用いた手ブレ補正を設定する（ステップＳ４０４）。

また、上記ステップＳ４０３で認識できた登録済みの顔の優先度情報の総和が定数Ｍ未満であったと判断した場合にも、画像データ中で認識できた、登録済みの顔部分の動きベクトルを用いた手ブレ補正を設定する（ステップＳ４０４）。

こうして、画像データ中に優先度情報Ｌ以上の登録済みの顔がなく、且つ認識できた登録済みの顔の優先度情報の総和が定数Ｎ未満である場合と、認識できた登録済みの顔の優先度情報の総和が定数Ｎ以上であるが、同時に定数Ｍより大きい定数Ｍ以上である場合には、特に顔部分を優先した手ブレ補正を行なわないものとして、画像全面を対象として動きベクトルを算出し、算出した動きベクトルに基づいた手ブレ補正を行なう。

一方で、画像データ中に優先度情報Ｌ以上の登録済みの顔があった場合、及び画像データ中に優先度情報Ｌ以上の登録済みの顔はないが、認識できた登録済みの顔の優先度情報の総和が定数Ｎ以上Ｍ未満であった場合には、特に登録済みの顔を優先した手ブレ補正を行なうものとして該当する顔部分の動きベクトルを算出し、算出した動きベクトルに基づいた手ブレ補正を行なう。

こうして画像データ中の登録済みの顔の優先度とその総和に応じた手ブレ補正を設定した状態で、上記ステップＳ１１０に進んで、シャッタキーが全押し操作されるのを待機する。

このように上記動作例では、画像データ中で所定の優先度以上の登録済みの顔がある場合、もしくは所定の優先度以上の登録済みの顔がないが、登録済みの顔の優先度の総和が所定の範囲内（Ｎ個以上Ｍ個未満）に収まっている場合に、登録済みの顔部分の動きベクトルに基づいた手ブレ補正を行なうものとして、特に登録済みである顔部分を優先した手ブレ補正を自動的に設定するものとしている。

他方、画像データ中で所定の優先度以上の登録済みの顔がなく、且つ登録済みの顔の優先度の総和が少ないか（Ｎ個未満）、あるいは多すぎる（Ｍ個以上）場合には、特に登録済みの顔部分を優先することなく、画像全面の動きベクトルにより手ブレ補正を行なうよう自動的に設定するものとしている。

以上本動作例では、画像データ中の特に優先度情報と関連付けた登録済みである顔を基準とし、それら基準の単体、及び組合せの評価に応じて手ブレ補正のための動きベクトルの算出方法を自動的に切換えるものとしたので、例えば画像データ中に優先度の高い知人が写っている場合、あるいはそれほど優先度が高くない知人が適度の範囲内で写っている場合にはそれらの人物の顔部分を重点的に手ブレ補正の対象とするなど、知人の人数との関係も考慮しながら、優先度の高い知人が撮影対象である場合を明確に他の場合と区別するものとして、ユーザの撮影意図を理解し易い形で設定に活かすことができる。

また、上記動作例では、上記ステップＳ４０１で示した如く、個人単体で所定の優先度以上の知人が写っている場合をまず判断するものとしたが、あえてこの処理を簡略化し、その後のステップＳ４０２，Ｓ４０３で画像データ中に写っている、登録済みの顔の優先度の総和が所定の範囲内に収まっているか否かのみで、登録済みである顔部分を優先した手ブレ補正を行なうか、画像全面の動きベクトルにより手ブレ補正を行なうかを切換えるものとしてもよい。

このようにした場合、知人を撮影対象として、且つ優先度の高い知人がいる場合や、知人の数が多すぎる場合などを除外することで、適度に知人が写っている場合にのみ、そこを手ブレ補正の対象とするなど、ユーザの撮影意図を理解し易い形で設定に活かすことができる。

さらに、以上の第１乃至第４の動作例で説明した内容に限らず、例えば画像データ中に占める顔部分の大きさを１つの要素として手ブレ補正を切換えるものとしてもよい。

図６は、顔検出と手ブレ補正との対応を示すテーブルＴＢ１を例示するものであり、このテーブルＴＢ１は例えばプログラムメモリ２３に予め記憶され、必要に応じて制御部２１によりメインメモリ２２に読出されるものとする。同図では、顔の検出状況として「全体の人数」「登録人物の人数」「顔の大きさ」「Ａさんの有無」「Ｂさんの有無」の５つの項目を設定している。

このうち、「顔の大きさ」は、画像データ中に占める顔部分の大きさを予め用意した複数段階のしきい値と比較することで、例えば「大きい」「中くらい」「小さい」などのように評価して、手ブレ補正の切換え要素として活用するものである。

このように画像データ中に占める顔部分の大きさを１つの要素として手ブレ補正を切換えるように制御することで、ユーザの撮影意図を理解し易い形で設定に活かすことができる。

さらに、上記図６中の顔検出状況での「Ａさんの有無」「Ｂさんの有無」は、特定の個人の顔が認識された場合に対応するもので、上記第４の実施形態における、顔認識部３６の顔データベース３６Ａに登録される顔モデルに関連付ける優先度情報を最大値に設定することでも実現できる。

一方の手ブレ補正の有無、程度、及び対象としては「補正の有無及び程度」「登録人物」「人物全体」「背景」の４つの項目を設定している。

同テーブルＴＢ１によれば、例えば画像データ中から全く顔部分を認識することができず、「全体の人数」及び「登録人物の人数」共に「０」である場合には（ケース「００」）、手ブレ補正の対象を「背景」に自動的に合わせることなる。

また、「全体の人数」が「５」以上で、且つ「登録人物の人数」が「１」である場合には（ケース「０４」）、手ブレ補正の対象をただ１人認識できた「登録人物」に自動的に合わせることなる。

このように、顔の検出状況と手ブレ補正との対応をテーブル化して制御に用いることにより、夫々が複数の要因を有するような複雑な状況でも制御対象を容易に判断することができる。

なお、上記実施形態はいずれも、画像処理部１８がバッファメモリ１９に逐次保持される画像データの時間的な変化を動きベクトルとして算出することで、ブレの方向と大きさとを検出するものとしている。

このように画像データの経時変化から動きベクトルを算出することで、画像データ中の任意の部位の動きベクトルを個別に算出することができるため、多くの被写体像に対応することができる。

なお、上記実施形態はデジタルカメラで動画撮影を行なう場合について説明したものであるが、本発明はこれに限らず、ビデオムービーカメラ、カメラ機能を有する携帯電話端末やＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔｓ：個人向け情報携帯端末）その他、各種の電子機器にも容易に適用可能となる。

その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。

本発明の一実施形態に係るデジタルカメラの機能回路の概略構成を示すブロック図。同実施形態に係る動画撮影時の第１の動作例での処理内容を示すフローチャート。同実施形態に係る動画撮影時の第２の動作例での処理内容を示すフローチャート。同実施形態に係る動画撮影時の第３の動作例での処理内容を示すフローチャート。同実施形態に係る動画撮影時の第４の動作例での処理内容を示すフローチャート。同実施形態に係る顔検出と手ブレ補正との対応を示すテーブルを例示する図。

符号の説明

１０…デジタルカメラ、１１…レンズ光学系、１２…ＣＣＤ、１３…Ｘステージ、１４…Ｙステージ、１５，１６…アクチュエータ（Ａ）、１７…手ブレ制御部、１８…画像処理部、１９…バッファメモリ、２０…表示部、２１…制御部、２２…メインメモリ、２３…プログラムメモリ、２４…キー入力部、２５…レンズ光学系駆動部、２６…フラッシュ駆動部、２７…メモリカードコントローラ、２８…音声処理部、２９…ＵＳＢインターフェイス（Ｉ／Ｆ）、３０…レンズモータ（Ｍ）、３１…高輝度白色ＬＥＤ、３２…メモリカード、３３…マイクロホン部、３４…スピーカ部、３５…ＵＳＢコネクタ、３６…顔認識部、３６Ａ…顔データベース、３７…圧縮伸長処理部、Ｃ…メモリカードコネクタ、ＳＢ…システムバス。

Claims

被写体像を撮影する撮像手段と、
上記撮像手段で得る画像から顔部分を認識する顔認識手段と、
上記撮像手段で得る画像の少なくとも一部の領域に生じるブレの方向と大きさとを検出するブレ検出手段と、
上記ブレ検出手段で検出したブレの大きさと方向とにより上記撮像手段で得る画像のブレ補正を行なうブレ補正手段と、
上記顔認識手段で認識した顔部分の数に基づいて、上記ブレ検出手段がブレ検出を行なう画像の対象領域を可変設定する制御手段と
を備え、
上記制御手段は、上記顔認識手段で認識した顔部分の数に基づいて、上記ブレ検出手段がブレ検出を行なう画像の対象領域として、上記撮像手段で得られた画像の全体と上記顔認識手段で認識した顔部分のいずれかを選択的に設定することを特徴とする撮像装置。
上記制御手段は、上記顔認識手段で認識した顔部分の数を所定値と比較し、この比較結果に基づいて、上記ブレ検出手段がブレ検出を行なう画像の対象領域として、上記撮像手段で得られた画像の全体と上記顔認識手段で認識した顔部分のいずれかを選択的に設定することを特徴とする請求項１記載の撮像装置。
特定の顔部分の特徴情報を登録する顔登録手段をさらに具備し、
上記顔認識手段は、画像から認識した顔部分の特徴情報と上記顔登録手段の登録内容とを比較し、画像から認識した顔部分が登録済みであるか否かを判定し、
上記制御手段は、上記顔認識手段で認識した顔部分全体の数と登録済みであると判定された顔部分の数との組み合わせに応じて、上記ブレ検出手段がブレ検出を行なう画像の対象領域として、上記撮像手段で得られた画像の全体と上記顔認識手段で認識した顔部分全体と上記顔認識手段で登録済みであると判定された特定の顔部分のいずれかを選択的に設定することを特徴とする請求項１または２記載の撮像装置。
上記顔登録手段は、特定の顔部分の特徴情報と関連付けて優先度情報を登録し、
上記制御手段は、上記顔認識手段で認識した顔部分の優先度情報も含めて、上記ブレ検出手段がブレ検出を行なう画像の対象領域を選択的に設定することを特徴とする請求項１乃至３のいずれかに記載の撮像装置。
上記制御手段は、上記顔認識手段による顔部分の大きさも勘案して、上記ブレ検出手段がブレ検出を行なう画像の対象領域を選択的に設定することを特徴とする請求項１乃至４のいずれかに記載の撮像装置。
上記制御手段は、上記顔認識手段で認識した顔部分の数がＮ個以上Ｍ個未満（Ｎ，Ｍは共に自然数で、Ｎ＜Ｍ）である場合には、上記ブレ検出手段がブレ検出を行なう画像の対象領域として上記顔認識手段で認識した顔部分を選択し、上記顔認識手段で認識した顔部分の数がＮ個以上Ｍ個未満の範囲を外れる場合には、上記ブレ検出手段がブレ検出を行なう画像の対象領域として上記撮像手段で得られた画像の全体を選択することを特徴とする請求項１記載の撮像装置。
上記制御手段は、上記Ｍの値を、集合写真を撮影する場合の人数に対応した数に設定することを特徴とする請求項６記載の撮像装置。
上記制御手段は、上記ＮまたはＭの値を任意に設定可能としたことを特徴とする請求項６記載の撮像装置。
被写体像を撮影する撮像部を備えた装置での撮像方法であって、
上記撮像部で得る画像から顔部分を認識する顔認識工程と、
上記撮像部で得る画像の少なくとも一部の領域に生じるブレの方向と大きさとを検出するブレ検出工程と、
上記ブレ検出工程で検出したブレの大きさと方向とにより上記撮像部で得る画像のブレ補正を行なうブレ補正工程と、
上記顔認識工程で認識した顔部分の数に基づいて、上記ブレ検出工程でブレ検出を行なう画像の対象領域を可変設定する制御工程と
を有し、
上記制御工程は、上記顔認識工程で認識した顔部分の数に基づいて、上記ブレ検出工程がブレ検出を行なう画像の対象領域として、上記撮像部で得られた画像の全体と上記顔認識工程で認識した顔部分のいずれかを選択的に設定することを特徴とする撮像方法。
被写体像を撮影する撮像部を備えた装置が内蔵するコンピュータが実行するプログラムであって、
上記撮像部で得る画像から顔部分を認識する顔認識ステップと、
上記撮像部で得る画像の少なくとも一部の領域に生じるブレの方向と大きさとを検出するブレ検出ステップと、
上記ブレ検出ステップで検出したブレの大きさと方向とにより上記撮像部で得る画像のブレ補正を行なうブレ補正ステップと、
上記顔認識ステップで認識した顔部分の数に基づいて、上記ブレ検出ステップでブレ検出を行なう画像の対象領域を可変設定する制御ステップと
をコンピュータに実行させ、
上記制御ステップは、上記顔認識ステップで認識した顔部分の数に基づいて、上記ブレ検出ステップがブレ検出を行なう画像の対象領域として、上記撮像部で得られた画像の全体と上記顔認識ステップで認識した顔部分のいずれかを選択的に設定することを特徴とするプログラム。