(第1の実施形態)
以下本発明をデジタルカメラに適用した場合の第1の実施形態について図面を参照して説明する。
図1は、本実施形態に係るデジタルカメラ10の回路構成を示すものである。同図では光学レンズユニット11により、固体撮像素子であるCCD12の撮像面上に被写体の光像が結像される。
スルー画像表示(ライブビュー画像)とも称されるモニタ状態では、このCCD12での撮像により得た画像信号を画像処理部13に送り、相関二乗サンプリングや自動ゲイン調整、A/D変換処理を実行してデジタル化する。画像処理部13はさらに、このデジタル値の画像データに画素補間処理、γ補正処理を含むカラープロセス処理を施した後、システムバスSBを介してバッファメモリ14に一時的に保持させる。
バッファメモリ14に保持された画像データをシステムバスSBを介して画像処理部13に読出し、再びシステムバスSBを介して表示部15へ送り、スルー画像として表示させる。
以上の動作を制御部16が統括制御する。制御部16はCPUで構成され、メインメモリ17、プログラムメモリ18と直接接続される。メインメモリ17は、SDRAM(シンクロナスDRAM)で構成され、ワークメモリとして機能する。プログラムメモリ18は、後述する撮影モード時の制御を含む動作プログラムや特定の人物の顔特徴情報、被写体テーブルを含むデータ等を記憶した、電気的に書換可能な不揮発性メモリで構成される。
制御部16はプログラムメモリ18から必要なプログラムやデータ、後述するテーブル等を読出し、メインメモリ17に適宜一時的に展開記憶させながら、このデジタルカメラ10全体の制御動作を実行する。
さらに上記制御部16は、キー入力部19から直接入力されるキー操作信号に対応して各種制御動作を実行する。制御部16は、システムバスSBを介して上記画像処理部13、バッファメモリ14、表示部15の他、さらにレンズ光学系駆動部20、フラッシュ駆動部21、CCDドライバ22、メモリカードコントローラ23、音声処理部24、USBインタフェース(I/F)25、顔認識部26、及び圧縮伸長処理部27とも接続される。
キー入力部19は、例えば電源キー、シャッタキー、ズームキー、撮影モードキー、再生モードキー、メニューキー、カーソル(「↑」「→」「↓」「←」)キー、セットキー、シーンプログラムキー等を備える。
レンズ光学系駆動部20は、制御部16からの制御信号を受けてレンズモータ(M)28の回動を制御し、上記光学レンズユニット11を構成する複数のレンズ中の一部、具体的にはフォーカスレンズ及びズームレンズの位置をそれぞれ個別に光軸方向に沿って移動させる。
フラッシュ駆動部21は、静止画像撮影時に制御部16からの制御信号を受けて複数の白色高輝度LEDで構成されるフラッシュ部29を撮影タイミングに同期して点灯駆動する。
CCDドライバ22は、その時点で設定されている撮影条件等に応じて上記CCD12の操作駆動を行なう。
メモリカードコントローラ23は、カードコネクタ30を介してメモリカード31と接続される。メモリカード31は、このデジタルカメラ10に着脱自在に装着され、このデジタルカメラ10の記録媒体となる画像データ等の記録用メモリであり、内部にはブロック単位で電気的に書換え可能な不揮発性メモリであるフラッシュメモリとその駆動回路とが設けられる。
音声処理部24は、PCM音源等の音源回路を備え、音声の録音時にはこのデジタルカメラ10の筐体前面側に配設されたマイクロホン部32より入力する音声信号をデジタル化し、所定のデータファイル形式、例えばAAC(moving picture experts group−4 Advanced Audio Coding)形式でデータ圧縮して音声データファイルを作成し、上記メモリカード31へ送出する。
一方、音声処理部24は、音声の再生時にメモリカード31から読出されてきた音声データファイルの圧縮を解いてアナログ化し、このデジタルカメラ10の背面側に設けられるスピーカ部33を駆動して、拡声放音させる。
USBインタフェース25は、USBコネクタ34を介してこのデジタルカメラ10を外部機器、例えばパーソナルコンピュータと接続する際のデータの送受を司る。
顔認識部26は、バッファメモリ14に保持される画像データに対して輪郭抽出及び特徴点の抽出を行なって、プログラムメモリ18に予め登録した注目被写体、具体的には人物の顔の形状の特徴を有する特徴情報との類似度を算出することで、一般的な人物の顔、及び登録済みの特定の人物の顔の認識処理を実行する。
圧縮伸長処理部27は、上記キー入力部19のシャッタキー操作に伴う画像撮影時に、バッファメモリ14に保持される画像データを所定のデータファイル形式、例えばJPEG(Joint Photographic Experts Group)であればDCT(離散コサイン変換)やハフマン符号化等のデータ圧縮処理を施してデータ量を大幅に削減した画像データファイルを作成する。作成した画像データファイルはシステムバスSBを介して上記メモリカード31に記録する。
また圧縮伸長処理部27は、再生モード時にメモリカード31から読出されてくる画像データをシステムバスSBを介して受取り、記録時とは逆の手順で圧縮を解く伸長処理により元のサイズの画像データを得、これをシステムバスSBを介してバッファメモリ14に保持させる。そして、バッファメモリ14に保持された画像データにより表示部15で再生のための表示が実行される。
次に上記実施形態の動作について説明する。
なお、以下に示す動作は、撮影モード下で静止画像の撮影を行なう際、制御部16がプログラムメモリ18に記憶されている動作プログラムやテーブルデータ、一般的な人物の顔の特徴データ、及び登録済みの特定の人物の顔の特徴データを読出してメインメモリ17に展開して記憶させた上で実行するものである。
また、キー入力部19の一部を構成するシャッタキーは、2段階の操作ストロークを有し、第1段目の操作ストローク(以下「ハーフシャッタ」と称する)でAF(自動合焦)処理及びAE(自動露光)処理を実行して合焦位置及び露光値をロックし、さらに第2段階の操作ストローク(以下「フルシャッタ」と称する)で撮影を実行するものとする。
図2及び図3は、撮影モード時の処理内容を示すものである。電源オフ状態からキー入力部19の撮影モードキーを操作し、電源投入と共に撮影モードを開始した場合、あるいは再生モード時に撮影モードキーの操作で撮影モードに移行した場合、その当初にはパンフォーカス設定を行なう(ステップS101)。
このパンフォーカスの設定に際しては、スルー画像の表示に必要なシャッタ速度を維持できる範囲内で光学レンズユニット11内の図示しない開口絞りを絞り込むと共に、光学レンズユニット11のフォーカスレンズの位置を一般的なスナップ撮影で多用されるフォーカス範囲の中間位置よりやや近距離側に設定することで、被写界深度を最大限に広げる。
その後、初期設定として、被写体番号を示す変数nに初期値「1」を設定する(ステップS102)。同じく初期設定として、1つの被写体を選択している時間を計測するための変数Tsをクリアして「0(ゼロ)」とする(ステップS103)。
その後、スルー画像の表示状態で、バッファメモリ14に保持されている画像データを顔認識部26が認識処理することで、撮影されている画像中から認識可能な全ての注目被写体である人物の顔部分を検出する(ステップS104)。
そして、検出した全ての注目被写体に対して番号を付与する(ステップS105)。この場合、直前にも同様の処理を行なった場合には、直前の画像の各注目被写体と現時点の画像の注目被写体とを比較し、同一であると認識できる注目被写体に対しては直前と同様の被写体番号を付与するように、被写体の確認を行なう。
次いで、付与した被写体番号に基づいて、被写体の選択順序と選択時間Taとを設定する(ステップS106)。
図4は、このステップS106に係るサブルーチンの処理内容を示し、図5に例示するような被写体テーブルOJを作成する。
まず、各被写体番号毎に、画像中でのサイズを加点する(ステップT101)。ここでは、画像中の被写体の特に顔領域を示す矩形のサイズにより、最大5点乃至最小1点の5段階の加点を行なう。
次に画像中の被写体の位置に応じた加点を行なう(ステップT102)。ここでは、画像中の被写体の特に顔領域を示す矩形の中心座標と画像の中心位置との距離により、最短5点乃至最長1点の5段階の加点を行なう。
また、被写体の位置が画像の中心位置に対して縦方向で上下どれだけ離れているか、横方向で左右どれだけ離れているかを重み付けを異ならせて加点するものとしてもよいし、画像を複数のエリアに分割してどのエリアに位置するかで加点するものとしてもよい。
次に、被写体の種別に応じた加点を行なう(ステップT103)。この種別の具体的な内容としては、例えば男女の性別、判断の色から人種、顔の輪郭に対する目の位置から年齢帯等を検出して加点する点数を決定する。その設定には、このデジタルカメラ10のユーザの趣向を反映させた別途テーブルを利用するものとする。
次に、被写体の表情に応じた加点を行なう(ステップT104)。ここでは、被写体の顔を構成する目、口などの個々のパーツの形状を統合的に評価することで、被写体が笑っているか、怒っているか等の表情を検出し、その表情に応じた加点を行なうと共に、被写体がカメラの方を向いているか、両目が大きく開いているか等についても加点対象とする。
次に、被写体のグループに応じた加点を行なう(ステップT105)。これは、サイズと位置が近い被写体が複数存在する場合にそれら被写体をグループであると見なして加点する。
次に、被写体の登録に応じた加点を行なう(ステップT106)、これは、上述した如くプログラムメモリ18に予め特定の人物の顔の特徴情報が優先順位を示す情報と共に登録されており、画像中の顔認識を行なった後、各被写体の顔の特徴情報と登録されている顔の特徴情報とを比較参照することにより、登録されている顔との類似性が高いと評価された被写体にはその優先順位に応じて加点する。
次に、被写体の画像中への新規加入(IN)及び退出(OUT)に応じた加点を行なう(ステップT107)。これは、上述した如く直前に作成した被写体テーブルと今回作成した被写体テーブルとを比較して、同一であるとは認識できない被写体が新規に画像内に入ってきたと判断した場合に、画像に大きな変化があったものとして大きな加点を行なう一方で、直前の画像には入っていたものの、今回の画像では検出できない被写体があった場合に撮影範囲から外れたものとして、これも画像に大きな変化があったものとして大きな加点を行なうものである。
次に、この被写体テーブルOJの経過時間に応じた加点を行なう(ステップT108)。これは、この被写体テーブルOJとは別にメインメモリ17に設定したレジスタにより、同一被写体により被写体テーブルOJが作成されている時間を計測し、その計測値が所定値、例えば30[秒]を超えた場合に大きな加点を施すことにより、被写体テーブルOJの再設定を促すものである。
以上の各加点に基づき、経過時間以外の要素により被写体毎の合計点を算出すると共に、それら被写体毎の合計を一括合計した総合計点Ptを算出する(ステップT109)。
次いで、ステップT109で算出した被写体毎の合計点に基づき、被写体n(1≦n≦N)の経過時間を示す変数Tsに対する閾値として、上記算出した、その被写体の合計値に対応した所定の時間値Ta(n)を設定する(ステップT110)。
各被写体共に、合計点が大きいほど、時間値Ta(n)も大きくなるように設定されることが好ましい。
次いで、直前の上記ステップT109で算出した総合計値Ptが一定値、例えば「100」を超えているか否かにより画像の変化が大きいか否かを判断する(ステップT111)。
ここで総合計値Ptが一定値を超えており、画像の変化が大きいと判断した場合にのみ、直前の上記ステップT101〜T109で作成した被写体テーブルOJに基づき、合計点の高い被写体から優先的に順次被写体番号を付与するものとして被写体番号を再設定し(ステップT112)、以上でこの図4のサブルーチンを一旦終了して、上記図2のメインルーチンに戻る。
図2では、その時点で選択している注目被写体に対するユーザの変更操作、具体的にはキー入力部19のカーソルキーの操作があったか否かを判断する(ステップS107)。
ここで該変更操作がないと判断した場合には、さらに被写体nの経過時間を示す変数Tsが上記時間値Ta(n)以上となったか否かにより、その時点で選択している注目被写体を自動的に変更するか否かを判断する(ステップS108)。
ここで変数Tsが時間値Ta(n)未満であると判断した場合には、まだ注目被写体を自動的に変更するタイミングとはなっていないものとして、その時点の注目被写体nを他の被写体に比して強調する表示を行なう(ステップS113)。
具体的には、各被写体の顔部分をそれぞれ矩形のフレームで表示する際に、変数nで選択されている注目被写体の顔部分のみを他と異なる色、例えば他の被写体の顔部分を全て白色のフレームで表示する一方で、注目被写体nの顔部分のみは赤色のフレームで表示する。
上記時間値Tsを「+1」更新設定する(ステップS114)。その後、キー入力部19のシャッタキーがハーフシャッタ操作されたか否かを判断する(ステップS115)。ここでハーフシャッタ操作されていないと判断すると、上記ステップS104からの処理に戻る。
こうしてステップS104〜S108,S113〜S115の処理を繰返し実行することで、被写体テーブルを随時作成しながら、ユーザにより注目被写体を変更するための指示操作がなされるか、あるいは注目被写体の表示時間をカウントしている時間値Tsが所定の時間値Ta(n)となるか、あるいはハーフシャッタ操作がなされるかを待機する。
しかして、上記ステップS107でユーザによる注目被写体を変更するための指示操作があったと判断した場合、または上記ステップS108で注目被写体の選択時間を示す変数Tsが時間値Ta(n)以上となったと判断した場合には、注目被写体を示す変数nの値を「+1」更新設定する(ステップS109)。
次いで、その更新設定した変数nの値が、その時点の被写体テーブルOJで示される被写体の総数N、例えば上記図5の被写体テーブルOJでは「5」、を超えているか否かを判断する(ステップS110)。ここで、変数nの値が被写体の総数Nを超えていると判断した場合にのみ、更新設定した変数nの値を初期値「1」に変更する(ステップS111)。
その後、注目被写体nが変更されたことに合わせて注目被写体の表示時間をカウントしている時間値Tsをクリアして「0(ゼロ)」とした後に(ステップS112)、再び上記ステップS113からの処理に移行する。
また、上記ステップS115でハーフシャッタ操作があったと判断した場合には、あらたに当該ハーフシャッタ操作があってからの時間を計測する時間値Thsのカウントを開始する(ステップS116)。さらに、ハーフシャッタの操作がなされたことで、それまでの強調表示に当該被写体nをさらに一層強調する表示を行なう(ステップS117)。
具体的には、各被写体の顔部分をそれぞれ矩形のフレームで表示する際に、変数nで選択されている注目被写体の顔部分のみを他と異なる色、例えば他の被写体の顔部分を全て白色のフレームで表示する一方で、注目被写体nの顔部分のみは赤色のフレームで表示させ、且つ当該赤色のフレームを点滅させる。
同時に、AF処理、AE処理及びAWB(自動ホワイトバランス)処理を行なって合焦値と露光値とを共にロックすると共に、ホワイトバランスの調整値を取得する(ステップS118)。
この状態からさらに、フルシャッタ操作がなされたか否か(ステップS119)、まだハーフシャッタ操作がなされているか否か(ステップS120)を繰返し判断することで、フルシャッタ操作がなされるのを待機しつつ、ハーフシャッタ操作が維持されていることを確認する。
ここで、ハーフシャッタ操作が解除された場合、ステップS120でそれを判断し、再び上記ステップS104からの処理に戻る。
また、フルシャッタ操作がなされた場合には、ステップS119でそれを判断し、直ちにロックしている合焦値及び露光値に基づいて撮影を実行する(ステップS121)。そして、得た画像データに対して、これもロックしている調整値に基づいたホワイトバランス調整を含むカラープロセス処理、及びデータ圧縮処理を施し、データ圧縮後のファイル化した画像データをメモリカード31に記録させる(ステップS122)。
その後、ハーフシャッタ操作があってからの時間値Thsが所定の閾値Tb、例えば0.3[秒]以下であるか否かにより、ハーフシャッタ操作があってからフルシャッタ操作されるまでの時間が短く、シャッタキーが一気に操作されたか否かを判断する(ステップS124)。
ここで時間値Thsが所定の閾値Tb以下であり、シャッタキーが一気に操作されたと判断した場合には、記録した画像を確認のために読出して一定時間だけ表示部15で表示させるレックビュー表示において、記録した画像全体ではなく、記録時の注目被写体n周辺のエリアを中心にズームアップした画像データを表示部15に一定時間だけ表示させ(ステップS125)、その後に次の撮影に備えるべく上記ステップS104からの処理に戻る。
これは、シャッタキーが一気に操作されたことに対し、撮影時の注目被写体nの状態を特にこのデジタルカメラ10のユーザに確認してもらうべく注目被写体nを中心とした部分を拡大して表示する処理である。
また、上記ステップS123で、時間値Thsが所定の閾値Tbより大きく、シャッタキーがある程度時間的な余裕を持って操作されたと判断した場合には、記録した画像を確認のために読出して一定時間だけ表示部15で表示させるレックビュー表示において、記録した画像全体を表示部15に一定時間だけ通常のレックビュー画像として表示させ(ステップS124)、その後に次の撮影に備えるべく上記ステップS104からの処理に戻る。
この通常のレックビュー画像の表示により、ユーザは比較的時間の余裕を持って撮影を行なったものとして、撮影した画像全体の構図等を確認することができる。
図6は、上記のような撮影モード時に表示部15で表示されるスルー画像の遷移状態を例示する図である。ここでは、主として注目被写体の変更とAF機能による合焦位置の関係について説明する。同図では、複数の注目被写体である各人物を、顔部分に相当する円と身体部分に相当する三角形とで簡略化して表しており、顔認識技術により顔であると認識している顔(円)部分には対応する矩形のフレームFRを付加し、また特にAF機能により合焦している顔部分には文字「F」を付加して表示している。
図6(A)は、撮影モード開始当初のパンフォーカス状態を示すものである。同画像中では、3人の人物「1」〜「3」の顔部分が注目被写体として認識されて、それぞれフレームFRを重畳して表示しており、特にその時点で人物「1」が選択されていることを、例えばフレームFRの色を他のフレームFRとは変えることで区別して表示している。この時点では、まだパンフォーカス状態であるため、画像全体がその時点で設定されている焦点距離で被写界深度が最大となるように設定されており、いずれのフレームFRも合焦の対象とはなっていない。
その後、図6(B)に示す如くキー入力部19のカーソルキーを操作するか、あるいは時間Ta(1)が経過すると、選択する注目被写体の対象が変更設定され、今度は人物「2」が選択される。この注目被写体の変更に際しても、パンフォーカス状態は変わらず、いずれのフレームFRも合焦の対象とはなっていない。
図6(C)において、上記人物「2」が選択されている状態からハーフシャッタ操作を行なうと、上記図3のステップS115でそれが判断され、その後のステップS118でAF処理及びAE処理及びAWBの調整値取得の処理が実行されることで、図中に「F」で示すように人物「2」のフレームFR位置に合焦される。
その後、図6(D)でハーフシャッタ操作を解除し、さらにカーソルキーを2度連続して操作すると、選択される注目被写体が人物「2」から人物「3」を介して再度人物「1」の顔部分となる。この注目被写体の変更に際しても、ハーフシャッタ操作の解除後に再度ハーフシャッタ操作を行なっていないため、合焦位置は依然として人物「2」の顔部分のままとなる。
その後、上記図6(D)のスルー画像状態からハーフシャッタ操作を行ない、そのままフルシャッタ操作を行なうことで、注目被写体として人物「1」の顔部分が合焦位置とされて撮影が実行され、ファイル化された画像データがメモリカード31に記録される。
図6(E)は、その記録直後に一定時間だけ表示部15で実行されるレックビュー表示の内容を例示するものである。同図(E)では、撮影時にハーフシャッタ操作からフルシャッタ操作までの時間Thsが所定の閾値Tbより大きく、シャッタキーがある程度時間的な余裕を持って操作された場合を例示するもので、上記ステップS124での処理により、記録した画像全体が表示される。撮影時に注目被写体の必要である人物「1」の顔部分が選択されていたことから、当該部分が合焦位置となる。このレックビュー表示の場合、スルー画像の表示とは異なり、個々の注目被写体の人物の顔部分にフレームFRが重畳して表示されることはない。
次に、図7及び図8を用いて注目被写体の移動に伴うスルー画像の遷移状態についても説明する。ここでは、主として注目被写体の撮影範囲内への進入及び退出とそれに伴う被写体テーブルOJの再作成による被写体番号の変遷について説明する。
図7(A)では、注目被写体として人物が1人のみ撮影範囲内に位置する場合の表示部15で表示されるスルー画像を示す。このとき作成される被写体テーブルOJでは、唯一の人物が被写体番号「1」となり、この人物「1」の顔部分にのみ選択状態とフレームFRが重畳して表示される。
その後、図7(B)に示すように撮影範囲内にあらたな注目被写体が入ってきた場合、その顔部分が1つの注目被写体として認識されるまでは、依然として人物「1」のみが注目被写体として選択状態のフレームFRが重畳されて表示される。
図7(C)は、上記図7(B)の状態から新たな人物がさらに撮影範囲の内側に入り、顔認識処理により注目被写体「2」として認識された時点でカーソルキーを操作した場合のスルー画像を示すものである。新たに注目被写体の新規加入により、作成される被写体テーブルOJ上では当該被写体の「INorOUT」の項目に大きな加点がなされる。スルー画像中では、カーソルキーの操作に応じて、選択される注目被写体が人物「1」から人物「2」の顔部分に移動している。
ここで図7(D)に示す如く、さらに新たな人物が撮影範囲内に入ってきた場合、その顔部分が1つの注目被写体「3」として認識される。この時点でも選択されている注目被写体は人物「2」であり、カーソルキーが操作されるか、この人物「2」に応じて設定された時間Ta(2)が経過するまでは、選択された状態は変化しない。なお、人物「2」と人物「3」の各注目被写体は、画像中の位置が非常に近く、サイズも略等しいためにグループとして認識される。
図7(E)は、上記図7(D)の状態から、別の新たな人物がさらに撮影範囲内に入り、顔認識処理により注目被写体「4」として認識される一方で、ユーザがカーソルキーを操作した場合のスルー画像を示すものである。カーソルキーの操作に応じて、選択される注目被写体が人物「2」から人物「3」の顔部分に移動している。
図8(A)は、上記図7(E)に示した状態からそれまでの人物「1」が退出して顔部分が認識されなくなったことにより、退出したものとして扱われ、あらたに残る各注目被写体についてそれぞれ被写体番号が付与される。したがって、この時点で選択されている注目被写体は、それまで人物「3」であった人物「2」の顔部分となり、選択状態自体は変化せず、それまで人物「2」であった人物は、人物「1」となり、それまで人物「4」であった人物は、人物「3」となる。
さらに、上記図8(A)の状態からカーソルキーを操作すると、図8(B)に示すように、その操作に応じて選択される注目被写体が人物「2」から人物「3」の顔部分に移動する。
その後、さらに図8(C)に示すように新たな人物が撮影範囲内に入ってきた場合、その顔部分が1つの注目被写体「4」として認識される。
このとき、上記図4のステップT111では作成した被写体テーブルOJの合計点の変化が大きいと判断し、続くステップT112で被写体の順序を再設定して被写体番号を付与し直すもので、これにより人物「1」〜「3」の被写体番号が再設定される。それまで被写体番号「3」であった現在選択中の人物は、画像中のサイズが大きくなったことも合わせて加点が大きく、あらたに被写体番号が「1」として取扱われる。
この図8(C)の状態からカーソルキーを操作すると、図8(D)に示すように、その操作に応じて選択される注目被写体が人物「1」から人物「2」の顔部分に移動する。
なお、上記図7及び図8では、カーソルキーの操作により選択する注目被写体の人物を移動させるものとして説明したが、上述した如く本実施形態では、選択している注目被写体n毎に設定される時間Ta(n)が経過することでも、自動的に次の注目被写体を選択するように移動する。
以上詳記した如く本実施形態によれば、撮影範囲内に複数の注目被写体が存在する場合に、注目被写体の優先順位を自動的に付与し、付与した優先順位に基づいた撮影条件の設定を可能としながらも、このデジタルカメラ10のユーザである撮影者の意図により注目被写体を容易に変更することが可能となる。
また上記実施形態では、1つの注目被写体が選択されている時間をカウントし、カウントする時間がその注目被写体に応じて設定した時間値となった時点で注目被写体を自動的に変更するものとした。
これにより、撮影者がその都度キー操作を行なわずとも、効率的に注目被写体を変更設定することが可能となる。
さらに上記実施形態では、表示部15でのスルー画像上で、複数の注目被写体とその中で選択している注目被写体を識別して表示させるものとしたので、撮影者がスルー画像を視認しながら、より確実に撮影を行なうことができる。
また上記実施形態では、画像中の注目被写体の1つが識別して表示された状態から撮影を指示すると、その指示に応じて画像の撮影と記録を即時行なうものとしたので、撮影条件を再設定する必要がなく、より効率的に撮影を実行できる。
さらに上記実施形態では、ハーフシャッタ操作があった場合にAF処理、AE処理、及びAWB調整のための調整値の取得処理など、撮影条件の変更設定を実行するものとした。これにより、撮影条件の変更設定を実行する頻度を抑えて、制御部16の負担を軽減できる。
また上記実施形態では、プログラムメモリ18に予め特定の人物の顔の特徴情報を登録し、画像中の注目被写体として顔認識を行なった後、各被写体の顔の特徴情報と登録されている顔の特徴情報とを比較参照することにより、登録されている顔との類似性が高いと評価された被写体の評価を高める処理を行なうものとしたので、より効率的に注目表示を選択して効率的に撮影を実行できる。
さらに上記実施形態では、画像中の各注目被写体の大きさに応じて選択順序を設定するものとしたので、画像中での専有面積が大きく、撮影者がより撮影したいと想定できる注目被写体の順序を上げることで、より効率的に撮影を実行できる。
また上記実施形態では、画像中の各注目被写体の位置に応じて選択順序を設定するものとしたので、画像の中心に近く、撮影者がより撮影したいと想定できる注目被写体の順序を上げることで、より効率的に撮影を実行できる。
さらに上記実施形態では、画像中の各注目被写体である顔の種別に応じて選択順序を設定するものとしたので、例えば男女や肌の色、年齢層など、撮影者が設定する種別により撮影したいと想定できる注目被写体の順序を上げることで、より効率的に撮影を実行できる。
また上記実施形態では、画像中の各注目被写体である顔の表情に応じて選択順序を設定するものとしたので、例えば笑っている顔や両目が大きく開いている顔、カメラの方を向いている顔など、撮影者が設定する表情により撮影したいと想定できる注目被写体の順序を上げることで、より効率的に撮影を実行できる。
さらに上記実施形態では、画像中の各注目被写体の変化の度合が大きい場合に選択順序を再設定するものとしたので、画像の構図や注目被写体の位置関係などに変化を生じた場合には選択順序を再度設定して、新たな撮影状況に的確に対応し、常に効率的に撮影を実行できる。
なお、上記実施形態では説明しなかったが、撮影により得た画像を記録した後に表示部15で表示するレックビュー画像の表示の際に、複数の注目被写体とその中で選択している注目被写体を識別して表示させるものとしてもよく、記録内容を確認し、必要により即時次の撮影に移行できる。
また上記実施形態では、撮影時の操作状態、例えばハーフシャッタ操作がなされてからフルシャッタ操作がなされるまでの時間などを判別条件として、その判別結果により、記録後の画像を表示部15で表示するレックビュー画像の表示形態を異ならせるものとしたので、撮影状態に合わせてより確認し易い形態を自動的に設定できる。
さらに上記実施形態では、画像中の各注目被写体の位置関係に応じて、近くに存在するもの同士をグループであると認識するなどして選択順序を設定するものとしたので、特に注目表示の数が多い場合などに、より効率的に撮影を実行できる。
(第2の実施の形態)
以下本発明をデジタルカメラに適用した場合の第2の実施形態について図面を参照して説明する。
なお、本実施形態に係るデジタルカメラの回路構成については、上記図1に示した内容と基本的に同様であるため、同一部分には同一符号を用いるものとしてその図示と説明とを省略する。
次に上記実施形態の動作について説明する。
なお、以下に示す動作は、撮影モード下で静止画像の撮影を行なう際、制御部16がプログラムメモリ18に記憶されている動作プログラムやテーブルデータ、一般的な人物の顔の特徴データ、及び登録済みの特定の人物の顔の特徴データを読出してメインメモリ17に展開して記憶させた上で実行するものである。
また、キー入力部19の一部を構成するシャッタキーは、2段階の操作ストロークを有し、第1段目の操作ストローク(以下「ハーフシャッタ」と称する)でAF(自動合焦)処理及びAE(自動露光)処理を実行して合焦位置及び露光値をロックし、さらに第2段階の操作ストローク(以下「フルシャッタ」と称する)で撮影を実行するものとする。
図9及び図10は、撮影モード時の処理内容を示すものである。電源オフ状態からキー入力部19の撮影モードキーを操作し、電源投入と共に撮影モードを開始した場合、あるいは再生モード時に撮影モードキーの操作で撮影モードに移行した場合、その当初にはパンフォーカス設定を行なう(ステップS201)。
このパンフォーカスの設定に際しては、スルー画像の表示に必要なシャッタ速度を維持できる範囲内で光学レンズユニット11内の図示しない開口絞りを絞り込むと共に、光学レンズユニット11のフォーカスレンズの位置を一般的なスナップ撮影で多用されるフォーカス範囲の中間位置よりやや近距離側に設定することで、被写界深度を広げる。
その後、初期設定として、被写体番号を示す変数nに初期値「1」を設定する(ステップS202)。同じく初期設定として、1つの被写体を選択している時間を計測するための変数Tsをクリアして「0(ゼロ)」とする(ステップS203)。
その後、スルー画像の表示状態で、バッファメモリ14に保持されている画像データを顔認識部26が認識処理することで、撮影されている画像中から認識可能な全ての注目被写体である人物の顔部分を検出する(ステップS204)。
そして、検出した全ての注目被写体に対して番号を付与する(ステップS205)。この場合、直前にも同様の処理を行なった場合には、直前の画像の各注目被写体と現時点の画像の注目被写体とを比較し、同一であると認識できる注目被写体に対しては直前と同様の被写体番号を付与するように、被写体の確認を行なう。
次いで、付与した被写体番号に基づいて、被写体の選択順序と選択時間Taとを設定する(ステップS206)。
図4は、このステップS206に係るサブルーチンの処理内容を示し、図5に例示するような被写体テーブルOJを作成する。
まず、各被写体番号毎に、画像中でのサイズを加点する(ステップT101)。ここでは、画像中の被写体の特に顔領域を示す矩形のサイズにより、最大5点乃至最小1点の5段階の加点を行なう。
次に画像中の被写体の位置に応じた加点を行なう(ステップT102)。ここでは、画像中の被写体の特に顔領域を示す矩形の中心座標と画像の中心位置との距離により、最短5点乃至最長1点の5段階の加点を行なう。
また、被写体の位置が画像の中心位置に対して縦方向で上下どれだけ離れているか、横方向で左右どれだけ離れているかを重み付けを異ならせて加点するものとしてもよいし、画像を複数のエリアに分割してどのエリアに位置するかで加点するものとしてもよい。
次に、被写体の種別に応じた加点を行なう(ステップT103)。この種別の具体的な内容としては、例えば男女の性別、判断の色から人種、顔の輪郭に対する目の位置から年齢帯等を検出して加点する点数を決定する。その設定には、このデジタルカメラ10のユーザの趣向を反映させた別途テーブルを利用するものとする。
次に、被写体の表情に応じた加点を行なう(ステップT104)。ここでは、被写体の顔を構成する目、口などの個々のパーツの形状を統合的に評価することで、被写体が笑っているか、怒っているか等の表情を検出し、その表情に応じた加点を行なうと共に、被写体がカメラの方を向いているか、両目が大きく開いているか等についても加点対象とする。
次に、被写体のグループに応じた加点を行なう(ステップT105)。これは、サイズと位置が近い被写体が複数存在する場合にそれら被写体をグループであると見なして加点する。
次に、被写体の登録に応じた加点を行なう(ステップT106)、これは、上述した如くプログラムメモリ18に予め特定の人物の顔の特徴情報が優先順位を示す情報と共に登録されており、画像中の顔認識を行なった後、各被写体の顔の特徴情報と登録されている顔の特徴情報とを比較参照することにより、登録されている顔との類似性が高いと評価された被写体にはその優先順位に応じて加点する。
次に、被写体の画像中への新規加入(IN)及び退出(OUT)に応じた加点を行なう(ステップT107)。これは、上述した如く直前に作成した被写体テーブルと今回作成した被写体テーブルとを比較して、同一であるとは認識できない被写体が新規に画像内に入ってきたと判断した場合に、画像に大きな変化があったものとして大きな加点を行なう一方で、直前の画像には入っていたものの、今回の画像では検出できない被写体があった場合に撮影範囲から外れたものとして、これも画像に大きな変化があったものとして大きな加点を行なうものである。
次に、この被写体テーブルOJの経過時間に応じた加点を行なう(ステップT108)。これは、この被写体テーブルOJとは別にメインメモリ17に設定したレジスタにより、同一被写体により被写体テーブルOJが作成されている時間を計測し、その計測値が所定値、例えば30[秒]を超えた場合に大きな加点を施すことにより、被写体テーブルOJの再設定を促すものである。
以上の各加点に基づき、経過時間以外の要素により被写体毎の合計点を算出すると共に、それら被写体毎の合計を一括合計した総合計点Ptを算出する(ステップT109)。
次いで、被写体n(1<=n<=N)の経過時間を示す変数Tsに対する閾値として、上記算出した、その被写体の合計値に対応した所定の時間値Ta(n)を設定する(ステップT110)。
各被写体共に、合計点が大きいほど、時間値Ta(n)も大きくなるように設定されることが好ましい。
次いで、直前の上記ステップT109で算出した総合計値Ptが一定値、例えば「100」を超えているか否かにより画像の変化が大きいか否かを判断する(ステップT111)。
ここで総合計値Ptが一定値を超えており、画像の変化が大きいと判断した場合にのみ、直前の上記ステップT101〜T109で作成した被写体テーブルOJに基づき、合計点の高い被写体から優先的に順次被写体番号を付与するものとして被写体番号を再設定し(ステップT112)、以上でこの図4のサブルーチンを一旦終了して、上記図9のメインルーチンに戻る。
図9では、その時点で選択している注目被写体に対するユーザの変更操作、具体的にはキー入力部19のカーソルキーの操作があったか否かを判断する(ステップS207)。
ここで該変更操作がないと判断した場合には、さらに被写体nの経過時間を示す変数Tsが上記時間値Ta(n)以上となったか否かにより、その時点で選択している注目被写体を自動的に変更するか否かを判断する(ステップS208)。
ここで変数Tsが時間値Ta(n)未満であると判断した場合には、まだ注目被写体を自動的に変更するタイミングとはなっていないものとして、AF処理、AE処理及びAWB(自動ホワイトバランス)調整の調整値の取得処理を行なって合焦値と露光値とを共にロックすると共に、ホワイトバランスの調整値を取得する(ステップS213)。
その後、その時点の注目被写体nを他の被写体に比して強調する表示を行なう(ステップS214)。
具体的には、各被写体の顔部分をそれぞれ矩形のフレームで表示する際に、変数nで選択されている注目被写体の顔部分のみを他と異なる色、例えば他の被写体の顔部分を全て白色のフレームで表示する一方で、注目被写体nの顔部分のみは赤色のフレームで表示する。
上記時間値Tsを「+1」更新設定する(ステップS215)。その後、キー入力部19のシャッタキーがハーフシャッタ操作されたか否かを判断する(ステップS216)。ここでハーフシャッタ操作されていないと判断すると、上記ステップS204からの処理に戻る。
こうしてステップS204〜S208,S213〜S216の処理を繰返し実行することで、被写体テーブルを随時作成しながら、ユーザにより注目被写体を変更するための指示操作がなされるか、あるいは注目被写体の表示時間をカウントしている時間値Tsが所定の時間値Ta(n)となるか、あるいはハーフシャッタ操作がなされるかを待機する。
しかして、上記ステップS207でユーザによる注目被写体を変更するための指示操作があったと判断した場合、または上記ステップS208で注目被写体の選択時間を示す変数Tsが時間値Ta(n)以上となったと判断した場合には、注目被写体を示す変数nの値を「+1」更新設定する(ステップS209)。
次いで、その更新設定した変数nの値が、その時点の被写体テーブルOJで示される被写体の総数N、例えば上記図5の被写体テーブルOJでは「5」、を超えているか否かを判断する(ステップS210)。ここで、変数nの値が被写体の総数Nを超えていると判断した場合にのみ、更新設定した変数nの値を初期値「1」に変更する(ステップS211)。
その後、注目被写体nが変更されたことに合わせて注目被写体の表示時間をカウントしている時間値Tsをクリアして「0(ゼロ)」とし(ステップS212)、それから再び上記ステップS213からの処理に移行する。
また、上記ステップS216でハーフシャッタ操作があったと判断した場合には、あらたに当該ハーフシャッタ操作があってからの時間を計測する時間値Thsのカウントを開始する(ステップS217)。さらに、ハーフシャッタの操作がなされたことで、それまでの強調表示に当該被写体nをさらに一層強調する表示を行なう(ステップS218)。
具体的には、各被写体の顔部分をそれぞれ矩形のフレームで表示する際に、変数nで選択されている注目被写体の顔部分のみを他と異なる色、例えば他の被写体の顔部分を全て白色のフレームで表示する一方で、注目被写体nの顔部分のみは赤色のフレームで表示させ、且つ当該赤色のフレームを点滅させる。
この状態からさらに、フルシャッタ操作がなされたか否か(ステップS219)、まだハーフシャッタ操作がなされているか否か(ステップS220)を繰返し判断することで、フルシャッタ操作がなされるのを待機しつつ、ハーフシャッタ操作が維持されていることを確認する。
ここで、ハーフシャッタ操作が解除された場合、ステップS220でそれを判断し、再び上記ステップS216からの処理に戻る。
また、フルシャッタ操作がなされた場合には、ステップS219でそれを判断し、直ちにその時点でロックしている合焦値及び露光値に基づいて撮影を実行する(ステップS221)。そして、得た画像データに対して、これもロックしている調整値に基づいたホワイトバランス調整を含むカラープロセス処理、及びデータ圧縮処理を施し、データ圧縮後のファイル化した画像データをメモリカード31に記録させる(ステップS222)。
その後、ハーフシャッタ操作があってからの時間値Thsが所定の閾値Tb、例えば0.3[秒]以下であるか否かにより、ハーフシャッタ操作があってからフルシャッタ操作されるまでの時間が短く、シャッタキーが一気に操作されたか否かを判断する(ステップS223)。
ここで時間値Thsが所定の閾値Tb以下であり、シャッタキーが一気に操作されたと判断した場合には、記録した画像を確認のために読出して一定時間だけ表示部15で表示させるレックビュー表示において、記録した画像全体ではなく、記録時の注目被写体n周辺のエリアを中心にズームアップした画像データを表示部15に一定時間だけ表示させ(ステップS225)、その後に次の撮影に備えるべく上記ステップS204からの処理に戻る。
これは、シャッタキーが一気に操作されたことに対し、撮影時の注目被写体nの状態を特にこのデジタルカメラ10のユーザに確認してもらうべく注目被写体nを中心とした部分を拡大して表示する処理である。
また、上記ステップS223で、時間値Thsが所定の閾値Tbより大きく、シャッタキーがある程度時間的な余裕を持って操作されたと判断した場合には、記録した画像を確認のために読出して一定時間だけ表示部15で表示させるレックビュー表示において、記録した画像全体を表示部15に一定時間だけ通常のレックビュー画像として表示させ(ステップS224)、その後に次の撮影に備えるべく上記ステップS204からの処理に戻る。
この通常のレックビュー画像の表示により、ユーザは比較的時間の余裕を持って撮影を行なったものとして、撮影した画像全体の構図等を確認することができる。
図11は、上記のような撮影モード時に表示部15で表示されるスルー画像の遷移状態を例示する図である。ここでは、主として注目被写体の変更とAF機能による合焦位置の関係について説明する。同図では、複数の注目被写体である各人物を、顔部分に相当する円と身体部分に相当する三角形とで簡略化して表しており、顔認識技術により顔であると認識している顔(円)部分には対応する矩形のフレームFRを付加し、また特にAF機能により合焦している顔部分には文字「F」を付加して表示している。
図11(A)は、撮影モード開始当初のスルー画像を示すものである。同画像中では、3人の人物「1」〜「3」の顔部分が注目被写体として認識されて、それぞれフレームFRを重畳して表示しており、特にその時点で人物「1」が選択されていることを、例えばフレームFRの色を他のフレームFRとは変えることで区別して表示している。この時点で上記ステップS213の処理により、選択されている注目被写体の人物「1」に自動的合焦されている。
その後、図11(B)に示す如くキー入力部19のカーソルキーを操作するか、あるいは時間Ta(1)が経過すると、選択する注目被写体の対象が変更設定され、今度は人物「2」が選択される。この注目被写体の変更に際して、ステップS213の処理により自動的にあらたに選択された注目被写体である人物「2」に合焦位置が移動する。
図11(C)において、上記人物「2」が選択されている状態からハーフシャッタ操作を行なうと、上記図10のステップS216でそれが判断され、その後のステップS218でフレームFRが再強調表示、具体的には例えば赤色で点滅表示される。
その後、図11(D)でハーフシャッタ操作をいったん解除し、さらにカーソルキーを2度連続して操作すると、選択される注目被写体が人物「2」から人物「3」を介して再度人物「1」の顔部分となる。この注目被写体の変更に際して、ステップS213の処理により自動的にあらたに選択された注目被写体である人物「1」に合焦位置が移動する。
その後、上記図11(D)のスルー画像状態からハーフシャッタ操作を行ない、そのままフルシャッタ操作を行なうことで、注目被写体として人物「1」の顔部分が合焦位置とされたまま撮影が実行され、ファイル化された画像データがメモリカード31に記録される。
図11(E)は、その記録直後に一定時間だけ表示部15で実行されるレックビュー表示の内容を例示するものである。同図(E)では、撮影時にハーフシャッタ操作からフルシャッタ操作までの時間Thsが所定の閾値Tbより大きく、シャッタキーがある程度時間的な余裕を持って操作された場合を例示するもので、上記ステップS224での処理により、記録した画像全体が表示される。撮影時に注目被写体の必要である人物「1」の顔部分が選択されていたことから、当該部分が合焦位置となる。このレックビュー表示の場合、スルー画像の表示とは異なり、個々の注目被写体の人物の顔部分にフレームFRが重畳して表示されることはない。
なお、上記実施形態では、ステップS207で選択されている注目被写体の顔部分を変更するためのキー入力部19のキー操作として、例えばカーソルキーを操作するものとして説明したが、本実施形態はこれに限らず、表示部15がユーザのタッチ操作を受付けるタッチパネル機能を有するものとして、そのタッチ操作を受付けて、受付けた操作で指示された注目被写体の顔部分を次に選択するものとしてもよい。
また、上記ステップS213の撮影条件の設定としてのAF処理、AE処理及びAWB(自動ホワイトバランス)調整の調整値の取得処理は、あらたに注目被写体が選択された直後に実施するのではなく、あえて一定の時間、例えば0.5[秒]経過後に実施するものとすれば、短時間のうちに高い頻度で注目被写体を変更する際などの制御部16による同処理の負担を軽減できる。
以上詳記した如く本実施形態によれば、注目被写体が変更された時点で撮影条件を逐次変更させるため、常に選択されている注目被写体に合わせて合焦位置、露光値その他が追従し、実際の画像の撮影と記録とに短時間で移行できるため、タイムラグを極力短縮化して効率的に撮影を実行できる。
また上記実施形態では説明しなかったが、撮影途中の画像から得られる情報だけではなく、一定時間、例えば30[秒]経過毎に画像中の各注目被写体の選択順序を再設定するものとしてもよい。こうすることで、一定時間が経過した以前の設定による選択順序をクリアして、再度その時点の撮影状況に合わせた再生を行なうことで、常に効率的に撮影を実行できる。
なお、上記第1及び第2の実施形態はいずれも、いずれも本発明をデジタルカメラに適用した場合について説明したものであるが、本発明はこれに限らず、ビデオムービーカメラ、カメラ機能を有する携帯電話端末やPDA(Personal Digital Assistants:個人向け情報携帯端末)その他、各種の電子機器にも同様に適用可能となる。
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
10…デジタルカメラ、11…光学レンズユニット、12…CCD、13…画像処理部、14…バッファメモリ、15…表示部、16…制御部、17…メインメモリ、18…プログラムメモリ、19…キー入力部、20…レンズ光学系駆動部、21…フラッシュ駆動部、22…CCDドライバ、23…メモリカードコントローラ、24…音声処理部、25…USBインタフェース(I/F)、26…顔認識部、27…圧縮伸長処理部、28…レンズモータ(M)、29…フラッシュ部、30…カードコネクタ、31…メモリカード、32…マイクロホン部、33…スピーカ部、34…USBコネクタ、FR…(顔部分の)フレーム、OJ…被写体テーブル、SB…システムバス。