以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。図1は、本発明の一実施形態に係わるカメラ10の電気回路を示すブロック図である。カメラ10は、デジタルカメラであり、制御部1、撮像部2、顔検出部2a、パラメータ設定部3、モーション判定部4、記録部6、パラメータ制御部7、表示部8、操作部9等から構成される。
撮像部2は、ズーム機能を有する撮影レンズ(ズームレンズ)や、シャッタ・絞り等の露出制御部、撮像素子、撮像素子の駆動及び読出回路等を含み、撮影レンズによって形成された被写体像を撮像素子によって画像データに変換し、これを出力する。また、撮像部2の撮影レンズはピント合わせレンズとその機構を含み、後述するピント制御部7bによって遷移動画を撮影する際に、ピントをずらしながら、撮影することも可能である。また、背景をぼかすための絞り調整機構を設けても良い。
顔検出部2aは撮像部2から出力され、制御部1によって処理された画像データに基づいて、被写体像の中に人物の顔が含まれているか否か、また顔が含まれていた場合にはその位置や大きさ等を検出し、検出結果を制御部1に出力する。なお、顔の検出にあたっては、顔の中の目、鼻、口等のパーツの陰影を抽出し、パターンマッチング法等によって行う。
制御部1は、記憶されているプログラムに従ってカメラ10の全体のシーケンスを制御する。制御部1は、表情変化判定部1a、コントラスト変化抽出部1b、領域分割部1c、構図変化判定部1d、画像処理部5を有する。表情変化判定部1aは、撮像部2から出力される画像データ、顔検出部2aから出力される顔に関する検出結果、および後述する表情変化データベース(DB)6aに記憶されている顔の目、鼻、口等のパーツパターンと表情の変化に関するデータに基づいて、表情変化を判定する。この判定の際に、表情が変化する時の変化のスピードに基づいて、表情の変化を予測するようにしても良い。
コントラスト変化抽出部1bは、撮像部2から出力される画像データから高周波成分(コントラスト)を抽出し、コントラストの変化を抽出する。後述するように、撮影レンズを走査(スキャン)した際にコントラスト変化抽出部1bによってコントラスト変化のピーク値を検出することにより被写体距離に関する情報を得ることができる。
領域分割部1cは、上記コントラスト抽出部1bによって得た被写体距離情報に基づいて、画面の領域を分割する。すなわち、撮像部2から出力される画像データを網の目状に分け、それぞれのポイントで被写体距離情報を得、ほぼ同一の被写体距離となるポイントなる画面領域に分割することができる。この領域分割部1cにおける領域分割については図4を用いて後述する。
構図変化判定部1dは、画面の構図やカメラ10の構え方が変化したか否かを判定する。画面の構図変化の判定にあっては、撮像部2から出力される画像データに基づいて動きベクトル等を利用する。また、カメラ10の構え方については、後述するモーション判定部4の判定出力に基づいて判定する。
制御部1内の画像処理部5は、動画処理部5aおよび静止画処理部5bを有し、撮像部2から出力される画像データを取り込み、間引き処理、切り出し処理、エッジ強調、色補正、画像圧縮等の種々の画像処理を行い、動画のライブビュー表示用、記録部6における静止画および動画の記録用、静止画および動画の再生表示用等の画像処理を行う。画像圧縮・伸張等にあたっては、静止画用圧縮・伸張回路、動画用圧縮・伸張回路等、それぞれの処理に応じて静止画用や動画用の回路を有する。また、画像処理部5は、画像データに基づいて、色情報や動きベクトルを求めることができる。
パラメータ設定部3は、撮影部2における焦点距離を変化させるためのズーム釦、絞り値を設定させるための絞り値設定操作部等によって、撮影パラメータを手動設定し、制御部1に出力する。なお、絞り値等の場合には、露出制御の結果に応じて自動的に設定されるようにしても良い。
パラメータ制御部7は、パラメータ設定部3において手動設定または自動設定された撮影パラメータに基づいて撮像部2の制御を行う。撮影パラメータを制御することにより、画角や背景のボケ(被写界深度)等を調整可能となる。これらを変化させることにより、様々な効果を施し、撮影を楽しむことができる。また、パラメータ制御部7は、絞り値や焦点距離等の現在設定されている値を検出し、制御部1に出力する。
パラメータ制御部7は、ピント制御部7bを有している。ピント制御部7bは、コントラスト変化抽出部1bによって検出されたコントラスト情報がピーク位置となるように撮像部2の撮影レンズのピント位置を調整する。すなわち、いわゆるコントラスト法による自動焦点調節を行う。また、アート動画モードにおいては、後述するように、副被写体から主被写体にピントが移動するように、撮影レンズのピント調節を行う。
モーション判定部4は、3次元空間の加速度、すなわち3軸加速度と、3次元空間での回転速度、すなわち3軸角速度の計6軸の物理量を検出する6軸センサ等を有している。このモーション判定部4は、カメラ10の構え方が変わっていないか否かについて判定することができる。ズーミング等により画像が変化する場合であっても、撮影者のカメラ10を構える構え方が変わっていないことを、判定可能であり、誤動作なしで、同じ被写体に対して構え方を変えずに狙っているか否かが分かる。
操作部9は、レリーズ釦、パワースイッチ、再生モード設定釦、メニュー釦等、種々の操作部材を含み、これらの操作部材の操作状態を判定し、制御部1に判定結果を送る。前述の制御部1は、操作部材の操作状態に応じて、所定のシーケンスで撮影や再生の制御を行う。
記録部6は、レリーズ釦によって撮影の指示がなされた際に、撮像部2によって取得され、画像処理部5によって圧縮処理された静止画や動画の画像データを記録する。記録部6内の表情変化DB6aは、目、鼻、口等の顔の部分(パーツ)の形状や位置等と、顔の表情の関係を示すデータベースである。この関係に基づいて、表情変化判定部1aは、笑顔度等、人物の顔の表情を数値で表すことができる。笑顔度は、目や口の形や、歯が見えたかどうか等に基づいて数値化する。
表示部8は、カメラ10の背面等に配置された液晶パネルや有機ELパネル等の表示部を有し、撮影前のライブビュー表示や、記録済みの画像の通常再生表示や、カメラ情報の表示等を行う。撮影者はライブビュー表示を観察し、構図やタイミングを決定することができる。また、アート動画モード、すなわち、ピントを移動させながら動画を撮影し、最後に静止画の撮影を行うことによって得られた遷移画像の再生表示も行う。
次に、図2および図3を用いて本実施形態に係わるカメラ10によるアート動画モードでの撮影について説明する。アート動画モードは、撮影の際に、画面内の被写体距離等を測定し、異なる被写体距離が有る場合に、主被写体と副被写体を選択し、この選択された副被写体から主被写体にピントを移動させ、この移動中に動画で撮影し、最後に主被写体を静止画で撮影するモードである。
図3に示すように、主被写体としての人物21aが画面の略中央に、花21cが近距離側に、副被写体としての木21cbが背景(遠距離側)にあるとする。このような配置でアート動画モードでの撮影を行うと、最初は、図2(a)に示すように、背景にある木21cにピントの合った画像25aから、次第に、ピント位置が人物21aに向けて移動し、この間、動画で画像データが記録される。そして、最後に、図2(b)に示すように、人物21aにピントが合った画像25bとなり、静止画で画像データが記録される。背景をぼかした綺麗な画像(図2(b)参照)でありながら、背景に何があったかを見せるのに有効な手法である。最終画像は主被写体(図2の例では人物21a)にピントを合わせるのが望ましく、この画像を静止画として記録する。
このように、本実施形態におけるアート動画モードでは、画像遷移を行っているが、図(a)→(b)への遷移にあたってはスムーズに変化させ、また、図2(a)における画像25aと、図2(b)における画像25bは、一目で相違が分かる程度に異なる画像を選択する。また、画像遷移にあたって、ピント位置が行ったり来たりを繰り返すと、見ていて不快になるので、例えば、花21cから人物21aにピントが合い、その後、木21bにピントが合って、その後、再び人物21aにピントが合うような動きは避ける。
そこで、画像遷移の出発点と終着点となる副被写体と主被写体の選択を行う必要ある。主被写体と副被写体のいずれも出発点としても良いが、本実施形態においては、最後に完成された静止画となるようにすることから、副被写体から出発し、主被写体を終点としている。また、主被写体と副被写体の選択方法としては、種々考えられるが、本実施形態においては、ピント合う効果が顕著に分かる組み合わせを優先するようにした。
次に、主被写体や副被写体の選択について、図4を用いて説明する。図4(a)は被写体距離とコントラストの関係を示すグラフであり、図4(b)は被写体の画像を示し、図4(c)は分割された画像領域を示す。前述したように、本実施形態においては、被写体距離情報を、撮影レンズをスキャンした際のコントラストのピーク位置から求めるようにしている。撮影レンズのスキャンは、至近端から無限端まで行っても良いが、全領域のスキャンには時間がかかることから、本実施形態においては、一部分のみ行い、他の領域については、他のタイミングで行ったり、また推測するようにしている。また、ライブビュー表示の際のコントラスト法によるピント合わせの距離情報等も利用しても良い。
図4に示す例では、撮影レンズのピント合わせのために、図4(b)に示すように画面内の複数のポイント22a、22b、22cで撮影レンズをスキャンしながらコントラストを測定している。このときの各ポイント22a、22b、22cにおけるコントラスの変化は、図4(a)に示すような曲線となる。なお、前述したように撮影レンズのスキャンは全領域では行わず、図4(a)に示す例では、ピント位置Z1、Z2、Z3の範囲内で行っている。
図4(a)から分かるように、人物21aに対応するポイント22aのコントラストはピント位置Z2にピークがあり、花21bに対応するポイント22bのコントラストはピント位置Z2よりも遠方にあり、木21cに対応するポイント22cのコントラストはピント位置Z2より近距離側にあることが分かる。図4(a)(b)に示した例では、説明の都合上、3点のみであるが、もっときめ細かに網目状に多数のポイントについてコントラストを求め、コントラスト変化や輪郭情報を得ることにより、図4(c)に示すように、画面を被写体に応じて各領域に分割することができる。図4(c)に示す例では、人物整21aのある領域23aと、その手前の花21cのある領域23cと、木21bが含まれる背景の領域23bの3つの領域に大別できる。
画面を各領域に分割すると、それぞれの領域について、顔が含まれている、どの領域が広いか、そこの領域に含まれる色成分や、動きがあるか否か等、種々の情報を得ることができる。これらの情報を用いると、どの領域が重要領域かを判定することができ、前述の主被写体や副被写体が含まれる領域を決定することができる。また、ピント位置Z1〜Z3の間でコントラストを測定し各領域に分割した後に、撮影レンズのピント位置を移動させながらコントラストを測定した際に、ピント位置Z3〜Z4の間で、急にコントラストが変化しているような場合には、このときのコントラストの変化量hや、人物21aの顔にピント合わせを行ったピント位置Z2からの変化幅を参考して、領域を修正し、また重要領域かの判定に利用することができる。
顔のピント位置(図4の例では、ピント位置Z2)と異なるところにコントラストが高い被写体(図4の例では、ピント位置Z4にある木21b)があると、ピントシフトの効果を動画で表す際に効果的であることから、本実施形態においては、ピントの変化する位置のコントラスト情報を重視するようにしている。ピントの変化が少ない場合には、ピントシフトの効果がなく、鑑賞者が気付かない恐れがあるからである。
主被写体と副被写体の選択は、図4で説明した分割領域に対して、それぞれ重み付けし、重み付けの数値に基づいて判定する。図5に重み付けの数値を示す。重み付けにあたっては、まず、主被写体の決定用のZaの重み付けを行う。Zaの重み付けにあたっては、領域23a〜23cのそれぞれについて、図5に示す条件があてはまるか否かを判定する。例えば、1番目の条件、「半身像相当の顔がある」について、領域23aが当てはまるか否かを判定する。図4(b)に示す例では、領域23a内の人物21aは半身像相当の顔があることから10ポイントの重み付けがなされる。一方、領域23b、23cでは半身像相当の顔がないことから0ポイントの重み付けである。なお、顔があるか否かは顔検出部2aによって判定し、半身像か否かは、画像処理部5によって判定する。また、顔の大きさのみならず、顔の表情によって優先度を変更するようにしてもよい。なお、不自然に大きい顔や横向きの顔等は優先度を低くするが、ここでは、説明を単純化するために省略している。
図5の重み付けの条件の3番目の「動きがある」か否かは、画像処理部5によって動きベクトルを判定することによって行う。動きのある被写体は、鑑賞者の注意を引くことから、5ポイントを付与するようにしている。重み付けの条件の4番目は、「色の変化がある」か否かであり、これは画像処理部5によって、その領域に多数の色が含まれているか否かによって判定する。多数の色が含まれている場合には、鑑賞者の注意を引くからである。
重み付けの条件の5番目と6番目は、領域面積の大きさに関し、これは画像処理部5によって判定する。面積が大きい場合には重要な被写体と考えられるからである。また、重み付けの条件の8番目は、「画面中央」にあるか否かであり、これは画像処理部5によって判定する。画面中央にある場合には、撮影者が意図的に配置した場合が多く、重要な被写体と考えられるからである。
このように、各領域23a〜23cについて、条件を判定し、判定結果に基づいて重み付けを行い、付与されたポイントの合計を求め、合計値が一番大きい領域を主被写体の存在する領域Zaとする。図4に示した例では、人物21aが含まれる領域23aが領域Zaとなる。なお、領域Zaの選択にあたって、図5に示した条件は例示であり、図5に示す条件の一部でも良く、また、他の条件を追加しても構わない。
主被写体の存在する領域Zaが決まると、次に、副被写体の存在する領域Zbを決める。副被写体の選択にあたっては、画像の中に顔が含まれているか否かよって、図5に示すように、いずれかの数値を使用する。したがって、画像の中に顔が含まれているか否かを、まず先に判定し、使用するテーブルを決める。続いて、主被写体が含まれていた領域以外の領域について、主被写体の場合と同様、各条件に当てはまるか否かを判定し、当てはまった場合には、図5に記載のポイントを付与し、合計値が一番、大きかった領域を、副被写体の存在する領域Zbと判定する。
なお、副被写体の存在する領域Zbの判定の際に利用する条件として、主被写体の場合の条件に以下の条件が追加されている。すなわち、重み付けの条件の7番目として、「Za部より明るい」か否かを判定する。主被写体の領域Zaより明るい場合には、鑑賞者の注意を引き、重要度が高いと考えられるからである。また、重み付けの条件の9番目として、「コントラストが顔部以上」か否かを判定する。画像中の顔の部分のコントラストよりも高い場合には、重要度が高い可能性があるからである。
さらに、重み付けの条件の10番目として、「ピント合わせ距離からピントが離れている」か否かを判定する。これは、主被写体からピント位置が所定値以上離れている場合であり、このような場合には、ピントシフトの効果が顕著に表れるからである。副被写体の選択にあたっては重要なことから、本実施形態においては、7ポイントと高めに設定してある。なお、領域Zbの選択にあたって、図5に示した条件は例示であり、図5に示す条件の一部でも良く、また、他の条件を追加しても構わない。
次に、本実施形態におけるカメラ10の動作について、図6に示すアート動画モードのフローチャートを用いて説明する。カメラ10は、種々のモードで動作可能であるが、簡単にするため、このフローチャートでは、アート動画モードについて記載し、他のモードについては省略してある。なお、このアート動画モードの設定にあたっては、専用のアート動作モード設定用の操作釦を設けても良く、またメニュー画面で設定するようにしても良い。また、デフォルト値としてアート動作モードが設定されるようにしても良く、アート動作モード専用カメラであっても良い。
図6に示すフローチャートはカメラ10内に記憶されているプログラムに従って、制御部1によって実行される。アート動作モードのフローに入ると、まず、半押しか否かの判定を行う(S1)。ここでは、操作部9のレリーズ釦が半押し状態か否かを判定する。半押し状態でなければ、表示部8にライブビュー表示を行いながら、半押し状態になるのを待つ。
ステップS1における判定の結果、半押し状態になると、ピント位置シフトを行う(S2)。ここでは、例えば、図4のZ1〜Z3の間で撮影レンズを走査する。このカメラ10は、パワースイッチがオンとなると、ライブビュー表示を開始しており、その間、ピント合わせを行っており、リアルタイムで被写体像のコントラストをモニタして、それが変化した場合等には、再度ピント合わせを行っている。ステップS2におけるピント位置シフトの際に、ライブビュー表示の際に行われたピント合わせ情報を用いてZ1〜Z3の範囲を決定する。
続いて、撮像を行う(S3)。ステップS2において撮影レンズの走査を開始しており、走査しながら、撮像部2からの画像データを用いて、コントラスト変化抽出部1bではコントラストを求め、各ポイントにおける被写体距離情報を求めていく。次に、複数ピントの測定が終了したか否かの判定を行う(S4)。ここでは、図4を用いて説明したように、画面の全ポイントについて、コントラストを求め、被写体距離情報の収集が終了したかを判定する。この判定の結果、終了していなかった場合には、ステップS2に戻る。
ステップS4における判定の結果、複数ピントの測定が終了すると、次に、領域分けを行う(S5)。ここでは、図4(c)において説明したように、被写体距離情報等に基づいて、被写体に応じて全画面の領域を分割する。
領域分けを行うと、次に、領域重み付けZaを行う(S6)。ここでは、図5において説明したように、主被写体を選択するために、ステップS5で分けた領域ごとに、領域重み付けの判定を行い、合計値が一番大きい領域を選択し、Za領域とする。領域重み付けZaを行うと、次に、領域重み付けZbを行う(S7)。ここでは、図5において説明したように、副被写体を選択するために、ステップS5で分けた領域ごとに、領域重み付けの判定を行い、合計値が一番大きい領域を選択し、Zb領域とする。
領域重み付けZbを行うと、次に、Za領域とZb領域の露出差dEの判定を行う(S8)。ここでは、ステップS6において求めたZa領域と、ステップS7において求めたZb領域について、各領域の画像データを用いて領域の輝度を求め、この輝度を用いて適正露出量の差dEを演算する。
露出差dEを求めると、次に、全押しか否かの判定を行う(S9)。ここでは、操作部9のレリーズ釦が全押し状態か否かを判定する。全押し状態になるのを待ち、全押し状態になると、次に、Zb領域にピントと露出を合わせ、撮影を行う(S11)。Zb領域は、副被写体の領域であり、まず、この領域にピントと露出を合わせる。このステップS11における状態は、図2(a)に例示した画像25aの状態であり、この場合には背景の木21bにピントと露出が合った状態となる。
続いて、Za領域とZb領域のピント差dZの判定を行う(S12)。ここでは、主被写体の被写体距離情報と、副被写体の被写体距離情報の差にあたる、ピント差dZを求める。このピント差dZは、ステップS16において使用する。
ピント差dZの判定を行うと、次に、Zb領域に動きがあるか否かの判定を行う(S13)。ここでは、副被写体の存在する領域に動くものがあるかを、画像データの動きベクトルに基づいて判定する。この判定の結果、動きがなかった場合には、1秒経過するのを待つ(S14)。一方、判定の結果、動きがあった場合には、3秒経過するのを待つ。動きがある場合には、鑑賞者は動いている被写体が何であるかの確認を望む場合が多く、そのために、待機時間を長くしている。なお、1秒と3秒は、例示であり、撮影者や鑑賞者の好みを考慮して、適宜、変えても良い。
ステップS14またはS15において、所定時間、待機すると、次に、Za領域に向けてピントシフトを開始し、その場合ピント差dZに応じたスピードを決定する(S16)。前述したように、副被写体にピントを合わせた後に、主被写体に向けてピントを移動させていくが、その際の移動速度をピント差dZに応じた値としている。ここでは、ピント差dZに係わらず、一定の時間で副被写体から主被写体にピントが移動するようにする。この一定時間としては、例えば、3秒程度とするが、撮影者や鑑賞者の好みを考慮して、適宜、変更しても良い。
続いて、露出差dEを解消しつつ撮像および記録を行う(S17)。ステップS8において露出差dEを求めており、ピントシフトの際に、この露出差dEを考慮し、適正露出が保たれるように露出制御を行う。この露出制御としては、絞り値、シャッタ速度、ISO感度等を制御する。また、このとき撮像部2からの画像データを画像処理部5において動画用に画像処理しながら、動画で画像データを記録部6に記録する。
次に、Za領域に達したか否かの判定を行う(S18)。Za領域は主被写体の存在する領域であり、この領域に撮影レンズのピント位置が達したかを判定する。この判定の結果、Za領域に達していなかった場合には、ステップS17に戻り、露出差dEを解消しながら撮像および記録を行う。
一方、ステップS17における判定の結果、Za領域に達すると、次に、静止画の撮像を行い、記録する(S19)。Za領域は、主被写体の領域であり、この領域に達すると撮像部2からの画像データを画像処理部5によって静止画用に画像処理し、静止画の画像データを記録する。ステップS18における状態は、図2(b)に例示した画像25bに対応し、この場合には人物21aにピントが合った状態となる。また、露出差dEを解消するように、露出制御を変更していることから、静止画に対しても適正露出となる。なお、静止画の撮影にあたっては、Za領域に停止してから撮影するようにしても良い。静止画の画像データを記録すると、このアート動画モードを終了する。なお、図6に示すフローチャートにおいては、ステップS9における判定の結果、全押しであった場合には、Zb領域にピントをシフトさせてから撮影を開始している。しかし、Za領域にピントが合った状態からZb領域にピント合わせを行うために、焦点調節に要する時間分、タイムラグが生ずる。従って、シャッタチャンスを逃すおそれもあるので、全押し時の押し込みの衝撃等に基づいて、緊急性を判断する。緊急性がある場合には、先にZa領域で静止画撮影を行い、その後Zb領域に向けてピントシフトを行いながら、動画撮影をするようにしても良い。
以上説明したように、本発明の一実施形態においては、被写体に応じて画面を複数の領域に分割し、複数の領域からピント移動を行う領域を決定して、ピント制御部によってピント移動を行うようにしている。このため、撮影者が意図的に手動操作を行わなくても、変化に富んだ画像を取得することが可能である。また、ピント制御部によってピントの移動を行う際に動画の画像データを記録するようにしているので、簡単に動画の撮影を行うことができる。
また、本発明の一実施形態においては、ピント制御部によってピントの移動を行っている間動画の撮影を行い、目標とするピント位置に到達すると、静止画の撮影を行っている。このため、動画と静止画を融合した、変化に富んだ画像を簡単に取得することができる。なお、このような撮影によって得られた動画は、静止画を抜きにしても極めて効果に富み、動画部分のみをつなぎ合わせて編集する際にも、有効な素材となる。
さらに、本発明の一実施形態においては、被写体像の中から主要被写体と、主要被写体以外の第1および第2の画像部分がある場合には、主要被写体と第1の画像部分のピント差、および主要被写体と第2の画像部分のピント差を用いて、ピントの移動方向を決定するようにしている。具体的には、副被写体の決定にあたって、図5において(10)ピント合わせ距離からピントが離れていることを考慮している。このため、ピントシフトの効果が顕著に表れ、変化に富んだ画像となる。
なお、本発明の一実施形態においては、被写体の距離に関する情報を求めるにあたって、画像データの高周波成分を抽出して行うコントラスト法を用いていたが、これに限らず、他の測距方法を用いても良い。例えば、位相差AFを採用しても良く、この場合には、撮影レンズをスキャンすることが不要となる。
また、本発明の一実施形態においては、画面を分割するにあたって、被写体の距離に関する情報を用いて行っていたが、これに限らず、他の方法を用いても良い。例えば、画像解析を行い、輪郭線を抽出し、その輪郭線から画面を分割するようにしても良い。
さらに、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末(PDA:Personal Digital Assist)、ゲーム機器等に内蔵されるカメラでも構わない。
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。