以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。図1は、本発明の第1実施形態に係わるカメラ10の電気回路を示すブロック図である。カメラ10は、デジタルカメラであり、制御部1、撮像部2、顔検出部2a、パラメータ設定部3、モーション判定部4、記録部6、パラメータ制御部7、表示部8、操作部9等から構成される。
撮像部2は、ズーム機能を有する撮影レンズ(ズームレンズ)や、シャッタ・絞り等の露出制御部、撮像素子、撮像素子の駆動及び読出回路等を含み、撮影レンズによって形成された被写体像を撮像素子によって画像データに変換し、これを出力する。顔検出部2aは撮像部2から出力され、制御部1によって処理された画像データに基づいて、被写体像の中に人物の顔が含まれているか否か、また顔が含まれていた場合にはその位置や大きさ等を検出し、検出結果を制御部1に出力する。なお、顔の検出にあたっては、顔の中の目、鼻、口等のパーツの陰影を抽出し、パターンマッチング法等によって行う。
制御部1は、記憶されているプログラムに従ってカメラ10の全体のシーケンスを制御する。制御部1は、表情変化抽出部1a、画像処理部1b、構図変化判定部5を有する。表情変化抽出部1aは、撮像部2から出力される画像データ、顔検出部2aから出力される顔に関する検出結果、および後述する表情変化データベース(DB)6aに記憶されている顔の目、鼻、口等のパーツパターンと表情の変化に関するデータに基づいて、表情変化を抽出する。
構図変化判定部5は、画面の構図やカメラ10の構え方が変化したか否かを判定する。画面の構図変化の判定にあっては、撮像部2から出力される画像データに基づいて動きベクトル等を利用する。また、カメラ10の構え方については、後述するモーション判定部4の判定出力に基づいて判定する。
画像処理部1bは、動画処理部1baと静止画処理部1bbを有し、撮像部2から出力される画像データを取り込み、間引き処理、切り出し処理、エッジ強調、色補正、画像圧縮等の種々の画像処理を行い、動画のライブビュー表示用、記録部6における静止画および動画の記録用、静止画および動画の再生表示用等の画像処理を行う。画像圧縮・伸張等にあたっては、静止画用圧縮・伸張回路、動画用圧縮・伸張回路等、それぞれの処理に応じて静止画用や動画用の回路を有する。また、画像データの高周波成分を抽出し、被写体のコントラストを判定する。このコントラスト情報は、撮影レンズのピント合わせに使用されるほか、後述するオートパラメータ制御の際の判定にも使用される。
パラメータ設定部3は、撮影部2における焦点距離を変化させるためのズーム釦、絞り値を設定させるための絞り値設定操作部等によって、撮影パラメータを手動設定し、制御部1に出力する。なお、絞り値等の場合には、露出制御の結果に応じて自動的に設定されるようにしても良い。パラメータ制御部7は、パラメータ設定部3において手動設定または自動設定された撮影パラメータに基づいて撮像部2の制御を行う。撮影パラメータを制御することにより、画角や背景のボケ(被写界深度)等を調整可能となる。これらを変化させることにより、様々な効果を施し、撮影を楽しむことができる。また、パラメータ制御部7は、絞り値や焦点距離等の現在設定されている値を検出し、制御部1に出力する。
モーション判定部4は、3次元空間の加速度、すなわち3軸加速度と、3次元空間での回転速度、すなわち3軸角速度の計6軸の物理量を検出する6軸センサ等を有している。このモーション判定部4は、カメラ10の構え方が変わっていないか否かについて判定することができる。ズーミング等により画像が変化する場合であっても、撮影者のカメラ10を構える構え方が変わっていないことを、判定可能であり、誤動作なしで、同じ被写体に対して構え方を変えずに狙っているか否かが分かる。
操作部9は、静止画レリーズ釦、動画釦、パワースイッチ、再生モード設定釦、メニュー釦、オートモード設定釦等、種々の操作部材を含み、これらの操作部材の操作状態を判定し、制御部1に判定結果を送る。前述の制御部1は、操作部材の操作状態に応じて、所定のシーケンスで撮影や再生の制御を行う。
なお、静止画レリーズ釦は、押圧することにより静止画撮影を指示し、動画釦は最初の押圧で動画の撮影開始を、次の押圧で動画の撮影終了を指示する。また、オートモード設定釦は、後述するように、撮影パラメータを被写体の表情に応じて自動的に切り替えるオートモードに設定するための操作部材である。表示部8の前面にタッチパネルが設けてある場合には、タッチパネルによってオートモードを設定するようにしても良い。
記録部6は、レリーズ釦によって撮影の指示がなされた際に、撮像部2によって取得され、画像処理部3によって圧縮処理された静止画や動画の画像データを記録する。記録部6内の表情変化DB6aは、目、鼻、口等の顔の部分(パーツ)の形状や位置等と、顔の表情の関係を示すデータベースである。この関係に基づいて、表情変化抽出部1aは、笑顔度等、人物の顔の表情を数値で表すことができる。笑顔度は、目や口の形や、歯が見えたかどうか等に基づいて数値化する。
表示部8は、カメラ10の背面等に配置された液晶パネルや有機ELパネル等の表示部を有し、撮影前のライブビュー表示や、記録済みの画像の通常再生表示や、カメラ情報の表示等を行う。撮影者はライブビュー表示を観察し、構図やタイミングを決定することができる。
次に、本実施形態におけるライブビュー表示中および動画撮影中における撮影パラメータの自動変更(オートモード)について、図2および図3を用いて説明する。本実施形態においては、被写体の人物21の表情、特に笑顔度に基づいて、絞りや焦点距離を変更している。
図2は、笑顔度等の顔の表情に応じて、撮影パラメータとして絞り値を切り替え、被写界深度を変更する例を示す。なお、笑顔度等の顔の表情は、表情変化抽出部1aにおいて検出し、口や目の開き具合や、歯の見え具合等を数値化して判断する。ライブビュー表示中や動画撮影中には、表示部8に撮影画像が表示されており、撮影画像の下側にはパラメータ変更表示部8aに、そのときの笑顔度と絞り値が表示される。
図2(a)は、中央にいる被写体である人物21が、笑顔度100%の笑顔の時であり、この場合には、人物が主役といえることから、背景は脇役として、絞り値をF1.8と開くことにより、ぼかしている。図2(b)では、笑顔度が50%と、図2(a)の時よりは笑顔でなくなっている。この場合には、笑顔度が高くないことから、被写体の人物21としては自分だけが目立つ写真は本意ではない。そこで、絞り値をF4.0とし、やや被写界深度を深くしている。図2(c)では、被写体の人物21は目を瞑り、笑顔度が20%に低下しており、被写体としては背景の方を注目してもらいたいシーンといえる。そこで、絞り値をF8とし、被写界深度を深くし、背景がはっきりと分かるようにしている。
このように、図2に示す例では、顔の表情を検出し、被写体である人物21が主役でなくなる状況になるにつれ、絞りを絞る方向にカメラ10を制御し、被写界深度を深くし、背景にも鑑賞者の注意が向くようにしている。このようなオートパラメータ制御を行うことにより、背景に何が写っているかも楽しむことができ、また被写体である人物21を主役にした描写も楽しむ撮影が可能となる。また、この場合、撮影者はいちいち絞りを操作する必要がないにも関わらず、変化に富んだ作画となる。
図3は、笑顔度に応じて、撮影パラメータとして焦点距離を切り替え、画角を変更する例を示す。図3(a)は、中央にいる被写体である人物21が笑顔の時であり、この場合には、人物が主役といえることから、顔の部分がアップでも良く、また背景は脇役なので、広い領域が写っていなくても良い。アップにするにはズームレンズを長焦点側に移動させるので、背景をぼかす効果もある。図3(a)の例では、笑顔度100%であり、焦点距離を80mm(35mmフィルム換算値)とし、人物21の顔をアップにし、被写界深度を浅くすることにより背景をぼやかしている。
図3(b)では、笑顔度が50%と、図3(a)の時よりは笑顔でなくなっている。この場合には、笑顔度が高くないことから、被写体の人物21としては自分だけが目立つ写真は本意ではない。そこで、焦点距離を60mmとし、人物21をややワイドでとらえ、またやや被写界深度を深くしている。図3(c)では、被写体の人物21は目を瞑り、笑顔度が20%に低下しており、被写体としては背景の方を注目してもらいたいシーンといえる。そこで、焦点距離を40mmとし、人物21をワイドでとらえ、また被写界深度を深くし、背景がはっきりと分かるようにしている。
このように、図3に示す例では、顔の表情を検出し、被写体である人物21が主役でなくなる状況になるにつれ、焦点距離をワイド側となるようにカメラ10を制御し、人物21をワイドで写し(相対的に人物21を小さくする)、またワイド側になることにより被写界深度が深くなり背景にも鑑賞者の注意が向くようにしている。このようなオートパラメータ制御を行うことにより、図3の例においても、背景に何が写っているかも楽しむことができ、また被写体である人物21を主役にした描写も楽しむ撮影が可能となる。また、この場合、撮影者はいちいちズーミング操作部材を操作する必要がないにも関わらず、変化に富んだ作画となる。なお、ズーミングにより画角が変化すると、構図変化部5によって構図が変化したことを検知するが、モーション判定部4によってカメラ10の構え方が変化しておらず、同一の人物21の方向を撮影している場合には、構図は安定しているとして、オートパラメータ制御を行えばよい。
次に、本実施形態におけるカメラ10の動作を図4に示すカメラ制御のフローチャートを用いて説明する。カメラ10がパワーオンとなり起動すると、図4に示すフローがスタートする。スタートすると、まず、撮影モードか否かの判定を行う(S1)。このカメラ10には、撮影モードと再生モードが備えられており、操作部9の操作状態に基づいて撮影者のモード選択状態を判定する。
ステップS1における判定の結果、撮影モードであった場合には、次に、モード設定の初期設定のタイミングであればオートフラグに0をセットする(S2)。このオートフラグが0の場合は、オートモードであり、オートモードに設定されると、ライブビュー表示中や動画撮影中には絞りや焦点距離等の撮影パラメータを人物21の表情に応じて切り替え制御を行う。
オートフラグに0をセットすると、次に、撮像および表示を行う(S3)。このステップでは、撮像部2によって取得した画像データについて画像処理部1bにおいて画像処理し、動画や静止画の撮影前であれば表示部8にライブビュー表示を行い、動画撮影中であれば、表示部8に図2、図3に示したような撮影中の動画像を表示する。続いて、顔検出および表情検出を行う(S4)。このステップでは、顔検出部2aにおいて画像データの中に人物21が含まれているか、また含まれている場合には、表情変化抽出部1aにおいて人物21の表情を検出する。
顔検出および表情検出を行うと、次に、パラメータ操作がなされたか否かの判定を行う(S5)。ここでは、パラメータ設定部3において、絞り値やズーミング等の手動設定がなされたか否かの判定を行う。この判定の結果、パラメータ操作がなされていなかった場合には、次に、オート設定がなされたか否かの判定を行う(S11)。このステップでは、操作部9内のオートモード設定釦が操作されたか否か、または所定時間の間、画面の構図に変化がないか否かを判定する。ここで所定時間としては、動画を鑑賞する際に、構図に変化がなく単調だと鑑賞者が感じる程度の時間とし、例えば、1秒〜3秒程度とする。なお、本実施形態においては、オート設定されたか否かの判定にあたって、オートモード設定釦の操作状態と画面の構図変化に基づいて判定したが、これに限らず、いずれか一方のみでも良い。
ステップS11における判定の結果、オート設定がなされた場合には、オートフラグに0をセットする(S12)。前述したように、初期時にはステップS2においてオートフラグに0がセットされているが、ステップS5においてパラメータ操作がなされたと判定された場合には、後述するステップS7においてオートフラグに1がセットされている。オートフラグとして1がセットされていた場合には、ステップS12においてオートフラグに0をセットする。
ステップS11における判定の結果、オート設定がなされていなかった場合には、またはステップS12においてオートフラグに0をセットすると、次に、オートフラグが0か否かの判定を行う(S13)。この判定の結果、オートフラグが0であった場合には、パラメータオート制御を行う(S14)。このパラメータオート制御では、図2および図3において説明したように、被写体の人物21の表情に応じて絞りや焦点距離等の撮影パラメータの切り替え制御を行う。このパラメータオート制御の詳細な動作は、図5および図6を用いて後述する。なお、一般に、ライブビュー表示の際には、絞りは開放絞りのままなど、一定の絞り値であることが多いが、本実施形態においては、ライブビュー表示の際であっても、絞り値を変更させ、被写界深度の変化を確認できるようにする。
ステップS5における判定の結果、パラメータ操作がなされた場合には、その操作に従ってパラメータ変更を行う(S6)。ステップS5において、絞り値やズーミング等の手動設定がなされた場合であるので、このステップS6では手動設定に応じて絞り値や焦点距離等の変更を行う。続いて、オートフラグに1をセットする(S7)。オートフラグに1をセットすることにより、撮影者によって手動設定された撮影パラメータに基づいてカメラ制御がなされる。
オートフラグを1にセットすると、次に、静止画撮影か否かの判定を行う(S15)。ここでは、静止画レリーズ釦が押圧操作されたか否かの判定を行う。この判定の結果、静止画撮影であった場合には、静止画撮影を行う(S16)。このステップでは、撮像部2から出力される画像データを画像処理し、静止画の画像データを記録部6に記録する。静止画撮影を行うと、ステップS1に戻る。
ステップS15における判定の結果、静止画撮影でなかった場合には、次に動画撮影か否かの判定を行う(S17)。ここでは、動画非撮影状態で動画釦が操作されたか否かの判定を行う。なお、動画釦が操作されると、次に動画釦が操作されるまでは図示しないフラグがセットされ、ステップS17においてYesと判定される。
ステップS17における判定の結果、動画撮影であった場合には、動画記録を行う(S18)。ここでは、撮像部2から出力される画像データを画像処理し、動画の画像データを記録部6に記録する。なお、動画撮影中はステップS18→S1→S2→・・・→S5→S11→・・・→S15→S17→S18の順次に処理を繰り返している。このため、オートフラグが0にセットされている場合には、ステップS14においてパラメータオート制御がなされ、被写体の人物21の表情に応じて撮影パラメータが変更され、このときの動画像が記録部6に記録される。ステップS17における判定の結果、動画撮影でなかった場合には、ステップS1に戻る。
ステップS1における判定の結果、撮影モードでなかった場合には、撮影中で終了か否かの判定を行う(S21)。撮影モードでなかった場合にはステップS21に進むが、動画撮影中に再度動画釦が押圧操作された場合にもステップS21に進む。次に、撮影中で終了か否かの判定を行う(S21)。動画撮影中に再度動画釦が操作された場合には、撮影中で終了と判定される。この判定の結果、終了であった場合には、撮影を終了する(S22)。ここでは、動画の撮影終了処理を行う。
ステップS22における終了処理を行うと、またはステップS21における判定の結果、撮影中で終了出なかった場合には、次に、再生か否かの判定を行う(S23)。ここでは、操作部9の再生モード設定釦が操作されたか否かの判定を行う。この判定の結果、再生でなかった場合には、ステップS1に戻る。
一方、ステップS23における判定の結果、再生であった場合には、再生モードを実行する(S24)。再生モードでは、表示部8に記録部6に記録されている撮影画像の一覧表を表示し、撮影者が選択したサムネイルの拡大表示を行う。再生モードを実行すると、ステップS1に戻る。
このように本実施形態におけるカメラ制御のフローにおいては、オートモードが設定されていると、被写体の表情に応じて絞りや焦点距離等の撮影パラメータを自動的に切り替えている。このため、ライブビュー表示や動画記録の際には、表情に応じて画像が変化し、特に動画記録の際には変化に富んだ画像を撮影することができる。
なお、パラメータオート制御は、動画の記録中に限らず、ライブビュー表示中にも実行される。すなわち、動画撮影に入る前には、ステップS1→・・・→S5→S11→・・・S13→S14→S15NO→S17NO→S1の順に実行され、ステップS14においてパラメータオート制御が行われ、人物21の表情に応じて撮影パラメータが変更される。
次に、ステップS14のパラメータオート制御の詳細について、図5および図6を用いて説明する。パラメータオート制御のフローに入ると、まず、顔が検出された否かを判定する(S31)。ステップS4において顔検出を行っているので、この検出結果に基づいて、画像データの中に顔の部分が含まれているか否かを判定する。
ステップS31における判定の結果、顔が検出された場合には、次に、所定時間同じ位置、同じカメラの向きか否かを判定する(S32)。ここでは、モーション判定部4および構図変化判定部5の判定結果に基づいて、カメラ10が同じ方向に向けて同じ被写体を撮影しているか否かの判定を行う。なお、ここで所定時間としては、動画を鑑賞する際に、構図に変化がなく単調だと鑑賞者が感じる程度の時間とし、例えば、1秒〜3秒程度とする。
ステップS32における判定の結果、所定時間同じ位置で同じカメラの向きであった場合には、次に、背景の動きが小さいか否かの判定を行う(S33)。ここでは、構図変化判定部5によって、画像データを画像解析し、背景の動きに基づいて判定する。背景が動いている場合には、単調な画像とは言えず、撮影パラメータを変更することは不適切だからである。
ステップS33における判定の結果、背景の動きが小さかった場合には、次に、背景のコントラストが大か否かの判定を行う(S34)。ここでは、画像処理部1bによって、背景部分に対応する画像データの高周波成分を抽出し、これに基づいてコントラストが大きいか否の判定を行う。人物21の顔部におけるコントラストより、背景のコントラストが大きい場合には、背景が乱雑な印象を与えるので、絞りを変更する効果が大きい。
ステップS34における判定の結果、背景コントラストが大きかった場合には、次に絞り変更に余裕があるか否かの判定を行う(S35)。被写体が暗い場合には、絞りを絞ると画像が暗くなってしまい、また、被写体が明るい場合には露出オーバとなることから、このステップでは、絞りを変更しても露出等が許容されるか否かを判定する。なお、この判定にあたっては、パラメータ制御部7より絞り値情報を取得して行う。
ステップS35における判定の結果、絞り変更に余裕がある場合には、次に、表情によって絞り変更を行う(S36)。このステップでは、図2を用いて説明したように、人物21の表情に応じて、パラメータ制御部7によって絞り値の変更を行う。絞り変更を行うと、または、ステップS32およびS33における判定の結果がNoであった場合には、元のフローに戻る。
ステップS34における判定の結果、背景コントラスト小さかった場合、またはステップS35における判定の結果、絞り変更に余裕がなかった場合には、絞りを切り替えることができないために、ズーミングによって撮影パラメータの変更をステップS41以下において行う。まず、背景パターン位置が変化したか否かの判定を行う(S41)。背景が無地であったり、ローコントラストであったりせず、画面中央の被写体から周辺にいくに従ってパターンが変化しているような構図では、ズーミングによって背景を変化させることが効果的である。証明写真のような無地の背景では、ズーミングによる画面変化は単調で面白みがない。従って、このステップでは、背景のパターンを判定し、画面内の位置によってパターン変化があるか否かを判定している。この変化が有る場合のみ、ズーミングを行うようにしている。
ステップS41における判定の結果、位置変化が有る場合には、次に、ズーム変化が可能か否かを判定する(S42)。ここでは、ズームレンズの短焦点端または長焦点端に達しているか否かの判定を行う。この判定の結果、ズーム変化が可能であれば、表情によってズーム変更を行う(S43)。このステップでは、図3を用いて説明したように、人物21の表情に応じて、パラメータ制御部7によって焦点距離の変更を行う。この表情によるズーム変更を行うと、またはステップS41またはS42における判定の結果がNoであった場合には、元のフローに戻る。
ステップS31における判定の結果、顔の検出ができなかった場合には、顔の検出ができないことから人物が対象ではない。この場合は、例えば、アクセサリ、小物、料理等を撮影する場合が考えられ、ステップS51以下(図6参照)において、人物を撮影する場合と同様、画角や絞りを切り替えることにより、変化に富んだ画像を撮影できるようにする。
顔検出ができなかった場合には、次に、所定時間同じ位置にあるかを判定する(S51)。ここでは、構図変化抽出部5によって、画像データを解析し、被写体の位置が変化していいかを判定する。ここで所定時間としては、動画を鑑賞する際に、構図に変化がなく単調だと鑑賞者が感じる程度の時間とし、例えば、1秒〜3秒程度とする。この判定の結果、所定時間、同じ位置にいた場合には、次に、ステップS33と同様に、背景の動きが小さいか否か判定する(S52)。パラメータオート制御を行うにあたって、背景が動いている場合は不適だからである。背景の動きは構図変化判定部5において判定する。
ステップS52における判定の結果、背景の動きが小さかった場合には、次に、ステップS34と同様に、背景コントラストが大きいか否かの判定を行う(S53)。この判定の結果、背景コントラストが大きかった場合には、次に、ステップS34と同様に、絞り変更に余裕があるか否かの判定を行う(S54)。この判定の結果、絞り変更に余裕があった場合には、次に、その余裕が開放側であるか否かの判定を行う(S55)。
ステップS55における判定の結果、開放側に余裕があった場合には、次に、開放側に制御を行う(S56)。ここでは、パラメータ制御部7によって撮像部2内の絞りを開放側に徐々に開いていく。一方、ステップS55における判定の結果、開放側に余裕がなかった場合には、絞り込み側に制御を行う(S57)。ここでは、パラメータ制御部7によって絞りを最小絞り側に徐々に絞り込んでいく。
ステップS53における判定の結果、背景コントラストが大でなかった場合には、背景のコントラストが小さいことから、絞り値の変更を行っても変化は少なく、変化に富んだ画像とはならない。そこで、ステップS61以下において、画角の変化を行う。まず、ステップS41と同様に、背景パターン位置変化か否かを判定する(S61)。
ステップS61における判定の結果、背景パターン位置変化がある場合には、次に、ワイド側にズーム変化が可能であるか否かの判定を行う(S62)。この判定の結果、ワイド側にズーム変化の余地があれば、次に、ワイド側にズーミングを行う(S63)。ここでは、パラメータ制御部7によってズームレンズの焦点距離をワイド側に徐々に移動させる。一方、ステップS62における判定の結果、ワイド側にズーム変化の余地がなければ、次に、テレ側にズーミングを行う(S64)。ここでは、パラメータ制御部7によってズームレンズの焦点距離をテレ側に徐々に移動させる。
ステップS64においてテレ側にズーミング、またはステップS63において、ワイド側にズーミング、またはステップS57において絞り込み側に制御、またはステップS56において開放側に制御を行うと、またはステップS51またはS52における判定結果がNoであった場合には、操作や動きがあれば、パラメータ変化を終了し(S65)、元のフローに戻る。表情に応じて撮影パラメータを変化させた場合には、表情が時々刻々と変化し、これに合わせて撮影パラメータを変更することができる。しかし、顔以外の場合には、パラメータ変化が際限なく行われてしまうことから、被写体の構図を変えたり、被写体に動きがあったり、撮影者が操作を行った場合には、パラメータ変化を終了している。
このように、本発明の第1実施形態においては、背景ぼかしやズームアップ等の変化を施すことにより、単調な動画となることを防止し、画像の変化をドラマチックにしている。動画において、背景を段々ぼかしたり、被写体をクローズアップしていく効果を付与すると、楽しい画像となるが、ユーザは撮影に夢中となっている場合には、このような操作を咄嗟に行うことができない。無理に行うとすると、手振れが生じてしまう。そこで、本実施形態においては、この種の遷移効果をカメラ10が自動的に行っている。しかし、常時自動で行うとすると、意図しない画像となってしまうことから、所定の条件が満たされた場合に行うようにしている。
遷移効果を生じさせるための所定の条件としては、絞りを開く効果が有る場合、例えば、絞り位置に余裕がり、被写体距離が近い場合がある。この場合、背景の像を加味するようにしても良い。また、ズームをワイド側に変化させる余裕が有る場合でも良い。テレ側に変化させるようにしても良いが、この場合は撮影後にトリミングで対応しても良い。さらに、被写体の表情変化が有る場合がある。この場合には、実施形態で説明したように、表情変化に合わせて背景の効果も変えても良い。
次に、本発明の第1実施形態の変形例について図7を用いて説明する。第1実施形態においては、構図や被写体に変化がないと、動画像が単調となり面白みに欠けることから、撮影パラメータを切り替え、遷移効果を楽しむようにしていた。このようなオートパラメータモードでの撮影パラメータ変更が急に始まると、撮影者の意図に反する場合がある。そこで、本変形例においては、突然始めるのではなく、表示部8中のアドバイス表示部8bにおいて、アドバイス表示を行うようにしている。
図7はアドバイス表示の例を示しており、図7(a)の状態は人物21の笑顔度が高いことから、オートパラメータ制御においては、人物が引き立つように背景をぼかす制御を行う。本変形例では背景をぼかす制御を開始する前に、図7(a)に示すように、アドバイス表示部8bに「背景をぼかせます」と表示すると共に、撮影者がぼかすことを許可する「Yes」、不許可の「No」を表示する。表示部8の前面にタッチパネルを設けておき、撮影者はいずれかをタッチすることにより、選択できる。
「ぼかせる」判断としては、単に絞りを変えられるできではなく、図7(a)のように種々のものが背景に写っていて、ぼかすことによって人物がクローズアップされるという効果が生じるシーンであるかを判定する。背景が無地、または単調な風景の場合には、このような効果は生じないし、また人物が所定の距離内にいて、バストショットやアップのような構図であって、背景のみがぼけるような状況でない場合には、背景をぼかすようなアドバイス表示を行わない。
撮影者が背景をぼかすことを許可した場合には、ぼかすためにパラメメータ制御部7が絞りを開放側に移動させ、このとき、アドバイス表示部8bには「ぼかしています」と撮影パラメータの制御状態を表示する。また、撮影パラメータの限界値に達すると、それ以上進めることができないことから、図7(c)に示すように、アドバイス表示部8bに「戻しますか?」を表示する。このとき、撮影パラメータ(図の場合は、絞り値)を戻すことを許可する「Yes」、不許可の「No」を表示する。
このような、第1実施形態の変形例の構成は、図1と同様であり、図4ないし図6に示したフローチャートを適宜、表示と判定を追加すれば良いだけであるので、詳しい説明は省略する。
次に、本発明の第2実施形態について、図8ないし図10を用いて説明する。第1実施形態においては、撮影パラメータを状況に応じて、絞りまたは焦点距離のいずれか一方を制御するようにしていた。それに対して第2実施形態においては、絞りおよび焦点距離の両方を変更させることにより、より一層、変化に富んだ画像にすることができる。また、第1実施形態においては、動画撮影の開始と終了は、撮影者が動画釦を操作することによって指示し、この間の画像データの全てが記録されていた。これに対して、第2実施形態においては、画像データの中で表情変化があり最高表情が含まれる部分の動画を自動的に記録するようにしている。第2実施形態における構成は、第1実施形態における図1に示したブロック図と同様であるので、詳しい説明は省略する。
図8は、本実施形態における画像の様子を示す。本実施形態においても、第1実施形態と同様に、オートパラメータ制御を行っていることから、同じ被写体を狙ってカメラ10を構えているだけで、図8(a)〜(e)に示すように、背景をぼかしたり、人物をアップしたりと、変化に富んだ動画像が得られる。本実施形態においては、図7(e)における画像の人物21が最高表情を示していることから、図8(b)において撮影パラメータを変更し始めてから最高表情を示している間の動画像のみを記録するようにしている。
このような動画像が撮影できる人物動画撮影のフローについて、図9及び図10を用いて説明する。このフローでは、図4に示したカメラ制御におけるステップS1の撮影モードの判定等、一般的な処理は省略してある。人物の動画の撮影を開始すると、図9に示すフローに入り、まず、表情変化をモニタし、変化を記録する(S70)。ここでは、表情変化判定部5によって人物の表情(笑顔度等)の判定を行い、その判定結果を記録部6に一時記憶する。
続いて、カメラの構え方に変化がないか否かを判定する(S71)。ここでは、モーション判定部4内の6軸センサ等の出力に基づいて、構図判定部5はカメラ10の構え方に変化がないか否かを判定する。なお、モーション判定としては、モーション判定部4に限らず、画像処理部1bによって画像の変化に基づいて判定するようにしても良い。この判定の結果、構え方に変化がなかった場合には、次に、ズーム途中か否かの判定を行う(S72)。後述するステップS95(図10参照)においてズーミングを行う場合があり、このステップS72においては、ズーミング動作中か否かを判定する。なお、ズーム途中か否かを判定しているのは、ステップS73における構図変化の判定で誤動作を避けるためである。
ステップS72における判定の結果、ズーム途中でなかった場合、つまりズーム動作を行っていなかった場合には、次に、構図変化がないか否かの判定を行う(S73)。構図変化が有るか否かは、構図変化抽出部1aにおいて、画像データに基づいて判定する。
ステップS72における判定の結果、ズーム途中であった場合には、次に、ズームによる画像変化のみか否かの判定を行う(S74)。ここでは、構図変化がズーム変化による画像変化のみであるか否かの判定を行う。具体的には、構図変化判定部5が、パラメータ制御部7からズームレンズの焦点距離情報を取得し、画像データに対して焦点距離情報に基づく画像補正を行い、補正された画像に変化があるか否かを判定する。
ステップS74における判定の結果、ズームによる画像変化のみであった場合、またはステップS73における判定の結果、構図変化がなかった場合には、次に、表情変化抽出部5によって、表情変化があったか否かの判定を行う(S75)。この判定の結果、表情変化があった場合には、遷移効果撮影を行う(S78)。ここでは、図8において説明したように、人物21の表情に基づいて、絞りや画角の制御を行う。この遷移効果撮影の詳しい動作については、図10を用いて後述する。
遷移効果撮影を行うと、次に、撮影終了か否かの判定を行う(S79)。操作部9の動画釦を再度操作することにより撮影は終了するので、このステップでは、動画釦の操作状態を判定する。
ステップS79における判定の結果、撮影終了でなかった場合には、または、ステップS75における判定の結果、表情変化がなかった場合には、またはステップS73における判定の結果、構図変化がなかった場合には、またはステップS74における判定の結果、ズームによる画像変化のみでなかった場合には、次に、通常動画撮影を行う(S76)。ここでは、撮像部2から出力される画像データを、画像処理した後、記録部6に記録する。なお、ステップS76における通常動画撮影の後ろのタイミングで、静止画用レリーズ釦を押圧操作すれば、静止画として記録できるようにしても勿論かまわない。この場合には、撮影パラメータ変更の効果が反映された画像が表示部8に表示されており、撮影者が気に入った画像があれば、そのタイミングで静止画の撮影を行うことができる。
続いて、動画の撮影を終了するか否かの判定を行う(S77)。ここでは、ステップS79と同様に、操作部8の動画釦の操作状態に基づいて判定する。この判定の結果、終了でなければ、ステップS70に戻る。従って、人物動画撮影のフローに入ると、ステップS76において、継続的に通常動画の撮影を行っているが、人物の表情変化がありながら、単調な画像となってしまう場合、すなわち、カメラの構え方に変化がなく、構図変化がなく、かつ人物の表情に変化が有る場合には、ステップS78において遷移効果撮影を行うようにしている。
ステップS77またはS79における判定の結果、撮影終了の場合には、次に、遷移画像の最高表情が含まれているか否かを判定する(S81)。ステップS70において笑顔度等の表情変化を記録しており、また、ステップS78における遷移効果撮影を行っていることから、このステップS81においては、遷移効果撮影された画像の中に、最高表情の画像が含まれているか否かの判定を行う。
ステップS81における判定の結果、遷移画像に最高表情が含まれていた場合には、次に、遷移開始から終了までの間以外の画像を削除する(S82)。つまり、通常動画撮影を行っているが、表情変化した際の遷移効果撮影の画像の中に最高表情があれば、その遷移効果撮影を行った区間の動画像のみを残し、他の区間の動画像を削除している。
次に、ステップS78における遷移効果撮影について、図10に示すフローチャートを用いて説明する。遷移効果撮影のフローに入ると、まず、開始時点を記録する(S91)。ここでは、図示しないカメラ10内の時計部から出力される日時情報を記録する。続いて、カメラ固定指示表示を行う(S92)。ここでは、カメラ10の向きを変えたりしないように、表示部8にカメラ10を固定しておくような表示を行う。
カメラ固定指示表示を行うと、次に、絞り開放可能か否かの判定を行う(S93)。ここでは、パラメータ制御部7から、現在の絞り値情報を取得し、開放絞り値と比較し、まだ開放方向に動かすことができるか否かを判定する。この判定の結果、絞り開放可能であれば、絞り開放撮影を行う(S94)。ここでは、パラメータ制御部7に対して、絞り開放駆動を指示する。
ステップS93における判定の結果、絞り開放が可能でなかった場合には、次に、望遠方向撮影を行う(S95)。ここでは、パラメータ制御部7に対して、ズームレンズの望遠側駆動を指示する。このように、絞り開放駆動が可能であれば、絞り開放を行い、絞り開放駆動が可能でない場合には、望遠側駆動を行う。
ステップS94における絞り開放方向撮影を行うと、またはステップS95における望遠方向撮影を行うと、次に、遷移終了か否かの判定を行う(S96)。ここでは、絞り開放撮影で開放絞り値に達したか、または望遠方向撮影で望遠端に達したかを判定する。この判定の結果、遷移終了でなかった場合には、ステップS92に戻る。
一方、ステップS86における判定の結果、遷移終了であった場合には、終了時点の記録を行う(S97)。ステップS91において開始時点が記録され、ステップS97において終了時点が記録されるので、遷移撮影を行っていた区間を記録される。終了時点の記録を行うと、次に、撮影パラメータを戻して撮影を続行し(S96)、元のフローに戻る。ステップS94、S95において、開放絞り値または望遠端まで駆動されていることから、このステップ96において、駆動開始前の撮影パラメータに復帰させて、撮影を続行する。
このように、本実施形態においては、カメラ10が同じ人物を狙って動画撮影している場合に、単調な画像となることを防止するために、人物の表情が変化した場合には、撮影パラメータを変えて遷移効果撮影を行っている。また、遷移効果撮影の画像のなかに最高表情があれば、その区間の画像を残し、他の画像を削除している。
なお、通常動画撮影を行っている最中に、複数回遷移効果撮影を行っている場合には、その中で、表情が最も良かった区間の画像を残すようにしているが、これに限らず、全ての遷移効果撮影の画像を残してもよく、また上位の複数の遷移効果画像を残すようにしても良い。
次に、本発明の第3実施形態について、図11を用いて説明する。第1および第2実施形態においては、動画の撮影中に、撮影パラメータを変更することにより、変化に富んだ画像の撮影を行っていた。第3実施形態においては、静止画を撮影した際に、続けて撮影パラメータを変更しながら動画を撮影することにより、変化に富んだ撮影を行うようにしている。
一般に静止画の撮影時には、被写体の最高の表情を捉えている場合が多く、静止画撮影後に被写体の緊張が解ける時の表情変化を、画像の遷移効果を伴いながら動画撮影を行っても良い。この場合、わざわざ動画撮影の設定を行わなくても、静止画を撮影するのと同じ操作で自動的に動画を撮影できるようしておくと便利である。また、静止画に続けて遷移効果を伴う動画を撮影しておくと、他の動画とつなぎ合わせて新しい動画を生成することができ、素材として活用できる。再生にあたって、動画を巻き戻し再生することによって静止画が撮影されるまでの経過を表現することも可能となる。
本実施形態における構成は、第1実施形態における図1に示すブロック図と同様であるので、詳しい説明は省略する。本実施形態における人物撮影のフローについて、図11を用いて説明する。このフローでも、図4に示したカメラ制御におけるステップS1の撮影モードの判定等、一般的な処理は省略してある。図11に示す人物撮影のフローに入ると、まず、静止画撮影を行うか否かの判定を行う(S101)。ここでは、操作部9の静止画レリーズ釦の操作状態を判定する。
静止画レリーズ釦が操作されるのを待ち、操作されると、静止画撮影を行う(S102)。ここでは、撮像部2から出力された画像データを、画像処理部1bによって画像処理を行い、この処理された静止画の画像データを記録部6に記録する。
静止画撮影を行うと、次に、顔検出部2aによる顔検出結果、中央に一人いるだけか否かの判定を行う(S103)。この判定の結果、中央に一人だけでなかった場合には、画角や絞り等の撮影パラメータを変化させての撮影に相応しくないので、このフローを終了する。
一方、ステップS103における判定の結果、中央に一人だけだった場合には、次に、顔がアップ状態か否かの判定を行う(S104)。ここでは、顔検出部2aによって検出された顔の大きさが、画面内の大部分を示すようなアップ状態か否かの判定を行う。この判定の結果、顔がアップ状態でなければ、次に、アップにしつつ露出をオーバにしながら動画撮影を行う(S121)。ここでは、パラメータ制御部7に対して、焦点距離を望遠側に徐々に駆動しながら、かつ露出がオーバになるように、電子シャッタ速度やISO感度等も徐々に変えながら、動画の撮影を行う。焦点距離が望遠端に近い場合には、電子ズームによってアップするようにしても良い。また、動画の撮影時間は、予め決めておいた時間でも良く、また望遠端に達するまでの時間等でも良い。
なお、ステップS121において、露出オーバにすることは省略してもよく、また、露出オーバに変えて他の撮影パラメータの変更、例えば、ズームレンズのピント位置を変えながら撮影するようにしても良い。また、顔がくっきりと写ることを好まない人もおり、その場合には、アップを省略し、露出やピントを大きく変化させて顔が不明瞭になるようしても良い。
ステップS104における判定の結果、顔がアップ状態であれば、次に、広角側にシフト可か否かの判定を行う(S105)。ここでは、パラメータ制御部7から現在の焦点距離情報を取得し、ワイド端の焦点距離と比較することにより判定する。この判定の結果、広角側にシフトが可能であれば、次に、広角側にシフトしながら動画撮影を行う(S106)。ここでは、パラメータ制御部7に対して、広角側に徐々に焦点距離を変更しながら、撮像部2から出力される画像データに基づいて動画の記録を行う。このときの撮影時間は、予め決めておいた時間でも良く、またワイド端に達するまでの時間でも良い。
ステップS105における判定の結果、広角側にシフトできない場合には、次に、コントラスト分布の判定を行う(S111)。ここでは、画像処理部1bによって、画像データの高周波成分を抽出し、コントラスト分布を判定する。コントラスト分布判定を行うと、次に、絞り効果が可能か否かの判定を行う(S113)。現在の絞り値が開放状態に近い場合には、絞りこむことにより被写界深度が深くすることができ、また現在の絞り値が最小絞りに近い場合には、開放側に開くことにより被写界深度を浅くすることができる。このステップでは、現在の絞り値とコントラスト分布の関係から、絞り効果を出すことが可能か否かを判定する。
ステップS112における判定の結果、絞り効果が可能であれば、絞りを変えながら動画撮影を行う(S113)。ここでは、ステップS112において絞り効果が生ずるとした絞り値の方向に向けてパラメータ制御部7に対して指示する。このときの撮影時間は、予め決めておいた時間でも良く、また開放絞り値または最小絞り値に達するまでの時間でも良い。一方、判定の結果、絞り効果がない場合には、前述のステップS121に進み、アップにしつつ露出をオーバにしながら撮影を行う。
ステップS113において絞りを変えながら動画撮影を行うと、またはステップS106において広角側にシフトしながら動画撮影を行うと、またはステップS121においてアップにしつつ露出をオーバにしながら動画撮影を行うと、次に、静止画と動画を関連付けて記録を行う(S122)。ここでは、ステップS102において取得した静止画の画像データと、ステップS106、S113、またはS121において取得した動画の画像データの関連付けを行う。この記録が終わると、人物撮影のフローを終了する。
このように第3実施形態においては、静止画の撮影時に併せて撮影パラメータを変化させながら動画を撮影している。このため、単なる静止画ではなく、変化に富んだ動画として鑑賞することも可能となる。また、これらの画像を編集して動画を作成する際の素材としても活用することができる。
以上説明したように、本発明の各実施形態においては、画像データに基づいて動画を記録している際に、手動設定された撮影パラメータに関わらず、撮影パラメータを変更しているので、撮影時に変化に富んだ画像を撮影することが可能である。
また、静止画を記録した際に、続けて手動設定された撮影パラメータに関わらず、撮影パラメータを変更した動画を撮影できるようにしたので、変化に富んだ画像を撮影することができる。
さらに、動画の記録前に、ライブビュー表示する際に、手動設定された撮影パラメータに関わらず、撮影パラメータを変更しているので、事前に、撮影時に変化に富んだ画像を撮影できるか否かを確認することができる。また、ライブビュー表示時に、絞りや画角が変化するので、撮影者が気に入った画像になった際に静止画の撮影を行うことができる。
なお、本発明の各実施形態においては、撮影パラメータとして、絞り値と焦点距離(ズーム)について説明したが、これに限らず、例えば、順次、ピント位置を切り替えたり、また露出(露出補正値)を変化させるようにしても良い。
また、本発明の各実施形態においては、撮影パラメータとしてのボケ具合の変更は絞り値を制御することによって、行っていたが、絞りではなく、画像処理で背景をぼかせる場合には、画像処理によって処理するようにしても良い。
さらに、本発明の各実施形態における表情変化DB6aは、目、鼻、口等の顔の部分(パーツ)の形状や位置等と、顔の表情の関係を示すデータベースを記憶していたが、これに加えて、表情が変化する時のスピードのデータも記憶するようにしても良い。実施形態においては、笑顔度等の表情に基づいて、撮影パラメータの切り替えを行っていたが、表情のスピードに関するデータを用いて、変化を予測しながら、制御するようにしても良い。
さらに、本発明の各実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末(PDA:Personal Digital Assist)、ゲーム機器等に内蔵されるカメラでも構わない。いずれにしても、動画を撮影可能な撮影装置であれば、本発明を適用することができる。
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。