JP5400486B2 - 撮影装置および撮影方法 - Google Patents

Description

本発明は、デジタルカメラ、ビデオカメラ、カメラ付き携帯電話等の撮影装置および撮影方法に関し、詳しくは、静止画と動画の撮影機能を有する撮影装置および撮影方法に関する。

撮影にあたっては、静止画は一瞬を切り取るような撮影手法であり、一般ユーザにとっても比較的に簡単に行うことができる。しかし、静止画は鑑賞する際に、被写体が動かないことから、物足りなさを感じることがある。そこで、動画撮影が考えられるが、動画撮影では、撮影開始と終了のタイミングが分からず、運動会や結婚式のように、形式化した行事しかムービーカメラで動画撮影することはなかった。このような場合の動画撮影は、同じような構図や露出で単調な画面となってしまい、面白みに欠ける動画となっていた。

そこで、単調な動画とならないようにするために種々の提案がなされている。例えば、特許文献１には、ユーザから指定された複数の区間を順次つなぎ合わせ、つなぎ目にトランジシェンエフェクト付与処理等を行うことが可能な画像処理装置が開示されている。この画像処理装置によれば、動画編集にあたって専門的な知識を意識することなく、高度な所望する動画編集を容易に行うことができる。

また、特許文献２、３には、動画の撮影中に静止画を撮影することが可能なムービーカメラが開示されている。すなわち、特許文献２には動画撮影中に静止画撮影を行う場合にストロボ発光時にはストロボズーム機構を使用せずに、距離情報に応じてＡＧＣ回路にて画像信号の増幅を行うことが開示されている。また、特許文献３には、動画撮影用スイッチと、静止画撮影用スイッチを設け、静止画撮影を優先するか動画撮影を優先するかを簡単に選択できるようにしたカメラが開示されている。

特開２００３−１１０９９５号公報 特開平４−３３１５８３号公報 特許３６７３５２８号公報

このように、静止画と動画の撮影や編集にあたって種々、提案されているが、特許文献１に開示の画像処理装置は、動画撮影後に行う画像編集であるため、その効果は限られており、また動画のみであることから、静止画の特徴を活かすことができない。また、特許文献２、３に開示のムービーカメラは、動画の撮影中に静止画の撮影を行うことができるだけであって、それぞれの長所を組み合わせて変化に富んだ画像をえるものではない。すなわち、前述の特許文献１ないし３に示される従来技術は、静止画と動画を融和させて、変化に富んだ画像を取得し、また再生するには十分ではない。

本発明は、このような事情を鑑みてなされたものであり、変化に富んだ画像を取得することが可能な撮影装置および撮影方法を提供することを目的とする。

上記目的を達成するため第１の発明に係わる撮影装置は、撮影レンズを介して結像した被写体像を撮像し、画像データを出力する撮像部と、撮影に先だって、取得した上記画像データに基づくピント合わせ情報に従って、撮影画面を複数の領域に分割する画面分割部と、上記画面分割部によって画面分割された撮影画面内において、分割領域ごとに画面特徴に応じて決定された重み付けし、この重み付け結果に従って上記画面内のどの分割領域からどの分割領域にピント合わせを行うか、ピント合わせの順序を決定するピント合わせ決定部と、上記ピント合わせ決定部によって決定されたピント合わせの順序に従って、撮影レンズを駆動するピント制御部と、上記画像データに基づいて、動画および静止画の画像データを記録する記録部と、を有し、上記ピント合わせ決定部は、上記重み付け結果に従って主被写体と副被写体を決定し、上記主被写体と上記副被写体のいずれかを出発点および終着点として上記ピント合わせの順序を決定し、上記記録部は、上記ピント制御部によって上記撮影レンズが駆動されている間は動画の画像データを記録し、上記ピント制御部によって上記撮影レンズの駆動停止後、静止画の画像データを記録する。

第２の発明に係わる撮影装置は、上記第１の発明において、上記ピント合わせ情報は、上記画像データのコントラストに基づいて取得する。

第３の発明に係わる撮影装置は、上記第１の発明において、上記ピント合わせ決定部は、上記主被写体を、上記分割領域内における、顔の存在、領域の大きさ、動きがあるか、明るさ、画面中央位置にあるかの少なくとも一つ以上の条件に従って決定する。
第４の発明に係わる撮影装置は、上記第１の発明において、上記ピント合わせ決定部は、上記副被写体を、上記主被写体との距離差を考慮して決定する。

第５の発明に係わる撮影装置は、上記第１の発明において、上記ピント制御部は、上記ピント合わせの順序に従って、一定の時間で走査を終えるための駆動速度で駆動する。
第６の発明に係わる撮影装置は、上記第１の発明において、上記ピント合わせ決定部によって決定された２つの分割領域の露出の差を演算し、上記ピント制御部によって上記撮影レンズを駆動する際に、上記露出の差に基づいて、適正露出となるように制御する。

第７の発明に係わる撮影方法は、撮影レンズを介して結像した被写体像を撮像し、画像データを出力するステップと、撮影に先だって、取得した上記画像データに基づくピント合わせ情報に従って、撮影画面を複数の領域に分割するステップと、画面分割された撮影画面内において、分割領域ごとに画面特徴に応じて決定された重み付けし、この重み付け結果に従って上記画面内のどの分割領域からどの分割領域にピント合わせを行うか、ピント合わせの順序を決定するステップと、決定されたピント合わせの順序に従って、撮影レンズを駆動するステップと、上記画像データに基づいて、動画および静止画の画像データを記録するステップと、を有し、上記ピント合わせの順序を決定するステップは、上記重み付け結果に従って主被写体と副被写体を決定し、上記主被写体と上記副被写体のいずれかを出発点および終着点として上記ピント合わせの順序を決定し、上記画像データを記録するステップは、上記撮影レンズ駆動するステップにおいて上記撮影レンズが駆動されている間は動画の画像データを記録し、上記撮影レンズの駆動停止後、静止画の画像データを記録する。

本発明によれば、変化に富んだ画像を取得することが可能な撮影装置および撮影方法を提供することができる。

本発明の一実施形態に係わるカメラの電気的構成を示すブロック図である。 本発明の一実施形態に係わるカメラにおいて、アート動画モードで撮影する場合の画像を示す図であり、（ａ）は撮影開始時の画像、（ｂ）は撮影終了時の静止画画像を示す。 本発明の一実施形態に係わるカメラにおいて、カメラと被写体の位置関係を示す図である。 本発明の一実施形態に係わるカメラにおいて、ピント合わせと領域分割を示す図であり、（ａ）は被写体距離とコントラストの関係を示すグラフであり、（ｂ）は被写体の画像を示し、（ｃ）は分割された画像領域を示す図である。 本発明の一実施形態に係わるカメラにおいて、ピントシフトを行うためのＺａ領域およびＺｂ領域を決定するための重み付けの関係を示す図である。 本発明の一実施形態に係わるカメラのアート動画モードの動作を示すフローチャートである。

以下、図面に従って本発明を適用したカメラを用いて好ましい実施形態について説明する。図１は、本発明の一実施形態に係わるカメラ１０の電気回路を示すブロック図である。カメラ１０は、デジタルカメラであり、制御部１、撮像部２、顔検出部２ａ、パラメータ設定部３、モーション判定部４、記録部６、パラメータ制御部７、表示部８、操作部９等から構成される。

撮像部２は、ズーム機能を有する撮影レンズ（ズームレンズ）や、シャッタ・絞り等の露出制御部、撮像素子、撮像素子の駆動及び読出回路等を含み、撮影レンズによって形成された被写体像を撮像素子によって画像データに変換し、これを出力する。また、撮像部２の撮影レンズはピント合わせレンズとその機構を含み、後述するピント制御部７ｂによって遷移動画を撮影する際に、ピントをずらしながら、撮影することも可能である。また、背景をぼかすための絞り調整機構を設けても良い。

顔検出部２ａは撮像部２から出力され、制御部１によって処理された画像データに基づいて、被写体像の中に人物の顔が含まれているか否か、また顔が含まれていた場合にはその位置や大きさ等を検出し、検出結果を制御部１に出力する。なお、顔の検出にあたっては、顔の中の目、鼻、口等のパーツの陰影を抽出し、パターンマッチング法等によって行う。

制御部１は、記憶されているプログラムに従ってカメラ１０の全体のシーケンスを制御する。制御部１は、表情変化判定部１ａ、コントラスト変化抽出部１ｂ、領域分割部１ｃ、構図変化判定部１ｄ、画像処理部５を有する。表情変化判定部１ａは、撮像部２から出力される画像データ、顔検出部２ａから出力される顔に関する検出結果、および後述する表情変化データベース（ＤＢ）６ａに記憶されている顔の目、鼻、口等のパーツパターンと表情の変化に関するデータに基づいて、表情変化を判定する。この判定の際に、表情が変化する時の変化のスピードに基づいて、表情の変化を予測するようにしても良い。

コントラスト変化抽出部１ｂは、撮像部２から出力される画像データから高周波成分（コントラスト）を抽出し、コントラストの変化を抽出する。後述するように、撮影レンズを走査（スキャン）した際にコントラスト変化抽出部１ｂによってコントラスト変化のピーク値を検出することにより被写体距離に関する情報を得ることができる。

領域分割部１ｃは、上記コントラスト抽出部１ｂによって得た被写体距離情報に基づいて、画面の領域を分割する。すなわち、撮像部２から出力される画像データを網の目状に分け、それぞれのポイントで被写体距離情報を得、ほぼ同一の被写体距離となるポイントなる画面領域に分割することができる。この領域分割部１ｃにおける領域分割については図４を用いて後述する。

構図変化判定部１ｄは、画面の構図やカメラ１０の構え方が変化したか否かを判定する。画面の構図変化の判定にあっては、撮像部２から出力される画像データに基づいて動きベクトル等を利用する。また、カメラ１０の構え方については、後述するモーション判定部４の判定出力に基づいて判定する。

制御部１内の画像処理部５は、動画処理部５ａおよび静止画処理部５ｂを有し、撮像部２から出力される画像データを取り込み、間引き処理、切り出し処理、エッジ強調、色補正、画像圧縮等の種々の画像処理を行い、動画のライブビュー表示用、記録部６における静止画および動画の記録用、静止画および動画の再生表示用等の画像処理を行う。画像圧縮・伸張等にあたっては、静止画用圧縮・伸張回路、動画用圧縮・伸張回路等、それぞれの処理に応じて静止画用や動画用の回路を有する。また、画像処理部５は、画像データに基づいて、色情報や動きベクトルを求めることができる。

パラメータ設定部３は、撮影部２における焦点距離を変化させるためのズーム釦、絞り値を設定させるための絞り値設定操作部等によって、撮影パラメータを手動設定し、制御部１に出力する。なお、絞り値等の場合には、露出制御の結果に応じて自動的に設定されるようにしても良い。

パラメータ制御部７は、パラメータ設定部３において手動設定または自動設定された撮影パラメータに基づいて撮像部２の制御を行う。撮影パラメータを制御することにより、画角や背景のボケ（被写界深度）等を調整可能となる。これらを変化させることにより、様々な効果を施し、撮影を楽しむことができる。また、パラメータ制御部７は、絞り値や焦点距離等の現在設定されている値を検出し、制御部１に出力する。

パラメータ制御部７は、ピント制御部７ｂを有している。ピント制御部７ｂは、コントラスト変化抽出部１ｂによって検出されたコントラスト情報がピーク位置となるように撮像部２の撮影レンズのピント位置を調整する。すなわち、いわゆるコントラスト法による自動焦点調節を行う。また、アート動画モードにおいては、後述するように、副被写体から主被写体にピントが移動するように、撮影レンズのピント調節を行う。

モーション判定部４は、３次元空間の加速度、すなわち３軸加速度と、３次元空間での回転速度、すなわち３軸角速度の計６軸の物理量を検出する６軸センサ等を有している。このモーション判定部４は、カメラ１０の構え方が変わっていないか否かについて判定することができる。ズーミング等により画像が変化する場合であっても、撮影者のカメラ１０を構える構え方が変わっていないことを、判定可能であり、誤動作なしで、同じ被写体に対して構え方を変えずに狙っているか否かが分かる。

操作部９は、レリーズ釦、パワースイッチ、再生モード設定釦、メニュー釦等、種々の操作部材を含み、これらの操作部材の操作状態を判定し、制御部１に判定結果を送る。前述の制御部１は、操作部材の操作状態に応じて、所定のシーケンスで撮影や再生の制御を行う。

記録部６は、レリーズ釦によって撮影の指示がなされた際に、撮像部２によって取得され、画像処理部５によって圧縮処理された静止画や動画の画像データを記録する。記録部６内の表情変化ＤＢ６ａは、目、鼻、口等の顔の部分（パーツ）の形状や位置等と、顔の表情の関係を示すデータベースである。この関係に基づいて、表情変化判定部１ａは、笑顔度等、人物の顔の表情を数値で表すことができる。笑顔度は、目や口の形や、歯が見えたかどうか等に基づいて数値化する。

表示部８は、カメラ１０の背面等に配置された液晶パネルや有機ＥＬパネル等の表示部を有し、撮影前のライブビュー表示や、記録済みの画像の通常再生表示や、カメラ情報の表示等を行う。撮影者はライブビュー表示を観察し、構図やタイミングを決定することができる。また、アート動画モード、すなわち、ピントを移動させながら動画を撮影し、最後に静止画の撮影を行うことによって得られた遷移画像の再生表示も行う。

次に、図２および図３を用いて本実施形態に係わるカメラ１０によるアート動画モードでの撮影について説明する。アート動画モードは、撮影の際に、画面内の被写体距離等を測定し、異なる被写体距離が有る場合に、主被写体と副被写体を選択し、この選択された副被写体から主被写体にピントを移動させ、この移動中に動画で撮影し、最後に主被写体を静止画で撮影するモードである。

図３に示すように、主被写体としての人物２１ａが画面の略中央に、花２１ｃが近距離側に、副被写体としての木２１ｃｂが背景（遠距離側）にあるとする。このような配置でアート動画モードでの撮影を行うと、最初は、図２（ａ）に示すように、背景にある木２１ｃにピントの合った画像２５ａから、次第に、ピント位置が人物２１ａに向けて移動し、この間、動画で画像データが記録される。そして、最後に、図２（ｂ）に示すように、人物２１ａにピントが合った画像２５ｂとなり、静止画で画像データが記録される。背景をぼかした綺麗な画像（図２（ｂ）参照）でありながら、背景に何があったかを見せるのに有効な手法である。最終画像は主被写体（図２の例では人物２１ａ）にピントを合わせるのが望ましく、この画像を静止画として記録する。

このように、本実施形態におけるアート動画モードでは、画像遷移を行っているが、図２（ａ）→（ｂ）への遷移にあたってはスムーズに変化させ、また、図２（ａ）における画像２５ａと、図２（ｂ）における画像２５ｂは、一目で相違が分かる程度に異なる画像を選択する。また、画像遷移にあたって、ピント位置が行ったり来たりを繰り返すと、見ていて不快になるので、例えば、花２１ｃから人物２１ａにピントが合い、その後、木２１ｂにピントが合って、その後、再び人物２１ａにピントが合うような動きは避ける。

そこで、画像遷移の出発点と終着点となる副被写体と主被写体の選択を行う必要ある。主被写体と副被写体のいずれも出発点としても良いが、本実施形態においては、最後に完成された静止画となるようにすることから、副被写体から出発し、主被写体を終点としている。また、主被写体と副被写体の選択方法としては、種々考えられるが、本実施形態においては、ピント合う効果が顕著に分かる組み合わせを優先するようにした。

次に、主被写体や副被写体の選択について、図４を用いて説明する。図４（ａ）は被写体距離とコントラストの関係を示すグラフであり、図４（ｂ）は被写体の画像を示し、図４（ｃ）は分割された画像領域を示す。前述したように、本実施形態においては、被写体距離情報を、撮影レンズをスキャンした際のコントラストのピーク位置から求めるようにしている。撮影レンズのスキャンは、至近端から無限端まで行っても良いが、全領域のスキャンには時間がかかることから、本実施形態においては、一部分のみ行い、他の領域については、他のタイミングで行ったり、また推測するようにしている。また、ライブビュー表示の際のコントラスト法によるピント合わせの距離情報等も利用しても良い。

図４に示す例では、撮影レンズのピント合わせのために、図４（ｂ）に示すように画面内の複数のポイント２２ａ、２２ｂ、２２ｃで撮影レンズをスキャンしながらコントラストを測定している。このときの各ポイント２２ａ、２２ｂ、２２ｃにおけるコントラスの変化は、図４（ａ）に示すような曲線となる。なお、前述したように撮影レンズのスキャンは全領域では行わず、図４（ａ）に示す例では、ピント位置Ｚ１、Ｚ２、Ｚ３の範囲内で行っている。

図４（ａ）から分かるように、人物２１ａに対応するポイント２２ａのコントラストはピント位置Ｚ２にピークがあり、花２１ｂに対応するポイント２２ｂのコントラストはピント位置Ｚ２よりも遠方にあり、木２１ｃに対応するポイント２２ｃのコントラストはピント位置Ｚ２より近距離側にあることが分かる。図４（ａ）（ｂ）に示した例では、説明の都合上、３点のみであるが、もっときめ細かに網目状に多数のポイントについてコントラストを求め、コントラスト変化や輪郭情報を得ることにより、図４（ｃ）に示すように、画面を被写体に応じて各領域に分割することができる。図４（ｃ）に示す例では、人物２１ａのある領域２３ａと、その手前の花２１ｃのある領域２３ｃと、木２１ｂが含まれる背景の領域２３ｂの３つの領域に大別できる。

画面を各領域に分割すると、それぞれの領域について、顔が含まれているか、どの領域が広いか、そこの領域に含まれる色成分や、動きがあるか否か等、種々の情報を得ることができる。これらの情報を用いると、どの領域が重要領域かを判定することができ、前述の主被写体や副被写体が含まれる領域を決定することができる。また、ピント位置Ｚ１〜Ｚ３の間でコントラストを測定し各領域に分割した後に、撮影レンズのピント位置を移動させながらコントラストを測定した際に、ピント位置Ｚ３〜Ｚ４の間で、急にコントラストが変化しているような場合には、このときのコントラストの変化量ｈや、人物２１ａの顔にピント合わせを行ったピント位置Ｚ２からの変化幅を参考して、領域を修正し、また重要領域かの判定に利用することができる。

顔のピント位置（図４の例では、ピント位置Ｚ２）と異なるところにコントラストが高い被写体（図４の例では、ピント位置Ｚ４にある木２１ｂ）があると、ピントシフトの効果を動画で表す際に効果的であることから、本実施形態においては、ピントの変化する位置のコントラスト情報を重視するようにしている。ピントの変化が少ない場合には、ピントシフトの効果がなく、鑑賞者が気付かない恐れがあるからである。

主被写体と副被写体の選択は、図４で説明した分割領域に対して、それぞれ重み付けし、重み付けの数値に基づいて判定する。図５に重み付けの数値を示す。重み付けにあたっては、まず、主被写体の決定用のＺａの重み付けを行う。Ｚａの重み付けにあたっては、領域２３ａ〜２３ｃのそれぞれについて、図５に示す条件があてはまるか否かを判定する。例えば、１番目の条件、「半身像相当の顔がある」について、領域２３ａが当てはまるか否かを判定する。図４（ｂ）に示す例では、領域２３ａ内の人物２１ａは半身像相当の顔があることから１０ポイントの重み付けがなされる。一方、領域２３ｂ、２３ｃでは半身像相当の顔がないことから０ポイントの重み付けである。なお、顔があるか否かは顔検出部２ａによって判定し、半身像か否かは、画像処理部５によって判定する。また、顔の大きさのみならず、顔の表情によって優先度を変更するようにしてもよい。なお、不自然に大きい顔や横向きの顔等は優先度を低くするが、ここでは、説明を単純化するために省略している。

図５の重み付けの条件の３番目の「動きがある」か否かは、画像処理部５によって動きベクトルを判定することによって行う。動きのある被写体は、鑑賞者の注意を引くことから、５ポイントを付与するようにしている。重み付けの条件の４番目は、「色の変化がある」か否かであり、これは画像処理部５によって、その領域に多数の色が含まれているか否かによって判定する。多数の色が含まれている場合には、鑑賞者の注意を引くからである。

重み付けの条件の５番目と６番目は、領域面積の大きさに関し、これは画像処理部５によって判定する。面積が大きい場合には重要な被写体と考えられるからである。また、重み付けの条件の８番目は、「画面中央」にあるか否かであり、これは画像処理部５によって判定する。画面中央にある場合には、撮影者が意図的に配置した場合が多く、重要な被写体と考えられるからである。

このように、各領域２３ａ〜２３ｃについて、条件を判定し、判定結果に基づいて重み付けを行い、付与されたポイントの合計を求め、合計値が一番大きい領域を主被写体の存在する領域Ｚａとする。図４に示した例では、人物２１ａが含まれる領域２３ａが領域Ｚａとなる。なお、領域Ｚａの選択にあたって、図５に示した条件は例示であり、図５に示す条件の一部でも良く、また、他の条件を追加しても構わない。

主被写体の存在する領域Ｚａが決まると、次に、副被写体の存在する領域Ｚｂを決める。副被写体の選択にあたっては、画像の中に顔が含まれているか否かよって、図５に示すように、いずれかの数値を使用する。したがって、画像の中に顔が含まれているか否かを、まず先に判定し、使用するテーブルを決める。続いて、主被写体が含まれていた領域以外の領域について、主被写体の場合と同様、各条件に当てはまるか否かを判定し、当てはまった場合には、図５に記載のポイントを付与し、合計値が一番、大きかった領域を、副被写体の存在する領域Ｚｂと判定する。

なお、副被写体の存在する領域Ｚｂの判定の際に利用する条件として、主被写体の場合の条件に以下の条件が追加されている。すなわち、重み付けの条件の７番目として、「Ｚａ部より明るい」か否かを判定する。主被写体の領域Ｚａより明るい場合には、鑑賞者の注意を引き、重要度が高いと考えられるからである。また、重み付けの条件の９番目として、「コントラストが顔部以上」か否かを判定する。画像中の顔の部分のコントラストよりも高い場合には、重要度が高い可能性があるからである。

さらに、重み付けの条件の１０番目として、「ピント合わせ距離からピントが離れている」か否かを判定する。これは、主被写体からピント位置が所定値以上離れている場合であり、このような場合には、ピントシフトの効果が顕著に表れるからである。副被写体の選択にあたっては重要なことから、本実施形態においては、７ポイントと高めに設定してある。なお、領域Ｚｂの選択にあたって、図５に示した条件は例示であり、図５に示す条件の一部でも良く、また、他の条件を追加しても構わない。

次に、本実施形態におけるカメラ１０の動作について、図６に示すアート動画モードのフローチャートを用いて説明する。カメラ１０は、種々のモードで動作可能であるが、簡単にするため、このフローチャートでは、アート動画モードについて記載し、他のモードについては省略してある。なお、このアート動画モードの設定にあたっては、専用のアート動作モード設定用の操作釦を設けても良く、またメニュー画面で設定するようにしても良い。また、デフォルト値としてアート動作モードが設定されるようにしても良く、アート動作モード専用カメラであっても良い。

図６に示すフローチャートはカメラ１０内に記憶されているプログラムに従って、制御部１によって実行される。アート動作モードのフローに入ると、まず、半押しか否かの判定を行う（Ｓ１）。ここでは、操作部９のレリーズ釦が半押し状態か否かを判定する。半押し状態でなければ、表示部８にライブビュー表示を行いながら、半押し状態になるのを待つ。

ステップＳ１における判定の結果、半押し状態になると、ピント位置シフトを行う（Ｓ２）。ここでは、例えば、図４のＺ１〜Ｚ３の間で撮影レンズを走査する。このカメラ１０は、パワースイッチがオンとなると、ライブビュー表示を開始しており、その間、ピント合わせを行っており、リアルタイムで被写体像のコントラストをモニタして、それが変化した場合等には、再度ピント合わせを行っている。ステップＳ２におけるピント位置シフトの際に、ライブビュー表示の際に行われたピント合わせ情報を用いてＺ１〜Ｚ３の範囲を決定する。

続いて、撮像を行う（Ｓ３）。ステップＳ２において撮影レンズの走査を開始しており、走査しながら、撮像部２からの画像データを用いて、コントラスト変化抽出部１ｂではコントラストを求め、各ポイントにおける被写体距離情報を求めていく。次に、複数ピントの測定が終了したか否かの判定を行う（Ｓ４）。ここでは、図４を用いて説明したように、画面の全ポイントについて、コントラストを求め、被写体距離情報の収集が終了したかを判定する。この判定の結果、終了していなかった場合には、ステップＳ２に戻る。

ステップＳ４における判定の結果、複数ピントの測定が終了すると、次に、領域分けを行う（Ｓ５）。ここでは、図４（ｃ）において説明したように、被写体距離情報等に基づいて、被写体に応じて全画面の領域を分割する。

領域分けを行うと、次に、領域重み付けＺａを行う（Ｓ６）。ここでは、図５において説明したように、主被写体を選択するために、ステップＳ５で分けた領域ごとに、領域重み付けの判定を行い、合計値が一番大きい領域を選択し、Ｚａ領域とする。領域重み付けＺａを行うと、次に、領域重み付けＺｂを行う（Ｓ７）。ここでは、図５において説明したように、副被写体を選択するために、ステップＳ５で分けた領域ごとに、領域重み付けの判定を行い、合計値が一番大きい領域を選択し、Ｚｂ領域とする。

領域重み付けＺｂを行うと、次に、Ｚａ領域とＺｂ領域の露出差ｄＥの判定を行う（Ｓ８）。ここでは、ステップＳ６において求めたＺａ領域と、ステップＳ７において求めたＺｂ領域について、各領域の画像データを用いて領域の輝度を求め、この輝度を用いて適正露出量の差ｄＥを演算する。

露出差ｄＥを求めると、次に、全押しか否かの判定を行う（Ｓ９）。ここでは、操作部９のレリーズ釦が全押し状態か否かを判定する。全押し状態になるのを待ち、全押し状態になると、次に、Ｚｂ領域にピントと露出を合わせ、撮影を行う（Ｓ１１）。Ｚｂ領域は、副被写体の領域であり、まず、この領域にピントと露出を合わせる。このステップＳ１１における状態は、図２（ａ）に例示した画像２５ａの状態であり、この場合には背景の木２１ｂにピントと露出が合った状態となる。

続いて、Ｚａ領域とＺｂ領域のピント差ｄＺの判定を行う（Ｓ１２）。ここでは、主被写体の被写体距離情報と、副被写体の被写体距離情報の差にあたる、ピント差ｄＺを求める。このピント差ｄＺは、ステップＳ１６において使用する。

ピント差ｄＺの判定を行うと、次に、Ｚｂ領域に動きがあるか否かの判定を行う（Ｓ１３）。ここでは、副被写体の存在する領域に動くものがあるかを、画像データの動きベクトルに基づいて判定する。この判定の結果、動きがなかった場合には、１秒経過するのを待つ（Ｓ１４）。一方、判定の結果、動きがあった場合には、３秒経過するのを待つ。動きがある場合には、鑑賞者は動いている被写体が何であるかの確認を望む場合が多く、そのために、待機時間を長くしている。なお、１秒と３秒は、例示であり、撮影者や鑑賞者の好みを考慮して、適宜、変えても良い。

ステップＳ１４またはＳ１５において、所定時間、待機すると、次に、Ｚａ領域に向けてピントシフトを開始し、その場合ピント差ｄＺに応じたスピードを決定する（Ｓ１６）。前述したように、副被写体にピントを合わせた後に、主被写体に向けてピントを移動させていくが、その際の移動速度をピント差ｄＺに応じた値としている。ここでは、ピント差ｄＺに係わらず、一定の時間で副被写体から主被写体にピントが移動するようにする。この一定時間としては、例えば、３秒程度とするが、撮影者や鑑賞者の好みを考慮して、適宜、変更しても良い。

続いて、露出差ｄＥを解消しつつ撮像および記録を行う（Ｓ１７）。ステップＳ８において露出差ｄＥを求めており、ピントシフトの際に、この露出差ｄＥを考慮し、適正露出が保たれるように露出制御を行う。この露出制御としては、絞り値、シャッタ速度、ＩＳＯ感度等を制御する。また、このとき撮像部２からの画像データを画像処理部５において動画用に画像処理しながら、動画で画像データを記録部６に記録する。

次に、Ｚａ領域に達したか否かの判定を行う（Ｓ１８）。Ｚａ領域は主被写体の存在する領域であり、この領域に撮影レンズのピント位置が達したかを判定する。この判定の結果、Ｚａ領域に達していなかった場合には、ステップＳ１７に戻り、露出差ｄＥを解消しながら撮像および記録を行う。

一方、ステップＳ１７における判定の結果、Ｚａ領域に達すると、次に、静止画の撮像を行い、記録する（Ｓ１９）。Ｚａ領域は、主被写体の領域であり、この領域に達すると撮像部２からの画像データを画像処理部５によって静止画用に画像処理し、静止画の画像データを記録する。ステップＳ１８における状態は、図２（ｂ）に例示した画像２５ｂに対応し、この場合には人物２１ａにピントが合った状態となる。また、露出差ｄＥを解消するように、露出制御を変更していることから、静止画に対しても適正露出となる。なお、静止画の撮影にあたっては、Ｚａ領域に停止してから撮影するようにしても良い。静止画の画像データを記録すると、このアート動画モードを終了する。なお、図６に示すフローチャートにおいては、ステップＳ９における判定の結果、全押しであった場合には、Ｚｂ領域にピントをシフトさせてから撮影を開始している。しかし、Ｚａ領域にピントが合った状態からＺｂ領域にピント合わせを行うために、焦点調節に要する時間分、タイムラグが生ずる。従って、シャッタチャンスを逃すおそれもあるので、全押し時の押し込みの衝撃等に基づいて、緊急性を判断する。緊急性がある場合には、先にＺａ領域で静止画撮影を行い、その後Ｚｂ領域に向けてピントシフトを行いながら、動画撮影をするようにしても良い。

以上説明したように、本発明の一実施形態においては、被写体に応じて画面を複数の領域に分割し、複数の領域からピント移動を行う領域を決定して、ピント制御部によってピント移動を行うようにしている。このため、撮影者が意図的に手動操作を行わなくても、変化に富んだ画像を取得することが可能である。また、ピント制御部によってピントの移動を行う際に動画の画像データを記録するようにしているので、簡単に動画の撮影を行うことができる。

また、本発明の一実施形態においては、ピント制御部によってピントの移動を行っている間動画の撮影を行い、目標とするピント位置に到達すると、静止画の撮影を行っている。このため、動画と静止画を融合した、変化に富んだ画像を簡単に取得することができる。なお、このような撮影によって得られた動画は、静止画を抜きにしても極めて効果に富み、動画部分のみをつなぎ合わせて編集する際にも、有効な素材となる。

さらに、本発明の一実施形態においては、被写体像の中から主要被写体と、主要被写体以外の第１および第２の画像部分がある場合には、主要被写体と第１の画像部分のピント差、および主要被写体と第２の画像部分のピント差を用いて、ピントの移動方向を決定するようにしている。具体的には、副被写体の決定にあたって、図５において（１０）ピント合わせ距離からピントが離れていることを考慮している。このため、ピントシフトの効果が顕著に表れ、変化に富んだ画像となる。

なお、本発明の一実施形態においては、被写体の距離に関する情報を求めるにあたって、画像データの高周波成分を抽出して行うコントラスト法を用いていたが、これに限らず、他の測距方法を用いても良い。例えば、位相差ＡＦを採用しても良く、この場合には、撮影レンズをスキャンすることが不要となる。

また、本発明の一実施形態においては、画面を分割するにあたって、被写体の距離に関する情報を用いて行っていたが、これに限らず、他の方法を用いても良い。例えば、画像解析を行い、輪郭線を抽出し、その輪郭線から画面を分割するようにしても良い。

さらに、本発明の一実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、ビデオカメラ、ムービーカメラのような動画用のカメラでもよく、さらに、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）、ゲーム機器等に内蔵されるカメラでも構わない。

本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

１・・・制御部、１ａ・・・表情変化判定部、１ｂ・・・コントラスト変化抽出部、１ｃ・・・領域分割部、
１ｄ・・・構図変化判定部、２・・・撮像部、２ａ・・・顔検出部、３・・・パラメータ設定部、４・・・モーション判定部、５・・・画像処理部、５ａ・・・動画処理部、５ｂ・・・静止画処理部、６・・・記録部、６ａ・・・表情変化ＤＢ、７・・・パラメータ制御部、７ｂ・・・ピント制御部、８・・・表示部、９・・・操作部、１０・・・カメラ、２１ａ・・・人物、２１ｂ・・・木、２１ｃ・・・花、２２ａ〜２２ｃ・・・ポイント、２３ａ〜２３ｃ・・・領域、２５ａ・・・画像、２５ｂ・・・画像

Claims (7)

1. 撮影レンズを介して結像した被写体像を撮像し、画像データを出力する撮像部と、
   撮影に先だって、取得した上記画像データに基づくピント合わせ情報に従って、撮影画面を複数の領域に分割する画面分割部と、
   上記画面分割部によって画面分割された撮影画面内において、分割領域ごとに画面特徴に応じて決定された重み付けし、この重み付け結果に従って上記画面内のどの分割領域からどの分割領域にピント合わせを行うか、ピント合わせの順序を決定するピント合わせ決定部と、
   上記ピント合わせ決定部によって決定されたピント合わせの順序に従って、撮影レンズを駆動するピント制御部と、
   上記画像データに基づいて、動画および静止画の画像データを記録する記録部と、
   を有し、
   上記ピント合わせ決定部は、上記重み付け結果に従って主被写体と副被写体を決定し、上記主被写体と上記副被写体のいずれかを出発点および終着点として上記ピント合わせの順序を決定し、
   上記記録部は、上記ピント制御部によって上記撮影レンズが駆動されている間は動画の画像データを記録し、上記ピント制御部によって上記撮影レンズの駆動停止後、静止画の画像データを記録する、
   ことを特徴とする撮影装置。
2. 上記ピント合わせ情報は、上記画像データのコントラストに基づいて取得することを特徴とする請求項１に記載の撮影装置。
3. 上記ピント合わせ決定部は、上記主被写体を、上記分割領域内における、顔の存在、領域の大きさ、動きがあるか、明るさ、画面中央位置にあるかの少なくとも一つ以上の条件に従って決定することを特徴とする請求項１に記載の撮影装置。
4. 上記ピント合わせ決定部は、上記副被写体を、上記主被写体との距離差を考慮して決定することを特徴とする請求項１に記載の撮影装置。
5. 上記ピント制御部は、上記ピント合わせの順序に従って、一定の時間で走査を終えるための駆動速度で駆動することを特徴とする請求項１に記載の撮影装置。
6. 上記ピント合わせ決定部によって決定された２つの分割領域の露出の差を演算し、上記ピント制御部によって上記撮影レンズを駆動する際に、上記露出の差に基づいて、適正露出となるように制御することを特徴とする請求項１に記載の撮影装置。
7. 撮影レンズを介して結像した被写体像を撮像し、画像データを出力するステップと、
   撮影に先だって、取得した上記画像データに基づくピント合わせ情報に従って、撮影画面を複数の領域に分割するステップと、
   画面分割された撮影画面内において、分割領域ごとに画面特徴に応じて決定された重み付けし、この重み付け結果に従って上記画面内のどの分割領域からどの分割領域にピント合わせを行うか、ピント合わせの順序を決定するステップと、
   決定されたピント合わせの順序に従って、撮影レンズを駆動するステップと、
   上記画像データに基づいて、動画および静止画の画像データを記録するステップと、
   を有し、
   上記ピント合わせの順序を決定するステップは、上記重み付け結果に従って主被写体と副被写体を決定し、上記主被写体と上記副被写体のいずれかを出発点および終着点として上記ピント合わせの順序を決定し、
   上記画像データを記録するステップは、上記撮影レンズ駆動するステップにおいて上記撮影レンズが駆動されている間は動画の画像データを記録し、上記撮影レンズの駆動停止後、静止画の画像データを記録する、
   ことを特徴とする撮影方法。