JP6409083B2 - 撮像装置、撮像方法および撮像プログラム - Google Patents

Description

本発明は、被写体を撮像して該被写体の画像データを生成する撮像装置に関する。

従来、一つの撮影画像から２個の異なる画像を生成し、両画像を１画面分の画像に合成して表示することができるカメラが知られている（例えば、特許文献１を参照）。この技術では、撮影画面内の一部領域である第１の領域の画像信号と、第１の領域に含まれる第２の領域の画像信号とを抽出し、第２の領域の画像信号を第１の領域をのぞいた領域のサイズに拡大して第１の領域の画像信号と合成することにより、１画面分の表示用の画像信号を生成する。

特開平５−２５２４４０号公報

ところで、上述したカメラの場合、複数のポイントにおけるピント位置が互いに異なる場合、一つの撮影画像から生成される全ての画像が適切なピント状態にあるとは限らなかった。

本発明は、上記に鑑みてなされたものであって、一つの画像から生成される複数の画像のピント状態を適切に調整することができる撮像装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、被写体からの光を集光して結像する光学系と、該光学系が結像した光を光電変換することによって画像データを生成する撮像素子と、前記画像データに対応する画像を表示可能な表示部とを備え、前記表示部が表示する画像から指定された複数の領域を並行して撮影可能な撮像装置であって、前記光学系の特性情報にしたがってピント位置を調整する制御を行うピント制御部を備えたことを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記特性情報は、像高に応じた値を有することを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記特性情報は、コントラストに関する情報であり、前記ピント制御部は、前記光学系の繰り出し位置に応じた前記複数の領域の各々における前記コントラストに基づいて前記ピント位置を調整する制御を行うことを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記撮像素子、前記表示部、および前記ピント制御部を含む本体部と、前記光学系、および撮影条件に応じた前記光学系の特性情報を記録する特性情報記録部を含み、前記本体部との間で通信可能であるとともに前記本体部に対して着脱自在であるレンズ部と、を有し、前記撮影条件は、焦点距離および絞りに関する条件を含み、前記ピント制御部は、前記レンズ部から受信した前記特性情報にしたがって前記ピント位置を調整する制御を行うことを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記領域を指定する信号の入力を受け付ける入力部と、前記入力部が前記信号の入力を受け付けた場合、該信号に対応する前記領域のピント位置を検出するピント位置検出部と、をさらに備えたことを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記入力部は、前記表示部の表示画面に重ねて設けられるタッチパネルであることを特徴とする。

本発明によれば、光学系の特性情報にしたがってピント位置を調整する制御を行うため、マルチレコーディングの際にピント状態が不利になりやすい画像のピントを調整することができる。したがって、一つの画像から生成される複数の画像のピント状態を適切に調整することが可能となる。

図１は、本発明の一実施の形態に係る撮像装置の構成を示すブロック図である。 図２は、本発明の一実施の形態に係る撮像装置が記録するコントラスト情報の概要を示す図である。 図３は、本発明の一実施の形態に係る撮像装置が行うピント合わせ処理を模式的に示す図である。 図４は、本発明の一実施の形態に係る撮像装置が備える制御部とレンズ制御部との同期通信の一例を示すタイミングチャートである。 図５は、本発明の一実施の形態に係る撮像装置が行うマルチレコーディング処理の概要を説明する図である。 図６は、本発明の一実施の形態に係る撮像装置が行うマルチレコーディング処理の特徴を説明する図である。 図７は、本発明の一実施の形態に係る撮像装置が行う処理の概要を示すフローチャートである。 図８は、マルチレコーディング処理の概要を示すフローチャートである。 図９は、本発明の一実施の形態に係る撮像装置が行う顔を含む所定領域の切出し処理の概要を示す図である。 図１０は、本発明の一実施の形態に係る撮像装置が行うピント合わせ処理の概要を示すフローチャートである。

以下、添付図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。

図１は、本発明の一実施の形態に係る撮像装置の構成を示すブロック図である。同図に示す撮像装置１は、自身が備える表示部が表示する画像から指定された複数の領域を並行して撮影する機能（マルチレコーディング機能）を有する。撮像装置１は、本体部２と、本体部２に着脱自在なレンズ部３と、を備える。また、撮像装置１の本体部２には、アクセサリ部４を着脱自在に取付可能である。

本体部２は、シャッタ１０と、シャッタ駆動部１１と、撮像素子１２と、撮像素子駆動部１３と、信号処理部１４と、Ａ／Ｄ変換部１５と、画像処理部１６と、ＡＥ処理部１７と、ＡＦ処理部１８と、画像圧縮展開部１９と、入力部２０と、表示部２１と、表示駆動部２２と、記録媒体２３と、メモリＩ／Ｆ２４と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）２５と、Ｆｌａｓｈメモリ２６と、本体通信部２７と、第２通信部２８と、制御部２９と、を備える。本体部２内部のデータの転送は、バス２Ｂを介して行われる。

シャッタ１０は、撮像素子１２の状態を露光状態または遮光状態に設定する。シャッタ駆動部１１は、ステッピングモータ等を用いて構成され、制御部２９から入力される指示信号に応じてシャッタ１０を駆動する。

撮像素子１２は、レンズ部３が集光した光を受光して電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いて構成される。撮像素子駆動部１３は、所定のタイミングで撮像素子１２から画像データ（アナログ信号）を信号処理部１４に出力させる。この意味で、撮像素子駆動部１３は、電子シャッタとして機能する。

信号処理部１４は、撮像素子１２から入力されるアナログ信号に対して、アナログ処理を施してＡ／Ｄ変換部１５に出力する。具体的には、信号処理部１４は、アナログ信号に対して、ノイズ低減処理およびゲインアップ処理等を行う。例えば、信号処理部１４は、アナログ信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。

Ａ／Ｄ変換部１５は、信号処理部１４から入力されるアナログ信号に対してＡ／Ｄ変換を行うことによってデジタルの画像データを生成し、ＳＤＲＡＭ２５に出力する。

画像処理部１６は、ＳＤＲＡＭ２５から画像データを取得し、取得した画像データ（ＲＡＷデータ）に対して各種の画像処理を行って処理画像データを生成する。この処理画像データは、ＳＤＲＡＭ２５に出力される。

画像処理部１６は、入力部２０から入力された信号に基づいて表示画像内の切出し領域を決定する切出し処理部１６１を有する。また、画像処理部１６は、画像データに対して、少なくとも、オプティカルブラック減算処理、ホワイトバランス（ＷＢ）調整処理、撮像素子がベイヤー配列の場合には画像データの同時化処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理およびエッジ強調処理等を含む基本の画像処理を行う。

ＡＥ処理部１７は、ＳＤＲＡＭ２５に記録された画像データを取得し、取得した画像データに基づいて、静止画撮影または動画撮影を行う際の露出条件を設定する。具体的には、ＡＥ処理部１７は、画像データから輝度を算出し、算出した輝度に基づいて、例えば絞り値（Ｆ値）の設定値、シャッタ速度等を決定することで撮像装置１の自動露出を行う。

ＡＦ処理部１８は、ＳＤＲＡＭ２５に記録された画像データを取得し、取得した画像データに基づいて、撮像装置１の自動焦点の調整を行う。例えば、ＡＦ処理部１８は、画像データから高周波成分の信号を取り出し、高周波成分の信号に対してＡＦ（Auto Focus）演算処理（コントラストＡＦ処理と呼ばれることもある）を行うことによって、撮像装置１の合焦評価を決定することで撮像装置１の自動焦点の調整を行う。

画像圧縮展開部１９は、ＳＤＲＡＭ２５から画像データを取得し、取得した画像データに対して所定の形式に従って圧縮し、この圧縮した画像データをＳＤＲＡＭ２５に出力する。ここで、所定の形式としては、ＪＰＥＧ（Joint Photographic Experts Group）方式、ＭｏｔｉｏｎＪＰＥＧ方式およびＭＰ４（Ｈ．２６４）方式等である。また、画像圧縮展開部１９は、バス２ＢおよびメモリＩ／Ｆ２４を介して記録媒体２３に記録された画像データ（圧縮画像データ）を取得し、取得した画像データを展開（伸長）してＳＤＲＡＭ２５に出力する。なお、記録媒体２３の代わりに撮像装置１の内部に記憶部を設けてもよい。

入力部２０は、表示部２１の表示画面上に重ねて設けられ、外部からの接触位置に応じた信号の入力を受け付けるタッチパネル２０１を有する。入力部２０は、タッチパネル２０１を含む操作信号入力用のユーザインターフェースを用いて実現される。このような入力部２０には、静止画撮影時の撮影信号の入力を受け付けるレリーズボタン、各種設定を切り替える操作ボタン、撮像装置１の各種設定を表示部２１に表示させるメニューボタン、動画撮影の指示を与える動画ボタンなどが含まれる。

表示部２１は、液晶または有機ＥＬ（Electro Luminescence）等からなる表示パネルを用いて構成される。表示駆動部２２は、ＳＤＲＡＭ２５が記憶する画像データまたは記録媒体２３が記憶する画像データを取得し、取得した画像データに対応する画像を表示部２１に表示させる。ここで、画像の表示には、撮影直後の画像データを所定時間（例えば３秒間）だけ表示するレックビュー表示、記録媒体２３に記録された画像データを再生する再生表示、および撮像素子１２が連続的に生成する画像データに対応するライブビュー画像を時系列に沿って順次表示するライブビュー表示等が含まれる。また、表示部２１は、撮像装置１の操作情報および撮影に関する情報を適宜表示する。

記録媒体２３は、撮像装置１の外部から装着されるメモリカード等を用いて構成される。記録媒体２３は、メモリＩ／Ｆ２４を介して撮像装置１に着脱自在に装着される。記録媒体２３には、その種類に応じた図示しない読み書き装置によって画像処理部１６や画像圧縮展開部１９が処理を施した画像データが書き込まれ、または読み書き装置によって記録媒体２３に記録された画像データが読み出される。また、記録媒体２３は、制御部２９の制御のもと、メモリＩ／Ｆ２４およびバス２Ｂを介して撮像プログラムおよび各種情報それぞれをＦｌａｓｈメモリ２６に出力してもよい。

ＳＤＲＡＭ２５は、揮発性メモリを用いて構成される。ＳＤＲＡＭ２５は、バス２Ｂを介してＡ／Ｄ変換部１５から入力される画像データ、画像処理部１６から入力される処理画像データおよび撮像装置１の処理中の情報を一時的に記憶する一次記憶部としての機能を有する。例えば、ＳＤＲＡＭ２５は、信号処理部１４、Ａ／Ｄ変換部１５およびバス２Ｂを介して、撮像素子１２が１フレーム毎に順次出力する画像データを一時的に記憶する。

Ｆｌａｓｈメモリ２６は、不揮発性メモリを用いて構成される。Ｆｌａｓｈメモリ２６は、プログラム記録部２６１と、コントラスト情報記録部２６２と、特徴情報記録部２６３とを有する。

プログラム記録部２６１は、撮像装置１を動作させるための各種プログラム、撮像プログラムおよびプログラムの実行中に使用される各種データおよび画像処理部１６による画像処理の動作に必要な各種パラメータ等を記録する。

コントラスト情報記録部２６２は、レンズ部３から受信した情報を用いて作成される焦点距離と絞りに応じて、マルチレコーディング（ＭＲ）を実行する際に必要なコントラスト情報を記録する。この情報は、レンズ部３からレンズ通信によって送信されてくる。

特徴情報記録部２６３は、切出し領域における特徴情報を記録する。この特徴情報は、例えば候補域に人物の顔が含まれる場合には、その顔の特徴情報（目、口、鼻、眉毛の位置、大きさ等）であり、人物の顔が含まれない場合には、その候補域に含まれる特徴的な色の情報である。

図２は、コントラスト情報記録部２６２が記録するコントラスト情報の例を示す図である。具体的には、図２は、絞り値（Ｆ値）が２．８の場合のコントラスト情報を示している。図２に示すテーブルＴｂにおいて、Ｃｉｊ（ｉ＝１〜３、ｊ＝０〜５）は、対応する焦点距離（図２では１４ｍｍ、２５ｍｍ、４２ｍｍ）と像高（図２では０、０．１ｄ、０．２ｄ、０．３ｄ、０．４ｄ、０．５ｄ。ここで、ｄは画面の対角線の長さ）の組合せにおけるコントラストのピーク値である。また、テーブルＴｂにおいて、Ｓｉｊ（ｉ＝１〜３、ｊ＝１〜５）は、コントラストの変化率である。より具体的には、ピーク値とピークの半値との間の光学系３０１の繰り出し量に対するコントラストの変化率である。例えば、焦点距離が１４ｍｍで像高が０．２ｄの場合、ピーク値はＣ１２であり、変化率はＳ１２である。なお、レンズ特性情報記録部３６１は、光学特性として、焦点距離および絞りに応じた像高と変調伝達関数（ＭＴＦ）との関係を記録しておいてもよい。また、基準波長およびその他の波長を考慮した誤差（収差量、スポットサイズ）と像高との関係や、画素数およびレンズ性能に応じた解像力（空間周波数）と像高との関係を記録しておいてもよい。

図３は、コントラスト情報を模式的に示す図であり、レンズ部３の繰り出し位置ＬＤとコントラストＣとの関係を示す図である。図３に示す曲線Ｋ１は、画面の中心におけるコントラストの変化を示すコントラスト曲線である。曲線Ｋ１のコントラストのピーク値はＣ１０であり、ピーク値とピーク値の半値とを結ぶ直線Ｌ１の傾きはＳ１０である。また、図３に示す曲線Ｋ２は、画面の周辺部（像高０．２ｄ）におけるコントラストの変化を示すコントラスト曲線である。曲線Ｋ２のコントラストのピーク値はＣ１２であり、ピーク値とピーク値の半値とを結ぶ直線Ｌ２の傾きはＳ１２である。

図３からも明らかなように、画面の中心と周辺部とでは、コントラストのピーク値が異なるとともに、コントラスト曲線の変化率も異なる。これは、画面の周辺部では、光学系３１の軸外収差の影響で、特に小型化を重視した設計などの場合、画面の中心と同様にコントラストを高くすることが困難であるからである。このように、撮影レンズのズーム位置、ピント位置、絞りなどの撮影条件によっては、光学系３１の特性は、収差の影響を受けやすい。特に、本実施の形態の特徴であるマルチレコーディング技術（画面全体のみならず、画面中心部の一部、周辺部の一部を切出して複数種類の撮影を行う技術）においては、画面のあらゆる部分を均等に扱うため、このような光学性能の差異がある場合、それを考慮した扱いが重要となる。

特徴情報記録部２６３は、選択された候補域における特徴情報を記録する。この特徴情報は、例えば候補域に人物の顔が含まれる場合には、その顔の特徴情報（目、口、鼻、眉毛の位置、大きさ等）であり、人物の顔が含まれない場合には、その候補域に含まれる特徴的な色の情報である。

本体通信部２７は、本体部２に装着されたレンズ部３との通信を行うための通信インターフェースである。本体通信部２７には、レンズ部３との電気的な接点も含まれる。

第２通信部２８は、本体部２に装着されたアクセサリ部４との通信を行うためのインターフェースである。第２通信部２８には、アクセサリ部４との電気的な接点も含まれる。図１に示す場合、アクセサリ部４として電子ビューファインダを装着した場合を示している。このため、アクセサリ部４は、本体部２との通信インターフェースである通信部４１と、通信部４１を介して受信した画像情報を表示する接眼表示部４２とを有する。なお、本体部２には、電子ビューファインダ以外のアクセサリ部も装着可能である。このようなアクセサリ部として、補助光を投射するエレクトロニックフラッシュを挙げることができる。

制御部２９は、ＣＰＵ（Central Processing Unit）等を用いて構成される。制御部２９は、撮像した画像に含まれる人物の顔を検出する顔検出部２９１と、記録する画像のピント位置を判定するピント位置判定部２９２と、ピント位置判定部２９２の判定結果等をもとにピント制御を行うピント制御部２９３と、タッチパネル２０１から受信した信号に応じたタッチ位置を検出するタッチ検出部２９４と、表示部２１の表示態様を制御する表示制御部２９５と、を有する。制御部２９は、バス２Ｂを介して撮像装置１を構成する各部に対して制御信号や各種データの送信を行うことにより、撮像装置１の動作を統括的に制御する。

ピント制御部２９３は、コントラスト情報記録部２６２が記録するコントラスト情報を参照して、切出し領域におけるピント位置を調整する制御を行う。より具体的には、ピント制御部２９３は、切出し領域におけるコントラストの劣化に応じてピント位置の調整を行う。

制御部２９は、入力部２０から撮影動作の開始信号が入力された場合、撮影動作を開始する制御を行う。ここで、撮影動作とは、シャッタ駆動部１１および撮像素子駆動部１３の駆動によって撮像素子１２が出力した画像データに対し、信号処理部１４、Ａ／Ｄ変換部１５および画像処理部１６が所定の処理を施す動作をいう。このように処理が施された画像データは、制御部２９の制御のもと、画像圧縮展開部１９で所定の形式にしたがって圧縮され、バス２ＢおよびメモリＩ／Ｆ２４を介して記録媒体２３に記録される。なお、記録媒体２３とは別に撮像装置１の内部に所定の記録領域を確保し、この記録領域に圧縮した画像データを記憶するようにしてもよい。

以上の構成を有する本体部２に対して、音声入出力部、被写体に対して補助光（フラッシュ）を発光する補助光発光部、インターネットを介して外部の装置と双方向に通信を行う機能を有する通信部などをさらに設けてもよい。

次に、レンズ部３の構成を説明する。レンズ部３は、光学系３１と、レンズ駆動部３２と、絞り３３と、絞り駆動部３４と、レンズ操作部３５と、レンズＦｌａｓｈメモリ３６と、レンズ通信部３７と、レンズ制御部３８と、を備える。

光学系３１は、一または複数のレンズを用いて構成される。光学系３１は、所定の視野領域から光を集光する。光学系３１は、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。

レンズ駆動部３２は、ＤＣモータまたはステッピングモータ等を用いて構成され、光学系３１のレンズを光軸Ｌ上で移動させることにより、光学系３１のピント位置や画角等の変更を行う。

絞り３３は、光学系３１が集光した光の入射量を制限することにより露出の調整を行う。
絞り駆動部３４は、ステッピングモータ等を用いて構成され、絞り３３を駆動する。

レンズ操作部３５は、例えばレンズ部３のレンズ鏡筒の周囲に設けられるリングであり、レンズ部３における光学ズームの操作を開始する操作信号の入力、またはレンズ部３におけるピント位置の調整を指示する指示信号の入力を受け付ける。なお、レンズ操作部３５は、プッシュ式のスイッチ等であってもよい。

レンズＦｌａｓｈメモリ３６は、光学系３１の光学特性に関する情報を記録するレンズ特性情報記録部３６１を有する。また、レンズＦｌａｓｈメモリ３６は、光学系３１の位置および動きを決定するための制御用プログラムおよび各種パラメータを記録する。

レンズ特性情報記録部３６１は、コントラスト情報を記録する。記録している内容は、図２と同様の内容である。

レンズ通信部３７は、レンズ部３が本体部２に装着されたときに、本体部２の本体通信部２７と通信を行うための通信インターフェースである。レンズ通信部３７には、本体部２との電気的な接点も含まれる。

レンズ制御部３８は、ＣＰＵ（Central Processing Unit）等を用いて構成される。レンズ制御部３８は、レンズ操作部３５の操作信号または本体部２からの指示信号に応じてレンズ部３の動作を制御する。レンズ制御部３８は、本体部２の制御部２９との間で所定の周期でレンズ通信信号を送受信することによって、本体部２との動作の連携を図っている。具体的には、レンズ制御部３８は、レンズ通信信号に含まれるレンズ操作部３５の操作信号に応じて、レンズ駆動部３２を駆動させてレンズ部３のピント合わせやズーム変更を行うとともに、絞り駆動部３４を駆動させて絞り値の変更を行う。レンズ制御部３８は、レンズ部３が本体部２に装着された際に、レンズ特性情報、ピント位置情報、焦点距離およびレンズ部３を識別する固有情報等を本体部２に送信する。

図４は、制御部２９とレンズ制御部３８との同期通信の一例を示すタイミングチャートである。図４（ａ）は本体部２内の処理を示している。図４（ｂ）は垂直同期信号を示している。図４（ｃ）は撮像、読み出しのタイミングを示している。図４（ｄ）はレンズ通信を示している。図４（ｅ）はレンズ通信同期信号を示している。図４（ｆ）はレンズ位置取得信号を示している。図４（ｇ）はレンズ部３内の処理を示している。

まず、制御部２９は、前フレームで取得した画像データによりライブビュー画像の画像処理およびＡＦ評価値の算出等を画像処理部１６に実行させるとともに、レンズ制御部３８にレンズ状態データを取得するためのレンズ状態データ要求コマンドを送信する（Ｂ１、ＢＬ）。この際、制御部２９は、同期通信モード中に、垂直同期信号と同じ周期でレンズ通信用の同期信号および光学系３１の位置情報を取得するタイミングを指示するレンズ位置取得信号を送信する。このレンズ位置取得信号は、図４（ｃ）に示すように撮像素子１２の中央部の蓄積時間の１／２が経過した時点で状態が変化する信号である。

レンズ制御部３８は、レンズ位置取得信号の状態が変化したタイミングで光学系３１の位置情報を取得するとともに、レンズ通信同期信号の受信タイミングでレンズ操作部３５の操作状態を検出する（Ｌ１）。

続いて、レンズ制御部３８は、制御部２９から受信したレンズ状態データ要求コマンドへの応答として、工程Ｌ１で取得した光学系３１の位置情報およびレンズ操作部３５の操作状態を含むレンズ状態データを制御部２９へ送信する（Ｌ２）。

この後、制御部２９は、レンズ制御部３８から送られてきたレンズ状態データに基づいて、ＡＦ評価値の算出や、露出値の変更等の各種設定変更を行う（Ｂ２）。

図５は、以上の構成を有する撮像装置１が行うマルチレコーディング処理の特徴を説明する図である。図５において、表示部２１には、複数の人物を同時に撮影しているスルー画像１００が表示されている。破線領域Ａは、ユーザが候補域（切出し領域）として表示部２１上のタッチパネル２０１をタッチすることによって設定される領域である。このように、撮像装置１においては、全体の画像の中から一または複数の候補域を選択し、この選択した候補域を切り出すことによって、あらかじめメイン画像として指定されている全画面領域の全体画像１０１とともに切出し画像（サブ画像）１０２を記録するマルチレコーディングを行うことが可能である。もちろん、全体画像から複数の画像を切出して、そのうちのいずれかをメイン画像とする一方、残りをサブ画像とすることも可能である。

図５に示す場合、ズーム位置、ピント位置、絞りなどの撮影条件によっては、レンズの特性が画面中心と周辺とで異なる場合がある。このような場合には、マルチレコーディングの際に切り出されるサブ画像１０２のピントがメイン画像１０１と同様に良好なピント状態にあるとは限らない。また、画面中心から切出した画像と、周辺から切出した画像でも同様である。特に、切り出した画像は拡大して表示されることがあるため、ピント状態が良好でない場合、画像の劣化が目立ってしまう可能性がある。周辺からの切出しでは、解像度やコントラストにおいてさらに不利になることは言うまでもない。

図６は、マルチレコーディング処理の問題点と本実施の形態における解決手法を模式的に示す図である。図６に示すコントラスト曲線Ｋ１、Ｋ２は、図３と同じものである。繰り出し位置ＬＤをＬＤ１に固定したままマルチレコーディングを行うことによって得られた周辺部の画像を拡大すると、周辺部では、図６の矢印Ａ１に相当する劣化が拡大によって強調される。一方、繰り出し位置ＬＤをＬＤ２に固定したままマルチレコーディングを行うことによって得られた画像の場合、中心部で図６の矢印Ａ２に相当する劣化が生じる。これらの劣化を比較した場合、中心部にピントを合わせた場合の周辺部における劣化の度合い（矢印Ａ１）は、周辺部にピントを合わせた場合の中心部における劣化の度合い（矢印Ａ２）よりも大きい。以下、説明を単純化するために、メイン画像が全画面領域である場合を説明するが、メイン画像を画面中心から切出した領域の画像とする場合にも、拡大率などを補正して同様の考え方で応用可能である。本実施の形態は、表示する画像および／または該画像から指定された複数の領域に応じて得られた画像間の画質のバランスを良くするものである。

以下、中心部にピントを合わせた場合の劣化の改善方法を説明する。本実施の形態では、サブ画像１０２の拡大率Ｍを考慮してピント位置を定める。ここでいう拡大率は、メイン画像１０１に対する１次元成分の比率である。例えば、サブ画像１０２が全画面の１／８の記録画素数（または面積）を有する場合、拡大率は√８≒２．８倍となる。

この場合、ピント制御部２９３は、繰り出し位置ＬＤを小さくして、コントラストＣが二つのコントラスト曲線Ｋ１、Ｋ２の交点の値となるようにする。コントラスト曲線Ｋ１のコントラスト値をＣ１とし、繰り出し位置をＬＤ１からΔＬＤだけ小さくすると、
Ｃ１＝Ｃ１０−Ｓ１０・ΔＬＤ ・・・（１）
が近似的に成立する。これに対して、コントラスト曲線Ｋ２のコントラスト値をＣ２とし、繰り出し位置ＬＤ２を式（１）と同じ位置まで大きくすると、
Ｃ２＝Ｃ１２−Ｓ１２・（ＬＤ１−ＬＤ２−ΔＬＤ） ・・・（２）
が近似的に成立する。このとき、サブ画像１０２の拡大率をＭとすると、
Ｃ２＝Ｍ・Ｃ１ ・・・（３）
が近似的に成立していることが望ましい。式（３）は、繰り出し位置ＬＤ２から繰り出し位置ＬＤ１の方にピントをずらした時の周辺ピークＣ１２からの劣化分が、繰り出し位置ＬＤ１から繰り出し位置ＬＤ２の方向にずらした時のＣ１０からの劣化よりＭ倍良好であることを意味している。この意味で、コントラスト情報に含まれる傾きは、コントラストの劣化係数に他ならない。

式（１）〜（３）により、繰り出し位置ＬＤ１からのシフト量ΔＬＤは、
ΔＬＤ＝Ｍ・Ｃ１０−Ｃ１２＋Ｓ１２・（ＬＤ１−ＬＤ２）／（Ｓ１２＋Ｍ・Ｓ１０）
・・・（４）
と計算される。このようにして、中心部と周辺部は拡大率によらず同等のコントラストを有することとなる。その結果、周辺部におけるコントラストが改善される（矢印Ａ３）。

図７は、撮像装置１が行う処理の概要を示すフローチャートである。まず、制御部２９は、本体部２の電源がオンになっているか否かを判定する（ステップＳ１０１）。電源がオンになっている場合（ステップＳ１０１：Ｙｅｓ）、撮像装置１はステップＳ１０２へ移行する。一方、電源がオンになっていない場合（ステップＳ１０１：Ｎｏ）、撮像装置１はステップＳ１０１を繰り返す。

続いて、撮像装置１は、本体部２とレンズ部３との間で起動時のレンズ通信を行う（ステップＳ１０２）。このレンズ通信の際、レンズ部３は、レンズ特性情報を本体部２へ送信する。

続いて、制御部２９は、撮像装置１が撮影モードに設定されているかを判定する（ステップＳ１０３）。判定の結果、撮影モードに設定されている場合（ステップＳ１０３：Ｙｅｓ）、サブ画像を２回指定済であるか否かを判定する（ステップＳ１０４）。判定の結果、サブ画像を２回指定済でない場合（ステップＳ１０４：Ｎｏ）、本体部２とレンズ部３との間でレンズ通信を行い（ステップＳ１０５）、その通信結果に基づいて、ＡＥ処理部１７によるＡＥ処理およびＡＦ処理部１８によるＡＦ処理を行う（ステップＳ１０６）。ステップＳ１０５におけるレンズ通信は、例えば図４を参照して説明したように行われる。また、ステップＳ１０６におけるＡＥ処理は、画面全体の平均測光によって行う。また、ステップＳ１０６におけるＡＦ処理は、中央部に近い被写体に対して行う。なお、ここでのＡＦ処理はあくまでも一例であり、複数点を見て一番近い繰り出し位置にピント合わせをしてもよい。

サブ領域を２回指定済みである場合（ステップＳ１０４：Ｙｅｓ）、撮像装置１は後述するステップＳ１０７へ移行する。

この後、表示制御部２９５は、表示部２１のスルー画を表示させる制御を行う（ステップＳ１０７）。

続いて、制御部は、ＭＲ領域へのタッチの有無を判定する（ステップＳ１０８）。タッチがされた場合（ステップＳ１０８：Ｙｅｓ）、ピント位置判定部２９２は、タッチ部分のピント位置を判定する（ステップＳ１０９）。

続いて、撮像装置１はＭＲ領域設定処理を行う（ステップＳ１１０）。
図８は、ＭＲ領域設定処理の概要を示すフローチャートである。まず、タッチ検出部２９４がタッチパネル２０１のタッチ入力操作を検出した場合（ステップＳ２０１：Ｙｅｓ）、表示制御部２９５は、表示部２１に候補域を表示させる（ステップＳ２０２）。

ステップＳ２０２の後、顔検出部２９１が候補域内に顔を検出した場合（ステップＳ２０３：Ｙｅｓ）、検出した顔の特徴をＦｌａｓｈメモリ２６に記録する（ステップＳ２０４）。ここでの顔の特徴量は、例えば顔の高さ、幅、目、口、鼻、眉毛の位置などに関する情報などである。

続いて、切出し処理部１６１は、顔を含む所定領域の切出しを行う（ステップＳ２０５）。図９は、顔を含む所定領域の切出し例を示す図である。図９では、被写体４０１の顔４０２の高さＨを基準として所定のアスペクト比で切出しを行う場合を示している。具体的には、切出し処理部１６１は、顔４０２の高さＨを基準として、その高さと同じ分だけ顔４０２の下方を含み、かつ顔４０２の高さに基づいて定められる値Ｋだけ上下に広げた画像を切出す。

この後、撮像装置１は、ＭＲ操作によって指定された候補域における特徴部の追尾を開始する（ステップＳ２０６）。具体的には、候補域に顔が含まれる場合には、顔の追尾を行う。

その後、タッチ検出部２９４がタッチパネル２０１におけるスライド動作を検出した場合（ステップＳ２０７：Ｙｅｓ）、表示制御部２９５は、そのスライドの終了位置に応じた候補域を表示部２１に再表示させる（ステップＳ２０８）。一方、タッチ検出部２９４がタッチパネル２０１におけるスライド動作を検出しない場合（ステップＳ２０７：Ｎｏ）、撮像装置１はＭＲ領域設定処理を終了する。

ステップＳ２０３で候補領域内に顔がない場合（ステップＳ２０３：Ｎｏ）を説明する。この場合、制御部２９は、タッチされた領域の特徴色を記録する（ステップＳ２０９）。ここでの特徴色は、例えばタッチ領域の中で最も面積が大きい色とすればよい。

ステップＳ２０９に続いて、切出し処理部１６１は、特徴色を含む所定領域の切出し処理を行う（ステップＳ２１０）。具体的には、切出し処理部１６１は、特徴色部分が画面の中心に位置するように所定のアスペクト比で切出しを行う。この後、撮像装置１は、ステップＳ２０６へ移行する。この場合の特徴部は、特徴色を有している部分である。

以上説明したステップＳ１１０のＭＲ領域設定処理の後、制御部２９は特徴部を追尾する（ステップＳ１１１）。ここでの特徴部は、ＭＲ領域設定処理で説明したように、顔または特徴色部分である。

この後、サブ画像の２回目の指定があれば（ステップＳ１１２：Ｙｅｓ）、最初のタッチをメインとし、２度目のタッチをサブとし、拡大率Ｍ＝１とする（ステップＳ１１３）。これは、メイン画像とサブ画像の大きさが等しくなることを意味している。すなわち、サブ画像が２回指定された場合、複数の領域（メイン画像とサブ画像）がともに切出し画像となる。この場合、画面全体がＭＲの対象とはならない。

２回目の指定がない場合（ステップＳ１１２：Ｎｏ）、１回目として指定されたサブ画像を生成し、拡大率をＭ＝２．８（≒√８）とする（ステップＳ１１４）。ここでの拡大率は、サブ画像の記録画素数（または面積）がメイン画像の記録画素数（または面積）の１／Ｍであることを前提としており、あくまでも一例に過ぎない。なお、図７ではサブ画像の指定を２回までとしているが、これはあくまでも一例に過ぎず、サブ画像を２回以上指定できるようにしてもよい。

ステップＳ１１３またはＳ１１４の後、ピント制御部２９３は、画面内位置の差異を考慮してピント合わせを行う（ステップＳ１１５）。
図１０は、ピント合わせ処理の概要を示すフローチャートである。ピント制御部２９３は、まずメイン画像のピント合わせ位置を像高に換算する（ステップＳ３０１）。続いて、ピント制御部２９３は、コントラスト情報記録部２６２からメイン画像のコントラストデータを読み出す（ステップＳ３０２）。

ピント制御部２９３は、サブ画像についても、メイン画像と同様に、ピント合わせ位置の像高への換算（ステップＳ３０３）、およびコントラスト情報記録部２６２からのサブ画像のコントラストデータの読み出し（ステップＳ３０４）を行う。なお、ピント制御部２９３が、ステップＳ３０１、Ｓ３０２とステップＳ３０３、Ｓ３０４との処理を並行して行うようにしてもよいし、上述した順序と逆の順序で行うようにしてもよい。

この後、ピント制御部２９３は、メイン画像およびサブ画像のコントラストデータを用いて、上述した式（４）にしたがってピント補正のための光学系３０１の繰り出し位置のシフト量ΔＬＤを算出する（ステップＳ３０５）。

続いて、ピント制御部２９３は、式（４）で得たΔＬＤを式（１）へ代入し、曲線Ｋ１のコントラスト値Ｃ１（＝Ｃ１０−Ｓ１０・ΔＬＤ）が所定値以下であるか否かを判定する（ステップＳ３０６）。コントラスト値Ｃ１が所定値以下である場合（ステップＳ３０６：Ｙｅｓ）、ピント制御部２９３は、絞りを変更し（ステップＳ３０７）、光学系３０１の繰り出し位置をＬＤ１からΔＬＤだけＬＤ２側へシフトさせることによってピント合わせを行う（ステップＳ３０８）。このような工夫によって、マルチレコーディングを行う際、メイン画像、サブ画像をともに良好な解像感、コントラスト感、見栄え、画質を有する撮影が可能となる。また、このような工夫を行うことにより、マルチレコーディングで画面周辺部の切出し領域の撮影を行う時と行わない時とでピント位置が変化するため、ユーザは、上述した解像感等を確認することができる。また、サブ画像の拡大率および画面内の位置、ならびに絞りの状態等によってもピント位置が変化するため、ユーザはこの場合にも差異を認識することができる。

ステップＳ３０６において、コントラスト値Ｃ１が所定値よりも大きい場合（ステップＳ３０６：Ｎｏ）、ピント制御部２９３はステップＳ３０８へ移行する。

ステップＳ１１５に続く処理を説明する。撮影操作が行われた場合（ステップＳ１１６：Ｙｅｓ）、制御部２９は、ステップＳ１０６〜Ｓ１１５の処理に基づいて定められた絞り値とする制御を行う（ステップＳ１１７）。続いて、撮像装置１は、画像を撮影して記録媒体２３へ記録する（ステップＳ１１８）。

ステップＳ１１８の後、電源をオフする操作が行われた場合（ステップＳ１１９：Ｙｅｓ）、撮像装置１は、一連の処理を終了する。一方、電源をオフする操作が行われない場合（ステップＳ１１９：Ｎｏ）、撮像装置１はステップＳ１０３へ戻る。

次に、ステップＳ１０３において、制御部２９が、撮影モードに設定されていないと判定した場合を説明する（ステップＳ１０３：Ｎｏ）。この場合において、再生モードが設定されているとき（ステップＳ１２０：Ｙｅｓ）、表示制御部２９５は所定の画像を再生する（ステップＳ１２１）。

その後、入力部２０によって再生画像の変更指示が入力された場合（ステップＳ１２２：Ｙｅｓ）、表示制御部２９５は変更指示にしたがって画像を変更して再生を行う（ステップＳ１２３）。これに対して、入力部２０によって再生画像の変更指示が入力されない場合（ステップＳ１２２：Ｎｏ）、撮像装置１はステップＳ１１９へ移行する。

ステップＳ１２０で再生モードが設定されていない場合（ステップＳ１２０：Ｎｏ）、撮像装置１は、ステップＳ１１９へ移行する。

以上説明した本発明の一実施の形態によれば、光学系の特性情報にしたがってピント位置を調整する制御を行うため、マルチレコーディングの際にピント状態が不利になりやすい画像のピントを調整することができる。したがって、一つの画像から生成される複数の画像のピント状態を適切に調整することが可能となる。

（その他の実施の形態）
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した一実施の形態によってのみ限定されるべきものではない。

本発明において使用するコントラスト情報は、レンズ部が記録しているもの以外でもよい。例えば、本発明において、撮像装置は、切出し領域を指定するタッチ位置のＡＦ動作を行った時のコントラストの変化をモニタしながらコントラスト曲線を作成し、この作成したコントラスト曲線を用いて上述した処理を行うようにしてもよい。

また、本発明は、静止画撮影だけでなく動画撮影にも適用することが可能である。

また、本発明におけるＡＦの方法はコントラストを用いるものに限られるわけではなく、例えば位相差ＡＦを適用することも可能である。

なお、図７に示すフローチャートでは、電源がオンされた後の起動時レンズ通信の際、レンズ部３がレンズ特性情報を本体部２へ送信していたが、レンズ部３がレンズ特性情報を本体部２へ送信する送信タイミングはこれに限られるわけではない。例えば、撮影モードに入った直後のレンズ通信時を送信タイミングとしてもよい。また、ＭＲ有効領域を選択するタッチ操作が行われた直後に本体部２がレンズ部３へレンズ特性情報の送信要求を送信し、その応答としてレンズ部３がレンズ特性情報を送信するようにしてもよい。

また、本発明においては、撮像装置の本体部とレンズ部とが一体的に形成されていてもよい。

また、本発明に係る撮像装置は、デジタル一眼レフカメラ以外にも、例えばアクセサリ等を装着可能なデジタルカメラ、デジタルビデオカメラおよび撮影機能を有する携帯電話やタブレット型携帯機器等の電子機器にも適用することができる。

本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。

このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。

１ 撮像装置
２ 本体部
２Ｂ バス
３ レンズ部
４ アクセサリ部
１２ 撮像素子
１６ 画像処理部
１９ 画像圧縮展開部
２０ 入力部
２１ 表示部
２２ 表示駆動部
２３ 記録媒体
２６ Ｆｌａｓｈメモリ
２７ 本体通信部
２８ 第２通信部
２９ 制御部
３１ 光学系
３５ レンズ操作部
３６ レンズＦｌａｓｈメモリ
３７ レンズ通信部
３８ レンズ制御部
４１ 通信部
４２ 接眼表示部
１００ スルー画像
１６１ 切出し処理部
２６１ プログラム記録部
２６２ コントラスト情報記録部
２６３ 特徴情報記録部
２９１ 顔検出部
２９２ ピント位置判定部
２９３ ピント制御部
２９４ タッチ検出部
２９５ 表示制御部
３６１ レンズ特性情報記録部
４０１ 被写体
４０２ 顔
Ｋ１、Ｋ２ コントラスト曲線
Ｔｂ テーブル

Claims (8)

1. 被写体からの光を集光して結像する光学系と、該光学系が結像した光を光電変換することによって画像データを生成する撮像素子と、前記画像データに対応する画像を表示可能な表示部とを備え、前記表示部が表示する画像から指定された複数の領域を切り出して複数種類の撮影を行うマルチレコーディング機能を有する撮像装置であって、
   切り出された複数の領域の像高に応じた値を有する特性情報にしたがって、全体画像におけるピント位置を調整する制御を行うピント制御部を備え、
   前記ピント制御部によりピント位置を調整して全体画像を撮影することを特徴とする撮像装置。
2. 前記特性情報は、像高に応じたコントラストに関する情報であり、
   前記ピント制御部は、
   前記光学系の繰り出し位置に応じた前記複数の領域の各々における前記コントラストに基づいて、前記画像の中心部と周辺部が同等のコントラストを有するように前記ピント位置を調整する制御を行うことを特徴とする請求項１に記載の撮像装置。
3. 前記撮像素子、前記表示部、および前記ピント制御部を含む本体部と、
   前記光学系、および撮影条件に応じた前記光学系の特性情報を記録する特性情報記録部を含み、前記本体部との間で通信可能であるとともに前記本体部に対して着脱自在であるレンズ部と、
   を有し、
   前記撮影条件は、焦点距離および絞りに関する条件を含み、
   前記ピント制御部は、
   前記レンズ部から受信した前記特性情報にしたがって前記ピント位置を調整する制御を行うことを特徴とする請求項１または２に記載の撮像装置。
4. 前記領域を指定する信号の入力を受け付ける入力部と、
   前記入力部が前記信号の入力を受け付けた場合、該信号に対応する前記領域のピント位置を検出するピント位置検出部と、
   をさらに備えたことを特徴とする請求項１〜３のいずれか一項に記載の撮像装置。
5. 前記入力部は、
   前記表示部の表示画面に重ねて設けられるタッチパネルであることを特徴とする請求項４に記載の撮像装置。
6. 前記入力部が前記領域を指定する信号の入力を受け付けた場合、指定された領域のピント位置を判定するピント位置判定部と、
   前記指定された領域内の顔または特徴色に基づいて領域の切出しを行う切出し処理部と、
   をさらに備え、
   前記ピント制御部は、
   前記複数の領域のいずれかをメイン画像、残りをサブ画像とし、該メイン画像と該サブ画像の大きさを等しくするように該サブ画像の拡大率を設定し、該拡大率を用いて前記ピント位置を調整することを特徴とする請求項４または５に記載の撮像装置。
7. 被写体からの光を集光して結像する光学系と、該光学系が結像した光を光電変換することによって画像データを生成する撮像素子と、前記画像データに対応する画像を表示可能な表示部とを備え、前記表示部が表示する画像から指定された複数の領域を切り出して複数種類の撮影を行うマルチレコーディング機能を有する撮像装置が行う撮像方法であって、
   切り出された複数の領域の像高に応じた値を有する特性情報にしたがって、全体画像におけるピント位置を調整して全体画像を撮影することを特徴とする撮像方法。
8. 被写体からの光を集光して結像する光学系と、該光学系が結像した光を光電変換することによって画像データを生成する撮像素子と、前記画像データに対応する画像を表示可能な表示部とを備え、前記表示部が表示する画像から指定された複数の領域を切り出して複数種類の撮影を行うマルチレコーディング機能を有する撮像装置に、
   切り出された複数の領域の像高に応じた値を有する特性情報にしたがって、全体画像におけるピント位置を調整して全体画像を撮影させることを特徴とする撮像プログラム。

Images