JP5855454B2

JP5855454B2 - 撮像装置

Info

Publication number: JP5855454B2
Application number: JP2011289809A
Authority: JP
Inventors: 加藤　茂; 茂加藤; 野中　修; 修野中
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2011-12-28
Filing date: 2011-12-28
Publication date: 2016-02-09
Anticipated expiration: 2031-12-28
Also published as: CN105959568B; US20130169849A1; US8922693B2; CN105959568A; CN103188440B; CN103188440A; JP2013141086A

Description

本発明は、被写体を撮像して該被写体の画像データを生成する撮像装置に関する。

従来、一つの撮影画像から２個の異なる画像を生成し、両画像を１画面分の画像に合成して表示することができるカメラが知られている（例えば、特許文献１を参照）。この技術では、撮影画面内の一部領域である第１の領域の画像信号と、第１の領域に含まれる第２の領域の画像信号とを抽出し、第２の領域の画像信号を第１の領域をのぞいた領域のサイズに拡大して第１の領域の画像信号と合成することにより、１画面分の表示用の画像信号を生成する。

特開平５−２５２４４０号公報

しかしながら、上述した特許文献１に記載の従来技術では、焦点距離や絞り等の撮影条件によっては画面周辺部で光学性能が劣化する場所が生じる可能性があり、画質のよい画像を常に得ることができるとは限らなかった。

本発明は、上記に鑑みてなされたものであって、撮影条件によらずに一つの画像から画質に優れた複数の画像を生成することができる撮像装置を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、被写体からの光を集光して結像する光学系と、該光学系が結像した光を光電変換することによって画像データを生成する撮像素子と、前記画像データに対応する画像を表示可能な表示部とを備え、前記表示部が表示する画像および該画像中で指定された切出し領域を並行して撮影可能な撮像装置であって、前記表示部の表示画面に重ねて設けられ、外部からの接触位置に応じた信号の入力を受け付ける入力部と、撮影条件に応じた前記光学系の特性情報に基づいて、前記入力部からの信号の入力によって前記切出し領域の設定を行うことが可能な有効領域を判定する有効領域判定部と、前記有効領域判定部の判定結果にしたがって前記有効領域の境界を示す情報を前記表示部に表示させる表示制御部と、を備えたことを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記撮影条件は、焦点距離および絞りに関する条件を含み、前記特性情報は、撮影像高に応じた値を有することを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記特性情報は、変調伝達関数、波長に基づく誤差、および解像力のいずれかであることを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記撮像素子、前記表示部、前記入力部、前記有効領域判定部および前記表示制御部を含む本体部と、前記光学系、および撮影条件に応じた前記光学系の特性情報を記録する特性情報記録部を含み、前記本体部との間で通信可能であるとともに前記本体部に対して着脱自在であるレンズ部と、を有し、前記有効領域判定部は、前記レンズ部から受信した前記特性情報をもとに前記有効領域を判定するための参照情報を生成することを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記特性情報のうち前記参照情報の生成に使用可能な情報は、記録画素数に応じて異なることを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記有効領域の境界は、前記参照情報によって定められることを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記表示制御部は、前記入力部からの信号の入力によって設定された前記切出し領域の一部が前記有効領域に含まれない場合、該切出し領域の全域が前記有効領域内に含まれるように該切出し領域を画面上でシフトして前記表示部に表示させることを特徴とする。

また、本発明に係る撮像装置は、上記発明において、前記表示制御部は、前記入力部からの信号の入力位置が前記有効領域の外部である場合、前記表示部に警告を表示させることを特徴とする。

本発明によれば、撮影条件に応じた光学系の特性情報に基づいて、入力部からの信号の入力によって切出し領域の設定を行うことが可能な有効領域を判定する有効領域判定部と、この有効領域判定部の判定結果にしたがって有効領域の境界を示す情報を前記表示部に表示させる表示制御部と、を備えるため、ユーザは光学系の特性情報に基づいた切出し領域の設定を行うことができる。したがって、撮影条件によらずに一つの画像から画質に優れた複数の画像を生成することが可能となる。

図１は、本発明の一実施の形態に係る撮像装置の構成を示すブロック図である。図２は、本発明の一実施の形態に係る撮像装置の本体部が記録するマルチレコーディング有効領域判定用のテーブルの概要を示す図である。図３は、本発明の一実施の形態に係る撮像装置のレンズ部が記録する情報（第１例）の概要を示す図である。図４は、本発明の一実施の形態に係る撮像装置のレンズ部が記録する情報（第２例）の概要を示す図である。図５は、本発明の一実施の形態に係る撮像装置が備える制御部とレンズ制御部との同期通信の一例を示すタイミングチャートである。図６は、本発明の一実施の形態に係る撮像装置が行うマルチレコーディング処理の特徴を説明する図である。図７は、本発明の一実施の形態に係る撮像装置が行う処理の概要を示すフローチャートである。図８は、本発明の一実施の形態に係る撮像装置が行うマルチレコーディング有効領域判定処理の概要を示すフローチャートである。図９は、表示部における切取り枠の設定例を示す図である。図１０は、本発明の一実施の形態に係る撮像装置が行うマルチレコーディング領域設定処理の概要を示すフローチャートである。図１１は、本発明の一実施の形態に係る撮像装置が行う候補域の有効領域内へのシフト処理の概要を模式的に示す図である。図１２は、本発明の一実施の形態に係る撮像装置が行う顔を含む所定領域の切出し処理の概要を示す図である。図１３は、表示部における切取り枠の別な設定例を示す図である。図１４は、本発明の一実施の形態に係る撮像装置が動作撮影を行なう場合の処理の概要を示すフローチャートである。

以下、添付図面を参照して、本発明を実施するための形態（以下、「実施の形態」という）を説明する。

図１は、本発明の一実施の形態に係る撮像装置の構成を示すブロック図である。同図に示す撮像装置１は、本体部２と、本体部２に着脱自在なレンズ部３と、を備える。また、撮像装置１の本体部２には、アクセサリ部４を着脱自在に取付可能である。

本体部２は、シャッタ１０と、シャッタ駆動部１１と、撮像素子１２と、撮像素子駆動部１３と、信号処理部１４と、Ａ／Ｄ変換部１５と、画像処理部１６と、ＡＥ処理部１７と、ＡＦ処理部１８と、画像圧縮展開部１９と、入力部２０と、表示部２１と、表示駆動部２２と、記録媒体２３と、メモリＩ／Ｆ２４と、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）２５と、Ｆｌａｓｈメモリ２６と、本体通信部２７と、第２通信部２８と、制御部２９と、を備える。本体部２内部のデータの転送は、バス２Ｂを介して行われる。

シャッタ１０は、撮像素子１２の状態を露光状態または遮光状態に設定する。シャッタ駆動部１１は、ステッピングモータ等を用いて構成され、制御部２９から入力される指示信号に応じてシャッタ１０を駆動する。

撮像素子１２は、レンズ部３が集光した光を受光して電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を用いて構成される。撮像素子駆動部１３は、所定のタイミングで撮像素子１２から画像データ（アナログ信号）を信号処理部１４に出力させる。この意味で、撮像素子駆動部１３は、電子シャッタとして機能する。

信号処理部１４は、撮像素子１２から入力されるアナログ信号に対して、アナログ処理を施してＡ／Ｄ変換部１５に出力する。具体的には、信号処理部１４は、アナログ信号に対して、ノイズ低減処理およびゲインアップ処理等を行う。例えば、信号処理部１４は、アナログ信号に対して、リセットノイズ等を低減した上で波形整形を行い、さらに目的の明るさとなるようにゲインアップを行う。

Ａ／Ｄ変換部１５は、信号処理部１４から入力されるアナログ信号に対してＡ／Ｄ変換を行うことによってデジタルの画像データを生成し、ＳＤＲＡＭ２５に出力する。

画像処理部１６は、ＳＤＲＡＭ２５から画像データを取得し、取得した画像データ（ＲＡＷデータ）に対して各種の画像処理を行って処理画像データを生成する。この処理画像データは、ＳＤＲＡＭ２５に出力される。

画像処理部１６は、入力部２０から入力された信号に基づいて表示画像内の切出し領域を決定する切出し処理部１６１を有する。また、画像処理部１６は、画像データに対して、少なくとも、オプティカルブラック減算処理、ホワイトバランス（ＷＢ）調整処理、撮像素子がベイヤー配列の場合には画像データの同時化処理、カラーマトリクス演算処理、ガンマ補正処理、色再現処理およびエッジ強調処理等を含む基本の画像処理を行う。

ＡＥ処理部１７は、ＳＤＲＡＭ２５に記録された画像データを取得し、取得した画像データに基づいて、静止画撮影または動画撮影を行う際の露出条件を設定する。具体的には、ＡＥ処理部１７は、画像データから輝度を算出し、算出した輝度に基づいて、例えば絞り値（Ｆ値）の設定値、シャッタ速度等を決定することで撮像装置１の自動露出を行う。

ＡＦ処理部１８は、ＳＤＲＡＭ２５に記録された画像データを取得し、取得した画像データに基づいて、撮像装置１の自動焦点の調整を行う。例えば、ＡＦ処理部１８は、画像データから高周波成分の信号を取り出し、高周波成分の信号に対してＡＦ（Auto Focus）演算処理（コントラストＡＦ処理と呼ばれることもある）を行うことによって、撮像装置１の合焦評価を決定することで撮像装置１の自動焦点の調整を行う。

画像圧縮展開部１９は、ＳＤＲＡＭ２５から画像データを取得し、取得した画像データに対して所定の形式に従って圧縮し、この圧縮した画像データをＳＤＲＡＭ２５に出力する。ここで、所定の形式としては、ＪＰＥＧ（Joint Photographic Experts Group）方式、ＭｏｔｉｏｎＪＰＥＧ方式およびＭＰ４（Ｈ．２６４）方式等である。また、画像圧縮展開部１９は、バス２ＢおよびメモリＩ／Ｆ２４を介して記録媒体２３に記録された画像データ（圧縮画像データ）を取得し、取得した画像データを展開（伸長）してＳＤＲＡＭ２５に出力する。なお、記録媒体２３の代わりに撮像装置１の内部に記憶部を設けてもよい。

入力部２０は、表示部２１の表示画面上に重ねて設けられ、外部からの接触位置に応じた信号の入力を受け付けるタッチパネル２０１を有する。入力部２０は、タッチパネル２０１を含む操作信号入力用のユーザインターフェースを用いて実現される。このような入力部２０には、静止画撮影時の撮影信号の入力を受け付けるレリーズボタン、各種設定を切り替える操作ボタン、撮像装置１の各種設定を表示部２１に表示させるメニューボタン、動画撮影の指示を与える動画ボタンなどが含まれる。

表示部２１は、液晶または有機ＥＬ（Electro Luminescence）等からなる表示パネルを用いて構成される。表示駆動部２２は、ＳＤＲＡＭ２５が記憶する画像データまたは記録媒体２３が記憶する画像データを取得し、取得した画像データに対応する画像を表示部２１に表示させる。ここで、画像の表示には、撮影直後の画像データを所定時間（例えば３秒間）だけ表示するレックビュー表示、記録媒体２３に記録された画像データを再生する再生表示、および撮像素子１２が連続的に生成する画像データに対応するライブビュー画像を時系列に沿って順次表示するライブビュー表示等が含まれる。また、表示部２１は、撮像装置１の操作情報および撮影に関する情報を適宜表示する。

記録媒体２３は、撮像装置１の外部から装着されるメモリカード等を用いて構成される。記録媒体２３は、メモリＩ／Ｆ２４を介して撮像装置１に着脱自在に装着される。記録媒体２３には、その種類に応じた図示しない読み書き装置によって画像処理部１６や画像圧縮展開部１９が処理を施した画像データが書き込まれ、または読み書き装置によって記録媒体２３に記録された画像データが読み出される。また、記録媒体２３は、制御部２９の制御のもと、メモリＩ／Ｆ２４およびバス２Ｂを介して撮像プログラムおよび各種情報それぞれをＦｌａｓｈメモリ２６に出力してもよい。

ＳＤＲＡＭ２５は、揮発性メモリを用いて構成される。ＳＤＲＡＭ２５は、バス２Ｂを介してＡ／Ｄ変換部１５から入力される画像データ、画像処理部１６から入力される処理画像データおよび撮像装置１の処理中の情報を一時的に記憶する一次記憶部としての機能を有する。例えば、ＳＤＲＡＭ２５は、信号処理部１４、Ａ／Ｄ変換部１５およびバス２Ｂを介して、撮像素子１２が１フレーム毎に順次出力する画像データを一時的に記憶する。

Ｆｌａｓｈメモリ２６は、不揮発性メモリを用いて構成される。Ｆｌａｓｈメモリ２６は、プログラム記録部２６１と、テーブル記録部２６２と、特徴情報記録部２６３とを有する。プログラム記録部２６１は、撮像装置１を動作させるための各種プログラム、撮像プログラムおよびプログラムの実行中に使用される各種データおよび画像処理部１６による画像処理の動作に必要な各種パラメータ等を記録する。

テーブル記録部２６２は、レンズ部３から受信した情報を用いて作成される焦点距離と絞りに応じて、マルチレコーディング（ＭＲ）を実行可能な有効領域を判定するための参照情報を与えるテーブルを記録する。図２は、テーブル記録部２６２が記録するテーブルの概要を示す図である。同図に示すテーブルＴｂは、絞り値と焦点距離に応じた有効領域の像高を与える。例えば、絞りがＦ２．８で焦点距離が２．０ｍｍの場合の有効領域は、像高が０．８（画面の中心からの距離が対角端までの距離の８０％）である。また、絞りがＦ２．８で焦点距離が５８ｍｍの場合の有効領域は、像高が１．０すなわち全画面である。

一般に、レンズの特性は、焦点距離や絞り等の撮影条件によって、レンズの特性は、必ずしも画面の周辺部まで良好であるとは限らない。すなわち、周辺の光学的な性能が劣化する状況では、そのような劣化領域をマルチレコーディングの選択候補域（以下、単に候補域という）として使用することがないように、ユーザに対してマルチレコーディングが有効な領域を表示するようにする。テーブルＴｂは、撮像装置１（より具体的には後述する有効領域判定部２９２）が、画像から切出す切出し領域の設定を行うことが可能な有効領域であるＭＲ有効領域を判定するために参照するものである。なお、図２では焦点距離と絞りに応じた有効領域の判定を行うためのテーブルを与えているが、さらに被写体までの距離も条件に含めてテーブルを作成するようにしてもよい。

特徴情報記録部２６３は、選択された候補域における特徴情報を記録する。この特徴情報は、例えば候補域に人物の顔が含まれる場合には、その顔の特徴情報（目、口、鼻、眉毛の位置、大きさ等）である。また、候補域に人物の顔が含まれない場合には、その候補域に含まれる特徴的な色の情報などである。

本体通信部２７は、本体部２に装着されたレンズ部３との通信を行うための通信インターフェースである。本体通信部２７には、レンズ部３との電気的な接点も含まれる。

第２通信部２８は、本体部２に装着されたアクセサリ部４との通信を行うためのインターフェースである。第２通信部２８には、アクセサリ部４との電気的な接点も含まれる。図１に示す場合、アクセサリ部４として電子ビューファインダを装着した場合を示している。このため、アクセサリ部４は、本体部２との通信インターフェースである通信部４１と、通信部４１を介して受信した画像情報を表示する接眼表示部４２とを有する。なお、本体部２には、電子ビューファインダ以外のアクセサリ部も装着可能である。このようなアクセサリ部として、補助光を投射するエレクトロニックフラッシュを挙げることができる。

制御部２９は、ＣＰＵ（Central Processing Unit）等を用いて構成される。制御部２９は、撮像した画像に含まれる人物の顔を検出する顔検出部２９１と、テーブル記録部２６２が記録するテーブルを参照して画面内のＭＲ有効領域を判定する有効領域判定部２９２と、タッチパネル２０１から受信した信号に応じたタッチ位置を検出するタッチ検出部２９３と、表示部２９３の表示態様を制御する表示制御部２９４と、を有する。制御部２９は、バス２Ｂを介して撮像装置１を構成する各部に対して制御信号や各種データの送信を行うことにより、撮像装置１の動作を統括的に制御する。

有効領域判定部２９２は、レンズ部３から受信したレンズ特性情報（光学系の特性情報）に基づいて、ＭＲ有効領域を判定するための参照情報を生成し、テーブルとしてテーブル記録部２６２に書き込んで記録させる。

制御部２９は、入力部２０から撮影動作の開始信号が入力された場合、撮影動作を開始する制御を行う。ここで、撮影動作とは、シャッタ駆動部１１および撮像素子駆動部１３の駆動によって撮像素子１２が出力した画像データに対し、信号処理部１４、Ａ／Ｄ変換部１５および画像処理部１６が所定の処理を施す動作をいう。このように処理が施された画像データは、制御部２９の制御のもと、画像圧縮展開部１９で所定の形式にしたがって圧縮され、バス２ＢおよびメモリＩ／Ｆ２４を介して記録媒体２３に記録される。なお、記録媒体２３とは別に撮像装置１の内部に所定の記録領域を確保し、この記録領域に圧縮した画像データを記憶するようにしてもよい。

以上の構成を有する本体部２に対して、音声入出力部、被写体に対して補助光（フラッシュ）を発光する補助光発光部、インターネットを介して外部の装置と双方向に通信を行う機能を有する通信部などをさらに設けてもよい。

次に、レンズ部３の構成を説明する。レンズ部３は、光学系３１と、レンズ駆動部３２と、絞り３３と、絞り駆動部３４と、レンズ操作部３５と、レンズＦｌａｓｈメモリ３６と、レンズ通信部３７と、レンズ制御部３８と、を備える。

光学系３１は、一または複数のレンズを用いて構成される。光学系３１は、所定の視野領域から光を集光する。光学系３１は、画角を変化させる光学ズーム機能および焦点を変化させるフォーカス機能を有する。

レンズ駆動部３２は、ＤＣモータまたはステッピングモータ等を用いて構成され、光学系３１のレンズを光軸Ｌ上で移動させることにより、光学系３１のピント位置や画角等の変更を行う。

絞り３３は、光学系３１が集光した光の入射量を制限することにより露出の調整を行う。
絞り駆動部３４は、ステッピングモータ等を用いて構成され、絞り３３を駆動する。

レンズ操作部３５は、例えばレンズ部３のレンズ鏡筒の周囲に設けられるリングであり、レンズ部３における光学ズームの操作を開始する操作信号の入力、またはレンズ部３におけるピント位置の調整を指示する指示信号の入力を受け付ける。なお、レンズ操作部３５は、プッシュ式のスイッチ等であってもよい。

レンズＦｌａｓｈメモリ３６は、光学系３１の光学特性に関する情報を記録するレンズ特性情報記録部３６１を有する。また、レンズＦｌａｓｈメモリ３６は、光学系３１の位置および動きを決定するための制御用プログラムおよび各種パラメータを記録する。

図３および図４は、レンズ特性情報記録部３６が記録する情報の概要を模式的に示す図である。レンズ特性情報記録部３６は、光学特性として変調伝達関数（以下、「ＭＴＦ」という）に関する情報を記録する。具体的には、レンズ特性情報記録部３６は、焦点距離および絞りに応じた像高とＭＴＦとの関係を記録している。なお、図３および図４に示す関係はあくまでも一例に過ぎない。

図３は、絞りがＦ２．８の場合であり、図４は、絞りがＦ５．６の場合の関係を示している。図３において、曲線Ｃ₁、Ｃ₂、Ｃ₃は、それぞれ焦点距離が１４ｍｍ、２５ｍｍ、４２ｍｍの場合の像高とＭＴＦとの関係を与える曲線である。また、図４において、曲線Ｃ₄、Ｃ₅、Ｃ₆は、それぞれ焦点距離が１４ｍｍ、２５ｍｍ、４２ｍｍの場合の像高とＭＴＦとの関係を与える曲線である。

まず、絞りがＦ２．８の場合を具体的に説明する。
焦点距離１４ｍｍ（曲線Ｃ₁）・・・像高０の場合のＭＴＦが９０％、像高０．１ｄの場合のＭＴＦが８０％、像高０．２ｄの場合のＭＴＦが６５％、像高０．３ｄの場合のＭＴＦが５０％、像高０．４ｄの場合のＭＴＦが３０％、像高０．５ｄ（対角端）の場合のＭＴＦが１５％である。
焦点距離２５ｍｍ（曲線Ｃ₂）・・・像高０の場合のＭＴＦが９０％、像高０．１ｄの場合のＭＴＦが８０％、像高０．２ｄの場合のＭＴＦが７０％、像高０．３ｄの場合のＭＴＦが６０％、像高０．４ｄの場合のＭＴＦが５０％、像高０．５ｄ（対角端）の場合のＭＴＦが３５％である。
焦点距離４２ｍｍ（曲線Ｃ₃）・・・像高０の場合のＭＴＦが９０％、像高０．１ｄの場合のＭＴＦが８５％、像高０．２ｄの場合のＭＴＦが８０％、像高０．３ｄの場合のＭＴＦが７５％、像高０．４ｄの場合のＭＴＦが７０％、像高０．５ｄ（対角端）の場合のＭＴＦが６５％である。

次に、絞りがＦ５．６の場合を具体的に説明する。
焦点距離１４ｍｍ（曲線Ｃ₄）・・・像高０の場合のＭＴＦが９５％、像高０．１ｄの場合のＭＴＦが８５％、像高０．２ｄの場合のＭＴＦが７５％、像高０．３ｄの場合のＭＴＦが６０％、像高０．４ｄの場合のＭＴＦが４５％、像高０．５ｄ（対角端）の場合のＭＴＦが３０％である。
焦点距離２５ｍｍ（曲線Ｃ₅）・・・像高０の場合のＭＴＦが９５％、像高０．１ｄの場合のＭＴＦが８５％、像高０．２ｄの場合のＭＴＦが７５％、像高０．３ｄの場合のＭＴＦが６５％、像高０．４ｄの場合のＭＴＦが５５％、像高０．５ｄ（対角端）の場合のＭＴＦが４５％である。
焦点距離４２ｍｍ（曲線Ｃ₆）・・・像高０の場合のＭＴＦが９５％、像高０．１ｄの場合のＭＴＦが９０％、像高０．２ｄの場合のＭＴＦが８５％、像高０．３ｄの場合のＭＴＦが８０％、像高０．４ｄの場合のＭＴＦが７５％、像高０．５ｄ（対角端）の場合のＭＴＦが７０％である。

図３および図４において、閾値Ｔｈ１、Ｔｈ２は、記録画素数が１６メガピクセル、９メガピクセルの場合にそれぞれ有効領域を判定するための閾値である。この閾値より大きい領域が、有効領域と判定される。一般に、記録画素数が大きいほど、ＭＴＦの閾値は大きくなる。これは、ＭＴＦの閾値が、記録画素数に応じて定まるナイキスト周波数と相関を有しているためである。

なお、本実施の形態では、レンズ特性情報記録部３６１が、光学系３１を介して結像したスポットのサジタル方向とメリジオナル方向のうち性能変化が大きい方だけを記録することを想定しているが、その両方向の特性を記録しておくことも可能である。

レンズ通信部３７は、レンズ部３が本体部２に装着されたときに、本体部２の本体通信部２７と通信を行うための通信インターフェースである。レンズ通信部３７には、本体部２との電気的な接点も含まれる。

レンズ制御部３８は、ＣＰＵ（Central Processing Unit）等を用いて構成される。レンズ制御部３８は、レンズ操作部３５の操作信号または本体部２からの指示信号に応じてレンズ部３の動作を制御する。レンズ制御部３８は、本体部２の制御部２９との間で所定の周期でレンズ通信信号を送受信することによって、本体部２との動作の連携を図っている。具体的には、レンズ制御部３８は、レンズ通信信号に含まれるレンズ操作部３５の操作信号に応じて、レンズ駆動部３２を駆動させてレンズ部３のピント合わせやズーム変更を行うとともに、絞り駆動部３４を駆動させて絞り値の変更を行う。レンズ制御部３８は、レンズ部３が本体部２に装着された際に、レンズ特性情報、ピント位置情報、焦点距離およびレンズ部３を識別する固有情報等を本体部２に送信する。

図５は、制御部２９とレンズ制御部３８との同期通信の一例を示すタイミングチャートである。図５（ａ）は本体部２内の処理を示している。図５（ｂ）は垂直同期信号を示している。図５（ｃ）は撮像、読み出しのタイミングを示している。図５（ｄ）はレンズ通信を示している。図５（ｅ）はレンズ通信同期信号を示している。図５（ｆ）はレンズ位置取得信号を示している。図５（ｇ）はレンズ部３内の処理を示している。

まず、制御部２９は、前フレームで取得した画像データによりライブビュー画像の画像処理およびＡＦ評価値の算出等を画像処理部１６に実行させるとともに、レンズ制御部３８にレンズ状態データを取得するためのレンズ状態データ要求コマンドを送信する（Ｂ１、ＢＬ）。この際、制御部２９は、同期通信モード中に、垂直同期信号と同じ周期でレンズ通信用の同期信号および光学系３１の位置情報を取得するタイミングを指示するレンズ位置取得信号を送信する。このレンズ位置取得信号は、図５（ｃ）に示すように撮像素子１２の中央部の蓄積時間の１／２が経過した時点で状態が変化する信号である。

レンズ制御部３８は、レンズ位置取得信号の状態が変化したタイミングで光学系３１の位置情報を取得するとともに、レンズ通信同期信号の受信タイミングでレンズ操作部３５の操作状態を検出する（Ｌ１）。

続いて、レンズ制御部３８は、制御部２９から受信したレンズ状態データ要求コマンドへの応答として、工程Ｌ１で取得した光学系３１の位置情報およびレンズ操作部３５の操作状態を含むレンズ状態データを制御部２９へ送信する（Ｌ２）。

この後、制御部２９は、レンズ制御部３８から送られてきたレンズ状態データに基づいて、ＡＦ評価値の算出や、露出値の変更等の各種設定変更を行う（Ｂ２）。

図６は、以上の構成を有する撮像装置１が行うマルチレコーディング処理の特徴を説明する図である。図６において、表示部２１には、スルー画像１００が表示されている。この状態で、表示部２１には、ＭＲ有効領域の境界を示す切取り枠１０１が表示される。この切取り枠１０１は、本体部２がレンズ部３から受信したレンズ特性情報に基づいて作成した有効領域判定用のテーブルＴｂを参照することによって設定される。

図６において、矩形領域１０２、１０３が表示されている。この矩形領域１０２、１０３は、ユーザが候補域（切出し領域）として表示部２１上のタッチパネル２０１をタッチすることによって設定される領域である。このように、撮像装置１においては、全体の画像のなかから複数の候補域を選択し、この選択した候補域を切り出すことによって全体の画像とともにマルチレコーディングを行うことが可能である。

図７は、撮像装置１が行う処理の概要を示す図である。まず、制御部２９は、本体部２の電源がオンになっているか否かを判定する（ステップＳ１０１）。電源がオンになっている場合（ステップＳ１０１：Ｙｅｓ）、撮像装置１はステップＳ１０２へ移行する。一方、電源がオンになっていない場合（ステップＳ１０１：Ｎｏ）、撮像装置１はステップＳ１０１を繰り返す。

続いて、撮像装置１は、本体部２とレンズ部３との間で起動時のレンズ通信を行う（ステップＳ１０２）。このレンズ通信の際、レンズ部３は、レンズ特性情報を本体部２へ送信する。

この後、有効領域判定部２９２は、レンズ部３から受信したレンズ特性情報をもとに有効領域判定用のテーブル（参照情報）を作成する（ステップＳ１０３）。

続いて、制御部２９は、撮像装置１が撮影モードに設定されているかを判定する（ステップＳ１０４）。判定の結果、撮影モードに設定されている場合（ステップＳ１０４：Ｙｅｓ）、本体部２とレンズ部３との間でレンズ通信を行い（ステップＳ１０５）、その通信結果に基づいてＡＥ処理部１７によるＡＥ処理およびＡＦ処理部１８によるＡＦ処理を行う（ステップＳ１０６）。ステップＳ１０５におけるレンズ通信は、例えば図５を参照して説明したように行われる。

続いて、撮像装置１は、ＭＲ有効領域判定を行う（ステップＳ１０７）。図８は、撮像装置１が行うＭＲ有効領域判定処理の概要を示すフローチャートである。まず、有効領域判定部２９２は、ズーム判定を行い（ステップＳ２０１）、静止画撮影時の絞り判定を行う（ステップＳ２０２）。

続いて、有効領域判定部２９２は、テーブル記録部２６２が記録するテーブルを参照し（ステップＳ２０３）、有効領域として切出す切出し枠の情報を生成する。

この後、切出し処理部１６１は、有効領域判定部２９２が生成した切出し枠の情報に基づいて画像中に表示する切出し枠を生成する（ステップＳ２０４）。これにより、ＭＲ有効領域判定処理が終了する。

ステップＳ１０７のＭＲ有効領域判定処理の後、表示制御部２９４は、表示部２１のスルー画およびＭＲ有効領域を表示させる制御を行う（ステップＳ１０８）。図９は、切取り枠の表示例を示す図である。切取り枠Ｆは、表示部２１において、像高Ｄの円を画面上で切り取った形状をなす。この像高Ｄは、例えば図２に示すテーブルＴｂで与えられ、絞り値と焦点距離に応じて定められる。なお、テーブルＴｂにない絞り値と焦点距離の組み合わせの場合には、近い値を用いた直線補間によって像高を定めてもよいし、テーブルの中で最も近い値を用いて像高を定めてもよい。

続いて、入力部２０を介して撮像パラメータが変更された場合（ステップＳ１０９：Ｙｅｓ）、制御部２９はパラメータを変更し（ステップＳ１１０）、ステップＳ１１１へ移行する。ステップＳ１０９において撮像パラメータが変更されない場合（ステップＳ１０９：Ｎｏ）、撮像装置１はステップＳ１１１へ直接移行する。

ステップＳ１１１において、ＭＲ操作が行われていない場合（ステップＳ１１１：Ｎｏ）、撮像装置１はＭＲ領域設定処理を行う（ステップＳ１１２）。

図１０は、ＭＲ領域設定処理の概要を示すフローチャートである。まず、タッチ検出部２９３がタッチパネル２０１のタッチ入力操作を検出した場合（ステップＳ３０１：Ｙｅｓ）、表示制御部２９３は、表示部２１に候補域を表示させる（ステップＳ３０２）。

その後、タッチ位置が有効領域外でない場合（ステップＳ３０３：Ｎｏ）、有効領域の近傍が候補域に含まれていれば（ステップＳ３０４：Ｙｅｓ）、表示制御部２９４は、候補域を有効領域内へシフトして表示させる（ステップＳ３０５）。図１１は、ステップＳ３０５のシフト処理の概要を模式的に示す図である。図１１において、当初の候補域３０１は、タッチ位置は有効領域内（切取り枠Ｆの内部）に含まれるものの、右上方の一部が切取り枠Ｆの外部近傍領域にはみ出している。このため、候補域が全体的に左側へシフトして全域が有効領域内に含まれるような新たな候補域３０２として表示される。

ステップＳ３０５の後、顔検出部２９１が候補域内に顔を検出した場合（ステップＳ３０６：Ｙｅｓ）、検出した顔の特徴をＦｌａｓｈメモリ２６に記録する。ここでの顔の特徴量は、例えば顔の高さ、幅、目、口、鼻、眉毛の位置などに関する情報などである。

続いて、切出し処理部１６１は、顔を含む所定領域の切出しを行う（ステップＳ３０８）。図１２は、顔を含む所定領域の切出し例を示す図である。図１２では、被写体４０１の顔４０２の高さＨを基準として所定のアスペクト比で切出しを行う場合を示している。具体的には、切出し処理部１６１は、顔４０２の高さＨを基準として、その高さと同じ分だけ顔４０２の下方を含み、かつ顔４０２の高さに基づいて定められる値Ｋだけ上下に広げた画像を切出す。

この後、撮像装置１は、ＭＲ操作によって指定された候補域における特徴部の追尾を開始する（ステップＳ３０９）。具体的には、候補域に顔が含まれる場合には、顔の追尾を行う。

その後、タッチ検出部２９３がタッチパネル２０１におけるスライド動作を検出した場合（ステップＳ３１０：Ｙｅｓ）、表示制御部２９４は、そのスライドの終了位置に応じた候補域を表示部２１に再表示させる（ステップＳ３１１）。一方、タッチ検出部２９３がタッチパネル２０１におけるスライド動作を検出しない場合（ステップＳ３１０：Ｎｏ）、撮像装置１はＭＲ領域設定処理を終了する。

ステップＳ３０３でタッチ位置が有効領域外である場合（ステップＳ３０３：Ｙｅｓ）。この場合、表示制御部２９４は、表示部２１に警告を表示させる（ステップＳ３１２）。ここでの警告は、例えば「有効領域外です。再指定してください。」というようなメッセージである。

ステップＳ３１２に続いて、制御部２９は、タッチされた領域の特徴色を記録する（ステップＳ３１３）。ここでの特徴色は、例えばタッチ領域の中で最も面積が大きい色とすればよい。この後、撮像装置１は、ステップＳ３０９へ移行する。この場合、ステップＳ３０９において、撮像装置１は、特徴色を有している部分を特徴部として追尾を開始する。

ステップＳ３０４で有効領域の近傍が候補域に含まれていない場合（ステップＳ３０４：Ｎｏ）、撮像装置１はステップＳ３０６へ移行する。

ステップＳ３０６で候補領域内に顔がない場合（ステップＳ３０６：Ｎｏ）、制御部２０は、タッチされた領域の特徴色を記録する（ステップＳ３１４）。ここでの処理は、上述したステップＳ３１３と同様である。

ステップＳ３１４に続いて、切出し処理部１６１は、特徴色を含む所定領域の切出し処理を行う（ステップＳ３１５）。具体的には、切出し処理部１６１は、特徴色部分が画面の中心に位置するように所定のアスペクト比で切出しを行う。この後、撮像装置１は、ステップＳ３０９へ移行する。この場合の特徴部は、特徴色を有している部分である。

以上説明したステップＳ１１２のＭＲ領域設定処理の後、制御部２９は特徴部を追尾する（ステップＳ１１３）。ここでの特徴部は、ＭＲ領域設定処理で説明したように、顔または特徴色部分である。ステップＳ１１１において、ＭＲ操作が行われていた場合（ステップＳ１１１：Ｙｅｓ）、撮像装置１は直接ステップＳ１１３へ移行する。

続いて、撮影操作が行われた場合（ステップＳ１１４：Ｙｅｓ）、制御部２９は、ステップＳ１０６〜Ｓ１１２の処理に基づいて定められた絞り値とする制御を行う（ステップＳ１１５）。続いて、撮像装置１は、画像を撮影して記録媒体２３へ記録する（ステップＳ１１６）。

ステップＳ１１６の後、電源をオフする操作が行われた場合（ステップＳ１１７：Ｙｅｓ）、撮像装置１は、一連の処理を終了する。一方、電源をオフする操作が行われない場合（ステップＳ１１７：Ｎｏ）、撮像装置１はステップＳ１０４へ戻る。

次に、ステップＳ１０４において、制御部２９が、撮影モードに設定されていないと判定した場合を説明する（ステップＳ１０４：Ｎｏ）。この場合において、再生モードが設定されているとき（ステップＳ１１８：Ｙｅｓ）、表示制御部２９４は所定の画像を再生する（ステップＳ１１９）。

その後、入力部２０によって再生画像の変更指示が入力された場合（ステップＳ１２０：Ｙｅｓ）、表示制御部２９４は変更指示にしたがって画像を変更して再生を行う（ステップＳ１２１）。これに対して、入力部２０によって再生画像の変更指示が入力されない場合（ステップＳ１２０：Ｎｏ）、撮像装置１はステップＳ１１７へ移行する。

ステップＳ１１８で再生モードが設定されていない場合（ステップＳ１１８：Ｎｏ）、撮像装置１は、ステップＳ１１７へ移行する。

なお、図７に示すフローチャートでは、電源がオンされた後の起動時レンズ通信の際、レンズ部３がレンズ特性情報を本体部２へ送信していたが、レンズ部３がレンズ特性情報を本体部２へ送信する送信タイミングはこれに限られるわけではない。例えば、撮影モードに入った直後のレンズ通信時を送信タイミングとしてもよい。また、ＭＲ有効領域を選択するタッチ操作が行われた直後に本体部２がレンズ部３へレンズ特性情報の送信要求を送信し、その応答としてレンズ部３がレンズ特性情報を送信するようにしてもよい。

以上説明した本発明の一実施の形態によれば、撮影条件に応じた光学系の特性情報に基づいて、入力部からの信号の入力によって切出し領域の設定を行うことが可能な有効領域を判定する有効領域判定部と、この有効領域判定部の判定結果にしたがって有効領域の境界を示す情報を前記表示部に表示させる表示制御部と、を備えるため、ユーザは光学系の特性情報に基づいた切出し領域の設定を行うことができる。したがって、撮影条件によらずに一つの画像から画質に優れた複数の画像を生成することが可能となる。

ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した一実施の形態によってのみ限定されるべきものではない。例えば、本発明において、レンズ特性情報としてＭＴＦ性能多項式を与えてもよい。ＭＴＦ性能多項式は、焦点距離をｘ、絞り（Ｆ値）をｙとして、以下の式で与えられる。
ＭＴＦ＝Ｆ₁ｘ＋Ｆ₂ｘ²＋・・・＋Ｂ₁ｙ＋Ｂ₂ｙ²＋・・・＋Ｃ
ここで、Ｆ₂ｘ²に続く「・・・」はｘの３次以上の項を意味し、Ｂ₂ｙ²に続く「・・・」はｙの３次以上の項を意味する。この場合、レンズ部３は、ＭＴＦ多項式の係数を本体部２へ送信する。本体部２は、レンズ部３から受信したＭＴＦ多項式の係数をもとにＭＲ有効領域設定用のテーブルを作成する。

また、本発明において、有効領域判定用のテーブル（図２に示すテーブルＴｂ）をレンズ部３が記録しておき、そのレンズ部３が本体部２に装着されたときに本体部２へテーブルを送信するようにしてもよい。

また、本発明において、レンズ特性情報としてＭＴＦ以外の量を適用することも可能である。具体的には、基準波長とその他の波長を考慮した誤差（収差量、スポットサイズ）でもよいし、画素数およびレンズ性能に応じた解像力（空間周波数）でもよい。

また、本発明において、ＭＲ有効領域の境界を示す切取り枠の形状は、図９に示すものに限られるわけではない。図１３は、切取り枠の別な設定例を示す図である。図１３に示す場合、表示部２１では、テーブル記録部２６２が記録するテーブルによって定められる像高を半径とする円Ｃｉｒに内接する長方形状の切取り枠Ｆ２が表示される。

また、本発明は、静止画撮影時のみならず動画撮影時にも適用することが可能である。図１４は、動画撮影時の場合の撮像装置の処理の概要を示すフローチャートである。図１４において、ステップＳ４０１〜Ｓ４１３の処理は、図７に示すステップＳ１０１〜Ｓ１１３の処理に順次対応している。以下、ステップＳ４１３に続く処理を説明する。

ステップＳ４１４において、動画撮影中であれば（ステップＳ４１４：Ｙｅｓ）、撮像装置１は後述するステップＳ４１７へ移行する。一方、動画撮影中でなければ（ステップＳ４１：Ｎｏ）、ステップＳ４１５へ移行する。

ステップＳ４１５において、動画撮影操作が入力された場合（ステップＳ４１５：Ｙｅｓ）、撮像装置１は動画撮影を開始する（ステップＳ４１６）。一方、動画撮影操作が入力されない場合（ステップＳ４１５：Ｎｏ）、撮像装置１はステップＳ４０４へ戻る。

ステップＳ４１６の後、動画終了操作が入力された場合（ステップＳ４１７：Ｙｅｓ）、撮像装置１は撮影した動画を記録する（ステップＳ４１８）。一方、動画終了操作が入力されない場合（ステップＳ４１７：Ｎｏ）、撮像装置１はステップＳ４０４へ戻る。

ステップＳ４１９〜Ｓ４２３は、図７を参照して説明したステップＳ１１７〜Ｓ１２１の処理に順次対応している。

なお、本発明においては、本体部とレンズ部とが一体的に形成されていてもよい。

また、本発明に係る撮像装置は、デジタル一眼レフカメラ以外にも、例えばアクセサリ等を装着可能なデジタルカメラ、デジタルビデオカメラおよび撮影機能を有する携帯電話やタブレット型携帯機器等の電子機器にも適用することができる。

本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、本発明を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。

このように、本発明は、ここでは記載していない様々な実施の形態を含みうるものであり、特許請求の範囲によって特定される技術的思想の範囲内で種々の設計変更等を行うことが可能である。

１撮像装置
２本体部
２Ｂバス
３レンズ部
４アクセサリ部
１２撮像素子
１６画像処理部
１９画像圧縮展開部
２０入力部
２１表示部
２２表示駆動部
２３記録媒体
２６Ｆｌａｓｈメモリ
２７本体通信部
２８第２通信部
２９制御部
３１光学系
３５レンズ操作部
３６レンズｆｌａｓｈメモリ
３７レンズ通信部
３８レンズ制御部
４１通信部
４２接眼表示部
１００スルー画像
１０１、Ｆ、Ｆ２切取り枠
１０２、１０３矩形領域
１６１切出し処理部
２６１プログラム記録部
２６２テーブル記録部
２６３特徴情報記録部
２９１顔検出部
２９２有効領域判定部
２９３タッチ検出部
２９４表示制御部
３６１レンズ特性情報記録部
４０１被写体
４０２顔
Ｔｂテーブル

Claims

被写体からの光を集光して結像する光学系と、該光学系が結像した光を光電変換することによって画像データを生成する撮像素子と、前記画像データに対応する画像を表示可能な表示部とを備え、前記表示部が表示する画像および該画像中で指定された切出し領域を並行して撮影可能な撮像装置であって、
前記表示部の表示画面に重ねて設けられ、外部からの接触位置に応じた信号の入力を受け付ける入力部と、
撮影条件に応じた前記光学系の特性情報に基づいて、前記入力部からの信号の入力によって前記切出し領域の設定を行うことが可能な有効領域を判定する有効領域判定部と、
前記有効領域判定部の判定結果にしたがって前記有効領域の境界を示す情報を前記表示部に表示させる表示制御部と、
を備え、
前記撮像素子、前記表示部、前記入力部、前記有効領域判定部および前記表示制御部を含む本体部と、
前記光学系、および撮影条件に応じた前記光学系の特性情報を記録する特性情報記録部を含み、前記本体部との間で通信可能であるとともに前記本体部に対して着脱自在であるレンズ部と、
を有し、
前記有効領域判定部は、
前記レンズ部から受信した前記特性情報をもとに前記有効領域を判定するための参照情報を生成し、
前記特性情報のうち前記参照情報の生成に使用可能な情報は、記録画素数に応じて異なることを特徴とする撮像装置。
前記撮影条件は、焦点距離および絞りに関する条件を含み、
前記特性情報は、撮影像高に応じた値を有することを特徴とする請求項１に記載の撮像装置。
前記特性情報は、
変調伝達関数、波長に基づく誤差、および解像力のいずれかであることを特徴とする請求項２に記載の撮像装置。
前記有効領域の境界は、前記参照情報によって定められることを特徴とする請求項１に記載の撮像装置。
前記表示制御部は、
前記入力部からの信号の入力によって設定された前記切出し領域の一部が前記有効領域に含まれない場合、該切出し領域の全域が前記有効領域内に含まれるように該切出し領域を画面上でシフトして前記表示部に表示させることを特徴とする請求項１〜４のいずれか一項に記載の撮像装置。
前記表示制御部は、
前記入力部からの信号の入力位置が前記有効領域の外部である場合、前記表示部に警告を表示させることを特徴とする請求項１〜５のいずれか一項に記載の撮像装置。