JP6675917B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、撮像装置及び撮像方法に関する。

撮像装置において、表示部に表示された画像による焦点状態の確認を容易にするために、例えばマニュアルフォーカスのときにスルー画表示されている画像の一部の領域を拡大する技術が知られている。この技術に関連して、例えば特許文献１のデジタルカメラは、拡大される領域に焦点調節に使用された領域が含まれているか否かの判定結果に応じて、画像において拡大される領域に対して超解像処理を行うか否かを切り替えるようにしている。

特開２０１４−５３６６６号公報

特許文献１の技術では、拡大される領域に焦点調節に使用された領域が含まれている場合には、超解像処理が行われない。しかしながら、状況によっては、超解像処理を含む各種の処理が施されたほうが焦点状態の確認に有用な場合がある。

本発明は、前記の事情に鑑みてなされたもので、焦点状態の確認に有用な処理を適応的に施すことが可能な撮像装置及び撮像方法を提供することを目的とする。

前記の目的を達成するために、本発明の第１の態様の撮像装置は、対象物を撮像して前記対象物に係る画像データを得る撮像部と、前記画像データに基づく画像を表示する表示部と、前記画像データの特徴を分析する画像分析部と、分析された前記画像データの特徴から、前記表示部に表示される画像における前記対象物の焦点状態の確認に有用な少なくとも１つの適用処理を決定し、決定した適用処理に応じて前記撮像部の撮像条件を設定してから前記撮像部を動作させて補助画像を作成する補助画像作成部とを具備し、前記補助画像作成部は、前記適用処理が複数であるときには、複数の前記適用処理のそれぞれに対応した撮像条件を同時に設定してから前記撮像部を動作させて前記補助画像を作成することを特徴とする。
前記の目的を達成するために、本発明の第２の態様の撮像装置は、対象物を撮像して前記対象物に係る画像データを得る撮像部と、前記画像データに基づく画像を表示する表示部と、前記画像データの特徴を分析する画像分析部と、分析された前記画像データの特徴から、前記表示部に表示される画像における前記対象物の焦点状態の確認に有用な少なくとも１つの適用処理を決定し、決定した適用処理に応じて前記撮像部の撮像条件を設定してから前記撮像部を動作させて補助画像を作成する補助画像作成部とを具備し、前記補助画像作成部は、前記適用処理が複数であるときには、複数の前記適用処理の間の相性を判定し、該相性がよいときのみ、複数の前記適用処理に応じて前記撮像部を動作させて前記補助画像を作成することを特徴とする。

前記の目的を達成するために、本発明の第３の態様の撮像方法は、撮像部によって対象物を撮像して前記対象物に係る画像データを得ることと、前記画像データに基づく画像を表示部に表示することと、前記画像データの特徴を分析することと、分析された前記画像データの特徴から、前記表示部に表示される画像における前記対象物の焦点状態の確認に有用な少なくとも１つの適用処理を決定することと、決定した適用処理に応じて前記撮像部の撮像条件を設定してから前記撮像部を動作させて補助画像を作成することと、
を具備し、前記補助画像を作成する際に、前記適用処理が複数であるときには、複数の前記適用処理のそれぞれに対応した撮像条件を同時に設定してから前記撮像させて前記補助画像を作成することを特徴とする。
前記の目的を達成するために、本発明の第４の態様の撮像方法は、撮像部によって対象物を撮像して前記対象物に係る画像データを得ることと、前記画像データに基づく画像を表示部に表示することと、前記画像データの特徴を分析することと、分析された前記画像データの特徴から、前記表示部に表示される画像における前記対象物の焦点状態の確認に有用な少なくとも１つの適用処理を決定することと、決定した適用処理に応じて前記撮像部の撮像条件を設定してから前記撮像部を動作させて補助画像を作成することとを具備し、前記補助画像を作成する際に、前記適用処理が複数であるときには、複数の前記適用処理の間の相性を判定し、該相性がよいときのみ、複数の前記適用処理に応じて前記撮像させて前記補助画像を作成することを特徴とする。

本発明によれば、焦点状態の確認に有用な処理を適応的に施すことが可能な撮像装置及び撮像方法を提供することができる。

本発明の一実施形態に係る撮像装置の一例の構成を示すブロック図である。 本発明の一実施形態に係る撮像装置のメインの処理について示すフローチャートである。 補助画像作成処理について示すフローチャートである。 適用処理の決定処理について示すフローチャートである。 補助画像作成処理の概要を示す図である。 補助画像作成処理の具体例について説明するための図である。

以下、図面を参照して本発明の実施形態を説明する。図１は、本発明の一実施形態に係る撮像装置の一例の構成を示すブロック図である。図１に示す撮像装置１００は、例えばデジタルカメラ、カメラ機能付き携帯電話機、スマートフォンといった各種の携帯端末機器である。図１に示す撮像装置１００は、撮像部１０２と、表示部１０４と、仮記録部１０６と、記録部１０８と、操作部１１０と、制御部１１２とを有している。

撮像部１０２は、撮像光学系１０２ａと、撮像素子１０２ｂと、駆動部１０２ｃとを有している。撮像光学系１０２ａは、絞り及びレンズ等を有し、図示しない被写体からの光束を撮像素子１０２ｂに入射させる。撮像光学系１０２ａは、合焦状態を調節するためのフォーカスレンズを含んでいる。撮像素子１０２ｂは、例えばＣＭＯＳイメージセンサ又はＣＣＤイメージセンサを含み、被写体を撮像し、被写体に係る画像データを取得する。撮像素子１０２ｂは、撮影の対象物までの距離検出が可能なように位相差検出画素を含んでいてもよい。また、本実施形態における撮像素子１０２ｂは、撮像光学系１０２ａに光軸と直交する平面内で移動可能に構成されている。駆動部１０２ｃは、制御部１１２による制御に従って、撮像光学系１０２ａのフォーカスレンズをその光軸方向に駆動したり、撮像素子１０２ｂを駆動したりする。

表示部１０４は、例えば液晶ディスプレイや有機ＥＬディスプレイであり、撮像部１０２で取得された画像データに基づく画像等の各種の画像を表示する。ここで、本実施形態における表示部１０４は、覗き込み式の電子ビューファインダとして構成されていてもよい。

仮記録部１０６は、ＲＡＭ等の揮発性メモリであり、各種のデータを仮記録するための記録媒体である。仮記録部１０６には、例えば補助画像の作成のための画像データが仮記録される。

記録部１０８は、フラッシュメモリ等の不揮発性メモリであり、各種のデータを記録するための記録媒体である。記録部１０８には、例えば撮影動作の結果として得られる画像ファイルが記録される。また、記録部１０８には、撮像装置１００の制御に用いられるプログラムが記録される。

操作部１１０は、ユーザが撮像装置１００の操作をするための操作部材である。操作部１１０は、電源スイッチ、レリーズボタン等を操作部材として有している。電源スイッチは、撮像装置１００の電源のオン／オフの指示を与えるための操作部材である。レリーズボタンは、撮影開始の指示を与えるための操作部材である。また、操作部１１０は、タッチパネル等の他の操作部材を有していてもよい。さらに、本実施形態においては、操作部１１０は、マニュアルフォーカス（ＭＦ）操作部１１０ａを有している。ＭＦ操作部１１０ａは、ユーザが手動で撮像光学系１０２ａの焦点調節を行うための操作部材である。ＭＦ操作部１１０ａは、例えば撮像光学系１０２ａが収納される鏡筒の周囲に形成されたフォーカスリングである。しかしながら、ＭＦ操作部１１０ａは、フォーカスリングには限られない。もちろん、観察をしやすくするには、マニュアルではなく自動制御でもよく、制御対象をフォーカスに限る必要もない。制御部には必要に応じて、こうした制御用の回路を搭載すればよい。

制御部１１２は、ＣＰＵ及びＡＳＩＣ等の制御回路であり、撮像装置１００の動作を統括的に制御する。制御部１１２は、撮像制御部１１２１としての機能と、表示制御部１１２２としての機能と、画像処理部１１２３としての機能と、画像分析部１１２４としての機能と、補助画像作成部１１２５としての機能とを有している。ここで、制御部１１２の各機能は、単一のハードウェア又はソフトウェアによって実現されてもよいし、複数のハードウェア又はソフトウェアによって実現されてもよい。また、一部の機能は、制御部１１２と別個に設けられていてもよい。

撮像制御部１１２１は、撮像部１０２による被写体の撮像動作及び撮像部１０２からの画像データの読み出し動作を制御する。

表示制御部１１２２は、表示部１０４に各種の画像を表示するときの制御をする。

画像処理部１１２３は、画像データに対する各種の画像処理を行う。この画像処理は、ホワイトバランス処理、階調補正処理等を含む。また、この画像処理は、複数の画像データを合成する合成処理を含む。

画像分析部１１２４は、画像データの特徴の分析を行う。画像データの特徴は、例えば輝度、コントラスト、色、画像データ中の特定の対象物の動きといったものを含む。特定の対象物は、例えば画像データの中で重要であると考えられる対象物である。重要であると考えられる対象物とは、例えば撮影の対象物が人物であれば、顔である。その他、重要であると考えられる対象物とは、画像データの中央部に存在していたり、近距離に存在していたりするものである。

補助画像作成部１１２５は、補助画像を作成する。補助画像は、ユーザによる対象物の焦点状態の確認を補助するための画像である。詳細は後で説明するが、補助画像は、画像分析部１１２４によって分析された画像データの特徴や、操作や操作状態の特徴、機器の特徴、制御の対象の少なくともいずれかの一つに応じて作成される。

次に、本実施形態に係る撮像装置の動作について説明する。図２は、本実施形態に係る撮像装置のメインの処理について示すフローチャートである。図２の処理は、制御部１１２が主体となって行われる。また、以下の説明においては、撮像装置１００は、動作モードとして撮影モードと再生モードとを有しているものとする。撮影モードは、撮影によって得られた画像を記録部１０８に記録するためのモードである。再生モードは、撮影モードによって記録された画像を再生するためのモードである。勿論、撮像装置１００は、撮影モード及び再生モード以外のモードを動作モードとして有していてもよい。動作モードの設定は、例えばユーザによる操作部１１０の操作によってなされる。

図２の処理は、例えば撮像装置１００の電源がオンされることによって開始される。ステップＳ１において、制御部１１２は、撮像装置１００の動作モードが撮影モードであるか否かを判定する。ステップＳ１において、撮像装置１００の動作モードが撮影モードであると判定されたときに、処理はステップＳ２に移行する。ステップＳ１において、撮像装置１００の動作モードが撮影モードでない、すなわち再生モードであると判定されたときに、処理はステップＳ１３に移行する。

ステップＳ２において、制御部１１２は、スルー画表示のために、撮像部１０２による撮像動作を開始して画像データを取得する。ステップＳ３において、制御部１１２は、スルー画表示を行う。スルー画表示として、制御部１１２は、ステップＳ２の撮像部１０２の動作によって取得された画像データに対して画像処理を施す。そして、制御部１１２は、画像処理された画像データに基づくスルー画を表示部１０４に逐次に表示させる。このようなスルー画表示の開始後、処理はステップＳ４に移行する。

ステップＳ４において、制御部１１２は、ユーザによって撮像装置１００に対する設定指示がされたか否かを判定する。設定指示は、例えば表示部１０４に表示されるメニュー画面上でのユーザの操作部１１０の操作によって行われる。この設定指示は、例えば撮像装置１００のフォーカスモードの変更の指示を含む。フォーカスモードは、少なくともユーザによる合焦操作を伴うＭＦモードを含む。ステップＳ４において、ユーザによって設定指示がされたと判定されたときに、処理はステップＳ５に移行する。ステップＳ５において、ユーザによって設定指示がされていないと判定されたときに、処理はステップＳ６に移行する。

ステップＳ５において、制御部１１２は、ユーザの設定に応じて、撮像装置１００についての各種の設定を変更する。設定の変更後、処理はステップＳ６に移行する。

ステップＳ６において、制御部１１２は、フォーカスモードがＭＦモードであるか否かを判定する。例えば、フォーカスモードの変更の指示を受けてフォーカスモードがＭＦモードに変更されたときには、ステップＳ６においてフォーカスモードがＭＦモードであると判定される。この他、フォーカスモードがＭＦモード以外の場合であっても、ＭＦ操作部１１０ａが操作されたときにはフォーカスモードはＭＦモードになる。この場合も、ステップＳ６においてフォーカスモードがＭＦモードであると判定される。ステップＳ６において、フォーカスモードがＭＦモードであると判定されたときに、処理はステップＳ７に移行する。ステップＳ６においてフォーカスモードがＭＦモードでないと判定されたときに、処理はステップＳ１１に移行する。

ステップＳ７において、制御部１１２は、ユーザによるＭＦ操作部１１０ａの操作があるか否かを判定する。ステップＳ７において、ユーザによるＭＦ操作部１１０ａの操作があると判定されたときに、処理はステップＳ８に移行する。ステップＳ７において、ユーザによるＭＦ操作部１１０ａの操作がないと判定されたときに、処理はステップＳ９に移行する。

ステップＳ８において、制御部１１２は、ＭＦ操作部１１０ａの操作に応じて撮像光学系１０２ａのフォーカスレンズを駆動する。その後、処理はステップＳ９に移行する。

ステップＳ９において、制御部１１２は、撮像部１０２によって取得された画像データから拡大画像を取得する。その後、処理はステップＳ１０に移行する。拡大画像の取得処理として、制御部１１２は、撮像部１０２を動作させることによって取得された画像データから一部の画像データを切り出す。そして、制御部１１２は、切り出した画像データを拡大することで拡大画像を取得する。ここで、切り出し範囲は、例えばユーザによって指定された範囲である。勿論、固定範囲であってもよい。固定範囲とする場合、切り出し範囲は、例えば、取得された画像データにおいて最も焦点が合っている位置を中心とした範囲である。最も焦点が合っている位置は、例えば画像データから得られるコントラストによって判定される。また、切り出し範囲の大きさは、固定であってもよいし、ユーザによって指定されてもよい。さらに、拡大倍率も、固定であってもよいし、ユーザによって指定されてもよい。

ステップＳ１０において、制御部１１２は、補助画像作成処理を行う。補助画像作成処理の後、処理はステップＳ１１に移行する。以下、補助画像作成処理について説明する。図３は、補助画像作成処理について示すフローチャートである。

ステップＳ２１において、制御部１１２は、拡大画像の輝度分布を検出する。輝度は、例えば、各画素のデータに対して色毎に所定の係数を掛け、それらを足し合わせることで得られる。

ステップＳ２２において、制御部１１２は、拡大画像の色分布を検出する。

ステップＳ２３において、制御部１１２は、拡大画像における対象物を検出する。対象物の検出は、エッジ検出やテンプレートマッチング等を用いて行われる。例えば、対象物が人の顔であれば、対象物は、顔のテンプレートを用いてのマッチングによって検出される拡大画像であるので、通常は、対象物は１つである。勿論、拡大画像に複数の対象物が含まれる可能性もあるので、ステップＳ２３において複数の対象物が検出されてもよい。さらに、複数の対象物が検出された場合には、より中央に近い方のみが検出されてもよい。

ステップＳ２４において、制御部１１２は、対象物までの撮影距離を検出する。例えば、撮像素子１０２ｂに位相差検出画素が含まれていれば、周知の位相差方式によって撮影距離を検出することが可能である。この他、画像データにおける各部のコントラスト評価値の比較によって相対的な撮影距離が検出されてもよい。コントラスト評価値は、例えば画像データから生成される輝度を所定領域毎に積算することで得られる。

ステップＳ２５において、制御部１１２は、画像データ中の対象物の動きを検出する。対象物の動きは、例えば複数のフレームの画像データ間の動きベクトルによって検出される。

ステップＳ２６において、制御部１１２は、ステップＳ２１−Ｓ２５で検出した情報に基づいて補助画像を作成するために適用する処理を決定する。以下、適用処理の決定処理について説明する。図４は、適用処理の決定処理について示すフローチャートである。

ステップＳ４１において、制御部１１２は、対象物に輝度差の大きい部分があるか又は対象物の色再現の悪い部分があるか否かを判定する。輝度差の大きい部分の判定は、例えば、対象物のエッジ部に相当する画素とその隣の画素との輝度の差が所定値を超えているか否かで判定される。色再現は、その対象物毎に特有の色が再現されているか否かで判定される。例えば、対象物が人物の顔であれば、予め定められた適正な肌色が画像上で再現されているか（適正な肌色と画像データの顔部における色との差が所定値以内か）否かが判定される。ステップＳ４１において、輝度差の大きい部分がある又は色再現の悪い部分があると判定されたときに、処理はステップＳ４２に移行する。ステップＳ４１において、輝度差の大きい部分がなく、かつ、色再現の悪い部分もないと判定されたときに、処理はステップＳ４３に移行する。

ステップＳ４２において、制御部１１２は、ハイダナミックレンジ（ＨＤＲ）処理を適用処理の候補とする。さらに、制御部１１２は、ＨＤＲ処理の優先度を算出する。優先度は、拡大画像における輝度差の大きい部分と色再現の悪い部分の占める割合である。その後、処理はステップＳ４３に移行する。ＨＤＲ処理は、露出量を異ならせた複数回の撮像によって得られた画像データを合成することによって画像データのダイナミックレンジを拡大する処理である。すなわち、ＨＤＲでは、輝度差の大きい部分の個々の明るさを適正にしたり、色再現が悪い部分だけ露出を変えることによって色再現を適正にしたりすることが可能である。画像データ内での輝度差が大きいときや対象物の色再現が悪いときにＨＤＲ処理が行われることにより、対象物の視認性は向上する。

ステップＳ４３において、制御部１１２は、対象物におけるコントラストの差異が小さいか否かを判定する。例えば、対象物の付近のコントラスト評価値同士の差が所定値よりも小さいときには、ステップＳ４３においてコントラストの差異が小さいと判定される。ステップＳ４３において、コントラストの差異が小さいと判定されたときに、処理はステップＳ４４に移行する。ステップＳ４３において、コントラストの差異が小さくないと判定されたときに、処理はステップＳ４５に移行する。

ステップＳ４４において、制御部１１２は、深度削減処理を適用処理の候補とする。さらに、制御部１１２は、深度削減処理の優先度を算出する。優先度は、拡大画像におけるコントラストの差異の小さい部分の占める割合である。その後、処理はステップＳ４５に移行する。深度削減処理は、意図的に焦点を外した画像データを合成することによって焦点の合っている部分のコントラストを際立たせる処理である。これにより、合焦している部位がより明確になる。なお、深度削減処理は、焦点の合っている部分のコントラストを際立たせるために、その周辺の部分コントラストを低下させる処理である。このための手法は、必ずしも合成処理を伴っていなくてもよい。例えば、焦点の合っていない部分の階調を補正したり、ぼかしを付加したりすることによっても深度削減処理と同様の効果は得られる。

ステップＳ４５において、制御部１１２は、対象物が小さいか否かを判定する。例えば、拡大前の画像データに占める対象物の大きさの割合（例えば、ステップＳ２３において検出された拡大画像中の対象物の面積を拡大率で割ったもの）が所定値よりも小さいときには、ステップＳ４５において対象物が小さいと判定される。なお、拡大画像中の対象物の面積の算出には、撮影距離が考慮されることがより望ましい。ステップＳ４５において、対象物が小さいと判定されたときには、処理はステップＳ４６に移行する。ステップＳ４５において、対象物が小さくないと判定されたときには、処理はステップＳ４７に移行する。

ステップＳ４６において、制御部１１２は、超解像処理を適用処理の候補とする。さらに、制御部１１２は、超解像処理の優先度を算出する。優先度は、拡大画像における対象物の占める割合である。超解像処理は、撮像素子１０２ｂを画素ピッチ以下の単位（例えば０．５画素）でずらしながら行われた複数回の撮像によって得られた画像データを合成することによって画像データを高解像度化する処理である。超解像処理によって、対象物は拡大されても高精細なままである。このため、拡大画像における対象物の視認性は向上する。

ステップＳ４７において、制御部１１２は、対象物が移動中であるか否かを判定する。ステップＳ４７において、対象物が移動中であると判定されたときには、処理はステップＳ４８に移行する。ステップＳ４７において、対象物が移動中でないと判定されたときには、図４の処理は終了する。

ステップＳ４８において、制御部１１２は、撮像のフレームレートを高速化する処理を適用処理の候補とする。その後、図４の処理は終了する。フレームレートを高速化することにより、動く対象物を的確に捉えることが可能である。

図４では、適用処理の候補として、ＨＤＲ処理、深度削減処理、超解像処理、フレームレートの高速化処理が挙げられている。しかしながら、適用処理の候補は、これらの処理には限らない。すなわち、対象物の焦点状態の確認に有用な処理であれば、これら以外の適用処理の候補となり得る。例えば、ノイズ低減処理は、対象物の焦点状態の確認に有用な処理の１つであると考えられる。この有用性は、特にユーザ操作に応じた或いはユーザ操作に伴う有用性であって、単に視認性が良いばかりでなく、操作の前後、操作の途中のユーザ判断に寄与するものも想定される。したがって、操作される機器の特性や、操作時の観察対象の特徴等に従って変更されてもよく、こうした条件に応じて、後述するような各種効果や処理がテーブル参照や重み付け処理で選択されることも想定される。つまり、対象物を撮像して対象物に係る画像データを得る撮像部と、画像データに基づく画像を表示する表示部と、画像データの特徴を分析する画像分析部を有することで、有用な処理を施した補助画像を作成してもよいが、機器そのものの特徴や、操作部材や操作の状況に応じて、表示部に表示される画像における対象物の撮像調整確認（例えばピント調整）に有用な少なくとも１つの適用処理が決定されてもよい。

つまり、以上のように決定された適用処理に応じて撮像部の撮像条件を設定してから撮像部を動作させて補助画像が作成される。このような補助画像作成部を備えた撮像装置により、ユーザの対象物確認をよりよく行う操作が迅速化、簡単化することが出来る。操作が終われば、これらの処理は終了させてもよく、操作途中でも不要であれば、常時処理する必要もない。また、自動調整にこの考え方を適用してもよく、その時は、操作ではなく制御対象による有用さが考慮される。

ここで、再び図３の説明に戻る。ステップＳ２７において、制御部１１２は、複数の処理が適用処理の候補となったか否かを判定する。ステップＳ２７において、複数の処理が適用処理の候補となったと判定されたときに、処理はステップＳ２８に移行する。複数の処理が適用処理の候補となっていないと判定されたときに、処理はステップＳ３０に移行する。

ステップＳ２８において、制御部１１２は、候補となった適用処理の間の相性が良好であるか否かを判定する。前述した、ＨＤＲ処理、深度削減処理、超解像処理、フレームレートの高速化処理の間には相性がある。例えば、超解像処理では、画像におけるぼけのある部分が高精細化されるので、画像におけるぼけを際立たせる深度削減処理との相性は良好ではない。また、ＨＤＲ処理、深度削減処理、超解像処理は、複数枚の画像の合成を含む処理であるので、フレームレートの高速化が困難である。したがって、ＨＤＲ処理、深度削減処理、超解像処理とフレームレートの高速化処理との相性は良好ではない。ステップＳ２８では、このような適用処理の間での相性の良否が判定される。一方、ＨＤＲ処理は、フレームレートの高速化処理以外との相性は良好である。なお、相性の例はここで示したものに限るものではない。ステップＳ２８において、候補となった適用処理の間の相性が良好であると判定されたときに、処理はステップＳ２９に移行する。ステップＳ２８において、候補となった適用処理の間の相性が良好でないと判定されたときに、処理はステップＳ３０に移行する。

ステップＳ２９において、制御部１１２は、補助画像を作成する。補助画像の作成は、例えばＨＤＲ処理、深度削減処理、超解像処理の中から優先度の高い２つの適用処理を用いて行われる。すなわち、改善の見込みが高い２つの処理が優先的に行われる。ここでは２つの適用処理だけが用いられる例を示したが、これは補助画像の作成に要する時間の短縮化のためである。時間が許すのであれば、優先度を考慮せずに３つの処理が行われてもよい。また、上位２つの適用処理の相性が悪ければ、その次に優先度が高い適用処理を適用するといったように別の組み合わせで処理が行われてもよい。

図５は、補助画像作成処理の概要を示す図である。図５に示すように、補助画像の作成に際して、制御部１１２は、適用処理毎に定められた撮像条件での撮影が行われるように複数の撮像条件の設定を行う。すなわち、制御部１１２は、適用処理１に関連する撮像条件１を設定し、続いて、適用処理２に関連する撮像条件２を設定する。撮像条件は、ＨＤＲ処理であれば露出量であり、深度削減処理であればフォーカスレンズの位置であり、超解像処理であれば撮像素子１０２ｂのずらし位置である。撮像条件１及び２の設定後、制御部１１２は、撮影動作を行う。これにより元の画像に対して撮像条件１及び撮像条件２の変更がされた補助画像が作成される。

作成された補助画像は、必要に応じて元の拡大画像に合成される。この合成拡大画像は、元の拡大画像よりも視認性が向上した画像である。ＭＦモードのときに合成拡大画像を表示部１０４に表示させれば、ユーザは、撮影中に対象物の焦点状態をよりよく確認することができる。ここで、合成拡大画像は、ＭＦモードのときではなく、例えば再生モード中のユーザの操作に従って作成されてもよい。この場合には、ユーザは、撮影後に対象物の焦点状態をよりよく確認することができる。

以下、具体的に説明する。図６は、補助画像作成処理の具体例について説明するための図である。図６のシーンでは、ユーザは植物にとまっているトンボを撮影の対象物としてＭＦ撮影しようとしているものとする。

図６の画像２００が元の画像である。画像２００は、撮影の対象物であるトンボが逆光状態になっている。このとき、背景２００ａの山と対象物のトンボとの輝度差は大きく、また、トンボの色再現も悪い。したがって、１つ目の適用処理としてＨＤＲ処理が採用される。一方、元の画像におけるトンボ部分の垂直方向のコントラスト分布は、図６の参照符号２０４で示すものになる。ここで、図６の横軸は、位置（撮影距離）を示している。図６の横軸の値が増加すると、遠距離であることを示す。一方、図６の縦軸は、対象物のコントラストを示している。図６の縦軸の値が増加すると、コントラストが高いことを示す。図６に示すように、コントラスト分布２０４は、３つのコントラストのピークを有している。これらのピークの位置は、近距離側から見て、トンボの頭、胴体、尾の位置に対応している。コントラスト分布２０４では、尾と胴体のコントラストの差異は小さくなっている。したがって、２つ目の適用処理として深度削減処理が採用される。

制御部１１２は、ＨＤＲ処理に係る撮像条件としての露出量を元の画像の撮影時の露出量よりも高く（対象物であるトンボの明るさが適正値となるように）設定する。また、制御部１１２は、深度削減処理に係る撮像条件としてのフォーカスレンズの位置を元の画像の撮像時と同じ位置に設定する。これらの設定の後、制御部１１２は、補助画像の撮像動作を行う。この撮像動作により、図６の画像２０２が得られる。図６の画像２０２では、トンボ２０２ａの部分の明るさが適正値になる。一方で、トンボ２０２ａ以外の背景の部分は、白とびする。

続いて、制御部１１２は、ＨＤＲ処理に係る撮像条件としての露出量を１回目の補助画像の撮像時と同じに設定する。また、制御部１１２は、深度削減処理に係る撮像条件としてのフォーカスレンズの位置を補助画像の撮像時（元の画像の撮像時）よりも例えば遠距離側の位置に設定する。フォーカスレンズの位置のずらし量は、例えば固定量であり、被写界深度外となる位置である。これらの設定の後、制御部１１２は、補助画像の撮像動作を行う。例えば、フォーカスレンズの位置を遠距離側にずらしたときの撮像動作により得られる補助画像のコントラスト分布は、図６の参照符号２０６で示すものとなる。コントラスト分布２０６では、尾２０６ａの部分のコントラストは高くなり、胴体２０６ｂの部分のコントラストは低くなっている。このことから、元の画像２００における合焦位置は、胴体２０６ｂの部分であったことが分かる。

したがって、制御部１１２は、ＨＤＲ処理に係る撮像条件としての露出量を１回目の補助画像の撮像時と同じに設定する。また、制御部１１２は、深度削減処理に係る撮像条件としてのフォーカスレンズの位置を、尾２０６ａの部分のコントラストが低くなる方向の位置、図６の例では近距離側の位置に設定する。これらの設定の後、制御部１１２は、補助画像の撮像動作を行う。例えば、フォーカスレンズの位置を近距離側にずらしたときの撮像動作により得られる補助画像のコントラスト分布は、図６の参照符号２０８で示すものとなる。コントラスト分布２０８では、尾の部分のコントラストは低くなり、胴体の部分のコントラストは高くなる。

続いて、制御部１１２は、各補助画像から採用すべき部分を決定し、それらを合成することによって合成画像を作成する。まず、制御部１１２は、合成画像における背景の部分には元の画像２００における背景２００ａの部分を採用する。また、制御部１１２は、合成画像におけるトンボの頭の部分及び胴体の部分には１枚目の補助画像（露出は補助画像２０２でコントラスト分布がコントラスト分布２０４である画像）におけるトンボの頭の部分を採用する。また、制御部１１２は、合成画像におけるトンボの尾の部分には３枚目の補助画像（露出は補助画像２０２でコントラスト分布がコントラスト分布２０８である画像）におけるトンボの尾の部分を採用する。その後、制御部１１２は、合成画像から元の拡大画像と同じ切り出し範囲の画像データを切り出す。そして、制御部１１２は、切り出した画像データを拡大することで合成拡大画像を取得する。このような合成拡大画像は、図６の参照符号２１０で示すように、ＨＤＲ処理によってトンボの部分の明るさも背景の部分も明るさも適正であり、かつ、深度削減処理によってトンボの胴体と尾との焦点状態の差が明確になっている画像である。このような合成拡大画像により、ユーザは、対象物であるトンボの焦点状態をよりよく確認することが可能である。なお、合成拡大画像を作成するか否かは、ユーザの操作部１１０の操作によって予め設定されているものとする。合成拡大画像を作成しない旨が指示されているときには、作成された補助画像は後の撮影によって得られる画像ファイルと関連付けられて記録部１０８に記録される。

ここで、再び図３の説明に戻る。ステップＳ３０において、制御部１１２は、１つの適用処理だけを行ってもよいか否かを判定する。例えば、ステップＳ２６において、適用処理の候補とされた処理が１つのみであったと判定されたとき又はステップＳ２８において複数の適用処理の候補の間の相性が悪いと判定されたときにステップＳ３０の判定が行われる。ステップＳ３０においては、例えば、補助画像作成に際して行われる適用処理をユーザに示すための確認表示が例えば表示部１０４になされる。なお、相性の悪い複数の適用処理が候補になっている場合には、その中で最も優先度の高いものを示す表示がなされる。この確認表示を見たユーザは、操作部１１０を操作して１つの適用処理だけを行ってもよいか否かを指示する。この指示により、ステップＳ３０の判定が行われる。ステップＳ３０において、１つの適用処理だけを行ってもよいと判定されたときには、処理はステップＳ３１に移行する。ステップＳ３０において、１つの適用処理だけを行う必要はないと判定されたときには、図３の処理は終了する。

ステップＳ３１において、制御部１１２は、１つの適用処理を用いて補助画像を作成する。その後、図３の処理は終了する。補助画像の作成方法は、基本的には２つの適用処理を用いて補助画像を作成する場合と同様である。すなわち、２つの適用処理を用いて補助画像を作成する場合には、２つの適用処理のそれぞれに対応した撮像条件を設定してから撮像が行われるのに対し、１つの適用処理を用いて補助画像を作成する場合には、その適用処理に対応した撮像条件を設定してから撮像が行われる。

ここで、再び図２の説明に戻る。ステップＳ１１において、制御部１１２は、ユーザによる撮影開始の操作がある否かを判定する。撮影開始の操作は、例えばレリーズボタンの押し操作又はタッチパネルの所定の箇所へのタッチ操作である。ステップＳ１１において、ユーザによる撮影開始の操作がないと判定されたときに、処理はステップＳ１に戻る。ステップＳ１１において、ユーザによる撮影開始の操作があると判定されたときに、処理はステップＳ１２に移行する。

ステップＳ１２において、制御部１１２は、撮影動作を開始する。例えば、制御部１１２は、撮像光学系１０２ａの絞りの設定及び撮像素子１０２ｂの露出時間等を被写体輝度に応じて設定する。そして、制御部１１２は、撮像部１０２の撮像動作を開始させる。そして、制御部１１２は、撮像動作で得られた画像データに対して必要な画像処理を施して記録部１０８に記録する。このような撮影動作の後、処理はステップＳ１に戻る。

ステップＳ１３において、制御部１１２は、撮像装置１００の動作モードが再生モードであるか否かを判定する。ステップＳ１３において、撮像装置１００の動作モードが再生モードであると判定されたときに、処理はステップＳ１４に移行する。ステップＳ１３において、撮像装置１００の動作モードが再生モードでないと判定されたときに、処理はステップＳ１に戻る。

ステップＳ１４において、制御部１１２は、記録部１０８に記録されている画像ファイルの一覧を表示部１０４に表示させる。

ステップＳ１５において、制御部１１２は、表示部１０４に一覧表示された画像ファイルのうちの１つがユーザによって選択されたか否かを判定する。画像ファイルの選択は、例えばユーザによるタッチパネルの操作によって行われる。ステップＳ１５において画像ファイルの選択がなされたと判定されたときに、処理はステップＳ１６に移行する。ステップＳ１５において画像ファイルの選択がなされていないと判定されたときに、処理はステップＳ１３に戻る。

ステップＳ１６において、制御部１１２は、再生する画像ファイルに対応付けられており、かつ、再生する画像ファイル中の画像データにまだ合成されていない補助画像があるか否かを判定する。前述したように、補助画像作成処理において作成される１つ以上の補助画像は、元の画像と合成される場合もあるし、合成されない場合もある。ステップＳ１６において、再生する画像ファイル中の画像データにまだ合成されていない補助画像があると判定されたときには、処理はステップＳ１７に移行する。ステップＳ１６において、再生する画像ファイル中の画像データにまだ合成されていない補助画像がないと判定されたときには、処理はステップＳ１８に移行する。

ステップＳ１７において、制御部１１２は、ユーザによって選択された画像ファイルに記録されている補助画像から合成拡大画像を作成し、作成した合成拡大画像を元の画像に合成して表示部１０４に表示する。その後、処理はステップＳ１９に移行する。

ステップＳ１８において、制御部１１２は、ユーザによって選択された画像ファイルに記録されている画像を表示部１０４に表示する。その後、処理はステップＳ１９に移行する。

ステップＳ１９において、制御部１１２は、画像ファイルの再生を終了するか否かを判定する。例えば、ユーザによる操作部１１０の操作によって画像ファイルの再生終了が指示された場合には、画像ファイルの再生を終了すると判定される。ステップＳ１９において、画像ファイルの再生終了が指示されたと判定されたときに、処理はステップＳ１に戻る。ステップＳ１９において、画像ファイルの再生終了が指示されていないと判定されたときに、処理はステップＳ１６に戻る。

以上説明したように本実施形態によれば、画像データの特徴の分析結果に応じて対象物の焦点状態の確認に有用な適用処理が行われる。これにより、ユーザは、対象物の焦点状態をよりよく確認することが可能である。

以上実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、前述の実施形態では、補助画像は、拡大画像の取得後に作成されるものとしている。しかしながら、補助画像は、必ずしも拡大画像の取得後に作成されるものでなくてもよい。また、合成拡大画像も必ずしも作成される必要はなく、画像ファイルの再生時には、元の画像ファイルに記録されている画像と補助画像とを単純に合成したものが表示されてもよい。

また、前述の実施形態では、撮像装置は、デジタルカメラ等の画像の記録を目的とした撮像装置を例に挙げている。これに対し、本実施形態の技術は、各種の撮像装置に適用されるものであり、画像の記録を行わない撮像装置に対しても適用され得る。この点で、例えば内視鏡装置、顕微鏡装置、監視装置といった撮像装置に対しても本実施形態の技術は適用され得る。特に、厳密な目視調節を必要とする機器において、効果を発揮するが、もちろん、視認性をよくする処理は、自動判定時にも有用な処理である場合が多い。本発明は、有用処理後に自動制御するような場合も想定しており、自動制御用に有用と考えてもよい。

また、前述の各動作フローチャートの説明において、便宜上「まず」、「次に」等を用いて動作を説明しているが、この順で動作を実施することが必須であることを意味するものではない。

また、上述した実施形態による各処理は、コンピュータである制御部１１２に実行させることができるプログラムとして記憶させておくこともできる。この他、磁気ディスク、光ディスク、半導体メモリ等の外部記憶装置の記録媒体に格納して配布することができる。そして、制御部１１２は、この外部記憶装置の記録媒体に記憶されたプログラムを読み込み、この読み込んだプログラムによって動作が制御されることにより、上述した処理を実行することができる。

さらに、上記した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件の適当な組合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、上述したような課題を解決でき、上述したような効果が得られる場合には、この構成要件が削除された構成も発明として抽出され得る。

１００ 撮像装置、１０２ 撮像部、１０２ａ 撮像光学系、１０２ｂ 撮像素子、１０２ｃ 駆動部、１０４ 表示部、１０６ 仮記録部、１０８ 記録部、１１０ 操作部、１１０ａ マニュアルフォーカス（ＭＦ）操作部、１１２ 制御部、１１２１ 撮像制御部、１１２２ 表示制御部、１１２３ 画像処理部、１１２４ 画像分析部、１１２５ 補助画像作成部。

Claims (7)

1. 対象物を撮像して前記対象物に係る画像データを得る撮像部と、
   前記画像データに基づく画像を表示する表示部と、
   前記画像データの特徴を分析する画像分析部と、
   分析された前記画像データの特徴から、前記表示部に表示される画像における前記対象物の焦点状態の確認に有用な少なくとも１つの適用処理を決定し、決定した適用処理に応じて前記撮像部の撮像条件を設定してから前記撮像部を動作させて補助画像を作成する補助画像作成部と、
   を具備し、
   前記補助画像作成部は、前記適用処理が複数であるときには、複数の前記適用処理のそれぞれに対応した撮像条件を同時に設定してから前記撮像部を動作させて前記補助画像を作成することを特徴とする撮像装置。
2. 対象物を撮像して前記対象物に係る画像データを得る撮像部と、
   前記画像データに基づく画像を表示する表示部と、
   前記画像データの特徴を分析する画像分析部と、
   分析された前記画像データの特徴から、前記表示部に表示される画像における前記対象物の焦点状態の確認に有用な少なくとも１つの適用処理を決定し、決定した適用処理に応じて前記撮像部の撮像条件を設定してから前記撮像部を動作させて補助画像を作成する補助画像作成部と、
   を具備し、
   前記補助画像作成部は、前記適用処理が複数であるときには、複数の前記適用処理の間の相性を判定し、該相性がよいときのみ、複数の前記適用処理に応じて前記撮像部を動作させて前記補助画像を作成することを特徴とする撮像装置。
3. 前記適用処理は、ハイダイナミックレンジ処理、深度削減処理、超解像処理、フレームレートの高速化処理の少なくとも何れか１つを含むことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記撮像装置は、ユーザによる手動での焦点調節を可能とするためのマニュアルフォーカスモードを動作モードとして有しており、
   前記補助画像作成部は、前記マニュアルフォーカスモードのときに、前記補助画像を作成することを特徴とする請求項１乃至３の何れか１項に記載の撮像装置。
5. 前記補助画像作成部は、前記表示部への表示のために前記撮像部で得られた画像データと前記補助画像とを合成して合成画像を作成し、
   前記表示部は、前記合成画像を表示することを特徴とする請求項１乃至４の何れか１項に記載の撮像装置。
6. 撮像部によって対象物を撮像して前記対象物に係る画像データを得ることと、
   前記画像データに基づく画像を表示部に表示することと、
   前記画像データの特徴を分析することと、
   分析された前記画像データの特徴から、前記表示部に表示される画像における前記対象物の焦点状態の確認に有用な少なくとも１つの適用処理を決定することと、
   決定した適用処理に応じて前記撮像部の撮像条件を設定してから前記撮像部を動作させて補助画像を作成することと、
   を具備し、
   前記補助画像を作成する際に、前記適用処理が複数であるときには、複数の前記適用処理のそれぞれに対応した撮像条件を同時に設定してから前記撮像させて前記補助画像を作成することを特徴とする撮像方法。
7. 撮像部によって対象物を撮像して前記対象物に係る画像データを得ることと、
   前記画像データに基づく画像を表示部に表示することと、
   前記画像データの特徴を分析することと、
   分析された前記画像データの特徴から、前記表示部に表示される画像における前記対象物の焦点状態の確認に有用な少なくとも１つの適用処理を決定することと、
   決定した適用処理に応じて前記撮像部の撮像条件を設定してから前記撮像部を動作させて補助画像を作成することと、
   を具備し、
   前記補助画像を作成する際に、前記適用処理が複数であるときには、複数の前記適用処理の間の相性を判定し、該相性がよいときのみ、複数の前記適用処理に応じて前記撮像させて前記補助画像を作成することを特徴とする撮像方法。