JP5725975B2

JP5725975B2 - 撮像装置及び撮像方法

Info

Publication number: JP5725975B2
Application number: JP2011119078A
Authority: JP
Inventors: 澤田　圭一; 圭一澤田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2011-05-27
Filing date: 2011-05-27
Publication date: 2015-05-27
Anticipated expiration: 2031-05-27
Also published as: JP2012249070A; US20120300095A1

Description

本発明は、多視点からの撮影画像を取得する撮像装置及び撮像方法に関する。

異なる複数視点からの撮影画像を取得する撮像装置が提案されている（例えば、非特許文献１）。この撮像装置は、複数の撮像部を有し、各撮像部がそれぞれ撮影を行うことで、異なる複数視点からの撮影画像を取得する。そして撮影後に、各撮影画像を合成することで、撮影時に設定したフォーカス距離（以下、撮影フォーカス距離とする）とは異なるフォーカス距離の画像を生成できるようになっている。上記のような撮像装置を、本発明では多眼カメラと呼ぶ。

一般に、小型の撮像部を並べた多眼カメラでは、小型ゆえに、個別の撮像部の画素数が少なく、撮影画像の解像度は低い。このような複数枚の低解像度画像から１枚の高解像度画像を得る方法として超解像処理が知られている（たとえば、非特許文献２）

特開２００９−２０６９２２号公報

"Dynamically Reparameterized Light Fields", A. Isaksen et al., ACM SIGGRAPH, pp.297-306 (2000) "Super-Resolution Image Reconstruction: A Technical Overview", Sung C.P., Min K.P., IEEE Signal Proc. Magazine, Vol.26, 3, p.21-36 (2003)

多眼カメラにおいて超解像処理を行うためには、各撮像部による撮影画像の間にサブピクセルの画素ずれ（すなわち、１画素未満の画素ずれ）が存在する必要がある。しかし、画像合成時に設定するフォーカス距離（以下、合成フォーカス距離とする）によっては、各撮像部による撮影画像の間にサブピクセルの画素ずれが起こらず、超解像処理が不可能となる場合がある。このような超解像処理が不可能な距離に重要な被写体があると、その重要被写体のある距離を合成フォーカス距離とした画像を合成しても、低解像度の合成画像しか生成できない。

このような問題点を解決するために特許文献１では、撮影時に、焦点距離などの撮像パラメータをそれぞれの撮像部ごとにランダムな量だけ変化させることで、超解像処理の可能性を増やしている。しかし、撮像パラメータの変化量がランダムであるため、重要被写体のある距離を合成フォーカス距離とした場合に超解像処理が可能になるとは限らない。

そこで本発明では、重要被写体がある距離を合成フォーカス距離とした場合の超解像可能性を上げることを目的とする。

本発明に係る撮像装置は、異なる複数視点からの撮影を行う複数の撮像手段と、前記複数の撮像手段によって撮像された画像を合成することによって得られる合成画像においてフォーカスされる被写体への距離に基づいて、前記被写体に対する超解像可能性が増えるように、前記複数の撮像手段に対する撮像パラメータを調整する調整手段とを備えたことを特徴とする。

本発明によれば、重要被写体がある距離を合成フォーカス距離とした場合の超解像可能性を上げる撮像装置及び撮像方法を提供することができる。

本発明の実施形態である撮像装置の外観上の構成を示す図である。撮像装置の各処理部を示すブロック図である。撮像部の詳細を示す図である。実施例１における撮像装置の動作を示すフローチャートである。画像合成部の動作を示すフローチャートである。位置合わせ処理を行った撮影画像群を模式的に示す図である。位置合わせ処理のフローチャートである。センサーと被写体の縮尺関係を示す図である。実施例２における撮像装置の動作を示すフローチャートである。表示部２０６における警告表示の一例を模式的に示す図である。

＜撮像装置の全体構成＞
図1は、本発明の実施形態である２５個の撮像部を内蔵した所謂多眼カメラ（撮像装置）の外観である。ただし、撮像部の個数は２つ以上であればよく、本発明は撮像部の個数を２５個と限定するものではない。図1の符号１０１〜１２５は撮像部である。撮像部１０１〜１２５によって、異なる複数視点からの撮影を行うことができる。符号１２６はフラッシュである。符号１２７はカメラボディである。その他、多眼カメラの外観には、図1に図示しない操作部や表示部などがあり、それらは図2を用いて説明する。

図2は図1の多眼カメラの各処理部を表している。符号２００はバスであり、データ転送の経路である。撮像部１０１〜１２５は、被写体の光情報をセンサーで受光しＡ／Ｄ変換を施した後、バス２００に撮影画像データ（以下、撮影画像とする）を出力する。撮像部１０１〜１２５の詳細は後述する。フラッシュ１２６は、被写体に光を照射する。デジタル信号処理部２０１は、撮影画像に対して、デモザイキング処理、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などを行う。符号２０２は圧縮・伸長部であり、撮影画像をＪＰＥＧやＭＰＥＧなどのファイルフォーマットに変換する処理を行う。符号２０３は外部メモリ制御部である。符号２０４は外部メディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）である。外部メモリ制御部２０３は外部メディア２０４につなぐためのインターフェースである。符号２０５はＣＧ生成部であり、文字やグラフィックスからなるＧＵＩを生成し、デジタル信号処理部２０１で生成された撮影画像に重ね合わせて、新たな撮影画像を生成する。符号２０６は表示部でありユーザーに撮像装置の設定や撮影画像などの各種情報を示す。符号２０７は表示制御部であり、ＣＧ生成部２０５やデジタル信号処理部２０１から受け取った撮影画像を表示部２０６に表示する。符号２０８は操作部であり、ボタンやモードダイヤルなどが該当し、一般に複数のボタンやモードダイヤルからなる。さらには、表示部２０６がタッチパネルとして構成されており、操作部を兼ねていてもよい。操作部２０８を介してユーザーの指示が入力される。符号２０９は撮像光学系制御部であり、フォーカスを合わせる、シャッターの開閉を行う、絞りを調節するなどの撮像光学系の制御を行う。符号２１０はＣＰＵであり、命令に従って各種処理を実行する。符号２１１は記憶部であり、ＣＰＵ２１０で実行する命令などを記憶する。符号２１２は重要被写体抽出部であり、撮像部１０１〜１２５の撮影範囲に含まれる被写体から重要被写体を抽出する。符号２１３は超解像可能性算出部であり、撮影画像中の重要被写体が写っている画像領域における超解像処理の可能性を算出する。符号２１４は撮像パラメータ調整部であり、超解像可能政算出２１３が算出した超解像可能性に応じて後述する撮像パラメータを調整する。符号２１５は画像合成部であり、撮影画像群を合成することで合成フォーカス距離にある被写体にフォーカスを合わせ、合成フォーカス距離にある被写体が写っている画像領域に対して超解像処理を施した合成画像を生成する。

ここで、撮像部１０１〜１２５の詳細を、図3を参照して説明する。符号３０１はフォーカスレンズ群であり、光軸上を前後に移動することで撮影フォーカス距離を調整する。符号３０２はズームレンズ群であり、光軸上を前後に移動することで撮像部１０１〜１２５の焦点距離を変更する。符号３０３は絞りであり、被写体からの光量を調整する。符号３０４は固定レンズ群であり、テレセントリック性等のレンズ性能を向上させるためのレンズである。符号３０５はシャッターである。符号３０６はＩＲカットフィルターであり、被写体からの赤外線を吸収する。符号３０７はカラーフィルターであり、特定の波長領域にある光のみを透過させる。符号３０８はＣＭＯＳやＣＣＤなどのセンサーであり、被写体からの光量をアナログ信号に変換する。符号３０９はＡ／Ｄ変換部であり、センサー３０８にて生成されたアナログ信号をデジタル信号に変換し、撮影画像を生成する。

なお、図3に示したフォーカスレンズ群３０１、ズームレンズ群３０２、絞り３０３、固定レンズ群３０４の配置は例であり、異なる配置でもよく、本発明をこの例に限定するものではない。また、ここでは撮像部１０１〜１２５をまとめて説明したが、全ての撮像部が全く同じ構成である必要はない。例えば、一部、あるいは全ての撮像部がズームレンズ群３０２を持たない単焦点の光学系であってもよい。同様に、一部、あるいは全ての撮像部が固定レンズ群３０４を持たなくてもよい。以上が撮像部１０１〜１２５の詳細である。

なお、装置の構成要素は上記以外にも存在するが、本件発明の主眼ではないので、説明を省略する。
また、本件発明の構成要素は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用しても良い。本件発明の目的は、前述の実施形態の機能を実現するプログラムをシステムのコンピュータ(またはCPUまたはMPU)が実行しても達成される。この場合、プログラム自体が前述した実施形態の機能を実現することになり、そのプログラムを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、CD-ROM、CD-R、磁気テープ、不揮発性のデータ保存部、ROMなどを用いることが出来る。また、コンピュータが読み出したプログラムを実行することにより、前述した実施形態の機能が実現されるだけではない。そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが実際の処理の一部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。さらに、プログラムの指示内容をシステムの機能拡張ボードに備わるCPUなどが実行し、その処理で前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

＜実施例１のフローチャート＞
実施例１における撮像装置の動作について図 4のフローチャートを用いて説明する。
ステップＳ４０１で、撮像部１０１〜１２５がプレ撮影を行う。

ステップＳ４０２で、重要被写体抽出部２１２が、ステップＳ４０１で撮影されたプレ撮影画像から重要被写体を抽出する。重要被写体の抽出方法は任意であるが、例えば、プレ撮影画像から人間の顔を認識し、認識した人間の顔を重要被写体として抽出すればよい。または、プレ撮影画像から認識された物体の大きさ、配置、距離、形状等に基づいて、重要被写体を抽出しても良い。さらに、プレ撮影画像をタッチパネルである表示部２０６（又は操作部２０８）に表示し、ユーザによって選択された被写体を重要被写体としても良い。ここで、重要被写体として抽出する被写体は１個に限定されず、複数個の被写体を重要被写体として抽出しても構わない。

ステップＳ４０３で、超解像可能性算出部２１３が、ステップＳ４０２で抽出された重要被写体までの距離を合成フォーカス距離としたときの超解像可能性を算出する。超解像可能性は、後述する画素ずれ量や超解像処理を行った際に生じるノイズ増幅量などの程度を示す値である。ステップＳ４０２で複数の重要被写体が抽出された場合、各重要被写体について超解像可能性が算出される。超解像可能性算出部２１３の動作の詳細については後述する。

ステップＳ４０４で、撮像パラメータ調整部２１４が、ステップＳ４０３で算出された超解像可能性に基づいて、撮像パラメータを調整する。撮像パラメータと撮像パラメータ調整部２１４の動作の詳細については後述する。

ステップＳ４０５で、撮像部１０１〜１２５が、ステップＳ４０４で調整された撮像パラメータを用いて本撮影を行う。

ステップＳ４０６で、画像合成部２１５が、本撮影により得られた撮影画像の画像合成処理を行う。この画像合成処理のための合成フォーカス距離は、ユーザの指示に応じて指定される。または、Ｓ４０２で抽出された重要被写体に応じて定められるなど、任意の方法で指定することができる。画像合成部２１５の動作の詳細については後述する。

＜画像合成部２１５の概要＞
まず、本発明の前提となる画像合成部２１５の動作について説明する。画像合成部２１５は、撮像部１０１〜１２５において取得された撮影画像群を合成することによって、画像のフォーカス距離を撮影フォーカス距離から合成フォーカス距離へ変更し、さらに合成フォーカス距離にある被写体を高解像度化した合成画像を生成する。

＜画像合成部２１５の動作のフロー＞
画像合成部２１５の動作について図5のフローチャートを用いて説明する。
ステップS５０１で、複数の撮像部で撮像された複数の撮影画像に対して、後述する位置合わせ処理を行う。位置合わせ処理を行うと、図6に示すように、複数の撮影画像において、合成フォーカス距離に存在する被写体が写っている画像領域では位置が合い、それ以外の画像領域では位置がずれる。

ステップS５０２で、撮影画像を複数の画像領域に分割する。分割方法は任意であるが、例えば、８×８画素ずつの画像領域に分割すればよい。

ステップS５０３で、最初の画像領域を参照する（以下、現在参照している画像領域のことを「参照画像領域」とする）。最初の参照画像領域の選択方法は任意であるが、例えば、最も左上の画像領域を最初の参照画像領域として選択すればよい。

ステップS５０４で、参照画像領域がS５０１で位置を合わせた領域であるかどうかを判定する。判定方法は任意であるが、例えば、撮影画像群の参照画像領域における色信号の分散を調べ、分散が小さい場合は位置が合っていると判定し、分散が大きい場合は位置が合っていないと判定すればよい。

ステップS５０４において位置の合った画像領域と判定した場合、ステップS５０５で当該画像領域に対して超解像処理を行う。超解像処理は、画素ずれ、ダウンサンプリング、ボケによる劣化を復元する処理である。どのような超解像処理を行うかは任意であるが、例えば、非特許文献２記載の方法を用いればよい。位置の合った画像領域に対して超解像処理を行うことによって、合成フォーカス距離に存在する被写体を高解像度化することができる。

ステップS５０４において位置の合っていない画像領域と判定した場合、ステップS５０６で、当該画像領域に対して重畳処理を行う。どのような重畳処理を行うかは任意であるが、例えば、撮影画像群の参照画像領域における画素値の平均値を合成画像の画素値とすればよい。重畳処理によって、合成フォーカス距離以外にある被写体をボケさせることができる。

ステップS５０７で、全ての画像領域を参照し終えたかを判定し、まだ参照し終えていなければ、ステップS５０８で次の画像領域を参照し、全ての画像領域を参照し終えるまでステップS５０４〜ステップS５０８の処理を繰り返す。ここで、次の参照画像領域の選択方法は任意であるが、例えば、ラスタ順で次の参照画像領域を選択すればよい。

以上の処理により、画像のフォーカス距離（被写体までの距離）を撮影フォーカス距離から合成フォーカス距離へ変更し、さらに合成フォーカス距離に存在する被写体を高解像度化した合成画像を生成することができる。

＜位置合わせ処理のフロー＞
画像合成部２１５による位置合わせ処理について、図7のフローチャートを用いて説明する。

ステップＳ７０１で、基準となる撮像部（以下、基準撮像部とする）を選択する。基準撮像部の選択方法は任意であるが、例えば、撮像部１０１〜１２５の各位置の重心に最も近い撮像部を基準撮像部として選択すればよい。

ステップＳ７０２で、最初の撮像部を参照する（以下、現在参照している撮像部のことを、「参照撮像部」とする）。最初の参照撮像部として選択できる撮像部は、基準撮像部以外の任意の撮像部である。例えば、最も基準撮像部に近い撮像部を最初の参照撮像部として選択すればよい。

ステップＳ７０３で、基準撮像部で取得した撮影画像（以下、基準撮影画像とする）と参照撮像部で取得した撮影画像（以下、参照撮影画像とする）との間について、所定の合成フォーカス距離における画素ずれ量を算出する。当該所定の合成フォーカス距離として、位置合わせを行う位置までの距離が設定されている。画素ずれ量の算出方法については後述する。

ステップＳ７０４で、ステップＳ７０３で算出した画素ずれ量に合わせて参照撮影画像を幾何変換する。ここで、画素ずれ量は距離によって異なるため、合成フォーカス距離における画素ずれ量に合わせて幾何変換することで、合成フォーカス距離では位置が合い、それ以外の距離では位置がずれる。

ステップＳ７０５で、基準撮像部以外の全ての撮像部を参照し終えたかを判定し、まだ参照し終えていなければ、ステップＳ７０６で、次の撮影部を参照し、全ての撮像部を参照し終えるまでステップＳ７０３〜７０６の処理を繰り返す。ここで、次の参照撮像部の選択方法は任意であるが、例えば、まだ参照していない基準撮影部以外の撮像部のうちで基準撮像部に最も近い撮像部を次の参照撮像部として選択すればよい。

＜画素ずれ量の算出方法＞
画像合成部２１５による画素ずれ量の算出方法について、センサー３０８と被写体の縮尺関係を模式的に示した図８を用いて説明する。

図8において、センサー平面８０１は、撮像部１０１〜１２５のセンサー３０８が置かれる平面である。レンズ平面８０２は、撮像部１０１〜１２５の全光学中心を含む平面である。合成フォーカス平面８０３は合成フォーカス距離（画素ずれ量を算出する対象の被写体までの距離）にある平面である。また、dは合成フォーカス距離、Ｄは撮影フォーカス距離である。ｈはセンサー平面８０１とレンズ平面８０２との距離（以下、センサーレンズ間距離とする）である。Lは基準撮像部の光学中心と参照撮像部の光学中心とのｘ方向の距離（以下、基線長とする）である。ｓはセンサー３０８のｘ方向の長さである。rは合成フォーカス平面８０３においてセンサー３０８の全画素に撮像される範囲のｘ方向の長さ、oは合成フォーカス平面８０３においてセンサー３０８の１画素に撮像される範囲のｘ方向の長さである。ここで、「ｘ方向」とは図１に示した方向である。

簡単な例として、撮像部１０１〜１２５がその光軸に垂直な面上での平行移動によって、お互いの撮像部に重なるように配置されており、かつ、個々の撮影画像の歪曲収差などが十分小さく無視できるような理想的な場合を考える。さらに、撮像部１０１〜１２５は全て同じ焦点距離ｆを持ち、センサー３０８のｘ方向の画素ピッチｓ’とｘ方向の画素数ｎも同じとする（ここで、ｓ＝ｓ’×ｎである）。この時、画素ずれは平行移動のみとなるため、この平行移動量を画素ずれ量として、算出方法を示す。ｘ方向の画素ずれ量aは、図８から式（１）〜（３）で表すことができる。

また、焦点距離ｆと撮影フォーカス距離Ｄ、センサーレンズ間距離ｈの関係は、式（４）で表すことができる。

まとめると、ｘ方向の画素ずれ量aは、式（５）で表すことができる。

以上の説明はｘ方向の画素ずれ量算出方法についてであったが、ｙ方向の画素ずれ量についても同様に算出すればよい。

以上は画素ずれ量算出方法の簡単な例であるが、より一般的な場合、例えば、撮像部１０１〜１２５の位置や姿勢が任意で、焦点距離も画素ピッチも異なっている場合には、画素ずれ量は撮影画像中の画素位置に依存する。このため、上述の例のように、撮影画像全体で画素ずれ量を算出するのではなく、局所的に画素ずれ量を算出する。具体的には、参照撮像部で取得した撮影画像の画素位置x、yに写り、合成フォーカス距離にある点が、基準撮像部で取得した撮影画像上においてどこの画素位置に対応するのかを算出する。これには、透視投影変換とその逆変換を用いればよい。透視投影変換は本件発明の主眼ではないため、説明を省略する。また、個々の撮影画像に歪曲収差がある場合は、歪曲補正を行った上で、対応関係を画素位置の対応を求めればよい。歪曲補正は既存の技術で行えば良く本件発明の主眼ではないため、説明を省略する。

＜超解像可能性算出部２１３の動作＞
超解像可能性算出部２１３の動作について説明する。撮影画像間にサブピクセルの画素ずれが無いと超解像処理は不可能である。また、画素ずれ量が整数値からわずかでもずれていれば超解像処理自体は可能であるが、整数値からのずれが小さい場合ノイズが増幅する。そこで、式（６）のように超解像可能性を示す指標Ｅを画素ずれ量により定義する。

ここで、aは基準撮影画像との画素ずれ量、ｒｏｕｎｄ（ａ）はａを四捨五入した値を表す。画素ずれ量ａの算出方法は前述したとおりである。

また、式（７）のように超解像可能性を示す指標Ｅを超解像処理を行った際に生じるノイズ増幅量と相関のある値として定義してもよい。

ここで、Ｘは、その成分が以下の式で表される行列Ｍの逆行列である。

ここで、ｊとｋ、ｌとｍは、それぞれ１からＮまでの値をとり、Ｎは画像合成に用いる入力画像の枚数である。また、Δx_lとΔy_mはそれぞれｘ方向とｙ方向の画素ずれ量である。また、[Ｎ／２]はガウス記号であり、Ｎ／２を超えない整数を指す。行列Ｍの大きさはＮ²×Ｎ²である。

なお、超解像可能性を示す指標Ｅは以上のような画素ずれ量やノイズ増幅量と相関のある値に限定されない。超解像処理は画素ずれだけでなく、ダウンサンプリングやボケによる劣化を復元する技術であるため、超解像可能性はセンサー解像度やレンズのＭＴＦにも依存する。一般的に、センサー解像度が低いよりも高い方が超解像可能性は高く、レンズのＭＴＦが低いよりも高い方が超解像可能性は高いため、超解像可能性を示す指標Ｅを、センサー解像度やレンズのＭＴＦと相関のある値としてもよい。

＜撮像パラメータ調整部２１４の動作＞
撮像パラメータ調整部２１４の動作について説明する。撮像パラメータ調整部２１４は、重要被写体がある距離を合成フォーカス距離とした場合の超解像可能性が高くなるように、撮像パラメータを調整する。ここで、撮像パラメータとは、撮影フォーカス距離、センサーレンズ間距離、焦点距離、基線長、センサー画素ピッチ、センサーの位置、光学レンズの位置、センサー解像度、レンズのＭＴＦである。なお、重要被写体がある距離の算出方法は任意であるが、例えば、ステレオ視の原理を用いればよい。ステレオ視の原理は本件発明の主眼ではないため、説明を省略する。

具体的な撮像パラメータ調整方法について説明する。簡単な例として、撮像部が基準撮像部と参照撮像部１個の計２個のみであり、重要被写体が１個のみの場合を考える。

まず、最も望ましい調整方法として、撮影フォーカス距離の調整について説明する。超解像可能性を表す指標Ｅとして式（６）を使用する場合、これを最大化する画素ずれ量の調整量Δａは式（７）で表すことができる。

ここで、floor(a)はaの無限小方向への切捨てを意味する。

画素ずれ量をΔａだけ変化させたい時の撮影フォーカス距離の調整量ΔＤは式（５）を変形し、式（８）のように表すことができる。

ここで、式（４）から、焦点距離ｆを固定して撮影フォーカス距離Ｄを変化させることは、センサーレンズ間距離ｈを変化させることと等価であるため、センサーレンズ間距離ｈを調整することにより、画素ずれ量ａを調整することも可能である。以上は撮像パラメータ調整の簡単な例であるが、実際はすべての参照撮像部と全ての重要被写体について超解像可能性が最適となるように撮像パラメータの調整を行う必要がある。最適化の方針は任意であるが、例えば、全ての重要被写体と全ての参照撮影画像についての超解像可能性を表す指標Ｅの和が最大となるように調整を行えばよい。

以上の説明では、撮影フォーカス距離、もしくはセンサーレンズ間距離を調整することで画素ずれ量ａの調整を行ったが、撮影フォーカス距離以外の撮像パラメータを式（５）を基にして調整しても構わない。例えば、焦点距離ｆを調整すれば、画角も一緒に変わってしまうものの、画素ずれ量ａを調整することができる。また、撮影部１０１〜１２５を自由に平行移動できる多眼カメラであれば、基線長Ｌを変更することで画素ずれ量ａを調整してもよい。また、熱を与えてセンサー３０８を変形させるなどの方法で画素ピッチｓ’を変更することで画素ずれ量ａを調整してもよい。また、光学レンズ３０１、３０３、３０４やセンサー３０８を画素ずれ量の調整量Δａに合わせて平行移動してもよい。平行移動量ｐは式（９）で表すことができる。

また、センサーを解像度の高いものに変更したり、レンズをＭＴＦの高いものに変更することで、センサー解像度やレンズＭＴＦを調整し、超解像可能性を高めてもよい。

なお、調整する撮像パラメータは１個に限定されず、複数の撮像パラメータを同時に調整しても構わない。

以上説明したように、実施例１によれば、撮像パラメータを調整することで、重要被写体のある距離を合成フォーカス距離とした場合の超解像可能性を高めることができる。

実施例１では、重要被写体のある距離を合成フォーカス距離とした時の超解像可能性を高めるように撮像パラメータを調整する例について説明した。実施例２では、重要被写体のある距離を合成フォーカス距離とした時の超解像可能性に応じて、ユーザに警告表示を行う例を示す。

＜実施例２のフローチャート＞
実施例２における撮像装置の動作について図9のフローチャートを用いて説明する。
ステップＳ９０１〜９０３は、実施例１におけるステップＳ４０１〜４０３と同一であるため、説明を省略する。

ステップＳ９０４で、ステップＳ９０３で算出した超解像可能性に応じて、表示部２０６が警告表示を行う。表示部２０６の動作については後述する。

＜表示部２０６の動作＞
表示部２０６の動作について説明する。表示部２０６は、超解像可能性算出部２１３が算出した超解像可能性に応じて警告表示を行う。警告表示を行う条件は任意であるが、例えば超解像可能性を表す指標Ｅのしきい値を設定し、指標Ｅがしきい値を下回るような重要被写体がある場合に警告表示を行えばよい。ここで、指標Ｅを式（６）で定義した場合、しきい値として例えば、0.1という値を設定することができる。なお、警告表示の内容は任意であるが、たとえば、図10に示すように、指標Ｅがしきい値を下回る重要被写体を強調表示すればよい。また、超解像できない重要被被写体がある旨の文章を表示してもよい。以上の動作により、ユーザは、重要被写体に合成フォーカス距離を設定した場合に超解像可能かどうかを確認することができる。このことにより、例えば、撮影後にフォーカスを合わせた画像を合成したいとユーザが思う被写体が超解像可能性が低い場合に、ユーザ自身で撮像パラメータを調整することを促すことが可能となる。撮像パラメータの調整の後、実施例１と同様に、本撮影及び画像合成が行われる。

以上説明したように、実施例２によれば、超解像可能性に応じて警告表示を行うことで、重要被写体に合成フォーカス距離を設定した場合に超解像可能かどうかをユーザが確認することができる。

Claims

異なる複数視点からの撮影を行う複数の撮像手段と、
前記複数の撮像手段によって撮像された画像を合成することによって得られる合成画像においてフォーカスされる被写体への距離に基づいて、前記被写体に対する超解像可能性が増えるように、前記複数の撮像手段に対する撮像パラメータを調整する調整手段と
を備えたことを特徴とする撮像装置。
前記撮像パラメータは、前記撮像手段の撮影フォーカス距離、センサーレンズ間距離、光学レンズの焦点距離、基線長、センサー画素ピッチ、センサーの位置、光学レンズの位置、センサー解像度、レンズのＭＴＦのうち、少なくともいずれか１つを含むことを特徴とする請求項１に記載の撮像装置。
前記撮像手段により撮像された画像から重要被写体を抽出する抽出手段と、
前記抽出された重要被写体に対する超解像可能性を算出する算出手段とを備え、
前記調整手段は、前記重要被写体に対する前記超解像可能性が増えるように前記撮像パラメータを調整することを特徴とする請求項１または２に記載の撮像装置。
前記抽出手段は、前記撮像手段により撮像された画像から人間の顔を認識することによって重要被写体を抽出することを特徴とする請求項３に記載の撮像装置。
前記抽出手段は、前記撮像手段により撮像された画像からユーザの選択に応じて重要被写体を抽出することを特徴とする請求項３に記載の撮像装置。
前記超解像可能性は、前記撮像手段により撮像された画像間の画素ずれ量を示す値であることを特徴とする請求項１から５のいずれか１つに記載の撮像装置。
前記超解像可能性は、超解像処理を行った際に生じるノイズ増幅量の程度を示す値であることを特徴とする請求項１から５のいずれか１つに記載の撮像装置。
前記超解像可能性は、センサー解像度と相関のある値であることを特徴とする請求項１から５のいずれか１つに記載の撮像装置。
前記超解像可能性は、レンズのＭＴＦと相関のある値であることを特徴とする請求項１から５のいずれか１つに記載の撮像装置。
前記超解像可能性に応じて、ユーザに警告表示を行う表示手段を備えることを特徴とする請求項１から９のいずれか１つに記載の撮像装置。
前記警告表示は、超解像可能性が所定のしきい値を下回る重要被写体の強調表示であることを特徴とする請求項１０に記載の撮像装置。
前記警告表示は、超解像可能性が所定のしきい値を下回る重要被写体について、超解像できない重要被被写体がある旨の文章の表示であることを特徴とする請求項１１に記載の撮像装置。
前記調整手段は、前記複数の撮像手段によって撮像される画像間の画素ずれ量の小数部が０．５に近くなるように、前記撮像パラメータを調整することを特徴とする請求項１から１２のいずれか１つに記載の撮像装置。
前記調整手段は、前記複数の撮像手段によって撮像された第１の画像群を用いて得られた前記被写体への距離に基づいて前記撮像パラメータを調整し、
前記複数の撮像手段は、前記第１の画像群を用いて得られた前記距離に基づいて前記調整手段によって調整された前記撮像パラメータを用いて第２の画像群を撮像することを特徴とする請求項１から１３のいずれか１つに記載の撮像装置。
前記第２の画像群を合成して前記合成画像を取得する合成手段をさらに備えることを特徴とする請求項１４に記載の撮像装置。
複数の撮像手段によって異なる複数視点からの撮影を行う複数の撮像ステップと、
前記複数の撮像ステップによって撮像された画像を合成することによって得られる合成画像においてフォーカスされる被写体への距離に基づいて、前記被写体に対する超解像可能性が増えるように、前記複数の撮像手段に対する撮像パラメータを調整する調整ステップと
を有することを特徴とする撮像方法。
コンピュータを、請求項１から１５のいずれか１つに記載の撮像装置として機能させるためのプログラム。