JP5553863B2 - 画像処理方法、撮像装置、画像処理装置、および、画像処理プログラム - Google Patents

Description

本発明は、入力画像の再構成を行うことによりピント位置の異なる複数の出力画像を生成可能な画像処理方法に関する。

近年、撮像素子により得られたデータに対して演算を行い、それに応じたデジタル画像処理を行うことで様々な画像の出力を行う撮像装置が提案されている。非特許文献１および非特許文献２には、「Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ」を用いて、被写体面上での２次元的な光強度分布と視差情報（これらをまとめて「ライトフィールド」という。）を同時に取得する撮像装置が開示されている。このような撮像装置によれば、ライトフィールドを取得することにより、撮影後の画像処理によってリフォーカスと呼ばれる画像のピント位置の変更や、被写界深度の調節などが可能となる。しかし、このような撮像装置では、撮像素子の画素を光の２次元強度分布だけでなく、視差情報の保存にも割り当てる必要がある。このため、光の２次元強度分布のみを保存する撮像装置に対して、空間解像度が低下する。

非特許文献２には、結像光学系によって形成された像面のある一点を、レンズアレイを構成する複数の小レンズを用いて複数の小画像を取得する構成が開示されている。このようにして得られた複数の小画像を再構成することで、再構成画像を高解像度化することができる。このような高解像度化手法を「画素ずらし超解像」と呼ぶ。

Ｒｅｎ Ｎｇ，ｅｔ ａｌ．，"Ｌｉｇｈｔ Ｆｉｅｌｄ Ｐｈｏｔｏｇｒａｐｈｙ ｗｉｔｈ ａ Ｈａｎｄ−ｈｅｌｄ Ｐｌｅｎｏｐｔｉｃ Ｃａｍｅｒａ"，２００５ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＣＴＳＲ Ｔｏｄｏｒ Ｇｅｏｒｇｉｅｖ，ｅｔ ａｌ．，"Ｓｕｐｅｒｒｅｓｏｌｕｔｉｏｎ ｗｉｔｈ Ｐｌｅｎｏｐｔｉｃ ２．０ Ｃａｍｅｒａ"，２００９ Ｏｐｔｉｃａｌ Ｓｏｃｉｅｔｙ ｏｆ Ａｍｅｒｉｃａ

非特許文献２には、特定のピント位置において画素ずらし超解像の効果を得る方法が開示されている。しかしながら、複数の異なるピント位置において画像を生成する際、画素ずらし超解像の効果がどのように変化するかという点については考慮されていない。このため、リフォーカス画像が高解像度になるピント位置を特定することができない。複数のピント位置における画素ずらし超解像の効果を算出することができれば、その結果を利用して自動的に高解像なリフォーカス画像を作成し、または、ユーザーに画素ずらし超解像の効果が高いピント位置を知らせることが可能となる。

そこで本発明は、リフォーカス画像が高解像度になるピント位置を算出可能な画像処理方法、撮像装置、画像処理装置、および、画像処理プログラムを提供する。

本発明の一側面としての画像処理方法は、入力画像の再構成を行うことによりピント位置の異なる複数の出力画像を生成可能な画像処理方法であって、複数の画素を有する撮像素子と、結像光学系を有する撮像装置とを用いて、複数の視点から被写体空間の情報を取得した画像である前記入力画像を取得するステップと、複数のピント位置に対応する複数の仮想結像面に対して、前記再構成により合成される画素の画素ずれ量を算出するステップとを有する。

本発明の他の側面としての撮像装置は、入力画像の再構成を行うことによりピント位置の異なる複数の出力画像を生成可能な撮像装置であって、結像光学系と、複数の画素を備えた撮像素子と、被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させる瞳分割部と、前記撮像素子で取得された前記入力画像に対して、該入力画像の撮影条件情報を用いた前記再構成を行うことにより、前記結像光学系の仮想結像面にピントの合った前記出力画像を生成する画像処理部とを有し、前記画像処理部は、複数のピント位置に対応する複数の仮想結像面に対して、前記再構成により合成される画素の画素ずれ量を算出する。

本発明の他の側面としての画像処理装置は、入力画像の再構成を行うことによりピント位置の異なる複数の出力画像を生成可能な画像処理装置であって、前記入力画像の撮影条件情報を記憶する記憶部と、前記入力画像に対して前記撮影条件情報を用いた前記再構成を行うことにより、仮想結像面にピントの合った出力画像を生成する画像処理部とを有し、前記画像処理部は、複数のピント位置に対応する複数の仮想結像面に対して、前記再構成により合成される画素の画素ずれ量を算出する。

本発明の他の側面としての画像処理プログラムは、入力画像の再構成を行うことによりピント位置の異なる複数の出力画像を生成可能な画像処理プログラムであって、複数の画素を有する撮像素子と、結像光学系を有する撮像装置とを用いて、複数の視点から被写体空間の情報を取得した画像である前記入力画像を取得するステップと、複数のピント位置に対応する複数の仮想結像面に対して、前記再構成により合成される画素の画素ずれ量を算出するステップと、を情報処理装置に実行させるように構成されている。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、リフォーカス画像が高解像度になるピント位置を算出可能な画像処理方法、撮像装置、画像処理装置、および、画像処理プログラムを提供することができる。

実施例１における撮像光学系の概略構成図である。 実施例２における撮像光学系の概略構成図である。 実施例３における撮像光学系の概略構成図である。 実施例１、２における撮像装置のブロック図である。 実施例１のリフォーカス画像生成に関する説明図である。 実施例１におけるリフォーカス範囲の説明図である。 実施例１、２における画像処理方法のフローチャートである。 実施例２のリフォーカス画像生成に関する説明図である。 実施例２におけるリフォーカス範囲の説明図である。 実施例２における画素のオーバーラップ数に関する説明図である。 実施例３における画像処理システムの説明図である。 実施例３における画像処理方法のフローチャートである。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

本実施形態の画像処理方法、撮像装置、画像処理装置、および、画像処理プログラムは、入力画像の再構成を行うことによりピント位置の異なる複数の出力画像を生成可能である。また、本実施形態の撮像装置は、正の屈折力を有する複数の光学系を配列し、または、結像光学系の像側にレンズアレイを配置することにより、ライトフィールドを取得可能に構成されている。入力画像は、このような撮像装置で取得された画像である。また、出力画像を生成する際は、入力画像に対してデモザイキング等の処理を施した画像を用いてもよい。

図１乃至図３は、本実施例形態における撮像装置を構成する撮像光学系の例である。撮像光学系とは、結像光学系および撮像素子を備えて構成されており、レンズアレイが設けられている場合にはレンズアレイを含めて撮像光学系を構成する。図１乃至図３中に示される被写体面２０１の上には、人物や物体が必ずしも存在していなくてよい。これは、再構成処理によって、被写体面２０１よりも奥または手前に存在する人物や物体に対して、撮影後でもピントを合わせることができるためである。また、以下の各実施例の説明は、簡単のために１次元系を用いて行うが、２次元系に関しても同様の議論が成り立つ。

まず、図４を参照して、本発明の実施例１における撮像装置の構成について説明する。図４は、本実施例における撮像装置のブロック図である。本実施例の画像処理方法は、撮像装置の画像処理部１０５により実行される。

瞳分割部１０２は、被写体面の同一位置からの光線を、光線が通過する結像光学系１０１の瞳領域に応じて、撮像素子１０３の互いに異なる画素に入射させる。撮像素子１０３は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの２次元撮像素子であり、複数の画素を備える。結像光学系１０１（主レンズ群）および瞳分割部１０２を介して撮像素子１０３に入射した光線のエネルギーは電気信号（アナログ信号）となり、Ａ／Ｄコンバータ１０４でデジタル信号へ変換される。このデジタル信号は、画像処理部１０５にて所定の処理が行われ、半導体メモリなどの画像記録媒体１１０に所定のフォーマットで保存される。この際、同時に状態検知部１０８から得られた撮像装置の撮像条件情報も保存される。撮影条件情報とは、撮影距離や絞り、ズームレンズにおける焦点距離などである。状態検知部１０８は、システムコントローラ１１１から撮影条件情報を直接得てもよいし、撮像光学系に関する情報に関しては光学系制御部１０７から得ることもできる。

画像記録媒体１１０に保存された画像を表示部１０６に表示する際には、画像処理部１０５で撮影条件情報に基づいた再構成処理が施される。その結果、表示部１０６には所望の視点、ピント位置や被写界深度に再構成された画像が表示される。また高速化のため、所望の画像設定（視点、ピント、被写界深度など）を予め記憶部１０９に保存し、画像記録媒体１１０を介さずに再構成画像を表示部１０６に直接表示させてもよい。さらに、画像記録媒体１１０に記録する画像は、再構成後の画像でもよい。

画素ずれ算出部１１２は、撮影条件情報から、複数のピント位置に対して再構成により合成される画素の画素ずれ量（リフォーカス画像の解像度に相当する）を算出する。そして、画素ずれ算出部１１２は、その算出結果を記憶部１０９と画像記録媒体１１０のいずれか一方、またはこれらの両方に保存する（画素ずれ算出工程）。この画素ずれ算出工程の詳細に関しては、後述する。撮影条件情報は前述と同様に、システムコントローラ１１１から直接得ることができる。また、撮像光学系に関する情報については、光学系制御部１０７から得るように構成してもよい。また、記憶部１０９または画像記録媒体１１０に保存された算出結果を用いて得られた出力を表示部１０６に表示してもよい。例えば、高解像なリフォーカス画像を自動的に生成し、または、ユーザーに高解像なピント位置を表示して知らせるなどしてもよい。また、高解像なピント位置の中から、ユーザーがリフォーカス画像のピント位置を選択できるように構成してもよい。

このように、画像処理部１０５は、撮像素子１０３で取得された入力画像に対して、入力画像の撮影条件情報を用いた再構成を行うことにより出力画像を生成する。以上の一連の制御は、システムコントローラ１１１により行われ、撮像光学系の機械的な駆動はシステムコントローラ１１１の指示によって光学系制御部１０７で行われる。

次に、図１を参照して、本実施例における撮像光学系の構成について説明する。図１は、撮像光学系の概略構成図である。撮像光学系は、結像光学系１０１、瞳分割部１０２（レンズアレイ１０２ａ）、および、撮像素子１０３を備えて構成される。本実施例において、結像光学系１０１は開口絞り（不図示）を備えている。

本実施例において、瞳分割部１０２として、固体レンズからなるレンズアレイ１０２ａを用いているが、これに限定されるものではなく、ピンホールアレイなど他の構成でもよい。また本実施例において、レンズアレイ１０２ａは複数のレンズ（小レンズ）を用いて構成され、小レンズは固体レンズで構成されている。ただし本実施例はこれに限定されるものではなく、液体レンズ、液晶レンズ、または、回折光学素子などを用いてレンズアレイ１０２ａを構成してもよい。レンズアレイ１０２ａを構成する小レンズは、両側の面が凸形状を有している。ただし本実施例はこれに限定されるものではなく、一方側の面が平面で他方側の面が凸形状を有していてもよい。ただし、レンズアレイ１０２ａを構成する小レンズの像側の面は、凸形状であることが好ましい。これにより、レンズアレイ１０２ａの非点収差を低減し、撮像素子１０３上で得られる画像が鮮鋭になる。逆に、小レンズの像側面が凸形状でない場合には非点収差が大きくなり、各小レンズによって形成される画像の周辺部がぼけてしまう。この画像のぼけた部分を再構成処理に使用すると、再構成により得られた画像が鮮鋭に形成されない場合がある。また、レンズアレイ１０２ａを構成する小レンズの物体側の面は、平面又は凸形状であることがより好ましい。これにより、小レンズの曲率が緩まって収差が低減し、更に鮮鋭な画像を得ることができる。

レンズアレイ１０２ａは、結像光学系１０１の被写体面２０１に対する像側共役面に配置されている。被写体面２０１からの光線は、結像光学系１０１およびレンズアレイ１０２ａを通過した後、光線の被写体面２０１上での位置と角度に応じて、撮像素子１０３の異なる画素へ入射し、ライトフィールドが取得される。ここで、レンズアレイ１０２ａは、被写体面２０１上の異なる位置を通過した光線が、同一の画素へ入射するのを防ぐ役割を持つ。その結果、撮像素子１０３において、被写体面２０１上の同一の領域を複数の視点から撮影した画素群が並んだ画像が取得される。図１に示される構成では、被写体面２０１上の同一の位置を３つの画素（２次元では９画素）で撮像している。このため、本実施例の撮像光学系は、光の２次元強度分布のみを取得する撮像光学系に対して２次元的な空間解像度が１／９に低下する。これは、被写体面２０１上の同一の位置を撮像する画素の数が変化しても、定性的に同じである。

続いて、本実施例におけるリフォーカス処理について説明する。リフォーカス処理に関しては、「Ｆｏｕｒｉｅｒ Ｓｌｉｃｅ Ｐｈｏｔｏｇｒａｐｈｙ」（Ｒｅｎ Ｎｇ著、２００５ ＡＣＭ Ｔｒａｎｓ． Ｇｒａｐｈ．２４，７３５−７４４参照）にて詳述されているため、ここでは簡単に説明する。図５を参照して、リフォーカス画像を生成する方法の一例について説明する。図５（ａ）、（ｂ）は、図１に示される撮像光学系において、レンズアレイ１０２ａと撮像素子１０３の部分を詳細に示した図である。図５（ａ）、（ｂ）中の一点鎖線は、各画素の中心と、この画素に対応した小レンズの主平面と光軸の交点を結んだ直線である。仮想結像面２０３は、リフォーカスによりピントを合わせようとする物体側の面に対する結像光学系１０１の像側共役面である。ただし本実施例において、像側共役面がレンズアレイ１０２ａの物体側主平面よりも像側に位置した場合、像側共役面をレンズアレイ１０２ａの主平面間隔だけ像側へ移動した面が仮想結像面２０３となる。撮像素子１０３で得られた画素値を、一点鎖線に沿って仮想結像面２０３へ平行移動させて合成することで、所望のピント位置でのリフォーカス画像を生成することができる。

例えば、図１中の被写体面２０１にピントの合った画像を生成するには、図５（ｂ）に示されるように、被写体面２０１と結像光学系１０１を介して共役な面、すなわちレンズアレイ１０２ａの主平面（像側主平面）に仮想結像面２０３を設定すればよい。図５（ａ）、（ｂ）において、リフォーカス画像生成の際の平行移動した画素は、破線で表され、分りやすくするために重ねずにずらして描画している。図５（ａ）、（ｂ）に示されるように、任意のリフォーカス画像を生成する際、画素に入射した光束が通過した結像光学系１０１の瞳領域が同じである場合、それらの画素は平行移動量が同じであることが分かる。したがって、リフォーカス画像生成時の画素の操作は、画素に入射する光束が通過した結像光学系１０１の瞳領域に応じて決定される。

次に、リフォーカスが可能な範囲に関して説明する。結像光学系１０１の開口径は有限であるため、撮像素子１０３で得られるライトフィールドの角度成分、すなわち視差情報も有限である。したがって、リフォーカスが可能な範囲は、有限の範囲に限定される。ここで、光の２次元強度分布をライトフィールドの空間成分と呼ぶ。このとき、リフォーカス範囲は、空間成分のサンプリングピッチΔｙおよび角度成分のサンプリングピッチΔｕにより決定され、その係数α_±は以下の式（１）のように与えられる。

式（１）を用いて表される像側のリフォーカス範囲α_＋ｓ_２〜α₋ｓ_２と、結像光学系１０１に対して共役な範囲が、物体側のリフォーカス範囲となる。ここでｓ_２は、結像光学系１０１の像側主平面と被写体面２０１に対する結像光学系１０１の像側共役面との間の距離である。

図６は、リフォーカス範囲の説明図である。図６に示される構成例では、被写体面２０１上の同一の位置を撮像している画素の１次元的な周期が３画素となっているため、空間成分のサンプリングピッチΔｙは、撮像素子１０３の画素ピッチの３倍となる。角度成分のサンプリングピッチΔｕは、結像光学系１０１の射出瞳が３分割（２次元では９分割）されているため、射出瞳径の１／３となる。式（１）で表されるリフォーカス範囲を超えると、取得したライトフィールドでは情報が不足し、正しいリフォーカス画像を生成することができない。式（１）は、撮像素子１０３の画素ピッチΔが結像光学系１０１の瞳距離Ｐに対して十分小さいことから、次の式（２）のように近似できる。

ここで、結像光学系１０１の瞳距離Ｐとは、結像光学系１０１の射出瞳面と被写体面２０１に対する結像光学系１０１の像側共役面との間の距離である。また、Ｎは結像光学系１０１の瞳の１次元分割数、Ｆは結像光学系１０１のＦ値、Δ_ＬＡはレンズアレイ１０２ａのピッチである。Δ_ＬＡは、瞳分割部１０２がピンホールアレイなどの場合は、その構造周期となる。図５の一点鎖線に沿って、ある小レンズに対応した画素群を平行移動させると、式（２）の最大リフォーカス量を超えたところで、各画素の間隔がΔｙより大きくなり、情報が欠落した領域が生じる。この場合、正しいリフォーカス画像を生成することができない。

次に、画像再構成時の画素ずらし超解像に関して説明する。図５（ａ）を参照すると、仮想結像面２０３において、平行移動した画素が互いにずれてオーバーラップしていることが分かる（オーバーラップ画素）。これらを合成することにより、見かけの画素サイズ（見かけの画素ピッチ）を小さくすることができる。これを画素ずらし超解像と呼ぶ。一方、図５（ｂ）のように平行移動した画素がずれずに一致してオーバーラップしている場合、画素ずらし超解像の効果を得ることはできず、高解像度化を図ることはできない。オーバーラップしている画素のずれは、画素を平行移動する仮想結像面２０３の位置に応じて変化するため、画素ずらし超解像の効果も仮想結像面２０３により変化する。

ここで、画素ずらし超解像により小さくなった見かけの画素ピッチの中で、最も大きい画素ピッチがリフォーカス画像の解像度を決定すると定義する。また、解像度を決定する画素ピッチを見かけの画素ピッチの最大値と呼ぶ。このとき、被写体面２０１の同一の領域を撮像している１次元方向の画素数がｎ画素であるとする。ここで、ｎは結像光学系１０１の１次元瞳分割数に対応している。画素が１／ｎ画素ずつずれていれば、見かけの画素ピッチの最大値が最小となり、リフォーカス画像が最も高解像度になる。

図５（ａ）に示した状態は、ｎ＝３であり、仮想結像面２０３上で各画素が１／３画素ずつずれているため、リフォーカス画像が最も高解像となる状態である。図５から、同様の効果を得られるリフォーカス画像のピント位置は、リフォーカス範囲内に４点存在していることが分かる。逆に、図５（ｂ）のように平行移動した画素が一致してオーバーラップしている場合、画素ずらし超解像を行うことはできない。したがって、仮想結像面２０３に対応した画素ずれ量を算出することにより、仮想結像面２０３と、その位置にピントの合ったリフォーカス画像の解像度の関係を知ることができる。

ここまでで、本実施例における撮像光学系の構成と、リフォーカス画像の生成、および、解像度に関して説明した。次に、図７を参照して、入力画像から出力画像を生成する画像処理方法について説明する。図７は、本実施例における画像処理方法のフローチャートである。図７のフローチャートの各ステップは、画像処理部１０５により実行される。

まずステップＳ００１において、画像処理部１０５は、図１に示される撮像光学系により撮影された入力画像を取得する。すなわち画像処理部１０５は、複数の画素を有する撮像素子１０３と、結像光学系１０１を有する撮像装置とを用いて、複数の視点から被写体空間の情報を取得した画像である入力画像を取得する。入力画像の形式は撮像光学系の構成に応じて変化する。本実施例において、入力画像は、被写体面２０１上の同一の領域を複数の視点から撮影した画素群が並んで構成された画像である。また入力画像は、画像記録媒体１１０に保存された、同様の撮像光学系で撮影された画像でもよい。

続いてステップＳ００２において、画像処理部１０５は、入力画像内に含まれている撮影条件情報（撮像光学系の構成に関する情報）から、画像の再構成方法を決定する。本実施例の撮像光学系は図１に示されるような構成を有するため、図５に示されるリフォーカス画像の生成方法を、画像の再構成方法として用いる。ただし、図５に示されるリフォーカス画像の生成方法と定性的に同じ方法であれば、画像の再構成方法の詳細は異なっていてもよい。また、撮像光学系が図２、図３、またはその他の構成を有する場合、その構成に応じて異なる画像の再構成方法が用いられる。ただし、撮像光学系の構成が変化しない場合、画像の再構成方法は単一の方法を用い、ステップＳ００２は実行しなくてもよい。

次にステップＳ００３において、画像処理部１０５（画素ずれ算出部１１２）は、撮影条件情報から複数の仮想結像面２０３に対して、リフォーカス画像生成時の合成画素の画素ずれ量を算出する。すなわち画像処理部１０５は、複数のピント位置に対応する複数の仮想結像面に対して、再構成により合成される画素の画素ずれ量を算出する。算出される仮想結像面２０３の位置は、例えば、像側のリフォーカス範囲または物体側のリフォーカス範囲を等ピッチに分割して決定される。ただし本実施例はこれに限定されるものではなく、入力画像内に存在する被写体の物体距離ごとに、または、リフォーカス範囲内で任意に選んでもよい。ステップＳ００３は、画素ずれ算出工程に相当する。

続いてステップＳ００４において、画像処理部１０５は、ステップＳ００３で算出された結果（リフォーカス画像生成時の合成画素のずれ量）から、出力画像のピント位置を決定する。その決定方法として、画素ずらし超解像の効果が高く、高解像度となる仮想結像面２０３を選択する方法が考えられる。前述のとおり、画素ずらし超解像の効果が最も高くなるのは、被写体面２０１の同一の位置を撮像している１次元方向の画素数がｎ画素の場合、合成される画素が１／ｎ画素ずつずれる仮想結像面２０３である。

図５から具体的には、ｓ_２±ＦΔ、および、α_±ｓ_２±ＦΔの４点であると分かる。これらの４点から、出力画像のピント位置を選択すれば、高解像なリフォーカス画像が得られる。また、許容錯乱円の直径をεとした場合、結像光学系１０１の焦点深度は近似的にＦεで表される。よって、ｓ_２±Ｆε内で高解像となるピント位置を選択してもよい。ここで、ε≧Δが成立するため、最も画素ずらし超解像の効果が高いピント位置であるｓ_２±ＦΔは、必ずｓ_２±Ｆε内に収まる。さらに、出力画像のピント位置は、以下の条件式（３）で表される範囲内から決定してもよい。

ただし、ｓ_２−σ_２≦ρ≦ｓ_２＋σ_２である。ここで、ρは結像光学系１０１の像側主平面とリフォーカスによりピントを合わせたい物体側の面に対する結像光学系１０１の像側共役面との間の距離、σ_２はレンズアレイ１０２ａの像側主平面と撮像素子１０３との間の距離である。条件式（３）は、画素ずらし超解像の効果の大きさを表す。σ_２／（ＦΔ）が、被写体面２０１の同一の位置を撮像している１次元方向の画素数を表し、｜（ρ−ｓ_２）／σ_２｜は合成する画素のずれの割合を表す。ｓ_２±ＦΔでは、条件式（３）の値は１となり、画素ずらし超解像の効果が最も高いことを表す。条件式（３）の値が１から離れるにつれて画素ずらし超解像の効果が弱まり、条件式（３）の上限または下限を超えると十分な画素ずらし超解像の効果を得られなくなる。

望ましくは、更に以下の条件式（３ａ）の範囲を満たすように設定することで、より高解像な出力画像を得ることができる。

条件式（３ａ）の範囲とすることで、特にｎが小さい構成の場合、出力画像が高解像度となる。例えば、結像光学系１０１のＦ値が２．０、焦点距離ｆが５０ｍｍで、撮像素子１０３の画素ピッチΔが０．００６ｍｍの場合を考える。被写体面２０１と結像光学系１０１の物体側主平面との間の距離が２５００ｍｍのとき、ｓ_２は５１．０２０４ｍｍとなる。このとき、ρ＝５１．０３００（ｍｍ）とすれば、条件式（３）の値が０．８となり、高解像なリフォーカス画像を出力することができる。

また、出力画像のピント位置は、ユーザーが指定したピント位置でもよい。この際、ユーザーにステップＳ００３で算出した結果を把握させることで、ユーザーはその結果に基づいて望ましいピント位置を指定することができる。また、これに代えて、算出により得られた高解像となるピント位置から、ユーザーに選択させるように構成してもよい。

次にステップＳ００５において、ステップＳ００４で決定されたピント位置の出力画像を生成するため、画像処理部１０５は、入力画像の画素を操作する操作パラメータを算出する。本実施例では、前述のリフォーカス画像の生成方法を使用するため、操作パラメータは画素の平行移動量である。

続いてステップＳ００６において、画像処理部１０５は、ステップＳ００５で算出した平行移動量を用いて入力画像を再構成し、出力画像を生成する。すなわち画像処理部１０５は、画素ずれ量に基づいて決定されたピント位置での出力画像を生成する。ステップＳ００６は、画像生成工程に相当する。生成された出力画像は、表示部１０６に出力されるか、または、画像記録媒体１１０に保存される。

また必要に応じて、リフォーカスと同時に、視点や被写界深度を変更する再構成処理を行ってもよい。さらに画像の再構成処理の際に、ＭＡＰ（Ｍａｘｉｍｕｍ ａ ｐｏｓｔｅｒｉｏｒｉ）推定などの画像推定を併用して、更なる高解像度化を図ってもよい。

以上の構成により、本実施例によれば、リフォーカス画像が高解像度になるピント位置を算出可能な画像処理方法、撮像装置、画像処理装置、および、画像処理プログラムを提供することができる。

次に、本発明の実施例２について説明する。本実施例における撮像装置の基本構成は、図４を参照して説明した実施例１の撮像装置と同様であるため、それらの説明は省略する。

図２を参照して、本実施例における撮像光学系の構成について説明する。図２は、撮像光学系の概略構成図である。レンズアレイ１０２ａは、結像光学系１０１の被写体面２０１に対する像側共役面２０２より物体側へ配置され、像側共役面２０２と撮像素子１０３とが、レンズアレイ１０２ａを介して共役関係であるように配置されている。被写体面２０１からの光線は、結像光学系１０１およびレンズアレイ１０２ａを通過した後、光線の被写体面２０１上での位置と角度に応じて撮像素子１０３の異なる画素へ入射し、ライトフィールドが取得される。その結果、撮像素子１０３では、撮影視点と撮影範囲の異なる複数の小画像が並んだ画像が取得される。

図２に示される撮像光学系は、光の２次元強度分布のみを取得する撮像光学系に対して空間解像度が低下する。これは、結像光学系１０１が形成した像を、レンズアレイ１０２ａが虚物体として見ることで、撮像素子１０３へさらに縮小結像するためである。その縮小倍率は｜σ_２／σ_１｜倍である。ここで、σ_１は像側共役面２０２とレンズアレイ１０２ａの物体側主平面の間の距離、σ_２はレンズアレイ１０２の像側主平面と撮像素子１０３の間の距離である。したがって、図２に示される撮像光学系は、光の２次元強度分布のみを取得する撮像光学系に対して、２次元的な空間解像度が（σ_２／σ_１）^２倍される。

次に、図８（ａ）、（ｂ）を参照して、本実施例におけるリフォーカス画像の生成方法について説明する。図８（ａ）、（ｂ）は、図２に示される撮像光学系の構成において、レンズアレイ１０２ａと撮像素子１０３の部分の詳細図である。本実施例において、レンズアレイ１０２ａは、物体側の面が平面で、像側の面が凸形状の小レンズによって構成されている。ただし実施例１と同様に、レンズアレイ１０２ａの形状はこれに限定されるものではない。

図８（ａ）、（ｂ）中の一点鎖線は、各小レンズの画角を示す。撮像素子１０３で得られた画素値を、画素に対応する小レンズを介して仮想結像面２０３へ投影して合成することで、仮想結像面２０３にピントの合ったリフォーカス画像を生成することができる。例えば、図２中の被写体面２０１にピントの合った画像を生成するには、像側共役面２０２に仮想結像面２０３を設定すればよい。図８（ａ）、（ｂ）において、リフォーカス画像生成の際に投影した画素は、破線で表され、分りやすくするために重ねずにずらして描画している。リフォーカス画像の生成は、前述した画素を投影する生成方法と、同様の画素の重なりとなるように、各画素を平行移動させて合成する方法でもよい。このとき、画素に入射した光束が通過したレンズアレイ１０２ａの領域が等しい場合、それらの画素の平行移動量は同じになる。以上のとおり、本実施例におけるリフォーカス画像生成時の画素の操作は、画素に入射する光束が通過したレンズアレイ１０２ａの領域に応じて決定される。

続いて、リフォーカス可能な範囲について説明する。本実施例における撮像光学系のリフォーカス範囲も、実施例１と同様に式（１）で表される。その関係は、図９に示されるとおりである。図９は、本実施例におけるリフォーカス範囲の説明図である。本実施例の撮像光学系において、Δｙ＝Δ｜σ_１／σ_２｜、Δｕ＝Ｐ／（ＮＦ）であり、Δ≪Ｐであるから、式（１）は以下の式（４）のように書き換えられる。

ここで、Δは撮像素子１０３の画素ピッチである。実施例１と同様に式（４）の範囲を超えた場合、正しいリフォーカス画像が生成できなくなる。

次に、画素ずらし超解像による空間解像度の向上について説明する。図８（ａ）に示されるように、仮想結像面２０３へ投影された画素はオーバーラップしている。オーバーラップした画素の数を、画素のオーバーラップ数と呼ぶ。図８（ａ）のように、投影された画素が各々ずれていれば、それらを合成することで見かけの画素ピッチを小さくすることができる。一方、図８（ｂ）に示されるように、投影された画素のずれが画素の整数倍になっている場合、画素ずらし超解像の効果は得られない。画素ずらし超解像によって最も高解像度化が図れるのは、画素がずれている割合が画素のオーバーラップ数に対応している場合である。具体的には、図８（ａ）の場合、画素のオーバーラップ数が３であるため、画素ずれの割合が１／３または２／３のときに解像度を最大にすることができる。画素ずれの割合と画素のオーバーラップ数の関係については、追って詳述する。以上のように本実施例においても、仮想結像面２０３によって画素ずらし超解像の効果が変化する。したがって、リフォーカス画像のピント位置に対応した画素ずれ量を算出することにより、高解像度化に関する様々な処理が可能となる。

次に、本実施例において、入力画像から出力画像を生成する画像処理方法について説明する。本実施例の画像処理方法は、図７のフローチャートで表され、実施例１と同様の部分の説明は省略する。

まずステップＳ００１において、撮像素子１０３によって、撮影視点と撮影範囲の異なる複数の小画像が並んだ画像が取得される。ステップＳ００２で再構成方法が選択された後、ステップＳ００３において、撮影条件情報から複数の仮想結像面２０３に対して、リフォーカス画像生成時の合成画素のずれ量を算出する。本実施例における画素ずれの割合は、Δ_ＬＡを仮想結像面２０３上に投影された画素のピッチで割った比Δ_ＬＡσ_２／（Δτ）で表される。ここで、τは結像光学系の物体側主平面と仮想結像面２０３との間の距離である。さらに、図８（ｂ）のように画素の整数倍のずれは意味がないため、整数部分は落として考えてよい。したがって、画素ずれの割合δは、以下の式（５）のように表される。

ここで、ｚ＝ｍｏｄ（ｘ，ｙ）は、ｚがｘをｙで割った時の剰余に等しいことを表す。

次にステップＳ００４において、ステップＳ００３で算出された結果から、出力画像のピント位置を決定する。その決定方法として、実施例１と同様に、画素ずらし超解像の効果が高く、高解像度となる仮想結像面２０３を選択する方法が採用される。そこで、具体的に高解像度となる仮想結像面２０３を求める。まず、仮想結像面２０３での画素のオーバーラップ数を見積もる。図１０は、画素のオーバーラップ数の説明図あり、図８（ａ）に示される小レンズの番号ｊを横軸、仮想結像面２０３上の座標ｙを縦軸に取ったグラフである。ここで、ｊ＝０はレンズアレイ１０２ａの任意の小レンズとしてよい。図１０中のｙ軸に平行な直線は、それぞれｊ番目の小レンズに対応した画素の集合を仮想結像面２０３へ投影した場合の座標を表す。これらの直線の上限を結んだものが一点鎖線Ａであり、下限を結んだものが一点鎖線Ｂである。一点鎖線Ａはｙ＝Δ_ＬＡ｛ｊ＋｜τ／（２σ_２）｜｝で与えられ、また一点鎖線Ｂはｙ＝Δ_ＬＡ｛ｊ−｜τ／（２σ_２）｜｝で与えられる。画素のオーバーラップ数は、一点鎖線Ａと一点鎖線Ｂのｊ方向の間隔に対応している。ｊ＝０に対応する画素で最も画素のオーバーラップ数が少なくなるのは、ｙ＝０近傍の画素であり、そのオーバーラップ数は｜τ／σ_２｜程度と見積もることができる。

続いて、画素ずらし超解像を含めた空間解像度を求める。前述のとおり、最も解像度が高くなるのは、画素のオーバーラップ数と式（５）で表される画素ずれの割合δが対応している場合である。例えば、画素のオーバーラップ数が８で、画素ずれの割合δが０．４５のとき、８つの画素のそれぞれの画素ずれは、０、０．４５、０．９０、０．３５、０．８０、０．２５、０．７０、０．１５となる。この場合、解像度を決める見かけの画素ピッチの最大値は０．７０−０．４５＝０．２５となる。次に、オーバーラップ数が同じで、画素ずれの割合δが３／８の場合を考える。このとき、８つの画素のそれぞれの画素ずれは、０、３／８、６／８、１／８、４／８、７／８、２／８、５／８となる。この場合、見かけの画素ピッチの最大値は１／８となり、画素のオーバーラップ数の逆数と一致する。したがって、最も高い画素ずらし超解像の効果が得られていることとなる。これは、画素ずれの割合δが１／８、５／８、７／８の場合でも同じである。

ただし、画素ずれの割合δが２／８、４／８、６／８の場合、画素ずらし超解像の効果は低下する。例えば、画素ずれの割合δが２／８の場合を考える。このとき、オーバーラップした８つの画素のそれぞれの画素ずれは、０、２／８、４／８、６／８、０、２／８、４／８、６／８となり、画素が互いに重なることで見かけの画素ピッチの最大値が２／８＝１／４となる。したがって、画素ずれの割合δが１／８、３／８、５／８、７／８のときに対して、画素ずらし超解像の効果は半分になる。

このことから、画素ずれの割合δがｍ_０／Ｍ_０に等しいとき、最大の画素ずらし超解像の効果が得られることが分かる。ここで、Ｍ_０は画素のオーバーラップ数であり、ｍ_０はＭ_０より小さく、かつＭ_０との最大公約数が１となる整数である。Ｍ_０は前述したように、τ／σ_２程度と見積もることができ、画素ずれの割合δがｍ_０／Ｍ_０に近いほど画素ずらし超解像の効果は高くなる。

以上より、出力画像のピント位置は、以下の条件式（６）を満たす範囲内で決定してもよい。

ここでＭは、以下の条件式（７）を満たす整数である。

またｍはＭより小さく、かつＭとの最大公約数が１となる整数である。条件式（６）と条件式（７）は、画素ずらし超解像の効果の大きさを表し、条件式（６）および条件式（７）を満たすことで高解像なリフォーカス画像が得られる。条件式（６）および条件式（７）の上限または下限を超えると、十分な画素ずらし超解像の効果が得られず、空間解像度の向上が不十分となる。

望ましくは、以下の条件式（６ａ）を満たす範囲に設定することにより、リフォーカス画像がより高解像となる。

さらに望ましくは、以下の条件式（６ｂ）を満たす範囲に設定することで、更なる高解像度化を図ることができる。

また望ましくは、以下の条件式（７ａ）、更には条件式（７ｂ）を満たす範囲に設定することで、より高い画素ずらし超解像の効果を得られる。

例えば、レンズアレイ１０２ａのピッチΔ_ＬＡ＝４．３５５９（ｍｍ）、撮像素子１０３の画素ピッチΔ＝０．００４３（ｍｍ）、σ_１＝３７．７６５７（ｍｍ）、σ_２＝５．４３２５（ｍｍ）の場合を考える。このとき、τ＝３７．８０００（ｍｍ）とすると、条件式（６）の値は１．０２、条件式（７）の値は１．０となる。ここで、Ｍ＝７、ｍ＝４である。これにより、高解像なリフォーカス画像が自動的に生成される。

また、実施例１と同様に、出力画像のピント位置は、ユーザーが指定したピント位置でもよい。この際、ユーザーにステップＳ００３で算出した結果を把握させることにより、ユーザーはその結果に基づいて望ましいピント位置を指定することができる。

図７のステップＳ００５において、ステップＳ００４にて決定されたピント位置の出力画像を生成するため、画素の操作パラメータを算出する。図８を参照して説明したリフォーカス画像の生成方法を用いる場合、操作パラメータは画素の拡大倍率である。また、画素を拡大して合成した場合と結果が同じになるように、画素を平行移動させてリフォーカス画像を生成してもよい。このときの操作パラメータは、平行移動量である。

以上の構成により、本実施例によれば、リフォーカス画像が高解像度になるピント位置を算出可能な画像処理方法、撮像装置、画像処理装置、および、画像処理プログラムを提供することができる。

次に、本発明の実施例３について説明する。本実施例は、上述の画像処理方法を行う画像処理装置（画像処理システム）について説明する。図１１は、本実施例における画像処理システムのブロック図である。

図１１に示されるように、画像処理システムは撮像装置３０１を備えている。撮像装置３０１は、例えば図３に示される撮像光学系を有する。画像処理装置３０２は、前述の画素ずれ算出工程および画像生成工程を実行するコンピュータ機器（情報処理装置）である。画像処理装置３０２は、撮像装置３０１で取得された画像に対して、撮像装置３０１の構成に応じた再構成を行い、出力画像を生成する画像生成工程を実行する。その結果は、記憶媒体３０３、表示機器３０４、および、出力機器３０５のいずれか一つまたは複数に出力される。記憶媒体３０３は、例えば、半導体メモリ、ハードディスク、または、ネットワーク上のサーバーである。表示機器３０４は、例えば、液晶ディスプレイやプロジェクタである。出力機器３０５は、例えばプリンタである。画像処理装置３０２には表示機器３０４が接続され、再構成された画像が表示機器３０４へ入力される。ユーザーは、表示機器３０４を介して再構成された画像を確認しながら作業を行うことができる。

画像処理装置３０２は、画素ずれ算出部３０６および画像処理ソフトウエア３０７を備えて構成される。画素ずれ算出部３０６は、画素ずれ算出工程を実行する。画素ずれ算出工程は、前述した撮像光学系の構成に応じた再構成方法から、複数の仮想結像面２０３に対する画素ずれ量を算出する工程である。画像処理ソフトウエア３０７（画像処理プログラム）は、前述の再構成処理（画像処理方法）を行うとともに、必要に応じて現像処理やその他の画像処理を行う。

本実施例の撮像装置３０１を構成する撮像光学系は、図３に示されるように配置されている。図３に示される本実施例の撮像光学系は、レンズアレイ１０２ａが像側共役面２０２よりも像側へ配置されていることを除いて、図２に示される実施例２の構成と同様である。本実施例（図３）の構成は、レンズアレイ１０２ａが結像光学系１０１の形成した像を実物体として見て、撮像素子１０３へ再結像させる点で、実施例２（図２）の構成と異なる。ただし、図２の構成と図３の構成は、いずれも結像光学系１０１の結んだ像をレンズアレイ１０２ａが物体として見て、その像を撮像素子１０３へ結像しているため、本質的には同様である。したがって、本実施例のリフォーカス画像の生成方法は実施例２と同様である。

次に、図１２を参照して、入力画像から出力画像を生成する画像処理方法について説明する。図１２は、本実施例における画像処理方法のフローチャートである。図１２のフローチャートの各ステップは、画像処理装置３０２により実行される。

まずステップＳ１０１において、画像処理装置３０２（画像処理部）は、図１１の撮像装置３０１で得られた画像を入力画像として取得する。入力画像は、画像処理装置３０２の内部メモリ（記憶部）などに記憶される。続いてステップＳ１０２において、画像処理装置３０２は、入力画像または撮像装置３０１から撮影条件情報（撮像光学系の構成に関する情報）を読み取る。撮影条件情報は画像処理装置３０２の内部メモリに記憶され、画像処理装置３０２はその撮影条件情報から画像の再構成方法を決定する。本実施例における撮像光学系は、図３に示される構成を有し、実施例２と同様の再構成方法でリフォーカス画像を生成することができる。

次にステップＳ１０３において、画像処理装置３０２は、撮影条件情報から複数の仮想結像面２０３に対して、リフォーカス画像生成時の合成画素のずれ量を算出する。すなわち画像処理装置３０２は、複数のピント位置に対応する複数の仮想結像面に対して、再構成により合成される画素の画素ずれ量を算出する。そしてステップＳ１０４において、画像処理装置３０２は、ステップＳ１０３で算出された結果（画素ずれ量）から、高解像になるピント位置を求めてその結果を出力する。出力結果は、例えば表示機器３０４や出力機器３０５などに出力され、ユーザーはその結果を参考にして、生成するリフォーカス画像のピント位置を指定することができる。

続いてステップＳ１０５において、ユーザーが指定したピント位置の出力画像を生成するため、画像処理装置３０２は入力画像の画素の操作パラメータを算出する。操作パラメータに関しては、実施例２と同様である。そしてステップＳ１０６において、画像処理装置３０２は、ステップＳ１０５で算出した操作パラメータを用いて入力画像を再構成し、出力画像を生成する。生成された出力画像は、記憶媒体３０３、表示機器３０４、および、出力機器３０５のいずれか一つまたは複数に出力される。なお本実施例において、画像処理装置３０２は、ステップＳ１０４の前に、特定のピント位置でのリフォーカス画像を生成して表示機器３０４や出力機器３０５に出力してもよい。そのピント位置は、像側共役面２０２や、実施例１、２で説明したようにステップＳ１０３の算出結果から決定してもよい。

以上の構成により、本実施例によれば、リフォーカス画像が高解像度になるピント位置を算出可能な画像処理方法、撮像装置、画像処理装置、および、画像処理プログラムを提供することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１０１ 結像光学系
１０２ 瞳分割部
１０３ 撮像素子
１０５ 画像処理部

Claims (13)

1. 入力画像の再構成を行うことによりピント位置の異なる複数の出力画像を生成可能な画像処理方法であって、
   複数の画素を有する撮像素子と、結像光学系を有する撮像装置とを用いて、複数の視点から被写体空間の情報を取得した画像である前記入力画像を取得するステップと、
   複数のピント位置に対応する複数の仮想結像面に対して、前記再構成により合成される画素の画素ずれ量を算出するステップと、を有することを特徴とする画像処理方法。
2. 前記画素ずれ量に基づいて出力を行うステップを有することを特徴とする請求項１に記載の画像処理方法。
3. 前記画素ずれ量に基づいて決定されたピント位置での前記出力画像を生成するステップを更に有することを特徴とする請求項１または２に記載の画像処理方法。
4. 入力画像の再構成を行うことによりピント位置の異なる複数の出力画像を生成可能な撮像装置であって、
   結像光学系と、
   複数の画素を備えた撮像素子と、
   被写体面の同一位置からの光線を、該光線が通過する前記結像光学系の瞳領域に応じて、前記撮像素子の互いに異なる画素に入射させる瞳分割部と、
   前記撮像素子で取得された前記入力画像に対して、該入力画像の撮影条件情報を用いた前記再構成を行うことにより、前記出力画像を生成する画像処理部と、を有し、
   前記画像処理部は、複数のピント位置に対応する複数の仮想結像面に対して、前記再構成により合成される画素の画素ずれ量を算出する、ことを特徴とする撮像装置。
5. 前記画素ずれ量に基づいて出力を行うステップを有することを特徴とする請求項４に記載の撮像装置。
6. 前記画像処理部は、前記画素ずれ量に基づいて決定されたピント位置での前記出力画像を生成することを特徴とする請求項４または５に記載の撮像装置。
7. 前記瞳分割部は、前記結像光学系の前記被写体面に対する像側共役面に配置されていることを特徴とする請求項４乃至６のいずれか１項に記載の撮像装置。
8. 前記瞳分割部は、前記結像光学系の前記被写体面に対する像側共役面と前記撮像素子とが共役関係になるように配置されていることを特徴とする請求項４乃至６のいずれか１項に記載の撮像装置。
9. 前記瞳分割部は、レンズアレイであることを特徴とする請求項４乃至８のいずれか１項に記載の撮像装置。
10. 前記レンズアレイは、複数の小レンズを備えて構成され、
    前記小レンズの像側の面は、凸形状であることを特徴とする請求項９に記載の撮像装置。
11. 前記レンズアレイは、複数の小レンズを備えて構成され、
    前記小レンズの物体側の面は、平面又は凸形状であることを特徴とする請求項１０に記載の撮像装置。
12. 入力画像の再構成を行うことによりピント位置の異なる複数の出力画像を生成可能な画像処理装置であって、
    前記入力画像の撮影条件情報を記憶する記憶部と、
    前記入力画像に対して前記撮影条件情報を用いた前記再構成を行うことにより、前記出力画像を生成する画像処理部と、を有し、
    前記画像処理部は、複数のピント位置に対応する複数の仮想結像面に対して、前記再構成により合成される画素の画素ずれ量を算出する、ことを特徴とする画像処理装置。
13. 入力画像の再構成を行うことによりピント位置の異なる複数の出力画像を生成可能な画像処理プログラムであって、
    複数の画素を有する撮像素子と、結像光学系を有する撮像装置とを用いて、複数の視点から被写体空間の情報を取得した画像である前記入力画像を取得するステップと、
    複数のピント位置に対応する複数の仮想結像面に対して、前記再構成により合成される画素の画素ずれ量を算出するステップと、を情報処理装置に実行させるように構成されていることを特徴する画像処理プログラム。