JP4900723B2 - 画像処理装置、画像処理プログラムおよび表示装置 - Google Patents

Description

本発明は、マイクロレンズアレイを用いた撮像光学系に適用される画像処理装置、画像処理プログラムおよび表示装置に関する。

従来、様々な撮像装置が提案され、開発されている。また、撮像して得られた撮像データに対し、所定の画像処理を施して出力するようにした撮像装置も提案されている。

例えば、特許文献１および非特許文献１には、「Light Field Photography」と呼ばれる手法を用いた撮像装置が提案されている。この撮像装置は、開口絞りを有する撮像レンズと、マイクロレンズアレイと、撮像素子と、画像処理部とから構成されている。これにより、撮像素子から得られる撮像データが、受光面における光の強度分布に加えてその光の進行方向の情報をも含むようになっている。そして画像処理部において、任意の視野や焦点での観察画像を再構築できるようになっている。
国際公開第０６／０３９４８６号パンフレット Ren.Ng、他７名，「Light Field Photography with a Hand-Held Plenoptic Camera」，Stanford Tech Report CTSR 2005-02

例えば、上記「Light Field Photography」と呼ばれる手法により、任意の焦点に設定された画像を再構築する際には、取得した撮像データに基づいて、焦点位置を決定する係数（以下、リフォーカス係数という）を用いたリフォーカス演算処理により並べ替えが行われるようになっている。

しかしながら、このような場合、焦点位置を適切に設定するためには、リフォーカス係数を逐次変更しながら繰り返しリフォーカス演算処理を行う必要がある。このため、適切なリフォーカス係数を決定して焦点位置を設定するまで、すなわちリフォーカス動作（フォーカス動作）に時間がかかるという問題がある。

本発明はかかる問題点に鑑みてなされたもので、その目的は、光線の進行方向の情報をも含むようにして取得した撮像データを用いて任意の焦点に設定された画像を生成する際に、適切なリフォーカス係数を瞬時に設定することが可能な画像処理装置、画像処理プログラムおよび表示装置を提供することにある。

本発明の画像処理装置は、撮像レンズと受光光線に基づいて撮像データを取得する撮像素子との間に、撮像素子の複数画素に対して１つのマイクロレンズが割り当てられたマイクロレンズアレイを有する撮像光学系により光線の進行方向を保持した状態で取得された撮像データに基づいて、撮像レンズからリフォーカス面までの距離情報を抽出する距離情報抽出部と、距離情報抽出部により抽出された距離情報に基づいてリフォーカス係数を設定するリフォーカス係数設定部と、リフォーカス係数に基づいて撮像データの並べ替えを行う並べ替え処理部とを有するものである。

本発明の画像処理プログラムは、撮像レンズと受光光線に基づいて撮像データを取得する撮像素子との間に、撮像素子の複数画素に対して１つのマイクロレンズが割り当てられたマイクロレンズアレイを有する撮像光学系により光線の進行方向を保持した状態で取得された撮像データに基づいて、撮像レンズからリフォーカス面までの距離情報を抽出するステップと、抽出された距離情報に基づいてリフォーカス係数を設定するステップと、設定されたリフォーカス係数に基づいて撮像データの並べ替えを行うステップとをコンピュータに実行させるものである。

本発明の画像処理装置および画像処理プログラムでは、光線の進行方向を保持した状態で取得された撮像データに基づいて所定の距離情報が抽出されたのち、この距離情報に基づいて適切なリフォーカス係数が設定される。このようにして設定されたリフォーカス係数を用いたリフォーカス演算処理により、撮像データの並べ替えがなされ、任意の焦点に設定された画像が再構築される。

また、本発明の画像処理装置では、距離情報抽出部において、撮像データに基づいて互いに視差の異なる複数の視差画像を生成し、これらのうち少なくとも２つの視差画像から検出された位相差に基づいて上記距離情報を算出するようにしてもよい。このように構成した場合には、その位相差に関する情報、例えばPixelずれを表すDisparityに応じて画像面内の任意の位置でリフォーカス係数を変化させることで、画像面内の任意の位置でフォーカス調整がなされた画像が再構築される。

本発明の表示装置は、撮像レンズと受光光線に基づいて撮像データを取得する撮像素子との間に、撮像素子の複数画素に対して１つのマイクロレンズが割り当てられたマイクロレンズアレイを有する撮像光学系により光線の進行方向を保持した状態で取得された撮像データに基づいて、任意の焦点における画像を生成する画像処理部と、画像処理部により生成された画像を表示するための表示部と、表示部に表示された画像の任意の位置が指定されたときに、この指定された位置を検知可能な位置検知手段とを備えたものである。ここで、画像処理部は、位置検知手段により検知された位置に応じて、撮像レンズからリフォーカス面までの距離情報を算出する距離情報算出部と、距離情報算出部により算出された距離情報に基づいてリフォーカス係数を設定するリフォーカス係数設定部と、リフォーカス係数に基づいて撮像データの並べ替えを行う並べ替え処理部とを有している。

本発明の表示装置では、画像処理部において光線の進行方向を保持する撮像データに基づいて生成された画像は、表示部によって表示される。このとき、表示された画像において任意の位置が指定されると、この指定された位置に応じて所定の距離情報が算出されたのち、この距離情報に基づいて適切なリフォーカス係数が設定される。このようにして設定されたリフォーカス係数を用いたリフォーカス演算処理により、撮像データの並べ替え処理がなされ、指定された位置に応じてフォーカス調整がなされた画像が再構築される。

このとき、位置検知手段が表示された一の画像において指定された位置を検知し、画像処理部において、距離情報算出部が撮像レンズから一の画像中の指定された位置が合焦となるようなリフォーカス面までの距離情報を算出し、リフォーカス係数設定部が距離情報算出部により算出された距離情報に基づいてリフォーカス係数を設定し、並べ替え処理部がリフォーカス係数設定部により設定されたリフォーカス係数に基づいて撮像データの並べ替えを行うことにより指定された位置が合焦した他の画像を生成し、表示部が一の画像から他の画像に切り替えて表示を行ってもよい。これにより、指定された位置で合焦した他の画像が瞬時に生成され、一の画像から指定された位置が合焦した他の画像へ瞬時に切り替えて表示することができるようになる。

あるいは、位置検知手段が表示部に表示された一の画像において指定された位置を検知し、画像処理部において、距離情報算出部が撮像レンズから一の画像中の指定された位置が合焦となるようなリフォーカス面までの距離情報を算出し、リフォーカス係数設定部が距離情報算出部により算出された距離情報に基づいてリフォーカス係数を設定し、並べ替え処理部がリフォーカス係数設定部により設定されたリフォーカス係数に基づいて撮像データの並べ替えを行うことにより指定された位置が合焦した他の画像を生成すると共に、一の画像および他の画像におけるそれぞれのリフォーカス係数の中間値となるリフォーカス係数に基づいて中間画像を生成し、表示部が一の画像から中間画像を経て他の画像までを順次切り替えて表示を行ってもよい。これにより、他の画像および中間画像が瞬時に生成されると共に、これらの画像が順次表示されることにより、画像の指定された位置で徐々に（スムーズに）フォーカスが合っていくような演出ができるようになる。

本発明の画像処理装置、画像処理プログラムおよび表示装置によれば、光線の進行方向を含むようにして取得した撮像データに基づいて、撮像レンズからリフォーカス面までの距離情報を抽出し、この距離情報に基づいてリフォーカス係数を設定し、撮像データの並べ替えを行うようにしたので、任意の焦点に設定された画像を再構築する際に、並べ替え処理においてリフォーカス係数を逐次変更しながら焦点移動を繰り返し行うことなく、適切なリフォーカス係数を瞬時に設定することができる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

図１は、本発明の一実施の形態に係る撮像装置（撮像装置１）の全体構成を表すものである。撮像装置１は、撮像対象物２を撮像して画像処理を施すことにより画像データＤoutを出力するものであり、開口絞り１０を有する撮像レンズ１１と、マイクロレンズアレイ１２と、撮像素子１３と、画像処理部１４と、撮像素子駆動部１５と、制御部１６とから構成されている。なお、画像処理部１４が本発明の画像処理装置に対応している。また、本発明の画像処理プログラムは、画像処理部１４における各画像処理機能をソフトウェア的に実現したものである。この場合、そのソフトウェアは、各画像処理機能をコンピュータにより実行させるためのプログラム群で構成される。各プログラムは、例えば、専用のハードウェアに予め組み込まれて用いられてもよいし、汎用のパーソナルコンピュータなどにネットワークや記録媒体からインストールして用いられてもよい。

開口絞り１０は、撮像レンズ１１の光学的な開口絞りである。この開口絞り１０の開口の形状（例えば円形状）に相似形となる撮像対象物２の像（後述のユニット像）が撮像素子１３上にマイクロレンズごとに形成されるようになっている。

撮像レンズ１１は、撮像対象物２を撮像するためのメインレンズであり、例えば、ビデオカメラやスチルカメラ等で使用される一般的な撮像レンズにより構成されている。

マイクロレンズアレイ１２は、複数のマイクロレンズが２次元配列したものであり、撮像レンズ１１の焦点面（結像面）に配置されている。各マイクロレンズは、例えば円形の平面形状を有しており、例えば固体レンズや液晶レンズ、回折レンズなどにより構成されている。

また、撮像レンズ１１のＦナンバーＦ_MLと、マイクロレンズアレイのＦナンバーＦ_MLAとは、概ね等しくなっていることが好ましい。これは、図２（Ａ）に示したように、撮像レンズ１１のＦナンバーＦ_MLがマイクロレンズアレイ１２のＦナンバーＦ_MLAよりも小さい場合（Ｆ_ML＜Ｆ_MLAの場合）には、隣接するマイクロレンズによる撮像光線間で重なりが生じ、これによりクロストークが発生するため、再構築画像の画質が劣化してしまうからである。また一方で、図２（Ｂ）に示したように、撮像レンズ１１のＦナンバーＦ_MLがマイクロレンズアレイ１２のＦナンバーＦ_MLAよりも大きい場合（Ｆ_ML＞Ｆ_MLAの場合）には、マイクロレンズによる撮像光線が受光されない撮像画素が生じるため、撮像画素を十分に利用することができず、再構築画像の画素数が低下してしまうからである。

撮像素子１３は、マイクロレンズアレイ１２からの光線を受光して複数の画素データを含む撮像データＤ０を取得するものであり、マイクロレンズアレイ１２の焦点面（結像面）に配置されている。この撮像素子１３は、マトリクス状に配列された複数のＣＣＤ（Charge Coupled Device；電荷結合素子）またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの２次元固体撮像素子により構成されている。

このような撮像素子１３の受光面（マイクロレンズアレイ１２側の面）には、Ｍ×Ｎ（Ｍ，Ｎ：整数）個の撮像画素（以下、単に画素という）がマトリクス状に配置され、複数の画素に対してマイクロレンズアレイ１２内の１つのマイクロレンズが割り当てられるようになっている。例えば、受光面上の画素数はＭ×Ｎ＝３７２０×２５２０＝９３７４４００個であり、このうちｍ×ｎ＝１２×１２＝１４４個の画素に対して一つのマイクロレンズが割り当てられるようになっている。ここで、各マイクロレンズに対する画素の割り当て個数ｍ，ｎの値が大きくなるに従って、後述する再構築画像の分解能、例えば任意の視野での分解能やリフォーカス演算処理に基づく奥行き方向の分解能（任意の焦点での分解能）などが高くなる。一方、（Ｍ／ｍ），（Ｎ／ｎ）は、再構築画像の解像度と関連しているため、これら（Ｍ／ｍ），（Ｎ／ｎ）の値が大きくなるに従って、再構築画像の解像度が高くなる。このように、再構築画像の分解能と解像度とはトレードオフの関係にあるが、分解能および解像度の両者をできるだけ高い値で両立させることが望ましい。

なお、撮像素子１３の受光面上には、例えば図示しないカラーフィルタを、撮像画素単位で２次元配置するようにしてもよい。カラーフィルタとしては、例えば、赤（Ｒ）、緑（Ｇ）および青（Ｂ）の３原色のカラーフィルタがＲ：Ｇ：Ｂ＝１：２：１の比率で市松状に配置されたＢａｙｅｒ配列のカラーフィルタ（原色フィルタ）を用いることができる。このようなカラーフィルタを設けるようにすれば、撮像素子１３により得られた撮像データを、カラーフィルタの色に対応した複数の色（この場合、３原色）の画素データとすることができる。

画像処理部１４は、撮像素子１３で得られた撮像データＤ０に対して、所定の画像処理を施すことにより、任意の焦点に設定した画像（再構築画像）データＤoutを生成できるようになっている。この際、画像処理部１４では、撮像データＤ０から所定の距離情報が抽出され、この距離情報に基づいて撮像データの並べ替えが行われるようになっている。この画像処理部１４の詳細な構成については後述する。

撮像素子駆動部１５は、撮像素子１３を駆動してその受光動作の制御を行うものである。

制御部１６は、画像処理部１４、撮像素子駆動部１５の動作を制御するものであり、例えばマイクロコンピュータなどにより構成される。

ここで、図３を参照して、画像処理部１４の詳細な構成について説明する。図３は、画像処理部１４の全体構成を表す機能ブロック図である。画像処理部１４は、欠陥補正部１４１、クランプ処理部１４２、距離情報抽出部１４３、リフォーカス係数設定部１４９、並べ替え処理部１４４、ノイズ低減部１４５、輪郭強調部１４６、ホワイトバランス調整部１４７、およびガンマ補正部１４８から構成されている。

欠陥補正部１４１は、撮像データＤ０に含まれる黒とび等の欠陥（撮像素子１３の素子自体の異常に起因した欠陥）を補正するものである。クランプ処理部１４２は、欠陥補正部１４１による欠陥補正後の撮像データにおいて、各画素データの黒レベルの設定処理（クランプ処理）を行うものである。また、クランプ処理がなされた撮像データに対して、デモザイク処理などのカラー補間処理を施すようにしてもよい。

距離情報抽出部１４３は、撮像データＤ０に基づいて所定の距離情報を抽出するものであり、例えば、以下のような位相差検出部および距離情報算出部（いずれも図示せず）を含んで構成されている。

位相差検出部は、クランプ処理部１４２により供給される撮像データＤ１に基づいて、互いに視差の異なる複数の視差画像（異なる視点による任意視点画像）を生成し、これら複数の視差画像のうち少なくとも２枚の視差画像間の位相差を検出するものである。なお、位相差を検出するための視差画像は、撮像素子１３上で受光したユニット像同士の間で、同一の位置に配置された画素Ｐで取得された画素データを抽出して合成することにより生成することができる。このため、生成される視差画像の数は、１つのマイクロレンズに割り当てられた画素と同数となる。

距離情報算出部は、位相差検出部によって検出された位相差に基づいて、撮像レンズと合焦させたい（合焦位置を定める）リフォーカス面との間の距離情報（後述の距離ｄ）、すなわち、リフォーカス時の撮像レンズの物体側の焦点距離を算出するものである。

リフォーカス係数設定部１４９は、距離情報抽出部１４３により抽出された（距離情報算出部により算出された）距離情報に基づいて、並べ替え処理部１４４における積分処理（リフォーカス演算処理）に用いられるリフォーカス係数（後述のリフォーカス係数α）を設定するものである。なお、撮像データＤ１は、リフォーカス係数と共に並べ替え処理部１４４に入力されるようになっている。

並べ替え処理部１４４は、リフォーカス係数設定部１４９により設定されたリフォーカス係数を用いて、撮像データＤ１に対して、所定の並べ替え処理、例えば「Light Field Photography」と呼ばれる手法を用いたリフォーカス演算処理を施すことにより、撮像データＤ２を生成するものである。

ノイズ低減部１４５は、並べ替え処理部１４４により供給される撮像データＤ２に含まれるノイズ（例えば、暗い場所や感度の足りない場所で撮像したときに発生するノイズ）を低減する処理を行うものである。輪郭強調部１４６は、ノイズ低減部１４５により供給される撮像データに対し、映像の輪郭を強調する輪郭強調処理を行うものである。

ホワイトバランス調整部１４７は、輪郭強調部１４６により供給される撮像データに対し、カラーフィルタの通過特性や撮像素子１３の分光感度などのデバイスの個体差や照明条件などの影響に起因した色バランスの調整処理（ホワイトバランス調整処理）を行うものである。

ガンマ補正部１４８は、ホワイトバランス調整部１４７により供給される撮像データに対して所定のガンマ補正（明暗やコントラストの補正）を行うことにより、撮像データＤoutを生成するものである。

次に、図１〜図１０を参照して、上記のような撮像装置１の作用・効果について説明する。

撮像装置１では、撮像レンズ１１による撮像対象物２の像は、マイクロレンズアレイ１２上に結像する。そして、マイクロレンズアレイ１２への入射光線がこのマイクロレンズアレイ１２を介して撮像素子１３で受光される。このとき、マイクロレンズアレイ１２への入射光線は、その進行方向に応じて撮像素子１３上の異なる位置で受光され、例えば図４に示したように、開口絞り１０の開口形状に相似形となる撮像対象物２の像（ユニット像）１３−１がマイクロレンズごとに結像する。なお、このユニット像１３−１、すなわち一つのマイクロレンズに割り当てられた画素Ｐによって構成される領域（再構築画素領域１３Ｄ）が、再構築される画像の一画素分に相当する。

ここで、撮像素子１３で受光される光線について図５を参照して説明する。このように、撮像レンズ１１の撮像レンズ面上において直交座標系（ｕ，ｖ）を、撮像素子１３の撮像面上において直交座標系（ｘ，ｙ）をそれぞれ考え、撮像レンズ１１の撮像レンズ面と撮像素子１３の撮像面との距離をＦとすると、図中に示したような撮像レンズ１１および撮像素子１３を通る光線Ｌ１は、４次元関数Ｌ_Ｆ（ｘ，ｙ，ｕ，ｖ）で表されるため、光線の位置情報に加え、光線の進行方向が保持された状態で撮像素子１３に記録される。すなわち、各マイクロレンズに割り当てられた複数の画素Ｐの配置によって光線の入射方向が決まることとなる。

このようにして、撮像素子１３で受光がなされると、撮像素子駆動部１５による駆動動作に従って撮像データＤ０が得られ、この撮像データＤ０が画像処理部１４へ入力される。

撮像データＤ０が画像処理部１４へ入力されると、欠陥補正部１４１により欠陥補正がなされたのち、クランプ処理部１４２によりクランプ処理が施され（撮像データＤ１）、距離情報抽出部１４３へ入力される。

ここで、図６〜図８を参照して、この距離情報抽出部１４３の具体的な距離情報抽出動作について説明する。

距離情報抽出部１４３では、まず、位相差検出部において、撮像素子１３により得られた撮像データに基づいて互いに視差の異なる複数の視差画像が生成される。そして、生成された複数の視差画像のうち少なくとも２つの視差画像間の位相差、例えば図６に示したような、２つの視差による光線ＬＲによる視差画像と光線ＬＬによる視差画像との間の位相差Δφ（光線ＬＲによる視差画像の位相φＲと、光線ＬＬによる視差画像の位相φＬとの間の位相差）が検出される。

具体的には、光線ＬＲによる視差画像ＤＲと光線ＬＬによる視差画像ＤＬとの位相差は例えば以下のようなDisparityとして算出される。例えば、図７（Ａ）に示したように、視差画像ＤＲ内の小領域の部分画像Ａ１（中心座標：（ｘ１，ｙ１））を取り出すと共に、図７（Ｂ）に示したように、部分画像Ａ１と同じ小領域の部分画像Ｂ１（中心座標：（ｘ１，ｙ１）を視差画像ＤＬの中から取り出し、この部分画像Ｂ１の位置を移動させつつ、以下の（１）式による画素相関値が逐次計算される。そしてこの画素相関値が最大となる位置の部分画像Ｂ１の中心点が、部分画像Ａ１の中心点に対応する点として検出される。このときのPixelずれが、上記したDisparityに対応する。また、このような演算処理が、小領域の部分画像Ａ１の取り出し位置を変化させつつ、視差画像ＤＲの全面についてなされることにより、Disparity Map（Disparityの集合）が得られる。

次に、距離情報算出部において、位相差検出部により検出された２つの視差画像ＤＲ，ＤＬ間の位相差（Disparity）を用いて、例えば図８に示したように、撮像レンズ１１の物体側焦点面をＤ、撮像レンズ１１の焦点距離をＦ、Disparityを求めたときの撮像レンズの開口の大きさをｖ、距離Ｄの物体を撮像したときの撮像レンズ１１の像側焦点面をｆ、撮像レンズ１１から距離ｄにある物体を撮像したときの撮像レンズ１１の像側焦点面をｇ、距離ｄの物体を開口の大きさｖを用いて計算した（（Disparity）×（撮像素子１３の画素Ｐの大きさ）×（マイクロレンズアレイ１２の一辺の長さに割り当てられた画素数））の値をｈとすると、以下の（４）〜（９）式により、測定対象までの距離ｄが算出される。

すなわち、まず、相似関係により、以下の（２）式が得られると共に、図８により、ｅ＝（ｇ−ｆ）であるため、これを（２）式に代入することにより、以下の（３）式が得られ、この（３）式により以下の（４）式が得られる。また、撮像レンズ１１の結像式により、以下の（５）式および（６）式が得られるため、（５）式を（４）式に代入することにより以下の（７）式が得られると共に、（６）式により以下の（８）式が得られる。したがって、（８）式を（７）式に代入することにより、以下の（９）式が得られるため、この（９）式中においてＦ，Ｄ，ｖの値が既知のものであれば、Disparityに基づいて距離ｄが算出される。
（ｈ／ｅ）＝（ｖ／ｇ） …（２）
｛ｈ／（ｇ−ｆ）｝＝（ｖ／ｇ） …（３）
（１／ｇ）＝（１／ｆ）×｛１−（ｈ／ｖ）｝ …（４）
（１／Ｆ）＝（１／ｇ）＋（１／ｄ） …（５）
（１／Ｆ）＝（１／Ｄ）＋（１／ｆ） …（６）
（１／ｄ）＝（１／Ｆ）−［（１／ｆ）×｛１−（ｈ／ｖ）｝］ …（７）
ｆ＝Ｆ×｛Ｄ／（Ｄ−Ｆ）｝ …（８）
（１／ｄ）＝（１／Ｆ）−［１／｛Ｆ×Ｄ／（Ｄ−Ｆ）｝×｛１−（ｈ／ｖ）｝］
…（９）

このようにしてDisparityを用いて算出された距離ｄについての情報が、撮像データＤ１と共にリフォーカス係数設定部１４９に入力される。そして、リフォーカス係数設定部１４９では、この距離ｄに基づいてリフォーカス係数αが決定される。具体的には、図９（Ａ）に示したように、撮像レンズ１１の物体側焦点面が距離Ｄだけ離れた位置にある状態で撮像された場合、図９（Ｂ）に示したように、撮像レンズ１１から距離ｄだけ離れた位置にある平面のリフォーカス像を得るためのリフォーカス係数αは、上記（６）式および以下の（１０）式から算出される。このようにして算出されたリフォーカス係数αは、並べ替え処理部１４４に入力される。
（１／Ｆ）＝（１／Ｄ）＋（１／αｆ） …（１０）

並べ替え処理部１４４では、算出されたリフォーカス係数αを用いたリフォーカス演算処理（積分処理）がなされる。具体的には、図１０に示したように、リフォーカス係数αによって規定されるリフォーカス面１２０上の座標（ｓ，ｔ）の撮像面１３０上における検出強度Ｌ_Ｆ’は、以下の（１１）式のように表される。また、リフォーカス面１２０で得られるイメージＥ_Ｆ’（ｓ，ｔ）は、上記検出強度Ｌ_Ｆ’をレンズ口径に関して積分したものとなるので、以下の（１２）式のように表される。したがって、この（１２）式からリフォーカス演算処理を行うことにより、任意の焦点（リフォーカス係数αによって規定されるリフォーカス面１２０）に設定された画像が再構築される。

そして、再構築された画像のデータ（撮像データＤ２）に対して、ノイズ低減部１４５、輪郭強調部１４６、ホワイトバランス調整部１４７およびガンマ補正部１４８により上述のような所定の処理が施され、撮像データＤoutが出力される。

以上のように、撮像装置１によれば、画像処理部１４において、光線の進行方向の情報をも含むようにして取得した撮像データに基づいて任意の焦点に設定した画像を再構築する際に、距離情報抽出部１４３により撮像データから所定の距離情報を抽出し、この距離情報に基づいて設定したリフォーカス係数αを用いてリフォーカス演算処理による撮像データの並べ替えを行うようにしたので、合焦させたいリフォーカス面への焦点移動をリフォーカス係数を逐次変更しながら繰り返し行うことなく、適切なリフォーカス係数αを瞬時に求めることができる。これにより、任意の焦点に設定された画像を再構築する際に、高速なリフォーカス動作が可能となる。

このとき、距離情報抽出部１４３において、例えば、撮像データに基づいて互いに視差の異なる複数の視差画像を生成したのち、少なくとも２つの視差画像間の位相差、例えばPixelずれを表すDisparityを求め、このDisparityから撮像レンズと合焦させたいリフォーカス面との間の距離ｄを算出するようにすれば、Disparityに応じてリフォーカス係数を変化させることにより、画像面内の合焦させたい位置への焦点移動を瞬時に行うことがきできる。よって、画像面内の任意の位置におけるフォーカス調整が可能となる。

（適用例）
また、上記のような撮像装置１は、例えば次のようなデジタルカメラ３やタッチパネル式の表示装置に適用することができる。

図１１（Ａ），（Ｂ）は、撮像装置１を搭載したデジタルカメラ３の概略構成を表すものであり、（Ａ）は正面図、（Ｂ）は側面図である。このデジタルカメラ３は、筐体３００の内部に撮像装置１を備えており、筐体３００の上部には、シャッタ１７、フラッシュ１８、ファインダ光学系１９などが設けられている。また、撮像装置１は、このようなカメラの他にも、位置センサや生体センサ、光学顕微鏡などに適用することが可能である。

図１２は、撮像装置１を搭載したタッチパネル式の表示装置２の全体構成を表す機能ブロック図である。表示装置１は、表示画像面内の任意の位置でフォーカス調整を行うことができるものであり、表示した画像（撮像データＤout）から、これとは異なる焦点面に設定された画像（撮像データＤ_Rout）への切り替えができるようになっている。この表示装置２は、画像処理部１４を含む撮像装置１、タッチパネル１５０、距離情報算出部１５１、リフォーカス係数設定部１４９、ノイズ低減部１４５、輪郭強調部１４６、ホワイトバランス調整部１４７およびガンマ補正部１４８を含んで構成されている。なお、上記撮像装置１と同様の画像処理については同一の符号を付し、適宜説明を省略する。

タッチパネル１５０は、撮像装置１から出力された撮像データＤoutに基づく再構築画像を表示する表示部と、表示された画像の任意の位置が指定されたときに、その位置を検知する位置検知手段とから構成されている。例えば、表示部に指やペンなどが接触することにより、その接触した位置が、例えば感圧式や静電式によって検知されるようになっている。表示パネルとしては、液晶パネルや有機ＥＬ（Electro Luminescence）パネルなどが用いられる。

距離情報算出部１５１は、上述した画像処理部１４の距離情報抽出部１４３（位相差検出部）で検出した各視差画像同士の位相差ＤＭ（Disparity Map）から、タッチパネル１５０により検知された位置（Pixel）に応じて位相差（Disparity）を選択し、このDisparityに基づいて上述したような手法により距離ｄを算出するものである。例えば、表示されている画像（以下、画像Ｐ０という）の指定された位置においてフォーカス（合焦）した画像（以下、画像Ｐ１という）を生成したい場合には、距離ｄを、撮像レンズと、タッチパネル１５０により検知された位置で合焦となるようなリフォーカス面との間の距離として、検知された位置におけるDisparityを用いて算出するようにする。なお、画像Ｐ０および画像Ｐ１が、本発明の一の画像および他の画像にそれぞれ対応している。

このような表示装置２では、タッチパネル１５０において、表示部に撮像データＤoutに基づく画像Ｐ０が表示され、画像Ｐ０の任意の位置が指定されると、指定された位置が検知されて、位置についての情報（位置情報）が距離情報算出部１５１に入力される。一方、距離情報算出部１５１には、撮像装置１の画像処理部１４における距離情報抽出部１４３（位相差検出部）から各視差画像同士のDisparity Mapが入力される。

距離情報算出部１５１では、例えば指定された位置に対応するDisparityが選択されたのち、この選択されたDisparityに基づいて距離ｄが算出され、撮像データＤoutと共にリフォーカス係数設定部１４９に入力される。リフォーカス係数設定部１４９では、上述したように距離ｄに基づいてリフォーカス係数αが設定され、撮像データＤoutと共に並べ替え処理部１４４に入力される。

並べ替え処理部１４４では、上述したように、リフォーカス係数αに基づいて撮像データＤoutの並べ替え処理がなされ、例えば画像Ｐ０の指定された位置において合焦した画像（撮像データＤ３）が再構築される。このようにして再構築された撮像データＤ３は、ノイズ低減部１４５、輪郭強調部１４６、ホワイトバランス処理部１４７およびガンマ補正処理部１４８による所定の画像処理を施され、撮像データＤ_Routとして、タッチパネル１５０に入力される。このようにして、表示部には、画像Ｐ０において指定された位置で合焦した画像Ｐ１が表示される。

以上のように、画像Ｐ０の指定された位置に応じてDisparityを検出し、所定の距離情報を算出してリフォーカス係数αを設定し、撮像データの並べ替えを行うようにしたので、画像Ｐ０から任意の位置でフォーカス調整がなされた画像Ｐ１に瞬時に切り替えて表示することが可能となる。例えば、図１３（Ａ）に示したように、表示面内の右側の領域で合焦している画像Ｐ０に対して、左側（地球儀）の領域を指定することにより、図１３（Ｂ）に示したように、表示面内の左側（地球儀）の領域で合焦した画像Ｐ１に瞬時に表示を切り替えることができるようになる。

（変形例）
また、上記のような表示装置２では、画像Ｐ０から画像Ｐ１への切り替えを瞬時に（一段階で）行うようにしたが、画像Ｐ０および画像Ｐ１におけるそれぞれのリフォーカス面の中間位置をリフォーカス面とする画像（中間画像）Ｐ２を生成し、画像Ｐ０から画像Ｐ１への切り替えを画像Ｐ２を経て多段階的に行うようにしてもよい。

具体的には、リフォーカス係数設定部１４９は、上述したように画像Ｐ１に対応するリフォーカス係数（以下、リフォーカス係数α１という）を設定し、さらに、画像Ｐ０のリフォーカス係数（以下、リフォーカス係数α０という）とリフォーカス係数α１との中間値（以下、リフォーカス係数α２という）を算出するようになっている。

並べ替え処理部１４４は、撮像データＤoutに対して、リフォーカス係数α１に基づくリフォーカス演算処理によって並べ替え処理を施すと共に、リフォーカス係数α２に基づくリフォーカス演算処理によって並べ替え処理を施すようになっている。

このようにした場合、リフォーカス係数α１，α２に基づいてそれぞれ再構築された撮像データは、ノイズ低減部１４５、輪郭強調部１４６、ホワイトバランス処理部１４７およびガンマ補正処理部１４８による所定の画像処理を施され、撮像データＤ_Routとして、タッチパネル１５０にそれぞれ入力される。そして、タッチパネル１５０において、画像Ｐ０、画像Ｐ２、画像Ｐ１が順次表示されることで、画像Ｐ０から画像Ｐ１への切り替えが多段階的に行われる。

例えば、図１４（Ａ）に示したように、表示面内の右側の領域で合焦している画像Ｐ０に対して、左側（地球儀）の領域を指定することにより、まず図１４（Ｂ）に示したような表示面内の中央の領域で合焦した画像Ｐ２を表示したのち、図１４（Ｃ）に示したような左側（地球儀）の領域で合焦した画像Ｐ１を表示することができ、段階的な表示の切り替えが可能となる。

また、このとき、リフォーカス係数α０からリフォーカス係数α１までの値を所定の間隔で刻むリフォーカス係数を複数算出し、これら複数のリフォーカス係数に基づいて複数の中間画像を生成し、これらを順次表示するようにすれば、画像Ｐ０の指定された位置において徐々に（スムーズに）フォーカスが合っていくような演出をすることが可能となる。

以上、実施の形態を挙げて本発明を説明したが、本発明はこれらの実施の形態に限定されるものではなく、種々の変形が可能である。例えば、上記実施の形態では、画像処理部１４を、撮像装置１，１Ａ，１Ｂの構成要素の一つとして説明したが、必ずしもこの画像処理部が撮像装置の内部に設けられている必要はない。具体的には、デジタルカメラ３，３Ａ，３Ｂの筐体３００内において、画像処理部を撮像装置とは別に設けておくと共に、この画像処理部によって、撮像装置で得られた撮像データに対して画像処理を施すようにすることも可能である。

また、距離情報抽出部１４３において、互いに視差の異なる２つの視差画像に基づいてその間の位相差を検出するようにしたが、これに限定されず、３つ以上の視差画像に基づいて位相差を検出するようにしてもよい。

また、撮像装置１を用いたタッチパネル式の表示装置では、指定した位置において合焦を行うようにリフォーカス係数αを設定する場合を例に挙げて説明したが、これに限定されず、例えば指定した位置において逆にボケを強くするようにリフォーカス係数αを設定するようにしてもよい。これにより、任意の位置で任意のフォーカス調整を行うことができる。

また、上記実施の形態では、開口絞り１０の位置を撮像レンズの撮像対象物側（入射側）に配置した構成としているが、これに限定されず、撮像レンズの像側（出射側）あるいは、撮像レンズ内部に設けられた構成であってもよい。

本発明の第１の実施の形態に係る撮像装置の全体構成を表す図である。 マイクロレンズアレイのＦナンバーを説明するための図である。 図１に示した画像処理部の概略構成を表す機能ブロック図である。 図１に示した撮像素子上の受光領域を表す平面図である。 撮像素子上で受光される光線について説明するための図である。 ２つの視差画像に基づく位相差検出動作について説明するための模式図である。 ２つの視差画像による画素相関演算について説明するための模式図である。 撮像レンズから測定対象までの距離の算出方法について説明するための図である。 並べ替え処理部におけるリフォーカス動作の様子を表す図である。 並べ替え処理部におけるリフォーカス演算処理を説明するための図である。 図１に示した撮像装置の一適用例に係るデジタルカメラの概略構成を表すものである。 図１に示した撮像装置の一適用例に係る表示装置の全体構成を表す機能ブロック図である。 図１２に示した表示装置において指定した位置でフォーカスする画像に瞬時に表示を切り替える場合の画像の一例である。 図１２に示した表示装置において指定した位置でフォーカスする画像に段階的に表示を切り替える場合の画像の一例である。

符号の説明

１…撮像装置、１０…開口絞り、１１…撮像レンズ、１２…マイクロレンズアレイ、１３…撮像素子、１３−１…受光領域、１３Ｄ…再構築画素領域、１４…画像処理部、１５…撮像素子駆動部、１６…制御部、１４３…距離情報抽出部、１４４…並べ替え処理部、２…撮像対象物（撮像対象物）、３…デジタルカメラ、３００…筐体、Ｄout…撮像データ。

Claims (8)

1. 撮像レンズと受光光線に基づいて撮像データを取得する撮像素子との間に、前記撮像素子の複数画素に対して１つのマイクロレンズが割り当てられたマイクロレンズアレイを有する撮像光学系に適用される画像処理装置であって、
   前記撮像光学系により光線の進行方向を保持した状態で取得された撮像データに基づいて、前記撮像レンズからリフォーカス面までの距離情報を抽出する距離情報抽出部と、
   前記距離情報抽出部により抽出された距離情報に基づいてリフォーカス係数を設定するリフォーカス係数設定部と、
   前記リフォーカス係数設定部により設定されたリフォーカス係数に基づいて撮像データの並べ替えを行う並べ替え処理部とを有する
   ことを特徴とする画像処理装置。
2. 前記距離情報抽出部は、
   前記撮像データに基づいて互いに視差の異なる複数の視差画像を生成し、これら複数の視差画像のうち少なくとも２つの視差画像間の位相差を検出する位相差検出部と、
   前記位相差検出部により検出された位相差に基づいて前記距離情報を算出する距離情報算出部とを含む
   ことを特徴とする請求項１に記載の画像処理装置。
3. 撮像レンズと受光光線に基づいて撮像データを取得する撮像素子との間に、前記撮像素子の複数画素に対して１つのマイクロレンズが割り当てられたマイクロレンズアレイを有する撮像光学系に適用される画像処理プログラムであって、
   前記撮像光学系により光線の進行方向を保持した状態で取得された撮像データに基づいて、前記撮像レンズからリフォーカス面までの距離情報を抽出するステップと、
   前記抽出された距離情報に基づいてリフォーカス係数を設定するステップと、
   前記設定されたリフォーカス係数に基づいて前記撮像データの並べ替えを行うステップと
   をコンピュータに実行させることを特徴とする画像処理プログラム。
4. 撮像レンズと受光光線に基づいて撮像データを取得する撮像素子との間に、前記撮像素子の複数画素に対して１つのマイクロレンズが割り当てられたマイクロレンズアレイを有する撮像光学系により光線の進行方向を保持した状態で取得された撮像データに基づいて、画像を生成する画像処理部と、
   前記画像処理部により生成された画像を表示するための表示部と、
   前記表示部に表示された画像の任意の位置が指定されたときに、この指定された位置を検知可能な位置検知手段とを備え、
   前記画像処理部は、
   前記位置検知手段により検知された位置に応じて、前記撮像レンズからリフォーカス面までの距離情報を算出する距離情報算出部と、
   前記距離情報算出部により算出された距離情報に基づいてリフォーカス係数を設定するリフォーカス係数設定部と、
   前記リフォーカス係数設定部により設定されたリフォーカス係数に基づいて前記撮像データの並べ替えを行うことにより任意の焦点における画像を生成する並べ替え処理部とを有する
   ことを特徴とする表示装置。
5. 前記画像処理部は、
   前記撮像データに基づいて互いに視差の異なる複数の視差画像を生成したのち、これら複数の視差画像のうち任意の視差画像同士の位相差を検出する位相差検出部をさらに有し、
   前記距離情報算出部は、前記位相差検出部により検出された位相差のうち前記位置検知手段により検知された位置に応じた位相差に基づいて、前記距離情報を算出するようになっている
   ことを特徴とする請求項４記載の表示装置。
6. 前記位置検知手段は、前記表示部に表示された一の画像において指定された位置を検知し、
   前記画像処理部において、
   前記距離情報算出部は、前記撮像レンズから前記一の画像中の指定された位置が合焦となるようなリフォーカス面までの距離情報を算出し、
   前記リフォーカス係数設定部は、前記距離情報算出部により算出された距離情報に基づいてリフォーカス係数を設定し、
   前記並べ替え処理部は、前記リフォーカス係数設定部により設定されたリフォーカス係数に基づいて前記撮像データの並べ替えを行うことにより前記指定された位置で合焦した他の画像を生成し、
   前記表示部は、前記一の画像から前記他の画像に切り替えて表示を行う
   ことを特徴とする請求項４記載の表示装置。
7. 前記位置検知手段は、前記表示部に表示された一の画像において指定された位置を検知し、
   前記画像処理部において、
   前記距離情報算出部は、前記撮像レンズから前記一の画像中の指定された位置が合焦となるようなリフォーカス面までの距離情報を算出し、
   前記リフォーカス係数設定部は、前記距離情報算出部により算出された距離情報に基づいてリフォーカス係数を設定し、
   前記並べ替え処理部は、前記リフォーカス係数設定部により設定されたリフォーカス係数に基づいて前記撮像データの並べ替えを行うことにより前記指定された位置で合焦した他の画像を生成すると共に、前記一の画像および前記他の画像におけるそれぞれのリフォーカス係数の中間値となるリフォーカス係数に基づいて中間画像を生成し、
   前記表示部は、前記一の画像から前記中間画像を経て前記他の画像までを順次切り替えて表示を行う
   ことを特徴とする請求項４記載の表示装置。
8. 前記表示部と前記位置検知手段とがタッチパネルを含んで構成されている
   ことを特徴とする請求項４記載の表示装置。

Images