JP6144880B2 - 表示装置および表示方法、並びに前記表示装置を備えた撮像装置 - Google Patents

Description

本発明は、デジタルカメラに代表される撮像装置に用いられる表示装置に関し、特に光線空間情報（ライトフィールドとも呼ばれる）を取得可能なカメラで取得された画素信号の表示方法に関するものである。

近年のデジタルカメラは高機能化が進展し、新しいカメラの形態として光線空間情報を取得可能なカメラの提案がなされている。このようなカメラはライトフィールドカメラ等と通称されている。ライトフィールドカメラでは異なる瞳領域を通過した光束から画素信号を取得し、取得した画素信号から画像を再構成して出力画像を得ることで撮影後のフォーカス位置の変更などの機能を提供することが可能である。

一方で、ライトフィールドカメラは、取得された情報をユーザーに適宜提示することが必要である。

この問題を解決するために、特許文献１では、異なる瞳領域を通過した像をそれぞれ異なる領域に表示することによっていわゆるスプリットイメージとして表示する技術が開示されている。

さらに、特許文献２では、焦点検出用素子を設けた撮像光学系において、異なる瞳領域を通過した像を表示する技術が開示されている。

特開２００９−２３２２８８号公報 特開２００８−１１６８４８号公報

しかしながら、上述の特許文献に開示された従来技術では、瞳領域をより多数に分割した場合（ライトフィールドカメラでの角度分割数が２よりも大きい場合）に適切に表示が行われない場合がある。

すなわち特許文献１および特許文献２では、焦点検出用に異なる瞳領域を通過した像のために基本的には２つに分割された場合についての情報が開示されている。一方でより多くの分割を持つ場合における好ましい表示方法については開示されていない。

そこで、本発明の目的は、２よりも多い角度分割をもつライトフィールドカメラで取得された情報を用いて、異なる瞳領域を通過した像を、ユーザーに適宜提示することが可能な表示装置および前記表示装置を備えた撮影装置を提供することである。

本発明によれば、被写体像を撮像素子により光電変換して得られた画素信号を表示手段に表示するための表示装置は、ライトフィールドカメラで得られた画素信号を含む情報を取得する信号取得手段、表示手段の表示画面を複数の分割表示領域に分割する表示領域分割手段、測距に用いる基線長方向を設定する基線方向制御手段、複数の分割表示領域の一領域において、前記信号取得手段で取得した前記情報に基づいて、前記基線方向制御手段で設定された基線長方向に分割された２つより多い瞳領域のうちの隣接しない異なる瞳領域に対応する前記画素信号を表示する表示制御手段を備える。

また、本発明によれば、撮像装置は上記本発明の表示装置を備える。

本発明によれば、２よりも多い角度分割をもつライトフィールドカメラで取得された情報を、ユーザーに適宜提示することが可能な表示装置および前記表示装置を備えた撮影装置を提供することができる。

実施形態において本発明を適用する撮像装置のブロック図。 図１の撮像装置の撮像光学系を模式的に示す図。 図１の撮像装置における像生成動作を概念的に示す図。 図１の撮像装置の動作のフローチャートを示す図。 本発明の第１の実施例に係わる表示装置による表示構成を示す図。 本発明の第１及に係わる表示装置での基線長方向の設定を模式的に示す図。 本発明の第２の実施例に係わる表示装置の表示構成を示す図。 本発明を適用する撮像装置の撮像光学系の他の例を示す図。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。図１は、本発明の要部を説明する模式図である。

以下、図１から図８を参照して、本発明の実施形態を説明する。本発明の表示装置は、撮影に先行するエイミングや、撮影後の現像時での画像表示に活用されるものであるが、本実施形態では本発明を撮像装置に適用した場合を例として説明する。

図１は本発明の実施形態に係わる撮影装置であるカメラシステムのブロック図である。本カメラシステムは、カメラ１およびレンズ２からなり、撮像系、画像処理系、記録再生系、制御系を有する。撮像系は、撮像光学系３ 、撮像素子６を含み、画像処理系は、画像処理部７を含む。また、記録再生系は、メモリ手段８、表示手段９を含み、制御系は、カメラシステム制御回路５、操作検出部１０、およびレンズシステム制御回路１２、レンズ駆動手段１３を含む。レンズ駆動手段１３は、焦点レンズ、ブレ補正レンズ、絞りなどを駆動することができる。

撮像系は、物体からの光を、撮影光学系３を介して撮像素子６の撮像面に結像する光学処理系である。撮影素子６は、画素（光電変換素子）を二次元に配列した受光面を有し、当該受光面にはマイクロレンズが格子状に配置してあり、いわゆるマイクロレンズアレイ（以下 ＭＬＡ）を形成している。ＭＬＡは本実施例において、瞳分割手段を構成する。ＭＬＡの機能や配置の詳細については図３を用いて後述する。後述するように、撮像素子６から出力される画素信号からはピント評価量／適当な露光量が得られるので、この量に基づいて適切に撮影光学系３を調整する。これにより、適切な光量の被写体光を撮像素子６に露光するとともに、撮像素子６の近傍で被写体像が結像する。

画像処理部７は、内部にＡ／Ｄ変換器、ホワイトバランス回路、ガンマ補正回路、補間演算回路等を有しており、記録用の画像を生成することができる。また、本発明の要部である、像シフト手段、像生成手段、コントラスト評価手段、相関計算手段等を含めることもできる。（本実施例ではこれらの要素はカメラシステム制御内に配置する場合を想定して記載する。）

メモリ手段８は実際の記憶部に加えて記録に必要な処理回路を備えている。メモリ手段は、記録部へ出力を行うとともに、表示手段９に出力する像を生成、保存する。また、メモリ手段８は、予め定められた方法を用いて画像、動画、音声などの情報量の圧縮を行う。

カメラシステム制御回路５は撮像の際のタイミング信号などを生成して出力する。外部操作に応動して撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、不図示のシャッターレリーズ釦の押下を操作検出回路１０が検出して、撮像素子６の駆動、画像処理部７の動作、メモリ手段８の圧縮処理などを制御する。さらに表示手段９によって液晶モニタ等の表示画面に情報表示を行う情報表示装置の各セグメントの状態を制御する。

制御系による光学系の調整動作について説明する。カメラシステム制御回路５には画像処理部７が接続されており、撮像素子６からの画素信号（光電変換信号）に基づいて適切な焦点位置、絞り位置を求める。カメラシステム制御回路５は、電気接点１１を介してレンズシステム制御回路１２に指令を出し、レンズシステム制御回路１２はレンズ駆動手段１３を適切に制御する。さらにレンズシステム制御回路１２には不図示の手ぶれ検出センサが接続されており、手ぶれ補正を行うモードにおいては、手ぶれ検出センサの信号に基づいてレンズ駆動手段１３を介してブレ補正レンズを適切に制御する。

図２は、本実施例における撮影光学系の要部の構成を模式的に示す図である。本発明を適用するためには、いわゆる光線空間情報等といわれる光線の位置に加えて角度の情報を取得する必要がある。本実施例では、角度情報の取得のために撮影光学系３の結像面近傍にＭＬＡを配置するとともに、ＭＬＡを構成する１つのレンズに対して複数の画素を対応させている。

図２（ａ）は撮像素子６とＭＬＡ２０の関係を模式的に示す図である。図２（ｂ）は撮像素子の画素とＭＬＡの対応を示す模式図である。図２（ｃ）はＭＬＡによってＭＬＡ下に設けられた画素が特定の瞳領域と対応づけられることを示す図である。

図２（ａ）に示すように撮像素子６上にはＭＬＡ２０が設けられており、ＭＬＡ２０の前側主点は撮影光学系３の結像面近傍になるように配置されている。図２（ａ）は撮像装置の横からと、正面から撮像素子６を見たときの正面図および側面図を示しており、正面図からわかるように、ＭＬＡのレンズが撮像素子６上の画素を覆うように配置されている。なお、図２（ａ）ではＭＬＡを構成する各マイクロレンズを見やすくするために、大きく記載したが、実際には各マイクロレンズは画素の数倍程度の大きさしかない。（実際の大きさについては図２（ｂ）を用いて説明する。）

図２（ｂ）は図２（ａ）の正面図を一部拡大した図である。図２（ｂ）に示す格子状の枠は、撮像素子６の各画素を示している。一方ＭＬＡを構成する各マイクロレンズは太い円２０ａ，２０ｂ，２０ｃ，２０ｄで示した。図２（ｂ）から明らかなようにマイクロレンズ１つに対して複数（所定数）の画素が割り当てられており、図２（ｂ）の例では、５行x５列＝２５個の画素が１つのマイクロレンズに対して設けられている。（すなわち各マイクロレンズの大きさは画素の大きさの５倍x５倍の大きさである。）

図２（ｃ）は撮像素子６を、マイクロレンズ光軸を含みセンサの長手方向が図の横方向になるように切断した図である。図２（ｃ）の２１、２２、２３、２４、２５は撮像素子６の画素（１つの光電変換部）を示している。一方図２（ｃ）の上方に示した図は撮影光学系３の射出瞳面を示している。実際には、図２（ｃ）の下方に示したセンサの図と方向を合わせると、射出瞳面は図２（ｃ）の紙面垂直方向になるが、説明のために投影方向を変化させている。また、図２（ｃ）においては説明を簡単にするために、１次元の投影／信号処理について説明する。実際の装置においては、これを容易に２次元に拡張することができる。

図２（ｃ）の画素２１、２２、２３、２４、２５は図２（ｂ）の２１ａ、２２ａ、２３ａ、２４ａ、２５ａとそれぞれ対応する位置関係にある。図２（ｃ）に示すように、マイクロレンズ２０によって各画素は撮影光学系３の射出瞳面上の特定の領域と共役になるように設計されている。図２（ｃ）の例では画素２１と領域２７ａが、画素２２と領域２７ｂが、画素２３と領域２７ｃが、画素２４と領域２７ｄが、画素２５と領域２７ｅがそれぞれ対応している。すなわち画素２１には撮影光学系３の射出瞳面上の領域２７ａを通過した光束のみが入射する。他の画素も同様である。結果として、瞳面上での通過領域と撮像素子６上の位置関係から角度の情報を取得することが可能となる。

図３を用いて像シフトおよび像生成を模式的に示す。図３は上から（ａ）、（ｂ）、（ｃ）と並んでおり、図３（ｂ）は実際に撮像素子６が存在して画像を取得した面での像生成を示す。図３（ａ）は図３（ｂ）よりも被写体側の再構成面（再構成面１とする）での像再構成を、図３（ｃ）は図３（ｂ）よりも被写体側から遠い側の再構成面（再構成面２とする）で像再構成をそれぞれ示している。

図３（ｂ）において、X_1,i、X_2,i、X_3,i、X_4,i、X_5,i、はそれぞれ瞳領域１、２、３、４、５を通過してマイクロレンズX_iに入射して得られたデータを示している。すなわち、添え字のうち前半は通過する瞳領域を、後半は画素の番号を示している。また、図３においても説明を明瞭にするためにデータを１次元的な広がりしかもたないものとして記述している。物理的な位置との関係においては、X_1,iは図２（ｃ）の２１領域から得られるデータを、X_2,iは図２（ｃ）の２２領域から得られるデータを示し、同様に他のXの添え字の３、４、５は領域２３、２４、２５に対応していることを示している。

取得面での画像を生成するためには、図３（ｂ）にあるように、マイクロレンズX_iに入射したデータを加算すればよい。具体的には、S_i = X_1,i + X_2,i + X_3,i + X_4,i + X_5,iでX_iに入射した光の角度方向の積分値を得ることができる。（これにより通常のカメラと同様の像が生成される。）

次に再構成面１での像の生成方法を考える。図２で説明したように、本実施例の撮影光学系は、各画素に入射する光束を特定の瞳領域に限定しているために、入射角度が既知である。この角度に沿って再構成面での各画素の位置を再構成する。具体的にはX_1,iのように瞳領域の添え字が１のものは図３右側において４１に示すような角度で入射しているとする。以下瞳領域の添え字２，３，４，５はそれぞれ３２，３３，３４，３５に対応しているとする。この時再構成面１でのマイクロレンズX_iに入射した光束は、取得面においては、X_i-2からX_i+2に分散して入射していることになる。より具体的には、X_1,i-2、X_2,i-1、X_3,i、X_4,i+1、X_5,i+2に分散している。X_iに限らず再構成面１での像を復元するためには、入射角度に応じて像をシフトさせて加算すれば良いことが分かる。再構成面１での像を生成するためには、次のように入射角度に応じたシフトを与えることができる。瞳領域の添え字が１のものは右に２画素シフト、瞳領域の添え字が２のものは右に１画素シフト、瞳領域の添え字が３のものはシフトなし、瞳領域の添え字が４のものは左に１画素シフト、瞳領域の添え字が５のものは左に２画素シフトさせる。その後図３（ａ）の縦方向に加算することで再構成面１でのデータを得ることができる。具体的には、S_i = X_1,i-2 + X_2,i-1 + X_3,i + X_4,i+1 + X_5,i+2で再構成面１において、X_iに入射した光の角度方向の積分値を得ることができる。これにより再構成面での画像が得られた。

ここで、再構成面１において、X_iに輝点があったとすると、取得面においてはX_1,i-2、X_2,i-1、X_3,i、X_4,i+1、X_5,i+2に分散していわゆるボケ状態にある。しかしながら、上述した再構成面１での像を生成すると、再びX_iに輝点が生成されコントラストの高い像が得られる。すなわち像を再構成してコントラストを計算することで、いわゆるコントラストＡＦを行うことが可能となる。

また、図３（ｃ）から分かるように、再構成面２においても再構成面１と全く同様に像を生成することができる。再構成面を配置する方向が異なると（物体に対して反対側という意味）シフトさせる方向を反転させれば良いだけである。

図４は本発明の画像を得るためのフローチャートである。図４（ａ）は画像を得る全体の動作を、図４（ｂ）は像シフト手段の動作を、図４（ｃ）像生成手段の動作を、図４（ｄ）は相関計算手段の動作をそれぞれ示している。これらの動作は、例えばカメラシステム制御回路５のＣＰＵが不図示のメモリに記憶されているプログラムをロードして実行することで撮像装置の各部を制御することにより実現される。

図４（ａ）から各ステップ順に説明する。ステップＳ１は画像取得動作の開始を示している。例えば、図１にあった操作検出部１０が撮影者からの特定の動作を検出した時（例えばレリーズボタンの押下）などが該当する。

ステップＳ４１１は撮像素子６を適当な時間露光して、得られた画素信号を読み出す（Ａ／Ｄ変換する）ことによりデータを取得することに対応する。

ステップＳ４１２では相関計算手段を動作させて結果を得る。相関計算手段からはピント評価値に関する情報が得られる。動作の詳細は図４（ｅ）を用いて後述する。

ステップＳ４１３では適宜当に分割されたエリア（相関計算手段の説明で後述するが、ステップＳ４６２での評価枠と対応する）毎にピント位置を決定する。後述する相関計算手段から得られるピント評価値が最も良くなる位置をピント位置として定義する。（ここでいう良いというのは後述するステップＳ４６６での相関計算式に従うと値が小さい場合が良い状態に対応する。）

ただしここでのピント位置とは、現在のピント位置からの相対的なピントずれを示すものである。すなわち、現在のピント位置でピントが合っている被写体のピント位置は０として、それよりも前や後ろにある被写体がそれぞれプラスマイナスの符号を持った値として得られる。さらには、ピント位置は被写体側での深さではなく像面側での結像面の位置を示すものとして得られる。

ステップＳ４１４では像シフト手段を動作させて結果を得る。この時の像生成位置の指定はいくつかの方法が考えられる。たとえば、ステップＳ４１３で求めた各エリアのピント位置と被写体認識結果を総合してピント位置を与える方法などが考えられる。このようにすることで被写体として認識された物体に対してピントを合わせることが出来る。別の方法としては、ユーザー指定の位置を与えることが出来る。このようにすることで、いわゆるマニュアルフォーカスを実現することが出来る。像シフト手段の動作の詳細は図４（ｃ）を用いて後述する。

ステップＳ４１５では像生成手段を動作させて結果を得る。像生成手段の動作の詳細は図４（ｄ）を用いて後述する。

ステップＳ４１６では、記録用画像フォーマットへの変換や圧縮などの必要な処理を施したのちにメモリ手段８に記録を行う。

ステップＳ８で一連の画像取得から記録までの動作が終了する。

図４（ｂ）を用いて像シフト手段の動作の詳細を説明する。ステップＳ４２１は像シフト手段の動作開始を示している。

ステップＳ４２２からステップＳ４２７はループを形成している。ステップＳ４２２では瞳分割数に応じた数だけループ計算が実行される。例えば、図２に示した例では、２５に分割されていたので、２５のそれぞれの瞳位置に応じた計算がなされる。図３を用いて説明したように、像の再構成を考えると同じ再構成面であっても入射角度が異なると（射出瞳が十分遠い場合には、通過する瞳領域が異なることとほぼ同義）像をシフトさせる量が異なる。これを適宜に反映させるためのループである。

ステップＳ４２３ではステップＳ４２４からのデータをもとに、入射角度を決定する。すなわち図２で説明した様に入射角度は物理的な構成によって決まっているのでその情報を読み出して、各瞳領域に対応する入射角度を計算する。

ステップＳ４２５では、ステップＳ４２４で決定した入射角度と再構成面の位置からシフト量を計算する。これは図３４での再構成面１や再構成面２の様に、再構成面の位置と入射角度が決定されると、それに応じて画素を横ずらししていることに対応している。

ステップＳ４２６において、ステップＳ４２５で求めた量に従って像シフトが実行される。

ステップＳ４２８において、呼び出し元のステップＳ４１３およびステップＳ４７７に戻る。

図４（ｃ）を用いて像生成手段の動作の詳細を説明する。ステップＳ４３１は像生成手段の動作開始を示している。

ステップＳ４３２では、ステップＳ４３５での加算のための領域のデータを初期化（０で埋める）する。この時のデータ領域の大きさはＭＬＡの数量あれば良く、データの諧調は元のデータの諧調と瞳分割数の積を格納できるだけあれば都合がよい。例えば元のデータが8bitで25分割の場合、13bit （> 8bit + log₂25）あればデータの桁あふれを考慮する必要が無い。

ステップＳ４３３からステップＳ４３８はループを形成している。ステップＳ４３３ではＭＬＡを構成するマイクロレンズの数に応じてループ計算が実行される。例えば、図２３に示した例では、元の撮像素子の画素数÷25（瞳分割数）がマイクロレンズの数となる。

ステップＳ４３４からステップＳ４３７はループを形成している。ステップＳ４３４では、瞳分割数に応じた数だけループ計算が実行される。例えば、図２に示した例では、２５に分割されていたので、２５のそれぞれの瞳位置からの光束が処理される。

ステップＳ４３５では加算すべき瞳領域かの判断がなされる。すなわちユーザーの設定に応じて加算すべき領域を変化させて意図に沿った画像を提供する。一般的に加算する瞳領域を増やすと、Ｓ／Ｎに優れて焦点深度の浅い画像となる、減らすとその反対になる。

ステップＳ４３６では加算がなされる。シフト量が画素の整数倍でない場合は、加算Ｓ４３６において、適当に内分されながら加算される。（重なっている面積に応じて適当に加算すればよい。）

ステップＳ４３９において、呼び出し元のステップＳ４１６に戻る。

図４（ｄ）を用いて相関計算手段の動作の詳細を説明する。ステップＳ４６１は相関計算手段の動作開始を示している。

ステップＳ４６２では、評価を行う評価点の数と、評価枠の大きさを設定する。ここでの評価枠は相関をノイズなどに負けずに適当に計算できる範囲で可能な限り小さくすることが好ましい。そのようにすることで欠陥補正を行う場合のピント位置検出が適当に行われる。

ステップＳ４６３からステップＳ４６９はループを形成している。ステップＳ４６３では、ステップＳ４６２で決定された評価数に対応した評価値を得るように繰り返し演算を行う。

ステップＳ４６４からステップＳ４６７はループを形成している。ステップＳ４６４では、ステップＳ４６２で決定された評価枠の大きさに応じた画素数の範囲で相関計算を行う。

ステップＳ４６５ではA_iまたはB_iが欠陥であるか否かを判断する。欠陥である場合には相関計算に用いるのは適当ではないのでステップＳ４６７に進み、欠陥ではない場合はステップＳ４６６に進む。相関計算は例えばステップＳ４６６にあるようにΣ｜A_i - B_i｜で計算すればよい。ここで、A_iは特定の瞳領域を通過したi番目の画素の輝度を示している。B_iはA_iとは異なる瞳領域を通過したi番目の画素の輝度を示している。例えば図２において、画素２２に対応する画素のみ並べたものをA_i、画素２４に対応する画素のみ並べたものをB_iとすれば良い。どの瞳領域の画素を選択するかは、基線長の長さ、瞳面のケラレ状況、等によって決定すればよい。

上記のように設定することで、異なる瞳領域を通過した像の相関を計算でき、いわゆる位相差AFに基づく評価量を得ることができる。ステップＳ６８では、得られた相関値を評価量として格納する。

上記に示したΣ｜A_i - B_i｜という評価式においては、相関値が小さくなった個所が最もピント状態が良い個所に対応している。ここでは差分絶対値を加算する方法で相関計算を行ったが、最大値を加算する方法、最小値を加算する方法、差分２乗値を加算する方法など他の計算方法によって相関計算を行っても良い。

ステップＳ４６９において、呼び出し元のステップＳ４１６に戻る。

図５を用いて本実施例に係わる表示制御の構成について説明する。本表示制御は、上述したライトフィールトカメラで得られる画素信号を含む撮像情報を用いて行なわれる（信号取得手段）。
図５（ａ）において９ａは表示装置を構成するモニタを、図５（ｂ）において５２、５３は測距点近傍に設けられた分割表示領域を、５１は５２，５３に含まれないその他の表示領域をそれぞれ示している。

本発明の対象となる撮影装置を用いて撮影を行う際に、撮影者は撮影装置背面などに設けられたモニタ９ａを見ながら構図の決定を行う。さらに本発明においてはピントを合わせたい箇所（ここが測距点として定義される）を指示する。図５（ａ）の例では被写体である花にタッチすることでタッチされた個所が測距点として定義される。その他の方法（別に設けられた十字キーによる方法等）で測距点を指示しても良い。このように測距点をユーザーの指示に応じて設定することが可能であり、測距領域制御手段として動作する。

本実施例の表示装置９は、測距点近傍を２つの領域５２，５３とその他の領域５１の３つに分割する（表示領域分割手段）。領域５２，５３の分割方向は測距を行う基線長方向（像ずれさせたい方向）にとるのが良い。図５の例では基線長方向は予め横方向に定義（設定）されているものとする。すなわち、基線方向制御手段が横方向に定義された値を保持している場合について説明する。基線方向制御手段により基線長を指示する方法については後述する。

表示制御手段（本実施例ではカメラシステム制御５内の回路がその役割を果たす）は分割された領域毎に異なる瞳領域の信号を表示するように表示手段９に指示する。図５（ｂ）の例では、測距点近傍に設けられた分割表示領域５２、５３には、それぞれ領域２７ｅ，２７ａから得られた像（画素信号）を表示する。一方、他の領域５１にはすべての瞳領域から得られた画素信号を加算した像を表示する。（図５（ｂ）の例では２７ａから２７ｅのから画素信号を加算することに対応する。実際には２次元的な広がりを持っているが、ここでは１次元方向についてのみ述べる。）このようにすることで、いわゆるスプリットイメージ表示が可能となる。また、ここでは図示していないが、上述の構成をそのまま用いると、領域５２，５３は加算が無いので暗く、領域５１は明るく表示される。これについては適宜ゲインをコントロールして調整することが可能である。

この状態でピント状態を変化させた時の分割表示領域の表示を模式的に図５（ｃ）から図５（ｅ）に示す。ピント状態は図５（ｃ）⇒図５（ｄ）⇒図５（ｅ）の順に変化しており、且つ図５（ｄ）はピントが合っている状態である。ピントがあった状態では通過する瞳領域によらず同じ像が得られるので領域５２と領域５３の像がずれずに合致している。それに対して、ピント状態が変化するとそれぞれ図５（ｃ）、図５（ｅ）のように通過する瞳領域によって基線長方向に像ずれが生じる。これを観察することで現在の光学状態が被写体にピントが合っているか否かを直感的に把握することが出来る。

表示領域の好ましい選択方法としては、基線長方向に離間した瞳領域を選択すればよい。また、光学系のＦナンバー等を考慮してケラレが発生していない範囲でなるべく遠く離れた（隣接していない）瞳領域を選択すると良い。さらには、スプリットイメージが横ずれした時にボケを少なくするためには図５（ｂ）の例のように、測距点近傍に設けられた分割表示領域に表示する像は加算せずに表示することが好ましい。具体的には、図５（ｂ）では領域２７ａおよび領域２７ｅを利用しているが、領域２７ｂ、２７ｃ、２７ｄを利用した場合に比べて基線長が長くなっているので、ピント変化に対する像ずれ行が大きくなり、ピント調整が容易になっている。さらには、領域５２には領域２７ｃ，２７ｄ，２７ｅの加算を、領域５３には領域２７ａ，２７ｂ，２７ｃの加算を出してもスプリットイメージを形成することは可能であるが、ピント変動に対してボケが大きくなってしまう。このため領域２７ａおよび領域２７ｅを利用した場合はピントが変動した場合にも像に発生するボケが小さくピント調整が容易になっている。

図６は基線長を設定する方法を説明する図である。本発明では基線長方向に離間した瞳領域を表示する必要があるが、図５の表示構成では基線長方向が設定されている場合について述べた。本実施例ではモニタ９ａ（タッチパネル）を通して設定する構成を、図6を参照して説明する。しかし、これに限られず、例えば撮像装置に設けられた操作部材を使用して設定するよう構成してもよい。

図６（ａ）は基線長を横方向に設定する構成を示し、図６（ｂ）は基線長を横方向に設定した時の領域分割とそこに表示する瞳領域を示す。図６（ｃ）は基線長を縦方向に設定する構成を示し、図６（ｄ）は基線長を縦方向に設定した時の領域分割とそこに表示する瞳領域を示す。

図６（ａ）においてモニタ９ａはいわゆるタッチパネルになっておりタッチ位置や移動方向が検出できる構成になっている。図６（ａ）で測距点と基線長方向を指示するには、まず主被写体のある点（測距点として定義される）にタッチした後に基線長方向に指をスライドさせる。これにより、スライド方向を基線長方向として定義（設定）する。図６（ａ）は被写体にタッチした状態を図示しており、図中の矢印はこの後の指のスライド方向を示している。図６（ａ）では指を横方向（水平方向）にスライドさせたので横方向に基線長が定義される。この操作により測距点近傍の領域が図７（ｂ）の５２，５３に示すように分割される。すなわち設定された基線長方向に対して直交するように２つの領域が並ぶように（図６（ｂ）では縦（垂直方向）に２つの領域５２，５３が存在するように）分割表示領域が設定される。また、領域５２，５３に表示する瞳領域は基線長方向に離間した領域を選択すればよい。図６（ｂ）の例では領域５２に瞳領域６２ａを、領域５３に瞳領域６３ａを対応させている。その他の領域５１は図５の例に示したように他の瞳領域を含めて加算して表示する。

図６（ｃ）では指を縦方向（垂直方向）にスライドさせたので縦方向に基線長が定義（設定）される。この操作により測距点近傍の領域が図６（ｄ）の５２，５３に示すように分割される。すなわち設定された基線長方向に対して直交するように２つの領域が並ぶように（図６（ｄ）では水平方向に２つの領域５２，５３が存在するように）領域が設定される。この時に領域５２，５３に表示する瞳領域は基線長方向に離間した領域を選択すればよいので、図６（ｂ）の例では領域５２に瞳領域６２ｂを、領域５３に瞳領域６３ｂを対応させている。その他の領域５１は図５の例に示したように他の瞳領域を含めて加算して表示する。

上述のように表示領域とそこに表示する瞳領域を制御することで、ピントずれに対して敏感に反応し、且つピントずれが起きた場合にもボケが少なく見易い表示にすることが出来る。即ち、図５に説明したような表示構成にすることで、２つ以上の複数の瞳分割領域に対してマニュアルフォーカスを行う場合等に都合の良い表示を可能とすることが出来る。

次に、本発明の表示装置の第２の実施例を、図７を参照して説明する。本実施例は、第１の実施例と同様に本発明を図１の撮像装置に適用した例であるが、分割表示領域での像表示構成が第１の実施例と異なる。従って、撮像装置およびその撮像光学系の構成は図１乃至４を参照して説明した通りなので、ここでの説明は省略する。また、測距点の定義（設定）および基線長方向の設定は図６と同様であるので、その説明は省略する。なお、図７において図５と同じ部分は同じ符号を付して示す。

図７はいわゆる２重像合致を行う場合の例を示している。図７（ｂ）において７０は測距点近傍に設けられた分割表示領域を、５１は７０に含まれないその他の表示領域をそれぞれ示す。図５（ａ）の例と同様にモニタ９ａにタッチすることで測距点が定義され、領域７０と領域５１に分割される。図６の例でも図５と同様、基線長方向は横方向に定義（設定）されているものとする。

表示制御手段（本実施例ではカメラシステム制御５内の回路がその役割を果たす）は分割された領域毎に異なる瞳領域の信号を表示するように表示手段９に指示する。図７（ｂ）の例では、測距点近傍に設けられた分割表示領域７０には、領域２７ａ，２７ｅの画素信号を加算した像を表示する。一方、他の領域５１にはすべての瞳領域の画素信号を加算した像を表示する。このようにすることで、いわゆる２重像合致表示が可能となる。なお、図７（ｂ）では、領域２７ａ，２７ｅの画素信号にそれぞれ１／２のゲインをかけているが、これに限らず適宜設定することが可能である。

この状態でピント状態を変化させた時の表示の変化を模式的に図７（ｃ）から図７（ｅ）に示す。ピント状態は図７（ｃ）⇒図７（ｄ）⇒図７（ｅ）の順に変化しており、且つ図７（ｄ）はピントが合っている状態である。ピントがあった状態では通過する瞳領域によらず同じ像が得られるので領域５４に表示される２つの像が合致している。それに対して、ピント状態が変化するとそれぞれ図７（ｃ）、図７（ｅ）のように通過する瞳領域によって基線長方向に像ずれが生じ、像が２つに見える。これを観察することで現在の光学状態が被写体にピントが合っているか否かを直感的に把握することが出来る。

ここで２重像が２つに分離して観察される（ボケではなく像のずれとして認識される）ためには加算後の瞳領域が全体に対して狭い領域に限定されるとともに互いに離間していることが望ましい。

また２重像合致の表示を行うに当たっては、加算を行う前に２つの瞳領域の像に対して異なる色調整を行って表示しても良い。たとえば、ホワイトバランスを調整するなどして青みを帯びた像と黄みを帯びた像にして合致した時にホワイトバランスが適度に調整されるようにするなどして、ピントが前に結んでいるのか後ろに結んでいるのかの情報を表示してもよい。

２重像合致を利用する場合には、領域分割は図７に示したように測距点近傍に領域７０を定義するとともに、そこに表示するための画像を生成するための瞳領域を図６の例を参考にして生成すれば良い。つまり縦方向に基線長を定義した場合には図６（ｄ）の瞳領域６２ｂ，６３ｂを加算して表示すれば良い。

本実施例によっても、表示領域とそこに表示する瞳領域を制御することで、ピントずれに対して敏感に反応し、且つピントずれが起きた場合にもボケが少なく見易い表示にすることが出来る。即ち、図７に説明したような表示構成にすることで、２つ以上の複数の瞳分割領域に対してマニュアルフォーカスを行う場合等に都合の良い表示を可能とすることが出来る。

ここで、図８を用いて本実施例に適用可能な別の光学系の例について説明する。図８は物体（被写体）からの光線が撮像素子６上に結像する状態を模式的に示した図である。図８（ａ）は図２で説明した光学系と対応しており、撮影光学系３の結像面近傍にＭＬＡ２０を配置した例である。図８（ｂ）は撮影光学系３の結像面よりも物体寄りにＭＬＡ２０を配置した例である。図８（ｃ）は撮影光学系３の結像面よりも物体から遠い側にＭＬＡ２０を配置した例である。同図において、既に説明した図に示されている部分は同じ符号を付して示す。

図８において、８０は物体平面を、８０ａ，８０ｂは物体上の適当な点を、２７は撮影光学系の瞳平面を、８１、８２、８３，８４，８５，８６，８７，８８，８９はＭＬＡ上の特定のマイクロレンズをそれぞれ示している。図８（ｂ）および（ｃ）に示した６ａは仮想的な撮像素子を、２０ａは仮想的なＭＬＡを示している。これらは、図８（ａ）との対応関係を明確にするために参考に示した。また、物体上の点８０ａから出て瞳平面上の領域２７ａおよび２７ｃを通過する光束を実線で、物体上の点８０ｂから出て瞳平面上の領域２７ａおよび２７ｃを通過する光束を破線で図示した。

図８（ａ）の例では、図２でも説明したように、撮影光学系３の結像面近傍にＭＬＡ２０を配置することで、撮像素子６と撮影光学系の瞳平面２７が共役の関係にある。さらに、物体平面８０とＭＬＡ２０が共役の関係にある。このため物体上の点８０ａから出た光束はマイクロレンズ８１に、８０ｂを出た光束はマイクロレンズ８２に到達し、領域２７ａから２７ｅそれぞれを通過した光束はマイクロレンズ下に設けられたそれぞれ対応する画素に到達する。

図８（ｂ）の例では、マイクロレンズ２０で撮影光学系３からの光束を結像させ、その結像面に撮像素子６を設ける。このように配置することで、物体平面８０と撮像素子６は共役の関係にある。物体上の点８０ａから出で瞳平面上の領域２７ａを通過した光束はマイクロレンズ８３に到達し、物体上の点８０ａから出で瞳平面上の領域２７ｃを通過した光束はマイクロレンズ８４に到達する。物体上の点８０ｂから出で瞳平面上の領域２７ａを通過した光束はマイクロレンズ８４に到達し、物体上の点８０ｂから出で瞳平面上の領域２７ｃを通過した光束はマイクロレンズ８５に到達する。各マイクロレンズを通過した光束は、マイクロレンズ下に設けられたそれぞれ対応する画素に到達する。このように物体上の点と、瞳平面上の通過領域によって、異なる位置にそれぞれ結像する。これらを、仮想的な撮像面６ａ上の位置に並べなおせば、図８（ａ）と同様の情報を得ることができる。すなわち、通過した瞳領域（入射角度）と撮像素子上の位置の情報を得ることができる。

図８（ｃ）の例では、マイクロレンズ２０で撮影光学系３からの光束を再結像させ（一度結像した光束が拡散する状態にあるものを結像させるので再結像と呼んでいる）、その結像面に撮像素子６を設ける。このように配置することで、物体平面８０と撮像素子６は共役の関係にある。物体上の点８０ａから出で瞳平面上の領域２７ａを通過した光束はマイクロレンズ８７に到達し、物体上の点８０ａから出で瞳平面上の領域２７ｃを通過した光束はマイクロレンズ８６に到達する。物体上の点８０ｂから出で瞳平面上の領域２７ａを通過した光束はマイクロレンズ８９に到達し、物体上の点８０ｂから出で瞳平面上の領域２７ｃを通過した光束はマイクロレンズ８８に到達する。各マイクロレンズを通過した光束は、マイクロレンズ下に設けられたそれぞれ対応する画素に到達する。図８（ｂ）と同様に、仮想的な撮像面６ａ上の位置に並べなおせば、図８（ａ）と同様の情報を得ることができる。すなわち、通過した瞳領域（入射角度）と撮像素子上の位置の情報を得ることができる。

図７ではＭＬＡ（位相変調素子）を瞳分割手段として用いて、位置情報と角度情報を取得可能な例を示したが、位置情報と角度情報（瞳の通過領域を制限することと等価）を取得可能なものであれば他の光学構成も利用可能である。例えば、適当なパターンを施したマスク（ゲイン変調素子）を撮影光学系の光路中に挿入する方法も利用できる。

上記第１及び第２の実施例においては、撮像装置における撮影予備動作において、当該撮影装置に設けられたモニタ９ａを利用して本発明を実施する方法について述べたが、撮影後の現像時にも同じように本発明を適用することが出来る。すなわち、ライトフィールドカメラで得られた画素信号を含む撮像情報をそのまま記録しておき、出力画像を生成するいわゆる現像操作を行うアプリケーションを考えれば良い。この時、モニタ９ａをＰＣ上の一つのウィンドウ、指での指示をマウスによる指示、マニュアルフォーカス操作を撮影後でのリフォーカス（現像すべき画像生成面を操作すること）と置き換えれば容易に本発明を適用することが可能である。

以上に説明したように、本発明によれば、撮影レンズの情報などをもとに、撮影光学系でケラレが発生した場合においても、高品位な画像を得ることが出来る。

［他の実施例］
上述した実施形態において示した各処理は、各処理の機能を実現する為のプログラムをメモリから読み出してカメラシステム制御回路５のＣＰＵが実行することによりその機能を実現させるものである。

尚、上述した構成に限定されるものではなく、各処理の全部または一部の機能を専用のハードウェアにより実現してもよい。また、上述したメモリは、光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記録媒体、ＲＡＭ以外の揮発性のメモリから構成されてよい。また、それらの組合せによるコンピュータ読み取り、書き込み可能な記録媒体より構成されてもよい。

また、各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含む。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、一定時間プログラムを保持しているものも含むものとする。例えば、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）である。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (15)

1. 被写体像を撮像素子により光電変換して得られた画素信号を表示するための表示装置において、
   像面上の同一位置において複数の視点からの像を取得可能なライトフィールドカメラで得られた画素信号を含む情報を取得する信号取得手段と、
   取得した前記画素信号を表示する表示手段と、
   前記表示手段の表示画面を複数の分割表示領域に分割する表示領域分割手段と、
   測距に用いる基線長方向を設定する基線方向制御手段と、
   前記複数の分割表示領域の一つの領域において、前記信号取得手段で取得した前記情報に基づいて、前記基線方向制御手段で設定された基線長方向に分割されている２つより多い瞳領域のうちの隣り合わない異なる瞳領域に対応する第１の画素信号を表示するとともに、前記複数の分割表示領域の一つの領域において、前記第１の画素信号に対応する瞳領域を含み、前記基線長方向に分割されている２つより多い瞳領域に対応する画素信号を加算した第２の画素信号を表示する表示制御手段とを備えた表示装置。
2. 前記表示制御手段は、前記加算した瞳領域の重心が光軸近傍となるように前記複数の瞳領域に対応する画素信号を加算することを特徴とする請求項１に記載の表示装置。
3. 前記表示制御手段は、前記第１の画素信号に対応する画像のみ拡大表示することを特徴とする請求項１または２に記載の表示装置。
4. 前記表示領域分割手段は、前記基線方向制御手段で設定された基線長方向に基づいて、前記一つの領域をさらに２つの領域に分割し、
   前記表示制御手段は、当該分割された２つの領域に前記異なる瞳領域に対応する前記第１の画素信号をそれぞれ表示することを特徴とする請求項１〜３のいずれか一項に記載の表示装置。
5. 前記表示領域分割手段は、前記設定された基線長方向と直交する方向に前記複数の分割表示領域の前記一つをさらに２つの領域に分割することを特徴とする請求項４に記載の表示装置。
6. 前記表示画面に測距領域を設定する測距領域制御手段を備え、
   前記表示領域分割手段は、前記測距領域制御手段による測距領域の設定に従って前記表示画面を前記複数の分割表示領域に分割し、
   前記表示制御手段は、前記一つの領域を前記測距領域とすることを特徴とする請求項１〜５のいずれか一項に記載の表示装置。
7. 前記表示制御手段は、前記複数の分割表示領域の一つにおいて、前記基線方向制御手段で設定された基線長方向に分割されている２つより多い瞳領域のうちの隣り合わない異なる瞳領域に対応する前記画素信号を加算して表示することを特徴とする請求項１に記載の表示装置。
8. 前記表示制御手段は、前記基線方向制御手段で設定された基線長方向に分割された２つより多い瞳領域のうちの隣り合わない異なる瞳領域に対応する前記画素信号それぞれに異なる色調整を行って加算することを特徴とする請求項７に記載の表示装置。
9. 撮像光学系と、
   撮像素子と、
   前記撮像素子上の画素へ入射する光束を撮影レンズの特定の瞳領域のみに制限して２より多い瞳領域に分割する瞳分割手段と、
   請求項１〜８のいずれか一項に記載の表示装置と
   を備えたことを特徴とする撮像装置。
10. 前記瞳分割手段は、前記撮像素子の受光面に配置されたマイクロレンズアレイであり、各マイクロレンズは所定数の前記画素からなる配列と対応して設けられていることを特徴とする請求項９に記載の撮像装置。
11. 被写体像を撮像素子により光電変換して得られた画素信号を表示手段に表示する表示方法において、
    像面上の同一位置において複数の視点からの像を取得可能なライトフィールドカメラで得られた画素信号を含む情報を取得する信号取得ステップと、
    前記表示手段の表示画面を複数の分割表示領域に分割する表示領域分割ステップと、
    測距に用いる基線長方向を設定する基線方向制御ステップと、
    前記複数の分割表示領域の一つの領域において、前記信号取得ステップで取得した前記情報に基づいて、前記基線方向制御ステップで設定された基線長方向に分割されている２つより多い瞳領域のうちの隣り合わない異なる瞳領域に対応する第１の画素信号を表示するとともに、前記複数の分割表示領域の一つの領域において、前記第１の画素信号に対応する瞳領域を含み、前記基線長方向に分割されている２つより多い瞳領域に対応する画素信号を加算した第２の画素信号を表示する表示制御ステップとを備えた表示方法。
12. コンピュータを、
    被写体像を撮像素子により光電変換して得られた画素信号を表示手段に表示するための表示装置の制御方法において、
    像面上の同一位置において複数の視点からの像を取得可能なライトフィールドカメラで得られた画素信号を含む情報を取得する信号取得手段、
    前記表示手段の表示画面を複数の分割表示領域に分割する表示領域分割手段、
    測距に用いる基線長方向を設定する基線方向制御手段、
    前記複数の分割表示領域の一つの領域において、前記信号取得手段で取得した前記情報に基づいて、前記基線方向制御手段で設定された基線長方向に分割された２つより多い瞳領域のうちの隣り合わない異なる瞳領域に対応する第１の画素信号を表示するとともに、前記複数の分割表示領域の一つの領域において、前記第１の画素信号に対応する瞳領域を含み、前記基線長方向に分割されている２つより多い瞳領域に対応する画素信号を加算した第２の画素信号を表示する表示制御手段
    として機能させるプログラム。
13. 請求項１２のプログラムを記録したコンピュータが読み取り可能な記録媒体。
14. コンピュータを、請求項１〜８のいずれか一項に記載された表示装置の各手段として機能させるプログラム。
15. コンピュータを、請求項１〜８のいずれか一項に記載された表示装置の各手段として機能させるプログラムを格納した記憶媒体。

Images