JP5881777B2

JP5881777B2 - 顕微鏡

Info

Publication number: JP5881777B2
Application number: JP2014129065A
Authority: JP
Inventors: 仁越後
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2014-06-24
Filing date: 2014-06-24
Publication date: 2016-03-09
Anticipated expiration: 2034-06-24
Also published as: JP2016009983A; WO2015198758A1; US20170090177A1; US10162165B2

Description

本発明は、顕微鏡等に関係する。

近年、光学系へ入射する入射光線の入射角度情報（以下、ライトフィールド（ＬＦ）情報と呼ぶ。）を取得できる撮像装置が研究開発されている。このような撮像装置は、プレノプティックカメラやライトフィールド（ＬＦ）カメラと呼ばれており、ＬＦ情報から複数の視点の異なる画像（以下、視差画像と呼ぶ。）を生成することが可能である。なお、本稿における視点とは、被写体をどこから見ているかという、被写体を見る時の立脚点のことである。

そして、その応用として、生成した複数の視差画像から、被写体に関する三次元の画像情報を含む画像データを生成することも可能である。ここで、三次元の画像情報とは、通常のカメラで得られる二次元の画像情報に加えて、例えば深度方向の情報が含まれることを意味する。さらに、三次元の画像情報を含む画像データを処理して、光学系に入射する光線のうち、任意の方向からのものを抽出して二次元の画像を再構成することにより、例えば任意の撮像距離に位置する被写体にピントの合った画像を後から生成することが可能となる。

その一例として、特許文献１には、プレノプティックカメラで得られた画像データを用い、ユーザーによって指定されたフォーカス値に対応した画像生成処理を行って表示用画像を生成し、表示する技術が開示されている。

特開２００８−２１９８７８号公報

プレノプティックカメラにより生成した複数の視差画像から、三角測量の原理により、被写体に関する三次元の画像情報として、被写体の奥行き方向の距離を測定することができる。この際には、二つの視差画像の視点を結ぶ直線を基線として、三角測量を行う。

三角測量により、点ではなくエッジの奥行き方向の距離を測定する場合には、基線方向とエッジの方向の関係によって測定精度が変化する。具体的には、基線方向とエッジの方向が平行な状態に近づくほど、視差画像間で視差が検出し辛くなり、距離測定精度が低くなる。一方、基線方向とエッジの方向が直交状態に近づくほど、視差が検出しやすくなり、距離測定精度が高くなる。

従って、距離測定精度を上げるためには、あらゆるエッジに対応できるように基線方向の角度分解能を上げ、より多くの視点からの視差画像を生成する必要がある。

しかし、従来の方式では、生成する視差画像の数を多くすると、視差画像の空間解像度が低下するという問題があった。視差画像の空間解像度が低下すると、フォーカス位置調整後の表示画像等の空間解像度も低下してしまうことになる。

本発明の幾つかの態様によれば、視差画像の空間解像度の低下を抑制しつつ、より多くの視差画像を生成することができる撮像装置、画像処理装置、画像処理方法及び顕微鏡等を提供することができる。

本発明の一態様は、撮像レンズと、複数の受光セルがアレイ状に配置された受光セルアレイを有する撮像素子と、前記撮像レンズと前記撮像素子の間に設けられ、各レンズがアレイ状に配置された視差画像生成用のレンズアレイと、前記撮像レンズにより結像された被写体の像と前記撮像素子との相対的な向きを表す回転情報を取得し、取得した前記回転情報と、前記撮像素子から得られる画像情報とに基づいて、視差画像を生成する処理部と、を含む撮像装置に関係する。

本発明の一態様では、撮像レンズにより結像された被写体の像と撮像素子とを相対的に回転させ、被写体の像と撮像素子との相対的な回転角を表す回転情報を取得する。そして、取得した回転情報と、撮像素子から得られる画像情報とに基づいて、視差画像を生成する。よって、視差画像の空間解像度の低下を抑制しつつ、より多くの視差画像を生成することが可能となる。

また、本発明の一態様では、前記処理部は、前記被写体の像と前記撮像素子とを相対的に回転させる前に前記撮像素子から得られる第１画像情報に基づいて、第１視差画像を生成し、前記被写体の像と前記撮像素子とを相対的に回転させた後に前記撮像素子から得られる第２画像情報と、前記回転情報とに基づいて、第２視差画像を生成してもよい。

これにより、被写体の像と撮像素子とを相対的に回転させない状態で生成可能な数と同じ数の視差画像を、１度回転する毎に生成すること等が可能になる。

また、本発明の一態様では、前記レンズアレイの前記各レンズは、前記撮像素子のＭ個の受光セルのうちのＮ個の受光セルに対応して設けられ（Ｎは２以上の整数であり、ＭはＮ以上の整数）、前記撮像レンズを介して前記各レンズに入射する入射光を、前記各レンズへの入射角度に応じて屈折させて、前記Ｎ個の受光セルのうちのいずれかの受光セルに入射させてもよい。

これにより、各レンズに対応して設けられたＮ個の受光セルから、Ｎ枚の視差画像において対応する位置の画素を構成するための画像情報を取得すること等が可能になる。

また、本発明の一態様では、前記処理部は、前記撮像素子及び前記レンズアレイにより構成されるユニット、又は前記レンズアレイを、前記撮像レンズの光軸を回転軸として、前記撮像レンズに対して相対的に回転させた時の回転角度を、前記回転情報として取得し、取得した前記回転角度と前記画像情報とに基づいて、前記視差画像を生成してもよい。

これにより、撮像レンズにより結像された被写体の像に対する撮像素子の向きを調整することができる。

また、本発明の一態様では、前記撮像レンズと前記レンズアレイの間に、回転可能な像回転素子を有し、前記処理部は、前記回転情報として、前記撮像レンズに対する前記像回転素子の回転角度を取得し、取得した前記回転角度と前記画像情報とに基づいて、前記視差画像を生成してもよい。

これにより、比較的、配線数の多い撮像素子を動かさずに、撮像素子に対して被写体の像を回転でき、断線や接触不良の不具合リスクを低減すること等が可能になる。

また、本発明の一態様では、前記処理部は、前記被写体の像と前記撮像素子とを相対的に回転させた後に、第１画素座標系での画像情報を取得し、前記回転情報に基づいて、前記第１画素座標系から第２画素座標系への前記画像情報の座標変換処理を行ってもよい。

これにより、被写体の像が同じ向きで映る画像を取得すること等が可能になる。

また、本発明の一態様では、前記処理部は、前記座標変換処理後の画像情報に基づいて、補間処理を行って、補間済み画像情報を生成し、前記補間済み画像情報に基づいて前記視差画像を生成してもよい。

これにより、レンズアレイの各レンズの配置位置が、各レンズの基準位置とあたかも同じ位置の状態で撮像され、各レンズの受光領域に対応する複数の受光セルの配置位置も、各受光セルの基準位置とあたかも同じ位置の状態で撮像されたかのような、視差画像を生成すること等が可能になる。

また、本発明の一態様では、前記処理部は、前記被写体の像と前記撮像素子とを相対的に回転させた後に、第１画素座標系での画像情報を取得し、前記回転情報に基づいて、前記第１画素座標系から第２画素座標系への前記画像情報の座標変換処理を行い、前記座標変換処理後の前記画像情報に基づいて、補間処理を行って、補間済み画像情報を生成し、前記補間済み画像情報に基づいて前記視差画像を生成してもよい。

これにより、基準となる視差画像と比較して、視差を検出することが可能な視差画像を取得すること等が可能になる。

また、本発明の一態様では、前記処理部は、前記被写体の像と前記撮像素子とを相対的に回転させる前に前記撮像素子から得られる第１画像情報と、前記被写体の像と前記撮像素子とを相対的に回転させた後に前記撮像素子から得られる第２画像情報とに基づいて、補間処理を行って、表示画像を生成してもよい。

これにより、ＬＦ情報を持たない表示画像の空間分解能を高めること等が可能になる。

また、本発明の一態様では、前記回転情報と前記画像情報とを関連付けて記憶する記憶部を含んでもよい。

これにより、画像情報に関連付けられた回転情報と、その画像情報に基づいて、回転前に生成した視差画像とを比較して、視差を検出可能な視差画像を生成すること等が可能になる。

また、本発明の一態様では、前記撮像素子と前記被写体の像とを相対的に回転させる調整部を含んでもよい。

これにより、回転前とは異なる視点から被写体を見た時の視差画像を生成すること等が可能になる。

また、本発明の一態様では、前記調整部は、前記被写体の撮像回数ｉ（ｉは２以上の整数）及び、第ｊ回目の撮像を行ってから第（ｊ＋１）回目の撮像を行うまでの間の（ｊは１以上の整数）、前記被写体の像と前記撮像素子との相対的な回転角度であるステップ角度、ｉ回撮像を行う間の前記被写体の像と前記撮像素子との相対的な回転角度範囲のうちの、少なくとも２つの情報に基づいて、前記被写体の像と前記撮像素子とを相対的に回転させてもよい。

これにより、ユーザーが撮像を行う度に手動で撮像素子等を回転させたり、予め撮像素子の向きをプログラムしておかなくても、撮像状況に合わせて柔軟かつ簡単に、被写体の像と撮像素子とを相対的に回転させること等が可能になる。

また、本発明の一態様では、前記撮像レンズと前記レンズアレイの間に、回転可能な像回転素子を有し、前記調整部は、前記撮像レンズの光軸を回転軸として、前記撮像レンズに対して前記像回転素子を相対的に回転させてもよい。

これにより、ユーザーが手動で像回転素子を回転させる手間を省くこと等が可能になる。

また、本発明の一態様では、前記調整部は、前記被写体の像のエッジ方向に基づいて、前記被写体の像と前記撮像素子とを相対的に回転させてもよい。

これにより、被写体の像と撮像素子を必要な向きにだけ調整して、必要十分なセル情報を取得することが可能となり、計算処理量及び処理時間の増加を防ぐこと等が可能になる。

また、本発明の一態様では、前記処理部は、生成した前記視差画像の周縁領域を切り取るトリミング処理を行ってもよい。

これにより、視差画像において空間分解能が低い領域を低減すること等が可能になる。

また、本発明の他の態様では、撮像部から得られる画像情報を取得する画像情報取得部と、取得された前記画像情報に基づいて視差画像を生成する処理部と、を含み、前記撮像部は、撮像レンズと、複数の受光セルがアレイ状に配置された受光セルアレイを有する撮像素子と、前記撮像レンズと前記撮像素子の間に設けられ、各レンズがアレイ状に配置された視差画像生成用のレンズアレイと、を有し、前記処理部は、前記撮像レンズにより結像された被写体の像と前記撮像素子との相対的な向きを表す回転情報を取得し、取得した前記回転情報と、前記撮像素子から得られる前記画像情報とに基づいて、視差画像を生成する画像処理装置に関係する。

また、本発明の他の態様では、撮像部から得られる画像情報に基づいて視差画像を生成する画像処理方法であって、前記撮像部は、撮像レンズと、複数の受光セルがアレイ状に配置された受光セルアレイを有する撮像素子と、前記撮像レンズと前記撮像素子の間に設けられ、各レンズがアレイ状に配置された視差画像生成用のレンズアレイと、を有し、前記撮像レンズにより結像された被写体の像と前記撮像素子との相対的な向きを表す回転情報を取得し、取得した前記回転情報と、前記撮像素子から得られる前記画像情報とに基づいて、視差画像を生成する画像処理方法に関係する。

また、本発明の他の態様では、撮像レンズと、複数の受光セルがアレイ状に配置された受光セルアレイを有する撮像素子と、前記撮像レンズと前記撮像素子の間に設けられ、各レンズがアレイ状に配置された視差画像生成用のレンズアレイと、前記撮像レンズにより結像された被写体の像と前記撮像素子との相対的な向きを表す回転情報を取得し、取得した前記回転情報と、前記撮像素子から得られる画像情報とに基づいて、視差画像を生成する処理部と、を含む顕微鏡に関係する。

よって、基線方向に垂直なエッジが取得できない場合や、取得できるエッジが少ない場合であっても、基線方向を回転させ、距離の測定精度を高めることが可能になる。

本実施形態のシステム構成例。本実施形態の光学系の構成例。図３（Ａ）、図３（Ｂ）は、撮像素子と視差画像の説明図。撮像レンズの瞳面における光線通過領域の説明図。基線方向の説明図。基線方向と被写体のエッジ方向の関係の説明図。第１の実施形態のシステム構成例。第１の実施形態の処理の流れを説明するフローチャート。ステップ角度及び回転角度範囲の説明図。第１の実施形態の処理の流れの続きを説明するフローチャート。マイクロレンズの受光領域の説明図。図１２（Ａ）〜図１２（Ｃ）は、座標変換処理の説明図。図１３（Ａ）〜図１３（Ｅ）は、補間処理の説明図。図１４（Ａ）、図１４（Ｂ）は、受光領域のずれの説明図。補間対象の画素座標の特定方法の説明図。バイリニア法による補間対象の画素値の特定方法の説明図。第１の実施形態の処理結果の説明図。第１の実施形態で生成される視差画像の説明図。視点の説明図。３×３の受光セルを有する撮像素子の説明図。第１の変形例の処理の流れを説明するフローチャート。第１の変形例における補間処理の説明図。トリミング処理の説明図。第２の実施形態のシステム構成例。図２５（Ａ）〜図２５（Ｃ）は、像回転プリズムによる像の回転の説明図。第３の実施形態のシステム構成例。サーバーのシステム構成例。

以下、本実施形態について説明する。なお、以下で説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また、本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．概要
本実施形態の撮像装置（プレノプティックカメラ）のシステム構成例を図１に示す。本実施形態の撮像装置１００は、撮像レンズ１１０と、撮像素子１２０と、視差画像生成用のレンズアレイ１３０と、処理部１４０と、を含む。撮像装置１００の一例としては、例えば顕微鏡などがある。なお、撮像装置１００は、図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。また、本実施形態の撮像装置１００の一部又全部の機能は、例えばＰＣ（Personal Computer）や携帯電子機器により実現してもよい。さらに、本実施形態の撮像装置１００の一部又は全部の機能は、有線及び無線の少なくとも一方を含むネットワークを介した通信により、撮像装置１００と接続されたサーバーにより実現されてもよい。

ここで、撮像装置１００の撮像素子１２０は、後述する図２及び図３（Ａ）に例示するように、複数（Ｍ個）の受光セルがアレイ状に配置された受光セルアレイを有する。受光セルとは、撮像素子を構成する受光器の最小単位のことであり、受光した光線の光量に相当する信号を取得する。なお、Ｍは２以上の整数である。

また、レンズアレイ１３０は、後述する図２に示すように、撮像レンズ１１０と撮像素子１２０の間に設けられ、各レンズがアレイ状に配置されている。

そして、処理部１４０は、撮像素子１２０から得られる画像情報に基づいて、視差画像を生成する。なお、処理部１４０の機能は、各種プロセッサー（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。

具体例を図２〜図４を用いて説明する。図２には、本実施形態の撮像装置１００の光学系（撮像レンズ及びレンズアレイ、撮像素子）を横から見たＹＺ平面図を示す。なお、図２において、Ｘ軸は光学系の幅方向（図２の紙面に垂直な方向）に伸びる軸であり、Ｙ軸は光学系の高さ方向に伸びる軸であり、Ｚ軸は光学系の厚み方向に伸びる軸である。また、Ｘ軸及びＹ軸、Ｚ軸は、互いに直交している。後述する図３（Ａ）〜図５においても、図２に示すＸ軸、Ｙ軸、Ｚ軸により定義される直交座標系を用いて説明するものとする。

本実施形態の撮像装置は、図２に示すように、撮像レンズＬＳと、複数の受光セルＲＣを有する撮像素子と、微小のレンズμＬ（以下、マイクロレンズμＬと呼ぶ。）をアレイ状に配置したマイクロレンズアレイを備える。そして、複数の受光セルのうちのいくつかの受光セルに近接して、各マイクロレンズμＬを配置する。

例えば、図２の撮像素子とマイクロレンズアレイの詳細な一例を図３（Ａ）に示す。図３（Ａ）には、８１個の受光セルを有する撮像素子ＰＤに対して、９個のマイクロレンズを有するマイクロレンズアレイを配置した時の、撮像素子ＰＤのＸＹ平面図を示す。図３（Ａ）の例では、８１個の受光セルのうち、それぞれ９個の受光セルに対応するように、各マイクロレンズを配置する。より具体的には、受光セルＰ_１Ａ〜Ｐ_１Ｉに対して１つのマイクロレンズが設けられ、そのマイクロレンズの受光領域がμＡＲ１になり、受光セルＰ_２Ａ〜Ｐ_２Ｉに対して他の１つのマイクロレンズが設けられ、そのマイクロレンズの受光領域がμＡＲ２になる。その他の受光セルとマイクロレンズについても同様である。なお、本実施形態において、撮像素子ＰＤが有する受光セルの数は８１個に限定されず、マイクロレンズアレイが有するレンズの数も９個に限定されない。図３（Ａ）の例では図示の都合で受光セル及びマイクロレンズの数を設定したが、実際にはより多くの受光セル及びマイクロレンズを有することが多い。また、受光セル及びマイクロレンズは、数μｍサイズの微小なものであり、厳密には各受光セル間及び各マイクロレンズ間に隙間がある。ただし、これらの隙間は、本実施形態を説明する上では、無視できる程度のものであるため、図３（Ａ）では隙間を図示せず、考慮もしないものとする。

本実施形態は、このマイクロレンズアレイを有する点が、ＬＦ情報を取得しない従来通りの撮像方式を採用するカメラと異なる。ＬＦ情報を取得しない従来のカメラでは、撮像レンズを通過した光線が１点に収束するが、本実施形態では、前述した図２に示すように、撮像レンズＬＳを通過した光線を、マイクロレンズμＬにより分離し、分離した光線をそれぞれ異なる受光セルＲＣで受光する。

撮像装置１００の光学系に入射する光線の屈折について、より詳しく説明する。まず撮像レンズ瞳面ＰＳ内の同一の光線通過領域（例えば図２のＡ）を通過した光線は、撮像レンズ瞳面ＰＳへの入射角度に応じて撮像レンズＬＳにより屈折させられ、マイクロレンズアレイのいずれかのマイクロレンズμＬに入射する。さらに、マイクロレンズアレイの各マイクロレンズμＬに入射した光線は、各マイクロレンズμＬにより、各マイクロレンズμＬへの入射角度に応じてさらに屈折させられて、各マイクロレンズμＬの受光領域に対応する複数の受光セルのうちのいずれかの受光セルＲＣに入射する。

ここで、さらに具体的な説明をするために、図２及び図３（Ａ）の例で用いる撮像レンズＬＳの撮像レンズ瞳面ＰＳのＸＹ平面図を、図４に示す。例えば、図４の撮像レンズ瞳面ＰＳの左上の光線通過領域Ａを通過した光線は、マイクロレンズアレイの各マイクロレンズμＬにより屈折させられて、前述した図３（Ａ）の各受光領域（μＡＲ１〜μＡＲ９）内の右下の受光セル（Ｐ_１Ａ、Ｐ_２Ａ、Ｐ_３Ａ、Ｐ_４Ａ、Ｐ_５Ａ、Ｐ_６Ａ、Ｐ_７Ａ、Ｐ_８Ａ、Ｐ_９Ａ）にそれぞれ入射する。他にも例えば、図４の撮像レンズ瞳面ＰＳの中央下段の光線通過領域Ｆを通過した光線は、前述した図３（Ａ）の各受光領域（μＡＲ１〜μＡＲ９）内の中央上段の受光セル（Ｐ_１Ｆ、Ｐ_２Ｆ、Ｐ_３Ｆ、Ｐ_４Ｆ、Ｐ_５Ｆ、Ｐ_６Ｆ、Ｐ_７Ｆ、Ｐ_８Ｆ、Ｐ_９Ｆ）にそれぞれ入射する。その他の光線通過領域（Ｂ〜Ｅ、Ｇ〜Ｉ）についても同様である。つまり、撮像レンズＬＳに入射した光線は、各マイクロレンズの受光領域（μＡＲ１〜μＡＲ９）内において、撮像レンズ瞳面ＰＳを通過した時の位置（光線通過領域）と点対称となる位置の受光セルに入射する。

このように、レンズアレイ１３０の各レンズは、撮像素子１２０のＭ個の受光セルのうちのＮ個の受光セルに対応して設けられ（Ｎは２以上の整数であり、ＭはＮ以上の整数）、撮像レンズ１１０を介して各レンズに入射する入射光を、各レンズへの入射角度に応じて屈折させて、Ｎ個の受光セルのうちのいずれかの受光セルに入射させる。なお、図３（Ａ）の例では、Ｍ＝８１、Ｎ＝９である。

これにより、各レンズに対応して設けられたＮ個の受光セル（例えば、図３（Ａ）のＰ_１Ａ、Ｐ_１Ｂ、Ｐ_１Ｃ、Ｐ_１Ｄ、Ｐ_１Ｅ、Ｐ_１Ｆ、Ｐ_１Ｇ、Ｐ_１Ｈ、Ｐ_１Ｉ）から、Ｎ枚の視差画像において対応する位置（同一の画素座標）の画素を構成するための画像情報を取得すること等が可能になる。Ｎ枚の視差画像において対応する位置の画素とは、例えば、後述する図３（Ｂ）の視差画像ＰＩＭＩの画素ＰＸ_１Ｉと視差画像ＰＩＭＡの画素ＰＸ_１Ａなどである。なぜなら、同一のマイクロレンズに入射した光線は、撮像レンズの物体面の同一の点に入射した画像情報（光線情報）を有しているためである。

そして、同じ受光領域内の受光セルのうち、別々の受光セルから取得した画像情報は、全て、被写体に対する視点が異なる。前述した図２にも簡易的に示すように、ある受光領域に対応して設けられた複数の受光セルのうち、互いに異なる受光セルに入射した光線は、撮像レンズ瞳面において、互いに異なる光線通過領域を通過した光線であるためである。例えば、受光セルＰ_１Ｉから取得される画像情報の視点は、図４の撮像レンズ瞳面ＰＳの光線通過領域Ｉであり、受光セルＰ_１Ｆから取得される画像情報の視点は、撮像レンズ瞳面ＰＳの光線通過領域Ｆである。

よって、各レンズに対応して設けられたＮ個の受光セル間で、それぞれ対応する位置の受光セル（例えば、図３（Ａ）のＰ_１Ａ、Ｐ_２Ａ、Ｐ_３Ａ、Ｐ_４Ａ、Ｐ_５Ａ、Ｐ_６Ａ、Ｐ_７Ａ、Ｐ_８Ａ、Ｐ_９Ａ）からは、撮像レンズ瞳面の同一の光線通過領域から被写体を見た時の画像情報を取得すること等が可能になる。

そのため、各受光領域間で対応する位置の受光セルから取得した画像情報を一つの画素として集積し、画像を生成すると、撮像レンズ瞳面におけるある光線通過領域を視点とした視差画像が得られる。なお、画素とは、画像を構成する最小単位であり、受光セルから得られる信号に基づいて算出され、輝度の情報を持つ。

例えば、図３（Ａ）において、各受光領域の左上の受光セル（Ｐ_１Ｉ、Ｐ_２Ｉ、Ｐ_３Ｉ、Ｐ_４Ｉ、Ｐ_５Ｉ、Ｐ_６Ｉ、Ｐ_７Ｉ、Ｐ_８Ｉ、Ｐ_９Ｉ）から取得した画像情報に基づいて、画像を生成すると、図３（Ｂ）に示す視差画像ＰＩＭＩを生成できる。この視差画像ＰＩＭＩは、図４の撮像レンズ瞳面ＰＳの光線通過領域Ｉを視点とした画像である。同様にして、視差画像ＰＩＭＡ〜視差画像ＰＩＭＨを生成し、計９枚の視差画像を得ることができる。なお、図３（Ｂ）における画素ＰＸ_ｍｎ（ｍは、１≦ｎ≦９の整数であり、ｎは１≦ｎ≦９の整数である。）は、図３（Ａ）の受光領域μＡＲｍ内の受光セルＰ_ｍｎから取得した画像情報に基づいて求められる画素値を有する。

さて、前述したように、プレノプティックカメラにより生成した複数の視差画像からは、三角測量の原理により、被写体に関する三次元の画像情報として、被写体の奥行き方向の距離を測定することができる。この際には、二つの視差画像の視点を結ぶ直線を基線として、三角測量を行う。

例えば、図５に示すように、撮像レンズ瞳面ＰＳの光線通過領域Ａを視点とした視差画像（図３（Ｂ）のＰＩＭＡ）と、撮像レンズ瞳面ＰＳの光線通過領域Ｈを視点とした視差画像（図３（Ｂ）のＰＩＭＨ）とに基づいて、三角測量を行う場合には、光線通過領域Ａと光線通過領域Ｈを結ぶ線分ＢＬが基線となる。

また、三角測量により、点ではなくエッジの奥行き方向の距離を測定する場合には、基線方向とエッジの方向の関係によって測定精度が変化する。具体的には、基線方向とエッジの方向が平行な状態に近づくほど、視差画像間で視差が検出し辛くなり、距離測定精度が低くなる。一方、基線方向とエッジの方向が直交状態に近づくほど、視差が検出しやすくなり、距離測定精度が高くなる。

例えば、図６に示すように、被写体ＯＢの一部を含む撮像範囲ＴＡを３つの異なる視点（ＶＰ１〜ＶＰ３）から撮像した場合について考える。第１視点ＶＰ１から撮像範囲ＴＡを撮像した結果、第１画像ＰＩＭ５１が得られ、第２視点ＶＰ２から撮像範囲ＴＡを撮像した結果、第２画像ＰＩＭ５２が得られ、第３視点ＶＰ３から撮像範囲ＴＡを撮像した結果、第３画像ＰＩＭ５３が得られたものとする。なお、第１画像ＰＩＭ５１〜第３画像ＰＩＭ５３から検出される被写体ＯＢのエッジの方向は、全てＥＤで示す方向であるものとする。

この時、第１画像ＰＩＭ５１と第２画像ＰＩＭ５２に基づいて、三角測量を行う場合には、第１視点ＶＰ１と第２視点ＶＰ２を結ぶ線分ＢＬ１が基線となる。そして、基線ＢＬ１の方向はＢＬＤ１で示す方向となり、被写体ＯＢのエッジの方向ＥＤと平行になる。そのため、第１画像ＰＩＭ５１と第２画像ＰＩＭ５２を見比べてみても、画像の差異がほとんどなく、どちらの画像がどちらの視点から撮像された画像かを判別することが難しい。よって、第１画像ＰＩＭ５１と第２画像ＰＩＭ５２からは、被写体ＯＢまでの正確な距離を推定するのが困難である。

一方で、第２画像ＰＩＭ５２と第３画像ＰＩＭ５３に基づいて、三角測量を行う場合には、第２視点ＶＰ２と第３視点ＶＰ３を結ぶ線分ＢＬ２が基線となる。そして、基線ＢＬ２の方向はＢＬＤ２で示す方向となり、エッジの方向ＥＤと垂直になる。この時に、第２画像ＰＩＭ５２と第３画像ＰＩＭ５３を見比べると、被写体ＯＢのエッジが、第３画像ＰＩＭ５３の方が画像の下方に映っているため、第３画像ＰＩＭ５３が第３視点ＶＰ３から撮像された画像であると容易に判別することができる。よって、第２画像ＰＩＭ５２と第３画像ＰＩＭ５３からは、被写体ＯＢまでの正確な距離を容易に推定することができる。

従って、三角測量による距離測定精度を上げるためには、あらゆるエッジに対応できるように基線方向の角度分解能を上げる必要がある。そして、そのためには、より多くの視点からの視差画像を生成する必要がある。

生成する視差画像を１つ増やすためには、各マイクロレンズの受光領域内に含まれる受光セルの数を１つずつ増やす必要がある。しかし、撮像素子が有する受光セルの数は有限であるため、各マイクロレンズの受光領域内に含まれる受光セルの数を１つずつ増やすと、１枚の視差画像を構成する画素数が、マイクロレンズの数だけ減少する。例えば、図３（Ａ）の撮像素子ＰＤから１枚の画像を生成した場合には、８１画素の画像が生成できるが、図３（Ｂ）のように、９枚の視差画像を生成する場合には、空間解像度が１／３の９画素の視差画像しか生成できない。つまり、視差画像の数と視差画像の空間解像度はトレードオフの関係にあり、生成する視差画像の数を多くすると、視差画像の空間解像度が低下する。視差画像の空間解像度が低下すると、前述したフォーカス位置調整後の表示画像等の空間解像度も低下してしまうことになる。

そこで、本実施形態の撮像装置１００等は、視差画像の空間解像度の低下を抑制しつつ、より多くの視差画像を生成可能にする。

具体的には、例えば後述する図７の調整部１６０等が、撮像レンズ１１０により結像された被写体の像と撮像素子１２０とを相対的に回転させる。

そして、処理部１４０が、撮像レンズ１１０により結像された被写体の像と撮像素子１２０との相対的な向きを表す回転情報を取得し、取得した回転情報と、撮像素子１２０から得られる画像情報とに基づいて、視差画像を生成する。

ここで、被写体の像と撮像素子１２０とを相対的に回転させる方法としては、例えば後述する第１の実施形態のように、撮像レンズ１１０に対して、撮像素子１２０及びレンズアレイ１３０により構成されるユニット、又はレンズアレイ１３０を相対的に回転させる方法などがある。また他にも、後述する第２の実施形態のように、撮像レンズ１１０と撮像素子１２０の間に、後述する図２４に示すような像回転素子１９０を設け、像回転素子１９０を回転させることにより、撮像素子１２０に対して被写体の像を相対的に回転させる方法などがある。ただし、本実施形態において、被写体の像と撮像素子１２０とを相対的に回転させる方法は、上記に限定されない。また、回転情報と画像情報に基づいて視差画像を生成する具体的な方法については、後述する。

そして、処理部１４０は、被写体の像と撮像素子１２０とを相対的に回転させる前に撮像素子１２０から得られる第１画像情報に基づいて、第１視差画像を生成し、被写体の像と撮像素子１２０とを相対的に回転させた後に撮像素子１２０から得られる第２画像情報と、回転情報とに基づいて、第２視差画像を生成する。

すなわち、被写体の像と撮像素子１２０とを相対的に回転させない状態で生成可能な数と同じ数の視差画像を、１度回転する毎に生成すること等が可能になる。例えば、図３（Ａ）のように、１度に９枚の視差画像を生成可能な場合には、回転前と１度回転させた後とで、計１８枚の視差画像を生成可能になり、２度回転させる場合には、計２７枚の視差画像を生成可能になる。また、本実施形態では、生成する視差画像の枚数に応じて、レンズアレイ１３０の各レンズの受光領域に対応して設ける受光セルの数を変更することはないため、生成する視差画像の枚数を増やしても、視差画像の空間解像度を低下させることがない。

よって、視差画像の空間解像度の低下を抑制しつつ、より多くの視差画像を生成することが可能となる。

２．第１の実施形態
第１の実施形態では、前述したように、撮像レンズ１１０に対して、撮像素子１２０及びレンズアレイ１３０により構成されるユニット、又はレンズアレイ１３０を相対的に回転させることにより、被写体の像と撮像素子１２０とを相対的に回転させる。つまり、被写体の像側は回転させずに、撮像素子１２０側を回転させる。

２．１．システム構成例
次に、第１の実施形態の撮像装置の詳細なシステム構成例を図７に示す。なお、以下では、図１を用いて説明した内容と重複する部分については、適宜省略して説明を行う。

撮像装置１００は、撮像レンズ１１０と、撮像素子１２０と、レンズアレイ１３０と、処理部１４０と、記憶部１５０と、調整部１６０と、操作部１７０と、表示部１８０と、を含む。第１の実施形態の撮像装置１００の具体例としては、例えばＰＣ本体と、ＰＣ本体とは別体のカメラ（例えば顕微鏡）との二つの装置から構成されるものも考えられる。その場合には、カメラが、撮像レンズ１１０と、撮像素子１２０と、レンズアレイ１３０と、調整部１６０とを有し、ＰＣ本体が、処理部１４０と、記憶部１５０と、操作部１７０と、表示部１８０とを有する。なお、操作部１７０及び表示部１８０は、さらに別体として構成されていてもよい。

次に、各部について説明する。撮像素子１２０は、例えばイメージセンサー、ＣＣＤ、ＣＭＯＳなどであり、撮像レンズ１１０の光軸を中心とした回転方向に駆動可能である。

レンズアレイ１３０は、前述したように、撮像素子１２０の近傍に設けられ、撮像素子１２０と連動して、撮像レンズ１１０の光軸を中心とした回転方向に回転駆動する。撮像素子１２０及びレンズアレイ１３０は、一つのユニットとして一体的に形成され、一体として回転駆動してもよい。ただし、本実施形態は、撮像素子１２０とレンズアレイ１３０とが連動して回転する形態に限定されず、レンズアレイ１３０のみが回転する構成であってもよい。

また、レンズアレイ１３０の各レンズは、例えば円形のマイクロレンズである。ただし、各レンズの形状は、円形に限らず、隣接レンズとの間に間隙を作らない、四角形や六角形であってもよい。さらに、レンズアレイ１３０の各レンズは、後述するシリンドリカルレンズなど、軸方向によって異なる曲率を持つレンズであってもよい。

そして、処理部１４０は、角度取得部１４１と、画像取得部１４３と、画像合成部１４５と、を含む。

角度取得部１４１は、撮像レンズ１１０により結像された被写体の像と撮像素子１２０との相対的な向きを表す回転情報を取得する。具体的には、角度取得部１４１は、例えばロータリーエンコーダーや角度センサーなどであり、撮像素子１２０及びレンズアレイ１３０の少なくとも一方の基準角度に対する回転角度を取得する。基準角度については後述する。

画像取得部１４３は、イメージセンサードライバーなどであり、撮像素子１２０の各受光セルから画像情報を取得する。ここで、画像情報は、受光セルで受光した光線の信号から算出される画素値などの情報である。また、画像取得部１４３は、画像情報の他に、その画像情報の画素座標値等を取得してもよい。以下では、画像情報と、その画像情報の画素座標値のセットを、セル情報と呼ぶ。なお、画像取得部１４３は、イメージセンサーと一体的に形成されていてもよい。

画像合成部１４５は、画像情報に基づいて視差画像を生成する。画像合成部１４５は、例えばＰＣにインストールされたソフトウェアなどである。

記憶部１５０は、生成された視差画像や、表示部１８０に表示する表示画像、その他のデータベースを記憶したり、処理部１４０等のワーク領域となったりするもので、その機能はＲＡＭ（Random Access Memory）等のメモリやＨＤＤ（Hard Disk Drive）などにより実現できる。記憶部１５０は、ＰＣに搭載されていてもよいし、独立しており、通信により処理部１４０等と接続されていてもよい。

調整部１６０は、撮像素子１２０及びレンズアレイ１３０により構成されるユニット、又はレンズアレイ１３０を回転駆動するモーターとモータードライバーなどである。また、ユーザーが手動により、撮像素子１２０及びレンズアレイ１３０により構成されるユニット、又はレンズアレイ１３０を回転させる場合には、調整部１６０は、撮像素子１２０及びレンズアレイ１３０により構成されるユニット、又はレンズアレイ１３０を回転させる駆動機構である。

操作部１７０は、調整部１６０を駆動させるためのユーザー操作を受け付けるマウス及びキーボード、ボタン、スイッチ等であり、操作用のソフトウェアやメモリを含むことができる。

表示部１８０は、視差画像又は視差画像に基づいて生成された表示画像を表示する。表示部１８０は、例えば液晶ディスプレイや有機ＥＬディスプレイ、電子ペーパーなどにより実現できる。

本実施形態では、撮像素子１２０と被写体の像とを相対的に回転させる調整部１６０を含むことにより、回転前とは異なる視点から被写体を見た時の視差画像を生成すること等が可能になる。

２．２．処理の詳細
本実施形態では、処理部１４０が、撮像素子１２０及びレンズアレイ１３０により構成されるユニット、又はレンズアレイ１３０を、撮像レンズ１１０の光軸を回転軸として、撮像レンズ１１０に対して相対的に回転させた時の回転角度を、回転情報として取得し、取得した回転角度と画像情報とに基づいて、視差画像を生成する。

これにより、撮像レンズ１１０により結像された被写体の像に対する撮像素子１２０の向きを調整することができる。

次に、図８及び図１０のフローチャートを用いて、本実施形態の処理の流れを説明する。

まず、図８のフローチャートに示すように、被写体の像に対する撮像素子１２０の向きを設定する（Ｆ１）。この撮像素子１２０の向きは、撮像素子１２０及びレンズアレイ１３０を回転駆動させる際の目標となる向きである。

例えば、図９に示すように、回転前の撮像素子ＰＤの上方向ＵＤを基準方向とし、基準方向の角度（基準角度）を０度として、撮像素子１２０を４５度ずつ右回転させる場合には、１回目の回転駆動で目標となる撮像素子１２０の向きは、右周り４５度の方向となる。そして、２回目の回転駆動で目標となる撮像素子１２０の向きは、右周り９０度の方向となる。

ユーザーは複数の方法で撮像素子１２０及びレンズアレイ１３０の駆動方法を指定でき、操作部１７０はユーザーに指定された方法で、目標となる撮像素子１２０の向きを算出する。

具体的に、撮像素子１２０及びレンズアレイ１３０の駆動方法は、例えばユーザーが撮像素子１２０の向きを都度指定又は直接調整する方法、撮像素子１２０の向きが予めプログラムされている方法、回転角度範囲と撮像回数を指定する方法、回転角度範囲とステップ角度を指定する方法、ステップ角度と撮像回数を指定する方法などがある。

ここで、ステップ角度とは、撮像素子１２０の向きの１回の調整で、被写体の像に対して撮像素子１２０を相対的に回転させる角度のことである。例えば図９の例では、ステップ角度は４５度である。

また、本実施形態では、撮像素子１２０の向きを１回調整する度に撮像を行う。そのため、ステップ角度は、第ｊ回目の撮像をしてから第（ｊ＋１）回目の撮像をするまでの間の（ｊは１以上の整数）、被写体の像と撮像素子１２０との相対的な回転角度とも言える。ステップ角度は、通常固定であるが、後述するような場合には、例外的に一部の回転駆動時に異なるステップ角度となる場合がある。

また、回転角度範囲は、設定されている撮像回数の撮像を行った時の、被写体の像と撮像素子１２０との相対的な回転角度である。例えば、図９のように、ステップ角度が４５度で、撮像回数が５回の場合には、回転角度範囲は１８０度となる。

そして、前述したように、ユーザーにより撮像素子１２０の向きを都度指定する場合には、操作部１７０は、ユーザーにより指定された向きを調整部１６０に送信する。ユーザーの所望する全ての向きを指定し終えたら終了コマンドを送信する。なお、ユーザーが直接、手動で撮像素子１２０の向きを調整する場合には、ステップＦ１及びステップＦ２の処理を行う必要はない。

また、撮像素子１２０の目標の向きが予めプログラムされている場合には、操作部１７０は、操作部１７０内のメモリに予め記憶されている撮像素子１２０の目標の向きを順に調整部１６０に送信する。記憶されている向きを送信し終えたら終了コマンドを送信する。

また、回転角度範囲と撮像回数が指定される場合には、操作部１７０は、指定された回転角度範囲を撮像素子１２０等が等角度間隔で回転駆動するように、指定された撮像回数と同じ数だけの撮像素子１２０の目標の向きを算出する。なお、この場合には０度を初回の向きとする。そして、算出した向きを順に調整部１６０に送信する。例えば、回転角度範囲が１８０度で、撮像回数が５回の図９に示すような場合には、｛０度、４５度、９０度、１３５度、１８０度｝の向きの情報が送信される。算出した向きを送信し終えたら終了コマンドを送信する。

また、回転角度範囲とステップ角度が指定される場合には、操作部１７０は、指定された回転角度範囲を指定されたステップ角度ずつ回転駆動するように撮像素子１２０の向きを算出し、順に調整部１６０に送信する。ただし、設定可能な撮像素子１２０の向きの最大値は、回転角度範囲までとする。例えば、回転角度範囲が１８０度で、ステップ角度が５０度の場合には、０度から５０度刻みで駆動するように、｛０度、５０度、１００度、１５０度、１８０度｝の向きが送信される。この例では、回転角度範囲を１８０度としているため、４回目の回転時だけ、ステップ角度が３０度となる。算出した向きを送信し終えたら終了コマンドを送信する。

また、ステップ角度と撮像回数が指定される場合には、操作部１７０は、０度を初回の向きとして、指定された撮像回数と同じ数だけの撮像素子１２０の向きを算出し、順に調整部１６０に送信する。例えば、ステップ角度が３０度で、撮像回数が４回の場合には、０度から３０度ずつの合計３回、回転駆動を行うように、｛０度、３０度、６０度、９０度｝の撮像素子１２０の向きが送信される。算出した向きを送信し終えたら終了コマンドを送信する。

このように、調整部１６０は、被写体の撮像回数ｉ（ｉは２以上の整数）及び、第ｊ回目の撮像を行ってから第（ｊ＋１）回目の撮像を行うまでの間の（ｊは１以上の整数）、被写体の像と撮像素子１２０との相対的な回転角度であるステップ角度、ｉ回撮像を行う間の被写体の像と撮像素子１２０との相対的な回転角度範囲のうちの、少なくとも２つの情報に基づいて、被写体の像と撮像素子１２０とを相対的に回転させてもよい。

これにより、ユーザーが撮像を行う度に手動で撮像素子１２０等を回転させたり、予め撮像素子１２０の向きをプログラムしておかなくても、撮像状況に合わせて柔軟に、被写体の像と撮像素子１２０とを相対的に回転させること等が可能になる。

次に、調整部１６０は、操作部１７０により指定された向きになるように、撮像素子１２０及びレンズアレイ１３０を回転駆動させる（Ｆ２）。撮像素子１２０及びレンズアレイ１３０を回転させる際には、ステッピングモーターのパルス数の計測や、角度センサーやロータリーエンコーダーを使用することで、回転角を検出できる。

そして、角度取得部１４１は、撮像素子１２０等の向き調整の終了後に、撮像素子１２０の向きを取得する（Ｆ３）。撮像素子１２０の向きの取得方法としては、角度取得部１４１が角度を測定する方法、調整部１６０の位置決めの際の値を取得する方法、操作部１７０から指定された値を取得する方法等が考えられる。

また、画像取得部１４３は、撮像素子１２０等の向き調整の終了後に、撮像素子１２０のセル情報（画素座標値と画像情報）を取得する（Ｆ４）。なお、ステップＦ３及びステップＦ４の処理は、どちらが先に行われてもよいし、同時に行われてもよい。

そして記憶部１５０は、角度取得部１４１が取得した撮像素子１２０の向き（回転情報）と、画像取得部１４３が取得したセル情報を関連付けて１セットの情報として記憶する（Ｆ５）。

このように、記憶部１５０が、回転情報と画像情報とを関連付けて記憶することにより、画像情報に関連付けられた回転情報と、その画像情報に基づいて、回転前に生成した視差画像とを比較して視差を検出可能な視差画像を生成すること等が可能になる。

そして、終了条件を満たすまで、ステップＦ１〜ステップＦ５を繰り返す（Ｆ６）。なお、終了条件は、操作部１７０による終了トリガ、タイムアウトなどが考えられる。

次に、前述した、回転前に生成した視差画像と比較可能な視差画像の生成処理の流れについて、図１０のフローチャートを用いて詳述する。

ここで、視差を検出可能な視差画像とは、二つの画像の差が視点の違いに起因するものだけであり、その他の原因に起因する差を含まない画像のことである。例えば、その他の原因に起因する差とは、撮像時の光学系の状態によるものや、画像処理を行う上で生じるもの等である。本実施形態では、前述したように、撮像レンズ１１０に対して、撮像素子１２０及びレンズアレイ１３０を回転させて撮像を行うため、図８に示すフローチャートの処理を終了した時点で得られる複数の画像は互いに、視点の違い以外による差を含んでいる。

画像同士を比較して、視差を検出可能にするためには、以下の３つの条件を満たす必要がある。第１に、２つの画像が同じ画素座標系に配置された画素から構成されている必要があり、第２に、２つの画像を撮像した時のマイクロレンズアレイの各マイクロレンズの配置位置が同じである必要がある。そして第３に、撮像時の各マイクロレンズの受光領域に対応する複数の受光セルの配置位置も同じである必要がある。図８に示すフローチャートの処理を終了した時点で得られる複数の画像は、これらの条件を満たしていないため、本実施形態では、あたかもこれらの条件を満たした状態で撮像された画像になるように、画像処理を行って、画像を補正する。具体的には、以下の処理を行う。

図１０のフローチャートの処理を行う前の段階では、操作部１７０が指定した各向きの撮像素子１２０で取得されたセル情報と、セル情報を取得したときの撮像素子１２０の向き（回転情報）が全て、記憶部１５０に記憶されている。

以下の説明では、図１１に示すように、各マイクロレンズの受光領域μＡＲ内に４つの受光セル（Ａ、Ｂ、Ｃ、Ｄ）が配置された撮像素子１２０を用いるものとする。図１１の例の撮像素子１２０を用いる場合には、無回転の時に４枚の視差画像を得ることができる。

まず、処理部１４０は、基準角度を設定する（Ｆ７）。基準角度は、回転した画像の向きを揃えるための基準となる撮像素子１２０の角度である。基準角度は、例えば操作部１７０からユーザーが指定する。また、基準角度がユーザーにより指定されない場合は、デフォルト値を基準角度とする。基準角度のデフォルト値は任意に決めることができる（例えば図９に示すように撮像素子１２０の向きが０度等）。

次に、画像合成部１４５が、記憶部１５０に記憶されているセル情報に基づいて、取得した画像の向きが、基準角度の画像と同じ向きになるように、画像の座標変換処理を行う（Ｆ８）。言い換えれば、処理部１４０は、被写体の像と撮像素子１２０とを相対的に回転させた後に、第１画素座標系での画像情報を取得し、回転情報に基づいて、第１画素座標系から第２画素座標系への画像情報の座標変換処理を行う。

具体例を図１２（Ａ）〜図１２（Ｃ）に示す。図１２（Ａ）には、撮像素子ＰＤが基準角度θ_ｓの方向を向いている状態で、被写体ＯＢを撮像して得られる画像ＰＩＭ１０１を示す。本例では、この画像ＰＩＭ１０１の横軸ｘ’と縦軸ｙ’を定義する画素座標系が、前述した第２画素座標系であるものとする。

一方、図１２（Ｂ）には、撮像素子ＰＤが任意の回転角度θ_ｉの方向を向けられた状態で、被写体ＯＢを撮像して得られる画像ＰＩＭ１０２を示す。本例では、この画像ＰＩＭ１０２の横軸ｘと縦軸ｙを定義する画素座標系が、前述した第１画素座標系であるものとする。

この時、被写体の像と撮像素子１２０との相対的な回転角度θは、下式（１）により求められる。この回転角度θは、前述したように、画像ＰＩＭ１０２に関連付けられて記憶部１５０に記憶されている。

そして、ステップＦ８では、図１２（Ｃ）に示すように、下式（２）により、回転角度θに基づいて、第１画素座標系から第２画素座標系への画像ＰＩＭ１０２の座標変換処理を行って、座標変換後の画像ＰＩＭ１０３を取得する。この画像ＰＩＭ１０３は、撮像素子ＰＤが任意の回転角度θ_ｉの方向を向いている状態で撮像された画像であるが、画像ＰＩＭ１０１と同じ第１画素座標系の画像である。

上記では、視差を検出可能な画像の条件として、３つの条件を挙げた。しかし、ステップＦ８の処理によって、１つ目の条件は満たされたが、残り２つの条件が満たされていない。つまり、ステップＦ８後の画像を、基準となる画像（以下、基準画像と呼ぶ。）と比較して視差を検出可能な画像にするためには、マイクロレンズアレイの各マイクロレンズの配置位置が基準画像とあたかも同じであり、各マイクロレンズの受光領域に対応する複数の受光セルの配置位置も基準画像とあたかも同じである必要がある。

なぜなら、以下のような理由があるためである。まず、同じマイクロレンズの受光領域に含まれる受光セルで受光される光線は、撮像レンズの物体面のある１点から射出された光線であり、複数の視差画像間で対応する（同一の）画素位置の画素を生成する情報を持つ。そして、そのような光線が、同じ受光領域内のうちのどの受光セルで受光されるかは、撮像レンズ瞳面のどの領域をその光線が通過したかによって決まり、生成される視差画像において視差となって表れる。

そもそも視差とは、撮像レンズの物体面の同じ点を通過した光線から得られる画像情報の、視点による差である。そのため、撮像レンズの物体面の異なる点を通過した光線から得られる画像情報間には、視差以外の差も含まれる。つまり、視差だけを検出する際には、撮像レンズの物体面の同じ点を通過した光線から得られる画像情報同士を比較する必要がある。

しかし、撮像レンズに対して撮像素子及びマイクロレンズアレイを回転させると、同じマイクロレンズの受光領域に含まれる受光セルが、回転前後で、撮像レンズの物体面の異なる点を通過した光線を受光することになってしまう。撮像素子及びマイクロレンズアレイの回転前後で、マイクロレンズの受光領域の位置がずれるためである。例えば、同一のｘ’ｙ’画素座標系において、回転前には図１３（Ａ）に示すような配置であった各マイクロレンズの受光領域μＡＲが、回転後には図１３（Ｂ）に示すような配置になり、受光領域が重ならない状態になる（後述する図１４（Ａ）にも同様の状態を図示する。）。そのため、例えばある受光セルが、回転前には、撮像レンズの物体面のＡ点を通過した光線を受光し、回転後には、撮像レンズの物体面のＢ点を通過した光線を受光してしまう状況が起こり得る。このような場合には、図１３（Ａ）に示すセル情報から、図１３（Ｃ）に示す画像ＰＩＭ１２１を生成し、図１３（Ｂ）に示すセル情報から、図１３（Ｄ）に示す画像ＰＩＭ１２２を生成しても、画像ＰＩＭ１２１と画像ＰＩＭ１２２を比較して、２つの画像間の視差を正確に検出することができない。

そこで、ステップＦ９では、図１３（Ｅ）に示すように、座標変換後のセル情報（画像ＰＩＭ１２２）から、基準画像ＰＩＭ１２１と重なるようにセル情報の補間処理を行って、補間後の画像ＰＩＭ１２３を生成する。言い替えると、処理部１４０は、座標変換処理後の画像情報に基づいて、補間処理を行って、補間済み画像情報を生成し、補間済み画像情報に基づいて視差画像を生成する（Ｆ９）。その結果、補間後の画像ＰＩＭ１２３と基準画像ＰＩＭ１２１とを比較して、視差の検出を行うことが可能になる。

さらに言い換えれば、ステップＦ９の処理は図１４（Ａ）及び図１４（Ｂ）に示すような処理である。図１４（Ａ）及び図１４（Ｂ）の例では、被写体の像に対して撮像素子がθ度回転する前の受光領域に相当する画素領域がＢμＡＲであり、回転後の受光領域に相当する画素領域がＡμＡＲであるものとする。この時に、ステップＦ９の処理を行う前には、図１４（Ａ）に示すように、回転前後の受光領域に相当する画素領域は互いに重ならないが、ステップＦ９の処理を行うことにより、図１４（Ｂ）に示すように、回転前後の受光領域に相当する画素領域が互いに重なるようにする。

次に、図１５を用いて、ステップＦ９の具体的な処理内容を説明する。図１５の例では、基準となるマイクロレンズの受光領域（例えば座標変換前のマイクロレンズの受光領域）に対応する領域内に、座標変換後の画素Ａに対応する画素Ａ’を補間する。

まず、画素Ａ’の座標を求める。ここで、基準画像のマイクロレンズの受光領域の中心座標をＰ’（ｘ_１、ｙ_１）とし、画素Ａの座標をＡ（ｘ_２、ｙ_２）とし、画素Ａが含まれる座標変換後のマイクロレンズの受光領域の中心座標をＰ（ｘ_３、ｙ_３）とする。画素Ａ及びＰ、Ｐ’の座標は全て既知である。この時、同じＬＦ情報を持つ画素は、マイクロレンズの受光領域のある１点（例えば中心点）との位置関係が等しくなるため、画素Ａ’の座標（ｘ’、ｙ’）は下式（３）で求めることができる。

次に画素Ａ’の画素値を求める。画素Ａ’の画素値を求めるには、同じＬＦ情報を持つ近傍の複数の画素の画素値を使用する。画素値を補間する方法としては、ニアレストレイバー法及びバイリニア法、バイキュービック法などがある。ここではバイリニア法を例にあげて、図１６を用いて説明を行う。

図１６の点Ｉ’（ｘ’、ｙ’）は、Ｉ’の画素値を有する画素が座標（ｘ’、ｙ’）にあることを表す。本例では、座標と画素値がわかっている４つの画素Ｉ_１（ｘ_１、ｙ_１）、Ｉ_２（ｘ_２、ｙ_２）、Ｉ_３（ｘ_３、ｙ_３）、Ｉ_４（ｘ_４、ｙ_４）から座標（ｘ’、ｙ’）の画素値Ｉ’を求める。なお、座標（ｘ’、ｙ’）は、上式（３）により求めた座標である。

まず、画素Ｉ_１（ｘ_１、ｙ_１）と画素Ｉ_２（ｘ_２、ｙ_２）を繋ぐ線分上にあり、ｘ軸座標値がｘ’である画素Ｉ_５（ｘ’、ｙ_５）と、画素Ｉ_３（ｘ_３、ｙ_３）と画素Ｉ_４（ｘ_４、ｙ_４）を繋ぐ線分上にあり、ｘ軸座標値がｘ’である画素Ｉ_６（ｘ’、ｙ_６）の画素値とｙ軸座標値を求める。画素値Ｉ_５は、ｘ軸座標値の比を用いて下式（４）により、その画素のｙ軸座標値ｙ_５は、下式（５）により、それぞれ求めることができる。

同様にして、画素Ｉ_６（ｘ_’、ｙ_６）の画素値Ｉ_６は下式（６）により、ｙ軸座標値ｙ_６は下式（７）により、それぞれ求めることができる。

そして、画素Ｉ’（ｘ’、ｙ’）は、Ｉ_５（ｘ’、ｙ_５）とＩ_６（ｘ’、ｙ_６）を繋ぐ線分上にあるため、同様にｙ座標の比を用いて、下式（８）により求めることができる。

これにより、マイクロレンズアレイの各マイクロレンズの配置位置が、各マイクロレンズの基準位置とあたかも同じ位置の状態で撮像され、各マイクロレンズの受光領域に対応する複数の受光セルの配置位置も各受光セルの基準位置とあたかも同じ位置の状態で撮像されたかのような、視差画像を生成すること等が可能になる。

つまり、基準となる画像と比較して、視差を検出することが可能な視差画像を取得できる（Ｆ１０）。そして、記憶部１５０に記憶されている全ての画像に対して、ステップＦ８〜ステップＦ１０の処理を行う（Ｆ１１）。以上が本実施形態の処理の流れである。

以上の処理をまとめると、処理部１４０は、被写体の像と撮像素子１２０とを相対的に回転させた後に（Ｆ２）、第１画素座標系での画像情報を取得し（Ｆ４）、回転情報に基づいて、第１画素座標系から第２画素座標系への画像情報の座標変換処理を行い（Ｆ８）、座標変換処理後の画像情報に基づいて、補間処理を行って（Ｆ９）、補間済み画像情報を生成し、補間済み画像情報に基づいて視差画像を生成する（Ｆ１０）。

本実施形態では、撮像レンズ瞳面を通過し、撮像レンズ結像面で集光する光線を、マイクロレンズの作用により、通過した瞳面の領域に応じて分離する。

光線が通過する瞳面の位置と、受光されるマイクロレンズの受光領域の位置は、瞳面及びマイクロレンズの受光領域の中心に対して点対称になっている。

従って、瞳面の同じ位置を通過した光線は、すべてのマイクロレンズ受光領域で相対的に同じ位置の受光セルに入射するため、マイクロレンズ受光領域の相対的に同じ位置のセル情報から算出される画素のみを集めて画像を作ることで、視点の異なる視差画像を得ることができる。

例えば、図１７で撮像レンズ瞳面ＰＳの左下の光線通過領域Ａを通過した光線は、マイクロレンズ受光領域μＡＲでは右上の受光セルＡに入射する。従って、図１８に示すように各マイクロレンズ受光領域μＡＲの受光セルＡのセル情報から算出された画素のみから生成される視差画像ＰＩＭＡは、撮像レンズ瞳面ＰＳの左下の光線通過領域Ａを視点とした画像になる。

撮像レンズ瞳面ＰＳの視点と、マイクロレンズ受光領域μＡＲの受光セルは中心に対し点対称になっているため、図１７に示すように、視点が作る基線ＢＬの方向θ_１と、受光セルを繋ぐ直線ＣＬの角度θ_２は等しい。

また、本実施形態によれば、例えば、１つのマイクロレンズに対し４つの受光セルが配された撮像素子１２０を４５度回転させることで、図１９のように、撮像レンズ瞳面ＰＳ上に８つの視点（Ａ〜Ｄ、Ａ’〜Ｄ’）を得て、８枚の視差画像を生成することができる。これらの視差画像から得られる基線方向の数は、図２０のように１つのマイクロレンズに対し、受光セルが３×３に配列されたＰｌｅｎｏｐｔｉｃ１．０光学系に相当する。

図２０のように、１つのマイクロレンズ当たり９個の受光セル（Ａ〜Ｉ）が配置される場合、得られる画像の空間解像度は、従来のカメラに比べ１／３になる。それに対し、本実施形態によれば１つのマイクロレンズ当たり４個の受光セルで済むため、得られる画像の空間解像度は１／２になる。この空間解像度は、従来のＰｌｅｎｏｐｔｉｃ１．０方式の１．５倍である。

また、被写体の像に対する撮像素子１２０の相対的な回転角度範囲は、９０度以下であることが望ましい。撮像素子１２０を９０度回転すると、回転前の受光セルの配置と重なってしまうためである。つまり、９０度以上回転して得られる情報は、９０度以下の回転でも得ることができる。回転範囲を９０度以下とすることで、重複画像の取得による計算処理量・処理時間の増加を防ぐことができる。

そして、１度の回転駆動で撮像素子１２０を回転させる回転角（ステップ角度）は、９０度の整数分の１であることが望ましい。ステップ角度に粗密があると、画素を補間する際の情報量に違いが出るためである。ステップ角度を９０度の整数分の１とすることにより、画素を補間する際の情報量を均一にできる。

また、本実施形態では、画像合成部１４５が、表示用の画像も生成してもよい。

２．３．第１の変形例
次に、第１の実施形態の第１の変形例について説明する。

処理部１４０は、被写体の像と撮像素子１２０とを相対的に回転させる前に撮像素子１２０から得られる第１画像情報と、被写体の像と撮像素子１２０とを相対的に回転させた後に撮像素子１２０から得られる第２画像情報とに基づいて、補間処理を行って、表示画像を生成してもよい。

第１の変形例では、視差画像の生成の他に、空間分解能の高い表示画像を生成する。以下の説明では、例えば表示画像として１枚の超解像度画像を生成する。ただし、表示画像と視差画像の両方を生成してもよい。なお、第１の変形例のシステム構成例は、前述した図７と同様である。

さて、画面上に表示する表示画像の解像度は高いほうが望ましい。しかし、視差画像を複数生成する場合には、従来のカメラに比べて、画像の空間解像度は低下してしまう。例えば前述した図１１に示すような、１つのマイクロレンズに対して４つの受光セルが配置されている撮像素子の場合には、従来のカメラに比べて、生成される画像の空間解像度が１／２になる。

ここで、低下した空間解像度を高める手法として、複数枚の画像を使用して、画素間の画素を推定又は補間する技術が知られている。しかし、視差画像のように、複数の画像間で視点が異なる場合には、視点と物体の相対的な位置が異なるため、画素間の推定又は補間を行う際に複雑な処理を必要とする。

そこで、第１の変形例では、処理を簡略化するために、受光セル単体で受光される光線ではなく、１つのマイクロレンズの受光領域全体の光線を考える。１つのマイクロレンズの受光領域全体の光線とは、例えば前述した図１１の例であれば、受光セルＡが受光する光線と、受光セルＢが受光する光線と、受光セルＣが受光する光線と、受光セルＤが受光する光線の４種類をひとまとめにして考えた光線のことである。１つのマイクロレンズの受光領域全体の光線を考える場合には、視点が撮像レンズの中心に固定され、この視点は画素座標を回転変換しても変わらない。よって、マイクロレンズごとに、各マイクロレンズの受光領域全体の光線に相当する画素（以下では、代表画素と呼ぶ。）を補間により求め、その後さらに、基準画像の代表画素間の画素を、撮像素子等の回転後に得られる代表画素を用いて補間する。

以下で第１の変形例の具体的な処理の内容を、図２１のフローチャートを用いて説明する。まず、ステップＦ８までは、図８及び図１０のフローチャートを用いて前述した処理と同じ処理を行う。

次に、ステップＦ８で座標変換されたセル情報から、マイクロレンズの受光領域ごとに、代表画素を補間して求める（Ｆ１２）。例えば、代表画素のセル情報は、各マイクロレンズの受光領域に含まれる受光セルから得られるセル情報（画素座標及び画素値）の平均を取ることで求められる。図２２の例では、代表画素としてＢＲＣが求められたものとする。

そして本例では、ステップＦ８及びステップＦ１２の処理を、図８のフローチャートの処理で取得した全ての画像について行う（Ｆ１１）。

最後に、代表画素間の画素を補間する（Ｆ１３）。本例では、撮像素子等を回転させる前の代表画素のセル情報を基準のセル情報とする。その他の、撮像素子等を回転させた後のセル情報は、基準のセル情報を補間するために用いる。例えば、図２２において、回転後の画素として、ＡＲＣが求められたものとする。ステップＦ１３では、この回転後の画素ＡＲＣのセル情報に基づいて、代表画素ＢＲＣ間の画素ＣＣを補間する。例えば、画素ＣＣは、代表画素ＢＲＣの中間画素座標に位置する画素である。補間方法については、ステップＦ９と同様である。

２．４．第２の変形例
次に、第１の実施形態の第２の変形例について説明する。第２の変形例では、レンズアレイ１３０が有する各レンズとして、マイクロレンズに代えて、シリンドリカルレンズを使用する。

シリンドリカルレンズには、曲率を持つ軸と、曲率を持たない軸があり、曲率を持つ軸では光線を分離しＬＦ情報を取得するが、曲率を持たない軸では光線を分離せずＬＦ情報を取得しない。しかし、曲率を持たない軸方向の空間分解能は毀損せず、従来のカメラと同じ空間解像度を取得できる。

第２の変形例では、撮像素子１２０を回転させることで、曲率を持たない軸方向でのＬＦ情報を取得するとともに、曲率を持つ軸方向での空間分解能の低下を防ぐことができる。

また、レンズアレイ１３０の代わりに、グレーティング（回折格子）を用いて、撮像レンズを通過した光線を屈折させ、屈折させた光線を各受光セルに入射させる形態も考えられる。

２．５．第３の変形例
次に、第１の実施形態の第３の変形例について説明する。第３の変形例では、処理部１４０は、生成した視差画像の周縁領域を切り取るトリミング処理を行う。また、処理部１４０は、視差画像だけでなく、表示画像の周縁領域を切り取るトリミング処理を行っても良い。

図２３に示すように、視差画像を生成する場合、回転した際にマイクロレンズの受光領域が重ならず、基線方向の角度分解能が低い領域ＤＡＲが存在する可能性がある。画像が重なった領域ＣＡＲを抽出することで、角度分解能が低い領域をなくすことができる。

また、表示画像を生成する場合には、補間に使われるセル情報が少ないと、空間分解能が高まらず、画像の領域によって空間分解能に偏りができる可能性がある。

第３の変形例のトリミング処理を行うことにより、視差画像及び表示画像において空間分解能が低い領域をなくすこと等が可能になる。

３．第２の実施形態
次に、第２の実施形態について説明する。第２の実施形態では、図２４のシステム構成例に示すように、撮像レンズ１１０とレンズアレイ１３０の間に、像回転素子１９０を設け、像回転素子１９０を回転させることにより、撮像素子１２０に対して被写体の像を相対的に回転させる。つまり、第１の実施形態とは逆に、撮像素子１２０側は回転させずに、被写体の像側を回転させる。

本実施形態の撮像装置１００は、撮像レンズ１１０とレンズアレイ１３０の間に、回転可能な像回転素子１９０を有する。像回転素子１９０は、例えば像回転プリズムなどである。

そして、処理部１４０は、回転情報として、撮像レンズ１１０に対する像回転素子１９０の回転角度を取得し、取得した回転角度と画像情報とに基づいて、視差画像を生成する。

例えば、図２５（Ａ）〜図２５（Ｃ）に示すように、像回転プリズムＩＲＤは、入力された像を回転させ、かつ反転させて出力する。図２５（Ａ）の例では、像回転プリズムＩＲＤの縦方向が、入力像ＩＩ１に対して点線ＲＬ１で示す向きになるように調整している。この場合には、像回転プリズムＩＲＤにより入力像ＩＩ１が回転し反転され、出力像ＯＩ１が得られる。

また、図２５（Ｂ）の例では、図２５（Ａ）の状態から像回転プリズムＩＲＤを入力像ＩＩ２に対して斜めに４５度傾け、像回転プリズムＩＲＤの縦方向が入力像ＩＩ２に対して点線ＲＬ２で示す向きになるように調整している。この場合には、像回転プリズムＩＲＤにより入力像ＩＩ２が回転し反転され、出力像ＯＩ２が得られる。図２５（Ｂ）の例では、像回転プリズムＩＲＤを４５度傾けたのに対して、出力像ＯＩ２は、出力像ＯＩ１から９０度回転している。

さらに、図２５（Ｃ）の例では、図２５（Ａ）の状態から像回転プリズムＩＲＤを入力像ＩＩ３に対して９０度傾けて、像回転プリズムＩＲＤの縦方向が入力像ＩＩ３に対して点線ＲＬ３で示す向きになるように調整している。この場合には、像回転プリズムＩＲＤにより入力像ＩＩ３が回転し反転され、出力像ＯＩ３が得られる。図２５（Ｃ）の例では、像回転プリズムＩＲＤを９０度傾けたのに対して、出力像ＯＩ３は、出力像ＯＩ１から１８０度回転している。

このように、像回転プリズムを用いる場合には、出力像の向きが像回転プリズム自体の回転角度の二倍の角度だけ変わることになる。これを利用して、撮像素子１２０に対して被写体の像を回転させること等が可能である。

また、これにより、比較的、配線数の多い撮像素子１２０を動かさずに、撮像素子１２０に対して被写体の像を回転できるため、断線や接触不良の不具合リスクを低減すること等が可能になる。

また、調整部１６０は、撮像レンズ１１０の光軸を回転軸として、撮像レンズ１１０に対して像回転素子１９０を相対的に回転させてもよい。

これにより、ユーザーが手動で像回転素子１９０を回転させる手間を省くこと等が可能になる。

また、角度取得部１４１は、像回転素子の角度を取得し、像回転素子から出力される像の回転角に相当する回転角に変換する。さらに、像回転プリズムを透過した画像は反転しているため、画像取得部１４３は、被写体の像が本来の向きになるように座標を変換する。

４．第３の実施形態
次に、第３の実施形態のシステム構成例を図２６に示す。第３の実施形態では、前述した図７又は図２４に示す構成に加えて、処理部１４０が判別部１４７を有する。

判別部１４７は、被写体の像のエッジ方向を判別し、被写体のエッジ方向に基づいて、被写体の像と撮像素子１２０との相対的な目標回転角度を算出する。そして、判別部１４７は、算出した目標回転角度を調整部１６０に出力する。

そして、調整部１６０は、取得した目標回転角度に基づいて、被写体の像と撮像素子１２０との相対的な向きを調整する。

ただし、以上の処理に限定されず、調整部１６０は、その他の方法でも、被写体の像のエッジ方向に基づいて、被写体の像と撮像素子１２０とを相対的に回転させてもよい。

これにより、被写体の像と撮像素子１２０を必要な向きにだけ調整して、必要十分なセル情報を取得することが可能となり、計算処理量及び処理時間の増加を防ぐこと等が可能になる。

５．サーバー
また、図２７に示すように、本実施形態は、有線及び無線の少なくとも一方を含むネットワーク３００を介した通信により、撮像部１００（撮像装置）と接続された画像処理装置２００（サーバー）により実現されてもよい。

その場合には、本実施形態の画像処理装置２００は、撮像部１００から得られる画像情報を取得する画像情報取得部２１０と、取得された画像情報に基づいて視差画像を生成する処理部２３０と、を含む。

一方、撮像部１００は、撮像レンズ１１０と、Ｍ個の受光セルがアレイ状に配置された受光セルアレイを有する撮像素子１２０と（Ｍは２以上の整数）、撮像レンズ１１０と撮像素子１２０の間に設けられ、各レンズがアレイ状に配置された視差画像生成用のレンズアレイ１３０と、を有する。

そして、処理部２３０は、撮像レンズ１１０により結像された被写体の像と撮像素子１２０との相対的な向きを表す回転情報を取得し、取得した回転情報と、撮像素子１２０から得られる画像情報とに基づいて、視差画像を生成する。

６．顕微鏡
本実施形態の撮像装置は、顕微鏡であってもよい。

前述したように、視差画像を用いて三角測量を行って、被写体までの距離を測定する場合には、被写体のエッジの延びる方向と基線方向が垂直に近い場合には、距離の測定精度が高くなり、平行に近い場合には、測定精度が低くなる。

顕微鏡のように、被写体の一部を像として取得する光学系では、エッジの数が少なく基線方向に垂直なエッジが取得できない場合がある。また、顕微鏡の被写体は半透明なものや、テクスチャ（表面の模様）が少ないものが多く、取得できるエッジが少ない。

そこで、本実施形態の顕微鏡を用いれば、基線方向に垂直なエッジが取得できない場合や、取得できるエッジが少ない場合であっても、基線方向を回転させ、距離の測定精度を高めることが可能になる。

さらに、本実施形態は、撮像素子１２０あるいは、撮像素子１２０に投影する像を回転させ、都度撮像素子１２０のセル情報を取得するため、セル情報を取得し終えるまでに時間がかかることがある。そのため、セル情報を取得し終えるまで、被写体は動かないことが望ましい。

その点、顕微鏡の被写体は静的な物体が多く、その点でも本実施形態の効果を発揮しやすい。また、前述したような、被写体のエッジが少なく、被写体の動きが小さい光学系としては、顕微鏡のほかに工業用内視鏡などが考えられる。

７．プログラム
本実施形態の撮像装置、画像処理装置及び顕微鏡等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサーがプログラムを実行することで、本実施形態の撮像装置、画像処理装置及び顕微鏡等が実現される。具体的には、非一時的な情報記憶装置に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサーが実行する。ここで、情報記憶装置（コンピュータにより読み取り可能な装置）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリ（カード型メモリ、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサーは、情報記憶装置に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶装置には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

また、本実施形態の撮像装置、画像処理装置及び顕微鏡等は、プロセッサーとメモリを含んでも良い。ここでのプロセッサーは、例えばＣＰＵ（Central Processing Unit）であってもよい。ただし、プロセッサーはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Signal Processor）等、各種プロセッサーを用いることが可能である。また、プロセッサーはＡＳＩＣ（Application Specific Integrated Circuit）によるハードウェア回路でもよい。また、メモリはコンピュータにより読み取り可能な命令を格納するものであり、当該命令がプロセッサーにより実行されることで、本実施形態に係る撮像装置、画像処理装置及び顕微鏡等の各部が実現されることになる。ここでのメモリは、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリであってもよいし、レジスタやハードディスク等でもよい。また、ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサーのハードウェア回路に対して操作を指示する命令であってもよい。

以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、撮像装置、画像処理装置、画像処理方法及び顕微鏡等の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。

１００撮像装置（撮像部）、１１０撮像レンズ、１２０撮像素子、
１３０レンズアレイ、１４０処理部、１４１角度取得部、１４３画像取得部、
１４５画像合成部、１４７判別部、１５０記憶部、１６０調整部、
１７０操作部、１８０表示部、１９０像回転素子、２００画像処理装置、
２１０画像情報取得部、２３０処理部、３００ネットワーク

Claims

撮像レンズと、
複数の受光セルがアレイ状に配置された受光セルアレイを有する撮像素子と、
前記撮像レンズと前記撮像素子の間に設けられ、各レンズがアレイ状に配置された視差画像生成用のレンズアレイと、
前記撮像レンズにより結像された被写体の像と前記撮像素子との相対的な向きを表す回転情報を取得し、取得した前記回転情報と、前記撮像素子から得られる画像情報とに基づいて、視差画像を生成する処理部と、
を含む顕微鏡。
請求項１において、
前記処理部は、
前記被写体の像と前記撮像素子とを相対的に回転させる前に前記撮像素子から得られる第１画像情報に基づいて、第１視差画像を生成し、
前記被写体の像と前記撮像素子とを相対的に回転させた後に前記撮像素子から得られる第２画像情報と、前記回転情報とに基づいて、第２視差画像を生成することを特徴とする顕微鏡。
請求項１又は２において、
前記レンズアレイの前記各レンズは、
前記撮像素子のＭ個の受光セルのうちのＮ個の受光セルに対応して設けられ（Ｎは２以上の整数であり、ＭはＮ以上の整数）、
前記撮像レンズを介して前記各レンズに入射する入射光を、前記各レンズへの入射角度に応じて屈折させて、前記Ｎ個の受光セルのうちのいずれかの受光セルに入射させることを特徴とする顕微鏡。
請求項１乃至３のいずれかにおいて、
前記処理部は、
前記撮像素子及び前記レンズアレイにより構成されるユニット、又は前記レンズアレイを、前記撮像レンズの光軸を回転軸として、前記撮像レンズに対して相対的に回転させた時の回転角度を、前記回転情報として取得し、取得した前記回転角度と前記画像情報とに基づいて、前記視差画像を生成することを特徴とする顕微鏡。
請求項１乃至４のいずれかにおいて、
前記撮像レンズと前記レンズアレイの間に、回転可能な像回転素子を有し、
前記処理部は、
前記回転情報として、前記撮像レンズに対する前記像回転素子の回転角度を取得し、取得した前記回転角度と前記画像情報とに基づいて、前記視差画像を生成することを特徴とする顕微鏡。
請求項１乃至５のいずれかにおいて、
前記処理部は、
前記被写体の像と前記撮像素子とを相対的に回転させた後に、第１画素座標系での画像情報を取得し、前記回転情報に基づいて、前記第１画素座標系から第２画素座標系への前記画像情報の座標変換処理を行うことを特徴とする顕微鏡。
請求項６において、
前記処理部は、
前記座標変換処理後の画像情報に基づいて、補間処理を行って、補間済み画像情報を生成し、前記補間済み画像情報に基づいて前記視差画像を生成することを特徴とする顕微鏡。
請求項１乃至５のいずれかにおいて、
前記処理部は、
前記被写体の像と前記撮像素子とを相対的に回転させた後に、第１画素座標系での画像情報を取得し、
前記回転情報に基づいて、前記第１画素座標系から第２画素座標系への前記画像情報の座標変換処理を行い、
前記座標変換処理後の前記画像情報に基づいて、補間処理を行って、補間済み画像情報を生成し、
前記補間済み画像情報に基づいて前記視差画像を生成することを特徴とする顕微鏡。
請求項１乃至８のいずれかにおいて、
前記処理部は、
前記被写体の像と前記撮像素子とを相対的に回転させる前に前記撮像素子から得られる第１画像情報と、前記被写体の像と前記撮像素子とを相対的に回転させた後に前記撮像素子から得られる第２画像情報とに基づいて、補間処理を行って、表示画像を生成することを特徴とする顕微鏡。
請求項１乃至９のいずれかにおいて、
前記回転情報と前記画像情報とを関連付けて記憶する記憶部を含むことを特徴とする顕微鏡。
請求項１乃至１０のいずれかにおいて、
前記撮像素子と前記被写体の像とを相対的に回転させる調整部を含むことを特徴とする顕微鏡。
請求項１１において、
前記調整部は、
前記被写体の撮像回数ｉ（ｉは２以上の整数）及び、第ｊ回目の撮像を行ってから第（ｊ＋１）回目の撮像を行うまでの間の（ｊは１以上の整数）、前記被写体の像と前記撮像素子との相対的な回転角度であるステップ角度、ｉ回撮像を行う間の前記被写体の像と前記撮像素子との相対的な回転角度範囲のうちの、少なくとも２つの情報に基づいて、前記被写体の像と前記撮像素子とを相対的に回転させることを特徴とする顕微鏡。
請求項１１又は１２において、
前記撮像レンズと前記レンズアレイの間に、回転可能な像回転素子を有し、
前記調整部は、
前記撮像レンズの光軸を回転軸として、前記撮像レンズに対して前記像回転素子を相対的に回転させることを特徴とする顕微鏡。
請求項１１乃至１３のいずれかにおいて、
前記調整部は、
前記被写体の像のエッジ方向に基づいて、前記被写体の像と前記撮像素子とを相対的に回転させることを特徴とする顕微鏡。
請求項１乃至１４のいずれかにおいて、
前記処理部は、
生成した前記視差画像の周縁領域を切り取るトリミング処理を行うことを特徴とする顕微鏡。