JP6450392B2

JP6450392B2 - 撮像装置

Info

Publication number: JP6450392B2
Application number: JP2016546196A
Authority: JP
Inventors: 敢人宮崎
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2014-09-03
Filing date: 2014-09-03
Publication date: 2019-01-09
Anticipated expiration: 2034-09-03
Also published as: JPWO2016035108A1; US20170160076A1; US10107620B2; WO2016035108A1

Description

本発明は、撮像装置に関するものである。

特許文献１には、ライトフィールド技術を応用して、視差画像から標本の立体的形状を測定可能とした顕微鏡装置が開示されている。

特開２０１２−１６３９１０号公報

特許文献１に開示の顕微鏡装置は、一つの観察光学系を備え、標本の一方向における立体的形状を測定するように構成されている。そのため、標本の異なる方向における立体的形状を測定する場合は、一つの観察光学系に対して標本を回転させる必要があり、測定に時間がかかることになる。また、標本によっては、時間の経過によって形状が変形したり、標本を回転させると重力の影響によって形状が変形したりして、正確な立体的形状を測定できない場合がある。

したがって、かかる観点に鑑みてなされた本発明の目的は、物体の正確な立体的形状情報を迅速に取得可能な撮像装置を提供することにある。

上記目的を達成する本発明に係る撮像装置は、
物体を異なる方向から観察する複数の観察部と、
画像処理部と、を備え、
前記複数の観察部の各々は、対物レンズと、レンズアレイと、撮像素子とを備え、前記物体で変調された光を前記対物レンズ及び前記レンズアレイを経て前記撮像素子で受光して位相差を有する複数の画像信号を出力し、
前記画像処理部は、前記複数の観察部からの前記画像信号に基づいて、前記物体の形状を共通の基準点からの、前記複数の観察部に対応する方向からそれぞれ見た前記物体の物点までの相対的な距離として測定する、ものである。

前記レンズアレイは、前記物体の像の結像位置に配置され、
前記撮像素子は、前記レンズアレイの焦点位置に配置されるとよい。

前記レンズアレイは、前記物体の像を再結像するように配置され、
前記撮像素子は、前記レンズアレイによる前記物体の像の再結像位置に配置されてもよい。

前記複数の観察部は、前記対物レンズの物体側の焦点位置が前記基準点に位置決めされるとよい。

前記基準点となるマーカを投影する投影部をさらに備えるとよい。

前記投影部は、前記複数の観察部のうち一の観察部の前記対物レンズを経て、当該対物レンズの物体側の焦点位置に前記マーカを投影するとよい。

前記基準点は、観察領域に配置される散乱体により設定されてもよい。

前記複数の観察部は、前記物体を蛍光観察して形状を測定してもよい。

本発明によれば、物体の正確な立体的形状情報を迅速に取得可能な撮像装置を提供することができる。

第１実施の形態に係る撮像装置としての顕微鏡装置の要部の概略構成図である。図１のカメラ部の部分拡大断面図である。図２Ａの一対のフォトディテクタの拡大平面図である。図１のマーカの一例を示す平面図である。マーカの投影位置の説明図である。第２実施の形態に係る撮像装置としての顕微鏡装置の要部の概略構成を示す外観図である。第３実施の形態に係る撮像装置としての顕微鏡装置の要部の概略構成を示す外観図である。図６の支持体の一例を示す概略斜視図である。第４実施の形態に係る撮像装置としての顕微鏡装置の要部の概略構成を示す外観図である。第４実施の形態に係る撮像装置としての顕微鏡装置の要部の概略構成を示す外観図である。第５実施の形態に係る撮像装置としての顕微鏡装置の要部の概略構成図である。第６実施の形態に係る撮像装置の要部の概略構成図である。図１のカメラ部の変形例の説明図である。図１のカメラ部の他の変形例の説明図である。図１２Ａのカラーフィルタの配列例の説明図である。図１のカメラ部のさらに他の変形例の説明図である。図１の開口絞りの変形例の説明図である。

以下、本発明の実施の形態について、図を参照して説明する。

（第１実施の形態）
図１は、第１実施の形態に係る撮像装置としての顕微鏡装置の要部の概略構成図である。本実施の形態に係る顕微鏡装置は、被検物（物体）１０の上部を観察する観察部１００Ａと、被検物１０の下部を観察する観察部１００Ｂと、画像処理部２００と、顕微鏡装置の全体の動作を制御する制御部３００とを備える。図１では、説明の便宜上、観察部１００Ａの光軸方向をｚ軸方向、ｚ軸方向と直交する紙面内方向をｘ軸方向、ｚ軸方向及びｘ軸方向と直交する紙面垂直方向をｙ軸方向として示している。

観察部１００Ａは、観察光学系１１０と、落射型照明光学系１３０とを備える。観察光学系１１０は、対物レンズ１１１と、結像レンズ１１２と、カメラ部１１３とを備える。対物レンズ１１１と結像レンズ１１２との間は、ピントの合った被検物からの光束がコリメートされる、いわゆる無限遠補正光学系である。ピント調整は、手動により又は制御部３００により自動的に、観察部１００Ａの全体又は対物レンズ１１１のみを、微動機構１１４を介して対物レンズ１１１の光軸方向に移動させて行われる。その際の移動量は、微動機構１１４に設けられた例えばリニアスケール等の移動量検出部で読み取られて制御部３００に記憶される。

カメラ部１１３は、ライトフィールドカメラを構成するもので、マイクロレンズアレイ１１５と撮像素子１１６とを備える。図１では、マイクロレンズアレイ１１５が結像レンズ１１２の像側焦点位置に配置され、撮像素子１１６がマイクロレンズアレイ１１５の焦点位置に配置されている、いわゆるPlenoptic 1.0タイプの場合を例示している。

図２Ａは、カメラ部１１３のｚ−ｘ平面における部分拡大断面図である。マイクロレンズアレイ１１５は、ｘ軸方向及びｙ軸方向に２次元的に配列された多数のマイクロレンズ１１５ａを有する。隣接するマイクロレンズ１１５ａ間は、ｚ軸方向に延在する遮光壁１１５ｂにより遮光されている。撮像素子１１６は、各マイクロレンズ１１５ａに対応する一対（２個）のフォトディテクタ１１６ａ、１１６ｂを有する。フォトディテクタ１１６ａ、１１６ｂは、ｘ軸方向に分離されている。撮像素子１１６の表面（受光面）には、ｘ軸方向に隣接するフォトディテクタ間に、ｙ軸方向に延在して遮光膜１１７が形成されている。図２Ｂは、一対のフォトディテクタ１１６ａ、１１６ｂを、ｚ軸方向から見た拡大平面図を示している。

図１において、落射型照明光学系１３０は、光源（白色光源）１３１と、コレクタレンズ１３２と、シャッタ１３３と、開口絞り１３４と、視野レンズ１３５と、ハーフミラー１３６とを備える。ハーフミラー１３６は、対物レンズ１１１と結像レンズ１１２との間の観察光学系１００の光路中に傾斜して配置されている。光源１３１から射出された照明光は、コレクタレンズ１３２、シャッタ１３３、開口絞り１３４及び視野レンズ１３５を経てハーフミラー１３６に入射される。ハーフミラー１３６に入射された照明光は、該ハーフミラー１３６で反射されて対物レンズ１１１を経て被検物１０に落射照明される。

観察部１００Ｂは、観察部１００Ａと同様に構成されるので、観察部１００Ａと同一構成要素には同一参照符号を付して説明を省略する。図１では、観察部１００Ａ及び１００Ｂが、それぞれの対物レンズ１１１の光軸がほぼ一致して配置されている。

被検物１０は、上下両側から観察可能なプレパラートやシャーレ等の支持体１１に保持されている。支持体１１は、上下両側から観察可能に顕微鏡ステージに載置される。

本実施の形態に係る顕微鏡装置において、観察部１００Ａの光源１３１からの照明光によって被検物１０が照明されると、被検物１０が透明に近い物体であれば、照明光は被検物１０を透過して変調されて、反対側の観察部１００Ｂの対物レンズ１１１に入射する。観察部１００Ｂの対物レンズ１１１に入射した被検物１０からの変調光は、当該観察部１００Ｂのハーフミラー１３６を透過して結像レンズ１１２によりカメラ部１１３に被検物１０の像を形成する。被検物１０が不透明な物体の場合は、照明光は被検物１０で反射・散乱されて変調されて、観察部１００Ａの対物レンズ１１１に入射して、当該観察部１００Ａのハーフミラー１３６を透過して結像レンズ１１２によりカメラ部１１３に被検物１０の像を形成する。

同様に、観察部１００Ｂの光源１３１からの照明光によって被検物１０が照明されると、被検物１０が透明に近い物体であれば、照明光は被検物１０を透過して変調されて、反対側の観察部１００Ａの対物レンズ１１１に入射する。観察部１００Ａの対物レンズ１１１に入射した被検物１０からの変調光は、当該観察部１００Ａのハーフミラー１３６を透過して結像レンズ１１２によりカメラ部１１３に被検物１０の像を形成する。被検物１０が不透明な物体の場合は、照明光は被検物１０で反射・散乱されて変調されて、観察部１００Ｂの対物レンズ１１１に入射して、当該観察部１００Ｂのハーフミラー１３６を透過して結像レンズ１１２によりカメラ部１１３に被検物１０の像を形成する。

画像処理部２００は、観察部１００Ａの撮像素子１１６の出力に基づいて、観察部１００Ａによる被検物１０の形状を測定する。同様に、画像処理部２００は、観察部１００Ｂの撮像素子１１６の出力に基づいて、観察部１００Ｂによる被検物１０の形状を測定する。そして、画像処理部２００は、観察部１００Ａ及び１００Ｂによるそれぞれの形状測定結果から被検物１０の全体の形状を測定する。

本実施の形態に係る顕微鏡装置では、画像処理部２００において被検物１０の形状を測定するため、観察部１００Ａ及び１００Ｂに対して、光軸方向（z軸）の距離と、ｘ軸方向及びｙ軸方向の位置との基準となる共通の基準点が設定される。そのため、例えば観察部１００Ａの落射型照明光学系１３０は、開口絞り１３４と視野レンズ１３５との間の照明光路中にマーカ１３７を挿脱可能に構成される。マーカ１３７は、例えば図３に光軸方向から見た平面図を示すように、十字状のマークを有している。

マーカ１３７は、被検物１０の形状測定に先立って、観察部１００Ａの落射型照明光学系１３０に挿入され、そのマーカ像が観察部１００Ａの対物レンズ１１１により、当該対物レンズ１１１の物体側の焦点位置に投影される。図４に示すように、マーカ像の投影位置Ｐは、マーカ１３７の光軸方向の位置を調整することで、被検物１０の近傍で被検物１０の光軸方向の厚さのほぼ中間とするのが好ましい。

観察部１００Ａからマーカ像を所望の位置に投影したら、そのマーカ像に観察部１００Ｂのピントを合わせる。これにより、観察部１００Ａ及び１００Ｂをそれぞれの対物レンズ１１１の物体側の焦点位置に位置決めされる。制御部３００は、ピントが合った観察部１００Ａ及び１００Ｂのそれぞれの対物レンズ１１１のｚ軸方向の位置を移動量検出部上で０（同一の点）として基準点を設定し、その基準点を記憶する。なお、基準点は、マーカ１３７を観察部１００Ｂの落射型照明光学系１３０に挿脱可能として、同様に設定してもよい。

基準点の設定後、被検物１０の形状測定にあたっては、先ず、観察部１００Ａ及び１００Ｂのそれぞれのピントを被検物１０に合わせる。制御部３００は、ピントが合った観察部１００Ａ及び１００Ｂのそれぞれの移動量検出部の値を記憶する。次に、制御部３００は、観察部１００Ａ及び１００Ｂにより被検物１０を同時に撮影する。その際、照明光によってフレア等が発生する場合、制御部３００は、落射型照明光学系１３０内のシャッタ１３３を制御して、観察部１００Ａ及び１００Ｂの照明光を瞬時に切り替えて、順次撮影してもよい。その後、制御部３００は、被検物１０の撮影によって観察部１００Ａ及び１００Ｂのそれぞれの撮像素子１１６から出力される信号に基づいて被検物１０の形状を測定する。

ここで、観察部１００Ａ及び１００Ｂのそれぞれのカメラ部１１３は、マイクロレンズアレイ１１５の焦点位置に撮像素子１１６の受光面が位置している。そのため、各マイクロレンズ１１５ａに対応する一対のフォトディテクタ１１６ａ、１１６ｂの受光面には、対物レンズ１１１の射出瞳の像が結像される。画像処理部２００は、各撮像素子１１６について各一対のフォトディテクタから取得した画像の差から画面全体について視差を算出する。そして、画像処理部２００は、得られた視差を、下式により基準点からの光軸方向の距離Δｚに変換する。これにより、画像処理部２００は、被検物１０の全体のデプスマップ（３次元情報）を算出して、形状測定を終了する。

ただし、
β：対物レンズの倍率
ＮＡ：対物レンズの開口数
ｘ：結像面上での周辺光束の光軸からのずれ量

本実施の形態に係る顕微鏡装置によれば、観察部１００Ａ及び１００Ｂにより被検物１０を上下の２方向から撮影して、被検物１０の形状を基準点からの相対的な距離として測定するようにしたので、被検物１０の正確な立体的形状情報を迅速に取得することができる。

（第２実施の形態）
図５は、第２実施の形態に係る撮像装置としての顕微鏡装置の要部の概略構成を示す外観図である。本実施の形態に係る顕微鏡装置は、被検物（物体）１０を下部方向及び斜め上部の２方向の合計３方向から観察する３つの観察部１００Ｃ、１００Ｄ及び１００Ｅを備える点が第１実施の形態と異なる。

観察部１００Ｃ、１００Ｄ及び１００Ｅの各々は、第１実施の形態における観察部１００Ａと同様に、観察光学系１１０及び落射型照明光学系１３０を有して構成され、それらの少なくとも１つ（例えば観察部１００Ｃ）の落射型照明光学系１３０はマーカの投影機能を有する。観察部１００Ｃ、１００Ｄ及び１００Ｅは、それぞれの光軸方向に移動でき、被検物１０にピントを合わせることができる。それらの移動量は、それぞれ移動量検出部で読み取られて制御部３００（図１参照）に記憶される。図５では、説明の便宜上、被検物１０の下部を観察する観察部１００Ｃの光軸方向をｚ軸方向、ｚ軸方向と直交する紙面内方向をｘ軸方向、ｚ軸方向及びｘ軸方向と直交する紙面垂直方向をｙ軸方向として示している。

被検物１０は、例えば透明なガラス製の三角柱の支持体１２の内部に液体とともに封入される。支持体１２は、三角柱の各面が観察部１００Ｃ、１００Ｄ及び１００Ｅの光軸方向と直交するように配置される。

本実施の形態に係る顕微鏡装置では、例えば観察部１００Ｃから被検物１０のある部分の表面にマーカを投影する。次に、観察部１００Ｄ及び１００Ｅのピントを、投影されたマーカの像に合わせる。これにより、観察部１００Ｃ、１００Ｄ及び１００Ｅをそれぞれの対物レンズの物体側の焦点位置に位置決めされる。制御部３００は、ピントが合った観察部１００Ｃ、１００Ｄ及び１００Ｅのｚ軸方向の位置を移動量検出部上で０（同一の点）として基準点を設定し、その基準点を記憶する。その後、第１実施の形態と同様にして、観察部１００Ｃ、１００Ｄ及び１００Ｅのそれぞれのピントを被検物１０に合わせて被検物１０を同時に撮影する。そして、画像処理部２００（図１参照）は、被検物１０の撮影によって観察部１００Ｃ、１００Ｄ及び１００Ｅのそれぞれの撮像素子１１６（図１参照）から出力される信号に基づいて、被検物１０の全体の形状を測定する。

本実施の形態に係る顕微鏡装置によれば、観察部１００Ｃ、１００Ｄ及び１００Ｅにより被検物１０を３方向から撮影して、被検物１０の形状を基準点からの相対的な距離として測定するようにしたので、被検物１０のより正確な立体的形状情報を迅速に取得することができる。

（第３実施の形態）
図６は、第３実施の形態に係る撮像装置としての顕微鏡装置の要部の概略構成を示す外観図である。本実施の形態に係る顕微鏡装置は、第２実施の形態に係る顕微鏡装置において、観察部１００Ｃ、１００Ｄ及び１００Ｅの各々の照明光学系を、落射型照明光学系１３０に代えて透過型照明光学系１４０として構成して、対応する観察光学系１１０と被検物１０を介して対向して配置したものである。透過型照明光学系１４０は、暗視野照明と明視野照明とを切換可能に公知の光学素子で構成され、必要に応じてシャッタも挿入される。

観察部１００Ｃ、１００Ｄ及び１００Ｅの各々の観察光学系１１０は、被検物１０に対してピント合わせ可能に、対物レンズの光軸方向に移動可能に構成される。その際の移動量は移動量検出部で読み取られて、制御部３００（図１参照）に記憶される。

被検物１０は、例えば図７に概略斜視図を示すように、透明なガラス製の六角柱の支持体１３の一端部に形成された容器部１３ａに液体とともに収容される。支持体１３は、他端部が無垢状に形成され、そのほぼ中心に、例えば直径０．１μｍ程度の球体の気泡からなる微小散乱体１４が形成されている。

本実施の形態に係る顕微鏡装置では、先ず、支持体１３の微小散乱体１４を顕微鏡観察領域のほぼ視野中心に位置決めして、例えば観察部１００Ｃに対応する透過型照明光学系１４０により微小散乱体１４を暗視野照明する。そして、透過型照明光学系１４０に対応する観察光学系１１０の物体側の焦点位置を微小散乱体１４に合わせて、そのときの観察光学系１１０の光軸方向の位置を移動量検出部で読み取って制御部３００に記憶する。同様にして、観察部１００Ｄ及び１００Ｅについても、対応する透過型照明光学系１４０により微小散乱体１４を暗視野照明して、それぞれの観察光学系１１０の物体側の焦点位置を微小散乱体１４に合わせて、そのときの光軸方向の位置を移動量検出部で読み取って制御部３００に記憶する。そして制御部３００は、ピントが合った観察部１００Ｃ、１００Ｄ及び１００Ｅの光軸方向の移動量検出部上での位置を０（同一の点）として基準点を設定する。

その後、支持体１３をｘ−ｙ平面上（顕微鏡ステージ）でスライドさせて、支持体１３に収容されている被検物１０を顕微鏡観察領域のほぼ視野中心に位置決めする。そして、第１実施の形態と同様にして、被検物１０を対応する透過型照明系１４０により明視野照明して、観察部１００Ｃ、１００Ｄ及び１００Ｅのそれぞれのピントを被検物１０に合わせて同時に撮影する。その際、照明光によりフレア等が発生する場合、制御部３００は、透過型照明光学系１４０内のシャッタを制御して、観察部１００Ｃ、１００Ｄ及び１００Ｅの照明光を瞬時に切り替えて、順次撮影してもよい。そして、画像処理部２００（図１参照）は、被検物１０の撮影によって観察部１００Ｃ、１００Ｄ及び１００Ｅのそれぞれの撮像素子１１６（図１参照）から出力される信号に基づいて、第１実施の形態の場合と同様にして、被検物１０の全体の形状を測定する。

本実施の形態に係る顕微鏡装置によれば、第２実施の形態の場合と同様に、被検物１０のより正確な立体的形状情報を迅速に取得することができる。また、被検物１０を支持する支持体１３に微小散乱体１４を形成して基準点を設定するようにしたので、基準点を設定するためのマーカを投影する必要がなく、照明光学系の構成を簡単にできる。

（第４実施の形態）
図８Ａ及び図８Ｂは、第４実施の形態に係る撮像装置としての顕微鏡装置の要部の概略構成を示す外観図である。本実施の形態に係る顕微鏡装置は、被検物（物体）１０を６方向から観察する６つの観察部１００Ｆ〜１００Ｋを備える。観察部１００Ｆ〜１００Ｋの各々は、第１実施の形態における観察部１００Ａと同様に、観察光学系１１０及び落射型照明光学系１３０を有して構成される。ただし、本実施の形態において、落射型照明光学系１３０は、いずれもマーカの投影機能を有していない。

観察部１００Ｆ〜１００Ｋは、それぞれの光軸方向に移動でき、被検物１０にピントを合わせることができる。それらの移動量は、それぞれ移動量検出部で読み取られて制御部３００（図１参照）に記憶される。図８Ａ及び図８Ｂでは、説明の便宜上、被検物１０の下部を観察する観察部１００Ｆの光軸方向をｚ軸方向、ｚ軸方向と直交する方向をｘ軸方向、ｚ軸方向及びｘ軸方向と直交する方向をｙ軸方向として、ｚ−ｘ平面内での観察部１００Ｆ〜１００Ｉの配置を図８Ａに示し、ｚ−ｙ平面内での観察部１００Ｆ、１００Ｈ、１００Ｊ、１００Ｋの配置を図８Ｂに示している。

被検物１０は、例えば透明なガラス製の立方体からなる支持体１５に液体とともに収容される。支持体１５には、連結体１６を介して支持体１５と同じ材質及び大きさの立方体からなる基準点設定部材１７が連結されている。連結体１６は、支持体１５及び基準点設定部材１７の任意の辺部に結合されている。基準点設定部材１７には、ほぼ中心部に、第３実施の形態の場合と同様に、例えば直径０．１μｍ程度の球体の気泡からなる微小散乱体１８が形成されている。支持体１５及び基準点設定部材１７は、スライドして、顕微鏡観察領域のほぼ視野中心部に、立方体の各面が観察部１００Ｆ〜１００Ｋの光軸方向と直交するように選択的に配置される。

本実施の形態に係る顕微鏡装置では、先ず、基準点設定部材１７の微小散乱体１８を顕微鏡観察領域のほぼ視野中心に位置決めして、観察部１００Ｆ〜１００Ｋのうちの一つの観察部（例えば観察部１００Ｆ）の落射型照明光学系１３０により微小散乱体１８を暗視野照明する。その状態で、対向する観察部（例えば観察部１００Ｈ）の観察光学系１１０の物体側の焦点位置を微小散乱体１８に合わせるピント合わせを行って、そのときの観察光学系１１０の光軸方向の位置を移動量検出部で読み取って制御部３００に記憶する。次に、観察部１００Ｈの落射型照明光学系１３０により微小散乱体１８を暗視野照明して、対向する観察部１００Ｆのピント合わせを同様に行って、そのときの観察部１００Ｆの観察光学系１１０の光軸方向の位置を移動量検出部で読み取って制御部３００に記憶する。他の対向する観察部についても同様にピント合わせを行って、そのときの光軸方向の位置を移動量検出部で読み取って制御部３００に記憶する。そして制御部３００は、ピントが合った観察部１００Ｆ〜１００Ｋの光軸方向の移動量検出部上での位置を０（同一の点）として基準点を設定する。

その後、支持体１５及び基準点設定部材１７をｘ−ｙ平面上（顕微鏡ステージ）でスライドさせて、支持体１５に収容されている被検物１０を顕微鏡観察領域のほぼ視野中心に位置決めする。そして、第１実施の形態と同様に、観察部１００Ｆ〜１００Ｋの落射型照明光学系１３０により被検物１０を明視野照明して、観察部１００Ｆ〜１００Ｋのそれぞれのピントを被検物１０に合わせて同時に撮影する。そして、画像処理部２００（図１参照）は、被検物１０の撮影によって観察部１００Ｆ〜１００Ｋのそれぞれの撮像素子１１６（図１参照）から出力される信号に基づいて、第１実施の形態の場合と同様にして、被検物１０の全体の形状を測定する。

本実施の形態に係る顕微鏡装置によれば、観察部１００Ｆ〜１００Ｋにより被検物１０を６方向から撮影して、被検物１０の形状を基準点からの相対的な距離として測定するようにしたので、被検物１０のより正確な立体的形状情報を迅速に取得することができる。また、基準点を設定するためのマーカを投影する必要がないので、照明光学系の構成を簡単にできる。

（第５実施の形態）
図９は、第５実施の形態に係る撮像装置としての顕微鏡装置の要部の概略構成図である。本実施の形態に係る顕微鏡装置は、第１実施の形態に係る顕微鏡装置において、被検物１０の蛍光の立体的形状をも測定可能としたものである。以下、第１実施の形態と異なる点について説明する。

本実施の形態において、観察部１００Ａ及び１００Ｂは、それぞれ励起光照明光学系１５０を備える。励起光照明光学系１５０は、励起用光源１５１と、コレクタレンズ１５２と、シャッタ１５３と、開口絞り１５４と、視野レンズ１５５と、励起フィルタ１５６と、ダイクロイックミラー１５７とを備える。励起フィルタ１５６は、励起用光源１５１から放射された光のうち、被検物１０を蛍光発光させる励起光を透過する。ダイクロイックミラー１５７は、対物レンズ１１１と結像レンズ１１２との間の観察光学系１００の光路中に傾斜して配置され、励起光を対物レンズ１１１に向けて反射させ、被検物１０で発光した蛍光や光源１３１からの照明光等のその他の光は透過する。また、観察光学系１００には、結像レンズ１１２の物体側に励起光を吸収する吸収フィルタ１５８が配置されている。

本実施の形態においては、第１実施の形態の場合と同様にして、観察部１００Ａの落射照明光学系１３０により所望の位置にマーカ像を投影して観察部１００Ａ及び１００Ｂの基準点を設定する。基準点設定後は、励起用光源１５１から射出された励起光が、コレクタレンズ１５２、シャッタ１５３、開口絞り１５４、視野レンズ１５５、励起フィルタ１５６、ダイクロイックミラー１５７及び対物レンズ１１１を経て被検物１０に照射される。これにより、被検物１０は、蛍光を発する。その状態で、観察部１００Ａ及び１００Ｂのそれぞれのピントを被検物１０に合わせ、その際の移動量検出部の値をそれぞれ制御部３００に記憶して、被検物１０の蛍光像を同時に撮影する。その際、励起光によってフレア等が発生する場合、制御部３００は、励起光照明光学系１５０内のシャッタ１５３を制御して、観察部１００Ａ及び１００Ｂの励起光を瞬時に切り替えて、蛍光像を順次撮影してもよい。その後、制御部３００は、被検物１０の蛍光撮影によって観察部１００Ａ及び１００Ｂのそれぞれの撮像素子１１６から出力される信号に基づいて被検物１０の蛍光による形状を測定する。

本実施の形態に係る顕微鏡装置によれば、観察部１００Ａ及び１００Ｂにより被検物１０の蛍光像を上下の２方向から撮影して、被検物１０の蛍光による形状を基準点からの相対的な距離として測定するようにしたので、被検物１０の蛍光による正確な立体的形状情報を迅速に取得することができる。

（第６実施の形態）
図１０は、第６実施の形態に係る撮像装置の要部の概略構成図である。本実施の形態に係る撮像装置は、３台のカメラ１０１Ａ、１０１Ｂ及び１０１Ｃを有する。カメラ１０１Ａ、１０１Ｂ及び１０１Ｃは、それぞれ第１実施の形態における観察部１００Ａの観察光学系１１０と同様に、それぞれ対物レンズを含むライトフィールドカメラとして構成されて、画像処理部２０１に接続される。画像処理部２０１は、撮像装置の全体の動作を制御する制御部３０１に接続される。

本実施の形態に係る撮像装置では、３台のカメラ１０１Ａ、１０１Ｂ及び１０１Ｃのピントを、被検物やターゲット物体等の被写体２０に合わせて被写体２０を同時に撮影する。そして、画像処理部２０１において、カメラ１０１Ａ及び１０１Ｂで撮影した画像の双方に写っている被写体２０の一点の距離を視差画像から測定する。同様に、カメラ１０１Ｂ及び１０１Ｃ、カメラ１０１Ｃ及び１０１Ａについても、それぞれ撮影した画像の双方に写っている被写体２０の一点の距離を視差画像から測定する。そして、それぞれ測定した距離に基づいて、３台のカメラ１０１Ａ、１０１Ｂ及び１０１Ｃの位置関係、つまり基準点を画像処理部２０１で計算する。

次に、３台のカメラ１０１Ａ、１０１Ｂ及び１０１Ｃで各々撮影した視差画像に基づいて基準点からの相対的な距離を示すデプスマップを作成する。その後、作成した３つのデプスマップを合成して、被写体２０の全体のデプスマップ（３次元情報）を算出することで、被写体２０の全体の形状を測定する。

本実施の形態に係る撮像装置によれば、３台のカメラ１０１Ａ、１０１Ｂ及び１０１Ｃにより被写体２０を３方向から撮影して、被写体２０の形状を基準点からの相対的な距離として測定するようにしたので、被写体２０のより正確な立体的形状情報を迅速に取得することができる。

なお、本発明は、上記実施の形態にのみ限定されるものではなく、幾多の変形または変更が可能である。例えば第１実施の形態では、被検物１０を明視野照明したが、暗視野照明とすることも可能である。また、第１〜５実施の形態において、各観察部の対物レンズの射出瞳に波長板を挿入して位相差顕微鏡とすることも可能である。また、図１のカメラ部１１５は、撮像素子１１６として、マイクロレンズアレイ１１５の１つのマイクロレンズに対して、図１１に示すようにｘ軸方向及びｙ軸方向に分離した４つのフォトディテクタ１１６ａ〜１１６ｄを配置してもよく、さらに多くのフォトディテクタを配置してもよい。

また、図１に示したカメラ部１１３は、図１２Ａに示すようにマイクロレンズアレイ１１５と撮像素子１１６との間に、例えばＲＧＢのカラーフィルタ１１８を１つの色が１つのマイクロレンズ１１５ａに対応するように配置して、カラーの立体的形状情報を得ることもできる。この場合、カラーフィルタ１１８は、例えば図１２Ｂに示すようにベイヤー配列とすることもできるし、他の公知の配列とすることもできる。

また、カメラ部１１３は、マイクロレンズアレイ１１５及び撮像素子１１６の配置がPlenoptic 1.0タイプの場合を例示したが、これに限らない。例えば、図１３に示すように、マイクロレンズアレイ１１５及び撮像素子１１６は、結像レンズ１１２により結像される像をマイクロレンズアレイ１１５により撮像素子１１６に再結像するように配置する、いわゆるPlenoptic 2.0タイプでも同様の形状測定が可能である。

さらに、図１に示した落射型照明光学系１３０の開口絞り１３４は、例えば図１４に示すように、光軸対称に２個の光透過部１３４ａ及び１３４ｂを有して構成することもできる。図６の透過型照明光学系１４０の開口絞りや図９の励起光照明光学系１５０の開口絞り１５４についても、図１４と同様に構成することができる。また、第１実施の形態、第２実施の形態、第５実施の形態において、基準点を設定するためのマーカは独立した投影光学系で投影するようにしてもよい。また、第２〜４実施の形態においても、第５実施の形態と同様に、励起光照明光学系を設けることにより、被検物１０の蛍光の立体的形状を測定することができる。

また、上述した実施の形態では、画像処理部と制御部とを分離して設けたが、画像処理部は制御部と一体に構成することもできる。

１０被検物
１４、１８微小散乱体
２０被写体
１００Ａ〜１００Ｋ観察部
１０１Ａ〜１０１Ｃカメラ
１１０観察光学系
１１１対物レンズ
１１５マイクロレンズアレイ
１１６撮像素子
１３０落射型照明光学系
１３７マーカ
１４０透過型照明光学系
１５０励起光照明光学系
２００、２０１画像処理部
３００、３０１制御部

Claims

物体を異なる方向から観察する複数の観察部と、
画像処理部と、を備え、
前記複数の観察部の各々は、対物レンズと、レンズアレイと、撮像素子とを備え、前記物体で変調された光を前記対物レンズ及び前記レンズアレイを経て前記撮像素子で受光して位相差を有する複数の画像信号を出力し、
前記画像処理部は、前記複数の観察部からの前記画像信号に基づいて、前記物体の形状を共通の基準点からの、前記複数の観察部に対応する方向からそれぞれ見た前記物体の物点までの相対的な距離として測定する、
撮像装置。
前記レンズアレイは、前記物体の像の結像位置に配置され、
前記撮像素子は、前記レンズアレイの焦点位置に配置されている、
請求項１に記載の撮像装置。
前記レンズアレイは、前記物体の像を再結像するように配置され、
前記撮像素子は、前記レンズアレイによる前記物体の像の再結像位置に配置されている、
請求項１に記載の撮像装置。
前記複数の観察部は、前記対物レンズの物体側の焦点位置が前記基準点に位置決めされる、
請求項１に記載の撮像装置。
前記基準点となるマーカを投影する投影部をさらに備える、
請求項４に記載の撮像装置。
前記投影部は、前記複数の観察部のうち一の観察部の前記対物レンズを経て、当該対物レンズの物体側の焦点位置に前記マーカを投影する、
請求項５に記載の撮像装置。
前記基準点は、観察領域に配置される散乱体により設定される、
請求項１に記載の撮像装置。
前記複数の観察部は、前記物体を蛍光観察して形状を測定する、
請求項１に記載の撮像装置。