JP6888779B2 - 多面画像取得システム、観察装置、観察方法、スクリーニング方法、および被写体の立体再構成方法 - Google Patents

Description

本発明は多面画像取得システム、観察装置、観察方法、スクリーニング方法、および被写体の立体再構成方法に係り、特に、細胞観察を初めとした三次元的な構造をもつ被写体の観察等において、多方向から観察した被写体の情報を一度に取得し、迅速な構造把握を可能とする、多面画像取得システム等に関するものである。

がん細胞を用いた研究や、ｉＰＳ細胞、ＥＳ細胞の研究、あるいはニューロスフェア等を用いる脳研究、さらに移植関連領域の研究等において、三次元的に集積した細胞塊、あるいは積層する細胞集合が、二次元平面的に増殖する細胞と比べて、より実際の生体内に存在する細胞に近い性質を示すことが多数報告されている（参考文献１）。また、このような三次元的な立体構造をもつ細胞集合の形態や機能を観察するための方法として、蛍光を用いる観察技術の有効性が広く認識されている（参考文献２）。
参考文献：
１）小野幸輝他著、「化学工業」66(11): 34-37 (2015).
２）Sasaki, A., et al., Human Cell, 29:37-45 (2016).

しかしながら、三次元構造をもつ細胞集塊の集合が極めて多数存在している場合（たとえばマルチウェルプレートのスキャニング等においても同様）、従来型の顕微鏡やレーザー顕微鏡、デジタルスキャナー等を用いて蛍光観察を行う際に、深さ方向（Ｚ軸方向）にそれぞれの細胞集塊の断層写真を順に撮る断層撮像には莫大な時間を要し、多量に存在する細胞塊の集合を迅速に評価するスクリーニング等は実際上困難である。

デコンボリューション技術を使う方法も提案されてきたが、実際に長時間の演算処理が必要となる割には効果が十分とはいえない。また、リアルタイムで画像取得が可能なリアルタイムデコンボリューション技術も提供されているが、三次元撮影に十分対応する方法とはいえない。類似した状況は本例に限らず、三次元観察を必要とするさまざまな局面において、喫緊の課題となっている。

また、断層撮像においては、同一方向から多数回の蛍光励起光を照射しなければならないことによる蛍光退色がある。たとえば、細胞塊下部から断層写真を撮り始めた場合、細胞塊上部に至った頃には蛍光が退色して十分なクオリティの映像が取得できない等の問題も指摘されている。多数回照射による蛍光退色の問題を改善することを目的としたライトシート（Ｌｉｇｈｔ Ｓｈｅｅｔ）顕微鏡も提供されている。しかしこれを用いた観察では特殊容器を必要とするなど、用途が限定される。実際、通常広く用いられている培養ディッシュや、マルチウェルタイプのマイクロプレートを用いた多数の細胞群のスクリーニングには利用しにくい等の欠点がある（参考文献３）。

さらに、異なる角度から複数のレンズを用いて観察する技術も発表されているが、水浸レンズを使用しなければならない等の制約があって、一点に集中した観察に限られ、迅速に多量の細胞を観察するには不向きである（参考文献３）。このように三次元的な構造物を、複数の観察装置（レンズ）を用いて多方向から観察しようとする従来技術は、非常に高価である上、観察に大きな制約が伴う。

さて、本願発明者らは、水溶液中の生きた細胞塊（スフェロイド）の蛍光観察にライトフィールドカメラ（参考文献４、５、６）を適用し、単一細胞の蛍光イメージングを行うことに２０１３年に初めて成功した。同時期に諸外国でも蛍光観察と組み合わせる取り組みが行われており、最近は、わずかではあるが、論文として報告され始めている状況である（参考文献７）。
参考文献：
３） Weber, M. et al., Methods Cell Biol. 123: 193-215 (2014).
４）ヨーロッパ特許ＥＰ２２４４４８４号
５）米国特許ＵＳ８６１９１７７号
６）特許第５４１１３５０号
７）Perez, CC. et al., J. Biomed. Optics 20(9), 096009 (2015). DOI: 10.1117/1.JBO.20.9.096009

これまで、細胞の三次元画像観察等については、特許出願による技術的な提案もなされている。たとえば後掲特許文献１には、操作者の負担を軽減しながら、細胞内の特定の領域における蛍光を正確に精度よく定量し、たんぱく質の局在や移行を正確に検出・特定することの可能な三次元細胞画像解析システムが開示されている。

特開２０１１−２７５４３号公報「三次元細胞画像解析システム及びそれに用いる三次元細胞画像解析装置」（特許第５５３０１２６号公報） 特許第４１１８９３５号公報「被処理物体多方向電磁波照射系、レーザー加工装置および紫外線硬化型樹脂接着加工装置」（対応特許：ヨーロッパ特許第１８５４５７６号，米国特許第７７２３７０３号） 特許第４８８５４８９号公報「寸法測定装置」 米国特許第７７２４４５６号公報「MULTIDIRECTIONAL SIMULTANEOUS OBSERVATION OPTICAL SYSTEM, IMAGE READER,etc. <多方向同時観察光学系、画像読み取り装置、画像読み取り方法および多方向同時観察光学系複合体>」（対応特許：ヨーロッパ特許第１７２０００３号）

しかし、上述したとおり、三次元構造をもつ細胞集塊の集合が極めて多数存在している場合、従来型の顕微鏡、デジタルスキャナー等を用いて蛍光観察を行う際、深さ方向にそれぞれの細胞集塊の断層写真を撮っていたのでは莫大な時間を要し、迅速な評価を行うことが実際上困難である。類似した状況は本例に限らず、三次元観察を必要とするさまざまな局面において、喫緊の課題となっている。上述のとおり種々の取り組みはなされているものの、有効な解決策は未だに得られていない。

ところで、出願人の一者は以前、主に集積回路、工業製品、部品の検査等に有効なプリズム・Ｃｈｒｏｖｉｔ（登録商標、以下、「クロビット型プリズム」ともいう。）を発明した（特許文献２、３、４）。これは、ガラスの屈折率を利用して、焦点距離の違う各面の長さを光学的に同一焦点距離、同一倍率とするための光学素子であり、プリズムを使用して光路の折り曲げを組み合わせることで多方向から観察した立体的な被写体の情報を一方向に集約し、一台の画像カメラで複数の面を同時に画像処理することのできるものである。換言すれば、一または二以上のプリズムから構成されていて、三次元構造を有する被写体の観察対象である各方向の面を一方向に集約するよう形成された光路を有し、各面のワーキングディスタンスを同一にするためガラスと空気の屈折率の違いを利用して光路長補正がなされる多面同時観察光学系といえる。

クロビット型プリズムの用途は従来、半導体・電子・電機を初めとする製造業分野であり、これを細胞観察等の医学・生化学分野に応用することは全くなされていない状況である。しかしながら、かかる多面同時観察光学系を用いれば、細胞観察を初めとした三次元構造の観察、評価を必要とする全ての分野において、迅速な観察、評価を行えるようになる可能性がある。

そこで本発明が解決しようとする課題は、かかる従来技術の問題点をなくし、また従来技術の状況を踏まえて、細胞観察を初めとした三次元的な構造をもつ被写体の観察等において、多方向から観察した被写体の情報を一度に取得し、迅速な構造把握を可能とする、多面画像取得システム、観察装置、観察方法等を提供することである。

本発明は、以上のような背景で考案されたものであり、三次元的な構造をもつ被写体を複数の異なる方向から観察した際に得られる画像情報を、精度の高いプリズムを介して一方向に集約し、顕微鏡やデジタルスキャナー、その他適切な観察装置等の一つの観察装置に導くことにより、多方向から観察した被写体の情報を一度に取得すること、そして迅速に構造把握可能ならしめることを目的とする。そのために、被写体から観察装置までの光路長が観察方向により異なることによる焦点ボケを、クロビット型プリズム等の適切なプリズムを単独または複数組み合わせて用いることによって、観察装置の同一焦点面に結像させ、焦点ボケの発生を改善することを、基本とする。

しかし、クロビット型プリズムを用いた多方向観察にこれを応用し、その中から観察方向別に焦点のあった画像を抜き出して立体再構成する作業は、煩雑でありしかも多くの時間を要することである。たとえば、動く対象物の立体構造を瞬時に把握しようとするような場合や、極めて多数の観察対象をできる限り短時間でスクリーニングしようとするような場合、あるいは複数の蛍光色での光学情報を明視野情報と共に取得しようとするような場合には、撮影時間やデータ処理時間、データ量が膨大となるため、不向きである。

本願発明者は、この問題を検討した結果、クロビット型プリズムとライトフィールドカメラ技術（Ｌｉｇｈｔ Ｆｉｅｌｄ Ｃａｍｅｒａ、Ｐｌｅｎｏｐｔｉｃ ｃａｍｅｒａ、全焦点カメラ）とを組み合わせることによって、異なる方向から見た被写体の、異なる焦点深度にある画像情報を、一つの観察装置を用いて一度の撮影で取得し、撮影後にはこれらの情報を自由に取り出せる構成を想到し、これによって上記課題を解決する方向に導く一つの方法を見出した。そして、このことに基づいて本発明を完成するに至った。すなわち、上記課題を解決するための手段として本願で特許請求される発明、もしくは少なくとも開示される発明は、以下の通りである。

〔１〕 一または二以上のプリズムから構成されていて、三次元構造を有する被写体の蛍光観察対象である各方向の面を一方向に集約するよう形成された光路を有し、各面のワーキングディスタンスを同一にするためガラスと空気の屈折率の違いを利用して光路長補正がなされる多面同時観察光学系（以下、「多面観察プリズム」という。）と、該多面観察プリズムを経て同一面（以下、「入射面」という。）に入射した二以上の像の焦点深度調整範囲を拡大するためのライトフィールドカメラとを備えてなり、被写体の蛍光励起および蛍光観察を該多面観察プリズムを通して行うことを特徴とする、多面画像取得システム。
〔２〕 前記多面観察プリズムは、入射光を内部で二回反射して出射する二回反射型プリズムを必要個数接合して形成されていることを特徴とする、〔１〕に記載の多面画像取得システム。
〔３〕 前記接合の境界面は全て研磨されていることを特徴とする、〔２〕に記載の多面画像取得システム。
〔４〕 前記被写体−前記多面観察プリズム−前記入射面 の軸上にある該被写体の前面像が該入射面において直接入射するよう、該多面観察プリズムには素通しの開口部が形成されていることを特徴とする、〔１〕、〔２〕、〔３〕のいずれかに記載の多面画像取得システム。

〔５〕 前記多面観察プリズムは前記開口部を一部または全部囲むように形成されていることを特徴とする、〔４〕に記載の多面画像取得システム。
〔６〕 下記（Ａ）に記載のいずれかの光学装置と組み合わせて用いることを特徴とする、〔１〕、〔２〕、〔３〕、〔４〕、〔５〕のいずれかに記載の多面画像取得システム。
（Ａ）顕微鏡、スキャナー、その他の適切な観察装置
〔７〕 下記（Ａ）に記載のいずれかの光学装置を備えることを特徴とする、〔１〕、〔２〕、〔３〕、〔４〕、〔５〕のいずれかに記載の多面画像取得システム。
（Ａ）顕微鏡、スキャナー、その他の適切な観察装置
〔８〕 前記光学装置は一基（つまり単独）であることを特徴とする、〔６〕、〔７〕のいずれかに記載の多面画像取得システム。
〔９〕 前記多面観察プリズムの被写体側に光学的に影響のない透明構造が設けられ、両者を隔離していることを特徴とする、〔１〕、〔２〕、〔３〕、〔４〕、〔５〕、〔６〕、〔７〕、〔８〕のいずれかに記載の多面画像取得システム。
〔１０〕 前記透明構造はＸＹステージであることを特徴とする、〔９〕に記載の多面画像取得システム。
〔１１〕 前記多面観察プリズムは、入射光を内部で二回反射して出射する二回反射型プリズムを必要個数接合して形成されていることにより、被写体画像が五面取得されることを特徴とする、〔１〕、〔２〕、〔３〕、〔４〕、〔５〕、〔６〕、〔７〕、〔８〕、〔９〕、〔１０〕のいずれかに記載の多面画像取得システム。

〔１２〕 前記ライトフィールドカメラを経て取得された画像の立体再構成手段を備えることを特徴とする、〔１〕、〔２〕、〔３〕、〔４〕、〔５〕、〔６〕、〔７〕、〔８〕、〔９〕、〔１０〕、〔１１〕のいずれかに記載の多面画像取得システム。
〔１３〕 〔１〕、〔２〕、〔３〕、〔４〕、〔５〕、〔６〕、〔７〕、〔９〕、〔１０〕、〔１１〕、〔１２〕のいずれかに記載の多面画像取得システムを用いた観察装置であって、蛍光観察が可能であることを特徴とする、観察装置。
〔１４〕 明視野観察用光源が前記多面観察プリズムの側方に設けられていることを特徴とする、〔１３〕に記載の観察装置。
〔１５〕 蛍光観察用の励起光源と、該励起光源による励起光の照射を介するダイクロイックミラーもしくはその他の透過／反射／分光手段か、または照射波長範囲または蛍光波長範囲を限定する手段（以下、「ダイクロイックミラー等」という。）が設けられており、励起光照射により被写体から発せられた蛍光も該ダイクロイックミラー等を介して取得され、該ダイクロイックミラー等は励起光と蛍光の光路を分けるように形成されており、かかる構成によって取得される蛍光像の明るさを増大できることを特徴とする、〔１３〕、〔１４〕のいずれかに記載の観察装置。

〔１６〕 〔１３〕、〔１４〕、〔１５〕のいずれかに記載の観察装置を用いて行うことを特徴とする、観察方法。
〔１７〕 低倍率での明視野観察により観察対象の位置を確認する第一過程、および低倍率のまま蛍光観察に切り替えて観察対象の蛍光発生有無を確認する第二過程を備えることを特徴とする、〔１６〕に記載の観察方法。
〔１８〕 前記第二過程において観察対象の蛍光発生が確認された場合に観察対象を選択する第三過程、および高倍率での観察対象の蛍光観察を行う第四過程を備えることを特徴とする、〔１７〕に記載の観察方法。
〔１９〕 前記第四過程の後に、高倍率のまま明視野観察に再度切り替えて画像取得する第五過程を備えることを特徴とする、〔１８〕に記載の観察方法。
〔２０〕 〔１３〕、〔１４〕、〔１５〕のいずれかに記載の観察装置を用いて行うことを特徴とする、スクリーニング方法。
〔２１〕 〔１〕、〔２〕、〔３〕、〔４〕、〔５〕、〔６〕、〔７〕、〔９〕、〔１０〕、〔１１〕、〔１２〕のいずれかに記載の多面画像取得システムを用いて行うことを特徴とする、被写体の立体再構成方法。

本発明の多面画像取得システム、観察装置、観察方法、スクリーニング方法、および被写体の立体再構成方法は上述のように構成されるため、これらによれば、細胞観察を初めとした三次元的な構造をもつ被写体の観察、画像取得、構造評価において、多方向から観察した被写体の画像情報を一度に取得し、迅速な構造把握、構造評価を、簡易かつ実用的な構成によって行うことができる。つまり、三次元的な構造をもつ被写体を、複数の異なる方向から観察した際に得られる画像情報を、精度の高いプリズムを介して一方向に集約し、顕微鏡やデジタルスキャナー、その他の適切な観察装置等の一つの観察装置に導くことにより、これらを可能とする。

本発明は、明視野観察、蛍光観察、いずれにも適用可能である。殊に、本発明を蛍光観察に応用すれば、蛍光の透過性を利用して、目的とする被写体の三次元情報を取得する上で有望な方法となる。つまり、プリズムを用いて補正された画像情報は、単一の蛍光顕微鏡システム、あるいはデジタルスキャナー等の光学装置（観察装置）に導入され、異なる方向から観察した被写体の画像情報がここで単一の結像面に集約的に表現されることにより、被写体の立体的な構造情報や部位依存的な機能情報を、一度の撮影で迅速に取得することができる。

本発明では、集積回路の検査等の用途に主に使用されているクロビット型プリズム技術を好適に用いることができるが、これと、単一の蛍光観察装置等とを組み合わせ、さらにライトフィールドカメラを用いて、多面同時蛍光観察あるいは多方向同時蛍光観察等を可能ならしめるものであり、また、撮影後にはこれらの情報を自由に取り出すことを可能にするものであり、従来得られなかった機能、効果を提供することができる。

本発明の多面画像取得システム等により得られた個別の画像から、三次元構造を有する被写体の立体再構成も可能であり、さまざまな応用分野が考えられる。たとえば、三次元構造を有する細胞塊（ｃｅｌｌ ｃｌｕｓｔｅｒあるいはＳｐｈｅｒｏｉｄ、ニューロスフェアあるいはオルガノノイド）が多量に存在するマルチウェルディッシュ（マイクロプレート）を蛍光を用いて高速にスクリーニングし、薬剤開発等に応用するような場合や、一方向からの観察だけでは構造に関する情報取得が不十分な複雑な三次元形態をもつ被写体を複数の蛍光波長で観察する場合、そして、生検鉗子等を用いて採取して生体外に取り出した検体の迅速な観察、あるいはまた、複雑で立体的な構造物が多数存在している領域の迅速な評価、さらには時間的に複雑に移動する被写体や三次元的に形を変えていく被写体の構造把握等にも、効果的に応用することができる。

さまざまな形を持った高層ビルが乱立する都会において、ビル群の地下階が互いに行き来が可能な一つの広いフロアーになっている場合、仮に目的とするビルの形を知っていたとしても、地下階から多数のビルの底面を見上げて目的とするビルがどれであるかを知ることは難しい。たとえば底面が三角形のビルであっても、そのまま上層階まで三角形（つまり、三角柱）のビルなのか、あるいは上層階に行くにしたがってすぼまっていく三角錐なのかについては、実際にビルの上層階まで登ってみなければわからない。しかし、いったん地上に出て、斜めの角度（たとえば４５°）からビル群を見上げれば、目的とするビルがどれであるかを多数のビル群の中から選び出すことははるかに容易である。さらに、一方向から見上げるだけでなく、四方向、あるいはさらに多数の方向から観察できれば、目的とするビルの形を選び出す精度を向上させることができるだろう。

しかし、通常多数の異なる方向から被写体を観察しようとすれば、複数の撮影装置が必要となるため煩雑であり、もし高価な蛍光顕微鏡撮影に応用しようとすれば著しく高額で大がかりな装置が必要となる。実際に、上方の二方向から斜めに顕微鏡を傾けて一つの被写体を観察する大がかりな装置も発表されているが、これを三次元蛍光観察のスタンダードである共焦点レーザー顕微鏡で行おうとすれば、装置は複雑化し、費用も莫大となる。また生きた細胞等の観察では、細胞がディッシュ中の水溶液の中にあるため、下方からガラスを介して細胞を観察する方法が一般的であり、複数の観察装置を下方に配置しようとすればさらに大がかりとなる。

これに対して本発明は、三次元構造をもつ被写体を異なる角度から観察して得られた画像情報を、クロビット型プリズムを介して一つの観察装置に導くことにより、生きた細胞の集合体等の蛍光観察にも容易に適合する方法としたものである。さらにライトフィールドカメラ技術をこれに組み合わせることで、一回の焦点合わせ作業で速やかに画像取得を行うことを可能にする。

実際に、細胞集塊（ｃｅｌｌ ｃｌｕｓｔｅｒｓ）や一定の大きさを有する組織（ｌｉｖｉｎｇ ｔｉｓｓｕｅ）あるいは生体のまるごと観察（ｗｈｏｌｅ ｂｏｄｙ ｏｂｓｅｒｖａｔｉｏｎ）においては、蛍光による画像取得が現在広く行われている。そのような現場では、多数の細胞集塊の形態を迅速に把握して目的とする被写体を決定し詳細な解析を行いたいケースや、多数の細胞集塊をスクリーニングしたいケース、また複雑な形態をとる生検組織等の全体構造を知りたいケース、あるいは動く生体もしくは組織内のマクロファージや細菌類等の細胞の三次元的な画像情報等を、容易に、もしくは迅速に把握したいケースが極めて多い。

しかし従来の蛍光観察では、奥行方向に焦点深度を変えながら多数撮影する断層撮像をする他はなく、三次元観察をした後に立体再構成するのでは時間も手間も掛かり過ぎる。したがって現場の要求には極めて切実なものがあるわけだが、本発明はこれに画期的な解決を与えることになる。費用・時間・手間の軽減効果は大きく、また優れて実用的でもある。

本発明の多面画像取得システムの基本構成を示す概念図である。 蛍光観察可能な本発明の多面画像取得システム（三次元構造を有する被写体の多面蛍光観察装置）の構成例を概念的に示す説明図である。 二回反射型プリズムを用いた本発明多面画像取得システム例について、図中の図３−２〜３−５により示す説明図である。 二回反射型プリズムを用いた本発明多面画像取得システム例の要部側面図である。 図４において、観察対象がカバーガラス上の水溶液中にある場合における、観察対象付近の光路の拡大図である。 図３に示す例に係る多面観察プリズムの側面配置を示す断面図である。 図３に示す例に係る多面観察プリズムの平面図（上面図）である。 本発明の多面画像取得システムの別の基本構成を示す概念図である。 画像の立体再構成手段を備えた本発明多面画像取得システムの構成を示す概念図である。

＜以下の各図は、実施例において参照される図＞
当初設計の基本とした４５°二回反射型プリズムの概要を示す写真図である。 クロビット型プリズムおよびその支持構造を示す底面図、両側面図および支持構造側からの正面図である。 完成したクロビット型プリズムの構成を示す各面図（下）および二回反射型プリズムの断面図（上）である。 クロビット型プリズムの写真図である。 完成したクロビット型プリズムを用いた同時多面観察結果を示す写真図である。 図１４の中央部の拡大図である。 クロビット型プリズムによる被写体の同時多面観察画像を示す写真図である。 図１６の画像に対してライトフィールドカメラによる処理を行った写真図である。 多面画像取得システムによる被写体の多面蛍光観察画像を示す写真図である。 多面画像取得システムによる別の被写体の多面蛍光観察画像を示す写真図である。 多面画像取得システムにより被写体の多面蛍光観察において、水溶液中にある観察対象を水溶液中で４５°の角度から見上げる場合のクロビット型プリズムの設計例を示す説明図である。 多面画像取得システムによる蛍光強度増強効果を示す写真図である。

以下、図面により本発明を詳細に説明する。
図１は、本発明の多面画像取得システムの基本構成を示す概念図である。図示するように本多面画像取得システム１０は、一または二以上のプリズムから構成されていて、三次元構造を有する被写体の観察対象である各方向の面を一方向に集約するよう形成された光路を有し、かつ各面のワーキングディスタンスを同一にするためガラスと空気の屈折率の違いを利用して光路長補正がなされる多面同時観察光学系（多面観察プリズム）２と、多面観察プリズム２を経て同一面（結像面）に結像された二以上の像の焦点深度調整範囲を拡大するためのライトフィールドカメラ５とを備えてなることを、最も基本的な構成とする。なお、多面観察プリズム２は被写体と観察装置１との間に設けられ、観察装置１にはライトフィールドカメラ５が接続される。

なお図では、観察装置１を除いた部分を多面画像取得システム１０としているが、これは当該システム１０が、多面観察プリズム２とライトフィールドカメラ５を必須構成要素とすることを示すものであり、後述するように、本発明多面画像取得システムは観察装置を含めた構成としてもよい。

かかる構成により本多面画像取得システム１０では、一または二以上のプリズムから構成された多面観察プリズム２によって、三次元構造を有する被写体の観察対象である各方向の面が一方向に集約されるとともに、各面のワーキングディスタンスは同一にされ、その結果、焦点ボケが改善された状態で観察装置１の同一面（結像面）に各面画像が結像される。そして、結像された二以上の像は、ライトフィールドカメラ５によって、それらの像の焦点深度調整範囲が拡大されてより焦点の合った像として、一度の撮影で取得される。さらに、撮影後にはこれらの画像情報は自由に取り出されて、立体再構成処理に供されるものとすることができる。

なお、ここでライトフィールドカメラを用いたライトフィールドカメラ技術とは、三次元的な構造を有する被写体の観察において、通常はメインレンズのフォーカスを変えて異なる焦点深度のイメージを別々に取得する必要があるところを、メインレンズ（フロントレンズ）とイメージプレーン（イメージセンサー）の間に、異なる焦点とビューポイントを持つ多数のマイクロレンズアレイをカメラのイメージセンサー前面に配列することにより、メインレンズのフォーカスを変えることなく、種々の焦点深度にある画像情報の同時取得（全焦点画像）とソフトウェア的な立体再構成を可能にする技術をいう。

従来、ライトフィールドカメラにおけるアルゴリズムは、あくまでも明視野にて、三次元的な構造を有する対象物、あるいは奥行のある対象物の、手前から見えている「表面」構造の画像を一回の撮影で取得し、事後において立体的に再構築可能とするというものである。明視野観察では、被写体が透明な対象でない限り内部はほとんど見えないからである。したがって、ライトフィールドカメラを用いて三次元構造を、手前一方向からだけではなく複数の方向（面）から同時に画像取得し、立体的再構成に供するという着想には相当の困難性があるのだが、本発明においてそれを実現ならしめたのは、多面同時観察光学系（多面観察プリズム）との協働である。かかる構成は、本発明において初めて提示されるものである。殊に蛍光観察に関しては、クロビット型プリズムを通して得られた多方向からの蛍光観察画像を蛍光顕微鏡により観察した例も、さらにライトフィールドカメラを用いて観察した例も見出されない。

だが、本発明システムにおいて三次元構造を有する被写体の複数の面からの画像が取得されるということは、複数のさまざまな方向からの光がライトフィールドカメラに入ってくるということである。これらがライトフィールドカメラ上で干渉し、所望の画像を、あるいは有用な画像を全く得られない可能性は十分に考えられるところである。しかしながら本発明においては、クロビット型プリズムとライトフィールドカメラの組み合わせにより、明視野でも蛍光観察でも、後述するように非常にきれいな画像を得ることができる。

図２は、本発明の多面画像取得システム（三次元構造を有する被写体の多面蛍光観察装置）の構成例を概念的に示す説明図である。本構成例は、ＸＹステージに載置したマルチウェルディッシュ（マイクロプレート）上の細胞集塊（ｃｅｌｌ ｃｌｕｓｔｅｒｓ）を、観察装置１１により観察するシステム例であるが、本発明が図示する例に限定されないことはいうまでもない。たとえば観察装置８１は、顕微鏡であってもスキャナーであってもよい。

ここにいうデジタルスキャナーとは、接眼レンズを用いる代わりにカメラで観察する方式の電動顕微鏡に相当し、図２に記載した、「クロビット型プリズム、対物レンズ、ダイクロイックミラー、カメラを含む検出装置部分（８１）」をＸＹ方向、あるいはさらにＺ方向に移動することで達成することができる。励起光源は、検出装置部分（８１）と一体化して動かしてもよく、あるいは光ファイバー等で検出装置部分（８１）と接続することにより、固定することも可能である。

また、検出装置部分（８１）を固定したまま、検体を載せたＸＹステージをＸＹ方向、あるいはＺ方向に移動する一般的方法によっても達成することができる。Ｚ方向への移動は、検出装置部分（８１）のみが移動する方式、ステージのみが移動する方式、両者が共に移動する方式のいずれを用いることもできる。

図２は、蛍光観察可能な本発明観察装置の構成例を概念的に示す説明図である。図示するように本例観察装置８１０は、蛍光観察用の励起光源８４と、励起光源８４による励起光ＥＬの照射を介するダイクロイックミラー等８３が設けられており、励起光ＥＬ照射により被写体Ｔから発せられた蛍光ＦＬも該ダイクロイックミラー等８３を介して取得され、該ダイクロイックミラー等８３は励起光ＥＬと蛍光ＦＬの光路を分けるように形成されており、かかる構成によって取得される蛍光像の明るさを増大できることを、特長的構成とする。

なお、本発明に係る多面観察プリズム８２としては、上述のクロビット型プリズムを好適に用いることができるが、これに限定されず、要するに所定仕様のプリズムを単独または複数組み合わせて用いることによって観察装置の同一焦点面に結像させ、焦点ボケの発生を改善し得るプリズムや適切なプリズムを組み合わせたプリズムアッセンブリー、あるいはその他のプリズム機能であれば、本発明に係る多面観察プリズムとして用いることができる。

図示するように本多面画像取得システム８１０は、一または二以上のプリズムから構成されていて、三次元構造を有する被写体の観察対象である各方向の面を一方向に集約するよう形成された光路を有し、かつ各面のワーキングディスタンスを同一にするためガラスと空気の屈折率の違いを利用して光路長補正がなされる多面同時観察光学系（多面観察プリズム）８２と、多面観察プリズム８２を経て同一面（結像面）に結像された二以上の像の焦点深度調整範囲を拡大するためのライトフィールドカメラ８５とを備えてなることを、基本的な構成とする。なお、多面観察プリズム８２は被写体と観察装置８１との間に設けられ、観察装置８１にはライトフィールドカメラ８５が接続される。また、ライトフィールドカメラ８５を経て取得された画像の立体再構成手段８９を備えた構成とすることができる。また、蛍光励起光源８４は、８１に含めて一体化することもできるが、８１の外に設置して光ファイバー等の適切な方法を用いて入射光をダイクロイックミラー８３に導いてもよい。

かかる構成により本多面画像取得システム８１０では、一または二以上のプリズムから構成された多面観察プリズム８２によって、三次元構造を有する被写体の観察対象である各方向の面が一方向に集約されるとともに、各面のワーキングディスタンスは同一にされ、その結果、焦点ボケが改善された状態で観察装置８１中にある対物レンズに対して同一面（結像面）に各面画像が結像される。そして、結像された二以上の像は、ライトフィールドカメラ８５によって、それらの像の焦点深度調整範囲が拡大されてより焦点の合った像として、一度の撮影で取得される。さらに、撮影後の画像は、パーソナルコンピュータ等の立体再構成手段８９に保存され、事後に自由に取り出されて、立体再構成処理に供されるものとすることができる。

かかる構成により本観察装置（全体構成）８１０では、励起光源８４により発せられた励起光ＥＬは、ダイクロイックミラー等８３に介され、多面観察プリズム８２を通って被写体Ｔに照射され、励起光ＥＬ照射により被写体Ｔから発せられた蛍光ＦＬは、多面観察プリズム８２通ってダイクロイックミラー等８３に入り、蛍光ＦＬはダイクロイックミラー等８３によって励起光ＥＬ光路とは異なる光路をとって光学装置８１に取得される。かかる作用により、取得される蛍光像の明るさを増大することができる。このことについて、より詳細に説明ずる。

通常、蛍光観察では、蛍光光源８４から発せられるある波長の励起光ＥＬを、対物レンズを通して被写体（対象物）Ｔに向かって照射する。対物レンズに入射する前には、励起光ＥＬはダイクロイックミラー等８３でたとえば図示するように４５°反射し、被写体Ｔ中にある蛍光物質を励起する。ついで、その蛍光物質が照射光よりも長波長側の光である蛍光ＦＬを四方八方に発し、それらの蛍光ＦＬのうち対物レンズに戻ってくる一の方向のものだけが集められてくる。この蛍光ＦＬは被写体Ｔで光エネルギーを奪われて照射光ＥＬよりも波長が長くなっているため、ダイクロイックミラー等８３を適切に設計しておくことにより、ダイクロイックミラー等８３を反射させずに透過させて、導くことができる。ダイクロイックミラー等８３はこのように、入射光（励起光）と蛍光との光路を分ける役割を果たす。

かかる構成により、本発明観察装置８１０、本発明多面画像取得システムにおいては、従来通常の蛍光観察の場合と比べて非常に明るい蛍光観察画像を得ることができる（後掲図２１参照）。それは、励起光ＥＬが、被写体Ｔを直接素通しで照射するばかりでなく、スポットライトのように仰角４５°で四方向からも照射するため、同じ一の蛍光光源８４を使用しても、単純計算では５倍の光照射が可能になったことが大きく影響しているものと考えられる。

従来、蛍光計測には、得られる像が非常に暗いという問題点があった。しかし近年は、それをｓＣＭＯＳなどの超高感度カメラで補ったり、非常に明るい光源であるＬＥＤ光源を用いることで、取得画像の暗さという問題に対してある程度対処がなされている状況であり、蛍光法の使用が大きく拡大してきている。本発明による明るさの改善は、これをさらに進めていくことができる。

つまり本発明によれば、同じ光源を使用しても単純計算で５倍の強度が得られると考えられるため、著しく明るい映像が得られ、それにより、検出器のデジタルゲイン等ノイズの多い増幅方法を使用しなくとも検出することができるようになる。したがって、検出装置の本来もっている空間解像度で撮像でき、当然ながら空間分解能の向上に寄与し、これまでの常識を超えるきれいな蛍光像を得ることができる。

また、本例装置８１０等で用いる多面観察プリズムでは、被写体Ｔを下方から全部または一部取り囲むようにして照射がなされるため、非常にむらの少ないきれいな照射が可能となっている。クロビット型プリズムを、本明細書にて主に採り上げた四面構成ではなく、六面構成などさらにプリズムの数を増やすことによって、より多数の方向から観察することも可能である。

本発明では、かかる励起光ＥＬの増幅に加えて、蛍光ＦＬの増幅もなされる。つまり蛍光観察の場合には、被写体Ｔの蛍光物質から「四方八方」に蛍光ＦＬが発せられるのだが、二回反射型等の多面観察プリズム（クロビット型プリズム）を用いることによって、これを構成する四つの二回反射型プリズム方向に発せられる蛍光、および素通しの開口部（Ｈ）方向に発せられる蛍光、計五方向の蛍光を全て捉えることができる。

従来の蛍光顕微鏡により立体観察を行おうとすれば焦点深度をずらしながら計測を行う必要があり、必要な部分の蛍光像を得るまでに蛍光退色を招いたり、撮影に長時間を要したりしたが、本発明の方法によれば、五方向からの蛍光信号を、退色の恐れや繰り返し撮影の必要なく、一回の撮像だけで最大限に効率よく得ることができるため、すぐれた画像品質で立体的な蛍光画像を得ることができる。さらに、後述するように、ライトフィールドカメラを併用することでこの特徴が最大限に発揮される。これは、本発明により得られる副次的効果の中でも、極めて大きいものであるといえる。
たとえば、通常顕微鏡撮影であれば、素通しの穴の方向のみに入射する蛍光信号のみを断層撮影により順次取得する。通常顕微鏡を用いて、もしもさらに斜め４５°から見上げた像を撮影しようとすれば、その方向の断層撮影が次に必要になるが、その時には（既に一回素通し方向で断層撮影を行っているために蛍光退色が起きているため）、既に相当暗くなっている対象物の断層撮像を行うことになり、さらに異なる４５°方向から撮影しようとすればさらに暗くなるということを繰り返すことになる。
これに対して、本発明の方法によれば、五方向から一度に励起光を照射し、被写体から五方向に放射される蛍光信号を１回の撮像で五方向から取得するため、通常顕微鏡撮像時とは異なり、撮像順序による蛍光退色の心配がなく、いずれの方向からの撮像もほぼ同一条件で行うことができ、しかも、いずれの方向においても、同じ光源を使用した通常顕微鏡撮像時より明るい画像を取得できる（後掲図２１参照）。

なお図２では、ダイクロイックミラー等８３は、励起光ＥＬを反射し、蛍光ＦＬを透過する構成であるが、ダイクロイックミラーの設計により、これが逆となる場合も、本発明からは除外されない。また、図においてダイクロイックミラー等８３はフィルターキューブ様のダイクロイックミラーとして示されているが、これはあくまでも概念的な説明図である本図における一例であり、ダイクロイックミラーの代わりに液晶チューナブルフィルターや音響チューナブルビームスプリッター等の代替手段を使用してもよい。要するに、照射波長範囲または蛍光波長範囲を限定する、光の波長によって透過または反射をなさしめる、いわば透過／反射／分光手段であればよい。なお、チューナブルフィルターはミラーを使わずに蛍光波長の通過波長幅を一定の範囲内に限定する装置である。

本発明多面画像取得システム８１０は蛍光観察に用いることによって、蛍光の透過性を利用して、目的とする被写体の三次元情報を取得する上で有望な方法となる。本発明多面画像取得システム８１０は蛍光観察のみならず、明視野観察においても有用であるが、もし目的とする被写体の手前に構造物がある場合には十分な情報が得られない場合も考えられる。その場合には、必要に応じて被写体もしくはプリズムを回転することにより、目的とする被写体が見える角度を探す方法も考えられる。

しかし、被写体にあてた光の反射、もしくは被写体から発せられる蛍光や燐光その他の光情報が、被写体を出発し、異なる方向からプリズムを通して観察装置に至るまでの光路長は、被写体の位置や構造、被写体から観察装置に至る光路上にある光学的装置等に依存して一様でない。このため、もしも異なる方向から観察した被写体の画像情報を一つの観察装置で同時に取得しようとすれば、仮に一つの観察方向から得られた画像に最適となるように観察装置の焦点合わせを行ったとしても、他の方向からの観察に関しては光路長が異なるために焦点が合わないという現象が起き得る。このことは、蛍光観察ではより顕著に表れ、被写体の蛍光が見えないという深刻な問題を引き起こす。

そこで本発明システムでは、被写体から観察装置までの光路長が観察方向により異なることによる焦点ボケを、プリズムのガラスと空気の屈折率の違いを利用して光路長を補正したクロビット型プリズム等の適切なプリズムを単独または複数組み合わせて用いることで観察装置の同一焦点面に結像させ、焦点ボケの発生を改善するものである。プリズムを用いて補正された画像情報は上述のとおり、単一の蛍光顕微鏡システム、あるいはデジタルスキャナー等の光学装置に導入され、異なる方向から観察した被写体の画像情報がここで単一の結像面に集約的に表現されることにより、被写体の立体的な構造情報や部位依存的な機能情報が一度の撮影で取得できる。

ただし、仮に被写体を一方向からだけ観察する場合であっても、被写体の特定の部位に精密に焦点を合わせたならば、被写体の他の観察部位には（そこがレンズの被写界深度を越えている場合）焦点が合わないという現象が起きる。これは高倍率のレンズを使用するほど著しくなる。さらに、通常、被写体が位置し得る観察領域は一定の広さをもつため、被写体がクロビット型プリズム設計上の想定された位置とは異なる位置に存在していて、かつそれがレンズの被写界深度を越えた位置であれば、焦点が合わなくなる。

通常このような場合には、奥行き方向に焦点をずらして何枚もの写真を撮影（断層撮像）した後に立体的な画像を再構成する手法がとられる。しかし、クロビット型プリズムを用いた多方向観察にこれを応用し、その中から観察方向別に焦点のあった画像を抜き出して立体再構成しようとする作業は煩雑で時間を要し、たとえば動く対象物の立体構造を瞬時に把握しようとするような場合や、極めて多数の観察対象をできる限り短時間でスクリーニングしようとするような場合、あるいは複数の蛍光色での光学情報を明視野情報と共に、あるいは個別に取得しようとするような場合には、撮影時間やデータ処理時間、データ量が膨大となり、不向きと言える。このことが、本発明システムにおいてライトフィールドカメラを導入した所以である。

図３は、二回反射型プリズムを用いた本発明多面画像取得システム例について、図中の図３−２〜３−５により示す説明図である。
図３−２は、二回反射型プリズムを用いた本発明多面画像取得システム例の要部側面図である。また、
図３−３は図３−２に示す例に係る多面観察プリズムを構成するプリズムの断面図、
図３−４は図３−２に示す例に係る多面観察プリズムの一部平面図（上面図）、そして、
図３−５は図３−４中の中央部拡大図である。これらに示すように本例多面画像取得システムは、多面観察プリズム２２が、入射光を内部で二回反射して出射する二回反射型プリズム２２ａを必要個数接合して形成されていることを、主たる構成とする。図３−５では、被写体Ｔから発せられた光束がプリズム内で二回反射して観察装置に入射する像も併せて表示している。図中、「二回反射像（Ｔｗｉｃｅ ｒｅｆｌｅｃｔｅｄ ｉｍａｇｅ）」として示されている像がそれである。中央部の点線円は想定される被写体中心である。

図４、６等に例示するように本発明多面画像取得システムは、被写体Ｔ−記多面観察プリズム２２−結像面 の軸上にある被写体Ｔの前面像が結像面において直接結像されるよう、多面観察プリズム２２には素通しの開口部Ｈが形成された構成とすることができる。また、図示するように、多面観察プリズム２２を、開口部Ｈを一部または全部囲むように形成されたものとすることができる。本例は、図３中の図３−３等に示した構造の二回反射型プリズム２２ａを四個用いて中空構造を形成し、その中空部が開口部Ｈとなっている構成であるが、同じプリズム２２ａを二個、あるいは三個用いて一部が側方に開いた構成、すなわち開口部Ｈが一部のみ囲まれた構成としてもよい。

図示する本例では、二回反射型プリズム２２ａが四個接合されて多面観察プリズム（多面同時観察光学系）２２が構成されており、これによって本例システムにおいては、被写体Ｔの光軸直交平面上の四方向（前後左右）および素通しの開口部Ｈを直接通しての一方向、計五方向からの画像を取得することができる。すなわち、被写体Ｔの画像を異なる五面から取得することができる。

図６について本例システムをより詳細に説明する。
本例システムでは、マルチウェルディッシュＤ上にある被写体Ｔから発せられる蛍光のうち、ディッシュ下面に配置されたクロビット型プリズム２２を構成する二回反射型プリズム（２２ａ）に入射し、θ１＝４５°の角度で鏡面に入射して一回反射した後、次にプリズム（２２ａ）内部でθ２＝２２．５°の角度で再度反射して真下の方向に出た光を、さらにその下方に設置する対物レンズ（ＯＬ）に集め、検出する。また、被写体Ｔから直接まっすぐ下方に発せられる蛍光Ｌは、そのままクロビット型プリズム２２中央部の開口部Ｈを通って下方の観察装置にまっすぐ入射する。両者の光路長は異なるが、プリズムのガラスと、空気の屈折率の違いを利用して光路長は補正される。

なお、本発明に係る二回反射型プリズムは、本例のように４５°初回反射―２２．５°再反射という構成には限定されない。たとえば初回反射を０〜６０度の範囲として適宜に構成することも可能である。また、本多面観察プリズム（多面同時観察光学系）を二以上のプリズムにより構成する場合、本例のプリズム２２ａのように同一構造のものを用いることで構成できるが、これに限定されず、異なる構造のプリズムを用いて多面観察プリズム（多面同時観察光学系）とすることも、排除されない。さらに、プリズム内での反射回数も二回に限定されるものではなく、最終的に同一方向において所望の全ての画像を取得できるような光路を形成できる限り、排除されない。なお、本明細書においては以降、４５°初回反射―２２．５°再反射の構成の二回反射型プリズムを用いた例を主として説明する。

図３中の図３−３に示すように本発明に係る多面観察プリズム２２を構成する各プリズム２２ａは、プリズム２２ａ相互の接合の境界面（接合面）が全て研磨されているものとすることができる。本例に係る二回反射型プリズム２２ａは、五の面から側面形状が形成されている構成であるが、その全てが研磨されている面、すなわち研磨が施された研磨面Ａ、Ｂ、Ｃ、Ｄ、Ｅであることが、本発明の効果をより十全に得るためには重要である。

研磨面Ａ、Ｄは透過面、研磨面Ｅ、Ｂは反射面であるところ、研磨面Ｃは、図４や図６からわかるように、反射にも透過にも関与しないが、研磨面Ｃも含めた全ての面がこのように研磨されていて、かかるプリズム２２ａが相互に接合する構成とすることである。なお、接合されるプリズム２２ａ自体が研磨されていることも重要だが、接合構造自体が光学的に影響のない構造であることも重要である。これについては実施例において詳述する。

図５は、図４において、観察対象がカバーガラス上の水溶液中にある場合における、観察対象付近の光路の拡大図である。図では、空気、カバーガラス、水溶液、各媒体の屈折率を考慮した観察対象付近の光路が示されている。

また、図６に示す透明構造Ｓは、多面観察プリズム２２の被写体Ｔ側に設けられた光学的に影響のない透明構造であって、多面観察プリズム２２、被写体Ｔ、両者を隔離しているが、この透明構造Ｓを含めて本発明多面画像取得システムとしてもよい。透明構造Ｓとしては、たとえばガラスや光学的に影響のない透明な樹脂（例．アクリル樹脂）等が好適に用いられ、たとえばＸＹステージが想定されるが、この場合本発明多面画像取得システムはＸＹステージをも構成要素として含む構成である。もちろん、含まない構成を本発明多面画像取得システムと捉え、ＸＹステージ等と本システムとが併せ用いられると捉えてもよい。

かかる透明構造を備えた構成の、あるいは透明構造と併せ用いられる構成の本多面画像取得システムによれば、透明構造Ｓの向こう側に存在する被写体Ｔに直接接触することなく、被写体Ｔの各面画像を取得することができる。この特長は、顕微鏡やデジタルスキャナー、その他の適切な観察装置を本多面画像取得システムと組み合わせて用いる場合や、あるいはこれら観察装置を構成に含む多面画像取得システムとする場合に、たとえば三次元的に集積した細胞塊（ｃｅｌｌ ｃｌｕｓｔｅｒ）が多量に存在するマルチウェルディッシュ（マイクロプレート）の高速スクリーニングに応用する場合等において、極めて有効な方法の一つとなり得る。なお、ここに述べた高速スクリーニングを含め、本発明多面画像取得システムを用いて行うスクリーニング方法自体もまた、本発明の範囲内である。

また、図７には、本例システムに係る多面観察プリズム２２の平面構造を示す。ここでは、四個の二回反射型プリズム（クロビット型プリズム）を表示している。図中、符号Ｃで示した円形の像（全４か所）は、水溶液中にある観察対象がクロビット型プリズムに投影された像である。なお、図４〜７はいずれも、水溶液中に観察対象が存在する場合の図である。たとえば図５の場合、Ａ１は４５°でクロビット型プリズムが見上げる仰角は４５°だが、対象物を水溶液中で見上げる仰角Ａ２は３２°となっている。

前出図１に示したように本発明多面画像取得システム１０は、観察装置１と組み合わせて用いるものとすることができる。たとえば、顕微鏡、スキャナー、イメージセンサー、あるいは前三者以外の光学装置との組み合わせ使用である。光学装置が複数、あるいは複数種類用いられることが、本発明から積極的に排除されるものではないが、簡易かつ実用性の高い構成という本発明の特長がより生かされる構成は、光学装置を一基のみ、つまり単独で用いる構成であるといえる。

図８は、本発明の多面画像取得システムの別の基本構成を示す概念図である。図示するように本多面画像取得システム３１０は、観察装置３１を構成中に備えたものとすることができる。観察装置３１としてはたとえば、顕微鏡、スキャナー、イメージセンサー、あるいは前三者以外等の光学装置を用いることができる。光学装置が複数、あるいは複数種類用いられることが、本発明から積極的に排除されるものではないが、簡易かつ実用性の高い構成という本発明の特長がより生かされる構成は、光学装置を一基のみ、つまり単独で用いる構成であるといえる。

図９は、画像の立体再構成手段を備えた本発明多面画像取得システムの構成を示す概念図である。上述したとおり本多面画像取得システム４１０等は、ライトフィールドカメラ４５等を経て取得された画像の立体再構成手段４９等を備えた構成である。なお、図中（ａ）はシステム４１０を観察装置４１と組み合わせて用いる構成、（ｂ）はシステム５１０が観察装置５１を含む構成である。

以上説明したいずれかの多面画像取得システムを用いた観察装置であって、明視野観察または蛍光観察の少なくともいずれかが可能な観察装置もまた、本発明の範囲内である。明視野観察機能を備えた構成の場合、明視野観察用光源は、多面観察プリズムの側方に設けられた構成とすることができる。本発明が主として想定する用途においては、多面画像取得システムの特に多面観察プリズムを配置する空間は制限される。明視野観察用光源を機能させ、かつ無理なく設置する構成として、かかる配置は好適に用いられる。

細胞観察用の顕微鏡を例にとり、明視野観察可能な観察装置について、さらに説明する（前出図２参照）。
一般に、蛍光計測に使用されているマルチウェルディッシュは側面がプラスチック製であって、色は黒もしくは白となっており、特に蛍光計測が可能なものは光の乱反射を防ぐために黒となっているものが使われる。すなわち、マルチウェルディッシュの壁の部分は透明ではないため、横方向からの照明は困難である。したがって、上部から照明するか（Ｔｏｐ Ｒｅａｄ）、下部から照明するか（Ｂｏｔｔｏｍ Ｒｅａｄ）のいずれかを検討することになる。

しかし、上部からの照明では、たとえば球形の対象物（被写体）の下方（上からみると裏側）の深いところにある三次元対象の下側の面を照らすことができないため、顕微鏡が倒立でレンズが下側からアプローチする場合には好ましくない。そこで、必然的に照明は下側からということになる。ところが、下側からマルチウェルディッシュのガラス底を通してその上にある対象物を見上げている対物レンズと対象物との間には、クロビット型プリズムを設置する必要があるため、照明光源を入れるスペースがほとんどない。

そこで、十分な明視野像を得るために、クロビット型プリズムの前後左右方向に四本のファイバー光源を設置し、かつ被写体を下方から照明するようにした。しかし、当初用いた二回反射型プリズムによるクロビット型プリズムでは、対象物からの光の直接の光路が関わる面以外は全て擦りガラス仕様であったため、均一な照明を行うことができなかった。結局、上述したようにプリズムの全面研磨を行った結果、照明光が拡散せず、明視野観察における照明方法を確立することができたものである。

以上の点は後述実施例でも触れるが、さらにプリズムの四面接合により生じる接合面においては、そこでの照射光の乱反射がおきないようにする接着方法も重要となる。いずれにしても、多面観察プリズムを保持するための工夫によって、明視野観察において、視野が遮られることがなく、かつ十分な照射を行える構成を実現することができた。

以上説明したいずれかの本発明観察装置を用いて行う観察方法もまた、本発明の範囲内である。たとえば、蛍光画像取得においては、観察対象とする物体が蛍光を発しない場合や、観察対象の一部のみが蛍光を発する場合がしばしばある。たとえば、生命科学分野では特定の抗原を発現する細胞と発現しない細胞を含む検体を、蛍光抗体を利用して観察する場合等、枚挙にいとまがない。そのような場合には、まず低倍率レンズを用いて明視野観察を行うことにより観察対象とする細胞の位置を確認し、続いて低倍率レンズのまま蛍光観察に切り替えて観察対象が蛍光を発するか否かを確認することにより、適切な観察対象を選び、しかる後に、適切な高倍率レンズに切り替えて観察対象の詳細な観察を行う。

高倍率で蛍光観察を行った観察対象中に、蛍光を発する細胞と蛍光を発しない細胞が同時に含まれるような視野を選ぶことは科学的な証明には理想的である。そのためには、高倍率レンズのまま最後に明視野観察に再度切り替えて画像取得しておくことにより、複数ある細胞のうち特定の細胞のみが蛍光を発する様子を、蛍光像と明視野像の重ね合わせ画像をオフライン処理にて示すことができる。このように、本発明観察装置を用いて行う観察方法は、蛍光画像取得に加えて明視野観察を適切に組み合わせることにより、細胞や組織、個体を扱う生命科学領域のみならず、立体的な蛍光観察を必要とする様々な領域で利用することができる。

また、上述したとおり、本発明観察装置を用いて行うスクリーニング方法も同様である。さらに、本発明多面画像取得システムを用いて行う被写体の立体再構成方法も、本発明の範囲内である。

たとえば本発明は、三次元構造を有する多数の細胞集塊の構造情報の取得や、細胞により異なる機能（例．試薬の取り込みやカルシウム濃度変化等の細胞内環境の変化）の空間分布の解析、また、それらの迅速なスクリーニング、さらに、動きのある細胞や生物の三次元的な動きの解析等に応用することができる。また、細胞集合の観察のみならず、複雑な三次元形状を有する被写体の構造や部位特異的な機能情報を迅速に把握する上でも有効である。

なお、本発明は、側面観察用のプリズムを正面観察用のプリズムと組み合わせて同一面に結像させるようにした後、一つのライトフィールドカメラに導いて観察してもよく、その場合には、たとえば極めて狭い管腔内に存在する複雑な三次元構造の検査を、焦点合わせ無しで迅速に行いたい場合等に応用することも可能である。

本発明を完成するに至った研究開発経緯の概要、および成果の一端を述べることにより、実施例の説明とする。
〔主題〕 細胞の蛍光顕微鏡観察におけるクロビット型プリズムの応用〜多面画像取得システムの開発
〔１〕 緒言
生きた細胞の蛍光顕微鏡観察においてクロビット型プリズムを応用できるかについては前例がなかった。最終的に得られた本発明のクロビット型プリズムの実施例では、プリズムアッセンブリーの中央に開口部を設けてあり、被写体をこの開口部を通して直接観察することが可能な設計となっている。プリズムを介さずに被写体を直接確認できることは立体観察において大きなメリットである上、通常観察も可能であることは本技術の用途を広げるものである。

〔２〕 クロビット型プリズムの設計開始
細胞の蛍光顕微鏡観察用のクロビット型プリズムを設計するにあたり、顕微鏡の対物レンズはレンズの中心軸と対象物との間の主光線が平行になり、被写体の遠近に関わらず倍率変化の無い光学系であるテレセントリックレンズと同等であると仮定して設計を行った。その際、実現には対物レンズと被写体やサンプルを載せているガラスとの距離、ステージとクロビット型プリズムとの兼ね合い、特にクロビット型プリズムの奥行方向の長さと開口部のサイズとレンズの光束やＷｏｒｋｉｎｇ ｄｉｓｔａｎｃｅとの兼ね合い、レンズの倍率や視野数、そして実視野（Ｆｉｅｌｄ ｏｆ Ｖｉｅｗ）を考慮したレンズ等の選定とクロビット型プリズム水平方向のサイズとの関係など、さまざまなパラメーターを考慮していく必要があった。

図１０は、当初設計の基本とした４５°二回反射型プリズムの概要を示す写真図である。左は側面視、右は底面視の写真図であり、ボールペン先を４５°下方から観察したものである。

実際のところ、当初設計したクロビット型プリズムでは、中央の開口部を通して十分見えるはずの大きさの対象物の像がけられてしまい、しかも極めて暗く、焦点もボケた像しか得られなかった。被写体から円錐状に拡がる光束が、クロビット型プリズム中心部の窓部分を越えると光量が減り、焦点についてもボケた画像となった。

さらに、生きた細胞観察を可能にするためには、空気と水、ガラスの屈折率の違いが画像取得にどのように影響するか、レンズの視野範囲内にクロビット型プリズム全体が写るような実用的な設計が可能であるか、明視野観察における照明方法をどのようにするか、蛍光励起光をどのように被写体に導くか、顕微鏡観察に適合させるためにはプリズム全体を極めて小さくする必要があるが実際に表面の研磨が可能であるか、画像に影響を与えないようにプリズム同士を接合することが可能であるか、各プリズムの精度やプリズムアッセンブリーの組み立て精度を正確に確保することが可能か、立体画像の取得に影響を与えずにどのような方法でプリズムを支え、保持したらよいか、等の多岐にわたる問題を解決する必要があった。

以上のことを踏まえ、４５°の角度で被写体を見上げ、互いに直行する二方向から被写体を観察するシンプルな二回反射型クロビット型プリズムを多面観察プリズムとして作製し、蛍光顕微鏡を用いて被写体の観察テストを行った。その結果、被写体のみが見えるはずの領域に何らかの他の画像が重なり、鮮明な画像取得は困難であった。

〔３〕 クロビット型プリズムの改良＿研磨
そこで、ダイレクト観察に加えて一方向のみからクロビット型プリズムを介して観察する二回反射型クロビットを作製して原因を探ることとした。その結果、理論的にはプリズムの壁のうちで光路には直接関係しないと考えられた壁からの乱反射が影響を及ぼしている可能性が認められた。そこで、光路に直接関連しない部分についても全面研磨を行った。そして、改めてこの改良版の二回反射型クロビット型プリズムを二つ互いに垂直に張り合わせて被写体の観察を行った。しかし結果は、まだ何らかの画像が被写体に重なっている状態であった。

〔４〕 クロビット型プリズムの改良＿透明性および支持部構造
そこで、二つのプリズムの接合面が画像取得に影響しないよう接着剤を極力減らし、接合面が透明となるようにした。しかしそれでも、まだ何らかの像が被写体にかぶっており、鮮明な画像とはならなかった。かぶっている像は、その形から、クロビット型プリズムを保持するための支持構造であると考えられた。その影響をなくすため、支持構造が完全に視野外となりながらも安定にプリズムアッセンブリーを保持できるような構造を検討した。

図１１は、クロビット型プリズムおよびその支持構造を示す底面図、両側面図および支持構造側からの正面図である。プリズムブロックに棒状の支持構造を直接取付けた場合は、光の光路からは外れているはずではあるが、実際にはどうしても画像取得の妨害となった。そこで、プリズムブロックをいったん透明のガラスブロックで支えた上で、その透明ブロックの中心からはずれた位置に支持棒をさらに接合し、ブロック全体を支えるという、間接的な支持方法をとった。かかる構成によって、視野が妨害されないプリズム構造を実現することができた。

なお、以上述べた保持方法は一例であり、実際の製品化に当たっては別の方法でクロビット型プリズムを保持することとしてもよい。たとえば、顕微鏡、スキャナー等の観察装置のレンズに、クロビット型プリズムを直結させて設ける構成もあり得るが、その場合のクロビット型プリズムの保持方法としては、プリズムがレンズと被写体の間に位置するものである限り、中空に浮かせた形で保持することとしてもよいし、一方、レンズに直接固定する形で保持することとしてもよい。適宜の保持方法、支持方法を採ることができる。

〔５〕 クロビット型プリズムの完成
以上の各検討、試行錯誤に基づき、プリズムアッセンブリー中央部を素通しとすることで被写体のダイレクトな観察を可能にした上、この中央部を取り囲むようにして、互いに直行する四方向から仰角４５°で被写体を見上げて観察する四つの２回反射型プリズムを接合させて、多面観察プリズム（クロビット型プリズム）とした。なお、プリズム同士を接合させる接着剤の量を最小限としたことにより機械的強度が不足したため、補強用として、プリズム上面の接合面の上部に（倒立顕微鏡にセットした場合はプリズム下面にあたる）点状（半球状）に透明な接着剤を盛って、接合の強度を確保した。

これらを経て、最終的に、蛍光顕微鏡観察に用いることのできるクロビット型プリズムを完成した。図１２は、完成したクロビット型プリズムの構成を示す各面図（下）および二回反射型プリズムの断面図（上）である。また、
図１３は、クロビット型プリズムのそれぞれ異なる方向からの写真図である。これは、作製した２回反射型クロビット型プリズムアッセンブリーをマルチウェルディッシュ上に配置し、ウェル中の大きさ１ｍｍ程度の標的に焦点を合わせた状態を示す写真図である。プリズムとディッシュの向きは、実際の使用時とは上下逆の関係で示している。プリズムを保持するための棒状の支持構造が、画面左下から中央上部にかけて認められる。

〔６〕 クロビット型プリズムを用いた同時多面観察
図１４は、完成したクロビット型プリズムを用いた同時多面観察結果を示す写真図である。また、
図１５は図１４の中央部の拡大図である。ｘ０．５レンズ、ｘ２の光学ズーム系を介して撮影した。これらに図示する、完成した２回反射型クロビット型プリズムアッセンブリーによる被写体の同時多面観察像において、中央部の像は被写体を直接観察したダイレクトイメージである。また、周囲の四つのイメージは、被写体を斜め４５°の角度で、異なる四方向から見上げた像である。このように、クロビット型プリズムから見た被写体の前面、前後左右側面、計五画面の像を同時に観察し、撮影、取得できることが確認された。

〔７〕 多面画像取得システムによる蛍光立体観察
本発明の多面画像取得システムを構成するもう一つの重要な要素であるライトフィールドカメラの効果を、写真図により示す。
図１６は、クロビット型プリズムによる被写体の同時多面観察画像を示す写真図である。また、
図１７は、図１６の画像に対してライトフィールドカメラによる処理を行った写真図である。ライトフィールドカメラとしては、Ｒａｙｔｒｉｘ社のＲ９−Ｍ−Ｄ−ＧＥライトフィールドカメラを用いた。なお、これらの観察に用いたクロビット型プリズムは六面同時取得可能なものであり、また、ここでの被写体は小紙片である。図示するように、図１６では素通しの開口部から得られる画像に主な焦点が合った状態で、残りの五面についてはボケが生じている。しかし、ライトフィールドカメラを用いた処理によって、全画面にわたり焦点が合った状態とすることができた。つまり、ライトフィールドカメラによって種々の焦点深度にある画像情報の同時取得（全焦点画像）が可能であることが確認された。

クロビット型プリズムとライトフィールドカメラを組み合わせて構成する多面画像取得システムによって、蛍光立体観察が可能であるか否かを試験した。
図１８は、多面画像取得システムによる被写体の多面蛍光観察画像を示す写真図である。マルチウェルディッシュ中で水中に浸漬した被写体の発する蛍光像をライトフィールドカメラでとらえた像であり、Ａ，Ｂ，Ｃはそれぞれ緑色蛍光、赤色蛍光、両者の重ね合わせ像を示す。水中にある被写体を正しく励起でき、かつ被写体から発する光路長の異なる蛍光を２回反射型クロビット型プリズムアッセンブリーならびにＲａｙｔｒｉｘ社のＲ９−Ｍ−Ｄ−ＧＥライトフィールドカメラを使用して一回の撮像で取得した後、全焦点画像として表示したものである。ｘ０．５対物レンズ、ｘ４の光学ズーム系を介して観察した。

図示されるように、蛍光を用いた多方向からの同時被写体観察、画像取得が可能であることが実証された。なお、図１９は、多面画像取得システムによる別の被写体の多面蛍光観察画像を示す写真図である。線維を、蛍光Ｄ−グルコース誘導体２−ＮＢＤＧ、ならびに蛍光Ｌ−グルコース誘導体２−ＴＲＬＧの混合液で染色した後、蒸留水で洗浄し、９６穴マルチウェルディッシュ中に入れて、クロビット型プリズムアッセンブリーならびに上記ライトフィールドカメラを用いて撮影した全焦点像である。ここでも、蛍光を用いた多方向からの同時被写体観察、画像取得が可能であることが確認された。また、明るい映像を取得できることが確認された。

〔８〕 結語
本発明多面画像取得システム、観察装置、観察方法等は、倒立型の顕微鏡もしくはスキャナーにも、また、正立型の顕微鏡やスキャナーにも応用できる。また、上述したように、必要に応じてプリズムの表面をガラスや光学的に影響のないフィルム等の適切な素材でプロテクトして用いる構成としてもよい。本発明の応用範囲は広く、たとえば、従来であれば四方向から四台の観察装置を用いて同時に被写体を観察していたものを二台あるいは一台の観察装置で観察できるようになるなど、システム全体がシンプルとなり、スペースユーティリティにも優れる。

また、目的を絞れば焦点合わせ作業を一回のみとすることもでき、迅速な観察を可能にする。レンズの被写界深度を越えた大きさや撮影範囲を有する被写体の観察等においても、焦点深度の調節を最小限とすることができる。また、断層撮像と自由に組み合わせることも可能であるが、その場合、撮像回数を圧倒的に少なくすることができる。また、既存の顕微鏡観察装置に組み込むことで容易に多方向観察が可能となる。さらに、非接触で観察できる点も大きなメリットであり、被写体を載せたＸＹステージを動かすことで、迅速かつ容易に多数の被写体のスキャニングを行うことができる。

〔９〕補足
実施例における多面画像取得システムは、仰角４５°で被写体を見上げて観察する２回反射型プリズムを用いたものである。つまり、空気中で４５°になるように設計されたものである。これを水溶液中で使用した場合には、４５°よりも鋭い角度で見上げることになる。そこで、水溶液中でも４５°で見上げるようにした設計例を考案した。

図２０は、多面画像取得システムにより被写体の多面蛍光観察において、水溶液中にある観察対象を水溶液中で４５°の角度から見上げる場合のクロビット型プリズムの設計例を示す説明図である。本例では、視野範囲を１ｍｍ四方に限局し、水溶液中にある観察対象を水溶液中において４５°で見上げることができるように、クロビット型プリズムを組み合わせたものである。

図２１は、多面画像取得システムによる蛍光強度増強効果を示す写真図である。蛍光を発する同一の対象物を、同一強度の蛍光励起光で照射し、比較した。図中、Ａはクロビット型プリズムを用いない場合の蛍光観察像、Ｂはクロビット型プリズムを用いた場合の蛍光観察像、Ｃはクロビット型プリズムを通して得られた観察対象の明視野像である。これらに示すように、本発明に係るクロビット型プリズムを用いることによって、蛍光強度が増強されることを確認することができた。

本発明の多面画像取得システム、観察装置、観察方法、スクリーニング方法、および被写体の立体再構成方法は上述のように構成されるため、これらによれば、細胞観察を初めとした三次元的な構造をもつ被写体の観察、画像取得、構造評価において、多方向から観察した被写体の情報を一度に取得し、迅速な構造把握、構造評価を、簡易かつ実用的な構成によって行うことができる。したがって、医学・生化学分野を始め、三次元構造の観察等を必要とする全ての分野および関連する全分野において、産業上利用性が高い発明である。

１、３１、４１、５１…観察装置
２、２２、３２、４２、５２、８２…多面同時観察光学系（多面観察プリズム）
５、３５、４５、５５、８５…ライトフィールドカメラ
１０、３１０、４１０、５１０…多面画像取得システム
４９、５９、８９…立体再構成手段
２２ａ…多面観察プリズムを構成する二回反射型プリズム
８１…観察装置８１０を構成する光学装置部分
８３…ダイクロイックミラー等（透過／反射／分光手段）
８４…蛍光観察用の励起光源
８１０…蛍光観察可能な観察装置（全体構成）
Ｃ…水溶液中にある観察対象がクロビット型プリズムに投影された像
Ｄ…ガラスボトムマルチウェルディッシュ
ＥＬ…励起光
ＦＬ…蛍光
Ｈ…素通しの開口部
Ｌ…被写体から直接まっすぐ下方に発せられる光（蛍光）の光路
ＯＬ…対物レンズ
Ｓ…透明構造
Ｔ…被写体（観察対象）

Claims (21)

1. 一または二以上のプリズムから構成されていて、三次元構造を有する被写体の蛍光観察対象である各方向の面を一方向に集約するよう形成された光路を有し、各面のワーキングディスタンスを同一にするためガラスと空気の屈折率の違いを利用して光路長補正がなされる多面同時観察光学系（以下、「多面観察プリズム」という。）と、該多面観察プリズムを経て同一面（以下、「入射面」という。）に入射した二以上の像の焦点深度調整範囲を拡大するためのライトフィールドカメラとを備えてなり、
   被写体の蛍光励起および蛍光観察を該多面観察プリズムを通して行う
   ことを特徴とする、多面画像取得システム。
2. 前記多面観察プリズムは、入射光を内部で二回反射して出射する二回反射型プリズムを必要個数接合して形成されていることを特徴とする、請求項１に記載の多面画像取得システム。
3. 前記接合の境界面を含む前記二回反射型プリズムの全ての面が研磨されていることを特徴とする、請求項２に記載の多面画像取得システム。
4. 前記被写体−前記多面観察プリズム−前記入射面 の軸上にある該被写体の前面像が該入射面において直接入射するよう、該多面観察プリズムには素通しの開口部が形成されていることを特徴とする、請求項１、２、３のいずれかに記載の多面画像取得システム。
5. 前記多面観察プリズムは前記開口部を一部または全部囲むように形成されていることを特徴とする、請求項４に記載の多面画像取得システム。
6. 下記（Ａ）に記載のいずれかの光学装置と組み合わせて用いることを特徴とする、請求項１、２、３、４、５のいずれかに記載の多面画像取得システム。
   （Ａ）顕微鏡、スキャナー
7. 下記（Ａ）に記載のいずれかの光学装置を備えることを特徴とする、請求項１、２、３、４、５のいずれかに記載の多面画像取得システム。
   （Ａ）顕微鏡、スキャナー
8. 前記光学装置は一基（つまり単独）であることを特徴とする、請求項６、７のいずれかに記載の多面画像取得システム。
9. 前記多面観察プリズムの被写体側に光学的に影響のない透明構造が設けられ、両者を隔離していることを特徴とする、請求項１、２、３、４、５、６、７，８のいずれかに記載の多面画像取得システム。
10. 前記透明構造はＸＹステージであることを特徴とする、請求項９に記載の多面画像取得システム。
11. 前記多面観察プリズムは、入射光を内部で二回反射して出射する二回反射型プリズムを必要個数接合して形成されていることにより、被写体画像が五面取得されることを特徴とする、請求項１、２、３、４、５、６、７、８、９、１０のいずれかに記載の多面画像取得システム。
12. 前記ライトフィールドカメラを経て取得された画像の立体再構成手段を備えることを特徴とする、請求項１、２、３、４、５、６、７、８、９、１０、１１のいずれかに記載の多面画像取得システム。
13. 請求項１、２、３、４、５、６、７、９、１０、１１、１２のいずれかに記載の多面画像取得システムを用いた観察装置であって、蛍光観察が可能であることを特徴とする、観察装置。
14. 明視野観察用光源が前記多面観察プリズムの側方に設けられていることを特徴とする、請求項１３に記載の観察装置。
15. 蛍光観察用の励起光源と、該励起光源による励起光の照射を介するダイクロイックミラーもしくはその他の透過／反射／分光手段か、または照射波長範囲または蛍光波長範囲を限定する手段（以下、「ダイクロイックミラー等」という。）が設けられており、励起光照射により被写体から発せられた蛍光も該ダイクロイックミラー等を介して取得され、該ダイクロイックミラー等は励起光と蛍光の光路を分けるように形成されており、かかる構成によって取得される蛍光像の明るさを増大できることを特徴とする、請求項１３、１４のいずれかに記載の観察装置。
16. 請求項１３、１４、１５のいずれかに記載の観察装置を用いて行うことを特徴とする、観察方法。
17. 低倍率での明視野観察により観察対象の位置を確認する第一過程、および低倍率のまま蛍光観察に切り替えて観察対象の蛍光発生有無を確認する第二過程を備えることを特徴とする、請求項１６に記載の観察方法。
18. 前記第二過程において観察対象の蛍光発生が確認された場合に観察対象を選択する第三過程、および高倍率での観察対象の蛍光観察を行う第四過程を備えることを特徴とする、請求項１７に記載の観察方法。
19. 前記第四過程の後に、高倍率のまま明視野観察に再度切り替えて画像取得する第五過程を備えることを特徴とする、請求項１８に記載の観察方法。
20. 請求項１３、１４、１５のいずれかに記載の観察装置を用いて行うことを特徴とする、スクリーニング方法。
21. 請求項１、２、３、４、５、６、７、９、１０、１１、１２のいずれかに記載の多面画像取得システムを用いて行うことを特徴とする、被写体の立体再構成方法。
    

Images