JP6330070B1 - 観察装置、観察システム及び観察装置の制御方法 - Google Patents

Abstract

【課題】注目被写体の奥行き情報を取得できる観察装置を提供する。【解決手段】観察装置１００は、拡大光学系、かつ、被写体側非テレセントリック光学系である第１の撮像光学系を含み、前記第１の撮像光学系を用いて試料３００を撮像して第１の画像を取得する撮像部１５１と、試料３００と撮像部１５１との相対位置を変更する移動機構１６０と、異なる撮像部１５１の位置で取得された複数の前記第１の画像と、前記第１の画像の取得時の各々の撮像位置に係る情報とに基づいて、試料３００について立体情報を取得する立体情報取得部とを備える。【選択図】 図１

Description

本発明は、観察装置、観察システム及び観察装置の制御方法に関する。

一般に、インキュベータ内に培養容器を静置し、当該培養容器内の培養細胞等の画像を得る装置が知られている。例えば特許文献１には、拡大光学系を有する撮像装置と培養器との相対位置を変化させながら培養器表面の撮影を行う細胞培養装置に係る技術が開示されている。

また、培養細胞に係る奥行き情報を取得することには需要がある。注目被写体の光軸方向の位置を取得する技術として、例えば、特許文献２には、２つのカメラの取得する画像間の視差に基づいて、注目被写体の光軸方向の位置を取得する撮像装置に係る技術が開示されている。

そのような中、撮像装置と培養器との相対位置を変化させながら培養器表面の撮影を行う撮像装置と、撮像間の視差に基づいて、注目被写体の光軸方向の位置を取得する撮像装置とでは、光学的制限が異なる。

特開２００５−２９５８１８号公報 特開２０１４−２３８５５８号公報

本発明は、注目被写体の奥行き情報を取得できる観察装置、観察システム及び観察装置の制御方法を提供することを目的とする。

本発明の一態様によれば、観察装置は、拡大光学系、かつ、被写体側非テレセントリック光学系である第１の撮像光学系を含み、前記第１の撮像光学系を用いて試料を撮像して第１の画像を取得する撮像部と、前記試料と前記撮像部との相対位置を変更する移動機構と、異なる前記撮像部の位置で取得された複数の前記第１の画像と、前記第１の画像の取得時の各々の撮像位置に係る情報とに基づいて、前記試料について立体情報を取得する立体情報取得部と、異なる位置で取得した複数の前記第１の画像の各々について、被写体に合焦している領域を特定範囲画像として切り出し、複数の前記特定範囲画像を前記立体情報に基づいて並べて前記被写体の側面観察画像を生成する側面情報処理部とを備える。
本発明の一態様によれば、観察装置は、拡大光学系、かつ、被写体側非テレセントリック光学系である第１の撮像光学系を含み、前記第１の撮像光学系を用いて試料を撮像して第１の画像を取得し、被写体側テレセントリック光学系である第２の撮像光学系をさらに含み、前記第２の撮像光学系を用いて前記試料を撮像して第２の画像をさらに取得する撮像部と、前記第１の撮像光学系と前記第２の撮像光学系とを切り替えるレンズ切替部と、前記試料と前記撮像部との相対位置を変更する移動機構と、異なる前記撮像部の位置で取得された複数の前記第１の画像と、前記第１の画像の取得時の各々の撮像位置に係る情報とに基づいて、前記試料について立体情報を取得する立体情報取得部とを備える。

本発明の一態様によれば、観察システムは、観察装置と、ユーザの操作結果を取得して前記観察装置へ出力し、前記観察装置の観察結果を取得するコントローラとを備える。

本発明の一態様によれば、観察装置の制御方法は、拡大光学系、かつ、被写体側非テレセントリック光学系である第１の撮像光学系と、レンズ切替部により前記第１の撮像光学系と切り替えられた被写体側テレセントリック光学系である第２の撮像光学系とを含む撮像部を用いて、前記第１の撮像光学系を用いて試料を撮像して第１の画像を取得することと、前記試料と前記撮像部との相対位置を変更することと、異なる前記撮像部の位置で取得された複数の前記第１の画像と、前記第１の画像の取得時の各々の撮像位置に係る情報とに基づいて、前記試料について立体情報を取得することと、前記撮像部を用いて、前記第２の撮像光学系を用いて試料を撮像して第２の画像を取得することとを含む。

本発明によれば、注目被写体の奥行き情報を取得できる観察装置、観察システム及び観察装置の制御方法を提供できる。

図１は、第１の実施形態に係る観察システムの外観の概略の一例を示す模式図である。 図２は、第１の実施形態に係る観察システムの構成例の概略を示すブロック図である。 図３は、第１の実施形態に係る第２の撮像光学系を含む撮像部と試料との位置関係の一例を示す模式図である。 図４は、第１の実施形態に係る第２の撮像光学系を含む撮像部と試料との位置関係の別の一例を示す模式図である。 図５は、第１の実施形態に係る第１の撮像光学系を含む撮像部と試料との位置関係の一例を示す模式図である。 図６は、第１の実施形態に係る第１の撮像光学系を含む撮像部と試料との位置関係の別の一例を示す模式図である。 図７は、第１の実施形態に係る観察装置制御処理の一例を示すフローチャートである。 図８は、第１の実施形態に係るカウントスキャン処理の一例をフローチャートである。 図９は、第１の実施形態に係るカウントスキャン処理情報として記録される情報の一例を示す模式図である。 図１０は、第１の実施形態に係るカウントスキャン処理における画像取得ユニットの移動パターンの一例を示す模式図である。 図１１は、第１の実施形態に係る３Ｄスキャン処理の一例を示すフローチャートである。 図１２は、第１の実施形態に係る３Ｄスキャン処理情報として記録される情報の一例を示す模式図である。 図１３は、第１の実施形態に係る３Ｄスキャン処理における画像取得ユニットの移動パターンの一例を示す模式図である。 図１４は、第１の実施形態に係るコントローラ制御処理の一例を示すフローチャートである。 図１５は、第２の実施形態に係る第１の撮像光学系を含む撮像部と試料との位置関係の一例を示す模式図である。 図１６は、第２の実施形態に係る側面観察画像の一例を示す模式図である。 図１７は、第２の実施形態に係る側面観察処理の一例を示すフローチャートである。

［第１の実施形態］
＜観察システムの構成＞
（観察システムの概要）
本発明の第１の実施形態について図面を参照して説明する。本実施形態に係る観察システムは、培養中の細胞、細胞群、組織等を撮影し、細胞又は細胞群の個数、形態等を記録するためのシステムである。観察システム１の外観の概略の一例を模式図として図１に、観察システム１の構成例の概略をブロック図として図２にそれぞれ示し、これらを参照して観察システム１の構成について説明する。

図１及び図２に示すように、観察システム１は、観察装置１００とコントローラ２００とを備える。図１に示すように、観察装置１００は、おおよそ平板形状をしている。観察装置１００の上面には観察対象である試料３００が配置され、観察装置１００と試料３００とは、例えばインキュベータ内に設置される。

以降の説明のため、観察装置１００の試料３００が配置される面と平行な面内に互いに直交するＸ軸及びＹ軸を定義し、Ｘ軸及びＹ軸と直交するようにＺ軸（観察軸）を定義する。

図１及び図２に示すように、観察装置１００は、筐体１０１と、透明板１０２と、画像取得ユニット１５０と、移動機構１６０とを備える。筐体１０１の上面には、透明板１０２が配置されている。画像取得ユニット１５０は、筐体１０１の内部に設けられており、撮像部１５１と照明部１５５とを備える。図２に示すように、撮像部１５１は、撮像光学系１５２と、撮像素子１５３とを備える。撮像部１５１は、撮像光学系１５２を介して撮像素子１５３の撮像面に結像した像に基づいて、画像データを生成する。画像取得ユニット１５０は、移動機構１６０によって移動させられて試料３００との相対位置を変更させられながら、透明板１０２を介して試料３００を照明し、また、撮影して試料３００の画像を取得する。一方、コントローラ２００は、例えばインキュベータの外部に設置される。観察装置１００とコントローラ２００とは、通信する。コントローラ２００は、観察装置１００の動作を制御する。

なお、Ｚ軸方向の撮影位置は、移動機構１６０によって変更されてもよいし、撮像光学系１５２の合焦位置が変更されることで変更されてもよい。撮像光学系１５２は、焦点距離を変更できるズーム光学系であることが好ましい。

以下、撮像光学系１５２が拡大光学系であり、撮像光学系１５２の光軸がＺ軸（観察軸）と平行である場合を例として説明をする。本実施形態に係る観察装置１００は、注目被写体の奥行き情報を取得する３Ｄスキャン処理と、注目被写体の大きさ、数等を取得するカウントスキャン処理とを行う。

本実施形態に係る撮像光学系１５２は、少なくとも被写体側に非テレセントリック性を有する光学系である第１の撮像光学系を備える。以下、第１の撮像光学系を用いて撮像された画像を第１の画像と称する。例えば３Ｄスキャン処理において、観察装置１００は、第１の撮像光学系を含む画像取得ユニット１５０を移動させながら第１の画像を取得する。観察装置１００は、それぞれ異なる位置で行われた撮像間の視差に基づいて、試料３００に含まれる注目被写体の第１の撮像光学系の光軸方向の位置を奥行き情報として取得する。当該奥行き情報には、注目被写体に係る第１の撮像光学系の光軸方向の位置、立体モデル（３Ｄモデル）等が含まれる。

また、本実施形態に係る撮像光学系１５２は、少なくとも被写体側にテレセントリック性を有する光学系である第２の撮像光学系をさらに備える。以下、第２の撮像光学系を用いて撮像された画像を第２の画像と称する。例えばカウントスキャン処理において、観察装置１００は、第２の撮像光学系を含む画像取得ユニット１５０を移動させながら第２の画像を取得する。観察装置１００は、それぞれ異なる位置で撮像された第２の画像を合成し、広範囲を撮像して取得されたかのような広範囲の高画素画像を取得する。また、観察装置１００は、第２の画像又は当該高画素画像に基づいて、注目被写体の大きさ、数等を取得する。

（撮像光学系について）
ここでは、画像取得ユニット１５０が移動させられながら行う撮像について、第１の撮像光学系を用いる場合と第２の撮像光学系を用いる場合との各々について図３乃至図６を参照して説明する。本実施形態に係る撮像光学系１５２は、絞り１５２ａと、少なくとも対物レンズ１５２ｂ及び結像レンズ１５２ｃを含む複数のレンズとを備える。なお、結像レンズ１５２ｃの撮像素子１５３側の焦点距離を焦点距離Ｆｔとする。

まず、本実施形態に係る撮像光学系１５２として第２の撮像光学系が用いられる場合について説明をする。本実施形態に係る第２の撮像光学系を含む撮像部１５１と試料３００との位置関係の一例を模式図として図３に示す。試料３００は、容器３１０と注目被写体である細胞３２４とを含む。ここでは、第２の撮像光学系が両側テレセントリック光学系である場合を例として説明をする。図３に示すように、本実施形態に係る第２の撮像光学系は、絞り１５２ａと対物レンズ１５２ｂの射出側焦点と結像レンズ１５２ｃの入射側焦点との位置を一致させることで、被写体側と像側との両側にテレセントリック性を有する光学系である。このような両側テレセントリック光学系では、光学系の光軸に対して平行に入射した主光線（絞り１５２ａの中心を通過する光線）が、光学系の光軸に対して平行に射出される。

例えば図３に示す状態では、細胞３２４上の点Ｐ１は、第２の撮像光学系の光軸上に位置する。点Ｐ１から放射される光線のうち、絞り１５２ａの中心を通るようにして第２の撮像光学系を通過して撮像素子１５３へと入射できる光線（主光線）は、第２の撮像光学系の光軸に対して平行に対物レンズ１５２ｂへ入射する光線Ｒ１である。光線Ｒ１は、第２の撮像光学系の光軸に対して平行に対物レンズ１５２ｂへ入射し、絞り１５２ａの中心と結像レンズ１５２ｃとを通過して、撮像素子１５３上の第２の撮像光学系の光軸上に位置する点Ｑ１へと入射する。

また、図３に示す状態から、第２の撮像光学系の光軸がＺ軸（観察軸）と平行に維持されたまま、移動機構１６０によってΔＸ１だけＸ方向に移動させられた後の状態を模式図として図４に示す。

図４に示す状態では、点Ｐ１から放射される光線のうち、絞り１５２ａの中心を通るようにして第２の撮像光学系を通過して撮像素子１５３へと入射できる光線（主光線）は、第２の撮像光学系の光軸に対して平行に対物レンズ１５２ｂへ入射する光線Ｒ１´である。もちろん、機構構成を傾斜可能なものにしたりすれば、光軸に対して傾きを持たせた移動にする応用も可能である。以下、光線Ｒ１´が入射する撮像素子１５３上の点をＱ１´とする。ここで、点Ｐ１を対応点とした場合には、撮像素子１５３の撮像面における像位置の変化量（第２の像移動量）は、点Ｑ１と点Ｑ１´との間の距離である。また、図４に示す状態において、第２の撮像光学系の光軸上であって、当該光軸方向の位置が点Ｐ１と等しい点を点Ｐ１１とする。

次に、本実施形態に係る撮像光学系１５２として第１の撮像光学系が用いられる場合について説明をする。本実施形態に係る第１の撮像光学系を含む撮像部１５１と試料３００との位置関係の一例を模式図として図５に示す。図３及び図４に示す場合と同様に、試料３００は、容器３１０と注目被写体である細胞３２４とを含む。ここでは、第１の撮像光学系が被写体側非テレセントリック光学系（像側テレセントリック光学系）である場合を例として説明をする。図５に示すように、本実施形態に係る第１の撮像光学系は、図３又は図４に示す両側テレセントリック光学系において対物レンズ１５２ｂの第１の撮像光学系の光軸方向の位置を絞り１５２ａ側に移動させて、被写体側のみテレセントリック性を崩した光学系である。このような被写体側非テレセントリック光学系では、当該光学系に入射して対物レンズ１５２ｂで偏向された後に絞り１５２ａの中心を通過する光線（主光線）が、光学系の光軸に対して平行に射出される。絞り１５２ａと対物レンズ１５２ｂの射出側焦点とを異ならせているため、被写体側非テレセントリック光学系を通過して撮像される光線のうち光軸上以外を通過して入射する主光線（図５中の破線で示す軸外主光線）は、注目被写体と光学系との間において、光学系の光軸と傾きを有することになる。

例えば図５に示す状態では、細胞３２４上の点Ｐ１の位置は第１の撮像光学系の光軸上であるため、点Ｐ１から放射される光線のうち、第１の撮像光学系の絞り１５２ａの中心を通過して撮像素子１５３へと入射できる光線（主光線）は、第１の撮像光学系の光軸上を通過して撮像素子１５３上の点Ｑ２へと入射する光線Ｒ２である。

また、図５に示す状態から、第１の撮像光学系の光軸がＺ軸（観察軸）と平行に維持されたまま、移動機構１６０によってΔＸ２だけＸ方向に移動させられた後の状態を模式図として図６に示す。

図６に示す状態では、点Ｐ１の位置は第１の撮像光学系の光軸上ではないため、点Ｐ１から放射される光線のうち主光線は、当該光軸に対して角度φの傾きを有して対物レンズ１５２ｂへ入射する光線Ｒ２´である。その後、光線Ｒ２´は対物レンズ１５２ｂで偏向された後に絞り１５２ａの中心を通過して撮像素子１５３上の点Ｑ２´へと入射する。ここで、点Ｐ１を対応点とした場合には、撮像素子１５３の撮像面における像位置の変化量（第１の像移動量ΔＸ）は、点Ｑ２と点Ｑ２´との間の距離である。また、図６に示す状態において、第１の撮像光学系の光軸上であって、当該光軸方向の位置が点Ｐ１と等しい点を点Ｐ１２とする。

図３及び図４を参照して上述したように、第２の撮像光学系を用いる場合に撮像素子１５３に入射する各主光線は、第２の撮像光学系の光軸に対して平行に第２の撮像光学系へ入射する光線である。そのため、例えば第２の撮像光学系の光軸位置（撮像位置）が位置Ｘ１から位置Ｘ１´へと移動するように、注目被写体と第２の撮像光学系の光軸位置との相対位置が変化する場合には、第２の撮像光学系が当該光学系の入射端から点Ｐ１を見る方向の変化（視差）は生じない。また、第２の像移動量は、第２の画像が取得された撮像位置の間隔（ΔＸ１）に第２の撮像光学系の倍率を乗じた距離に等しい。被写体に凹凸がある場合でも撮像面上での見え方は変わらない。これは、第２の像移動量は、視差が存在する場合に発生する視差に起因する像移動量を含まないとも表現できる。

このように、第２の撮像光学系を用いた撮像では、瞳が被写体側から見て無限遠となるため、遠方から俯瞰したかのごとき画像（第２の画像）が得られることになる。例えば細胞が凹凸を有する場合のように、細胞３２４と対物レンズ１５２ｂとの相対位置が当該光軸方向に異なる場合でも、第２の撮像光学系の光軸に対して平行に第２の撮像光学系へ入射する光線の光路は変化しない。そのため、撮像位置を変化させながら取得した複数の第２の画像を張り合わせて広範囲の高画素画像を合成する際に、画像間のつなぎ目の処理が容易となる。広範囲の画像に基づけば、その撮像領域内に存在する細胞数のカウントや細胞の大きさの比較が容易であることは言うまでもない。

一方で、細胞３２４又は細胞群の形状が撮像光学系１５２の光軸方向に対して凹凸を有している場合等には、注目被写体の奥行き情報を取得したいという需要もある。ところが、上述したように第２の撮像光学系のような被写体側テレセントリック光学系では、注目被写体と当該光学系との相対位置が光軸方向に変化しても、第２の像移動量には視差に起因する像移動量が含まれないため、注目被写体の当該光軸方向の位置の変化量は取得できない。本実施形態に係る観察装置１００は、このように奥行き情報を取得したい場合に第１の撮像光学系を用いて撮像を行う。

図５及び図６を参照して上述したように、第１の撮像光学系を用いる場合に撮像素子１５３に入射する各主光線のうち、第１の撮像光学系の光軸上に位置しない範囲から放射される主光線は、当該光軸との間に傾きを有している。そのため、例えば第１の撮像光学系の光軸位置（撮像位置）が位置Ｘ２から位置Ｘ２´へと移動するように、注目被写体と光軸位置との相対位置が変化する場合には、第１の撮像光学系が当該光学系の入射端から点Ｐ１を見る方向の変化（視差）が生じる。また、第１の像移動量ΔＸは、第１の画像が取得された撮像位置の間隔（ΔＸ２）に第１の撮像光学系の倍率を乗じた距離に等しい。しかしながら、被写体に凹凸がある場合、対物レンズの被写体側の焦平面（Ｐ１を含み光軸に垂直な面）に対して前後する位置にある被写体に対しては撮像面上での倍率が異なる。図６の例では、対物レンズ１５２ｂからの距離が遠いほど撮像面上での倍率は小さくなる。つまり、設定する点Ｐ１の位置の奥行きの違いにより、ΔＸ２とΔＸとの比は変化する。これは、第１の像移動量ΔＸは、視差が存在する場合に発生する視差に起因する像移動量を含んでいるとも表現できる。

このように、第１の撮像光学系を用いた撮像では、同一の対応点を含み、かつ、例えば同一のＸＹ平面上で撮像位置が異なる複数の第１の画像に基づいて、視差に起因する像移動量を含む第１の像移動量ΔＸが得られることになる。そのため、本実施形態に係る観察装置１００は、例えば第１の像移動量ΔＸに基づいて三角測量の原理を利用して、細胞３２４等の注目被写体について奥行き情報を取得することができる。奥行き情報には、例えば厚み、凹凸等の情報を含む立体情報、立体画像が含まれる。第１の撮像光学系を用いた撮像では、こうした距離分布や各深さ方向の像情報などが得られるので、様々な情報で、対象物の確認が可能となる。つまり観察光学系を用いて試料３００の画像を取得する撮像部１５１と、試料３００と撮像部１５１との相対位置を変更する移動機構１６０と、異なる撮像部１５１の位置で取得された複数の画像と、この画像の取得時の各々の撮像位置に係る情報とに基づいてこの試料３００について立体情報として取得する立体情報取得部を備える観察装置が提供できる。この観察光学系は、結像作用があればよく、拡大は電子的に拡大するような応用を行ってもよい。

（奥行き情報の取得について）
ここでは、図５に示す状態で取得された第１の画像と、図６に示す状態で取得された第１の画像とに基づく奥行き情報の取得について説明をする。なお、これら第１の画像の取得間隔は、試料３００の内部で生じる現象の経時変化と比較して十分に短いものとする。また、簡単のため、図６に示す第１の光学系を通過する光線Ｒ２´において、対物レンズ１５２ｂの入射側と射出側の光線が同一線上である場合を例として説明をする。したがって、以下の奥行き情報の取得についての説明において、絞り１５２ａの中心を示す点Ｓ０と点Ｐ１と点Ｐ１２とから成る三角形は、点Ｓ０と光線Ｒ２´が通過する結像レンズ１５２ｃ上の点Ｋ１と結像レンズ１５２ｃの中心を示す点Ｋ０とから成る直角三角形と相似であるとする。なお、対物レンズ１５２ｂの入射側と射出側の光線が同一線上でない場合であっても、対物レンズ１５２ｂにおける屈折角を考慮すれば以下の説明と同様の処理が可能であることは言うまでもない。

点Ｓ０と点Ｋ１と点Ｋ０とから成る直角三角形において、点Ｋ１と点Ｋ０との間の距離は、第１の像移動量ΔＸに等しい。第１の像移動量ΔＸは、少なくとも２枚の第１の画像に基づいた画像処理において、対応点が検出されて像面上の対応点の移動量として算出されるため既知である。また、点Ｓ０と点Ｋ０との間の距離は、結像レンズ１５２ｃの入射側の焦点距離Ｆｏであり既知である。一方、点Ｓ０と点Ｐ１と点Ｐ１２とから成る直角三角形において、点Ｐ１と点Ｐ１２との間の距離は、光軸間距離ΔＸ２であり、既知である。

したがって、絞り１５２ａと入射瞳（被写体側から見た絞り１５２ａの像）の位置の差が無視できるとした場合、点Ｓ０と点Ｐ１との間の第１の撮像光学系の光軸方向の距離Ｚは、Ｚ＝Ｆｏ×ΔＸ２／ΔＸとして算出され、細胞３２４の奥行き情報が取得される。

なお、図３及び図４に示した第２の撮像光学系と、図５及び図６に示した第１の撮像光学系とは、それぞれ像側にテレセントリック性を有する光学系として示されているが、これに限定されない。上述したように、本実施形態に係る観察装置１００は、撮像して取得する画像が、細胞３２４の奥行き情報を含むか否かを切り替えるために撮像光学系１５２を第１の撮像光学系としたり、第２の撮像光学系としたりする。そのため、第１の撮像光学系又は第２の撮像光学系が像側に非テレセントリック性を有する光学系であっても、同様の効果が得られ得る。

また、第１の撮像光学系は被写体側に非テレセントリック性を有する光学系であるため、例えばピントを合わせるために、第１の撮像光学系を第１の撮像光学系の光軸方向に移動させた場合にも、撮像素子１５３上の対応点は移動することになる。例えば図６に示す状態から、第１の撮像光学系と撮像素子１５３とが一体として細胞３２４から離れる方向（Ｚ−方向）に移動させられた場合を例として説明する。このとき、点Ｐ１と点Ｓ０とを通る直線と、点Ｐ１２と点Ｓ０とを通る直線とが成す角は小さくなる。したがって、点Ｋ１は、光軸側に移動し、点Ｑ２´もまた光軸側に移動することになる。このように、移動させられながら撮像を繰り返す途中で、ピント合わせ等のために第１の撮像光学系が第１の撮像光学系の光軸方向に移動させられた場合でも、対応点の移動を取得することによって、奥行き情報の取得が可能であることは明らかである。

なお、簡単のために、撮像光学系１５２がＸ方向に移動させられた場合であって、あるＸＹ平面（点Ｐ１を撮像した点）にのみ着目した場合における光軸方向の奥行き情報の取得について説明をしたが、これに限定されない。第１の画像に含まれる複数の対応点について第１の像移動量ΔＸが取得され、細胞３２４について、面での奥行き情報が取得されることは明らかである。

なお、簡単のために、奥行き情報の取得に用いられる第１の画像の一方が撮像された状態として、図５に示すような、点Ｐ１が第１の撮像光学系の光軸上に位置する場合を例として説明したが、これに限定されない。例えば奥行き情報の取得に用いられる少なくとも２枚の第１の画像において、各々の撮像時の光軸上に位置しない点が対応点として用いられてもよい。

一般に、例えばオートフォーカスの結果に基づいて、注目被写体上の任意の点について奥行き情報を取得することは容易である。一方で、オートフォーカスの結果に基づいて、注目被写体の任意の面について奥行き情報を取得することは、所望の分解能にも依存するが、当該面に含まれる全ての点に対するオートフォーカス動作が要求される等、困難である。このような中、本実施形態に係る観察装置１００において第１の撮像光学系を用いて奥行き情報を取得すれば、当該奥行き情報には注目被写体の面の奥行き情報が含まれており、注目被写体の３Ｄモデルの取得等が容易となる。

なお、被写体側のいずれの主光線も光軸とのなす角度が４°以下の光学系であれば被写体側テレセントリック光学系とみなしてよい。

被写体側非テレセントリック光学系としては、被写体側のいずれかの主光線と光軸とのなす角度（図６のφ）が６°以上の光学系とみなしてよい。複数の第１の画像間にて十分に視差のある画像を得られる。

さらに周辺（側面）の画像を撮る場合は、被写体側のいずれかの主光線と光軸とのなす角度（図６のφ）を２０°以上とすることが好ましい。

（試料について）
観察システム１の測定対象である試料３００は、例えば次のようなものである。試料３００は、例えば、容器３１０と、培地３２２と、細胞３２４と、反射板３６０とを含む。容器３１０内に培地３２２が入れられ、培地３２２内で細胞３２４が培養されている。容器３１０は、例えばシャーレ、培養フラスコ、マルチウェルプレート等であり得る。このように、容器３１０は、例えば、生体試料を培養するための培養容器である。容器３１０の形状、大きさ等は限定されない。培地３２２は、液体培地でも固体培地でもよい。測定対象は例えば細胞３２４であるが、これは、接着性の細胞でもよいし、浮遊性の細胞でもよい。また、細胞３２４は、スフェロイドや組織であってもよい。さらに、細胞３２４は、どのような生物に由来してもよく、菌等であってもよい。このように、試料３００は、生物又は生物に由来する試料である生体試料を含む。反射板３６０は、透明板１０２を介して試料３００に入射した照明光を反射させて、細胞３２４を照明するためのものであり、容器３１０の上面に配置される。

（観察装置について）
観察装置１００の筐体１０１の上面に配置されている透明板１０２は、例えばガラス等で形成されている。観察装置１００は、例えば筐体１０１と透明板１０２とを含む部材によってその内部が密閉された状態となっている。試料３００は、この透明板１０２上に静置される。図１には、筐体１０１の上面の全体が透明な板で形成されている例が示されているが、観察装置１００は、筐体１０１の上面の一部に透明な板が設けられ、上面のその他の部分が不透明であるように構成されてもよい。なお、ここでの透明とは、照明光の波長に対して透明であることを示す。

移動機構１６０は、支持部１６５と、支持部１６５をＸ軸方向に移動させるためのＸ送りねじ１６１と、Ｘアクチュエータ１６２とを備える。また、移動機構１６０は、支持部１６５をＹ軸方向に移動させるためのＹ送りねじ１６３とＹアクチュエータ１６４とをさらに備える。移動機構１６０は支持部１６５をＺ軸方向に移動させるためのＺ送りねじ及びＺアクチュエータ等を備えてもよい。以下の説明のため、支持部１６５がＸアクチュエータ１６２から離れる方向に移動する方向をＸ方向の正の向き（Ｘ＋方向）とし、Ｙアクチュエータ１６４から離れる方向に移動する方向をＹ方向の正の向き（Ｙ＋方向）とし、支持部１６５から試料３００に向かう方向をＺ方向の正の向き（Ｚ＋方向）とする。

図１に示すように、画像取得ユニット１５０の備える照明部１５５は、移動機構１６０の備える支持部１６５に設けられている。また、照明部１５５の近傍には撮像部１５１が設けられている。照明部１５５は、照明光学系１５６と光源１５７とを備える。光源１５７から放射された照明光は、照明光学系１５６を介して試料３００へと照射される。光源１５７は、例えばＬＥＤを含む。

図２に示すように、撮像部１５１は、レンズ切替部１５４をさらに備える。レンズ切替部１５４は、例えば撮像光学系１５２に含まれるレンズを光軸方向へ駆動させ、撮像光学系１５２を第１の撮像光学系としたり、第２の撮像光学系としたりする。本実施形態に係るレンズ切替部１５４は、例えば細胞３２４の数をカウントするカウントスキャン処理、複数の位置で取得した複数の画像を合成して広範囲の高画素画像を取得する撮像処理等が行われる際には撮像光学系１５２を第２の撮像光学系とする。また、本実施形態に係るレンズ切替部１５４は、例えば細胞３２４の奥行き情報を取得する３Ｄスキャン処理、細胞３２４の３次元画像を取得する撮像処理等が行われる際には撮像光学系１５２を第１の撮像光学系とする。

このように、本実施形態に係る観察装置１００は、レンズ切替部１５４に観察の種類に応じて撮像光学系１５２を切り替えさせ、また、移動機構１６０に画像取得ユニット１５０の位置をＸ方向及びＹ方向に撮像光学系１５２の光軸を観察軸と平行に維持したまま変更させながら繰り返し試料３００の撮影を行い、複数の画像を取得する。

観察装置１００は、観察側記録回路１３０をさらに備える。観察側記録回路１３０は、例えば観察装置１００の備える各部で用いられるプログラムや各種パラメータ、観察装置１００で得られたデータを記録する。また、観察側記録回路１３０は、例えば画像データ（画素データ）、記録用の画像データ、表示用の画像データ、動作時の処理データといった各種データを一時的に記録する。

さらに、観察側記録回路１３０は、撮像光学系１５２の光軸方向における合焦位置の範囲を、例えばピント位置範囲ΔＺとして記録している。ピント位置範囲ΔＺは、例えば試料３００のサイズ等に応じた値が予め設定されたり、ユーザの入力によって設定されたりする。

観察装置１００は、画像処理回路１２０をさらに備える。画像処理回路１２０は、撮像部１５１で得られた画像データに対して各種画像処理を施す。画像処理回路１２０による画像処理後のデータは、例えば観察側記録回路１３０に記録されたり、コントローラ２００に送信されたりする。また、画像処理回路１２０は、得られた画像に基づく各種解析を行ってもよい。例えば画像処理回路１２０は、得られた第１の画像に基づいて、試料３００に含まれる細胞３２４又は細胞群の奥行き情報を取得する。また、例えば画像処理回路１２０は、得られた第２の画像に基づいて、試料３００に含まれる細胞３２４又は細胞群の画像を抽出したり、細胞又は細胞群の数を算出したりする。このようにして得られた解析結果も、例えば観察側記録回路１３０に記録されたり、コントローラ２００に送信されたりする。

このようなコントローラ２００との通信を行うために、観察装置１００は、観察側通信装置１４０をさらに備える。この通信には、例えばＷｉ−Ｆｉ（登録商標）又はＢｌｕｅｔｏｏｔｈ（登録商標）等を利用した無線通信が利用される。また、観察装置１００とコントローラ２００とは、有線によって接続されて有線によって通信が行われてもよいし、互いにインターネット等の電気通信回線に接続されてインターネット等の電気通信回線を介して通信が行われてもよい。

観察装置１００は、観察側制御回路１１０と、時計部１７２とをさらに備える。

観察側制御回路１１０は、観察装置１００の備える各部の動作を制御する。また、観察側制御回路１１０は、観察装置１００の動作に係る各種情報を取得し、観察装置１００の動作に係る各種判定を行い、また、当該判定の結果に基づいてユーザに対して通知、警告等を行う。図２に示すように、観察側制御回路１１０は、位置制御部１１１、撮像制御部１１２、照明制御部１１３、通信制御部１１４、記録制御部１１５、測定制御部１１６及び距離換算部１１７としての機能を備える。位置制御部１１１は、移動機構１６０の動作を制御し、画像取得ユニット１５０の位置を制御する。撮像制御部１１２は、画像取得ユニット１５０の備える撮像部１５１の動作を制御し、撮像部１５１に試料３００の画像を取得させる。撮像制御部１１２は、ピント・露出切替部を備える。撮像制御部１１２は、例えば撮像光学系１５２に含まれる合焦用レンズを光軸方向に移動させてピント調節を行う。当該合焦用レンズは、例えば液体レンズのような焦点距離が可変のレンズであってもよい。また、合焦用には焦点の異なるレンズが複数用意されてもよい。用意されたレンズが多眼であればリフォーカス技術などを利用することが可能となる。また、ピント・露出切替部は、例えば絞り部１５２ａの動作を制御して露出の調節をしたり、レンズの光軸方向の動作を制御してズームの調整をしたりする。照明制御部１１３は、画像取得ユニット１５０の備える照明部１５５の動作を制御する。通信制御部１１４は、観察側通信装置１４０を介したコントローラ２００との通信を管理する。記録制御部１１５は、観察装置１００で得られたデータの記録について制御する。測定制御部１１６は、測定を行うタイミングや回数など、測定全体を制御する。距離換算部１１７は、注目被写体である細胞３２４の光軸方向の位置情報、細胞３２４の有する凹凸に係る情報等を、例えば画像処理回路１２０の処理結果に基づいて、奥行き情報として取得する。時計部１７２は、時刻情報を生成して観察側制御回路１１０へ出力する。当該時刻情報は、例えば取得データの記録時、観察装置１００の動作に係る判定に使用される。

なお、上述した、観察側制御回路１１０と、画像処理回路１２０と、観察側記録回路１３０と、観察側通信装置１４０とは、例えば図１に示すように、回路群１０４として筐体１０１の内部に設けられている。

また、本実施形態に係る観察装置１００は、立体情報取得部と対応点取得部と立体モデル生成部としての機能を備える。立体情報取得部は、異なる撮像部１５１の位置で取得された複数の第１の画像と、これら第１の画像の取得時の各々の撮像位置に係る情報とに基づいて試料３００について立体情報として取得する。立体情報取得部は、例えば試料３００の凹凸等に係る情報を取得する。立体情報取得部は、例えば距離換算部１１７から第１の画像の取得時の各々の撮像位置に係る情報を取得する。なお、当該立体情報は、例えば距離換算部１１７の取得する奥行き情報を含む。対応点取得部は、例えば撮像部１５１が移動機構１６０に移動させられながら取得した複数の第１の画像間の相関に基づいて、対応点を取得し、第１の像移動量ΔＸを取得する。立体モデル生成部は、例えば距離換算部１１７の取得する奥行き情報に基づいて、注目被写体の立体モデルを構築する。なお、これら立体情報取得部と対応点取得部と立体モデル生成部としての機能は、それぞれ、例えば観察側制御回路１１０及び／又は画像処理回路１２０によって実現され得る。

このように、筐体１０１の内部に、透明板１０２を介した撮像によって画像データを生成する画像取得ユニット１５０と、画像取得ユニット１５０を移動させる移動機構１６０とを設けることによって、信頼性が高く、取り扱いや洗浄が容易であり、コンタミネーション等を防止できる構造にすることができる。

（コントローラについて）
コントローラ２００は、例えばパーソナルコンピュータ（ＰＣ）、タブレット型の情報端末等である。図１には、タブレット型の情報端末を図示している。

コントローラ２００には、例えば液晶ディスプレイといった表示装置２７２とタッチパネルといった入力装置２７４とを備える入出力装置２７０が設けられている。入力装置２７４は、タッチパネルの他に、スイッチ、ダイヤル、キーボード、マウス等を含んでいてもよい。

また、コントローラ２００には、コントローラ側通信装置２４０が設けられている。コントローラ側通信装置２４０は、観察側通信装置１４０と通信を行うための装置である。観察側通信装置１４０及びコントローラ側通信装置２４０を介して、観察装置１００とコントローラ２００とは通信を行う。

また、コントローラ２００は、コントローラ側制御回路２１０と、コントローラ側記録回路２３０とを備える。コントローラ側制御回路２１０は、コントローラ２００の各部の動作を制御する。コントローラ側記録回路２３０は、例えばコントローラ側制御回路２１０で用いられるプログラムや各種パラメータ、観察装置１００から受信したデータを記録する。

コントローラ側制御回路２１０は、システム制御部２１１、表示制御部２１２、記録制御部２１３、通信制御部２１４及びネット連携部２１５としての機能を有する。なお、コントローラ側制御回路２１０は、対応点取得部と立体モデル生成部としての機能をさらに有していてもよい。システム制御部２１１は、試料３００の測定のための制御に係る各種演算を行う。表示制御部２１２は、表示装置２７２の動作を制御する。表示制御部２１２は、表示装置２７２に必要な情報等を表示させる。記録制御部２１３は、コントローラ側記録回路２３０への情報の記録を制御する。通信制御部２１４は、コントローラ側通信装置２４０を介した観察装置１００との通信を制御する。ネット連携部２１５は、インターネット等の電気通信回線上に設けられたクラウド等の観察システム１の外部にあるネットワークサーバ等と観察システム１との連携を制御する。当該連携において、ネット連携部２１５は、例えば、観察装置１００が取得した画像等の観察結果又はコントローラ２００が取得した観察結果を、観察側通信装置１４０又はコントローラ側通信装置２４０に、ネットワーク上に設けられたサーバ等に送信させる。ネット連携部２１５は、例えば、当該ネットワークサーバの有する画像処理回路等に当該観察結果に基づいた細胞カウント、奥行き情報の算出等の処理を行わせ、当該処理の結果を取得する。また、例えばネット連携部２１５は、インターネットに接続されたインキュベータ、空調設備、照明設備等のＩｏＴ機器から情報を取得したり、当該ＩｏＴ機器を制御したりする。

なお、観察側制御回路１１０、画像処理回路１２０及びコントローラ側制御回路２１０は、Central Processing Unit（ＣＰＵ）、Application Specific Integrated Circuit（ＡＳＩＣ）、又はField Programmable Gate Array（ＦＰＧＡ）等の集積回路等を含む。観察側制御回路１１０、画像処理回路１２０及びコントローラ側制御回路２１０は、それぞれ１つの集積回路等で構成されてもよいし、複数の集積回路等が組み合わされて構成されてもよい。また、観察側制御回路１１０及び画像処理回路１２０は、１つの集積回路等で構成されてもよい。また、観察側制御回路１１０の位置制御部１１１、撮像制御部１１２、照明制御部１１３、通信制御部１１４、記録制御部１１５、測定制御部１１６、及び距離換算部１１７は、それぞれ１つの集積回路等で構成されてもよいし、複数の集積回路等が組み合わされて構成されてもよい。また、位置制御部１１１、撮像制御部１１２、照明制御部１１３、通信制御部１１４、記録制御部１１５、測定制御部１１６、及び距離換算部１１７のうち２つ以上が１つの集積回路等で構成されてもよい。同様に、コントローラ側制御回路２１０のシステム制御部２１１、表示制御部２１２、記録制御部２１３、通信制御部２１４及びネット連携部２１５は、それぞれ１つの集積回路等で構成されてもよいし、複数の集積回路等が組み合わされて構成されてもよい。また、システム制御部２１１、表示制御部２１２、記録制御部２１３、通信制御部２１４及びネット連携部２１５のうち２つ以上が１つの集積回路等で構成されてもよい。これら集積回路の動作は、例えば観察側記録回路１３０又はコントローラ側記録回路２３０や集積回路内の記録領域に記録されたプログラムに従って行われる。

なお、観察側記録回路１３０、コントローラ側記録回路２３０又はこれらの備える各要素は、例えばフラッシュメモリのような不揮発性メモリであるが、Static Random Access Memory（ＳＲＡＭ）やDynamic Random Access Memory（ＤＲＡＭ）のような揮発性メモリをさらに有していてもよい。また、観察側記録回路１３０又はこれらの備える各要素と、コントローラ側記録回路２３０又はこれらの備える各要素とは、それぞれ１つのメモリ等で構成されてもよいし、複数のメモリ等が組み合わされて構成されてもよい。また、観察システム１の外部にあるデータベース等を、そのメモリの一部として利用してもよい。

＜観察システムの動作＞
コントローラ２００との間で通信して観察装置１００によって行われる観察装置制御処理の一例をフローチャートとして図７に示し、これを参照して観察システム１の動作について説明をする。

ステップＳ１０１において、観察側制御回路１１０は、例えばコントローラ２００がユーザの操作に応じて出力する信号を受信するまで待機する。

ステップＳ１０２において、観察側制御回路１１０は、例えばコントローラ２００から観察装置１００の電源をオンとする電源ＯＮ信号又は観察装置１００の電源をオフとする電源ＯＦＦ信号を受信したか否かを判定する。観察装置制御処理は、電源ＯＮ／ＯＦＦ信号を受信したと判定された場合はステップＳ１０３へ進み、受信したと判定されなかった場合はステップＳ１０４へ進む。

ステップＳ１０３において、観察側制御回路１１０は、ステップＳ１０２において電源ＯＮ信号を受信したと判定された場合は観察装置１００の各部への電源の供給を開始し、ステップＳ１０２において電源ＯＦＦ信号を受信したと判定された場合は観察装置１００の各部への電源の供給を終了する。なお、観察側通信装置１４０へは、通信を待機するために、何れの場合も電源が供給され続ける。その後、観察装置制御処理はステップＳ１０１へ戻る。

細胞培養について観察する場合等、観察物の経時変化が緩やかな場合には、必要に応じた時間間隔で撮像等の観察が行われればよい。そのため、このような電源制御は省エネに貢献するものである。

なお、観察装置１００は、制御信号等の送受信用にＢｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ（ＢＬＥ）等の省待機電力の通信装置と、画像を含む観察結果等のデータの送受信用にＷｉ−Ｆｉ等の高速の通信装置とを備えていてもよい。この場合には、観察装置１００の電源がオフの場合にはＢＬＥ等で通信待ちを行い、ステップＳ１０３で電源がオンとされるときにＷｉ−Ｆｉ等の通信がコントローラ２００と確立するようにすればよい。また、コントローラ２００の出力する電源ＯＮ／ＯＦＦ信号に基づいて観察装置１００の電源がオンとされたり、オフとされたりすると説明したが、これに限定されない。例えば細胞の培養中等は、１分毎など、予め設定された時間間隔で観察装置１００の電源がオンとされたり、オフとされたりして撮像等の観察が行われてもよい。

ステップＳ１０４において、観察側制御回路１１０は、例えばコントローラ２００から各種設定に係る制御信号を受信したか否かを判定する。観察装置制御処理は、各種設定に係る制御信号を受信したと判定された場合はステップＳ１０５へ進み、受信したと判定されなかった場合はステップＳ１０１へ戻る。

ステップＳ１０５において、観察側制御回路１１０は、ステップＳ１０４において観察側通信装置１４０が受信した各種設定に係る制御信号に応じて、観察装置１００の各部の設定を行う。ここで設定される情報は、例えば、観察装置１００が取得した画像等の観察結果又は測定結果の送信先に係る情報、撮影条件、測定条件、各種パラメータを含む。なお、観察装置１００が取得した観察結果又は測定結果の送信先は、例えば観察装置１００の観察側記録回路１３０、コントローラ２００のコントローラ側記録回路２３０、ネットワーク上のデータサーバ等である。例えばこのようにネットワーク上に構築されたクラウド等に観察結果又は測定結果を送信すれば、異なるユーザ間での情報共有が容易になるだけでなく、観察システム１の外部で取得画像の解析、画像処理等を行うことができるようになる。

ステップＳ１０６において、観察側制御回路１１０は、例えばコントローラ２００からカウントスキャン処理の実行を指示する制御信号を受信したか否かを判定する。観察装置制御処理は、カウントスキャン処理の実行を指示する制御信号を受信したと判定された場合はステップＳ１０７へ進み、受信したと判定されなかった場合はステップＳ１０８へ進む。なお、カウントスキャン処理は、例えば測定開始時刻等が予め決められており、当該決められた測定開始時刻で測定が開始されてもよい。

ステップＳ１０７において、観察側制御回路１１０は、カウントスキャン処理を実行し、細胞３２４の数をカウントする。カウントスキャン処理の詳細は後述する。その後、観察装置制御処理はステップＳ１０８へ進む。

ステップＳ１０８において、観察側制御回路１１０は、例えばコントローラ２００から３Ｄスキャン処理の実行を指示する制御信号を受信したか否かを判定する。観察装置制御処理は、カウント処理の実行を指示する制御信号を受信したと判定された場合はステップＳ１０９へ進み、受信したと判定されなかった場合はステップＳ１１０へ進む。

ステップＳ１０９において、観察側制御回路１１０は、３Ｄスキャン処理を実行し、細胞３２４の立体情報等の奥行き情報を取得する。３Ｄスキャン処理の詳細は後述する。その後、観察装置制御処理はステップＳ１１０へ進む。

ステップＳ１１０において、観察側制御回路１１０は、例えばコントローラ２００がユーザの操作に応じて出力する制御信号に基づいて、観察又は測定に係る処理を終了するか否かを判定する。観察装置制御処理は、終了すると判定された場合はステップＳ１１１へ進み、終了しないと判定された場合はステップＳ１０４へ戻る。

ステップＳ１１１において、観察側制御回路１１０は、例えばコントローラ２００から観察結果又は測定結果を要求する制御信号を受信したか否かを判定する。観察結果又は測定結果は、例えば測定の計測値、取得画像、撮影位置、解析結果等の観察装置１００で得られた各種データを含む。撮影位置は、撮影位置のＸ座標、Ｙ座標及びＺ座標を含む。Ｘ座標及びＹ座標は、移動機構１６０の制御で用いられる値であり、例えば位置制御部１１１から取得され得る。Ｚ座標は、撮像光学系１５２の制御に用いられる値であり、例えば撮像制御部１１２、距離換算部１１７等から取得され得る。観察装置制御処理は、観察結果又は測定結果を要求する制御信号を受信したと判定された場合はステップＳ１１２へ進み、受信したと判定されなかった場合はステップＳ１０１へ戻る。

ステップＳ１１２において、観察側制御回路１１０は、例えばステップＳ１０５で設定された送信先に、取得画像等の各種観察や測定で取得された結果、当該結果を解析して取得された解析結果等を送信する。その後、観察装置制御処理はステップＳ１０１へ戻る。

ここで、観察装置制御処理のステップ１０７におけるカウントスキャン処理の一例をフローチャートとして図８に示し、これを参照して観察システム１のカウントスキャン処理時の動作について説明をする。

ステップＳ２０１において、観察側制御回路１１０は、レンズ切替部１５４に撮像光学系１５２を第２の撮像光学系とさせる。なお、第２の撮像光学系は、上述したように、被写体側にテレセントリック性を有する光学系である。その後、カウントスキャン処理はステップＳ２０２へ進む。

ステップＳ２０２において、観察側制御回路１１０は、例えば観察側記録回路１３０に記録されているカウントスキャン処理情報に基づいて、カウントスキャンを開始するための事前処理を実行する。当該事前処理において、観察側制御回路１１０は、画像取得ユニット１５０を移動機構１６０に移動させてカウントスキャンのＸＹ開始位置に戻す。また、観察側制御回路１１０は、撮像光学系１５２及び撮像素子１５３、又は移動機構１６０の動作を制御して、Ｚ方向の初期位置からカウントスキャンを開始できるようにする。その後、観察側制御回路１１０は、カウントスキャンを開始する。

ここで、本実施形態に係るカウントスキャン処理情報として記録される情報の一例を図９に示し、これを参照してカウントスキャン処理情報として記録される情報について説明をする。当該情報は、例えば予め設定されていたり、観察装置制御処理のステップＳ１０５で設定されたりする。

図９に示すように、カウントスキャン処理情報は、カウントスキャンパターンに係る情報ＣＳＰと、カウントスキャン処理の実行に係る情報ＣＳＪと、カウントスキャン処理によって得られた情報ＣＳＲとを含む。カウントスキャンパターンに係る情報ＣＳＰは、例えばカウントスキャンの開始条件ＣＳＰ１、開始位置ＣＳＰ２、終了条件ＣＳＰ３、第１のＸ移動ピッチＣＳＰ５、第１のＹ移動ピッチＣＳＰ６、Ｘ方向の移動からＹ方向の移動へと切り替える条件である第１のＸ→Ｙ条件ＣＳＰ１０、Ｙ方向の移動からＸ方向の移動へと切り替える条件である第１のＹ→Ｘ条件ＣＳＰ１１を含む。ここで、例えば第１のＸ移動ピッチＣＳＰ５はＸ方向への移動（撮像）間隔であり、第１のＹ移動ピッチＣＳＰ６はＹ方向への移動（撮像）間隔である。本実施形態に係る画像取得ユニット１５０は、これら移動ピッチ毎に撮像して第２の画像を取得することになる。カウントスキャン処理の実行に係る情報ＣＳＪは、例えば観察不良等を判定する判定条件である第１のＮＧ判定条件ＣＳＪ１、例えば第１のＮＧ判定条件ＣＳＪ１によって観察不良であると判定された場合等にカウントスキャンを再実施するか否かを判定する判定条件である第１の再トライ判定条件ＣＳＪ２を含む。カウントスキャン処理によって得られた情報ＣＳＲは、例えばカウントスキャン処理で第２の撮像光学系を用いて取得された各々の画像（第２の画像）に紐付けられて記録される。例えば、第１の結果ＣＳＲ１は、第１のコマＣＳＲ１１と、第１のコマＣＳＲ１１が取得された際の第１の時刻ＣＳＲ１２、第１のＡＦ情報ＣＳＲ１３及び第１の撮影条件ＣＳＲ１４とを含む。なお、撮影条件は、シャッタースピードや絞り等の露出条件その他の撮影条件を含む。ここでいう撮影条件は、撮影毎に異なっていてもよいし、測定毎に異なっていてもよいし、全ての撮影で共通であってもよい。また、当該情報は、第２の画像が取得された位置の情報、細胞３２４の数をカウントした結果等を含んでいてもよい。

ここで、本実施形態に係るカウントスキャン処理における画像取得ユニット１５０の移動パターンの一例について模式図として図１０に示し、これを参照してカウントスキャンにおける画像取得ユニット１５０の移動について説明をする。ここでは、画像取得ユニット１５０が、図１０中に示す線ＣＬ１上を移動させられながらカウントスキャン処理が実行される場合を例として説明をする。

図１０に示すように、観察側制御回路１１０は、画像取得ユニット１５０を開始位置ＣＰ１に移動させ、第２の画像を取得させる。観察側制御回路１１０は、画像取得ユニット１５０をＹ方向へ第１のＹ移動ピッチだけ移動させ、移動後の位置において第２の画像を取得させる。その後、観察側制御回路１１０は、例えば画像取得ユニット１５０が点ＣＰ２の示す位置に存在するなど、第１のＹ→Ｘ条件ＣＳＰ１１に該当する状態であると判定されるまで、第２の画像の取得と画像取得ユニット１５０の移動とを繰り返す。観察側制御回路１１０は、第１のＹ→Ｘ条件ＣＳＰ１１に該当する状態であると判定された場合には、画像取得ユニット１５０を移動させる方向をＹ方向からＸ方向へ切り替える。移動方向がＹ方向へと切り替えられた後には、観察側制御回路１１０は、例えば画像取得ユニット１５０が点ＣＰ３の示す位置に存在するなど、第１のＸ→Ｙ条件ＣＳＰ１０に該当する状態であると判定されるまで、画像取得ユニット１５０を第１のＸ移動ピッチだけ移動させて第２の画像を取得させる処理を繰り返す。このようにして、観察側制御回路１１０は、画像取得ユニット１５０が点ＣＰ１０に到達した場合等、終了条件ＣＳＰ３が満たされたと判定されるまでカウントスキャン処理を続ける。

ここで、再び図８を参照して観察システム１のカウントスキャン処理時の動作について説明を続ける。

ステップＳ２０３において、観察側制御回路１１０は、カウントスキャンの状態を判定する。当該判定では、例えば、画像処理回路１２０が撮像した画像を解析して観察不良を検出した場合、移動機構１６０が動作不良を検出した場合等に、カウントスキャンの再実施が必要であると判定される。当該判定の条件は、図９に示すように、カウントスキャン処理情報として例えば観察側記録回路１３０に記録されている。なお、カウントスキャン時に取得される画像をコントローラ２００へ送信して、コントローラ２００で行われるライブビュー（ＬＶ）表示に基づいてユーザが判断する仕様も考えられる。カウントスキャン処理は、カウントスキャンの再実施が必要であると判定された場合はステップＳ２０４へ進み、判定されなかった場合はステップＳ２０５へ進む。

ステップＳ２０４において、観察側制御回路１１０は、ステップＳ２０３での判定結果に応じて、カウントスキャンにおいて観察不良等が発生している旨、カウントスキャンの再実施が必要である旨等をユーザへ警告させるための制御信号を生成し、コントローラ２００へ送信する。その後、カウントスキャン処理はステップＳ２０２へ戻る。

なお、ステップＳ２０２へ戻った後に行われるカウントスキャン処理は、例えばステップＳ２０３における判定の結果に応じて、画像取得ユニット１５０が開始位置まで戻されて再実施されたり、現在の位置から再実施されたりする。

ステップＳ２０５において、観察側制御回路１１０は、例えば、カウントスキャン処理情報として例えば観察側記録回路１３０に記録されている終了条件ＣＳＰ３に基づいて、所定の全域におけるカウントスキャンが終了したか否かを判定する。カウントスキャン処理は、全域終了したと判定された場合はステップＳ２１１へ進み、判定されなかった場合はステップＳ２０６へ進む。

ステップＳ２０６において、観察側制御回路１１０は、撮像部１５１に注目被写体である細胞３２４に対して焦点調節（ＡＦ）を行わせ、また、撮像動作を行わせて第２の画像を取得させる。ここで、図３及び図４を参照して上述したように、カウントスキャン処理では被写体側にテレセントリック性を有する光学系である第２の撮像光学系が用いられるため、ＡＦの際に撮像光学系１５２、撮像素子１５３等の光軸方向の位置が変化しても、細胞３２４の大きさや位置は変化しない。また、観察側制御回路１１０は、図９を参照して上述したように取得した第２の画像等を観察側通信装置１４０に予め設定された送信先へ送信させる。

ステップＳ２０７において、観察側制御回路１１０は、画像処理回路１２０に取得された第２の画像を解析させ、細胞３２４又は細胞群の数をカウントさせ、また、細胞カウントの結果を観察側記録回路１３０へ記録させたり、コントローラ２００へ送信させたりする。その後、カウントスキャン処理はステップＳ２０８へ進む。

なお、例えばコントローラ２００が第２の画像の送信先であって、コントローラ２００が画像処理回路を備える場合には、当該細胞カウントはコントローラ２００で行われてもよい。また、例えばクラウド等のネットワーク上のサーバが第２の画像の送信先であって、クラウドが画像処理回路に相当する機能を備える場合には、当該細胞カウントは観察システム１の外部で行われてもよい。また、細胞カウントは、全域のカウントスキャン処理が終了した後に、取得された第２の画像に基づいて合成された広範囲の高画素画像に基づいて行われてもよい。

ステップＳ２０８において、観察側制御回路１１０は、現在の状態がカウントスキャン処理情報として記録されている第１のＸ→Ｙ条件ＣＳＰ１０又は第１のＹ→Ｘ条件ＣＳＰ１１を満たす状態であるか否かを判定する。カウントスキャン処理は、第１のＸ→Ｙ条件ＣＳＰ１０又は第１のＹ→Ｘ条件ＣＳＰ１１を満たす状態であると判定された場合はステップＳ２０９へ進み、判定されなかった場合はステップＳ２１０へ進む。

ステップＳ２０９において、観察側制御回路１１０は、ステップＳ２０８での判定の結果に応じて、画像取得ユニット１５０を移動させる方向を切り替える。その後、カウントスキャン処理はステップＳ２１０へ進む。

ステップＳ２１０において、観察側制御回路１１０は、その時点での移動方向に応じて、第１のＸ移動ピッチ又は第１のＹ移動ピッチだけ画像取得ユニット１５０を移動させる。その後、カウントスキャン処理はステップＳ２０３へ戻る。

ステップＳ２１１において、観察側制御回路１１０は、ステップＳ２０５において全域でカウントスキャンが終了したと判定されたことに応じて、観察側通信装置１４０にコントローラ２００へ終了信号を送信させる。また、観察側制御回路１１０は、画像処理回路１２０に、取得された第２の画像に基づいて広範囲の高画素画像を合成させる。その後、カウントスキャン処理は終了し、観察装置制御処理のステップＳ１０８へ進む。

ここで、観察装置制御処理のステップ１０９における３Ｄスキャン処理の一例をフローチャートとして図１１に示し、これを参照して観察システム１の３Ｄスキャン処理時の動作について説明をする。

ステップＳ３０１において、観察側制御回路１１０は、レンズ切替部１５４に撮像光学系１５２を被写体側に非テレセントリック性を有する光学系である第１の撮像光学系とさせる。その後、３Ｄスキャン処理はステップＳ３０２へ進む。

ステップＳ３０２において、観察側制御回路１１０は、例えば観察側記録回路１３０に記録されている３Ｄスキャン処理情報に基づいて、３Ｄスキャンを開始するための事前処理を実行する。当該事前処理において、観察側制御回路１１０は、画像取得ユニット１５０を移動機構１６０に移動させて３ＤスキャンのＸＹ指定位置に戻す。また、観察側制御回路１１０は、撮像光学系１５２及び撮像素子１５３、又は移動機構１６０の動作を制御して、Ｚ方向の所定位置から３Ｄスキャンを開始できるようにする。その後、観察側制御回路１１０は、３Ｄスキャンを開始する。

ここで、本実施形態に係る３Ｄスキャン処理情報として記録される情報の一例を図１２に示し、これを参照して３Ｄスキャン処理情報として記録される情報について説明をする。当該情報は、例えば予め設定されていたり、観察装置制御処理のステップＳ１０５で設定されたりする。なお、上述したように、本実施形態に係る３Ｄスキャン処理は、被写体側非テレセントリック光学系である第１の撮像光学系を用いて実行される。また、本実施形態に係る３Ｄスキャン処理は、ユーザが指定した特定の位置を含む領域（特定域）に対して実行される処理である。

図１２に示すように、３Ｄスキャン処理情報は、３Ｄスキャンパターンに係る情報ＴＳＰと、３Ｄスキャン処理の実行に係る情報ＴＳＪと、３Ｄスキャン処理によって得られた情報ＴＳＲとを含む。３Ｄスキャンパターンに係る情報ＴＳＰは、指定位置ＴＳＰ１、範囲設定ＴＳＰ２、第２のＸ移動ピッチＴＳＰ５、第２のＹ移動ピッチＴＳＰ６、Ｘ方向の移動からＹ方向の移動へと切り替える条件である第２のＸ→Ｙ条件ＴＳＰ１０、Ｙ方向の移動からＸ方向の移動へと切り替える条件である第２のＹ→Ｘ条件ＴＳＰ１１を含む。ここで、例えば第２のＸ移動ピッチＴＳＰ５はＸ方向への移動（撮像）間隔であり、第２のＹ移動ピッチＴＳＰ６はＹ方向への移動（撮像）間隔である。例えば観察側制御回路１１０は、指定位置ＴＳＰ１と範囲設定ＴＳＰ２とに基づいて特定域を決定し、また、３Ｄスキャンの開始位置と終了位置とを決定する。３Ｄスキャン処理の実行に係る情報ＴＳＪは、例えば観察不良等を判定する判定条件である第２のＮＧ判定条件ＴＳＪ１、例えば第２のＮＧ判定条件ＴＳＪ１によって観察不良であると判定された場合等に３Ｄスキャンを再実施するか否かを判定する判定条件である第２の再トライ判定条件ＴＳＪ２を含む。３Ｄスキャン処理によって得られた情報ＴＳＲは、３Ｄスキャン処理で第１の撮像光学系を用いて取得された各々の画像（第１の画像）に紐付けられて記録される。例えば、第１の結果ＴＳＲ１は、第１のコマＴＳＲ１１と、第１のコマＴＳＲ１１が取得された際の第１の時刻ＴＳＲ１２、第１の奥行き情報ＴＳＲ１３及び第１の３Ｄ撮影条件ＴＳＲ１４とを含む。なお、当該奥行き情報には、細胞３２４の第１の撮像光学系の光軸方向の位置、当該位置の情報に基づいて構築され得る３Ｄモデルに係る情報等が含まれ得る。

ここで、本実施形態に係る３Ｄスキャン処理における画像取得ユニット１５０の移動パターンの一例について模式図として図１３に示し、これを参照して３Ｄスキャンにおける画像取得ユニット１５０の移動について説明をする。ここでは、画像取得ユニット１５０が、図１３中に示す線ＴＬ１上を移動させられながら３Ｄスキャン処理が実行される場合を例として説明をする。

図１３に示すように、観察側制御回路１１０は、範囲設定ＴＳＰ２に応じて、点ＴＰ０で示されている指定位置ＴＳＰ１を概ね中心とした領域（特定域）において、画像取得ユニット１５０を線ＴＬ１上で移動させながら撮像させて、各々の位置で第１の画像を取得させる。３Ｄスキャン時の画像取得ユニット１５０の移動は、図１０を参照して説明したカウントスキャン時の画像取得ユニット１５０の移動と概ね同様である。画像取得ユニット１５０は、開始位置ＴＰ１から移動を開始し、点ＴＰ２で第２のＹ→Ｘ条件ＴＳＰ１１を満たすまでＹ方向へ移動する。その後、点ＴＰ３で第２のＸ→Ｙ条件ＴＳＰ１０を満たすまでＸ方向へ移動する。このようにして、観察側制御回路１１０は、画像取得ユニット１５０が点ＴＰ１０に到達するまで３Ｄスキャン処理を続ける。

ここで、再び図１１を参照して観察システム１の３Ｄスキャン処理時の動作について説明を続ける。

ステップＳ３０３において、観察側制御回路１１０は、カウントスキャン処理のステップＳ２０３と同様にして、３Ｄスキャンの状態を判定する。ここで用いられる判定条件は、第２のＮＧ判定条件ＴＳＪ１と第２の再トライ判定条件ＴＳＪ２である。３Ｄスキャン処理は、３Ｄスキャンの再実施が必要であると判定された場合はステップＳ３０４へ進み、判定されなかった場合はステップＳ３０５へ進む。

ステップＳ３０４において、観察側制御回路１１０は、ステップＳ３０３での判定結果に応じて、３Ｄスキャンにおいて観察不良等が発生している旨、３Ｄスキャンの再実施が必要である旨等をユーザへ警告させるための制御信号を生成し、コントローラ２００へ送信する。その後、３Ｄスキャン処理はステップＳ３０２へ戻る。

ステップＳ３０５において、観察側制御回路１１０は、特定域における３Ｄスキャンが終了したか否かを判定する。３Ｄスキャン処理は、特定域での３Ｄスキャンが終了したと判定された場合はステップＳ３１０へ進み、判定されなかった場合はステップＳ３０６へ進む。

ステップＳ３０６において、観察側制御回路１１０は、撮像部１５１に撮像動作を行わせて第１の画像を取得させる。ここで、図５及び図６を参照して上述したように、３Ｄスキャン処理では被写体側に非テレセントリック性を有する光学系である第１の撮像光学系が用いられる。また、観察側制御回路１１０は、取得した第１の画像を観察側通信装置１４０に予め設定された送信先へ送信させる。

ステップＳ３０７乃至ステップＳ３０９において、観察側制御回路１１０は、カウントスキャン処理におけるステップＳ２０８乃至ステップＳ２１０と同様の処理を行う。観察側制御回路１１０は、ステップＳ３０７において第２のＸ→Ｙ条件ＴＳＰ１０又は第２のＹ→Ｘ条件ＴＳＰ１１を満たす状態であるか否かを判定し、これらの条件を満たすと判定された場合はステップＳ３０８で移動方向を切り替える。その後、観察側制御回路１１０は、ステップＳ３０９において、移動方向と第２のＸ移動ピッチＴＳＰ５又は第２のＹ移動ピッチＴＳＰ６の値とに応じて画像取得ユニット１５０を移動させる。その後、３Ｄスキャン処理はステップＳ３０３へ戻る。

ステップＳ３１０において、観察側制御回路１１０は、図５及び図６を参照して上述したように、画像処理回路１２０に第１の画像について画像処理を行わせた結果に基づき、細胞３２４に係る奥行き情報を取得する。

なお、当該奥行き情報は、第１の撮像光学系の光軸方向における細胞３２４又は細胞群の有する凹凸等に係る情報を含む。したがって、ここで取得される奥行き情報には、例えば立体モデル生成部が生成する、細胞３２４又は細胞群の３次元形状を示す３Ｄモデルを含む。

なお、例えばコントローラ２００が第１の画像の送信先であって、コントローラ２００が画像処理回路を備える場合には、当該奥行き情報の取得はコントローラ２００で行われてもよい。また、例えばクラウド等のネットワーク上のサーバが第１の画像の送信先であって、クラウドが画像処理回路に相当する機能を備える場合には、当該奥行き情報の取得は観察システム１の外部で行われてもよい。

ステップＳ３１１において、観察側制御回路１１０は、観察側通信装置１４０にコントローラ２００へ終了信号を送信させる。その後、３Ｄスキャン処理は終了し、観察装置制御処理のステップＳ１１０へ進む。

コントローラ２００で行われるコントローラ制御処理の一例をフローチャートとして図１４に示し、これを参照して観察システム１の動作について説明をする。図１４のフローチャートに示す処理は、例えば観察装置１００が通信待機している状態で開始する。

ステップＳ４０１において、コントローラ側制御回路２１０は、例えば、コントローラ２００が備える各種機能をテキスト、アイコン等でユーザに提示する表示情報を生成し、表示装置２７２に表示させる。

ステップＳ４０２において、コントローラ側制御回路２１０は、例えばユーザの操作結果に応じて入力装置２７４が出力する制御信号に基づいて、検査アプリの起動が指示されたか否かを判定する。ここで、当該検査アプリは、観察装置１００と互いに通信して観察装置１００の制御を行うためのプログラムを有するアプリケーションソフトウェアである。コントローラ制御処理は、検査アプリの起動が指示されたと判定された場合はステップＳ４０３へ進み、判定されなかった場合はステップＳ４０１に戻る。なお、コントローラ２００は例えばタブレットＰＣやスマートフォンであり、本ステップでは、検査アプリの他に、電話アプリやメールアプリが選択され得る。以下の説明では、検査アプリが選択された場合のみを例として説明を行う。

ステップＳ４０３において、コントローラ側制御回路２１０は、指定カメラにアクセスする。当該指定カメラは、例えばステップＳ４０２で選択された検査アプリで制御する対象の撮像装置である。以下、本実施形態では、当該指定カメラは観察装置１００であるとして説明を続ける。

ステップＳ４０４において、コントローラ側制御回路２１０は、例えばユーザの操作結果に応じて入力装置２７４が出力する制御信号に基づいて、ユーザが観察装置１００の電源をオンとする操作又は観察装置１００の電源をオフとする操作（撮像ＯＮ／ＯＦＦ操作）を行ったか否かを判定する。コントローラ制御処理は、撮像ＯＮ／ＯＦＦ操作が行われたと判定された場合はステップＳ４０５へ進み、判定されなかった場合はステップＳ４０６へ進む。

ステップＳ４０５において、コントローラ側制御回路２１０は、ステップＳ４０４で検出したユーザの撮像ＯＮ／ＯＦＦ操作の結果に基づき、観察装置１００の電源をオンとする電源ＯＮ信号又は観察装置１００の電源をオフとする電源ＯＦＦ信号を、コントローラ側通信装置２４０に観察装置１００へ送信させる。その後、コントローラ制御処理はステップＳ４０３へ戻る。なお、本ステップの処理は観察装置制御処理のステップＳ１０２乃至ステップＳ１０３に対応する。

ステップＳ４０６において、コントローラ側制御回路２１０は、例えばユーザの操作結果に応じて入力装置２７４が出力する制御信号に基づいて、ユーザによって観察装置１００が取得した画像等の観察結果又は測定結果の送信先に係る情報、撮影条件、測定条件、各種パラメータを含む各種設定が行われたか否かを判定する。コントローラ制御処理は、各種設定が行われたと判定された場合はステップＳ４０７へ進み、判定されなかった場合はステップＳ４０８へ進む。

ステップＳ４０７において、コントローラ側制御回路２１０は、ステップＳ４０６で検出した各種設定に係る制御信号を、コントローラ側通信装置２４０に観察装置１００へ送信させる。その後、コントローラ制御処理はステップＳ４０８へ進む。なお、本ステップの処理は観察装置制御処理のステップＳ１０４乃至ステップＳ１０５に対応する。

ステップＳ４０８において、コントローラ側制御回路２１０は、例えばユーザ操作の結果に応じて入力装置２７４が出力する制御信号に基づいて、ユーザがカウントスキャン処理の実行を指示したか否かを判定する。コントローラ制御処理は、カウントスキャン処理の実行が指示されたと判定された場合はステップＳ４０９へ進み、判定されなかった場合はステップＳ４１０へ進む。

ステップＳ４０９において、コントローラ側制御回路２１０は、カウントスキャン処理の実行を指示する制御信号を、コントローラ側通信装置２４０に観察装置１００へ送信させる。その後、コントローラ制御処理はステップＳ４１０へ進む。なお、本ステップの処理は観察装置制御処理のステップＳ１０６乃至ステップＳ１０７に対応する。

ステップＳ４１０において、コントローラ側制御回路２１０は、例えばユーザ操作の結果に応じて入力装置２７４が出力する制御信号に基づいて、ユーザが３Ｄスキャン処理の実行を指示したか否かを判定する。また、コントローラ側制御回路２１０は、ユーザによって３Ｄスキャンを実行する特定域に係る指定位置ＴＳＰ１、範囲設定ＴＳＰ２等の設定が行われたか否かの判定も行う。コントローラ制御処理は、３Ｄスキャン処理の実行が指示された又は特定域に係る設定が行われたと判定された場合はステップＳ４１１へ進み、判定されなかった場合はステップＳ４１２へ進む。

ステップＳ４１１において、コントローラ側制御回路２１０は、ステップＳ４１０で３Ｄスキャン処理の実行が指示された場合には、３Ｄスキャン処理の実行を指示する制御信号を、特定域に係る設定が行われたと判定された場合には、当該設定に係る制御信号を、それぞれコントローラ側通信装置２４０に観察装置１００へ送信させる。その後、コントローラ制御処理はステップＳ４１２へ進む。なお、本ステップの処理は観察装置制御処理のステップＳ１０８乃至ステップＳ１０９に対応する。

ステップＳ４１２において、コントローラ側制御回路２１０は、例えばユーザ操作の結果に応じて、測定結果等をコントローラ２００の外部から受信するか否かを判定する。コントローラ制御処理は、測定結果を受信すると判定された場合はステップＳ４１３へ進み、判定されなかった場合はステップＳ４１４へ進む。

ステップＳ４１３において、コントローラ側制御回路２１０は、観察装置１００で取得された測定結果等を取得し、表示装置２７２へ表示する。なお、当該測定結果は、例えばステップＳ４０６で設定された観察装置１００の測定結果の送信先から取得されることになる。その後、コントローラ制御処理はステップＳ４１４へ進む。なお、本ステップの処理は観察装置制御処理のステップＳ１１１乃至ステップＳ１１２に対応する。

ステップＳ４１４において、コントローラ側制御回路２１０は、例えばユーザの操作結果に応じて、検査アプリを終了するか否かを判定する。コントローラ制御処理は、終了すると判定された場合は当該検査アプリを終了してステップＳ４０１へ戻り、終了しないと判定された場合はステップＳ４０３へ戻る。

なお、本実施形態に係るレンズ切替部１５４は、撮像光学系１５２に含まれるレンズの撮像光学系１５２の光軸方向に駆動させて、第１の撮像光学系と第２の撮像光学系とを切り替えるとして説明をしたが、これに限定されない。例えば、観察装置１００は、第１の撮像光学系と第２の撮像光学系とを、それぞれ別個に備えていてもよい。この場合、レンズ切替部１５４は、例えば、第１の撮像光学系と第２の撮像光学系とのうち、撮像に使用する撮像光学系の光軸が観察軸と平行となるように移動させたりして撮像光学系を切り替えることになる。

なお、本実施形態に係る照明部１５５は支持部１６５に配置されていると述べたが、照明光学系１５６の光放射部が支持部１６５に配置されていればよく、例えば光源１５７は、観察装置１００の何れの場所に配置されていてもよい。なお、細胞３２４等の観察対象へのダメージを軽減するために、例えば照明の強度が観察の種類によって変更されてもよい。また、照明光の制御としては、撮影を行う瞬間のみ試料３００を照明するような間欠的な照明とする制御、点灯照明数を増減させる制御方法もあり得る。

なお、カウントスキャン処理及び３Ｄスキャン処理において、画像取得ユニット１５０が開始位置からＹ方向へ移動を開始する場合を例として説明したが、これに限定されず、例えば開始位置からＸ方向へスキャンが開始されてもよい。

＜観察システムの利点＞
このように、本実施形態に係る観察装置１００は、移動機構１６０に画像取得ユニット１５０の位置をＸ方向及びＹ方向に撮像光学系１５２の光軸を観察軸と平行に維持したまま変更させながら繰り返し試料３００の撮影を行い、複数の画像を取得する。

このとき、本実施形態に係る観察装置１００は、被写体側テレセントリック光学系である第２の撮像光学系を用いることで、広範囲の高画素画像の合成に適した第２の画像を取得する。なお、当該第２の画像又は高画素画像は、細胞等の注目被写体の形状や数の取得に適する。一方で、本実施形態に係る観察装置１００は、被写体側非テレセントリック光学系である第１の撮像光学系を用いることで、異なる撮像位置で取得された複数の第１の画像から視差に起因する像移動量を含む第１の像移動量ΔＸを取得し、第１の像移動量ΔＸに基づいて細胞等の注目被写体の奥行き情報を取得する。

また、本実施形態に係るレンズ切替部１５４は、観察の種類に応じて撮像光学系１５２を切り替えさせる。このように、本実施形態に係る観察装置１００は、第１の撮像光学系と第２の撮像光学系とを切り替えるレンズ切替部１５４を備えることによって、例えば奥行き情報の取得と細胞カウントに適した画像の取得とのように、要求される光学的特徴が異なる観察を実現できる。

したがって、本実施形態に係る観察システム１を使用すれば、ユーザは、所望の観察方法を指定するだけで、細胞の光軸方向の位置、細胞の立体モデル、細胞の形状等が正確に投影された画像、細胞数のカウント結果等を取得できる。

［第２の実施形態］
本発明における第２の実施形態について説明する。ここでは、第１の実施形態との相違点について説明し、同一の部分については同一の符号を付してその説明を省略する。

第１の実施形態では、目的に応じて第１の撮像光学系と第２の撮像光学系とを切り替えて観察等を行う観察装置において、第１の撮像光学系を用いた場合に、細胞３２４等の注目被写体の奥行き情報を取得する場合を例として説明をした。第１の撮像光学系を用いる場合に細胞３２４と対物レンズ１５２ｂとの間では、撮像素子１５３に到達し得る光線は第１の撮像光学系の光軸との間に傾きを有する。そのため、第１の画像は、当該光軸上を除く位置に存在する被写体の側面に係る情報を含む。そこで、本実施形態では、第１の撮像光学系が用いられて取得される第１の画像に基づいて、細胞３２４の側面を撮像したかのような側面観察画像を生成する観察システム１について説明をする。

＜観察システムの構成＞
本実施形態に係る観察装置１００は、立体画像生成部と、側面情報処理部としての機能をさらに有する。立体画像生成部は、例えば複数の第１の画像と奥行き情報とに基づいて、注目被写体の立体画像を生成する。側面情報処理部は、側面観察処理によって得られた画像データ、位置情報等の各種側面観察に係る情報を取得し、また、第１の画像と奥行き情報とに基づいて、側面観察画像を生成する。なお、これら立体画像生成部と側面情報処理部としての機能は、それぞれ、例えば観察側制御回路１１０及び／又は画像処理回路１２０によって実現され得る。なお、立体画像生成部と側面情報処理部としての機能は、それぞれ、コントローラ側制御回路２１０によって実現されてもよい。

（第１の撮像光学系を用いた細胞の側面観察について）
ここでは、第１の撮像光学系を用いる場合において細胞３２４上の領域のうち第１の撮像光学系の光軸から所定の閾値以上離れた領域から放射される主光線と当該光軸との間に傾き（視差）が存在することを利用した、細胞３２４の側面観察について説明をする。

本実施形態に係る第１の撮像光学系を含む撮像部１５１と試料３００との位置関係の一例を模式図として図１５に示す。図１５に示す状態は、細胞３２４上の点Ｐ１が第１の撮像光学系の光軸上に位置する状態からＸ＋方向へΔＸ３だけ移動した状態である。すなわち、点Ｐ１の像位置を対応点とした場合、当該対応点の位置は点Ｕ１から点Ｕ１´まで移動した状態である。このようにして複数の第１の画像から取得した第１の像移動量ΔＸ（点Ｕ１と点Ｕ１´との間の距離）に基づき、第１の実施形態と同様にして、細胞３２４上の各々の位置について奥行き情報を取得する。なお、第１の画像に基づいた奥行き情報の取得については第１の実施形態において説明したため、以下の説明では、奥行き情報は既知の情報として扱う。

図１５に示す状態では、細胞３２４上の点Ｐ１から放射された光線Ｒ１０は撮像素子１５３上の点Ｕ１´へ入射し、点Ｐ３から放射された光線Ｒ３０は撮像素子１５３上の点Ｕ３へ入射する。このように、細胞上の領域Ａ１は、撮像素子１５３上の領域Ａ１´として撮像されることになる。

なお、図１５に示す状態では、例えば第１の撮像光学系の光軸方向において、点Ｐ１の位置と点Ｐ３の位置との間が合焦範囲（焦点深度内）に相当するものとする。すなわち、領域Ａ１に対して合焦している状態であるとする。本実施形態に係る側面観察では、注目被写体のうち合焦している領域Ａ１を特定範囲と称し、また、第１の画像のうち注目被写体の特定範囲を撮像した領域Ａ１´を特定範囲画像と称することとする。

本実施形態に係る観察装置１００は、画像処理回路１２０に、各々の第１の画像から当該特定範囲画像を切り出させる。また、画像処理回路１２０は、例えば各々の特定範囲画像に含まれる被写体に係る奥行き情報に基づいて、当該特定範囲画像を合成して側面観察画像を取得する。本実施形態に係る観察装置１００の備える側面情報処理部は、このようにして取得した複数の特定範囲画像を合成することによって、細胞３２４を下方から撮像する観察装置でありながら、細胞３２４を側面から撮像して得られる深度合成画像のような、側面観察画像を取得できる。

ここで、本実施形態に係る側面観察画像の一例を模式図として図１６に示す。これは、光軸付近の画像以外、画面周辺部の画像を有効利用したもので、図１６に示すように、本実施形態に係る観察装置１００は、各々の第１の画像からそれぞれ取得した、第１の特定範囲画像Ｉ１０と第２の特定範囲画像Ｉ１１と第３の特定範囲画像Ｉ１２とを含む複数の特定範囲画像を合成する。ここで、合成される各々の特定範囲画像の側面観察画像における（画像処理後の）Ｚ軸方向の幅Ｗは、例えば領域Ａ１´が特定範囲画像の場合、点Ｐ１と点Ｐ３との光軸方向の位置（奥行き情報）に基づいて決定される。この場合、幅Ｗは奥行きＺ３と奥行きＺ１との差分である。このように、各々の特定範囲画像の側面観察画像における幅Ｗは異なり得る。このように拡大光学系で、側面の画像を積極的に活用して側面観察を行うことによって、簡単な構成で、対象物の状況を検査、観察する上で、これまで以上に重要で豊富な画像情報（濃淡や色や構造など立体状況）を得ることが可能となる。拡大光学系を用いて試料（対象物）を撮像して第１の画像を取得する撮像部１５１を移動させる移動機構１６０を設けることによって、異なる撮像部１５１の位置で取得された複数の前記第１の画像のつなぎ合わせや、立体情報取得が出来る、前記第１の画像の取得が可能となる。移動時の各々の撮像位置に係る情報に基づいて、立体情報取得部が試料３００の立体情報を取得するが、上記複数の第１の画像のうち少なくとも一つは、上記第１の撮像光学系で得られた画像の上記光学系の光軸上以外の画像であることを特徴としている。

なお、各々の画像のＺ軸方向の幅Ｗは、例えばΔＸ又は画角θに基づいて決定されてもよいし、焦点距離と合焦範囲の幅とに基づいて決定されてもよい。

なお、光軸近傍の領域が特定範囲画像として切り出される場合を例として説明したが、これに限定されない。特定範囲画像として切り出される第１の画像上の領域は、第１の撮像光学系の光軸から所定の閾値以上離れた領域であればよい。一方で、撮像素子１５３の周縁部に存在し得る画像の歪みの影響が少ない範囲であることが好ましい。

なお、例えば細胞３２４の凹凸の程度によって変化し得る合焦範囲内に含まれる細胞３２４のＸ方向の幅に応じて、各々の第１の画像における画角θや第１の像移動量ΔＸ又は領域Ａ１´の幅も変化し得ることは言うまでもない。また、画角θや第１の像移動量ΔＸ又は領域Ａ１´の幅は図１６に示すような側面観察画像の分解能に相当する。また、各々の第１の画像を取得する位置の間の光軸間距離（画像取得ユニット１５０の移動量）ΔＸ３もまた、要求される側面観察画像の分解能に応じて変化し得る。このため、本実施形態に係る側面観察の移動量ΔＸ３は、例えば第１の実施形態で上述した３Ｄスキャン処理における移動量ΔＸ２と比較して小さいことが好ましい。

なお、ΔＸ３が十分に小さく設定されている場合等、複数の第１の画像間に含まれる各々の特定範囲に重複が存在する場合には、取得された各々の第１の画像のうち、細胞３２４に合焦しており、かつ、光軸から所定の閾値以上離れた領域を特定範囲画像として切り出して画像合成が行われればよい。この場合には、例えば画像と同時に取得された撮像位置の情報を用いて当該画像合成が行われる。また、重複した特定範囲を含む複数の特定範囲画像の各々について、例えば白飛びや黒潰れの有無、細胞３２４への合焦の程度等に基づいて点数化し、当該点数に応じて画像合成に用いられる特定範囲画像が選択されてもよい。

上述したように、本実施形態に係る側面観察では、第１の画像のうち注目被写体に対して合焦している範囲が特定範囲画像として切り出される。このような側面観察において、観察装置１００は、例えば注目被写体のうち撮像する領域を決定して複数の領域に分割し、当該分割された領域に合焦させた撮像を繰り返して第１の画像を取得し、第１の画像のうち当該領域を含む範囲を特定範囲画像として用いる。また、例えば、観察装置１００は、撮像素子１５３上の光軸から所定の閾値以上離れた特定の領域に対応する領域をＡＦエリアとして使用して、当該ＡＦエリアで合焦するように第１の撮像光学系のＺ位置を調整させる。観察装置１００は、このようにして第１の画像のうち特定範囲画像が占める領域を固定として、側面観察画像の取得を行ってもよい。また、例えば、観察装置１００は、３Ｄスキャンのように、画像取得ユニット１５０を予め設定された移動パターンに従ってＸ方向、Ｙ方向、Ｚ方向の各々の方向へ移動させながら、第１の画像を取得させ、取得された第１の画像から合焦している範囲を特定範囲画像として用いて側面観察画像の取得を行ってもよい。

なお、画像取得ユニット１５０が移動機構１６０によってＸ方向へ移動させられる場合を例として説明したが、これに限定されない。側面観察画像の取得は、設定又は選択された移動パターンに応じて、例えばＸ方向及びＹ方向へ移動させられながら行われてもよい。

このようにして、本実施形態に係る観察装置１００の備える側面情報処理部は、図１５に示す状態におけるＸ＋方向から試料３００を観察したような、被写体側テレセントリック光学系を用いた場合では観察できない、細胞３２４の側面を捉えた側面観察画像を取得できる。

＜観察システムの動作＞
本実施形態に係る側面観察処理の一例をフローチャートとして図１７に示し、これを参照して観察システム１の動作について説明をする。側面観察処理は、例えば、図７を参照して上述した観察装置制御処理におけるステップＳ２０５の後からステップＳ２１０の前の間に行われる。側面観察処理は、当該観察装置制御処理において、カウントスキャン処理又は３Ｄスキャン処理と同様にして、例えばユーザの操作結果に応じてコントローラ２００が出力する側面観察処理の実行を指示する制御信号を受信したと判定された場合に開始される。なお、側面観察処理において要求されるスキャンパターン、判定条件等の各種情報は、例えば側面観察処理情報として観察側記録回路１３０に記録されている。また、側面観察処理情報は、側面観察処理において取得される結果を含む。

ステップＳ５０１において、観察側制御回路１１０は、３Ｄスキャン処理のステップＳ３０１と同様にして、レンズ切替部１５４に撮像光学系１５２を第１の撮像光学系とさせる。その後、側面観察処理はステップＳ５０２へ進む。

ステップＳ５０２において、観察側制御回路１１０は、３Ｄスキャン処理のステップＳ３０２と同様にして、事前処理を行う。また、観察側制御回路１１０は、側面観察画像取得のためにスキャンを開始する。その後、側面観察処理はステップＳ５０３へ進む。

ステップＳ５０３及びステップＳ５０４において、観察側制御回路１１０は、３Ｄスキャン処理のステップＳ３０３及びステップＳ３０４と同様にして、事前処理、ＮＧ判定条件及び再トライ判定条件に係る判定、必要に応じた警告処理等を行う。側面観察処理は、ステップＳ５０３でＮＧ判定条件及び再トライ判定条件を満たさないと判定された場合はステップＳ５０５へ進み、ステップＳ５０３でＮＧ判定条件及び再トライ判定条件を満たすと判定された場合はステップＳ５０４で必要に応じて警告を行った後にステップＳ５０２へ戻る。

ステップＳ５０５において、観察側制御回路１１０は、特定域での側面観察画像取得が終了したか否かの判定等を行う。側面観察処理は、終了したと判定された場合はステップＳ５０８へ進み、判定されなかった場合はステップＳ５０６へ進む。

ステップＳ５０６において、観察側制御回路１１０は、図１５を参照して上述したようにして、第１の撮像光学系の光軸からの距離が所定の閾値以上である領域（特定範囲）にＡＦさせて、特定範囲に合焦した第１の画像を取得する。

ステップＳ５０７において、観察側制御回路１１０は、側面観察処理情報として記録されているスキャンパターンに従って画像取得ユニット１５０を移動機構１６０に移動させる。観察側制御回路１１０は、例えば、特定範囲から放射された主光線の傾きに応じた方向に移動することになる。その後、側面観察処理はステップＳ５０３へ戻る。

ステップＳ５０８において、観察側制御回路１１０は、図１６を参照して上述したようにして、画像処理回路１２０に、特定域における側面観察スキャンにおいて取得された各々の第１の画像から、特定範囲を撮像した領域を特定範囲画像として切り出させる。観察側制御回路１１０は、画像処理回路１２０に当該複数の特定範囲画像を、それぞれ奥行き情報に基づいて適切な幅Ｗへと画像処理によって変換し、変換した画像を合成させる。

ステップＳ５０９において、観察側制御回路１１０は、当該側面観察画像を例えば予め設定された送信先へ送信する。なお、送信先は、本ステップにおいてユーザの操作結果に応じてコントローラ２００が出力する制御信号に基づいて決定されてもよい。その後、側面観察処理は終了する。

＜第２の実施形態に係る利点＞
本実施形態に係る観察システム１は、第１の実施形態で得られる利点に加えて、以下のような利点を有する。

本実施形態に係る観察装置１００の備える側面情報処理部は、目的に応じて第１の撮像光学系と第２の撮像光学系とを切り替えて観察等を行う観察装置において、細胞３２４上の領域のうち、第１の撮像光学系の光軸から所定の閾値以上離れた領域から放射される主光線と当該光軸との間に傾きが存在することを利用して、細胞３２４の側面を撮像した側面観察画像を取得する。

したがって、ユーザは、本実施形態に係る観察装置１００を使用すれば、被写体側にテレセントリック性を有している観察装置では取得できない、細胞３２４の側面を含む第１の画像と、当該画像に基づいた側面観察画像とを取得できる。

さらに、本実施形態に係る観察装置１００と第１の実施形態に係る観察装置１００とは組み合わせ可能である。例えば、立体画像生成部は、本実施形態で説明したようにして取得される特定範囲画像を、当該特定範囲画像に含まれる各々の対応点に係る奥行き情報に基づいて立体化する処理を行う。観察装置１００は、このようにして取得される立体化された特定範囲画像を、第１の実施形態で上述した細胞３２４の立体モデルの対応する位置に合成して、細胞３２４の立体画像を取得できる。

＜変形例＞
なお、第１の実施形態及び第２の実施形態において、簡単のために対物レンズ１５２ｂと結像レンズ１５２ｃとを正レンズを模して示しているが、これに限定されない。例えば、取得される第１の画像間の像移動量ΔＸをより小さく、視差を大きくさせるために、対物レンズを負の屈折力を有するレンズ群としてもよい。また、レンズ枚数は、要求される性能に応じて複数枚用いられる得ることは言うまでもない。

なお、第１の実施形態及び第２の実施形態に係る観察装置１００は、第１の撮像光学系を用いる場合に視差画像から取得した奥行き情報に基づいてＡＦ動作を行ってもよい。

なお、第１の実施形態及び第２の実施形態では、インキュベータ内で観察装置１００が利用される場合を想定し、細胞の観察に注力した用途を強調しているが、観察物の形状、数、大きさ等の取得と、観察物に係る奥行き情報の取得とを実現できる、細部を拡大して確認するための観察装置として一般化できることは言うまでもない。

試料３００は、観察装置１００の上面に配置されたまま、例えばインキュベータ、クリーンベンチ等への出し入れが行われ得る。このような場合、細胞３２４は、温度変化の影響を受けることになり、ヒートショックを受ける可能性がある。さらに、出し入れ等に伴ってコンタミネーションの発生も起こり得る。本技術は、例えば細胞又は細胞群等の観察物の形状や大きさと、細胞又は細胞群等の観察物の有する凹凸等の奥行き情報とを、それぞれ適切に取得できる。また、第１の実施形態及び第２の実施形態では観察装置１００の取得した画像について、ＮＧ判定条件と再トライ判定条件とを用いた判定の結果に応じてユーザに観察不良の発生等を警告する場合を例として説明をしたが、本技術の適用はこれに限定されない。観察物の異常、コンタミネーション等を検出した場合にもユーザへ警告できる。また、本技術は、画像解析の結果に基づいた培地の状態の評価を行う。

第１の実施形態及び第２の実施形態では、観察側制御回路１１０と、画像処理回路１２０と、観察側記録回路１３０と、観察側通信装置１４０とが回路群１０４として筐体１０１の内部に備えられている場合を例として説明したが、これに限定されない。例えば、これらのうち１つ又は複数の機能が画像取得ユニット１５０に備えられていてもよい。また、例えば観察側通信装置１４０としての機能は、画像取得ユニット１５０と、回路群１０４との両方に備えられていてもよい。また、観察側制御回路１１０と、画像処理回路１２０と、観察側記録回路１３０とのうち１つ又は複数の機能が、コントローラ２００に備えられていてもよい。すなわち、例えば上述した各種判定、画像処理等の一部又は全てがコントローラ２００で行われてもよい。

また、コントローラ２００の備える各部のうち、例えば入出力装置２７０等、一部の要素が観察装置１００に含まれていてもよい。さらに、観察装置１００とコントローラ２００とが１つの筐体に組み込まれた構成も考えられる。観察装置１００とコントローラ２００とが一体となった観察システム１は、例えば恒温室等の、ユーザ自身が使用環境に立ち入る場合に使用され得る。

また、観察システム１には、画像解析等の観察結果、ユーザの使用頻度等を含む観察システム１の使い方、インキュベータの設定等を記録して学習して、ユーザに、ユーザが設定する各種条件、パラメータ等を提示するような人工知能（ＡＩ）が含まれていてもよい。また、ＡＩは、例えばＤＳＰ等に構築されて観察システム１の内部にあってもよいし、インターネット上に構築されて観察システム１の外部にあってもよい。このようなＡＩを含む観察システム１は、例えば、取得した画像について、サーバ上に用意されたデータベースを参照して細胞の様子、種類、培地の状態、異物混入の有無等を判定できる。

本技術は、例えば監視カメラや内視鏡のように、撮像光学系とユーザとが離れた位置で使用される撮像装置に対して適用しても有効である。ユーザは、撮像の目的に応じて当該撮像装置を交換する手間なく、使用する目的に適した画像等の観察結果を取得できる。

なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

＜付記＞
なお、本発明の上記実施形態には、以下の発明も含まれる。
［１］
拡大光学系、かつ、被写体側非テレセントリック光学系であり、光軸が観察軸と平行である第１の撮像光学系を含み、前記第１の撮像光学系を用いて試料を撮像して第１の画像を取得する撮像部と、
前記第１の撮像光学系の光軸を前記観察軸と平行に維持したまま前記撮像部を移動させて前記試料と前記撮像部との相対位置を変更する移動機構と、
異なる前記撮像部の位置で取得された複数の前記第１の画像と、前記第１の画像の取得時の各々の撮像位置に係る情報とに基づいて、前記試料に含まれる被写体について前記観察軸方向の位置に係る情報を奥行き情報として取得する距離換算部と
を備える、観察装置。
［２］
異なる前記撮像位置で取得された複数の前記第１の画像の各々に含まれる被写体像に基づいて対応点を取得する対応点取得部をさらに備え、
前記距離換算部は、前記対応点の位置の撮像面上での変化量と、各々の前記撮像位置の間隔とに基づいて、前記奥行き情報を取得する、［１］に記載の観察装置。
［３］
前記奥行き情報に基づいて、前記被写体の立体モデルを生成する立体モデル生成部をさらに備える、［１］又は［２］に記載の観察装置。
［４］
前記奥行き情報と前記奥行き情報に対応する前記第１の画像とに基づいて、前記被写体の立体画像を生成する立体画像生成部をさらに備える、［１］又は［２］に記載の観察装置。
［５］
複数の前記第１の画像の各々について、被写体に合焦している領域を特定範囲画像として切り出し、複数の前記特定範囲画像を前記奥行き情報に基づいて合成して前記被写体の側面観察画像を生成する側面情報処理部をさらに備える、［１］又は［２］に記載の観察装置。
［６］
前記撮像部は、被写体側テレセントリック光学系である第２の撮像光学系をさらに含み、
前記第１の撮像光学系と前記第２の撮像光学系とを切り替えるレンズ切替部をさらに備え、
前記撮像部は、前記第２の撮像光学系を用いて前記試料を撮像して第２の画像をさらに取得する、
請求項［１］乃至［５］の何れか１項に記載の観察装置。
［７］
前記レンズ切替部は、撮像光学系に含まれるレンズの光軸方向の位置を制御して、前記撮像光学系を前記第１の撮像光学系又は前記第２の撮像光学系とする、［６］に記載の観察装置。
［８］
［１］乃至［７］の何れか１項に記載の観察装置と、
ユーザの操作結果を取得して前記観察装置へ出力し、前記観察装置の観察結果を取得するコントローラと
を備える観察システム。
［９］
拡大光学系、かつ、被写体側非テレセントリック光学系であり、光軸が観察軸と平行である第１の撮像光学系を含む撮像部を用いて、前記第１の撮像光学系を介して試料を撮像して第１の画像を取得することと、
前記試料に対する前記撮像部の位置を変更するために前記第１の撮像光学系の光軸を前記観察軸と平行に維持したまま前記撮像部を移動させることと、
異なる前記撮像部の位置で取得された複数の前記第１の画像と、前記第１の画像の取得時の各々の撮像位置に係る情報とに基づいて、前記試料に含まれる被写体について前記観察軸方向の位置に係る情報を奥行き情報として取得することと
を含む、観察装置の制御方法。

１…観察システム、１００…観察装置、１０１…筐体、１０２…透明板、１０４…回路群、１１０…観察側制御回路、１１１…位置制御部、１１２…撮像制御部、１１３…照明制御部、１１４…通信制御部、１１５…記録制御部、１１６…測定制御部、１１７…距離換算部、１２０…画像処理回路、１３０…観察側記録回路、１４０…観察側通信装置、１５０…画像取得ユニット、１５１…撮像部、１５２…撮像光学系、１５２ａ…絞り部、１５２ｂ…対物レンズ、１５２ｃ…結像レンズ、１５３…撮像素子、１５４…レンズ切替部、１５５…照明部、１５６…照明光学系、１５７…光源、１６０…移動機構、１６１…Ｘ送りねじ、１６２…Ｘアクチュエータ、１６３…Ｙ送りねじ、１６４…Ｙアクチュエータ、１６５…支持部、１７２…時計部、２００…コントローラ、２１０…コントローラ側制御回路、２１１…システム制御部、２１２…表示制御部、２１３…記録制御部、２１４…通信制御部、２１５…ネット連携部、２３０…コントローラ側記録回路、２４０…コントローラ側通信装置、２７０…入出力装置、２７２…表示装置、２７４…入力装置、３００…試料、３１０…容器、３２２…培地、３２４…細胞、３６０…反射板。

Claims (9)

1. 拡大光学系、かつ、被写体側非テレセントリック光学系である第１の撮像光学系を含み、前記第１の撮像光学系を用いて試料を撮像して第１の画像を取得する撮像部と、
   前記試料と前記撮像部との相対位置を変更する移動機構と、
   異なる前記撮像部の位置で取得された複数の前記第１の画像と、前記第１の画像の取得時の各々の撮像位置に係る情報とに基づいて、前記試料について立体情報を取得する立体情報取得部と、
   異なる前記撮像部の位置で取得された複数の前記第１の画像の各々について、被写体に合焦している領域を特定範囲画像として切り出し、複数の前記特定範囲画像を前記立体情報に基づいて並べて前記被写体の側面観察画像を生成する側面情報処理部と
   を備える、観察装置。
2. 拡大光学系、かつ、被写体側非テレセントリック光学系である第１の撮像光学系を含み、前記第１の撮像光学系を用いて試料を撮像して第１の画像を取得し、
   被写体側テレセントリック光学系である第２の撮像光学系をさらに含み、前記第２の撮像光学系を用いて前記試料を撮像して第２の画像をさらに取得する
   撮像部と、
   前記第１の撮像光学系と前記第２の撮像光学系とを切り替えるレンズ切替部と、
   前記試料と前記撮像部との相対位置を変更する移動機構と、
   異なる前記撮像部の位置で取得された複数の前記第１の画像と、前記第１の画像の取得時の各々の撮像位置に係る情報とに基づいて、前記試料について立体情報を取得する立体情報取得部と
   を備える、観察装置。
3. 複数の前記第１の画像のうち少なくとも一つは、前記第１の撮像光学系で得られた画像の前記第１の撮像光学系の光軸上以外の画像である、請求項１又は２に記載の観察装置。
4. 異なる前記撮像位置で取得された複数の前記第１の画像の各々に含まれる被写体像に基づいて対応点を取得する対応点取得部をさらに備え、
   前記立体情報取得部は、前記対応点の位置の撮像面上での変化量と、各々の前記撮像位置の間隔とに基づいて、前記立体情報を取得する、請求項１乃至３のうち何れか１項に記載の観察装置。
5. 前記立体情報に基づいて、前記試料に含まれる被写体の立体モデルを生成する立体モデル生成部をさらに備える、請求項１乃至４のうち何れか１項に記載の観察装置。
6. 前記立体情報と前記立体情報に対応する前記第１の画像とに基づいて、前記試料に含まれる被写体の立体画像を生成する立体画像生成部をさらに備える、請求項１乃至４のうち何れか１項に記載の観察装置。
7. 前記レンズ切替部は、撮像光学系に含まれるレンズの光軸方向の位置を制御して、前記撮像光学系を前記第１の撮像光学系又は前記第２の撮像光学系とする、請求項２に記載の観察装置。
8. 請求項１乃至７のうち何れか１項に記載の観察装置と、
   ユーザの操作結果を取得して前記観察装置へ出力し、前記観察装置の観察結果を取得するコントローラと
   を備える観察システム。
9. 拡大光学系、かつ、被写体側非テレセントリック光学系である第１の撮像光学系と、
   レンズ切替部により前記第１の撮像光学系と切り替えられた被写体側テレセントリック光学系である第２の撮像光学系と
   を含む撮像部を用いて、前記第１の撮像光学系を用いて試料を撮像して第１の画像を取得することと、
   前記試料と前記撮像部との相対位置を変更することと、
   異なる前記撮像部の位置で取得された複数の前記第１の画像と、前記第１の画像の取得時の各々の撮像位置に係る情報とに基づいて、前記試料について立体情報を取得することと、
   前記撮像部を用いて、前記第２の撮像光学系を用いて試料を撮像して第２の画像を取得することと
   を含む、観察装置の制御方法。