JP5365691B2 - 生体試料観察装置 - Google Patents

Description

本発明は、生体試料観察装置に関する。

従来より、生体試料を培養しながら、培養している生体試料の成長過程の観察を行う生体試料観察装置が知られている。

この種の装置において、生体試料の観察画像を取得する方法としては、タイムラプス観察を用いる方法が一般的であるが、例えば、次の技術が従来から提案されている。

特許文献１には、観察対象である生体試料に変化が生じたことが検出された場合、自動タイムラプス観察の動作開始を許可し、その後、生体試料の変化が止んだことが検出された場合、自動タイムラプス観察の動作を終了させる技術が記載されている。

特開２００４−３０９７１９号公報

しかしながら、特許文献１に開示されている技術であると、生体試料の変化の検出用の画像と、検出後に開始されるタイムラプス観察により得られる画像とが常に同じ倍率となっているため、生体試料の変化した領域を高倍率で観察することができず、生体試料を正確に観察することができないという問題があった。

本発明はこのような状況に鑑みてなされたものであり、生体試料の検出状況に応じた適切な倍率の観察画像を得られるようにして、生体試料の観察を正確に行うことができるようにするものである。

本発明の第１の生体試料観察装置は、生体試料の経時的な変化を観察する生体試料観察装置において、タイムラプス観察が実行され、前記生体試料の広範囲なマクロ領域を撮影し、マクロ画像を取得するマクロ画像取得手段と、取得された前記マクロ画像から、前記生体試料の変化の領域である生体変化領域を抽出する生体変化領域抽出手段と、抽出された前記生体変化領域に対応するミクロ観察地点を登録するミクロ観察地点設定手段と、タイムラプス観察が実行され、前記ミクロ観察地点で特定される前記生体試料の変化のミクロ領域を撮影し、ミクロ画像を取得するミクロ画像取得手段と、取得された前記ミクロ画像から、前記ミクロ観察地点における前記生体変化領域の生体変化が継続しているか否かを判定する判定手段とを備え、前記ミクロ観察地点設定手段は、前記判定手段の判定結果に基づいて、登録されている前記ミクロ観察地点を更新することを特徴とする。

本発明の第２の生体試料観察装置は、生体試料の経時的な変化を観察する生体試料観察装置において、タイムラプス観察を実行し、前記生体試料のマクロ領域を撮影し、マクロ画像を取得するマクロ画像取得手段と、前記マクロ画像取得手段で得られた時系列の前記マクロ画像に基づいて、前記生体試料の前記マクロ領域中においてミクロ観察すべきミクロ観察地点を特定するミクロ観察地点設定手段と、前記ミクロ観察地点設定手段により特定された前記ミクロ観察地点において、タイムラプス観察を実行し、前記生体試料のミクロ画像を取得するミクロ画像取得手段とを備えることを特徴とする。

本発明の第３の生体試料観察装置は、生体試料の経時的な変化を観察する生体試料観察装置において、タイムラプス観察が実行され、前記生体試料の広範囲なマクロ領域を撮影し、マクロ画像を取得するマクロ画像取得手段と、タイムラプス観察が実行され、前記生体試料の前記マクロ領域中のミクロ領域を撮影し、ミクロ画像を取得するミクロ画像取得手段とを備え、前記マクロ画像取得手段及び前記ミクロ画像取得手段によって、取得された前記マクロ画像及び前記ミクロ画像から前記生体試料の経時的な変化を分析することを特徴とする。

本発明によれば、生体試料の観察を正確に行うことができる。

本発明を適用した生体試料観察装置の全体構成を示す正面図である。 観察ユニットの詳細な構成例を示す図である。 観察スケジュールの設定処理について説明するフローチャートである。 優先モードをミクロ観察とした場合のスケジュール設定処理について説明する図である。 優先モードをマクロ観察とした場合のスケジュール設定処理について説明する図である。 タイムラプス観察処理について説明するフローチャートである。 タイリング画像からの生体変化領域の抽出処理を説明するフローチャートである。 タイリング画像の生成手段について説明する図である。 ミクロ観察におけるミクロ観察地点周辺部の観察処理を説明するフローチャートである。 ミクロ観察地点周辺部において取得される周辺画像の例を示す図である。

以下、図面を参照しながら本発明の実施の形態について説明する。

図１は、本発明を適用した生体試料観察装置の全体構成を示す正面図である。

なお、図１において、実線は外観に表れる部位の構造を示し、破線は外観に表れない内部の部位の構造を示している。

図１に示すように、生体試料観察装置１は、生体試料の培養を行う第１筐体１１と、制御装置を構成する第２筐体１２とを有する。第１筐体１１は、第２筐体１２の上に載せられた状態で使用される。

第１筐体１１の内部には、断熱材で覆われた恒温室２１が形成されている。この恒温室２１は、第１筐体１１の正面に形成された正面開口２３（正面扉２２）と、第１筐体１１の正面からみて左側面に形成された搬出入口２４とによって外部と連絡している。

恒温室２１には、例えば、ペルチェ素子が用いられる温度調節装置等からなる温度制御機構、霧を噴出する噴霧装置等からなる湿度制御機構、外部の二酸化炭素ボンベに接続されるガス導入部等からなるガス制御機構、内部空間における生体試料の培養環境を検出する環境センサ等（いずれも不図示）が設けられている。これにより、恒温室２１の中は、生体試料の培養中、生体試料の培養環境を維持するために密封され、例えば空気を循環させることにより一定の温度に保たれることで、温度３７℃、湿度９０％、二酸化炭素濃度５％等に維持される。

また、第１筐体１１の恒温室２１内には、ストッカ２５、容器搬送機構２６、及び観察ユニット２７が収納されている。

ストッカ２５は、複数の棚で上下に区画されており、培養容器１５（図２）を水平に収納できる。

容器搬送機構２６には、ホルダを支持する搬送アーム部や、培養容器１５を搬送するための各種の機構（不図示）が設けられている。容器搬送機構２６は、搬送アーム部に支持されたホルダを、垂直方向（Ｚ方向）又は水平方向（Ｘ及びＹ方向）に移動させたり、Ｚ軸を中心として180度回転させることができる。

次に、図２を参照して、観察ユニット２７について説明する。

図２の右側には観察ユニット２７の正面図が示されており、図２の左側には観察ユニット２７の側面図が示されている。

図２に示すように、観察ユニット２７は、透過光照明部４１、蛍光落射照明部４２、試料台４３、及び観察部４４から構成される。

透過光照明部４１は、試料台４３の側部から上方向に延びた後に、試料台４３に載置される培養容器１５の上部に延びるようなアーム状に形成される。透過光照明部４１の内部には、透過光用LED（Light Emitting Diode）５１と透過光用光学系５２が収納される。透過光用LED５１は、所定の波長域の光を発光する。透過光用LED５１からの光は、透過光用光学系５２を介して、試料台４３に載置される培養容器１５に上側から照射される。

蛍光落射照明部４２は、蛍光用LED５３ａ乃至５３ｃ、及び、蛍光用光学系５４から構成される。蛍光用LED５３ａ乃至５３ｃ（以下、単に、蛍光用LED５３という）は、それぞれ異なる波長の光、すなわち、培養容器１５内の生体試料の蛍光物質に応じた所定の波長の光（励起光）を発光する。蛍光用LED５３からの励起光は、蛍光用光学系５４及び対物レンズ５５を介して、試料台４３に載置される培養容器１５に下側から照射される。

試料台４３は、透光性の材質により構成されており、透過光照明部４１からの光や、蛍光落射照明部４２からの光により励起した生体試料に含まれる蛍光物質からの光が、観察部４４に導入される。試料台４３にはまた、観察部４４に導入される光を集光する対物レンズ５５や、生体試料の所定の箇所を撮影するために培養容器１５を垂直方向又は水平方向に移動させるステージ５６などが設けられる。なお、対物レンズ５５は、倍率（例えば、２×，４×，１０×，２０×，４０×，・・・等）の異なる複数の対物レンズから構成されており、観察状況に応じて適宜観察倍率を切り替えることが可能である。

観察部４４は、撮影部５７及び画像処理部５８から構成される。撮影部５７は、CCD（Charge Coupled Device）等の撮像素子を有している。このCCDの撮像面には、透過光照明部４１からの光による像や、蛍光落射照明部４２からの光により励起した生体試料に含まれる蛍光物質からの光による像が、結像光学系により結像される。

画像処理部５８は、撮影部５７からのアナログ画像信号に増幅等するアナログ信号処理を適用した後、A/D（Analog/Digital）変換し、デジタル信号で示される画像データを得る。

図１に戻り、第１筐体１１が載せられた第２筐体１２の内部には、上述した観察ユニット２７の一部の他に、制御ユニット３１も収納される。

制御ユニット３１は、生体試料観察装置１の各部の動作を制御する。具体的には、制御ユニット３１は、観察スケジュール又はユーザの操作による直接の指示にしたがって、恒温室２１内の環境条件の調整、恒温室２１内外への培養容器１５の搬出入、培養容器１５内の生体試料の観察、恒温室２１内での培養容器１５の搬送などを実行する。

観察スケジュールは、例えば、制御ユニット３１で処理された各種の情報を表示する表示パネル３２に表示される設定画面により設定が可能であり、制御ユニット３１に接続されたキーボード等の入力手段により入力される。これにより、サンプルごとの観察位置や観察倍率、撮影スケジュール等が設定される。

また、制御ユニット３１内には、観察情報記憶部３３が設けられており、この観察情報記憶部３３は、画像処理部５８から供給される、タイムラプス観察により得られた観察画像に対応する画像データを格納し、蓄積する。観察情報記憶部３３に格納される画像データは、培養容器１５の識別情報と撮影日時とを含むインデックス情報が対応付けて記録される。また、観察情報記憶部３３には、生体試料の観察に関する各種の情報や、恒温室２１内での環境条件（温度、湿度、二酸化炭素濃度等）の変化履歴等も記録できる。

画像解析部３４は、観察情報記憶部３３に蓄積されている画像データに対し、所定の画像解析処理を施して画像解析を行う。画像解析部３４は、画像解析結果を観察制御部３５に供給する。

観察制御部３５は、観察スケジュール又はユーザの操作による直接の指示にしたがって、観察ユニット２７の動作を制御する。また、観察制御部３５は、画像解析部３４からの画像解析結果に基づいて、培養容器１５内の生体試料の観察を行っている観察ユニット２７の動作を制御する。

なお、制御ユニット３１は、所定の無線又は有線の通信規格に準拠した通信手段（図不示）を備えており、ネットワークを介して外部のパーソナルコンピュータ等の機器とのデータ送受信を行うことが可能である。これにより、ネットワークを利用して、離れた場所にあるパーソナルコンピュータからでも、生体試料の観察、撮影条件の設定変更、恒温室２１内の環境や観察画像の確認が可能となる。

また、生体試料観察装置１においては、タイムラプス観察による観察として、マクロ観察とミクロ観察の２パターンの観察が行われる。

ここで、マクロ観察とは、対物レンズ５５として、生体試料の広範囲な領域に対応する観察画像を取得可能な低倍率（例えば、２×，４×）の対物レンズを用いた観察である。以下、マクロ観察で得られた観察画像を、マクロ画像と称する。また、ミクロ観察とは、マクロ観察よりも高倍率（例えば、４×，１０×，２０×，４０×）の対物レンズを用いた観察である。以下、ミクロ観察で得られた画像をミクロ画像と称する。

すなわち、観察ユニット２７では、生体試料の広範囲な領域の観察を行う場合には、複数の対物レンズ５５のうち、低倍率の対物レンズが、培養容器１５内の生体試料の光の光路上に配置され、マクロ観察が行われる。一方、生体試料の特定の範囲の領域の観察を行う場合には、複数の対物レンズ５５のうち、高倍率の対物レンズが、培養容器１５内の生体試料の光の光路上に配置され、ミクロ観察が行われる。そして、マクロ観察とミクロ観察が行われることで、観察情報記憶部３３には、観察画像として、観察倍率の異なるマクロ画像とミクロ画像が蓄積されることになる。

次に、マクロ観察とミクロ観察を行う生体試料観察装置１の動作について説明する。

上記の通り、生体試料観察装置１では、観察スケジュールにしたがって、培養している生体試料の経時的な変化の観察が行われるが、この観察スケジュールは、ユーザの操作により設定されるものである。そこで、まず、図３のフローチャートを参照して、マクロ観察とミクロ観察の観察スケジュールの設定処理について説明する。

なお、この設定処理は、例えば、表示パネル３２に表示される各種の観察スケジュールの設定を行うための設定画面に対するユーザの入力操作に応じて、制御ユニット３１によって実行される。

ステップＳ１１において、マクロ観察における観察倍率及び蛍光観察の設定に関する情報が入力された場合、それらのパラメータに基づいて、マクロ観察条件の設定が実行される。観察倍率としては、例えば、２倍や４倍などが設定される。また、本実施の形態においては、蛍光観察を行う場合を例にして説明するが、蛍光観察を行わない場合には、その設定に関する情報は設定する必要がなく、観察倍率のみが設定される。

これらのパラメータにより、１回のマクロ観察に要する時間（以下、マクロ観察所要時間Ｔという）が求められる。

ステップＳ１２において、ミクロ観察における観察倍率、蛍光観察、フレーム数、及び最大観察地点数の設定に関する情報が入力された場合、それらのパラメータに基づいて、ミクロ観察条件の設定が実行される。観察倍率としては、例えば、１０倍や２０倍などが設定される。すなわち、上記の通り、ミクロ観察の観察倍率は、マクロ観察の観察倍率よりも高倍率となるように設定される。

また、ミクロ観察条件として設定されるフレーム数とは、所定の時間内に取得するミクロ画像の数である。フレーム数を大きく設定すると、取得するミクロ画像のデータ量が増えることになるが、単位時間当たりのミクロ画像の取得数が増加するので、より詳細なミクロ観察を行うことができる。また、最大観察地点数とは、ミクロ画像において、生体試料が変化した領域として観察する位置（以下、ミクロ観察地点という）として設定可能な数の最大数である。この最大数を大きく設定することで、より多くの地点における生体試料の変化を観察可能となる。また、後述するミクロ観察所要時間ｔは観察地点数を指定しなければ決定することができないが、観察地点数はマクロ画像から抽出された生体変化領域に基づいて決定するため、ここでは決定することはできない。そこで、この最大観察地点数を用いてミクロ観察所要時間ｔを決定している。このように、この２つのパラメータは、ミクロ観察における特有のパラメータであるため、マクロ観察条件では設定する必要がない。

これらのパラメータにより、１回のミクロ観察に要する時間（以下、ミクロ観察所要時間ｔという）が求められる。

ステップＳ１３において、マクロ観察とミクロ観察のどちらを優先するかを示す情報が入力された場合、優先モードの選択が実行される。なお、どちらの観察を優先するかにより、後段の処理が異なるが、その詳細については後述する。

ステップＳ１４において、ｎ回目のマクロ観察と、ｎ＋１回目のマクロ観察との間隔（以下、インターバル期間ΔＴという）、及び、マクロ観察の観察期間内に取得可能なマクロ画像の枚数（観察枚数）に関する情報が入力された場合、それらのパラメータに基づいて、マクロ観察の観察スケジュール条件設定が実行される。ただし、ΔＴは、マクロ観察所要時間Ｔよりも長い間隔となるように設定される。すなわち、ΔＴは、下記の式（１）の関係を満たすように設定される。

ΔＴ＞Ｔ ・・・（１）

ステップＳ１５において、ｍ回目のミクロ観察と、ｍ＋１回目のミクロ観察との間隔（以下、インターバル期間Δｔという）に関する情報が入力された場合、そのパラメータに基づいて、ミクロ観察の観察スケジュール条件の設定が実行される。ただし、Δｔは、上記のΔＴの式（１）と同様に、ミクロ観察所要時間ｔよりも長い間隔となるように設定され、下記の式（２）の関係を満たすように設定される。

Δｔ＞ｔ ・・・（２）

ステップＳ１６において、ΔＴ＞ｔ＋Ｔの関係を満たすことが、マクロ観察後にミクロ観察を行う条件となるので、この条件を満たすか否かが判定される。従って、ステップＳ１６において、ΔＴ＞ｔ＋Ｔの関係を満たさないと判定された場合、ステップＳ１４に戻り、上述した、ΔＴ，Ｔ，ｔの再設定が行われる。一方、ΔＴ＞ｔ＋Ｔの関係を満たすと判定された場合、処理は、ステップＳ１７に進む。

ステップＳ１７において、ステップＳ１３の処理で選択された優先モードが、ミクロ観察モードであるか否かが判定される。ステップＳ１７において、マクロ観察が優先であると判定された場合、マクロ観察後にミクロ観察を行う条件を満たしていると判定されているので（ステップＳ１６の「Ｙｅｓ」）、処理は、ステップＳ２０の設定処理に進む。一方、ミクロ観察が優先であると判定された場合、処理はステップＳ１８に進む。

ステップＳ１８において、Δｔ＞ｔ＋Ｔの関係を満たすことがミクロ観察後にマクロ観察を行う条件となるので、この条件を満たすかが判定される。従って、ステップＳ１８において、Δｔ＞ｔ＋Ｔの関係を満たすと判定された場合、ミクロ観察が優先であると判定されているので（ステップＳ１７の「Ｙｅｓ」）、処理は、ステップＳ２０の設定処理に進む。一方、Δｔ＞ｔ＋Ｔの関係の関係を満たさないと判定された場合、処理は、ステップＳ１９に進む。

そして、ステップＳ１９において、ユーザの入力操作に応じて、優先モードを変更するか否かが判定され、ステップＳ１９において、優先モードを変更すると判定された場合、処理は、ステップＳ１３に戻り、優先モードの再選択処理が行われる。一方、ステップＳ１９において、優先モードを変更しないと判定された場合、処理は、ステップＳ１５に戻り、ミクロ観察の観察スケジュール条件設定が再度実行され、上述したＴ，Δｔ，ｔの再設定が行われる。

その後、ステップＳ１７の「Ｎｏ」又はステップＳ１８の「Ｙｅｓ」と判定されると、処理は、ステップＳ２０に進む。

ステップＳ２０において、タイムラプス観察の開始時刻に関する情報が入力されると、観察の開始時刻が設定され、観察スケジュールが設定される。この観察スケジュールであるが、優先モードとして、ミクロ観察が選択された場合とマクロ観察が選択された場合とでは、実行される処理が異なるので、ここでは、図４及び図５を参照しながら、優先モードごとの各観察で実行される処理を個別に説明する。

まず、図４を参照して、優先モードとしてミクロ観察が選択された場合の処理について説明する。なお、図４及び図５においては、上段が、ステップＳ２０の設定処理で登録されるマクロ観察の観察スケジュールを示しており、Ｔ_１，Ｔ_２，Ｔ_３，・・・，Ｔ_ｎの観察時間を要するマクロ観察が、ΔＴの間隔ごとに実行される。また、下段は、同様にして、ステップＳ２０の設定処理で登録されるミクロ観察の観察スケジュールを示しており、ｔ_１，ｔ_２，ｔ_３，・・・，ｔ_ｍの観察時間を要するミクロ観察が、Δｔの間隔ごとに実行される。

図４のAの観察スケジュールでは、ミクロ観察を優先しているので、Δｔ＞ｔ＋Ｔの関係を満たしているが、上段のマクロ観察時間Ｔ_２と下段のミクロ観察時間ｔ_３との観察時間が重複しているため、このままでは両方の観察を行うことができない。この場合には、図４のBの観察スケジュールに示すように、上段のマクロ観察時間Ｔ_２を、マクロ観察時間Ｔ_２’にずらして、マクロ観察の開始時刻を遅らせる。これにより、ミクロ観察時間ｔ_３でのミクロ観察が優先的に実行され、そのミクロ観察が終了した後、直ちにマクロ観察時間Ｔ_２’でのマクロ観察が実行される。

すなわち、ミクロ観察を優先させる場合、Δｔは一定であるため、ΔＴを変更して、図４のBに示したように、ミクロ観察終了後に、マクロ観察が実行されるように観察スケジュールを変更する。

次に、図５を参照して、優先モードとしてマクロ観察が選択された場合の処理について説明する。

図５のAの観察スケジュールでは、マクロ観察を優先しているので、ΔＴ＞ｔ＋Ｔの関係を満たしているが、図４のAと同様に、上段のマクロ観察時間Ｔ_２と、下段のミクロ観察時間ｔ_３とが重複している。この場合、図５のBの点線で示すように、上段のマクロ観察時間Ｔ_２と重複している下段のミクロ観察時間ｔ_３を削除して、ミクロ観察時間ｔ_３でのミクロ観察を実行せずに、マクロ観察時間Ｔ_２でのマクロ観察を優先的に実行させる。また、観察時間の重複するマクロ観察を実行しない代わりに、下段のミクロ観察時間ｔ_３を、ミクロ観察時間ｔ_３’にずらして、ミクロ観察の開始時刻を遅らせることで、マクロ観察時間Ｔ_２でのマクロ観察が終了した後、直ちにミクロ観察時間ｔ_３’でのミクロ観察が実行されるようにしてもよい。

すなわち、マクロ観察を優先させる場合、ΔＴは一定であるため、Δｔを変更して、図５のBに示したように、マクロ観察終了後に、ミクロ観察が実行されるように観察スケジュールを変更する。

以上のようにして、ステップＳ２０において、各優先モードによる観察スケジュールの設定処理が行われ、処理は終了する。

次に、図６のフローチャートを参照して、上述した観察スケジュールにしたがって行われる、タイムラプス観察によるマクロ観察とミクロ観察の処理について説明する。

ステップＳ３１において、観察ユニット２７は、観察スケジュールに基づいた観察制御部３５の制御にしたがって、生体試料のマクロ観察を行う。マクロ観察により得られたマクロ画像は、観察情報記憶部３３に蓄積される。

ステップＳ３２において、画像解析部３４は、観察情報記憶部３３に蓄積されたマクロ画像に対し、所定の画像解析処理を施すことにより、生体試料の変化の領域（以下、生体変化領域という）を抽出する。例えば、観察ユニット２７においては、蛍光観察を行うことで、蛍光画像としてのマクロ画像が得られるが、このマクロ画像には、生体試料に含有される蛍光色素に由来する発光点が含まれており、この発光点は、画像解析処理によって適切な閾値により抽出される。そして、例えば、コロニーの形成、細胞の変形、又は蛍光発現等の生体試料の変化は、タイムラプス観察により経時的に得られる、マクロ画像の発光点の変化（例えば、ｎ−１番目（マクロ観察時間Ｔ_ｎ−１）のマクロ画像とｎ番目（マクロ観察時間Ｔ_ｎ）のマクロ画像の各々における同一位置の画素（注目画素）の値（RGB値）の変化）として現われるので、その変化した領域が生体変化領域として抽出され、観察制御部３５に供給される。

ステップＳ３３において、観察制御部３５は、マクロ画像から抽出された生体変化領域のうち、新たに抽出された生体変化領域であれば、その生体変化領域の中心座標を特定するミクロ観察地点（例えば、ステージ５６あるいは対物レンズ５５のＸＹＺ座標）を新規で登録し、既に登録済みの生体変化領域であれば、その生体変化領域を特定するミクロ観察地点を更新して、ミクロ観察地点の設定を行う。このミクロ観察地点に関する情報（ＸＹＺ座標）は、例えば、観察情報記憶部３３に格納され、設定される。

ステップＳ３４において、観察制御部３５は、設定されたミクロ観察地点の座標に基づいて、ミクロ観察地点が存在するか否かを判定する。

ステップＳ３４において、生体変化領域が抽出されずに、ミクロ観察地点が１地点も存在しないと判定された場合、ステップＳ３５において、観察制御部３５は、観察スケジュールに基づいて、観察終了時刻であるか否かを判定する。ステップＳ３５において、観察終了時刻であると判定された場合、タイムラプス観察処理は終了する。一方、ステップＳ３５において、観察終了時刻ではないと判定された場合、ステップＳ３６において、観察制御部３５は、観察ユニット２７を、次のマクロ観察開始時刻まで待機させる。なお、このとき、ユーザの操作に応じたミクロ観察地点の座標の登録や変更入力を受け付けて、例えば、上記の画像解析処理では抽出されなかった任意の領域を、ミクロ観察地点として設定してもよい。

その後、ステップＳ３６において、マクロ観察開始時刻となった場合、処理はステップＳ３１に戻り、ミクロ観察地点が存在すると判定されるか、あるいは、観察終了時刻であると判定されるまで、上述したステップＳ３１乃至Ｓ３６のマクロ観察の処理が繰り返される。

ステップＳ３４において、ミクロ観察地点が存在すると判定された場合、ステップＳ３７において、観察制御部３５は、観察情報記憶部３３に格納されたミクロ観察地点に関する情報を参照して、ミクロ観察地点の数の増減があるか否かを判定する。

ステップＳ３７において、ミクロ観察地点の増減があると判定された場合、ステップＳ３８において、観察制御部３５は、ミクロ観察の観察スケジュールの更新を行って、その増減した分のミクロ観察地点に関する情報を、観察情報記憶部３３に反映させる。これにより、新たに見つかったミクロ観察地点のミクロ観察が行われることになる。

一方、ステップＳ３７において、ミクロ観察地点の増減がないと判定された場合、ミクロ観察の観察スケジュールを更新する必要はないので、ステップＳ３８をスキップし、処理はステップＳ３９に進む。

ステップＳ３９において、観察制御部３５は、観察ユニット２７を、ミクロ観察開始時刻まで待機させる。なお、このとき、観察ユニット２７においては、例えば、マクロ観察用の低倍率の対物レンズからミクロ観察用の高倍率の対物レンズへ切り替える動作や、ミクロ観察地点をタイムラプス観察するために培養容器１５を垂直方向又は水平方向に移動させるステージ５６による動作などの、ミクロ観察地点をミクロ観察するための準備動作が行われる。また、このとき、ユーザの操作に応じたミクロ観察地点の登録や変更入力を受け付け、新たなミクロ観察地点を設定してもよい。

その後、ステップＳ３９において、ミクロ観察開始時刻となった場合、ステップＳ４０において、観察ユニット２７は、観察スケジュールに基づいた観察制御部３５の制御にしたがって、ミクロ観察地点のミクロ観察を行う。ミクロ観察により得られたミクロ画像は、観察情報記憶部３３に蓄積される。

このミクロ画像は、生体試料の全体を広範囲にわたり観察可能なマクロ画像の一部を微視的に観察したものであって、マクロ観察により抽出された生体変化領域の一部微小領域に対応する画像である。すなわち、ミクロ画像は、マクロ画像よりも、生体試料の一部微小領域のより細かな変化の様子が観察できるので、生体試料の観察を正確に行うことが可能となる。

ステップＳ４１において、画像解析部３４は、観察情報記憶部３３に蓄積されたミクロ画像に所定の画像解析処理を施して、ステップＳ３３の処理により指定されたミクロ観察地点において生体試料の変化が継続して起こっているか、あるいは変化がない状態にあるかを判定する。

ステップＳ４２において、観察制御部３５は、ミクロ観察地点の生体変化領域の変化の状況に応じて、登録されているミクロ観察地点を更新する。

すなわち、生体変化があると判定されると、マクロ観察により登録（更新）されたミクロ観察地点の座標が、ミクロ観察においても引き続き更新されることになる。つまり、ミクロ観察においては、マクロ観察で検出されたミクロ観察地点により特定される高精細なミクロ画像によって、生体試料の変化後の様子の詳細が追跡されることになる。

また、逆に、観察制御部３５は、生体変化がないと判定されると、追跡を継続する必要のないミクロ観察地点を取り消して、そのミクロ観察地点におけるミクロ画像の取得を中止する。例えば、ミクロ観察地点として登録されているコロニーが、所定の画像解析処理により所定の基準値を満たさずに、一度もiPSコロニーであると判定されなかった場合、その地点をミクロ観察地点から削除する。そのような地点での観察を中止することにより、タイムラプス観察処理の無駄を省くことができる。

ステップＳ４３において、観察制御部３５は、観察スケジュールに基づいて、観察終了時刻であるか否かを判定する。ステップＳ４３において、観察終了時刻であると判定された場合、タイムラプス観察処理は終了する。一方、ステップＳ４３において、観察終了時刻ではないと判定された場合、ステップＳ４４において、観察制御部３５は、観察スケジュールに基づいて、次のマクロ観察開始時刻と、次のミクロ観察開始時刻のどちらの開始時刻が迫っているかを判定する。

ステップＳ４４において、次のミクロ観察開始時刻が先である場合、ステップＳ３９に戻り、次のマクロ観察開始時刻が先であると判定されるか、あるいは、観察終了時刻であると判定されるまで、上述したステップＳ３９乃至Ｓ４４のミクロ観察の処理が繰り返される。また、このとき、複数のミクロ観察地点が設定登録されている場合には、他のミクロ観察地点についても、同様のミクロ観察が行われる。

一方、ステップＳ４４において、次のマクロ観察開始時刻が先であると判定された場合、ステップＳ３６に戻る。そして、マクロ観察開始時刻となった場合、処理はステップＳ３１に戻り、マクロ観察の処理として、生体変化領域の検出が広範囲に行われ、上述したミクロ観察地点の登録や更新の設定処理が再度実行される。

以上のように、生体変化領域を検出するためのマクロ観察と、生体変化が見られた一部微小領域の成長過程を観察するためのミクロ観察との両方の観察が可能となるので、広範囲での生体変化の検出ができるとともに、変化した微小領域の詳細な観察ができる。

このように、生体試料観察装置１においては、サンプルの観察の目的に合わせた優先モードにより、タイムラプス観察を行うことが可能である。

ところで、マクロ観察におけるタイムラプス観察で撮影されるマクロ画像は、一度に撮影されたものではなく、いわゆるタイリングの技術を用いて、複数の撮影画像を貼り合わせて生成した画像（以下、タイリング画像という）であってもよい。

次に、図７のフローチャートを参照して、タイリング画像からの生体変化領域の抽出処理について説明する。

すなわち、図７のステップＳ７１乃至Ｓ７４は、図６のステップＳ３１及びＳ３２において実行されるマクロ観察の処理に相当するものであり、ステップＳ７４以降の処理は、図６のステップＳ３３以降の処理と同様である。

ステップＳ７１において、観察制御部３５は、ユーザの操作によりマクロ観察で観察する領域（観察エリア）が指定された場合、指定された観察エリアから取得すべき画像の枚数を決定する。

ステップＳ７２において、観察ユニット２７は、観察制御部３５の制御にしたがって、生体試料のマクロ観察を行う。このマクロ観察においては、取得される画像を撮影画像Ｉ_i,j（ｉ：垂直方向の走査回数、ｊ：水平方向の走査回数）とすると、図８に示すように、１回目の水平方向の走査により、８枚の撮影画像Ｉ_１１乃至Ｉ_１８が取得される。その後、それらの撮影画像と重ならないように（あるいは、縦又は横に隣接する他の撮影画像との貼り合せのためののりしろの領域をとるようにしてもよい）、垂直方向にずれる動作を８回繰り返す走査が行われることにより、撮影画像Ｉ_２１乃至Ｉ_２８、撮影画像Ｉ_３１乃至Ｉ_３８、・・・、撮影画像Ｉ_８１乃至Ｉ_８８が順次取得され、指定された観察エリアに対応する、図８の８×８枚の撮影画像Ｉ_i,jが得られる。

ステップＳ７３において、画像処理部５８は、走査により得られた撮影画像Ｉ_i,jをタイリングにより貼り合わせて、例えば、図８の８×８の撮影画像Ｉ_i,jから、１枚のタイリング画像を生成する。このタイリング画像は、図６で説明したマクロ画像に相当するものである。

ステップＳ７４において、図６のステップＳ３２と同様に、画像解析部３４によって、マクロ画像としてのタイリング画像から、生体変化領域が抽出され、以降、図６のステップＳ３３と同様の処理が実行される。

このように、一度に広範囲の画像を取得できない場合でも、所定のサイズとなる複数の画像をタイリングすることにより、広範囲の画像を得ることができ、マクロ画像として用いることが可能となる。

ところで、ミクロ観察においては、マクロ観察によって抽出された生体変化領域の画像を取得するが、登録されたミクロ観察地点から得られる１枚のミクロ画像では生体変化領域の一部しか含まれない場合もある。このような場合のミクロ観察では、生体変化領域の全域の画像が取得できていないので、生体試料を正確に観察できない可能性がある。そこで、本実施の形態においては、生体変化領域の全域が１枚のミクロ画像では収まりきらない場合、ミクロ観察地点の周辺部から得られる画像（以下、周辺画像という）と合わせることで、その全域の画像が得られるようにする。

図９は、ミクロ観察地点周辺部の観察処理を説明するフローチャートである。

すなわち、図９のステップＳ９１乃至Ｓ９５は、図６のステップＳ４０において実行されるミクロ観察の処理に相当するものであり、ステップＳ９５以降の処理は、図６のステップＳ４１以降の処理と同様である。

なお、この例では、説明を分かり易くするため、図１０に示すように、生体変化領域の全域（図中の黒の領域）の画像を取得するためには、９枚の画像Ｉ_１１乃至Ｉ_３３が必要であって、上述したミクロ観察により得られるミクロ画像は、その中央部のミクロ画像Ｉ_２２であるとして説明する。

ステップＳ９１において、観察ユニット２７は、図６のステップＳ４０と同様に、ミクロ観察地点のミクロ観察を行う。この例では、ミクロ観察地点のミクロ観察によって、図１０のミクロ画像Ｉ_２２が得られる。

ステップＳ９２において、画像解析部３４は、例えば取得したミクロ画像に対し所定の画像解析処理を施して、その解析結果から、生体変化領域全域の画像が取得できたか否かを判定する。ステップＳ９２において、生体変化領域全域がミクロ画像に収まっていると判定された場合、そのミクロ画像を加工する必要はないので、処理は、図６のステップＳ４１に進む。この場合の処理は、上述した図６で説明した処理と同様である。

一方、ステップＳ９２において、生体変化領域全域がミクロ画像に収まっていないと判定された場合、ステップＳ９３において、観察ユニット２７は、ミクロ観察地点の周辺部についてもミクロ観察を行う。このミクロ観察により、ミクロ観察地点の周辺部の領域から、生体変化領域を含んだ周辺画像が得られる。例えば、図１０に示すように、ミクロ観察地点のミクロ観察によりミクロ画像Ｉ_２２が得られた場合、その周辺部をさらにミクロ観察することで、８枚の周辺画像Ｉ_１１乃至Ｉ_１３，Ｉ_２１，Ｉ_２３，Ｉ_３１乃至Ｉ_３３が得られる。すなわち、１枚のミクロ画像Ｉ_２２と、その周辺部の８枚の周辺画像Ｉ_１１乃至Ｉ_１３，Ｉ_２１，Ｉ_２３，Ｉ_３１乃至Ｉ_３３を１枚の画像として見れば、生体変化領域全域を含んだ画像となる。

そして、ステップＳ９４において、タイリングを行うか否かが判定され、タイリングを行わない場合、処理は、図６のステップＳ４１に進み、タイリングを行う場合、処理はステップＳ９５に進む。

ステップＳ９５において、画像処理部５８は、図７のステップＳ７３のタイリング処理と同様に、ミクロ観察地点のミクロ観察により得られるミクロ画像Ｉ_２２と、そのミクロ観察地点の周辺部のミクロ観察により得られる周辺画像Ｉ_１１乃至Ｉ_１３，Ｉ_２１，Ｉ_２３，Ｉ_３１乃至Ｉ_３３をタイリングして、１枚のタイリング画像を生成する。そして、このタイリング画像を１枚のミクロ画像とみなすことで、生体変化領域全域を含んだミクロ画像が生成されたことになる。その後、処理は、図６のステップＳ４１に進み、生体変化の判定処理が行われる。

このように、１枚のミクロ画像では生体変化領域全域を収めることができない場合には、周辺画像を取得してタイリングすることで、生体変化領域全域の画像を取得できる。これにより、観察対象となる生体試料の全体を確認できるので、正確な観察を行うことができる。

以上のように、本実施の形態によれば、マクロ観察によって、追跡する対象としての生体試料の変化を広範囲に抽出した後、ミクロ観察によって、マクロ観察により特定された生体変化領域を微視的に観察できるので、観察を正確に行うことができる。

すなわち、本実施の形態では、ミクロ観察によって、観察対象の変化した領域をより高倍率でタイムラプス観察することができるため、詳細な観察を行うことができる。また、観察倍率を事前に高倍率で固定してしまうと、限られた狭い範囲内でしか観察することができず、ユーザの欲している観察対象の変化を検出できない可能性があるが、本発明では、マクロ観察によって、観察対象の変化を広範囲に検出できるので、観察対象を確実に観察できる。

なお、本実施の形態においては、生体試料の培養と観察を行う生体試料観察装置を例にして説明したが、本発明は、生体試料の観察のみを行う顕微鏡等の観察装置にも適用することができる。また、本実施の形態の画像解析ソフトを導入することで、マクロ画像分析によって、例えば、肝臓の幹細胞コロニーを見つけだすことができる。その後、その肝臓の幹細胞コロニーをミクロ画像分析することで、良い幹細胞コロニーだけを抽出できる。その結果、肝細胞管理をするのに有用である。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等に、記録媒体からインストールされる。

この記録媒体は、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク、光ディスク、光磁気ディスク、若しくは半導体メモリ等より構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザにより提供されるROM（Read Only Memory）やHDD（Hard Disk Drive）等でも構成される。

また、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデム等のインターフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。

なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１ 生体試料観察装置， １１ 第１筐体， １２ 第２筐体， １５ 培養容器， ２１ 恒温室， ２２ 正面扉， ２３ 正面開口， ２４ 搬出入口， ２５ ストッカ， ２６ 容器搬送機構， ２７ 観察ユニット， ３１ 制御ユニット， ３２ 表示パネル， ３３ 観察情報記憶部， ３４ 画像解析部， ３５ 観察制御部， ４１ 透過光照明部， ４２ 蛍光落射照明部， ４３ 試料台， ４４ 観察部， ５１ 透過光用LED， ５２ 透過光用光学系， ５３ａ乃至５３ｃ 蛍光用LED， ５４ 蛍光用光学系， ５５ 対物レンズ， ５６ ステージ， ５７ 撮影部， ５８ 画像処理部

Claims (8)

1. 生体試料の経時的な変化を観察する生体試料観察装置において、
   タイムラプス観察が実行され、前記生体試料の広範囲なマクロ領域を撮影し、マクロ画像を取得するマクロ画像取得手段と、
   取得された前記マクロ画像から、前記生体試料の変化の領域である生体変化領域を抽出する生体変化領域抽出手段と、
   抽出された前記生体変化領域に対応するミクロ観察地点を登録するミクロ観察地点設定手段と、
   タイムラプス観察が実行され、前記ミクロ観察地点で特定される前記生体試料の変化のミクロ領域を撮影し、ミクロ画像を取得するミクロ画像取得手段と、
   取得された前記ミクロ画像から、前記ミクロ観察地点における前記生体変化領域の生体変化が継続しているか否かを判定する判定手段と
   を備え、
   前記ミクロ観察地点設定手段は、前記判定手段の判定結果に基づいて、登録されている前記ミクロ観察地点を更新する
   ことを特徴とする生体試料観察装置。
2. 前記ミクロ観察地点設定手段は、前記判定手段により生体変化がないと判定された場合、登録されている前記ミクロ観察地点を取り消す
   ことを特徴とする請求項１に記載の生体試料観察装置。
3. ユーザの操作に応じて、前記ミクロ観察地点の登録又は変更を受け付ける受け付け手段をさらに備える
   ことを特徴とする請求項１又は２に記載の生体試料観察装置。
4. 前記生体試料を撮影して得られる複数の撮影画像を貼り合わせて、タイリング画像を生成する第１のタイリング画像生成手段をさらに備え、
   前記生体変化領域抽出手段は、生成された前記タイリング画像から、前記生体変化領域を抽出する
   ことを特徴とする請求項１から３の何れか一項に記載の生体試料観察装置。
5. 取得された前記ミクロ画像が前記生体変化領域の全域を含んでいない場合、前記ミクロ観察地点の周辺部を撮影して得られる周辺画像を取得し、取得した前記周辺画像と前記ミクロ画像と貼り合わせて、タイリング画像を生成する第２のタイリング画像生成手段をさらに備える
   ことを特徴とする請求項１から４の何れか一項に記載の生体試料観察装置。
6. 生体試料の経時的な変化を観察する生体試料観察装置において、
   タイムラプス観察を実行し、前記生体試料のマクロ領域を撮影し、マクロ画像を取得するマクロ画像取得手段と、
   前記マクロ画像取得手段で得られた時系列の前記マクロ画像に基づいて、前記生体試料の前記マクロ領域中においてミクロ観察すべきミクロ観察地点を特定するミクロ観察地点設定手段と、
   前記ミクロ観察地点設定手段により特定された前記ミクロ観察地点において、タイムラプス観察を実行し、前記生体試料のミクロ画像を取得するミクロ画像取得手段と
   を備えることを特徴とする生体試料観察装置。
7. 前記マクロ画像取得手段によるマクロ観察を優先させるマクロ観察優先モードと、前記ミクロ画像取得手段によるミクロ観察を優先させるミクロ観察優先モードとを切換える優先モード切換手段と、
   前記マクロ観察と前記ミクロ観察の観察スケジュールに重複がある場合において、前記マクロ観察優先モードが選択されているとき、先に、前記マクロ画像の取得を行ってから、その取得の終了直後に、前記ミクロ画像の取得を行うように制御し、前記ミクロ観察優先モードが選択されているとき、先に、前記ミクロ画像の取得を行ってから、その取得の終了直後に、前記マクロ画像の取得が行われるように制御する制御手段と
   をさらに備えることを特徴とする請求項６に記載の生体試料観察装置。
8. 生体試料の経時的な変化を観察する生体試料観察装置において、
   タイムラプス観察が実行され、前記生体試料の広範囲なマクロ領域を撮影し、マクロ画像を取得するマクロ画像取得手段と、
   タイムラプス観察が実行され、前記生体試料の前記マクロ領域中のミクロ領域を撮影し、ミクロ画像を取得するミクロ画像取得手段と
   を備え、
   前記マクロ画像取得手段及び前記ミクロ画像取得手段によって、取得された前記マクロ画像及び前記ミクロ画像から前記生体試料の経時的な変化を分析する
   ことを特徴とする生体試料観察装置。

Images