JP6160187B2 - 分析装置、分析プログラム及び分析システム - Google Patents

Description

本技術は、分析試料が撮像された画像から、分析試料に含まれる分析対象物を検出する分析装置、分析プログラム及び分析システムに関する。

細胞等の分析対象物を顕微鏡を利用して観察する際、例えば細胞が培養液中に浮遊している場合等には観察者が探索する必要がある。しかしながら、顕微鏡の拡大倍率が大きいと狭視野となるため、視野範囲を広く動かしながら探索する必要があり、一方、拡大倍率が小さいと分析対象物のサイズが小さく、気泡等に紛れてしまうため、探索は人為的コストが大きい。

例えば、分析対象物を経時的に撮影するタイムラプス撮影を行う場合であっても、次の撮影時に分析対象物が同じ位置に存在している可能性は低い。このため、観察者は撮影毎に分析対象物を探索する必要があり、また、発見した分析対象物が前回撮影したものとは別のものであるおそれもある。

このような問題に対し、分析対象物を自動的に探索する技術が開発されている。例えば特許文献１には、既に発見されている細胞等の動きを、移動予測モデルを利用して予測し、細胞トラッキングに利用する技術が開発されている。

特開２０１０−１６９８２３号公報

しかしながら、特許文献１に記載の技術は、既に発見されている細胞等に対して適用されるものであり、細胞培養容器等の全視野から網羅的に数ミクロン単位の細胞を探し出す技術ではない。細胞等の当初の位置は、観察者が探索する必要がある。

以上のような事情に鑑み、本技術の目的は、分析対象物の位置を自動的に特定することが可能な分析装置、分析プログラム及び分析システムを提供することにある。

上記目的を達成するため、本技術の一形態に係る分析装置は、二次元座標検出部と、三次元座標特定部とを具備する。
上記二次元座標検出部は、分析対象物を含む分析試料が複数の焦点位置で撮像された撮像画像群について、各撮像画像における分析対象物の座標の候補である二次元座標候補を検出する。
上記三次元座標特定部は、上記二次元座標候補の撮像画像間の位置関係に基づいて、分析対象物の三次元座標の候補である三次元座標候補を特定する。

この構成によれば、分析装置は撮像画像群に対して画像処理を実行することによって、分析試料に含まれる分析対象物の三次元座標候補を特定することが可能である。即ち、ユーザは顕微鏡光学系の視野を移動させて分析対象物を探索する必要がなく、人為的コストを低減することが可能である。

上記分析装置は、評価関数を用いて上記三次元座標候補に位置する物体像と分析対象物像の類似性を評価する評価部をさらに具備してもよい。

この構成によれば、分析装置は、特定された三次元座標候補に位置する物体像と分析対象物像の類似性をユーザに提示することが可能となり、ユーザは分析対象物の可能性が高い三次元座標候補を把握することが可能となる。

上記三次元座標特定部は、上記二次元座標候補の焦点深度方向における連続数に基づいて上記三次元座標候補を特定してもよい。

この構成によれば、三次元座標特定部は、連続数が所定範囲内のものを分析対象物の三次元座標候補として特定し、連続数が所定範囲外のものを分析対象物の三次元座標候補から除外することが可能となる。即ち、三次元座標特定部は、焦点深度方向における物体像の大きさに応じて分析対象物の三次元座標を特定することが可能である。

上記二次元座標検出部は、上記撮像画像の特徴量を、分析対象物の特徴量を表すテンプレートと比較することによって上記二次元座標候補を検出してもよい。

この構成によれば、二次元座標検出部は、テンプレートの特徴量と最も類似性が高い撮像画像の画像領域に分析対象物の像が存在すると判断することができ、そのときのテンプレートの座標を二次元座標候補として検出することが可能となる。

上記二次元座標検出部は、上記撮像画像から第１の特徴量を抽出し、上記第１の特徴量に基づいて予備的二次元座標候補を検出し、上記予備的二次元座標候補の周囲に比較範囲を設定し、上記比較範囲に含まれる上記撮像画像から第２の特徴量を抽出し、上記第２の特徴量を上記テンプレートと比較することによって上記二次元座標候補を検出してもよい。

この構成によれば、二次元座標検出部は、第１の特徴量を用いて検出された予備的二次元座標候補の周囲に設定された比較範囲について、テンプレートの比較を実行し、二次元座標候補を検出することができる。即ち、二次元座標検出部は、撮像画像の全体ではなく比較範囲についてのみテンプレートによる比較を実行すればよく、比較を高速に実行することが可能である。

上記第１の特徴量は、第１の画素数の画素間の輝度差分であり、
上記第２の特徴量は、上記第１の画素数より多い第２の画素数の画素間の輝度差分であってもよい。

この構成によれば、二次元座標検出部は、撮像画像全体から、少ない画素数（第１の画素数）の画素間での輝度差分を第１の特徴量として抽出するため、抽出を高速に実行することができる。一方で二次元座標検出部は、比較範囲に含まれる撮像画像から多い画素数（第２の画素数）の画素間での輝度差分を第２の特徴量として抽出するため、高精度に第２の特徴量を抽出することが可能である。輝度差分を抽出する画素数が多い場合、輝度差分の抽出に時間がかかるが、二次元座標検出部は比較範囲についてのみ第２の特徴量を抽出すればよい。即ち、二次元座標検出部は、第１の特徴量と第２の特徴量の二つの特徴量を使い分けることによって、高速かつ高精度に二次元座標候補を検出することが可能である。

上記分析装置は、上記第２の特徴量が上記テンプレートに最も適合するときの、上記比較範囲に含まれる上記撮像画像の上記第２の特徴量と上記テンプレートの特徴量の差分を利用した評価関数を用いて、上記三次元座標候補に位置する物体像と分析対象物像の類似性を評価する評価部をさらに具備してもよい。

この構成によれば、評価部は、特定された三次元座標候補に位置する物体像と分析対象物像の類似性をユーザに提示することが可能となり、ユーザは分析対象物の可能性が高い三次元座標候補を把握することが可能となる。評価部は、既に抽出されている撮像画像の第２の特徴量とテンプレートの特徴量の差分を評価関数に利用することにより、高速かつ高精度に類似性の評価を実施することが可能である。

上記二次元座標検出部は、上記第２の特徴量が上記テンプレートに最も適合するときの上記比較範囲に含まれる上記撮像画像の中央部と周辺部の輝度差を算出し、上記輝度差を利用して上記二次元座標候補を検証してもよい。

この構成によれば、二次元座標検出部は、検出した二次元座標候補に位置する物体像から、分析対象物像の輝度の条件から外れるものを除外することが可能である。

上記評価部は、上記第２の特徴量と上記テンプレートの差分に加え、上記輝度差を利用した評価関数を用いて、上記三次元座標候補に位置する物体像と分析対象物像の類似性を評価してもよい。

この構成によれば、評価部は、上述した特徴量の差分に加え、二次元座標候補の検出に用いられた輝度差を利用した評価関数によって、類似性の評価を実施することが可能である。

上記目的を達成するため、本技術の一形態に係る分析プログラムは、二次元座標検出部と、三次元座標特定部として情報処理装置を機能させる。
上記二次元座標検出部は、分析対象物を含む分析試料が複数の焦点位置で撮像された撮像画像群について、各撮像画像における分析対象物の座標の候補である二次元座標候補を検出する。
上記三次元座標特定部は、上記二次元座標候補の撮像画像間の位置関係に基づいて、分析対象物の三次元座標の候補である三次元座標候補を特定する。

上記目的を達成するため、本技術の一形態に係る分析システムは、顕微鏡撮像装置と、分析装置と、制御装置とを具備する。
上記分析装置は、上記顕微鏡撮像装置によって分析対象物を含む分析試料が複数の焦点位置で撮像された撮像画像群について、各撮像画像における分析対象物の座標の候補である二次元座標候補を検出する二次元座標検出部と、上記二次元座標候補の撮像画像間の位置関係に基づいて、分析対象物の三次元座標の候補である三次元座標候補を特定する三次元座標特定部とを備える。
上記制御装置は、上記三次元座標候補を利用して、上記顕微鏡撮像装置を制御する。

以上のように、本技術によれば、分析対象物の位置を自動的に特定することが可能な分析装置、分析プログラム及び分析システムを提供することが可能である。

本技術の実施形態に係る分析システムの構成を示す模式図である。 同分析システムの顕微鏡撮像装置によって撮像される撮像画像群を示す模式図である。 同分析システムの分析装置の構成を示すブロック図である。 同分析システムの分析装置の動作を示すフローチャートである。 同分析システムの分析装置が利用するテンプレートの例である。 同分析システムの分析装置が備える二次元座標検出部によって検出される予備的二次元座標候補の模式図である。 同分析システムの分析装置が備える二次元座標検出部が設定する比較範囲の模式図である。 同分析システムの分析装置が備える二次元座標検出部によるテンプレート比較を示す模式図である。 同分析システムの分析装置が備える二次元座標検出部によって検出される二次元座標候補の模式図である。 同分析システムの分析装置が備える二次元座標検出部による二次元座標候補の検証を示す模式図である。 同分析システムの分析装置が備える三次元座標特定部による三次元座標候補の特定を示す模式図である。 同分析システムの動作を示すフローチャートである。 同分析システムの制御装置によって設定される顕微鏡視野範囲を示す模式図である。 本技術の変形例に係る分析システムの分析装置の動作を示す模式図である。 本技術の実施例に係る撮像画像である。 本技術の実施例に係る比較結果である。

本技術の実施形態に係る分析システムについて説明する。

［分析システムの構成］
図１は、本実施形態に係る分析システム１００の構成を示す模式図である。同図に示すように、分析システム１００は、顕微鏡撮像装置１１０、分析装置１２０及び制御装置１３０から構成されている。また、図１には、ウェルＷに収容された分析試料Ｓを示す。分析試料Ｓは分析対象物Ｂを含み、分析対象物Ｂは例えば浮遊細胞であり、分析試料Ｓは例えば細胞培養液である。

顕微鏡撮像装置１１０は、顕微鏡光学系１１１、ＸＹＺステージ１１２、撮像機構１１３を備える。顕微鏡光学系１１１は、対物レンズ等の各種レンズや焦準機構を備え、分析試料Ｓの顕微鏡拡大像を生成する。ＸＹＺステージ１１２は、顕微鏡光学系１１１をＸ方向、Ｙ方向及びＺ方向の各方向に移動可能に構成されている。なおＺ方向は顕微鏡光学系１１１の焦点深度方向であり、Ｘ方向及びＺ方向は共にＺ方向に直交し、かつ互いに直交する方向である。撮像機構１１３は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備え、顕微鏡光学系１１１によって生成された分析試料Ｓの顕微鏡拡大像を撮像し、分析装置１２０に供給する。

顕微鏡撮像装置１１０は、分析試料Ｓを複数の焦点位置で撮像し、複数の撮像画像Ｇを含む撮像画像群を生成する。図２は、撮像画像群の例である。顕微鏡撮像装置１１０は、焦準機構によって焦点位置をＺ方向に移動させながら、撮像機構１１３にウェルＷ内の分析試料Ｓを複数の焦点位置で撮像（Ｚ−Ｓｔａｃ撮像）させ、撮像画像群（Ｚ−Ｓｔａｃ画像）を生成してもよい。また、顕微鏡撮像装置１１０は、ＸＹＺステージ１１２によって顕微鏡光学系１１１をＺ方向に移動させながら、撮像機構１１３に分析試料Ｓを複数の焦点位置で撮像させてもよい。

顕微鏡撮像装置１１０の構成はここに示すものに限定されず、分析試料を複数の焦点位置で撮像した撮像画像群を生成可能なものであればよい。撮像画像も明視野像に限定されず、暗視野像、位相差像、蛍光像、偏光顕微鏡像等の光学的に撮像可能な画像であればよく、顕微鏡撮像装置１１０はこれらの撮像が可能な構成を備えるものとすることができる。

［分析装置の構成及び動作］
分析装置１２０は、撮像画像群に画像処理を施す。なお、分析装置１２０が処理する撮像画像群は、撮像機構１１３から供給されたものに限られず、別途準備された撮像画像群であってもよい。図３は分析装置１２０の機構的構成を示すブロック図であり、図４は分析装置１２０の動作を示すフローチャートである。同３に示すように、分析装置１２０は、二次元座標検出部１２１、三次元座標特定部１２２及び評価部１２３を有する。これらの構成は、プロセッサ等のハードウェアとソフトウェアの協働によって実現される機能的構成である。各構成についは、分析装置１２０の動作と合わせて説明する。

事前に、分析装置１２０にテンプレートが登録される（Ｓｔ１０１）。図５はテンプレートＴの模式図である。テンプレートＴは、分析対象物の特徴量を表し、分析対象物の像として想定される画像の特徴量を分析対象物の形状とサイズに応じて配置したものである。特徴量は、画像の特徴を表す量であり、各画素の輝度や隣接する画素との輝度差分、輝度や輝度差分の最大値、最小値、平均値、分散値等であるものとすることができる。図４に示すテンプレートは、特徴量の大小を濃淡で示したものである。

分析装置１２０は、ユーザによって指定された分析対象物の情報（例えば直径１０μ程度の球状等）に応じて適切なテンプレートＴを選択するものとすることができる。またユーザが直接にテンプレートＴを指定してもよい。上述のようにテンプレートＴの大きさは、分析対象物によって異なるが、以下の説明において一辺の長さがＬ画素の正方形であるものとする。また、分析装置１２０は、分析対象物の分析（後述）によって得られた情報をテンプレートにフィードバックしてもよい。

二次元座標検出部１２１は、撮像画像群に含まれる各撮像画像から、分析対象物の座標の候補（以下、二次元座標候補とする）を検出する（Ｓｔ１０２）。具体的には、二次元座標検出部１２１は、以下のようにして二次元座標候補を検出するものとすることができる。

最初に、二次元座標検出部１２１は、撮像画像Ｇから第１特徴量を抽出する（Ｓｔ１０２１）具体的には、二次元座標検出部１２１は、各撮像画像を８ｂｉｔグレースケールに変換し、所定の画素数（以下、第１画素数とする）の画素間の輝度差分を第１特徴量として抽出する。第１画素数は例えば各画素について隣接する１画素であるものとすることができる。二次元座標検出部１２１は、後述する第２画素数に比較して少ない第１画素数の画素間の輝度差分を抽出するため、輝度差分の抽出を高速に実行することが可能である。なお、二次元座標検出部１２１は、輝度や輝度差分の最大値、最小値、平均値、分散値等を第１特徴量として抽出してもよい。

続いて、二次元座標検出部１２１は、第１特徴量を用いて予備的座標候補を検出する（Ｓｔ１０２２）。二次元座標検出部は、第１特徴量を利用してエッジ検出を行い、エッジが検出された座標を予備的座標候補とすることができる。エッジ検出には各種アルゴリズムを利用することができ、輝度の最大値、最小値、平均値、分散値等を用いた閾値によりノイズを除去することにより、アルゴリズムを高速化することが可能である。図６に、撮像画像Ｇにおいて検出された予備的座標候補Ｅを模式的に示す。

続いて、二次元座標検出部１２１は、撮像画像Ｇにおいて予備的座標候補Ｅの周囲に比較範囲を設定する（Ｓｔ１０２３）。二次元座標検出部１２１は、テンプレートＴの大きさを１ブロックとして、予備的座標候補Ｅの周囲４ブロックを比較範囲として設定することができる。また、二次元座標検出部１２１は、これと異なる範囲を比較範囲として設定してもよい。図７に、設定された比較範囲Ｈを示す。

続いて、二次元座標検出部１２１は、比較範囲Ｈに含まれる撮像画像Ｇから第２特徴量を抽出する（Ｓｔ１０２４）。具体的には、二次元座標検出部１２１は、各撮像画像Ｇを８ｂｉｔグレースケールに変換し、所定の画素数（以下、第２画素数とする）の輝度差分を第２特徴量として抽出する。なお第２画素数は第１画素数より多い画素数であり、例えば
各画素についてその周囲の８画素であるものとすることができる。

二次元座標検出部１２１は、第１画素数に比較して多い第２画素数の画素間の輝度差分を抽出するため、高精度に第２特徴量を抽出することが可能である。一方で二次元座標検出部１２１は、各画素について輝度差分の抽出対象となる画素が多いため、画素毎の抽出に時間を要する。しかし、二次元座標検出部１２１は、撮像画像全体ではなく比較範囲Ｈについてのみ抽出を実行すればよく、抽出を高速に実行することが可能である。なお、二次元座標検出部１２１は、輝度や輝度差分の最大値、最小値、平均値、分散値等を第２特徴量として抽出してもよい。

続いて、二次元座標検出部１２１は、各比較範囲Ｈに対してテンプレート比較を行う（Ｓｔ１０２５）。図８はテンプレート比較の様子を示す模式図である。同図に示すように、二次元座標検出部１２１は、比較範囲Ｈ内においてテンプレートＴを移動させながら、テンプレートＴの特徴量と、撮像画像ＧのうちテンプレートＴと重複する範囲の第２特徴量とを比較し、テンプレートの特徴量と撮像画像Ｇの特徴量が最も類似性が高くなるテンプレートＴの位置を探索する。具体的には、二次元座標検出部１２１は、テンプレートＴの各画素と、それに重複する撮像画像Ｇの各画素の特徴量の差を算出し、それを合算した比較結果Ｐを算出することができる。

二次元座標検出部１２１は、上記比較結果Ｐが最も小さくなるときに、テンプレートＴの特徴量と撮像画像Ｇの第２特徴量の類似性が最も高いと判断することができる。このときのテンプレートＴの位置を適合位置とする。そして二次元座標検出部１２１は、適合位置にあるテンプレートＴの中央の位置座標を二次元座標候補とすることができる。図９に、二次元座標検出部１２１が検出する二次元座標候補Ｆを示す。

二次元座標検出部１２１は、予備的座標候補Ｅが複数検出されている場合には、各予備的座標候補Ｅについて、比較範囲Ｈを設定し（Ｓｔ１０２３）、第２特徴量を抽出し（Ｓｔ１０２４）、テンプレート比較（Ｓｔ１０２５）を行う。

続いて、二次元座標検出部１２１は、検出した二次元座標候補Ｆを検証する（Ｓｔ１０２６）。図１０は、この検証ついての模式図である。二次元座標検出部１２１は、撮像画像Ｇについて、上記適合位置にあるテンプレートＴと重複する画素範囲の周辺部（図中斜線部）の輝度値から、中央部（図中斜線部内部）の輝度値を減算し、比較結果Ｑとすることができる。二次元座標検出部１２１は、この比較結果Ｑを利用して、二次元座標候補Ｆの検証を行うことができる。

即ち、分析対象物が細胞等の球状に近い形状を有する場合、その像の中央部の輝度は大きく（明るく）、周辺部の輝度は小さく（暗く）なる。しかし、上記第２特長量の抽出ステップにおいて、第２特徴量（輝度差分等）が抽出され、輝度値の情報は失われているため、中央部の輝度が小さく、周辺部の輝度が大きい像も中央部の輝度が大きく、周辺部の輝度が小さい像と同様に検出されている。したがって、二次元座標検出部１２１は、比較結果Ｑを利用してこのような輝度が逆転している像についての二次元座標候補Ｆを候補から除外することができる。

二次元座標検出部１２１は、撮像画像群に含まれる各撮像画像Ｇについて上記ステップ（Ｓｔ１０２１〜Ｓｔ１０２６）を実行し、各撮像画像Ｇにおいて二次元座標候補Ｆを検出するものとすることができる。二次元座標検出部１２１は検出した二次元座標候補Ｆを三次元座標特定部１２２に供給する。さらに二次元座標検出部１２１は、上記ステップにおいて算出した比較結果Ｐ及び比較結果Ｑを評価部１２３に供給する。

三次元座標特定部１２２は、二次元座標候補Ｆの撮像画像Ｇ間の位置関係に基づいて、分析対象物の三次元座標候補を特定する（Ｓｔ１０３）。図１１は、三次元座標特定部１２２の三次元座標候補の特定を示す模式図である。具体的には、三次元座標特定部１２２は、各撮像画像Ｇの二次元座標候補ＦのＺ方向における連続数を計数する。この際、三次元座標特定部１２２は、二次元座標候補Ｆが撮像画像間でＸ−Ｙ方向に完全に一致しなくても、そのずれが許容範囲内であれば、二次元座標候補Ｆが連続しているものとすることができる。

三次元座標特定部１２２は、二次元座標候補の群（以下、二次元座標候補群）のＺ方向における連続数が所定範囲である場合には、当該二次元座標候補群が分析対象物についての二次元座標候補群であるとすることができる。例えば図１１において二次元座標候補群Ｆ１はＺ方向における連続数が大きすぎ、二次元座標候補群Ｆ３はＺ方向における連続数が小さすぎる場合を示している。

この例では三次元座標特定部１２２は、二次元座標候補群Ｆ２を連続数が所定範囲であるとして分析対象物についての二次元座標候補群であるとすることができる。連続数の所定範囲は、分析対象物のＺ方向の大きさ、顕微鏡光学系１１１が備える対物レンズのＮＡ（開口数）、撮像画像群の焦点間隔等によって異なり、三次元座標特定部１２２は、ユーザによる指定を受けて、あるいはテンプレートＴから適切な連続数の範囲を取得することができる。

三次元座標特定部１２２は、連続数が所定範囲内である場合には、その二次元座標候補群が含まれる複数の撮像画像Ｇのうち、Ｚ方向において中央に位置する撮像画像Ｇ（図１１中Ｇｃ）を特定する。三次元座標特定部１２２は、この撮像画像Ｇｃが撮像された焦点位置をＺ座標として、二次元座標候補群Ｆ２のうち撮像画像Ｇｃにおける二次元座標候補をＸ−Ｙ座標として、三次元座標候補を特定することができる。

評価部１２３は、評価関数を利用して、三次元座標に位置する物体像と分析対象物像の類似性を評価する（Ｓｔ１０４）。評価関数は、上述した比較結果Ｐ及び比較結果Ｑを利用したものとすることができ、具体的には下記［式１］で表されるものとすることができる。
ｆ＝ａ×Ｐ＋Ｑ ［式１］
なお、ａは任意の係数である。

比較結果Ｐは小さい方が物体像とテンプレートＴの類似性が大きく、比較結果Ｑは物体像の中央部の輝度値が周辺部の輝度値より大きければ負の値となるため、評価部１２３はｆの値が小さければ、物体像は分析対象物像に近いと評価することが可能である。なお、評価部１２３は、評価関数に比較結果Ｐのみを利用してもよく、上記［式１］と異なる評価関数を利用してもよい。

例えば、一つのウェルに一つの分析対象物（細胞等）が導入されるシングルソートの場合には、一つのウェルから得られる撮像画像群からは一つの分析対象物の三次元座標候補が特定されることが理想的である。しかし、複数の三次元座標候補が特定された場合であっても評価部１２３が評価関数を利用して評価を行うことにより、三次元座標候補に位置する物体像と分析対象物像の類似性の順位付けを行うことができる（実施例参照）。

また、シングルソートの場合ではなく、分析試料に複数の分析対象物が含まれる場合や、分析試料内に様々な形態を有する物体が含まれ、その中から分析対象物を特定する場合等においても、評価関数で得られた結果に対して閾値を利用し、分析対象物の三次元座標候補を特定することが可能となる。

以上のように分析装置１２０は、撮像画像群に対する画像処理によって、分析対象物の三次元座標候補を特定することが可能である。これにより、ユーザは、分析対象物の探索を行うことなく、顕微鏡光学系１１１の視野を分析対象物に合わせることが可能となる。また、分析装置１２０は、三次元座標候補に位置する分析対象物の候補をディスプレイに表示させ、ユーザが分析対象物を選択できるようにしてもよい。さらに、後述するように、制御装置１３０がこの三次元座標候補を利用して、分析対象物を追跡し、撮像や分析を行うことが可能となる。

［制御装置の構成及び動作］
制御装置１３０は、顕微鏡撮像装置１１０を制御する。具体的には、制御装置１３０は、顕微鏡光学系１１１、ＸＹＺステージ１１２、撮像機構１１３等を制御することによって、分析試料Ｓに対する顕微鏡光学系１１１の視野範囲を調整し、撮像機構１１３に顕微鏡光学系１１１を介して観測試料を撮像させるものとすることができる。

ここで、制御装置１３０は、顕微鏡撮像装置１１０の制御に、分析装置１２０によって特定された分析対象物の三次元座標候補を利用することが可能である。図１２は、分析システム１００の動作を示すフローチャートである。

最初に、制御装置１３０が顕微鏡撮像装置１１０に低倍率撮像を実行させる（Ｓｔ１５１）。具体的には制御装置１３０は、低倍率の拡大倍率とした顕微鏡光学系１１１の視野範囲を分析試料に合わせ、顕微鏡光学系１１１及び撮像機構１１３を制御して、分析試料を複数の焦点位置で撮像させ、撮像画像群を生成させる。図１３は、このときの顕微鏡光学系１１１の視野範囲を示す模式図である。

顕微鏡光学系１１１の視野範囲Ａが分析試料Ｓの全域をカバーできない場合には、制御装置１３０は図１３（ａ）に示すように分析試料Ｓに複数の視野範囲Ａを設定し、各視野範囲Ａを撮像させるものとすることができる。また、シングルソーターの精度が高い場合等、分析対象物が分析試料Ｓの中央付近に存在することが予想される場合には、制御装置１３０は図１３（ｂ）に示すように分析試料Ｓの中央にのみ視野範囲Ａを設定し、撮像させることができる。

分析装置１２０は、上記低倍率撮像で生成された撮像画像群に対して上述した画像処理を実行し、分析対象物の三次元座標候補を特定する（Ｓｔ１５２）。三次元座標候補に位置する物体が分析対象物である場合には、制御装置１３０は後述する分析（Ｓｔ１５５）を実行してもよく、顕微鏡光学系１１１の倍率を拡大させ、高倍率撮像（Ｓｔ１５３）を実行してもよい。高倍率撮像を実行する際、上記画像処理ステップ（Ｓｔ１５２）で三次元座標候補が特定されていれば、制御装置１３０はこの三次元座標候補を利用して高倍率撮像を実行させることが可能である。なお、制御装置１３０は、高倍率撮像を実施する際、顕微鏡光学系１１１にフォーカス検出を実行させ、検出された焦点を利用して三次元座標候補を更新することも可能である。

分析装置１２０は、上記高倍率撮像で生成された撮像画像群に対して再び上述した画像処理を実行し、分析対象物の三次元座標候補を特定する（Ｓｔ１５４）。三次元座標候補に位置する物体が分析対象物である場合には、制御装置１３０は分析（Ｓｔ１５５）を実行させる。三次元座標候補に位置する物体が分析対象物でない場合には、制御装置１３０は上述の画像処理ステップ（Ｓｔ１５２）を実行させる。

制御装置１３０は、いずれかの画像処理ステップ（Ｓｔ１５２、Ｓｔ１５４）で特定された三次元座標候補に位置する物体が分析対象物である場合、分析を実行する（Ｓｔ１５５）。具体的には、制御装置１３０は、特定された三次元座標候補に、顕微鏡光学系１１１の視野を合わせた上で、分析対象物を撮像させることができる。制御装置１３０は、例えば所定時間毎に上記三次元座標候補の特定処理を実行させることにより、所定時間毎に分析対象物を撮像させることができ、即ちタイムラプス撮像を実行させることが可能となる。

また、制御装置１３０は、顕微鏡撮像装置１１０の顕微鏡光学系１１１に位相差撮像機構や分光（赤外分光、ラマン分光等）機構が接続されている場合には、これらの分析機構を制御して各種分析を実行させるものとすることも可能である。いずれの場合であっても、顕微鏡光学系１１１の視野範囲は、自動的に特定された三次元座標候補に合わせるため、ユーザは分析対象物の探索を要することなく、分析対象物の分析が可能である。

［分析システムの変形例］
上記実施形態に係る分析システムの変形例について説明する。

分析装置１２０は、２次元のテンプレートではなく、３次元のテンプレートや分析対象物のサイズ情報を用いて、３次元的に最もマッチする座標を特定してもよい。図１４は、この分析装置１２０の動作を示す模式図である。図１４（ａ）に示すように分析装置１２０は、輝度差分が閾値以上のピクセルｐ１の座標を取得する。この際分析装置１２０は孤立するピクセルｐ２をノイズとして除去することが可能である。

分析装置１２０は図１４（ｂ）に示すようにキーとなるピクセルｐ３を探索し、その周囲の所定範囲のボクセル（ｖｏｘｅｌ）ｖ内で最も分析対象物に近いものを検出するものとすることが可能である。所定範囲のボクセルは例えば２０ボクセルとすることができる。

上記実施形態の実施例について説明する。この実施例においては、造血幹細胞（分析対象物）をシングルセルソータによって各ウェルに一つずつ播種したものを分析試料とした。

図１５は実施例に係る各画像を示す。図１５（ａ）は、対物レンズ倍率４倍、光量固定の条件でＺ−Ｓｔａｃｋ撮像により生成された撮像画像群である。撮像された焦点位置は０〜４２０μｍであり、焦点間隔は２０μｍである。分析装置によって上記実施形態に係る画像処理により分析対象物の三次元座標候補を特定した。評価結果が１位の三次元座標候補（ｘ、ｙ、ｚ）に位置する物体像を図１５（ａ）に示す。

図１５（ｂ）は、評価結果が１位の三次元座標候補（ｘ、ｙ、ｚ）を中心して、対物レンズ倍率６０倍、光量固定の条件で明視野によるＺ−Ｓｔａｃｋ撮像により撮像された撮像画像群である。撮像された焦点位置は、三次元座標候補のＺ座標から±２０μｍである。この撮像画像に対してフォーカス検出を実行し、Ｚ座標を更新した。更新後の三次元座標候補を（ｘ、ｙ、ｚ'）とする。

図１５（ｃ）は、更新後の三次元座標候補（ｘ、ｙ、ｚ'）を、対物レンズ６０倍、光量最大の条件で位相差撮像により撮像された撮像画像である。撮像画像の中央部には分光用枠が設定されている。このように分析装置によって分析対象物の三次元座標候補が特定されるため、その三次元座標候補を利用して分析対象物の分析（ここでは高倍率撮像）が可能であった。

また、図１６は、評価部による評価結果の例を示し、造血幹細胞が各ウェルに一つずつ播種されたシングルセルソートの場合おいて、各ウェルを撮像した撮像画像群から特定された三次元座標候補に位置する物体像を、評価関数によって順位付けした結果である。各ウェルについて、最も評価関数順位の高い物体像が、そのウェルに播種された分析対象物（造血幹細胞）の像である可能性が高い。実際に評価順位１位の物体像は、蛍光像による観察によって造血幹細胞である確認された。即ち、上記実施形態に係る分析装置によって、分析対象物の三次元座標候補を特定すること、かつ三次元座標候補に位置する物体像の分析対象物らしさを評価することが可能であるといえる。

なお、本技術は以下のような構成も採ることができる。

（１）
分析対象物を含む分析試料が複数の焦点位置で撮像された撮像画像群について、各撮像画像における分析対象物の座標の候補である二次元座標候補を検出する二次元座標検出部と、
上記二次元座標候補の撮像画像間の位置関係に基づいて、分析対象物の三次元座標の候補である三次元座標候補を特定する三次元座標特定部と
を具備する分析装置。

（２）
上記（１）に記載の分析装置であって、
評価関数を用いて上記三次元座標候補に位置する物体像と分析対象物像の類似性を評価する評価部
をさらに具備する分析装置。

（３）
上記（１）又は（２）に記載の分析装置であって、
上記三次元座標特定部は、上記二次元座標候補の焦点深度方向における連続数に基づいて上記三次元座標候補を特定する
分析装置。

（４）
上記（１）から（３）のうちいずれか一つに記載の分析装置であって、
上記二次元座標検出部は、上記撮像画像の特徴量を、分析対象物の特徴量を表すテンプレートと比較することによって上記二次元座標候補を検出する
分析装置。

（５）
上記（１）から（４）のうちいずれか一つに記載の分析装置であって、
上記二次元座標検出部は、上記撮像画像から第１の特徴量を抽出し、上記第１の特徴量に基づいて予備的二次元座標候補を検出し、上記予備的二次元座標候補の周囲に比較範囲を設定し、上記比較範囲に含まれる上記撮像画像から第２の特徴量を抽出し、上記第２の特徴量を上記テンプレートと比較することによって上記二次元座標候補を検出する
分析装置。

（６）
上記（１）から（５）のうちいずれか一つに記載の分析装置であって、
上記第１の特徴量は、第１の画素数の画素間の輝度差分であり、
上記第２の特徴量は、上記第１の画素数より多い第２の画素数の画素間の輝度差分である
分析装置。

（７）
上記（１）から（６）のうちいずれか一つに記載の分析装置であって、
上記第２の特徴量が上記テンプレートに最も適合するときの、上記比較範囲に含まれる上記撮像画像の上記第２の特徴量と上記テンプレートの特徴量の差分を利用した評価関数を用いて、上記三次元座標候補に位置する物体像と分析対象物像の類似性を評価する評価部
をさらに具備する分析装置。

（８）
上記（１）から（７）のうちいずれか一つに記載の分析装置であって、
上記二次元座標検出部は、上記第２の特徴量が上記テンプレートに最も適合するときの上記比較範囲に含まれる上記撮像画像の中央部と周辺部の輝度差を算出し、上記輝度差を利用して上記二次元座標候補を検証する
分析装置。

（９）
上記（１）から（８）のうちいずれか一つに記載の分析装置であって、
上記評価部は、上記第２の特徴量と上記テンプレートの差分に加え、上記輝度差を利用した評価関数を用いて、上記三次元座標候補に位置する物体像と分析対象物像の類似性を評価する
分析装置。

（１０）
分析対象物を含む分析試料が複数の焦点位置で撮像された撮像画像群について、各撮像画像における分析対象物の座標の候補である二次元座標候補を検出する二次元座標検出部と、
上記二次元座標候補の撮像画像間の位置関係に基づいて、分析対象物の三次元座標の候補である三次元座標候補を特定する三次元座標特定部と
として情報処理装置を機能させる分析プログラム。

（１１）
顕微鏡撮像装置と、
上記顕微鏡撮像装置によって分析対象物を含む分析試料が複数の焦点位置で撮像された撮像画像群について、各撮像画像における分析対象物の座標の候補である二次元座標候補を検出する二次元座標検出部と、上記二次元座標候補の撮像画像間の位置関係に基づいて、分析対象物の三次元座標の候補である三次元座標候補を特定する三次元座標特定部とを備える分析装置と、
上記三次元座標候補を利用して、上記顕微鏡撮像装置を制御する制御装置と
を具備する分析システム。

１００…分析システム
１１０…顕微鏡撮像装置
１２０…分析装置
１２１…二次元座標検出部
１２２…三次元座標特定部
１２３…評価部
１３０…制御装置

Claims (9)

1. 分析対象物を含む分析試料が複数の焦点位置で撮像された撮像画像群について、各撮像画像における分析対象物の座標の候補である二次元座標候補を検出する二次元座標検出部と、
   前記二次元座標候補の撮像画像間の位置関係に基づいて、分析対象物の三次元座標の候補である三次元座標候補を特定する三次元座標特定部と
   を具備し、
   前記二次元座標検出部は、前記撮像画像から第１の特徴量を抽出し、前記第１の特徴量に基づいて予備的二次元座標候補を検出し、前記予備的二次元座標候補の周囲に比較範囲を設定し、前記比較範囲に含まれる前記撮像画像から第２の特徴量を抽出し、前記第２の特徴量を分析対象物の特徴量を表すテンプレートと比較することによって前記二次元座標候補を検出し、前記第２の特徴量が前記テンプレートに最も適合するときの前記比較範囲に含まれる前記撮像画像の中央部と周辺部の輝度差を算出し、前記輝度差を利用して前記二次元座標候補を検証する
   分析装置。
2. 請求項１に記載の分析装置であって、
   評価関数を用いて前記三次元座標候補に位置する物体像と分析対象物像の類似性を評価する評価部
   をさらに具備する分析装置。
3. 請求項１又は２に記載の分析装置であって、
   前記三次元座標特定部は、前記二次元座標候補の焦点深度方向における連続数に基づいて前記三次元座標候補を特定する
   分析装置。
4. 請求項１に記載の分析装置であって、
   前記第１の特徴量は、第１の画素数の画素間の輝度差分であり、
   前記第２の特徴量は、前記第１の画素数より多い第２の画素数の画素間の輝度差分である
   分析装置。
5. 請求項４に記載の分析装置であって、
   前記第２の特徴量が前記テンプレートに最も適合するときの、前記比較範囲に含まれる前記撮像画像の前記第２の特徴量と前記テンプレートの特徴量の差分を利用した評価関数を用いて、前記三次元座標候補に位置する物体像と分析対象物像の類似性を評価する評価部
   をさらに具備する分析装置。
6. 請求項５に記載の分析装置であって、
   前記評価部は、前記第２の特徴量と前記テンプレートの差分に加え、前記輝度差を利用した評価関数を用いて、前記三次元座標候補に位置する物体像と分析対象物像の類似性を評価する
   分析装置。
7. 分析対象物を含む分析試料が複数の焦点位置で撮像された撮像画像群について、各撮像画像における分析対象物の座標の候補である二次元座標候補を検出する二次元座標検出部と、
   前記二次元座標候補の撮像画像間の位置関係に基づいて、分析対象物の三次元座標の候補である三次元座標候補を特定する三次元座標特定部と、
   評価部と
   を具備し、
   前記二次元座標検出部は、前記撮像画像から第１の画素数の画素間の輝度差分である第１の特徴量を抽出し、前記第１の特徴量に基づいて予備的二次元座標候補を検出し、前記予備的二次元座標候補の周囲に比較範囲を設定し、前記比較範囲に含まれる前記撮像画像から前記第１の画素数より多い第２の画素数の画素間の輝度差分である第２の特徴量を抽出し、前記第２の特徴量を分析対象物の特徴量を表すテンプレートと比較することによって前記二次元座標候補を検出し、前記第２の特徴量が前記テンプレートに最も適合するときの前記比較範囲に含まれる前記撮像画像の中央部と周辺部の輝度差を算出し、前記輝度差を利用して前記二次元座標候補を検証し、
   前記評価部は、前記第２の特徴量が前記テンプレートに最も適合するときの、前記比較範囲に含まれる前記撮像画像の前記第２の特徴量と前記テンプレートの特徴量の差分を利用した評価関数を用いて、前記三次元座標候補に位置する物体像と分析対象物像の類似性を評価する
   分析装置。
8. 分析対象物を含む分析試料が複数の焦点位置で撮像された撮像画像群について、各撮像画像における分析対象物の座標の候補である二次元座標候補を検出する二次元座標検出部と、
   前記二次元座標候補の撮像画像間の位置関係に基づいて、分析対象物の三次元座標の候補である三次元座標候補を特定する三次元座標特定部と
   として情報処理装置を機能させる分析プログラムであって、
   前記二次元座標検出部は、前記撮像画像から第１の特徴量を抽出し、前記第１の特徴量に基づいて予備的二次元座標候補を検出し、前記予備的二次元座標候補の周囲に比較範囲を設定し、前記比較範囲に含まれる前記撮像画像から第２の特徴量を抽出し、前記第２の特徴量を分析対象物の特徴量を表すテンプレートと比較することによって前記二次元座標候補を検出し、前記第２の特徴量が前記テンプレートに最も適合するときの前記比較範囲に含まれる前記撮像画像の中央部と周辺部の輝度差を算出し、前記輝度差を利用して前記二次元座標候補を検証する
   分析プログラム。
9. 顕微鏡撮像装置と、
   前記顕微鏡撮像装置によって分析対象物を含む分析試料が複数の焦点位置で撮像された撮像画像群について、各撮像画像における分析対象物の座標の候補である二次元座標候補を検出する二次元座標検出部と、前記二次元座標候補の撮像画像間の位置関係に基づいて、分析対象物の三次元座標の候補である三次元座標候補を特定する三次元座標特定部とを備える分析装置と、
   前記三次元座標候補を利用して、前記顕微鏡撮像装置を制御する制御装置と
   を具備し、
   前記二次元座標検出部は、前記撮像画像から第１の特徴量を抽出し、前記第１の特徴量に基づいて予備的二次元座標候補を検出し、前記予備的二次元座標候補の周囲に比較範囲を設定し、前記比較範囲に含まれる前記撮像画像から第２の特徴量を抽出し、前記第２の特徴量を分析対象物の特徴量を表すテンプレートと比較することによって前記二次元座標候補を検出し、前記第２の特徴量が前記テンプレートに最も適合するときの前記比較範囲に含まれる前記撮像画像の中央部と周辺部の輝度差を算出し、前記輝度差を利用して前記二次元座標候補を検証する
   分析システム。