JPWO2020044683A1 - マニピュレーションシステム及びマニピュレーションシステムの駆動方法 - Google Patents

Abstract

操作者の熟練度及び技術によらず、効率よくかつ好適に微小対象物の操作対象を検出することができるマニピュレーションシステム及びマニピュレーションシステムの駆動方法を提供する。微小対象物が載置される試料ステージと、微小対象物を保持するための第１ピペットを備える第１マニピュレータと、第１ピペットに保持された微小対象物を操作するための第２ピペットを備える第２マニピュレータと、微小対象物を撮像する撮像部と、試料ステージ、第１ピペット、第２ピペット及び撮像部を制御するコントローラと、を備え、コントローラは、撮像部の画像データに基づいて人工知能によって微小対象物の所定の操作対象位置を検出し、第２ピペットを所定の操作対象位置に移動させて、微小対象物に対する操作を第２ピペットに実行させる。

Description

本発明は、マニピュレーションシステム及びマニピュレーションシステムの駆動方法に関する。

バイオテクノロジ分野において、顕微鏡観察下で細胞や卵にＤＮＡ溶液や細胞を注入する等のように、微小な対象物に微細な操作を行うマイクロマニピュレーションシステムが知られている。微小対象物を保持するための保持用ピペットで微小対象物の位置を固定しつつ、操作用ピペットを微小対象物の操作対象の位置に突き刺してインジェクション操作が行われる。

特許文献１には、微小対象物の操作対象が検出されない場合、焦点位置及び微小対象物の姿勢の変更後に再度検出を実行する技術が開示されている。

特開２０１７−１２４４５２号公報

しかしながら、エッジ抽出処理及びパターンマッチング等の一般的な画像処理を行う場合、焦点位置、顕微鏡の光学系、微小対象物の姿勢等の撮像条件によって操作対象の輝度の差（コントラスト）が変化する。また、微小対象物は、画像のコントラストが低い。したがって、安定した検出が難しく、撮像条件を変更する度に、検出パラメータ等を変更する必要がある。

本発明は、上記に鑑みてなされたものであって、操作者の熟練度及び技術によらず、効率よくかつ好適に微小対象物の操作対象を検出することができるマニピュレーションシステム及びマニピュレーションシステムの駆動方法を提供することを目的とする。

本発明の一態様に係るマニピュレーションシステムは、微小対象物が載置される試料ステージと、前記微小対象物を保持するための第１ピペットを備える第１マニピュレータと、前記第１ピペットに保持された前記微小対象物を操作するための第２ピペットを備える第２マニピュレータと、前記微小対象物を撮像する撮像部と、前記試料ステージ、前記第１ピペット、前記第２ピペット及び前記撮像部を制御するコントローラと、を備え、前記制御装置は、前記撮像部の画像データに基づいて人工知能によって前記微小対象物の所定の操作対象位置を検出し、前記第２ピペットを前記所定の操作対象位置に移動させて、前記微小対象物に対する操作を第２ピペットに実行させる。

これによれば、コントローラが、蓄積された学習データに基づいて人工知能により所定の操作対象位置の検出操作を行うため、操作者の熟練度によらず、所定の操作対象位置を検出することができる。また、所定の操作対象位置が、撮像条件の変更によるコントラストの変化が大きい場合でも、撮像条件の変更時における検出パラメータの設定変更が不要である。人工知能を用いた画像認識は、検出パラメータの設定を変更する必要がないので、新たなプログラムを作成することなく、所定の操作対象位置の検出ができる。したがって、効率よくかつ好適に微小対象物の所定の操作対象位置を検出することができる。

本発明の一態様に係るマニピュレーションシステムにおいて、前記コントローラは、前記微小対象物に対する操作が成功した場合に、前記画像データ及び前記画像データの撮像条件を前記人工知能に記憶させる。これによれば、人工知能の学習データを蓄積することによって、微小対象物の位置の検出及び微小対象物に対する操作の成功の精度が向上するので、効率よくかつ好適に微小対象物を検出することができ、効率よくかつ好適に微小対象物への操作が可能である。

本発明の一態様に係るマニピュレーションシステムにおいて、前記コントローラは、前記所定の操作対象位置が検出されない場合に、前記微小対象物の姿勢を変更させる。これによれば、効率よくかつ好適に微小対象物の所定の操作対象位置を検出することができる。

本発明の一態様に係るマニピュレーションシステムにおいて、前記コントローラは、前記所定の操作対象位置が検出されない場合に、前記第１ピペットによる前記微小対象物の保持解除操作と、保持位置を変更させた再保持操作と、を実行させる。これによれば、効率よくかつ好適に微小対象物の所定の操作対象位置を検出することができる。

本発明の一態様に係るマニピュレーションシステムにおいて、前記第１ピペットによる前記微小対象物の保持は、前記第１ピペットを陰圧にして前記微小対象物を前記第１ピペットに吸着させることによって行う。これによれば、効率よくかつ好適に微小対象物の所定の操作対象位置を検出することができる。

本発明の一態様に係るマニピュレーションシステムの駆動方法は、微小対象物が載置される試料ステージと、前記微小対象物を保持するための第１ピペットを備える第１マニピュレータと、前記第１ピペットに保持された前記微小対象物を操作するための第２ピペットを備える第２マニピュレータと、前記微小対象物を撮像する撮像部と、を備えるマニピュレーションシステムの駆動方法であって、前記第１ピペットに保持された前記微小対象物の所定の操作対象位置を、前記撮像部の画像データに基づいて人工知能によって検出するステップと、前記第２ピペットを前記所定の操作対象位置に移動させて、前記微小対象物に対する操作を実行させるステップと、を含む。

これによれば、蓄積された学習データに基づいて人工知能により所定の操作対象位置の検出操作を行うため、操作者の熟練度によらず、所定の操作対象位置を検出することができる。また、所定の操作対象位置が、撮像条件の変更によるコントラストの変化が大きい場合でも、撮像条件の変更時における検出パラメータの設定変更が不要である。人工知能を用いた画像認識は、検出パラメータの設定を変更する必要がないので、新たなプログラムを作成することなく、所定の操作対象位置の検出ができる。したがって、効率よくかつ好適に微小対象物の所定の操作対象位置を検出することができる。

本発明によれば、操作者の熟練度及び技術によらず、効率よくかつ好適に微小対象物の操作対象を検出することができる。

図１は、実施形態に係るマニピュレーションシステムの構成を模式的に示す図である。 図２は、微動機構の一例を示す断面図である。 図３は、マニピュレーションシステムの制御ブロック図である。 図４は、試料保持部材に配置される細胞の一例を示す模式図である。 図５は、操作対象の細胞及び核の模式図である。 図６は、画像処理により検出された細胞及び核の模式図である。 図７は、実施形態のマニピュレーションシステムの動作の一例を示すフローチャート図である。

本発明を実施するための形態（実施形態）につき、図面を参照しつつ詳細に説明する。以下の実施形態に記載した内容により本発明が限定されるものではない。また、以下に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものが含まれる。さらに、以下に記載した構成要素は適宜組み合わせることが可能である。

図１は、実施形態に係るマニピュレ−ションシステムの構成を模式的に示す図である。マニピュレーションシステム１０は、顕微鏡観察下で微小対象物である試料を操作するためのシステムである。図１において、マニピュレーションシステム１０は、顕微鏡ユニット１２と、第１マニピュレータ１４と、第２マニピュレータ１６と、マニピュレーションシステム１０を制御するコントローラ（制御装置）４３とを備えている。顕微鏡ユニット１２の両側に第１マニピュレータ１４と第２マニピュレータ１６とが分かれて配置されている。

顕微鏡ユニット１２は、撮像素子を含むカメラ１８と、顕微鏡２０と、試料ステージ２２とを備えている。試料ステージ２２は、シャーレなどの試料保持部材１１を支持可能であり、試料保持部材１１の直上に顕微鏡２０が配置される。顕微鏡ユニット１２は、顕微鏡２０とカメラ１８とが一体構造となっており、試料保持部材１１に向けて光を照射する光源（図示は省略している）を備えている。なお、カメラ１８は、顕微鏡２０と別体に設けてもよい。

試料保持部材１１には、試料を含む溶液が収容される。溶液は、例えば、パラフィンオイル等である。試料保持部材１１の試料に光が照射され、試料保持部材１１の試料で反射した光が顕微鏡２０に入射すると、試料に関する光学像は、顕微鏡２０で拡大された後、カメラ１８で撮像される。カメラ１８で撮像された画像を基に試料の観察が可能となっている。

図１に示すように、第１マニピュレータ１４は、第１ピペット保持部材２４と、Ｘ−Ｙ軸テーブル２６と、Ｚ軸テーブル２８と、Ｘ−Ｙ軸テーブル２６を駆動する駆動装置３０と、Ｚ軸テーブル２８を駆動する駆動装置３２とを備える。第１マニピュレータ１４は、Ｘ軸−Ｙ軸−Ｚ軸の３軸構成のマニピュレータである。なお、本実施形態において、水平面内の一方向をＸ軸方向、水平面内においてＸ軸方向と交差する方向をＹ軸方向、Ｘ軸方向及びＹ軸方向のそれぞれと交差する方向（すなわち鉛直方向）をＺ軸方向とする。

Ｘ−Ｙ軸テーブル２６は、駆動装置３０の駆動により、Ｘ軸方向又はＹ軸方向に移動可能となっている。Ｚ軸テーブル２８は、Ｘ−Ｙ軸テーブル２６上に上下移動可能に配置され、駆動装置３２の駆動によりＺ軸方向に移動可能になっている。駆動装置３０、３２は、コントローラ４３に接続されている。

第１ピペット保持部材２４は、Ｚ軸テーブル２８に連結され、先端に毛細管チップである第１ピペット２５が取り付けられている。第１ピペット保持部材２４は、Ｘ−Ｙ軸テーブル２６とＺ軸テーブル２８の移動に従って３次元空間を移動領域として移動し、試料保持部材１１に収容された試料を、第１ピペット２５を介して保持することができる。すなわち、第１マニピュレータ１４は、微小対象物の保持に用いられる保持用マニピュレータであり、第１ピペット２５は、微小対象物の保持手段として用いられるホールディングピペットである。

図１に示す第２マニピュレータ１６は、第２ピペット保持部材３４と、Ｘ−Ｙ軸テーブル３６と、Ｚ軸テーブル３８と、Ｘ−Ｙ軸テーブル３６を駆動する駆動装置４０と、Ｚ軸テーブル３８を駆動する駆動装置４２とを備える。第２マニピュレータ１６は、Ｘ軸−Ｙ軸−Ｚ軸の３軸構成のマニピュレータである。

Ｘ−Ｙ軸テーブル３６は、駆動装置４０の駆動により、Ｘ軸方向又はＹ軸方向に移動可能となっている。Ｚ軸テーブル３８は、Ｘ−Ｙ軸テーブル３６上に上下移動可能に配置され、駆動装置４２の駆動によりＺ軸方向に移動可能になっている。駆動装置４０、４２は、コントローラ４３に接続されている。

第２ピペット保持部材３４は、Ｚ軸テーブル３８に連結され、先端にガラス製の第２ピペット３５が取り付けられている。第２ピペット保持部材３４は、Ｘ−Ｙ軸テーブル３６とＺ軸テーブル３８の移動に従って３次元空間を移動領域として移動し、試料保持部材１１に収容された試料を人工操作することが可能である。すなわち、第２マニピュレータ１６は、微小対象物の操作（ＤＮＡ溶液の注入操作や穿孔操作など）に用いられる操作用マニピュレータであり、第２ピペット３５は、微小対象物のインジェクション操作手段として用いられるインジェクションピペットである。

Ｘ−Ｙ軸テーブル３６とＺ軸テーブル３８は、第２ピペット保持部材３４を、試料保持部材１１に収容された試料などの操作位置まで粗動駆動する粗動機構（３次元移動テーブル）として構成されている。また、Ｚ軸テーブル３８と第２ピペット保持部材３４との連結部には、ナノポジショナとして微動機構４４が備えられている。微動機構４４は、第２ピペット保持部材３４をその長手方向（軸方向）に移動可能に支持するとともに、第２ピペット保持部材３４をその長手方向（軸方向）に沿って微動駆動するように構成される。

図２は、微動機構の一例を示す断面図である。図２に示すように微動機構４４は、第２ピペット保持部材３４を駆動対象とする圧電アクチュエータ４４ａを備える。圧電アクチュエータ４４ａは、筒状のハウジング８７と、ハウジング８７の内部に設けられた転がり軸受８０、８２と、圧電素子９２とを含む。ハウジング８７の軸方向に第２ピペット保持部材３４が挿通される。転がり軸受８０、８２は、第２ピペット保持部材３４を回転可能に支持する。圧電素子９２は、印加される電圧に応じて第２ピペット保持部材３４の長手方向に沿って伸縮する。第２ピペット保持部材３４の先端側（図２左側）には第２ピペット３５（図１参照）が取り付けられ固定される。

第２ピペット保持部材３４は、転がり軸受８０、８２を介してハウジング８７に支持される。転がり軸受８０は、内輪８０ａと、外輪８０ｂと、内輪８０ａと外輪８０ｂとの間に設けられたボール８０ｃとを備える。転がり軸受８２は、内輪８２ａと、外輪８２ｂと、内輪８２ａと外輪８２ｂとの間に設けられたボール８２ｃとを備える。各外輪８０ｂ、８２ｂがハウジング８７の内周面に固定され、各内輪８０ａ、８２ａが中空部材８４を介して第２ピペット保持部材３４の外周面に固定される。このように、転がり軸受８０、８２は、第２ピペット保持部材３４を回転自在に支持するようになっている。

中空部材８４の軸方向の略中央部には、径方向外方に突出するフランジ部８４ａが設けられている。転がり軸受８０は、フランジ部８４ａに対して第２ピペット保持部材３４の軸方向の先端側に配置され、転がり軸受８２はフランジ部８４ａに対して後端側に配置される。内輪間座としてのフランジ部８４ａを挟んで転がり軸受８０の内輪８０ａと、転がり軸受８２の内輪８２ａとが配置される。第２ピペット保持部材３４の外周面にねじ加工が施されており、内輪８０ａの先端側及び内輪８２ａの後端側からロックナット８６及びロックナット８６が第２ピペット保持部材３４に螺合されて、転がり軸受８０、８２の軸方向の位置が固定される。

円環状のスペーサ９０は、転がり軸受８０、８２と同軸に外輪８２ｂの軸方向後端側に配置される。スペーサ９０の軸方向後端側には、円環状の圧電素子９２がスペーサ９０と略同軸に配置され、さらにその軸方向後端側にはハウジング８７の蓋８８が配置される。蓋８８は、圧電素子９２を軸方向に固定するためのもので、第２ピペット保持部材３４が挿通する孔部を有する。蓋８８は、例えば、ハウジング８７の側面に不図示のボルトにより締結されていてもよい。なお、圧電素子９２は、棒状又は角柱状としてスペーサ９０の周方向に略等配となるように並べても良く、第２ピペット保持部材３４を挿通する孔部を有した角筒としても良い。

圧電素子９２はスペーサ９０を介して転がり軸受８２と接している。圧電素子９２は、リード線（図示せず）を介して制御回路としてのコントローラ４３に接続されている。圧電素子９２は、コントローラ４３からの印加電圧に応答して第２ピペット保持部材３４の軸方向に沿って伸縮し、第２ピペット保持部材３４をその軸方向に沿って微動させるようになっている。第２ピペット保持部材３４が軸方向に沿って微動すると、この微動が第２ピペット３５（図１参照）に伝達され、第２ピペット３５の位置が微調整されることになる。また、圧電素子９２により第２ピペット保持部材３４が軸方向に振動すると、第２ピペット３５も軸方向に振動する。このように微動機構４４により、微小対象物への操作（ＤＮＡ溶液や細胞の注入操作や穿孔操作など）の際には、より正確な操作が可能となり、圧電素子９２による穿孔作用の向上を実現できる。

なお、上述の微動機構４４は、微小対象物の操作用の第２マニピュレータ１６に設けられるとしているが、図１に示すように微小対象物の固定用の第１マニピュレータ１４に微動機構４４と同様の微動機構５４を設けてもよく、省略することも可能である。

次に、コントローラ４３によるマニピュレーションシステム１０の制御について図３を参照して説明する。図３は、マニピュレーションシステムの制御ブロック図である。

コントローラ４３は、演算手段としてのＣＰＵ（中央演算処理装置）及び記憶手段としてのハードディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のハードウェア資源を備える。コントローラ４３は、記憶部４６Ｂに格納された所定のプログラムに基づいて各種の演算を行い、演算結果に従って制御部４６Ａが各種の制御を行うように駆動信号を出力する。

制御部４６Ａは、顕微鏡ユニット１２の焦点合わせ機構８１、第１マニピュレータ１４の駆動装置３０、駆動装置３２、吸引ポンプ２９、第２マニピュレータ１６の駆動装置４０、駆動装置４２、圧電素子９２、注入ポンプ３９を制御し、必要に応じて設けられたドライバやアンプ等を介してそれぞれに駆動信号を出力する。制御部４６Ａは、駆動装置３０、３２、４０、４２にそれぞれ駆動信号Ｖ_ｘｙ、Ｖ_ｚ（図１参照）を供給する。駆動装置３０、３２、４０、４２は、駆動信号Ｖ_ｘｙ、Ｖ_ｚに基づいてＸ−Ｙ−Ｚ軸方向に駆動する。制御部４６Ａは、微動機構４４にナノポジショナ制御信号Ｖ_Ｎ（図１参照）を供給して、微動機構４４の制御を行ってもよい。

コントローラ４３は、情報入力手段としてジョイスティック４７と、キーボードやタッチパネル等の入力部４９とが接続されている。また、コントローラ４３は、液晶パネル等の表示部４５が接続される。表示部４５にはカメラ１８で取得した顕微鏡画像や各種制御用画面が表示されるようになっている。なお、入力部４９としてタッチパネルが用いられる場合には、表示部４５の表示画面にタッチパネルを重ねて用い、操作者が表示部４５の表示画像を確認しつつ入力操作を行うようにしてもよい。

ジョイスティック４７は公知のものを用いることができる。ジョイスティック４７は、基台と、基台から直立するハンドル部とを備えており、ハンドル部を傾斜させるように操作することで駆動装置３０、４０のＸ−Ｙ駆動を行うことができ、ハンドル部をねじることで駆動装置３２、４２のＺ駆動を行うことができる。ジョイスティック４７は、吸引ポンプ２９、圧電素子９２、注入ポンプ３９の各駆動を操作するためのボタン４７Ａを備えていてもよい。

図３に示すように、コントローラ４３は、さらに画像入力部４３Ａ、画像処理部４３Ｂ、画像出力部４３Ｃ及び位置検出部４３Ｄを備えている。顕微鏡２０を通してカメラ１８で撮像した画像信号Ｖｐｉｘ（図１参照）が画像入力部４３Ａに入力される。画像処理部４３Ｂは、画像入力部４３Ａから画像信号を受け取って、画像処理を行う。画像出力部４３Ｃは、画像処理部４３Ｂで画像処理された画像情報を表示部４５へ出力する。位置検出部４３Ｄは、カメラ１８で撮像された微小対象物である細胞等の位置や、第２ピペット３５によるインジェクション操作を行う操作対象である細胞の核等の位置を、画像処理後の画像情報に基づいて検出することができる。位置検出部４３Ｄは、画像情報に基づいてカメラ１８の撮像領域内における細胞等の有無を検出することができる。また、位置検出部４３Ｄは、第１ピペット２５及び第２ピペット３５の位置を検出してもよい。画像入力部４３Ａ、画像処理部４３Ｂ、画像出力部４３Ｃ及び位置検出部４３Ｄは、制御部４６Ａにより制御される。

制御部４６Ａは、位置検出部４３Ｄからの位置情報、及び細胞等の有無の情報に基づいて、第１マニピュレータ１４及び第２マニピュレータ１６を制御する。本実施形態において、制御部４６Ａは、第１マニピュレータ１４及び第２マニピュレータ１６を所定のシーケンスで自動的に駆動する。かかるシーケンス駆動は、記憶部４６Ｂにあらかじめ保存された所定のプログラムによるＣＰＵの演算結果に基づいて、制御部４６Ａが順次それぞれに駆動信号を出力することで行われる。

次に、図４から図６を参照して、微小対象物である試料の操作対象の検出する方法について説明する。本実施形態において、試料は細胞１００である。また、細胞１００は、前核期受精卵である。また、細胞１００への操作は、ＤＮＡ溶液のインジェクション操作である。

図４は、試料保持部材に配置される細胞の一例を示す模式図である。細胞１００は、試料保持部材１１の培地１１Ａに配置される。培地１１Ａは、試料保持部材１１の少なくとも一部に形成される。培地１１Ａは、インジェクション操作が実行されていない未処理細胞１００Ａを配置する未処理細胞領域と、インジェクション操作が完了した処理済細胞１００Ｂを配置する処理済細胞領域と、を有する。複数の未処理細胞１００Ａは、ある程度近い位置に全てが存在するように配置される。複数の処理済細胞１００Ｂは、互いにある程度近い位置に全てが存在するように配置される。

図５は、操作対象の細胞及び核の模式図である。細胞１００は、核１１０を含む。核１１０は、核膜１１２と核小体１１４とを有する。核小体１１４は、核膜１１２に覆われた核１１０の内部に存在する。細胞１００は、第１ピペット２５に保持された状態で、第２ピペット３５によってインジェクション操作される。

ＤＮＡ溶液等のインジェクションにおいては、ＤＮＡ溶液等を、核膜１１２の内部に注入する必要がある。核膜１１２は、低コントラストかつ形状が不定であるため、エッジ抽出処理等の一般的な画像処理手段による検出が困難である。そこで、核膜１１２より高コントラストの核小体１１４を検出し、核小体１１４の位置に基づいて、インジェクション位置を決定する。

図６は、画像処理により検出された細胞及び核の模式図である。細胞１００は半透明なので、細胞１００をスライスしたような画像データが得られる。細胞１００の画像データは、図３に示すカメラ１８により撮像される。カメラ１８により撮像された細胞１００の画像データは、画像入力部４３Ａから画像信号として画像処理部４３Ｂに送られる。画像処理部４３Ｂは、細胞１００の画像データの画像処理を行う。

画像処理部４３Ｂは、細胞１００、核１１０、核小体１１４の位置を検出するために、画像入力部４３Ａから受け取った画像信号について二値化処理とフィルタ処理を実行する。画像処理部４３Ｂは、画像信号をグレースケール化して、あらかじめ設定された所定の閾値に基づいて、このグレースケール画像をモノクロ画像に変換する。そして、画像処理部４３Ｂは、二値化処理とフィルタ処理により得られたモノクロ画像に基づいてエッジ抽出処理やパターンマッチングを行う。その処理結果に基づいて位置検出部４３Ｄは、細胞１００、核１１０、核小体１１４の位置を検出することができる。

本実施形態において、画像処理部４３Ｂは、核小体１１４の位置検出に、人工知能を用いた画像認識を利用する。画像処理部４３Ｂは、人工知能用の学習データを有する。学習データには、インジェクションが成功した場合の画像データ及び撮像条件が蓄積されている。画像データは、画像認識により取得した細胞１００及び核小体１１４の画像データである。撮像条件は、画像データに対応するカメラ１８の焦点位置、顕微鏡２０の光学系、及び細胞１００の姿勢、検出パラメータ等である。人工知能は、人工知能が学習データに基づいて画像認識による核小体１１４の検出を実行する。ここで、インジェクションが成功した場合、人工知能は、新たな画像データ及び撮像条件を記憶して、さらに学習データを蓄積する。人工知能は、学習データを蓄積することで、撮像条件の変更によるコントラストの変化が大きい核小体１１４に対しても、検出パラメータの設定変更することなく位置検出ができる。なお、通常の画像処理と人工知能による画像認識とを併用し、通常の画像処理での結果の信頼性が低い場合にのみ人工知能での画像認識を利用してもよい。通常の画像処理を併用することによって、画像処理時間が短縮できる。

なお、図３に示すコントローラ４３は、演算手段としてＣＰＵを備えるが、さらにＧＰＵ（画像処理装置）を備えてもよい。ＧＰＵが制御処理を実行することによって、制御処理時間を短縮することができる。ＧＰＵが画像処理部４３Ｂによる人工知能を用いた画像認識処理を実行し、ＣＰＵがその他の制御処理を実行してもよい。

次にマニピュレーションシステム１０の駆動方法について説明する。マニピュレーションシステム１０の動作を開始する前に、操作者は、まず、図１に示すカメラ１８の視野内に、第１ピペット２５及び第２ピペット３５を配置する。ここで、第１ピペット２５の先端の高さは試料保持部材１１の底面よりわずかに上の位置とする。操作者は、次に、顕微鏡２０の焦点合わせ機構８１を用いて、焦点を第１ピペット２５に合わせる。操作者は、焦点を第１ピペット２５に合わせた状態で、焦点が合うように第２ピペット３５の高さを調整する。操作者は、次に、試料保持部材１１内の細胞１００（未処理細胞１００Ａ；図４参照）の周辺を、カメラ１８の視野と重なるように試料ステージ２２を移動させる。操作者は、さらに、細胞１００に第１ピペット２５の先端を近付けても細胞１００が動かないことを確認する。これは、図３に示す吸引ポンプ２９が平衡状態であることを確認するためである。以上の準備により、細胞１００は、第１ピペット２５及び第２ピペット３５の近傍に配置される。

図７は、実施形態のマニピュレーションシステムの動作の一例を示すフローチャート図である。本実施形態のマニピュレーションシステム１０は、試料保持部材１１に載置された複数の細胞１００に対し、１つの細胞１００ごとに操作を行い、複数の細胞１００について操作を繰り返し実行する。コントローラ４３は、複数の細胞１００に対する操作を自動で実行する。マニピュレーションシステム１０による自動操作は、例えば、ＰＣソフト上の開始ボタンを押すことでスタートする。

操作者は、まず、マニピュレーションシステム１０が複数回の操作を実行した後、操作を終了する回数である操作終了回数Ｎｅを、図３に示す入力部４９を介してコントローラ４３の制御部４６Ａに入力する（ステップＳＴ１０）。１つの細胞１００ごとに操作を行うので、操作終了回数Ｎｅは、操作を行う細胞１００（未処理細胞１００Ａ）の個数である。制御部４６Ａに操作終了回数Ｎｅが入力されると、制御部４６Ａは、実行した操作回数のカウンタ値である操作実行回数ＮをＮ＝０としてコントローラ４３の記憶部４６Ｂに記憶させる（ステップＳＴ１２）。

次に、コントローラ４３の画像処理部４３Ｂは、顕微鏡２０を通してカメラ１８が撮像した画像データの画像処理を行う。コントローラ４３の位置検出部４３Ｄは、画像処理によって、カメラ１８の画面上における第１ピペット２５の先端中央の位置座標を検出する（ステップＳＴ２０）。制御部４６Ａは、第１マニピュレータ１４を駆動して、検出結果に基づいて、第１ピペット２５の先端中央が所定の第１座標に一致するよう、第１ピペット２５を所定の位置へ移動させる（ステップＳＴ２２）。所定の第１座標は、予め設定された座標である。位置検出部４３Ｄは、画像処理によって、カメラ１８の画面上における第２ピペット３５の先端中央の位置座標を検出する（ステップＳＴ２４）。制御部４６Ａは、第２マニピュレータ１６を駆動して、検出結果に基づいて、第２ピペット３５の先端中央が所定の第２座標に一致するよう、第２ピペット３５を所定の位置へ移動させる（ステップＳＴ２６）。所定の第２座標は、予め設定された座標である。

次に、制御部４６Ａは、第１マニピュレータ１４の吸引ポンプ２９を駆動させ、第１ピペット２５の吸引を実行させる。吸引ポンプ２９が駆動すると、第１ピペット２５の内部は陰圧となり、第１ピペット２５の開口に向かって試料保持部材１１の溶液の流れが発生する。細胞１００は、溶液とともに吸引されて、第１ピペット２５の先端に吸着し、保持される（ステップＳＴ３０）。ここで、細胞１００が保持されたかを確認するために、第１ピペット２５の先端近傍に細胞１００があるか、画像処理によって検出して判断するようにしてもよい。

次に、画像処理部４３Ｂは、核小体１１４の位置を人工知能による画像認識で検出する（ステップＳＴ４０）。核小体１１４が検出されない場合（ステップＳＴ４２；Ｎｏ）、制御部４６Ａは、第１マニピュレータ１４の吸引ポンプ２９を停止させ、第１ピペット２５の吸引を停止させる。制御部４６Ａは、第１ピペット２５の内部が僅かに陽圧になるように吸引ポンプ２９を駆動してもよい。これにより、細胞１００は、第１ピペット２５からの吸着が解除され、第１ピペット２５から離れる方向に僅かに移動する。細胞１００が移動する際に、第２ピペット３５の先端と接触することにより、細胞１００が回転する。所定の時間、細胞１００が回転した後、制御部４６Ａは、吸引ポンプ２９の吸引を再開させ、第１ピペット２５の内部を陰圧にして吸引する。これにより、細胞１００は、第１ピペット２５に再吸着し、保持される（ステップＳＴ４４）。細胞１００が第１ピペット２５に再び保持された後、画像処理部４３Ｂは、人工知能による画像認識を再び実行する（ステップＳＴ４０）。なお、本実施形態では、核小体１１４が検出されない場合に、細胞１００の姿勢を変更させるが、核小体１１４の位置が細胞１００の中心より大きくずれている場合においても、細胞１００の姿勢を変更させるようにしてもよい。また、細胞１００の姿勢を変更させずに、第１ピペット２５を移動させて、細胞１００の焦点位置を変更した後、再度人工知能による画像認識を実行させてもよい。

核小体１１４が検出された場合（ステップＳＴ４２；Ｙｅｓ）、制御部４６Ａは、画像処理により得られた核小体１１４の位置情報に基づいて、第２ピペット３５の移動経路を算出する。すなわち、第２ピペット３５は、核小体１１４の近傍であるインジェクション位置に対して第２ピペット３５の先端が対向するよう、Ｙ方向に移動する。その後、第２ピペット３５の先端は、Ｘ方向にインジェクション位置へ移動して、核膜１１２内に差し込まれる。制御部４６Ａは、第２マニピュレータ１６の注入ポンプ３９を駆動させ、細胞１００に対するＤＮＡ溶液等のインジェクション操作を実行させる（ステップＳＴ５０）。制御部４６Ａは、例えば、予め設定された時間、注入ポンプ３９を駆動させてインジェクション操作を実行させてもよい。画像処理部４３Ｂは、インジェクション操作中に画像処理を実行し、核膜１１２の膨らみを検出して、ＤＮＡ溶液等のインジェクションが完了したか判断してもよい。人工知能は、インジェクション操作が成功した場合、取得した画像データ及び撮像条件を記憶して、人工知能用の学習データにさらに蓄積してもよい。

インジェクションが成功した場合（ステップＳＴ５１；Ｙｅｓ）、制御部４６Ａは、試料ステージ２２を駆動し、インジェクション操作後の細胞１００を、処理済細胞１００Ｂとして処理済細胞領域に移動させる（図４参照）（ステップＳＴ６０）。制御部４６Ａは、第１マニピュレータ１４の吸引ポンプ２９を停止させ、第１ピペット２５の吸引を停止させる。これにより、第１ピペット２５の内部が陽圧となり、第１ピペット２５は、処理済細胞１００Ｂの保持を解除する。処理済細胞１００Ｂは、処理済細胞領域に載置される。制御部４６Ａは、再度試料ステージ２２を駆動し、未処理細胞１００Ａが配置される未処理細胞領域の近傍に第１ピペット２５の先端を移動させる。

その後、制御部４６Ａは、操作実行回数Ｎのカウンタ値を１つ増やして、Ｎ＝Ｎ＋１として記憶する（ステップＳＴ７０）。操作実行回数Ｎが操作終了回数Ｎｅよりも小さい場合（ステップＳＴ７２；Ｎｏ）、ステップＳＴ３０に戻って別の細胞１００に対する保持操作、核小体１１４の検出操作、核膜１１２へのインジェクション操作、細胞１００の載置操作を繰り返し実行する。操作実行回数Ｎが操作終了回数Ｎｅ以上となった場合（ステップＳＴ７２；Ｙｅｓ）、予め設定された個数の細胞１００に対する操作が終了し、一連の操作を終了する。

カメラ１８の撮像画像は、焦点位置におけるＸ−Ｙ平面を撮像したものであるので、第２ピペット３５の先端と核小体１１４とのＺ方向の位置が重ならない可能性がある。この場合、第２ピペット３５の先端が核小体１１４の近傍に差し込まれず、インジェクションは失敗することが想定される。インジェクションが失敗した場合（ステップＳＴ５１；Ｎｏ）、保持中の細胞１００への操作を中止し（ステップＳＴ８０）、ステップＳＴ３０に戻る。この後、同じ細胞１００に対して、保持操作、核小体１１４の検出操作、核膜１１２へのインジェクション操作を行ってもよいし、別の細胞１００に対して、保持操作、核小体１１４の検出操作、核膜１１２へのインジェクション操作を行ってもよい。別の細胞１００に変更する場合、保持中の細胞１００を、未処理細胞領域に戻してもよいし、培地１１Ａに処理失敗細胞領域を設けて、処理失敗細胞領域に載置してもよい。ステップＳＴ８０の後、例えば、ステップＳＴ４４に戻り、細胞１００の姿勢を変更して、核小体１１４の検出及びインジェクション操作を再度試行してもよい。インジェクションを失敗した細胞１００について、操作者が判断してもよいし、予め設定した条件に基づいて制御部４６Ａが判断してもよい。第２ピペット３５の先端と核小体１１４とのＺ方向の位置のずれは、インジェクション成功時の画像データ及び焦点位置等の学習データから推測することができる。したがって、人工知能が多くの学習データを蓄積することによって、第２ピペット３５の先端と核小体１１４とのＺ方向のずれを解消し、インジェクションの失敗を低減できる。

以上のように、マニピュレーションシステム１０は、細胞１００の保持操作、核小体１１４の検出操作、核膜１１２内へのインジェクション操作、細胞１００の載置操作を自動で行うので、移動先の試料ステージ２２の領域を見失うこと、及び、繰り返し行う第１ピペット２５及び第２ピペット３５の位置調整操作の際に、第１ピペット２５及び第２ピペット３５が折損することを抑制することができる。

以上説明したように、本実施形態のマニピュレーションシステム１０は、細胞１００（微小対象物）が載置される試料ステージ２２と、細胞１００を保持するための第１ピペット２５を備える第１マニピュレータ１４と、第１ピペット２５に保持された細胞１００を操作するための第２ピペット３５を備える第２マニピュレータ１６と、細胞１００を撮像する顕微鏡ユニット１２（撮像部）と、試料ステージ２２、第１ピペット２５、第２ピペット３５及び顕微鏡ユニット１２を制御するコントローラ４３と、を備え、コントローラ４３は、顕微鏡ユニット１２の画像データに基づいて人工知能によって細胞１００の核小体１１４（所定の操作対象位置）を検出し、第２ピペット３５を核小体１１４に移動させて、細胞１００に対する操作を第２ピペット３５に実行させる。

これによれば、コントローラ４３が、蓄積された学習データに基づいて人工知能により核小体１１４の検出操作を行うため、操作者の熟練度によらず、核小体１１４の位置を検出することができる。また、撮像条件の変更によるコントラストの変化が大きい核小体１１４に対しても、撮像条件の変更時における検出パラメータの設定変更が不要である。人工知能を用いた画像認識は、検出パラメータの設定を変更する必要がないので、新たなプログラムを作成することなく、核小体１１４の位置検出ができる。したがって、効率よくかつ好適に細胞１００の核小体１１４を検出することができる。

本実施形態のマニピュレーションシステム１０において、コントローラ４３は、インジェクション操作が成功した場合に、画像データ及び画像データの撮像条件を人工知能に記憶させる。これによれば、人工知能の学習データを蓄積することによって、核小体１１４の位置の検出及びインジェクション操作の成功の精度が向上するので、効率よくかつ好適に細胞１００の核小体１１４を検出することができ、効率よくかつ好適に核小体１１４へのインジェクション操作が可能である。

本実施形態のマニピュレーションシステム１０において、コントローラ４３は、核小体１１４が検出されない場合に、細胞１００の姿勢を変更させる。これによれば、効率よくかつ好適に細胞１００の核小体１１４を検出することができる。

本実施形態のマニピュレーションシステム１０において、コントローラ４３は、核小体１１４が検出されない場合に、第１ピペット２５による細胞１００の保持解除操作と、保持位置を変更させた再保持操作と、を実行させる。これによれば、効率よくかつ好適に細胞１００の核小体１１４を検出することができる。

本実施形態のマニピュレーションシステム１０において、第１ピペット２５による細胞１００の保持は、第１ピペット２５を陰圧にして細胞１００を第１ピペット２５に吸着させることによって行う。これによれば、効率よくかつ好適に細胞１００の核小体１１４を検出することができる。

本実施形態のマニピュレーションシステム１０の駆動方法は、細胞１００が載置される試料ステージ２２と、細胞１００を保持するための第１ピペット２５を備える第１マニピュレータ１４と、第１ピペット２５に保持された細胞１００を操作するための第２ピペット３５を備える第２マニピュレータ１６と、細胞１００を撮像する顕微鏡ユニット１２と、を備えるマニピュレーションシステム１０の駆動方法であって、第１ピペット２５に保持された細胞１００の核小体１１４を、顕微鏡ユニット１２の画像データに基づいて人工知能によって検出するステップＳＴ４０と、第２ピペット３５を核小体１１４に移動させて、細胞１００に対する操作を実行させるステップＳＴ５０と、を含む。

これによれば、蓄積された学習データに基づいて人工知能により核小体１１４の検出操作を行うため、操作者の熟練度によらず、核小体１１４の位置を検出することができる。また、撮像条件の変更によるコントラストの変化が大きい核小体１１４に対しても、撮像条件の変更時における検出パラメータの設定変更が不要である。人工知能を用いた画像認識は、検出パラメータの設定を変更する必要がないので、新たなプログラムを作成することなく、核小体１１４の位置検出ができる。したがって、効率よくかつ好適に細胞１００の核小体１１４を検出することができる。

本実施形態のマニピュレーションシステム１０及びマニピュレーションシステム１０の駆動方法は適宜変更してもよい。例えば、第１ピペット２５、第２ピペット３５等の形状等は、微小対象物の種類や、微小対象物に対する操作に応じて適宜変更することが好ましい。微小対象物の保持操作、所定の操作対象位置の検出操作、インジェクション操作、微小対象物の載置操作の各操作において、適宜手順の一部を省略してもよく、また、手順を置換して実行してもよい。

１０ マニピュレーションシステム
１１ 試料保持部材
１１Ａ 培地
１２ 顕微鏡ユニット（撮像部）
１４ 第１マニピュレータ
１６ 第２マニピュレータ
１８ カメラ
２０ 顕微鏡
２２ 試料ステージ
２４ 第１ピペット保持部材
２５ 第１ピペット
２６ Ｘ−Ｙ軸テーブル
２８ Ｚ軸テーブル
２９ 吸引ポンプ
３０、３２ 駆動装置
３４ 第２ピペット保持部材
３５ 第２ピペット
３６ Ｘ−Ｙ軸テーブル
３８ Ｚ軸テーブル
３９ 注入ポンプ
４０、４２ 駆動装置
４３ コントローラ（制御装置）
４３Ａ 画像入力部
４３Ｂ 画像処理部
４３Ｃ 画像出力部
４３Ｄ 位置検出部
４４、５４ 微動機構
４４ａ 圧電アクチュエータ
４５ 表示部
４６Ａ 制御部
４６Ｂ 記憶部
４７ ジョイスティック
４７Ａ ボタン
４９ 入力部
８０、８２ 転がり軸受
８０ａ、８２ａ 内輪
８０ｂ、８２ｂ 外輪
８０ｃ、８２ｃ ボール
８１ 焦点合わせ機構
８４ 中空部材
８４ａ フランジ部
８６ ロックナット
８７ ハウジング
８８ 蓋
９０ スペーサ
９２ 圧電素子
１００ 細胞
１００Ａ 未処理細胞
１００Ｂ 処理済細胞
１１０ 核
１１２ 核膜
１１４ 核小体
ＳＴ１０、ＳＴ１２、ＳＴ２０、ＳＴ２２、ＳＴ２４、ＳＴ２６、ＳＴ３０、ＳＴ４０、ＳＴ４２、ＳＴ４４、ＳＴ５０、ＳＴ５１、ＳＴ６０、ＳＴ７０、ＳＴ７２、ＳＴ８０ ステップ

Claims (6)

1. 微小対象物が載置される試料ステージと、
   前記微小対象物を保持するための第１ピペットを備える第１マニピュレータと、
   前記第１ピペットに保持された前記微小対象物を操作するための第２ピペットを備える第２マニピュレータと、
   前記微小対象物を撮像する撮像部と、
   前記試料ステージ、前記第１ピペット、前記第２ピペット及び前記撮像部を制御するコントローラと、を備え、
   前記コントローラは、前記撮像部の画像データに基づいて人工知能によって前記微小対象物の所定の操作対象位置を検出し、前記第２ピペットを前記所定の操作対象位置に移動させて、前記微小対象物に対する操作を第２ピペットに実行させるマニピュレーションシステム。
2. 前記コントローラは、前記微小対象物に対する操作が成功した場合に、前記画像データ及び前記画像データの撮像条件を前記人工知能の学習データに追加する請求項１に記載のマニピュレーションシステム。
3. 前記コントローラは、前記所定の操作対象位置が検出されない場合に、前記微小対象物の姿勢を変更させる請求項１又は２に記載のマニピュレーションシステム。
4. 前記コントローラは、前記所定の操作対象位置が検出されない場合に、前記第１ピペットによる前記微小対象物の保持解除操作と、保持位置を変更させた再保持操作と、を実行させる請求項１から３のいずれか一項に記載のマニピュレーションシステム。
5. 前記第１ピペットによる前記微小対象物の保持は、前記第１ピペットを陰圧にして前記微小対象物を前記第１ピペットに吸着させることによって行う請求項１から４のいずれか一項に記載のマニピュレーションシステム。
6. 微小対象物が載置される試料ステージと、
   前記微小対象物を保持するための第１ピペットを備える第１マニピュレータと、
   前記第１ピペットに保持された前記微小対象物を操作するための第２ピペットを備える第２マニピュレータと、
   前記微小対象物を撮像する撮像部と、を備えるマニピュレーションシステムの駆動方法であって、
   前記第１ピペットに保持された前記微小対象物の所定の操作対象位置を、前記撮像部の画像データに基づいて人工知能によって検出するステップと、
   前記第２ピペットを前記所定の操作対象位置に移動させて、前記微小対象物に対する操作を実行させるステップと、を含むマニピュレーションシステムの駆動方法。