JP7415575B2 - マニピュレーションシステム及びマニピュレーションシステムの駆動方法 - Google Patents

マニピュレーションシステム及びマニピュレーションシステムの駆動方法 Download PDF

Info

Publication number
JP7415575B2
JP7415575B2 JP2020003953A JP2020003953A JP7415575B2 JP 7415575 B2 JP7415575 B2 JP 7415575B2 JP 2020003953 A JP2020003953 A JP 2020003953A JP 2020003953 A JP2020003953 A JP 2020003953A JP 7415575 B2 JP7415575 B2 JP 7415575B2
Authority
JP
Japan
Prior art keywords
pipette
nucleolus
cells
sample stage
manipulator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020003953A
Other languages
English (en)
Other versions
JP2021109293A (ja
Inventor
裕基 植田
学 岸田
伸明 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NSK Ltd
Original Assignee
NSK Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NSK Ltd filed Critical NSK Ltd
Priority to JP2020003953A priority Critical patent/JP7415575B2/ja
Publication of JP2021109293A publication Critical patent/JP2021109293A/ja
Application granted granted Critical
Publication of JP7415575B2 publication Critical patent/JP7415575B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Manipulator (AREA)

Description

本発明は、マニピュレーションシステム及びマニピュレーションシステムの駆動方法に関する。
バイオテクノロジ分野において、顕微鏡観察下で細胞や卵にDNA溶液や細胞を注入する等のように、微小な対象物に微細な操作を行うマイクロマニピュレーションシステムが知られている。微小対象物を保持するための保持用ピペットで微小対象物の位置を固定しつつ、操作用ピペットを微小対象物に突き刺して、微小対象物内の操作対象にインジェクション操作が行われる。
特許文献1には、取得した撮像画像のデータから微小対象物及び操作対象の位置座標を検出し、検出結果に基づいて穿孔経路及び操作位置を決定する技術が開示されている。
特開2017-124452号公報
ところで、特許文献1のマニピュレーションシステムにおいて、微小対象物及び操作対象について取得される位置座標は、取得した撮像画像のX-Y座標、すなわち水平面上の座標のみであり、Z座標は含まれない。細胞の核等、目視であっても視認に熟練の技術を必要とされる操作対象を検出する場合では、操作対象に焦点が完全に一致している状態を認識することは困難であるため、操作対象のZ軸方向位置を正確に把握することが難しい。このため、操作用ピペットと操作対象のZ軸方向位置が一致せず、インジェクション操作時に操作対象に操作用ピペットの先端が刺さらない恐れがある。
本発明は、上記に鑑みてなされたものであって、操作者の熟練度及び技術によらず、操作対象に好適に穿孔操作することができるマニピュレーションシステム及びマニピュレーションシステムの駆動方法を提供することを目的とする。
本発明の一態様に係るマニピュレーションシステムは、細胞が載置される試料ステージと、前記細胞を保持するための第1ピペットを備える第1マニピュレータと、前記第1ピペットに保持された前記細胞を操作するための第2ピペットを備える第2マニピュレータと、前記細胞を撮像する撮像部と、前記試料ステージ、前記第1ピペット、前記第2ピペット及び前記撮像部を制御し、前記撮像部による撮像画像における前記細胞の核小体の輪郭の濃度値の微分値が所定の閾値より小さい場合、前記撮像部側又は前記試料ステージ側に、前記第1ピペットを移動させるコントローラと、を備える。
これによれば、操作者の目視による判断によらず、撮像画像から検出した核小体の輪郭の濃度値の微分値に基づいて、核小体の中心位置が焦点位置からずれているか否かを判断することができる。核小体の中心位置が焦点位置からずれている場合は、第1ピペットを撮像部側又は試料ステージ側に移動させて調節することによって、立体構造である核小体に対して好適な位置で操作することができる。また、これらの動作を自動で行うため、操作者の熟練度及び技術によらず、操作対象の細胞に好適に穿孔操作することができる。
本発明の一態様に係るマニピュレーションシステムにおいて、前記コントローラは、前記撮像画像における前記核小体の周辺の濃度値及び前記核小体の内部の濃度値との濃度差に基づいて、前記試料ステージの前記細胞を載置するX-Y平面に直交するZ軸方向における前記核小体の中心位置を決定し、決定した前記核小体の中心位置に基づいて、前記第1ピペットを前記撮像部側又は前記試料ステージ側に移動させる距離を決定する。これによれば、操作者の目視による判断によらず、撮像画像から検出した核小体の周辺の濃度値及び内部の濃度値との濃度差に基づいて、核小体の中心位置が焦点位置に対して、どの程度ずれているかを判断することができる。したがって、核小体の中心位置の調整のために移動させる第1ピペットの移動距離を決定できるので、1度で第1ピペットを好適な位置に移動させることができ、調整が容易である。
本発明の一態様に係るマニピュレーションシステムにおいて、前記コントローラは、前記撮像画像を取得した焦点位置と、決定した前記核小体の中心位置とのずれ量を、前記第1ピペットを前記撮像部側又は前記試料ステージ側に移動させる距離として決定する。これによれば、核小体の中心位置の調整のために移動させる第1ピペットの移動距離を容易に決定できる。
本発明の一態様に係るマニピュレーションシステムにおいて、前記コントローラは、前記撮像画像における前記核小体の輪郭の濃度値の微分値が所定の閾値より小さい場合、前記核小体の輪郭の濃度値の微分値が所定の閾値以上になるまで、前記撮像部側又は前記試料ステージ側に、前記第1ピペットを所定距離ずつ移動させる。これによれば、調整中の核小体の輪郭の濃度値の微分値を都度確認するので、より好適に核小体の中心位置が焦点位置に合わせることができる。
本発明の一態様に係るマニピュレーションシステムにおいて、前記コントローラは、前記撮像画像における前記核小体の周辺の濃度値と前記核小体の内部の濃度値との濃度差に基づいて、前記第1ピペットを移動させる方向を前記撮像部に近付く方向又は前記試料ステージに近付く方向に決定する。これによれば、操作者の目視による判断によらず、撮像画像から検出した核小体の周辺の濃度値及び内部の濃度値との濃度差に基づいて、核小体の中心位置が焦点位置に対して、試料ステージ側と撮像部側とのいずれかにずれているかを判断することができる。したがって、核小体の中心位置の調整のために移動させる第1ピペットの移動方向を決定できるので、調整が容易である。
本発明の一態様に係るマニピュレーションシステムにおいて、前記コントローラは、前記撮像画像における前記核小体の周辺の濃度値と前記核小体の内部の濃度値との濃度差が所定の閾値以上である場合、前記第1ピペットを移動させる方向を、前記試料ステージに近付く方向に決定する。これによれば、一定の判断基準をもって、核小体の中心位置が焦点位置に対して撮像部側にずれていると、操作者の熟練度及び技術によらず、判断することができる。
本発明の一態様に係るマニピュレーションシステムにおいて、前記コントローラは、前記撮像画像における前記核小体の周辺の濃度値と前記核小体の内部の濃度値との濃度差が所定の閾値以下である場合、前記第1ピペットを移動させる方向を、前記撮像部に近付く方向に決定する。これによれば、一定の判断基準をもって、核小体の中心位置が焦点位置に対して試料ステージ側にずれていると、操作者の熟練度及び技術によらず、判断することができる。
本発明の一態様に係るマニピュレーションシステムの駆動方法は、細胞が載置される試料ステージと、前記細胞を保持するための第1ピペットを備える第1マニピュレータと、前記第1ピペットに保持された前記細胞を操作するための第2ピペットを備える第2マニピュレータと、前記細胞を撮像する撮像部と、を備えるマニピュレーションシステムの駆動方法であって、前記撮像部に前記細胞を撮像させるステップと、撮像画像から前記細胞の核小体の輪郭を検出するステップと、前記核小体の輪郭の濃度値の微分値が所定の閾値より小さい場合、撮像部側又は前記試料ステージ側に、前記第1ピペットを移動させるステップと、を含む。
これによれば、操作者の目視による判断によらず、撮像画像から検出した核小体の輪郭の濃度値の微分値に基づいて、核小体の中心位置が焦点位置からずれているか否かを判断することができる。核小体の中心位置が焦点位置からずれている場合は、第1ピペットを撮像部側又は試料ステージ側に移動させて調節することによって、立体構造である核小体に対して好適な位置で操作することができる。また、これらの動作を自動で行うため、操作者の熟練度及び技術によらず、操作対象の細胞に好適に穿孔操作することができる。
本発明によれば、操作者の熟練度及び技術によらず、操作対象に好適に穿孔操作することができるマニピュレーションシステム及びマニピュレーションシステムの駆動方法を提供することができる。
図1は、実施形態に係るマニピュレーションシステムの構成を模式的に示す図である。 図2は、微動機構の一例を示す断面図である。 図3は、マニピュレーションシステムの制御ブロック図である。 図4は、平面視における操作対象の細胞の一例を示す模式図である。 図5は、側方視における操作対象の細胞の一例を示す模式図である。 図6は、図5に示す細胞の核小体の濃度分布を説明する説明図である。 図7は、側方視における操作対象の細胞の別の一例を示す模式図である。 図8は、図7に示す細胞の核小体の濃度分布を説明する説明図である。 図9は、側方視における操作対象の細胞のさらに別の一例を示す模式図である。 図10は、図9に示す細胞の核小体の濃度分布を説明する説明図である。 図11は、実施形態のマニピュレーションシステムの動作の第一例を示すフローチャート図である。 図12は、実施形態のマニピュレーションシステムの動作の第二例を示すフローチャート図である。
本発明を実施するための形態(実施形態)につき、図面を参照しつつ詳細に説明する。以下の実施形態に記載した内容により本発明が限定されるものではない。また、以下に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものが含まれる。さらに、以下に記載した構成要素は適宜組み合わせることが可能である。
[システムの構成]
まず、マニピュレーションシステム10の物理構成について、図1及び図2を参照して説明する。図1は、実施形態に係るマニピュレーションシステム10の構成を模式的に示す図である。図2は、微動機構44の一例を示す断面図である。マニピュレーションシステム10は、顕微鏡観察下で細胞等の微小対象物である試料を操作するためのシステムである。図1において、マニピュレーションシステム10は、顕微鏡ユニット12と、第1マニピュレータ14と、第2マニピュレータ16と、マニピュレーションシステム10を制御するコントローラ(制御装置)43とを備えている。顕微鏡ユニット12の両側に第1マニピュレータ14と第2マニピュレータ16とが分かれて配置されている。
撮像部としての顕微鏡ユニット12は、撮像素子を含むカメラ18と、顕微鏡20と、試料ステージ22とを備えている。細胞等の微小対象物である試料を載置する試料ステージ22の基準面は、X軸-Y軸平面に平行なX-Y平面である。試料ステージ22は、シャーレ等の試料保持部材11を支持可能であり、試料保持部材11の直上に顕微鏡20が配置される。顕微鏡ユニット12は、顕微鏡20とカメラ18とが一体構造となっており、試料保持部材11に向けて光を照射する光源(図示は省略している)を備えている。なお、カメラ18は、顕微鏡20と別体に設けてもよい。
試料保持部材11には、試料を含む溶液が収容される。溶液は、例えば、パラフィンオイル等である。試料保持部材11の試料に光が照射され、試料保持部材11の試料で反射した光が顕微鏡20に入射すると、試料に関する光学像は、顕微鏡20で拡大された後、カメラ18で撮像される。カメラ18で撮像された画像を基に試料の観察が可能となっている。
図1に示すように、第1マニピュレータ14は、第1ピペット保持部材24と、X-Y軸テーブル26と、Z軸テーブル28と、X-Y軸テーブル26を駆動する駆動装置30と、Z軸テーブル28を駆動する駆動装置32とを備える。第1マニピュレータ14は、X軸-Y軸-Z軸の3軸構成のマニピュレータである。なお、本実施形態において、水平面内の一方向をX軸方向、水平面内においてX軸方向と交差する方向をY軸方向、X軸方向及びY軸方向のそれぞれと交差する方向(すなわち鉛直方向)をZ軸方向とする。
X-Y軸テーブル26は、駆動装置30の駆動により、X軸方向又はY軸方向に移動可能となっている。Z軸テーブル28は、X-Y軸テーブル26上に上下移動可能に配置され、駆動装置32の駆動によりZ軸方向に移動可能になっている。駆動装置30、32は、コントローラ43に接続されている。
第1ピペット保持部材24は、Z軸テーブル28に連結され、先端に毛細管チップである第1ピペット25が取り付けられている。第1ピペット保持部材24は、X-Y軸テーブル26とZ軸テーブル28の移動に従って3次元空間を移動領域として移動し、試料保持部材11に収容された試料を、第1ピペット25を介して保持することができる。すなわち、第1マニピュレータ14は、微小対象物の保持に用いられる保持用マニピュレータであり、第1ピペット25は、微小対象物の保持手段として用いられるホールディングピペットである。微小対象物は、例えば、第1ピペット25と連通されているシリンジポンプ29(図3参照)によって、第1ピペット25の先端にて吸引保持される。第1ピペット25の内部圧力は、シリンジポンプ29から供給される圧力の制御値により制御される。
図1に示す第2マニピュレータ16は、第2ピペット保持部材34と、X-Y軸テーブル36と、Z軸テーブル38と、X-Y軸テーブル36を駆動する駆動装置40と、Z軸テーブル38を駆動する駆動装置42とを備える。第2マニピュレータ16は、X軸-Y軸-Z軸の3軸構成のマニピュレータである。
X-Y軸テーブル36は、駆動装置40の駆動により、X軸方向又はY軸方向に移動可能となっている。Z軸テーブル38は、X-Y軸テーブル36上に上下移動可能に配置され、駆動装置42の駆動によりZ軸方向に移動可能になっている。駆動装置40、42は、コントローラ43に接続されている。
第2ピペット保持部材34は、Z軸テーブル38に連結され、先端にガラス製の第2ピペット35が取り付けられている。第2ピペット保持部材34は、X-Y軸テーブル36とZ軸テーブル38の移動に従って3次元空間を移動領域として移動し、試料保持部材11に収容された試料を人工操作することが可能である。すなわち、第2マニピュレータ16は、微小対象物の操作(DNA溶液の注入操作や穿孔操作等)に用いられる操作用マニピュレータであり、第2ピペット35は、微小対象物のインジェクション操作手段として用いられるインジェクションピペットである。微小対象物は、例えば、第2ピペット35と連通されている注入ポンプ39(図3参照)によって、第2ピペット35の先端から溶液等が注入される。第2ピペット35の内部圧力は、注入ポンプ39から供給される圧力の制御値により制御される。
X-Y軸テーブル36とZ軸テーブル38は、第2ピペット保持部材34を、試料保持部材11に収容された試料等の操作位置まで粗動駆動する粗動機構(3次元移動テーブル)として構成されている。また、Z軸テーブル38と第2ピペット保持部材34との連結部には、ナノポジショナとして微動機構44が備えられている。微動機構44は、第2ピペット保持部材34をその長手方向(軸方向)に移動可能に支持するとともに、第2ピペット保持部材34をその長手方向(軸方向)に沿って微動駆動するように構成される。
図2に示すように微動機構44は、第2ピペット保持部材34を駆動対象とする圧電アクチュエータ44aを備える。圧電アクチュエータ44aは、筒状のハウジング87と、ハウジング87の内部に設けられた転がり軸受80、82と、圧電素子92とを含む。ハウジング87の軸方向に第2ピペット保持部材34が挿通される。転がり軸受80、82は、第2ピペット保持部材34を回転可能に支持する。圧電素子92は、印加される電圧に応じて第2ピペット保持部材34の長手方向に沿って伸縮する。第2ピペット保持部材34の先端側(図2左側)には第2ピペット35(図1参照)が取り付けられ固定される。
第2ピペット保持部材34は、転がり軸受80、82を介してハウジング87に支持される。転がり軸受80は、内輪80aと、外輪80bと、内輪80aと外輪80bとの間に設けられたボール80cとを備える。転がり軸受82は、内輪82aと、外輪82bと、内輪82aと外輪82bとの間に設けられたボール82cとを備える。各外輪80b、82bがハウジング87の内周面に固定され、各内輪80a、82aが中空部材84を介して第2ピペット保持部材34の外周面に固定される。このように、転がり軸受80、82は、第2ピペット保持部材34を回転自在に支持するようになっている。
中空部材84の軸方向の略中央部には、径方向外方に突出するフランジ部84aが設けられている。転がり軸受80は、フランジ部84aに対して第2ピペット保持部材34の軸方向の先端側に配置され、転がり軸受82はフランジ部84aに対して後端側に配置される。内輪間座としてのフランジ部84aを挟んで転がり軸受80の内輪80aと、転がり軸受82の内輪82aとが配置される。第2ピペット保持部材34の外周面にねじ加工が施されており、内輪80aの先端側及び内輪82aの後端側からロックナット86及びロックナット86が第2ピペット保持部材34に螺合されて、転がり軸受80、82の軸方向の位置が固定される。
円環状のスペーサ90は、転がり軸受80、82と同軸に外輪82bの軸方向後端側に配置される。スペーサ90の軸方向後端側には、円環状の圧電素子92がスペーサ90と略同軸に配置され、さらにその軸方向後端側にはハウジング87の蓋88が配置される。蓋88は、圧電素子92を軸方向に固定するためのもので、第2ピペット保持部材34が挿通する孔部を有する。蓋88は、例えば、ハウジング87の側面に不図示のボルトにより締結されていてもよい。なお、圧電素子92は、棒状又は角柱状としてスペーサ90の周方向に略等配となるように並べても良く、第2ピペット保持部材34を挿通する孔部を有した角筒としても良い。
圧電素子92はスペーサ90を介して転がり軸受82と接している。圧電素子92は、リード線(図示せず)を介して制御回路としてのコントローラ43に接続されている。圧電素子92は、コントローラ43からの印加電圧に応答して第2ピペット保持部材34の軸方向に沿って伸縮し、第2ピペット保持部材34をその軸方向に沿って微動させるようになっている。第2ピペット保持部材34が軸方向に沿って微動すると、この微動が第2ピペット35(図1参照)に伝達され、第2ピペット35の位置が微調整されることになる。また、圧電素子92により第2ピペット保持部材34が軸方向に振動すると、第2ピペット35も軸方向に振動する。このように微動機構44により、微小対象物への操作(DNA溶液や細胞の注入操作や穿孔操作等)の際には、より正確な操作が可能となり、圧電素子92による穿孔作用の向上を実現できる。
なお、上述の微動機構44は、微小対象物の操作用の第2マニピュレータ16に設けられるとしているが、図1に示すように微小対象物の固定用の第1マニピュレータ14に微動機構44と同様の微動機構54を設けてもよく、省略することも可能である。
[システムの制御構成]
次に、コントローラ43によるマニピュレーションシステム10の制御について図3を参照して説明する。図3は、マニピュレーションシステム10の制御ブロック図である。
コントローラ43は、CPU(Central Processing Unit)等のマイクロプロセッサを有する演算処理装置を含む演算部46A、ROM(Read Only Memory)又はRAM(Random Access Memory)等のメモリを有する記憶装置を含む記憶部46B、及び入出力インターフェース装置等のハードウェア資源を備える。コントローラ43の機能は、記憶部46Bに格納された所定のプログラムを演算部46Aが実行することで実現される。コントローラ43は、演算部46Aによる演算結果に従って、各構成要素に各種機能を実行させる制御信号を出力する。
コントローラ43は、顕微鏡ユニット12の焦点合わせ機構81、第1マニピュレータ14の駆動装置30、駆動装置32、シリンジポンプ29、第2マニピュレータ16の駆動装置40、駆動装置42、圧電素子92、注入ポンプ39を制御し必要に応じて設けられたドライバやアンプ等を介してそれぞれに制御信号を出力する。コントローラ43は、駆動装置30、32、40、42にそれぞれ駆動信号VXY、V(図1参照)を供給する。駆動装置30、32、40、42は、駆動信号VXY、Vに基づいてX-Y-Z軸方向に駆動する。コントローラ43は、微動機構44にナノポジショナ制御信号V(図1参照)を供給して、微動機構44の制御を行ってもよい。
コントローラ43は、情報入力手段としてジョイスティック47と、キーボード、マウス又はタッチパネル等の入力部49とが接続されている。ジョイスティック47は公知のものを用いることができる。ジョイスティック47は、基台と、基台から直立するハンドル部とを備えており、ハンドル部を傾斜させるように操作することで駆動装置30、40のX-Y駆動を行うことができ、ハンドル部をねじることで駆動装置32、42のZ駆動を行うことができる。ジョイスティック47は、シリンジポンプ29、圧電素子92、注入ポンプ39の各駆動を操作するためのボタン47Aを備えていてもよい。また、コントローラ43は、液晶パネル等の表示部45が接続される。表示部45にはカメラ18で取得した顕微鏡画像や各種制御用画面が表示されるようになっている。なお、入力部49としてタッチパネルが用いられる場合には、表示部45の表示画面にタッチパネルを重ねて用い、操作者が表示部45の表示画像を確認しつつ入力操作を行うようにしてもよい。
図3に示すように、コントローラ43は、さらに画像入力部43A、画像処理部43B、画像出力部43C及び位置検出部43Dを備えている。顕微鏡20を通してカメラ18で撮像した画像信号VPIX(図1参照)が画像入力部43Aに入力される。画像処理部43Bは、画像入力部43Aから画像信号を受け取って、画像処理を行う。画像処理部43Bは、画像入力部43Aから受け取った画像信号をグレースケール化して、グレースケール画像に基づいてエッジ抽出処理やパターンマッチングを行う。画像出力部43Cは、画像処理部43Bで画像処理された画像情報を表示部45へ出力する。
位置検出部43Dは、カメラ18で撮像された微小対象物である細胞100(図4等参照)等の位置や、第2ピペット35によるインジェクション操作を行う操作対象である細胞100の核小体114(図4等参照)等の位置を、画像処理後の画像情報に基づいて検出することができる。位置検出部43Dは、画像情報に基づいてカメラ18の撮像領域内における細胞100等の有無を検出することができる。また、位置検出部43Dは、第1ピペット25及び第2ピペット35の位置を検出してもよい。画像入力部43A、画像処理部43B、画像出力部43C及び位置検出部43Dは、演算部46Aにより制御される。
コントローラ43は、位置検出部43Dからの位置情報、及び細胞100等の有無の情報に基づいて、第1マニピュレータ14及び第2マニピュレータ16を制御する。本実施形態において、コントローラ43は、第1マニピュレータ14及び第2マニピュレータ16を所定のシーケンスで自動的に駆動する。かかるシーケンス駆動は、記憶部46Bにあらかじめ保存された所定のプログラムによる演算部46Aの演算結果に基づいて、コントローラ43が順次それぞれに駆動信号を出力することで行われる。
[操作対象の検出方法及び位置座標取得方法]
次に、図4から図10を参照して、微小対象物である試料の操作対象の検出方法と、操作対象の位置座標取得方法と、について説明する。図4は、平面視における操作対象の細胞100の一例を示す模式図である。本実施形態において、試料は細胞100である。また、細胞100は、前核期受精卵である。また、細胞100への操作は、DNA溶液のインジェクション操作である。また、本実施形態において、細胞100への第2ピペット35の挿入方向は、X軸方向に平行である。挿入方向に直交する交差方向は、Y軸方向に平行である。
細胞100は、試料保持部材11に収容される。細胞100は、細胞膜102と、核110と、を含む。細胞膜102は、流動性を有し、細胞100の内外を隔てる生体膜である。核110は、細胞膜102に覆われた細胞100の内部に存在する。核110は、核膜112と核小体114とを有する。核小体114は、核膜112に覆われた核110の内部に存在する。細胞100は、第1ピペット25に保持された状態で、第2ピペット35によってインジェクション操作される。
DNA溶液等のインジェクションにおいては、DNA溶液等を、核膜112の内部に注入する必要がある。核膜112は、低コントラストかつ形状が不定であるため、エッジ抽出処理等の一般的な画像処理手段による検出が困難である。そこで、核膜112より高コントラストの核小体114を検出し、取得した核小体114の位置座標に基づいて、穿孔操作及びインジェクション操作を実行する。
核小体114の検出には、例えば、幾何学マッチングを利用する。本実施形態における幾何学マッチングでは、顕微鏡ユニット12による撮像画像から、楕円形状の円弧パターンに合致する部分を核小体114として定義し、円弧の中心のXY座標を、核小体114の中心位置CのX座標Cx及びY座標Cyとして取得する。
核小体114は、立体構造であるため、撮像画像内に核小体114が検出されても、核小体114の中心位置CのZ座標Czが焦点位置Fz(図5、図7及び図9参照)とずれている状態で検出される場合がある。第2ピペット35による細胞100(図5参照)の穿孔操作及びインジェクション操作において、穿孔位置及びインジェクション位置のZ座標、すなわち第2ピペット35の先端のZ座標は、焦点位置Fzに一致させて行う。したがって、核小体114の中心位置CのZ座標Czと焦点位置Fzとのずれ量L(図7及び図9参照)に基づいて、細胞100を保持する第1ピペット25をZ軸方向に移動させ、核小体114の中心位置CのZ座標Czを焦点位置Fzに合わせる必要がある。
図5は、側方視における操作対象の細胞100の一例を示す模式図である。図6は、図5に示す細胞100の核小体114の濃度分布を説明する説明図である。図7は、側方視における操作対象の細胞100の別の一例を示す模式図である。図8は、図7に示す細胞100の核小体114の濃度分布を説明する説明図である。図9は、側方視における操作対象の細胞100のさらに別の一例を示す模式図である。図10は、図9に示す細胞100の核小体114の濃度分布を説明する説明図である。図5、図7及び図9は、細胞100を水平方向から視た図である。図6、図8及び図10では、撮像画像に表示される核110と、核小体114の中心位置Cを通る直線α上の濃度値Bの分布を示したグラフとを示す。
濃度値Bは、グレースケール化された撮像画像における階調値に対応する。撮像画像は、例えば、256階調の8bitである場合、濃度値Bは、白色から黒色まで256段階で示される。図5から図10に示すように、核小体114の中心位置CのZ座標Czと焦点位置Fzとのずれ量Lは、撮像画像における核110内の階調の濃淡分布と相関がある。
図5及び図6に示す一例において、核小体114の中心位置CのZ座標Czは、焦点位置Fzに一致する。この際、図6に示すように、核小体114の輪郭114eのエッジ強度Seは、後述の図7から図10に示す核小体114の中心位置CのZ座標Czが焦点位置Fzに一致しない細胞100に比べて大きい。エッジ強度Seとは、濃度値Bの変化の度合いであり、例えば、図6、図8及び図10に示すグラフの傾き、すなわち濃度値Bの微分値である。なお、図6に示す撮像画像内において、核小体114の内部114iの濃度値Biと、核小体114の周辺114oの濃度値Boとの濃度差は、核小体114の中心位置CのZ座標Czが焦点位置Fzに一致する場合の濃度差である。例えばインジェクションが成功した際の、核小体114の中心位置CのZ座標Czが焦点位置Fzに一致する場合の濃度差のデータ、基準の濃度差として、コントローラ43の記憶部46B(図3参照)に予め蓄積して記憶されている。
図7及び図8に示す別の一例において、核小体114の中心位置CのZ座標Czは、焦点位置Fzよりも上方にある。本実施形態では、顕微鏡ユニット12が試料ステージ22を下方視しているので、核小体114の中心位置Cは、焦点位置Fzよりも顕微鏡ユニット12側にある。この際、図8に示すように、核小体114の内部114iの濃度は周辺114oの濃度よりも濃く、暗く視える。すなわち、核小体114の内部114iの濃度値Biは、核小体114の周辺114oの濃度値Boより高い。また、核小体114の内部114iの濃度値Biは、焦点位置Fzに一致した場合(図6参照)の濃度値Biよりも高い。また、核小体114の輪郭114eのエッジ強度Seは、図5及び図6に示す細胞100に比べて小さい。
図9及び図10に示すさらに別の一例において、核小体114の中心位置CのZ座標Czは、焦点位置Fzよりも下方にある。本実施形態では、顕微鏡ユニット12が試料ステージ22を下方視しているので、核小体114の中心位置Cは、焦点位置Fzよりも試料ステージ22側にある。この際、図10に示すように、核小体114の内部114iの濃度は周辺114oの濃度よりも薄く、明るく視える。すなわち、核小体114の内部114iの濃度値Biは、核小体114の周辺114oの濃度値Boより低い。また、核小体114の内部114iの濃度値Biは、焦点位置Fzに一致した場合(図6参照)の濃度値Biよりも低い。また、核小体114の輪郭114eのエッジ強度Seは、図5及び図6に示す細胞100に比べて小さい。
このように、ずれ量Lが大きいほど核小体114の輪郭114eがぼやけてエッジ強度Seが小さくなり、ずれ量Lが小さいほど核小体114の輪郭114eがはっきりしてエッジ強度Seが大きくなる。また、ずれ方向が顕微鏡ユニット12側である場合(図7、及び図8参照)に核小体114の内部114iの濃度値Biが焦点位置Fzに一致している場合(図6参照)と比べて高くなり、ずれ方向が試料ステージ22側である場合に核小体114の内部114iの濃度値Biが焦点位置Fzに一致している場合と比べて低くなる。
マニピュレーションシステム10では、核小体114の輪郭114eのエッジ強度Seと、核小体114の内部114iの濃度値Biと、核小体114の周辺114oの濃度値Boとに基づいて、核小体114の中心位置CのZ座標Czを推定する。より詳しくは、演算部46A(図3参照)は、核小体114の輪郭114eのエッジ強度Seが所定の閾値以上か否かを判断する。所定の閾値は、核小体114の中心位置CのZ座標Czと焦点位置Fz(第2ピペット35の位置)とが一致する、例えばインジェクションが成功した際の、予め蓄積された濃度値Bの過去データに基づいて設定される。演算部46Aは、核小体114の輪郭114eのエッジ強度Seが所定の閾値以上であると判断した場合、核小体114の中心位置CのZ座標Czが焦点位置Fzに一致するものとして扱う。この場合の一致とは、インジェクション操作に支障がない範囲での微細なずれを許容するものである。
マニピュレーションシステム10は、一例として、濃度値Bo及び濃度値Biに基づいて推定したずれ量Lの分、細胞100を保持している第1ピペット25をZ軸方向に移動させることで、核小体114の中心位置Cを焦点位置Fzに一致させてもよい。また、ずれ量Lの分、第2ピペット35を移動させることで、核小体114の中心位置Cを焦点位置Fzに一致させてもよい。
より詳しくは、まず、演算部46A(図3参照)は、核小体114の中心位置Cを通る所定の直線α上において、核小体114の周辺114oの濃度値Bo及び核小体114の内部114iの濃度値Biを取得する。次に、演算部46Aは、核小体114の周辺114oの濃度値Boと核小体114の内部114iの濃度値Biとの濃度差を算出する。次に、演算部46Aは、算出した濃度差と、所定の参照データとに基づいて、ずれ量Lとずれ方向とを推定する。所定の参照データは、核小体114の中心位置CのZ座標Czと焦点位置Fzとが一致する、例えばインジェクションが成功した際の、予め蓄積された核小体114の内部114iの濃度値Biと核小体114の周辺114oの濃度値Boとの濃度差のデータを含む。演算部46Aは、推定したずれ量L及びずれ方向から、核小体114の中心位置CのZ座標Czを決定する。演算部46Aは、核小体114の中心位置CのZ座標Czと焦点位置Fzとに基づいて、第1ピペット25の移動距離及び移動方向を決定する。演算部46Aは、第1マニピュレータ14を駆動して、第1ピペット25を決定した移動方向に決定した移動距離を移動させる。
マニピュレーションシステム10は、別の一例として、濃度値Bo及び濃度値Biに基づいて推定したずれ方向に、第1ピペット25をZ軸方向に所定距離ずつ移動させることで、核小体114の中心位置Cを焦点位置Fzに一致させてもよい。
より詳しくは、まず、演算部46A(図3参照)は、核小体114の中心位置Cを通る所定の直線α上において、核小体114の周辺114oの濃度値Bo及び核小体114の内部114iの濃度値Biを取得する。次に、演算部46Aは、核小体114の周辺114oの濃度値Boと核小体114の内部114iの濃度値Biとの濃度差が所定の閾値以上か否かを判断する。所定の閾値は、核小体114の中心位置CのZ座標Czと焦点位置Fzとが一致しない、例えばインジェクションが失敗した際の予め蓄積された濃度値Bの過去データに基づいて設定される。演算部46Aは、濃度差が所定の閾値以上であると判断した場合、核小体114の中心位置CのZ座標Czが焦点位置Fzより上方にある(図7、及び図8参照)ものとして判断する。すなわち、演算部46Aは、第1ピペット25を移動させる方向を、下方向に決定する。演算部46Aは、濃度差が所定の閾値以下であると判断した場合、核小体114の中心位置CのZ座標Czが焦点位置Fzより下方にある(図9、及び図10参照)ものとして判断する。すなわち、演算部46Aは、第1ピペット25を移動させる方向を、上方向に決定する。
次に、演算部46A(図3参照)は、第1マニピュレータ14を駆動して、第1ピペット25を決定した方向に所定距離ずつ移動させる。第1ピペット25を1回で移動させる所定距離は、前述したインジェクション操作に支障がない範囲として核小体114の中心位置CのZ座標Czと焦点位置Fzとの微細なずれの許容値以下であることが好ましい。マニピュレーションシステム10は、演算部46Aが第1ピペット25を1回所定距離移動させるごとに、細胞100の画像データを取得し直し、核小体114の輪郭114eのエッジ強度Seを取得する。マニピュレーションシステム10は、核小体114の輪郭114eのエッジ強度Seが所定の閾値以上になるまで、第1ピペット25の移動と核小体114の輪郭114eのエッジ強度Seの取得とを繰り返す。
[システムの動作]
次にマニピュレーションシステム10の駆動方法について説明する。マニピュレーションシステム10の動作を開始する前に、操作者は、まず、図1に示すカメラ18の視野内に、第1ピペット25及び第2ピペット35を配置する。ここで、第1ピペット25の先端の高さは試料保持部材11の底面よりわずかに上の位置とする。操作者は、次に、顕微鏡20の焦点合わせ機構81を用いて、焦点を第1ピペット25に合わせる。操作者は、焦点を第1ピペット25に合わせた状態で、焦点が合うように第2ピペット35の高さを調整する。操作者は、次に、試料保持部材11内の細胞100の周辺を、カメラ18の視野と重なるように試料ステージ22を移動させる。操作者は、さらに、細胞100に第1ピペット25の先端を近付けても細胞100が動かないことを確認する。これは、図3に示すシリンジポンプ29が平衡状態であることを確認するためである。以上の準備により、細胞100は、第1ピペット25及び第2ピペット35の近傍に配置される。
図11は、実施形態のマニピュレーションシステム10の動作の第一例を示すフローチャート図である。マニピュレーションシステム10は、試料保持部材11に載置された複数の細胞100に対し、1つの細胞100ごとに操作を行い、複数の細胞100について操作を繰り返し実行する。コントローラ43は、複数の細胞100に対する操作を自動で実行する。マニピュレーションシステム10による自動操作は、例えば、PCソフト上の開始ボタンを押すことで開始され、コントローラ43が図11に示すステップST201の処理を開始する。
まず、ステップST201において、操作者は、マニピュレーションシステム10が複数回の操作を実行した後、操作を終了する回数である操作終了回数Neを、図3に示す入力部49を介してコントローラ43に設定する。1つの細胞100ごとに操作を行うので、操作終了回数Neは、操作を行う細胞100の個数である。コントローラ43に操作終了回数Neが入力されると、演算部46Aは、入力された操作終了回数Neをコントローラ43の記憶部46Bに記憶させる。ステップST202において、演算部46A(図3参照)は、実行した操作回数のカウンタ値である操作実行回数NをN=0として記憶部46B(図3参照)に記憶させる。
次に、ステップST203において、演算部46Aは、操作対象の細胞100を第1ピペット25で保持させる。具体的には、まず、コントローラ43の画像処理部43Bは、顕微鏡20を通してカメラ18が撮像した画像データの画像処理を行う。コントローラ43の位置検出部43Dは、画像処理によって、カメラ18の画面上における第1ピペット25の先端中央の位置座標及び第2ピペット35の先端中央の位置座標を検出する。次に、演算部46Aは、第1マニピュレータ14を駆動して、検出結果に基づいて、第1ピペット25を所定位置へ移動させる。所定位置は、第1ピペット25の先端中央が操作対象の細胞100に対向する位置である。さらに、演算部46Aは、第1マニピュレータ14のシリンジポンプ29を駆動させ、第1ピペット25の吸引を実行させる。シリンジポンプ29が駆動すると、第1ピペット25の内部は陰圧となり、第1ピペット25の開口に向かって試料保持部材11の溶液の流れが発生する。細胞100は、溶液とともに吸引されて、第1ピペット25の先端に吸着し、保持される。ここで、細胞100が保持されたかを確認するために、第1ピペット25の先端近傍に細胞100があるか、画像処理によって検出して判断するようにしてもよい。
次に、ステップST204において、画像処理部43Bは、細胞100の画像データを取得する。ステップST205において、演算部46Aは、画像を取得した焦点位置Fzを取得する。演算部46Aは、取得した焦点位置Fzを、記憶部46Bに記憶させる。ステップST206において、位置検出部43Dは、取得した画像データに基づいて、細胞100及び核小体114の位置及び形状を画像処理シーケンスにより検出する。ステップST207において、位置検出部43Dは、核小体114が検出されたか否かを判断する。ステップST207において、核小体114が検出されないと判断された場合(ステップST207;No)、ステップST206に戻り、画像処理部43Bは、再び細胞100及び核小体114の位置及び形状を画像シーケンスにより再度検出する。ステップST207において、核小体114が検出されないと判断した場合、ステップST204に戻って、画像処理部43Bが細胞100の画像データを再度取得してもよい。ステップST204において、画像データを再度取得する前に、演算部46Aは、第1ピペット25による細胞100の保持を一時解除して細胞100の姿勢を変更させるようにしてもよい。ステップST207において、核小体114が検出されたと判断された場合(ステップST207;Yes)、ステップST208に移行する。
核小体114が検出されたと判断された場合(ステップST207;Yes)、ステップST208において、演算部46Aは、核小体114の中心位置CのX座標Cx及びY座標Cyを取得する。演算部46Aは、取得した中心位置CのX座標Cx及びY座標Cyを、記憶部46Bに記憶させる。
ステップST209において、演算部46Aは、核小体114の輪郭114eのエッジ強度Seが所定の閾値以上か否かを判断する。所定の閾値は、記憶部46Bに予め記憶されているものとする。ステップST209において、核小体114の輪郭114eのエッジ強度Seが所定の閾値以上であると判断された場合(ステップST209;Yes)、ステップST210に移行する。ステップST209において、核小体114の輪郭114eのエッジ強度Seが所定の閾値より小さいと判断された場合(ステップST209;No)、ステップST211に移行する。
核小体114の輪郭114eのエッジ強度Seが所定の閾値以上である場合(ステップST209;Yes)、ステップST210において、演算部46Aは、ステップST205で取得した焦点位置Fzを、核小体114の中心位置CのZ座標Czとして決定する(Cz=Fz)。演算部46Aは、決定した中心位置CのZ座標Czを、記憶部46Bに記憶させる。
核小体114の輪郭114eのエッジ強度Seが所定の閾値より小さい場合(ステップST209;No)、ステップST211において、演算部46Aは、核小体114の中心位置Cを通る所定の直線α上において、核小体114の周辺114oの濃度値Bo及び核小体114の内部114iの濃度値Biを取得する。演算部46Aは、取得した濃度値Bo及び濃度値Biを、記憶部46Bに記憶させる。ステップST212において、演算部46Aは、濃度値Bo及び濃度値Biに基づいて、核小体114の中心位置CのZ座標Czを決定する。より詳しくは、演算部46Aは、核小体114の周辺114oの濃度値Boと核小体114の内部114iの濃度値Biとの濃度差を算出する。演算部46Aは、算出した濃度差と、所定の参照データとに基づいて、ずれ量Lとずれ方向とを推定する。演算部46Aは、推定したずれ量L及びずれ方向から、核小体114の中心位置CのZ座標Czを決定する。
ステップST210又はステップST212で核小体114の中心位置CのZ座標Czを決定した後、ステップST213において、核小体114の中心位置CのZ座標Czに基づいて、第1ピペット25をZ軸方向に移動させる。演算部46Aは、核小体114の中心位置CのZ座標Czと焦点位置Fzとに基づいて、第1ピペット25の移動距離及び移動方向を決定する。演算部46Aは、第1マニピュレータ14を駆動して、第1ピペット25を決定した移動方向に決定した移動距離を移動させる。
ステップST214において、演算部46Aは、第2ピペット35で細胞100へのインジェクション操作を実行させる。具体的には、まず、演算部46Aは、ステップST203で取得した第2ピペット35の先端の位置座標と、ステップST208で取得した核小体114の中心位置CのXY座標(Cx,Cy)と、焦点位置Fz(核小体114の中心位置CのZ座標Cz)とに基づいて、第2ピペット35の先端を所定の挿入開始位置に移動させる。次に、演算部46Aは、第2ピペット35をX軸方向に所定速度で移動させ、細胞膜102及び核膜112を穿孔させる。これにより、第2ピペット35の先端は、核膜112内に差し込まれる。さらに、演算部46Aは、第2マニピュレータ16の注入ポンプ39を駆動させ、細胞100に対するDNA溶液等のインジェクション操作を実行させる。演算部46Aは、例えば、予め設定された時間、注入ポンプ39を駆動させてインジェクション操作を実行させてもよい。画像処理部43Bは、インジェクション操作中に画像処理を実行し、核膜112の膨らみを検出して、DNA溶液等のインジェクションが完了したか判断してもよい。
インジェクション操作を実行した後、ステップST215において、演算部46Aは、第1マニピュレータ14を駆動して、第1ピペット25を所定の初期位置へ移動させる。演算部46Aは、第2マニピュレータ16を駆動して、第2ピペット35を所定の初期位置へ移動させる。
ステップST216において、演算部46Aは、操作実行回数Nのカウンタ値を1つ増やして、N=N+1として記憶部46Bに記憶させる。ステップST217において、演算部46Aは、操作実行回数Nが操作終了回数Neに達したか否かを判断する。ステップST217において、操作実行回数Nが操作終了回数Neよりも小さいと判断された場合(ステップST217;No)、ステップST203に戻って別の細胞100に対する保持操作、細胞100及び核小体114の検出操作、核膜112内へのインジェクション操作を繰り返し実行する。ステップST217において、操作実行回数Nが操作終了回数Ne以上と判断された場合(ステップST217;Yes)、予め設定された個数の細胞100に対する操作が終了し、図11に示すフローチャートの処理を終了する。
図12は、実施形態のマニピュレーションシステム10の動作の第二例を示すフローチャート図である。図12に示すステップST301~ステップST308の処理は、第一例のステップST201~ステップST208の処理と同様であるため、説明を省略する。第二例の処理において、コントローラ43は、ステップST308を終了すると、ステップST309の処理を開始する。
ステップST309において、演算部46Aは、核小体114の輪郭114eのエッジ強度Seが所定の閾値以上か否かを判断する。所定の閾値は、記憶部46Bに予め記憶されているものとする。ステップST309において、核小体114の輪郭114eのエッジ強度Seが所定の閾値より小さいと判断された場合(ステップST309;No)、ステップST310に移行する。ステップST309において、核小体114の輪郭114eのエッジ強度Seが所定の閾値以上であると判断された場合(ステップST309;Yes)、ステップST316に移行する。
核小体114の輪郭114eのエッジ強度Seが所定の閾値より小さい場合(ステップST309;No)、ステップST310において、演算部46Aは、核小体114の中心位置Cを通る所定の直線α上において、核小体114の周辺114oの濃度値Bo及び核小体114の内部114iの濃度値Biを取得する。演算部46Aは、取得した濃度値Bo及び濃度値Biを、記憶部46Bに記憶させる。
ステップST311において、演算部46Aは、濃度値Bo及び濃度値Biに基づいて、第1ピペット25のZ軸上の移動方向を決定する。より詳しくは、演算部46Aは、核小体114の周辺114oの濃度値Boと核小体114の内部114iの濃度値Biとの濃度差が所定の閾値以上か否かを判断する。所定の閾値は、記憶部46Bに予め記憶されているものとする。演算部46Aは、濃度差が所定の閾値以上であると判断した場合、核小体114の中心位置CのZ座標Czが焦点位置Fzより上方にあるものとして判断する。すなわち、演算部46Aは、第1ピペット25を移動させる方向を、下方向に決定する。演算部46Aは、濃度差が所定の閾値以下であると判断した場合、核小体114の中心位置CのZ座標Czが焦点位置Fzより下方にあるものとして判断する。すなわち、演算部46Aは、第1ピペット25を移動させる方向を、上方向に決定する。
次に、ステップST312において、演算部46Aは、第1マニピュレータ14を駆動して、第1ピペット25をステップST311で決定した方向のZ軸方向に所定距離移動させる。所定距離は、予め設定され、記憶部46Bに予め記憶されているものとする。演算部46Aは、移動後の中心位置CのZ座標Czを、記憶部46Bに記憶させる。ステップST313において、画像処理部43Bは、細胞100の画像データを取得する。ステップST314において、位置検出部43Dは、取得した画像データに基づいて、細胞100及び核小体114の位置及び形状を画像処理シーケンスにより検出する。
ステップST315において、演算部46Aは、核小体114の輪郭114eのエッジ強度Seが所定の閾値以上か否かを判断する。ステップST315において、核小体114の輪郭114eのエッジ強度Seが所定の閾値より小さいと判断された場合(ステップST315;No)、ステップST312に戻り、ステップST315でYesと判断されるまでステップST312からステップST315を繰り返し実行する。ステップST315において、核小体114の輪郭114eのエッジ強度Seが所定の閾値以上であると判断された場合(ステップST315;Yes)、ステップST316に移行する。
核小体114の輪郭114eのエッジ強度Seが所定の閾値以上である場合(ステップST309;Yes、又はステップST315;Yes)、ステップST316において、演算部46Aは、ステップST305で取得した焦点位置Fzを、核小体114の中心位置CのZ座標Czとして決定する(Cz=Fz)。すなわち、演算部46Aは、現在の核小体114の中心位置CのZ座標Czが、焦点位置Fzに一致しているものとして判断する。
ステップST317において、演算部46Aは、第2ピペット35で細胞100へのインジェクション操作を実行させる。具体的には、まず、演算部46Aは、ステップST303で取得した第2ピペット35の先端の位置座標と、ステップST308で取得した核小体114の中心位置CのXY座標(Cx,Cy)と、焦点位置Fz(核小体114の中心位置CのZ座標Cz)とに基づいて、第2ピペット35の先端を所定の挿入開始位置に移動させる。次に、演算部46Aは、第2ピペット35をX軸方向に所定速度で移動させ、細胞膜102及び核膜112を穿孔させる。これにより、第2ピペット35の先端は、核膜112内に差し込まれる。さらに、演算部46Aは、第2マニピュレータ16の注入ポンプ39を駆動させ、細胞100に対するDNA溶液等のインジェクション操作を実行させる。演算部46Aは、例えば、予め設定された時間、注入ポンプ39を駆動させてインジェクション操作を実行させてもよい。画像処理部43Bは、インジェクション操作中に画像処理を実行し、核膜112の膨らみを検出して、DNA溶液等のインジェクションが完了したか判断してもよい。
インジェクション操作を実行した後、ステップST318において、演算部46Aは、第1マニピュレータ14を駆動して、第1ピペット25を所定の初期位置へ移動させる。演算部46Aは、第2マニピュレータ16を駆動して、第2ピペット35を所定の初期位置へ移動させる。
ステップST319において、演算部46Aは、操作実行回数Nのカウンタ値を1つ増やして、N=N+1として記憶部46Bに記憶させる。ステップST320において、演算部46Aは、操作実行回数Nが操作終了回数Neに達したか否かを判断する。ステップST320において、操作実行回数Nが操作終了回数Neよりも小さいと判断された場合(ステップST320;No)、ステップST303に戻って別の細胞100に対する保持操作、細胞100及び核小体114の検出操作、核膜112内へのインジェクション操作を繰り返し実行する。ステップST320において、操作実行回数Nが操作終了回数Ne以上と判断された場合(ステップST320;Yes)、予め設定された個数の細胞100に対する操作が終了し、図12に示すフローチャートの処理を終了する。
以上説明したように、本実施形態のマニピュレーションシステム10は、試料ステージ22と、第1マニピュレータ14と、第2マニピュレータ16と、顕微鏡ユニット12と、コントローラ43と、を備える。試料ステージ22には、細胞100が載置される。第1マニピュレータ14は、細胞100を保持するための第1ピペット25を備える。第2マニピュレータ16は、第1ピペット25に保持された細胞100を操作するための第2ピペット35を備える。顕微鏡ユニット12は、細胞100を撮像する。コントローラ43は、試料ステージ22、第1ピペット25、第2ピペット35及び顕微鏡ユニット12を制御する。コントローラ43は、顕微鏡ユニット12による撮像画像における細胞100の核小体114の輪郭114eのエッジ強度Se(濃度値Bの微分値)が所定の閾値より小さい場合、顕微鏡ユニット12側又は試料ステージ22側に、第1ピペット25を移動させる。
これにより、操作者の目視による判断によらず、撮像画像から検出した核小体114の輪郭114eのエッジ強度Se(濃度値Bの微分値)に基づいて、核小体114の中心位置CがZ軸方向に焦点位置Fzからずれているか否かを判断することができる。核小体114の中心位置Cが焦点位置Fzからずれている場合は、第1ピペット25を顕微鏡ユニット12側又は試料ステージ22側に移動させて調節することによって、立体構造である核小体114に対して好適な位置で操作することができる。また、これらの動作を自動で行うため、操作者の熟練度及び技術によらず、操作対象の細胞100に好適に穿孔操作することができる。
また、本実施形態のコントローラ43は、撮像画像における核小体114の周辺114oの濃度値Bo及び核小体114の内部114iの濃度値Biとの濃度差に基づいて、Z軸方向における核小体114の中心位置C(Z座標Cz)を決定し、決定した核小体114の中心位置Cに基づいて、第1ピペット25を顕微鏡ユニット12側又は試料ステージ22側に移動させる距離を決定する。これにより、操作者の目視による判断によらず、撮像画像から検出した核小体114の周辺114oの濃度値Bo及び内部114iの濃度値Biとの濃度差に基づいて、核小体114の中心位置Cが焦点位置Fzに対して、どの程度ずれているかを判断することができる。したがって、核小体114の中心位置Cの調整のために移動させる第1ピペット25の移動距離を決定できるので、1度で第1ピペット25を好適な位置に移動させることができ、調整が容易である。
さらに、本実施形態のコントローラ43は、撮像画像を取得した焦点位置Fzと、決定した核小体114の中心位置C(Z座標Cz)とのZ軸方向のずれ量Lを、第1ピペット25を顕微鏡ユニット12側又は試料ステージ22側に移動させる距離として決定する。これにより、核小体114の中心位置Cの調整のために移動させる第1ピペット25の移動距離を容易に決定できる。
また、本実施形態のコントローラ43は、撮像画像における核小体114の輪郭114eのエッジ強度Se(濃度値Bの微分値)が所定の閾値より小さい場合、核小体114の輪郭114eのエッジ強度Seが所定の閾値以上になるまで、顕微鏡ユニット12側又は試料ステージ22側(Z軸方向)に、第1ピペット25を所定距離ずつ移動させる。これによれば、調整中の核小体114の輪郭114eのエッジ強度Seを都度確認するので、より好適に核小体114の中心位置C(Z座標Cz)が焦点位置Fzに合わせることができる。
また、本実施形態のコントローラ43は、撮像画像における核小体114の周辺114oの濃度値Boと核小体114の内部114iの濃度値Biとの濃度差に基づいて、Z軸方向において第1ピペット25を移動させる方向を顕微鏡ユニット12に近付く方向又は試料ステージ22に近付く方向に決定する。これにより、操作者の目視による判断によらず、撮像画像から検出した核小体114の周辺114oの濃度値Bo及び内部114iの濃度値Biとの濃度差に基づいて、核小体114の中心位置C(Z座標Cz)が焦点位置Fzに対して、試料ステージ22側(下方)と顕微鏡ユニット12側(上方)とのいずれかにずれているかを判断することができる。したがって、核小体114の中心位置Cの調整のために移動させる第1ピペット25の移動方向を決定できるので、調整が容易である。
また、本実施形態のコントローラ43は、撮像画像における核小体114の周辺114oの濃度値Boと核小体114の内部114iの濃度値Biとの濃度差が所定の閾値以上である場合、Z軸方向において第1ピペット25を移動させる方向を、試料ステージ22に近付く方向(下方向)に決定する。これによれば、一定の判断基準をもって、核小体114の中心位置C(Z座標Cz)が焦点位置Fzに対して顕微鏡ユニット12側(上方)にずれていると、操作者の熟練度及び技術によらず、判断することができる。
また、本実施形態のコントローラ43は、撮像画像における核小体114の周辺114oの濃度値Boと核小体114の内部114iの濃度値Biとの濃度差が所定の閾値以下である場合、Z軸方向において第1ピペット25を移動させる方向を、顕微鏡ユニット12に近付く方向(上方向)に決定する。これによれば、一定の判断基準をもって、核小体114の中心位置C(Z座標Cz)が焦点位置Fzに対して試料ステージ22側(下方)にずれていると、操作者の熟練度及び技術によらず、判断することができる。
10 マニピュレーションシステム
11 試料保持部材
12 顕微鏡ユニット(撮像部)
14 第1マニピュレータ
16 第2マニピュレータ
18 カメラ
20 顕微鏡
22 試料ステージ
24 第1ピペット保持部材
25 第1ピペット
26 X-Y軸テーブル
28 Z軸テーブル
29 シリンジポンプ
30、32 駆動装置
34 第2ピペット保持部材
35 第2ピペット
36 X-Y軸テーブル
38 Z軸テーブル
39 注入ポンプ
40、42 駆動装置
43 コントローラ(制御装置)
43A 画像入力部
43B 画像処理部
43C 画像出力部
43D 位置検出部
44、54 微動機構
44a 圧電アクチュエータ
45 表示部
46A 演算部
46B 記憶部
47 ジョイスティック
47A ボタン
49 入力部
80、82 転がり軸受
80a、82a 内輪
80b、82b 外輪
80c、82c ボール
81 焦点合わせ機構
84 中空部材
84a フランジ部
86 ロックナット
87 ハウジング
88 蓋
90 スペーサ
92 圧電素子
100 細胞
102 細胞膜
110 核
112 核膜
114 核小体
114o 周辺
114i 内部
114e 輪郭
C 中心位置
Cx X座標
Cy Y座標
Cz Z座標
Fz 焦点位置
L ずれ量
α 直線
B、Bo、Bi 濃度値
Se エッジ強度
XY、V 駆動信号
ナノポジショナ制御信号
PIX 画像信号
N 操作実行回数
Ne 操作終了回数

Claims (7)

  1. 細胞が載置される試料ステージと、
    前記細胞を保持するための第1ピペットを備える第1マニピュレータと、
    前記第1ピペットに保持された前記細胞を操作するための第2ピペットを備える第2マニピュレータと、
    前記細胞を撮像する撮像部と、
    前記試料ステージ、前記第1ピペット、前記第2ピペット及び前記撮像部を制御するコントローラと
    を備え、
    前記コントローラは、
    前記撮像部による撮像画像における前記細胞の核小体の周辺の濃度値及び前記核小体の内部の濃度値との濃度差に基づいて、前記試料ステージの前記細胞を載置するX-Y平面に直交するZ軸方向における前記核小体の中心位置を決定し、決定した前記核小体の中心位置に基づいて、前記第1ピペットを前記撮像部側又は前記試料ステージ側に移動させる距離を決定し、
    前記撮像画像における前記核小体の輪郭の濃度値の微分値が所定の閾値より小さい場合、前記撮像部側又は前記試料ステージ側に、前記第1ピペットを移動させる
    マニピュレーションシステム。
  2. 前記コントローラは、前記撮像画像を取得した焦点位置と、決定した前記核小体の中心位置とのずれ量を、前記第1ピペットを前記撮像部側又は前記試料ステージ側に移動させる距離として決定する、
    請求項に記載のマニピュレーションシステム。
  3. 細胞が載置される試料ステージと、
    前記細胞を保持するための第1ピペットを備える第1マニピュレータと、
    前記第1ピペットに保持された前記細胞を操作するための第2ピペットを備える第2マニピュレータと、
    前記細胞を撮像する撮像部と、
    前記試料ステージ、前記第1ピペット、前記第2ピペット及び前記撮像部を制御するコントローラと
    を備え、
    前記コントローラは、
    前記撮像部による撮像画像における前記細胞の核小体の輪郭の濃度値の微分値が所定の閾値より小さい場合、前記撮像画像における前記核小体の周辺の濃度値と前記核小体の内部の濃度値との濃度差に基づいて、前記第1ピペットを移動させる方向を前記撮像部に近付く方向又は前記試料ステージに近付く方向に決定し、決定した方向に、前記第1ピペットを移動させる
    マニピュレーションシステム。
  4. 細胞が載置される試料ステージと、
    前記細胞を保持するための第1ピペットを備える第1マニピュレータと、
    前記第1ピペットに保持された前記細胞を操作するための第2ピペットを備える第2マニピュレータと、
    前記細胞を撮像する撮像部と、
    前記試料ステージ、前記第1ピペット、前記第2ピペット及び前記撮像部を制御するコントローラと
    を備え、
    前記コントローラは、
    前記撮像部による撮像画像における前記細胞の核小体の周辺の濃度値と前記核小体の内部の濃度値との濃度差が所定の閾値以上である場合、前記第1ピペットを移動させる方向を、前記試料ステージに近付く方向に決定し、
    前記撮像画像における前記核小体の輪郭の濃度値の微分値が所定の閾値より小さい場合、前記試料ステージに近付く方向に、前記第1ピペットを移動させる
    マニピュレーションシステム。
  5. 細胞が載置される試料ステージと、
    前記細胞を保持するための第1ピペットを備える第1マニピュレータと、
    前記第1ピペットに保持された前記細胞を操作するための第2ピペットを備える第2マニピュレータと、
    前記細胞を撮像する撮像部と、
    前記試料ステージ、前記第1ピペット、前記第2ピペット及び前記撮像部を制御するコントローラと
    を備え、
    前記コントローラは、
    前記撮像部による撮像画像における前記細胞の核小体の周辺の濃度値と前記核小体の内部の濃度値との濃度差が所定の閾値以下である場合、前記第1ピペットを移動させる方向を、前記撮像部に近付く方向に決定し、
    前記撮像画像における前記核小体の輪郭の濃度値の微分値が所定の閾値より小さい場合、前記撮像部に近付く方向に、前記第1ピペットを移動させる
    マニピュレーションシステム。
  6. 前記コントローラは、前記撮像画像における前記核小体の輪郭の濃度値の微分値が所定の閾値より小さい場合、前記核小体の輪郭の濃度値の微分値が所定の閾値以上になるまで、前記撮像部側又は前記試料ステージ側に、前記第1ピペットを所定距離ずつ移動させる、
    請求項3から5のいずれか1項に記載のマニピュレーションシステム。
  7. 細胞が載置される試料ステージと、
    前記細胞を保持するための第1ピペットを備える第1マニピュレータと、
    前記第1ピペットに保持された前記細胞を操作するための第2ピペットを備える第2マニピュレータと、
    前記細胞を撮像する撮像部と、
    を備えるマニピュレーションシステムの駆動方法であって、
    前記撮像部に前記細胞を撮像させるステップと、
    撮像画像から前記細胞の核小体の輪郭を検出するステップと、
    前記核小体の輪郭の濃度値の微分値が所定の閾値より小さい場合、前記撮像画像における前記核小体の周辺の濃度値と前記核小体の内部の濃度値との濃度差に基づいて、前記第1ピペットを移動させる方向を前記撮像部に近付く方向又は前記試料ステージに近付く方向に決定するステップと、
    決定した方向に、前記第1ピペットを移動させるステップと、
    を含むマニピュレーションシステムの駆動方法。
JP2020003953A 2020-01-14 2020-01-14 マニピュレーションシステム及びマニピュレーションシステムの駆動方法 Active JP7415575B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020003953A JP7415575B2 (ja) 2020-01-14 2020-01-14 マニピュレーションシステム及びマニピュレーションシステムの駆動方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020003953A JP7415575B2 (ja) 2020-01-14 2020-01-14 マニピュレーションシステム及びマニピュレーションシステムの駆動方法

Publications (2)

Publication Number Publication Date
JP2021109293A JP2021109293A (ja) 2021-08-02
JP7415575B2 true JP7415575B2 (ja) 2024-01-17

Family

ID=77058840

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020003953A Active JP7415575B2 (ja) 2020-01-14 2020-01-14 マニピュレーションシステム及びマニピュレーションシステムの駆動方法

Country Status (1)

Country Link
JP (1) JP7415575B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005258413A (ja) 2004-02-10 2005-09-22 Olympus Corp マイクロマニピュレーションシステム
JP2011107682A (ja) 2009-07-17 2011-06-02 Nikon Corp 焦点調節装置、およびカメラ
JP2017124452A (ja) 2016-01-12 2017-07-20 日本精工株式会社 マニピュレーションシステム及びマニピュレーションシステムの駆動方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62257115A (ja) * 1986-04-30 1987-11-09 Umetani Yoji マイクロマニピユレ−タのオ−トフオ−カス装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005258413A (ja) 2004-02-10 2005-09-22 Olympus Corp マイクロマニピュレーションシステム
JP2011107682A (ja) 2009-07-17 2011-06-02 Nikon Corp 焦点調節装置、およびカメラ
JP2017124452A (ja) 2016-01-12 2017-07-20 日本精工株式会社 マニピュレーションシステム及びマニピュレーションシステムの駆動方法

Also Published As

Publication number Publication date
JP2021109293A (ja) 2021-08-02

Similar Documents

Publication Publication Date Title
JP2553150B2 (ja) 細胞中へ微量注射、ないしは個々の細胞から吸引または細胞培養から全細胞を吸引する方法および作業ステーション
JP6690245B2 (ja) マニピュレーションシステム及びマニピュレーションシステムの駆動方法
JP4831972B2 (ja) マイクロマニピュレーションシステム
JP4978093B2 (ja) マイクロインジェクション装置及びマイクロインジェクション方法
JP7415575B2 (ja) マニピュレーションシステム及びマニピュレーションシステムの駆動方法
JP6989007B2 (ja) マニピュレーションシステム及びマニピュレーションシステムの駆動方法
JP6528911B2 (ja) マニピュレーションシステム
JP6859861B2 (ja) マニピュレーションシステム及びマニピュレーションシステムの駆動方法
JP7322531B2 (ja) マニピュレーションシステム及びマニピュレーションシステムの駆動方法
JP2001211875A (ja) 微細物体の採取装置および採取方法
JP4331748B2 (ja) マニピュレータ装置、およびマニピュレータ装置を用いた処置具操作方法
US11858142B2 (en) Manipulation system and driving method of manipulation system
JP2022018785A (ja) マニピュレーションシステム及びマニピュレーションシステムの駆動方法
JP7035487B2 (ja) マニピュレーションシステム
WO2020044683A1 (ja) マニピュレーションシステム及びマニピュレーションシステムの駆動方法
JPH06109979A (ja) マイクロマニピュレータシステム
JP2017205089A (ja) 圧力制御装置、マニピュレーションシステム及び圧力制御方法
KR100526714B1 (ko) 세포조작 시스템 및 방법
EP4177330A1 (en) Cell recovery device
JP7222331B2 (ja) マニピュレーションシステム及びマニピュレーションシステムの駆動方法
JP7238434B2 (ja) マニピュレーションシステム及びマニピュレーションシステムの駆動方法
JP2007319038A (ja) 細胞操作装置
CN116648333A (zh) 细胞移动装置
JP2007319037A (ja) 細胞操作装置および細胞操作方法
JPH05185384A (ja) マイクロマニピュレータ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221101

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230914

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231218

R150 Certificate of patent or registration of utility model

Ref document number: 7415575

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150