JP4800641B2 - マイクロマニピュレータシステム、プログラム、及び標本操作方法 - Google Patents

Description

本発明は、顕微鏡の視野下で標本に対してマイクロマニピュレータにより操作針を用いた操作を行うマイクロマニピュレータシステムに関する。

例えば細胞や卵といった微少な標本（試料）にＤＮＡ溶液などの注入処理を施す場合、一方に微少な操作針を配置したマイクロマニピュレータと、その注入処理の操作内容を確認するための顕微鏡と、を備えたマイクロマニピュレータシステム（以下「マニピュレータシステム」と略記）が用いられる。一般的なマイクロマニピュレータシステムでは、顕微鏡視野内の映像をＣＲＴディスプレイ等の表示装置に表示させる。それにより、その表示内容を観察しながら、操作針を操作して、シャーレ等の容器内に入れられた細胞や卵等の標本に操作針を刺し込み、所定の処理を施すようになっている。

そのような処理では、標本毎に針との相対的な位置を合わせた後、操作針を標本に刺し込むといった精密な作業を行わなくてはならない。これまで、そのような処理は手作業によって行われていたが、手作業では、精密な作業を行う作業者の負担は大きい。対象となる標本の数が多くなる場合も少なくなく、その場合には、作業者の負担は著しく大きなものとなる。

このようなことから、従来のマニピュレータシステムには、作業者の負担を軽減させるために、操作針や標本の位置調節を自動的に行う制御装置を備えたものがある。そのような制御装置を備えた従来のシステムとしては、特許文献１、２にそれぞれ記載されているようなものが挙げられる。

特許文献１に記載された従来のマニピュレータシステムでは、モニタ上で標本像の位置を作業者が指示すると、制御装置は、標本の存在するステージ座標を算出し、標本との位置調節、及び針の刺し込みを自動的に行うようになっている。特許文献２に記載された従来のマニピュレータシステムでは、制御装置は、顕微鏡画像から標本の位置と形を認識して、標本との位置調節、及び操作針の刺し込みを自動的に行うようになっている。それにより、特許文献２に記載された従来のマニピュレータシステムでは、特許文献１に記載された従来のマニピュレータシステムとは異なり、標本像を指示する必要がないことから、作業者の負担はより軽減させることができる。
特開昭６４−３５６０号公報 特開平０９−２１１３３８号公報 特開２０００−２９５４６２号公報

上記特許文献２に記載された従来のマニピュレータシステム（制御装置）では、顕微鏡画像から標本の位置と形を認識してその中心座標位置を求め、求めた中心座標位置に操作針を移動させることで操作針を標本に刺し込むようになっていた。このため、操作針を標本に刺して挿入する挿入位置は、操作針と標本の間の位置関係によって変化することになっていた。

標本によっては操作針の挿入位置が決まっているものがある。上述したように、特許文献２に記載された従来のマニピュレータシステムでは、挿入位置が操作針と標本の間の位置関係によって変化するために、そのような標本では自動的な操作を行わせることはできない。このようなことから、標本に対して操作針による操作を自動的に行わせるうえで、標本の刺すべき挿入位置に操作針を刺すことも重要であると考えられる。

ところで、操作針を刺して操作を行うために用意した標本の全てが適切なものであるとは限らない。その操作を行わなくとも良い、或いは操作を行う必要がない、といった操作対象外の標本が存在している可能性がある。作業効率をより向上するうえで、そのような操作対象外の標本に対する操作は自動的に回避して、操作すべき標本にのみ操作を行うようにすることが重要であると考えられる。操作針を刺すべき挿入位置が決まっている標本では、その挿入位置を特定できなかった標本を操作対象外の標本として扱うことが考えられる。

本発明は、標本の適切な位置に操作針を刺しての操作を自動的に行うことができるマイクロマニピュレータシステムを提供することを目的とする。

本発明の第１、第２の態様のマイクロマニピュレータシステムは共に、顕微鏡の視野下で標本に対してマイクロマニピュレータにより操作針を用いた操作を行うためのものであることを前提とし、それぞれ以下の手段を具備する。

第１の態様のマイクロマニピュレータシステムは、顕微鏡が形成する画像を取得する画像取得手段と、画像取得手段が取得した画像中に存在する標本の画像である標本像を認識する標本像認識手段と、標本像認識手段が認識する標本像に、該標本像上で着目する着目点を２つ以上、抽出し、該抽出した２つ以上の着目点を基に、操作針を標本に刺して挿入すべき挿入方向を設定する挿入位置設定手段と、挿入位置設定手段が設定する挿入方向に従って、マイクロマニピュレータにより操作針を用いた操作を標本に対して自動的に行わせる自動制御手段と、を具備する。

第２の態様のマイクロマニピュレータシステムは、顕微鏡が形成する画像を取得する画像取得手段と、画像取得手段が取得した画像中に存在する標本の画像である標本像を認識する標本像認識手段と、標本像認識手段が認識する標本像に、該標本像上で着目する着目点として少なくとも標本像の重心位置と該標本像の輪郭線上の該重心位置から最も遠い点を抽出して、輪郭線上の該重心位置から最も遠い点から重心位置に向かう方向を操作針の挿入方向として設定し、標本像の輝度が最も高い部位、若しくは最も低い部位が輝度値として、あるいは特定の色成分が明確になっている部位がカラー値として設定されている場合に、該設定された輝度値、或いはカラー値から、操作針を標本に刺して挿入すべき挿入位置を設定する挿入位置設定手段と、挿入位置設定手段が設定する挿入位置に従って、マイクロマニピュレータにより操作針を用いた操作を標本に対して自動的に行わせる自動制御手段と、を具備する。

なお、上記標本像認識手段は、標本像の輪郭線を抽出し、該標本像か否かにより２値化画像を生成して、画像を構成する各画素に番号付けを行って、各画素を分類し、該標本像の認識を行うことが望ましい。また、上記挿入位置設定手段は、標本像認識手段が認識する標本像毎に、操作針の挿入方向と挿入位置を設定することが望ましい。

本発明のプログラムは、顕微鏡の視野下で標本に対してマイクロマニピュレータにより操作針を用いた操作を行うためのマイクロマニピュレータシステムの構築に用いられる制御装置に実行させることを前提とし、顕微鏡が形成する画像を取得する機能と、取得する機能により取得した画像中に存在する標本の画像である標本像を認識する機能と、認識する機能により認識する標本像に、該標本像上で着目する着目点として少なくとも該標本像の重心位置と該標本像の輪郭線上の該重心位置から最も遠い点を抽出して、輪郭線上の該重心位置から最も遠い点から重心位置に向かう方向を操作針の挿入方向として設定し、標本像の輝度が最も高い部位、若しくは最も低い部位が輝度値として、あるいは特定の色成分が明確になっている部位がカラー値として設定されている場合に、該設定された輝度値、或いはカラー値から、操作針を標本に刺して挿入すべき挿入位置を設定する機能と、設定する機能により設定する挿入位置に従って、マイクロマニピュレータにより操作針を用いた操作を標本に対して自動的に行わせる機能と、を実現させる。

本発明の標本操作方法は、顕微鏡の視野下で標本に対してマイクロマニピュレータにより操作針を用いた操作を行うためのマイクロマニピュレータシステムに該操作を行わせるためのものであり、顕微鏡が形成する画像を取得させ、該取得させた画像中に存在する標本の画像である標本像を認識させ、該認識された標本像に、該標本像上で着目する着目点として少なくとも該標本像の重心位置と該標本像の輪郭線上の該重心位置から最も遠い点を抽出させて、輪郭線上の該重心位置から最も遠い点から重心位置に向かう方向を操作針の挿入方向として設定させ、標本像の輝度が最も高い部位、若しくは最も低い部位が輝度値として、あるいは特定の色成分が明確になっている部位がカラー値として設定されている場合に、該設定された輝度値、或いはカラー値から、操作針を標本に刺して挿入すべき挿入位置を設定させ、該設定した挿入位置に従って、マイクロマニピュレータにより操作針を用いた操作を標本に対して自動的に行わせる。

本発明によれば、標本の適切な位置に操作針を刺しての操作を自動的に行うことができるマイクロマニピュレータシステムを提供することができる。また、標本のなかから操作すべき標本のみを抽出して、操作針を用いた操作を自動的に行うことができるマイクロマニピュレータシステムを提供することができる。

以下、図面を参照しながら本発明の実施の形態について述べる。
図１は、本実施の形態によるマイクロマニピュレータシステムの構成を示す図である。
そのマイクロマニピュレータシステム（以下「マニピュレータシステム」と略記）は、大別して、卵や細胞などの標本を入れる標本容器Ｓの視野内における画像を所望の倍率で形成する顕微鏡、その視野内で標本に対する３次元操作を行うためのマイクロマニピュレータ部（以下「マニピュレータ部」）、その画像を電気信号に変換するカメラ部、電気信号に変換された画像を基に各部に送信すべき制御信号を生成して出力するコンピュータ１００、及びそのコンピュータ１００が出力する画像データを表示するモニタ１１３、を備えた構成となっている。本実施の形態における制御装置は、コンピュータ１００としてマニピュレータシステムを構成している。

上記顕微鏡は、標本容器Ｓを載置する標本ステージ５を有し、そのステージ２上には、コレクタレンズ２０、透過視野絞り２１、透過開口絞り２２、コンデンサ光学素子ユニット２３、及び例えばハロゲンランプである透過照明用の光源１が配置されている。それにより、標本ステージ５上に標本容器Ｓを上方から照明する構成となっている。

また、標本ステージ２の下方に位置する観察光路には、複数個の対物レンズ３を交換可能に装着し、対物レンズ３のうちの一つをその光路の光軸上に移動可能なレボルバ４、標本ステージ５からの光を２つに分岐するビームスプリッタ６、そのスプリッタ６により分岐された一方の光が入射する接眼レンズ７、がそれぞれ配置されている。スプリッタ６により分岐された他方の光はカメラ部に入射される。顕微鏡制御ユニット１９はコンピュータ１００からの指示に従って、全体の制御を行う。

上記のように構成された顕微鏡は、光源１から出射された照明光をコレクタレンズ２０で集光し、視野絞り２１、開口絞り２２、及びコンデンサ光学ユニット２３を通して、標本ステージ５上から標本容器Ｓを照明する。

標本ステージ５は、顕微鏡制御ユニット１９によって、標本容器Ｓの観察位置と方向を変更するために、光軸と直交する平面内での２次元水平移動、及び回転移動が行えるとともに、ピント合わせのための光軸方向移動を行えるものである。そのステージ５を通過した光（観察光）はビームスプリッタ６により分岐されて、カメラ部のカメラヘッド８、及び接眼レンズ７にそれぞれ入射される。

カメラ部は、そのカメラヘッド８、及びカメラ制御ユニット９から構成されている。カメラヘッド８は、例えばＣＭＤ（Charge Modulation Device）である固体撮像素子と、その固体撮像素子上に光りを結像させる光学系と、を備えている。他方のカメラ制御ユニット９は、入射光量対出力電圧のゲインを自動調節するＡＧＣを備えたものである。カメラヘッド８からのアナログの画像データを自動調節してコンピュータ１００に出力する。

そのアナログの画像データは、Ａ／Ｄ変換器１１０によりデジタルの画像データに変換されてＣＰＵ１０２に出力される。ＣＰＵ１０２は、記憶装置１０１に格納されたプログラムをメモリ１０５に読み出して実行することにより、システム全体の制御を行う。Ａ／Ｄ変換器１１０が出力する画像データは、例えば画像表示用のメモリ１１２に格納することにより、モニタ１１３に表示させる。また、必要に応じて、ＪＰＥＧ等の圧縮方式により符号化（圧縮）して記憶装置１０１に格納する。入力装置１０３は、例えばマウスやキーボードなどをまとめて表したものであり、通信装置１０４は、各部への制御信号の送信等を行うものである。

マニピュレータ部は、先端に器具ホルダ３０を有するアーム３１が操作台側に突設されている。器具ホルダ３０は、インジェクションピペットや吸着用ピペット、或いは針等の微少器具３０ａを保持させるものである。そのアーム３１は、器具ホルダ３０に保持された微少器具３０ａを移動させるために、水平方向（Ｘ、Ｙ軸方向）、及び上下方向（Ｚ軸方向）の駆動機構（不図示）により移動可能となっている。その駆動機構は、Ｘ、Ｙ、及びＺ軸方向にそれぞれ移動させるための計３つのステッピングモータ、及び各軸方向に案内するためのガイドレールを備えている。

マイクロマニピュレータ操作ユニット３２には、ジョイスティックが設けられている。このジョイスティックは、鉛直軸方向に対して傾斜可能となっており、作業者は傾斜させる方向によってマニピュレータの水平方向（Ｘ、Ｙ軸方向）の制御量を指示することができるようになっている。そのジョイスティックの上部には回転ダイヤルが設けられており、その回転ダイヤルを操作することによって上下方向（Ｚ軸方向）の制御量を指示できるようになっている。また、手動モードとＰＣ制御モードを切り替えるためのキースイッチが設けられている。そのキースイッチにより手動モードが設定された場合、作業者はジョイスティック等への操作によりマニピュレータ部を動作させることができる。ＰＣ制御モードが設定された場合には、ジョイスティック等への操作は無効となり、コンピュータ１００により自動的に動作される。器具駆動ユニット３３は、器具３０ａとして保持された操作針により標本への溶液の注入や、その標本の内容物の吸引等を行うためのものである。以降、便宜的に、器具３０ａとしては標本への溶液の注入、及びその内容物の吸引を行える操作針を想定する。

コンピュータ１００の通信装置１０４には、顕微鏡制御ユニット１９、マイクロマニピュレータ操作ユニット３２、及び器具駆動ユニット３３がそれぞれ接続されている。ＣＰＵ１０２は、入力装置１０３への作業者の操作に応じて、通信装置１０４を介して顕微鏡制御ユニット１９への指示を行い、顕微鏡の上記構成要素を制御する。キースイッチにより手動モードを設定した状態で作業者がマイクロマニピュレータ操作ユニット３２のジョイスティックを操作した場合には、その操作により傾けた方向に応じて、水平方向に移動させるための２つのステッピングモータのうちの何れかを駆動して、アーム３１を水平移動させる。回転ダイヤルを操作した場合には、それを回転させた方向、及び回転量に応じて、上下方向に移動させるためのステッピングモータを駆動して、アーム３１を垂直移動させる。器具駆動ユニット３３の制御は、操作ユニット３２に設けられた別の操作子への操作による指示に応じて行う。キースイッチによりＰＣ制御モードを設定した状態では、作業者が入力装置１０３に対して行う操作に応じて、顕微鏡制御ユニット１９、各ステッピングモータ、及び器具駆動ユニット３３をそれぞれ自動的に制御し、標本に対する操作針３０ａを用いた操作を自動的に行う。それらの制御は何れも、ＣＰＵ１０２が、記憶装置１０１に格納されたアプリケーション・ソフトウェア（以降「ソフト」と略記）をメモリ１０５に読み出して実行することで行う。そのソフトは、本実施の形態によるプログラムに相当し、本実施の形態における制御装置は、コンピュータ１００に搭載されたＣＰＵ１０２にそのソフトを実行させることで実現されている。

図２は、メイン画面を説明する図である。そのメイン画面は、上記ソフトをＣＰＵ１０２が実行することでモニタ１１３に表示されるものであり、記憶装置１０１に格納されている。その画面には、図２に示すように、カメラ制御ユニット９からアナログの画像データとしてリアルタイムに送信される画像（リアルタイム画像）、或いは記憶装置１０１に保存した画像を表示する画像表示部２０１、操作針３０ａを刺しての操作に係わる条件の設定を行うための「条件設定」ボタン２０２、標本毎に操作針３０ａを刺しての操作を自動的に行うのを指示するための「開始」ボタン２０３、及びソフトの終了を指示するための「終了」ボタン２０４、などが配置されている。

作業者が入力装置１０３を操作して「開始」ボタン２０３をクリックすると、コンピュータ１００のＣＰＵ１０２は、Ａ／Ｄ変換器１１０から受け取った画像中に存在する標本の座標位置を標本毎に特定し、その特定結果から、溶液を注入するインジェクション処理（操作）を行う順序、そのためにマニピュレータ部のステッピングモータを駆動する順序や駆動量、標本ステージ５の移動内容、などを決定して自動制御を行い、各標本へのインジェクション処理を自動的に行う。

上述したように、標本ステージ５は、顕微鏡制御ユニット１９によって、２次元の水平移動、及び回転移動が行えるものである。標本に対する操作を行う場合、その水平移動は主に、操作を行う標本を顕微鏡視野の中心に移動させるために行う。図４に示すような回転移動は主に、標本Ｍに操作（ガラス）針３０ａを刺す挿入方向を調整するために行う。

自動的にインジェクション処理を行っている間も、Ａ／Ｄ変換器１１０はカメラ制御ユニット９から受信する画像データの変換を行う。ＣＰＵ１０２は、Ａ／Ｄ変換器１１０が変換して出力する画像データを画像表示用メモリ１１２に格納することにより、そのメモリ１１２に格納されている１画面分の画像データの部分的な更新を行う。その更新により、画像表示部２０１の表示内容が更新される。

作業者が入力装置１０３を操作して「条件設定」ボタン２０２をクリックすると、コンピュータ１００のＣＰＵ１０２は、図３に示すような条件設定画面をモニタ１１３に表示させる。その条件設定画面も上記メイン画面と同様に、記憶装置１０１に格納されているものである。

上記条件設定画面には、図３に示すように、標本Ｍに操作針３０ａを刺すべき挿入（インジェクション）位置、及びその挿入位置に操作針３０ａを刺すべき挿入方向をインジェクション位置方向条件（以下「位置方向条件」）として設定するためのインジェクション位置方向条件設定部（以下「位置方向条件設定部」）３０１、操作針３０ａを刺しての操作を行う対象とする標本Ｍが満たすべき対象標本条件を設定するための対象標本条件設定部３０２、各設定部３０１、３０２に表示されている内容をそれぞれ条件として設定するのを指示するための「Ｓｅｔ」ボタン、及び図２に示すメイン画面に戻るのを指示するための「Ｃａｎｃｅｌ」ボタン、が配置されている。

上記位置方向条件設定部３０１には、カラー値、輝度値、方向、重心からの距離、及び先端からの距離、の項目別に設定（位置方向条件）内容を入力できるテキストボックスが配置されている。それらの項目において、項目「方向」は標本Ｍに操作針３０ａを刺す挿入方向を指定するためのものであり、他の項目は何れも、標本Ｍに操作針３０ａを刺す挿入位置を指定するためのものである。他方の対象標本条件設定部３０２には、周囲長、及び面積、の項目別に設定内容を入力できるテキストボックスが配置されている。

各設定部３０１、３０２共に、各項目の設定は、入力可能なデータを対応するテキストボックスに入力した後、「Ｓｅｔ」ボタンをクリックすることで有効となる。何れの項目も設定省略が可能である。有効とされた設定内容は、ＣＰＵ１０２によって記憶装置１０１に保存される。

図５は、挿入位置、及び挿入方向の設定方法を説明する図である。その設定方法は、楕円球型の標本Ｍを操作の対象とする場合のものである。図５中、Ｍを付した標本像は、カメラ制御ユニット９が出力する１画像中、或いは複数の画像を貼り合わせて合成した１合成画像中に存在する標本Ｍの画像である。ここで図５を参照して、上記項目で設定する位置方向条件の内容に応じて設定される挿入位置、及び挿入方向、並びに上記項目で設定する対象標本条件の内容に応じて選択される標本Ｍについて詳細に説明する。以降、標本像についてもＭを付すことにする。カメラ制御ユニット９が出力する画像、或いはそれを複数、貼り合わせて合成した１つの合成画像については「顕微鏡画像」と総称する。

顕微鏡画像中に存在する標本像Ｍの抽出自体は、例えば特許文献３に記載された技術を用いて行うことができる。標本容器Ｓには複数の標本Ｍが入れられているのを前提としている。その前提では、顕微鏡画像中には複数の標本像Ｍが存在するので、それらは個別に分離して認識する必要がある。その認識は、具体的には例えば以下のようにして行うことができる。図５の説明の前に、その認識方法について具体的に説明する。

本実施の形態では、標本像Ｍの輪郭線を抽出し、標本像Ｍか否かにより２値化画像を生成してラベリング処理を行う。そのラベリング処理とは、画像を構成する画素に番号を付けることで画素を標本像Ｍ単位に分類する処理のことである。例えば標本像Ｍを構成する画素の値を１、そうでない画素の値を０とする図６（ａ）に示すような２値化画像をラベリングすると、図６（ｂ）に示すように、値が１となっている画素に番号が付される。それにより、互いに値が１となっている隣接する画素は同じ物を表していると認識して分類することができる。

図７は、ラベリング処理によって分類された標本像を説明する図である。その図７では、分類された４つの標本像Ｍには番号付けの際に付された１〜４の数値をＭに続けて付してある。

図５に戻り、位置方向条件の何れの項目の設定も行われていない状況で設定される挿入位置、及び挿入方向について先ず説明する。
その状況では、標本像Ｍの重心位置Ｏを求め、次に、その輪郭線上の点Ｐのなかで重心位置Ｏから最も遠い点Ｐｉを求める。そのようにして求めた点Ｐｉは挿入位置として設定し、点Ｐｉから重心位置Ｏに向かう方向を挿入方向として設定する。挿入位置から重心位置Ｏに向かう方向については以降「基準挿入方向」と呼ぶことにする。

項目「方向」は、その基準挿入方向との角度θを指定できるように用意したものである。そのため、項目「方向」に対する設定が行われている状況では、基準挿入方向を設定された角度θだけ回転させた方向を挿入方向として設定する。

項目「重心からの距離」は、上記重心位置Ｏからの距離で輪郭線上の挿入位置を指定するためのものである。同様に項目「先端からの距離」は、先端位置Ｐｉからの距離で挿入位置を指定するためのものである。本実施の形態では、それら２つの項目に対する設定は同時に有効とはさせずに、後に設定された項目のみを有効とさせている。これは、それら２つの項目によって挿入位置を指定しなければならないケースは余り考えられないためである。それら何れかの設定された項目で指定される個所が複数、存在している場合には、そのうちの一つを挿入位置に設定する。

標本Ｍとしては、カラー、或いは輝度が部位によって異なるものがある。細胞では、核を染色することもある。項目「カラー値」、及び「輝度値」は、カラー、或いは輝度が位置によって異なる標本Ｍを対象にしている場合に、刺した操作針３０ａの先端を到達させるべき対象部位を指定するためのものである。

本実施の形態では、項目「カラー値」、及び「輝度値」の何れかが設定されている場合、挿入方向は全ての標本Ｍで同じとし、挿入位置は、その挿入方向で対象部位に操作針３０ａを挿入できる輪郭線上の点を設定する。操作針３０ａの先端が対象部位に到達するまで挿入するために、挿入量は標本Ｍ毎に設定する。それにより、標本ステージ５の回転移動を行うことなく、標本Ｍに操作針３０ａを刺すようにしている。

項目「カラー値」、及び「輝度値」も項目「重心からの距離」、及び「先端からの距離」と同様に、挿入位置を指定するためのものである。本実施の形態では、それらのなかで最も後に設定された項目の設定内容のみを有効とさせている。

項目「カラー値」、及び「輝度値」の設定は、例えば以下のように行わせるようにしている。
項目「輝度値」では、輝度が最も高い部位、或いはそれが最も低い部位が対象部位として選ばれる可能性が高いと考えられることから、設定は例えば「高」及び「低」の何れかをテキストボックスに入力させることで行わせている。染色は特定の色成分が明確になるように行われるのが普通であることから、項目「カラー値」では、例えば「青−高」「青−低」「赤−高」「赤−低」といったようなシンボルをテキストボックスに入力させ、着目する色成分、その色成分の大きさの関係を指定させることで行わせている。

例えば「青−高」が項目「カラー値」で設定された場合、例えば顕微鏡画像から抽出した標本像Ｍを構成する画素毎に、青成分Ｇｂから赤成分Ｇｒ、緑成分Ｇｇを引いた成分（値）Ｒ（＝Ｇｂ−Ｇｒ−Ｇｇ）を求める。そのようにして求めた成分Ｒが最も大きい画素を対象部位として扱うことにより、挿入位置、及び挿入量を設定する。別の設定内容でも同様にして挿入位置、及び挿入量を設定する。これは項目「輝度値」でも同様である。

上述したような項目の設定を行うことにより、作業者は所望の挿入位置、及び挿入方向で標本Ｍに操作針３０ａを自動的に刺させることができる。その操作針３０ａを刺して所望の部位に溶液を注入したり、或いは内容物を吸引するといったことも自動的に行わせることができる。そのように、標本Ｍに対する自動的な操作を確実に最適に行わせられることから、作業者にとっては、作業上の負担はより軽減され、作業効率はより向上することとなる。

次に、上記項目で設定する対象標本条件の内容に応じて選択される標本Ｍについて詳細に説明する。
その対象標本条件では、項目「周囲長」「面積」を用意している。項目「周囲長」は、例えば操作の対象とすべき標本Ｍの大きさの下限をその周囲の長さで指定するためのものである。項目「面積」はその大きさの下限を面積で指定するためのものである。標本Ｍの周囲の長さは、例えば標本像Ｍの輪郭線を構成する画素数から求めることができ、その面積は、例えば標本像Ｍを構成する画素数から求めることができる。

項目「周囲長」「面積」への設定は同時に有効とできるようにさせている。それにより、本実施の形態では、周囲長は長いが面積は小さい、面積は大きいが周囲長は短い、といった標本Ｍを操作対象から除外できるようにさせている。設定が行われていない項目は無視される。

そのように操作対象を限定できるようにしたことで、操作対象外とすべき標本Ｍに対する操作を回避させることができる。このため、無駄な操作を回避させることにより、操作対象とすべき１つの標本Ｍ当たりの処理時間はより短縮されて、作業効率はより向上することとなる。

上記項目「重心からの距離」、及び「先端からの距離」では、基準とする位置からの距離を指定することにより、操作対象とすべき標本Ｍを限定することができる。項目「カラー値」「輝度値」でも、対象部位の指定方法によって、操作対象とすべき標本Ｍを限定することができる。

設定した挿入位置は、標本Ｍ毎に、座標位置に変換して記憶装置１０１、或いはメモリ１０５に保存する。それにより、操作針３０ａを標本Ｍに刺しての挿入は、設定した挿入位置に従って行われる。

図８は、自動インジェクション処理のフローチャートである。その処理は、「開始」ボタン２０３のクリックにより、標本容器Ｓに入っている標本Ｍに対して溶液を注入する操作（インジェクション処理）を自動的に行うためにＣＰＵ１０２が実行する処理である。次に図８を参照して、その処理について詳細に説明する。

先ず、ステップＳ１１では、カメラ制御ユニット９が送信する顕微鏡画像を取り込み、所定の符号化方式（ＪＰＥＧ等）で圧縮してメモリ１０５に格納する。その顕微鏡画像が標本容器Ｓ全体をカバーするものでない場合には、顕微鏡制御ユニット１９に指示して、標本ステージ５を順次、移動させながら、カメラ制御ユニット９が撮影する画像を選択していくことにより、標本容器Ｓ全体分の顕微鏡画像を取得して貼り合わせ合成する。そのようにして標本像Ｍを抽出する顕微鏡画像を用意すると、ステップＳ１２に移行して、標本像Ｍの抽出を行う。その後はステップＳ１３に移行する。

ステップＳ１３では、標本像Ｍの抽出結果から標本像Ｍの輪郭線を抽出し、標本像Ｍを構成しているものか否かにより２値化画像（図５（ａ））を生成し、その２値化画像に対してラベリング処理（図５（ｂ））を行うことにより、標本像Ｍを分類して認識する。その次に移行するステップＳ１４では、１つの標本像Ｍに着目して、輪郭線の長さ、及びその輪郭線が囲む面積が指定の範囲内か否か判定する。項目「周囲長」「面積」の何れかを作業者が設定しており、且つ輪郭線の長さ、及びその輪郭線が囲む面積の何れかが、設定された対応する項目の設定内容で指定された条件を満たしていない場合、判定はＮＯとなってステップＳ１９に移行する。そうでない場合には、つまり項目「周囲長」「面積」の何れも作業者が設定していない、或いは設定された全ての項目において、その設定内容で指定された条件を、輪郭線の長さ、及びその輪郭線の項目に対応する方の内容が満たしている場合には、判定はＹＥＳとなってステップＳ１５に移行する。

ステップＳ１５では、図２に示す位置方向条件設定部３０１に用意した項目のなかで作業者が設定を行った項目の設定内容（条件）を考慮して、上述したように挿入（インジェクション）位置を探して設定を行う。次のステップＳ１６では、挿入位置を探した結果、設定すべき挿入位置が存在したか否か判定する。そのような挿入位置を探し出せた場合、判定はＹＥＳとなってステップＳ１７に移行する。そうでない場合には、判定はＮＯとなってステップＳ１９に移行する。

ステップＳ１７では、図２に示す位置方向条件設定部３０１に用意した項目のなかで作業者が設定を行った項目の設定内容（条件）を考慮して、上述したように挿入（インジェクション）方向を決定する。その決定は、項目「カラー値」「輝度値」の何れかが設定されていれば、標本Ｍ全てに固定の挿入方向を設定し、更に挿入量を設定する形で行われ、それらの何れも設定されていなければ、標本Ｍ毎に挿入すべき挿入方向を設定するために行われる。続くステップＳ１８では、設定（決定）した挿入位置、及びその方向を記憶装置１０１、或いはメモリ１０５に記憶させて保存する。

ステップＳ１８に続くステップステップＳ１９では、全ての標本Ｍの挿入位置等の記憶が流量したか否か判定する。着目すべき標本像Ｍが残っているような場合、判定はＮＯとなって上記ステップＳ１４に戻り、着目していない別の標本像Ｍに着目して、それ以降の処理を同様に実行する。そうでない場合には、判定はＹＥＳとなってステップＳ２０に移行する。

ステップＳ２０では、１つの標本Ｍに着目し、その標本Ｍに設定した挿入位置が顕微鏡画像の中心となるように標本ステージ５を水平移動させる。挿入方向を標本Ｍ全てで固定としていない場合には、必要に応じて、標本ステージ５を回転移動させる。その後に移行するステップＳ２１では、器具駆動ユニット３３により、操作針３０ａを標本Ｍに刺して挿入させ、溶液を注入させる。その注入後、操作針３０ａを元の位置に戻させると、ステップＳ２２に移行して、全ての標本Ｍに対して溶液を注入する操作が終了したか否か判定する。溶液を注入すべき標本Ｍが残っているような場合、判定はＮＯとなって上記ステップＳ２０に戻り、着目していない別の標本像Ｍに着目して、それ以降の処理を同様に実行する。そうでない場合には、判定はＹＥＳとなり、ここで一連の処理を終了する。

なお、本実施の形態では、図３に示すように、操作針３０ａを刺すべき挿入位置が満たすべき条件を項目「カラー値」「輝度値」「重心からの距離」「先端からの距離」の何れかへの設定により作業者が任意に行えるようにしているが、その項目数、その種類等は対象となる標本Ｍに応じて決定すれば良いものである。複数の項目への設定を有効とさせて、より高精度に挿入位置が満たすべき条件を指定できるようにしても良い。これは、他の項目でも同様である。標本Ｍに対する操作針３０ａを用いた操作として、溶液の注入に着目しているが、着目する操作は、標本Ｍの内容物の吸引といった別の操作であっても良い。

本実施の形態における制御装置（コンピュータ１００）は、実行させるアプリケーション・ソフトウェアの変更により既存の制御装置でも実現させることができる。このことから、既存のマイクロマニピュレータシステムでは、制御装置の交換、或いはそれに実行させるアプリケーション・ソフトウェアの変更により、本発明を適用した制御装置を用いて構築したマイクロマニピュレータシステムを実現させることができる。

本実施の形態によるマイクロマニピュレータシステムの構成を示す図である。 メイン画面を説明する図である。 条件設定画面を説明する図である。 標本への操作時に行われる標本ステージ５の回転移動を説明する図である。 挿入位置、及び挿入方向の設定方法を説明する図である。 標本像を分類するためのラベリング処理を説明する図である。 ラベリング処理によって分類された標本像を説明する図である。 自動インジェクション処理のフローチャートである。

符号の説明

５ 標本ステージ
８ カメラヘッド
９ カメラ制御ユニット
１９ 顕微鏡制御ユニット
３０ 器具ホルダ
３０ａ 操作（ガラス）針
３１ アーム
３２ マイクロマニピュレータ操作ユニット
３３ 器具駆動ユニット
１００ コンピュータ（制御装置）
１０１ 記憶装置
１０２ ＣＰＵ
１０３ 入力装置
１０４ 通信装置
１０５ メモリ
１１０ Ａ／Ｄ変換器
１１２ 画像表示用メモリ
１１３ モニタ
Ｓ 標本容器
Ｍ 標本（標本像）

Claims (10)

1. 顕微鏡の視野下で標本に対してマイクロマニピュレータにより操作針を用いた操作を行うためのマイクロマニピュレータシステムにおいて、
   前記顕微鏡が形成する画像を取得する画像取得手段と、
   前記画像取得手段が取得した画像中に存在する前記標本の画像である標本像を認識する標本像認識手段と、
   前記標本像認識手段が認識する標本像に、該標本像上で着目する着目点を２つ以上、抽出し、該抽出した２つ以上の着目点を基に、前記操作針を前記標本に刺して挿入すべき挿入方向を設定する挿入位置設定手段と、
   前記挿入位置設定手段が設定する挿入方向に従って、前記マイクロマニピュレータにより前記操作針を用いた操作を前記標本に対して自動的に行わせる自動制御手段と、
   を具備することを特徴とするマイクロマニピュレータシステム。
2. 顕微鏡の視野下で標本に対してマイクロマニピュレータにより操作針を用いた操作を行うためのマイクロマニピュレータシステムにおいて、
   前記顕微鏡が形成する画像を取得する画像取得手段と、
   前記画像取得手段が取得した画像中に存在する前記標本の画像である標本像を認識する標本像認識手段と、
   前記標本像認識手段が認識する標本像に、該標本像上で着目する着目点として少なくとも標本像の重心位置と該標本像の輪郭線上の該重心位置から最も遠い点を抽出して、前記輪郭線上の該重心位置から最も遠い点から前記重心位置に向かう方向を前記操作針の挿入方向として設定し、前記標本像の輝度が最も高い部位、若しくは最も低い部位が輝度値として、あるいは特定の色成分が明確になっている部位がカラー値として設定されている場合に、該設定された前記輝度値、或いはカラー値から、前記操作針を前記標本に刺して挿入すべき挿入位置を設定する挿入位置設定手段と、
   前記挿入位置設定手段が設定する挿入位置に従って、前記マイクロマニピュレータにより前記操作針を用いた操作を前記標本に対して自動的に行わせる自動制御手段と、
   を具備することを特徴とするマイクロマニピュレータシステム。
3. 前記標本像認識手段は
   前記標本像の輪郭線を抽出し、該標本像か否かにより２値化画像を生成して、画像を構成する各画素に番号付けを行って、各画素を分類し、該標本像の認識を行うことを特徴とする請求項１または２記載のマイクロマニピュレータシステム。
4. 前記挿入位置設定手段は
   前記標本像認識手段が認識する標本像毎に、前記操作針の挿入方向と挿入位置を設定することを特徴とする請求項１、２または３記載のマイクロマニピュレータシステム。
5. 顕微鏡の視野下で標本に対してマイクロマニピュレータにより操作針を用いた操作を行うためのマイクロマニピュレータシステムの制御装置に実行させるプログラムであって、
   前記顕微鏡が形成する画像を取得する機能と、
   前記取得する機能により取得した画像中に存在する前記標本の画像である標本像を認識する機能と、
   前記認識する機能により認識する標本像に、該標本像上で着目する着目点として少なくとも該標本像の重心位置と該標本像の輪郭線上の該重心位置から最も遠い点を抽出して、前記輪郭線上の該重心位置から最も遠い点から前記重心位置に向かう方向を前記操作針の挿入方向として設定し、前記標本像の輝度が最も高い部位、若しくは最も低い部位が輝度値として、あるいは特定の色成分が明確になっている部位がカラー値として設定されている場合に、該設定された前記輝度値、或いはカラー値から、前記操作針を前記標本に刺して挿入すべき挿入位置を設定する機能と、
   前記設定する機能により設定する挿入位置に従って、前記マイクロマニピュレータにより前記操作針を用いた操作を前記標本に対して自動的に行わせる機能と、
   を実現させるためのプログラム。
6. 前記標本像を認識する機能は
   前記標本像の輪郭線を抽出し、該標本像か否かにより２値化画像を生成して、画像を構成する各画素に番号付けを行って、各画素を分類し、該標本像の認識を行うことを特徴とする請求項５記載のプログラム。
7. 前記挿入位置を設定する機能は
   前記標本像を認識する機能により認識される標本像毎に、前記操作針の挿入方向と挿入位置を設定することを特徴とする請求項５または６記載のプログラム。
8. 顕微鏡の視野下で標本に対してマイクロマニピュレータにより操作針を用いた操作を行うためのマイクロマニピュレータシステムに該操作を行わせるための方法であって、
   前記顕微鏡が形成する画像を取得させ、
   該取得させた画像中に存在する前記標本の画像である標本像を認識させ、
   該認識された標本像に、該標本像上で着目する着目点として少なくとも該標本像の重心位置と該標本像の輪郭線上の該重心位置から最も遠い点を抽出させて、前記輪郭線上の該重心位置から最も遠い点から前記重心位置に向かう方向を前記操作針の挿入方向として設定させ、前記標本像の輝度が最も高い部位、若しくは最も低い部位が輝度値として、あるいは特定の色成分が明確になっている部位がカラー値として設定されている場合に、該設定された前記輝度値、或いはカラー値から、前記操作針を前記標本に刺して挿入すべき挿入位置を設定させ、
   該設定した挿入位置に従って、前記マイクロマニピュレータにより前記操作針を用いた操作を前記標本に対して自動的に行わせる、
   ことを特徴とする標本操作方法。
9. 前記標本像の認識は
   前記標本像の輪郭線を抽出し、該標本像か否かにより２値化画像を生成して、画像を構成する各画素に番号付けを行って、各画素を分類することにより行われることを特徴とする請求項８記載の標本操作方法。
10. 前記認識された標本像毎に、前記操作針の挿入方向と挿入位置を設定することを特徴とする請求項８または９記載の標本操作方法。

Images