【０００１】
【発明の属する技術分野】
本発明は、生化学分野等において試料溶液中の微生物や動植物細胞などの微細物体を自動的に探索する微細物体の自動探索装置に関するものである。
【０００２】
【従来の技術】
生化学分野等における各種操作のプロセスでは、試料中に存在する多数の微生物または動植物細胞等の微細物体の中から、特定の微細物体を探索・識別する操作が行われる。従来は熟練した専門家が、顕微鏡視野内にて微細物体を観察・識別するという手作業的な方法によって探索が行われていた。この探索時には、識別の基準となる探索条件が用いられるが、従来の探索操作においてはこの探索条件は必ずしも明確でなく、専門家の記憶に依存するかまたはサンプル写真を参照するなど、いわばあいまいな形の探索条件が用いられていた。
【０００３】
【発明が解決しようとする課題】
しかしながら上記従来の方法では、探索条件が明確な形で設定されないことに起因して、同一対象について探索を繰り返して行う場合においても設定条件の再現性に欠け、探索結果の信頼性が低いとともに、探索作業の効率もきわめて悪いものであった。
【０００４】
そこで本発明は、微細物体の探索条件を容易に再現性よく設定することができ、探索作業の信頼性と効率を向上させることができる微細物体の自動探索装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
請求項１記載の微細物体の自動探索装置は、試料中の微細物体を撮像して得られた画像データに基づいて、予め設定された探索条件に合致した探索目的の微細物体を特定する微細物体の自動探索装置であって、試料中の微細物体を撮像する撮像手段と、撮像で得られた画像データに基づいて微細物体を探索する探索処理部と、前記探索条件を設定する探索条件設定部と、探索条件を記憶する探索条件記憶部と、撮像された画像や探索条件に関するデータを表示する表示手段と、既に過去において用いられ前記探索条件記憶部に登録された探索条件に基づいて前記探索条件を前記表示手段の画面上で編集する探索条件編集手段とを備えた。
【０００７】
【発明の実施の形態】
次に本発明の実施の形態を図面を参照して説明する。図１は本発明の一実施の形態の微細物体の自動探索装置の斜視図、図２は同微細物体の自動探索装置の側面図、図３は同微細物体の自動探索装置の構成を示すブロック図、図４は同微細物体の自動探索装置の処理機能を示す機能ブロック図、図５、図６、図７、図８は同微細物体の自動探索装置の表示画面を示す図、図９、図１０は同微細物体の自動採取のフロー図である。
【０００８】
まず図１、図２を参照して微細物体の自動探索装置が組み込まれた自動採取装置の構造について説明する。図１において微細物体の自動採取装置は、基台１上に設けられた本体部２および制御用のパソコン３から構成されている。本体部２はカバーケース２ａ内に以下に説明する各部を配置して構成されている。
【０００９】
カバーケース２ａの内部には基台５が配設されている。基台５の端部にはサイドフレーム５ａが立設されており、サイドフレーム５ａの上部には上部フレーム５ｂが固着されている。サイドフレーム５ａの側面には、第１のＸＹテーブル６が配設されており、第１のＸＹテーブル６には透光性を有する試料テーブル７が装着されている。試料テーブル７は、微生物や動植物細胞などの微細物体を含んだ液状試料を入れた透光性を有する試料容器８を支持している。
【００１０】
上部フレーム５ｂには透過照明９（第１の照明部）が配設されており、透過照明９は、ミラー１４で反射された照明光を試料容器８上に照射する。試料容器８の下方の基台５の底部には対物レンズ１９とカメラ１８が配設されている。カメラ１８は対物レンズ１９を通して試料容器８内の微細物体を撮像する。また基台５の側部には蛍光照明１０（第２の照明部）が配設されており、蛍光照明１０はハーフミラー１５を介して試料容器８の下方から照明光を照射する。カメラ１８は、透過照明９または蛍光照明１０によって照明された試料容器８を撮像する。
【００１１】
基台５の側部には、赤外線レーザ光源１１（第１のレーザ装置）および紫外線レーザ光源１２（第２のレーザ装置）が配設されている。赤外線レーザ光源１１から照射された赤外線レーザ光は走査光学系１３を経てハーフミラー１７によって上方に反射され、対物レンズ１９で集光されて試料容器８に下方から入射する。走査光学系１３を駆動することにより、赤外線レーザ光の照射位置は試料容器８中で水平方向に移動する。したがって、走査光学系１３はレーザ光移動手段となっている。なお、走査光学系１３を用いる代わりに、第１のＸＹテーブル６を駆動することにより、赤外線レーザ光を試料容器８に対して水平方向に相対的に移動させるようにしても良い。この場合には、第１のＸＹテーブル６がレーザ光移動手段となる。
【００１２】
試料容器８の試料液体中の微細物体に赤外線レーザ光を照射することにより、微細物体は赤外線レーザ光の光圧によりトラップされ、捕捉される。走査光学系１３によって（または第１のＸＹテーブルを駆動することにより）赤外線レーザ光を走査させることにより、試料容器８内の捕捉対象の微細物体に対物レンズ１９によって集光された赤外線レーザ光を照射してこれをトラップし、非接触にて任意の位置に移動させることができる。赤外線レーザ光源１１および対物レンズ１９は、微細物体をレーザ光によってトラップするいわゆるレーザピンセットであり、微細物体を捕捉する捕捉手段となっている。
【００１３】
紫外線レーザ光源１２から照射された紫外線レーザ光はハーフミラー１６によって反射され、対物レンズ１９で集光されながら試料容器８に下方から入射する。この紫外線レーザ光は試料中の微細物体を局部的に破壊する加工用途に適しており、紫外線レーザ光を加工対象の微細物体に照射することにより微細物体の切断などの加工を行うことができる。紫外線レーザ光源１２は加工手段となっている。
【００１４】
試料容器８の上方には、試料供給ピペット２１が導設されており、試料供給ピペット２１はＸＹＺテーブル２２によって移動可能となっている。試料供給ピペット２１は、分注機構２５に接続されており、分注機構２５には配管２６，２７，２８を介して試料タンク２９、洗浄用の希釈液タンク３０、廃液タンク３１が接続されている。分注機構２５の吸入・吐出機構を用いることにより、試料タンク２９および希釈液タンク３０から吸入した試料、希釈液を、試料供給ピペット２１の先端から選択的に試料容器８に吐出する。試験後に試料容器８に残存する余分の試料や洗浄に用いられた後の希釈液は、分注機構２５により吸引されて廃液タンク３１に回収される。
【００１５】
試料容器８の近傍には、ＸＹＺテーブル２４によって移動可能な採取用のマイクロピペット２３が、先端の吸入口を試料容器８の液体中に浸入させる姿勢で配設されている。マイクロピペット２３は分注機構２５に接続されており、分注機構２５の吸入・吐出機能を用いることにより、試料容器８中の試料に含まれマイクロピペット２３の吸入口近傍に位置する微細物体を吸入・移送し、分注ノズル３６の先端部から吐出して容器に採取することができる。したがって、マイクロピペット２３、分注機構２５および分注ノズル３６は微細物体を採取する採取手段となっている。
【００１６】
分注機構２５の下方には、第２のＸＹテーブル３２が配設されている。第２のＸＹテーブル３２上にはマイクロプレート支持部であるプレートホルダ３３が装着されており、プレートホルダ３３の上面には、複数の微細物体の容器であるウェル３５を備えたマイクロプレート３４が載置されている。第２のＸＹテーブル３２を駆動して、分注ノズル３６の直下に位置するマイクロプレート３４を水平移動させることにより、任意のウェル３５に分注ノズル３６から吐出される微細物体を収容することができる。
【００１７】
次に図３を参照して、微細物体の操作装置の制御系の構成を説明する。カメラ１８、第１の照明部９および第２の照明部１０は、ＣＰＵ４３の指示に従って試料容器８内の微細物体を撮像する。
【００１８】
分注コントローラ４１は、分注機構２５の動作を制御する。走査光学系コントローラ４２は走査光学系１３を制御することにより、トラップ用の赤外線レーザ光を試料容器８内で移動させる。ＣＰＵ４３は制御手段であり、記憶手段であるＲＡＭ４４、ＲＯＭ４５、ファイル装置４６に格納されたプログラムやデータに基づいて各種の処理や演算を実行する。ＲＡＭ４４はＣＰＵ４３の処理演算時にデータを一時的に格納するためのメモリである。ＲＯＭ４５は、各種の処理や動作に必要なプログラムを記憶する。
【００１９】
ファイル装置４６は、プログラムや各種のデータ、例えばカメラ１８で撮像された微細物体の画像や、これらの微細物体の分類結果などを格納する。記憶媒体ドライブ装置４７は、必要なプログラムやデータの外部記憶媒体への書き込み・読み取りを行う。外部記憶媒体４８はフロッピーディスクなどの記憶媒体であり、データ保管用として用いられる。表示モニタ４９は表示装置であり、操作・入力時の画面表示や、撮像された微細物体の画像を表示する。
【００２０】
入力部５０はキーボードやマウスなどのポインティングデバイスであり、操作コマンドやデータの入力を行うほか、表示モニタ４９に表示された微細物体の中から採取対象を作業者の操作により指示するとともに、この微細物体が収容されるマイクロプレートのウェルを同じく作業者の操作により画面上で指示する。すなわち、入力部５０は指示手段となっている。なお指示手段としては、この他にタッチパネル、ジョイスティック等を用いることができる。
【００２１】
次に図４を参照して微細物体の自動探索装置の処理機能について説明する。図４において、表示処理部５２、探索処理部５１、探索条件設定部５３、探索条件編集処理部５５、捕捉動作処理部５６、採取動作処理部５７は、ＣＰＵ４３によって実行される処理機能である。以下、上記処理機能の内容について説明する。
【００２２】
探索処理部５１は、カメラ１８によって撮像された画像データを画像処理して得られた視野内の各微細物体の情報に基づき、目的とする微細物体を特定する探索処理を行う。探索条件設定部５３は探索処理に用いられる探索条件を設定する。ここで探索条件とは、目的とする微細物体を特定する基準となる条件であり、基準画像として記憶された画像との一致度に基づくもの、寸法・形状・色彩に基づくもの、さらには視野内での微細物体の移動速度や軌跡などの運動パターンに基づいて設定される条件など、画像情報に基づいて設定可能な各種の探索条件が設定する。探索条件の設定は、入力部５０から直接入力する方法や、下記に説明する探索条件記憶部５４に記憶された探索条件を読み出す方法などによって行われる。
【００２３】
探索条件記憶部５４は、既に過去において用いられた探索条件や、探索条件編集処理部５５によって新たに編集された探索条件、入力部５０から入力された探索条件を記憶する。これらのデータは、ＲＡＭ４４、ＲＯＭ４５、ファイル装置４６によって記憶される。探索条件編集処理部５５は探索条件編集手段であり、目的とする微細物体を特定する探索条件を編集する。この編集は、探索条件を構成する要素項目、すなわち画像、色、形状、運動などの個別の条件を組み合わせることにより行われる。
【００２４】
捕捉動作処理部５６は、探索処理によって目的の微細物体として特定された微細物体に、第１のレーザ装置１１の赤外線レーザ光を照射することにより光学的にトラップする捕捉動作を行う。この捕捉動作は、走査光学系１３、第１のレーザ装置１１、第２のレーザ装置１２、第２のＸＹテーブル６を制御することによって行われる。
【００２５】
採取動作処理部５７は上記処理によって捕捉された微細物体を試料容器８からマイクロピペット２３を用いて採取し、採取された微細物体をマイクロプレート３４に分注する処理を行う。この採取動作は、第２のＸＹテーブル２４および分注コントローラ４２を制御することによって行われる。
【００２６】
前記探索条件設定処理や探索条件編集処理は、表示処理部５２によって表示モニタ４９に表示される画面上で行われるようになっている。以下この画面上での処理操作について図５、図６、図７を参照して説明する。図５に示す表示画面６０は、自動採取装置の起動時に表示モニタ４９に表示されるメインメニューを示すものである。表示画面６０内には、選択ボタン６１，６２，６３，６４が表示され、各選択ボタンを操作することにより、それぞれ自動運転、マニュアル操作、探索条件編集／設定およびファイル管理の選択を行うことができる。
【００２７】
選択ボタン６１により自動運転を選択すると、容器内の試料から目的とする微細物体を自動的に探索・捕捉・採取するモードが選択される。選択ボタン６２によりマニュアル操作を選択すると、前記各操作を表示モニタ４９に表示される微細物体の画像を観察しながらマニュアルにて行うモードが選択される。選択ボタン６３により探索条件編集／設定を選択すると、表示画面が図６、図７に示す編集設定画面に切り換わり、探索条件の編集や設定を行うことができる。選択ボタン６４によりファイル管理を選択すると、探索条件として記憶されている内容の確認や削除、再入力などのファイル管理作業を行うことができる。
【００２８】
次に図６を参照して探索条件設定処理について説明する。図６において表示画面６０は、探索条件設定／編集画面に切り換わっており、表示枠６５には既に登録され探索条件記憶部５４に記憶された探索条件が表示される。表示枠６５の表示欄６５ａ，６５ｂ，６５ｃ，６５ｄには、それぞれ当該探索処理において探索条件として設定されているか否かを示す設定マーク、探索条件に付される条件番号、探索対象の微細物体名を表わす条件名称および探索条件を構成する要素として用いられている項目を示す適用項目がそれぞれ表示される。
【００２９】
操作ボタン６６を操作すると、記憶された探索条件を順次読み出して新たなページとして表示させ、また既に表示されたページを再び表示させる。そして当該探索処理において探索条件として用いるべき探索条件を見出したならば、表示欄６５ａに設定マークを入力する。これによりその探索条件は当該探索処理時の探索条件として設定され、表示欄６４に設定件数としてカウントされる。
【００３０】
また、既に登録され記憶されている探索条件の他に新たな探索条件を登録する場合には、操作ボタン６８を操作して新規登録を選択する。これにより、表示画面上での新規登録が可能となる。操作ボタン６９を操作すると、メインメニュー画面（図５）に戻る。そして操作ボタン６７を選択することにより、図７に示す探索条件編集画面が表示される。
【００３１】
この探索条件編集処理は、過去に登録された探索条件を構成する要素としての要素項目を組み合わせて、または更に新たな要素項目を付加して新たな探索条件として編集するものである。図７は、図６に示す条件番号ＮＯ．００１の探索条件を編集した際の画面を例示している。編集に際しては、まず入力枠７０，７２にそれぞれ条件番号および条件名称を入力する。次に適用項目欄７３〜７７に示す色、形状、寸法、運動、画像の中から、探索条件を構成する要素として採用する項目を選択し、それぞれの欄に入力する。各適用項目欄には参照表示を選択する操作ボタンが設けられており（色入力欄７３の操作ボタン７３ａ参照）、参照表示を選択することにより、既に登録された要素条件の具体例が表示される。参照表示中に採用すべき該当する要素項目がある場合には、当該表示をクリックすることにより、新たな探索条件編集用の要素項目として入力される。
【００３２】
コメント欄７８には、当該探索条件に関する付記事項などを適宜入力する。図７に示す例では、適用項目のうち、色、寸法、画像のみが設定され、形状、運動については未設定であり、図６に示す条件番号００１と符合している。組合せ条件欄７９には、独立した探索条件として登録されている複数の探索条件を組み合わせて新たな探索条件を編集する場合に、該当する条件番号を入力する。例えば図６に示す条件番号００４は、既に登録された条件番号０１２および００８の論理積として構成されるものである。
【００３３】
このようにして、新たな探索条件が編集され、この探索条件を登録する場合には操作ボタン８０を操作して登録を選択する。これにより当該探索条件が登録されるとともに入力枠７１には登録日が自動入力される。そして操作ボタン８１を選択することにより、図６に示す表示画面に戻る。
【００３４】
なお、図７に示す探索条件編集画面を用いて新たな探索条件を編集する際に、既登録条件を部分的に変更することにより、新たな探索条件とすることもできる。すなわち、新たに設定しようとする探索条件の類似探索条件に該当する探索条件編集画面を表示させ、変更項目や追加項目のみを入力し、その後新しい条件番号を入力することにより、独立した新たな探索条件が登録される。
【００３５】
以上説明したように、探索処理に際して既に探索条件として使用され登録された条件に基づいて探索条件を設定することにより、反復して行われる探索操作時の探索条件の再現性を確保することができるとともに、複雑な探索条件の編集・設定作業を効率よく行うことができる。
【００３６】
次に、この微細物体の自動探索装置によって行われる自動探索および探索された微細物体の採取操作について図８および図９、図１０を参照して説明する。この自動採取処理は、図６に示すメインメニュー画面上で自動運転を選択することによりスタートする。これにより、表示モニタ４９には図８に示す画面が表示される。
【００３７】
図８において、表示画面６０には、撮像された微細物体９０の画像を表示する画像枠８５、画像枠８５内で自動探索される微細物体に関するデータの表示欄８６および探索され採取された微細物体が収容されるマイクロプレート８７およびウェル８７ａを示す画像が表示される。表示欄８６には、物体名称欄９６ａ、色、大きさ、運動の特徴データをそれぞれ示す適用項目欄８６ｂ，８６ｃ，８６ｄおよび当該微細物体が採取後に収容されるウェル番号を示す収容先欄８６ｅが設けられている。選択ボタン８８を操作すると探索操作を一時停止することができ、選択ボタン８９を選択することにより探索操作を中断することができる。
【００３８】
以下、図９、図１０のフローに沿って説明する。図２において、まず分注機構２５によって希釈液タンク３０から希釈液を吸入し、試料供給ピペット２１から吐出させて試料テーブル７上の試料容器８を洗浄する（ＳＴ１）。次いで、分注機構２５によって試料タンク２９から微細物体を含んだ試料を吸入し、試料供給ピペット２１から吐出させて試料容器８中に供給する（ＳＴ２）。
【００３９】
この後、カメラ１８により試料容器８中の液体を含んだ試料を撮像し（ＳＴ３）、得られた画像の中から探索条件に合致した微細物体のを画像処理により検出する探索処理を行う（ＳＴ４）。すなわち、試料の中から目的とする微細物体が図８に示すように色、大きさ、運動の特徴データおよび画像に基づいて特定される。ここで、探索対象とされた試料中に目的の微細物体を全く発見しないならば、最初のＳＴ１に戻り、新たな試料について同様の処理を繰り返す。
【００４０】
また目的とする微細物体が発見された場合には（ＳＴ５）、赤外線レーザ光線を微細物体に対して照射することにより、識別された目的の微細物体をレーザピンセットによって光圧でトラップして捕捉し、マイクロピペット２３の採取位置まで移送する（ＳＴ６）。 次に目的の微細物体を収容する所定のウェル、この例ではウェル番号２−１が分注ノズル３６の直下に位置するよう、第２のＸＹテーブル３２を駆動してマイクロプレート３４を位置決めする（ＳＴ７）。次いでＸＹＺテーブル２４を駆動してマイクロピペット２３の先端を採取位置へ移動し（ＳＴ８）、分注機構２５を駆動して、捕捉された目的の微細物体をマイクロピペット２３で吸引して採取し、所定のウェル３５（ウェル番号２−１）内に吐出して収容する（ＳＴ９）。
【００４１】
この後、必要な数の微細物体を採取したか否かが判断され（ＳＴ１０）、未採取であればＳＴ３に戻って以降のステップを繰り返し、また既に必要数の微細物体が採取済みであれば、試料テーブル７を再び洗浄して（ＳＴ１１）、採取処理を終了する。
【００４２】
【発明の効果】
本発明によれば、試料中の微細物体を撮像して得られた画像データに基づいて微細物体を探索する探索処理部と、探索条件を設定する探索条件設定部とを備えたので、過去に用いられ登録された探索条件に基づいて微細物体の探索条件を再現性よく設定することができ、探索結果の信頼性と探索条件設定作業の効率を向上させることができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態の微細物体の自動探索装置の斜視図
【図２】本発明の一実施の形態の微細物体の自動探索装置の側面図
【図３】本発明の一実施の形態の微細物体の自動探索装置の構成を示すブロック図
【図４】本発明の一実施の形態の微細物体の自動探索装置の処理機能を示す機能ブロック図
【図５】本発明の一実施の形態の微細物体の自動探索装置の表示画面を示す図
【図６】本発明の一実施の形態の微細物体の自動探索装置の表示画面を示す図
【図７】本発明の一実施の形態の微細物体の自動探索装置の表示画面を示す図
【図８】本発明の一実施の形態の微細物体の自動探索装置の表示画面を示す図
【図９】本発明の一実施の形態の微細物体の自動採取のフロー図
【図１０】本発明の一実施の形態の微細物体の自動採取のフロー図
【符号の説明】
８ 試料容器
１８ カメラ
４９ 表示モニタ
５０ 入力部
５１ 探索処理部
５２ 表示処理部
５３ 探索条件設定部
５４ 探索条件記憶部
５５ 探索条件編集処理部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an apparatus for automatically searching for microscopic objects such as microorganisms and animal and plant cells in a sample solution in the field of biochemistry and the like.
[0002]
[Prior art]
In the processes of various operations in the biochemical field and the like, an operation of searching for and identifying a specific minute object from a large number of minute objects such as microorganisms or animal and plant cells existing in a sample is performed. Heretofore, the search has been performed by a skilled expert by a manual method of observing and identifying a fine object within a visual field of a microscope. At the time of this search, a search condition serving as a reference for identification is used. However, in the conventional search operation, this search condition is not always clear and depends on the memory of an expert or refers to a sample photograph, so to speak. Shape search conditions were used.
[0003]
[Problems to be solved by the invention]
However, in the above-described conventional method, due to the fact that the search condition is not set in a clear form, even when the search is repeatedly performed for the same object, the repeatability of the set condition is lacking, and the reliability of the search result is low, The search was also very inefficient.
[0004]
Therefore, an object of the present invention is to provide an automatic search apparatus for a fine object that can easily set a search condition for a fine object with good reproducibility and improve the reliability and efficiency of a search operation.
[0005]
[Means for Solving the Problems]
2. The micro object automatic search apparatus according to claim 1, wherein the micro object specifies a search target micro object that matches a preset search condition based on image data obtained by imaging the micro object in the sample. Automatic search device, imaging means for imaging a fine object in the sample, a search processing unit for searching for a fine object based on image data obtained by imaging, a search condition setting unit for setting the search conditions A search condition storage unit for storing search conditions, a display unit for displaying data relating to a captured image and search conditions, and the search based on search conditions already used in the past and registered in the search condition storage unit. Search condition editing means for editing conditions on the screen of the display means .
[0007]
BEST MODE FOR CARRYING OUT THE INVENTION
Next, embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a perspective view of an apparatus for automatically searching for a minute object according to an embodiment of the present invention, FIG. 2 is a side view of the apparatus for automatically searching for a minute object, and FIG. FIGS. 4 and 5 are functional block diagrams showing processing functions of the apparatus for automatically searching for microscopic objects, and FIGS. 5, 6, 7, and 8 show display screens of the apparatus for automatically searching for microscopic objects. FIG. 10 is a flowchart of the automatic collection of the fine object.
[0008]
First, the structure of an automatic sampling device in which an automatic searching device for a fine object is incorporated will be described with reference to FIGS. In FIG. 1, the apparatus for automatically collecting a fine object includes a main body 2 provided on a base 1 and a personal computer 3 for control. The main body 2 is configured by arranging the following components in a cover case 2a.
[0009]
A base 5 is provided inside the cover case 2a. A side frame 5a is provided upright at an end of the base 5, and an upper frame 5b is fixed to an upper portion of the side frame 5a. A first XY table 6 is provided on the side surface of the side frame 5a, and a sample table 7 having a light-transmitting property is mounted on the first XY table 6. The sample table 7 supports a translucent sample container 8 containing a liquid sample containing microscopic objects such as microorganisms and animal and plant cells.
[0010]
A transmission illumination 9 (first illumination unit) is provided on the upper frame 5b, and the transmission illumination 9 irradiates the illumination light reflected by the mirror 14 onto the sample container 8. An objective lens 19 and a camera 18 are provided on the bottom of the base 5 below the sample container 8. The camera 18 captures an image of a fine object in the sample container 8 through the objective lens 19. A fluorescent lamp 10 (second lighting unit) is provided on a side of the base 5, and the fluorescent lamp 10 irradiates illumination light from below the sample container 8 via a half mirror 15. The camera 18 captures an image of the sample container 8 illuminated by the transmitted light 9 or the fluorescent light 10.
[0011]
An infrared laser light source 11 (first laser device) and an ultraviolet laser light source 12 (second laser device) are disposed on the side of the base 5. The infrared laser light emitted from the infrared laser light source 11 is reflected upward by the half mirror 17 via the scanning optical system 13, condensed by the objective lens 19, and enters the sample container 8 from below. By driving the scanning optical system 13, the irradiation position of the infrared laser light moves in the sample container 8 in the horizontal direction. Therefore, the scanning optical system 13 serves as a laser beam moving unit. Instead of using the scanning optical system 13, the first XY table 6 may be driven to move the infrared laser light relatively to the sample container 8 in the horizontal direction. In this case, the first XY table 6 serves as a laser beam moving unit.
[0012]
By irradiating a fine object in the sample liquid of the sample container 8 with the infrared laser light, the fine object is trapped and captured by the light pressure of the infrared laser light. By scanning the infrared laser beam by the scanning optical system 13 (or by driving the first XY table), the infrared laser beam condensed by the objective lens 19 on the minute object to be captured in the sample container 8 is irradiated. It can be irradiated and trapped, and can be moved to any position without contact. The infrared laser light source 11 and the objective lens 19 are so-called laser tweezers for trapping a fine object with laser light, and serve as a capturing unit for capturing the fine object.
[0013]
The ultraviolet laser light emitted from the ultraviolet laser light source 12 is reflected by the half mirror 16 and is incident on the sample container 8 from below while being collected by the objective lens 19. The ultraviolet laser light is suitable for a processing application in which a fine object in a sample is locally destroyed, and processing such as cutting of the fine object can be performed by irradiating the ultraviolet laser light to the fine object to be processed. The ultraviolet laser light source 12 is a processing means.
[0014]
Above the sample container 8, a sample supply pipette 21 is guided, and the sample supply pipette 21 is movable by an XYZ table 22. The sample supply pipette 21 is connected to a dispensing mechanism 25, and a sample tank 29, a diluent tank 30 for cleaning, and a waste liquid tank 31 are connected to the dispensing mechanism 25 via pipes 26, 27, 28. I have. By using the suction / discharge mechanism of the dispensing mechanism 25, the sample and the diluent sucked from the sample tank 29 and the diluent tank 30 are selectively discharged from the tip of the sample supply pipette 21 to the sample container 8. The excess sample remaining in the sample container 8 after the test and the diluent used for washing are sucked by the dispensing mechanism 25 and collected in the waste liquid tank 31.
[0015]
In the vicinity of the sample container 8, a micropipette 23 for collection movable by an XYZ table 24 is disposed in such a manner that the suction port at the tip thereof enters the liquid in the sample container 8. The micropipette 23 is connected to the dispensing mechanism 25, and by using the suction / discharge function of the dispensing mechanism 25, a microscopic object contained in the sample in the sample container 8 and located near the suction port of the micropipette 23 is removed. It can be sucked / transferred, discharged from the tip of the dispensing nozzle 36, and collected in a container. Therefore, the micropipette 23, the dispensing mechanism 25, and the dispensing nozzle 36 are a sampling unit for sampling a fine object.
[0016]
Below the dispensing mechanism 25, a second XY table 32 is provided. On the second XY table 32, a plate holder 33 serving as a microplate support is mounted. On the upper surface of the plate holder 33, a microplate 34 having a well 35 serving as a container for a plurality of fine objects is mounted. Is placed. By driving the second XY table 32 and horizontally moving the microplate 34 located immediately below the dispensing nozzle 36, a fine object discharged from the dispensing nozzle 36 can be accommodated in an arbitrary well 35. it can.
[0017]
Next, with reference to FIG. 3, the configuration of a control system of the device for operating a fine object will be described. The camera 18, the first illuminator 9, and the second illuminator 10 image a fine object in the sample container 8 according to an instruction from the CPU 43.
[0018]
The dispensing controller 41 controls the operation of the dispensing mechanism 25. The scanning optical system controller 42 moves the trapping infrared laser light within the sample container 8 by controlling the scanning optical system 13. The CPU 43 is a control unit, and executes various processes and calculations based on programs and data stored in the RAM 44, the ROM 45, and the file device 46, which are storage units. The RAM 44 is a memory for temporarily storing data when the CPU 43 performs a processing operation. The ROM 45 stores programs necessary for various processes and operations.
[0019]
The file device 46 stores programs and various kinds of data, for example, images of fine objects captured by the camera 18 and classification results of these fine objects. The storage medium drive 47 writes and reads necessary programs and data to and from an external storage medium. The external storage medium 48 is a storage medium such as a floppy disk, and is used for data storage. The display monitor 49 is a display device, and displays a screen at the time of operation and input, and displays an image of a captured fine object.
[0020]
The input unit 50 is a pointing device such as a keyboard and a mouse. The input unit 50 is used to input operation commands and data. The input unit 50 also indicates an object to be collected from a fine object displayed on the display monitor 49 by an operator's operation. The well of the microplate in which the object is stored is indicated on the screen by the operation of the operator. That is, the input unit 50 is an instruction unit. In addition, a touch panel, a joystick, or the like can be used as the instruction means.
[0021]
Next, referring to FIG. 4, a processing function of the automatic search apparatus for a fine object will be described. 4, a display processing unit 52, a search processing unit 51, a search condition setting unit 53, a search condition editing processing unit 55, a capture operation processing unit 56, and a collection operation processing unit 57 are processing functions executed by the CPU 43. Hereinafter, the contents of the processing functions will be described.
[0022]
The search processing unit 51 performs a search process for specifying a target fine object based on information on each fine object in the field of view obtained by performing image processing on image data captured by the camera 18. The search condition setting unit 53 sets a search condition used for the search process. Here, the search condition is a condition serving as a reference for specifying a target fine object, based on a degree of coincidence with an image stored as a reference image, based on dimensions, shape, and color, and further within a visual field. Various search conditions that can be set based on image information are set, such as conditions set based on a movement pattern such as a moving speed and a trajectory of a fine object. The setting of the search condition is performed by a method of directly inputting from the input unit 50 or a method of reading out the search condition stored in the search condition storage unit 54 described below.
[0023]
The search condition storage unit 54 stores search conditions already used in the past, search conditions newly edited by the search condition editing processing unit 55, and search conditions input from the input unit 50. These data are stored in the RAM 44, the ROM 45, and the file device 46. The search condition editing processing unit 55 is a search condition editing unit, and edits a search condition for specifying a target fine object. This editing is performed by combining element items constituting the search condition, that is, individual conditions such as an image, a color, a shape, and a motion.
[0024]
The capturing operation processing unit 56 performs a capturing operation of optically trapping by irradiating an infrared laser beam of the first laser device 11 to the fine object specified as the target fine object by the search processing. This capturing operation is performed by controlling the scanning optical system 13, the first laser device 11, the second laser device 12, and the second XY table 6.
[0025]
The collection operation processing unit 57 performs a process of collecting the fine object captured by the above process from the sample container 8 using the micropipette 23 and dispensing the collected fine object to the microplate 34. This sampling operation is performed by controlling the second XY table 24 and the dispensing controller 42.
[0026]
The search condition setting processing and the search condition editing processing are performed on a screen displayed on the display monitor 49 by the display processing unit 52. Hereinafter, the processing operation on this screen will be described with reference to FIGS. 5, 6, and 7. FIG. The display screen 60 shown in FIG. 5 shows a main menu displayed on the display monitor 49 when the automatic sampling device is started. In the display screen 60, selection buttons 61, 62, 63, and 64 are displayed. By operating the selection buttons, automatic operation, manual operation, search condition editing / setting, and file management can be respectively selected. it can.
[0027]
When the automatic operation is selected by the selection button 61, a mode for automatically searching, capturing, and collecting a target fine object from the sample in the container is selected. When a manual operation is selected by the selection button 62, a mode in which each of the above operations is performed manually while observing an image of a fine object displayed on the display monitor 49 is selected. When the search condition editing / setting is selected by the selection button 63, the display screen is switched to the editing setting screen shown in FIGS. 6 and 7, and the editing and setting of the search condition can be performed. When file management is selected by the selection button 64, file management operations such as confirmation, deletion, and re-input of contents stored as search conditions can be performed.
[0028]
Next, a search condition setting process will be described with reference to FIG. In FIG. 6, the display screen 60 has been switched to a search condition setting / editing screen, and the search conditions already registered and stored in the search condition storage unit 54 are displayed in the display frame 65. In the display fields 65a, 65b, 65c, 65d of the display frame 65, a setting mark indicating whether or not a search condition has been set in the search processing, a condition number assigned to the search condition, and a name of a fine object to be searched And an application item indicating an item used as an element constituting the search condition are displayed.
[0029]
When the operation button 66 is operated, the stored search conditions are sequentially read out and displayed as a new page, and the already displayed page is displayed again. When a search condition to be used as a search condition is found in the search process, a setting mark is input to the display field 65a. As a result, the search condition is set as a search condition at the time of the search processing, and is counted as the set number in the display column 64.
[0030]
When registering a new search condition in addition to the already registered and stored search condition, the operation button 68 is operated to select a new registration. This enables new registration on the display screen. Operating the operation button 69 returns to the main menu screen (FIG. 5). Then, by selecting the operation button 67, a search condition editing screen shown in FIG. 7 is displayed.
[0031]
This search condition editing process is to edit as a new search condition by combining element items as elements constituting a search condition registered in the past or adding a new element item. FIG. 7 shows the condition number NO. 9 illustrates a screen when a search condition of 001 is edited. At the time of editing, first, condition numbers and condition names are input into input frames 70 and 72, respectively. Next, from among the colors, shapes, dimensions, motions, and images shown in the application item columns 73 to 77, the items to be adopted as the elements constituting the search condition are selected and input in the respective columns. An operation button for selecting a reference display is provided in each applicable item column (see the operation button 73a in the color input column 73), and by selecting the reference display, a specific example of an element condition already registered is displayed. You. If there is a corresponding element item to be adopted during the reference display, by clicking the display, it is input as a new search condition editing element item.
[0032]
In the comment column 78, additional items related to the search condition are appropriately input. In the example shown in FIG. 7, among the application items, only the color, the size, and the image are set, and the shape and the movement are not set, and match the condition number 001 shown in FIG. In the combination condition column 79, when a new search condition is edited by combining a plurality of search conditions registered as independent search conditions, a corresponding condition number is input. For example, the condition number 004 shown in FIG. 6 is configured as a logical product of the already registered condition numbers 012 and 008.
[0033]
In this way, a new search condition is edited, and when registering this search condition, the operation button 80 is operated to select registration. As a result, the search condition is registered, and the registration date is automatically input in the input frame 71. Then, by selecting the operation button 81, the display returns to the display screen shown in FIG.
[0034]
When a new search condition is edited using the search condition editing screen shown in FIG. 7, a new search condition can be obtained by partially changing the registered condition. That is, a search condition edit screen corresponding to a search condition similar to the search condition to be newly set is displayed, and only a change item or an additional item is input, and then a new condition number is input. The condition is registered.
[0035]
As described above, by setting a search condition based on a condition already used and registered as a search condition in the search process, reproducibility of the search condition at the time of a search operation performed repeatedly can be ensured. At the same time, it is possible to efficiently edit and set complicated search conditions.
[0036]
Next, an automatic search performed by the automatic search apparatus for fine objects and an operation of collecting the searched fine objects will be described with reference to FIGS. 8, 9, and 10. FIG. This automatic sampling process is started by selecting automatic operation on the main menu screen shown in FIG. As a result, the screen shown in FIG. 8 is displayed on the display monitor 49.
[0037]
In FIG. 8, a display screen 60 includes an image frame 85 for displaying an image of the captured fine object 90, a display column 86 for data relating to the fine object automatically searched in the image frame 85, and a fine object searched and collected. Is displayed showing the microplate 87 and the wells 87a in which are stored. The display column 86 includes an object name column 96a, application item columns 86b, 86c, and 86d respectively indicating color, size, and motion characteristic data, and a storage destination column 86e indicating a well number in which the microscopic object is stored after collection. Is provided. By operating the selection button 88, the search operation can be temporarily stopped, and by selecting the selection button 89, the search operation can be interrupted.
[0038]
Hereinafter, description will be given along the flowcharts of FIGS. In FIG. 2, first, the diluting liquid is sucked from the diluting liquid tank 30 by the dispensing mechanism 25 and discharged from the sample supply pipette 21 to wash the sample container 8 on the sample table 7 (ST1). Next, the sample including the fine object is sucked from the sample tank 29 by the dispensing mechanism 25, discharged from the sample supply pipette 21, and supplied into the sample container 8 (ST2).
[0039]
Thereafter, the camera 18 captures an image of the sample containing the liquid in the sample container 8 (ST3), and performs a search process of detecting a fine object that matches the search condition from the obtained image by image processing (ST4). ). That is, the target fine object is specified from the sample based on the color, size, and motion characteristic data and the image as shown in FIG. Here, if no target fine object is found in the sample to be searched, the process returns to the first step ST1 and the same processing is repeated for a new sample.
[0040]
When a target fine object is found (ST5), an infrared laser beam is applied to the fine object to trap and capture the identified target fine object by laser pressure using laser tweezers. Then, the micropipette 23 is transferred to the collection position (ST6). Next, the second XY table 32 is driven to position the microplate 34 so that a predetermined well containing the target fine object, in this example, the well number 2-1 is located immediately below the dispensing nozzle 36 ( ST7). Next, the XYZ table 24 is driven to move the tip of the micropipette 23 to the collection position (ST8), and the dispensing mechanism 25 is driven to suck and collect the captured target fine object with the micropipette 23. It is discharged and accommodated in a predetermined well 35 (well number 2-1) (ST9).
[0041]
Thereafter, it is determined whether or not a required number of fine objects have been collected (ST10). If not, return to ST3 and repeat the subsequent steps. Then, the sample table 7 is washed again (ST11), and the collection process is terminated.
[0042]
【The invention's effect】
According to the present invention, a search processing unit that searches for a fine object based on image data obtained by imaging a fine object in a sample, and a search condition setting unit that sets a search condition are provided. The search condition of the fine object can be set with good reproducibility based on the used and registered search condition, and the reliability of the search result and the efficiency of the search condition setting operation can be improved.
[Brief description of the drawings]
FIG. 1 is a perspective view of an apparatus for automatically searching for a fine object according to one embodiment of the present invention; FIG. 2 is a side view of the apparatus for automatically searching for a fine object according to one embodiment of the present invention; FIG. 4 is a block diagram illustrating a configuration of an automatic searching apparatus for a fine object according to an embodiment; FIG. 4 is a functional block diagram illustrating a processing function of the automatic searching apparatus for a fine object according to an embodiment of the present invention; FIG. 6 is a diagram showing a display screen of the apparatus for automatically searching for a fine object according to the embodiment. FIG. 6 is a diagram showing a display screen of the apparatus for automatically searching for a fine object according to one embodiment of the present invention. FIG. 8 is a diagram showing a display screen of the automatic search device for fine objects of the form. FIG. 8 is a diagram showing a display screen of the automatic search device for fine objects of one embodiment of the present invention. FIG. 10 is a flowchart of automatic collection of a fine object. Low view DESCRIPTION OF SYMBOLS
8 Sample container 18 Camera 49 Display monitor 50 Input unit 51 Search processing unit 52 Display processing unit 53 Search condition setting unit 54 Search condition storage unit 55 Search condition editing processing unit
