JP3582390B2

JP3582390B2 - 微細物体の自動探索装置

Info

Publication number: JP3582390B2
Application number: JP00664899A
Authority: JP
Inventors: 貴之畑瀬
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 1999-01-13
Filing date: 1999-01-13
Publication date: 2004-10-27
Anticipated expiration: 2019-01-13
Also published as: JP2000206009A

Description

【０００１】
【発明の属する技術分野】
本発明は、生化学分野等において試料溶液中の微生物や動植物細胞などの微細物体を自動的に探索する微細物体の自動探索装置に関するものである。
【０００２】
【従来の技術】
生化学分野等における各種操作のプロセスでは、試料中に存在する多数の微生物または動植物細胞等の微細物体の中から、特定の微細物体を探索・識別する操作が行われる。従来は熟練した専門家が、顕微鏡視野内にて微細物体を観察・識別するという手作業的な方法によって探索が行われていた。この探索時には、識別の基準となる探索条件が用いられるが、従来の探索操作においてはこの探索条件は必ずしも明確でなく、専門家の記憶に依存するかまたはサンプル写真を参照するなど、いわばあいまいな形の探索条件が用いられていた。
【０００３】
【発明が解決しようとする課題】
しかしながら上記従来の方法では、探索条件が明確な形で設定されないことに起因して、同一対象について探索を繰り返して行う場合においても設定条件の再現性に欠け、探索結果の信頼性が低いとともに、探索作業の効率もきわめて悪いものであった。
【０００４】
そこで本発明は、微細物体の探索条件を容易に再現性よく設定することができ、探索作業の信頼性と効率を向上させることができる微細物体の自動探索装置を提供することを目的とする。
【０００５】
【課題を解決するための手段】
請求項１記載の微細物体の自動探索装置は、試料中の微細物体を撮像して得られた画像データに基づいて、予め設定された探索条件に合致した探索目的の微細物体を特定する微細物体の自動探索装置であって、試料中の微細物体を撮像する撮像手段と、撮像で得られた画像データに基づいて微細物体を探索する探索処理部と、前記探索条件を設定する探索条件設定部と、探索条件を記憶する探索条件記憶部と、撮像された画像や探索条件に関するデータを表示する表示手段と、既に過去において用いられ前記探索条件記憶部に登録された探索条件に基づいて前記探索条件を前記表示手段の画面上で編集する探索条件編集手段とを備えた。
【０００７】
【発明の実施の形態】
次に本発明の実施の形態を図面を参照して説明する。図１は本発明の一実施の形態の微細物体の自動探索装置の斜視図、図２は同微細物体の自動探索装置の側面図、図３は同微細物体の自動探索装置の構成を示すブロック図、図４は同微細物体の自動探索装置の処理機能を示す機能ブロック図、図５、図６、図７、図８は同微細物体の自動探索装置の表示画面を示す図、図９、図１０は同微細物体の自動採取のフロー図である。
【０００８】
まず図１、図２を参照して微細物体の自動探索装置が組み込まれた自動採取装置の構造について説明する。図１において微細物体の自動採取装置は、基台１上に設けられた本体部２および制御用のパソコン３から構成されている。本体部２はカバーケース２ａ内に以下に説明する各部を配置して構成されている。
【０００９】
カバーケース２ａの内部には基台５が配設されている。基台５の端部にはサイドフレーム５ａが立設されており、サイドフレーム５ａの上部には上部フレーム５ｂが固着されている。サイドフレーム５ａの側面には、第１のＸＹテーブル６が配設されており、第１のＸＹテーブル６には透光性を有する試料テーブル７が装着されている。試料テーブル７は、微生物や動植物細胞などの微細物体を含んだ液状試料を入れた透光性を有する試料容器８を支持している。
【００１０】
上部フレーム５ｂには透過照明９（第１の照明部）が配設されており、透過照明９は、ミラー１４で反射された照明光を試料容器８上に照射する。試料容器８の下方の基台５の底部には対物レンズ１９とカメラ１８が配設されている。カメラ１８は対物レンズ１９を通して試料容器８内の微細物体を撮像する。また基台５の側部には蛍光照明１０（第２の照明部）が配設されており、蛍光照明１０はハーフミラー１５を介して試料容器８の下方から照明光を照射する。カメラ１８は、透過照明９または蛍光照明１０によって照明された試料容器８を撮像する。
【００１１】
基台５の側部には、赤外線レーザ光源１１（第１のレーザ装置）および紫外線レーザ光源１２（第２のレーザ装置）が配設されている。赤外線レーザ光源１１から照射された赤外線レーザ光は走査光学系１３を経てハーフミラー１７によって上方に反射され、対物レンズ１９で集光されて試料容器８に下方から入射する。走査光学系１３を駆動することにより、赤外線レーザ光の照射位置は試料容器８中で水平方向に移動する。したがって、走査光学系１３はレーザ光移動手段となっている。なお、走査光学系１３を用いる代わりに、第１のＸＹテーブル６を駆動することにより、赤外線レーザ光を試料容器８に対して水平方向に相対的に移動させるようにしても良い。この場合には、第１のＸＹテーブル６がレーザ光移動手段となる。
【００１２】
試料容器８の試料液体中の微細物体に赤外線レーザ光を照射することにより、微細物体は赤外線レーザ光の光圧によりトラップされ、捕捉される。走査光学系１３によって（または第１のＸＹテーブルを駆動することにより）赤外線レーザ光を走査させることにより、試料容器８内の捕捉対象の微細物体に対物レンズ１９によって集光された赤外線レーザ光を照射してこれをトラップし、非接触にて任意の位置に移動させることができる。赤外線レーザ光源１１および対物レンズ１９は、微細物体をレーザ光によってトラップするいわゆるレーザピンセットであり、微細物体を捕捉する捕捉手段となっている。
【００１３】
紫外線レーザ光源１２から照射された紫外線レーザ光はハーフミラー１６によって反射され、対物レンズ１９で集光されながら試料容器８に下方から入射する。この紫外線レーザ光は試料中の微細物体を局部的に破壊する加工用途に適しており、紫外線レーザ光を加工対象の微細物体に照射することにより微細物体の切断などの加工を行うことができる。紫外線レーザ光源１２は加工手段となっている。
【００１４】
試料容器８の上方には、試料供給ピペット２１が導設されており、試料供給ピペット２１はＸＹＺテーブル２２によって移動可能となっている。試料供給ピペット２１は、分注機構２５に接続されており、分注機構２５には配管２６，２７，２８を介して試料タンク２９、洗浄用の希釈液タンク３０、廃液タンク３１が接続されている。分注機構２５の吸入・吐出機構を用いることにより、試料タンク２９および希釈液タンク３０から吸入した試料、希釈液を、試料供給ピペット２１の先端から選択的に試料容器８に吐出する。試験後に試料容器８に残存する余分の試料や洗浄に用いられた後の希釈液は、分注機構２５により吸引されて廃液タンク３１に回収される。
【００１５】
試料容器８の近傍には、ＸＹＺテーブル２４によって移動可能な採取用のマイクロピペット２３が、先端の吸入口を試料容器８の液体中に浸入させる姿勢で配設されている。マイクロピペット２３は分注機構２５に接続されており、分注機構２５の吸入・吐出機能を用いることにより、試料容器８中の試料に含まれマイクロピペット２３の吸入口近傍に位置する微細物体を吸入・移送し、分注ノズル３６の先端部から吐出して容器に採取することができる。したがって、マイクロピペット２３、分注機構２５および分注ノズル３６は微細物体を採取する採取手段となっている。
【００１６】
分注機構２５の下方には、第２のＸＹテーブル３２が配設されている。第２のＸＹテーブル３２上にはマイクロプレート支持部であるプレートホルダ３３が装着されており、プレートホルダ３３の上面には、複数の微細物体の容器であるウェル３５を備えたマイクロプレート３４が載置されている。第２のＸＹテーブル３２を駆動して、分注ノズル３６の直下に位置するマイクロプレート３４を水平移動させることにより、任意のウェル３５に分注ノズル３６から吐出される微細物体を収容することができる。
【００１７】
次に図３を参照して、微細物体の操作装置の制御系の構成を説明する。カメラ１８、第１の照明部９および第２の照明部１０は、ＣＰＵ４３の指示に従って試料容器８内の微細物体を撮像する。
【００１８】
分注コントローラ４１は、分注機構２５の動作を制御する。走査光学系コントローラ４２は走査光学系１３を制御することにより、トラップ用の赤外線レーザ光を試料容器８内で移動させる。ＣＰＵ４３は制御手段であり、記憶手段であるＲＡＭ４４、ＲＯＭ４５、ファイル装置４６に格納されたプログラムやデータに基づいて各種の処理や演算を実行する。ＲＡＭ４４はＣＰＵ４３の処理演算時にデータを一時的に格納するためのメモリである。ＲＯＭ４５は、各種の処理や動作に必要なプログラムを記憶する。
【００１９】
ファイル装置４６は、プログラムや各種のデータ、例えばカメラ１８で撮像された微細物体の画像や、これらの微細物体の分類結果などを格納する。記憶媒体ドライブ装置４７は、必要なプログラムやデータの外部記憶媒体への書き込み・読み取りを行う。外部記憶媒体４８はフロッピーディスクなどの記憶媒体であり、データ保管用として用いられる。表示モニタ４９は表示装置であり、操作・入力時の画面表示や、撮像された微細物体の画像を表示する。
【００２０】
入力部５０はキーボードやマウスなどのポインティングデバイスであり、操作コマンドやデータの入力を行うほか、表示モニタ４９に表示された微細物体の中から採取対象を作業者の操作により指示するとともに、この微細物体が収容されるマイクロプレートのウェルを同じく作業者の操作により画面上で指示する。すなわち、入力部５０は指示手段となっている。なお指示手段としては、この他にタッチパネル、ジョイスティック等を用いることができる。
【００２１】
次に図４を参照して微細物体の自動探索装置の処理機能について説明する。図４において、表示処理部５２、探索処理部５１、探索条件設定部５３、探索条件編集処理部５５、捕捉動作処理部５６、採取動作処理部５７は、ＣＰＵ４３によって実行される処理機能である。以下、上記処理機能の内容について説明する。
【００２２】
探索処理部５１は、カメラ１８によって撮像された画像データを画像処理して得られた視野内の各微細物体の情報に基づき、目的とする微細物体を特定する探索処理を行う。探索条件設定部５３は探索処理に用いられる探索条件を設定する。ここで探索条件とは、目的とする微細物体を特定する基準となる条件であり、基準画像として記憶された画像との一致度に基づくもの、寸法・形状・色彩に基づくもの、さらには視野内での微細物体の移動速度や軌跡などの運動パターンに基づいて設定される条件など、画像情報に基づいて設定可能な各種の探索条件が設定する。探索条件の設定は、入力部５０から直接入力する方法や、下記に説明する探索条件記憶部５４に記憶された探索条件を読み出す方法などによって行われる。
【００２３】
探索条件記憶部５４は、既に過去において用いられた探索条件や、探索条件編集処理部５５によって新たに編集された探索条件、入力部５０から入力された探索条件を記憶する。これらのデータは、ＲＡＭ４４、ＲＯＭ４５、ファイル装置４６によって記憶される。探索条件編集処理部５５は探索条件編集手段であり、目的とする微細物体を特定する探索条件を編集する。この編集は、探索条件を構成する要素項目、すなわち画像、色、形状、運動などの個別の条件を組み合わせることにより行われる。
【００２４】
捕捉動作処理部５６は、探索処理によって目的の微細物体として特定された微細物体に、第１のレーザ装置１１の赤外線レーザ光を照射することにより光学的にトラップする捕捉動作を行う。この捕捉動作は、走査光学系１３、第１のレーザ装置１１、第２のレーザ装置１２、第２のＸＹテーブル６を制御することによって行われる。
【００２５】
採取動作処理部５７は上記処理によって捕捉された微細物体を試料容器８からマイクロピペット２３を用いて採取し、採取された微細物体をマイクロプレート３４に分注する処理を行う。この採取動作は、第２のＸＹテーブル２４および分注コントローラ４２を制御することによって行われる。
【００２６】
前記探索条件設定処理や探索条件編集処理は、表示処理部５２によって表示モニタ４９に表示される画面上で行われるようになっている。以下この画面上での処理操作について図５、図６、図７を参照して説明する。図５に示す表示画面６０は、自動採取装置の起動時に表示モニタ４９に表示されるメインメニューを示すものである。表示画面６０内には、選択ボタン６１，６２，６３，６４が表示され、各選択ボタンを操作することにより、それぞれ自動運転、マニュアル操作、探索条件編集／設定およびファイル管理の選択を行うことができる。
【００２７】
選択ボタン６１により自動運転を選択すると、容器内の試料から目的とする微細物体を自動的に探索・捕捉・採取するモードが選択される。選択ボタン６２によりマニュアル操作を選択すると、前記各操作を表示モニタ４９に表示される微細物体の画像を観察しながらマニュアルにて行うモードが選択される。選択ボタン６３により探索条件編集／設定を選択すると、表示画面が図６、図７に示す編集設定画面に切り換わり、探索条件の編集や設定を行うことができる。選択ボタン６４によりファイル管理を選択すると、探索条件として記憶されている内容の確認や削除、再入力などのファイル管理作業を行うことができる。
【００２８】
次に図６を参照して探索条件設定処理について説明する。図６において表示画面６０は、探索条件設定／編集画面に切り換わっており、表示枠６５には既に登録され探索条件記憶部５４に記憶された探索条件が表示される。表示枠６５の表示欄６５ａ，６５ｂ，６５ｃ，６５ｄには、それぞれ当該探索処理において探索条件として設定されているか否かを示す設定マーク、探索条件に付される条件番号、探索対象の微細物体名を表わす条件名称および探索条件を構成する要素として用いられている項目を示す適用項目がそれぞれ表示される。
【００２９】
操作ボタン６６を操作すると、記憶された探索条件を順次読み出して新たなページとして表示させ、また既に表示されたページを再び表示させる。そして当該探索処理において探索条件として用いるべき探索条件を見出したならば、表示欄６５ａに設定マークを入力する。これによりその探索条件は当該探索処理時の探索条件として設定され、表示欄６４に設定件数としてカウントされる。
【００３０】
また、既に登録され記憶されている探索条件の他に新たな探索条件を登録する場合には、操作ボタン６８を操作して新規登録を選択する。これにより、表示画面上での新規登録が可能となる。操作ボタン６９を操作すると、メインメニュー画面（図５）に戻る。そして操作ボタン６７を選択することにより、図７に示す探索条件編集画面が表示される。
【００３１】
この探索条件編集処理は、過去に登録された探索条件を構成する要素としての要素項目を組み合わせて、または更に新たな要素項目を付加して新たな探索条件として編集するものである。図７は、図６に示す条件番号ＮＯ．００１の探索条件を編集した際の画面を例示している。編集に際しては、まず入力枠７０，７２にそれぞれ条件番号および条件名称を入力する。次に適用項目欄７３〜７７に示す色、形状、寸法、運動、画像の中から、探索条件を構成する要素として採用する項目を選択し、それぞれの欄に入力する。各適用項目欄には参照表示を選択する操作ボタンが設けられており（色入力欄７３の操作ボタン７３ａ参照）、参照表示を選択することにより、既に登録された要素条件の具体例が表示される。参照表示中に採用すべき該当する要素項目がある場合には、当該表示をクリックすることにより、新たな探索条件編集用の要素項目として入力される。
【００３２】
コメント欄７８には、当該探索条件に関する付記事項などを適宜入力する。図７に示す例では、適用項目のうち、色、寸法、画像のみが設定され、形状、運動については未設定であり、図６に示す条件番号００１と符合している。組合せ条件欄７９には、独立した探索条件として登録されている複数の探索条件を組み合わせて新たな探索条件を編集する場合に、該当する条件番号を入力する。例えば図６に示す条件番号００４は、既に登録された条件番号０１２および００８の論理積として構成されるものである。
【００３３】
このようにして、新たな探索条件が編集され、この探索条件を登録する場合には操作ボタン８０を操作して登録を選択する。これにより当該探索条件が登録されるとともに入力枠７１には登録日が自動入力される。そして操作ボタン８１を選択することにより、図６に示す表示画面に戻る。
【００３４】
なお、図７に示す探索条件編集画面を用いて新たな探索条件を編集する際に、既登録条件を部分的に変更することにより、新たな探索条件とすることもできる。すなわち、新たに設定しようとする探索条件の類似探索条件に該当する探索条件編集画面を表示させ、変更項目や追加項目のみを入力し、その後新しい条件番号を入力することにより、独立した新たな探索条件が登録される。
【００３５】
以上説明したように、探索処理に際して既に探索条件として使用され登録された条件に基づいて探索条件を設定することにより、反復して行われる探索操作時の探索条件の再現性を確保することができるとともに、複雑な探索条件の編集・設定作業を効率よく行うことができる。
【００３６】
次に、この微細物体の自動探索装置によって行われる自動探索および探索された微細物体の採取操作について図８および図９、図１０を参照して説明する。この自動採取処理は、図６に示すメインメニュー画面上で自動運転を選択することによりスタートする。これにより、表示モニタ４９には図８に示す画面が表示される。
【００３７】
図８において、表示画面６０には、撮像された微細物体９０の画像を表示する画像枠８５、画像枠８５内で自動探索される微細物体に関するデータの表示欄８６および探索され採取された微細物体が収容されるマイクロプレート８７およびウェル８７ａを示す画像が表示される。表示欄８６には、物体名称欄９６ａ、色、大きさ、運動の特徴データをそれぞれ示す適用項目欄８６ｂ，８６ｃ，８６ｄおよび当該微細物体が採取後に収容されるウェル番号を示す収容先欄８６ｅが設けられている。選択ボタン８８を操作すると探索操作を一時停止することができ、選択ボタン８９を選択することにより探索操作を中断することができる。
【００３８】
以下、図９、図１０のフローに沿って説明する。図２において、まず分注機構２５によって希釈液タンク３０から希釈液を吸入し、試料供給ピペット２１から吐出させて試料テーブル７上の試料容器８を洗浄する（ＳＴ１）。次いで、分注機構２５によって試料タンク２９から微細物体を含んだ試料を吸入し、試料供給ピペット２１から吐出させて試料容器８中に供給する（ＳＴ２）。
【００３９】
この後、カメラ１８により試料容器８中の液体を含んだ試料を撮像し（ＳＴ３）、得られた画像の中から探索条件に合致した微細物体のを画像処理により検出する探索処理を行う（ＳＴ４）。すなわち、試料の中から目的とする微細物体が図８に示すように色、大きさ、運動の特徴データおよび画像に基づいて特定される。ここで、探索対象とされた試料中に目的の微細物体を全く発見しないならば、最初のＳＴ１に戻り、新たな試料について同様の処理を繰り返す。
【００４０】
また目的とする微細物体が発見された場合には（ＳＴ５）、赤外線レーザ光線を微細物体に対して照射することにより、識別された目的の微細物体をレーザピンセットによって光圧でトラップして捕捉し、マイクロピペット２３の採取位置まで移送する（ＳＴ６）。次に目的の微細物体を収容する所定のウェル、この例ではウェル番号２−１が分注ノズル３６の直下に位置するよう、第２のＸＹテーブル３２を駆動してマイクロプレート３４を位置決めする（ＳＴ７）。次いでＸＹＺテーブル２４を駆動してマイクロピペット２３の先端を採取位置へ移動し（ＳＴ８）、分注機構２５を駆動して、捕捉された目的の微細物体をマイクロピペット２３で吸引して採取し、所定のウェル３５（ウェル番号２−１）内に吐出して収容する（ＳＴ９）。
【００４１】
この後、必要な数の微細物体を採取したか否かが判断され（ＳＴ１０）、未採取であればＳＴ３に戻って以降のステップを繰り返し、また既に必要数の微細物体が採取済みであれば、試料テーブル７を再び洗浄して（ＳＴ１１）、採取処理を終了する。
【００４２】
【発明の効果】
本発明によれば、試料中の微細物体を撮像して得られた画像データに基づいて微細物体を探索する探索処理部と、探索条件を設定する探索条件設定部とを備えたので、過去に用いられ登録された探索条件に基づいて微細物体の探索条件を再現性よく設定することができ、探索結果の信頼性と探索条件設定作業の効率を向上させることができる。
【図面の簡単な説明】
【図１】本発明の一実施の形態の微細物体の自動探索装置の斜視図
【図２】本発明の一実施の形態の微細物体の自動探索装置の側面図
【図３】本発明の一実施の形態の微細物体の自動探索装置の構成を示すブロック図
【図４】本発明の一実施の形態の微細物体の自動探索装置の処理機能を示す機能ブロック図
【図５】本発明の一実施の形態の微細物体の自動探索装置の表示画面を示す図
【図６】本発明の一実施の形態の微細物体の自動探索装置の表示画面を示す図
【図７】本発明の一実施の形態の微細物体の自動探索装置の表示画面を示す図
【図８】本発明の一実施の形態の微細物体の自動探索装置の表示画面を示す図
【図９】本発明の一実施の形態の微細物体の自動採取のフロー図
【図１０】本発明の一実施の形態の微細物体の自動採取のフロー図
【符号の説明】
８試料容器
１８カメラ
４９表示モニタ
５０入力部
５１探索処理部
５２表示処理部
５３探索条件設定部
５４探索条件記憶部
５５探索条件編集処理部

Claims

試料中の微細物体を撮像して得られた画像データに基づいて、予め設定された探索条件に合致した探索目的の微細物体を特定する微細物体の自動探索装置であって、試料中の微細物体を撮像する撮像手段と、撮像で得られた画像データに基づいて微細物体を探索する探索処理部と、前記探索条件を設定する探索条件設定部と、探索条件を記憶する探索条件記憶部と、撮像された画像や探索条件に関するデータを表示する表示手段と、既に過去において用いられ前記探索条件記憶部に登録された探索条件に基づいて前記探索条件を前記表示手段の画面上で編集する探索条件編集手段とを備えたことを特徴とする微細物体の自動探索装置。