JP7238434B2 - MANIPULATION SYSTEM AND METHOD FOR DRIVING MANIPULATION SYSTEM - Google Patents

MANIPULATION SYSTEM AND METHOD FOR DRIVING MANIPULATION SYSTEM Download PDF

Info

Publication number
JP7238434B2
JP7238434B2 JP2019015099A JP2019015099A JP7238434B2 JP 7238434 B2 JP7238434 B2 JP 7238434B2 JP 2019015099 A JP2019015099 A JP 2019015099A JP 2019015099 A JP2019015099 A JP 2019015099A JP 7238434 B2 JP7238434 B2 JP 7238434B2
Authority
JP
Japan
Prior art keywords
crystallized protein
collecting
image
manipulation system
instrument
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019015099A
Other languages
Japanese (ja)
Other versions
JP2020121948A (en
Inventor
秀樹 古川
ハウス リチャード
功幸 嵯峨山
尚史 倉持
伸明 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NSK Ltd
Original Assignee
NSK Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NSK Ltd filed Critical NSK Ltd
Priority to JP2019015099A priority Critical patent/JP7238434B2/en
Publication of JP2020121948A publication Critical patent/JP2020121948A/en
Application granted granted Critical
Publication of JP7238434B2 publication Critical patent/JP7238434B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Sampling And Sample Adjustment (AREA)
  • Microscoopes, Condenser (AREA)
  • Peptides Or Proteins (AREA)

Description

本発明は、マニピュレーションシステム及びマニピュレーションシステムの駆動方法に関する。 The present invention relates to a manipulation system and a method for driving the manipulation system.

創薬スクリーニングの分野において、X線分析装置を用いて結晶化タンパク質のX線回析データを測定することによって、タンパク質の立体構造の解明する手法が知られている。結晶化タンパク質は、生成液の中から1つずつ採取され、凍結されてからX線分析装置に設置される。 BACKGROUND ART In the field of drug discovery screening, a technique for elucidating the three-dimensional structure of proteins by measuring X-ray diffraction data of crystallized proteins using an X-ray analyzer is known. The crystallized protein is collected one by one from the product liquid, frozen, and placed in an X-ray analyzer.

特開2017-232065号公報JP 2017-232065 A

ところで、結晶化タンパク質は、柔らかく壊れやすいため、熟練の作業者によって、手作業で採取されるのが一般的である。しかしながら、創薬スクリーニングのためには、年間で数万個の結晶化タンパク質を採取して分析する必要があるため、手作業する作業者の負担が増大する。 By the way, since crystallized proteins are soft and fragile, they are generally collected manually by skilled workers. However, for drug discovery screening, it is necessary to collect and analyze tens of thousands of crystallized proteins per year, which increases the burden on manual workers.

本発明は、上記に鑑みてなされたものであって、操作者の技術及び熟練度によらず、効率よくかつ好適に結晶化タンパク質を採取できるマニピュレーションシステム及びマニピュレーションシステムの駆動方法を提供することを目的とする。 The present invention has been made in view of the above, and aims to provide a manipulation system and a method for driving the manipulation system that can efficiently and suitably collect crystallized proteins regardless of the skill and skill of the operator. aim.

本発明の一態様に係るマニピュレーションシステムは、結晶化タンパク質が収容される容器と、前記容器が載置される試料ステージと、前記結晶化タンパク質を採取する採取用器具と、前記結晶化タンパク質及び前記採取用器具を撮像する撮像装置と、前記撮像装置の画像データに基づいて前記結晶化タンパク質及び前記採取用器具の位置情報を検出し、前記位置情報に基づいて前記試料ステージ、前記採取用器具及び前記撮像装置を制御し、前記採取用器具によって前記結晶化タンパク質を採取させるコントローラと、を備える。 A manipulation system according to an aspect of the present invention comprises a container for storing a crystallized protein, a sample stage on which the container is placed, a sampling instrument for sampling the crystallized protein, the crystallized protein and the an imaging device that captures an image of a sampling device; positional information of the crystallized protein and the sampling device is detected based on image data of the imaging device; and based on the positional information, the sample stage, the sampling device, and the a controller that controls the imaging device and causes the collection instrument to collect the crystallized protein.

これによれば、コントローラが、画像データに基づいて結晶化タンパク質及び採取用器具の位置情報を検出するため、操作者の技術及び熟練度によらず、結晶化タンパク質及び採取用器具の位置情報を検出することができる。また、結晶化タンパク質及び採取用器具の位置情報を検出する制御、及び、採取用器具を移動させる制御が、コントローラによって自動で行われるため、結晶化タンパク質の損傷を抑制して、効率よくかつ好適に結晶化タンパク質を採取することができる。 According to this, since the controller detects the positional information of the crystallized protein and the collection device based on the image data, the positional information of the crystallized protein and the collection device can be obtained regardless of the operator's skill and skill level. can be detected. In addition, since the controller automatically controls the detection of the positional information of the crystallized protein and the collection instrument and the control of the movement of the collection instrument, the damage to the crystallized protein is suppressed, and the crystallized protein is efficiently and suitably controlled. Crystallized protein can be collected at

本発明の一態様に係るマニピュレーションシステムにおいて、前記採取用器具を回動させる電動モータをさらに備える。これによれば、採取用器具が、より好適な方向及び姿勢によって結晶化タンパク質を採取することができる。 The manipulation system according to one aspect of the present invention further includes an electric motor that rotates the sampling instrument. According to this, the instrument for collection can collect the crystallized protein in a more suitable direction and posture.

本発明の一態様に係るマニピュレーションシステムにおいて、前記採取用器具は、輪状の採取部を先端に含む。これによれば、採取用器具が、結晶化タンパク質を含む生成液を、生成液の表面張力によって、採取部の内側の領域において保持することができる。結晶化タンパク質が採取用器具に触れないので、結晶化タンパク質の損傷を抑制することができる。 In the manipulation system according to one aspect of the present invention, the sampling instrument includes a ring-shaped sampling portion at its tip. According to this, the collecting instrument can hold the product liquid containing the crystallized protein in the area inside the collecting part by the surface tension of the product liquid. Since the crystallized protein does not come into contact with the collecting instrument, damage to the crystallized protein can be suppressed.

本発明の一態様に係るマニピュレーションシステムにおいて、前記コントローラは、前記撮像装置の画像データに基づいて、前記結晶化タンパク質が採取されたか否かを判断する。これによれば、コントローラが、画像データに基づいて結晶化タンパク質が採取用器具に採取されたか否かを自動で判断するので、操作者の技術及び熟練度によらず、効率よくかつ好適に結晶化タンパク質が採取されたか否かを判断することができる。 In the manipulation system according to one aspect of the present invention, the controller determines whether the crystallized protein has been collected based on the image data of the imaging device. According to this, the controller automatically determines whether or not the crystallized protein has been collected by the collecting device based on the image data, so that the crystals can be efficiently and suitably crystallized regardless of the skill and skill of the operator. It can be determined whether the protein has been collected.

本発明の一態様に係るマニピュレーションシステムにおいて、前記コントローラは、前記位置情報に基づいて、前記結晶化タンパク質が採取されたか否かを判断する。これによれば、コントローラが、位置情報に基づいて結晶化タンパク質が採取用器具に採取されたか否かを自動で判断するので、操作者の技術及び熟練度によらず、効率よくかつ好適に結晶化タンパク質が採取されたか否かを判断することができる。 In the manipulation system according to one aspect of the present invention, the controller determines whether the crystallized protein has been collected based on the position information. According to this, the controller automatically determines whether or not the crystallized protein has been collected by the collecting device based on the positional information, so that the crystals can be efficiently and suitably crystallized regardless of the operator's technique and skill. It can be determined whether the protein has been collected.

本発明の一態様に係るマニピュレーションシステムにおいて、前記コントローラは、前記位置情報に基づいて、前記採取用器具が前記結晶化タンパク質に対向する所定の採取位置を決定する。これによれば、画像データに基づいて検出された位置情報に基づいて、好適な採取位置を決定できるので、操作者の技術及び熟練度によらず、効率よくかつ好適に結晶化タンパク質を採取することができる。 In the manipulation system according to one aspect of the present invention, the controller determines a predetermined sampling position at which the sampling instrument faces the crystallized protein, based on the positional information. According to this, a suitable collection position can be determined based on the position information detected based on the image data, so that the crystallized protein can be efficiently and suitably collected regardless of the skill and skill of the operator. be able to.

本発明の一態様に係るマニピュレーションシステムにおいて、前記コントローラは、前記位置情報に基づいて、所定の初期位置から前記所定の採取位置までの前記採取用器具の移動経路を設定する。これによれば、画像データに基づいて検出された位置情報に基づいて、好適な移動経路を決定できるので、操作者の技術及び熟練度によらず、効率よくかつ好適に結晶化タンパク質を採取することができる。 In the manipulation system according to one aspect of the present invention, the controller sets a moving route of the sampling instrument from a predetermined initial position to the predetermined sampling position based on the position information. According to this, a suitable movement route can be determined based on the position information detected based on the image data, so that the crystallized protein can be efficiently and suitably collected regardless of the skill and skill of the operator. be able to.

本発明の一態様に係るマニピュレーションシステムにおいて、凍結液を含み、前記試料ステージに載置される凍結容器を備え、前記コントローラは、前記結晶化タンパク質を採取した前記採取用器具を前記凍結容器へ移動させ、前記結晶化タンパク質を前記凍結液によって凍結させる。これによれば、採取用器具を移動させる制御、及び、結晶化タンパク質を凍結させる制御が、コントローラによって自動で行われるため、結晶化タンパク質の損傷を抑制して、効率よくかつ好適に結晶化タンパク質を凍結することができる。 A manipulation system according to an aspect of the present invention includes a freezing container that contains a freezing liquid and is placed on the sample stage, wherein the controller moves the collecting instrument that has collected the crystallized protein to the freezing container. and freeze the crystallized protein with the freezing liquid. According to this, the control of moving the sampling instrument and the control of freezing the crystallized protein are automatically performed by the controller. can be frozen.

本発明の一態様に係るマニピュレーションシステムにおいて、前記試料ステージに載置される回収容器を備え、前記コントローラは、前記結晶化タンパク質を採取した前記採取用器具を前記回収容器へ移動させ、前記採取用器具を前記回収容器に収納させる。これによれば、採取用器具を移動させる制御、及び、結晶化タンパク質を回収容器に収納させる制御が、コントローラによって自動で行われるため、結晶化タンパク質の損傷を抑制して、効率よくかつ好適に結晶化タンパク質を回収することができる。 In the manipulation system according to one aspect of the present invention, a collection container placed on the sample stage is provided, and the controller moves the collection instrument that collected the crystallized protein to the collection container, and moves the collection container to the collection container. The instrument is stored in the collection container. According to this, since the controller automatically controls the movement of the collection instrument and the control of storing the crystallized protein in the collection container, the damage to the crystallized protein is suppressed, and the crystallized protein is efficiently and favorably controlled. Crystallized protein can be recovered.

本発明の一態様に係るマニピュレーションシステムの駆動方法は、結晶化タンパク質が収容される容器と、前記容器が載置される試料ステージと、前記結晶化タンパク質を採取する採取用器具と、前記結晶化タンパク質及び前記採取用器具を撮像する撮像装置と、を備えるマニピュレーションシステムの駆動方法であって、前記撮像装置に前記結晶化タンパク質及び前記採取用器具を撮影させるステップと、前記結晶化タンパク質及び前記採取用器具の画像データに基づいて前記結晶化タンパク質及び前記採取用器具の位置情報を検出するステップと、前記位置情報に基づいて前記採取用器具によって前記結晶化タンパク質を採取させるステップと、を含む。 A method of driving a manipulation system according to an aspect of the present invention includes a container containing a crystallized protein, a sample stage on which the container is placed, a collection instrument for collecting the crystallized protein, and the crystallized protein. A method of driving a manipulation system comprising: an imaging device for imaging a protein and the sampling instrument, comprising: causing the imaging device to shoot an image of the crystallized protein and the sampling instrument; and detecting positional information of the crystallized protein and the collecting device based on image data of the collecting device; and collecting the crystallized protein with the collecting device based on the positional information.

これによれば、画像データに基づいて結晶化タンパク質及び採取用器具の位置情報を検出するため、操作者の技術及び熟練度によらず、結晶化タンパク質及び採取用器具の位置情報を検出することができる。また、結晶化タンパク質及び採取用器具を撮像する制御、結晶化タンパク質及び採取用器具の位置情報を検出する制御、及び、採取用器具を移動させる制御が、自動で行われるため、結晶化タンパク質の損傷を抑制して、効率よくかつ好適に結晶化タンパク質を採取することができる。 According to this method, since the positional information of the crystallized protein and the collection device is detected based on the image data, the positional information of the crystallized protein and the collection device can be detected regardless of the operator's skill and skill level. can be done. In addition, since the control for imaging the crystallized protein and the collection device, the control for detecting the position information of the crystallized protein and the collection device, and the control for moving the collection device are automatically performed, Crystallized protein can be efficiently and suitably collected by suppressing damage.

本発明の一態様に係るマニピュレーションシステムの駆動方法において、前記結晶化タンパク質を採取した後に、再度前記撮像装置に前記結晶化タンパク質及び前記採取用器具を撮影させるステップと、前記結晶化タンパク質及び前記採取用器具の画像データに基づいて前記結晶化タンパク質が採取されたか否かを判断するステップと、を含む。これによれば、画像データに基づいて結晶化タンパク質が採取用器具に採取されたか否かを自動で判断するので、操作者の技術及び熟練度によらず、効率よくかつ好適に結晶化タンパク質が採取されたか否かを判断することができる。 In the method for driving a manipulation system according to an aspect of the present invention, after collecting the crystallized protein, causing the imaging device to photograph the crystallized protein and the collecting instrument again; determining whether the crystallized protein has been collected based on the image data of the instrument. According to this method, it is automatically determined whether or not the crystallized protein has been collected by the collection device based on the image data, so that the crystallized protein can be efficiently and suitably collected regardless of the operator's technique and skill. It can be determined whether or not it has been collected.

本発明によれば、操作者の技術及び熟練度によらず、効率よくかつ好適に結晶化タンパク質を採取できるマニピュレーションシステム及びマニピュレーションシステムの駆動方法を提供することができる。 INDUSTRIAL APPLICABILITY According to the present invention, it is possible to provide a manipulation system and a method for driving the manipulation system that can efficiently and suitably collect crystallized proteins regardless of the skill and skill of the operator.

図1は、実施形態に係るマニピュレーションシステムの構成例を示す斜視図である。FIG. 1 is a perspective view showing a configuration example of a manipulation system according to an embodiment. 図2は、図1に示すマニピュレーションシステムの一部を拡大して示す斜視図である。2 is an enlarged perspective view of a portion of the manipulation system shown in FIG. 1; FIG. 図3は、実施形態に係るマニピュレーションシステムの構成例を示す模式図である。FIG. 3 is a schematic diagram showing a configuration example of the manipulation system according to the embodiment. 図4は、実施形態に係るマニピュレーションシステムの構成例を示すブロック図である。FIG. 4 is a block diagram showing a configuration example of the manipulation system according to the embodiment. 図5は、検出部の構成例を示すブロック図である。FIG. 5 is a block diagram showing a configuration example of a detection unit. 図6は、記憶部の構成例を示すブロック図である。FIG. 6 is a block diagram illustrating a configuration example of a storage unit; 図7は、表示部の画面の一例を示す図である。FIG. 7 is a diagram illustrating an example of a screen of a display unit; 図8は、実施形態に係る採取用ワイヤープローブ及びプローブ保持部の構成例を示す模式図である。FIG. 8 is a schematic diagram showing a configuration example of a sampling wire probe and a probe holder according to the embodiment. 図9は、実施形態に係る採取用ワイヤープローブの先端部を拡大して示す模式図である。FIG. 9 is a schematic diagram showing an enlarged tip portion of the sampling wire probe according to the embodiment. 図10は、実施形態に係る採取用ワイヤープローブ及び接続ジグの構成例を示す模式図である。FIG. 10 is a schematic diagram showing a configuration example of a sampling wire probe and a connection jig according to the embodiment. 図11は、結晶化タンパク質の採取動作を説明する説明図である。FIG. 11 is an explanatory diagram for explaining the collection operation of the crystallized protein. 図12は、採取用ワイヤープローブの動作を説明する説明図である。FIG. 12 is an explanatory diagram for explaining the operation of the sampling wire probe. 図13は、採取用ワイヤープローブの動作を説明する説明図である。FIG. 13 is an explanatory diagram for explaining the operation of the sampling wire probe. 図14は、採取用ワイヤープローブの採取可能領域を示す図である。FIG. 14 is a diagram showing a sampleable region of the wire probe for sampling. 図15は、採取用ワイヤープローブの採取可能領域を示す図である。FIG. 15 is a diagram showing a pickable region of the picking wire probe. 図16は、結晶化タンパク質の凍結動作を説明する説明図である。FIG. 16 is an explanatory diagram explaining the freezing operation of the crystallized protein. 図17は、結晶化タンパク質の回収動作を説明する説明図である。FIG. 17 is an explanatory diagram for explaining the recovering operation of the crystallized protein. 図18は、実施形態の動作の一例を示すフローチャート図である。FIG. 18 is a flow chart diagram showing an example of the operation of the embodiment.

本発明を実施するための形態(実施形態)につき、図面を参照しつつ詳細に説明する。以下の実施形態に記載した内容により本発明が限定されるものではない。また、以下に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、以下に記載した構成要素は適宜組み合わせることが可能である。 A form (embodiment) for carrying out the present invention will be described in detail with reference to the drawings. The present invention is not limited by the contents described in the following embodiments. In addition, the constituent elements described below include those that can be easily assumed by those skilled in the art, those that are substantially the same, and those that are within a so-called equivalent range. Furthermore, the components described below can be combined as appropriate.

(実施形態)
図1は、実施形態に係るマニピュレーションシステムの構成例を示す斜視図である。図2は、図1に示すマニピュレーションシステムの一部を拡大して示す斜視図である。図3は、実施形態に係るマニピュレーションシステムの構成例を示す模式図である。図1から図3に示すマニピュレーションシステム100は、容器38内の液滴Dr(図7参照)から、所望の結晶化タンパク質CP(図7参照)を1個ずつ分取する装置である。
(embodiment)
FIG. 1 is a perspective view showing a configuration example of a manipulation system according to an embodiment. 2 is an enlarged perspective view of a portion of the manipulation system shown in FIG. 1; FIG. FIG. 3 is a schematic diagram showing a configuration example of the manipulation system according to the embodiment. The manipulation system 100 shown in FIGS. 1 to 3 is an apparatus for separating a desired crystallized protein CP (see FIG. 7) from droplets Dr (see FIG. 7) in a container 38 one by one.

図1から図3に示すように、マニピュレーションシステム100は、基台1と、採取用ワイヤープローブ10と、プローブ保持部15と、マニピュレータ20と、試料ステージ30と、第1撮像装置45を含む第1顕微鏡ユニット40と、コントローラ50と、第2撮像装置65を含む第2顕微鏡ユニット60と、第3撮像装置75と、ジョイスティック57と、入力部58と、表示部80と、を備える。実施形態において、X軸方向は、試料ステージ30の載置面30aに平行な一方向である。実施形態において、Y軸方向は、載置面30aに平行で、かつ、X軸方向と直交する方向である。実施形態において、Z軸方向は、載置面30aの法線方向である。θ軸方向は、採取用ワイヤープローブ10の長手方向を回転軸とする回転方向である。基台1の配置は、例えば、載置面30aが鉛直方向と直交する水平面となるように調整されている。 As shown in FIGS. 1 to 3, the manipulation system 100 includes a base 1, a sampling wire probe 10, a probe holder 15, a manipulator 20, a sample stage 30, and a first imaging device 45. 1 Microscope unit 40 , controller 50 , second microscope unit 60 including second imaging device 65 , third imaging device 75 , joystick 57 , input unit 58 , and display unit 80 . In the embodiment, the X-axis direction is one direction parallel to the mounting surface 30 a of the sample stage 30 . In the embodiment, the Y-axis direction is parallel to the mounting surface 30a and orthogonal to the X-axis direction. In the embodiment, the Z-axis direction is the normal direction of the mounting surface 30a. The θ-axis direction is a rotation direction about the longitudinal direction of the sampling wire probe 10 as a rotation axis. The placement of the base 1 is adjusted, for example, so that the mounting surface 30a is a horizontal plane perpendicular to the vertical direction.

採取用ワイヤープローブ10は、結晶化タンパク質CPを採取するための採取用器具である。採取用ワイヤープローブ10の詳細は、後述にて図8、図9及び図10を参照して説明する。 The collecting wire probe 10 is a collecting instrument for collecting the crystallized protein CP. The details of the sampling wire probe 10 will be described later with reference to FIGS. 8, 9 and 10. FIG.

プローブ保持部15は、採取用ワイヤープローブ10を保持するための器具である。プローブ保持部15の一端は、採取用ワイヤープローブ10に連結している。プローブ保持部15の他端は、マニピュレータ20の電動モータ29に接続されている。プローブ保持部15は、後述の連結部28を介してマニピュレータ20に連結されている。プローブ保持部15の詳細は、後述にて図8、図9及び図10を参照して説明する。 The probe holding part 15 is an instrument for holding the wire probe 10 for collection. One end of the probe holding portion 15 is connected to the sampling wire probe 10 . The other end of the probe holder 15 is connected to the electric motor 29 of the manipulator 20 . The probe holding portion 15 is connected to the manipulator 20 via a connecting portion 28 which will be described later. Details of the probe holding portion 15 will be described later with reference to FIGS. 8, 9 and 10. FIG.

マニピュレータ20は、X軸方向、Y軸方向及びZ軸方向に動作することによって、プローブ保持部15及び採取用ワイヤープローブ10を動作させることができる。マニピュレータ20は、X軸テーブル21と、Y軸テーブル22と、Z軸テーブル23と、駆動装置26、27と、連結部28、71と、電動モータ29と、を備える。X軸テーブル21は、駆動装置26が駆動することによって、X軸方向に移動する。Y軸テーブル22は、駆動装置26が駆動することによって、Y軸方向に移動する。Z軸テーブル23は、駆動装置27が駆動することによって、Z軸方向に移動する。駆動装置26、27と、電動モータ29は、コントローラ50に接続されている。 The manipulator 20 can operate the probe holder 15 and the sampling wire probe 10 by operating in the X-axis direction, the Y-axis direction, and the Z-axis direction. The manipulator 20 includes an X-axis table 21 , a Y-axis table 22 , a Z-axis table 23 , driving devices 26 and 27 , connecting portions 28 and 71 and an electric motor 29 . The X-axis table 21 is moved in the X-axis direction by being driven by the driving device 26 . The Y-axis table 22 is moved in the Y-axis direction by being driven by the driving device 26 . The Z-axis table 23 is moved in the Z-axis direction by being driven by the driving device 27 . Drives 26 , 27 and electric motor 29 are connected to controller 50 .

連結部28は、プローブ保持部15をマニピュレータ20に連結している。連結部71は、第1顕微鏡ユニット40の鏡筒411をマニピュレータ20に連結している。連結部28、71は、例えば金属製である。連結部28、71は、例えばZ軸テーブル23に取り付けられている。これにより、プローブ保持部15及び第1顕微鏡ユニット40は、Z軸テーブル23の移動にしたがって、Z軸テーブル23と同じ距離だけZ軸方向に移動することができる。 The connecting portion 28 connects the probe holding portion 15 to the manipulator 20 . The connecting portion 71 connects the lens barrel 411 of the first microscope unit 40 to the manipulator 20 . The connecting portions 28 and 71 are made of metal, for example. The connecting portions 28 and 71 are attached to the Z-axis table 23, for example. Accordingly, the probe holder 15 and the first microscope unit 40 can move in the Z-axis direction by the same distance as the Z-axis table 23 as the Z-axis table 23 moves.

マニピュレータ20において、Z軸テーブル23はY軸テーブル22上に取り付けられている。これにより、プローブ保持部15及び第1顕微鏡ユニット40は、Y軸テーブル22の移動にしたがって、Y軸テーブル22と同じ距離だけY軸方向に移動することができる。さらに、Y軸テーブル22はX軸テーブル21上に取り付けられている。これにより、プローブ保持部15及び第1顕微鏡ユニット40は、X軸テーブル21の移動にしたがって、X軸テーブル21と同じ距離だけX軸方向に移動することができる。このように、プローブ保持部15及び第1顕微鏡ユニット40は、連結部28、71を介して、互いに固定されている。プローブ保持部15及び第1顕微鏡ユニット40は、マニピュレータ20の動作にしたがって、X軸方向、Y軸方向及びZ軸方向に一体となって移動することができる。 In manipulator 20 , Z-axis table 23 is mounted on Y-axis table 22 . Accordingly, the probe holding section 15 and the first microscope unit 40 can move in the Y-axis direction by the same distance as the Y-axis table 22 as the Y-axis table 22 moves. Furthermore, the Y-axis table 22 is mounted on the X-axis table 21 . Accordingly, the probe holder 15 and the first microscope unit 40 can move in the X-axis direction by the same distance as the X-axis table 21 as the X-axis table 21 moves. In this manner, the probe holding section 15 and the first microscope unit 40 are fixed to each other via the connecting sections 28 and 71 . The probe holding section 15 and the first microscope unit 40 can move integrally in the X-axis direction, the Y-axis direction, and the Z-axis direction according to the operation of the manipulator 20 .

試料ステージ30は、容器38を支持する。例えば、試料ステージ30の載置面30aに容器38が載置される。容器38は、実施形態において、ウェルプレートである。容器38は、実施形態において、6つのウェル38aを含む。容器38のウェル38aには、結晶化タンパク質CPを含む液滴Drが収容される(図7参照)。試料ステージ30は、X軸ステージ31と、Y軸ステージ32と、駆動装置36と、を備える。X軸ステージ31は、駆動装置36が駆動することによって、X軸方向に移動する。Y軸ステージ32は、駆動装置36が駆動することによって、Y軸方向に移動する。X軸ステージ31はY軸ステージ32上に取り付けられている。駆動装置36は、コントローラ50に接続されている。 A sample stage 30 supports a container 38 . For example, the container 38 is mounted on the mounting surface 30 a of the sample stage 30 . Container 38 is a well plate in an embodiment. Container 38 includes, in embodiments, six wells 38a. A well 38a of the container 38 accommodates a droplet Dr containing the crystallized protein CP (see FIG. 7). The sample stage 30 includes an X-axis stage 31 , a Y-axis stage 32 and a drive device 36 . The X-axis stage 31 is moved in the X-axis direction by being driven by the driving device 36 . The Y-axis stage 32 is moved in the Y-axis direction by being driven by the driving device 36 . The X-axis stage 31 is mounted on the Y-axis stage 32 . Drive 36 is connected to controller 50 .

実施形態においては、試料ステージ30上に1個の容器38が載置されている場合を示しているが、試料ステージ30上に載置される容器38の数は1個に限定されず複数個でもよい。容器38は、実施形態において、平面形状が矩形であるが、矩形でなくてもよく、例えば、円形でもよい。容器38は、シャーレ又はディッシュでもよい。試料ステージ30は、実施形態において、平面視による形状(以下、平面形状)が矩形であるが、矩形でなくてもよく、例えば、円形でもよい。 In the embodiment, one container 38 is placed on the sample stage 30, but the number of containers 38 placed on the sample stage 30 is not limited to one, and is plural. It's okay. Although the container 38 has a rectangular planar shape in the embodiment, it may have a non-rectangular shape, for example, a circular shape. Container 38 may be a petri dish or dish. In the embodiment, the sample stage 30 has a rectangular shape in plan view (hereinafter referred to as a planar shape), but the shape may not be rectangular, and may be circular, for example.

第1顕微鏡ユニット40は、試料ステージ30の上方に配置されている。第1顕微鏡ユニット40は、第1顕微鏡41と、第1撮像装置45と、試料ステージ30の載置面30aに向けて光を照射する光源と、を含む。第1顕微鏡41は、鏡筒411と、対物レンズ412と、駆動装置414と、を含む。第1顕微鏡41は、対物レンズ412が容器38の上方に位置する実体顕微鏡である。対物レンズ412は、駆動装置414が駆動することによって、Z軸方向に移動する。これにより、第1顕微鏡41は、焦点位置を調節することができる。対物レンズ412は、所望の倍率に合わせて複数種類が用意されていてもよい。第1撮像装置45は、例えば、CMOSイメージセンサ又はCCDイメージセンサ等の固体撮像素子を含む。第1撮像装置45は、第1顕微鏡41を介して、採取用ワイヤープローブ10の先端をZ軸方向から撮像することができる。第1顕微鏡ユニット40は、接眼レンズを備えてもよい。第1顕微鏡ユニット40は、駆動装置414が駆動することによって、Z軸方向に動作する。駆動装置414は、後述の制御部55によって駆動される。鏡筒411は、連結部71によってマニピュレータ20に連結されている。これにより、マニピュレータ20、プローブ保持部15及び採取用ワイヤープローブ10は、第1顕微鏡ユニット40のZ軸方向の動作に合わせてZ軸方向に動作する。 The first microscope unit 40 is arranged above the sample stage 30 . The first microscope unit 40 includes a first microscope 41 , a first imaging device 45 , and a light source that emits light toward the mounting surface 30 a of the sample stage 30 . The first microscope 41 includes a lens barrel 411 , an objective lens 412 and a driving device 414 . The first microscope 41 is a stereomicroscope with an objective lens 412 located above the container 38 . The objective lens 412 is moved in the Z-axis direction by being driven by the driving device 414 . Thereby, the first microscope 41 can adjust the focal position. A plurality of types of the objective lens 412 may be prepared according to the desired magnification. The first imaging device 45 includes, for example, a solid-state imaging device such as a CMOS image sensor or a CCD image sensor. The first imaging device 45 can image the tip of the sampling wire probe 10 from the Z-axis direction via the first microscope 41 . The first microscope unit 40 may comprise an eyepiece. The first microscope unit 40 is driven by the drive device 414 to move in the Z-axis direction. The driving device 414 is driven by a control section 55 which will be described later. The lens barrel 411 is connected to the manipulator 20 by a connecting portion 71 . As a result, the manipulator 20, the probe holder 15, and the wire probe 10 for sampling move in the Z-axis direction in accordance with the motion of the first microscope unit 40 in the Z-axis direction.

第2顕微鏡ユニット60は、試料ステージ30の側方に配置されている。第2顕微鏡ユニット60は、第2顕微鏡61と、第2撮像装置65と、を含む。第2顕微鏡61は、鏡筒611と、対物レンズ612と、駆動装置613と、を含む。対物レンズ612は、駆動装置613が駆動することによって、Y軸方向に移動する。これにより、第2顕微鏡61は、焦点位置を調節することができる。第2撮像装置65は、例えば、CMOSイメージセンサ又はCCDイメージセンサ等の固体撮像素子を含む。第2撮像装置65は、第2顕微鏡61を介して、採取用ワイヤープローブ10の先端をY軸方向から撮像することができる。第2顕微鏡ユニット60は、固定具3を介して基台1に固定されている。 The second microscope unit 60 is arranged on the side of the sample stage 30 . The second microscope unit 60 includes a second microscope 61 and a second imaging device 65 . The second microscope 61 includes a lens barrel 611 , an objective lens 612 and a driving device 613 . The objective lens 612 is moved in the Y-axis direction by being driven by the driving device 613 . Thereby, the second microscope 61 can adjust the focal position. The second imaging device 65 includes, for example, a solid-state imaging device such as a CMOS image sensor or a CCD image sensor. The second imaging device 65 can image the tip of the sampling wire probe 10 from the Y-axis direction via the second microscope 61 . The second microscope unit 60 is fixed to the base 1 via the fixture 3 .

第3撮像装置75は、固定具4を介して基台1に固定されている。固定具4は、X軸方向及びY軸方向に動くことができ、Z軸方向に延伸することができる。これにより、第3撮像装置75は、X軸方向、Y軸方向及びZ軸方向とそれぞれ交差する、試料ステージ30の斜め上方向から、試料ステージ30側を撮像することができる。 The third imaging device 75 is fixed to the base 1 via the fixture 4 . The fixture 4 can move in the X-axis direction and the Y-axis direction, and can extend in the Z-axis direction. Thereby, the third imaging device 75 can image the sample stage 30 side from an obliquely upward direction of the sample stage 30 that intersects with the X-axis direction, the Y-axis direction, and the Z-axis direction.

入力部58は、キーボード又はタッチパネル等である。ジョイスティック57及び入力部58は、コントローラ50に接続されている。操作者は、ジョイスティック57及び入力部58を介して、コントローラ50にコマンドを入力することができる。操作者がジョイスティック57を操作することによって、ジョイスティック57からコントローラ50に制御信号Vsig1が出力される。操作者が入力部58を操作することによって、入力部58からコントローラ50に制御信号Vsig2が出力される。 The input unit 58 is a keyboard, touch panel, or the like. The joystick 57 and input section 58 are connected to the controller 50 . An operator can input commands to the controller 50 via the joystick 57 and the input unit 58 . A control signal Vsig1 is output from the joystick 57 to the controller 50 by the operator operating the joystick 57 . A control signal Vsig<b>2 is output from the input unit 58 to the controller 50 when the operator operates the input unit 58 .

次に、コントローラ50の機能について、図4を参照して説明する。図4は、実施形態に係るマニピュレーションシステムの構成例を示すブロック図である。コントローラ50は、演算手段としてのCPU(中央演算処理装置)及び記憶手段としてのハードディスク、RAM(Random Access Memory)、ROM(Read Only Memory)等のハードウェア資源を備える。 Next, functions of the controller 50 will be described with reference to FIG. FIG. 4 is a block diagram showing a configuration example of the manipulation system according to the embodiment. The controller 50 includes hardware resources such as a CPU (Central Processing Unit) as computing means, a hard disk as storage means, a RAM (Random Access Memory), and a ROM (Read Only Memory).

図4に示すように、コントローラ50は、その機能として、画像入力部51aと、画像出力部51bと、画像処理部52と、検出部53と、画像編集部54と、制御部55と、記憶部56と、を含む。画像入力部51a、画像出力部51b、画像処理部52、検出部53、画像編集部54及び制御部55は、上記の演算手段により実現される。記憶部56は、上記の記憶手段により実現される。コントローラ50は、記憶部56に格納されたプログラムに基づいて各種の演算を行い、演算結果にしたがって制御部55が各種の制御を行うように駆動信号を出力する。 As shown in FIG. 4, the controller 50 has functions such as an image input unit 51a, an image output unit 51b, an image processing unit 52, a detection unit 53, an image editing unit 54, a control unit 55, and a storage unit. a portion 56; The image input unit 51a, the image output unit 51b, the image processing unit 52, the detection unit 53, the image editing unit 54, and the control unit 55 are implemented by the above computing means. The storage unit 56 is implemented by the storage means described above. The controller 50 performs various calculations based on the programs stored in the storage unit 56, and outputs drive signals so that the control unit 55 performs various controls according to the calculation results.

制御部55は、第1顕微鏡ユニット40の駆動装置414と、マニピュレータ20の駆動装置26、27及び電動モータ29と、試料ステージ30の駆動装置36と、第2顕微鏡ユニット60の駆動装置613とを制御する。制御部55は、駆動装置414、26、27、36、613に駆動信号Vz1、Vxy2、Vz2、Vxy3、Vy4(図3参照)をそれぞれ供給する。制御部55は、電動モータ29に駆動信号Vθ(図3参照)を供給する。制御部55は、必要に応じて設けられたドライバやアンプ等を介して、駆動信号Vz1、Vxy2、Vz2、Vxy3、Vy4、Vθをそれぞれ供給してもよい。 The control unit 55 controls the driving device 414 of the first microscope unit 40, the driving devices 26 and 27 and the electric motor 29 of the manipulator 20, the driving device 36 of the sample stage 30, and the driving device 613 of the second microscope unit 60. Control. The controller 55 supplies drive signals Vz1, Vxy2, Vz2, Vxy3 and Vy4 (see FIG. 3) to the drive devices 414, 26, 27, 36 and 613, respectively. The controller 55 supplies the electric motor 29 with a drive signal Vθ (see FIG. 3). The control unit 55 may supply the drive signals Vz1, Vxy2, Vz2, Vxy3, Vy4, and Vθ through drivers, amplifiers, etc. provided as necessary.

第1撮像装置45から出力される第1画像信号Vpix1(図3参照)と、第2撮像装置65から出力される第2画像信号Vpix2(図3参照)と、第3撮像装置75から出力される第3画像信号Vpix3(図3参照)は、画像入力部51aにそれぞれ入力される。画像処理部52は、画像入力部51aから第1画像信号Vpix1、第2画像信号Vpix2、第3画像信号Vpix3を受け取って、画像処理を行う。画像出力部51bは、画像処理部52で画像処理された画像情報を記憶部56及び表示部80へ出力する。 The first image signal Vpix1 (see FIG. 3) output from the first imaging device 45, the second image signal Vpix2 (see FIG. 3) output from the second imaging device 65, and the output from the third imaging device 75 The third image signal Vpix3 (see FIG. 3) is input to the image input unit 51a. The image processing unit 52 receives the first image signal Vpix1, the second image signal Vpix2, and the third image signal Vpix3 from the image input unit 51a and performs image processing. The image output unit 51 b outputs the image information image-processed by the image processing unit 52 to the storage unit 56 and the display unit 80 .

例えば、第1画像信号Vpix1には、第1顕微鏡41を通して第1撮像装置45が撮像した第1画像と、その撮像時刻とが含まれている。第1画像は動画である。同様に、第2画像信号Vpix2には、第2顕微鏡61を通して第2撮像装置65が撮像した第2画像と、その撮像時刻とが含まれている。第2画像も動画である。第3画像信号Vpix3には、第3撮像装置75が撮像した第3画像と、その撮像時刻とが含まれている。第3画像も動画である。 For example, the first image signal Vpix1 includes the first image captured by the first imaging device 45 through the first microscope 41 and the imaging time. The first image is a moving image. Similarly, the second image signal Vpix2 includes the second image captured by the second imaging device 65 through the second microscope 61 and its imaging time. The second image is also a moving image. The third image signal Vpix3 includes the third image captured by the third imaging device 75 and its imaging time. The third image is also a moving image.

第1画像、第2画像及び第3画像は、それぞれカラー画像又はグレー画像である。グレー画像は、白色及び黒色と、白色と黒色の中間色である灰色を含む画像である。グレー画像は、灰色に複数の階調を含む。階調とは、色や明るさの濃淡の段階数のことである。 The first image, the second image and the third image are color images or gray images, respectively. A gray image is an image containing white, black, and gray that is an intermediate color between white and black. A gray image includes multiple shades of gray. Gradation is the number of steps of color and brightness.

画像処理部52は、結晶化タンパク質CP(図7参照)の検出を容易にするために、第1画像又は第2画像の少なくとも一方について、画像の拡大や2値化等の画像処理をする。画像の2値化とは、カラー画像又はグレー画像(以下、元画像)を、濃淡がなく、白色と黒色としかない2値画像(binary image)に変換することである。画像処理部52は、第1画像又は第2画像の少なくとも一方について、元画像を拡大した拡大画像や、元画像を2値化した2値画像を生成する。画像処理部52は、元画像を拡大し、2値化した拡大2値画像を生成してもよい。画像処理部52は、拡大画像、2値画像、拡大2値画像の少なくとも1種類以上を画像情報として、検出部53と画像編集部54とに出力する。 The image processing unit 52 performs image processing such as image enlargement and binarization on at least one of the first image and the second image in order to facilitate detection of the crystallized protein CP (see FIG. 7). Binarization of an image means converting a color image or a gray image (hereinafter referred to as an original image) into a binary image having only white and black without shading. The image processing unit 52 generates an enlarged image obtained by enlarging the original image or a binary image obtained by binarizing the original image for at least one of the first image and the second image. The image processing unit 52 may enlarge the original image and generate an enlarged binary image that is binarized. The image processing unit 52 outputs at least one of an enlarged image, a binary image, and an enlarged binary image to the detection unit 53 and the image editing unit 54 as image information.

検出部53は、画像処理部52から画像情報を受け取り、受け取った画像情報に基づいて、結晶化タンパク質CP(図7参照)の位置及び個数を自動で検出する。そして、検出部53は検出結果を画像編集部54及び記憶部56に出力する。 The detection unit 53 receives the image information from the image processing unit 52, and automatically detects the position and the number of the crystallized protein CP (see FIG. 7) based on the received image information. Then, the detection section 53 outputs the detection result to the image editing section 54 and the storage section 56 .

図5は、検出部の構成例を示すブロック図である。図5に示すように、検出部53は、その機能として、位置検出部531と、距離検出部532と、個数検出部533と、を含む。位置検出部531は、画像処理部52によって画像処理された第1画像又は第2画像に基づいて、結晶化タンパク質CP(図7参照)の位置を自動で検出する。距離検出部532は、位置検出部531によって検出された結晶化タンパク質CPと採取用ワイヤープローブ10のループ部101(後述の図9参照)との離隔距離を自動で検出する。個数検出部533は、画像処理部52によって画像処理された第1画像又は第2画像に基づいて、結晶化タンパク質CPの位置及び個数を自動で検出する。画像処理部52によって画像処理された画像として、例えば、拡大画像、2値画像及び拡大2値画像の少なくとも1種類以上が挙げられる。位置検出部531、距離検出部532及び個数検出部533の各検出結果は、画像編集部54及び記憶部56にそれぞれ出力される。 FIG. 5 is a block diagram showing a configuration example of a detection unit. As shown in FIG. 5, the detection unit 53 includes a position detection unit 531, a distance detection unit 532, and a number detection unit 533 as its functions. The position detection unit 531 automatically detects the position of the crystallized protein CP (see FIG. 7) based on the first image or the second image image-processed by the image processing unit 52 . The distance detection unit 532 automatically detects the separation distance between the crystallized protein CP detected by the position detection unit 531 and the loop portion 101 of the collection wire probe 10 (see FIG. 9 described later). The number detection unit 533 automatically detects the position and number of the crystallized protein CP based on the first image or the second image image-processed by the image processing unit 52 . Examples of images that have undergone image processing by the image processing unit 52 include at least one or more of an enlarged image, a binary image, and an enlarged binary image. The detection results of the position detection unit 531, the distance detection unit 532, and the number detection unit 533 are output to the image editing unit 54 and the storage unit 56, respectively.

画像編集部54は、第1画像信号Vpix1、第2画像信号Vpix2、第3画像信号Vpix3を、撮像時刻に基づいて互いに関連付けして、編集画像信号Vpix4を生成する。編集画像信号Vpix4には、編集画像が含まれている。編集画像は、互いに同じ時刻に撮像された第1画像、第2画像及び第3画像を並べて表示する動画である。編集画像において、第1画像、第2画像及び第3画像はそれぞれ、元画像でもよいし、元画像を画像処理した拡大画像、2値画像又は拡大2値画像であってもよい。画像出力部51bは、第1画像信号Vpix1、第2画像信号Vpix2、第3画像信号Vpix3及び編集画像信号Vpix4を記憶部56に出力する。 The image editing unit 54 associates the first image signal Vpix1, the second image signal Vpix2, and the third image signal Vpix3 with each other based on the imaging time to generate the edited image signal Vpix4. The edited image signal Vpix4 contains an edited image. An edited image is a moving image in which a first image, a second image, and a third image captured at the same time are displayed side by side. In the edited image, the first image, the second image, and the third image may each be the original image, or an enlarged image obtained by image processing the original image, a binary image, or an enlarged binary image. The image output unit 51b outputs the first image signal Vpix1, the second image signal Vpix2, the third image signal Vpix3, and the edited image signal Vpix4 to the storage unit 56. FIG.

画像編集部54は、検出部53から結晶化タンパク質CP(図7参照)の検出結果を受信する。検出部53が結晶化タンパク質CPの位置を検出した場合、画像編集部54は、その検出結果を編集画像に反映させてもよい。例えば、画像編集部54は、画像処理部52から受け取った拡大画像、2値画像又は拡大2値画像において、検出部53が検出した結晶化タンパク質CPの位置を矢印によって自動で示したり、検出部53が検出した結晶化タンパク質CPの位置を枠線によって自動で囲んだりしてもよい。 The image editor 54 receives the detection result of the crystallized protein CP (see FIG. 7) from the detector 53 . When the detection unit 53 detects the position of the crystallized protein CP, the image editing unit 54 may reflect the detection result in the edited image. For example, the image editing unit 54 automatically indicates with an arrow the position of the crystallized protein CP detected by the detection unit 53 in the enlarged image, the binary image, or the enlarged binary image received from the image processing unit 52. The position of the crystallized protein CP detected by 53 may be automatically surrounded by a border.

図6は、記憶部の構成例を示すブロック図である。図6に示すように、記憶部56は、その機能として、マニピュレーションシステム100を動作させるためのプログラムを記憶したプログラム記憶部56aと、画像信号を記憶する画像記憶部56bと、を含む。画像記憶部56bは、第1画像信号Vpix1を記憶する第1画像記憶部561と、第2画像信号Vpix2を記憶する第2画像記憶部562と、第3画像信号Vpix3を記憶する第3画像記憶部563と、編集画像信号Vpix4を記憶する編集画像記憶部564と、を含む。 FIG. 6 is a block diagram illustrating a configuration example of a storage unit; As shown in FIG. 6, the storage unit 56 includes, as its functions, a program storage unit 56a storing a program for operating the manipulation system 100, and an image storage unit 56b storing image signals. The image storage unit 56b includes a first image storage unit 561 that stores the first image signal Vpix1, a second image storage unit 562 that stores the second image signal Vpix2, and a third image storage unit that stores the third image signal Vpix3. and an edited image storage unit 564 that stores the edited image signal Vpix4.

画像出力部51bは、第1画像信号Vpix1、第2画像信号Vpix2、第3画像信号Vpix3及び編集画像信号Vpix4のうち、少なくとも1つ以上の画像信号を表示部80に出力する(図3参照)。画像出力部51bは、コントローラ50に入力された制御信号Vsig1に従って、表示部80に出力する画像信号を選択して表示部80に出力する。画像出力部51bは、コントローラ50に入力された制御信号Vsig2に従って、表示部80に出力する画像信号を選択して表示部80に出力してもよい。 The image output unit 51b outputs at least one or more of the first image signal Vpix1, the second image signal Vpix2, the third image signal Vpix3, and the edited image signal Vpix4 to the display unit 80 (see FIG. 3). . The image output unit 51 b selects an image signal to be output to the display unit 80 according to the control signal Vsig<b>1 input to the controller 50 and outputs the selected image signal to the display unit 80 . The image output unit 51 b may select an image signal to be output to the display unit 80 according to the control signal Vsig<b>2 input to the controller 50 and output the selected image signal to the display unit 80 .

表示部80は、例えば液晶パネル等である。表示部80は、コントローラ50に接続されている。表示部80は、種々の文字情報や画像等を画面に表示する。図7は、表示部の画面の一例を示す図である。図7は、表示部80の画面81に編集画像が表示されている場合を例示している。編集画像では、互いに同じタイミングで撮像された第1画像811、第2画像812、第3画像813が並んで配置されている。表示部80は、編集画像をリアルタイム又はほぼリアルタイムで表示してもよいし、編集画像記憶部564に記憶されている編集画像を読み出して再生表示してもよい。 The display unit 80 is, for example, a liquid crystal panel or the like. The display unit 80 is connected to the controller 50 . The display unit 80 displays various character information, images, etc. on the screen. FIG. 7 is a diagram illustrating an example of a screen of a display unit; FIG. 7 illustrates a case where an edited image is displayed on the screen 81 of the display section 80. As shown in FIG. In the edited image, a first image 811, a second image 812, and a third image 813 captured at the same timing are arranged side by side. The display unit 80 may display the edited image in real time or substantially in real time, or may read out and display the edited image stored in the edited image storage unit 564 .

操作者がジョイスティック57又は入力部58を操作することによって、画面81に表示される画像を切り替えることが可能である。操作者がジョイスティック57又は入力部58を操作することによって、画面81に表示される編集画像(動画)を一時停止させることが可能である。プログラム記憶部56a(図6参照)が記憶しているプログラムに基づいて、制御部55(図4参照)が所定の画像を画面81に自動で表示させたり、画面81に表示される画像を自動で切り替えたりしてもよい。 The image displayed on the screen 81 can be switched by the operator operating the joystick 57 or the input unit 58 . By operating the joystick 57 or the input unit 58 by the operator, it is possible to pause the edited image (moving image) displayed on the screen 81 . Based on the program stored in the program storage unit 56a (see FIG. 6), the control unit 55 (see FIG. 4) automatically displays a predetermined image on the screen 81 or automatically changes the image displayed on the screen 81. You can switch with .

画面81に表示される画像は、編集画像に限定されることはなく、第1画像811、第2画像812又は第3画像813のみでもよい。画面81に表示される画像は、元画像に限定されることはなく、画像処理部52によって画像処理された画像(例えば、拡大画像、2値画像及び拡大2値画像の少なくとも1種以上)であってもよい。例えば、画面81に表示される画像は、第1画像811と、第1画像811の一部が拡大された拡大画像と、拡大画像が2値化された拡大2値画像と、であってもよい。 The image displayed on the screen 81 is not limited to the edited image, and may be the first image 811, the second image 812, or the third image 813 alone. The image displayed on the screen 81 is not limited to the original image, and may be an image that has undergone image processing by the image processing unit 52 (for example, at least one of an enlarged image, a binary image, and an enlarged binary image). There may be. For example, the images displayed on the screen 81 may be a first image 811, an enlarged image obtained by enlarging a part of the first image 811, and an enlarged binary image obtained by binarizing the enlarged image. good.

図8は、実施形態に係る採取用ワイヤープローブ及びプローブ保持部の構成例を示す模式図である。図9は、実施形態に係る採取用ワイヤープローブの先端部を拡大して示す模式図である。図10は、実施形態に係る採取用ワイヤープローブ及び接続ジグの構成例を示す模式図である。 FIG. 8 is a schematic diagram showing a configuration example of a sampling wire probe and a probe holder according to the embodiment. FIG. 9 is a schematic diagram showing an enlarged tip portion of the sampling wire probe according to the embodiment. FIG. 10 is a schematic diagram showing a configuration example of a sampling wire probe and a connection jig according to the embodiment.

採取用ワイヤープローブ10は、結晶化タンパク質CPを採取するための採取用器具である。採取用ワイヤープローブ10は、針状の器具である。採取用ワイヤープローブ10の一端は、結晶化タンパク質CPを採取するためのループ部101を含む。採取用ワイヤープローブ10の他端は、接続部102を含む。 The collecting wire probe 10 is a collecting instrument for collecting the crystallized protein CP. The sampling wire probe 10 is a needle-like instrument. One end of the collecting wire probe 10 includes a loop portion 101 for collecting the crystallized protein CP. The other end of the sampling wire probe 10 includes a connecting portion 102 .

ループ部101は、結晶化タンパク質CPを採取する採取部である。ループ部101は、採取用ワイヤープローブ10の長手方向に交差する方向に中心軸を含む輪状である。ループ部101は、内周面101aに囲まれた領域において、結晶化タンパク質CPを採取する。ループ部101は、液滴Drの表面張力によって、結晶化タンパク質CPを含む液滴Drを内周面101aに囲まれた領域において保持する。 The loop part 101 is a collecting part for collecting the crystallized protein CP. The loop portion 101 has a ring shape including a central axis in a direction crossing the longitudinal direction of the sampling wire probe 10 . Loop portion 101 collects crystallized protein CP in a region surrounded by inner peripheral surface 101a. The loop portion 101 holds the droplet Dr containing the crystallized protein CP in the region surrounded by the inner peripheral surface 101a by the surface tension of the droplet Dr.

接続部102は、本実施形態において、磁石を含む。接続部102は、プローブ保持部15の一端に連結している。接続部102は、後述するプローブ保持部15の接続部154と、着脱可能に磁力によって連結している(後述の図17参照)。 Connection 102 includes a magnet in this embodiment. The connecting portion 102 is connected to one end of the probe holding portion 15 . The connecting portion 102 is detachably connected to a connecting portion 154 of the probe holding portion 15 described later by magnetic force (see FIG. 17 described later).

プローブ保持部15は、採取用ワイヤープローブ10を保持するための器具である。プローブ保持部15は、本体151と、芯出し機構152と、接続ジグ153と、接続部154と、を備える。 The probe holding part 15 is an instrument for holding the wire probe 10 for collection. The probe holding section 15 includes a main body 151 , a centering mechanism 152 , a connection jig 153 and a connection section 154 .

本体151は、図1に示す連結部28を介してマニピュレータ20に連結されている。本体151は、コントローラ50からの駆動信号に基づいて駆動するマニピュレータ20によってX軸方向、Y軸方向、Z軸方向に移動する。本体151は、電動モータ29を搭載する。 The main body 151 is connected to the manipulator 20 via the connecting portion 28 shown in FIG. The main body 151 is moved in the X-axis direction, the Y-axis direction, and the Z-axis direction by the manipulator 20 driven based on the drive signal from the controller 50 . The main body 151 has the electric motor 29 mounted thereon.

芯出し機構152は、接続ジグ153を介して採取用ワイヤープローブ10をθ軸方向に回動させる機構である。芯出し機構152は、本体151に設けられる。芯出し機構152は、接続ジグ153をθ軸方向に回動させる。芯出し機構152は、コントローラ50からの駆動信号に基づいて駆動する電動モータ29によって、接続ジグ153をθ軸方向に回動させる。 The centering mechanism 152 is a mechanism that rotates the sampling wire probe 10 in the θ-axis direction via the connection jig 153 . The centering mechanism 152 is provided on the main body 151 . The centering mechanism 152 rotates the connection jig 153 in the θ-axis direction. The centering mechanism 152 rotates the connection jig 153 in the θ-axis direction by the electric motor 29 driven based on the drive signal from the controller 50 .

接続ジグ153は、棒状の器具である。接続ジグ153の一端は、採取用ワイヤープローブ10におけるループ部101とは反対側の端部に連結している。接続ジグ153の一端は、接続部154を含む。接続ジグ153の他端は、芯出し機構152に連結している。接続ジグ153は、芯出し機構152に支持される。接続ジグ153は、芯出し機構152を介して本体151に連結している。 The connection jig 153 is a rod-shaped instrument. One end of the connection jig 153 is connected to the end of the sampling wire probe 10 opposite to the loop portion 101 . One end of the connecting jig 153 includes a connecting portion 154 . The other end of the connection jig 153 is connected to the centering mechanism 152 . The connection jig 153 is supported by the centering mechanism 152 . The connection jig 153 is connected to the main body 151 via the centering mechanism 152 .

接続部154は、本実施形態において、磁石を含む。接続部154は、採取用ワイヤープローブ10におけるループ部101とは反対側の端部に連結している。接続部154は、採取用ワイヤープローブ10の接続部102と、着脱可能に磁力によって連結している(図17参照)。 Connection 154 includes a magnet in this embodiment. The connecting portion 154 is connected to the end of the sampling wire probe 10 opposite to the loop portion 101 . The connecting portion 154 is detachably connected to the connecting portion 102 of the wire probe 10 for sampling by magnetic force (see FIG. 17).

次に、採取用ワイヤープローブ10による結晶化タンパク質CPの採取動作について説明する。図7に示すように、結晶化タンパク質CPは、容器38のウェル38aにおいて生成されている。マニピュレーションシステム100は、ウェル38aの中にある結晶化タンパク質CPを含む液滴Drを採取する。図11は、結晶化タンパク質の採取動作を説明する説明図である。図12及び図13は、採取用ワイヤープローブの動作を説明する説明図である。図14及び図15は、採取用ワイヤープローブの採取可能領域を示す図である。 Next, the collection operation of the crystallized protein CP by the collection wire probe 10 will be described. As shown in FIG. 7, crystallized protein CP is produced in well 38a of container 38. As shown in FIG. Manipulation system 100 picks up droplet Dr containing crystallized protein CP in well 38a. FIG. 11 is an explanatory diagram for explaining the collection operation of the crystallized protein. 12 and 13 are explanatory diagrams for explaining the operation of the sampling wire probe. 14 and 15 are diagrams showing the pickable region of the wire probe for picking.

図11に示すように、マニピュレーションシステム100は、採取用ワイヤープローブ10のループ部101によって、結晶化タンパク質CPを採取する。マニピュレーションシステム100は、まず、ループ部101を、結晶化タンパク質CPを含む液滴Drに挿入させる。マニピュレーションシステム100は、次に、ループ部101を、結晶化タンパク質CPの下方に潜り込ませる。この際、Z軸方向視において、ループ部101の開口が、結晶化タンパク質CPの中に入る位置にある。マニピュレーションシステム100は、次に、結晶化タンパク質CPがループ部101の内周面101a(図9参照)に囲まれた領域を潜るようにループ部101を移動させる。これにより、ループ部101は、液滴Drの表面張力によって、結晶化タンパク質CPを含む液滴Drを内周面101aに囲まれた領域において保持する。ループ部101は、結晶化タンパク質CPを液滴Drごと拾い上げることによって採取する。 As shown in FIG. 11 , the manipulation system 100 collects the crystallized protein CP using the loop portion 101 of the collection wire probe 10 . The manipulation system 100 first inserts the loop portion 101 into the droplet Dr containing the crystallized protein CP. The manipulation system 100 then causes the loop portion 101 to slip under the crystallized protein CP. At this time, when viewed in the Z-axis direction, the opening of the loop portion 101 is positioned to enter the crystallized protein CP. The manipulation system 100 then moves the loop portion 101 so that the crystallized protein CP passes through the region surrounded by the inner peripheral surface 101a (see FIG. 9) of the loop portion 101. FIG. Thereby, the loop portion 101 holds the droplet Dr containing the crystallized protein CP in the region surrounded by the inner peripheral surface 101a by the surface tension of the droplet Dr. The loop part 101 picks up the crystallized protein CP together with the droplet Dr.

ループ部101は、マニピュレータ20及び芯出し機構152によって、X軸方向、Y軸方向、Z軸方向及びθ軸方向のうち少なくとも1つの駆動が可能である。これにより、ループ部101は、様々な方向から結晶化タンパク質CPを採取することができる。 The loop portion 101 can be driven in at least one of the X-axis direction, Y-axis direction, Z-axis direction, and θ-axis direction by the manipulator 20 and the centering mechanism 152 . Thereby, the loop part 101 can collect the crystallized protein CP from various directions.

例えば、図12に示すように、ループ部101は、下方から結晶化タンパク質CPを採取してもよい。ループ部101は、結晶化タンパク質CPからX軸方向に離隔した位置に配置されているものとする。コントローラ50は、まず、ループ部101をX軸方向に移動させ、結晶化タンパク質CPの下方に潜り込ませる。コントローラ50は、次に、ループ部101をZ軸方向に移動させ、結晶化タンパク質CPを下方から拾い上げるように採取する。このように、ループ部101は、マニピュレータ20によるX軸方向及びZ軸方向の制御によって、結晶化タンパク質CPを下方から拾い上げるように採取することが可能である。 For example, as shown in FIG. 12, loop portion 101 may collect crystallized protein CP from below. It is assumed that the loop portion 101 is arranged at a position separated from the crystallized protein CP in the X-axis direction. The controller 50 first moves the loop portion 101 in the X-axis direction to get under the crystallized protein CP. The controller 50 then moves the loop portion 101 in the Z-axis direction to pick up the crystallized protein CP from below. In this manner, the loop portion 101 can be controlled by the manipulator 20 in the X-axis direction and the Z-axis direction so as to pick up the crystallized protein CP from below.

例えば、図13に示すように、ループ部101は、側方から結晶化タンパク質CPを採取してもよい。ループ部101は、結晶化タンパク質CPからX軸方向及びY軸方向に離隔した位置に配置されているものとする。コントローラ50は、まず、ループ部101をθ軸方向に回転させて、ループ部101の開口の法線方向をXZ平面に対して傾ける。コントローラ50は、次に、ループ部101をX軸方向に移動させる。この際、Y軸方向視において、結晶化タンパク質CPが、ループ部101の内周面101aの内側に位置するようにする。コントローラ50は、次に、ループ部101をY軸方向に移動させ、結晶化タンパク質CPを側方から拾い上げるように採取する。このように、ループ部101は、マニピュレータ20によるθ軸方向、X軸方向及びY軸方向の制御によって、結晶化タンパク質CPを側方から拾い上げるように採取することが可能である。 For example, as shown in FIG. 13, the loop portion 101 may collect the crystallized protein CP from the side. It is assumed that the loop portion 101 is arranged at a position separated from the crystallized protein CP in the X-axis direction and the Y-axis direction. The controller 50 first rotates the loop portion 101 in the θ-axis direction to tilt the normal direction of the opening of the loop portion 101 with respect to the XZ plane. The controller 50 then moves the loop portion 101 in the X-axis direction. At this time, the crystallized protein CP is positioned inside the inner circumferential surface 101a of the loop portion 101 as viewed in the Y-axis direction. Next, the controller 50 moves the loop portion 101 in the Y-axis direction and picks up the crystallized protein CP from the side. In this way, the loop portion 101 can pick up the crystallized protein CP from the side by controlling the manipulator 20 in the θ-axis direction, the X-axis direction, and the Y-axis direction.

ループ部101が下方から結晶化タンパク質CPを採取する場合、Z軸方向視において、結晶化タンパク質CPが、ループ部101の内周面101aの内側に位置するようにループ部101を配置する必要がある(図12参照)。図14に示すように、ループ部101をZ軸方向に移動させて結晶化タンパク質CPを採取する場合、採取可能領域CZ1は、Z軸方向から視て、ループ部101の内周面101aの内側における楕円形の領域である。このように、ループ部101をX軸方向、Y軸方向及びZ軸方向のいずれかに移動させて結晶化タンパク質CPを採取する場合、採取可能領域CZ1は、ループ部101の移動方向から視て、ループ部101の内周面101aの内側における楕円形の領域である。ループ部101は、結晶化タンパク質CPを採取する直前において、採取可能領域CZ1内に結晶化タンパク質CPが位置するように配置される。 When the loop part 101 collects the crystallized protein CP from below, the loop part 101 needs to be arranged so that the crystallized protein CP is located inside the inner peripheral surface 101a of the loop part 101 when viewed in the Z-axis direction. (see FIG. 12). As shown in FIG. 14, when the loop portion 101 is moved in the Z-axis direction to collect the crystallized protein CP, the harvestable region CZ1 is inside the inner peripheral surface 101a of the loop portion 101 when viewed from the Z-axis direction. is an elliptical region in . As described above, when the crystallized protein CP is collected by moving the loop portion 101 in any of the X-axis direction, the Y-axis direction, and the Z-axis direction, the harvestable region CZ1 is , an elliptical area inside the inner peripheral surface 101 a of the loop portion 101 . The loop portion 101 is arranged so that the crystallized protein CP is positioned within the harvestable region CZ1 immediately before the crystallized protein CP is harvested.

図15に示すように、ループ部101をθ軸方向に回動させて結晶化タンパク質CPを採取する場合、採取可能領域CZ2は、ループ部101をθ軸方向に1周回転した際に内周面101aの軌跡によって形成される球状の領域である。ループ部101は、結晶化タンパク質CPを採取する直前において、採取可能領域CZ2内に結晶化タンパク質CPが位置するように配置される。 As shown in FIG. 15, when the loop portion 101 is rotated in the θ-axis direction to collect the crystallized protein CP, the harvestable region CZ2 becomes the inner circumference when the loop portion 101 is rotated once in the θ-axis direction. It is a spherical area formed by the trajectory of the surface 101a. The loop portion 101 is arranged so that the crystallized protein CP is positioned within the harvestable region CZ2 immediately before the crystallized protein CP is harvested.

結晶化タンパク質CPの採取位置及びループ部101の移動経路は、予め検出したループ部101の位置、姿勢及び形状と、結晶化タンパク質CPの位置に基づいて設定される。結晶化タンパク質CPの採取位置は、結晶化タンパク質CPがループ部101の内周面101aに囲まれた領域に存在する状態におけるループ部101の位置である。ループ部101の移動経路は、初期位置から採取位置まで、ループ部101が移動する経路である。移動経路は、X軸方向、Y軸方向、Z軸方向及びθ軸方向の移動の組み合わせである。 The collection position of the crystallized protein CP and the movement path of the loop part 101 are set based on the previously detected position, orientation and shape of the loop part 101 and the position of the crystallized protein CP. The collection position of the crystallized protein CP is the position of the loop portion 101 when the crystallized protein CP exists in the region surrounded by the inner peripheral surface 101a of the loop portion 101 . The movement route of the loop portion 101 is the route along which the loop portion 101 moves from the initial position to the collection position. The movement path is a combination of movements in the X-axis direction, Y-axis direction, Z-axis direction, and θ-axis direction.

図4に示すコントローラ50の画像処理部52は、第1撮像装置45、第2撮像装置65及び第3撮像装置75が撮像したループ部101及び結晶化タンパク質CPの画像データの画像処理を行う。コントローラ50の検出部53は、画像処理によって、ループ部101の位置、姿勢及び形状と、結晶化タンパク質CPの位置を検出する。ループ部101による採取動作が行われた後に、画像処理部52は、ループ部101の画像データを取得する。検出部53は、画像データから結晶化タンパク質CPの位置を検出する。コントローラ50の制御部55は、取得した結晶化タンパク質CPの位置情報に基づいて、結晶化タンパク質CPの採取が成功したか否かを判断する。 The image processing section 52 of the controller 50 shown in FIG. 4 performs image processing on the image data of the loop section 101 and the crystallized protein CP captured by the first, second, and third imaging devices 45, 65, and 75, respectively. The detector 53 of the controller 50 detects the position, orientation and shape of the loop part 101 and the position of the crystallized protein CP by image processing. After the loop unit 101 performs the collection operation, the image processing unit 52 acquires the image data of the loop unit 101 . The detector 53 detects the position of the crystallized protein CP from the image data. The control unit 55 of the controller 50 determines whether or not the crystallized protein CP has been successfully collected based on the obtained positional information of the crystallized protein CP.

図16は、結晶化タンパク質の凍結動作を説明する説明図である。マニピュレーションシステム100は、容器38から採取した結晶化タンパク質CPを凍結容器37へ移動させる。凍結容器37は、例えば、容器38に隣接して試料ステージ30上に配置されてもよい。凍結容器37は、マニピュレータ20及び試料ステージ30が駆動することによって採取用ワイヤープローブ10が届く範囲内であれば、どこに配置されてもよい。 FIG. 16 is an explanatory diagram explaining the freezing operation of the crystallized protein. Manipulation system 100 moves crystallized protein CP harvested from container 38 to freezing container 37 . A cryocontainer 37 may, for example, be placed on the sample stage 30 adjacent to the container 38 . The cryocontainer 37 may be placed anywhere within a reach of the sampling wire probe 10 by driving the manipulator 20 and the sample stage 30 .

凍結容器37の内部には、凍結液が満たされている。凍結液は、本実施形態において、液体窒素LNである。マニピュレーションシステム100は、結晶化タンパク質CPを保持しているループ部101を液体窒素LNに沈め、結晶化タンパク質CPを凍結させる。 The inside of the freezing container 37 is filled with a freezing liquid. The freezing liquid is liquid nitrogen LN in this embodiment. The manipulation system 100 submerges the loop portion 101 holding the crystallized protein CP in liquid nitrogen LN to freeze the crystallized protein CP.

図17は、結晶化タンパク質の回収動作を説明する説明図である。マニピュレーションシステム100は、凍結容器37において凍結した結晶化タンパク質CPを回収容器39へ移動させる。回収容器39は、例えば、容器38及び凍結容器37の少なくとも一方に隣接して試料ステージ30上に配置されてもよい。回収容器39は、マニピュレータ20及び試料ステージ30が駆動することによって採取用ワイヤープローブ10が届く範囲内であれば、どこに配置されてもよい。 FIG. 17 is an explanatory diagram for explaining the recovering operation of the crystallized protein. The manipulation system 100 moves the crystallized protein CP frozen in the freezing container 37 to the collection container 39 . The collection container 39 may be arranged on the sample stage 30 adjacent to at least one of the container 38 and the freezing container 37, for example. The collection container 39 may be placed anywhere within a reach of the collection wire probe 10 by driving the manipulator 20 and the sample stage 30 .

回収容器39は、ループ部101を収納する収納部39aを含む。収納部39aは、本実施形態において、円筒状である。回収容器39は、収納部39aの長手方向が、採取用ワイヤープローブ10の長手方向と一致するように設置される。収納部39aの開口部は、採取用ワイヤープローブ10におけるループ部101とは反対側の端部によって閉塞可能な構造である。収納部39aの開口部は、本実施形態において、採取用ワイヤープローブ10の接続部102によって閉塞される。回収容器39は、採取用ワイヤープローブ10を収納部39aに収納した状態において、採取用ワイヤープローブ10の接続部102とプローブ保持部15の接続部154との連結を解除することによって、採取用ワイヤープローブ10のみを回収する。本実施形態においては、接続部102及び接続部154は磁石を含むので、例えば、接続ジグ153を長手方向に交差する方向に移動させることによって、接続部102と接続部154との連結を容易に解除することができる。 The collection container 39 includes a storage portion 39 a that stores the loop portion 101 . The storage portion 39a is cylindrical in this embodiment. The collection container 39 is installed such that the longitudinal direction of the storage portion 39 a coincides with the longitudinal direction of the sampling wire probe 10 . The opening of the storage portion 39a has a structure that can be closed by the end of the sampling wire probe 10 opposite to the loop portion 101 . The opening of the storage portion 39a is closed by the connecting portion 102 of the sampling wire probe 10 in this embodiment. In the collecting container 39, the collection wire probe 10 is stored in the storage portion 39a, and the connection portion 102 of the collection wire probe 10 and the connection portion 154 of the probe holding portion 15 are disconnected to release the collection wire. Only the probe 10 is recovered. In the present embodiment, since the connection portion 102 and the connection portion 154 include magnets, the connection portion 102 and the connection portion 154 can be easily connected by moving the connection jig 153 in a direction intersecting the longitudinal direction. can be released.

次に、マニピュレーションシステム100において、結晶化タンパク質CPを採取して、回収する方法について説明する。マニピュレーションシステム100の動作を開始する前に、操作者は、まず、図1に示す採取用ワイヤープローブ10をプローブ保持部15に取り付ける。操作者は、次に、第1顕微鏡41、第2顕微鏡61及び第3撮像装置75の視野内に、採取用ワイヤープローブ10を配置する。ここで、採取用ワイヤープローブ10の先端の高さは、少なくとも容器38が設置される高さより上方の位置とする。操作者は、次に、採取される結晶化タンパク質CPを含む液滴Drが入れられた容器38を試料ステージ30に設置する。操作者は、次に、容器38のウェル38aが、第1顕微鏡41、第2顕微鏡61及び第3撮像装置75の視野と重なるように試料ステージ30を移動させる。操作者は、次に、駆動装置414を駆動させることによって第1顕微鏡41の対物レンズ412を移動させて、第1顕微鏡41の焦点を結晶化タンパク質CPに合わせる。操作者は、駆動装置613を駆動させることによって第2顕微鏡61の対物レンズ612を移動させて、第2顕微鏡61の焦点を結晶化タンパク質CPに合わせる。 Next, a method for collecting and recovering the crystallized protein CP in the manipulation system 100 will be described. Before starting the operation of the manipulation system 100, the operator first attaches the sampling wire probe 10 shown in FIG. The operator then places the sampling wire probe 10 within the fields of view of the first microscope 41 , the second microscope 61 and the third imaging device 75 . Here, the height of the tip of the sampling wire probe 10 is at least higher than the height at which the container 38 is installed. The operator then places the container 38 containing the droplet Dr containing the crystallized protein CP to be sampled on the sample stage 30 . The operator then moves the sample stage 30 so that the well 38 a of the container 38 overlaps the fields of view of the first microscope 41 , the second microscope 61 and the third imaging device 75 . The operator then moves the objective lens 412 of the first microscope 41 by driving the driving device 414 to focus the first microscope 41 on the crystallized protein CP. The operator moves the objective lens 612 of the second microscope 61 by driving the driving device 613 to focus the second microscope 61 on the crystallized protein CP.

図18は、実施形態の動作の一例を示すフローチャート図である。マニピュレーションシステム100は、1つの結晶化タンパク質CPに対して操作を実行する。コントローラ50は、結晶化タンパク質CPに対する操作を自動で実行する。マニピュレーションシステム100による自動操作は、例えば、入力部58の開始ボタンを押すことでスタートする。 FIG. 18 is a flow chart diagram showing an example of the operation of the embodiment. The manipulation system 100 performs manipulations on one crystallized protein CP. The controller 50 automatically executes operations on the crystallized protein CP. Automatic operation by the manipulation system 100 is started by pressing a start button of the input unit 58, for example.

まず、ステップST10において、コントローラ50の画像処理部52は、第1撮像装置45、第2撮像装置65及び第3撮像装置75が撮像したループ部101の画像データを取得する。画像処理部52は、画像データの画像処理を行う。ステップST12において、コントローラ50の検出部53は、画像処理によって、ループ部101の位置、姿勢及び形状を検出する。記憶部56は、ループ部101の位置、姿勢及び形状の情報を記憶する。 First, in step ST10, the image processing section 52 of the controller 50 acquires the image data of the loop section 101 captured by the first imaging device 45, the second imaging device 65, and the third imaging device 75. FIG. The image processing unit 52 performs image processing on image data. In step ST12, the detection unit 53 of the controller 50 detects the position, orientation and shape of the loop unit 101 by image processing. The storage unit 56 stores information on the position, orientation and shape of the loop unit 101 .

次に、ステップST14において、画像処理部52は、第1撮像装置45、第2撮像装置65及び第3撮像装置75が撮像した結晶化タンパク質CPの画像データを取得する。画像処理部52は、画像データの画像処理を行う。ステップST16において、検出部53は、画像処理によって、結晶化タンパク質CPの位置を検出する。記憶部56は、結晶化タンパク質CPの位置情報を記憶する。 Next, in step ST14, the image processing unit 52 acquires image data of the crystallized protein CP captured by the first imaging device 45, the second imaging device 65, and the third imaging device 75. FIG. The image processing unit 52 performs image processing on image data. In step ST16, the detection unit 53 detects the position of the crystallized protein CP by image processing. The storage unit 56 stores the position information of the crystallized protein CP.

ステップST18において、制御部55は、記憶部56に記憶されたループ部101及び結晶化タンパク質CPの情報に基づいて、結晶化タンパク質CPの採取位置及び採取用ワイヤープローブ10の移動経路を設定する。制御部55は、X軸方向、Y軸方向、Z軸方向及びθ軸方向の移動距離及び順序を記憶部56に記憶させる。ステップST20において、制御部55は、マニピュレータ20を駆動して、採取用ワイヤープローブ10を結晶化タンパク質CPの採取位置へ移動経路に沿って移動させる。ステップST22において、制御部55は、マニピュレータ20を駆動して、採取用ワイヤープローブ10によって結晶化タンパク質CPを採取させる。ステップST20とステップST22とは、連続して実行されてもよいし、一連の動作として実行されてもよい。 In step ST18, the control unit 55 sets the collection position of the crystallized protein CP and the movement path of the collection wire probe 10 based on the information of the loop unit 101 and the crystallized protein CP stored in the storage unit 56. The control unit 55 causes the storage unit 56 to store the movement distance and order in the X-axis direction, Y-axis direction, Z-axis direction, and θ-axis direction. In step ST20, the control unit 55 drives the manipulator 20 to move the collection wire probe 10 to the collection position of the crystallized protein CP along the movement path. In step ST22, the control section 55 drives the manipulator 20 to allow the wire probe 10 for collection to collect the crystallized protein CP. Step ST20 and step ST22 may be executed continuously or may be executed as a series of operations.

ステップST24において、画像処理部52は、第1撮像装置45、第2撮像装置65及び第3撮像装置75が撮像したループ部101の画像データを取得する。画像処理部52は、画像データの画像処理を行う。ステップST26において、検出部53は、画像処理によって、結晶化タンパク質CPの位置を検出する。 In step ST<b>24 , the image processing unit 52 acquires image data of the loop unit 101 captured by the first imaging device 45 , the second imaging device 65 and the third imaging device 75 . The image processing unit 52 performs image processing on image data. In step ST26, the detection unit 53 detects the position of the crystallized protein CP by image processing.

ステップST28において、制御部55は、結晶化タンパク質CPの位置情報に基づいて、結晶化タンパク質CPの採取が成功したか否かを判断する。例えば、結晶化タンパク質CPがループ部101の内周面101aに囲まれた領域に位置しない場合、制御部55は、結晶化タンパク質CPの採取が失敗したと判断する。ステップST28において、結晶化タンパク質CPの採取が失敗した場合(ステップST28;No)、ステップST14に移行する。例えば、結晶化タンパク質CPがループ部101の内周面101aに囲まれた領域に位置する場合、制御部55は、結晶化タンパク質CPの採取が成功したと判断する。ステップST28において、結晶化タンパク質CPの採取が成功した場合(ステップST28;Yes)、ステップST30に移行する。 In step ST28, the control unit 55 determines whether or not the crystallized protein CP has been successfully collected based on the positional information of the crystallized protein CP. For example, when the crystallized protein CP is not located in the region surrounded by the inner peripheral surface 101a of the loop portion 101, the control unit 55 determines that the collection of the crystallized protein CP has failed. In step ST28, if the collection of the crystallized protein CP fails (step ST28; No), the process proceeds to step ST14. For example, when the crystallized protein CP is located in the region surrounded by the inner peripheral surface 101a of the loop portion 101, the controller 55 determines that the crystallized protein CP has been successfully collected. In step ST28, when the collection of the crystallized protein CP is successful (step ST28; Yes), the process proceeds to step ST30.

ステップST30において、制御部55は、マニピュレータ20及び試料ステージ30を駆動して、採取用ワイヤープローブ10を凍結容器37へ移動させる。ステップST32において、制御部55は、マニピュレータ20を駆動して、採取用ワイヤープローブ10を凍結容器37に満たされた液体窒素LNに沈め、ループ部101に保持された結晶化タンパク質CPを凍結させる。制御部55は、例えば、予め設定された時間が経過すると、採取用ワイヤープローブ10を凍結容器37から引き上げる。 In step ST<b>30 , the controller 55 drives the manipulator 20 and the sample stage 30 to move the sampling wire probe 10 to the cryocontainer 37 . In step ST32, the control unit 55 drives the manipulator 20 to submerge the sampling wire probe 10 in the liquid nitrogen LN filled in the freezing container 37, thereby freezing the crystallized protein CP held in the loop unit 101. For example, when a preset time has elapsed, the control unit 55 pulls up the sampling wire probe 10 from the freezing container 37 .

ステップST34において、制御部55は、マニピュレータ20及び試料ステージ30を駆動して、採取用ワイヤープローブ10を回収容器39へ移動させる。この際、制御部55は、採取用ワイヤープローブ10の長手方向と回収容器39の収納部39aの長手方向とが一致するように採取用ワイヤープローブ10を移動させる。ステップST36において、制御部55は、マニピュレータ20を駆動して、採取用ワイヤープローブ10を回収容器39の収納部39aに差し込む。制御部55は、マニピュレータ20を駆動して、プローブ保持部15を採取用ワイヤープローブ10から切り離す。制御部55は、採取用ワイヤープローブ10の接続部102とプローブ保持部15の接続部154との連結を解除する。これにより、採取用ワイヤープローブ10のみが回収容器39の収納部39aに収納される。収納部39aは、採取用ワイヤープローブ10の接続部102によって閉塞される。 In step ST<b>34 , the control unit 55 drives the manipulator 20 and the sample stage 30 to move the wire probe 10 for collection to the collection container 39 . At this time, the control unit 55 moves the sampling wire probe 10 so that the longitudinal direction of the sampling wire probe 10 and the longitudinal direction of the storage portion 39a of the collection container 39 are aligned. In step ST<b>36 , the control section 55 drives the manipulator 20 to insert the sampling wire probe 10 into the storage section 39 a of the collection container 39 . The control unit 55 drives the manipulator 20 to separate the probe holding unit 15 from the sampling wire probe 10 . The control unit 55 releases the connection between the connecting portion 102 of the sampling wire probe 10 and the connecting portion 154 of the probe holding portion 15 . As a result, only the sampling wire probe 10 is stored in the storage portion 39 a of the collection container 39 . The housing portion 39a is closed by the connecting portion 102 of the wire probe 10 for sampling.

ステップST38において、制御部55は、マニピュレータ20を駆動して、プローブ保持部15を初期位置へ移動させる。プローブ保持部15が初期位置に戻ると、マニピュレーションシステム100は、一連の操作を終了する。 In step ST38, the control section 55 drives the manipulator 20 to move the probe holding section 15 to the initial position. When the probe holder 15 returns to the initial position, the manipulation system 100 completes a series of operations.

以上説明したように、本実施形態のマニピュレーションシステム100は、容器38と、試料ステージ30と、採取用器具(採取用ワイヤープローブ10)と、撮像装置(第1撮像装置45、第2撮像装置65及び第3撮像装置75)と、コントローラ50と、を備える。容器38は、結晶化タンパク質CPが収容される。試料ステージ30は、容器38が載置される。採取用器具は、結晶化タンパク質CPを採取する。撮像装置は、結晶化タンパク質CP及び採取用器具を撮像する。コントローラ50は、撮像装置の画像データに基づいて結晶化タンパク質CP及び採取用器具の位置情報を検出する。コントローラ50は、位置情報に基づいて試料ステージ30、採取用器具及び撮像装置を制御し、採取用器具によって結晶化タンパク質CPを採取させる。 As described above, the manipulation system 100 of the present embodiment includes the container 38, the sample stage 30, the sampling instrument (sampling wire probe 10), the imaging devices (first imaging device 45, second imaging device 65). and a third imaging device 75 ) and a controller 50 . A container 38 accommodates the crystallized protein CP. A container 38 is placed on the sample stage 30 . A collection instrument collects the crystallized protein CP. The imaging device images the crystallized protein CP and the collection device. The controller 50 detects the positional information of the crystallized protein CP and the sampling instrument based on the image data of the imaging device. The controller 50 controls the sample stage 30, the collecting device, and the imaging device based on the positional information, and causes the collecting device to collect the crystallized protein CP.

これによれば、コントローラ50が、画像データに基づいて結晶化タンパク質CP及び採取用器具(採取用ワイヤープローブ10)の位置情報を検出するため、操作者の技術及び熟練度によらず、結晶化タンパク質CP及び採取用器具の位置情報を検出することができる。また、結晶化タンパク質CP及び採取用器具の位置情報を検出する制御、及び、採取用器具を移動させる制御が、コントローラ50によって自動で行われるため、結晶化タンパク質CPの損傷を抑制して、効率よくかつ好適に結晶化タンパク質CPを採取することができる。 According to this, since the controller 50 detects the position information of the crystallized protein CP and the sampling instrument (sampling wire probe 10) based on the image data, crystallization can be performed regardless of the operator's skill and skill. It is possible to detect the location information of the protein CP and the collection device. In addition, since the controller 50 automatically controls the detection of the positional information of the crystallized protein CP and the collection tool and the control of the movement of the collection tool, damage to the crystallized protein CP is suppressed and efficiency is improved. A good and suitable crystallized protein CP can be harvested.

本実施形態のマニピュレーションシステム100において、採取用器具を回動させる電動モータ29をさらに備える。これによれば、採取用器具が、より好適な方向及び姿勢によって結晶化タンパク質CPを採取することができる。 The manipulation system 100 of this embodiment further includes an electric motor 29 that rotates the sampling instrument. According to this, the instrument for collection can collect the crystallized protein CP in a more suitable direction and posture.

本実施形態のマニピュレーションシステム100において、採取用器具(採取用ワイヤープローブ10)は、輪状の採取部(ループ部101)を先端に含む。これによれば、採取用器具が、結晶化タンパク質CPを含む生成液(液滴Dr)を、生成液の表面張力によって、採取部の内側の領域(内周面101aに囲まれた領域)において保持することができる。結晶化タンパク質CPが採取用器具に触れないので、結晶化タンパク質CPの損傷を抑制することができる。 In the manipulation system 100 of this embodiment, the sampling instrument (sampling wire probe 10) includes a ring-shaped sampling portion (loop portion 101) at its tip. According to this, the collecting instrument spreads the generated liquid (droplet Dr) containing the crystallized protein CP in the region inside the collecting portion (the region surrounded by the inner peripheral surface 101a) by the surface tension of the generated liquid. can hold. Since the crystallized protein CP does not come into contact with the collecting instrument, damage to the crystallized protein CP can be suppressed.

本実施形態のマニピュレーションシステム100において、コントローラ50は、撮像装置(第1撮像装置45、第2撮像装置65及び第3撮像装置75)の画像データに基づいて、結晶化タンパク質CPが採取されたか否かを判断する。これによれば、コントローラ50が、画像データに基づいて結晶化タンパク質CPが採取用器具(採取用ワイヤープローブ10)に採取されたか否かを自動で判断するので、操作者の技術及び熟練度によらず、効率よくかつ好適に結晶化タンパク質CPが採取されたか否かを判断することができる。 In the manipulation system 100 of the present embodiment, the controller 50 determines whether the crystallized protein CP has been collected based on the image data of the imaging devices (the first imaging device 45, the second imaging device 65, and the third imaging device 75). to judge whether According to this, the controller 50 automatically determines whether or not the crystallized protein CP has been collected by the collecting device (collecting wire probe 10) based on the image data. Whether or not the crystallized protein CP has been collected can be efficiently and suitably determined regardless of whether the crystallized protein CP has been collected.

本実施形態のマニピュレーションシステム100において、コントローラ50は、位置情報に基づいて、結晶化タンパク質CPが採取されたか否かを判断する。これによれば、コントローラ50が、位置情報に基づいて結晶化タンパク質CPが採取用器具(採取用ワイヤープローブ10)に採取されたか否かを自動で判断するので、操作者の技術及び熟練度によらず、効率よくかつ好適に結晶化タンパク質CPが採取されたか否かを判断することができる。 In the manipulation system 100 of this embodiment, the controller 50 determines whether or not the crystallized protein CP has been collected based on the positional information. According to this, the controller 50 automatically determines whether or not the crystallized protein CP has been collected by the collecting device (collecting wire probe 10) based on the positional information. Whether or not the crystallized protein CP has been collected can be efficiently and suitably determined regardless of whether the crystallized protein CP has been collected.

本実施形態のマニピュレーションシステム100において、コントローラ50は、位置情報に基づいて、採取用器具(採取用ワイヤープローブ10)が結晶化タンパク質CPに対向する所定の採取位置を決定する。これによれば、画像データに基づいて検出された位置情報に基づいて、好適な採取位置を決定できるので、操作者の技術及び熟練度によらず、効率よくかつ好適に結晶化タンパク質CPを採取することができる。 In the manipulation system 100 of this embodiment, the controller 50 determines a predetermined sampling position where the sampling instrument (sampling wire probe 10) faces the crystallized protein CP based on the position information. According to this, since a suitable collection position can be determined based on the position information detected based on the image data, the crystallized protein CP can be efficiently and suitably collected regardless of the skill and skill of the operator. can do.

本実施形態のマニピュレーションシステム100において、コントローラ50は、位置情報に基づいて、所定の初期位置から所定の採取位置までの採取用器具(採取用ワイヤープローブ10)の移動経路を設定する。これによれば、画像データに基づいて検出された位置情報に基づいて、好適な移動経路を決定できるので、操作者の技術及び熟練度によらず、効率よくかつ好適に結晶化タンパク質CPを採取することができる。 In the manipulation system 100 of the present embodiment, the controller 50 sets the movement route of the sampling instrument (sampling wire probe 10) from a predetermined initial position to a predetermined sampling position based on position information. According to this, a suitable movement route can be determined based on the position information detected based on the image data, so that the crystallized protein CP can be efficiently and suitably collected regardless of the skill and skill of the operator. can do.

本実施形態のマニピュレーションシステム100は、凍結液(液体窒素LN)を含み、試料ステージ30に載置される凍結容器37を備える。本実施形態のマニピュレーションシステム100において、コントローラ50は、結晶化タンパク質CPを採取した採取用器具(採取用ワイヤープローブ10)を凍結容器37へ移動させ、結晶化タンパク質CPを凍結液によって凍結させる。これによれば、採取用器具を移動させる制御、及び、結晶化タンパク質CPを凍結させる制御が、コントローラ50によって自動で行われるため、結晶化タンパク質CPの損傷を抑制して、効率よくかつ好適に結晶化タンパク質CPを凍結することができる。 The manipulation system 100 of this embodiment includes a cryocontainer 37 that contains a cryofluid (liquid nitrogen LN) and is mounted on the sample stage 30 . In the manipulation system 100 of this embodiment, the controller 50 moves the sampling instrument (sampling wire probe 10) that has sampled the crystallized protein CP to the freezing container 37, and freezes the crystallized protein CP with the freezing liquid. According to this, the control of moving the collection instrument and the control of freezing the crystallized protein CP are automatically performed by the controller 50, so damage to the crystallized protein CP is suppressed, and the crystallized protein CP is efficiently and preferably Crystallized protein CP can be frozen.

本実施形態のマニピュレーションシステム100は、試料ステージ30に載置される回収容器39を備える。本実施形態のマニピュレーションシステム100において、コントローラ50は、結晶化タンパク質CPを採取した採取用器具(採取用ワイヤープローブ10)を回収容器39へ移動させ、採取用器具を回収容器39に収納させる。これによれば、採取用器具を移動させる制御、及び、結晶化タンパク質CPを回収容器39に収納させる制御が、コントローラ50によって自動で行われるため、結晶化タンパク質CPの損傷を抑制して、効率よくかつ好適に結晶化タンパク質CPを回収することができる。 The manipulation system 100 of this embodiment includes a collection container 39 placed on the sample stage 30 . In the manipulation system 100 of the present embodiment, the controller 50 moves the collecting instrument (collecting wire probe 10 ) that collected the crystallized protein CP to the collection container 39 and stores the collecting instrument in the collection container 39 . According to this, the controller 50 automatically controls the movement of the sampling instrument and the control of storing the crystallized protein CP in the collection container 39, thereby suppressing damage to the crystallized protein CP and improving efficiency. The crystallized protein CP can be recovered well and favorably.

本実施形態のマニピュレーションシステム100の駆動方法は、本実施形態のマニピュレーションシステム100は、容器38と、試料ステージ30と、採取用器具(採取用ワイヤープローブ10)と、撮像装置(第1撮像装置45、第2撮像装置65及び第3撮像装置75)と、コントローラ50と、を備えるマニピュレーションシステム100の駆動方法である。容器38は、結晶化タンパク質CPが収容される。試料ステージ30は、容器38が載置される。採取用器具は、結晶化タンパク質CPを採取する。撮像装置は、結晶化タンパク質CP及び採取用器具を撮像する。マニピュレーションシステム100の駆動方法は、撮像装置に結晶化タンパク質CP及び採取用器具を撮影させるステップ(ステップST10及びステップST14)と、結晶化タンパク質CP及び採取用器具の画像データに基づいて結晶化タンパク質CP及び採取用器具の位置情報を検出するステップ(ステップST12及びステップST16)と、位置情報に基づいて採取用器具によって結晶化タンパク質CPを採取させるステップ(ステップST18、ステップST20及びST22)と、を含む。 A driving method of the manipulation system 100 of the present embodiment is as follows. , a second imaging device 65 and a third imaging device 75 ) and a controller 50 . A container 38 accommodates the crystallized protein CP. A container 38 is placed on the sample stage 30 . A collection instrument collects the crystallized protein CP. The imaging device images the crystallized protein CP and the collection device. The driving method of the manipulation system 100 consists of the step of causing the imaging device to photograph the crystallized protein CP and the sampling tool (steps ST10 and ST14), and the step of capturing the crystallized protein CP based on the image data of the crystallized protein CP and the sampling tool. and detecting the positional information of the collecting device (steps ST12 and ST16), and the step of collecting the crystallized protein CP with the collecting device based on the positional information (steps ST18, steps ST20 and ST22). .

これによれば、画像データに基づいて結晶化タンパク質CP及び採取用器具(採取用ワイヤープローブ10)の位置情報を検出するため、操作者の技術及び熟練度によらず、結晶化タンパク質CP及び採取用器具の位置情報を検出することができる。また、結晶化タンパク質CP及び採取用器具を撮像する制御、結晶化タンパク質CP及び採取用器具の位置情報を検出する制御、及び、採取用器具を移動させる制御が、自動で行われるため、結晶化タンパク質CPの損傷を抑制して、効率よくかつ好適に結晶化タンパク質CPを採取することができる。 According to this, since the position information of the crystallized protein CP and the sampling instrument (sampling wire probe 10) is detected based on the image data, the crystallized protein CP and the sampling device can be detected regardless of the skill and skill of the operator. It is possible to detect the position information of the equipment. In addition, since the control for imaging the crystallized protein CP and the collection instrument, the control for detecting the position information of the crystallized protein CP and the collection instrument, and the control for moving the collection instrument are automatically performed, the crystallization Crystallized protein CP can be collected efficiently and suitably by suppressing damage to protein CP.

本実施形態のマニピュレーションシステム100の駆動方法において、結晶化タンパク質CPを採取した後に、再度撮像装置(第1撮像装置45、第2撮像装置65及び第3撮像装置75)に結晶化タンパク質CP及び採取用器具(採取用ワイヤープローブ10)を撮影させるステップ(ステップST24及びステップST26)と、結晶化タンパク質CP及び採取用器具の画像データに基づいて結晶化タンパク質CPが採取されたか否かを判断するステップST28と、を含む。これによれば、画像データに基づいて結晶化タンパク質CPが採取用器具に採取されたか否かを自動で判断するので、操作者の技術及び熟練度によらず、効率よくかつ好適に結晶化タンパク質CPが採取されたか否かを判断することができる。 In the driving method of the manipulation system 100 of the present embodiment, after the crystallized protein CP is collected, the crystallized protein CP and the collected crystallized protein CP are again captured by the imaging devices (the first imaging device 45, the second imaging device 65, and the third imaging device 75). (step ST24 and step ST26), and determining whether or not the crystallized protein CP has been collected based on the image data of the crystallized protein CP and the collection device. and ST28. According to this method, it is automatically determined whether or not the crystallized protein CP has been collected by the collecting device based on the image data, so that the crystallized protein can be obtained efficiently and preferably regardless of the operator's technique and skill. It can be determined whether the CP has been harvested.

本実施形態のマニピュレーションシステム100及びマニピュレーションシステム100の駆動方法は適宜変更してもよい。例えば、採取用ワイヤープローブ10のループ部101は、本実施形態において輪状であるが、C字状でもよい。ループ部101は、液滴Drの表面張力により、結晶化タンパク質CPを含む液滴Drを保持できるのであれば、形状を限定されない。また、結晶化タンパク質CPを採取する採取用器具は、採取用ワイヤープローブ10に限定されない。マニピュレーションシステムは、採取用ワイヤープローブ10に代えて、中空の毛細管とマイクロポンプとを備えてもよい。この場合、マニピュレーションシステムは、マイクロポンプによって毛細管の内部の圧力を調整し、結晶化タンパク質CPを毛細管の内部に取り込むことによって採取する。結晶化タンパク質CPの採取操作は、本発明の趣旨を逸脱しない範囲で適宜手順の一部を省略してもよく、また、手順を置換して実行してもよい。また、本実施形態においては、操作者が手作業で採取用ワイヤープローブ10をプローブ保持部15に取り付けるが、マニピュレーションシステム100又は別の装置によって自動的に取り付けてもよい。 The manipulation system 100 of this embodiment and the driving method of the manipulation system 100 may be changed as appropriate. For example, the loop portion 101 of the sampling wire probe 10 has a ring shape in the present embodiment, but may have a C shape. The shape of the loop portion 101 is not limited as long as the droplet Dr containing the crystallized protein CP can be held by the surface tension of the droplet Dr. Moreover, the sampling instrument for sampling the crystallized protein CP is not limited to the sampling wire probe 10 . The manipulation system may include a hollow capillary tube and a micropump instead of the sampling wire probe 10 . In this case, the manipulation system harvests the crystallized protein CP by adjusting the pressure inside the capillary with a micropump and entraining the crystallized protein CP inside the capillary. A part of the procedure for collecting the crystallized protein CP may be appropriately omitted or the procedure may be replaced without departing from the gist of the present invention. Further, in the present embodiment, the operator manually attaches the sampling wire probe 10 to the probe holding portion 15, but it may be attached automatically by the manipulation system 100 or another device.

1 基台
3、4 固定具
10 採取用ワイヤープローブ
101 ループ部
101a 内周面
102 接続部
15 プローブ保持部
151 本体
152 芯出し機構
153 接続ジグ
154 接続部
20 マニピュレータ
21 X軸テーブル
22 Y軸テーブル
23 Z軸テーブル
26、27 駆動装置
28、71 連結部
29 電動モータ
30 試料ステージ
30a 載置面
31 X軸ステージ
32 Y軸ステージ
36 駆動装置
37 凍結容器
38 容器
38a ウェル
39 回収容器
39a 収納部
40 第1顕微鏡ユニット
41 第1顕微鏡
411 鏡筒
412 対物レンズ
414 駆動装置
45 第1撮像装置
50 コントローラ
51a 画像入力部
51b 画像出力部
52 画像処理部
53 検出部
531 位置検出部
532 距離検出部
533 個数検出部
54 画像編集部
55 制御部
56 記憶部
56a プログラム記憶部
56b 画像記憶部
561 第1画像記憶部
562 第2画像記憶部
563 第3画像記憶部
564 編集画像記憶部
57 ジョイスティック
58 入力部
60 第2顕微鏡ユニット
61 第2顕微鏡
611 鏡筒
612 対物レンズ
613 駆動装置
65 第2撮像装置
75 第3撮像装置
80 表示部
81 画面
811 第1画像
812 第2画像
813 第3画像
100 マニピュレーションシステム
CP 結晶化タンパク質
Dr 液滴
LN 液体窒素
CZ1、CZ2 採取可能領域
Reference Signs List 1 base 3, 4 fixture 10 sampling wire probe 101 loop portion 101a inner peripheral surface 102 connection portion 15 probe holding portion 151 main body 152 centering mechanism 153 connection jig 154 connection portion 20 manipulator 21 X-axis table 22 Y-axis table 23 Z-axis table 26, 27 drive device 28, 71 connecting part 29 electric motor 30 sample stage 30a mounting surface 31 X-axis stage 32 Y-axis stage 36 drive device 37 freezing container 38 container 38a well 39 recovery container 39a storage unit 40 first Microscope unit 41 First microscope 411 Lens barrel 412 Objective lens 414 Driving device 45 First imaging device 50 Controller 51a Image input section 51b Image output section 52 Image processing section 53 Detection section 531 Position detection section 532 Distance detection section 533 Number detection section 54 Image editing section 55 Control section 56 Storage section 56a Program storage section 56b Image storage section 561 First image storage section 562 Second image storage section 563 Third image storage section 564 Edited image storage section 57 Joystick 58 Input section 60 Second microscope unit 61 second microscope 611 barrel 612 objective lens 613 driving device 65 second imaging device 75 third imaging device 80 display unit 81 screen 811 first image 812 second image 813 third image 100 manipulation system CP crystallized protein Dr droplet LN Liquid nitrogen CZ1, CZ2 Collectable area

Claims (11)

結晶化タンパク質を含む液滴が収容される容器と、
前記容器が載置される試料ステージと、
輪状の採取部を先端に含み前記採取部の内周面に囲まれた領域において前記結晶化タンパク質を採取する採取用器具と、
前記採取部の中心軸に直交する回転軸回りに前記採取用器具を回動させる電動モータと、
前記結晶化タンパク質及び前記採取用器具を撮像する撮像装置と、
前記撮像装置の画像データに基づいて前記結晶化タンパク質及び前記採取用器具の位置情報を検出し、前記位置情報に基づいて前記試料ステージ、前記採取用器具及び前記撮像装置を制御るコントローラと、
を備え
前記コントローラは、
前記採取用器具が直線的な移動又は前記回転軸回りに回転をした際の前記採取部の内周面の軌跡によって形成される領域である採取可能領域の内部に、前記結晶化タンパク質が位置するように前記採取用器具を配置し、前記結晶化タンパク質が前記採取部の内周面に囲まれた領域を通過するように前記採取用器具を直線的に移動又は前記回転軸回りに回転させることによって、前記採取部に前記結晶化タンパク質を採取させるマニピュレーションシステム。
a container containing a droplet containing the crystallized protein;
a sample stage on which the container is placed;
a collecting instrument that includes a ring-shaped collecting portion at its tip and collects the crystallized protein in a region surrounded by the inner peripheral surface of the collecting portion ;
an electric motor for rotating the sampling instrument around a rotation axis orthogonal to the central axis of the sampling part;
an imaging device that images the crystallized protein and the collection instrument;
a controller that detects the positional information of the crystallized protein and the sampling device based on the image data of the imaging device, and controls the sample stage, the sampling device, and the imaging device based on the positional information;
with
The controller is
The crystallized protein is located inside the harvestable region, which is the region formed by the trajectory of the inner peripheral surface of the sampling portion when the sampling instrument is linearly moved or rotated around the rotation axis. and moving the collecting device linearly or rotating it around the rotation axis so that the crystallized protein passes through the region surrounded by the inner peripheral surface of the collecting portion. a manipulation system that causes the harvesting unit to harvest the crystallized protein .
前記採取可能領域は、一方向から視て前記採取部の内周面より内側に視える領域であり、The extractable area is an area that can be seen inside the inner peripheral surface of the extracting portion when viewed from one direction,
前記コントローラは、前記採取用器具を一方向に移動させることによって、前記採取部に前記結晶化タンパク質を採取させる、the controller causes the collecting unit to collect the crystallized protein by moving the collecting instrument in one direction;
請求項1に記載のマニピュレーションシステム。The manipulation system of claim 1.
前記採取可能領域は、前記採取部を前記回転軸回りに1周回転させた際に前記採取部の内周面の軌跡によって形成される球状の領域であり、The collectable region is a spherical region formed by the trajectory of the inner peripheral surface of the collecting portion when the collecting portion is rotated around the rotation axis once,
前記コントローラは、前記採取用器具を前記回転軸回りに回転させることによって、前記採取部に前記結晶化タンパク質を採取させる、The controller causes the collecting unit to collect the crystallized protein by rotating the collecting instrument around the rotation axis.
請求項1に記載のマニピュレーションシステム。The manipulation system of claim 1.
前記コントローラは、前記撮像装置の画像データに基づいて、前記結晶化タンパク質が採取されたか否かを判断する
請求項1から3のいずれか1項に記載のマニピュレーションシステム。
4. The manipulation system according to any one of claims 1 to 3, wherein the controller determines whether the crystallized protein has been collected based on the image data of the imaging device.
前記コントローラは、前記位置情報に基づいて、前記結晶化タンパク質が採取されたか否かを判断する
請求項1から4のいずれか1項に記載のマニピュレーションシステム。
5. The manipulation system according to any one of claims 1 to 4, wherein the controller determines whether the crystallized protein has been collected based on the position information.
前記コントローラは、前記位置情報に基づいて、前記採取用器具が前記結晶化タンパク質に対向する所定の採取位置を決定する
請求項1から5のいずれか1項に記載のマニピュレーションシステム。
6. The manipulation system according to any one of claims 1 to 5, wherein the controller determines a predetermined sampling position at which the sampling instrument faces the crystallized protein based on the positional information.
前記コントローラは、前記位置情報に基づいて、所定の初期位置から前記所定の採取位置までの前記採取用器具の移動経路を設定する
請求項6に記載のマニピュレーションシステム。
7. The manipulation system according to claim 6, wherein the controller sets a movement route of the sampling instrument from a predetermined initial position to the predetermined sampling position based on the position information.
凍結液を含み、前記試料ステージに載置される凍結容器を備え、
前記コントローラは、前記結晶化タンパク質を採取した前記採取用器具を前記凍結容器へ移動させ、前記結晶化タンパク質を前記凍結液によって凍結させる
請求項1から7のいずれか1項に記載のマニピュレーションシステム。
A freezing container containing a freezing liquid and mounted on the sample stage,
8. The manipulation system according to any one of claims 1 to 7, wherein the controller moves the collecting instrument that has collected the crystallized protein to the freezing container, and freezes the crystallized protein with the freezing liquid.
前記試料ステージに載置される回収容器を備え、
前記コントローラは、前記結晶化タンパク質を採取した前記採取用器具を前記回収容器へ移動させ、前記採取用器具を前記回収容器に収納させる
請求項1から8のいずれか1項に記載のマニピュレーションシステム。
A recovery container mounted on the sample stage is provided,
9. The manipulation system according to any one of Claims 1 to 8, wherein the controller moves the collecting instrument from which the crystallized protein has been collected to the collection container, and stores the collecting instrument in the collection container.
結晶化タンパク質を含む液滴が収容される容器と、
前記容器が載置される試料ステージと、
輪状の採取部を先端に含み前記採取部の内周面に囲まれた領域において前記結晶化タンパク質を採取する採取用器具と、
前記採取部の中心軸に直交する回転軸回りに前記採取用器具を回動させる電動モータと、
前記結晶化タンパク質及び前記採取用器具を撮像する撮像装置と、
を備えるマニピュレーションシステムの駆動方法であって、
前記撮像装置に前記結晶化タンパク質及び前記採取用器具を撮影させるステップと、
前記結晶化タンパク質及び前記採取用器具の画像データに基づいて前記結晶化タンパク質及び前記採取用器具の位置情報を検出するステップと、
前記位置情報に基づいて、前記採取用器具が直線的な移動又は前記回転軸回りに回転をした際の前記採取部の内周面の軌跡によって形成される領域である採取可能領域の内部に、前記結晶化タンパク質が位置するように前記採取用器具を配置させるステップと、
前記結晶化タンパク質が前記採取部の内周面に囲まれた領域を通過するように前記採取用器具を直線的に移動又は前記回転軸回りに回転させることによって、前記採取部に前記結晶化タンパク質を採取させるステップと、
を含むマニピュレーションシステムの駆動方法。
a container containing a droplet containing the crystallized protein;
a sample stage on which the container is placed;
a collecting instrument that includes a ring-shaped collecting portion at its tip and collects the crystallized protein in a region surrounded by the inner peripheral surface of the collecting portion;
an electric motor for rotating the sampling instrument around a rotation axis orthogonal to the central axis of the sampling part;
an imaging device that images the crystallized protein and the collection instrument;
A method of driving a manipulation system comprising
causing the imaging device to photograph the crystallized protein and the collection device;
a step of detecting position information of the crystallized protein and the collection device based on image data of the crystallized protein and the collection device;
Inside the pickable area, which is an area formed by the trajectory of the inner peripheral surface of the picking portion when the picking instrument linearly moves or rotates around the rotation axis based on the position information, positioning the collection device so that the crystallized protein is located;
The crystallized protein is transferred to the collecting part by linearly moving or rotating the collecting device around the rotation axis so that the crystallized protein passes through the region surrounded by the inner peripheral surface of the collecting part. and
A method of driving a manipulation system including
前記結晶化タンパク質を採取した後に、再度前記撮像装置に前記結晶化タンパク質及び前記採取用器具を撮影させるステップと、
前記結晶化タンパク質及び前記採取用器具の画像データに基づいて前記結晶化タンパク質が採取されたか否かを判断するステップと、
を含む請求項10に記載のマニピュレーションシステムの駆動方法。
After collecting the crystallized protein, causing the imaging device to photograph the crystallized protein and the collecting instrument again;
determining whether the crystallized protein has been collected based on the image data of the crystallized protein and the collecting device;
11. The method of driving a manipulation system according to claim 10, comprising:
JP2019015099A 2019-01-31 2019-01-31 MANIPULATION SYSTEM AND METHOD FOR DRIVING MANIPULATION SYSTEM Active JP7238434B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019015099A JP7238434B2 (en) 2019-01-31 2019-01-31 MANIPULATION SYSTEM AND METHOD FOR DRIVING MANIPULATION SYSTEM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019015099A JP7238434B2 (en) 2019-01-31 2019-01-31 MANIPULATION SYSTEM AND METHOD FOR DRIVING MANIPULATION SYSTEM

Publications (2)

Publication Number Publication Date
JP2020121948A JP2020121948A (en) 2020-08-13
JP7238434B2 true JP7238434B2 (en) 2023-03-14

Family

ID=71993470

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019015099A Active JP7238434B2 (en) 2019-01-31 2019-01-31 MANIPULATION SYSTEM AND METHOD FOR DRIVING MANIPULATION SYSTEM

Country Status (1)

Country Link
JP (1) JP7238434B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7438472B1 (en) 2007-07-09 2008-10-21 Uchicago Argonne, Llc Automatic cryoloop alignment for protein crystals
JP2009229448A (en) 2008-02-29 2009-10-08 St Japan Inc Sample-etracting apparatus and sample-extracting attachment
US8349080B1 (en) 2008-11-24 2013-01-08 West Bond, Inc. Micro-manipulator machine for harvesting and cryofreezing crystals
JP2017124452A (en) 2016-01-12 2017-07-20 日本精工株式会社 Manipulation system and driving method of manipulation system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7438472B1 (en) 2007-07-09 2008-10-21 Uchicago Argonne, Llc Automatic cryoloop alignment for protein crystals
JP2009229448A (en) 2008-02-29 2009-10-08 St Japan Inc Sample-etracting apparatus and sample-extracting attachment
US8349080B1 (en) 2008-11-24 2013-01-08 West Bond, Inc. Micro-manipulator machine for harvesting and cryofreezing crystals
JP2017124452A (en) 2016-01-12 2017-07-20 日本精工株式会社 Manipulation system and driving method of manipulation system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Journal of Applied Crystallography,2007年,Vol. 40,P. 539-545

Also Published As

Publication number Publication date
JP2020121948A (en) 2020-08-13

Similar Documents

Publication Publication Date Title
EP1691230B1 (en) Photo-micrographing device and its control method
JP5510463B2 (en) Cell observation apparatus and cell culture method
US9304068B2 (en) Cell collection apparatus, cell collecting system, and cell collecting method
JP6690245B2 (en) Manipulation system and method of driving the manipulation system
US20150251317A1 (en) Robot system, robot monitoring device, and robot monitoring method
JP2023036742A (en) Manipulation system and driving method of manipulation system
EP2278378B1 (en) Microscope apparatus comprising time counting unit and different image acquisition units
JP7238434B2 (en) MANIPULATION SYSTEM AND METHOD FOR DRIVING MANIPULATION SYSTEM
JPWO2019003274A1 (en) Cell observation system
US11235317B2 (en) Tubular instrument and manipulation system
JP7222331B2 (en) MANIPULATION SYSTEM AND METHOD FOR DRIVING MANIPULATION SYSTEM
CN110869485A (en) Cell observation system
JP2001211875A (en) Device for collecting fine bodies and method of collecting the same
JP4800641B2 (en) Micromanipulator system, program, and specimen manipulation method
US7438472B1 (en) Automatic cryoloop alignment for protein crystals
JP2008052232A (en) Manipulator device
JP2005216645A (en) Transmission electron microscope
JP6859861B2 (en) Manipulation system and how to drive the manipulation system
JP3941668B2 (en) Cell observation method
JP2011013416A (en) Manipulation system and method of driving the same
JP7188140B2 (en) manipulation system
JP2021021850A (en) Autofocus microscope and automatic imaging device of microscopic image
US20200410681A1 (en) Imaging system and biological subject transfer device
JP4838520B2 (en) Micromanipulator system, program, and result confirmation support method
EP1967841B1 (en) Fluorescence observation apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211011

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221027

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230213

R150 Certificate of patent or registration of utility model

Ref document number: 7238434

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150