WO2020044683A1 - マニピュレーションシステム及びマニピュレーションシステムの駆動方法 - Google Patents

マニピュレーションシステム及びマニピュレーションシステムの駆動方法 Download PDF

Info

Publication number
WO2020044683A1
WO2020044683A1 PCT/JP2019/020858 JP2019020858W WO2020044683A1 WO 2020044683 A1 WO2020044683 A1 WO 2020044683A1 JP 2019020858 W JP2019020858 W JP 2019020858W WO 2020044683 A1 WO2020044683 A1 WO 2020044683A1
Authority
WO
WIPO (PCT)
Prior art keywords
pipette
minute object
manipulation system
cell
controller
Prior art date
Application number
PCT/JP2019/020858
Other languages
English (en)
French (fr)
Inventor
岸田　学
裕基 植田
田中　伸明
Original Assignee
日本精工株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本精工株式会社 filed Critical 日本精工株式会社
Priority to JP2020506362A priority Critical patent/JPWO2020044683A1/ja
Publication of WO2020044683A1 publication Critical patent/WO2020044683A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J7/00—Micromanipulators
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/32—Micromanipulators structurally combined with microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements

Definitions

  • the present invention relates to a manipulation system and a driving method of the manipulation system.
  • a micromanipulation system that performs a minute operation on a minute object, such as injecting a DNA solution or a cell into a cell or an egg under microscope observation, is known.
  • the injection operation is performed by piercing the operation pipette into the position of the operation target of the minute object while fixing the position of the minute object with the holding pipette for holding the minute object.
  • Patent Document 1 discloses a technique in which, when an operation target of a minute object is not detected, detection is performed again after a change in a focal position and a posture of the minute object.
  • the luminance difference (contrast) of the operation target changes depending on imaging conditions such as a focus position, an optical system of a microscope, and a posture of a minute object. Further, the minute object has low image contrast. Therefore, stable detection is difficult, and it is necessary to change the detection parameters and the like every time the imaging conditions are changed.
  • the present invention has been made in view of the above, and it is possible to efficiently and suitably detect an operation target of a minute object and to drive the manipulation system without depending on the skill and skill of the operator.
  • the aim is to provide a method.
  • a manipulation system includes a sample stage on which a minute object is placed, a first manipulator including a first pipette for holding the minute object, and a first manipulator held by the first pipette.
  • a second manipulator including a second pipette for manipulating the micro object, an imaging unit for imaging the micro object, and controlling the sample stage, the first pipette, the second pipette, and the imaging unit And a controller, wherein the control device detects a predetermined operation target position of the minute object by artificial intelligence based on image data of the imaging unit, and moves the second pipette to the predetermined operation target position. Then, the second pipette is caused to execute an operation on the minute object.
  • the controller since the controller performs the detection operation of the predetermined operation target position by artificial intelligence based on the accumulated learning data, the controller can detect the predetermined operation target position regardless of the skill level of the operator. it can. Further, even when the predetermined operation target position has a large change in contrast due to a change in the imaging condition, it is not necessary to change the setting of the detection parameter when the imaging condition is changed. In image recognition using artificial intelligence, it is not necessary to change the setting of the detection parameter, and thus a predetermined operation target position can be detected without creating a new program. Therefore, the predetermined operation target position of the minute object can be efficiently and suitably detected.
  • the controller stores the image data and the imaging condition of the image data in the artificial intelligence when the operation on the minute object is successful. According to this, by accumulating the learning data of artificial intelligence, the accuracy of the detection of the position of the minute object and the success of the operation on the minute object is improved, so that the minute object can be detected efficiently and suitably. Thus, it is possible to efficiently and suitably operate the micro object.
  • the controller changes the attitude of the minute object when the predetermined operation target position is not detected. According to this, the predetermined operation target position of the minute target can be efficiently and suitably detected.
  • the controller may perform an operation of releasing the holding of the minute object by the first pipette and a re-hold operation in which the holding position is changed. Operation and let it be performed. According to this, the predetermined operation target position of the minute target can be efficiently and suitably detected.
  • the holding of the minute object by the first pipette is performed by applying a negative pressure to the first pipette and adsorbing the minute object to the first pipette. According to this, the predetermined operation target position of the minute target can be efficiently and suitably detected.
  • a method for driving a manipulation system includes a sample stage on which a minute object is placed, a first manipulator including a first pipette for holding the minute object, and the first pipette.
  • a method for driving a manipulation system including a second manipulator including a second pipette for operating the held minute object, and an imaging unit for imaging the minute object, wherein the driving method includes holding the first pipette. Detecting the predetermined operation target position of the minute object by artificial intelligence based on the image data of the imaging unit; and moving the second pipette to the predetermined operation target position, Executing an operation on an object.
  • the predetermined operation target position can be detected regardless of the skill level of the operator. Further, even when the predetermined operation target position has a large change in contrast due to a change in the imaging condition, it is not necessary to change the setting of the detection parameter when the imaging condition is changed. In image recognition using artificial intelligence, it is not necessary to change the setting of the detection parameter, and thus a predetermined operation target position can be detected without creating a new program. Therefore, the predetermined operation target position of the minute object can be efficiently and suitably detected.
  • FIG. 1 is a diagram schematically illustrating a configuration of the manipulation system according to the embodiment.
  • FIG. 2 is a sectional view showing an example of the fine movement mechanism.
  • FIG. 3 is a control block diagram of the manipulation system.
  • FIG. 4 is a schematic diagram illustrating an example of cells arranged on a sample holding member.
  • FIG. 5 is a schematic diagram of a cell and a nucleus to be operated.
  • FIG. 6 is a schematic diagram of cells and nuclei detected by image processing.
  • FIG. 7 is a flowchart illustrating an example of the operation of the manipulation system according to the embodiment.
  • FIG. 1 is a diagram schematically showing the configuration of the manipulation system according to the embodiment.
  • the manipulation system 10 is a system for manipulating a sample that is a minute object under microscope observation.
  • the manipulation system 10 includes a microscope unit 12, a first manipulator 14, a second manipulator 16, and a controller (control device) 43 that controls the manipulation system 10.
  • a first manipulator 14 and a second manipulator 16 are separately arranged on both sides of the microscope unit 12.
  • the microscope unit 12 includes a camera 18 including an image sensor, a microscope 20, and a sample stage 22.
  • the sample stage 22 can support the sample holding member 11 such as a petri dish, and the microscope 20 is disposed immediately above the sample holding member 11.
  • the microscope unit 12 has a microscope 20 and a camera 18 integrally formed, and includes a light source (not shown) for irradiating the sample holding member 11 with light. Note that the camera 18 may be provided separately from the microscope 20.
  • the sample holding member 11 contains a solution containing a sample.
  • the solution is, for example, paraffin oil.
  • the first manipulator 14 includes a first pipette holding member 24, an XY axis table 26, a Z axis table 28, a driving device 30 for driving the XY axis table 26, and a Z And a driving device 32 for driving the shaft table 28.
  • the first manipulator 14 is a manipulator having a three-axis configuration of X-axis-Y-axis.
  • one direction in the horizontal plane is an X-axis direction
  • a direction intersecting the X-axis direction in the horizontal plane is a direction intersecting each of the Y-axis direction, the X-axis direction, and the Y-axis direction (that is, the vertical direction). Is the Z-axis direction.
  • the XY-axis table 26 can be moved in the X-axis direction or the Y-axis direction by driving of the driving device 30.
  • the Z-axis table 28 is disposed on the XY-axis table 26 so as to be movable up and down, and is movable in the Z-axis direction by driving of the driving device 32.
  • the driving devices 30 and 32 are connected to a controller 43.
  • the first pipette holding member 24 is connected to a Z-axis table 28, and a first pipette 25, which is a capillary tip, is attached to the tip.
  • the first pipette holding member 24 moves in a three-dimensional space as a movement area according to the movement of the XY axis table 26 and the Z axis table 28, and transfers the sample accommodated in the sample holding member 11 via the first pipette 25.
  • the first manipulator 14 is a holding manipulator used for holding a minute object
  • the first pipette 25 is a holding pipette used as a holding means for a minute object.
  • the second manipulator 16 shown in FIG. 1 includes a second pipette holding member 34, an XY axis table 36, a Z axis table 38, a driving device 40 for driving the XY axis table 36, and a Z axis table 38. And a driving device 42 for driving the.
  • the second manipulator 16 is a manipulator having a three-axis configuration of X-axis-Y-axis.
  • the XY-axis table 36 can be moved in the X-axis direction or the Y-axis direction by driving of the driving device 40.
  • the Z-axis table 38 is disposed on the XY-axis table 36 so as to be movable up and down, and is movable in the Z-axis direction by driving of the driving device 42.
  • the driving devices 40 and 42 are connected to a controller 43.
  • the second pipette holding member 34 is connected to the Z-axis table 38, and a second pipette 35 made of glass is attached to the tip.
  • the second pipette holding member 34 can move in a three-dimensional space as a movement area according to the movement of the XY axis table 36 and the Z axis table 38, and can artificially operate the sample stored in the sample holding member 11.
  • the second manipulator 16 is an operation manipulator used for operation of a minute object (such as an operation of injecting a DNA solution or a perforation operation), and the second pipette 35 is used for an injection operation means of the minute object for injection. Pipette.
  • the XY-axis table 36 and the Z-axis table 38 are configured as a coarse movement mechanism (three-dimensional movement table) that coarsely drives the second pipette holding member 34 to an operation position of a sample or the like accommodated in the sample holding member 11.
  • a fine movement mechanism 44 is provided as a nanopositioner at a connection portion between the Z-axis table 38 and the second pipette holding member 34.
  • the fine movement mechanism 44 is configured to support the second pipette holding member 34 so as to be movable in the longitudinal direction (axial direction) and to finely drive the second pipette holding member 34 along the longitudinal direction (axial direction). Is done.
  • FIG. 2 is a sectional view showing an example of the fine movement mechanism.
  • the fine movement mechanism 44 includes a piezoelectric actuator 44a that is driven by the second pipette holding member 34.
  • the piezoelectric actuator 44 a includes a cylindrical housing 87, rolling bearings 80 and 82 provided inside the housing 87, and a piezoelectric element 92.
  • the second pipette holding member 34 is inserted in the axial direction of the housing 87.
  • the rolling bearings 80 and 82 rotatably support the second pipette holding member 34.
  • the piezoelectric element 92 expands and contracts along the longitudinal direction of the second pipette holding member 34 according to the applied voltage.
  • a second pipette 35 (see FIG. 1) is attached and fixed to the distal end side (the left side in FIG. 2) of the second pipette holding member 34.
  • the second pipette holding member 34 is supported by the housing 87 via the rolling bearings 80 and 82.
  • the rolling bearing 80 includes an inner ring 80a, an outer ring 80b, and a ball 80c provided between the inner ring 80a and the outer ring 80b.
  • the rolling bearing 82 includes an inner ring 82a, an outer ring 82b, and a ball 82c provided between the inner ring 82a and the outer ring 82b.
  • Each outer ring 80b, 82b is fixed to the inner peripheral surface of the housing 87, and each inner ring 80a, 82a is fixed to the outer peripheral surface of the second pipette holding member 34 via the hollow member 84.
  • the rolling bearings 80 and 82 rotatably support the second pipette holding member 34.
  • a flange portion 84a is provided at a substantially central portion in the axial direction of the hollow member 84 to protrude radially outward.
  • the rolling bearing 80 is disposed on the distal end side of the second pipette holding member 34 in the axial direction with respect to the flange portion 84a, and the rolling bearing 82 is disposed on the rear end side with respect to the flange portion 84a.
  • An inner ring 80a of the rolling bearing 80 and an inner ring 82a of the rolling bearing 82 are arranged with a flange portion 84a serving as an inner ring spacer interposed therebetween.
  • the outer peripheral surface of the second pipette holding member 34 is threaded, and the lock nut 86 and the lock nut 86 are screwed to the second pipette holding member 34 from the front end side of the inner ring 80a and the rear end side of the inner ring 82a. , The axial positions of the rolling bearings 80 and 82 are fixed.
  • the annular spacer 90 is disposed coaxially with the rolling bearings 80 and 82 at the rear end side in the axial direction of the outer ring 82b.
  • An annular piezoelectric element 92 is disposed substantially coaxially with the spacer 90 on the rear end side in the axial direction of the spacer 90, and a lid 88 of the housing 87 is disposed on the rear end side in the axial direction.
  • the lid 88 is for fixing the piezoelectric element 92 in the axial direction, and has a hole through which the second pipette holding member 34 is inserted.
  • the lid 88 may be fastened to a side surface of the housing 87 by a bolt (not shown), for example.
  • the piezoelectric elements 92 may be arranged in a rod shape or a prism shape so as to be substantially equally arranged in the circumferential direction of the spacer 90, or may be a square tube having a hole through which the second pipette holding member 34 is inserted.
  • the piezoelectric element 92 is in contact with the rolling bearing 82 via the spacer 90.
  • the piezoelectric element 92 is connected to a controller 43 as a control circuit via a lead wire (not shown).
  • the piezoelectric element 92 expands and contracts along the axial direction of the second pipette holding member 34 in response to the voltage applied from the controller 43, and finely moves the second pipette holding member 34 along the axial direction. .
  • this fine movement is transmitted to the second pipette 35 (see FIG. 1), and the position of the second pipette 35 is finely adjusted.
  • the fine movement mechanism 44 enables more accurate operation when performing an operation on a minute object (such as an operation of injecting a DNA solution or a cell or an operation of puncturing), and realizes an improvement in the puncturing operation by the piezoelectric element 92. it can.
  • the first manipulator 14 for fixing the minute object is similar to the fine movement mechanism 44 as shown in FIG. May be provided, or may be omitted.
  • FIG. 3 is a control block diagram of the manipulation system.
  • the controller 43 includes hardware resources such as a CPU (Central Processing Unit) as a calculating means and a hard disk, a RAM (Random Access Memory), and a ROM (Read Only Memory) as a storage means.
  • the controller 43 performs various calculations based on a predetermined program stored in the storage unit 46B, and outputs a drive signal so that the control unit 46A performs various controls according to the calculation results.
  • the controller 46A includes a focusing mechanism 81 of the microscope unit 12, a driving device 30, a driving device 32 of the first manipulator 14, a suction pump 29, a driving device 40, a driving device 42 of the second manipulator 16, a piezoelectric element 92, an injection pump. 39, and outputs a drive signal to each of them via a driver or an amplifier provided as necessary.
  • the control unit 46A supplies drive signals V xy , V z (see FIG. 1) to the drive devices 30, 32, 40, and 42, respectively.
  • Drive 30,32,40,42 drives the X-Y-Z-axis direction based on the driving signal V xy, V z.
  • Control unit 46A is the fine movement mechanism 44 by supplying a nanopositioner control signal V N (see FIG. 1) may control the fine adjustment mechanism 44.
  • the controller 43 is connected to a joystick 47 as an information input unit and an input unit 49 such as a keyboard and a touch panel.
  • the controller 43 is connected to a display unit 45 such as a liquid crystal panel.
  • the display unit 45 displays a microscope image acquired by the camera 18 and various control screens.
  • the touch panel may be overlaid on the display screen of the display unit 45, and the operator may perform an input operation while checking the display image on the display unit 45.
  • the joystick 47 includes a base and a handle portion that stands upright from the base. By operating the handle portion to incline, the XY drive of the driving devices 30 and 40 can be performed. , The Z driving of the driving devices 32 and 42 can be performed.
  • the joystick 47 may include a button 47A for operating each drive of the suction pump 29, the piezoelectric element 92, and the infusion pump 39.
  • the controller 43 further includes an image input unit 43A, an image processing unit 43B, an image output unit 43C, and a position detection unit 43D.
  • An image signal Vpix (see FIG. 1) captured by the camera 18 through the microscope 20 is input to the image input unit 43A.
  • the image processing unit 43B receives an image signal from the image input unit 43A and performs image processing.
  • the image output unit 43C outputs the image information processed by the image processing unit 43B to the display unit 45.
  • the position detection unit 43D determines the position of a cell or the like, which is a micro target imaged by the camera 18, or the position of a nucleus or the like of a cell to be subjected to an injection operation by the second pipette 35, by image information after image processing.
  • the position detection unit 43D can detect the presence or absence of cells and the like in the imaging region of the camera 18 based on the image information. Further, the position detection unit 43D may detect the positions of the first pipette 25 and the second pipette 35.
  • the image input unit 43A, the image processing unit 43B, the image output unit 43C, and the position detection unit 43D are controlled by the control unit 46A.
  • the control unit 46A controls the first manipulator 14 and the second manipulator 16 based on the position information from the position detection unit 43D and the information on the presence or absence of a cell or the like.
  • the control unit 46A automatically drives the first manipulator 14 and the second manipulator 16 in a predetermined sequence.
  • sequence driving is performed by the control unit 46A sequentially outputting drive signals based on the CPU operation result of a predetermined program stored in the storage unit 46B in advance.
  • the sample is the cell 100.
  • the cell 100 is a pronuclear stage fertilized egg.
  • the operation on the cells 100 is an injection operation of the DNA solution.
  • FIG. 4 is a schematic view showing an example of cells arranged on the sample holding member.
  • the cells 100 are arranged in the medium 11A of the sample holding member 11.
  • the culture medium 11 ⁇ / b> A is formed on at least a part of the sample holding member 11.
  • the medium 11A has an untreated cell region in which the untreated cells 100A on which the injection operation has not been performed are arranged, and a treated cell region in which the treated cells 100B on which the injection operation has been completed are arranged.
  • the plurality of unprocessed cells 100A are arranged so that all of them are present at positions close to some extent.
  • the plurality of treated cells 100B are arranged so that all of them exist at positions close to each other to some extent.
  • FIG. 5 is a schematic diagram of a cell and a nucleus to be operated.
  • the cell 100 includes a nucleus 110.
  • the nucleus 110 has a nuclear envelope 112 and a nucleolus 114.
  • the nucleolus 114 exists inside the nucleus 110 covered with the nuclear envelope 112.
  • the cell 100 is injected by the second pipette 35 while being held by the first pipette 25.
  • the nucleolus 114 having high contrast is detected from the nuclear membrane 112, and the injection position is determined based on the position of the nucleolus 114.
  • FIG. 6 is a schematic diagram of cells and nuclei detected by image processing. Since the cell 100 is translucent, image data obtained by slicing the cell 100 is obtained. Image data of the cell 100 is captured by the camera 18 shown in FIG. Image data of the cell 100 captured by the camera 18 is sent from the image input unit 43A to the image processing unit 43B as an image signal. The image processing unit 43B performs image processing of the image data of the cell 100.
  • the image processing unit 43B executes a binarization process and a filter process on the image signal received from the image input unit 43A in order to detect the positions of the cell 100, the nucleus 110, and the nucleolus 114.
  • the image processing unit 43B converts the grayscale image into a monochrome image based on a predetermined threshold value that is obtained by converting the image signal into grayscale. Then, the image processing unit 43B performs an edge extraction process and a pattern matching based on the monochrome image obtained by the binarization process and the filter process. Based on the processing result, the position detection unit 43D can detect the positions of the cell 100, the nucleus 110, and the nucleolus 114.
  • the image processing unit 43B uses image recognition using artificial intelligence to detect the position of the nucleolus 114.
  • the image processing unit 43B has learning data for artificial intelligence.
  • image data and imaging conditions when the injection is successful are accumulated.
  • the image data is image data of the cell 100 and the nucleolus 114 obtained by image recognition.
  • the imaging conditions include the focal position of the camera 18 corresponding to the image data, the optical system of the microscope 20, the attitude of the cell 100, detection parameters, and the like.
  • the artificial intelligence executes the detection of the nucleolus 114 by image recognition based on the learning data.
  • the artificial intelligence stores new image data and imaging conditions, and further accumulates learning data.
  • the artificial intelligence can detect the position of the nucleolus 114 having a large change in contrast due to a change in the imaging condition without changing the setting of the detection parameter.
  • normal image processing and image recognition using artificial intelligence may be used in combination, and image recognition using artificial intelligence may be used only when the reliability of the result of normal image processing is low. By using the normal image processing together, the image processing time can be reduced.
  • controller 43 shown in FIG. 3 includes a CPU as an arithmetic unit, but may further include a GPU (image processing device).
  • the GPU executes the control processing, the control processing time can be reduced.
  • the GPU may execute image recognition processing using artificial intelligence by the image processing unit 43B, and the CPU may execute other control processing.
  • the operator Before starting the operation of the manipulation system 10, the operator first places the first pipette 25 and the second pipette 35 in the field of view of the camera 18 shown in FIG. Here, the height of the tip of the first pipette 25 is a position slightly above the bottom surface of the sample holding member 11. Next, the operator focuses on the first pipette 25 using the focusing mechanism 81 of the microscope 20. The operator adjusts the height of the second pipette 35 so that the first pipette 25 is in focus while the focus is on the first pipette 25. Next, the operator moves the sample stage 22 around the cells 100 (untreated cells 100A; see FIG.
  • the cell 100 is arranged near the first pipette 25 and the second pipette 35.
  • FIG. 7 is a flowchart illustrating an example of the operation of the manipulation system according to the embodiment.
  • the manipulation system 10 of the present embodiment performs an operation for each of the plurality of cells 100 placed on the sample holding member 11 and repeats the operation for the plurality of cells 100.
  • the controller 43 automatically performs an operation on the plurality of cells 100.
  • the automatic operation by the manipulation system 10 is started by, for example, pressing a start button on PC software.
  • Step ST10 the operator inputs an operation end number Ne, which is the number of times the operation is ended, to the control unit 46A of the controller 43 via the input unit 49 shown in FIG. (Step ST10). Since the operation is performed for each cell 100, the operation end frequency Ne is the number of cells 100 (the untreated cell 100A) to be operated.
  • the image processing unit 43B of the controller 43 performs image processing of the image data captured by the camera 18 through the microscope 20.
  • the position detection unit 43D of the controller 43 detects the position coordinates of the center of the tip of the first pipette 25 on the screen of the camera 18 by image processing (step ST20).
  • the control unit 46A drives the first manipulator 14 and moves the first pipette 25 to a predetermined position based on the detection result such that the center of the tip of the first pipette 25 matches the predetermined first coordinates ( Step ST22).
  • the predetermined first coordinates are coordinates set in advance.
  • the position detection unit 43D detects the position coordinates of the center of the tip of the second pipette 35 on the screen of the camera 18 by image processing (step ST24).
  • the control unit 46A drives the second manipulator 16 and moves the second pipette 35 to a predetermined position based on the detection result such that the center of the tip of the second pipette 35 matches the predetermined second coordinates ( Step ST26).
  • the predetermined second coordinates are coordinates set in advance.
  • the control unit 46A drives the suction pump 29 of the first manipulator 14 to execute the suction of the first pipette 25.
  • the suction pump 29 is driven, the inside of the first pipette 25 becomes negative pressure, and the solution of the sample holding member 11 flows toward the opening of the first pipette 25.
  • the cells 100 are sucked together with the solution, adsorbed to the tip of the first pipette 25, and held (step ST30).
  • the presence or absence of the cells 100 near the tip of the first pipette 25 may be detected and determined by image processing.
  • the image processing unit 43B detects the position of the nucleolus 114 by image recognition using artificial intelligence (step ST40).
  • the control unit 46A stops the suction pump 29 of the first manipulator 14 and stops the suction of the first pipette 25.
  • the control unit 46A may drive the suction pump 29 so that the inside of the first pipette 25 has a slight positive pressure.
  • the cell 100 is released from the adsorption from the first pipette 25, and slightly moves in a direction away from the first pipette 25.
  • the cell 100 rotates by contacting the tip of the second pipette 35.
  • the control unit 46A restarts the suction of the suction pump 29, and suctions the inside of the first pipette 25 with a negative pressure. Thereby, the cells 100 are re-adsorbed to the first pipette 25 and held (step ST44).
  • the image processing unit 43B executes image recognition by artificial intelligence again (step ST40).
  • the nucleolus 114 is not detected, the posture of the cell 100 is changed. However, even when the position of the nucleolus 114 is greatly deviated from the center of the cell 100, the posture of the cell 100 is changed. May be changed.
  • the first pipette 25 may be moved to change the focal position of the cell 100, and then the image recognition may be performed again by artificial intelligence.
  • Step ST42 the control unit 46A calculates the movement path of the second pipette 35 based on the position information of the nucleolus 114 obtained by the image processing. That is, the second pipette 35 moves in the Y direction so that the tip of the second pipette 35 faces the injection position near the nucleolus 114. Thereafter, the tip of the second pipette 35 moves to the injection position in the X direction and is inserted into the nuclear envelope 112.
  • the control unit 46A drives the injection pump 39 of the second manipulator 16 to execute an injection operation of the DNA solution or the like on the cell 100 (step ST50).
  • control unit 46A may drive the injection pump 39 for a preset time to execute the injection operation.
  • the image processing unit 43B may execute the image processing during the injection operation, detect the swelling of the nuclear membrane 112, and determine whether the injection of the DNA solution or the like is completed.
  • the artificial intelligence may store the acquired image data and the imaging conditions, and further accumulate the learning data for the artificial intelligence.
  • Step ST51 the control unit 46A drives the sample stage 22 to move the cell 100 after the injection operation to the processed cell region as the processed cell 100B (see FIG. 4).
  • Step ST60 The controller 46A stops the suction pump 29 of the first manipulator 14 and stops the suction of the first pipette 25. Thereby, the inside of the first pipette 25 becomes a positive pressure, and the first pipette 25 releases the holding of the treated cell 100B. The treated cell 100B is placed on the treated cell area.
  • the controller 46A drives the sample stage 22 again, and moves the tip of the first pipette 25 to the vicinity of the untreated cell region where the untreated cells 100A are arranged.
  • the process returns to Step ST30 to hold the other cell 100, detect the nucleolus 114, inject the nuclear membrane 112, and perform the cell operation. 100 mounting operations are repeatedly executed.
  • the operation execution number N is equal to or greater than the operation end number Ne (Step ST72; Yes)
  • the operation on the preset number of cells 100 ends, and a series of operations ends.
  • the position of the tip of the second pipette 35 and the nucleolus 114 in the Z direction may not overlap. In this case, it is assumed that the tip of the second pipette 35 is not inserted in the vicinity of the nucleolus 114 and the injection fails. If the injection has failed (step ST51; No), the operation on the cell 100 being held is stopped (step ST80), and the process returns to step ST30. Thereafter, the holding operation, the detection operation of the nucleolus 114, and the injection operation into the nuclear membrane 112 may be performed on the same cell 100, or the holding operation, the nucleolus 114 may be performed on another cell 100.
  • the retained cell 100 may be returned to the untreated cell region, or a treatment failure cell region may be provided in the medium 11A and placed on the treatment failure cell region.
  • the process may return to step ST44, change the posture of the cell 100, and try the detection of the nucleoli 114 and the injection operation again.
  • the operator may determine the cell 100 for which the injection has failed, or the control unit 46A may determine based on a preset condition.
  • the displacement in the Z direction between the tip of the second pipette 35 and the nucleolus 114 can be estimated from image data at the time of successful injection and learning data such as the focus position. Therefore, since the artificial intelligence accumulates a large amount of learning data, the displacement of the tip of the second pipette 35 and the nucleolus 114 in the Z direction can be eliminated, and injection failure can be reduced.
  • the manipulation system 10 automatically performs the operation of holding the cells 100, the operation of detecting the nucleoli 114, the operation of injection into the nuclear envelope 112, and the operation of placing the cells 100. It is possible to suppress the loss of the area 22 and the breakage of the first pipette 25 and the second pipette 35 at the time of the position adjustment operation of the first pipette 25 and the second pipette 35 performed repeatedly.
  • the manipulation system 10 includes the sample stage 22 on which the cell 100 (the minute object) is placed, the first manipulator 14 including the first pipette 25 for holding the cell 100, and , A second manipulator 16 including a second pipette 35 for operating the cell 100 held by the first pipette 25, the microscope unit 12 (imaging unit) for imaging the cell 100, the sample stage 22, and the first pipette 25. And a controller 43 for controlling the second pipette 35 and the microscope unit 12. The controller 43 controls the nucleolus 114 (predetermined operation target position) of the cell 100 by artificial intelligence based on the image data of the microscope unit 12. Detect and move the second pipette 35 to the nucleolus 114 to operate the cell 100 To be executed by the second pipette 35.
  • the controller 43 performs the detection operation of the nucleolus 114 by artificial intelligence based on the accumulated learning data, so that the position of the nucleolus 114 can be detected regardless of the skill level of the operator. Can be. Further, it is unnecessary to change the setting of the detection parameter when the imaging condition is changed, even for the nucleolus 114 whose contrast is largely changed by the change of the imaging condition. Since image recognition using artificial intelligence does not require changing the setting of detection parameters, the position of the nucleolus 114 can be detected without creating a new program. Therefore, the nucleolus 114 of the cell 100 can be efficiently and suitably detected.
  • the controller 43 when the injection operation is successful, stores the image data and the imaging conditions of the image data in the artificial intelligence. According to this, the accuracy of the detection of the position of the nucleolus 114 and the success of the injection operation is improved by accumulating the learning data of the artificial intelligence, so that the nucleolus 114 of the cell 100 can be efficiently and suitably detected. The injection operation to the nucleolus 114 can be efficiently and suitably performed.
  • the controller 43 changes the posture of the cell 100 when the nucleolus 114 is not detected. According to this, the nucleolus 114 of the cell 100 can be efficiently and suitably detected.
  • the controller 43 executes an operation of releasing the holding of the cell 100 by the first pipette 25 and a re-holding operation in which the holding position is changed. . According to this, the nucleolus 114 of the cell 100 can be efficiently and suitably detected.
  • the holding of the cells 100 by the first pipette 25 is performed by adsorbing the cells 100 to the first pipette 25 by setting the first pipette 25 to a negative pressure. According to this, the nucleolus 114 of the cell 100 can be efficiently and suitably detected.
  • the sample stage 22 on which the cells 100 are placed, the first manipulator 14 including the first pipette 25 for holding the cells 100, and the first pipette 25 A method of driving the manipulation system 10 including the second manipulator 16 including the second pipette 35 for operating the cell 100 and the microscope unit 12 for imaging the cell 100, the method being held by the first pipette 25.
  • Step ST40 of detecting the nucleoli 114 of the cell 100 by artificial intelligence based on the image data of the microscope unit 12 and step ST50 of moving the second pipette 35 to the nucleoli 114 and executing an operation on the cell 100
  • the detection operation of the nucleolus 114 is performed by the artificial intelligence based on the accumulated learning data, the position of the nucleolus 114 can be detected regardless of the skill level of the operator. Further, it is unnecessary to change the setting of the detection parameter when the imaging condition is changed, even for the nucleolus 114 whose contrast is largely changed by the change of the imaging condition. Since image recognition using artificial intelligence does not require changing the setting of detection parameters, the position of the nucleolus 114 can be detected without creating a new program. Therefore, the nucleolus 114 of the cell 100 can be efficiently and suitably detected.
  • the manipulation system 10 and the driving method of the manipulation system 10 of the present embodiment may be changed as appropriate.
  • the shape and the like of the first pipette 25, the second pipette 35, and the like be appropriately changed according to the type of the minute object and the operation on the minute object.
  • a part of the procedure may be omitted as appropriate, or the procedure may be replaced. May be performed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biotechnology (AREA)
  • Wood Science & Technology (AREA)
  • Organic Chemistry (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Zoology (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Microbiology (AREA)
  • Sustainable Development (AREA)
  • Medicinal Chemistry (AREA)
  • Robotics (AREA)
  • Biochemistry (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Genetics & Genomics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Microscoopes, Condenser (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

操作者の熟練度及び技術によらず、効率よくかつ好適に微小対象物の操作対象を検出することができるマニピュレーションシステム及びマニピュレーションシステムの駆動方法を提供する。微小対象物が載置される試料ステージと、微小対象物を保持するための第１ピペットを備える第１マニピュレータと、第１ピペットに保持された微小対象物を操作するための第２ピペットを備える第２マニピュレータと、微小対象物を撮像する撮像部と、試料ステージ、第１ピペット、第２ピペット及び撮像部を制御するコントローラと、を備え、コントローラは、撮像部の画像データに基づいて人工知能によって微小対象物の所定の操作対象位置を検出し、第２ピペットを所定の操作対象位置に移動させて、微小対象物に対する操作を第２ピペットに実行させる。

Description

マニピュレーションシステム及びマニピュレーションシステムの駆動方法
　本発明は、マニピュレーションシステム及びマニピュレーションシステムの駆動方法に関する。
　バイオテクノロジ分野において、顕微鏡観察下で細胞や卵にＤＮＡ溶液や細胞を注入する等のように、微小な対象物に微細な操作を行うマイクロマニピュレーションシステムが知られている。微小対象物を保持するための保持用ピペットで微小対象物の位置を固定しつつ、操作用ピペットを微小対象物の操作対象の位置に突き刺してインジェクション操作が行われる。
　特許文献１には、微小対象物の操作対象が検出されない場合、焦点位置及び微小対象物の姿勢の変更後に再度検出を実行する技術が開示されている。
特開２０１７－１２４４５２号公報
　しかしながら、エッジ抽出処理及びパターンマッチング等の一般的な画像処理を行う場合、焦点位置、顕微鏡の光学系、微小対象物の姿勢等の撮像条件によって操作対象の輝度の差（コントラスト）が変化する。また、微小対象物は、画像のコントラストが低い。したがって、安定した検出が難しく、撮像条件を変更する度に、検出パラメータ等を変更する必要がある。
　本発明は、上記に鑑みてなされたものであって、操作者の熟練度及び技術によらず、効率よくかつ好適に微小対象物の操作対象を検出することができるマニピュレーションシステム及びマニピュレーションシステムの駆動方法を提供することを目的とする。
　本発明の一態様に係るマニピュレーションシステムは、微小対象物が載置される試料ステージと、前記微小対象物を保持するための第１ピペットを備える第１マニピュレータと、前記第１ピペットに保持された前記微小対象物を操作するための第２ピペットを備える第２マニピュレータと、前記微小対象物を撮像する撮像部と、前記試料ステージ、前記第１ピペット、前記第２ピペット及び前記撮像部を制御するコントローラと、を備え、前記制御装置は、前記撮像部の画像データに基づいて人工知能によって前記微小対象物の所定の操作対象位置を検出し、前記第２ピペットを前記所定の操作対象位置に移動させて、前記微小対象物に対する操作を第２ピペットに実行させる。
　これによれば、コントローラが、蓄積された学習データに基づいて人工知能により所定の操作対象位置の検出操作を行うため、操作者の熟練度によらず、所定の操作対象位置を検出することができる。また、所定の操作対象位置が、撮像条件の変更によるコントラストの変化が大きい場合でも、撮像条件の変更時における検出パラメータの設定変更が不要である。人工知能を用いた画像認識は、検出パラメータの設定を変更する必要がないので、新たなプログラムを作成することなく、所定の操作対象位置の検出ができる。したがって、効率よくかつ好適に微小対象物の所定の操作対象位置を検出することができる。
　本発明の一態様に係るマニピュレーションシステムにおいて、前記コントローラは、前記微小対象物に対する操作が成功した場合に、前記画像データ及び前記画像データの撮像条件を前記人工知能に記憶させる。これによれば、人工知能の学習データを蓄積することによって、微小対象物の位置の検出及び微小対象物に対する操作の成功の精度が向上するので、効率よくかつ好適に微小対象物を検出することができ、効率よくかつ好適に微小対象物への操作が可能である。
　本発明の一態様に係るマニピュレーションシステムにおいて、前記コントローラは、前記所定の操作対象位置が検出されない場合に、前記微小対象物の姿勢を変更させる。これによれば、効率よくかつ好適に微小対象物の所定の操作対象位置を検出することができる。
　本発明の一態様に係るマニピュレーションシステムにおいて、前記コントローラは、前記所定の操作対象位置が検出されない場合に、前記第１ピペットによる前記微小対象物の保持解除操作と、保持位置を変更させた再保持操作と、を実行させる。これによれば、効率よくかつ好適に微小対象物の所定の操作対象位置を検出することができる。
　本発明の一態様に係るマニピュレーションシステムにおいて、前記第１ピペットによる前記微小対象物の保持は、前記第１ピペットを陰圧にして前記微小対象物を前記第１ピペットに吸着させることによって行う。これによれば、効率よくかつ好適に微小対象物の所定の操作対象位置を検出することができる。
　本発明の一態様に係るマニピュレーションシステムの駆動方法は、微小対象物が載置される試料ステージと、前記微小対象物を保持するための第１ピペットを備える第１マニピュレータと、前記第１ピペットに保持された前記微小対象物を操作するための第２ピペットを備える第２マニピュレータと、前記微小対象物を撮像する撮像部と、を備えるマニピュレーションシステムの駆動方法であって、前記第１ピペットに保持された前記微小対象物の所定の操作対象位置を、前記撮像部の画像データに基づいて人工知能によって検出するステップと、前記第２ピペットを前記所定の操作対象位置に移動させて、前記微小対象物に対する操作を実行させるステップと、を含む。
　これによれば、蓄積された学習データに基づいて人工知能により所定の操作対象位置の検出操作を行うため、操作者の熟練度によらず、所定の操作対象位置を検出することができる。また、所定の操作対象位置が、撮像条件の変更によるコントラストの変化が大きい場合でも、撮像条件の変更時における検出パラメータの設定変更が不要である。人工知能を用いた画像認識は、検出パラメータの設定を変更する必要がないので、新たなプログラムを作成することなく、所定の操作対象位置の検出ができる。したがって、効率よくかつ好適に微小対象物の所定の操作対象位置を検出することができる。
　本発明によれば、操作者の熟練度及び技術によらず、効率よくかつ好適に微小対象物の操作対象を検出することができる。
図１は、実施形態に係るマニピュレーションシステムの構成を模式的に示す図である。 図２は、微動機構の一例を示す断面図である。 図３は、マニピュレーションシステムの制御ブロック図である。 図４は、試料保持部材に配置される細胞の一例を示す模式図である。 図５は、操作対象の細胞及び核の模式図である。 図６は、画像処理により検出された細胞及び核の模式図である。 図７は、実施形態のマニピュレーションシステムの動作の一例を示すフローチャート図である。
　本発明を実施するための形態（実施形態）につき、図面を参照しつつ詳細に説明する。以下の実施形態に記載した内容により本発明が限定されるものではない。また、以下に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものが含まれる。さらに、以下に記載した構成要素は適宜組み合わせることが可能である。
　図１は、実施形態に係るマニピュレ－ションシステムの構成を模式的に示す図である。マニピュレーションシステム１０は、顕微鏡観察下で微小対象物である試料を操作するためのシステムである。図１において、マニピュレーションシステム１０は、顕微鏡ユニット１２と、第１マニピュレータ１４と、第２マニピュレータ１６と、マニピュレーションシステム１０を制御するコントローラ（制御装置）４３とを備えている。顕微鏡ユニット１２の両側に第１マニピュレータ１４と第２マニピュレータ１６とが分かれて配置されている。
　顕微鏡ユニット１２は、撮像素子を含むカメラ１８と、顕微鏡２０と、試料ステージ２２とを備えている。試料ステージ２２は、シャーレなどの試料保持部材１１を支持可能であり、試料保持部材１１の直上に顕微鏡２０が配置される。顕微鏡ユニット１２は、顕微鏡２０とカメラ１８とが一体構造となっており、試料保持部材１１に向けて光を照射する光源（図示は省略している）を備えている。なお、カメラ１８は、顕微鏡２０と別体に設けてもよい。
　試料保持部材１１には、試料を含む溶液が収容される。溶液は、例えば、パラフィンオイル等である。試料保持部材１１の試料に光が照射され、試料保持部材１１の試料で反射した光が顕微鏡２０に入射すると、試料に関する光学像は、顕微鏡２０で拡大された後、カメラ１８で撮像される。カメラ１８で撮像された画像を基に試料の観察が可能となっている。
　図１に示すように、第１マニピュレータ１４は、第１ピペット保持部材２４と、Ｘ－Ｙ軸テーブル２６と、Ｚ軸テーブル２８と、Ｘ－Ｙ軸テーブル２６を駆動する駆動装置３０と、Ｚ軸テーブル２８を駆動する駆動装置３２とを備える。第１マニピュレータ１４は、Ｘ軸－Ｙ軸－Ｚ軸の３軸構成のマニピュレータである。なお、本実施形態において、水平面内の一方向をＸ軸方向、水平面内においてＸ軸方向と交差する方向をＹ軸方向、Ｘ軸方向及びＹ軸方向のそれぞれと交差する方向（すなわち鉛直方向）をＺ軸方向とする。
　Ｘ－Ｙ軸テーブル２６は、駆動装置３０の駆動により、Ｘ軸方向又はＹ軸方向に移動可能となっている。Ｚ軸テーブル２８は、Ｘ－Ｙ軸テーブル２６上に上下移動可能に配置され、駆動装置３２の駆動によりＺ軸方向に移動可能になっている。駆動装置３０、３２は、コントローラ４３に接続されている。
　第１ピペット保持部材２４は、Ｚ軸テーブル２８に連結され、先端に毛細管チップである第１ピペット２５が取り付けられている。第１ピペット保持部材２４は、Ｘ－Ｙ軸テーブル２６とＺ軸テーブル２８の移動に従って３次元空間を移動領域として移動し、試料保持部材１１に収容された試料を、第１ピペット２５を介して保持することができる。すなわち、第１マニピュレータ１４は、微小対象物の保持に用いられる保持用マニピュレータであり、第１ピペット２５は、微小対象物の保持手段として用いられるホールディングピペットである。
　図１に示す第２マニピュレータ１６は、第２ピペット保持部材３４と、Ｘ－Ｙ軸テーブル３６と、Ｚ軸テーブル３８と、Ｘ－Ｙ軸テーブル３６を駆動する駆動装置４０と、Ｚ軸テーブル３８を駆動する駆動装置４２とを備える。第２マニピュレータ１６は、Ｘ軸－Ｙ軸－Ｚ軸の３軸構成のマニピュレータである。
　Ｘ－Ｙ軸テーブル３６は、駆動装置４０の駆動により、Ｘ軸方向又はＹ軸方向に移動可能となっている。Ｚ軸テーブル３８は、Ｘ－Ｙ軸テーブル３６上に上下移動可能に配置され、駆動装置４２の駆動によりＺ軸方向に移動可能になっている。駆動装置４０、４２は、コントローラ４３に接続されている。
　第２ピペット保持部材３４は、Ｚ軸テーブル３８に連結され、先端にガラス製の第２ピペット３５が取り付けられている。第２ピペット保持部材３４は、Ｘ－Ｙ軸テーブル３６とＺ軸テーブル３８の移動に従って３次元空間を移動領域として移動し、試料保持部材１１に収容された試料を人工操作することが可能である。すなわち、第２マニピュレータ１６は、微小対象物の操作（ＤＮＡ溶液の注入操作や穿孔操作など）に用いられる操作用マニピュレータであり、第２ピペット３５は、微小対象物のインジェクション操作手段として用いられるインジェクションピペットである。
　Ｘ－Ｙ軸テーブル３６とＺ軸テーブル３８は、第２ピペット保持部材３４を、試料保持部材１１に収容された試料などの操作位置まで粗動駆動する粗動機構（３次元移動テーブル）として構成されている。また、Ｚ軸テーブル３８と第２ピペット保持部材３４との連結部には、ナノポジショナとして微動機構４４が備えられている。微動機構４４は、第２ピペット保持部材３４をその長手方向（軸方向）に移動可能に支持するとともに、第２ピペット保持部材３４をその長手方向（軸方向）に沿って微動駆動するように構成される。
　図２は、微動機構の一例を示す断面図である。図２に示すように微動機構４４は、第２ピペット保持部材３４を駆動対象とする圧電アクチュエータ４４ａを備える。圧電アクチュエータ４４ａは、筒状のハウジング８７と、ハウジング８７の内部に設けられた転がり軸受８０、８２と、圧電素子９２とを含む。ハウジング８７の軸方向に第２ピペット保持部材３４が挿通される。転がり軸受８０、８２は、第２ピペット保持部材３４を回転可能に支持する。圧電素子９２は、印加される電圧に応じて第２ピペット保持部材３４の長手方向に沿って伸縮する。第２ピペット保持部材３４の先端側（図２左側）には第２ピペット３５（図１参照）が取り付けられ固定される。
　第２ピペット保持部材３４は、転がり軸受８０、８２を介してハウジング８７に支持される。転がり軸受８０は、内輪８０ａと、外輪８０ｂと、内輪８０ａと外輪８０ｂとの間に設けられたボール８０ｃとを備える。転がり軸受８２は、内輪８２ａと、外輪８２ｂと、内輪８２ａと外輪８２ｂとの間に設けられたボール８２ｃとを備える。各外輪８０ｂ、８２ｂがハウジング８７の内周面に固定され、各内輪８０ａ、８２ａが中空部材８４を介して第２ピペット保持部材３４の外周面に固定される。このように、転がり軸受８０、８２は、第２ピペット保持部材３４を回転自在に支持するようになっている。
　中空部材８４の軸方向の略中央部には、径方向外方に突出するフランジ部８４ａが設けられている。転がり軸受８０は、フランジ部８４ａに対して第２ピペット保持部材３４の軸方向の先端側に配置され、転がり軸受８２はフランジ部８４ａに対して後端側に配置される。内輪間座としてのフランジ部８４ａを挟んで転がり軸受８０の内輪８０ａと、転がり軸受８２の内輪８２ａとが配置される。第２ピペット保持部材３４の外周面にねじ加工が施されており、内輪８０ａの先端側及び内輪８２ａの後端側からロックナット８６及びロックナット８６が第２ピペット保持部材３４に螺合されて、転がり軸受８０、８２の軸方向の位置が固定される。
　円環状のスペーサ９０は、転がり軸受８０、８２と同軸に外輪８２ｂの軸方向後端側に配置される。スペーサ９０の軸方向後端側には、円環状の圧電素子９２がスペーサ９０と略同軸に配置され、さらにその軸方向後端側にはハウジング８７の蓋８８が配置される。蓋８８は、圧電素子９２を軸方向に固定するためのもので、第２ピペット保持部材３４が挿通する孔部を有する。蓋８８は、例えば、ハウジング８７の側面に不図示のボルトにより締結されていてもよい。なお、圧電素子９２は、棒状又は角柱状としてスペーサ９０の周方向に略等配となるように並べても良く、第２ピペット保持部材３４を挿通する孔部を有した角筒としても良い。
　圧電素子９２はスペーサ９０を介して転がり軸受８２と接している。圧電素子９２は、リード線（図示せず）を介して制御回路としてのコントローラ４３に接続されている。圧電素子９２は、コントローラ４３からの印加電圧に応答して第２ピペット保持部材３４の軸方向に沿って伸縮し、第２ピペット保持部材３４をその軸方向に沿って微動させるようになっている。第２ピペット保持部材３４が軸方向に沿って微動すると、この微動が第２ピペット３５（図１参照）に伝達され、第２ピペット３５の位置が微調整されることになる。また、圧電素子９２により第２ピペット保持部材３４が軸方向に振動すると、第２ピペット３５も軸方向に振動する。このように微動機構４４により、微小対象物への操作（ＤＮＡ溶液や細胞の注入操作や穿孔操作など）の際には、より正確な操作が可能となり、圧電素子９２による穿孔作用の向上を実現できる。
　なお、上述の微動機構４４は、微小対象物の操作用の第２マニピュレータ１６に設けられるとしているが、図１に示すように微小対象物の固定用の第１マニピュレータ１４に微動機構４４と同様の微動機構５４を設けてもよく、省略することも可能である。
　次に、コントローラ４３によるマニピュレーションシステム１０の制御について図３を参照して説明する。図３は、マニピュレーションシステムの制御ブロック図である。
　コントローラ４３は、演算手段としてのＣＰＵ（中央演算処理装置）及び記憶手段としてのハードディスク、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）等のハードウェア資源を備える。コントローラ４３は、記憶部４６Ｂに格納された所定のプログラムに基づいて各種の演算を行い、演算結果に従って制御部４６Ａが各種の制御を行うように駆動信号を出力する。
　制御部４６Ａは、顕微鏡ユニット１２の焦点合わせ機構８１、第１マニピュレータ１４の駆動装置３０、駆動装置３２、吸引ポンプ２９、第２マニピュレータ１６の駆動装置４０、駆動装置４２、圧電素子９２、注入ポンプ３９を制御し、必要に応じて設けられたドライバやアンプ等を介してそれぞれに駆動信号を出力する。制御部４６Ａは、駆動装置３０、３２、４０、４２にそれぞれ駆動信号Ｖｘｙ、Ｖｚ（図１参照）を供給する。駆動装置３０、３２、４０、４２は、駆動信号Ｖｘｙ、Ｖｚに基づいてＸ－Ｙ－Ｚ軸方向に駆動する。制御部４６Ａは、微動機構４４にナノポジショナ制御信号ＶＮ（図１参照）を供給して、微動機構４４の制御を行ってもよい。
　コントローラ４３は、情報入力手段としてジョイスティック４７と、キーボードやタッチパネル等の入力部４９とが接続されている。また、コントローラ４３は、液晶パネル等の表示部４５が接続される。表示部４５にはカメラ１８で取得した顕微鏡画像や各種制御用画面が表示されるようになっている。なお、入力部４９としてタッチパネルが用いられる場合には、表示部４５の表示画面にタッチパネルを重ねて用い、操作者が表示部４５の表示画像を確認しつつ入力操作を行うようにしてもよい。
　ジョイスティック４７は公知のものを用いることができる。ジョイスティック４７は、基台と、基台から直立するハンドル部とを備えており、ハンドル部を傾斜させるように操作することで駆動装置３０、４０のＸ－Ｙ駆動を行うことができ、ハンドル部をねじることで駆動装置３２、４２のＺ駆動を行うことができる。ジョイスティック４７は、吸引ポンプ２９、圧電素子９２、注入ポンプ３９の各駆動を操作するためのボタン４７Ａを備えていてもよい。
　図３に示すように、コントローラ４３は、さらに画像入力部４３Ａ、画像処理部４３Ｂ、画像出力部４３Ｃ及び位置検出部４３Ｄを備えている。顕微鏡２０を通してカメラ１８で撮像した画像信号Ｖｐｉｘ（図１参照）が画像入力部４３Ａに入力される。画像処理部４３Ｂは、画像入力部４３Ａから画像信号を受け取って、画像処理を行う。画像出力部４３Ｃは、画像処理部４３Ｂで画像処理された画像情報を表示部４５へ出力する。位置検出部４３Ｄは、カメラ１８で撮像された微小対象物である細胞等の位置や、第２ピペット３５によるインジェクション操作を行う操作対象である細胞の核等の位置を、画像処理後の画像情報に基づいて検出することができる。位置検出部４３Ｄは、画像情報に基づいてカメラ１８の撮像領域内における細胞等の有無を検出することができる。また、位置検出部４３Ｄは、第１ピペット２５及び第２ピペット３５の位置を検出してもよい。画像入力部４３Ａ、画像処理部４３Ｂ、画像出力部４３Ｃ及び位置検出部４３Ｄは、制御部４６Ａにより制御される。
　制御部４６Ａは、位置検出部４３Ｄからの位置情報、及び細胞等の有無の情報に基づいて、第１マニピュレータ１４及び第２マニピュレータ１６を制御する。本実施形態において、制御部４６Ａは、第１マニピュレータ１４及び第２マニピュレータ１６を所定のシーケンスで自動的に駆動する。かかるシーケンス駆動は、記憶部４６Ｂにあらかじめ保存された所定のプログラムによるＣＰＵの演算結果に基づいて、制御部４６Ａが順次それぞれに駆動信号を出力することで行われる。
　次に、図４から図６を参照して、微小対象物である試料の操作対象の検出する方法について説明する。本実施形態において、試料は細胞１００である。また、細胞１００は、前核期受精卵である。また、細胞１００への操作は、ＤＮＡ溶液のインジェクション操作である。
　図４は、試料保持部材に配置される細胞の一例を示す模式図である。細胞１００は、試料保持部材１１の培地１１Ａに配置される。培地１１Ａは、試料保持部材１１の少なくとも一部に形成される。培地１１Ａは、インジェクション操作が実行されていない未処理細胞１００Ａを配置する未処理細胞領域と、インジェクション操作が完了した処理済細胞１００Ｂを配置する処理済細胞領域と、を有する。複数の未処理細胞１００Ａは、ある程度近い位置に全てが存在するように配置される。複数の処理済細胞１００Ｂは、互いにある程度近い位置に全てが存在するように配置される。
　図５は、操作対象の細胞及び核の模式図である。細胞１００は、核１１０を含む。核１１０は、核膜１１２と核小体１１４とを有する。核小体１１４は、核膜１１２に覆われた核１１０の内部に存在する。細胞１００は、第１ピペット２５に保持された状態で、第２ピペット３５によってインジェクション操作される。
　ＤＮＡ溶液等のインジェクションにおいては、ＤＮＡ溶液等を、核膜１１２の内部に注入する必要がある。核膜１１２は、低コントラストかつ形状が不定であるため、エッジ抽出処理等の一般的な画像処理手段による検出が困難である。そこで、核膜１１２より高コントラストの核小体１１４を検出し、核小体１１４の位置に基づいて、インジェクション位置を決定する。
　図６は、画像処理により検出された細胞及び核の模式図である。細胞１００は半透明なので、細胞１００をスライスしたような画像データが得られる。細胞１００の画像データは、図３に示すカメラ１８により撮像される。カメラ１８により撮像された細胞１００の画像データは、画像入力部４３Ａから画像信号として画像処理部４３Ｂに送られる。画像処理部４３Ｂは、細胞１００の画像データの画像処理を行う。
　画像処理部４３Ｂは、細胞１００、核１１０、核小体１１４の位置を検出するために、画像入力部４３Ａから受け取った画像信号について二値化処理とフィルタ処理を実行する。画像処理部４３Ｂは、画像信号をグレースケール化して、あらかじめ設定された所定の閾値に基づいて、このグレースケール画像をモノクロ画像に変換する。そして、画像処理部４３Ｂは、二値化処理とフィルタ処理により得られたモノクロ画像に基づいてエッジ抽出処理やパターンマッチングを行う。その処理結果に基づいて位置検出部４３Ｄは、細胞１００、核１１０、核小体１１４の位置を検出することができる。
　本実施形態において、画像処理部４３Ｂは、核小体１１４の位置検出に、人工知能を用いた画像認識を利用する。画像処理部４３Ｂは、人工知能用の学習データを有する。学習データには、インジェクションが成功した場合の画像データ及び撮像条件が蓄積されている。画像データは、画像認識により取得した細胞１００及び核小体１１４の画像データである。撮像条件は、画像データに対応するカメラ１８の焦点位置、顕微鏡２０の光学系、及び細胞１００の姿勢、検出パラメータ等である。人工知能は、人工知能が学習データに基づいて画像認識による核小体１１４の検出を実行する。ここで、インジェクションが成功した場合、人工知能は、新たな画像データ及び撮像条件を記憶して、さらに学習データを蓄積する。人工知能は、学習データを蓄積することで、撮像条件の変更によるコントラストの変化が大きい核小体１１４に対しても、検出パラメータの設定変更することなく位置検出ができる。なお、通常の画像処理と人工知能による画像認識とを併用し、通常の画像処理での結果の信頼性が低い場合にのみ人工知能での画像認識を利用してもよい。通常の画像処理を併用することによって、画像処理時間が短縮できる。
　なお、図３に示すコントローラ４３は、演算手段としてＣＰＵを備えるが、さらにＧＰＵ（画像処理装置）を備えてもよい。ＧＰＵが制御処理を実行することによって、制御処理時間を短縮することができる。ＧＰＵが画像処理部４３Ｂによる人工知能を用いた画像認識処理を実行し、ＣＰＵがその他の制御処理を実行してもよい。
　次にマニピュレーションシステム１０の駆動方法について説明する。マニピュレーションシステム１０の動作を開始する前に、操作者は、まず、図１に示すカメラ１８の視野内に、第１ピペット２５及び第２ピペット３５を配置する。ここで、第１ピペット２５の先端の高さは試料保持部材１１の底面よりわずかに上の位置とする。操作者は、次に、顕微鏡２０の焦点合わせ機構８１を用いて、焦点を第１ピペット２５に合わせる。操作者は、焦点を第１ピペット２５に合わせた状態で、焦点が合うように第２ピペット３５の高さを調整する。操作者は、次に、試料保持部材１１内の細胞１００（未処理細胞１００Ａ；図４参照）の周辺を、カメラ１８の視野と重なるように試料ステージ２２を移動させる。操作者は、さらに、細胞１００に第１ピペット２５の先端を近付けても細胞１００が動かないことを確認する。これは、図３に示す吸引ポンプ２９が平衡状態であることを確認するためである。以上の準備により、細胞１００は、第１ピペット２５及び第２ピペット３５の近傍に配置される。
　図７は、実施形態のマニピュレーションシステムの動作の一例を示すフローチャート図である。本実施形態のマニピュレーションシステム１０は、試料保持部材１１に載置された複数の細胞１００に対し、１つの細胞１００ごとに操作を行い、複数の細胞１００について操作を繰り返し実行する。コントローラ４３は、複数の細胞１００に対する操作を自動で実行する。マニピュレーションシステム１０による自動操作は、例えば、ＰＣソフト上の開始ボタンを押すことでスタートする。
　操作者は、まず、マニピュレーションシステム１０が複数回の操作を実行した後、操作を終了する回数である操作終了回数Ｎｅを、図３に示す入力部４９を介してコントローラ４３の制御部４６Ａに入力する（ステップＳＴ１０）。１つの細胞１００ごとに操作を行うので、操作終了回数Ｎｅは、操作を行う細胞１００（未処理細胞１００Ａ）の個数である。制御部４６Ａに操作終了回数Ｎｅが入力されると、制御部４６Ａは、実行した操作回数のカウンタ値である操作実行回数ＮをＮ＝０としてコントローラ４３の記憶部４６Ｂに記憶させる（ステップＳＴ１２）。
　次に、コントローラ４３の画像処理部４３Ｂは、顕微鏡２０を通してカメラ１８が撮像した画像データの画像処理を行う。コントローラ４３の位置検出部４３Ｄは、画像処理によって、カメラ１８の画面上における第１ピペット２５の先端中央の位置座標を検出する（ステップＳＴ２０）。制御部４６Ａは、第１マニピュレータ１４を駆動して、検出結果に基づいて、第１ピペット２５の先端中央が所定の第１座標に一致するよう、第１ピペット２５を所定の位置へ移動させる（ステップＳＴ２２）。所定の第１座標は、予め設定された座標である。位置検出部４３Ｄは、画像処理によって、カメラ１８の画面上における第２ピペット３５の先端中央の位置座標を検出する（ステップＳＴ２４）。制御部４６Ａは、第２マニピュレータ１６を駆動して、検出結果に基づいて、第２ピペット３５の先端中央が所定の第２座標に一致するよう、第２ピペット３５を所定の位置へ移動させる（ステップＳＴ２６）。所定の第２座標は、予め設定された座標である。
　次に、制御部４６Ａは、第１マニピュレータ１４の吸引ポンプ２９を駆動させ、第１ピペット２５の吸引を実行させる。吸引ポンプ２９が駆動すると、第１ピペット２５の内部は陰圧となり、第１ピペット２５の開口に向かって試料保持部材１１の溶液の流れが発生する。細胞１００は、溶液とともに吸引されて、第１ピペット２５の先端に吸着し、保持される（ステップＳＴ３０）。ここで、細胞１００が保持されたかを確認するために、第１ピペット２５の先端近傍に細胞１００があるか、画像処理によって検出して判断するようにしてもよい。
　次に、画像処理部４３Ｂは、核小体１１４の位置を人工知能による画像認識で検出する（ステップＳＴ４０）。核小体１１４が検出されない場合（ステップＳＴ４２；Ｎｏ）、制御部４６Ａは、第１マニピュレータ１４の吸引ポンプ２９を停止させ、第１ピペット２５の吸引を停止させる。制御部４６Ａは、第１ピペット２５の内部が僅かに陽圧になるように吸引ポンプ２９を駆動してもよい。これにより、細胞１００は、第１ピペット２５からの吸着が解除され、第１ピペット２５から離れる方向に僅かに移動する。細胞１００が移動する際に、第２ピペット３５の先端と接触することにより、細胞１００が回転する。所定の時間、細胞１００が回転した後、制御部４６Ａは、吸引ポンプ２９の吸引を再開させ、第１ピペット２５の内部を陰圧にして吸引する。これにより、細胞１００は、第１ピペット２５に再吸着し、保持される（ステップＳＴ４４）。細胞１００が第１ピペット２５に再び保持された後、画像処理部４３Ｂは、人工知能による画像認識を再び実行する（ステップＳＴ４０）。なお、本実施形態では、核小体１１４が検出されない場合に、細胞１００の姿勢を変更させるが、核小体１１４の位置が細胞１００の中心より大きくずれている場合においても、細胞１００の姿勢を変更させるようにしてもよい。また、細胞１００の姿勢を変更させずに、第１ピペット２５を移動させて、細胞１００の焦点位置を変更した後、再度人工知能による画像認識を実行させてもよい。
　核小体１１４が検出された場合（ステップＳＴ４２；Ｙｅｓ）、制御部４６Ａは、画像処理により得られた核小体１１４の位置情報に基づいて、第２ピペット３５の移動経路を算出する。すなわち、第２ピペット３５は、核小体１１４の近傍であるインジェクション位置に対して第２ピペット３５の先端が対向するよう、Ｙ方向に移動する。その後、第２ピペット３５の先端は、Ｘ方向にインジェクション位置へ移動して、核膜１１２内に差し込まれる。制御部４６Ａは、第２マニピュレータ１６の注入ポンプ３９を駆動させ、細胞１００に対するＤＮＡ溶液等のインジェクション操作を実行させる（ステップＳＴ５０）。制御部４６Ａは、例えば、予め設定された時間、注入ポンプ３９を駆動させてインジェクション操作を実行させてもよい。画像処理部４３Ｂは、インジェクション操作中に画像処理を実行し、核膜１１２の膨らみを検出して、ＤＮＡ溶液等のインジェクションが完了したか判断してもよい。人工知能は、インジェクション操作が成功した場合、取得した画像データ及び撮像条件を記憶して、人工知能用の学習データにさらに蓄積してもよい。
　インジェクションが成功した場合（ステップＳＴ５１；Ｙｅｓ）、制御部４６Ａは、試料ステージ２２を駆動し、インジェクション操作後の細胞１００を、処理済細胞１００Ｂとして処理済細胞領域に移動させる（図４参照）（ステップＳＴ６０）。制御部４６Ａは、第１マニピュレータ１４の吸引ポンプ２９を停止させ、第１ピペット２５の吸引を停止させる。これにより、第１ピペット２５の内部が陽圧となり、第１ピペット２５は、処理済細胞１００Ｂの保持を解除する。処理済細胞１００Ｂは、処理済細胞領域に載置される。制御部４６Ａは、再度試料ステージ２２を駆動し、未処理細胞１００Ａが配置される未処理細胞領域の近傍に第１ピペット２５の先端を移動させる。
　その後、制御部４６Ａは、操作実行回数Ｎのカウンタ値を１つ増やして、Ｎ＝Ｎ＋１として記憶する（ステップＳＴ７０）。操作実行回数Ｎが操作終了回数Ｎｅよりも小さい場合（ステップＳＴ７２；Ｎｏ）、ステップＳＴ３０に戻って別の細胞１００に対する保持操作、核小体１１４の検出操作、核膜１１２へのインジェクション操作、細胞１００の載置操作を繰り返し実行する。操作実行回数Ｎが操作終了回数Ｎｅ以上となった場合（ステップＳＴ７２；Ｙｅｓ）、予め設定された個数の細胞１００に対する操作が終了し、一連の操作を終了する。
　カメラ１８の撮像画像は、焦点位置におけるＸ－Ｙ平面を撮像したものであるので、第２ピペット３５の先端と核小体１１４とのＺ方向の位置が重ならない可能性がある。この場合、第２ピペット３５の先端が核小体１１４の近傍に差し込まれず、インジェクションは失敗することが想定される。インジェクションが失敗した場合（ステップＳＴ５１；Ｎｏ）、保持中の細胞１００への操作を中止し（ステップＳＴ８０）、ステップＳＴ３０に戻る。この後、同じ細胞１００に対して、保持操作、核小体１１４の検出操作、核膜１１２へのインジェクション操作を行ってもよいし、別の細胞１００に対して、保持操作、核小体１１４の検出操作、核膜１１２へのインジェクション操作を行ってもよい。別の細胞１００に変更する場合、保持中の細胞１００を、未処理細胞領域に戻してもよいし、培地１１Ａに処理失敗細胞領域を設けて、処理失敗細胞領域に載置してもよい。ステップＳＴ８０の後、例えば、ステップＳＴ４４に戻り、細胞１００の姿勢を変更して、核小体１１４の検出及びインジェクション操作を再度試行してもよい。インジェクションを失敗した細胞１００について、操作者が判断してもよいし、予め設定した条件に基づいて制御部４６Ａが判断してもよい。第２ピペット３５の先端と核小体１１４とのＺ方向の位置のずれは、インジェクション成功時の画像データ及び焦点位置等の学習データから推測することができる。したがって、人工知能が多くの学習データを蓄積することによって、第２ピペット３５の先端と核小体１１４とのＺ方向のずれを解消し、インジェクションの失敗を低減できる。
　以上のように、マニピュレーションシステム１０は、細胞１００の保持操作、核小体１１４の検出操作、核膜１１２内へのインジェクション操作、細胞１００の載置操作を自動で行うので、移動先の試料ステージ２２の領域を見失うこと、及び、繰り返し行う第１ピペット２５及び第２ピペット３５の位置調整操作の際に、第１ピペット２５及び第２ピペット３５が折損することを抑制することができる。
　以上説明したように、本実施形態のマニピュレーションシステム１０は、細胞１００（微小対象物）が載置される試料ステージ２２と、細胞１００を保持するための第１ピペット２５を備える第１マニピュレータ１４と、第１ピペット２５に保持された細胞１００を操作するための第２ピペット３５を備える第２マニピュレータ１６と、細胞１００を撮像する顕微鏡ユニット１２（撮像部）と、試料ステージ２２、第１ピペット２５、第２ピペット３５及び顕微鏡ユニット１２を制御するコントローラ４３と、を備え、コントローラ４３は、顕微鏡ユニット１２の画像データに基づいて人工知能によって細胞１００の核小体１１４（所定の操作対象位置）を検出し、第２ピペット３５を核小体１１４に移動させて、細胞１００に対する操作を第２ピペット３５に実行させる。
　これによれば、コントローラ４３が、蓄積された学習データに基づいて人工知能により核小体１１４の検出操作を行うため、操作者の熟練度によらず、核小体１１４の位置を検出することができる。また、撮像条件の変更によるコントラストの変化が大きい核小体１１４に対しても、撮像条件の変更時における検出パラメータの設定変更が不要である。人工知能を用いた画像認識は、検出パラメータの設定を変更する必要がないので、新たなプログラムを作成することなく、核小体１１４の位置検出ができる。したがって、効率よくかつ好適に細胞１００の核小体１１４を検出することができる。
　本実施形態のマニピュレーションシステム１０において、コントローラ４３は、インジェクション操作が成功した場合に、画像データ及び画像データの撮像条件を人工知能に記憶させる。これによれば、人工知能の学習データを蓄積することによって、核小体１１４の位置の検出及びインジェクション操作の成功の精度が向上するので、効率よくかつ好適に細胞１００の核小体１１４を検出することができ、効率よくかつ好適に核小体１１４へのインジェクション操作が可能である。
　本実施形態のマニピュレーションシステム１０において、コントローラ４３は、核小体１１４が検出されない場合に、細胞１００の姿勢を変更させる。これによれば、効率よくかつ好適に細胞１００の核小体１１４を検出することができる。
　本実施形態のマニピュレーションシステム１０において、コントローラ４３は、核小体１１４が検出されない場合に、第１ピペット２５による細胞１００の保持解除操作と、保持位置を変更させた再保持操作と、を実行させる。これによれば、効率よくかつ好適に細胞１００の核小体１１４を検出することができる。
　本実施形態のマニピュレーションシステム１０において、第１ピペット２５による細胞１００の保持は、第１ピペット２５を陰圧にして細胞１００を第１ピペット２５に吸着させることによって行う。これによれば、効率よくかつ好適に細胞１００の核小体１１４を検出することができる。
　本実施形態のマニピュレーションシステム１０の駆動方法は、細胞１００が載置される試料ステージ２２と、細胞１００を保持するための第１ピペット２５を備える第１マニピュレータ１４と、第１ピペット２５に保持された細胞１００を操作するための第２ピペット３５を備える第２マニピュレータ１６と、細胞１００を撮像する顕微鏡ユニット１２と、を備えるマニピュレーションシステム１０の駆動方法であって、第１ピペット２５に保持された細胞１００の核小体１１４を、顕微鏡ユニット１２の画像データに基づいて人工知能によって検出するステップＳＴ４０と、第２ピペット３５を核小体１１４に移動させて、細胞１００に対する操作を実行させるステップＳＴ５０と、を含む。
　これによれば、蓄積された学習データに基づいて人工知能により核小体１１４の検出操作を行うため、操作者の熟練度によらず、核小体１１４の位置を検出することができる。また、撮像条件の変更によるコントラストの変化が大きい核小体１１４に対しても、撮像条件の変更時における検出パラメータの設定変更が不要である。人工知能を用いた画像認識は、検出パラメータの設定を変更する必要がないので、新たなプログラムを作成することなく、核小体１１４の位置検出ができる。したがって、効率よくかつ好適に細胞１００の核小体１１４を検出することができる。
　本実施形態のマニピュレーションシステム１０及びマニピュレーションシステム１０の駆動方法は適宜変更してもよい。例えば、第１ピペット２５、第２ピペット３５等の形状等は、微小対象物の種類や、微小対象物に対する操作に応じて適宜変更することが好ましい。微小対象物の保持操作、所定の操作対象位置の検出操作、インジェクション操作、微小対象物の載置操作の各操作において、適宜手順の一部を省略してもよく、また、手順を置換して実行してもよい。
　１０　マニピュレーションシステム
　１１　試料保持部材
　１１Ａ　培地
　１２　顕微鏡ユニット（撮像部）
　１４　第１マニピュレータ
　１６　第２マニピュレータ
　１８　カメラ
　２０　顕微鏡
　２２　試料ステージ
　２４　第１ピペット保持部材
　２５　第１ピペット
　２６　Ｘ－Ｙ軸テーブル
　２８　Ｚ軸テーブル
　２９　吸引ポンプ
　３０、３２　駆動装置
　３４　第２ピペット保持部材
　３５　第２ピペット
　３６　Ｘ－Ｙ軸テーブル
　３８　Ｚ軸テーブル
　３９　注入ポンプ
　４０、４２　駆動装置
　４３　コントローラ（制御装置）
　４３Ａ　画像入力部
　４３Ｂ　画像処理部
　４３Ｃ　画像出力部
　４３Ｄ　位置検出部
　４４、５４　微動機構
　４４ａ　圧電アクチュエータ
　４５　表示部
　４６Ａ　制御部
　４６Ｂ　記憶部
　４７　ジョイスティック
　４７Ａ　ボタン
　４９　入力部
　８０、８２　転がり軸受
　８０ａ、８２ａ　内輪
　８０ｂ、８２ｂ　外輪
　８０ｃ、８２ｃ　ボール
　８１　焦点合わせ機構
　８４　中空部材
　８４ａ　フランジ部
　８６　ロックナット
　８７　ハウジング
　８８　蓋
　９０　スペーサ
　９２　圧電素子
　１００　細胞
　１００Ａ　未処理細胞
　１００Ｂ　処理済細胞
　１１０　核
　１１２　核膜
　１１４　核小体
　ＳＴ１０、ＳＴ１２、ＳＴ２０、ＳＴ２２、ＳＴ２４、ＳＴ２６、ＳＴ３０、ＳＴ４０、ＳＴ４２、ＳＴ４４、ＳＴ５０、ＳＴ５１、ＳＴ６０、ＳＴ７０、ＳＴ７２、ＳＴ８０　ステップ

Claims (6)

  1. 　微小対象物が載置される試料ステージと、
    　前記微小対象物を保持するための第１ピペットを備える第１マニピュレータと、
    　前記第１ピペットに保持された前記微小対象物を操作するための第２ピペットを備える第２マニピュレータと、
    　前記微小対象物を撮像する撮像部と、
    　前記試料ステージ、前記第１ピペット、前記第２ピペット及び前記撮像部を制御するコントローラと、を備え、
    　前記コントローラは、前記撮像部の画像データに基づいて人工知能によって前記微小対象物の所定の操作対象位置を検出し、前記第２ピペットを前記所定の操作対象位置に移動させて、前記微小対象物に対する操作を第２ピペットに実行させるマニピュレーションシステム。
  2. 　前記コントローラは、前記微小対象物に対する操作が成功した場合に、前記画像データ及び前記画像データの撮像条件を前記人工知能の学習データに追加する請求項１に記載のマニピュレーションシステム。
  3. 　前記コントローラは、前記所定の操作対象位置が検出されない場合に、前記微小対象物の姿勢を変更させる請求項１又は２に記載のマニピュレーションシステム。
  4. 　前記コントローラは、前記所定の操作対象位置が検出されない場合に、前記第１ピペットによる前記微小対象物の保持解除操作と、保持位置を変更させた再保持操作と、を実行させる請求項１から３のいずれか一項に記載のマニピュレーションシステム。
  5. 　前記第１ピペットによる前記微小対象物の保持は、前記第１ピペットを陰圧にして前記微小対象物を前記第１ピペットに吸着させることによって行う請求項１から４のいずれか一項に記載のマニピュレーションシステム。
  6. 　微小対象物が載置される試料ステージと、
    　前記微小対象物を保持するための第１ピペットを備える第１マニピュレータと、
    　前記第１ピペットに保持された前記微小対象物を操作するための第２ピペットを備える第２マニピュレータと、
    　前記微小対象物を撮像する撮像部と、を備えるマニピュレーションシステムの駆動方法であって、
    　前記第１ピペットに保持された前記微小対象物の所定の操作対象位置を、前記撮像部の画像データに基づいて人工知能によって検出するステップと、
    　前記第２ピペットを前記所定の操作対象位置に移動させて、前記微小対象物に対する操作を実行させるステップと、を含むマニピュレーションシステムの駆動方法。
PCT/JP2019/020858 2018-08-27 2019-05-27 マニピュレーションシステム及びマニピュレーションシステムの駆動方法 WO2020044683A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020506362A JPWO2020044683A1 (ja) 2018-08-27 2019-05-27 マニピュレーションシステム及びマニピュレーションシステムの駆動方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018157962 2018-08-27
JP2018-157962 2018-08-27

Publications (1)

Publication Number Publication Date
WO2020044683A1 true WO2020044683A1 (ja) 2020-03-05

Family

ID=69645065

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/020858 WO2020044683A1 (ja) 2018-08-27 2019-05-27 マニピュレーションシステム及びマニピュレーションシステムの駆動方法

Country Status (2)

Country Link
JP (1) JPWO2020044683A1 (ja)
WO (1) WO2020044683A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017124452A (ja) * 2016-01-12 2017-07-20 日本精工株式会社 マニピュレーションシステム及びマニピュレーションシステムの駆動方法
WO2017208589A1 (ja) * 2016-06-01 2017-12-07 株式会社片岡製作所 細胞処理システム
JP6330092B1 (ja) * 2017-08-02 2018-05-23 株式会社ディジタルメディアプロフェッショナル 機械学習用教師データ生成装置及び生成方法
WO2018105171A1 (ja) * 2016-12-06 2018-06-14 コニカミノルタ株式会社 画像認識システム及び画像認識方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017124452A (ja) * 2016-01-12 2017-07-20 日本精工株式会社 マニピュレーションシステム及びマニピュレーションシステムの駆動方法
WO2017208589A1 (ja) * 2016-06-01 2017-12-07 株式会社片岡製作所 細胞処理システム
WO2018105171A1 (ja) * 2016-12-06 2018-06-14 コニカミノルタ株式会社 画像認識システム及び画像認識方法
JP6330092B1 (ja) * 2017-08-02 2018-05-23 株式会社ディジタルメディアプロフェッショナル 機械学習用教師データ生成装置及び生成方法

Also Published As

Publication number Publication date
JPWO2020044683A1 (ja) 2020-09-10

Similar Documents

Publication Publication Date Title
JP6690245B2 (ja) マニピュレーションシステム及びマニピュレーションシステムの駆動方法
US20130023052A1 (en) Manipulator system and manipulation method of micromanipulation target object
JP2017071020A (ja) マニピュレーションシステム、回転アクチュエータ及びマニピュレーションシステムの駆動方法
US10245734B2 (en) Manipulation system and control method thereof
JP7188141B2 (ja) マニピュレーションシステム及びマニピュレーションシステムの駆動方法
WO2020044683A1 (ja) マニピュレーションシステム及びマニピュレーションシステムの駆動方法
JP6989007B2 (ja) マニピュレーションシステム及びマニピュレーションシステムの駆動方法
WO2015050205A1 (ja) マニピュレータシステム及び微小操作対象物の操作方法
JP6528911B2 (ja) マニピュレーションシステム
WO2020183741A1 (ja) マニピュレーションシステム及びマニピュレーションシステムの駆動方法
JP7322531B2 (ja) マニピュレーションシステム及びマニピュレーションシステムの駆動方法
JP5257276B2 (ja) マニピュレーションシステム駆動方法
JP6035948B2 (ja) 圧電アクチュエータ及びマニピュレータ
JP2014147986A (ja) 圧電アクチュエータ、マニピュレータ、マニピュレータシステム及び微小対象物の操作方法
JP2017205089A (ja) 圧力制御装置、マニピュレーションシステム及び圧力制御方法
JP6859861B2 (ja) マニピュレーションシステム及びマニピュレーションシステムの駆動方法
JP7222331B2 (ja) マニピュレーションシステム及びマニピュレーションシステムの駆動方法
JP2007205973A (ja) 液滴観察装置および液滴観察方法
JP2008136402A (ja) 遺伝子導入装置及び方法
JP2023102066A (ja) マニピュレーションシステム、マニピュレーションシステムの駆動方法、及びマイクロピペット
WO2022004842A1 (ja) 細胞回収装置
JP2021109293A (ja) マニピュレーションシステム及びマニピュレーションシステムの駆動方法
JP2024071979A (ja) 細胞注入装置、及び外来細胞を内包するオルガノイドの作成方法
JP2001208982A (ja) 微細物体の操作方法
JP2022018785A (ja) マニピュレーションシステム及びマニピュレーションシステムの駆動方法

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2020506362

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19856249

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19856249

Country of ref document: EP

Kind code of ref document: A1