WO2018163683A1 - 撮像システム - Google Patents

撮像システム Download PDF

Info

Publication number
WO2018163683A1
WO2018163683A1 PCT/JP2018/003705 JP2018003705W WO2018163683A1 WO 2018163683 A1 WO2018163683 A1 WO 2018163683A1 JP 2018003705 W JP2018003705 W JP 2018003705W WO 2018163683 A1 WO2018163683 A1 WO 2018163683A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
container
unit
image
imaging system
Prior art date
Application number
PCT/JP2018/003705
Other languages
English (en)
French (fr)
Inventor
京彦 熊谷
洋平 井爪
Original Assignee
ヤマハ発動機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヤマハ発動機株式会社 filed Critical ヤマハ発動機株式会社
Priority to JP2019504397A priority Critical patent/JP6793244B2/ja
Priority to EP18764384.6A priority patent/EP3578955B1/en
Priority to CN201880016585.2A priority patent/CN110383042B/zh
Priority to US16/492,111 priority patent/US11525995B2/en
Publication of WO2018163683A1 publication Critical patent/WO2018163683A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/10—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings of the optical waveguide type
    • G02B6/12—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings of the optical waveguide type of the integrated circuit kind
    • G02B6/12007—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings of the optical waveguide type of the integrated circuit kind forming wavelength selective elements, e.g. multiplexer, demultiplexer
    • G02B6/12009—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings of the optical waveguide type of the integrated circuit kind forming wavelength selective elements, e.g. multiplexer, demultiplexer comprising arrayed waveguide grating [AWG] devices, i.e. with a phased array of waveguides
    • G02B6/12026—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings of the optical waveguide type of the integrated circuit kind forming wavelength selective elements, e.g. multiplexer, demultiplexer comprising arrayed waveguide grating [AWG] devices, i.e. with a phased array of waveguides characterised by means for reducing the temperature dependence
    • G02B6/12028—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings of the optical waveguide type of the integrated circuit kind forming wavelength selective elements, e.g. multiplexer, demultiplexer comprising arrayed waveguide grating [AWG] devices, i.e. with a phased array of waveguides characterised by means for reducing the temperature dependence based on a combination of materials having a different refractive index temperature dependence, i.e. the materials are used for transmitting light
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data

Definitions

  • the present invention relates to an imaging system for imaging an imaging target object with a translucent member interposed on the imaging optical axis.
  • imaging of cells may be required.
  • cells are spread on a dish having a large number of receiving recesses, and an operation of selecting desired cells and transferring them to a microplate is performed.
  • the dish carrying the cells is imaged by the imaging device, and for example, cells that can be used by image processing technology and cells that cannot be used and foreign substances are classified.
  • Patent Document 1 discloses a technique for imaging a nozzle (corresponding to the chip) by an imaging device and obtaining the position of the nozzle tip by an autofocus mechanism.
  • a translucent member has to be interposed on the imaging optical axis of the imaging apparatus.
  • an image of the cells is acquired through the transparent container and the dish.
  • an image of the cells is further acquired through the base.
  • imaging through the base may be required.
  • the optical path is refracted by the light-transmitting member such as the container or the base, and the position and size of the cell or the position of the tip opening of the chip cannot be obtained accurately. there were.
  • An object of the present invention is to obtain an image that can accurately determine the position and / or size of the imaging object even when the imaging object is imaged with a light-transmissive member interposed on the imaging optical axis. To provide a system.
  • An imaging system includes an imaging device that images an imaging object on an imaging optical axis, and the position of the imaging object and / or the image information acquired by the imaging device through the imaging.
  • a calculation unit that obtains data relating to the size, and the calculation unit includes a change in imaging condition due to the presence of the translucent member when the translucent member is interposed on the imaging optical axis in the imaging. It is characterized in that change information relating to a change in the image of the imaging object is acquired and the data is corrected based on the change information.
  • FIG. 1 is a diagram schematically illustrating a configuration example of a cell moving device.
  • FIG. 2A is a top view of a dish provided in the sorting container used in the cell transfer device
  • FIG. 2B is a cross-sectional view taken along the line IIB-IIB in FIG.
  • FIG. 3 is a block diagram of the imaging system according to the embodiment of the present invention.
  • FIG. 4 is a diagram for explaining the same focal length of the lens unit.
  • FIG. 5 is a diagram for explaining the focal length extension amount.
  • FIG. 6 is a diagram for explaining a method of measuring the focal length extension amount when the translucent member is interposed on the imaging optical axis.
  • FIG. 7 is a diagram illustrating a first application example of the imaging system.
  • FIG. 1 is a diagram schematically illustrating a configuration example of a cell moving device.
  • FIG. 2A is a top view of a dish provided in the sorting container used in the cell transfer device
  • FIG. 2B is a cross
  • FIG. 8 is a diagram illustrating a second application example of the imaging system.
  • FIG. 9 is a diagram illustrating a third application example of the imaging system.
  • FIG. 10 is a fourth application example of the imaging system, and is a diagram illustrating deformation of an object on the image when the imaging object is imaged through a light-transmitting member having a curved surface.
  • FIG. 11 is a diagram illustrating, for each holding position, deformation of the object on the image when the object to be imaged is imaged through a translucent member having a curved surface.
  • FIG. 12 is a diagram for explaining the change rate of the size of the imaging object.
  • the cell or cell aggregate (spheroid; spheroid) derived from a biological body can be illustrated as a preferable imaging target object especially.
  • a cell aggregate derived from a living body is formed by aggregation of several to several hundred thousand cells. Therefore, the size of the cell aggregate is various.
  • Cell aggregates formed by living cells are almost spherical, but if some of the cells that make up the cell aggregates are altered or become dead cells, the shape of the cell aggregate is distorted, or The density may be non-uniform.
  • cell C For testing in the fields of biotechnology and medicine, pick a usable cell aggregate from a plurality of cell aggregates of various shapes carried on a dish on a sorting stage with a chip, and use this to microplate A cell transfer device that moves up to is used. In the microplate, various processes such as observation, confirmation of drug efficacy, inspection, and culture are performed on the cell aggregates.
  • the term “cell C” is simply used to include the cell aggregates as described above.
  • an imaging system is applied to grasp the height position of the chip, the dish, and the cell C, or the shape of the cell C based on image information.
  • an imaging system according to the present invention is applied to various parts of the cell transfer device.
  • the cell transfer device S0 is disposed below the base 1 and a base 1 (translucent member) having a horizontal placement surface (upper surface), a cell movement line 10 assembled on the upper surface of the base 1. It includes a camera unit 5 (imaging device) and a head unit 61 on which a chip 6 that is disposed above the base 1 and sucks and discharges cells C is mounted.
  • a plurality of camera units 5 and a head unit 61 are illustrated, but these indicate positions P11 to P15 and P21 to P23 to which the units 5 and 61 move, and each actually has one camera.
  • the unit 5 and the head unit 61 are provided in the cell transfer device S0. Of course, it is good also as the cell transfer apparatus S0 which comprises the multiple units 5 and 61, respectively.
  • the base 1 is a rectangular flat plate having a predetermined rigidity and part or all of which is made of a translucent material.
  • a preferred base 1 is a glass plate.
  • the cell movement line 10 sucks the cells C from one container with the chip 6, transports them to other containers, and discharges the cells C from the chip 6 to perform a plurality of operations necessary for carrying out a series of cell movement processes. A part. These working units are assembled to be arranged in the left-right direction with respect to the base 1.
  • the cell movement line 10 includes a chip stock unit 11, a chip calibration unit 12, a sorting unit 13, a transfer unit 14, and a chip disposal unit 15 as the plurality of working units.
  • the camera unit 5 includes a lens unit 51 and a camera body 52.
  • the lens unit 51 is an objective lens used in an optical microscope, and includes a lens group that forms an optical image with a predetermined magnification and a lens barrel that houses the lens group.
  • the camera body 52 includes an image sensor such as a CCD image sensor.
  • the lens unit 51 forms an optical image of the imaging object on the light receiving surface of the imaging element.
  • the camera unit 5 is movable in the left-right direction below the base 1 along a guide rail 53 extending in the left-right direction parallel to the base 1. Further, the lens unit 51 is movable in the vertical direction for the focusing operation.
  • the head unit 61 includes a head main body 62 and a plurality of heads 63 held by the head main body 62 and capable of moving back and forth with respect to the head main body 62.
  • FIG. 1 illustrates three heads 63 arranged in a row, the number and arrangement of the heads 63 are not particularly limited.
  • the head unit 61 is movable in the left-right direction (X direction) above the base 1 along a guide rail 64 extending in the left-right direction parallel to the base 1.
  • the head unit 61 is also movable in a direction (Y direction) orthogonal to the paper surface of FIG.
  • the head 63 is formed of a hollow rod having an open lower end.
  • the chip 6 is attached to the lower end of the head 63.
  • the chip 6 is a tapered tube-shaped member provided with a tip opening 6t that sucks and discharges cells C (objects).
  • a piston mechanism is mounted in the hollow portion of the head 63, and suction and discharge forces can be generated at the lower end opening by the operation of the piston mechanism.
  • the head main body 62 incorporates a power unit of the piston mechanism, an elevating mechanism for moving the head 63 in the vertical direction, and a power unit thereof.
  • the head 63 generates a suction force and a discharge force
  • a suction force and a discharge force are also generated at the tip opening 6t of the chip 6 attached to the head 63.
  • the chip 6 performs suction and discharge of the cells C through the tip opening 6t.
  • the chip stock part 11 is a part for storing a large number of unused chips 6.
  • a stock container 16 that holds the chips 6 arranged in a matrix in an upright state is disposed.
  • the chip 6 is held by the stock container 16 with its upper end opening oriented upward. That is, the chip 6 is held by the stock container 16 in a state where the mounting can be easily performed on the lower end of the head 63 that moves in the vertical direction.
  • the chip calibration unit 12 is a part for obtaining the position (XYZ coordinates) of the tip opening 6t of the chip 6 attached to the head 63.
  • the chip calibration unit 12 is provided with an imaging pit 17 for imaging the chip 6 mounted on the head 63 with the camera unit 5. Based on the image of the chip 6 and the focal position information at the time of imaging, the XYZ coordinate position of the tip opening 6t of the chip 6 is obtained.
  • This XYZ coordinate position accurately recognizes the position of the tip opening 6t of each chip 6, and the amount of movement of the head unit 61 in the XY direction and the amount of movement of the head 63 in the Z direction during the suction and discharge of the cells C, etc. Is required to accurately grasp For example, the height position of the tip opening 6t varies due to an attachment error of the chip 6 to the head 63, a dimensional error of the chip 6 itself, and an error of the drive system of the head 63.
  • the imaging of the chip 6 in the chip calibration unit 12 recognizes a deviation from the reference position of the tip opening 6t resulting from the error, and a correction value corresponding to this deviation is derived.
  • the sorting unit 13 is a part for sorting cells C to be moved.
  • a sorting container 18 (translucent container) is disposed in the sorting unit 13.
  • the sorting container 18 is a container from which the cells C move, stores the medium L, and holds the cell sorting dish 2 (holding unit) in a state of being immersed in the medium L.
  • the dish 2 is a plate for holding the cells C, and has a plurality of holding recesses 3 on the upper surface that can hold the cells C individually.
  • the medium L is not particularly limited as long as it does not deteriorate the properties of the cells C, and can be appropriately selected according to the type of the cells C.
  • the sorting container 18 has a cylindrical or prismatic shape, and has a rectangular upper surface opening 18H on the upper surface side.
  • the upper surface opening 18 ⁇ / b> H is an opening for loading the cells C and picking up the sorted cells C with the chip 6 attached to the head 63.
  • the dish 2 is disposed below the upper surface opening 18H.
  • the sorting container 18 and the dish 2 are made of a translucent resin material or glass. This is because the cell C carried on the dish 2 can be observed by the camera unit 5 disposed below the sorting container 18.
  • a plurality of cells C dispersed in a cell culture solution are injected into the sorting container 18 from a dispensing tip (not shown).
  • the dispensing tip aspirates the cell culture solution together with the cells C from a tube that stores a cell culture solution containing a large amount of cells C, and holds it in the dispensing tip. Thereafter, the dispensing tip is moved to the upper position of the sorting container 18 and accesses the upper surface of the dish 2 through the upper surface opening 18H. And the cell C hold
  • the cell transfer device S0 includes a cell stock portion in which the tube is arranged and a dispensing tip stock portion for storing a plurality of the dispensing tips, but these descriptions are omitted in FIG.
  • FIG. 2A is a top view of the dish 2 and a cross-sectional view taken along the line IIB-IIB in FIG. 2B and FIG.
  • the dish 2 includes a dish body 20 and the above-described holding recess 3 formed in the dish body 20.
  • the dish body 20 is made of a flat plate member having a predetermined thickness, and has an upper surface 21 and a lower surface 22.
  • the holding recess 3 has a cell C receiving opening (opening 31) on the upper surface 21 side.
  • the dish 2 is immersed in the medium L in the sorting container 18. Specifically, the upper surface 21 of the dish main body 20 is immersed in the culture medium L in the sorting container 18, while the lower surface 22 is held in the sorting container 18 with a space from the bottom plate of the sorting container 18. (See FIG. 1).
  • Each holding recess 3 includes an opening 31, a bottom 32, a cylindrical wall 33, a hole 34, and a boundary 35.
  • the opening 31 is a square opening provided on the upper surface 21 and has a size that allows the tip opening 6t of the sorting chip 6 to enter.
  • the bottom 32 is located inside the dish body 20 and near the lower surface 22.
  • the bottom 32 is an inclined surface that is gently inclined downward toward the center (the center of the square).
  • the cylindrical wall surface 33 is a wall surface extending vertically downward from the opening 31 toward the bottom 32.
  • the hole 34 is a through hole that vertically penetrates between the center of the bottom 32 and the lower surface 22.
  • the boundary portion 35 is a portion that is located on the upper surface 21 and serves as an opening edge of each holding recess 3, and is a ridge line that partitions the holding recesses 3.
  • each holding recess 3 define an accommodation space 3H that accommodates the cells C. It is contemplated that one cell C is generally accommodated in the accommodation space 3H.
  • the hole 34 is provided in order to let small cells and impurities other than the desired size escape from the accommodation space 3H. Therefore, the size of the hole 34 is selected so that cells C having a desired size cannot pass through and small cells or impurities other than the desired size can pass therethrough. As a result, the cells C to be sorted are trapped in the holding recess 3, while impurities and the like fall from the holes 34 to the bottom plate of the sorting container 18.
  • the cell C held in the holding recess 3 is sucked by the chip 6.
  • the tip opening 6t of the chip 6 enters the holding recess 3 as the head 63 descends and approaches the cell C as much as possible. Thereafter, a suction force is generated in the tip opening 6t, and the cells C are sucked into the chip 6. Since such an operation of the chip 6 is performed, it is necessary to accurately recognize the height position of the dish 2 (holding recess 3). If the recognition of the height position is insufficient, there is a problem that the tip opening 6t collides with the bottom 32 of the holding recess 3 or the approach to the cell C is insufficient and the suction fails. .
  • the dish 2 is held in the sorting container 18 at a height position according to the design value, but the height position may be displaced due to a manufacturing error or the like.
  • the sorting container 18 is imaged by the camera unit 5 in the sorting unit 13, and the deviation of the height position of the dish 2 from the reference position is recognized from the acquired image information, and a correction value corresponding to this deviation is obtained. Derived.
  • the transfer unit 14 is a part for transferring the cells C selected by the selection unit 13.
  • the microplate 4 is disposed in the transfer unit 14.
  • the microplate 4 is a container to which the cells C are moved, and has a plurality of wells 41 that receive the cells C.
  • the tip opening 6t of the chip 6 that sucked the cells C enters the well 41, and the cells C are discharged.
  • the microplate 4 is also made of a translucent resin material or glass. This is because the cells C carried on the microplate 4 can be observed by the camera unit 5 disposed below the microplate 4.
  • a container such as a petri dish may be disposed in the transfer unit 14 instead of the microplate 4. In this case as well, it is desirable to accurately recognize the height position of the bottom surface of the container.
  • the microplate 4 or the petri dish is imaged by the camera unit 5, and the deviation of the height position of the bottom surface from the reference position is recognized from the acquired image information, and according to this deviation. It is desirable to derive a correction value.
  • the chip discarding unit 15 is a part where the used chip 6 that has finished the above suction and discharge operations is collected from the head 63.
  • the chip discarding unit 15 includes a chip collection container 19 that stores the used chip 6.
  • the head unit 61 equipped with the used chip 6 is moved onto the opening of the chip collection container 19 and the operation of removing the chip 6 from the head 63 is executed. By this detaching operation, the chip 6 falls into the chip collection container 19.
  • the basic procedure of the cell moving operation is as follows: mounting of the chip 6 to the head 63 (procedure 1), position calibration of the tip opening 6t of the chip 6 (procedure 2), and cell C from the sorting container 18 (dish 2). Picking (procedure 3), transferring the cell C to the microplate 4 (procedure 4), and discarding the chip 6 (procedure 5).
  • the head unit 61 is moved along the guide rails 64 from the left to the right over the working portions of the cell movement line 10.
  • the camera unit 5 images the chip 6 attached to the head 63 in order to obtain the position of the tip opening 6t during the procedure 2 and selects a usable cell C before the procedure 3.
  • the dish 2 is imaged, and after the procedure 4, the microplate 4 is imaged to confirm the transferred cells C.
  • the camera unit 5 recognizes the height position of the dish 2 and the height position of the bottom surface of the microplate 4 or the petri dish before performing steps 1 to 5. Take an image.
  • each procedure 1-5 will be explained.
  • the head unit 61 is moved to the chip mounting position P11 on the chip stock portion 11. Then, as indicated by a dotted line in FIG. 1, one head 63 is lowered in alignment with one of the chips 6 held in the stock container 16, and the upper end portion of the chip 6 is fitted to the lower end of the head 63. Combined. Thereafter, the head 63 is raised. The chip 6 is mounted on the other heads 63 in the same manner.
  • the head unit 61 is moved to the chip calibration position P12 on the chip calibration unit 12. At this time, the head unit 61 is stopped at a position where one head 63 to which the chip 6 is newly mounted is aligned on the vertical axis of the imaging pit 17.
  • the camera unit 5 is also moved to the chip imaging position P21 immediately below the imaging pit 17 of the chip calibration unit 12. Then, the chip 6 located on the imaging pit 17 is imaged by the camera unit 5.
  • the position of the tip opening 6t is obtained by, for example, a contrast detection method.
  • the camera unit 5 sequentially captures images of the chip 6 while shifting the lens unit 51 upward in units of several tens of microns using a predetermined position below the tip opening 6t as an imaging start point.
  • the imaging end point is a predetermined position that can be determined to be above the tip opening 6t.
  • the focal position where the image in which the line estimated to be the tip opening 6t is captured with the highest contrast is treated as the in-focus position, and at the height position of the lens unit 51 at that time Based on this, the height position of the tip opening 6t is obtained.
  • the height position is compared with a reference position when the chip 6 is normally attached to the head 63, and a correction value is derived from the difference.
  • This correction value is used as a correction value for movement control of the head unit 61 (head 63).
  • the same imaging and correction value derivation is performed for the other heads 63.
  • the head unit 61 is moved to the cell suction position P13 on the sorting unit 13.
  • the cell suspension containing the cells C is spread on the dish 2 of the sorting container 18, and the cells C are held on the dish 2.
  • the camera unit 5 is moved to the dish imaging position P22 below the sorting unit 13, and images the dish 2 in which the cells C are held. Based on the obtained image, a usable cell C is determined, and the coordinates of the holding recess 3 in which the cell C is carried are specified. Then, a suction sequence for setting which cell C is sucked in which order by which head 63 (chip 6) is set. Further, a discharge sequence is set for which head 63 (chip 6) is discharged to which well 41 of the microplate 4.
  • the correction value obtained in the procedure 2 is referred to and the position of the tip 6 to be suctioned first and the holding recess 3 of the dish 2 as the suction target is aligned, and the head 63 is lowered. Is done.
  • the tip opening 6t of the tip 6 enters the culture medium L in the sorting container 18 and faces the holding recess 3 of the target, a suction force is generated in the head 63.
  • the cells C held in the holding recess 3 of the target are sucked into the chip 6.
  • the head 63 is raised.
  • the subsequent chip 6 and the corresponding holding recess 3 are sequentially operated in the same manner as described above, and the cells C are aspirated into the respective chips 6.
  • the head unit 61 is moved to the cell discharge position P14 on the transfer unit 14, that is, onto the microplate 4.
  • the head unit 61 is stopped so that the chip 6 holding the cells C and the well 41 of the microplate 4 serving as a discharge target are aligned in the vertical direction.
  • the head 63 is lowered until the tip opening 6 t of the chip 6 enters the opening of the well 41.
  • an ejection force is generated in the head 63, and the cells C held in the chip 6 are ejected from the tip opening 6t to the well 41.
  • the camera unit 5 is also moved to the microplate imaging position P23 below the transfer unit 14. After the discharge of the cells C to the well 41 is completed, an image of the microplate 4 carrying the cells C is taken by the camera unit 5. Thereby, the carrying state of the cell C in the microplate 4 can be grasped.
  • the head unit 61 is moved to the chip disposal position P15 on the chip disposal unit 15.
  • a chip collection container 19 having an open top surface is disposed in the chip disposal unit 15.
  • the head 63 is lowered with respect to the chip collection container 19, and the chip removal rod (not shown) built in the head 63 is further lowered.
  • the tip 6 is pressed by the lowering of the rod, and the tip 6 is removed from the head 63.
  • the removed chip 6 falls into the chip collection container 19.
  • FIG. 3 shows a spherical imaging object 8 placed on a translucent container 81 (translucent member) as the imaging object.
  • the imaging object 8 corresponds to, for example, the cell C held on the dish 2 or the microplate 4.
  • the tip opening 6t of the chip 6, the dish 2, the bottom surface of the container, and the like are also imaging objects.
  • the servo motor 54 moves in the vertical direction with a predetermined resolution through a power transmission mechanism (not shown) by rotating in the forward or reverse direction. By this movement, the focal position of the lens unit 51 is adjusted to the position of the imaging object 8. As shown by the dotted line in FIG. 3, the translucent container 81 itself or the stage on which the translucent container 81 is placed may be moved up and down by the servo motor 54 instead of the lens unit 51. good.
  • the control unit 7 is composed of, for example, a personal computer or the like, and functionally includes an imaging control unit 71, an image processing unit 72, a storage unit 73, an input unit 74, and a calculation unit 75 by executing a predetermined program. Operate.
  • the imaging control unit 71 controls the operation of the camera unit 5. Specifically, the imaging control unit 71 controls the imaging operation (exposure amount, shutter timing, etc.) of the camera body 52. Further, the imaging control unit 71 gives a control pulse for moving the lens unit 51 in the vertical direction to the servo motor 54 at a predetermined pitch (for example, a pitch of several tens of ⁇ m). Data relating to a predetermined height position of the imaging object 8, that is, a position set in advance as a height position where the imaging object 8 should exist, is given to the imaging control unit 71 from the calculation unit 75. The imaging control unit 71 uses the specified height position as a target position, and gives a movement instruction to the servo motor 54 so that the lens unit 51 moves to the target position. Data relating to the position indicated by the imaging control unit 71 is input to the calculation unit 75. Further, the imaging control unit 71 causes the camera body 52 to capture an image of the imaging target 8 for each movement pitch of the lens unit 51.
  • a predetermined pitch for example
  • the image processing unit 72 performs predetermined image processing on the image data of the imaging target 8 acquired by the camera body 52.
  • the image processing unit 72 performs image processing such as edge detection processing and pattern recognition processing with feature amount extraction on the image data, and performs processing for extracting the shape of the imaging target 8 from the image data. Further, the image processing unit 72 obtains the contrast between pixels for each of the image data acquired for each movement pitch of the lens unit 51, and specifies the image with the highest contrast as the focused image. The height position data of the lens unit 51 when this focused image is acquired is given to the calculation unit 75.
  • the storage unit 73 stores various data. As one of the data, data on the reference height of the lens unit 51 is stored.
  • the reference height is a height position of the body-mounted surface 55 of the lens unit 51, which is determined based on the specified height position of the imaging object 8 and the focal length of the lens unit 51.
  • the reference height is corrected according to the focal length extension amount.
  • the storage unit or 73 stores data of the size change rate as one of the data.
  • the input unit 74 inputs the reference height determined from the focal length, the corrected reference height data obtained by the theoretical value or actual measurement of the focal length extension, and the size change rate data. , Accept from users.
  • the storage unit 73 stores, as a correction value, a difference between the reference height (or the corrected reference height) and the actually measured height obtained by actually imaging the imaging object 8 with the camera unit 5. To do. Further, when the tip opening 6 t of the chip 6, the dish 2, or the bottom surface of the container is an imaging object, correction values for these are also stored in the storage unit 73. These correction values are applied to the movement control of the head 63 (chip 6).
  • the calculation unit 75 obtains data related to the position and / or size of the imaging object 8 based on image information acquired by imaging of the camera unit 5. Specifically, when obtaining data related to the position of the imaging object 8, the calculation unit 75 reads the reference height data value from the storage unit 73. In addition, the calculation unit 75 acquires measured height data of the lens unit 51 when a focused image is acquired from the image processing unit 72. Then, a correction value for the height position of the imaging object 8 is obtained by comparing the reference height data with the actually measured height data. That is, a deviation amount between the theoretical height position of the imaging object 8 and the actual height position is obtained.
  • the calculation unit 75 acquires change information related to the imaging condition change caused by the light-transmitting container 81 being interposed. To do.
  • the change information is, for example, a focus extension amount.
  • the calculation unit 75 reads a reference height data value corrected based on the focus extension amount from the storage unit 73. Then, the calculation unit 75 compares the corrected reference height data with the actually measured height data, and obtains a correction value for the height position of the imaging object 8. As a result, the height position data of the imaging object 8 is corrected based on the change information (focus extension amount).
  • the calculation unit 75 calculates shape data indicating the XYZ dimensions and the like of the imaging object 8 based on the focused image selected by the image processing unit 72.
  • the calculation unit 75 acquires change information regarding a change in the image of the imaging target 8 due to the interposition of the translucent container 81. .
  • the change rate of the size of the imaging object 8 stored in advance in the storage unit 73 is read out. This rate of change is the actual size of the imaging object 8 and the size on the image of the imaging object 8 acquired by the camera unit 5 in the state where the translucent container 81 (translucent member) is interposed. The rate of change between.
  • the calculation unit 75 corrects the shape data with reference to the change rate.
  • FIG. 4 is a diagram for explaining the focal length of the lens unit 51.
  • the focal position of the lens unit 51 which is an objective lens that images a minute object such as the cell C, is determined by the same focal length A from the body-mounted surface 55. Therefore, if a state in which the imaging object 8 is focused is created, the distance between the imaging object 8 and the body surface 55 becomes the confocal distance A. Therefore, it is possible to measure the height position of the imaging object 8 using the height position of the body surface 55 as the reference height.
  • FIG. 5 is a diagram for explaining the focal length extension amount ⁇ .
  • the focal position of the lens unit 51 extends far away. That is, when the translucent member 82 is not interposed, the light beam g1 that has passed through the lens 56 included in the lens unit 51 forms an image at the focal position f1 determined by the lens shape.
  • the optical path is refracted according to the refractive index of the translucent member 82. For this reason, the light ray g2 passing through the translucent member 82 forms an image at a focal position f2 farther than the focal position f1.
  • the distance on the imaging optical axis AX between the focal positions f1 and f2 is the focal extension amount ⁇ (change information).
  • the distance between the imaging target 8 and the body-mounted surface 55 is a distance obtained by adding the focal length extension amount ⁇ to the focal length A. Therefore, if the focal extension amount ⁇ is grasped in advance and the height position obtained by correcting the height position of the body surface 55 with the focal extension amount ⁇ is set as a reference height, even if the translucent member 82 is interposed. Thus, the height position of the imaging object 8 can be accurately measured.
  • FIG. 6 is a diagram for explaining a method of measuring the focal length extension ⁇ when the translucent member 82 is interposed on the imaging optical axis AX. If the translucent member 82 interposed on the imaging optical axis AX is made of one type of material and the refractive index is known, the focal extension amount ⁇ can be calculated based on Snell's law. In this case, the reference height, which is the height position of the body surface 55 when focusing on the imaging object 8, is corrected by adding the focus extension amount ⁇ obtained by the calculation, What is necessary is just to memorize
  • FIG. 6 shows an example in which the translucent member 82 is formed of a composite of different members a, b, and c.
  • the base 1, the sorting container 18 and the culture medium L are interposed on the imaging optical axis AX.
  • the focal extension amount ⁇ even if the refractive indexes of the individual members are known, it is difficult to calculate the focal extension amount ⁇ when these are combined. Therefore, it is desirable to obtain the focal length extension amount ⁇ by actually measuring the focal position f2 using the imaging system S.
  • the lens unit 51 may be made to perform a focusing operation. Specifically, the imaging control unit 71 first moves the lens unit 51 to the in-focus position when the translucent member 82 is not interposed. That is, the imaging control unit 71 moves the lens unit 51 so that the height position of the body-mounted surface 55 with respect to the imaging target 8 becomes the same focal length A. The height position of the body surface 55 after the movement is set as a reference height.
  • the focal length A of the lens unit 51 is generally known from the specifications of the lens unit 51, a movement amount based on the specifications is set.
  • imaging with the translucent member 82 removed on the imaging optical axis AX and causing the image processing unit 72 to select the in-focus position by the contrast detection method allows the body surface 55 to be adjusted to the reference height. You may set it.
  • the imaging control unit 71 moves the imaging object 8 to the camera unit 5 a plurality of times while changing the relative distance from the imaging object 8 with the translucent member 82 interposed on the imaging optical axis AX. Let's take an image.
  • the imaging control unit 71 captures an image of the imaging target 8 at each pitch on the camera body 52 while moving the lens unit 51 at a predetermined pitch in a direction gradually moving away from the imaging target 8.
  • the image processing unit 72 is caused to select a focus position by a contrast detection method.
  • the calculating part 75 derives
  • the calculation unit 75 calculates the height position of the body-mounted surface 55 when the translucent member 82 is not interposed and the body when the focused image is obtained with the translucent member 82 interposed.
  • the focal length extension amount ⁇ is calculated from the difference from the height position of the attached surface 55.
  • FIG. 7 is a diagram illustrating a first application example of the imaging system S.
  • the imaging target is the chip 6 attached to the head 63 and the height position of the tip opening 6t is measured is shown.
  • the imaging control unit 71 controls the servo motor 54 to position the body surface 55 of the lens unit 51 at the reference height H.
  • the value of the reference height H is stored in the storage unit 73.
  • the focus extension amount ⁇ is measured using the imaging system S.
  • the camera unit 5 images the tip opening 6t of the chip 6 through the transparent base 1 at the chip imaging position P21 immediately below the imaging pit 17.
  • the imaging control unit 71 changes at least the tip opening of the chip 6 to the camera unit 5 while changing the relative distance in the vertical direction from the test chip 6 with the base 1 interposed on the imaging optical axis AX.
  • the region including the part 6t is imaged a plurality of times.
  • the focus position of the lens unit 51 is moved away by the interposition of the base 1. Therefore, the imaging control unit 71 causes the camera body 52 to capture the image of the chip 6 at each pitch while moving the lens unit 51 in a direction gradually moving away from the chip 6 at a predetermined pitch.
  • the image processing unit 72 selects a focus position by a contrast detection method from the image of the chip 6 obtained for each pitch.
  • the calculation unit 75 calculates the focal extension amount ⁇ from the difference between the reference height H and the height position of the body surface 55 when the focused image is obtained with the base 1 interposed. To do. In this case, (H ⁇ ) is the corrected reference height position, that is, the theoretical focus height.
  • a minus sign in (H ⁇ ) is a minus sign in the sense that the lens unit 51 is lowered by an amount that the focal position moves away. If a normal size chip is normally attached to the head 63 and the head 63 is lowered by a normal operation amount, the tip opening portion 6t is focused at the corrected reference height position (H- ⁇ ). Become.
  • step S13 the obtained value (H ⁇ ) is stored in the storage unit 73 from the input unit 74 by the user.
  • the calculation unit 75 reads the value of (H ⁇ ) from the storage unit 73 and gives data to the imaging control unit 71 as the movement target position of the lens unit 51.
  • the head 63 with the chip 6 to be measured is lowered to a predetermined height position.
  • the imaging control unit 71 performs servo control based on the movement target position with respect to the servo motor 54, so that the body surface 55 is moved. Move to the position of (H- ⁇ ) which is the theoretical focus height.
  • step S14 the actual height position of the tip opening 6t is actually measured by the contrast detection method. That is, the imaging control unit 71 causes the camera body 52 to capture the image of the chip 6 at each pitch while moving the lens unit 51 in the vertical direction at a predetermined pitch with respect to the position (H ⁇ ). Then, the image processing unit 72 selects a focus position by a contrast detection method. The height position of the body surface 55 at this in-focus position is treated as the actually measured height h corresponding to the actual height position of the tip opening 6t. The calculation unit 75 derives a correction value in the elevation control of the measurement target chip 6 (head 63) from the actually measured height h and the theoretical focus height (H- ⁇ ).
  • the correction value of the measurement target chip 6 is obtained based on the following formula. Thereafter, the operations of steps S13 and S14 are repeated for the chips 6 mounted on the other heads 63, and the correction values for the respective chips 6 are obtained in the same manner.
  • the obtained correction value is stored in the storage unit 73 and referred to when the head 63 is moved up and down.
  • FIG. 8 is a diagram illustrating a second application example of the imaging system S.
  • the imaging object is the dish 2 held in the sorting container 18, and an example in which the height position of the dish 2 is measured is shown.
  • the reference height T is a position where the lens unit 51 is focused with respect to the upper surface of the base 1 on which the sorting container 18 is placed.
  • the imaging control unit 71 controls the servo motor 54 to position the body surface 55 of the lens unit 51 at the reference height T.
  • the value of the reference height T is stored in the storage unit 73.
  • This reference height T is a value that already includes the focal length extension by the base 1.
  • the focus extension amount ⁇ is measured using the imaging system S.
  • the sorting container 18 has an upper surface 18U (first surface) and a back surface 18B (second surface), and has a dish 2 (holding portion) on the upper surface 18U side.
  • the camera unit 5 images the dish 2 from the back surface 18B side of the sorting container 18 through the transparent base 1 at the dish imaging position P22 below the sorting unit 13.
  • the reference height T obtained in step S21 is the height of the upper surface of the base 1, that is, the height of the back surface 18B of the sorting container 18.
  • the dish 2 is arranged at a high position in the sorting container 18 separated from the back surface 18B (bottom wall). For this reason, the design value m of the arrangement height of the dish 2 is acquired in advance, and the reference height T in step S21 is corrected to (T + m).
  • the medium L is poured so that the dish 2 is immersed in the sorting container 18 placed on the base 1. That is, in this application example, the translucent member is the bottom wall of the sorting container 18 and the culture medium L.
  • the imaging control unit 71 controls the camera unit 5 while changing the relative distance in the vertical direction with respect to the sorting container 18 in a state where the base 1, the sorting container 18 and the culture medium L are interposed on the imaging optical axis AX.
  • An area including at least the dish 2 of the sorting container 18 is imaged a plurality of times. That is, the imaging control unit 71 causes the camera body 52 to capture an image of the sorting container 18 at each pitch while moving the lens unit 51 gradually away from or toward the sorting container 18 at a predetermined pitch. .
  • the image processing unit 72 selects the in-focus position of the dish 2 by the contrast detection method from the images of the sorting container 18 obtained for each pitch. Since the dish 2 has a thickness in the vertical direction, an appropriate location is selected as the focal position.
  • the boundary portion 35 of the dish 2 is a ridge line that partitions the holding recesses 3 and can be easily detected as an edge on the image. Therefore, it is desirable to select the boundary portion 35 as the focal position.
  • the calculation unit 75 calculates the focal length extension amount ⁇ from the difference between the reference height (T + m) and the height position of the body surface 55 when the focused image is obtained with the sorting container 18 interposed. Is calculated.
  • (T + m ⁇ ) is the corrected reference height position, that is, the theoretical focus height for the dish 2.
  • step S23 the obtained value (T + m ⁇ ) is stored from the input unit 74 into the storage unit 73 by the user.
  • the calculation unit 75 reads the value of (T + m ⁇ ) from the storage unit 73 and gives data to the imaging control unit 71 as the movement target position of the lens unit 51.
  • the sorting container 18 holding the dish 2 to be measured is placed on the base 1.
  • the imaging control unit 71 performs servo control based on the movement target position with respect to the servo motor 54, and the body surface 55. Is moved to the position of (T + m- ⁇ ) which is the theoretical focus height.
  • step S24 the actual height position of the dish 2 is actually measured by the contrast detection method. That is, the imaging control unit 71 moves the lens unit 51 in the vertical direction at a predetermined pitch with the position (T + m ⁇ ) as a reference, and moves the camera unit 52 in the culture medium L of the sorting container 18 for each pitch. An image of the dish 2 immersed in is taken. Then, the image processing unit 72 selects a focus position by a contrast detection method. The height position of the body surface 55 at this in-focus position is treated as the actually measured height h corresponding to the actual height position of the dish 2.
  • the calculation unit 75 derives a correction value to be used for the elevation control of the head 63 with respect to the dish 2 from the measured height h and the theoretical focus height (T + m ⁇ ).
  • the calculation unit 75 Correction value h ⁇ (T + m ⁇ ) Based on the above formula, a correction value for the height position of the dish 2 is obtained. The obtained correction value is stored in the storage unit 73.
  • the dish 2 is a thin plate-like member having a predetermined vertical ⁇ horizontal size. For this reason, the dish 2 may be inclined or warped, or there may be a variation in thickness in the plate surface direction. Accordingly, there is a case where an appropriate correction value cannot be obtained for all the holding recesses 3 only by performing the actual measurement in step S24 for the position of one holding recess 3. In this case, it is desirable that not only the boundary portion 35 surrounding one holding recess 3 be the focal position, but the boundary portions 35 of the plurality of holding recesses 3 be the focal position.
  • step S24 is performed on the holding recesses 3 at the four corners of the dish 2 and the boundary portions 35 of the holding recesses 3 at the center, and the correction values are obtained.
  • a tendency such as the inclination of the dish 2 can be acquired from five correction values obtained by actual measurement, and the correction value can be obtained by complement calculation.
  • FIG. 9 is a diagram illustrating a third application example of the imaging system S.
  • the imaging target is a cell C held in a translucent container 81 such as a petri dish, and the height position of the cell C is measured.
  • the lens unit 51 is aligned with the upper surface of the translucent member 82 (which may be the base 1 of the cell transfer device S0) on which the translucent container 81 is placed.
  • the in-focus position is defined as a reference height T.
  • the imaging control unit 71 controls the servo motor 54 to position the body surface 55 of the lens unit 51 at the reference height T.
  • the value of the reference height T is stored in the storage unit 73.
  • the reference height T is a value that already includes the focal length extension amount by the translucent member 82.
  • the translucent container 81 has an open top surface and includes a bottom wall 81B.
  • the camera unit 5 images the cell C through the bottom wall 81 ⁇ / b> B of the translucent container 81 through the translucent member 82 at the dish imaging position P ⁇ b> 22 below the sorting unit 13.
  • the reference height T obtained in step S31 is the height of the upper surface of the translucent member 82, that is, the height of the lower surface 812 of the bottom wall of the translucent container 81.
  • the cell C contacts the bottom wall upper surface 811 of the bottom wall 81B (holding portion), that is, the container bottom surface.
  • the thickness of the bottom wall 81B that is, the height b of the bottom wall upper surface 811 is acquired by a design value or actual measurement, and the reference height T in step S31 is corrected to (T + b).
  • the imaging control unit 71 When measuring the focal length extension ⁇ , the imaging control unit 71 is relative to the translucent container 81 in the vertical direction with the translucent container 81 and the translucent member 82 interposed on the imaging optical axis AX. While changing the distance, the camera unit 5 is caused to image the region including the bottom wall 81B of the translucent container 81 a plurality of times. That is, the imaging control unit 71 moves the lens unit 51 at a predetermined pitch in a direction in which the lens unit 51 gradually moves away from or approaches the translucent container 81, while the camera body 52 moves the translucent container 81 at each pitch. Take an image.
  • the image processing unit 72 selects the in-focus position of the bottom wall upper surface 811 by the contrast detection method from the image of the translucent container 81 obtained for each pitch.
  • the calculating unit 75 calculates the focal extension amount ⁇ from the difference between the reference height (T + b) and the height position of the body surface 55 when the focused image of the bottom wall upper surface 811 is obtained.
  • (T + b ⁇ ) is the corrected reference height position, that is, the theoretical focus height of the bottom wall upper surface 811 where the cell C is in contact.
  • step S33 the obtained value (T + b ⁇ ) is stored from the input unit 74 into the storage unit 73 by the user.
  • the calculation unit 75 reads the value of (T + b ⁇ ) from the storage unit 73 and gives data to the imaging control unit 71 as the movement target position of the lens unit 51. Then, the translucent container 81 containing the cell C to be measured is placed on the translucent member 82.
  • the imaging control unit 71 performs servo control on the servo motor 54 based on the movement target position, and The abutment surface 55 is moved to the position of (T + b ⁇ ) which is the theoretical focus height.
  • step S34 the height position of each cell C accommodated in the translucent container 81 is measured by a contrast detection system. That is, the imaging control unit 71 moves the lens unit 51 upward at a predetermined pitch with the position (T + b ⁇ ) as a reference, and causes the camera body 52 to image the cell C to be imaged at each pitch. To image. Then, the image processing unit 72 selects a focus position by a contrast detection method. The height position of the body surface 55 at this in-focus position is treated as the height h of the cell C to be imaged.
  • the calculation unit 75 derives a correction value for the height position of the cell C from the measured height h and the theoretical focus height (T + b ⁇ ). That is, a correction value indicating how much the cell C is positioned above the bottom wall upper surface 811 is calculated.
  • the calculation unit 75 Correction value h ⁇ (T + b ⁇ ) Based on this equation, a correction value for the height position of the cell C is obtained. The obtained correction value is stored in the storage unit 73.
  • the height positions of other cells C housed in the translucent container 81 are similarly determined. These correction values are used when the cell C is picked from the translucent container 81.
  • FIG. 10 to 12 are diagrams for explaining a fourth application example of the imaging system S.
  • FIG. The fourth application example shows an example in which the size of the imaging target can be correctly grasped even when the imaging target is imaged through a translucent member having an optical effect that deforms the optical image. That is, in the fourth application example, an example in which the calculation unit 75 obtains data related to the size of the imaging target based on the image information acquired by the camera unit 5 is shown.
  • FIG. 10 is a diagram showing deformation of the target object on the image when the target objects 8A and 8B are imaged through the translucent member having the optical effect.
  • the translucent member is formed of a hemispherical transparent bending member 83
  • the transparent bending member 83 is, for example, a hemispherical bottom wall included in the well 41, and an upper surface (first surface) of the imaging object 8 ⁇ / b> A and 8 ⁇ / b> B is held on the upper surface (first surface) and a lower surface (second surface) is captured from the camera unit 5. It is a surface.
  • the imaging objects 8A and 8B are in contact with the upper surface side of the transparent bending member 83.
  • the imaging object 8A is at the deepest portion of the transparent bending member 83, and the imaging object 8B is the transparent bending member 83. It shall be in contact with each side.
  • the transparent bending member 83 may have a shape such as a cone or a pyramid.
  • the transparent bending member 83 Since the transparent bending member 83 has a convex hemispherical shape on the lower side, it exhibits the effect of a lens that enlarges the optical image. For this reason, when the imaging objects 8A and 8B are imaged from the lower surface side of the transparent bending member 83, the imaging objects 8A and 8B are imaged as imaging objects 80A and 80B whose sizes are enlarged.
  • the size enlargement mode may be different at the positions where the imaging objects 8A and 8B are in contact with the transparent bending member 83. For example, since the imaging object 8A located at the deepest portion of the transparent bending member 83 is located at the center of the surface having the lens effect, it changes in isotropic size but has the lens effect. The imaging object 8B to be in the vicinity of the edge of the surface undergoes anisotropic size change.
  • the imaging objects 8A and 8B are imaged with the transparent bending member 83 having the lens effect interposed, the actual imaging objects 8A and 8B have the imaging objects 80A and 80B that have changed in size on the image. It will be imaged. However, if the mode of size change, that is, the rate of change of size (change information) is measured and acquired in advance, the image data of the imaging objects 80A and 80B obtained by imaging is corrected based on the change information. By doing so, it is possible to acquire data of the correct size as the imaging objects 8A and 8B.
  • the mode of size change that is, the rate of change of size (change information)
  • FIG. 11 is a diagram showing a change in size on the image for each of the holding positions k1, k2, and k3 when the imaging object 8 is imaged through the transparent bending member 83.
  • the size change mode may vary depending on the holding position of the imaging object 8 on the transparent bending member 83. It is desirable to measure the rate of size change using different values. That is, the imaging object 8 is arranged at different holding positions k1, k2, and k3 on the upper surface side of the transparent bending member 83, and these are imaged from the lower surface side of the transparent bending member 83, and the imaging object 8k1 at each position. It is desirable to acquire 8k2 and 8k3 and grasp what size change has occurred.
  • FIG. 12 is a diagram for explaining a method for acquiring the rate of change in the size of the imaging object 8.
  • the imaging control unit 71 causes the transparent bending member 83 to hold the test object 8C having a known size on the imaging optical axis, and sets a predetermined distance from the transparent bending member 83.
  • the camera unit 5 is caused to image at least an area where the test object 8C of the transparent bending member 83 is held.
  • the sizes Rx and Ry of the test object 8C in the xy direction are known.
  • the sizes rx and ry in the xy direction of the test object 8CA imaged with the transparent bending member 83 interposed are deformed with respect to Rx and Ry according to the refractive index and the surface shape of the transparent bending member 83. .
  • FIG. 12 shows an example in which the size change rate at the holding position k2 shown in FIG. 11 is obtained.
  • the holding positions k2 and k3 are further set to other than k1 to k3 as necessary.
  • the calculation unit 75 obtains the size change rate.
  • the obtained size change rate is stored in the storage unit 73. These size change rates are applied to size correction according to the holding position of the imaging object 8 when obtaining the size of the imaging object 8 held by the transparent bending member 83.
  • the optical path actually has a lens effect by comparing the size of the test object 8CA based on the image obtained by the imaging with the size of the known test object 8C ( It is possible to grasp how the size has changed by passing through the transparent bending member 83). Therefore, the size change rate can be derived quickly and accurately, and since the imaging system S is used, no extra cost is required for obtaining the size change rate. Further, since the size change rate is derived for each holding position of the test object 8C, it is possible to correct the size data corresponding to each holding position.
  • the calculation unit 75 calculates the focal length extension amount ⁇ and the size change rate.
  • the change information as described above is acquired to correct the data regarding the position and / or size of the imaging object. Therefore, even if the optical path is refracted by the light transmissive member and the focus is extended (changes in imaging conditions) or changes in the image of the imaging object (size changes), the changes are canceled out by correction.
  • the position and / or size can be determined accurately.
  • the focal extension amount ⁇ is obtained as the change information
  • the size change rate is obtained. These may be obtained in combination.
  • the size change rate shown in the fourth application example may be obtained.
  • An imaging system includes an imaging device that images an imaging object on an imaging optical axis, and the position of the imaging object and / or the image information acquired by the imaging device through the imaging.
  • a calculation unit that obtains data relating to the size, and the calculation unit includes a change in imaging condition due to the presence of the translucent member when the translucent member is interposed on the imaging optical axis in the imaging. It is characterized in that change information relating to a change in the image of the imaging object is acquired and the data is corrected based on the change information.
  • the calculation unit acquires the change information and corrects data regarding the position and / or size of the imaging object. Therefore, even if the optical path is refracted by the light-transmitting member and the imaging condition change or the change in the image of the imaging target occurs, the change can be canceled and the data can be accurately obtained. it can.
  • the change information includes the focal position of the imaging apparatus with respect to the imaging object when the light transmissive member is not interposed, and the imaging object when the light transmissive member is interposed. It is desirable that the focal length extension be determined by the focal position of the imaging device.
  • the focal length is extended by refraction when passing through the translucent member.
  • the data can be accurately corrected by treating the focal length extension amount as the change information.
  • the focus extension amount may be actually measured using the imaging system or another imaging device, or may be calculated based on physical characteristics such as the refractive index of the translucent member.
  • the change information is between an actual size of the imaging object and a size on the image of the imaging object acquired by the imaging device in a state where the light-transmissive member is interposed.
  • the rate of change is desirable.
  • the optical image of the imaging object that has passed through the translucent member is deformed and observed with respect to the actual shape.
  • the data can be accurately corrected by treating the change rate of the size as the change information.
  • the rate of change may be measured using the imaging system or another imaging device, or calculated based on the curved surface shape of the translucent member.
  • the imaging system further includes an imaging control unit that controls the operation of the imaging device, and the imaging control unit communicates with the imaging object in a state where the translucent member is interposed on the imaging optical axis. While changing the relative distance, the imaging device causes the imaging object to be imaged a plurality of times, and the calculation unit is configured to increase the focus extension amount with respect to the imaging object based on image information obtained by the imaging of the plurality of times. It is desirable to derive
  • the focus extension amount can be acquired by actual measurement using the imaging device included in the imaging system. Therefore, the focal length extension amount can be obtained quickly and accurately, and no extra cost is required for obtaining the focal length extension amount.
  • the imaging system further includes an imaging control unit that controls the operation of the imaging device, the imaging target is a tip opening of a chip that sucks and discharges an object, and the imaging device is the translucent The tip opening is imaged through a member, and the imaging control unit changes a relative distance with the chip in a state where the translucent member is interposed on the imaging optical axis,
  • the imaging device causes the chip to image a region including at least the tip opening part a plurality of times, and the calculation unit calculates the focal length extension with respect to the tip opening part based on image information obtained by the plurality of times of imaging. It is desirable to derive
  • an in-focus image of the tip opening of the chip when the translucent member is interposed is identified from the image information obtained by the plurality of imaging operations, and the in-focus image
  • the focal length extension amount can be easily derived by comparing the obtained focal length with the focal length when the translucent member is not interposed.
  • the imaging system further includes an imaging control unit that controls the operation of the imaging device, and the translucent member has a first surface and a second surface opposite to the first surface, and holds the imaging object.
  • a translucent container having a portion on the first surface side the imaging device images the imaging object from the second surface side of the container, and the imaging control unit While changing the relative distance from the container on the imaging optical axis, the imaging device causes the region including at least the holding portion of the container to be imaged a plurality of times, and the arithmetic unit is obtained by the plurality of times of imaging. It is desirable to derive the focal length extension for the holding unit based on image information.
  • the in-focus image of the holding unit that has passed through the container as the translucent member is specified from the image information obtained by the plurality of times of imaging, and the in-focus image is By comparing the obtained focal length with the focal length when the container is not interposed, the focal length extension amount can be easily derived.
  • the translucent member includes, in addition to the container, a translucent base on which the container is placed, and the imaging device images the container through the base. desirable.
  • the combined focal length extension amount due to the presence of the container and the base on the imaging optical axis can be easily derived by actual measurement using the imaging device.
  • the holding unit is supported at a position separated from the bottom wall of the container, and the translucent member is poured into the container so that the holding unit is immersed as the translucent member.
  • the liquid may be further included.
  • the container and the light-transmitting liquid, or the container, the base, and the light-transmitting liquid are combined on the imaging optical axis.
  • the focal length extension can be easily derived by actual measurement using the imaging device.
  • the imaging system further includes an imaging control unit that controls the operation of the imaging device, and the translucent member has a first surface and a second surface opposite to the first surface, and holds the imaging object.
  • a light-transmitting container having an optical effect that deforms a light image
  • the imaging device is configured to capture the imaging object from the second surface side of the container.
  • the imaging control unit is configured to place a predetermined distance on the imaging optical axis with a predetermined distance from the container in which the test object having a known size is held by the holding unit.
  • the region including at least the holding portion of the container is imaged, and the calculation unit compares the size of the test object based on the image obtained by the imaging with the known size, It is desirable to derive the rate of change.
  • the optical path actually passes through the container having the optical effect, You can see how the size has changed. Therefore, the rate of change can be derived quickly and accurately, and no extra cost is required for obtaining the rate of change.
  • the imaging control unit causes the imaging device to perform the imaging by changing the holding position of the test object in the holding unit, and the calculation unit derives the change rate for each holding position. It is desirable to do.
  • the rate of change may differ depending on the holding position. According to the above imaging system, since the rate of change is derived for each holding position, The correction according to each holding position can be performed.
  • the imaging object or the object is a cell or a cell aggregate.
  • the position and / or size of the imaging object can be accurately obtained even when the imaging object is imaged with the translucent member interposed on the imaging optical axis. It is possible to provide an imaging system capable of

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biotechnology (AREA)
  • Biomedical Technology (AREA)
  • Immunology (AREA)
  • Medicinal Chemistry (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Pathology (AREA)
  • Organic Chemistry (AREA)
  • Sustainable Development (AREA)
  • Microbiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Hematology (AREA)
  • Molecular Biology (AREA)
  • Urology & Nephrology (AREA)
  • Food Science & Technology (AREA)
  • Genetics & Genomics (AREA)
  • Signal Processing (AREA)
  • Microscoopes, Condenser (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

撮像システムは、撮像光軸上の撮像対象物を撮像する撮像装置と、前記撮像により前記撮像装置が取得した画像情報に基づいて、前記撮像対象物の位置及び／又はサイズに関するデータを求める演算部と、を備える。前記演算部は、前記撮像において前記撮像光軸上に透光性部材が介在する場合に、前記透光性部材の介在による前記撮像の条件変化及び／又は前記撮像対象物の画像上の変化に関する変化情報を取得し、前記データを前記変化情報に基づいて補正する。

Description

撮像システム
　本発明は、撮像光軸上に透光性部材を介在した状態で撮像対象物を撮像する撮像システムに関する。
　例えば医療や生物学的な研究の用途では、細胞（若しくは細胞凝集塊）の撮像が必要となる場合がある。例えば、細胞が多数の収容凹部を有するディッシュ上に撒かれ、所望の細胞を選別してマイクロプレートに移載する作業が行われる。この選別のために、細胞を担持したディッシュが撮像装置によって撮像され、例えば画像処理技術によって使用可能な細胞と、使用不可の細胞及び夾雑物とが区分される。
　マイクロプレートへの細胞の移載には、細胞の吸引及び吐出を行う先端開口部を備えたチップが用いられる。このチップは、上下方向及び水平方向に移動可能であって負圧機構に接続されたヘッドの先端に取り付けられる。前記吸引及び吐出を的確に行うため、前記先端開口部の位置を正確に把握する必要がある。特許文献１には、撮像装置によってノズル（前記チップに相当）を撮像すると共に、オートフォーカス機構によってノズル先端の位置を求める技術が開示されている。
　上述の細胞の撮像又はチップの撮像において、撮像装置の撮像光軸上に透光性部材が介在せざるを得ない場合がある。例えば、透明なディッシュを保持する透明容器の底面側から前記ディッシュに担持された細胞を撮像する場合、前記透明容器及びディッシュを通して前記細胞の画像が取得されることになる。前記透明容器が透明な基台上に載置されている場合には、さらに前記基台を通して前記細胞の画像が取得される。前記チップの先端開口部の撮像においても、前記基台を通しての撮像が必要となる場合がある。これらの場合、前記容器や前記基台などの透光性部材の介在によって光路の屈折が生じ、前記細胞の位置やサイズ、或いは前記チップの先端開口部の位置が正確に求められなくなるという問題があった。
特許第４５７８８１４号公報
　本発明の目的は、撮像光軸上に透光性部材を介在した状態で撮像対象物を撮像する場合であっても、前記撮像対象物の位置及び／又はサイズを的確に求めることができる撮像システムを提供することにある。
　本発明の一局面に係る撮像システムは、撮像光軸上の撮像対象物を撮像する撮像装置と、前記撮像により前記撮像装置が取得した画像情報に基づいて、前記撮像対象物の位置及び／又はサイズに関するデータを求める演算部と、を備え、前記演算部は、前記撮像において前記撮像光軸上に透光性部材が介在する場合に、前記透光性部材の介在による前記撮像の条件変化及び／又は前記撮像対象物の画像上の変化に関する変化情報を取得し、前記データを前記変化情報に基づいて補正することを特徴とする。
図１は、細胞移動装置の構成例を概略的に示す図である。 図２（Ａ）は、前記細胞移動装置に使用される選別容器が備えるディッシュの上面図、図２（Ｂ）は、図２（Ａ）のＩＩＢ－ＩＩＢ線断面図である。 図３は、本発明の実施形態に係る撮像システムのブロック図である。 図４は、レンズ部の同焦点距離を説明するための図である。 図５は、焦点延長量を説明するための図である。 図６は、透光性部材が撮像光軸上に介在する場合の焦点延長量の測定方法を説明するための図である。 図７は、前記撮像システムの第１適用例を示す図である。 図８は、前記撮像システムの第２適用例を示す図である。 図９は、前記撮像システムの第３適用例を示す図である。 図１０は、前記撮像システムの第４適用例であって、曲面を有する透光性部材を通して撮像対象物を撮像した場合の、画像上における対象物の変形を示す図である。 図１１は、曲面を有する透光性部材を通して撮像対象物を撮像した場合の、画像上における対象物の変形を、保持位置毎に示す図である。 図１２は、撮像対象物のサイズの変化率を説明するための図である。
　以下、本発明の実施形態を、図面に基づいて詳細に説明する。本発明に係る撮像システムの撮像対象物は特に制限はないが、特に生体由来の細胞又は細胞凝集塊（スフェロイド；ｓｐｈｅｒｏｉｄ）を好ましい撮像対象物として例示することができる。生体由来の細胞凝集塊は、細胞が数個～数十万個凝集して形成されている。そのため、細胞凝集塊の大きさは様々である。生きた細胞が形成する細胞凝集塊は略球形であるが、細胞凝集塊を構成する細胞の一部が変質したり、死細胞となっていたりすると、細胞凝集塊の形状は歪になる、あるいは密度が不均一となる場合がある。バイオ関連技術や医薬の分野における試験において、選別ステージ上のディッシュに担持された種々の形状を呈する複数の細胞凝集塊の中から、使用可能な細胞凝集塊をチップでピッキッングし、これをマイクロプレートまで移動する細胞移動装置が用いられる。マイクロプレートでは、細胞凝集塊に対して、観察、薬効確認、検査、培養等の各種の処理が実行される。以下の説明では、上記のような細胞凝集塊を含む意味で、簡略的に細胞Ｃと表現する。
　上記のような細胞移動装置において、前記チップや前記ディッシュ、及び細胞Ｃの高さ位置、或いは細胞Ｃの形状等を画像情報に基づいて把握するため、撮像システムが適用される。以下、細胞移動装置の各所に本発明に係る撮像システムが適用される例について説明する。
　［細胞移動装置の全体構成］
　先ず、図１に基づいて、細胞移動装置Ｓ０の全体構成を概略的に説明する。細胞移動装置Ｓ０は、水平な載置面（上面）を有する基台１（透光性部材）と、基台１の上面に組み付けられる細胞移動ライン１０と、基台１の下方に配置されるカメラユニット５（撮像装置）と、基台１の上方に配置され細胞Ｃの吸引及び吐出を行うチップ６が装着されるヘッドユニット６１と、を含む。なお、図１には複数のカメラユニット５及びヘッドユニット６１が描かれているが、これらは各ユニット５、６１が移動する位置Ｐ１１～Ｐ１５、Ｐ２１～Ｐ２３を示すもので、実際は各々１つのカメラユニット５及びヘッドユニット６１が細胞移動装置Ｓ０に備えられている。勿論、各々複数台のユニット５、６１を具備する細胞移動装置Ｓ０としても良い。
　基台１は、所定の剛性を有し、その一部又は全部が透光性の材料で形成される長方形の平板である。好ましい基台１は、ガラスプレートである。基台１をガラスプレートのような透光性材料によって形成することで、基台１の下方に配置されたカメラユニット５にて、基台１の上面に配置された細胞移動ライン１０の各作業部を、当該基台１を通して撮像させることが可能となる。
　細胞移動ライン１０は、一の容器から細胞Ｃをチップ６で吸引し、これを他の容器まで運搬すると共に当該チップ６から細胞Ｃを吐出させる一連の細胞移動工程の実施に必要な複数の作業部を備える。これらの作業部は、基台１に対して左右方向に並べられて組み付けられている。細胞移動ライン１０は、前記複数の作業部として、チップストック部１１、チップ較正部１２、選別部１３、移載部１４及びチップ廃棄部１５を備える。
　カメラユニット５は、レンズ部５１及びカメラ本体５２を備える。レンズ部５１は、光学顕微鏡に用いられている対物レンズであり、所定倍率の光像を結像させるレンズ群と、このレンズ群を収容するレンズ鏡筒とを含む。カメラ本体５２は、ＣＣＤイメージセンサのような撮像素子を備える。レンズ部５１は、前記撮像素子の受光面に撮像対象物の光像を結像させる。カメラユニット５は、基台１と平行に左右方向に延びるガイドレール５３に沿って、基台１の下方において左右方向に移動可能である。また、レンズ部５１は、合焦動作のために上下方向に移動可能である。
　ヘッドユニット６１は、ヘッド本体６２と、ヘッド本体６２に保持され該ヘッド本体６２に対して上下方向に進退可能な複数本のヘッド６３とを備える。図１では一列に並んだ３本のヘッド６３を例示しているが、ヘッド６３の本数や配列には特に制限はない。ヘッドユニット６１は、基台１と平行に左右方向に延びるガイドレール６４に沿って、基台１の上方において左右方向（Ｘ方向）に移動可能である。なお、図１では図示していないが、ヘッドユニット６１は、図１の紙面と直交する方向（Ｙ方向）にも移動可能である。
　ヘッド６３は、下端が開口した中空のロッドからなる。チップ６は、ヘッド６３の下端に装着されている。チップ６は、細胞Ｃ（物体）を吸引及び吐出する先端開口部６ｔを備えた先細りのチューブ状の部材である。ヘッド６３の中空部内にはピストン機構が搭載されており、該ピストン機構の動作によって下端開口に吸引力及び吐出力が発生可能である。ヘッド本体６２には、前記ピストン機構の動力部と、ヘッド６３を上下方向に移動させる昇降機構及びその動力部とが内蔵されている。ヘッド６３が吸引力及び吐出力を発生すると、ヘッド６３に装着されたチップ６の先端開口部６ｔにも吸引力及び吐出力が発生する。これにより、チップ６は先端開口部６ｔを通して細胞Ｃの吸引及び吐出を行う。
　［細胞移動ラインの詳細］
　続いて、細胞移動ライン１０の各作業部について説明する。チップストック部１１は、未使用のチップ６を多数本保管する部位である。チップストック部１１には、立設状態でマトリクス状に整列されたチップ６を保持するストック容器１６が配置されている。チップ６は、その上端開口が上方に配向する状態で、ストック容器１６に保持されている。つまり、上下方向に移動するヘッド６３の下端に対して装着が容易に行い得る状態で、チップ６はストック容器１６に保持されている。
　チップ較正部１２は、ヘッド６３に装着されたチップ６の先端開口部６ｔの位置（ＸＹＺ座標）を求める部位である。チップ較正部１２には、ヘッド６３に装着されたチップ６をカメラユニット５で撮像するための撮像ピット１７が設けられている。チップ６の画像及び撮像時における焦点位置情報に基づき、チップ６の先端開口部６ｔのＸＹＺ座標位置が求められる。
　このＸＹＺ座標位置は、各チップ６の先端開口部６ｔの位置を正確に認識し、ヘッドユニット６１のＸＹ方向の移動量、並びに細胞Ｃの吸引及び吐出時等におけるヘッド６３のＺ方向の移動量を正確に把握するために求められる。例えば、チップ６のヘッド６３への取り付け誤差、チップ６自体の寸法誤差、並びにヘッド６３の駆動系の誤差により、先端開口部６ｔの高さ位置は変動する。チップ較正部１２におけるチップ６の撮像により、前記誤差に由来する先端開口部６ｔの基準位置からのズレが認識され、このズレに応じた補正値が導出される。
　選別部１３は、移動対象とする細胞Ｃを選別するための部位である。選別部１３には、選別容器１８（透光性の容器）が配置されている。選別容器１８は、細胞Ｃの移動元となる容器であり、培地Ｌを貯留し、細胞選別用のディッシュ２（保持部）を、培地Ｌに浸漬される状態で保持している。ディッシュ２は、細胞Ｃを保持するプレートであり、細胞Ｃを個別に保持することが可能な保持凹部３を上面に複数有している。培地Ｌは、細胞Ｃの性状を劣化させないものであれば特に限定されず、細胞Ｃの種類に応じて適宜選定することができる。
　選別容器１８は、円柱形又は角柱型の形状を備え、その上面側に矩形の上面開口１８Ｈを備えている。上面開口１８Ｈは、細胞Ｃの投入、並びに、選別された細胞Ｃをヘッド６３に装着されたチップ６でピックアップするための開口である。ディッシュ２は、上面開口１８Ｈの下方に配置されている。選別容器１８及びディッシュ２は、透光性の樹脂材料やガラスで作製されたものが用いられる。これは、選別容器１８の下方に配置されたカメラユニット５により、ディッシュ２に担持された細胞Ｃを観察可能とするためである。
　選別容器１８には、図略の分注チップから、細胞培養液に分散された状態の複数の細胞Ｃが注入される。前記分注チップは、多量の細胞Ｃを含む細胞培養液を貯留するチューブから、細胞Ｃと共に細胞培養液を吸引し、当該分注チップ内に保持する。その後、前記分注チップは、選別容器１８の上空位置へ移動され、上面開口１８Ｈを通してディッシュ２の上面にアクセスする。そして、前記分注チップの先端開口が選別容器１８の培地Ｌに浸漬された状態で、チップ内に保持された細胞Ｃが細胞培養液と共に吐出される。細胞移動装置Ｓ０は、上記チューブが配置される細胞ストック部及び前記分注チップを複数本保管する分注チップストック部を備えるが、これらの記載は図１では省いている。
　図２（Ａ）は、ディッシュ２の上面図、図２（Ｂ）図２（Ａ）のＩＩＢ－ＩＩＢ線断面図である。ディッシュ２は、ディッシュ本体２０と、該ディッシュ本体２０に形成された上述の保持凹部３とを備えている。ディッシュ本体２０は、所定の厚みを有する平板状の部材からなり、上面２１と下面２２とを有する。保持凹部３は、上面２１の側に細胞Ｃの受け入れ開口（開口部３１）を有する。ディッシュ２は、選別容器１８内の培地Ｌ中に浸漬される。詳しくは、ディッシュ本体２０の上面２１が選別容器１８内の培地Ｌ中に浸漬される一方、下面２２が選別容器１８の底板に対して間隔を置いた状態で、選別容器１８内で保持される（図１参照）。
　保持凹部３の各々は、開口部３１、底部３２、筒状の壁面３３、孔部３４及び境界部３５を含む。本実施形態では、上面視で正方形の保持凹部３がマトリクス状に配列されている例を示している。開口部３１は、上面２１に設けられた正方形の開口であり、選別用のチップ６の先端開口部６ｔの進入を許容するサイズを有する。底部３２は、ディッシュ本体２０の内部であって、下面２２の近くに位置している。底部３２は、中心（前記正方形の中心）に向けて緩く下り傾斜する傾斜面である。筒状の壁面３３は、開口部３１から底部３２に向けて鉛直下方に延びる壁面である。孔部３４は、底部３２の前記中心と下面２２との間を鉛直に貫通する貫通孔である。境界部３５は、上面２１に位置し、各保持凹部３の開口縁となる部分であって、保持凹部３同士を区画する稜線である。
　各保持凹部３の底部３２及び筒状の壁面３３は、細胞Ｃを収容する収容空間３Ｈを区画している。収容空間３Ｈには、一般的には１個の細胞Ｃが収容されることが企図されている。孔部３４は、所望のサイズ以外の小さな細胞や夾雑物を収容空間３Ｈから逃がすために設けられている。従って、孔部３４のサイズは、所望のサイズの細胞Ｃは通過できず、所望のサイズ以外の小さな細胞や夾雑物を通過させるサイズに選ばれている。これにより、選別対象となる細胞Ｃは保持凹部３にトラップされる一方で、夾雑物等は孔部３４から選別容器１８の底板に落下する。
　保持凹部３に保持された細胞Ｃは、チップ６によって吸引される。この吸引の際、ヘッド６３の下降によってチップ６の先端開口部６ｔが保持凹部３内に進入すると共に、細胞Ｃに可及的に接近される。その後、先端開口部６ｔに吸引力が発生され、細胞Ｃがチップ６内に吸引される。このようなチップ６の動作が行われるため、ディッシュ２（保持凹部３）の高さ位置を正確に認識する必要がある。前記高さ位置の認識が不十分であると、先端開口部６ｔが保持凹部３の底部３２に衝突したり、細胞Ｃへの接近が不十分で吸引に失敗したりする不具合が生じるからである。ディッシュ２は、設計値に従った高さ位置において選別容器１８にて保持されるが、製造誤差等によって前記高さ位置にズレが生じる場合がある。本実施形態では、選別部１３において選別容器１８がカメラユニット５により撮像され、取得された画像情報によりディッシュ２の高さ位置の基準位置からのズレが認識され、このズレに応じた補正値が導出される。
　移載部１４は、選別部１３において選別された細胞Ｃを移載するための部位である。移載部１４には、マイクロプレート４が配置されている。マイクロプレート４は、細胞Ｃの移動先となる容器であり、細胞Ｃを受け入れる複数のウェル４１を有する。このウェル４１に、細胞Ｃを吸引したチップ６の先端開口部６ｔが進入し、細胞Ｃが吐出される。マイクロプレート４もまた、透光性の樹脂材料やガラスで作製されたものが用いられる。これは、マイクロプレート４の下方に配置されたカメラユニット５により、マイクロプレート４に担持された細胞Ｃを観察可能とするためである。
　ウェル４１にもチップ６の先端開口部６ｔが進入するため、ウェル４１の底面の高さ位置を正確に認識しておくことが望ましい。また、マイクロプレート４に代えてシャーレのような容器が移載部１４に配置される場合もあるが、この場合にも前記容器の底面の高さ位置を正確に認識しておくことが望ましい。これら高さ位置の認識のため、カメラユニット５にてマイクロプレート４又は前記シャーレを撮像し、取得された画像情報により前記底面の高さ位置の基準位置からのズレを認識し、このズレに応じた補正値を導出しておくことが望ましい。
　チップ廃棄部１５は、上述の吸引及び吐出動作を終えた使用後のチップ６がヘッド６３から回収される部位である。チップ廃棄部１５は、使用後のチップ６を収容するチップ回収容器１９を含む。前記廃棄の際、使用済のチップ６を装備したヘッドユニット６１がチップ回収容器１９の開口部上に移動され、ヘッド６３からチップ６の取り外し動作が実行される。この取り外し動作により、チップ６は、チップ回収容器１９内に落下する。
　［細胞移動動作の説明］
　次に、細胞移動装置Ｓ０による細胞移動動作について説明する。細胞移動動作の基本的な手順は、ヘッド６３へのチップ６の装着（手順１）、チップ６の先端開口部６ｔの位置較正（手順２）、選別容器１８（ディッシュ２）からの細胞Ｃのピッキング（手順３）、マイクロプレート４への細胞Ｃの移載（手順４）、チップ６の廃棄（手順５）である。これら手順を順次実行するため、ヘッドユニット６１はガイドレール６４に沿って、細胞移動ライン１０の各作業部の上空を左から右へ移動される。
　カメラユニット５は、上記手順２の際に、先端開口部６ｔの位置を求めるためにヘッド６３に装着されたチップ６を撮像し、上記手順３の前に、使用可能な細胞Ｃの選定のためにディッシュ２を撮像し、上記手順４の後に、移載された細胞Ｃの確認のためにマイクロプレート４を撮像する。この他、カメラユニット５は、手順１～５の実行前に、ディッシュ２の高さ位置の認識のため、及び上述のマイクロプレート４又は前記シャーレの底面の高さ位置の認識のため、これらを撮像する。
　以下、各手順１～５を説明する。上記手順１では、ヘッドユニット６１はチップストック部１１上のチップ装着位置Ｐ１１に移動される。そして、図１に点線で示すように、ストック容器１６に保持されているチップ６の一つに位置合わせして一つのヘッド６３が下降され、当該ヘッド６３の下端にチップ６の上端部分が嵌合される。しかる後、ヘッド６３が上昇される。他のヘッド６３についても、同様にしてチップ６が装着される。
　続く手順２の実行のため、ヘッドユニット６１はチップ較正部１２上のチップ較正位置Ｐ１２に移動される。この際、チップ６が新たに装着された一つのヘッド６３が撮像ピット１７の鉛直軸上で位置合わせされた位置で、ヘッドユニット６１は停止される。一方、カメラユニット５も、チップ較正部１２の撮像ピット１７直下のチップ撮像位置Ｐ２１へ移動される。そして、カメラユニット５により撮像ピット１７上に位置するチップ６が撮像される。
　先端開口部６ｔの位置は、例えばコントラスト検出方式により求められる。具体的には、先端開口部６ｔの下方の所定位置を撮像始点として、レンズ部５１を数十ミクロン単位で上方にシフトさせつつ、カメラユニット５にチップ６の画像を順次撮像させる。撮像終点は、先端開口部６ｔの上方であると確定できる所定位置である。得られた画像の中で、先端開口部６ｔと推定されるラインが最も高いコントラストで写っている画像が撮像された焦点位置を合焦位置と扱い、そのときのレンズ部５１の高さ位置に基づいて先端開口部６ｔの高さ位置が求められる。当該高さ位置と、チップ６がヘッド６３に正規に装着された場合の基準位置とが比較され、その差分から補正値が導出される。この補正値は、ヘッドユニット６１（ヘッド６３）の移動制御の際の補正値として利用される。他のヘッド６３についても、同様な撮像及び補正値の導出が行われる。
　上記手順３では、ヘッドユニット６１は選別部１３上の細胞吸引位置Ｐ１３に移動される。なお、手順３の実行の前に、選別容器１８のディッシュ２上に細胞Ｃを含む細胞懸濁液が撒かれ、ディッシュ２に細胞Ｃが保持される。カメラユニット５は、選別部１３下のディッシュ撮像位置Ｐ２２に移動され、細胞Ｃが保持されたディッシュ２を撮像する。得られた画像に基づき、使用可能な細胞Ｃを判定し、その細胞Ｃが担持された保持凹部３の座標が特定される。そして、どの細胞Ｃを、どのヘッド６３（チップ６）で、どのような順番で吸引させるかの吸引シーケンスが設定される。さらに、どのヘッド６３（チップ６）から、マイクロプレート４のどのウェル４１に吐出させるかの吐出シーケンスも設定される。
　吸引シーケンスが設定されたら、手順２で得られた補正値を参照して、最初に吸引を行うチップ６と吸引ターゲットとするディッシュ２の保持凹部３との位置合わせが行われ、ヘッド６３が下降される。チップ６の先端開口部６ｔが選別容器１８内の培地Ｌに突入し、且つターゲットの保持凹部３に対峙したら、ヘッド６３に吸引力が発生される。これにより、ターゲットの保持凹部３に担持されている細胞Ｃが、チップ６内に吸引される。しかる後、ヘッド６３が上昇される。以下、吸引シーケンスに従って、後続のチップ６と対応する保持凹部３とについて、順次上記と同様な動作が行われ、各チップ６に細胞Ｃが吸引される。
　上記手順４では、ヘッドユニット６１は移載部１４上の細胞吐出位置Ｐ１４、すなわちマイクロプレート４上へ移動される。ヘッドユニット６１は、細胞Ｃを保持したチップ６と、吐出ターゲットのマイクロプレート４のウェル４１とが鉛直方向に位置合わせされるように停止される。次いで、ヘッド６３が、チップ６の先端開口部６ｔがウェル４１の開口に入り込むまで、下降される。そして、ヘッド６３に吐出力が発生され、先端開口部６ｔからチップ６内に保持されている細胞Ｃがウェル４１へ吐出される。手順４では、カメラユニット５も、移載部１４下のマイクロプレート撮像位置Ｐ２３へ移動される。上述のウェル４１への細胞Ｃの吐出が完了した後、カメラユニット５により細胞Ｃを担持したマイクロプレート４の画像が撮像される。これにより、マイクロプレート４における細胞Ｃの担持状況を把握することができる。
　上記手順５では、ヘッドユニット６１はチップ廃棄部１５上のチップ廃棄位置Ｐ１５に移動される。チップ廃棄部１５には上面が開口したチップ回収容器１９が配置されている。チップ回収容器１９に対してヘッド６３が下降され、さらにヘッド６３内に内蔵されているチップ取り外し用ロッド（図略）が下降される。前記ロッドの下降によりチップ６が押圧され、ヘッド６３からチップ６が取り外される。取り外されたチップ６は、チップ回収容器１９内に落下する。
　［撮像システム］
　続いて、図３に基づいて、上述のカメラユニット５が用いられた、本発明の実施形態に係る撮像システムＳについて説明する。撮像システムＳは、撮像光軸ＡＸ上の撮像対象物を撮像するカメラユニット５と、レンズ部５１の動作を制御すると共にカメラ本体５２により取得された画像情報に基づき所定の処理を行う制御部７と、レンズ部５１を上下動させるサーボモータ５４と、を備えている。図３では、撮像対象物として、透光性容器８１（透光性部材）の上に載置された球形の撮像対象物８を示している。この撮像対象物８は、例えばディッシュ２若しくはマイクロプレート４に保持された細胞Ｃに相当する。なお本実施形態では、チップ６の先端開口部６ｔ、ディッシュ２、容器の底面なども撮像対象物となる。
　サーボモータ５４は、正回転又は逆回転することで、図略の動力伝達機構を介して、レンズ部５１を所定の分解能で上下方向に移動させる。この移動によって、撮像対象物８の位置にレンズ部５１の焦点位置が合わせられる。なお、図３において点線で示しているように、レンズ部５１ではなく、サーボモータ５４によって透光性容器８１自体、若しくは透光性容器８１が載置されるステージを上下動させるようにしても良い。
　制御部７は、例えばパーソナルコンピューター等からなり、所定のプログラムが実行されることで、機能的に撮像制御部７１、画像処理部７２、記憶部７３、入力部７４及び演算部７５を備えるように動作する。
　撮像制御部７１は、カメラユニット５の動作を制御する。具体的には、撮像制御部７１は、カメラ本体５２の撮像動作（露光量やシャッタータイミング等）を制御する。また、撮像制御部７１は、サーボモータ５４にレンズ部５１を上下方向に所定のピッチ（例えば数十μｍピッチ）で移動させるための制御パルスを与える。撮像制御部７１には、撮像対象物８の規定高さ位置、つまり撮像対象物８が存在すべき高さ位置として予め設定された位置に関するデータが演算部７５から与えられる。撮像制御部７１は、前記規定高さ位置を目標位置とし、レンズ部５１が前記目標位置に移動するようサーボモータ５４に移動指示を与える。撮像制御部７１が指示した位置に関するデータは、演算部７５に入力される。さらに撮像制御部７１は、カメラ本体５２に、レンズ部５１の移動ピッチ毎に撮像対象物８の画像を撮像させる。
　画像処理部７２は、カメラ本体５２により取得された撮像対象物８の画像データに所定の画像処理を施す。画像処理部７２は、前記画像データに対してエッジ検出処理、特徴量抽出を伴うパターン認識処理などの画像処理を施して、前記画像データから撮像対象物８の形状を抽出する処理を行う。また、画像処理部７２は、レンズ部５１の移動ピッチ毎に取得される画像データの各々について画素間のコントラストを求め、最もコントラストの高い画像を合焦画像として特定する。この合焦画像が取得されたときのレンズ部５１の高さ位置データは、演算部７５に与えられる。
　記憶部７３は、各種のデータを記憶する。前記データの一つとして、レンズ部５１の基準高さのデータが記憶される。前記基準高さは、撮像対象物８の前記規定高さ位置とレンズ部５１の同焦点距離とに基づいて定まる、レンズ部５１の胴付き面５５の高さ位置である。後記で詳述するが、本実施形態では、撮像光軸ＡＸ上に透光性容器８１のような透光性部材が介在する場合において、前記基準高さが焦点延長量に応じて修正される。撮像対象物８のサイズが前記透光性部材の介在によって変化する場合には、前記データの一つとして記憶部や７３は、前記サイズの変化率のデータを記憶する。
　入力部７４は、同焦点距離から定まる前記基準高さ、及び前記焦点延長量の理論値又は実測によって得られる前記修正された基準高さデータの入力、並びに前記サイズの変化率のデータの入力を、ユーザーから受け付ける。
　さらに記憶部７３は、前記基準高さ（又は前記修正された基準高さ）と、撮像対象物８を現にカメラユニット５で撮像することにより求められた実測高さとの差分を、補正値として記憶する。また、チップ６の先端開口部６ｔ、ディッシュ２或いは容器の底面が撮像対象物とされる場合には、これらについての補正値も記憶部７３に記憶される。これらの補正値は、ヘッド６３（チップ６）の移動制御に適用される。
　演算部７５は、カメラユニット５の撮像により取得される画像情報に基づいて、撮像対象物８の位置及び／又はサイズに関するデータを求める。具体的には、撮像対象物８の位置に関するデータを求める場合、演算部７５は、記憶部７３から前記基準高さデータ値を読み出す。また、演算部７５は、画像処理部７２から合焦画像が取得されたときのレンズ部５１の実測高さデータを取得する。そして、前記基準高さデータと実測高さデータとの比較によって、撮像対象物８の高さ位置についての補正値が求められる。つまり、撮像対象物８の理論高さ位置と実際の高さ位置とのズレ量が求められる。
　図３に示すように、演算部７５は、前記撮像において撮像光軸ＡＸ上に透光性容器８１が介在する場合、当該透光性容器８１の介在による前記撮像の条件変化に関する変化情報を取得する。撮像対象物８の位置を求める場合、前記変化情報は例えば焦点延長量であり、この場合演算部７５は、記憶部７３から前記焦点延長量に基づき修正された基準高さデータ値を読み出す。そして、演算部７５は、前記修正された基準高さデータと実測高さデータとを比較し、撮像対象物８の高さ位置についての補正値を求める。結果的に、撮像対象物８の高さ位置データが、前記変化情報（焦点延長量）に基づいて補正されたことになる。
　撮像対象物８のサイズに関するデータを求める場合、演算部７５は、画像処理部７２により選定された合焦画像に基づき、撮像対象物８のＸＹＺの寸法等を示す形状データを算出する。また、演算部７５は、前記撮像において撮像光軸ＡＸ上に透光性容器８１が介在する場合、当該透光性容器８１の介在による撮像対象物８の画像上の変化に関する変化情報を取得する。具体的には、なお、記憶部７３に予め格納されている撮像対象物８のサイズの変化率が読み出される。この変化率は、撮像対象物８の実際のサイズと、透光性容器８１（透光性部材）が介在した状態においてカメラユニット５で取得される当該撮像対象物８の画像上のサイズとの間の変化率である。演算部７５は、前記変化率を参照して、形状データを補正する。
　［焦点延長量について］
　ここで、焦点延長量について図４～図６に基づいて説明しておく。図４は、レンズ部５１の同焦点距離を説明するための図である。細胞Ｃの如く微小な対象物を撮像する対物レンズであるレンズ部５１の焦点位置は、胴付き面５５からの同焦点距離Ａにて定められている。従って、撮像対象物８に合焦した状態が作られれば、撮像対象物８と胴付き面５５との間の距離が同焦点距離Ａとなる。従って、胴付き面５５の高さ位置を基準高さとして、撮像対象物８の高さ位置を測定することが可能となる。
　図５は、焦点延長量αを説明するための図である。レンズ部５１の撮像光軸ＡＸ上に透光性部材８２が介在した場合、当該レンズ部５１の焦点位置は遠方へ延びる。すなわち、透光性部材８２が介在しない場合、レンズ部５１が備えるレンズ５６を通過した光線ｇ１は、レンズ形状で定まる焦点位置ｆ１に結像する。一方、透光性部材８２が介在する場合、透光性部材８２の具備する屈折率に応じて光路が屈折する。このため、透光性部材８２を通過する光線ｇ２は、焦点位置ｆ１よりも遠方の焦点位置ｆ２に結像する。この焦点位置ｆ１、ｆ２間の撮像光軸ＡＸ上の距離が焦点延長量α（変化情報）である。
　撮像光軸ＡＸ上に透光性部材８２が介在した場合、撮像対象物８と胴付き面５５との間の距離は、同焦点距離Ａに焦点延長量αを加算した距離になる。従って、予め焦点延長量αを把握し、胴付き面５５の高さ位置を焦点延長量αで修正した高さ位置を基準高さとすれば、透光性部材８２が介在する場合にあっても、撮像対象物８の高さ位置を的確に測定することができることになる。
　図６は、透光性部材８２が撮像光軸ＡＸ上に介在する場合の焦点延長量αの測定方法を説明するための図である。撮像光軸ＡＸ上に介在される透光性部材８２が１種類の部材からなり、屈折率が既知であれば、スネルの法則に基づいて焦点延長量αを算出することができる。この場合は、撮像対象物８に合焦するときの胴付き面５５の高さ位置である基準高さを、前記算出により求められた焦点延長量αを加算して修正した基準高さを、入力部７４を通して記憶部７３に記憶させておけば良い。
　しかし、透光性部材８２が複数種類の部材からなる場合、計算で焦点延長量αを求めることは困難である。図６では、透光性部材８２が、互いに異なる部材ａ、部材ｂ、部材ｃの複合体からなる例を示している。本実施形態では、例えばディッシュ２に保持された細胞Ｃを撮像する場合、撮像光軸ＡＸ上に基台１、選別容器１８及び培地Ｌが介在することになる。このような場合、個々の部材の屈折率が既知であったとしても、これらが組み合わさった場合の焦点延長量αを算出することは難しい。従って、撮像システムＳを用いて焦点位置ｆ２を実測することで、焦点延長量αを求めることが望ましい。
　この場合、図６に模式的に示すように、撮像対象物８を同じ高さ位置に置いて、撮像光軸ＡＸ上に透光性部材８２を介在させた場合と、介在させない場合との双方において、レンズ部５１に合焦動作を行わせれば良い。具体的には撮像制御部７１は、先ずレンズ部５１を、透光性部材８２を介在させない場合の合焦位置へ移動させる。つまり、撮像制御部７１は、撮像対象物８に対する胴付き面５５の高さ位置が同焦点距離Ａとなるよう、レンズ部５１を移動させる。移動後の胴付き面５５の高さ位置が、基準高さとされる。なお、レンズ部５１の同焦点距離Ａは、一般に当該レンズ部５１のスペックにより既知であるので、そのスペックに基づいた移動量が設定される。もちろん、撮像光軸ＡＸ上に透光性部材８２を除いた状態での撮像を行わせ、画像処理部７２にコントラスト検出方式にて合焦位置を選定させることで、胴付き面５５を基準高さに設定しても良い。
　続いて、撮像制御部７１は、撮像光軸ＡＸ上に透光性部材８２を介在させた状態において撮像対象物８との相対距離を変化させながら、カメラユニット５に撮像対象物８を複数回撮像させる。図６の例では、撮像制御部７１は、レンズ部５１を撮像対象物８から徐々に遠ざかる方向に所定のピッチで移動させつつ、カメラ本体５２に前記ピッチ毎に撮像対象物８の画像を撮像させる。そして、画像処理部７２に、コントラスト検出方式にて合焦位置を選定させる。そして、演算部７５は、前記複数回の撮像で得られた画像情報に基づいて、撮像対象物８に対する焦点延長量αを導出する。具体的には演算部７５は、透光性部材８２が介在しない場合の胴付き面５５の高さ位置と、透光性部材８２を介在させた状態で合焦画像が得られたときの胴付き面５５の高さ位置との差分から、焦点延長量αを算出するものである。
　以下、上記撮像システムＳの、細胞移動装置Ｓ０の各所に対する適用例を示す。
　［第１適用例］
　図７は、撮像システムＳの第１適用例を示す図である。第１適用例では、撮像対象物がヘッド６３に装着されたチップ６であって、その先端開口部６ｔの高さ位置を測定する例を示す。先ず、ステップＳ１１に示すように、供試用のチップ６の先端開口部６ｔに対して、レンズ部５１が合焦するときの胴付き面５５の高さ位置を基準高さＨとする。撮像制御部７１は、サーボモータ５４を制御して、この基準高さＨにレンズ部５１の胴付き面５５を位置させる。基準高さＨの値は、記憶部７３に格納される。
　次に、ステップＳ１２に示すように、撮像システムＳを用いた焦点延長量αの測定が行われる。既述の通り本実施形態の細胞移動装置Ｓ０では、カメラユニット５は、撮像ピット１７直下のチップ撮像位置Ｐ２１において、透明な基台１を介してチップ６の先端開口部６ｔを撮像する。従って、撮像制御部７１は、撮像光軸ＡＸ上に基台１を介在させた状態において供試用のチップ６との上下方向の相対距離を変化させながら、カメラユニット５にチップ６の少なくとも先端開口部６ｔを含む領域を複数回撮像させる。なお、規定高さに配置されたダミーチップ等を撮像するようにしても良い。
　基台１の介在により、レンズ部５１の合焦位置は遠ざかる。従って、撮像制御部７１は、レンズ部５１をチップ６から徐々に遠ざかる方向に所定のピッチで移動させつつ、カメラ本体５２に前記ピッチ毎にチップ６の画像を撮像させる。画像処理部７２は、前記ピッチ毎に得られたチップ６の画像より、コントラスト検出方式にて合焦位置を選定する。演算部７５は、前記基準高さＨと、基台１を介在させた状態にて合焦画像が得られたときの胴付き面５５の高さ位置との差分から、焦点延長量αを算出する。この場合、（Ｈ－α）が、修正された基準高さ位置、つまり理論合焦高さとなる。なお、（Ｈ－α）におけるマイナスの符号は、焦点位置が遠ざかる分だけレンズ部５１を下降させる意味におけるマイナスである。正規サイズのチップが正規にヘッド６３に装着されており、ヘッド６３が正規の動作量で下降すれば、修正された基準高さ位置（Ｈ－α）において先端開口部６ｔに合焦することになる。
　続いて、ステップＳ１３に示すように、得られた（Ｈ－α）の値は、ユーザーにより入力部７４から記憶部７３へ格納される。演算部７５は、記憶部７３から（Ｈ－α）の値を読み出し、撮像制御部７１にレンズ部５１の移動目標位置としてデータを与える。そして、測定対象となるチップ６を装着したヘッド６３が所定の高さ位置まで下降される。この測定対象チップ６にレンズ部５１の撮像光軸ＡＸが位置合わせされた状態で、撮像制御部７１は、サーボモータ５４に対して前記移動目標位置に基づきサーボ制御を行い、胴付き面５５を理論合焦高さである（Ｈ－α）の位置へ移動させる。
　そして、ステップＳ１４に示すように、先端開口部６ｔの実際の高さ位置がコントラスト検出方式にて実測される。すなわち、撮像制御部７１は、前記（Ｈ－α）の位置を基準としてレンズ部５１を上下方向に所定のピッチで移動させつつ、カメラ本体５２に前記ピッチ毎にチップ６の画像を撮像させる。そして、画像処理部７２が、コントラスト検出方式により合焦位置を選定する。この合焦位置における胴付き面５５の高さ位置が、先端開口部６ｔの実際の高さ位置に相当する実測高さｈと扱われる。演算部７５は、この実測高さｈと、理論合焦高さ（Ｈ－α）とから、測定対象チップ６（ヘッド６３）の昇降制御における補正値を導出する。
　具体的には演算部７５は、
　　補正値＝ｈ－（Ｈ－α）
の式に基づき、測定対象チップ６の補正値を求める。以下、他のヘッド６３に装着されたチップ６についても、ステップＳ１３、Ｓ１４の動作が繰り返され、各々のチップ６についての補正値が同様にして求められる。得られた補正値は記憶部７３に格納され、ヘッド６３の昇降制御の際に参照される。
　［第２適用例］
　図８は、撮像システムＳの第２適用例を示す図である。第２適用例では、撮像対象物が選別容器１８に保持されたディッシュ２であって、そのディッシュ２の高さ位置を測定する例を示す。先ず、ステップＳ２１に示すように、選別容器１８が載置される基台１の上面に対して、レンズ部５１が合焦する位置を基準高さＴとする。撮像制御部７１は、サーボモータ５４を制御して、この基準高さＴにレンズ部５１の胴付き面５５を位置させる。基準高さＴの値は、記憶部７３に格納される。この基準高さＴは、基台１による焦点延長量を既に含んだ値となる。
　次に、ステップＳ２２に示すように、撮像システムＳを用いた焦点延長量αの測定が行われる。選別容器１８は、上面１８Ｕ（第１面）と裏面１８Ｂ（第２面）とを有し、上面１８Ｕ側にディッシュ２（保持部）を有している。本実施形態の細胞移動装置Ｓ０では、カメラユニット５は、選別部１３下のディッシュ撮像位置Ｐ２２において、透明な基台１を介して、選別容器１８の裏面１８Ｂ側からディッシュ２を撮像する。
　ステップＳ２１で得た基準高さＴは、基台１の上面の高さ、つまり選別容器１８の裏面１８Ｂの高さである。ディッシュ２は、選別容器１８において裏面１８Ｂ（底壁）から離間した高い位置に配置されている。このため、ディッシュ２の配置高さの設計値ｍを予め取得し、ステップＳ２１の基準高さＴを、（Ｔ＋ｍ）に修正する。
　焦点延長量αの測定に際しては、基台１に載置された選別容器１８に、ディッシュ２が浸されるように培地Ｌが注液される。つまり、本適用例では、透光性部材は選別容器１８の底壁及び培地Ｌである。そして、撮像制御部７１は、撮像光軸ＡＸ上に基台１、選別容器１８及び培地Ｌを介在させた状態において、選別容器１８との上下方向の相対距離を変化させながら、カメラユニット５に選別容器１８の少なくともディッシュ２を含む領域を複数回撮像させる。すなわち、撮像制御部７１は、レンズ部５１を選別容器１８に対して徐々に遠ざかる方向又は近づく方向に所定のピッチで移動させつつ、カメラ本体５２に前記ピッチ毎に選別容器１８の画像を撮像させる。
　画像処理部７２は、前記ピッチ毎に得られた選別容器１８の画像より、コントラスト検出方式にてディッシュ２の合焦位置を選定する。ディッシュ２は、上下方向に厚みを持つため、適宜な箇所が焦点位置として選択される。例えば、ディッシュ２の境界部３５は、保持凹部３同士を区画する稜線であって、画像上でエッジとして検出し易いので、境界部３５を焦点位置として選択することが望ましい。
　演算部７５は、前記基準高さ（Ｔ＋ｍ）と、選別容器１８を介在させた状態にて合焦画像が得られたときの胴付き面５５の高さ位置との差分から、焦点延長量αを算出する。この場合、（Ｔ＋ｍ－α）が、修正された基準高さ位置、つまりディッシュ２に対する理論合焦高さとなる。
　続いて、ステップＳ２３に示すように、得られた（Ｔ＋ｍ－α）の値は、ユーザーにより入力部７４から記憶部７３へ格納される。演算部７５は、記憶部７３から（Ｔ＋ｍ－α）の値を読み出し、撮像制御部７１にレンズ部５１の移動目標位置としてデータを与える。そして、測定対象となるディッシュ２を保持した選別容器１８が、基台１上に載置される。この測定対象のディッシュ２にレンズ部５１の撮像光軸ＡＸが位置合わせされた状態で、撮像制御部７１は、サーボモータ５４に対して前記移動目標位置に基づきサーボ制御を行い、胴付き面５５を理論合焦高さである（Ｔ＋ｍ－α）の位置へ移動させる。
　そして、ステップＳ２４に示すように、ディッシュ２の実際の高さ位置がコントラスト検出方式にて実測される。すなわち、撮像制御部７１は、前記（Ｔ＋ｍ－α）の位置を基準としてレンズ部５１を上下方向に所定のピッチで移動させつつ、カメラ本体５２に前記ピッチ毎に、選別容器１８の培地Ｌ中に浸漬されたディッシュ２の画像を撮像させる。そして、画像処理部７２が、コントラスト検出方式により合焦位置を選定する。この合焦位置における胴付き面５５の高さ位置が、ディッシュ２の実際の高さ位置に相当する実測高さｈと扱われる。
　演算部７５は、この実測高さｈと、理論合焦高さ（Ｔ＋ｍ－α）とから、ディッシュ２に対するヘッド６３の昇降制御の際に用いる補正値を導出する。演算部７５は、
　　補正値＝ｈ－（Ｔ＋ｍ－α）
の式に基づき、ディッシュ２の高さ位置についての補正値を求める。得られた補正値は記憶部７３に格納される。
　図２に示すように、ディッシュ２は所定の縦×横のサイズを有する薄いプレート状の部材である。このため、ディッシュ２には傾きや反り等が生じたり、肉厚のバラツキがプレート面方向において存在していたりする場合がある。従って、一つの保持凹部３の位置についてステップＳ２４の実測を行っただけでは、全ての保持凹部３について適正な補正値が得られない場合がある。この場合、一つの保持凹部３を囲んでいる境界部３５だけを焦点位置とするのではなく、複数の保持凹部３の境界部３５を焦点位置とすることが望ましい。例えば、ディッシュ２の四隅の保持凹部３及び中央の保持凹部３の境界部３５についてステップＳ２４の実測を行い、各々補正値を求める。残りの保持凹部３については、実測して得た５つの補正値からディッシュ２の傾き等の傾向を取得し、補完計算にて補正値を求めることができる。
　［第３適用例］
　図９は、撮像システムＳの第３適用例を示す図である。第３適用例では、撮像対象物がシャーレのような透光性容器８１に保持された細胞Ｃであって、その細胞Ｃの高さ位置を測定する例を示す。先ず、ステップＳ３１に示すように、透光性容器８１が載置される透光性部材８２（細胞移動装置Ｓ０の基台１であっても良い）の上面に対して、レンズ部５１が合焦する位置を基準高さＴとする。撮像制御部７１は、サーボモータ５４を制御して、この基準高さＴにレンズ部５１の胴付き面５５を位置させる。基準高さＴの値は、記憶部７３に格納される。この基準高さＴは、透光性部材８２による焦点延長量を既に含んだ値となる。
　次に、ステップＳ３２に示すように、撮像システムＳを用いた焦点延長量αの測定が行われる。透光性容器８１は上面が開口し、底壁８１Ｂを備えている。カメラユニット５は、選別部１３下のディッシュ撮像位置Ｐ２２において、透光性部材８２を介して、透光性容器８１の底壁８１Ｂを通して細胞Ｃを撮像する。
　ステップＳ３１で得た基準高さＴは、透光性部材８２の上面の高さ、つまり透光性容器８１の底壁下面８１２の高さである。一方、細胞Ｃが接面するのは底壁８１Ｂ（保持部）の底壁上面８１１、つまり容器底面である。このため、底壁８１Ｂの厚さ、つまり底壁上面８１１の高さｂを設計値又は実測により取得し、ステップＳ３１の基準高さＴを、（Ｔ＋ｂ）に修正する。
　焦点延長量αの測定に際しては、撮像制御部７１は、撮像光軸ＡＸ上に透光性容器８１及び透光性部材８２を介在させた状態において、透光性容器８１との上下方向の相対距離を変化させながら、カメラユニット５に透光性容器８１の底壁８１Ｂを含む領域を複数回撮像させる。すなわち、撮像制御部７１は、レンズ部５１を透光性容器８１に対して徐々に遠ざかる方向又は近づく方向に所定のピッチで移動させつつ、カメラ本体５２に前記ピッチ毎に透光性容器８１の画像を撮像させる。画像処理部７２は、前記ピッチ毎に得られた透光性容器８１の画像より、コントラスト検出方式にて底壁上面８１１の合焦位置を選定する。
　演算部７５は、前記基準高さ（Ｔ＋ｂ）と、底壁上面８１１の合焦画像が得られたときの胴付き面５５の高さ位置との差分から、焦点延長量αを算出する。この場合、（Ｔ＋ｂ－α）が、修正された基準高さ位置、つまり細胞Ｃが接面する底壁上面８１１の理論合焦高さとなる。
　続いて、ステップＳ３３に示すように、得られた（Ｔ＋ｂ－α）の値は、ユーザーにより入力部７４から記憶部７３へ格納される。演算部７５は、記憶部７３から（Ｔ＋ｂ－α）の値を読み出し、撮像制御部７１にレンズ部５１の移動目標位置としてデータを与える。そして、測定対象となる細胞Ｃを収容した透光性容器８１が、透光性部材８２の上に載置される。この測定対象の透光性容器８１にレンズ部５１の撮像光軸ＡＸが位置合わせされた状態で、撮像制御部７１は、サーボモータ５４に対して前記移動目標位置に基づきサーボ制御を行い、胴付き面５５を理論合焦高さである（Ｔ＋ｂ－α）の位置へ移動させる。
　そして、ステップＳ３４に示すように、透光性容器８１中に収容された各細胞Ｃの高さ位置が、コントラスト検出方式にて測定される。すなわち、撮像制御部７１は、前記（Ｔ＋ｂ－α）の位置を基準としてレンズ部５１を上方向に所定のピッチで移動させつつ、カメラ本体５２に前記ピッチ毎に、撮像対象の細胞Ｃの画像を撮像させる。そして、画像処理部７２が、コントラスト検出方式により合焦位置を選定する。この合焦位置における胴付き面５５の高さ位置が、撮像対象の細胞Ｃの高さｈと扱われる。
　演算部７５は、この実測高さｈと、理論合焦高さ（Ｔ＋ｂ－α）とから、細胞Ｃの高さ位置の補正値を導出する。つまり、細胞Ｃが底壁上面８１１よりもどれだけ上方に位置しているかを示す補正値を算出する。演算部７５は、
　　補正値＝ｈ－（Ｔ＋ｂ－α）
の式に基づき、細胞Ｃの高さ位置についての補正値を求める。得られた補正値は記憶部７３に格納される。透光性容器８１中に収容されている他の細胞Ｃについても、同様にして高さ位置が求められる。これら補正値は、透光性容器８１からの細胞Ｃのピッキングの際などに用いられる。
　［第４適用例］
　図１０～図１２は、撮像システムＳの第４適用例を説明するための図である。第４適用例では、光像を変形させる光学効果を備えた透光性部材を介して撮像対象物を撮像した場合においても、当該撮像対象物のサイズを正しく把握できるようにする例を示す。すなわち、第４適用例では、カメラユニット５が取得した画像情報に基づいて、撮像対象物のサイズに関するデータを演算部７５が求める例を示す。
　図１０は、前記光学効果を備えた透光性部材を通して撮像対象物８Ａ、８Ｂを撮像した場合の、画像上における当該対象物の変形を示す図である。ここでは、前記透光性部材が、半球状の透明湾曲部材８３からなる例を示している。透明湾曲部材８３は、例えばウェル４１が備える半球状の底壁であり、その上面（第１面）が撮像対象物８Ａ、８Ｂの保持部、下面（第２面）がカメラユニット５から撮像される面である。透明湾曲部材８３の上面側に、撮像対象物８Ａ、８Ｂが各々接面しているものであって、撮像対象物８Ａは透明湾曲部材８３の最深部に、撮像対象物８Ｂは透明湾曲部材８３の側面に、各々接面しているものとする。なお、透明湾曲部材８３は、円錐や角錐等の形状であっても良い。
　透明湾曲部材８３は、下側に凸の半球形状を備えるので、光像を拡大するレンズの効果を発揮する。このため、透明湾曲部材８３の下面側から撮像対象物８Ａ、８Ｂを撮像すると、これら撮像対象物８Ａ、８Ｂは、サイズが拡大された撮像対象物８０Ａ、８０Ｂとして撮像されることになる。また、撮像対象物８Ａ、８Ｂの透明湾曲部材８３への接面位置において、前記サイズの拡大の態様が異なることがある。例えば、透明湾曲部材８３の最深部に位置している撮像対象物８Ａは、レンズ効果を有する面のセンターに位置していることなるので、等方性のサイズ変化をするが、レンズ効果を有する面の端縁付近にしていることになる撮像対象物８Ｂについては、異方性のサイズ変化をする。
　このように、レンズ効果を有する透明湾曲部材８３を介在した状態で撮像対象物８Ａ、８Ｂを撮像すると、実際の撮像対象物８Ａ、８Ｂのサイズが画像上で変化した撮像対象物８０Ａ、８０Ｂとして撮像されてしまう。しかし、そのサイズ変化の態様、つまりサイズの変化率（変化情報）を予め測定して取得しておけば、撮像により得られた撮像対象物８０Ａ、８０Ｂの画像データを前記変化情報に基づいて補正することによって、撮像対象物８Ａ、８Ｂとしての正しいサイズのデータを取得することができる。
　図１１は、透明湾曲部材８３を通して撮像対象物８を撮像した場合の、画像上におけるサイズ変化を、保持位置ｋ１、ｋ２、ｋ３毎に示す図である。前記サイズ変化率の測定に際しては、図１０に基づき説明した通り、撮像対象物８の透明湾曲部材８３上における保持位置によってサイズ変化の態様が異なる場合があるので、撮像対象物８の保持位置を異ならせてサイズ変化率を測定することが望ましい。つまり、撮像対象物８を、透明湾曲部材８３の上面側の異なる保持位置ｋ１、ｋ２、ｋ３にそれぞれ配置し、これらを透明湾曲部材８３の下面側から撮像して各位置の撮像対象物８ｋ１、８ｋ２、８ｋ３を取得し、それぞれ如何なるサイズ変化が生じたかを把握することが望ましい。
　図１２は、撮像対象物８のサイズの変化率の取得方法を説明するための図である。前記サイズ変化率の測定に際しては、撮像制御部７１は、前記撮像光軸上において、サイズが既知の供試対象物８Ｃを透明湾曲部材８３に保持させ、この透明湾曲部材８３と所定距離を置いて、カメラユニット５に少なくとも当該透明湾曲部材８３の供試対象物８Ｃが保持された領域を撮像させる。供試対象物８Ｃのｘｙ方向のサイズＲｘ、Ｒｙは既知である。一方、透明湾曲部材８３を介在させて撮像された供試対象物８ＣＡのｘｙ方向のサイズｒｘ、ｒｙは、透明湾曲部材８３の屈折率及び面形状に応じて、Ｒｘ、Ｒｙに対して変形する。
　演算部７５は、前記撮像で得られた画像に基づく供試対象物８ＣＡのサイズと、既知である実際の供試対象物８Ｃのサイズとを比較することで、サイズ変化率を導出する。すなわち、演算部７５は、次式；
　　Ｘ方向の変化率＝ｒｘ／Ｒｘ、　Ｙ方向の変化率＝ｒｙ／Ｒｙ
に基づいて、ＸＹ方向のサイズ変化率を求める。図１２では、図１１に示した保持位置ｋ２におけるサイズ変化率が求められている例を示しているが、同様にして、保持位置ｋ２、ｋ３についても、さらに必要に応じてｋ１～ｋ３以外の他の保持位置についても、演算部７５はサイズ変化率を求める。得られたサイズ変化率は記憶部７３に格納される。これらサイズ変化率は、透明湾曲部材８３に保持された撮像対象物８を撮像したそのサイズを求める際に、撮像対象物８の保持位置に応じて、サイズの補正に適用される。
　この第４適用例によれば、前記撮像で得られた画像に基づく供試対象物８ＣＡのサイズと既知の供試対象物８Ｃのサイズとの比較によって、現に光路がレンズ効果を備えた容器（透明湾曲部材８３）を通過したことによって前記サイズがどの様に変化したかを把握することができる。従って、迅速且つ正確にサイズ変化率を導出することができ、しかも撮像システムＳを用いることからサイズ変化率の取得のために余分なコストを掛けずに済む。また、供試対象物８Ｃの保持位置毎にサイズ変化率が導出されるので、各々の保持位置に応じたサイズデータの補正を行わせることができる。
　以上説明した本発明に係る撮像システムＳによれば、透光性部材を介在して細胞Ｃのような撮像対象物を撮像する場合に、演算部７５は、焦点延長量αや前記サイズ変化率のような変化情報を取得して前記撮像対象物の位置及び／又はサイズに関するデータを補正する。従って、前記透光性部材の介在によって光路が屈折し、焦点延長（撮像の条件変化）や前記撮像対象物の画像上の変化（サイズ変化）が生じても、その変化分を補正により打ち消して、前記位置及び／又はサイズを的確に求めることができる。
　なお、上記第１～第３適用例では、前記変化情報として焦点延長量αを求める例を、第４適用例では前記サイズ変化率を求める例を各々示した。これらは、複合的に求められても良い。例えば、上記第１～第３適用例において、さらに、上記第４適用例で示したサイズ変化率を求めるようにしても良い。
　なお、上述した具体的実施形態には以下の構成を有する発明が主に含まれている。
　本発明の一局面に係る撮像システムは、撮像光軸上の撮像対象物を撮像する撮像装置と、前記撮像により前記撮像装置が取得した画像情報に基づいて、前記撮像対象物の位置及び／又はサイズに関するデータを求める演算部と、を備え、前記演算部は、前記撮像において前記撮像光軸上に透光性部材が介在する場合に、前記透光性部材の介在による前記撮像の条件変化及び／又は前記撮像対象物の画像上の変化に関する変化情報を取得し、前記データを前記変化情報に基づいて補正することを特徴とする。
　この撮像システムによれば、前記透光性部材が介在する撮像となる場合に、前記演算部は前記変化情報を取得して前記撮像対象物の位置及び／又はサイズに関するデータを補正する。従って、前記透光性部材の介在によって光路が屈折し、前記撮像の条件変化や前記撮像対象物の画像上の変化が生じても、その変化分を打ち消して、前記データを的確に求めることができる。
　上記の撮像システムにおいて、前記変化情報は、前記透光性部材が介在しない場合における前記撮像対象物に対する前記撮像装置の焦点位置と、前記透光性部材が介在している場合における前記撮像対象物に対する前記撮像装置の焦点位置とで定まる焦点延長量であることが望ましい。
　撮像光軸上に透光性部材が介在すると、当該透光性部材を通過する際の屈折によって焦点距離が延びる。上記の撮像システムによれば、前記焦点延長量を前記変化情報と扱うことで、前記データを的確に補正することができる。なお、前記焦点延長量は、当該撮像システムや他の撮像装置を用いて実測したものでも、当該透光性部材の屈折率等の物理特性に基づいて算出したものであっても良い。
　上記の撮像システムにおいて、前記変化情報は、前記撮像対象物の実際のサイズと、前記透光性部材が介在した状態において前記撮像装置で取得される前記撮像対象物の画像上のサイズとの間の変化率であることが望ましい。
　例えば、前記透光性部材が曲面を具備している場合には、当該透光性部材を通した前記撮像対象物の光像は実際の形状に対して変形して観察されることになる。上記の撮像システムによれば、前記サイズの変化率を前記変化情報と扱うことで、前記データを的確に補正することができる。なお、前記変化率は、当該撮像システムや他の撮像装置を用いて実測したものでも、当該透光性部材の曲面形状等に基づいて算出したものであっても良い。
　上記の撮像システムにおいて、前記撮像装置の動作を制御する撮像制御部をさらに備え、前記撮像制御部は、前記撮像光軸上に前記透光性部材を介在させた状態において前記撮像対象物との相対距離を変化させながら、前記撮像装置に前記撮像対象物を複数回撮像させ、前記演算部は、前記複数回の撮像で得られた画像情報に基づいて、前記撮像対象物に対する前記焦点延長量を導出することが望ましい。
　この撮像システムによれば、当該撮像システムが備える前記撮像装置を用いた実測によって前記焦点延長量を取得することができる。従って、迅速且つ正確に前記焦点延長量を求めることができ、しかも前記焦点延長量の取得のために余分なコストを掛けずに済む。
　上記の撮像システムにおいて、前記撮像装置の動作を制御する撮像制御部をさらに備え、前記撮像対象物は、物体を吸引及び吐出するチップの先端開口部であり、前記撮像装置は、前記透光性部材を介して前記先端開口部を撮像するものであって、前記撮像制御部は、前記撮像光軸上に前記透光性部材を介在させた状態において前記チップとの相対距離を変化させながら、前記撮像装置に前記チップの少なくとも前記先端開口部を含む領域を複数回撮像させ、前記演算部は、前記複数回の撮像で得られた画像情報に基づいて、前記先端開口部に対する前記焦点延長量を導出することが望ましい。
　この撮像システムによれば、前記複数回の撮像で得られた画像情報の中から、前記透光性部材が介在する場合における前記チップの先端開口部の合焦画像を特定し、その合焦画像が得られた焦点距離と前記透光性部材が介在しない場合の焦点距離との比較により、前記焦点延長量を容易に導出することができる。
　上記の撮像システムにおいて、前記撮像装置の動作を制御する撮像制御部をさらに備え、前記透光性部材は第１面及びその反対側の第２面を有し、前記撮像対象物を保持する保持部を前記第１面側に有する透光性の容器であり、前記撮像装置は、前記容器の前記第２面側から前記撮像対象物を撮像するものであって、前記撮像制御部は、前記撮像光軸上において前記容器との相対距離を変化させながら、前記撮像装置に前記容器の少なくとも前記保持部を含む領域を複数回撮像させ、前記演算部は、前記複数回の撮像で得られた画像情報に基づいて、前記保持部に対する前記焦点延長量を導出することが望ましい。
　この撮像システムによれば、前記複数回の撮像で得られた画像情報の中から、前記透光性部材としての前記容器を通した前記保持部の合焦画像を特定し、その合焦画像が得られた焦点距離と前記容器が介在しない場合の焦点距離との比較により、前記焦点延長量を容易に導出することができる。
　上記の撮像システムにおいて、前記透光性部材は、前記容器に加え、前記容器が載置される透光性の基台を含み、前記撮像装置は、前記基台を通して前記容器を撮像することが望ましい。
　この撮像システムによれば、前記撮像光軸上に前記容器及び前記基台が介在することによる複合的な前記焦点延長量を、前記撮像装置を用いた実測によって容易に導出することができる。
　上記の撮像システムにおいて、前記保持部は、前記容器の底壁から離間した位置で支持され、前記透光性部材として、前記保持部が浸されるように前記容器に注液された透光性の液体をさらに含んでいても良い。
　この撮像システムによれば、前記撮像光軸上に前記容器及び前記透光性の液体の二者、若しくは、前記容器、前記基台及び前記透光性の液体の三者が介在することによる複合的な前記焦点延長量を、前記撮像装置を用いた実測によって容易に導出することができる。
　上記の撮像システムにおいて、前記撮像装置の動作を制御する撮像制御部をさらに備え、前記透光性部材は第１面及びその反対側の第２面を有し、前記撮像対象物を保持する保持部を前記第１面側に有し、前記保持部が光像を変形させる光学効果を備えた透光性の容器であり、前記撮像装置は、前記容器の前記第２面側から前記撮像対象物を撮像するものであって、前記撮像制御部は、前記撮像光軸上において、サイズが既知の供試対象物を前記保持部に保持させた前記容器と所定距離を置いて、前記撮像装置に前記容器の少なくとも前記保持部を含む領域を撮像させ、前記演算部は、前記撮像で得られた画像に基づく前記供試対象物のサイズと、前記既知のサイズとを比較することで、前記変化率を導出することが望ましい。
　この撮像システムによれば、前記撮像で得られた画像に基づく前記供試対象物のサイズと前記既知のサイズとの比較によって、現に光路が前記光学効果を備えた前記容器を通過したことによって前記サイズがどの様に変化したかを把握することができる。従って、迅速且つ正確に前記変化率を導出することができ、しかも前記変化率の取得のために余分なコストを掛けずに済む。
　この場合、前記撮像制御部は、前記供試対象物の前記保持部における保持位置を異ならせて前記撮像装置に前記撮像を行わせ、前記演算部は、前記保持位置毎に前記変化率を導出することが望ましい。
　前記容器や前記保持部の形状によっては、前記保持位置によって変化率が相違する場合がある。上記の撮像システムによれば、前記保持位置毎に前記変化率が導出されるので、
各々の保持位置に応じた前記補正を行わせることが可能となる。
　上記の撮像システムにおいて、前記撮像対象物又は前記物体を細胞又は細胞凝集塊とすることは、本発明の望ましい適用用途である。
　以上説明した本発明によれば、撮像光軸上に透光性部材を介在した状態で撮像対象物を撮像する場合であっても、前記撮像対象物の位置及び／又はサイズを的確に求めることができる撮像システムを提供することができる。

Claims (12)

  1. 　撮像光軸上の撮像対象物を撮像する撮像装置と、
    　前記撮像により前記撮像装置が取得した画像情報に基づいて、前記撮像対象物の位置及び／又はサイズに関するデータを求める演算部と、を備え、
    　前記演算部は、前記撮像において前記撮像光軸上に透光性部材が介在する場合に、前記透光性部材の介在による前記撮像の条件変化及び／又は前記撮像対象物の画像上の変化に関する変化情報を取得し、前記データを前記変化情報に基づいて補正する、
    ことを特徴とする撮像システム。
  2. 　請求項１に記載の撮像システムにおいて、
    　前記変化情報は、前記透光性部材が介在しない場合における前記撮像対象物に対する前記撮像装置の焦点位置と、前記透光性部材が介在している場合における前記撮像対象物に対する前記撮像装置の焦点位置とで定まる焦点延長量である、撮像システム。
  3. 　請求項１に記載の撮像システムにおいて、
    　前記変化情報は、前記撮像対象物の実際のサイズと、前記透光性部材が介在した状態において前記撮像装置で取得される前記撮像対象物の画像上のサイズとの間の変化率である、撮像システム。
  4. 　請求項２に記載の撮像システムにおいて、
    　前記撮像装置の動作を制御する撮像制御部をさらに備え、
    　前記撮像制御部は、前記撮像光軸上に前記透光性部材を介在させた状態において前記撮像対象物との相対距離を変化させながら、前記撮像装置に前記撮像対象物を複数回撮像させ、
    　前記演算部は、前記複数回の撮像で得られた画像情報に基づいて、前記撮像対象物に対する前記焦点延長量を導出する、撮像システム。
  5. 　請求項２に記載の撮像システムにおいて、
    　前記撮像装置の動作を制御する撮像制御部をさらに備え、
    　前記撮像対象物は、物体を吸引及び吐出するチップの先端開口部であり、前記撮像装置は、前記透光性部材を介して前記先端開口部を撮像するものであって、
    　前記撮像制御部は、前記撮像光軸上に前記透光性部材を介在させた状態において前記チップとの相対距離を変化させながら、前記撮像装置に前記チップの少なくとも前記先端開口部を含む領域を複数回撮像させ、
    　前記演算部は、前記複数回の撮像で得られた画像情報に基づいて、前記先端開口部に対する前記焦点延長量を導出する、撮像システム。
  6. 　請求項２に記載の撮像システムにおいて、
    　前記撮像装置の動作を制御する撮像制御部をさらに備え、
    　前記透光性部材は第１面及びその反対側の第２面を有し、前記撮像対象物を保持する保持部を前記第１面側に有する透光性の容器であり、前記撮像装置は、前記容器の前記第２面側から前記撮像対象物を撮像するものであって、
    　前記撮像制御部は、前記撮像光軸上において前記容器との相対距離を変化させながら、前記撮像装置に前記容器の少なくとも前記保持部を含む領域を複数回撮像させ、
    　前記演算部は、前記複数回の撮像で得られた画像情報に基づいて、前記保持部に対する前記焦点延長量を導出する、撮像システム。
  7. 　請求項６に記載の撮像システムにおいて、
    　前記透光性部材は、前記容器に加え、前記容器が載置される透光性の基台を含み、
    　前記撮像装置は、前記基台を通して前記容器を撮像する、撮像システム。
  8. 　請求項６又は７に記載の撮像システムにおいて、
    　前記保持部は、前記容器の底壁から離間した位置で支持され、
    　前記透光性部材として、前記保持部が浸されるように前記容器に注液された透光性の液体をさらに含む、撮像システム。
  9. 　請求項３に記載の撮像システムにおいて、
    　前記撮像装置の動作を制御する撮像制御部をさらに備え、
    　前記透光性部材は第１面及びその反対側の第２面を有し、前記撮像対象物を保持する保持部を前記第１面側に有し、前記保持部が光像を変形させる光学効果を備えた透光性の容器であり、前記撮像装置は、前記容器の前記第２面側から前記撮像対象物を撮像するものであって、
    　前記撮像制御部は、前記撮像光軸上において、サイズが既知の供試対象物を前記保持部に保持させた前記容器と所定距離を置いて、前記撮像装置に前記容器の少なくとも前記保持部を含む領域を撮像させ、
    　前記演算部は、前記撮像で得られた画像に基づく前記供試対象物のサイズと、前記既知のサイズとを比較することで、前記変化率を導出する、撮像システム。
  10. 　請求項９に記載の撮像システムにおいて、
    　前記撮像制御部は、前記供試対象物の前記保持部における保持位置を異ならせて前記撮像装置に前記撮像を行わせ、
    　前記演算部は、前記保持位置毎に前記変化率を導出する、撮像システム。
  11. 　請求項１～４、６～１０のいずれか１項に記載の撮像システムにおいて、
    　前記撮像対象物が細胞又は細胞凝集塊である、撮像システム。
  12. 　請求項５に記載の撮像システムにおいて、
    　前記物体が細胞又は細胞凝集塊である、撮像システム。
     
PCT/JP2018/003705 2017-03-10 2018-02-02 撮像システム WO2018163683A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019504397A JP6793244B2 (ja) 2017-03-10 2018-02-02 撮像システム
EP18764384.6A EP3578955B1 (en) 2017-03-10 2018-02-02 Imaging system
CN201880016585.2A CN110383042B (zh) 2017-03-10 2018-02-02 摄像系统
US16/492,111 US11525995B2 (en) 2017-03-10 2018-02-02 Imaging system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017046409 2017-03-10
JP2017-046409 2017-03-10

Publications (1)

Publication Number Publication Date
WO2018163683A1 true WO2018163683A1 (ja) 2018-09-13

Family

ID=63448644

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/003705 WO2018163683A1 (ja) 2017-03-10 2018-02-02 撮像システム

Country Status (5)

Country Link
US (1) US11525995B2 (ja)
EP (1) EP3578955B1 (ja)
JP (1) JP6793244B2 (ja)
CN (1) CN110383042B (ja)
WO (1) WO2018163683A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019146291A1 (ja) * 2018-01-29 2019-08-01 ヤマハ発動機株式会社 生体対象物処理装置
JP2020086044A (ja) * 2018-11-21 2020-06-04 オリンパス株式会社 倒立型顕微鏡
WO2023233827A1 (ja) * 2022-06-03 2023-12-07 富士フイルム株式会社 位相画像取得方法及び定量データ取得方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102623341B1 (ko) * 2021-11-30 2024-01-11 연세대학교 산학협력단 스페로이드 관찰장치 및 관찰 시스템

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1183475A (ja) * 1997-01-09 1999-03-26 Fuji Electric Co Ltd 測距装置
US7423673B1 (en) * 2004-03-18 2008-09-09 Elbit Systems Ltd. Method and system for determining optical distortion in a transparent medium
JP4578814B2 (ja) 2004-01-26 2010-11-10 晴夫 高林 標的対象物の自動探索回収装置
JP2012123039A (ja) * 2010-12-06 2012-06-28 Sony Corp 顕微鏡、領域判定方法、及びプログラム
JP2013148441A (ja) * 2012-01-19 2013-08-01 Dainippon Screen Mfg Co Ltd 画像処理方法
JP2013170861A (ja) * 2012-02-20 2013-09-02 Dainippon Screen Mfg Co Ltd 撮像装置、試料保持プレートおよび撮像方法
JP2013254108A (ja) * 2012-06-07 2013-12-19 Canon Inc デフォーカス量推定方法、撮像装置、および透光性部材
WO2015087371A1 (ja) * 2013-12-12 2015-06-18 ヤマハ発動機株式会社 対象物の移動装置
JP2015169583A (ja) * 2014-03-07 2015-09-28 株式会社リコー 校正方法、校正装置及びプログラム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07333668A (ja) * 1994-06-02 1995-12-22 Canon Inc カメラシステム
KR100576526B1 (ko) 1997-01-09 2007-07-09 후지 덴키 가부시끼가이샤 거리 측정 장치
US6067147A (en) 1997-01-09 2000-05-23 Fuji Electric Co., Ltd. Distance-measuring apparatus
JP4396813B2 (ja) * 2003-06-30 2010-01-13 コニカミノルタオプト株式会社 撮像ユニット
WO2006051813A1 (ja) 2004-11-09 2006-05-18 Hitachi Medical Corporation 細胞培養装置、画像処理装置及び細胞検出システム
CN101438147B (zh) * 2006-05-31 2011-09-28 奥林巴斯株式会社 生物试样摄像方法及生物试样摄像装置
JP2008311709A (ja) * 2007-06-12 2008-12-25 Nikon Corp 撮像装置
JP2009162974A (ja) * 2008-01-07 2009-07-23 Olympus Corp 顕微鏡システム及びその制御方法
EP2424589B8 (en) 2009-04-27 2021-12-01 Roche Diagnostics Hematology, Inc. Systems and methods for analyzing body fluids
JP5645846B2 (ja) 2009-10-13 2014-12-24 キヤノン株式会社 焦点調節装置及び焦点調節方法
JP6140930B2 (ja) * 2012-03-22 2017-06-07 キヤノン株式会社 撮像装置およびその制御方法、撮影システム
JP5996979B2 (ja) * 2012-09-07 2016-09-21 ヤマハ発動機株式会社 電子部品実装装置および実装位置補正データ作成方法
WO2014093838A2 (en) * 2012-12-14 2014-06-19 The J. David Gladstone Institutes Automated robotic microscopy systems
JP5709829B2 (ja) * 2012-12-17 2015-04-30 キヤノン株式会社 外部装置、外部装置の制御方法、撮像システムおよび撮像システムの制御方法
JP6506908B2 (ja) * 2014-02-24 2019-04-24 オリンパス株式会社 合焦方法、計測方法、合焦装置、及び計測装置
JP6066110B2 (ja) * 2014-06-11 2017-01-25 横河電機株式会社 細胞吸引支援システム
JP6148407B2 (ja) 2014-06-17 2017-06-14 ヤマハ発動機株式会社 シリンダチップ装着用ヘッド、これを用いたヘッド装置及び移動装置
CN106459866B (zh) * 2014-06-17 2018-11-23 雅马哈发动机株式会社 分注尖头安装头装置以及使用该头装置的移动装置
WO2015193970A1 (ja) * 2014-06-17 2015-12-23 ヤマハ発動機株式会社 対象物の移動装置
JP6345001B2 (ja) * 2014-07-01 2018-06-20 株式会社Ｓｃｒｅｅｎホールディングス 画像処理方法および画像処理装置
EP3487163B1 (en) * 2016-07-13 2023-07-05 SCREEN Holdings Co., Ltd. Image processing method, image processor, and imaging captureing device
WO2018047218A1 (ja) * 2016-09-06 2018-03-15 オリンパス株式会社 観察装置
CN110300883B (zh) * 2016-11-29 2022-05-10 光热光谱股份有限公司 用于增强光热成像和光谱的方法和设备

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1183475A (ja) * 1997-01-09 1999-03-26 Fuji Electric Co Ltd 測距装置
JP4578814B2 (ja) 2004-01-26 2010-11-10 晴夫 高林 標的対象物の自動探索回収装置
US7423673B1 (en) * 2004-03-18 2008-09-09 Elbit Systems Ltd. Method and system for determining optical distortion in a transparent medium
JP2012123039A (ja) * 2010-12-06 2012-06-28 Sony Corp 顕微鏡、領域判定方法、及びプログラム
JP2013148441A (ja) * 2012-01-19 2013-08-01 Dainippon Screen Mfg Co Ltd 画像処理方法
JP2013170861A (ja) * 2012-02-20 2013-09-02 Dainippon Screen Mfg Co Ltd 撮像装置、試料保持プレートおよび撮像方法
JP2013254108A (ja) * 2012-06-07 2013-12-19 Canon Inc デフォーカス量推定方法、撮像装置、および透光性部材
WO2015087371A1 (ja) * 2013-12-12 2015-06-18 ヤマハ発動機株式会社 対象物の移動装置
JP2015169583A (ja) * 2014-03-07 2015-09-28 株式会社リコー 校正方法、校正装置及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3578955A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019146291A1 (ja) * 2018-01-29 2019-08-01 ヤマハ発動機株式会社 生体対象物処理装置
JPWO2019146291A1 (ja) * 2018-01-29 2021-01-07 ヤマハ発動機株式会社 生体対象物処理装置
JP2020086044A (ja) * 2018-11-21 2020-06-04 オリンパス株式会社 倒立型顕微鏡
JP7145051B2 (ja) 2018-11-21 2022-09-30 株式会社エビデント 倒立型顕微鏡
WO2023233827A1 (ja) * 2022-06-03 2023-12-07 富士フイルム株式会社 位相画像取得方法及び定量データ取得方法

Also Published As

Publication number Publication date
EP3578955A1 (en) 2019-12-11
JP6793244B2 (ja) 2020-12-02
JPWO2018163683A1 (ja) 2020-01-09
EP3578955B1 (en) 2022-04-06
EP3578955A4 (en) 2020-03-04
US20200326525A1 (en) 2020-10-15
CN110383042A (zh) 2019-10-25
US11525995B2 (en) 2022-12-13
CN110383042B (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
JP6793244B2 (ja) 撮像システム
WO2018193718A1 (ja) 細胞ハンドリング装置
WO2017110005A1 (ja) 対象物のピックアップ方法
CN106525622A (zh) 硬度测试设备和硬度测试方法
CN111699241A (zh) 生物对象物的拾取装置
JP6548965B2 (ja) 顕微鏡システムおよび顕微鏡観察方法
JP6853880B2 (ja) 細胞移動方法及び細胞移動装置
JP2018063187A (ja) 容器構造体及びこれを用いた撮像システム
JP6694796B2 (ja) 細胞移動装置
CN111655836A (zh) 生体对象物的移动方法以及移动装置
WO2019114760A1 (zh) 成像方法、装置及系统
CN109863536B (zh) 图像处理方法及图像处理装置
JP6913184B2 (ja) 生体対象物処理装置
JPWO2019150755A1 (ja) 撮像システム
JP6947905B2 (ja) 撮像システム及び生体対象物移動装置
JP6710772B2 (ja) 細胞移動装置及び細胞移動方法
JP2020183988A (ja) 微小検体ピッキングシステム及び微小検体ピッキングプログラム
WO2018070153A1 (ja) 細胞の撮像方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18764384

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019504397

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018764384

Country of ref document: EP

Effective date: 20190905