WO2019003274A1 - 細胞観察システム - Google Patents

細胞観察システム Download PDF

Info

Publication number
WO2019003274A1
WO2019003274A1 PCT/JP2017/023393 JP2017023393W WO2019003274A1 WO 2019003274 A1 WO2019003274 A1 WO 2019003274A1 JP 2017023393 W JP2017023393 W JP 2017023393W WO 2019003274 A1 WO2019003274 A1 WO 2019003274A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
culture vessel
imaging unit
observation system
imaging
Prior art date
Application number
PCT/JP2017/023393
Other languages
English (en)
French (fr)
Inventor
三由 貴史
真一 瀧本
靖展 伊賀
高橋 晋太郎
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to CN202311460470.1A priority Critical patent/CN117686427A/zh
Priority to JP2019526409A priority patent/JP6928653B2/ja
Priority to CN201780092579.0A priority patent/CN110799636A/zh
Priority to PCT/JP2017/023393 priority patent/WO2019003274A1/ja
Publication of WO2019003274A1 publication Critical patent/WO2019003274A1/ja
Priority to US16/724,372 priority patent/US11493745B2/en

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/12Means for regulation, monitoring, measurement or control, e.g. flow regulation of temperature
    • C12M41/14Incubators; Climatic chambers
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/362Mechanical details, e.g. mountings for the camera or image sensor, housings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/254Analysis of motion involving subtraction of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Definitions

  • the present invention relates to a cell observation system.
  • Patent Document 1 it takes time for the operator to determine the target cell while looking for the target cell while viewing with the observation device, and further, the target cell in the culture vessel is covered. Has the disadvantage of being difficult to discover.
  • the present invention has been made in view of the above-described circumstances, and an object thereof is to provide a cell observation system capable of exhaustively and effectively finding target cells in a work space such as a clean bench.
  • a first imaging device disposed in an incubator, the first imaging device including a first imaging unit for acquiring a first image of cells in a culture vessel, and disposed outside the incubator and removed from the incubator
  • a second imaging device comprising a second imaging unit for acquiring a second image in the culture vessel, a processing device connected to the first imaging device and the second imaging device, and at least a part of the first image
  • a display device for displaying the second image captured by the second imaging unit, and the processing device extracts target cells in the first image acquired by the first imaging device,
  • a cell observation system which calculates and stores the position where the extracted target cell is present, and superimposes the position where the target cell is present on the display showing the culture vessel and displays it on the display device. Is Temu.
  • the first imaging device disposed in the incubator accommodates the culture vessel in which the cells are seeded, and the first imaging unit acquires the first image of the cells in the culture vessel, the acquired first One image is sent to the processor, the target cell in the first image is extracted, and the position where the target cell is present is calculated and stored.
  • a second image is acquired by the second imaging unit.
  • a display indicating the acquired first image, second image and culture vessel is displayed on the display device, and the stored position where the target cell is present is displayed superimposed on the display indicating the culture vessel.
  • the user moves the culture vessel and the second imaging unit relative to each other while viewing the position where the target cell is superimposed on the display showing the culture container, and displays the second image in the vicinity of the position where the target cell is present Can be displayed. And thereby, target cells can be found exhaustively and effectively in a work space such as a clean bench.
  • the second imaging device may include a support that supports the second imaging unit and the culture vessel so as to be relatively movable.
  • the processing device calculates the relative position between the culture vessel and the second imaging unit by searching the second image in the first image by image matching.
  • the display device may display a correspondence between the position where the target cell is present and the position of the second image currently acquired based on the relative position.
  • the processing device acquires the correspondence between the position of the target cell extracted from the first image and the position of the currently acquired second image by image matching and displays it on the display device.
  • the user moves the culture vessel and the second imaging unit relative to each other while viewing the correspondence displayed on the display device to make the field of view of the second imaging unit coincide with the position where the target cell is present, and includes the target cell.
  • the second image can be displayed on the display device.
  • target cells can be found exhaustively and effectively in a work space such as a clean bench.
  • the first imaging unit acquires a plurality of partial images constituting the first image
  • the first imaging device relatively moves the first imaging unit and the culture vessel.
  • a driving unit may be provided, and the partial images may be transmitted to the processing device in association with relative positions of the culture vessel and the first imaging unit when the partial images are acquired.
  • the display showing the culture vessel may be a vessel size image showing the shape of the culture vessel.
  • the processing device may display the second image superimposed on the display indicating the culture container.
  • the display indicating the culture vessel is the first image
  • the processing device displays the second image superimposed on the position corresponding to the second image in the first image. You may By doing this, the display space can be further saved by using the first image as a display showing the culture vessel.
  • the processing device may display the first image acquired by the first imaging device at a position where the target cell is present. By doing this, it is possible to rapidly arrange the target cell in the second image by directly comparing the first image displayed at the position where the target cell is present with the second image.
  • FIG. 1 It is a block diagram showing a cell observation system concerning one embodiment of the present invention. It is a top view which shows the 1st imaging device with which the cell observation system of FIG. 1 is equipped. It is a top view which shows the 2nd imaging device with which the cell observation system of FIG. 1 is equipped. It is a figure which shows an example of the well guide displayed on the display apparatus of the cell observation system of FIG. It is a figure which shows the example of a display in the display apparatus of the cell observation system of FIG. It is a figure which shows the modification which superimposed the mark which shows the position of a 2nd imaging part on the well guide of FIG. It is a perspective view which shows the modification of the 2nd imaging device 5 of the cell observation system of FIG.
  • the cell observation system 1 is disposed in an incubator 2 for culturing cells (see FIG. 5) X, and is loaded with a culture container 3 in which the cells X are seeded,
  • the first imaging device 4 for acquiring a first image of the cell X in the culture vessel 3 and the culture vessel 3 disposed outside the incubator 2 and taken out of the incubator 2 are mounted, and the cell X in the culture vessel 3 is
  • a processing device 6 connected to the first imaging device 4 and the second imaging device 5, and a display device 7 connected to the processing device 6. .
  • the first imaging device 4 has a stage 9 having an at least partially transparent window 8 on which a culture vessel 3 having at least a bottom surface made of an optically transparent material is mounted, and the stage A first imaging unit 10 for imaging the cell X in the culture vessel 3 mounted on the stage 9 below the stage 9 and a driving unit 11 for moving the first imaging unit 10 in two horizontal directions with respect to the stage 9 Is equipped.
  • the culture vessel 3 is, for example, a multi-well plate having a rectangular parallelepiped outer shape and two circular rows of three circular wells.
  • the wells are seeded with cells X and filled with culture medium.
  • Stage 9 is provided with two abutting surfaces 9a that abut the adjacent two sides of the mounted culture vessel 3, and abuts the culture vessel 3 by abutting the two sides of the culture vessel 3 to the two abutting surfaces 9a. It can be mounted in the positioning state.
  • the first imaging unit 10 is a camera provided with a necessary optical system such as a condenser lens, and has a field of view sufficiently smaller than the bottom surface of the culture vessel 3.
  • the drive unit 11 includes, for example, a motor, a slider on which the first imaging unit 10 is mounted, and two linear motion mechanisms that convert the power of the motor into two horizontal motions of the slider.
  • the motor is provided with an encoder (not shown), and the drive unit 11 is operated with the optical axis of the first imaging unit 10 being disposed at a predetermined position with respect to the intersection of the two abutting surfaces 9a. It is possible to detect the horizontal position (relative position) of the first imaging unit 10 at the same time.
  • the first imaging device 4 drives the drive unit 11 to move the first imaging unit 10 to a predetermined position, and the image (partial image) acquired by the first imaging unit 10 and detected by the encoder at that time
  • the position of the first imaging unit 10 is correlated with the position of the first imaging unit 10 and sent to the processing device 6.
  • the second imaging device 5 is provided with a slide stage 13 having an at least partially transparent window 12 and a culture vessel which is disposed under the slide stage 13 and mounted on the slide stage 13.
  • the second imaging unit 14 is a camera provided with a necessary optical system such as a condenser lens, and has a magnification smaller than or equal to that of the first imaging unit 10. Also, it may be configured to be switched to a high magnification for detail confirmation.
  • the slide stage 13 has the culture vessel 3 in the slide stage 13 by sandwiching the culture vessel 3 between the two abutting surfaces 13a that abut the adjacent two side surfaces of the mounted culture vessel 3 and the abutting surfaces 13a. And a container fixing aid 16 for fixing the in position.
  • the container fixing aid 16 is biased by a spring (not shown) in a direction in which the distance between the container fixing aid 16 and the two abutment surfaces 13a is reduced.
  • the support portion 15 is provided with guide rails 17 and 18 for guiding the slide stage 13 in two orthogonal directions.
  • the processing device 6 includes a processor and a memory (not shown).
  • the processing device 6 receives, by the processor, a plurality of images sent from the first imaging device 4 and the position of the first imaging unit 10 when each image is acquired, and combines the plurality of images While generating a larger first image, the generated first image is processed to extract target cells.
  • the target cell can be extracted as being a cell different from other cells X, for example, by calculating the shape feature of the cell X.
  • the processing device 6 is configured to, for example, store in memory the position of the center of gravity of the extracted target cell as the position of the target cell.
  • the processing device 6 is a container that represents the culture container 3 with the mark Y indicating the position where the target cell is present after the extraction of the target cell in all the regions in the first image is completed. It is generated on a well guide superimposed on the dimensional image. The user can select any mark Y displayed on the well guide, and when the mark Y is selected, the processing device 6 includes the target cells extracted at the position corresponding to the mark Y. One image is displayed on the display device 7.
  • the processing device 6 causes the display device 7 to display the well guide, the currently acquired second image itself, and a portion of the first image selected by the user. It has become.
  • the hatched portion in the first image indicates the target cell.
  • the culture vessel 3 containing the cell X and the medium is mounted on the stage 9 of the first imaging device 4 in the incubator 2, and the stage 9 The two adjacent side surfaces of the culture vessel 3 are abutted against the two abutment surfaces 9a provided in. Thereby, the culture container 3 is placed on the stage 9 in a positioned state.
  • the cells X adhering to the bottom of the culture vessel 3 are cultured. Then, for example, when it is time to pass the cell X, the first imaging device 4 is operated to acquire a plurality of partial images of the cell X adhering to the bottom surface of the culture container 3 and The optical axis position of the first imaging unit 10 with respect to the reference position of the stage 9 at the time of acquisition of an image is associated with the partial image and sent to the processing device 6.
  • the processing device 6 combines a plurality of partial images sent to generate a first image having a wider angle of view, and performs processing of extracting a target cell in the generated first image.
  • a target cell for example, cell X determined to be sorted or discarded by a pipette or aspirator as a result of determining the colony state of cell X can be mentioned.
  • the processing device 6 generates a well guide representing the shape of the culture container 3 and superimposes, for example, a circular mark Y on the position extracted as the target cell.
  • the user takes out the culture vessel 3 from the incubator 2 and mounts the culture vessel 3 on the slide stage 13 of the second imaging device 5 disposed on a clean bench outside the incubator 2. Then, the two side surfaces of the culture vessel 3 are abutted against the two abutment surfaces 13 a provided on the slide stage 13, and the culture vessel 3 is fixed on the slide stage 13 by the vessel fixing aid 16. As a result, the second image is acquired by the well guide and the second imaging unit 14 generated by the processing device 6 and displayed on the display device 7.
  • the processing device 6 displays the first image including the target cell at the position corresponding to the selected mark Y on the display device 7.
  • the hatching on the well guide indicates that the mark Y is selected by the user.
  • the user confirms the position of the selected mark Y in the culture vessel 3 by the well guide, and the second The slide stage 13 is moved so that the imaging unit 14 has substantially the same positional relationship as the culture vessel 3.
  • the position of the second imaging unit 14 is disposed at a position substantially corresponding to the position of the selected mark Y with respect to the culture vessel 3, it is displayed on the display device 7 as shown in FIG.
  • the image of the target cell appears in the second image, and the first image and the second image substantially match.
  • target cells extracted in the incubator 2 can be rapidly identified outside the incubator 2. Therefore, the user can separate target cells with a pipette or the like, and can contrast and observe the first image before the separation and the second image after the separation.
  • the first image acquired in the incubator 2 is processed to extract target cells, and the position of the extracted target cells is displayed outside the incubator 2
  • the user can easily confirm the target cell by matching the second imaging unit 14 to the displayed position, and can quickly perform processing such as sorting. Therefore, there is an advantage that the user can exhaustively find out the target cells in the culture container 3 without the trouble of searching for the target cells.
  • the cell X can be maintained in a healthy state without exposing the cell X for a long time to a situation where the culture environment is not ready.
  • the circular mark Y indicating the target cell is superimposed on the well guide indicating the culture container 3, but in addition to this, the first image of the first image acquired by the first imaging device 4 The part may be displayed superimposed.
  • the user can confirm the position of the target cell while viewing the displayed first image, and can more intuitively check the target cell.
  • the container size image is generated and displayed as a display representing the culture container 3, instead of this, the first image itself may be displayed.
  • the optical axis of the second imaging unit 14 with respect to the culture container 3 is searched by searching for the second image acquired by the second imaging unit 14 by performing image matching in the first image.
  • the position may be specified in the first image.
  • the position of the specified second imaging unit 14 may be displayed superimposed on the inside of the well guide by, for example, a rectangular mark Z, as shown in FIG.
  • the slide stage 13 is moved so that the rectangular mark Z indicating the optical axis position of the second imaging unit 14 approaches the mark Y indicating the position of the target cell superimposed on the well guide.
  • the target cells can be displayed in the second image more quickly.
  • the rectangular mark Z representing the second imaging unit 14 may be superimposed and displayed.
  • the relationship between the culture vessel 3 and the second imaging unit 14 in the second imaging device 5 is closer to reality by superimposing the rectangular mark Z representing the second imaging unit 14 on the well guide representing the culture vessel 3
  • the slide stage 13 can be displayed in a shape, and the user can operate the slide stage 13 more intuitively.
  • the 2nd imaging device 5 has the slide stage 13, the abutting surface 13a, and the container fixing aid 16 was illustrated.
  • the orientation of the acquired second image can be made to coincide with the orientation of the first image, and image matching can be facilitated.
  • FIG. 7 a transparent table supporting the culture vessel 3 horizontally above the second imaging unit 14 A stage of the shape of a letter may be adopted. By doing this, the culture vessel 3 can be freely slid on the stage, and the second image can be acquired by the second imaging unit 14 at an arbitrary position and angle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Wood Science & Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Organic Chemistry (AREA)
  • Zoology (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Biotechnology (AREA)
  • Sustainable Development (AREA)
  • Microbiology (AREA)
  • Biochemistry (AREA)
  • General Engineering & Computer Science (AREA)
  • Genetics & Genomics (AREA)
  • Biomedical Technology (AREA)
  • Thermal Sciences (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

クリーンベンチ等の作業空間において対象細胞を網羅的かつ効果的に発見することを目的として、本発明に係る細胞観察システム(1)は、インキュベータ(2)内に配置され、培養容器(3)内の細胞の第1画像を取得する第1撮像部を備える第1撮像装置(4)と、インキュベータ外に配置され、インキュベータから取り出された培養容器内の第2画像を取得する第2撮像部を備える第2撮像装置(5)と、第1撮像装置および第2撮像装置に接続された処理装置(6)と、第1画像の少なくとも一部および第2画像とを表示する表示装置(7)とを備え、処理装置が、第1画像において対象細胞を抽出し、抽出された対象細胞が存在する位置を算出して記憶するとともに、培養容器を示す表示に対象細胞が存在する位置を重畳して表示装置に表示する。

Description

細胞観察システム
 本発明は、細胞観察システムに関するものである。
 クリーンベンチのような作業空間において観察装置を用いて培養容器内部の観察を行いながら、培養容器から対象細胞を採取したり除去したりする技術が知られている(例えば、特許文献1参照。)。
特開2009-106305号公報
 しかしながら、特許文献1の技術では、作業者が観察装置を用いて目視しながら対象細胞を探すため、対象細胞であるかを判断するための時間がかかり、さらに、培養容器内の対象細胞を網羅的に発見することが困難であるという不都合がある。
 本発明は上述した事情に鑑みてなされたものであって、クリーンベンチ等の作業空間において対象細胞を網羅的かつ効果的に発見することができる細胞観察システムを提供することを目的としている。
 本発明の一態様は、インキュベータ内に配置され、培養容器内の細胞の第1画像を取得する第1撮像部を備える第1撮像装置と、前記インキュベータ外に配置され、前記インキュベータから取り出された前記培養容器内の第2画像を取得する第2撮像部を備える第2撮像装置と、前記第1撮像装置および前記第2撮像装置に接続された処理装置と、前記第1画像の少なくとも一部および前記第2撮像部により撮像されている前記第2画像とを表示する表示装置とを備え、前記処理装置が、前記第1撮像装置により取得された前記第1画像において対象細胞を抽出し、抽出された前記対象細胞が存在する位置を算出して記憶するとともに、前記培養容器を示す表示に前記対象細胞が存在する位置を重畳して前記表示装置に表示する細胞観察システムである。
 本態様によれば、インキュベータ内に配置された第1撮像装置に、細胞を播種した培養容器を収容し、第1撮像部によって培養容器内の細胞の第1画像を取得すると、取得された第1画像が処理装置に送られて、第1画像内における対象細胞が抽出され、対象細胞が存在する位置が算出されて記憶される。
 インキュベータ内から培養容器を取り出して、インキュベータ外に配置された第2撮像装置に置載し培養容器と第2撮像部とを相対移動させると、第2撮像部により第2画像が取得される。
 取得された第1画像、第2画像および培養容器を示す表示が、表示装置に表示されるとともに、記憶された対象細胞が存在する位置が培養容器を示す表示に重畳して表示される。
 ユーザは、培養容器を示す表示に重畳された対象細胞が存在する位置を見ながら、培養容器と第2撮像部とを相対移動させて、対象細胞が存在する位置付近の第2画像を表示装置に表示させることができる。そして、これにより、クリーンベンチ等の作業空間において対象細胞を網羅的かつ効果的に発見することができる。
 上記態様においては、前記第2撮像装置が、前記第2撮像部と前記培養容器とを相対移動可能に支持する支持部を備えていてもよい。
 また、上記態様においては、前記処理装置が、前記第1画像内において前記第2画像を画像マッチングにより検索して、前記培養容器と前記第2撮像部との相対位置を算出し、算出された相対位置に基づいて、前記対象細胞が存在する位置と現在取得されている前記第2画像の位置との対応関係を前記表示装置に表示してもよい。
 このようにすることで、処理装置は、第1画像から抽出された対象細胞の位置と、現在取得されている第2画像の位置との対応関係を画像マッチングにより取得し表示装置に表示する。ユーザは表示装置に表示された対応関係を見ながら、培養容器と第2撮像部とを相対移動させて、第2撮像部の視野を対象細胞が存在する位置に一致させて、対象細胞を含む第2画像を表示装置に表示させることができる。そして、これにより、クリーンベンチ等の作業空間において対象細胞を網羅的かつ効果的に発見することができる。
 また、上記態様においては、前記第1撮像部が、前記第1画像を構成する複数枚の部分画像を取得し、前記第1撮像装置が、前記第1撮像部と前記培養容器とを相対移動させる駆動部を備え、各前記部分画像と、該部分画像を取得したときの前記培養容器と前記第1撮像部との相対位置とを対応づけて前記処理装置に送信してもよい。
 このようにすることで、第1撮像部により培養容器内の細胞の複数枚の部分画像が取得され、各部分画像を取得したときの培養容器と第1撮像部との相対位置が対応づけられて記憶部に記憶される。これにより、第1撮像部の視野より大きな第1画像を生成することができる。
 前記培養容器を示す表示が、前記培養容器の形状を示す容器寸法画像であってもよい。
 このようにすることで、表示装置に表示された容器寸法画像を見ながら、重畳して表示されている対象細胞が存在する位置を選択することができる。
 また、上記態様においては、前記処理装置が、前記培養容器を示す表示に前記第2画像を重畳して表示してもよい。
 このようにすることで、培養容器を示す表示と第2画像とを別々に表示する場合と比較して表示スペースを節約することができる。
 また、上記態様においては、前記培養容器を示す表示が前記第1画像であり、前記処理装置が、前記第1画像内の前記第2画像に対応する位置に該第2画像を重畳して表示してもよい。
 このようにすることで、培養容器を示す表示として第1画像を利用して、表示スペースをさらに節約することができる。
 また、上記態様においては、前記処理装置が、前記対象細胞が存在する位置に、前記第1撮像装置により取得された前記第1画像を表示してもよい。
 このようにすることで、対象細胞が存在する位置に表示された第1画像と、第2画像とを直接的に対比して第2画像内に対象細胞を迅速に配置することができる。
本発明の一実施形態に係る細胞観察システムを示すブロック図である。 図1の細胞観察システムに備えられる第1撮像装置を示す平面図である。 図1の細胞観察システムに備えられる第2撮像装置を示す平面図である。 図1の細胞観察システムの表示装置に表示されるウェルガイドの一例を示す図である。 図1の細胞観察システムの表示装置における表示例を示す図である。 図4のウェルガイドに第2撮像部の位置を示すマークを重畳した変形例を示す図である。 図1の細胞観察システムの第2撮像装置5の変形例を示す斜視図である。
 本発明の一実施形態に係る細胞観察システム1について、図面を参照して以下に説明する。
 本実施形態に係る細胞観察システム1は、図1に示されるように、細胞(図5参照。)Xを培養するインキュベータ2内に配置され、細胞Xを播種した培養容器3を搭載して、該培養容器3内の細胞Xの第1画像を取得する第1撮像装置4と、インキュベータ2外に配置され、インキュベータ2から取り出した培養容器3を搭載して、該培養容器3内の細胞Xの第2画像を取得する第2撮像装置5と、第1撮像装置4および第2撮像装置5に接続された処理装置6と、該処理装置6に接続された表示装置7とを備えている。
 第1撮像装置4は、図2に示されるように、少なくとも底面が光学的に透明な材質からなる培養容器3を搭載する、少なくとも部分的に透明な窓部8を有するステージ9と、該ステージ9の下方において、ステージ9に搭載された培養容器3内の細胞Xを撮影する第1撮像部10と、該第1撮像部10をステージ9に対して水平2方向に移動させる駆動部11とを備えている。
 培養容器3は、例えば、外形が直方体状の2行3列の6つの円形状ウェルを有するマルチウェルプレートである。ウェルには細胞Xが播種され、培養液が満たされている。
 ステージ9は、搭載した培養容器3の隣接する2側面を突き当てる2つの突当て面9aを備え、2つの突当て面9aに培養容器3の2側面をそれぞれ突き当てることにより、培養容器3を位置決め状態に搭載することができるようになっている。
 第1撮像部10は、集光レンズ等の必要な光学系を備えるカメラであり、培養容器3の底面よりも十分に小さい視野を備えている。
 駆動部11は、図示しないが、例えば、モータと、第1撮像部10を搭載するスライダと、モータの動力をスライダの水平2方向の動作に変換する2つの直動機構とを備えている。モータには図示しないエンコーダが備えられ、2つの突当て面9aの交点に対して、第1撮像部10の光軸が所定の位置に配置された状態を原点位置とし、駆動部11を作動させたときの第1撮像部10の水平方向位置(相対位置)を検出することができるようになっている。
 これにより第1撮像装置4は、駆動部11を駆動させて第1撮像部10を所定の位置に移動させ、第1撮像部10により取得した画像(部分画像)と、そのときにエンコーダにより検出した第1撮像部10の位置とを対応づけて処理装置6に送るようになっている。
 第2撮像装置5は、図3に示されるように、少なくとも部分的に透明な窓部12を有するスライドステージ13と、該スライドステージ13の下方に配置され、スライドステージ13に搭載された培養容器3内の細胞Xを撮影する第2撮像部14と、スライドステージ13を水平2方向に移動可能に支持する支持部15とを備えている。
 第2撮像部14は、集光レンズ等の必要な光学系を備えるカメラであり、第1撮像部10の倍率よりも低い、あるいは同等の倍率を備えている。また、詳細確認用に高い倍率に切り替えられるよう構成されていてもよい。
 スライドステージ13は、搭載した培養容器3の隣接する2側面を突き当てる2つの突当て面13aと、これら突当て面13aとの間に培養容器3を挟むことにより、スライドステージ13に培養容器3を位置決め状態に固定する容器固定補助具16とを備えている。容器固定補助具16は、図示しないバネにより2つの突当て面13aとの距離を近接させる方向に付勢されている。
 支持部15は、直交する2方向にスライドステージ13を案内するガイドレール17,18を備えている。
 処理装置6は、図示しないプロセッサとメモリとを備えている。処理装置6は、プロセッサにより、第1撮像装置4から送られて来た複数枚の画像と、各画像を取得したときの第1撮像部10の位置とを受け取って、複数枚の画像を組み合わせた、より大きな第1画像を生成するとともに、生成した第1画像を処理して、対象細胞を抽出するようになっている。
 対象細胞は、例えば、細胞Xの形状的特徴を算出することにより、他の細胞Xとは異なる細胞であるとして抽出することができる。処理装置6は、例えば、抽出された対象細胞の重心位置を対象細胞の位置としてメモリに記憶するようになっている。
 そして、処理装置6は、図4に示されるように、第1画像内の全ての領域における対象細胞の抽出が終了した後に、対象細胞が存在する位置を示すマークYを培養容器3を表す容器寸法画像に重畳したウェルガイドに生成するようになっている。ユーザはウェルガイド上に表示されたいずれかのマークYを選択することができ、マークYが選択されると、処理装置6は、該マークYに対応する位置において抽出された対象細胞を含む第1画像を表示装置7に表示させるようになっている。
 したがって、処理装置6は、図5に示されるように、ウェルガイドと、現在取得されている第2画像そのものと、ユーザにより選択された第1画像の一部分とを並べて表示装置7に表示させるようになっている。図中、第1画像における斜線部は、対象細胞を示している。
 ユーザが第2撮像装置5において、培養容器3を水平方向に移動させると、第2撮像部14により撮影している培養容器3内の位置が変化するので、表示装置7に表示されている第2画像がリアルタイムに変化するようになっている。
 このように構成された本実施形態に係る細胞観察システム1の作用について以下に説明する。
 本実施形態に係る細胞観察システム1を用いて細胞Xの観察を行うには、細胞Xおよび培地を収容した培養容器3をインキュベータ2内の第1撮像装置4のステージ9に搭載し、ステージ9に設けられた2つの突当て面9aに培養容器3の2つの隣接する側面を突き当てる。これにより、培養容器3がステージ9に位置決め状態に載置される。
 この状態で、インキュベータ2内を所定の温度および湿度に管理しつつ、培養容器3底面に接着して成長する細胞Xを培養する。そして、例えば、細胞Xを継代する時期になった時点で、第1撮像装置4を作動させ、培養容器3の底面に接着している細胞Xの複数の部分画像を取得するとともに、各部分画像の取得時におけるステージ9の基準位置に対する第1撮像部10の光軸位置を対応づけて部分画像に対応づけて処理装置6に送る。
 処理装置6は、送られてきた複数枚の部分画像を合成してより広い画角を有する第1画像を生成し、生成された第1画像内において、対象細胞を抽出する処理を行う。対象細胞としては、例えば、細胞Xのコロニー状態を判別した結果、ピペットやアスピレータで分取あるいは廃棄すべきであると判定された細胞Xを挙げることができる。
 処理装置6は、図4に示されるように、培養容器3の形状を表すウェルガイドを生成するとともに、対象細胞として抽出された位置に、例えば、円形のマークYを重畳する。
 ユーザはインキュベータ2から培養容器3を取り出して、インキュベータ2外のクリーンベンチに配置された第2撮像装置5のスライドステージ13上に培養容器3を搭載する。そして、スライドステージ13に設けられている2つの突当て面13aに培養容器3の2つの側面を突き当てるとともに、容器固定補助具16によって培養容器3をスライドステージ13上に固定する。これにより、処理装置6によって生成されたウェルガイドおよび第2撮像部14によって第2画像が取得され、表示装置7に表示される。
 ユーザがウェルガイド上において表示したい対象細胞のマークYを選択すると、処理装置6が選択されたマークYに対応する位置の対象細胞を含む第1画像を表示装置7に表示する。(図5において、ウェルガイド上の斜線は、ユーザにより選択されたマークYであることを示している。)ユーザは、選択したマークYの培養容器3における位置をウェルガイドによって確認し、第2撮像部14が培養容器3に対して略同等の位置関係になるようにスライドステージ13を移動させる。
 これにより、培養容器3に対して、第2撮像部14の位置が選択したマークYの位置にほぼ一致する位置に配置されると、図5に示されるように、表示装置7に表示されている第2画像内に対象細胞の画像が出現し、第1画像と第2画像とがほぼ一致するようになる。これにより、インキュベータ2内で抽出された対象細胞をインキュベータ2外で迅速に特定することができる。したがって、ユーザは、ピペット等によって対象細胞を分取することができ、分取前の第1画像と分取後の第2画像とを対比観察することができる。
 このように、本実施形態に係る細胞観察システム1によれば、インキュベータ2内において取得された第1画像を処理して対象細胞を抽出し、抽出された対象細胞の位置をインキュベータ2外において表示するので、ユーザは、表示された位置に第2撮像部14を一致させて対象細胞を容易に確認することができ、分取等の処置を迅速に行うことができる。
 したがって、ユーザが対象細胞を探す手間を省いて、培養容器3内の対象細胞を網羅的に発見することができるという利点がある。
 その結果、インキュベータ2から取り出して対象細胞を探す必要がないので、培養環境が整っていない状況に細胞Xを長時間にわたって晒さずに済み、細胞Xを健全な状態に維持することができる。
 なお、本実施形態においては、培養容器3を示すウェルガイドに対象細胞を示す円形のマークYを重畳することとしたが、これに加えて、第1撮像装置4により取得された第1画像の部分を重畳表示することにしてもよい。これにより、ユーザは表示された第1画像を見ながら対象細胞の位置を確認することができ、より直感的に対象細胞を確認することができる。
 また、培養容器3を表す表示として容器寸法画像を生成して表示することとしたが、これに代えて、第1画像自体を表示することにしてもよい。
 また、本実施形態においては、第2撮像部14により取得された第2画像を第1画像内において、画像マッチングを行うことによって探索することにより、培養容器3に対する第2撮像部14の光軸位置を第1画像内において特定することにしてもよい。そして、特定された第2撮像部14の位置を、図6に示されるように、例えば、矩形のマークZによって、ウェルガイド内に重畳して表示してもよい。
 このようにすることで、ウェルガイドに重畳された対象細胞の位置を示すマークYに、第2撮像部14の光軸位置を示す矩形のマークZが近接するようにスライドステージ13を移動させることができ、より迅速に、第2画像内に対象細胞を表示させることができる。
 また、ウェルガイド内に第2画像の位置を示す矩形のマークZを重畳して表示することに加えて、第2撮像部14を表す矩形のマークZを重畳して表示してもよい。培養容器3を表すウェルガイドに対して第2撮像部14を表す矩形のマークZを重畳することで、第2撮像装置5における培養容器3と第2撮像部14との関係をより現実に近い形で表示でき、ユーザがスライドステージ13をより直感的に操作することができる。
 また、本実施形態においては、第2撮像装置5がスライドステージ13、突当て面13aおよび容器固定補助具16を有する場合を例示した。培養容器3を移動させる際の姿勢を固定することで、取得される第2画像の向きを第1画像の向きと一致させて、画像マッチングを容易にすることができる。
 これに代えて、画像マッチングは並進および回転を考慮しなければならず複雑になるが、図7に示されるように、第2撮像部14の上方に培養容器3を水平に支持する透明なテーブル状のステージを採用してもよい。このようにすることで、培養容器3をステージ上で自由にスライドさせて、任意の位置および角度で第2撮像部14により第2画像を取得させることができる。
 1 細胞観察システム
 2 インキュベータ
 3 培養容器
 4 第1撮像装置
 5 第2撮像装置
 6 処理装置
 7 表示装置
 10 第1撮像部
 11 駆動部
 14 第2撮像部
 15 支持部
 X 細胞

Claims (8)

  1.  インキュベータ内に配置され、培養容器内の細胞の第1画像を取得する第1撮像部を備える第1撮像装置と、
     前記インキュベータ外に配置され、前記インキュベータから取り出された前記培養容器内の第2画像を取得する第2撮像部を備える第2撮像装置と、
     前記第1撮像装置および前記第2撮像装置に接続された処理装置と、
     前記第1画像の少なくとも一部および前記第2撮像部により撮像されている前記第2画像とを表示する表示装置とを備え、
     前記処理装置が、前記第1撮像装置により取得された前記第1画像において対象細胞を抽出し、抽出された前記対象細胞が存在する位置を算出して記憶するとともに、前記培養容器を示す表示に前記対象細胞が存在する位置を重畳して前記表示装置に表示する細胞観察システム。
  2.  前記第2撮像装置が、前記第2撮像部と前記培養容器とを相対移動可能に支持する支持部を備える請求項1に記載の細胞観察システム。
  3.  前記処理装置が、前記第1画像内において前記第2画像を画像マッチングにより検索して、前記培養容器と前記第2撮像部との相対位置を算出し、算出された相対位置に基づいて、前記対象細胞が存在する位置と現在取得されている前記第2画像の位置との対応関係を前記表示装置に表示する請求項1または請求項2に記載の細胞観察システム。
  4.  前記第1撮像部が、前記第1画像を構成する複数枚の部分画像を取得し、
     前記第1撮像装置が、前記第1撮像部と前記培養容器とを相対移動させる駆動部を備え、各前記部分画像と、該部分画像を取得したときの前記培養容器と前記第1撮像部との相対位置とを対応づけて前記処理装置に送信する請求項1から請求項3のいずれかに記載の細胞観察システム。
  5.  前記培養容器を示す表示が、前記培養容器の形状を示す容器寸法画像である請求項1から請求項4のいずれかに記載の細胞観察システム。
  6.  前記処理装置が、前記培養容器を示す表示に前記第2画像を重畳して表示する請求項3に記載の細胞観察システム。
  7.  前記培養容器を示す表示が前記第1画像であり、前記処理装置が、前記第1画像内の前記第2画像に対応する位置に該第2画像を重畳して表示する請求項3に記載の細胞観察システム。
  8.  前記処理装置が、前記対象細胞が存在する位置に、前記第1撮像装置により取得された前記第1画像を表示する請求項1に記載の細胞観察システム。
PCT/JP2017/023393 2017-06-26 2017-06-26 細胞観察システム WO2019003274A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202311460470.1A CN117686427A (zh) 2017-06-26 2017-06-26 细胞观察系统
JP2019526409A JP6928653B2 (ja) 2017-06-26 2017-06-26 細胞観察システム
CN201780092579.0A CN110799636A (zh) 2017-06-26 2017-06-26 细胞观察系统
PCT/JP2017/023393 WO2019003274A1 (ja) 2017-06-26 2017-06-26 細胞観察システム
US16/724,372 US11493745B2 (en) 2017-06-26 2019-12-22 Cell observation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/023393 WO2019003274A1 (ja) 2017-06-26 2017-06-26 細胞観察システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/724,372 Continuation US11493745B2 (en) 2017-06-26 2019-12-22 Cell observation system

Publications (1)

Publication Number Publication Date
WO2019003274A1 true WO2019003274A1 (ja) 2019-01-03

Family

ID=64741250

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/023393 WO2019003274A1 (ja) 2017-06-26 2017-06-26 細胞観察システム

Country Status (4)

Country Link
US (1) US11493745B2 (ja)
JP (1) JP6928653B2 (ja)
CN (2) CN110799636A (ja)
WO (1) WO2019003274A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2019003271A1 (ja) * 2017-06-26 2020-04-23 オリンパス株式会社 細胞観察システム
CN113388500A (zh) * 2021-06-01 2021-09-14 南京大学 一种可用于微重力下的细胞培养监测系统及方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7057967B2 (ja) * 2018-03-29 2022-04-21 大日本印刷株式会社 細胞培養装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4907158A (en) * 1987-05-29 1990-03-06 Carl-Zeiss-Stiftung Method for performing work on cells of a cell culture and apparatus therefor
JPH08338705A (ja) * 1995-06-14 1996-12-24 Olympus Optical Co Ltd 顕微鏡の測定部位位置合せ装置
JP2004180675A (ja) * 2002-11-19 2004-07-02 Sanyo Electric Co Ltd インキュベータ
JP2005348688A (ja) * 2004-06-14 2005-12-22 Olympus Corp 生体試料観察方法及び観察装置
JP2009282198A (ja) * 2008-05-21 2009-12-03 Nikon Corp 顕微鏡装置
JP2010112969A (ja) * 2008-11-04 2010-05-20 Olympus Corp 共焦点顕微鏡
WO2011089908A1 (ja) * 2010-01-20 2011-07-28 株式会社ニコン 細胞観察装置及び細胞培養方法
WO2013094365A1 (ja) * 2011-12-22 2013-06-27 三洋電機株式会社 観察システム、プログラム及び観察システムの制御方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4387525B2 (ja) 1999-05-12 2009-12-16 株式会社アステック クリーンベンチ
JP4435850B2 (ja) 1999-05-12 2010-03-24 株式会社アステック クリーンベンチ
JP3902939B2 (ja) 2001-10-26 2007-04-11 株式会社日立ハイテクノロジーズ 標本中の微小領域測定装置及び方法
AU2002357791B9 (en) 2001-12-05 2008-09-25 The J. David Gladstone Institutes Robotic microscopy systems
JP4405837B2 (ja) 2004-03-19 2010-01-27 ヤマト科学株式会社 組織試料分析装置
CN101048492B (zh) * 2004-11-09 2013-01-09 株式会社钟化 细胞培养装置、图像处理装置和细胞检测系统
CN101351736A (zh) * 2005-12-27 2009-01-21 奥林巴斯株式会社 发光测量装置及发光测量方法
WO2009119330A1 (ja) * 2008-03-24 2009-10-01 株式会社ニコン 細胞観察の画像解析方法、画像処理プログラム及び画像処理装置
KR20140071440A (ko) * 2009-03-09 2014-06-11 도요세이칸 그룹 홀딩스 가부시키가이샤 세포 배양 방법, 세포 배양 장치, 용기 내의 계수 대상물의 계수 방법, 및 계수용 장치
EP2453005B1 (en) * 2009-07-08 2019-09-04 Nikon Corporation Cell picking-assisting device
JP5537855B2 (ja) 2009-07-15 2014-07-02 パナソニックヘルスケア株式会社 培養物観察システム
JP5466976B2 (ja) 2010-03-19 2014-04-09 オリンパス株式会社 顕微鏡システム、観察画像の表示方法、プログラム
JP5413408B2 (ja) 2011-06-09 2014-02-12 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
US9829696B2 (en) * 2013-05-01 2017-11-28 Bio-Rad Laboratories, Inc. Adjustable digital microscope display
WO2015107667A1 (ja) 2014-01-17 2015-07-23 株式会社日立製作所 細胞培養装置
JP2015231343A (ja) 2014-06-09 2015-12-24 富士通株式会社 コロニーの分類修正方法、分類修正プログラム及び分類修正装置
KR102236184B1 (ko) 2017-02-27 2021-04-02 후지필름 가부시키가이샤 현미경 장치 및 관찰 방법과, 현미경 장치 제어 프로그램
JP7215416B2 (ja) 2017-06-13 2023-01-31 ソニーグループ株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
CN110869485A (zh) 2017-06-26 2020-03-06 奥林巴斯株式会社 细胞观察系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4907158A (en) * 1987-05-29 1990-03-06 Carl-Zeiss-Stiftung Method for performing work on cells of a cell culture and apparatus therefor
JPH08338705A (ja) * 1995-06-14 1996-12-24 Olympus Optical Co Ltd 顕微鏡の測定部位位置合せ装置
JP2004180675A (ja) * 2002-11-19 2004-07-02 Sanyo Electric Co Ltd インキュベータ
JP2005348688A (ja) * 2004-06-14 2005-12-22 Olympus Corp 生体試料観察方法及び観察装置
JP2009282198A (ja) * 2008-05-21 2009-12-03 Nikon Corp 顕微鏡装置
JP2010112969A (ja) * 2008-11-04 2010-05-20 Olympus Corp 共焦点顕微鏡
WO2011089908A1 (ja) * 2010-01-20 2011-07-28 株式会社ニコン 細胞観察装置及び細胞培養方法
WO2013094365A1 (ja) * 2011-12-22 2013-06-27 三洋電機株式会社 観察システム、プログラム及び観察システムの制御方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2019003271A1 (ja) * 2017-06-26 2020-04-23 オリンパス株式会社 細胞観察システム
US11461892B2 (en) 2017-06-26 2022-10-04 Evident Corporation Cell observation system
CN113388500A (zh) * 2021-06-01 2021-09-14 南京大学 一种可用于微重力下的细胞培养监测系统及方法
CN113388500B (zh) * 2021-06-01 2024-03-12 南京大学 一种可用于微重力下的细胞培养监测系统及方法

Also Published As

Publication number Publication date
JPWO2019003274A1 (ja) 2020-04-23
US20200124836A1 (en) 2020-04-23
JP6928653B2 (ja) 2021-09-01
CN117686427A (zh) 2024-03-12
CN110799636A (zh) 2020-02-14
US11493745B2 (en) 2022-11-08

Similar Documents

Publication Publication Date Title
CN108627964B (zh) 一种全自动显微扫描仪
JP5021254B2 (ja) 顕微鏡装置の制御方法、顕微鏡装置
US11493745B2 (en) Cell observation system
KR101495011B1 (ko) 카메라 시스템 좌표계의 측정 및 변환
CN104111524A (zh) 数码显微镜以及优化数码显微镜中工作流程的方法
US9189677B2 (en) Recording medium having observation program recorded therein and observation apparatus
US20180088306A1 (en) Observation Method and Specimen Observation Apparatus
US11461892B2 (en) Cell observation system
US11818471B2 (en) Unscanned optical inspection system using a micro camera array
US10129480B2 (en) Specimen observation device
US9145572B2 (en) Observation system, recording medium, and control method of observation system
EP1768065A1 (en) Multipoint time-lapse imaging with irradiation dose control
JP2006090792A (ja) X線透視装置
US8994806B2 (en) Microscope apparatus chronologically storing different types of image information
KR101763199B1 (ko) 미세 대상물 관찰 장치
JP2008281771A (ja) 顕微測定装置
JP4046161B2 (ja) 標本画像データ処理方法及び標本検査システム
JP2011013416A (ja) マニピュレーションシステム及びマニピュレーションシステム駆動方法
JP2017120339A (ja) 顕微鏡システム、顕微鏡システムの制御方法およびプログラム
CN105181711A (zh) 一种多层石墨烯污点定位检测装置
CN111433594B (zh) 拍摄装置
JP2010282229A (ja) 光学顕微鏡システム及び画像データ処理方法
JP2017072785A (ja) 顕微鏡
JP2011102916A (ja) 顕微鏡システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17915489

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019526409

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17915489

Country of ref document: EP

Kind code of ref document: A1