JPWO2019225325A1 - Observation device, operation method of observation device, and observation control program - Google Patents

Observation device, operation method of observation device, and observation control program Download PDF

Info

Publication number
JPWO2019225325A1
JPWO2019225325A1 JP2020521148A JP2020521148A JPWO2019225325A1 JP WO2019225325 A1 JPWO2019225325 A1 JP WO2019225325A1 JP 2020521148 A JP2020521148 A JP 2020521148A JP 2020521148 A JP2020521148 A JP 2020521148A JP WO2019225325 A1 JPWO2019225325 A1 JP WO2019225325A1
Authority
JP
Japan
Prior art keywords
medium
amount
observation
unit
detection unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2020521148A
Other languages
Japanese (ja)
Inventor
兼太 松原
兼太 松原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2019225325A1 publication Critical patent/JPWO2019225325A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00—Apparatus for enzymology or microbiology
    • C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/06—Means for illuminating specimens
    • G02B21/08—Condensers
    • G02B21/14—Condensers affording illumination for phase-contrast observation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/26—Stages; Adjusting means therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements

Abstract

観察装置、観察装置の作動方法、及び観察制御プログラムにおいて、培地量の過多又は不足を検出する。観察装置は、培地を含む観察対象を収容した容器の形状情報を受け付ける受付部と、受付部が受け付けた形状情報に対応する容器に収容された観察対象を表す位相差画像情報を取得する取得部と、取得部により取得された位相差画像情報に基づいて推定された培地量が、受付部が受け付けた形状情報に対応する閾値の範囲から外れるか否かを検出する検出部を備え、閾値の範囲は、異なる種類の容器の形状情報毎に予め設定された培地量の複数の閾値の範囲から選択された閾値の範囲である。An excess or deficiency of the amount of medium is detected in the observation device, the operation method of the observation device, and the observation control program. The observation device is a reception unit that receives shape information of a container containing an observation target including a medium, and an acquisition unit that acquires phase difference image information representing the observation target housed in the container corresponding to the shape information received by the reception unit. A detection unit for detecting whether or not the amount of medium estimated based on the phase difference image information acquired by the acquisition unit is out of the threshold range corresponding to the shape information received by the reception unit is provided. The range is a range of thresholds selected from a range of a plurality of thresholds of a preset medium amount for each shape information of different types of containers.

Description


本開示は、容器内に収容された観察対象を観察する観察装置、観察装置の作動方法、及び観察制御プログラムに関する。
The present disclosure relates to an observation device for observing an observation object housed in a container, an operation method of the observation device, and an observation control program.


従来、ＥＳ（Embryonic Stem）細胞及びｉＰＳ（Induced Pluripotent Stem）細胞等の多能性幹細胞や分化誘導された細胞等を顕微鏡等で撮影し、その画像の特徴を捉えることで細胞の分化状態などを判定する方法が提案されている。そして、ＥＳ細胞及びｉＰＳ細胞等の多能性幹細胞は、種々の組織の細胞に分化する能力を備えており、再生医療、薬の開発、病気の解明などにおいて応用が可能な細胞として注目されている。細胞を顕微鏡により撮影する際には、高倍率な広視野画像を取得するため、例えばウェルプレート等の培養容器の範囲内を結像光学系によって走査し、観察位置毎の画像を撮影した後、その観察位置毎の画像を結合する、いわゆるタイリング撮影を行うことが提案されている。
Conventionally, pluripotent stem cells such as ES (Embryonic Stem) cells and iPS (Induced Pluripotent Stem) cells, differentiation-induced cells, etc. are photographed with a microscope or the like, and the differentiation state of the cells is captured by capturing the characteristics of the images. A method of determination has been proposed. Pluripotent stem cells such as ES cells and iPS cells have the ability to differentiate into cells of various tissues, and are attracting attention as cells that can be applied in regenerative medicine, drug development, elucidation of diseases, etc. There is. When photographing cells with a microscope, in order to obtain a high-magnification wide-field image, for example, the range of a culture vessel such as a well plate is scanned by an imaging optical system, and after taking an image for each observation position, the cells are photographed. It has been proposed to perform so-called tyling photography in which images for each observation position are combined.


上述したように細胞を撮影する際に使用される顕微鏡には、例えば位相差顕微鏡がある。一般的な位相差顕微鏡においては、リング状の照明光が観察対象に照射され、観察対象を通過した直接光と回折光が位相板に入射される。そして、直接光は位相板のリング部分によって減光され、回折光は位相板の透明な部分を通過し、この直接光と回折光とが結像されることによって明暗のコントラストのついた像を撮影することができる。
As described above, the microscope used when photographing cells includes, for example, a phase-contrast microscope. In a general phase-contrast microscope, ring-shaped illumination light is applied to the observation target, and direct light and diffracted light that have passed through the observation target are incident on the phase plate. Then, the direct light is dimmed by the ring portion of the phase plate, the diffracted light passes through the transparent portion of the phase plate, and the direct light and the diffracted light are imaged to form an image with a contrast between light and dark. You can shoot.


位相差顕微鏡によって培地を含む観察対象を観察する場合、例えば培地が培養液である場合には、培養液の量によって、培養液の液面に形成されるメニスカスの形状パターンが異なってしまう。メニスカスの形状パターンが異なると、位相差顕微鏡により観察対象を観察する場合に、位相板に入射される直接光と回折光とに与える影響が異なってしまうので、培養液の量によって撮影画像の画質が変わってしまう。
When observing an observation target including a medium with a phase-contrast microscope, for example, when the medium is a culture medium, the shape pattern of the meniscus formed on the liquid surface of the culture medium differs depending on the amount of the culture medium. If the shape pattern of the meniscus is different, the effect on the direct light incident on the phase plate and the diffracted light will be different when observing the observation target with a phase-contrast microscope. Will change.


しかしながら、培養容器に培養液を入れる際に、ユーザの手動により入れる場合には人によるばらつきにより、電動ピペットで入れる場合には電動ピペットの不具合により、培地量が一定ではない場合がある。また培地の蒸発等により、培地量が変動する場合もある。このように培地量が変動する要素が複数あるため、培養容器に収容された培地量が適切な量であるか否かを把握することが非常に重要である。
However, when the culture solution is put into the culture vessel, the amount of the medium may not be constant due to the variation among people when the culture solution is put in manually by the user and due to the malfunction of the electric pipette when the culture solution is put in with the electric pipette. In addition, the amount of medium may fluctuate due to evaporation of the medium or the like. Since there are a plurality of factors in which the amount of medium fluctuates in this way, it is very important to understand whether or not the amount of medium contained in the culture vessel is an appropriate amount.


一方、培養容器に収容された培地量を把握するためには、重量を測定してモニターする方法があるが、重量を測定するためのセンサを必要とするため、顕微鏡装置の構造が複雑になる。
On the other hand, in order to grasp the amount of medium contained in the culture vessel, there is a method of measuring and monitoring the weight, but the structure of the microscope device becomes complicated because a sensor for measuring the weight is required. ..


そこで、例えば特許文献１には、撮影画像において培養容器の底面の輪郭と培地の表面の輪郭を抽出することによって培地の高さを算出することにより、新たな構成を付加することなく培地量を把握する方法が開示されている。また、特許文献２には、観察対象の位相差画像の輝度分布に基づいて、容器内の液体の液面形状を推定することによって、液面形状に起因する光の屈折を調整することにより、メニスカスの影響を抑制した位相差画像を撮像する方法が開示されている。特許文献３には、カラー画像のＲＧＢ(Red-Green-Blue)信号値に基づいて培地量を推定し、培地量の推定値が設定範囲から外れる場合に異常信号を出力する方法が開示されている。
Therefore, for example, in Patent Document 1, the height of the medium is calculated by extracting the contour of the bottom surface of the culture vessel and the contour of the surface of the medium in the photographed image, so that the amount of the medium can be determined without adding a new configuration. The method of grasping is disclosed. Further, in Patent Document 2, the liquid level shape of the liquid in the container is estimated based on the brightness distribution of the phase difference image to be observed, and the refraction of light due to the liquid level shape is adjusted. A method for capturing a phase difference image in which the influence of meniscus is suppressed is disclosed. Patent Document 3 discloses a method of estimating a medium amount based on an RGB (Red-Green-Blue) signal value of a color image and outputting an abnormal signal when the estimated value of the medium amount is out of the set range. There is.


国際公開ＷＯ２００８／１４６４７４号International release WO2008 / 146474 特開２０１７−１５１１３２号公報JP-A-2017-151132 国際公開ＷＯ２００７／０５５３１７号International release WO2007 / 055317


しかしながら、特許文献１には、新たな構成を付加することなく培地量を把握しているが、培地量を把握するための画像を細胞観察画像とは別に取得する必要がある。また、特許文献２には、容器内の液面形状を推定する方法は記載されているが、容器内の液量を推定することは記載されておらず、培地量が予め設定された適正量であるか否かを検出することについては記載されていない。特許文献３は、試料を顕微鏡観察するための試料観察画像を取得するための顕微観察系の他に、培地量を推定するために用いる観察領域全体を表すカラー画像を取得するための容器観察系が必要である。
However, although Patent Document 1 grasps the amount of medium without adding a new configuration, it is necessary to acquire an image for grasping the amount of medium separately from the cell observation image. Further, Patent Document 2 describes a method of estimating the liquid level shape in the container, but does not describe estimating the liquid amount in the container, and the medium amount is a preset appropriate amount. There is no mention of detecting whether or not it is. Patent Document 3 describes a container observation system for acquiring a color image representing the entire observation region used for estimating the amount of medium, in addition to a microscopic observation system for acquiring a sample observation image for microscopic observation of a sample. is required.


本開示は上記事情に鑑みなされたものであり、位相差画像以外の画像を取得することなく、培地量の過多又は不足の容器を検出することができる観察装置及び観察装置の作動方法並びに観察制御プログラムを提供することを目的とする。
The present disclosure has been made in view of the above circumstances, and is an operation method and observation control of an observation device and an observation device capable of detecting a container having an excessive or insufficient amount of medium without acquiring an image other than a retardation image. The purpose is to provide a program.


本開示の観察装置は、培地を含む観察対象を収容した容器の形状情報を受け付ける受付部と、

受付部が受け付けた形状情報に対応する容器に収容された観察対象を表す位相差画像情報を取得する取得部と、

取得部により取得された位相差画像情報に基づいて推定された培地量が、受付部が受け付けた形状情報に対応する閾値の範囲から外れるか否かを検出する検出部を備え、

閾値の範囲は、異なる種類の容器の形状情報毎に予め設定された培地量の複数の閾値の範囲から選択された閾値の範囲である。
The observation device of the present disclosure includes a reception unit that receives shape information of a container containing an observation target including a medium, and a reception unit.

An acquisition unit that acquires phase difference image information representing an observation target housed in a container corresponding to the shape information received by the reception unit, and an acquisition unit.

It is provided with a detection unit for detecting whether or not the amount of medium estimated based on the phase difference image information acquired by the acquisition unit is out of the threshold range corresponding to the shape information received by the reception unit.

The threshold range is a threshold range selected from a plurality of threshold ranges of a preset medium amount for each shape information of different types of containers.


なお、本開示において、「容器の形状情報」は、観察対象を収容する収容部の収容量を特定できる情報を意味する。
In the present disclosure, the "container shape information" means information that can specify the storage capacity of the storage unit that houses the observation target.


また、本開示の観察装置は、検出部が閾値の範囲から外れることを検出した場合に、閾値の範囲から外れることが検出された容器の培地量を適正量に調整するか、または容器の培地量を適正量に調整するための提示を行なう調整部を備えてもよい。
Further, the observation device of the present disclosure adjusts the amount of medium in the container detected to be out of the threshold range to an appropriate amount when the detection unit detects that the detection unit is out of the threshold range, or the medium in the container. An adjusting unit may be provided to make a presentation for adjusting the amount to an appropriate amount.


また、本開示の観察装置は、検出部が閾値の範囲から外れることを検出した場合に、培地量の過多又は不足であることを報知する報知部を備えてもよい。
In addition, the observation device of the present disclosure may include a notification unit that notifies that the amount of medium is excessive or insufficient when the detection unit detects that the detection unit is out of the threshold range.


なお、本開示において、「培地量の過多又は不足であることを報知する」は、培地量を増やすように報知すること、培地量を減らすように報知すること、及び培地を交換するように報知することも含む。
In the present disclosure, "notifying that the amount of medium is excessive or insufficient" means notifying that the amount of medium should be increased, notifying that the amount of medium should be decreased, and notifying that the amount of medium should be replaced. Including to do.


また、本開示において、「報知部」は、メッセージ等を可視表示させるディスプレイ、音声が出力されることにより可聴表示させる音声再生装置、用紙等の記録媒体に記録して永久可視表示させるプリンタ、メールや電話等の通信手段及び表示灯等を意味し、上記ディスプレイ、上記音声再生装置、上記プリンタ、上記通信手段及び上記表示灯のうちの少なくとも２つ以上を組み合わせてもよい。
Further, in the present disclosure, the "notifying unit" includes a display for visually displaying a message or the like, an audio reproduction device for displaying an audible display by outputting voice, a printer for recording on a recording medium such as paper, and a mail for permanently visible display. It means a communication means such as a telephone or a telephone, an indicator light, etc., and at least two or more of the display, the voice reproduction device, the printer, the communication means, and the indicator light may be combined.


また、本開示の観察装置は、取得部が、培地量が適正量に調整された後に、検出部により閾値の範囲から外れることが検出された容器に収容された観察対象を表す画像情報を再度取得してもよい。
Further, in the observation device of the present disclosure, after the acquisition unit adjusts the amount of the medium to an appropriate amount, the image information representing the observation target housed in the container detected by the detection unit to be out of the threshold range is regenerated. You may get it.


また、本開示の観察装置は、検出部が、位相差画像情報に基づいた輝度分布情報を取得し、予め設定された輝度分布情報と培地量との関係に基づいて培地量を推定することができる。
Further, in the observation device of the present disclosure, the detection unit can acquire the luminance distribution information based on the retardation image information and estimate the culture medium amount based on the relationship between the preset luminance distribution information and the culture medium amount. it can.


また、本開示の観察装置は、閾値の範囲が、観察対象を撮影する撮影条件毎に設けられていてもよい。
Further, in the observation device of the present disclosure, a threshold range may be provided for each imaging condition for photographing the observation target.


また、本開示の観察装置は、異なる種類の容器の形状情報毎、及び容器における観察領域の座標位置毎に、位相差画像情報と培地量との関係が設定されており、

検出部が、設定された関係から培地量を推定してもよい。
Further, in the observation device of the present disclosure, the relationship between the phase difference image information and the amount of medium is set for each shape information of different types of containers and for each coordinate position of the observation area in the container.

The detection unit may estimate the amount of medium from the set relationship.


また、本開示の観察装置は、検出部が、容器全体を表す位相差画像情報を用いて培地量

を推定してもよい。
Further, in the observation device of the present disclosure, the detection unit uses the phase difference image information representing the entire container to measure the amount of medium.

May be estimated.


また、本開示の観察装置は、検出部が、容器の中心領域を表す位相差画像情報を用いて培地量を推定してもよい。
Further, in the observation device of the present disclosure, the detection unit may estimate the amount of medium by using the retardation image information representing the central region of the container.


本開示の観察装置の作動方法は、受付部、取得部、及び検出部を備える観察装置の作動方法であって、

受付部が、培地を含む観察対象を収容した容器の形状情報を受け付け、

取得部が、受付部が受け付けた形状情報に対応する容器に収容された観察対象を表す位相差画像情報を取得し、

検出部が、取得部により取得された位相差画像情報に基づいて推定された培地量が、受付部が受け付けた形状情報に対応する閾値の範囲から外れるか否かを検出し、閾値の範囲は、異なる種類の容器の形状情報毎に予め設定された培地量の複数の閾値の範囲から選択された閾値の範囲であることを含む。
The method of operating the observation device of the present disclosure is a method of operating an observation device including a reception unit, an acquisition unit, and a detection unit.

The reception section receives the shape information of the container containing the observation target including the medium, and receives it.

The acquisition unit acquires the phase difference image information representing the observation target housed in the container corresponding to the shape information received by the reception unit.

The detection unit detects whether or not the amount of medium estimated based on the phase difference image information acquired by the acquisition unit is out of the threshold range corresponding to the shape information received by the reception unit, and the threshold range is set. Includes that it is a threshold range selected from a plurality of threshold ranges of a preset medium amount for each shape information of different types of containers.


本開示の観察制御プログラムは、コンピュータを、

上記観察装置に含まれる受付部、取得部、及び検出部として機能させる。
The observation control program of the present disclosure is a computer.

It functions as a reception unit, an acquisition unit, and a detection unit included in the observation device.


なお、本開示による観察装置の作動方法をコンピュータに実行させるプログラムとして提供してもよい。
It should be noted that it may be provided as a program for causing a computer to execute the operation method of the observation device according to the present disclosure.


本開示による他の観察装置は、コンピュータに実行させるための命令を記憶するメモリと、

記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、

培地を含む観察対象を収容した容器の形状情報を受け付け、

受け付けた形状情報に対応する容器に収容された観察対象を表す位相差画像情報を取得し、

取得された位相差画像情報に基づいて推定された培地量が、上記受け付けた形状情報に対応する閾値の範囲から外れるか否かを検出する処理を実行し、閾値の範囲は、異なる種類の容器の形状情報毎に予め設定された培地量の複数の閾値の範囲から選択された閾値の範囲である。
Other observation devices according to the present disclosure include a memory for storing instructions to be executed by a computer, and a memory.

The processor comprises a processor configured to execute a stored instruction.

Receives shape information of the container containing the observation target including the medium,

Acquires the phase difference image information representing the observation target housed in the container corresponding to the received shape information, and obtains the phase difference image information.

A process of detecting whether or not the amount of medium estimated based on the acquired phase difference image information deviates from the threshold range corresponding to the received shape information is executed, and the threshold range is different for different types of containers. It is a threshold range selected from a plurality of threshold ranges of a preset medium amount for each shape information of.


本開示によれば、培地を含む観察対象を収容した容器の形状情報を受け付け、受け付けた形状情報に対応する容器に収容された観察対象を表す位相差画像情報を取得し、取得された位相差画像情報に基づいて推定された培地量が、上記受け付けた形状情報に対応する閾値の範囲であって、かつ異なる種類の容器の形状情報毎に予め設定された培地量の複数の閾値の範囲から選択された閾値から外れるか否かを検出するので、位相差画像以外の画像を取得することなく、閾値から外れた容器を培地量の過多又は不足の容器として検出することができる。これにより培地量の過多又は不足の容器において、培地量を調整したり、培地を交換したりすることにより、適切な培地量で観察対象を撮影することができるので、撮影画像の画質の低下を抑制することができる。
According to the present disclosure, the shape information of the container containing the observation target including the medium is received, the phase difference image information representing the observation target housed in the container corresponding to the received shape information is acquired, and the acquired phase difference is obtained. The medium amount estimated based on the image information is within the threshold range corresponding to the received shape information, and is from a plurality of threshold ranges of the medium amount preset for each shape information of different types of containers. Since it is detected whether or not the container deviates from the selected threshold value, the container deviating from the threshold value can be detected as a container having an excessive or insufficient amount of medium without acquiring an image other than the phase difference image. As a result, in a container with an excessive or insufficient amount of medium, the observation target can be photographed with an appropriate amount of medium by adjusting the amount of medium or exchanging the medium, so that the image quality of the photographed image is deteriorated. It can be suppressed.


本開示の観察装置を適用した顕微鏡観察システムの一実施形態の概略構成を示す図The figure which shows the schematic structure of one Embodiment of the microscope observation system which applied the observation apparatus of this disclosure. ウェルプレートにおける観察位置の走査位置を実線で示した図A solid line showing the scanning position of the observation position on the well plate. 培地量検出部の構成を示す概略ブロック図Schematic block diagram showing the configuration of the medium amount detection unit 図３の培地量検出部による処理を示すフローチャートFlow chart showing processing by the medium amount detection unit of FIG. 顕微鏡観察システムの処理を説明するための図Diagram to illustrate the processing of the microscope observation system 培地量推定方法を説明するための図The figure for demonstrating the medium amount estimation method 第２の実施形態の培地量検出部の構成を示す概略ブロック図Schematic block diagram showing the configuration of the culture medium amount detection unit of the second embodiment 図７の培地量検出部による処理を示すフローチャートFlow chart showing processing by the medium amount detection unit of FIG. 観察制御プログラムが記憶された記憶媒体から観察制御プログラムが顕微鏡制御装置にインストールされる態様の一例を示す概念図Conceptual diagram showing an example of a mode in which the observation control program is installed in the microscope control device from the storage medium in which the observation control program is stored.


以下、本開示の観察装置、観察装置の作動方法及び観察制御プログラムの一実施形態を適用した顕微鏡観察システムについて、図面を参照しながら詳細に説明する。本開示の一実施形態の顕微鏡観察システムは、図１に示すように、顕微鏡装置１、顕微鏡制御装置２、表示装置３、および入力装置４を備える。なお、顕微鏡制御装置２が本開示の観察装置を含む。
Hereinafter, the observation device of the present disclosure, the operation method of the observation device, and the microscope observation system to which one embodiment of the observation control program is applied will be described in detail with reference to the drawings. As shown in FIG. 1, the microscope observation system of one embodiment of the present disclosure includes a microscope device 1, a microscope control device 2, a display device 3, and an input device 4. The microscope control device 2 includes the observation device of the present disclosure.


本実施形態において、顕微鏡装置１は位相差顕微鏡であり、観察対象として、例えば培養された細胞の位相差画像を取得するものである。具体的には、顕微鏡装置１は、図１に示すように、照明光照射部１０、結像光学系３０、ステージ６１、および撮影部４０を備える。
In the present embodiment, the microscope device 1 is a phase-contrast microscope, and as an observation target, for example, a phase-contrast image of cultured cells is acquired. Specifically, as shown in FIG. 1, the microscope device 1 includes an illumination light irradiation unit 10, an imaging optical system 30, a stage 61, and an imaging unit 40.


ステージ６１上には、細胞等の観察対象Ｓおよび培地として培養液Ｃが収容された培養容器７１が設置される。ステージ６１の中央には、矩形の開口が形成されている。この開口を形成する部材の上に培養容器７１が設置され、培養容器７１内の観察対象Ｓの位相差画像が開口を通過するように構成されている。
On the stage 61, a culture vessel 71 containing an observation target S such as cells and a culture solution C as a medium is installed. A rectangular opening is formed in the center of the stage 61. The culture container 71 is installed on the member forming the opening, and the phase difference image of the observation target S in the culture container 71 is configured to pass through the opening.


ステージ６１上に設置された培養容器７１内には、観察対象Ｓとして、培養された細胞群（細胞コロニー）が配置される。培養された細胞としては、ｉＰＳ細胞およびＥＳ細胞といった多能性幹細胞、幹細胞から分化誘導された神経、皮膚、心筋および肝臓の細胞、並びに人体から取り出された皮膚、網膜、心筋、血球、神経および臓器の細胞等がある。

培養容器７１としては、例えばウェルプレート上に配列された複数のウェル（本開示の容器に相当する）が用いられるが、これに限らず、シャーレやフラスコ、ディッシュ等を用いるようにしてもよい。なお、本実施形態においては、複数のウェルが配列されたウェルプレート７０を使用し、ウェルプレート７０の各ウェルが培養容器７１に対応する。以下、培養容器７１をウェル７１と総称して説明する場合もある。
In the culture vessel 71 installed on the stage 61, a cultured cell group (cell colony) is arranged as an observation target S. Cultured cells include pluripotent stem cells such as iPS cells and ES cells, nerves induced to differentiate from stem cells, skin, myocardium and liver cells, and skin, retina, myocardium, blood cells, nerves and nerves taken from the human body. There are cells of organs.

As the culture container 71, for example, a plurality of wells (corresponding to the container of the present disclosure) arranged on a well plate are used, but the culture dish 71 is not limited to this, and a petri dish, a flask, a dish, or the like may be used. In this embodiment, a well plate 70 in which a plurality of wells are arranged is used, and each well of the well plate 70 corresponds to the culture vessel 71. Hereinafter, the culture vessel 71 may be generically referred to as a well 71.


ステージ６１上に設置された培養容器７１は、培養容器７１内の底面が観察対象Ｓの設置面Ｐ１であり、設置面Ｐ１に観察対象Ｓが配置される。培養容器７１内には培養液Ｃが満たされている。なお、本実施形態においては、培養液中において培養される細胞を観察対象Ｓとしたが、観察対象Ｓとしてはこのような培養液中のものに限らず、水、ホルマリン、エタノール、およびメタノール等の液体中において固定された細胞を観察対象Ｓとしてもよい。
In the culture vessel 71 installed on the stage 61, the bottom surface of the culture vessel 71 is the installation surface P1 of the observation target S, and the observation target S is arranged on the installation surface P1. The culture container 71 is filled with the culture solution C. In the present embodiment, the cells to be cultured in the culture medium are set as the observation target S, but the observation target S is not limited to those in such a culture solution, and water, formalin, ethanol, methanol and the like are used. The cells fixed in the liquid of the above may be the observation target S.


照明光照射部１０は、ステージ６１上の培養容器７１内に収容された観察対象Ｓに対して、いわゆる位相差計測のための照明光を照射するものであり、本実施形態では、その位相差計測用の照明光としてリング状照明光を照射する。
The illumination light irradiation unit 10 irradiates the observation target S housed in the culture vessel 71 on the stage 61 with illumination light for so-called phase difference measurement, and in the present embodiment, the phase difference thereof. A ring-shaped illumination light is irradiated as an illumination light for measurement.


具体的には、本実施形態の照明光照射部１０は、位相差計測用の白色光を出射する白色光源１１、リング形状のスリットを有し、白色光源１１から出射された白色光が入射されてリング状照明光を出射するスリット板１２、およびスリット板１２から出射されたリング状照明光が入射され、入射されたリング状照明光を観察対象Ｓに対して照射するコンデンサレンズ１３を備える。
Specifically, the illumination light irradiation unit 10 of the present embodiment has a white light source 11 that emits white light for phase difference measurement and a ring-shaped slit, and the white light emitted from the white light source 11 is incident on the white light source 11. It is provided with a slit plate 12 that emits ring-shaped illumination light, and a condenser lens 13 that is incident with ring-shaped illumination light emitted from the slit plate 12 and irradiates the incident ring-shaped illumination light to the observation target S.


スリット板１２は、白色光源１１から出射された白色光を遮光する遮光板に対して白色光を透過するリング形状のスリットが設けられたものであり、白色光がスリットを通過することによってリング状照明光が形成される。コンデンサレンズ１３は、スリット板１２から出射されたリング状照明光を観察対象Ｓに向かって収束させる。
The slit plate 12 is provided with a ring-shaped slit that transmits white light to a light-shielding plate that blocks white light emitted from the white light source 11, and the white light passes through the slit to form a ring shape. Illumination light is formed. The condenser lens 13 converges the ring-shaped illumination light emitted from the slit plate 12 toward the observation target S.


結像光学系３０は、培養容器７１内の観察対象Ｓの像を撮影部４０に結像するものであり、対物レンズ３１、位相板３２および結像レンズ３３を備える。
The imaging optical system 30 forms an image of the observation target S in the culture vessel 71 on the photographing unit 40, and includes an objective lens 31, a phase plate 32, and an imaging lens 33.


位相板３２は、リング状照明光の波長に対して透明な透明板に対して位相リングを形成したものである。なお、上述したスリット板１２のスリットの大きさは、この位相リングと共役な関係にある。
The phase plate 32 is formed by forming a phase ring on a transparent plate that is transparent to the wavelength of the ring-shaped illumination light. The size of the slit of the slit plate 12 described above has a conjugate relationship with this phase ring.


位相リングは、入射された光の位相を１／４波長ずらす位相膜と、入射された光を減光する減光フィルタとがリング状に形成されたものである。位相板３２に入射された直接光は位相リングを通過することによって位相が１／４波長ずれ、かつその明るさが弱められる。一方、観察対象Ｓによって回折された回折光は大部分が位相板３２の透明板の部分を通過し、その位相および明るさは変化しない。
The phase ring is formed by forming a ring-shaped phase film that shifts the phase of the incident light by 1/4 wavelength and a dimming filter that dims the incident light. The direct light incident on the phase plate 32 passes through the phase ring, so that the phase shifts by 1/4 wavelength and the brightness thereof is weakened. On the other hand, most of the diffracted light diffracted by the observation target S passes through the transparent plate portion of the phase plate 32, and its phase and brightness do not change.


結像レンズ３３は、位相板３２を通過した直接光および回折光が入射され、これらの光を撮影部４０に結像する。
Direct light and diffracted light that have passed through the phase plate 32 are incident on the imaging lens 33, and these lights are imaged on the photographing unit 40.


撮影部４０は、結像レンズ３３によって結像された観察対象Ｓの像を受光し、観察対象

Ｓを撮影して位相差画像を出力する撮像素子を備える。撮像素子としては、ＣＣＤ（charge-coupled device）イメージセンサ、およびＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等を用いることができる。
The photographing unit 40 receives an image of the observation target S imaged by the imaging lens 33, and receives an observation target.

An image sensor that captures S and outputs a phase difference image is provided. As the image pickup device, a CCD (charge-coupled device) image sensor, a CMOS (Complementary Metal-Oxide Semiconductor) image sensor, or the like can be used.


また、ステージ６１は、駆動部６２により駆動されて、水平面内において互いに直交するＸ方向およびＹ方向に移動する。図２は、６つのウェル７１を有するウェルプレート７０を用いた場合における、観察位置の走査位置を実線で示した図である。図２に示すように、結像光学系３０は、走査開始点７５から走査終了点７６まで実線７７に沿って移動する。すなわち、結像光学系３０による培養容器５０上の観察領域の観察位置は、Ｘ方向の正方向（図２の右方向）に走査された後、Ｙ方向（図２の下方向）に移動し、逆の負方向

（図２の左方向）に走査される。次いで、観察位置は、再びＹ方向に移動し、再び正方向に走査される。このように、結像光学系３０は、Ｘ方向についての往復移動とＹ方向への移動を繰り返し行うことによって、培養容器５０内を２次元状に走査する。
Further, the stage 61 is driven by the driving unit 62 and moves in the X direction and the Y direction orthogonal to each other in the horizontal plane. FIG. 2 is a diagram showing the scanning position of the observation position by a solid line when a well plate 70 having six wells 71 is used. As shown in FIG. 2, the imaging optical system 30 moves along the solid line 77 from the scanning start point 75 to the scanning end point 76. That is, the observation position of the observation region on the culture vessel 50 by the imaging optical system 30 is scanned in the positive direction in the X direction (right direction in FIG. 2) and then moved in the Y direction (downward in FIG. 2). , Reverse negative direction

It is scanned (to the left in FIG. 2). The observation position then moves again in the Y direction and is scanned again in the positive direction. In this way, the imaging optical system 30 scans the inside of the culture vessel 50 in a two-dimensional manner by repeatedly moving back and forth in the X direction and moving in the Y direction.


すなわち、ステージ６１の移動によって、ウェルプレート７０の各ウェル７１内における、ウェル７１よりも小さい観察領域の観察位置が実線７７に沿って移動するため、異なる観察位置における観察領域の位相差画像が撮影部４０により取得される。そして、観察領域毎の位相差画像は制御部２１によって顕微鏡制御装置２に出力されて、二次記憶部２５に記憶される。なお、撮影部４０により取得された位相差画像は、ウェルプレート７０において、どのウェル７１を撮影した画像であるか判別可能に、ウェルプレート７０上の座標位置と対応付けて記憶される。
That is, as the stage 61 moves, the observation position of the observation region smaller than the well 71 in each well 71 of the well plate 70 moves along the solid line 77, so that phase difference images of the observation region at different observation positions are captured. Acquired by unit 40. Then, the phase difference image for each observation region is output to the microscope control device 2 by the control unit 21 and stored in the secondary storage unit 25. The phase difference image acquired by the photographing unit 40 is stored in the well plate 70 in association with the coordinate position on the well plate 70 so that it can be determined which well 71 is the photographed image.


本実施形態においては、ステージ６１を移動させることによってウェルプレート７０内の観察領域毎の位相差画像を取得するようにしたが、これに限らず、結像光学系３０をステージ６１に対して移動させることによって観察領域毎の位相差画像を取得するようにしてもよい。または、ステージ６１と結像光学系３０の両方を移動させるようにしてもよい。また、本実施形態においては、図２に示す走査軌跡により走査したが、本開示はこれに限らず、例えば渦巻き状等、他の走査軌跡により走査してもよい。
In the present embodiment, the phase difference image for each observation region in the well plate 70 is acquired by moving the stage 61, but the present invention is not limited to this, and the imaging optical system 30 is moved with respect to the stage 61. It is also possible to acquire the phase difference image for each observation area by making it. Alternatively, both the stage 61 and the imaging optical system 30 may be moved. Further, in the present embodiment, scanning is performed using the scanning locus shown in FIG. 2, but the present disclosure is not limited to this, and scanning may be performed using another scanning locus such as a spiral shape.


顕微鏡制御装置２は、ＣＰＵ（Central Processing Unit）２０、一次記憶部２４、二次記憶部２５及び外部Ｉ／Ｆ（Interface）２８等を備えたコンピュータから構成される。ＣＰＵ２０は、制御部２１、培地量検出部２２及び画像処理部２３を備え、顕微鏡観察システムの全体を制御する。
The microscope control device 2 is composed of a computer including a CPU (Central Processing Unit) 20, a primary storage unit 24, a secondary storage unit 25, an external I / F (Interface) 28, and the like. The CPU 20 includes a control unit 21, a medium amount detection unit 22, and an image processing unit 23, and controls the entire microscope observation system.


制御部２１は、照明光照射部１０、ステージ６１を駆動する駆動部６２、結像光学系３０および撮影部４０の駆動を制御して観察対象Ｓの位相差画像を取得する。また、制御部２１は、顕微鏡装置１によって撮影された各観察位置の位相差画像を結合することによって生成された１枚の合成位相差画像を表示装置３に表示させる表示制御部としても機能する。また制御部２１は、撮影部４０に観察対象Ｓを撮影させる。本実施形態においては、培養容器７１はウェルプレート７０に配列された複数のウェル７１であるため、制御部２１は各ウェル７１内における各観察領域を撮影部４０に撮影させて、ウェル７１を表す複数の位相差画像を取得する。
The control unit 21 controls the drive of the illumination light irradiation unit 10, the drive unit 62 for driving the stage 61, the imaging optical system 30, and the imaging unit 40 to acquire a phase difference image of the observation target S. The control unit 21 also functions as a display control unit that displays a single composite retardation image generated by combining the phase difference images of each observation position taken by the microscope device 1 on the display device 3. .. Further, the control unit 21 causes the photographing unit 40 to photograph the observation target S. In the present embodiment, since the culture container 71 is a plurality of wells 71 arranged on the well plate 70, the control unit 21 causes the imaging unit 40 to photograph each observation region in each well 71 to represent the well 71. Acquire multiple phase difference images.


培地量検出部２２は、培地量過多及び培地量不足を検出する。なお、培地量検出部２２については後で詳細に説明する。なお、本実施形態においては、培地量検出部２２は培地量過多と培地量不足の両方を検出可能としたが、本開示はこれに限られるものではなく、培地量検出部２２は培地量過多のみを検出してもよいし、培地量不足のみを検出してもよい。
The medium amount detection unit 22 detects an excessive amount of medium and an insufficient amount of medium. The medium amount detection unit 22 will be described in detail later. In the present embodiment, the medium amount detection unit 22 can detect both the excess medium amount and the insufficient medium amount, but the present disclosure is not limited to this, and the medium amount detection unit 22 has an excessive medium amount. Only may be detected, or only insufficient medium may be detected.


画像処理部２３は、撮影部４０によって取得された画像信号に対して、ガンマ補正、輝度・色差変換、及び圧縮処理等の各種処理を行う。また、画像処理部２３は、各種処理を行って得た画像信号を特定のフレームレートで１フレーム毎に制御部２１に出力する。また、画像処理部２３は、顕微鏡装置１によって撮影された各観察領域の位相差画像を結合することによって、ウェル７１全体を表す１枚の合成画像を生成する。本実施形態の画像処理部２３は、この合成画像に基づいて、画像の位置に対する輝度分布を表す輝度プロファイルを作成する処理を行う。輝度分布は、輝度値の絶対値、相対値、画像全体の分散値のうちのいずれかを使用することができ、輝度プロファイルは公知の技術を使用して作成することができる。
The image processing unit 23 performs various processes such as gamma correction, luminance / color difference conversion, and compression processing on the image signal acquired by the photographing unit 40. Further, the image processing unit 23 outputs an image signal obtained by performing various processes to the control unit 21 at a specific frame rate for each frame. Further, the image processing unit 23 generates one composite image representing the entire well 71 by combining the phase difference images of each observation region taken by the microscope device 1. Based on this composite image, the image processing unit 23 of the present embodiment performs a process of creating a luminance profile representing the luminance distribution with respect to the position of the image. The brightness distribution can use any of the absolute value of the brightness value, the relative value, and the dispersion value of the entire image, and the brightness profile can be created by using a known technique.


表示装置３は、画像処理部２３により生成された合成画像を表示するものであり、例えば液晶ディスプレイ等を備える。また、表示装置３をタッチパネルによって構成し、入力装置４と兼用するようにしてもよい。
The display device 3 displays a composite image generated by the image processing unit 23, and includes, for example, a liquid crystal display or the like. Further, the display device 3 may be configured by a touch panel and may also be used as the input device 4.


入力装置４は、マウスおよびキーボード等を備え、ユーザによる種々の設定入力を受け付けるものである。
The input device 4 includes a mouse, a keyboard, and the like, and accepts various setting inputs by the user.


一次記憶部２４は、各種プログラムの実行時のワークエリア等として用いられる揮発性のメモリである。一次記憶部２４の一例としては、ＲＡＭ（Random Access Memory）が挙げられる。二次記憶部２５は、各種プログラム及び各種パラメータ等を予め記憶した不揮発性のメモリであり、本開示の適正範囲情報２６が記憶されている。また二次記憶部２５には、本開示の観察制御プログラム２７の一実施形態がインストールされている。この観察制御プログラム２７がＣＰＵ２０によって実行されることによって顕微鏡制御装置２が機能する。二次記憶部２５の一例としては、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）又はフラッシュメモリ等が挙げられる。外部Ｉ／Ｆ２８は顕微鏡装置１と顕微鏡制御装置２との間の各種情報の送受信を司る。ＣＰＵ２０、一次記憶部２４、及び二次記憶部２５は、バスライン２９に接続されている。また、外部Ｉ／Ｆ

２８も、バスライン２９に接続されている。
The primary storage unit 24 is a volatile memory used as a work area or the like when executing various programs. An example of the primary storage unit 24 is a RAM (Random Access Memory). The secondary storage unit 25 is a non-volatile memory in which various programs, various parameters, and the like are stored in advance, and the appropriate range information 26 of the present disclosure is stored. Further, an embodiment of the observation control program 27 of the present disclosure is installed in the secondary storage unit 25. The microscope control device 2 functions when the observation control program 27 is executed by the CPU 20. Examples of the secondary storage unit 25 include EEPROM (Electrically Erasable Programmable Read-Only Memory), flash memory, and the like. The external I / F 28 controls the transmission and reception of various information between the microscope device 1 and the microscope control device 2. The CPU 20, the primary storage unit 24, and the secondary storage unit 25 are connected to the bus line 29. Also, external I / F

28 is also connected to the bus line 29.


観察制御プログラム２７は、ＤＶＤ（Digital Versatile Disc）及びＣＤ−ＲＯＭ（Compact Disc Read Only Memory）などの記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。又は、観察制御プログラム２７は、ネットワークに接続されたサーバコンピュータの記憶装置もしくはネットワークストレージに対して、外部からアクセス可能な状態で記憶され、外部からの要求に応じてコンピュータにダウンロードされた後に、インストールされるようにしてもよい。
The observation control program 27 is recorded and distributed on a recording medium such as a DVD (Digital Versatile Disc) and a CD-ROM (Compact Disc Read Only Memory), and is installed in a computer from the recording medium. Alternatively, the observation control program 27 is stored in the storage device or network storage of the server computer connected to the network in a state of being accessible from the outside, and is downloaded to the computer in response to a request from the outside, and then installed. It may be done.


適正範囲情報２６は、異なる種類の培養容器７１の形状情報毎に予め設定された培地量の複数の閾値の範囲の情報である。本実施形態においては、培養容器７１の形状情報と適正範囲情報とを対応づけたテーブルを二次記憶部２５に記憶しておく。例えば、培養容器７１が、ウェルプレート７０上に配列された各ウェル７１である場合、ウェルプレート７０上に配列されたウェル７１の個数によって、各ウェルの収容部の収容量が異なる。またウェルプレート７０においてウェル７１の個数が同じであっても、製造メーカが異なると各ウェルの形状が異なる場合もある。また、ウェルプレート７０のウェル７１の位置によってもウェル７１の形状が異なる場合もある。ウェルの形状が異なると、例えば培地として培養液Ｃがウェルに収容された場合に、培養液Ｃの液面に形成されるメニスカスの形状パターンが異なってしまう。メニスカスの形状パターンが異なると、顕微鏡装置１で観察対象を観察する場合に、位相板３２に入射される直接光と回折光とに与える影響が異なってしまうので、位相差画像の画質が異なってしまう。
The appropriate range information 26 is information on a range of a plurality of threshold values of a preset medium amount for each shape information of different types of culture vessels 71. In the present embodiment, the secondary storage unit 25 stores a table in which the shape information of the culture container 71 and the appropriate range information are associated with each other. For example, when the culture vessel 71 is each well 71 arranged on the well plate 70, the accommodating portion of the accommodating portion of each well differs depending on the number of wells 71 arranged on the well plate 70. Further, even if the number of wells 71 in the well plate 70 is the same, the shape of each well may be different depending on the manufacturer. Further, the shape of the well 71 may differ depending on the position of the well 71 of the well plate 70. If the shape of the well is different, for example, when the culture solution C is contained in the well as a medium, the shape pattern of the meniscus formed on the liquid surface of the culture solution C will be different. If the shape pattern of the meniscus is different, the effect on the direct light incident on the phase plate 32 and the diffracted light will be different when observing the observation target with the microscope device 1, so that the image quality of the phase difference image will be different. It ends up.


従って、制御部２１は、一例として、製造メーカ毎に、９６個、４８個、２４個、１２個、及び６個のウェル７１がそれぞれ配列されたウェルプレート７０の種類毎であって、かつウェルプレート７０上の各ウェル７１の位置毎に、適切な培地量の閾値の範囲を適正範囲情報２６として記憶させる。なお、制御部２１は、予め製造メーカ毎に、かつウェルプレート７０の種類毎であって、かつウェルプレート７０上の各ウェル７１の位置毎に、異なる量の培地を収容して撮影部４０にウェル７１を撮影させて位相差画像を取得しておき、取得した位相差画像のうち観察対象を観察するために適切な画質の位相差画像が取得できた培地量の下限値及び上限値を上記「培地量の閾値の範囲」として記憶させる。
Therefore, as an example, the control unit 21 is for each type of well plate 70 in which 96, 48, 24, 12, and 6 wells 71 are arranged for each manufacturer, and wells. For each position of each well 71 on the plate 70, the threshold range of the appropriate medium amount is stored as the appropriate range information 26. The control unit 21 accommodates a different amount of medium in advance for each manufacturer, for each type of well plate 70, and for each position of each well 71 on the well plate 70, and is stored in the imaging unit 40. The well 71 was photographed to acquire a phase difference image, and among the acquired phase difference images, the lower limit value and the upper limit value of the amount of the medium for which a phase difference image having an appropriate image quality for observing the observation target could be acquired were set as described above. Store as "range of medium amount threshold".


また、上記「培地量の閾値の範囲」は、観察対象を撮像する撮像条件毎に設けられている。顕微鏡装置１の対物レンズ３１の倍率が高い場合には、位相板３２のスリットの大きさが狭くなるので、培地量の変化に対する軸ずれ、すなわち培養容器を透過した観察光の光軸と撮影光学系の光軸との間にずれの感度が高くなってしまう。つまり、位相板３２を通らずに通過する光が多くなってしまい、取得された位相差画像の輝度が高くなってしまうので、培地量の変化が位相差画像に与える影響が高くなる。従って、培地量の閾値の範囲は、対物レンズ３１の倍率毎に設定する。
Further, the above-mentioned "range of threshold value of medium amount" is provided for each imaging condition for imaging an observation target. When the magnification of the objective lens 31 of the microscope device 1 is high, the size of the slit of the phase plate 32 becomes narrow, so that the axis shifts with respect to the change in the amount of medium, that is, the optical axis of the observation light transmitted through the culture vessel and the photographing optics. The sensitivity of deviation from the optical axis of the system becomes high. That is, the amount of light that passes through the phase plate 32 without passing through the phase plate 32 increases, and the brightness of the acquired phase difference image increases. Therefore, the influence of the change in the amount of medium on the phase difference image increases. Therefore, the range of the threshold value of the amount of medium is set for each magnification of the objective lens 31.


ここで、制御部２１は、上記のようにして培地量の閾値の範囲を求めるために行った、異なる量の培地を収容したウェル７１の撮影により取得したウェル７１を表す位相差画像に基づいて画像処理部２３に輝度プロファイルを作成させ、制御部２１は、その位相差画像における培地量と輝度プロファイルとを対応付けて二次記憶部２５に記憶させる（図６参照）。ここで、培地量と輝度プロファイルとは、各々を対応付けたテーブルとして記憶する。なお、本実施形態では、培地量と輝度プロファイルとを対応付けたテーブルを記憶するが、本開示はこれに限られず、輝度プロファイルから培地量が導出できれば、テーブルを使用しなくてもよい。
Here, the control unit 21 is based on a phase difference image representing the well 71 obtained by photographing the well 71 containing different amounts of medium, which was performed in order to obtain the threshold range of the medium amount as described above. The image processing unit 23 is made to create a brightness profile, and the control unit 21 stores the medium amount in the phase difference image and the brightness profile in the secondary storage unit 25 in association with each other (see FIG. 6). Here, the medium amount and the brightness profile are stored as a table in which they are associated with each other. In the present embodiment, a table in which the medium amount and the brightness profile are associated is stored, but the present disclosure is not limited to this, and the table may not be used as long as the medium amount can be derived from the brightness profile.


なお、本実施形態では、ウェル７１の形状情報と適正範囲情報２６とを対応付けたテーブルを記憶するが、本開示はこれに限られず、ウェル７１の形状情報から適正範囲情報２６が導出できれば、テーブルを使用しなくてもよい。そして、後述する検出部５２が、後述する受付部５０が受け付けたウェル７１の形状情報に基づいて、その形状情報を有するウェル７１の適正範囲情報２６を二次記憶部２５から読み出す。
In the present embodiment, a table in which the shape information of the well 71 and the appropriate range information 26 are associated with each other is stored, but the present disclosure is not limited to this, and if the appropriate range information 26 can be derived from the shape information of the well 71, You don't have to use a table. Then, the detection unit 52 described later reads out the appropriate range information 26 of the well 71 having the shape information from the secondary storage unit 25 based on the shape information of the well 71 received by the reception unit 50 described later.


また、上記では、汎用コンピュータが顕微鏡制御装置２として機能する場合について説明したが、専用コンピュータによって実施されてもよい。専用コンピュータは、内蔵されたＲＯＭ(Read Only Memory)やフラッシュメモリなど、不揮発メモリに記録されたプログラムを実行するファームウェアであってもよい。さらに、この顕微鏡制御装置２の少なくとも一部の機能を実行するためのプログラムを永久的に記憶するＡＳＩＣ（Application Specific Integrated Circuit ：特定用途向け集積回路）やＦＰＧＡ（field programmable gate arrays）などの専用回路を設けるようにしてもよい。あるいは、専用回路に記憶されたプログラム命令と、専用回路のプログラムを利用するようにプログラムされた汎用のＣＰＵによって実行されるプログラム命令と組み合わせるようにしてもよい。以上のように、コンピュータのハードウェア構成をどのように組み合わせてプログラム命令を実行してもよい。
Further, although the case where the general-purpose computer functions as the microscope control device 2 has been described above, it may be carried out by the dedicated computer. The dedicated computer may be firmware that executes a program recorded in the non-volatile memory such as a built-in ROM (Read Only Memory) or a flash memory. Further, a dedicated circuit such as an ASIC (Application Specific Integrated Circuit) or FPGA (field programmable gate arrays) that permanently stores a program for executing at least a part of the functions of the microscope control device 2. May be provided. Alternatively, the program instructions stored in the dedicated circuit may be combined with the program instructions executed by the general-purpose CPU programmed to use the program of the dedicated circuit. As described above, program instructions may be executed in any combination of computer hardware configurations.


ここで培地量検出部２２について詳細に説明する。図３は、培地量検出部２２の構成を示す概略ブロック図である。図３に示すように、培地量検出部２２は、受付部５０、取得部５１、検出部５２、及び報知部５３を備える。
Here, the medium amount detection unit 22 will be described in detail. FIG. 3 is a schematic block diagram showing the configuration of the culture medium amount detection unit 22. As shown in FIG. 3, the medium amount detection unit 22 includes a reception unit 50, an acquisition unit 51, a detection unit 52, and a notification unit 53.


受付部５０は、培地を含む観察対象を収容したウェル７１の形状情報を受け付ける。受付部５０は、ユーザによって入力装置４から入力された、ステージ６１上に設置したウェルプレート７０の形状情報をウェル７１の形状情報として受け付ける。また、ウェル７１の形状情報については、ユーザが入力するのではなく、ウェルプレート７０にバーコードなどを付与し、受付部５０が、例えばバーコードを読取可能であり、かつ外部Ｉ／Ｆ２８に接続された外部機器を介して、ウェルプレート７０に付与されたバーコードを読み取ることにより形状情報を受け付けてもよい。なお、ウェル７１の形状情報は、観察対象を収容する収容部の収容量を特定できる情報であればよく、予め上記収容量と対応付けられていれば、例えば製造メーカの型式番号であってもよいし、製造番号であってもよい。
The reception unit 50 receives the shape information of the well 71 containing the observation target including the medium. The reception unit 50 receives the shape information of the well plate 70 installed on the stage 61, which is input from the input device 4 by the user, as the shape information of the well 71. Further, the shape information of the well 71 is not input by the user, but a bar code or the like is given to the well plate 70, and the reception unit 50 can read the bar code, for example, and connects to the external I / F 28. The shape information may be received by reading the bar code attached to the well plate 70 via the external device. The shape information of the well 71 may be any information that can specify the storage capacity of the storage unit that stores the observation target, and if it is associated with the storage capacity in advance, it may be, for example, the model number of the manufacturer. It may be a serial number.


取得部５１は、受付部５０が受け付けた形状情報に対応するウェル７１に収容された観察対象を表す位相差画像を取得する。本実施形態において、取得部５１は、撮影部４０により取得された位相差画像であり、受付部５０が形状情報を受け付けたウェルプレート７０であって、ステージ６１上に配置されたウェルプレート７０の各ウェル７１に収容された観察対象を表す位相差画像情報を取得する。
The acquisition unit 51 acquires a phase difference image representing an observation target housed in the well 71 corresponding to the shape information received by the reception unit 50. In the present embodiment, the acquisition unit 51 is a phase difference image acquired by the photographing unit 40, is a well plate 70 for which the reception unit 50 has received shape information, and is a well plate 70 arranged on the stage 61. The phase difference image information representing the observation target accommodated in each well 71 is acquired.


検出部５２は、取得部５１により取得された位相差画像情報に基づいて推定された培地量が、受付部５０が受け付けた形状情報に対応する閾値の範囲であって、かつ異なる種類のウェル７１の形状情報毎に予め設定された培地量の複数の閾値の範囲から選択された閾値の範囲から外れるか否かを検出する。なお、検出部５２による予め設定された培地量の閾値の範囲から外れるか否かの検出処理については後で詳細に説明する。
In the detection unit 52, the amount of medium estimated based on the phase difference image information acquired by the acquisition unit 51 is within the threshold range corresponding to the shape information received by the reception unit 50, and the wells 71 of different types are different. It is detected whether or not the amount of the medium deviates from the range of the selected threshold value from the range of the plurality of threshold values of the preset medium amount for each shape information of. The detection process of whether or not the detection unit 52 deviates from the preset threshold value of the medium amount will be described in detail later.


報知部５３は、検出部５２が予め設定された培地量の閾値の範囲から外れることを検出した場合に、培地量の過多又は不足であることを報知する。本実施形態において、報知部５３は表示装置３で構成されており、具体的には制御部２１からの指令により、一例として「培地量過多」又は「培地量不足」の文言を表示する。なお、本実施形態においては、報知部５３、すなわち表示装置３は「培地量過多」又は「培地量不足」の文言を表示したが、本開示はこれに限られるものでななく、「培地量を増やして下さい」、「培地量を減らして下さい」、及び「培地を交換して下さい」等と表示してもよい。また、報知部５３は、表示装置３で構成されるものに限定されるものではなく、報知部５３は、外部Ｉ／Ｆ２８を介して接続される音声再生装置、プリンタ、メールや電話等の通信手段、及び表示灯等により構成されてもよいし、上記ディスプレイ、上記音声再生装置、上記プリンタ、上記通信手段及び上記表示灯のうちの少なくとも２つ以上を組み合わせて構成されてもよい。
When the detection unit 52 detects that the detection unit 52 is out of the preset threshold value of the medium amount, the notification unit 53 notifies that the medium amount is excessive or insufficient. In the present embodiment, the notification unit 53 is composed of a display device 3, and specifically, a command from the control unit 21 displays the words “excessive medium amount” or “insufficient medium amount” as an example. In the present embodiment, the notification unit 53, that is, the display device 3, displays the words “excessive medium amount” or “insufficient medium amount”, but the present disclosure is not limited to this, and “medium amount” is not limited to this. May be displayed as "increase the amount", "decrease the amount of medium", "replace the medium", and the like. Further, the notification unit 53 is not limited to the one composed of the display device 3, and the notification unit 53 is used for communication of a voice reproduction device, a printer, a mail, a telephone, etc. connected via an external I / F 28. It may be configured by means, an indicator light or the like, or may be configured by combining at least two or more of the display, the audio reproduction device, the printer, the communication means and the indicator light.


次いで、本実施形態の培地量検出部２２による処理について説明する。図４は図３の培地量検出部２２による処理を示すフローチャート、図５は顕微鏡観察システムの処理を説明するための図、図６は培地量推定方法を説明するための図である。
Next, the treatment by the medium amount detection unit 22 of the present embodiment will be described. FIG. 4 is a flowchart showing the processing by the culture medium amount detection unit 22 of FIG. 3, FIG. 5 is a diagram for explaining the processing of the microscope observation system, and FIG. 6 is a diagram for explaining the culture medium amount estimation method.


まず、受付部５０が、上述のようにしてウェル７１の形状情報を取得する(ステップＳ１)。本実施形態において、受付部５０は、図５に示すウェルプレート７０上に配列された９６個の各ウェル７１の形状を形状情報として受け付ける（ステップＳ１）。
First, the reception unit 50 acquires the shape information of the well 71 as described above (step S1). In the present embodiment, the reception unit 50 receives the shapes of the 96 wells 71 arranged on the well plate 70 shown in FIG. 5 as shape information (step S1).


次いで、制御部２１が撮影部４０にウェルプレート７０を撮影させて二次記憶部２５に記憶させた複数の観察領域毎の位相差画像を、取得部５１が読み出して取得する（ステップＳ２）。本実施形態においては、１つのウェル７１は、図５に示すように、Ａ１〜Ａ９の９つの観察領域により表される。取得部５１は、この９つの観察領域をそれぞれ表す位相差画像が合成された合成画像を、ウェル７１を表す位相差画像として取得する。なお、観察領域の数は９つに限られるものではなく、例えば１６個の観察領域であってもよいし、２５個の観察領域であってもよいし、顕微鏡装置１の性能や撮影条件によって適宜変更される。
Next, the control unit 21 causes the imaging unit 40 to image the well plate 70, and the acquisition unit 51 reads and acquires the phase difference images for each of the plurality of observation regions stored in the secondary storage unit 25 (step S2). In this embodiment, one well 71 is represented by nine observation regions A1 to A9, as shown in FIG. The acquisition unit 51 acquires a composite image in which the retardation images representing the nine observation regions are combined as a retardation image representing the well 71. The number of observation regions is not limited to 9, and may be, for example, 16 observation regions or 25 observation regions, depending on the performance of the microscope device 1 and the imaging conditions. It will be changed as appropriate.


次に、検出部５２が培地量を推定する（ステップＳ３）。例えば、取得部５１が、図５に示すように、ウェルプレート７０の図５中、上から５行目、左から５列目のウェル７１Ａ全体の位相差画像を取得する。検出部５２は、制御部２１を介して画像処理部２３に取得した位相差画像に基づいた輝度プロファイルを作成させ、作成された輝度プロファイルを取得する。
Next, the detection unit 52 estimates the amount of medium (step S3). For example, as shown in FIG. 5, the acquisition unit 51 acquires a phase difference image of the entire well 71A in the fifth row from the top and the fifth column from the left in FIG. 5 of the well plate 70. The detection unit 52 causes the image processing unit 23 to create a luminance profile based on the phase difference image acquired via the control unit 21, and acquires the created luminance profile.


次に、検出部５２は、培地量と対応付けて二次記憶部２５に記憶された輝度プロファイルを参照して、上記で取得した輝度プロファイルの培地量を推定する。二次記憶部２５に記憶された輝度プロファイルと、上記で取得した輝度プロファイルとの相関関係を求める方法としては、例えば相関関数を用いて、これらの輝度プロファイルの相関関係を求めるようにすればよい。また、相関関数を用いた方法に限らず、例えば、二次記憶部２５に記憶されたと上記で取得した輝度プロファイルにおける変曲点を求め、これらの輝度プロファイルの対応する変曲点の輝度値の差の合計値を求める。そして、予め二次記憶部２５に記憶された異なる培地量毎の複数の輝度プロファイルのそれぞれについて上述した合計値を求め、その合計値が最も小さい輝度プロファイルを最も相関が高い輝度プロファイルとして特定するようにしてもよい。
Next, the detection unit 52 estimates the medium amount of the brightness profile obtained above by referring to the brightness profile stored in the secondary storage unit 25 in association with the medium amount. As a method of obtaining the correlation between the brightness profile stored in the secondary storage unit 25 and the brightness profile acquired above, for example, a correlation function may be used to obtain the correlation between these brightness profiles. .. Further, the method is not limited to the method using the correlation function. For example, the inflection points in the luminance profile acquired above when stored in the secondary storage unit 25 are obtained, and the inflection points of the corresponding inflection points of these luminance profiles are obtained. Find the total value of the difference. Then, the above-mentioned total value is obtained for each of the plurality of luminance profiles for each different medium amount stored in the secondary storage unit 25 in advance, and the luminance profile having the smallest total value is specified as the luminance profile having the highest correlation. You may do it.


そして、検出部５２は、上記で取得した輝度プロファイルとの相関が最も高い培地量を特定し、その特定した培地量をウェル７１Ａ内の培地量として推定する。
Then, the detection unit 52 identifies the medium amount having the highest correlation with the brightness profile obtained above, and estimates the specified medium amount as the medium amount in the well 71A.


次に、検出部５２は、適正範囲情報２６に記憶された培地量の閾値の範囲の中から、受付部５０が受け付けたウェル７１の形状情報に対応する培地量の閾値の範囲であって、かつウェルプレート７０の図５中、上から５行目、左から５列目のウェル７１Ａの位置に対応するウェル７１の培地量の閾値の範囲を読み出して、推定した培地量が上記閾値の範囲外か否かを検出する（ステップＳ４）。
Next, the detection unit 52 is a range of the threshold value of the medium amount corresponding to the shape information of the well 71 received by the reception unit 50 from the range of the threshold value of the medium amount stored in the appropriate range information 26. In addition, in FIG. 5 of the well plate 70, the range of the threshold value of the medium amount of the well 71 corresponding to the position of the well 71A in the fifth row from the top and the fifth column from the left is read out, and the estimated medium amount is the range of the above threshold value. Detects whether or not it is outside (step S4).


検出部５２が、推定した培地量が上記閾値の範囲外だと検出した場合（ステップＳ４；ＹＥＳ）、検出部５２は培地量過多又は培地量不足を検出する（ステップＳ５）。すなわち、検出部５２は、推定した培地量が上記閾値の範囲の上限値よりも多ければ、培地量過多を検出し、上記閾値の範囲の下限値よりも少なければ培地量不足を検出する。
When the detection unit 52 detects that the estimated medium amount is out of the above threshold value (step S4; YES), the detection unit 52 detects an excessive medium amount or an insufficient medium amount (step S5). That is, the detection unit 52 detects an excess medium amount when the estimated medium amount is larger than the upper limit value of the threshold range, and detects an insufficient medium amount when the estimated medium amount is smaller than the lower limit value of the threshold range.


次に、報知部５３が、制御部２１を介して表示装置３に「培地量過多」又は「培地量不足」の文言を表示させることにより、培地量過多又は培地量不足を報知して（ステップＳ６）、培地量検出部２２による処理が終了する。
Next, the notification unit 53 notifies the display device 3 of the excess medium amount or insufficient medium amount by displaying the words “excessive medium amount” or “insufficient medium amount” on the display device 3 via the control unit 21 (step). S6), the process by the medium amount detection unit 22 is completed.


一方、ステップＳ４において、検出部５２が、推定した培地量が上記閾値の範囲内であると検出した場合（ステップＳ４；ＮＯ）、培地量は過多でも不足でもなく、適正量なので培地量検出部２２による処理が終了する。
On the other hand, when the detection unit 52 detects in step S4 that the estimated medium amount is within the above threshold value (step S4; NO), the medium amount is neither excessive nor insufficient, and is an appropriate amount, so the medium amount detection unit The process according to 22 is completed.


同様にして９６個全てのウェル７１に対して上記処理を行って、培地量が上記閾値の範囲から外れる否かを検出することにより、培地量が適正量かどうかを検出する。
In the same manner, the above treatment is performed on all 96 wells 71 to detect whether or not the amount of medium is out of the above threshold range, thereby detecting whether or not the amount of medium is appropriate.


上記によれば、ユーザは、図５に示すウェル７１Ａにおいて培地量過多及び培地量不足を知ることができるので、ウェル７１Ａの培地を減らすか又は足して培地量を調整したり、培地量を交換したりすることにより、ウェル７１Ａを適切な培地量にすることができる。これにより、適切な培地量で観察対象を撮影することができるので、位相差画像の画質の低下を抑制することができる。
According to the above, since the user can know the excess medium amount and the insufficient medium amount in the well 71A shown in FIG. 5, the medium amount in the well 71A is reduced or added to adjust the medium amount or exchange the medium amount. Well 71A can be adjusted to an appropriate amount of medium. As a result, the observation target can be photographed with an appropriate amount of medium, so that deterioration of the image quality of the retardation image can be suppressed.


なお、取得部５１は、ウェル７１Ａの培地量が適正量に調整された後に、ウェル７１Ａに収容された観察対象を表す位相差画像情報を再度取得してもよい。この場合、例えばユーザが入力装置４を操作することにより、ウェル７１Ａを適切な培地量にしたことを入力する。制御部２１は、ウェル７１Ａが適切な培地量であることを検出すると、すなわち、ウェル７１の培地量が上記閾値の範囲内であることを検出すると、撮影部４０に再度ウェル７１Ａの撮影を行わせ、取得部５１は撮影された位相差画像を取得する。これにより、培地量過多又は培地量不足により画質が低下した位相差画像を、適切な培地量で撮影された、画質が向上した位相差画像に変えることができる。
The acquisition unit 51 may acquire the retardation image information representing the observation target housed in the well 71A again after the amount of the medium in the well 71A is adjusted to an appropriate amount. In this case, for example, the user operates the input device 4 to input that the well 71A has an appropriate medium amount. When the control unit 21 detects that the well 71A has an appropriate medium amount, that is, when it detects that the medium amount of the well 71 is within the above threshold value, the imaging unit 40 takes a picture of the well 71A again. The acquisition unit 51 acquires the captured phase difference image. As a result, it is possible to change a retardation image whose image quality has deteriorated due to an excessive amount of medium or insufficient medium amount into a retardation image having improved image quality taken with an appropriate amount of medium.


上記実施形態において、検出部５２は、培地量の閾値の範囲から外れるか否かを検出したが、本開示はこれに限られるものではなく、検出部５２は、推定した培地量が適切な培地量の閾値の範囲よりもどのくらい多いのか、及び不足しているのかを検出してもよい。

この場合、報知部５３は、どのくらい多いのか、又は不足しているのかを報知する。これにより、ユーザは培地量をどの程度減らす、又は足せば適切な培地量にできるのかを知ることができるので、培地量の調整を容易に行うことができる。
In the above embodiment, the detection unit 52 has detected whether or not the medium amount is out of the threshold range, but the present disclosure is not limited to this, and the detection unit 52 is a medium in which the estimated medium amount is appropriate. It may be possible to detect how much is above and below the threshold of quantity.

In this case, the notification unit 53 notifies how much or insufficient. As a result, the user can know how much the medium amount can be reduced or added to obtain an appropriate medium amount, so that the medium amount can be easily adjusted.


また、上記実施形態においては、検出部５２が培地量を推定する際に、ウェル７１全体を表す画像情報に基づく輝度プロファイルを用いたが、本開示はこれに限られるものではなく、例えばウェル７１の中心領域、すなわち図５の観察領域Ａ５の位相差画像情報に基づく輝度プロファイルを使用することができる。この場合、制御部２１は、ウェル７１の中心領域すなわち観察領域Ａ５を表す位相差画像に基づいて画像処理部２３に輝度プロファイルを作成させ、制御部２１は、その位相差画像における培地量と輝度プロファイルとを対応付けて二次記憶部２５に記憶させる。
Further, in the above embodiment, when the detection unit 52 estimates the amount of medium, a luminance profile based on image information representing the entire well 71 is used, but the present disclosure is not limited to this, for example, the well 71. A luminance profile based on the phase difference image information of the central region of the above, that is, the observation region A5 of FIG. 5 can be used. In this case, the control unit 21 causes the image processing unit 23 to create a luminance profile based on the retardation image representing the central region of the well 71, that is, the observation region A5, and the control unit 21 causes the medium amount and the luminance in the retardation image. The profile is associated with the profile and stored in the secondary storage unit 25.


なお、検出部５２は、ウェル７１の中心領域すなわち図５の観察領域Ａ５の位相差画像情報に限られず、ウェル７１の周辺部すなわち図５の観察領域Ａ５以外の観察領域Ａ１〜４，Ａ６〜９のいずれかの位相差画像情報を使用してもよい。またウェル７１を表す観察領域Ａ１〜９のうちの２つ以上の観察領域の位相差画像情報を使用してもよい。ただし、ウェル７１の中心領域すなわち図５の観察領域Ａ５の位相差画像情報が最もウェル７１の培地量の変化を表しているため、ウェル７１の中心領域の位相差画像情報を使用することがより好ましい。
The detection unit 52 is not limited to the phase difference image information of the central region of the well 71, that is, the observation region A5 of FIG. 5, and the peripheral portion of the well 71, that is, the observation regions A1 to 4, A6 to other than the observation region A5 of FIG. Any of the phase difference image information of 9 may be used. Further, the phase difference image information of two or more observation regions in the observation regions A1 to 9 representing the well 71 may be used. However, since the phase difference image information of the central region of the well 71, that is, the observation region A5 of FIG. 5 most represents the change in the medium amount of the well 71, it is possible to use the phase difference image information of the central region of the well 71. preferable.


また、検出部５２においては、ウェル７１全体を表す位相差画像情報に基づいて培地量を推定する方がウェル７１の中心領域を表す位相差画像情報に基づいて培地量を推定するよりも精度が良いのでより好ましい。しかしながら、ウェル７１の中心領域を表す位相差画像情報に基づいて培地量を推定する方がウェル７１全体を表す位相差画像情報に基づいて培地量を推定するよりも輝度プロファイルを作成する処理等の速度が速いので計算コストを低減することができる。本開示においては、ユーザの所望に応じて、培地量の推定方法を選択することができる。
Further, in the detection unit 52, estimating the medium amount based on the retardation image information representing the entire well 71 is more accurate than estimating the medium amount based on the retardation image information representing the central region of the well 71. It is more preferable because it is good. However, estimating the medium amount based on the retardation image information representing the central region of the well 71 is more like creating a luminance profile than estimating the medium amount based on the retardation image information representing the entire well 71. Since the speed is high, the calculation cost can be reduced. In the present disclosure, a method for estimating the amount of medium can be selected according to the wishes of the user.


また、上記実施形態においては、ウェル７１を表す位相差画像における培地量と輝度プロファイルとを対応付けて二次記憶部２５に記憶されているが、本開示はこれに限られない。一例として、図６に示す様に、ウェル７１を表す位相差画像における培地量と位相差画像とを対応付けて二次記憶部２５に記憶させてもよい。この場合、検出部５２が培地量を推定する際に、二次記憶部２５に記憶された位相差画像からこの位相差画像に基づく輝度プロファイルを作成して参照すればよい。
Further, in the above embodiment, the medium amount and the brightness profile in the retardation image representing the well 71 are stored in the secondary storage unit 25 in association with each other, but the present disclosure is not limited to this. As an example, as shown in FIG. 6, the medium amount in the retardation image representing the well 71 and the retardation image may be associated and stored in the secondary storage unit 25. In this case, when the detection unit 52 estimates the amount of the medium, the luminance profile based on the retardation image may be created from the retardation image stored in the secondary storage unit 25 and referred to.


次に、培地量検出部２２の他の実施形態について説明する。図７は第２の実施形態の培地量検出部の構成を示す概略ブロック図である。なお本実施形態の培地量検出部は、上述した実施形態の培地量検出部２２の報知部５３に換えて調整部５４を備えており、その他の構成については上記実施形態と同様であるため、ここでの説明は省略し、異なる箇所についてのみ詳細に説明する。
Next, another embodiment of the medium amount detection unit 22 will be described. FIG. 7 is a schematic block diagram showing the configuration of the culture medium amount detection unit of the second embodiment. The culture medium amount detection unit of the present embodiment includes an adjustment unit 54 in place of the notification unit 53 of the culture medium amount detection unit 22 of the above-described embodiment, and other configurations are the same as those of the above-described embodiment. The description here is omitted, and only the different parts will be described in detail.


本実施形態の調整部５４は、検出部５２が培地量の閾値の範囲から外れるか否かを検出した場合に、上記閾値の範囲から外れることが検出された培養容器７１の培地量を適正量に調整するための提示を行なう。具体的には、本実施形態の検出部５２は、推定した培地量が適切な培地量の閾値の範囲よりもどのくらい多い、又は不足しているのかを検出し、検出部５２が上記閾値の範囲から外れることを検出した場合に、調整部５４が検出部５２により検出された培地の過多量又は不足量を制御部２１に対して出力する。
When the detection unit 52 detects whether or not the detection unit 52 deviates from the threshold range of the medium amount, the adjusting unit 54 of the present embodiment appropriately adjusts the medium amount of the culture vessel 71 detected to deviate from the threshold range. Make a presentation to adjust to. Specifically, the detection unit 52 of the present embodiment detects how much the estimated medium amount is larger or insufficient than the threshold range of the appropriate medium amount, and the detection unit 52 detects the range of the above threshold value. When it is detected that the medium is deviated from the above, the adjusting unit 54 outputs an excessive amount or an insufficient amount of the medium detected by the detecting unit 52 to the control unit 21.


次いで、本実施形態の培地量検出部２２による処理について説明する。図８は図７の培地量検出部による処理を示すフローチャートである。なお、図８において、ステップＳ２１〜ステップＳ２５の処理は、図４のステップＳ１〜ステップＳ５と同じ処理であるため、ここでの説明は省略する。
Next, the treatment by the medium amount detection unit 22 of the present embodiment will be described. FIG. 8 is a flowchart showing processing by the medium amount detection unit of FIG. 7. Note that, in FIG. 8, the processes of steps S21 to S25 are the same as those of steps S1 to S5 of FIG. 4, and thus the description thereof will be omitted here.


検出部５２が、ステップＳ２５において推定した培地量が適切な培地量の閾値の範囲よりもどのくらい多いのか、又は不足しているのかを検出して培地量過多又は培地量不足を検出すると、調整部５４が検出部５２により検出された培地の過多量又は不足量を制御部２１に対して出力することにより培地量の適正量を提示して（ステップＳ２６）、培地量検出部２２による処理が終了する。
When the detection unit 52 detects how much the medium amount estimated in step S25 is larger or insufficient than the threshold range of the appropriate medium amount and detects an excess medium amount or an insufficient medium amount, the adjustment unit 52 54 outputs an excessive or insufficient amount of the medium detected by the detection unit 52 to the control unit 21 to present an appropriate amount of the medium amount (step S26), and the process by the medium amount detection unit 22 is completed. To do.


上記によれば、制御部２１が、図５に示すウェル７１Ａにおいて培地がどのくらい多いのか、又は不足しているのかを知ることができるので、制御部２１は例えば表示装置３にどのくらい多いのか、又は不足しているのかを表示させることができる。これにより、ユーザは培地量をどの程度増やしたり足したりすれば適切な培地量にできるのかを知ることができるので、培地量の調整を容易に行うことができる。
According to the above, since the control unit 21 can know how much or insufficient the medium is in the well 71A shown in FIG. 5, how much the control unit 21 is, for example, in the display device 3 or It is possible to display whether it is insufficient. As a result, the user can know how much the medium amount should be increased or added to obtain an appropriate medium amount, so that the medium amount can be easily adjusted.


また、外部Ｉ／Ｆ２８に、例えば電動マイクロピペット等のウェル７１に培地を電動で注入する装置が接続されている場合には、制御部２１がこの装置に培地の過多量又は不足量を出力することにより、自動的にウェル７１Ａを適切な培地量にすることができる。
Further, when a device for electrically injecting the medium into the well 71 such as an electric micropipette is connected to the external I / F 28, the control unit 21 outputs an excessive or insufficient amount of the medium to this device. As a result, the well 71A can be automatically adjusted to an appropriate amount of medium.


なお、本実施形態の調整部５４が、上述した電動マイクロピペット等のウェル７１に培地を電動で注入する装置により構成されていてもよい。この場合、ステップＳ２５において推定した培地量が適切な培地量の閾値の範囲よりもどのくらい多いのか、又は不足しているのかを検出して培地量過多又は培地量不足を検出すると、調整部５４は培地量過多又は培地量不足が検出されたウェル７１の培地量を自動的に適正量に調整することができる。
The adjusting unit 54 of the present embodiment may be configured by a device for electrically injecting the medium into the well 71 of the above-mentioned electric micropipette or the like. In this case, when it is detected how much the medium amount estimated in step S25 is larger or insufficient than the threshold range of the appropriate medium amount and the excess medium amount or the insufficient medium amount is detected, the adjusting unit 54 determines. The medium amount of the well 71 in which an excessive medium amount or an insufficient medium amount is detected can be automatically adjusted to an appropriate amount.


なお、本実施形態は上述した実施形態の報知部５３に換えて調整部５４を備えているが、本開示はこれに限られるものではなく、報知部５３と調整部５４の両方を備えていても良い。
Although the present embodiment includes an adjusting unit 54 in place of the notification unit 53 of the above-described embodiment, the present disclosure is not limited to this, and both the notification unit 53 and the adjusting unit 54 are provided. Is also good.


また、上記各実施形態では、観察制御プログラム２７を二次記憶部２５から読み出す場合を例示したが、必ずしも最初から二次記憶部２５に記憶させておく必要はない。例えば、図９に示すように、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ、又はＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ

ｖｅｒｓａｔｉｌｅ ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の任意の可搬型の記憶媒体２５０に先ずは観察制御プログラム２７を記憶させておいてもよい。この場合、記憶媒体２５０の観察制御プログラム２７が顕微鏡制御装置２にインストールされ、インストールされた観察制御プログラム２７がＣＰＵ２１によって実行される。
Further, in each of the above embodiments, the case where the observation control program 27 is read from the secondary storage unit 25 is illustrated, but it is not always necessary to store the observation control program 27 in the secondary storage unit 25 from the beginning. For example, as shown in FIG. 9, SSD (Solid State Drive), USB (Universal Serial Bus) memory, or DVD-ROM (Digital).

The observation control program 27 may be first stored in an arbitrary portable storage medium 250 such as versail disc-Read Only Memory). In this case, the observation control program 27 of the storage medium 250 is installed in the microscope control device 2, and the installed observation control program 27 is executed by the CPU 21.


また、通信網（図示省略）を介して顕微鏡装置１に接続される他のコンピュータ又はサーバ装置等の記憶部に観察制御プログラム２７を記憶させておき、観察制御プログラム２７が顕微鏡装置１の要求に応じてダウンロードされるようにしてもよい。この場合、ダウンロードされた観察制御プログラム２７はＣＰＵ２１によって実行される。
Further, the observation control program 27 is stored in a storage unit of another computer or server device connected to the microscope device 1 via a communication network (not shown), and the observation control program 27 responds to the request of the microscope device 1. It may be downloaded accordingly. In this case, the downloaded observation control program 27 is executed by the CPU 21.


また、上記各実施形態で説明した観察制御処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
Further, the observation control process described in each of the above embodiments is merely an example. Therefore, it goes without saying that unnecessary steps may be deleted, new steps may be added, or the processing order may be changed within a range that does not deviate from the purpose.


また、上記各実施形態では、コンピュータを利用したソフトウェア構成により観察制御処理が実現される場合を例示したが、本開示の技術はこれに限定されるものではない。例えば、コンピュータを利用したソフトウェア構成に代えて、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェア構成のみによって、観察制御処理が実行されるようにしてもよい。観察制御処理がソフトウェア構成とハードウェア構成との組み合わせた構成によって実行されるようにしてもよい。
Further, in each of the above embodiments, the case where the observation control process is realized by the software configuration using the computer is illustrated, but the technique of the present disclosure is not limited to this. For example, instead of the software configuration using a computer, the observation control process may be executed only by a hardware configuration such as FPGA (Field-Programmable Gate Array) or ASIC (Application Specific Integrated Circuit). The observation control process may be executed by a configuration in which a software configuration and a hardware configuration are combined.


本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
All documents, patent applications and technical standards described herein are to the same extent as if the individual documents, patent applications and technical standards were specifically and individually stated to be incorporated by reference. Incorporated by reference in the book.


１ 顕微鏡装置

２ 顕微鏡制御装置

３ 表示装置

４ 入力装置

１０ 照明光照射部

１１ 白色光源

１２ スリット板

１３ コンデンサレンズ

２１ 制御部

２２ 培地量検出部

２３ 画像処理部

２４ 一次記憶部

２５ 二次記憶部

２６ 適正範囲情報

２７ 観察制御プログラム

２８ 外部Ｉ／Ｆ

２９ バスライン

３０ 結像光学系

３１ 対物レンズ

３２ 位相板

３３ 結像レンズ

４０ 撮影部

５０ 受付部

５０ 培養容器

５１ 取得部

５２ 検出部

５３ 報知部

５４ 調整部

６１ ステージ

６２ 駆動部

７０ ウェルプレート

７１ 各ウェル

７１ 培養容器

７１ ウェル

７５ 走査開始点

７６ 走査終了点

７７ 実線

２５０ 記憶媒体

Ａ１〜Ａ９ 観察領域

Ｃ 培養液

Ｐ１ 設置面

Ｓ 観察対象
1 Microscope device

2 Microscope control device

3 Display device

4 Input device

10 Illumination light irradiation unit

11 White light source

12 Slit plate

13 Condenser lens

21 Control unit

22 Medium volume detector

23 Image processing unit

24 Primary storage

25 Secondary storage

26 Appropriate range information

27 Observation control program

28 External I / F

29 bus line

30 Imaging optical system

31 Objective lens

32 phase plate

33 Imaging lens

40 Shooting section

50 Reception Department

50 Culture container

51 Acquisition department

52 Detector

53 Notification unit

54 Adjustment section

61 stages

62 Drive unit

70 well plate

71 Each well

71 Culture container

71 well

75 Scanning start point

76 Scanning end point

77 solid line

250 storage medium

A1 to A9 observation area

C culture solution

P1 installation surface

S Observation target

Claims (11)


培地を含む観察対象を収容した容器の形状情報を受け付ける受付部と、

前記受付部が受け付けた形状情報に対応する容器に収容された観察対象を表す位相差画像情報を取得する取得部と、

前記取得部により取得された位相差画像情報に基づいて推定された培地量が、前記受付部が受け付けた形状情報に対応する閾値の範囲から外れるか否かを検出する検出部を備え、

前記閾値の範囲は、異なる種類の容器の形状情報毎に予め設定された培地量の複数の閾値の範囲から選択された閾値の範囲である観察装置。
A reception section that receives shape information of the container that contains the observation target including the medium, and

An acquisition unit that acquires phase difference image information representing an observation target housed in a container corresponding to the shape information received by the reception unit, and an acquisition unit.

A detection unit for detecting whether or not the amount of medium estimated based on the phase difference image information acquired by the acquisition unit deviates from the threshold range corresponding to the shape information received by the reception unit is provided.

An observation device in which the threshold range is a threshold range selected from a plurality of threshold ranges of a preset medium amount for each shape information of different types of containers.
前記検出部が前記閾値の範囲から外れることを検出した場合に、前記前記閾値の範囲から外れることが検出された前記容器の培地量を適正量に調整するか、または前記容器の培地量を適正量に調整するための提示を行なう調整部を備える請求項１に記載の観察装置。
When the detection unit detects that it is out of the threshold range, the medium amount of the container detected to be out of the threshold range is adjusted to an appropriate amount, or the medium amount of the container is appropriate. The observation device according to claim 1, further comprising an adjusting unit that makes a presentation for adjusting the amount.
前記検出部が前記閾値の範囲から外れることを検出した場合に、前記培地量の過多又は不足であることを報知する報知部を備える請求項１又は２に記載の観察装置。
The observation device according to claim 1 or 2, further comprising a notification unit that notifies that the amount of the medium is excessive or insufficient when the detection unit detects that the detection unit is out of the threshold range.
前記取得部は、培地量が適正量に調整された後に、前記検出部により前記閾値の範囲から外れることが検出された容器に収容された観察対象を表す画像情報を再度取得する請求項１から３のいずれか１項に記載の観察装置。
From claim 1, the acquisition unit acquires image information representing an observation target housed in a container detected to be out of the threshold range by the detection unit after the medium amount is adjusted to an appropriate amount. The observation device according to any one of 3.
前記検出部は、前記位相差画像情報に基づいた輝度分布情報を取得し、

予め設定された輝度分布情報と培地量との関係に基づいて培地量を推定する請求項１から４のいずれか１項に記載の観察装置。
The detection unit acquires the luminance distribution information based on the phase difference image information, and obtains the luminance distribution information.

The observation device according to any one of claims 1 to 4, wherein the medium amount is estimated based on the relationship between the preset luminance distribution information and the medium amount.
前記閾値の範囲が、観察対象を撮影する撮影条件毎に設けられている請求項１から５のいずれか１項に記載の観察装置。
The observation device according to any one of claims 1 to 5, wherein the threshold range is provided for each shooting condition for shooting an observation target.
異なる種類の容器の形状情報毎、及び容器における観察領域の座標位置毎に、前記位相差画像情報と培地量との関係が設定されており、

前記検出部は、前記設定された関係から培地量を推定する請求項１から６のいずれか１項に記載の観察装置。
The relationship between the phase difference image information and the amount of medium is set for each shape information of different types of containers and for each coordinate position of the observation area in the container.

The observation device according to any one of claims 1 to 6, wherein the detection unit estimates the amount of medium from the set relationship.
前記検出部は、前記容器全体を表す位相差画像情報を用いて培地量を推定する請求項７に記載の観察装置。
The observation device according to claim 7, wherein the detection unit estimates the amount of medium using the phase difference image information representing the entire container.
前記検出部は、前記容器の中心領域を表す位相差画像情報を用いて培地量を推定する請求項７に記載の観察装置。
The observation device according to claim 7, wherein the detection unit estimates the amount of medium by using the retardation image information representing the central region of the container.
受付部、取得部、及び検出部を備える観察装置の作動方法であって、

前記受付部は、培地を含む観察対象を収容した容器の形状情報を受け付け、

前記取得部は、前記受付部が受け付けた形状情報に対応する容器に収容された観察対象

を表す位相差画像情報を取得し、

前記検出部は、前記取得部により取得された位相差画像情報に基づいて推定された培地量が、前記受付部が受け付けた形状情報に対応する閾値の範囲から外れるか否かを検出し、前記閾値の範囲は、異なる種類の容器の形状情報毎に予め設定された培地量の複数の閾値の範囲から選択された閾値の範囲であることを含む、観察装置の作動方法。
A method of operating an observation device including a reception unit, an acquisition unit, and a detection unit.

The reception section receives the shape information of the container containing the observation target including the medium, and receives the shape information.

The acquisition unit is an observation target housed in a container corresponding to the shape information received by the reception unit.

Acquires the phase difference image information representing

The detection unit detects whether or not the amount of medium estimated based on the phase difference image information acquired by the acquisition unit deviates from the threshold range corresponding to the shape information received by the reception unit, and the detection unit determines. A method of operating an observation device, wherein the threshold range is a threshold range selected from a plurality of threshold ranges of a preset medium amount for each shape information of different types of containers.
コンピュータを、

請求項１から請求項９の何れか１項に記載の観察装置に含まれる前記受付部、前記取得部、及び前記検出部として機能させるための観察制御プログラム。
Computer,

An observation control program for functioning as the reception unit, the acquisition unit, and the detection unit included in the observation device according to any one of claims 1 to 9.
JP2020521148A 2018-05-21 2019-05-09 Observation device, operation method of observation device, and observation control program Withdrawn JPWO2019225325A1 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018097126 2018-05-21
JP2018097126 2018-05-21
PCT/JP2019/018490 WO2019225325A1 (en) 2018-05-21 2019-05-09 Observation device, method for operating observation device, and observation control program

Publications (1)

Publication Number Publication Date
JPWO2019225325A1 true JPWO2019225325A1 (en) 2021-05-13

Family

ID=68617145

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020521148A Withdrawn JPWO2019225325A1 (en) 2018-05-21 2019-05-09 Observation device, operation method of observation device, and observation control program

Country Status (2)

Country Link
JP (1) JPWO2019225325A1 (en)
WO (1) WO2019225325A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022270220A1 (en) * 2021-06-24 2022-12-29 富士フイルム株式会社 Cell quality evaluation apparatus, cell quality evaluation method, and program

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4821279B2 (en) * 2005-11-11 2011-11-24 株式会社ニコン Incubator
JP5177138B2 (en) * 2007-05-24 2013-04-03 株式会社ニコン Observation device
JP6380983B2 (en) * 2014-11-26 2018-08-29 富士フイルム株式会社 Phase contrast microscope
JP6522533B2 (en) * 2016-02-26 2019-05-29 富士フイルム株式会社 Microscope and observation method

Also Published As

Publication number Publication date
WO2019225325A1 (en) 2019-11-28

Similar Documents

Publication Publication Date Title
US10330907B2 (en) Cell imaging control device, method, and program
JP6172657B2 (en) Plant image generator
JP2011141444A (en) Microscope system
EP3062147B1 (en) Photographing device and method
JP6718024B2 (en) Discriminator learning device, method and program, and discriminator
JP6815477B2 (en) Microscope device and observation method and microscope device control program
JP5177138B2 (en) Observation device
JP2018000102A (en) Photography apparatus and method, shooting control program
JPWO2019225325A1 (en) Observation device, operation method of observation device, and observation control program
WO2019198308A1 (en) Sample observation device and sample observation method
JP6619315B2 (en) Observation apparatus and method, and observation apparatus control program
WO2018061429A1 (en) Captured image evaluation device, method, and program
JP6993423B2 (en) Shooting control device, operation method of shooting control device, and shooting control program
WO2017195442A1 (en) Imaging device and method, and imaging device control program
JP6785947B2 (en) Cell image evaluation device and method and program
WO2019202979A1 (en) Observation device, observation device operation method, and observation control program
KR102066807B1 (en) Cell observation apparatus and method
US20200217781A1 (en) Imaging device, and operation method and imaging control program of imaging device
WO2019088034A1 (en) Observation area setting device, imaging control device, method for operating observation area setting device, and observation area setting program
US11127180B2 (en) Image processing apparatus, method, and program
JP6534295B2 (en) Imaging apparatus and method, and imaging control program
JP2016186446A (en) Cell differentiation information acquisition device and method, and program
JPWO2019065050A1 (en) Observation device, observation method and observation program
JPWO2019065144A1 (en) Observation device, observation method and observation program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201008

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20210326