JPWO2019180810A1 - Cell observation device - Google Patents

Cell observation device Download PDF

Info

Publication number
JPWO2019180810A1
JPWO2019180810A1 JP2020507161A JP2020507161A JPWO2019180810A1 JP WO2019180810 A1 JPWO2019180810 A1 JP WO2019180810A1 JP 2020507161 A JP2020507161 A JP 2020507161A JP 2020507161 A JP2020507161 A JP 2020507161A JP WO2019180810 A1 JPWO2019180810 A1 JP WO2019180810A1
Authority
JP
Japan
Prior art keywords
image
unit
phase
partial
measurement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020507161A
Other languages
Japanese (ja)
Other versions
JP6950813B2 (en
Inventor
倫誉 山川
倫誉 山川
光加 岡田
光加 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shimadzu Corp
Original Assignee
Shimadzu Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shimadzu Corp filed Critical Shimadzu Corp
Publication of JPWO2019180810A1 publication Critical patent/JPWO2019180810A1/en
Application granted granted Critical
Publication of JP6950813B2 publication Critical patent/JP6950813B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto

Abstract

ホログラフィック顕微鏡により培養プレート全体の撮影が終了したあと、表示されたホログラム画像上で作業者は特定の測定位置を指定する。すると、その位置のホログラムデータから部分位相画像及び部分強度画像が再構成され、それら画像が表示部に表示された指定位置画像表示画面(70)上の画像表示領域(71)に描画される。作業者が該画面上のスライス条件設定領域(73)でスライス条件を設定してボタン(74)をクリックすると、スライス条件に従った複数の焦点位置での部分位相画像が再構成される。作業者は焦点位置選択操作領域(75)中のスライダー等の操作により、焦点位置の異なる画像を見比べて適切な焦点位置を見つけボタン(76)をクリックする。すると、そのときの画像の焦点位置が、その測定位置が存在するウェルについての適切な焦点位置として設定され、該焦点位置におけるプレート全体の位相画像が作成される。これにより、プレート全体の位相画像の作成を待たずに、撮影終了後速やかに焦点位置合わせを行える。After the entire culture plate has been photographed by the holographic microscope, the operator specifies a specific measurement position on the displayed hologram image. Then, the partial phase image and the partial intensity image are reconstructed from the hologram data at that position, and these images are drawn in the image display area (71) on the designated position image display screen (70) displayed on the display unit. When the operator sets the slice condition in the slice condition setting area (73) on the screen and clicks the button (74), the partial phase image at a plurality of focal positions according to the slice condition is reconstructed. The operator compares images having different focal positions by operating a slider or the like in the focal position selection operation area (75), finds an appropriate focal position, and clicks the button (76). Then, the focal position of the image at that time is set as an appropriate focal position for the well in which the measurement position exists, and a phase image of the entire plate at the focal position is created. As a result, the focus alignment can be performed immediately after the end of shooting without waiting for the creation of the phase image of the entire plate.

Description

本発明は細胞の状態を観察する細胞観察装置に関し、さらに詳しくは、ホログラフィ顕微鏡により物体波と参照波との干渉縞を記録したホログラムを取得し、そのホログラムデータに基づいて位相情報や強度情報を算出したうえで位相画像や強度画像等を作成する細胞観察装置に関する。 The present invention relates to a cell observation device for observing the state of cells. More specifically, the present invention acquires a hologram in which interference fringes between an object wave and a reference wave are recorded by a holographic microscope, and obtains phase information and intensity information based on the hologram data. The present invention relates to a cell observation device that creates a phase image, an intensity image, etc. after calculation.

再生医療分野では、近年、iPS細胞やES細胞等の多能性幹細胞を用いた研究が盛んに行われている。一般に細胞は透明であって通常の光学顕微鏡では観察しにくいため、従来、細胞の観察には位相差顕微鏡が広く利用されている。しかしながら、位相差顕微鏡では顕微画像を撮影する際に焦点合わせを行う必要があるため、広い観察対象領域を細かく区画したそれぞれの小領域についての顕微画像を取得するような場合、測定に時間が掛かりすぎるという問題がある。これを解決するため、近年、デジタルホログラフィ技術を用いたデジタルホログラフィック顕微鏡が開発され実用に供されている(特許文献1、2、非特許文献1等参照)。 In the field of regenerative medicine, research using pluripotent stem cells such as iPS cells and ES cells has been actively conducted in recent years. Since cells are generally transparent and difficult to observe with an ordinary optical microscope, a phase-contrast microscope has been widely used for observing cells. However, since it is necessary to perform focusing when taking a microscopic image with a phase-contrast microscope, it takes time to measure when acquiring a microscopic image for each small area in which a wide observation target area is finely divided. There is a problem that it is too much. In order to solve this problem, in recent years, a digital holographic microscope using a digital holography technique has been developed and put into practical use (see Patent Documents 1 and 2, Non-Patent Document 1 and the like).

デジタルホログラフィック顕微鏡では、光源からの光が物体表面で反射又は透過してくる物体光と同一光源から直接到達する参照光とがイメージセンサ等の検出面で形成する干渉縞(ホログラム)を取得し、そのホログラムに基づいた光波の逆伝播演算処理等を実施することで位相情報や振幅(強度)情報を取得し、再構成画像として強度画像や位相画像を作成する。 In a digital holographic microscope, an interference fringe (hologram) formed by an object light reflected or transmitted on the surface of an object and a reference light directly arriving from the same light source on a detection surface such as an image sensor is acquired. , The phase information and the amplitude (intensity) information are acquired by performing the back propagation arithmetic processing of the light wave based on the hologram, and the intensity image and the phase image are created as the reconstructed image.

デジタルホログラフィック顕微鏡には、インライン(in-line)型、オフアクシス(off-axis)型、位相シフト型などの方式がある。これら各方式では主として、ホログラムを取得するための光学系の構成が相違している。オフアクシス型では通常、レーザ光源から出射した光を参照光と物体に照射される照射光とに分割し、該照射光に対し物体を透過して来た物体光と参照光とを互いに異なる入射角で以てイメージセンサに入射させる。一方、インライン型では、レーザ光源から出射した光を分割せずに物体に照射し、物体を透過して来た物体光と物体を透過せずに該物体の近傍を通過した参照光とを共にイメージセンサに略垂直に入射させる。また、位相シフト型では、位相シフト干渉計を用い分割した参照光の光路長を複数段階に変化させることで、位相が複数段階に相違するホログラムを取得する。 Digital holographic microscopes include in-line type, off-axis type, and phase shift type. Each of these methods mainly differs in the configuration of the optical system for acquiring the hologram. In the off-axis type, the light emitted from the laser light source is usually divided into a reference light and an irradiation light irradiating the object, and the object light transmitted through the object and the reference light are incident differently from each other with respect to the irradiation light. It is incident on the image sensor with an angle. On the other hand, in the in-line type, the light emitted from the laser light source is irradiated to the object without being divided, and both the object light that has passed through the object and the reference light that has passed in the vicinity of the object without passing through the object are combined. It is incident on the image sensor approximately vertically. Further, in the phase shift type, a hologram having a phase difference in a plurality of stages is acquired by changing the optical path length of the divided reference light in a plurality of stages using a phase shift interferometer.

いずれの方式であってもデジタルホログラフィック顕微鏡では、取得したホログラムデータに基づいて光波の位相情報及び振幅情報を算出し、それを画像化する処理をコンピュータで行う必要がある。例えば特許文献1、非特許文献2等には、インライン型デジタルホログラフィック顕微鏡で取得される複数の波長光についてのホログラムに基づく光波伝播の反復計算による位相回復方法が提案されている。デジタルホログラフィック顕微鏡では、ホログラムを取得したあとの演算処理の段階で任意の距離(焦点位置)における位相情報等を得ることができるため、撮影時にいちいち焦点合わせを行う必要がなく、測定時間を短縮して生体細胞のダメージを抑えられるという利点がある。 In any of the methods, in the digital holographic microscope, it is necessary to calculate the phase information and the amplitude information of the light wave based on the acquired hologram data and perform a process of imaging the information by a computer. For example, Patent Document 1, Non-Patent Document 2, and the like propose a phase retrieval method by iterative calculation of light wave propagation based on holograms for a plurality of wavelengths of light acquired by an in-line digital holographic microscope. With a digital holographic microscope, phase information at an arbitrary distance (focus position) can be obtained at the stage of arithmetic processing after acquiring a hologram, so it is not necessary to perform focusing each time during shooting, and the measurement time is shortened. This has the advantage of suppressing damage to living cells.

しかしながら、こうした細胞観察装置により1枚の培養プレート全体の観察を行う場合、一つの焦点位置における位相画像で該プレート全体が良好に観察できるとは限らない。
通常、細胞培養に使用される培養プレートにはウェルと呼ばれる複数の凹部が形成されており、各ウェル内に収容された培地上で細胞が培養される。培養プレートを成形する際の成形誤差等により、1枚の培養プレート中の複数のウェルの底面の高さにはばらつきが生じる。ウェルの底面の高さがばらつくと同じ量の培地を入れても培地の高さに相違が生じ、たとえ細胞自体の厚さが同じでもその表面高さにばらつきが生じる。また、培地の注入量のばらつきも、細胞の表面高さのばらつきの要因となる。なお、個々の細胞の厚さのばらつきもあるが、これはウェルの底面高さや培地の注入量のばらつきに比べれば十分に小さい。
However, when observing the entire culture plate with such a cell observation device, it is not always possible to observe the entire plate well with a phase image at one focal position.
Usually, a culture plate used for cell culture has a plurality of recesses called wells, and cells are cultured on a medium contained in each well. The height of the bottom surface of a plurality of wells in one culture plate varies due to a molding error or the like when molding the culture plate. If the height of the bottom surface of the well varies, the height of the medium will differ even if the same amount of medium is added, and even if the thickness of the cells themselves is the same, the surface height will vary. In addition, the variation in the injection amount of the medium also causes the variation in the surface height of the cells. Although there are variations in the thickness of individual cells, this is sufficiently smaller than the variations in the bottom height of the wells and the injection amount of the medium.

上記要因のため、一般的には、1枚の培養プレート中のウェル毎に合焦位置が異なる場合があり、ウェル毎に適切な焦点位置を設定して培養プレート全体の位相画像の再構成を行う必要がある。従来、こうした位相画像を得るためには、まず、培養プレート全体について共通の所定の焦点位置における位相画像の再構成処理を行う。そして、そのあと、作業者がウェル毎に位相画像を確認して焦点位置が適切かどうかを判断し、適切でなければ焦点位置の設定を変更して培養プレート全体の位相画像の再構成処理をやり直す、といった手法が採られている。 Due to the above factors, in general, the focusing position may be different for each well in one culture plate, and an appropriate focus position may be set for each well to reconstruct the phase image of the entire culture plate. There is a need to do. Conventionally, in order to obtain such a phase image, first, a phase image reconstruction process at a common predetermined focal position is performed on the entire culture plate. After that, the operator checks the phase image for each well to determine whether the focal position is appropriate, and if not, changes the setting of the focal position to reconstruct the phase image of the entire culture plate. A method such as redoing is adopted.

しかしながら、位相情報等の算出や画像再構成処理の計算量は多いため、或る程度性能の高いコンピュータを使用したとしても、培養プレート全体の位相画像の再構成処理を実施して位相画像を得るのには時間が掛かる。本発明者らの検討によれば、例えば培養プレート全面を900個程度の小領域に分割し、各小領域についてそれぞれ高い解像度(例えば4000×3000画素/枚)で複数の波長についてのホログラムを取得する装置において、測定開始から位相画像の再構成処理が終了するまで1時間以上掛かる。即ち、測定開始時点から1時間以上の時間が経過したあとでないと、焦点合わせの作業が行えない。また、ウェル毎に適切な焦点位置を求めるために位相画像の再構成処理を繰り返すことになると、焦点合わせが終了するまでにさらに長い時間が掛かってしまう。 However, since the amount of calculation of phase information and the calculation of image reconstruction processing is large, even if a computer having a certain degree of performance is used, the phase image of the entire culture plate is reconstructed to obtain a phase image. It takes time. According to the study by the present inventors, for example, the entire surface of the culture plate is divided into about 900 small regions, and holograms for a plurality of wavelengths are obtained for each small region at a high resolution (for example, 4000 × 3000 pixels / sheet). It takes one hour or more from the start of measurement to the end of the phase image reconstruction process in the device. That is, the focusing operation can be performed only after one hour or more has passed from the start of measurement. Further, if the phase image reconstruction process is repeated in order to obtain an appropriate focal position for each well, it takes a longer time to complete the focusing.

国際特許公開第2016/084420号International Patent Publication No. 2016/0842420 特開平10−268740号公報Japanese Unexamined Patent Publication No. 10-268740

「細胞培養解析装置 CultureScanner CS-1」、[online]、株式会社島津製作所、[平成30年3月6日検索]、インターネット<URL: https://www.an.shimadzu.co.jp/bio/cell/cs1/index.htm>"Cell culture analyzer CS-1", [online], Shimadzu Corporation, [Search on March 6, 2018], Internet <URL: https://www.an.shimadzu.co.jp/bio /cell/cs1/index.htm > ペン・バオ(Peng Bao)、ほか3名、「レンズレス・フェーズ・マイクロスコピー・ユージング・フェーズ・リトライバル・ウィズ・マルチプル・イルミネーション・ウェーブレングス(Lensless phase microscopy using phase retrieval with multiple illumination wavelengths)」、アプライド・オプティクス(Applied Optics)、ジ・オプティカル・ソサイエティ・オブ・アメリカ(The Optical Society of America)、2012年、Vol. 51、No. 22、pp. 5486-5494Peng Bao and 3 others, "Lensless phase microscopy using phase retrieval with multiple illumination wavelengths", "Lensless phase microscopy using phase retrieval with multiple illumination wavelengths", Applied Optics, The Optical Society of America, 2012, Vol. 51, No. 22, pp. 5486-5494

本発明は上記課題を解決するためになされたものであり、その目的とするところは、ホログラフィック顕微鏡により取得されたホログラムに基づいて位相回復等の演算処理を行って細胞を含む試料についての位相画像を再構成する細胞観察装置において、撮影の終了後に速やかに焦点位置を合わせることができ、無駄な時間や人手を費やすことを回避することができる細胞観察装置を提供することである。 The present invention has been made to solve the above problems, and an object of the present invention is to perform arithmetic processing such as phase retrieval based on a hologram acquired by a holographic microscope to perform arithmetic processing such as phase retrieval on a phase of a sample containing cells. It is an object of the present invention to provide a cell observation device for reconstructing an image, which can quickly adjust the focus position after the completion of imaging and can avoid wasting time and manpower.

上記課題を解決するために成された本発明の第1の態様は、ホログラフィック顕微鏡を利用した細胞観察装置であって、
a)光源部と、
b)前記光源部からの出射光を細胞を含む試料に照射したときの物体波と参照波との干渉縞であるホログラムを取得する検出部と、
c)前記試料上の測定位置が移動するように前記光源部及び前記検出部と前記試料との一方又は両方を移動させる移動部と、
d)前記移動部により前記試料上の測定位置を移動させつつ所定の観察対象領域内の各測定位置におけるホログラムの取得を繰り返すように前記光源部、前記検出部、及び前記移動部を制御する測定制御部と、
e)ユーザにより指定された特定の一若しくは複数の測定位置又は範囲において得られたホログラムデータに基づいて、複数の焦点位置における部分位相画像及び/又は部分強度画像をそれぞれ作成する再構成画像作成部と、
f)前記再構成画像作成部で作成された複数の焦点位置における部分位相画像及び/又は部分強度画像を同時に又は切替え可能に表示部に表示する表示処理部と、
g)前記表示処理部より部分位相画像及び/又は部分強度画像が表示された状態であるときに、ユーザの操作を受けて、そのときに表示している部分位相画像及び/又は部分強度画像の焦点位置を、該画像に対応する測定位置又は範囲を含む試料上の所定の領域の位相画像及び/又は強度画像を作成する際の合焦状態の焦点位置として記憶部に記憶させる焦点位置設定部と、
を備えることを特徴としている。
The first aspect of the present invention made to solve the above problems is a cell observation device using a holographic microscope.
a) Light source and
b) A detection unit that acquires a hologram that is an interference fringe between an object wave and a reference wave when a sample containing cells is irradiated with light emitted from the light source unit.
c) A moving unit that moves one or both of the light source unit, the detection unit, and the sample so that the measurement position on the sample moves.
d) Measurement that controls the light source unit, the detection unit, and the moving unit so as to repeatedly acquire holograms at each measurement position in a predetermined observation target region while moving the measurement position on the sample by the moving unit. Control unit and
e) Reconstructed image creation unit that creates partial phase images and / or partial intensity images at multiple focal positions based on hologram data obtained at one or more specific measurement positions or ranges specified by the user. When,
f) A display processing unit that simultaneously or switchably displays a partial phase image and / or a partial intensity image at a plurality of focal positions created by the reconstructed image creation unit on the display unit.
g) When the partial phase image and / or the partial intensity image is displayed from the display processing unit, the partial phase image and / or the partial intensity image displayed at that time is operated by the user. A focus position setting unit that stores the focal position in the storage unit as the focal position in the focused state when creating a phase image and / or an intensity image of a predetermined region on the sample including the measurement position or range corresponding to the image. When,
It is characterized by having.

本発明に係る細胞観察装置において、移動部は例えば、その位置が固定された培養プレートに対して光源部及び検出部を一体に移動させることで、該培養プレート上で光源部から出射した光が照射される測定位置を変化させる。測定制御部は該移動部により例えば光源部及び検出部を一体にステップ的に移動させつつ、培養プレート内の一つの測定位置にコヒーレント光を照射し、それにより検出部の検出面上に形成されるホログラムによる光強度の2次元分布を示すデータ(ホログラムデータ)を取得する、という動作を繰り返す。 In the cell observation apparatus according to the present invention, for example, by moving the light source unit and the detection unit integrally with respect to the culture plate whose position is fixed, the light emitted from the light source unit on the culture plate is emitted. The measurement position to be irradiated is changed. The measurement control unit is formed on the detection surface of the detection unit by irradiating one measurement position in the culture plate with coherent light while, for example, the light source unit and the detection unit are integrally and stepwise moved by the moving unit. The operation of acquiring data (hologram data) showing the two-dimensional distribution of light intensity by the hologram is repeated.

再構成画像作成部は、ユーザにより指定された特定の一若しくは複数の測定位置か、又は一つの測定位置中若しくは複数の測定位置に跨る所定の範囲において得られたホログラムデータに基づいて位相情報及び/又は強度情報を算出するが、その際に、複数の焦点位置における位相情報及び/又は強度情報を算出する。この複数の焦点位置はユーザによる指定に基づくものでもよいし、予め決められたものでもよい。そして再構成画像作成部は、得られた情報に基づいて焦点位置毎に部分位相画像及び/又は部分強度画像を作成する。この部分位相画像及び/又は部分強度画像が作成される範囲は、観察対象領域全体に比べれば遙かに小さな領域に限定される。即ち、部分位相画像又は部分強度画像は観察対象領域全体の中のごく一部に対応する画像である。 The reconstructed image creation unit provides phase information and phase information based on hologram data obtained at a specific one or more measurement positions specified by the user, or within a predetermined range within one measurement position or across a plurality of measurement positions. / Or the intensity information is calculated, and at that time, the phase information and / or the intensity information at a plurality of focal positions is calculated. The plurality of focal positions may be those specified by the user or may be predetermined. Then, the reconstructed image creating unit creates a partial phase image and / or a partial intensity image for each focal position based on the obtained information. The range in which the partial phase image and / or the partial intensity image is created is limited to a region much smaller than the entire observation target region. That is, the partial phase image or the partial intensity image is an image corresponding to a small part of the entire observation target area.

一般に、観察対象領域全体についてのホログラムデータに基づいて該観察対象領域全体についての位相画像や強度画像を再構成するのにはかなりの時間が掛かる。それに対し、再構成画像作成部での処理の対象であるホログラムデータの量は、観察対象領域全体についてのホログラムデータの量に比べれば格段に少ない。そのため、再構成画像作成部では、測定が終了した時点から比較的短い時間内で部分位相画像や部分強度画像を作成することができる。こうして作成された互いに焦点位置の異なる複数の部分位相画像や部分強度画像が表示処理部により、同時に又は切替え可能に表示部に表示される。これにより、ユーザは異なる焦点位置における部分位相画像等を見比べて、細胞を観察するのにどの焦点位置が適切であるかを判断することができる。 In general, it takes a considerable amount of time to reconstruct a phase image or an intensity image for the entire observation target area based on hologram data for the entire observation target area. On the other hand, the amount of hologram data to be processed by the reconstructed image creation unit is much smaller than the amount of hologram data for the entire observation target area. Therefore, the reconstructed image creating unit can create a partial phase image or a partial intensity image within a relatively short time from the time when the measurement is completed. A plurality of partial phase images and partial intensity images having different focal positions, which are created in this way, are simultaneously or switchably displayed on the display unit by the display processing unit. This allows the user to compare partial phase images and the like at different focal positions and determine which focal position is appropriate for observing the cells.

ユーザは例えば部分位相画像を見比べて、適切であると判断した部分位相画像が表示されている状態で所定の操作を行う。すると、このユーザの操作を受けて、焦点位置設定部は、そのときに表示している部分位相画像の焦点位置を、該画像に対応する測定位置又は範囲を含む試料上の所定の領域の位相画像や強度画像を作成するための焦点位置の条件として記憶部に記憶させる。こうして、測定終了後の比較的短い時間内で表示される部分位相画像や部分強度画像を利用して、観察対象領域全体の位相画像や強度画像を再構成する際の適切な焦点位置を決めることができる。観察対象領域全体の位相画像や強度画像を再構成する際には、少なくとも記憶部に格納されている焦点位置における画像を作成すればよいが、その焦点位置を含む所定の複数段階の焦点範囲の画像を作成するようにしてもよい。 For example, the user compares the partial phase images and performs a predetermined operation in a state where the partial phase image determined to be appropriate is displayed. Then, in response to this user's operation, the focal position setting unit sets the focal position of the partial phase image displayed at that time to the phase of a predetermined region on the sample including the measurement position or range corresponding to the image. It is stored in the storage unit as a condition of the focal position for creating an image or an intensity image. In this way, the appropriate focal position for reconstructing the phase image or intensity image of the entire observation target area is determined by using the partial phase image or partial intensity image displayed within a relatively short time after the measurement is completed. Can be done. When reconstructing the phase image or the intensity image of the entire observation target area, it is sufficient to create an image at least at the focal position stored in the storage unit, but the focal range of a predetermined plurality of stages including the focal position An image may be created.

なお、本発明において、インライン型、オフアクシス型、位相シフト型などのホログラフィック顕微鏡の方式は問わないが、光学系の構成が簡素であって試料と光源部との距離を複数段階に変化させる必要がないために駆動機構も簡素になるという点で、複数の波長におけるホログラムを利用するインライン型の構成が望ましい。 In the present invention, the holographic microscope method such as in-line type, off-axis type, and phase shift type is not limited, but the structure of the optical system is simple and the distance between the sample and the light source portion is changed in a plurality of steps. An in-line type configuration using holograms at a plurality of wavelengths is desirable in that the drive mechanism is simplified because it is not necessary.

本発明の第1の態様では、好ましくは、
前記所定の観察対象領域内の各測定位置において得られたホログラムデータに基づくホログラム画像を作成して表示部の画面上に表示するホログラム画像作成部と、
前記第2再構成画像作成部により作成される部分位相画像及び/又は部分強度画像に対応する測定位置又は範囲を、前記ホログラム画像作成部により表示されたホログラム画像上でユーザが指示するための指示入力部と、
をさらに備える構成とするとよい。
In the first aspect of the present invention, preferably
A hologram image creating unit that creates a hologram image based on the hologram data obtained at each measurement position in the predetermined observation target area and displays it on the screen of the display unit.
An instruction for the user to instruct the measurement position or range corresponding to the partial phase image and / or the partial intensity image created by the second reconstructed image creating unit on the hologram image displayed by the hologram image creating unit. Input section and
It is preferable that the configuration further includes.

ホログラム画像は位相画像等と異なり、測定終了後直ちに表示することが可能である。また、測定中であっても一つの測定位置についての測定が終了する度にその測定位置に対応する部分的なホログラム画像を表示することもできる。このホログラム画像はホログラムに対応する光強度の2次元分布であるので、生体細胞については十分に可視化されないことが多いものの、大きな段差があるウェルの縁部などについては十分に視認可能な画像である。そこで、ユーザは、表示されたホログラム画像上で例えばどのウェルのどの部分の部分位相画像や部分強度画像を見たいかを指示入力部により指示する。これにより、ユーザは所望の測定位置や範囲の部分位相画像や部分強度画像を短い待ち時間で確認することができる。 Unlike a phase image or the like, a hologram image can be displayed immediately after the measurement is completed. Further, even during measurement, a partial hologram image corresponding to the measurement position can be displayed each time the measurement for one measurement position is completed. Since this hologram image has a two-dimensional distribution of light intensity corresponding to the hologram, it is often not sufficiently visible for living cells, but it is a sufficiently visible image for the edges of wells with large steps. .. Therefore, the user instructs, for example, which part of which well the partial phase image or the partial intensity image is desired to be viewed on the displayed hologram image by the instruction input unit. As a result, the user can confirm the partial phase image and the partial intensity image of the desired measurement position and range with a short waiting time.

なお、ホログラム画像上で特定の一若しくは複数の測定位置をユーザが指定できるようにするほかに、例えば試料について別途取得した光学顕微画像などを参照してユーザが見たい座標位置を特定し、その座標位置の情報を本発明に係る装置に入力することで、特定の一若しくは複数の測定位置を決めることができるようにしてもよい。 In addition to allowing the user to specify one or more specific measurement positions on the hologram image, for example, the coordinate position that the user wants to see is specified by referring to an optical microscopic image separately acquired for the sample, and the coordinate position is specified. By inputting the information of the coordinate position into the apparatus according to the present invention, it may be possible to determine a specific one or a plurality of measurement positions.

また本発明の第1の態様に係る細胞観察装置が、複数の凹部が形成された培養プレートを使用し該プレートの各凹部内で培養中である細胞を観察するための細胞観察装置である場合、
前記焦点位置指定受付部は、ユーザの操作を受けて、そのときに表示している部分位相画像及び/又は部分強度画像の焦点位置を、該画像に対応する測定位置又は範囲を含む凹部における位相画像及び/又は強度画像を作成するための焦点位置として記憶部に記憶させるものであり、且つ、前記複数の凹部のそれぞれについて独立に凹部における位相画像及び/又は強度画像を作成するための焦点位置を記憶させる構成とするとよい。
Further, when the cell observation device according to the first aspect of the present invention is a cell observation device for observing cells being cultured in each recess of the culture plate having a plurality of recesses formed therein. ,
In response to the user's operation, the focal position designation receiving unit sets the focal position of the partial phase image and / or the partial intensity image displayed at that time to the phase in the recess including the measurement position or range corresponding to the image. The focal position is stored in the storage unit as a focal position for creating an image and / or an intensity image, and the focal position for independently creating a phase image and / or an intensity image in the recesses for each of the plurality of recesses. It is good to have a configuration that memorizes.

上述したように、複数のウェル(凹部)が培養プレートに形成されている場合、ウェルの底面の高さやウェル内の培地の高さがウェル毎に異なり、そのために合焦位置がウェル毎に異なることがしばしばある。これに対し上記構成によれば、培養プレート全体の位相画像や強度画像を作成する前に、培養プレートに形成されている複数のウェルのそれぞれについて、互いに異なる複数の焦点位置における部分位相画像や部分強度画像を作成し、ユーザが凹部毎に適切な焦点位置を判断することで、ウェル毎に適切な焦点位置の情報を収集することができる。それにより、培養プレート全体の位相画像や強度画像を作成する段階で各ウェルの合焦位置における位相画像や強度画像のみを作成すればよく、不必要な焦点位置の画像を作成する時間や手間を軽減することができる。 As described above, when a plurality of wells (recesses) are formed in the culture plate, the height of the bottom surface of the wells and the height of the medium in the wells are different for each well, and therefore the focusing position is different for each well. Often there is. On the other hand, according to the above configuration, before creating a phase image or an intensity image of the entire culture plate, a partial phase image or a portion of each of the plurality of wells formed on the culture plate at a plurality of different focal positions is provided. By creating an intensity image and determining an appropriate focal position for each recess, the user can collect information on an appropriate focal position for each well. As a result, it is only necessary to create a phase image or an intensity image at the in-focus position of each well at the stage of creating a phase image or an intensity image of the entire culture plate, which saves time and effort for creating an image of an unnecessary focal position. It can be mitigated.

またこの構成では、さらに、前記焦点位置指定受付部は、複数の凹部のそれぞれについて設定されている焦点位置の情報を表示部の画面上に表示するとともに、その表示上でユーザによる焦点位置の値の編集を受け付ける焦点位置編集部を含む構成としてもよい。 Further, in this configuration, the focus position designation reception unit further displays the focus position information set for each of the plurality of recesses on the screen of the display unit, and the value of the focus position by the user on the display. It may be configured to include a focus position editing unit that accepts editing of.

この構成によれば、ユーザが適切な焦点位置についての何らかの事前情報や知識を有している場合に、焦点位置編集部により適宜に焦点位置の値を修正することができる。また、部分位相画像等の再構成処理を実行する前に、ユーザが焦点位置編集部により適宜に焦点位置を入力できるようにしてもよい。 According to this configuration, when the user has some prior information or knowledge about an appropriate focal position, the focal position editing unit can appropriately correct the value of the focal position. Further, the user may appropriately input the focal position by the focal position editing unit before executing the reconstruction process of the partial phase image or the like.

また上記課題を解決するためになされた本発明に係る第2の態様は、一又は複数の容器内で培養中である細胞を観察するための、ホログラフィック顕微鏡を利用した細胞観察装置であって、
a)コヒーレント光を出射する光源部と、
b)細胞を含む前記一又は複数の容器である試料に前記光源部からの出射光を照射したときの物体波と参照波との干渉縞であるホログラムを取得する検出部と、
c)前記試料上の測定位置が移動するように前記光源部及び前記検出部と前記試料との一方又は両方を移動させる移動部と、
d)前記移動部により前記試料上の測定位置を移動させつつ所定の観察対象領域内の各測定位置におけるホログラムの取得を繰り返すように前記光源部、前記検出部、及び前記移動部を制御する測定制御部と、
e)前記一又は複数の容器の内底部又は該容器に収容されている培地表面の相対的な高さを非接触で計測する高さ計測部と、
f)該高さ計測部で計測された相対的な高さに基づいて前記容器毎に焦点位置を設定する焦点位置設定部と、
g)前記測定制御部による制御の下で、前記試料上の所定の観察対象領域内の各測定位置において得られたホログラムデータに基づいて、前記容器に対応する領域毎に前記焦点位置設定部で設定された焦点位置における位相情報及び/又は強度情報を算出するとともに、該位相情報の2次元分布を示す位相画像及び/又は該強度情報の2次元分布を示す強度画像を作成する再構成画像作成部と、
を備えることを特徴としている。
A second aspect of the present invention made to solve the above problems is a cell observation device using a holographic microscope for observing cells being cultured in one or more containers. ,
a) A light source that emits coherent light,
b) A detection unit that acquires a hologram that is an interference fringe between an object wave and a reference wave when the sample, which is one or more containers containing cells, is irradiated with light emitted from the light source unit.
c) A moving unit that moves one or both of the light source unit, the detection unit, and the sample so that the measurement position on the sample moves.
d) Measurement that controls the light source unit, the detection unit, and the moving unit so as to repeatedly acquire holograms at each measurement position in a predetermined observation target region while moving the measurement position on the sample by the moving unit. Control unit and
e) A height measuring unit that non-contactly measures the relative height of the inner bottom of the one or more containers or the surface of the medium contained in the container.
f) A focal position setting unit that sets the focal position for each container based on the relative height measured by the height measuring unit.
g) Under the control of the measurement control unit, the focus position setting unit for each region corresponding to the container is based on the hologram data obtained at each measurement position in the predetermined observation target region on the sample. Create a reconstructed image that calculates the phase information and / or intensity information at the set focal position and creates a phase image showing the two-dimensional distribution of the phase information and / or an intensity image showing the two-dimensional distribution of the intensity information. Department and
It is characterized by having.

ここで、容器が一つのみ用いられる場合には、該容易はシャーレ、フラスコなどである。一方、複数の容器が用いられる場合には一般に、該容器は培養プレートに形成されたウェルである。 Here, when only one container is used, the easy is a petri dish, a flask, or the like. On the other hand, when a plurality of containers are used, the containers are generally wells formed on the culture plate.

この第2の態様では、ユーザが部分位相画像等を目視で確認して合焦位置を見つける代わりに、高さ計測部が、一又は複数の容器の内底部又は該容器に収容されている培地表面の相対的な高さを非接触で計測する。高さ計測部としては例えばレーザ測距計などを用いることができる。そして焦点位置設定部は、高さ計測部による計測で求まった相対的な高さの値に基づいて容器毎に焦点位置を設定する。高さ計測部により容器の内底部の高さを計測する場合には、該容器に収容される培地の量などの情報に基づいて培地表面の高さを推定し、さらに、その高さから培養中の細胞表面の高さを推定することができる。また、高さ計測部により容器内の培地表面の高さを計測できる場合には、その高さから培養中の細胞表面の高さを推定することができる。 In this second aspect, instead of the user visually checking the partial phase image or the like to find the in-focus position, the height measuring unit is placed on the inner bottom of one or more containers or the medium contained in the container. Measure the relative height of the surface in a non-contact manner. As the height measuring unit, for example, a laser range finder or the like can be used. Then, the focal position setting unit sets the focal position for each container based on the relative height value obtained by the measurement by the height measuring unit. When the height of the inner bottom of the container is measured by the height measuring unit, the height of the medium surface is estimated based on information such as the amount of the medium contained in the container, and the culture is further carried out from that height. The height of the cell surface inside can be estimated. Further, when the height of the medium surface in the container can be measured by the height measuring unit, the height of the cell surface during culturing can be estimated from the height.

いずれにしても、高さ計測部により実測した値を利用して焦点位置を決めるので、例えば複数のウェル毎に内底部の高さが相違する場合であっても、作業者の判断に頼ることなく精度の高い焦点合わせが可能である。また、部分位相画像や部分強度画像を作業者が確認する必要がなくなるので、人手をより一層省いた自動的な観察画像の作成が可能となる。 In any case, since the focal position is determined using the value actually measured by the height measuring unit, it depends on the judgment of the operator even if the height of the inner bottom is different for each of a plurality of wells, for example. It is possible to focus with high accuracy. Further, since it is not necessary for the operator to confirm the partial phase image and the partial intensity image, it is possible to create an automatic observation image that further saves manpower.

本発明によれば、測定によって取得されたホログラムデータに基づく複雑な計算を経て作成される位相画像や強度画像が表示されるのを待つことなく、測定終了後速やかに、作業者は焦点位置を合わせる作業を行うことができる。また、特に本発明に係る第1の態様によれば、測定終了後速やかに表示される部分位相画像や部分強度画像で撮影状態等が適切かどうかを確認する作業と同時に、焦点位置合わせの作業を行うことができる。これにより、細胞観察に際し作業者が行うべき作業の効率化を図ることができる。 According to the present invention, the operator can quickly determine the focal position after the measurement is completed without waiting for the phase image or intensity image created through complicated calculations based on the hologram data acquired by the measurement to be displayed. You can do the work of matching. Further, in particular, according to the first aspect of the present invention, at the same time as the work of confirming whether the shooting state or the like is appropriate with the partial phase image or the partial intensity image displayed immediately after the measurement is completed, the work of focusing is aligned. It can be performed. As a result, it is possible to improve the efficiency of the work that the worker should perform when observing the cells.

本発明の一実施例である細胞観察装置の全体構成図。The whole block diagram of the cell observation apparatus which is an Example of this invention. 本実施例の細胞観察装置における測定用端末の概略構成図。The schematic block diagram of the measurement terminal in the cell observation apparatus of this Example. 本実施例の細胞観察装置における画像再構成処理を説明するための概念図。The conceptual diagram for demonstrating the image reconstruction processing in the cell observation apparatus of this Example. 本実施例の細胞観察装置における特徴的な処理動作の説明図。The explanatory view of the characteristic processing operation in the cell observation apparatus of this Example. 本実施例の細胞観察装置における撮影終了後に測定用端末で表示される画面の一例を示す図。The figure which shows an example of the screen displayed on the measurement terminal after the completion of imaging in the cell observation apparatus of this Example. 本実施例の細胞観察装置における測定用端末で表示される指定測定位置のIHM位相像及びIHM強度像の一例を示す図。The figure which shows an example of the IHM phase image and the IHM intensity image of the designated measurement position displayed by the measurement terminal in the cell observation apparatus of this Example. 本発明の他の実施例である細胞観察装置における測定用端末の概略構成図。The schematic block diagram of the measurement terminal in the cell observation apparatus which is another Example of this invention.

以下、本発明に係る細胞観察装置の一実施例について、添付図面を参照して説明する。
図1は本実施例の細胞観察装置の全体構成図、図2は本実施例の細胞観察装置における測定用端末の概略構成図である。
Hereinafter, an embodiment of the cell observation apparatus according to the present invention will be described with reference to the accompanying drawings.
FIG. 1 is an overall configuration diagram of the cell observation device of this embodiment, and FIG. 2 is a schematic configuration diagram of a measurement terminal in the cell observation device of this embodiment.

本実施例の細胞観察装置は、インターネット、イントラネットなどの通信ネットワーク4を介して接続された測定用端末1と、閲覧用端末3と、サーバ5と、を含む。図1には、測定用端末1及び閲覧用端末3をそれぞれ1台ずつ記載しているが、これらはそれぞれ適宜の数だけ設けることができる。 The cell observation device of this embodiment includes a measurement terminal 1, a browsing terminal 3, and a server 5 connected via a communication network 4 such as the Internet or an intranet. Although FIG. 1 shows one measurement terminal 1 and one viewing terminal 3, each of these can be provided in an appropriate number.

サーバ5は高性能なコンピュータであり、該コンピュータにインストールされている専用のソフトウェアにより具現化される機能ブロックとして、データ送受信部51、ホログラムデータ記憶部52、第1位相回復演算部53、第2位相回復演算部54、第1画像再構成部55、第2画像再構成部56、画像データ記憶部57等を備える。 The server 5 is a high-performance computer, and as functional blocks embodied by dedicated software installed in the computer, a data transmission / reception unit 51, a hologram data storage unit 52, a first phase retrieval calculation unit 53, and a second phase recovery calculation unit 53. It includes a phase retrieval calculation unit 54, a first image reconstruction unit 55, a second image reconstruction unit 56, an image data storage unit 57, and the like.

測定用端末1は顕微観察部10と制御・処理部20とから成る。本実施例の細胞観察装置では、顕微観察部10はインライン型デジタルホログラフィック顕微鏡であり、図2に示すように、レーザダイオード等を含む光源部11とイメージセンサ12とを備え、光源部11とイメージセンサ12との間に、観察対象物である細胞14を含む培養プレート13が配置される。光源部11及びイメージセンサ12は例えばモータ等の駆動源を含む移動部15により、互いに直交するX軸、Y軸の二軸方向に一体に移動自在である。 The measurement terminal 1 includes a microscopic observation unit 10 and a control / processing unit 20. In the cell observation apparatus of this embodiment, the microscopic observation unit 10 is an in-line digital holographic microscope, and as shown in FIG. 2, includes a light source unit 11 including a laser diode and the like and an image sensor 12, and the light source unit 11 and A culture plate 13 containing the cells 14 to be observed is arranged between the image sensor 12 and the image sensor 12. The light source unit 11 and the image sensor 12 can be integrally moved in the biaxial directions of the X-axis and the Y-axis orthogonal to each other by a moving unit 15 including a drive source such as a motor.

なお、図2では図面が煩雑になるのを避けるために、光源部11とイメージセンサ12とを一つずつ、つまり一組しか記載していないが、実際には、光源部11とイメージセンサ12とは一枚の培養プレート13を挟んで四組設けられており、後述するように、その四組の光源部11とイメージセンサ12とにより一枚の培養プレート13の異なる測定位置についてのホログラムを並行して取得することが可能である。 In addition, in FIG. 2, in order to avoid complicating the drawings, the light source unit 11 and the image sensor 12 are shown one by one, that is, only one set, but in reality, the light source unit 11 and the image sensor 12 are shown. Is provided in four sets with one culture plate 13 sandwiched between them, and as will be described later, the four sets of light source units 11 and the image sensor 12 provide holograms of different measurement positions of one culture plate 13. It is possible to acquire in parallel.

制御・処理部20の実体は、顕微観察部10の動作を制御するとともに顕微観察部10で取得されたデータをサーバ5に送出する、さらにはサーバ5において処理されたデータを受け取って表示を行うパーソナルコンピュータ(PC)である。このPCにインストールされた専用のソフトウェアにより具現化される機能ブロックとして、撮影制御部21、ホログラムデータ記憶部22、データ送受信部23、ホログラム画像作成部24、確認位置指定受付部25、画像データ記憶部26、表示処理部27、焦点指定受付部28等を備える。また、制御・処理部20には、キーボードやマウス等のポインティングデバイスである入力部201と、表示部202と、が接続されている。 The entity of the control / processing unit 20 controls the operation of the microscopic observation unit 10, sends the data acquired by the microscopic observation unit 10 to the server 5, and further receives and displays the data processed by the server 5. It is a personal computer (PC). As functional blocks embodied by the dedicated software installed in this PC, a shooting control unit 21, a hologram data storage unit 22, a data transmission / reception unit 23, a hologram image creation unit 24, a confirmation position designation reception unit 25, and an image data storage unit. A unit 26, a display processing unit 27, a focus designation reception unit 28, and the like are provided. Further, the control / processing unit 20 is connected to an input unit 201, which is a pointing device such as a keyboard or a mouse, and a display unit 202.

閲覧用端末3は測定用端末1における制御・処理部20と同様に、その実体は一般的なPCである。そして、該PCにインストールされた専用のソフトウェアにより、サーバ5からデータを受領し、該データに基づいて形成される適宜の画像を表示することが可能である。 The browsing terminal 3 is a general PC in the same manner as the control / processing unit 20 in the measuring terminal 1. Then, the dedicated software installed on the PC can receive the data from the server 5 and display an appropriate image formed based on the data.

次に、本実施例の細胞解析装置におけるホログラムデータ取得の際の動作について図3を参照して説明する。図3は本実施例の細胞観察装置における画像再構成処理を説明するための概念図である。 Next, the operation of the cell analyzer of this embodiment when acquiring hologram data will be described with reference to FIG. FIG. 3 is a conceptual diagram for explaining the image reconstruction process in the cell observation device of this embodiment.

図3(a)は本実施例の細胞観察装置において使用される培養プレート13の略上面図である。この培養プレート13には上面視円形状である6個のウェル13aが形成されており、その各ウェル13a内で細胞が培養される。ここでは、1枚の培養プレート13全体、つまりは6個のウェル13aを含む矩形状の範囲全体が観察対象領域である。顕微観察部10は光源部11及びイメージセンサ12の組を4組備えており、各組の光源部11及びイメージセンサ12はそれぞれ、図3(a)に示すように培養プレート13全体を4等分した四つの4分割範囲81のホログラムデータの収集を担う。つまり、4組の光源部11及びイメージセンサ12が培養プレート13全体に亘るホログラムデータの収集を分担する。 FIG. 3A is a schematic top view of the culture plate 13 used in the cell observation apparatus of this example. Six wells 13a having a circular shape in the top view are formed on the culture plate 13, and cells are cultured in each of the wells 13a. Here, the entire culture plate 13, that is, the entire rectangular area including the six wells 13a is the observation target area. The microscopic observation unit 10 includes four sets of a light source unit 11 and an image sensor 12, and each of the light source unit 11 and the image sensor 12 of each set has a total culture plate 13 of 4 mag as shown in FIG. 3A. It is responsible for collecting hologram data of the four divided four-division ranges 81. That is, the four sets of the light source unit 11 and the image sensor 12 share the collection of hologram data over the entire culture plate 13.

一組の光源部11及びイメージセンサ12が1回に撮影可能である範囲は、図3(b)及び(c)に示すように、4分割範囲81の中の1個のウェル13aを含む略正方形状の範囲82をX軸方向に10等分、Y軸方向に12等分して得られる一つの撮像単位83に相当する範囲である。一つの4分割範囲81は予め作業者により指定された所定数の、例えば15×12=180個の撮像単位83を含む。四つの光源部11と四つのイメージセンサ12はそれぞれ光源部11及びイメージセンサ12を含むX−Y面内で、4分割範囲81と同じ大きさである矩形の四つの頂点付近にそれぞれ配置されおり、培養プレート13上の異なる四つの撮像単位83についてのホログラムの取得を同時に行う。 As shown in FIGS. 3 (b) and 3 (c), the range in which the set of the light source unit 11 and the image sensor 12 can be photographed at one time includes the well 13a in the four division range 81. It is a range corresponding to one imaging unit 83 obtained by dividing the square-shaped range 82 into 10 equal parts in the X-axis direction and 12 equal parts in the Y-axis direction. One 4-division range 81 includes a predetermined number of imaging units 83, for example, 15 × 12 = 180, which are designated in advance by the operator. The four light source units 11 and the four image sensors 12 are arranged in the XY plane including the light source unit 11 and the image sensor 12, respectively, near the four vertices of a rectangle having the same size as the four division range 81. , Acquire holograms for four different imaging units 83 on the culture plate 13 at the same time.

培養プレート13についてのホログラムデータの収集に際し、作業者はまず、観察対象である細胞14が培養されている培養プレート13を顕微観察部10の所定位置にセットし、該培養プレート13を特定する識別番号や測定日時などの情報を入力部201から入力したうえで測定実行を指示する。この測定指示を受けて撮影制御部21は、顕微観察部10の各部を制御して撮影を実行する。 When collecting hologram data for the culture plate 13, the operator first sets the culture plate 13 in which the cells 14 to be observed are cultured at a predetermined position of the microscopic observation unit 10 and identifies the culture plate 13. After inputting information such as a number and a measurement date and time from the input unit 201, the measurement execution is instructed. In response to this measurement instruction, the imaging control unit 21 controls each unit of the microscopic observation unit 10 to execute imaging.

即ち、一つの光源部11は、10°程度の微小角度の広がりを持つコヒーレント光を培養プレート13の所定の領域(一つの撮像単位83)に照射する。培養プレート13及び細胞14を透過したコヒーレント光(物体光17)は、培養プレート13上で細胞14に近接する領域を透過した光(参照光16)と干渉しつつイメージセンサ12に到達する。物体光17は細胞14を透過する際に位相が変化した光であり、他方、参照光16は細胞14を透過しないので該細胞14に起因する位相変化を受けない光である。したがって、イメージセンサ12の検出面(像面)上には、細胞14により位相が変化した物体光17と位相が変化していない参照光16との干渉像、つまりホログラムがそれぞれ形成され、このホログラムに対応する2次元的な光強度分布データ(ホログラムデータ)がイメージセンサ12から出力される。 That is, one light source unit 11 irradiates a predetermined region (one imaging unit 83) of the culture plate 13 with coherent light having a spread of a minute angle of about 10 °. The coherent light (object light 17) transmitted through the culture plate 13 and the cells 14 reaches the image sensor 12 while interfering with the light (reference light 16) transmitted through the region close to the cells 14 on the culture plate 13. The object light 17 is light whose phase changes when it passes through the cell 14, while the reference light 16 is light that does not pass through the cell 14 and therefore does not undergo the phase change caused by the cell 14. Therefore, on the detection surface (image surface) of the image sensor 12, an interference image of the object light 17 whose phase has been changed by the cell 14 and the reference light 16 whose phase has not changed, that is, a hologram is formed, and this hologram is formed. The two-dimensional light intensity distribution data (hologram data) corresponding to the above is output from the image sensor 12.

上述したように、四つの光源部11からは略同時に培養プレート13に向けてコヒーレント光が出射され、四つのイメージセンサ12では培養プレート13上の異なる撮像単位83に対応する領域のホログラムデータが取得される。一つの測定位置での測定が終了する毎に、光源部11及びイメージセンサ12は移動部15により、X−Y面内で一つの撮像単位83に相当する距離だけX軸方向及びY軸方向にステップ状に順次移動される。これによって、4分割範囲81に含まれる180個の撮像単位83での測定が実施され、四組の光源部11及びイメージセンサ12全体で培養プレート13全体の測定が実行されることになる。このようにして顕微観察部10の四つのイメージセンサ12で得られたホログラムデータは、測定日時等の属性情報とともに、ホログラムデータ記憶部22に格納される。 As described above, coherent light is emitted from the four light source units 11 toward the culture plate 13 at substantially the same time, and the four image sensors 12 acquire hologram data of regions corresponding to different imaging units 83 on the culture plate 13. Will be done. Each time the measurement at one measurement position is completed, the light source unit 11 and the image sensor 12 are moved in the X-axis direction and the Y-axis direction by the moving unit 15 by a distance corresponding to one imaging unit 83 in the XY plane. It is moved sequentially in steps. As a result, the measurement is performed by 180 imaging units 83 included in the 4-division range 81, and the measurement of the entire culture plate 13 is executed by the four sets of the light source unit 11 and the image sensor 12 as a whole. The hologram data thus obtained by the four image sensors 12 of the microscopic observation unit 10 is stored in the hologram data storage unit 22 together with the attribute information such as the measurement date and time.

全ての撮像単位83についての測定(撮影)が終了したあと、作業者により後述する所定の操作が行われると、データ送受信部23は、ホログラムデータ記憶部22に格納されたホログラムデータを測定日時等の属性情報とともに、逐次、通信ネットワーク4を介してサーバ5に転送する。なお、各測定用端末1からサーバ5へは生の、つまりは加工されていないホログラムデータを送ればよいが、必要に応じて、各測定用端末1に固有の誤差要因を補正するような加工処理を施したホログラムデータをサーバ5へ送るようにしてもよい。 After the measurement (shooting) of all the imaging units 83 is completed, when a predetermined operation described later is performed by the operator, the data transmission / reception unit 23 measures the hologram data stored in the hologram data storage unit 22 such as the measurement date and time. The data is sequentially transferred to the server 5 via the communication network 4 together with the attribute information of. It is sufficient to send raw, that is, unprocessed hologram data from each measurement terminal 1 to the server 5, but if necessary, processing that corrects an error factor peculiar to each measurement terminal 1. The processed hologram data may be sent to the server 5.

サーバ5においてデータ送受信部51は測定用端末1から送られて来たホログラムデータを受け取り、測定用端末1を特定するための識別情報、撮影時に入力された培養プレートの識別情報や測定日時などの属性情報とともにホログラムデータをホログラムデータ記憶部52に蓄積する。ホログラムデータを収集したあと、第1位相回復演算部53はホログラムデータ記憶部52から撮像単位毎のホログラムデータを読み出し、光波の伝播計算処理を行うことで位相情報を復元するとともに強度(振幅)情報を求める。位相情報や強度情報の空間分布は撮像単位83毎に求まるから、全ての撮像単位83の位相情報や強度情報が得られたならば、第1画像再構成部55は、その位相情報や強度情報に基づいて、観察対象領域全体の位相画像や強度画像を形成する。 In the server 5, the data transmission / reception unit 51 receives the hologram data sent from the measurement terminal 1, and identifies the identification information for identifying the measurement terminal 1, the identification information of the culture plate input at the time of photographing, the measurement date and time, and the like. Hologram data is stored in the hologram data storage unit 52 together with the attribute information. After collecting the hologram data, the first phase recovery calculation unit 53 reads the hologram data for each imaging unit from the hologram data storage unit 52 and performs light wave propagation calculation processing to restore the phase information and the intensity (amplitude) information. Ask for. Since the spatial distribution of the phase information and the intensity information is obtained for each imaging unit 83, if the phase information and the intensity information of all the imaging units 83 are obtained, the first image reconstruction unit 55 will perform the phase information and the intensity information. A phase image or an intensity image of the entire observation target area is formed based on the above.

より詳しく述べると、第1画像再構成部55は、撮像単位83毎に算出された位相情報の空間分布に基づき各撮像単位83の位相画像を再構成し、その狭い範囲の位相画像を繋ぎ合わせるタイリング処理(図3(d)参照)を行うことで、観察対象領域つまりは培養プレート13全体についての位相画像を形成する。もちろん、タイリング処理の際には撮像単位83の境界での位相画像が滑らか繋がるように適宜の補正処理を行うとよい。なお、こうした位相情報の算出や画像の再構成の際には、特許文献1、2等の既知の文献に開示されているアルゴリズムを利用すればよい。 More specifically, the first image reconstruction unit 55 reconstructs the phase image of each imaging unit 83 based on the spatial distribution of the phase information calculated for each imaging unit 83, and joins the phase images in a narrow range thereof. By performing the tying process (see FIG. 3D), a phase image of the observation target region, that is, the entire culture plate 13 is formed. Of course, during the tiling process, it is advisable to perform an appropriate correction process so that the phase images at the boundary of the imaging unit 83 are smoothly connected. When calculating such phase information and reconstructing an image, an algorithm disclosed in known documents such as Patent Documents 1 and 2 may be used.

また、通常の処理で得られる再構成画像は取得されたホログラムデータにより原理的に求まる最高解像度の画像であるが、それだけでなく、その最高解像度の位相画像を元に、ビニング処理等により解像度を落とした複数段階の解像度(倍率)の位相画像を作成するようにしてもよい。そして、こうして作成した位相画像や強度画像を構成する画像データを画像データ記憶部57に格納する。 In addition, the reconstructed image obtained by normal processing is the image with the highest resolution that can be obtained in principle from the acquired hologram data, but not only that, the resolution is adjusted by binning processing or the like based on the phase image with the highest resolution. A phase image having a plurality of reduced resolutions (magnifications) may be created. Then, the image data constituting the phase image and the intensity image created in this way is stored in the image data storage unit 57.

サーバ5の性能にも依るが、1枚の培養プレート13から得られるホログラムデータは膨大な量であるため、第1位相回復演算部53や第1画像再構成部55における処理にはかなりの時間を要する。そのため、一般的には、たとえ測定用端末1側で全ての測定が終了しても、直ちに観察対象領域全体の位相画像や強度画像を閲覧することはできない。また、上述したように位相情報や強度情報を算出する際には、任意の焦点位置における位相情報や強度情報を求めることができるものの、焦点位置が合っているか否かの確認や焦点が合っていない場合の焦点合わせの作業は観察対象領域全体の位相画像や強度画像が得られるまで待たなければならない。そこで本実施例の細胞観察装置では、こうしたこと避けるために、以下に説明する特徴的な処理を実行している。 Although it depends on the performance of the server 5, since the amount of hologram data obtained from one culture plate 13 is enormous, it takes a considerable amount of time for the first phase retrieval calculation unit 53 and the first image reconstruction unit 55 to process. Needs. Therefore, in general, even if all the measurements are completed on the measurement terminal 1 side, the phase image and the intensity image of the entire observation target region cannot be immediately viewed. Further, as described above, when calculating the phase information and the intensity information, the phase information and the intensity information at an arbitrary focal position can be obtained, but it is confirmed whether or not the focal position is in focus and the focus is in focus. If not, the focusing work must wait until a phase image or an intensity image of the entire observation target area is obtained. Therefore, in the cell observation apparatus of this example, in order to avoid such a situation, the characteristic processing described below is executed.

図4はこの特徴的な処理動作の説明図、図5は撮影終了後に測定用端末で表示される画面の一例を示す図、図6は測定用端末で表示される指定測定位置の位相画像及び強度画像の一例を示す図である。 FIG. 4 is an explanatory diagram of this characteristic processing operation, FIG. 5 is a diagram showing an example of a screen displayed on the measurement terminal after shooting is completed, FIG. 6 is a phase image of a designated measurement position displayed on the measurement terminal, and FIG. It is a figure which shows an example of an intensity image.

測定実行前に作業者が入力部201で所定の操作を行うと、表示処理部27は、図5に示すような撮影画像表示画面60を表示部202に表示する。この撮影画像表示画面60には、画像表示領域61とプレート情報表示領域62とが配置されており、さらに右下には、「停止」ボタン63が配置されている。プレート情報表示領域62には、測定中又は測定が終了した培養プレート13の名称(プレート名)や識別番号(プレートID)などの属性情報が表示される。但し、図5に示した画面は測定終了後のものであり、測定開始前には画像表示領域61には実質的な画像は何も表示されていない。 When the operator performs a predetermined operation on the input unit 201 before executing the measurement, the display processing unit 27 displays the captured image display screen 60 as shown in FIG. 5 on the display unit 202. An image display area 61 and a plate information display area 62 are arranged on the captured image display screen 60, and a “stop” button 63 is further arranged at the lower right. In the plate information display area 62, attribute information such as the name (plate name) and the identification number (plate ID) of the culture plate 13 during or after the measurement is displayed is displayed. However, the screen shown in FIG. 5 is after the measurement is completed, and no substantial image is displayed in the image display area 61 before the measurement is started.

測定が開始されて上述したように培養プレート13上での各撮像単位83に対応する領域についてのホログラムデータが得られると、ホログラム画像作成部24は撮像単位83毎に、得られたデータに基づいて光強度の2次元分布を示すホログラム画像を作成する。このときに作成されるホログラム画像は解像度が最低であるサムネイル画像である。表示処理部27は作成されたホログラムのサムネイル画像を、画像表示領域61内のそれぞれの撮像単位に対応する位置に貼り付けて表示する。即ち、一つの撮像単位のホログラムデータが新たに得られる毎にほぼリアルタイムで、そのデータに基づくホログラムのサムネイル画像が画像表示領域61内の画像に追加して表示される。そして、全ての撮像単位についての測定が終了すると、図5に示すような、観察対象領域全体のホログラム画像が表示される。測定終了後に作業者が撮影画像表示画面60内の「画像作成を実行」ボタン65をクリック操作すると、収集されたホログラムデータがサーバ5が転送され、前述したように全画面の画像再構成処理が実行される。 When the measurement is started and hologram data for the region corresponding to each imaging unit 83 on the culture plate 13 is obtained as described above, the hologram image creating unit 24 is based on the obtained data for each imaging unit 83. To create a hologram image showing a two-dimensional distribution of light intensity. The hologram image created at this time is a thumbnail image having the lowest resolution. The display processing unit 27 attaches and displays the created hologram thumbnail image at a position corresponding to each imaging unit in the image display area 61. That is, every time the hologram data of one imaging unit is newly obtained, the thumbnail image of the hologram based on the data is additionally displayed in addition to the image in the image display area 61 in almost real time. Then, when the measurement for all the imaging units is completed, the hologram image of the entire observation target region as shown in FIG. 5 is displayed. When the operator clicks the "Create image" button 65 on the captured image display screen 60 after the measurement is completed, the collected hologram data is transferred to the server 5, and the full-screen image reconstruction process is performed as described above. Will be executed.

なお、ホログラム画像では細胞の状態を観察するのは困難であるが、光源部11やイメージセンサ12の損傷等の装置の不具合や測定上の不手際等に起因する現象の多くは画像上で把握可能である。そこで、作業者は測定実行中に画像表示領域61に表示されるホログラム画像を監視し、何らかの問題があると判断できる場合には「停止」ボタン63をクリック操作する。すると、撮影制御部21はこの操作を受けて測定を停止する。このように、測定に何らかの問題がある場合に測定を速やかに停止させることで、残りの無駄な測定に時間を費やすことを回避することができる。 Although it is difficult to observe the state of cells in a hologram image, most of the phenomena caused by device malfunctions such as damage to the light source unit 11 and the image sensor 12 and inadequate measurement can be grasped on the image. Is. Therefore, the operator monitors the hologram image displayed in the image display area 61 during the measurement execution, and clicks the "stop" button 63 when it can be determined that there is some problem. Then, the imaging control unit 21 receives this operation and stops the measurement. In this way, by promptly stopping the measurement when there is any problem in the measurement, it is possible to avoid wasting time on the remaining unnecessary measurement.

測定終了後速やかに位相画像や強度画像を確認したい場合、作業者は、入力部201の一部であるマウス等のポインティングデバイスにより、図5に示した撮影画像表示画面60内の画像表示領域61に表示されているホログラム画像を構成する多数のサムネイル画像のうちの所望の一つの上にカーソルを移動させる。確認位置指定受付部25はこの操作を受け付け、選択されている撮像単位を示す矩形状のマーク67を画像に重畳して表示する。そして、作業者がポインティングデバイスによるダブルクリック操作を行うと、確認位置指定受付部25はそのときに選択されている一つの撮像単位を、部分位相画像の作成対象であると認識し、これに応じて表示処理部27は図6に示すような指定位置画像表示画面70を表示部202の画面上に表示する。この指定位置画像表示画面70には画像表示領域71が設けられている。 When it is desired to confirm the phase image or the intensity image immediately after the measurement is completed, the operator uses a pointing device such as a mouse which is a part of the input unit 201 to display the image display area 61 in the captured image display screen 60 shown in FIG. Move the cursor over one of the many thumbnail images that make up the hologram image displayed in. The confirmation position designation reception unit 25 accepts this operation and displays a rectangular mark 67 indicating the selected imaging unit superimposed on the image. Then, when the operator performs a double-click operation with the pointing device, the confirmation position designation reception unit 25 recognizes one imaging unit selected at that time as a target for creating a partial phase image, and responds accordingly. The display processing unit 27 displays the designated position image display screen 70 as shown in FIG. 6 on the screen of the display unit 202. The designated position image display screen 70 is provided with an image display area 71.

並行して確認位置指定受付部25は、指示された一つの撮像単位について得られたホログラムデータをホログラムデータ記憶部22から読み出し、データ送受信部23は読み出されたデータを通信ネットワーク4を通してサーバ5に転送する。なお、この一つの撮像単位についてのホログラムデータの転送動作は、上述したような撮影対象領域全体のホログラムデータのサーバ5への転送動作と並行して行ってもよいし、それよりも優先的に行ってもよい。後者の場合、撮影対象領域全体のホログラムデータの転送動作がすでに開始されていれば、それを一旦中断して、選択指示された一つの撮像単位についてのホログラムデータの転送を行えばよい。 At the same time, the confirmation position designation reception unit 25 reads the hologram data obtained for one designated imaging unit from the hologram data storage unit 22, and the data transmission / reception unit 23 reads the read data through the communication network 4 to the server 5 Transfer to. The hologram data transfer operation for this one imaging unit may be performed in parallel with the transfer operation of the hologram data of the entire imaging target area to the server 5 as described above, or may be performed in parallel with the transfer operation, and has priority over that. You may go. In the latter case, if the operation of transferring the hologram data of the entire imaging target area has already started, it may be interrupted once and the hologram data of one imaging unit instructed to be selected may be transferred.

サーバ5においてデータ送受信部51は、上述したように測定用端末1から送られて来た一つの撮像単位についてのホログラムデータを受け取り、該データをホログラムデータ記憶部52に一旦格納する。このときに転送されて来るデータの量は観察対象領域全体のホログラムデータのデータ量に比べて格段に少ないため、転送時間も格段に短い(図4参照)。 In the server 5, the data transmission / reception unit 51 receives the hologram data for one imaging unit sent from the measurement terminal 1 as described above, and temporarily stores the data in the hologram data storage unit 52. Since the amount of data transferred at this time is much smaller than the amount of hologram data in the entire observation target area, the transfer time is also much shorter (see FIG. 4).

第2位相回復演算部54はホログラムデータ記憶部22に格納された一つの撮像単位のホログラムデータを読み出し、光波の伝播計算処理を行うことで位相情報を復元するとともに強度情報を求める。引き続き、第2画像再構成部56は、算出された位相情報や強度情報に基づいて、一つの撮像単位についての部分位相画像及び部分強度画像を形成する。なお、ホログラムデータから位相情報や強度情報を算出する際には任意の焦点位置の情報を算出することができるが、この時点で設定される焦点位置は、測定用端末1から指定されたデフォルト値(例えば同じ識別番号の培養プレート及びウェルについて最も直近の過去の時点で設定されていた焦点位置など)である。この部分位相画像及び部分強度画像を構成する画像データは画像データ記憶部57に格納されるとともに、データ送受信部51から測定用端末1に送られる。演算処理や画像再構成の処理も一つの撮像単位分のみでよくタイリング処理等の不要であるので、部分位相画像及び部分強度画像が形成されるまでの処理時間も、観察対象領域全体の位相画像及び強度画像を形成するのに要する時間に比べて格段に短い(図4参照)。 The second phase retrieval calculation unit 54 reads out the hologram data of one imaging unit stored in the hologram data storage unit 22 and performs a light wave propagation calculation process to restore the phase information and obtain the intensity information. Subsequently, the second image reconstruction unit 56 forms a partial phase image and a partial intensity image for one imaging unit based on the calculated phase information and intensity information. When calculating the phase information and the intensity information from the hologram data, the information of the arbitrary focal position can be calculated, but the focal position set at this point is the default value specified from the measurement terminal 1. (For example, the focal position set at the most recent past time for the culture plate and well with the same identification number). The image data constituting the partial phase image and the partial intensity image is stored in the image data storage unit 57 and sent from the data transmission / reception unit 51 to the measurement terminal 1. Since the arithmetic processing and the image reconstruction processing are only required for one imaging unit and no tiling processing or the like is required, the processing time until the partial phase image and the partial intensity image are formed is also the phase of the entire observation target area. It is much shorter than the time required to form an image and an intensity image (see FIG. 4).

上述したように、作業者により選択指示された一つの撮像単位についてのホログラムデータの転送及び該データに基づく部分位相画像、部分強度画像の形成に要する時間は短い。したがって、測定用端末1において上述したように作業者が一つの撮像単位に対応するサムネイル画像についてのダブルクリック操作を行った時点から比較的短い時間内に、サーバ5からその測定用端末1に部分位相画像及び部分強度画像を構成する画像データが送られて来る。送られて来た画像データは一旦、画像データ記憶部26に格納される。 As described above, the time required for transferring the hologram data for one imaging unit instructed by the operator and forming the partial phase image and the partial intensity image based on the data is short. Therefore, within a relatively short time from the time when the operator double-clicks the thumbnail image corresponding to one imaging unit as described above in the measurement terminal 1, the portion from the server 5 to the measurement terminal 1 is partially displayed. Image data constituting a phase image and a partial intensity image is sent. The sent image data is temporarily stored in the image data storage unit 26.

表示処理部27はこの画像データに基づき部分位相画像及び部分強度画像を作成し、それら二つの画像を指定位置画像表示画面70内の画像表示領域71に並べて表示する。なお、画像表示領域71に表示する画像の種類は表示画像選択チェックボックス72にチェックマークを入れることで選択することができ、部分位相画像と部分強度画像とのいずれか一方のみを画像表示領域71に表示させることもできる。なお、図6の例において、表示されている部分位相画像及び部分強度画像の焦点位置は6820μmである。 The display processing unit 27 creates a partial phase image and a partial intensity image based on the image data, and displays the two images side by side in the image display area 71 in the designated position image display screen 70. The type of image to be displayed in the image display area 71 can be selected by putting a check mark in the display image selection check box 72, and only one of the partial phase image and the partial intensity image can be selected in the image display area 71. It can also be displayed in. In the example of FIG. 6, the focal positions of the displayed partial phase image and partial intensity image are 6820 μm.

初めに設定されている焦点位置が必ずしも細胞観察における合焦位置であるとは限らないし、また細胞とは高さが相違する異物を観察したい場合には焦点位置を変更する必要がある。そこで、異なる焦点位置における部分位相画像や部分強度画像を観察したい場合、作業者は、指定位置画像表示画面70内のスライス条件設定領域73で複数段階の焦点位置を決める条件を設定する。即ち、作業者が焦点位置の範囲とスライス幅(焦点位置のステップ幅)とをそれぞれスライダーで入力すると、スライス数(焦点位置の段数)が自動的に計算されて表示される。これら数値もデフォルトのままとすることができる。そして、スライス条件を設定したあと作業者が「スライス画像作成」ボタン74をクリック操作すると、焦点指定受付部28はこの操作を受け付け、設定されたスライス条件をサーバ5に指示する。なお、スライス条件設定領域73におけるスライダーを操作すると、その下方の「ウェルに設定する焦点位置」スライダー75の焦点範囲が連動して設定される。 The focal position set at the beginning is not always the focusing position in cell observation, and it is necessary to change the focal position when observing a foreign substance having a height different from that of the cell. Therefore, when it is desired to observe a partial phase image or a partial intensity image at different focal positions, the operator sets a condition for determining a plurality of stages of the focal position in the slice condition setting area 73 in the designated position image display screen 70. That is, when the operator inputs the range of the focal position and the slice width (step width of the focal position) with the sliders, the number of slices (the number of steps of the focal position) is automatically calculated and displayed. These numbers can also be left at their defaults. Then, when the operator clicks the "slice image creation" button 74 after setting the slice condition, the focus designation reception unit 28 accepts this operation and instructs the server 5 of the set slice condition. When the slider in the slice condition setting area 73 is operated, the focal range of the "focus position set in the well" slider 75 below the slider is set in conjunction with the slider.

サーバ5において第2位相回復演算部54及び第2画像再構成部56は、上記の選択された一つの撮像単位についてのホログラムデータに基づいて、指示されたスライス条件に従って複数の焦点位置における位相情報及び強度情報を算出し、互いに焦点位置の相違する複数の部分位相画像及び部分強度画像を形成する。この複数の焦点位置における部分位相画像及び部分強度画像を構成する画像データは画像データ記憶部57に格納されるとともに、データ送受信部51から通信ネットワーク4を通して測定用端末1に送られる。測定用端末1の制御・処理部20において、データ送受信部23を経て受け取られた画像データは一旦、画像データ記憶部26に格納される。 In the server 5, the second phase retrieval calculation unit 54 and the second image reconstruction unit 56 perform phase information at a plurality of focal positions according to instructed slice conditions based on the hologram data for one selected imaging unit described above. And intensity information is calculated to form a plurality of partial phase images and partial intensity images having different focal positions from each other. The image data constituting the partial phase image and the partial intensity image at the plurality of focal positions is stored in the image data storage unit 57 and sent from the data transmission / reception unit 51 to the measurement terminal 1 through the communication network 4. In the control / processing unit 20 of the measurement terminal 1, the image data received through the data transmission / reception unit 23 is temporarily stored in the image data storage unit 26.

このように異なる焦点位置における部分位相画像及び部分強度画像を構成する画像データが用意されると、図6に示した指定位置画像表示画面70内の「ウェルに設定する焦点位置」スライダー75が有効になる。即ち、該スライダー75のノブをポインティングデバイスで移動させることが可能になる。 When the image data constituting the partial phase image and the partial intensity image at different focal positions are prepared in this way, the "focus position set in the well" slider 75 in the designated position image display screen 70 shown in FIG. 6 is effective. become. That is, the knob of the slider 75 can be moved by the pointing device.

焦点位置が異なる画像を見たい場合、作業者はポインティングデバイスにより「ウェルに設定する焦点位置」スライダー75のノブを左右に移動させる。すると、焦点指定受付部28はスライダー75上のノブの位置に対応した焦点位置を求め、表示処理部27は画像表示領域71に表示している部分位相画像及び部分強度画像をその焦点位置における画像に更新する。図6の例では、スライス数が11であるので、スライダー75を操作することで、11段階の異なる焦点位置における部分位相画像及び部分強度画像をそれぞれ確認することができる。作業者は、異なる焦点位置における部分位相画像同士又は部分強度画像同士をそれぞれ比較することで、観察対象である細胞などが最も明瞭に観察できる焦点位置を見つけることができる。 When wanting to see images with different focal positions, the operator moves the knob of the "focus position set to well" slider 75 to the left or right by the pointing device. Then, the focus designation reception unit 28 obtains the focus position corresponding to the position of the knob on the slider 75, and the display processing unit 27 displays the partial phase image and the partial intensity image displayed in the image display area 71 as images at the focal position. Update to. In the example of FIG. 6, since the number of slices is 11, the partial phase image and the partial intensity image at 11 different focal positions can be confirmed by operating the slider 75. By comparing the partial phase images or the partial intensity images at different focal positions, the operator can find the focal position where the cell or the like to be observed can be observed most clearly.

こうして、明瞭な部分位相画像及び部分強度画像が得られたならば、作業者はそれら画像を確認して、細胞に異常が発生している等、培養に不具合がないかどうか、さらには、撮影に不具合がないかどうかなどを判断する。そして、不具合等があるために観察対象領域全体の位相画像や強度画像を作成する必要がないと判断した場合には、ホログラムデータに基づく全画面の位相画像や強度画像の再構成処理の実行を回避する。或いは、図5中の「画像作成を実行」ボタン65の操作により測定用端末1からサーバ5への全ホログラムデータの転送が開始されている場合であっても、所定の操作を行うことでデータ転送を中止させることもできる(図4参照)。こうした判断は撮影終了時点から比較的短い時間内で行うことができるので、全画面の画像再構成処理により位相画像が作成されるまで長い時間待つ必要がない。 When a clear partial phase image and partial intensity image are obtained in this way, the operator confirms these images to see if there are any problems in the culture such as abnormalities in the cells, and further, photography. Judge whether there is any problem with the image. If it is determined that it is not necessary to create a phase image or intensity image of the entire observation target area due to a defect or the like, the full-screen phase image or intensity image reconstruction process based on the hologram data is executed. To avoid. Alternatively, even when the transfer of all hologram data from the measurement terminal 1 to the server 5 is started by the operation of the "execute image creation" button 65 in FIG. 5, the data can be obtained by performing a predetermined operation. The transfer can also be stopped (see FIG. 4). Since such a determination can be made within a relatively short time from the end of shooting, it is not necessary to wait a long time until a phase image is created by the full-screen image reconstruction process.

また、上述したように互いに異なる焦点位置における複数の部分位相画像及び部分強度画像をそれぞれ比較することで適切な焦点位置を見つけたならば、作業者は指定位置画像表示画面70内の「設定」ボタン76をクリック操作する。すると、焦点指定受付部28はこの操作を受け付け、データ送受信部23を通して、指示された焦点位置の値とそのときに表示している部分位相画像等の撮像単位が存在するウェルの識別番号との情報をサーバ5に送出する。サーバ5において、指示された焦点位置は合焦状態の焦点位置として、ウェルの識別番号に対応付けてホログラムデータ記憶部52に保存される。 Further, if an appropriate focal position is found by comparing a plurality of partial phase images and partial intensity images at different focal positions as described above, the operator can perform "setting" in the designated position image display screen 70. Click button 76 to operate. Then, the focus designation reception unit 28 accepts this operation, and through the data transmission / reception unit 23, the value of the instructed focus position and the identification number of the well in which the imaging unit such as the partial phase image displayed at that time exists. The information is sent to the server 5. In the server 5, the designated focal position is stored in the hologram data storage unit 52 as the focal position in the focused state in association with the identification number of the well.

上述のように一つの撮像単位についての部分位相画像及び部分強度画像に基づいて決めることができる焦点位置は、その撮像単位が存在する一つのウェルについてのみである。したがって、培養プレート13に形成されている6個のウェル13aの全てについてそれぞれ合焦状態の焦点位置の情報を取得したい場合には、上記のような作業を繰り返す。 As described above, the focal position that can be determined based on the partial phase image and the partial intensity image for one imaging unit is only for one well in which the imaging unit exists. Therefore, when it is desired to acquire information on the focal position in the focused state for all of the six wells 13a formed on the culture plate 13, the above operation is repeated.

即ち、図5に示したような撮影画像表示画面60の画像表示領域61に表示されているホログラム画像上で他のウェル中に位置する一つの撮像単位を選択し、その撮像単位についての部分位相画像及び部分強度画像を図6に示したような指定位置画像表示画面70に表示させる。そして、指定位置画像表示画面70においてスライス条件を設定し、スライス画像の作成を指示して複数の焦点における部分位相画像及び部分強度画像を作成させる。そして、作業者は、作成された複数の焦点における部分位相画像等を比較することで、適切な焦点位置を見いだし、「設定」ボタン76をクリック操作して焦点位置を確定させる。こうした作業を各ウェルについて繰り返すことで、6個のウェルに対しそれぞれ異なる焦点位置の情報を取得することができる。 That is, one imaging unit located in another well on the hologram image displayed in the image display area 61 of the captured image display screen 60 as shown in FIG. 5 is selected, and the partial phase of the imaging unit is selected. The image and the partial intensity image are displayed on the designated position image display screen 70 as shown in FIG. Then, the slice condition is set on the designated position image display screen 70, and the creation of the slice image is instructed to create the partial phase image and the partial intensity image at a plurality of focal points. Then, the operator finds an appropriate focal position by comparing the partial phase images and the like at the created plurality of focal points, and clicks and operates the "setting" button 76 to determine the focal position. By repeating this operation for each well, information on different focal positions can be obtained for each of the six wells.

なお、上述のようにしてウェル毎に設定された焦点位置の値は、図5に示した撮影画像表示画面60のプレート情報表示領域62に配置されている焦点位置リスト66に反映される。焦点位置リスト66において、「1:5000μm」とは識別番号が1であるウェルの焦点位置が5000μmであることを意味する。この焦点位置リスト66には、その時点で各ウェルに対して設定されている最新の焦点位置の値が表示される。この焦点位置リスト66に表示されている焦点位置の値は、入力部201の一部であるキーボードを用いて変更することもできる。したがって、作業者は、上記のような手順で各ウェルに対する焦点位置の値を決めたあと、焦点位置リスト66でその値を確認し、必要に応じてその値を手入力で修正することもできる。こうした修正が行われると、その情報がサーバ5に送られ、ホログラムデータ記憶部52に保存されている各ウェルの識別番号に対応付けられている焦点位置の値も変更される。 The value of the focal position set for each well as described above is reflected in the focal position list 66 arranged in the plate information display area 62 of the captured image display screen 60 shown in FIG. In the focal position list 66, "1: 5000 μm" means that the focal position of the well having the identification number 1 is 5000 μm. The focal position list 66 displays the latest focal position values set for each well at that time. The value of the focal position displayed in the focal position list 66 can also be changed by using the keyboard which is a part of the input unit 201. Therefore, the operator can determine the value of the focal position for each well by the above procedure, check the value in the focal position list 66, and manually correct the value if necessary. .. When such a modification is made, the information is sent to the server 5, and the value of the focal position associated with the identification number of each well stored in the hologram data storage unit 52 is also changed.

上述したように第1位相回復演算部53は撮像単位毎にホログラムデータに基づいて位相情報及び強度情報を算出するが、その際に、各撮像単位が位置するウェルの識別番号を参照し、その識別番号に対応付けられている合焦状態の焦点位置の情報を記憶部52から取得する。そして、その焦点位置における位相情報及び強度情報を算出する。即ち、撮影対象領域全体の位相画像や強度画像を作成する際のウェル毎の焦点位置は、作業者が測定用端末1で焦点位置の相違する複数の部分位相画像及び部分強度画像を確認することで決定される。或いは、作業者が、撮影画像表示画面60上の焦点位置リスト66内に焦点位置の値を直接入力することで決定される。いずれにしても、従来のように、培養プレート13全体の位相画像や強度画像を一旦作成して表示させたあとに焦点位置を決めるのではなく、培養プレート13全体の位相画像や強度画像が作成される前に適切な焦点位置をウェル毎に決めることができる。また、培養プレート13全体の広い範囲の位相画像や強度画像を作成する際に、合焦状態でない様々な焦点位置における画像を作成する必要がないので、画像再構成処理の時間も節約できる。これにより、細胞観察の作業の効率化が図れる。 As described above, the first phase retrieval calculation unit 53 calculates the phase information and the intensity information based on the hologram data for each imaging unit. At that time, the identification number of the well in which each imaging unit is located is referred to, and the phase information and the intensity information are calculated. Information on the focal position in the focused state associated with the identification number is acquired from the storage unit 52. Then, the phase information and the intensity information at the focal position are calculated. That is, as for the focal position for each well when creating a phase image or an intensity image of the entire imaging target area, the operator confirms a plurality of partial phase images and partial intensity images having different focal positions on the measurement terminal 1. Is determined by. Alternatively, it is determined by the operator directly inputting the value of the focal position in the focal position list 66 on the captured image display screen 60. In any case, the phase image and intensity image of the entire culture plate 13 are created instead of determining the focal position after once creating and displaying the phase image and intensity image of the entire culture plate 13 as in the conventional case. The appropriate focal position can be determined for each well before it is done. Further, when creating a phase image or an intensity image of a wide range of the entire culture plate 13, it is not necessary to create images at various focal positions that are not in the focused state, so that the time for image reconstruction processing can be saved. As a result, the efficiency of cell observation work can be improved.

もちろん、ウェル毎に1箇所の撮像単位で合焦位置を決めても、同ウェルの他の箇所では合焦位置が少しずれているおそれもある。そこで、合焦位置とされる焦点位置を含む所定の焦点範囲の複数の焦点位置における位相画像や強度画像を作成してもよい。これにより、合焦位置から少しずれた焦点位置における位相画像や強度画像も観察することができる。 Of course, even if the focusing position is determined for each imaging unit at one location for each well, the focusing position may be slightly deviated at other locations in the well. Therefore, a phase image or an intensity image at a plurality of focal positions in a predetermined focal range including the focal position as the in-focus position may be created. As a result, it is possible to observe a phase image and an intensity image at a focal position slightly deviated from the in-focus position.

また、合焦状態の焦点位置の情報はホログラムデータ記憶部52に格納されているので、例えば同一の培養プレートを別の日に測定したときに、合焦位置を探す作業を行うことなく該記憶部52に保存されている焦点位置の情報を用いて全画面の位相画像や強度画像の再構成処理を実施することができる。また、同一でなくても同種の培養プレートであればウェルの高さは或る程度揃っている。したがって、別の培養プレートについての観察を行う際にも、ホログラムデータ記憶部52に保存されている焦点位置を初期位置とし、所定の焦点位置範囲で最も焦点が合う位置を探すことで、短時間で合焦位置を見つけることができるという利点もある。 Further, since the information on the focal position in the focused state is stored in the hologram data storage unit 52, for example, when the same culture plate is measured on another day, the storage is performed without performing the work of searching for the focused position. The full-screen phase image and intensity image can be reconstructed using the focal position information stored in the unit 52. Moreover, even if they are not the same, the heights of the wells are uniform to some extent if they are the same type of culture plates. Therefore, even when observing another culture plate, the focal position stored in the hologram data storage unit 52 is set as the initial position, and the most focused position is searched for in a predetermined focal position range for a short time. There is also the advantage that the focus position can be found with.

なお、上記実施例では、作業者により指定された一つの撮像単位のホログラムデータから該撮像単位における部分位相画像や部分強度画像を再構成していたが、一つの撮像単位の中の一部の範囲を作業者が適宜に指定し、その指定された範囲に含まれるホログラムデータから該範囲における部分位相画像や部分強度画像を再構成できるようにしてもよい。これにより、測定用端末1からサーバ5に転送されるデータ量がさらに減るため、データ転送時間や処理時間をさらに一層短くすることができる。 In the above embodiment, the partial phase image and the partial intensity image in the imaging unit were reconstructed from the hologram data of one imaging unit designated by the operator, but a part of the imaging unit. The range may be appropriately designated by the operator so that the partial phase image and the partial intensity image in the range can be reconstructed from the hologram data included in the designated range. As a result, the amount of data transferred from the measurement terminal 1 to the server 5 is further reduced, so that the data transfer time and processing time can be further shortened.

また、一つの撮像単位についての部分位相画像や強度位相画像を指定位置画像表示画面70内に表示したあと、その画像において作業者により指定された範囲を拡大して表示できるようにしてもよい。また、撮影画像表示画面60内に表示されているホログラム画像上で一つの撮像単位の中の一部の範囲を作業者が適宜に指定したときに、サーバ5の第2画像再構成部56では、その一つの撮像単位についての部分位相画像や部分強度画像を再構成したあと、指定された範囲の画像のみを切り出し、その切り出された範囲の画像データのみを測定用端末1に送り画面上に表示するようにしてもよい。 Further, after displaying the partial phase image or the intensity phase image for one imaging unit on the designated position image display screen 70, the range designated by the operator in the image may be enlarged and displayed. Further, when the operator appropriately specifies a part range in one imaging unit on the hologram image displayed on the captured image display screen 60, the second image reconstruction unit 56 of the server 5 After reconstructing the partial phase image or partial intensity image for that one imaging unit, only the image in the specified range is cut out, and only the image data in the cut out range is sent to the measurement terminal 1 and displayed on the screen. It may be displayed.

また、ホログラム画像上で一つのみではなく複数の撮像単位を指定したり、一つの撮像単位よりも大きなサイズの範囲を任意に指定したりできるようにし、その指定された複数の撮像単位又は範囲に対応する部分位相画像や部分強度画像を再構成して表示できるようにしてもよい。但し、指定される撮像単位数が多くなるほど又は指定される範囲が広くなるほど処理対象のデータ量が増加するから、部分位相画像等を表示できるまでも時間が長くなる。そのため、この時間の制約から、指定できる撮像単位数や範囲の広さの上限を予め決めておくとよい。 In addition, it is possible to specify not only one but multiple imaging units on the hologram image, or arbitrarily specify a range having a size larger than one imaging unit, and the specified plurality of imaging units or ranges. The partial phase image and the partial intensity image corresponding to the above may be reconstructed and displayed. However, as the number of designated imaging units increases or the designated range increases, the amount of data to be processed increases, so that it takes a long time to display a partial phase image or the like. Therefore, due to this time constraint, it is advisable to determine in advance the number of imaging units that can be specified and the upper limit of the range.

次に本発明に係る第2実施例の細胞観察装置について、図7を参照して説明する。図7は図2と同様に、測定用端末1の概略構成図である。図7において図2に示した測定用端末1における構成要素と同一又は相当する構成要素には同じ符号を付してある。 Next, the cell observation device of the second embodiment according to the present invention will be described with reference to FIG. 7. FIG. 7 is a schematic configuration diagram of the measurement terminal 1 as in FIG. In FIG. 7, the same components as or corresponding to the components in the measurement terminal 1 shown in FIG. 2 are designated by the same reference numerals.

第2実施例の細胞観察装置では、測定用端末1における顕微観察部10は、測距用のパルス状のレーザ光を出射するレーザ発光部、反射してきたレーザ光を検出する検出器、及び、検出器に入射する光の方向(角度)を精度良く認識して三角測距方式により培養プレート13のウェル内底面又は培地表面までの距離を算出する信号処理部を含む測距部18と、得られた距離から培養プレート13のウェル内に収容されている培地表面の高さを計算し、該高さから焦点位置を導出する焦点位置計算部19と、を備える。この細胞観察装置では、ホログラムデータの収集の前に、測距部18及び焦点位置計算部19により、培養プレート13のウェル毎にその内底部又は培地表面までの距離を計測し、その計測値から培地表面の相対的な高さを求め適切な焦点位置を計算する。そして、ウェル毎の焦点位置の情報を制御・処理部20に入力する。 In the cell observation apparatus of the second embodiment, the microscopic observation unit 10 in the measurement terminal 1 includes a laser light emitting unit that emits a pulsed laser beam for distance measurement, a detector that detects the reflected laser beam, and a detector. A ranging unit 18 including a signal processing unit that accurately recognizes the direction (angle) of light incident on the detector and calculates the distance to the inner bottom surface of the well of the culture plate 13 or the surface of the medium by a triangular ranging method. It is provided with a focus position calculation unit 19 that calculates the height of the surface of the medium contained in the well of the culture plate 13 from the determined distance and derives the focus position from the height. In this cell observation device, before collecting hologram data, the distance measuring unit 18 and the focal position calculation unit 19 measure the distance to the inner bottom or the surface of the medium for each well of the culture plate 13, and from the measured values. Obtain the relative height of the medium surface and calculate the appropriate focal position. Then, the information of the focal position for each well is input to the control / processing unit 20.

制御・処理部20において焦点指定受付部28は、焦点位置計算部19から上述したような焦点位置の情報が入力されたならば、その値を各ウェルの合焦状態の焦点位置として設定する。即ち、例えば入力された焦点位置の値を撮影画像表示画面60内の焦点位置リスト66に自動的に入力するとともに、サーバ5にその情報を通知する。これにより、作業者が手入力の操作や上述したような画像を確認しながら焦点位置を見いだす作業を行うことなく、各ウェルに対する適切な焦点位置が自動的に設定される。 When the focus position information as described above is input from the focus position calculation unit 19, the focus designation reception unit 28 in the control / processing unit 20 sets the value as the focus position in the focused state of each well. That is, for example, the input focal position value is automatically input to the focal position list 66 in the captured image display screen 60, and the information is notified to the server 5. As a result, an appropriate focus position for each well is automatically set without the operator performing a manual input operation or a work of finding a focus position while checking the image as described above.

なお、ここではレーザ光を利用した測距部を用いたが、ウェルの内底面の高さ又は培地表面の高さを非接触で計測可能な手法であれば、測距の手法は特に限定されない。 Although a distance measuring unit using a laser beam is used here, the distance measuring method is not particularly limited as long as the height of the inner bottom surface of the well or the height of the medium surface can be measured without contact. ..

また、上記実施例において顕微観察部10はインライン型デジタルホログラフィック顕微鏡であるが、顕微観察部10は観察対象領域中の測定位置毎にホログラムを取得するものであればよいので、インライン型に限らず、オフアクシス型や位相シフト型のデジタルホログラフィック顕微鏡であってもよい。 Further, in the above embodiment, the microscopic observation unit 10 is an in-line type digital holographic microscope, but the microscopic observation unit 10 is limited to the in-line type as long as it acquires a hologram for each measurement position in the observation target area. Instead, it may be an off-axis type or phase shift type digital holographic microscope.

また、上記実施例では、測定用端末1と通信ネットワーク4を介して接続されたサーバ5において位相回復等の演算処理を実施していたが、スタンドアロン型の装置で全ての処理を実施する構成としてもよいことは当然である。 Further, in the above embodiment, arithmetic processing such as phase retrieval was performed on the server 5 connected to the measurement terminal 1 via the communication network 4, but as a configuration in which all the processing is performed by the stand-alone device. Naturally, it is also good.

さらにまた、上記実施例及び上記記載の変形例はいずれも本発明の一例であり、本発明の趣旨の範囲でさらに適宜の変更、修正、追加を行っても本願特許請求の範囲に包含されることは当然である。 Furthermore, the above-mentioned Examples and the above-mentioned modifications are both examples of the present invention, and even if appropriate changes, modifications, and additions are made within the scope of the present invention, they are included in the claims of the present application. That is natural.

1…測定用端末
10…顕微観察部
11…光源部
12…イメージセンサ
13…培養プレート
13a…ウェル
14…細胞
15…移動部
16…参照光
17…物体光
20…制御・処理部
21…撮影制御部
22…ホログラムデータ記憶部
23…データ送受信部
24…ホログラム画像作成部
25…確認位置指定受付部
26…画像データ記憶部
27…表示処理部
28…焦点指定受付部
201…入力部
202…表示部
3…閲覧用端末
5…サーバ
4…通信ネットワーク
51…データ送受信部
52…ホログラムデータ記憶部
53…第1位相回復演算部
54…第2位相回復演算部
55…第1画像再構成部
56…第2画像再構成部
57…画像データ記憶部
60…撮影画像表示画面
61…画像表示領域
62…プレート情報表示領域
63…「停止」ボタン
65…「画像作成を実行」ボタン
66…焦点位置リスト
67…マーク
70…指定位置画像表示画面
71…画像表示領域
72…表示画像選択チェックボックス
73…スライス条件設定領域
74…「スライス画像作成」ボタン
75…「ウェルに設定する焦点位置」スライダー
76…「設定」ボタン
1 ... Measurement terminal 10 ... Microscopic observation unit 11 ... Light source unit 12 ... Image sensor 13 ... Culture plate 13a ... Well 14 ... Cell 15 ... Moving unit 16 ... Reference light 17 ... Object light 20 ... Control / processing unit 21 ... Imaging control Unit 22 ... Hologram data storage unit 23 ... Data transmission / reception unit 24 ... Hologram image creation unit 25 ... Confirmation position designation reception unit 26 ... Image data storage unit 27 ... Display processing unit 28 ... Focus designation reception unit 201 ... Input unit 202 ... Display unit 3 ... Browsing terminal 5 ... Server 4 ... Communication network 51 ... Data transmission / reception unit 52 ... Hologram data storage unit 53 ... First phase recovery calculation unit 54 ... Second phase recovery calculation unit 55 ... First image reconstruction unit 56 ... First 2 Image reconstruction unit 57 ... Image data storage unit 60 ... Photographed image display screen 61 ... Image display area 62 ... Plate information display area 63 ... "Stop" button 65 ... "Execute image creation" button 66 ... Focus position list 67 ... Mark 70 ... Designated position image display screen 71 ... Image display area 72 ... Display image selection check box 73 ... Slice condition setting area 74 ... "Slice image creation" button 75 ... "Focus position to be set in well" Slider 76 ... "Setting" button

また上記課題を解決するためになされた本発明に係る第2の態様は、複数の容器内で培養中である細胞を観察するための、ホログラフィック顕微鏡を利用した細胞観察装置であって、
a)コヒーレント光を出射する光源部と、
b)細胞を含む容試料として、前記光源部からの出射光を該試料に照射したときの物体波と参照波との干渉縞であるホログラムを取得する検出部と、
c)前記試料上の測定位置が移動するように前記光源部及び前記検出部と試料との一方又は両方を移動させる移動部と、
d)複数の試料についてそれぞれ、前記移動部により試料上の測定位置を移動させつつ所定の観察対象領域内の各測定位置におけるホログラムの取得を繰り返すように前記光源部、前記検出部、及び前記移動部を制御する測定制御部と、
e)前記複数の試料の容器それぞれについて、該容器の内底部又は該容器に収容されている培地表面の相対的な高さを非接触で計測する高さ計測部と、
f)該高さ計測部で計測された相対的な高さに基づいて前記容器毎に焦点位置を設定する焦点位置設定部と、
g)前記複数の試料についてそれぞれ、前記測定制御部による制御の下で、試料上の所定の観察対象領域内の各測定位置において得られたホログラムデータに基づいて、前記焦点位置設定部で前記容器毎に設定された焦点位置における位相情報及び/又は強度情報を算出するとともに、該位相情報の2次元分布を示す位相画像及び/又は該強度情報の2次元分布を示す強度画像を作成する再構成画像作成部と、
を備えることを特徴としている。
The second aspect of the present invention made to solve the above problems, for monitoring cell is in culture in a container of multiple, a cell observation apparatus utilizing a holographic microscope,
a) A light source that emits coherent light,
The b) cells including container as a sample, a detection unit for acquiring a hologram is an interference fringe between the object wave and the reference wave when the emitted light is irradiated to the sample from the light source unit,
c) a movement measurement position on the sample to move one or both of the light source unit and the detection unit and said sample to move,
d) each for a plurality of samples, the light source unit to repeat the acquisition of the hologram at each measurement location of the mobile unit by the predetermined observation area while moving the measurement position on the sample, the detector, and the A measurement control unit that controls the moving unit and
For each container of the sample e) before Kifuku number, the height measuring unit for measuring the relative height of the surface of the medium contained in the inner bottom portion or container of the container in a non-contact,
f) A focal position setting unit that sets the focal position for each container based on the relative height measured by the height measuring unit.
g) each of the plurality of samples, under the control of the measurement control unit, based on the hologram data obtained at each measurement position of a predetermined observation target area on the sample, before Symbol focus position setting unit The phase information and / or the intensity information at the focal position set for each container is calculated, and a phase image showing the two-dimensional distribution of the phase information and / or an intensity image showing the two-dimensional distribution of the intensity information is created. Reconstructed image creation department and
It is characterized by having.

ここで、複数の容器は例えば、培養プレートに形成されたウェルである。
Here, containers multiple, for example, a well formed in the culture plate.

この第2の態様では、ユーザが部分位相画像等を目視で確認して合焦位置を見つける代わりに、高さ計測部が、複数の容器の内底部又は該容器に収容されている培地表面の相対的な高さを非接触で計測する。高さ計測部としては例えばレーザ測距計などを用いることができる。そして焦点位置設定部は、高さ計測部による計測で求まった相対的な高さの値に基づいて容器毎に焦点位置を設定する。高さ計測部により容器の内底部の高さを計測する場合には、該容器に収容される培地の量などの情報に基づいて培地表面の高さを推定し、さらに、その高さから培養中の細胞表面の高さを推定することができる。また、高さ計測部により容器内の培地表面の高さを計測できる場合には、その高さから培養中の細胞表面の高さを推定することができる。 In this second embodiment, instead of the user to find the focus position to check visually the partial phase image or the like, medium surface height measurement unit is accommodated in the inner bottom or the container of the container of multiple Measure the relative height of the non-contact. As the height measuring unit, for example, a laser range finder or the like can be used. Then, the focal position setting unit sets the focal position for each container based on the relative height value obtained by the measurement by the height measuring unit. When the height of the inner bottom of the container is measured by the height measuring unit, the height of the medium surface is estimated based on information such as the amount of the medium contained in the container, and the culture is further carried out from that height. The height of the cell surface inside can be estimated. Further, when the height of the medium surface in the container can be measured by the height measuring unit, the height of the cell surface during culturing can be estimated from the height.

Claims (5)

ホログラフィック顕微鏡を利用した細胞観察装置であって、
a)光源部と、
b)前記光源部からの出射光を細胞を含む試料に照射したときの物体波と参照波との干渉縞であるホログラムを取得する検出部と、
c)前記試料上の測定位置が移動するように前記光源部及び前記検出部と前記試料との一方又は両方を移動させる移動部と、
d)前記移動部により前記試料上の測定位置を移動させつつ所定の観察対象領域内の各測定位置におけるホログラムの取得を繰り返すように前記光源部、前記検出部、及び前記移動部を制御する測定制御部と、
e)ユーザにより指定された特定の一若しくは複数の測定位置又は範囲において得られたホログラムデータに基づいて、複数の焦点位置における部分位相画像及び/又は部分強度画像をそれぞれ作成する再構成画像作成部と、
f)前記再構成画像作成部で作成された複数の焦点位置における部分位相画像及び/又は部分強度画像を同時に又は切替え可能に表示部に表示する表示処理部と、
g)前記表示処理部より部分位相画像及び/又は部分強度画像が表示された状態であるときに、ユーザの操作を受けて、そのときに表示している部分位相画像及び/又は部分強度画像の焦点位置を、該画像に対応する測定位置又は範囲を含む試料上の所定の領域の位相画像及び/又は強度画像を作成する際の合焦状態の焦点位置として記憶部に記憶させる焦点位置設定部と、
を備えることを特徴とする細胞観察装置。
A cell observation device that uses a holographic microscope.
a) Light source and
b) A detection unit that acquires a hologram that is an interference fringe between an object wave and a reference wave when a sample containing cells is irradiated with light emitted from the light source unit.
c) A moving unit that moves one or both of the light source unit, the detection unit, and the sample so that the measurement position on the sample moves.
d) Measurement that controls the light source unit, the detection unit, and the moving unit so as to repeatedly acquire holograms at each measurement position in a predetermined observation target region while moving the measurement position on the sample by the moving unit. Control unit and
e) Reconstructed image creation unit that creates partial phase images and / or partial intensity images at multiple focal positions based on hologram data obtained at one or more specific measurement positions or ranges specified by the user. When,
f) A display processing unit that simultaneously or switchably displays a partial phase image and / or a partial intensity image at a plurality of focal positions created by the reconstructed image creation unit on the display unit.
g) When the partial phase image and / or the partial intensity image is displayed from the display processing unit, the partial phase image and / or the partial intensity image displayed at that time is operated by the user. A focus position setting unit that stores the focal position in the storage unit as the focal position in the focused state when creating a phase image and / or an intensity image of a predetermined region on the sample including the measurement position or range corresponding to the image. When,
A cell observation device comprising.
請求項1に記載の細胞観察装置であって、
前記所定の観察対象領域内の各測定位置において得られたホログラムデータに基づくホログラム画像を作成して表示部の画面上に表示するホログラム画像作成部と、
前記第2再構成画像作成部により作成される部分位相画像及び/又は部分強度画像に対応する測定位置又は範囲を、前記ホログラム画像作成部により表示されたホログラム画像上でユーザが指示するための指示入力部と、
をさらに備えることを特徴とする細胞観察装置。
The cell observation device according to claim 1.
A hologram image creating unit that creates a hologram image based on the hologram data obtained at each measurement position in the predetermined observation target area and displays it on the screen of the display unit.
An instruction for the user to instruct the measurement position or range corresponding to the partial phase image and / or the partial intensity image created by the second reconstructed image creating unit on the hologram image displayed by the hologram image creating unit. Input section and
A cell observation device characterized by further comprising.
請求項1に記載の細胞観察装置であり、複数の凹部が形成された培養プレートを使用し該プレートの各凹部内で培養中である細胞を観察するための細胞観察装置であって、
前記焦点位置設定部は、ユーザの操作を受けて、そのときに表示している部分位相画像及び/又は部分強度画像の焦点位置を、該画像に対応する測定位置又は範囲を含む凹部における位相画像及び/又は強度画像を作成するための焦点位置として記憶部に記憶させるものであり、且つ、前記複数の凹部のそれぞれについて独立に凹部における位相画像及び/又は強度画像を作成するための焦点位置を記憶させることを特徴とする細胞観察装置。
The cell observation device according to claim 1, which is a cell observation device for observing cells being cultured in each recess of the culture plate having a plurality of recesses formed therein.
In response to a user operation, the focal position setting unit sets the focal position of the partial phase image and / or partial intensity image displayed at that time as a phase image in a recess including a measurement position or range corresponding to the image. And / or the focal position to be stored in the storage unit as the focal position for creating the intensity image, and the focal position for creating the phase image and / or the intensity image in the recess independently for each of the plurality of recesses. A cell observation device characterized by memorizing.
請求項3に記載の細胞観察装置であって、
前記焦点位置設定部は、複数の凹部のそれぞれについて設定されている焦点位置の情報を表示部の画面上に表示するとともに、その表示上でユーザによる焦点位置の値の編集を受け付ける焦点位置編集部を含むことを特徴とする細胞観察装置。
The cell observation device according to claim 3.
The focus position setting unit displays the focus position information set for each of the plurality of recesses on the screen of the display unit, and also accepts the user to edit the focus position value on the display. A cell observation device comprising.
一又は複数の容器内で培養中である細胞を観察するための、ホログラフィック顕微鏡を利用した細胞観察装置であって、
a)コヒーレント光を出射する光源部と、
b)細胞を含む前記一又は複数の容器である試料に前記光源部からの出射光を照射したときの物体波と参照波との干渉縞であるホログラムを取得する検出部と、
c)前記試料上の測定位置が移動するように前記光源部及び前記検出部と前記試料との一方又は両方を移動させる移動部と、
d)前記移動部により前記試料上の測定位置を移動させつつ所定の観察対象領域内の各測定位置におけるホログラムの取得を繰り返すように前記光源部、前記検出部、及び前記移動部を制御する測定制御部と、
e)前記一又は複数の容器の内底部又は該容器に収容されている培地表面の相対的な高さを非接触で計測する高さ計測部と、
f)該高さ計測部で計測された相対的な高さに基づいて前記容器毎に焦点位置を設定する焦点位置設定部と、
g)前記測定制御部による制御の下で、前記試料上の所定の観察対象領域内の各測定位置において得られたホログラムデータに基づいて、前記容器に対応する領域毎に前記焦点位置設定部で設定された焦点位置における位相情報及び/又は強度情報を算出するとともに、該位相情報の2次元分布を示す位相画像及び/又は該強度情報の2次元分布を示す強度画像を作成する再構成画像作成部と、
を備えることを特徴とする細胞観察装置。
A cell observation device using a holographic microscope for observing cells being cultured in one or more containers.
a) A light source that emits coherent light,
b) A detection unit that acquires a hologram that is an interference fringe between an object wave and a reference wave when the sample, which is one or more containers containing cells, is irradiated with light emitted from the light source unit.
c) A moving unit that moves one or both of the light source unit, the detection unit, and the sample so that the measurement position on the sample moves.
d) Measurement that controls the light source unit, the detection unit, and the moving unit so as to repeatedly acquire holograms at each measurement position in a predetermined observation target region while moving the measurement position on the sample by the moving unit. Control unit and
e) A height measuring unit that non-contactly measures the relative height of the inner bottom of the one or more containers or the surface of the medium contained in the container.
f) A focal position setting unit that sets the focal position for each container based on the relative height measured by the height measuring unit.
g) Under the control of the measurement control unit, the focus position setting unit for each region corresponding to the container is based on the hologram data obtained at each measurement position in the predetermined observation target region on the sample. Create a reconstructed image that calculates the phase information and / or intensity information at the set focal position and creates a phase image showing the two-dimensional distribution of the phase information and / or an intensity image showing the two-dimensional distribution of the intensity information. Department and
A cell observation device comprising.
JP2020507161A 2018-03-20 2018-03-20 Cell observation device Active JP6950813B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/011005 WO2019180810A1 (en) 2018-03-20 2018-03-20 Cell observation device

Publications (2)

Publication Number Publication Date
JPWO2019180810A1 true JPWO2019180810A1 (en) 2020-12-03
JP6950813B2 JP6950813B2 (en) 2021-10-13

Family

ID=67986841

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020507161A Active JP6950813B2 (en) 2018-03-20 2018-03-20 Cell observation device

Country Status (2)

Country Link
JP (1) JP6950813B2 (en)
WO (1) WO2019180810A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021261150A1 (en) * 2020-06-25 2021-12-30 富士フイルム株式会社 Information processing device, operation method for same, and operation program for same
EP4175283A4 (en) * 2020-06-25 2023-11-22 FUJIFILM Corporation Information processing device, and operating method and operating program for same
WO2023223538A1 (en) * 2022-05-20 2023-11-23 株式会社日立製作所 Microscope system

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009521216A (en) * 2005-12-22 2009-06-04 フェイズ ホログラフィック イメージング ペーハーイー アーベー Methods and apparatus for cell sample analysis
JP2010072017A (en) * 2008-09-16 2010-04-02 Yokogawa Electric Corp Automatic focusing device
JP2011170212A (en) * 2010-02-22 2011-09-01 Nikon Corp Nonlinear type microscope
JP2011525252A (en) * 2008-06-19 2011-09-15 フェイズ ホログラフィック イメージング ペーホーイー アーベー Transparent living body analysis
WO2012005315A1 (en) * 2010-07-07 2012-01-12 兵庫県 Holographic microscope, microscopic subject hologram image recording method, method of creation of hologram for reproduction of high-resolution image, and method for reproduction of image
WO2013070287A1 (en) * 2011-11-07 2013-05-16 The Regents Of The University Of California Maskless imaging of dense samples using multi-height lensfree microscope
WO2016163560A1 (en) * 2015-04-09 2016-10-13 国立大学法人神戸大学 Digital holographic microscope
WO2017203718A1 (en) * 2016-05-27 2017-11-30 株式会社島津製作所 Holographic observation method and device

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009521216A (en) * 2005-12-22 2009-06-04 フェイズ ホログラフィック イメージング ペーハーイー アーベー Methods and apparatus for cell sample analysis
JP2011525252A (en) * 2008-06-19 2011-09-15 フェイズ ホログラフィック イメージング ペーホーイー アーベー Transparent living body analysis
JP2010072017A (en) * 2008-09-16 2010-04-02 Yokogawa Electric Corp Automatic focusing device
JP2011170212A (en) * 2010-02-22 2011-09-01 Nikon Corp Nonlinear type microscope
WO2012005315A1 (en) * 2010-07-07 2012-01-12 兵庫県 Holographic microscope, microscopic subject hologram image recording method, method of creation of hologram for reproduction of high-resolution image, and method for reproduction of image
WO2013070287A1 (en) * 2011-11-07 2013-05-16 The Regents Of The University Of California Maskless imaging of dense samples using multi-height lensfree microscope
WO2016163560A1 (en) * 2015-04-09 2016-10-13 国立大学法人神戸大学 Digital holographic microscope
WO2017203718A1 (en) * 2016-05-27 2017-11-30 株式会社島津製作所 Holographic observation method and device

Also Published As

Publication number Publication date
WO2019180810A1 (en) 2019-09-26
JP6950813B2 (en) 2021-10-13

Similar Documents

Publication Publication Date Title
JP6860064B2 (en) Cell observation device
Fan et al. Smart computational light microscopes (SCLMs) of smart computational imaging laboratory (SCILab)
CA2687763C (en) Three dimensional imaging
JP6950813B2 (en) Cell observation device
CN107003229B (en) Analytical method comprising holographic determination of the position of a biological particle and corresponding device
CN110392732B (en) Cell analysis method and cell analysis device
Sioma 3D imaging methods in quality inspection systems
CN107110764A (en) The system and associated method for controlling to analyze transparent sample using position
JP6760477B2 (en) Cell observation device
Lai et al. High-throughput characterization of film thickness in thin film materials libraries by digital holographic microscopy
JP7036192B2 (en) Cell observation device
WO2019043953A1 (en) Cell observation device
KR102129071B1 (en) Method and apparatus of automatic optical inspection using scanning holography
JP7006833B2 (en) Cell analyzer
CN109085137B (en) Three-dimensional imaging device based on K space transformation and imaging method thereof
JP7147982B2 (en) Three-dimensional cell shape evaluation method and cell observation device
JP6969655B2 (en) Quantitative phase image generator
EP4235568A1 (en) Analysis method and analysis apparatus
US20230129540A1 (en) Cell analyzer device
Zhang et al. Research on depth of field expansion of three-dimensional measurement based on digital holographic microscopy
JP2021048825A (en) Cell observation device

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200417

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200417

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210824

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210906

R151 Written notification of patent or utility model registration

Ref document number: 6950813

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151