WO2022113365A1 - 合焦方法、観察装置、およびプログラム - Google Patents

合焦方法、観察装置、およびプログラム Download PDF

Info

Publication number
WO2022113365A1
WO2022113365A1 PCT/JP2020/044563 JP2020044563W WO2022113365A1 WO 2022113365 A1 WO2022113365 A1 WO 2022113365A1 JP 2020044563 W JP2020044563 W JP 2020044563W WO 2022113365 A1 WO2022113365 A1 WO 2022113365A1
Authority
WO
WIPO (PCT)
Prior art keywords
optical axis
value
image data
image
contrast
Prior art date
Application number
PCT/JP2020/044563
Other languages
English (en)
French (fr)
Inventor
知朗 檀
太郎 上野
和歌奈 内田
洋一 山嵜
Original Assignee
株式会社ニコン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ニコン filed Critical 株式会社ニコン
Priority to PCT/JP2020/044563 priority Critical patent/WO2022113365A1/ja
Publication of WO2022113365A1 publication Critical patent/WO2022113365A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals

Definitions

  • the present invention relates to a focusing method, an observation device, and a program.
  • the present invention provides a novel focusing method, an observation device, and a program.
  • One embodiment of the present invention is a focusing method in an apparatus for acquiring image data of a biological sample, wherein the biological sample is provided at each of a plurality of positions along the optical axis of an objective lens included in the apparatus.
  • the step of acquiring the position data regarding the position along the optical axis for each of the first image data and the first image data, and the smoothing process for each of the first image data are executed.
  • the step of generating the second image data, the step of acquiring the contrast value for each of the second image data, and the function of the contrast value and the position along the optical axis, the contrast value is the first peak value.
  • a focusing method comprising the step of setting the focal position of the device at a position on the axis.
  • Another embodiment of the present invention is an observation device for observing a biological sample, the first image data of each of the biological samples at a plurality of positions along the optical axis of the objective lens, and. , A step of acquiring position data regarding a position along the optical axis for each of the plurality of first image data, and a plurality of smoothing processes for each of the plurality of first image data.
  • the step of generating the second image data of the above the step of acquiring the contrast value for each of the plurality of second image data, and the function of the contrast value and the position along the optical axis, the contrast value is the first.
  • a bimodal graph obtained by serializing the smoothed contrast values calculated from a plurality of original images of a phase object as a function of the position in the optical axis direction is obtained.
  • a bimodal graph obtained by using an image obtained by downsampling a plurality of original images obtained by capturing a phase object can be obtained by using the original image.
  • the minimum image (B) when the downsampled image is used as compared with the minimum image (A) when the image without downsampling is used. It is a figure which shows. It is a flowchart of the calculation method of the contrast value which concerns on one Embodiment of this invention. It is a flowchart of the Volume Control observation method which concerns on one Embodiment of this invention. It is a figure which shows an example of the interface represented by the display means which concerns on one Embodiment of this invention.
  • the image processing system 100 of the present disclosure includes at least an image acquisition device 101 and an image processing device 103.
  • image acquisition is performed for each structure and function, and for the focusing method using the image processing system 100 according to the flow shown in FIG. The method and the image processing method will be described in detail.
  • the image processing system 100 acquires first image data captured by the image pickup means 107 at a plurality of different positions along the optical axis of the observation means 105 (S11). ). Since this image is an image before image conversion or image generation when generating an image conversion or a quantitative phase image described later, it may be referred to as an original image or a conversion image in the present specification.
  • the observation means 105 is a microscope such as a bright-field microscope or a differential interference microscope suitable for observing a biological sample, for example.
  • the original images captured by the respective imaging means 107 are a bright field image and a differential interference contrast image.
  • Examples of the image pickup means 107 include an image pickup element such as a CCD.
  • the original image may be acquired by, for example, using a bright-field microscope 105 equipped with a camera equipped with an imaging means 107 to capture an observation object at a plurality of focal lengths in the optical axis direction of the objective lens.
  • the image captured by the microscope may be stored in a server or a database and acquired via a network.
  • the optical axis of the objective lens means a straight line passing through the optical center of the lens surface on the object side of the objective lens and the focal point of the objective lens.
  • the biological sample is not particularly limited and may be derived from a multicellular organism such as an animal or a plant or a unicellular organism such as a bacterium, for example, unstained cultured cells, tissues, and the like. Organs and the like can be mentioned. Specific examples thereof include living cells that are adherently cultured in a culture vessel in a single layer or in multiple layers, or are suspended-cultured in a single cell or a cell mass.
  • the culture container may be, for example, a container used for general cell culture such as a dish or a well plate, or an organ-on-a-chip.
  • the focal plane is estimated by wide-area scanning as a pretreatment, and after the wide-area scanning, detailed scanning is performed on the region including the indented focal plane to acquire the original image. You may.
  • the image acquisition range in the optical axis direction depends on the variation of the observation surface of the target sample.
  • the maximum width of the scanning range in the optical axis direction is about 4000 ⁇ m.
  • the minimum width of the scanning range in the optical axis direction depends on the depth of focus of the objective lens, but the maximum value of the bimodal graph obtained by serializing the contrast values described later as a function of the position in the optical axis direction. It is necessary to scan the range where two points enter.
  • the minimum width of the scanning range in the optical axis direction may be about 30 times the depth of focus of the objective lens.
  • the image acquisition range in the detailed scan may be the same as or wider than the depth of focus of the objective lens, and may be, for example, about 1 to 30 times the depth of focus. Alternatively, it may be about 1 to 5 times the interval between adjacent images acquired when performing wide-area scanning described later.
  • the interval between the images to be acquired is not particularly limited, but it is selected within an appropriate range depending on the depth of focus of the objective lens.
  • wide-area scanning images are acquired at wide intervals, and in detailed scanning, images are acquired at narrower intervals than in wide-area scanning.
  • the spacing of the images acquired in the wide-area scanning is wide enough to distinguish the two peaks of the bimodal graph obtained by serializing the contrast values described later as a function of the position in the optical axis direction.
  • the distance between the images acquired in the wide area scan may be about 1 to 10 times the depth of focus of the objective lens.
  • the interval between images acquired when performing detailed scanning may be, for example, about 1/5 to 1/2 times the depth of focus of the objective lens.
  • the resolution of this image may be set by the user depending on the element of interest and the accuracy of analysis. If you want to see the whole cell, you may focus on the contour of the cell. For example, when the size of the element of interest is an entire cell having a diameter of 5 ⁇ m to several tens of ⁇ m, the resolution of the acquired image is 0.5 ⁇ m so that one cell does not fit in one pixel. It is preferably more than / pixel and less than 5 ⁇ m / pixel. Further, when the element of interest is an organelle such as a nucleolus having a size of 1 to 3 ⁇ m, the resolution of the acquired image is preferably less than 1 ⁇ m / pixel. As a result, as will be described later, it is possible to create a quantitative phase image from a plurality of original bright-field images after creating an image in the in-focus position.
  • the acquired original image is smoothed (S2) to generate a second image for calculating the contrast value.
  • the smoothing process is performed by the smoothing process unit 109, and the smoothing process unit 109 may be included in the image acquisition device 101 (FIGS. 1A, C, D) or the image processing apparatus 103 (FIG. 1A, C, D). 1B, D).
  • smoothing in the luminance direction or the spatial direction can be given.
  • downsampling is a process of converting an image into an image having a lower resolution.
  • the effect of downsampling is to relatively emphasize the contour of the element of interest by removing or blurring the contour of the object of interest that is smaller than the element of interest in the observation object. Therefore, the amount of downsampling is preferably an amount in which an object that does not need to be observed is included in one pixel at the resolution of the image after downsampling.
  • the resolution of the image after downsampling is set to 5-15 ⁇ m / pixel when the element of interest is the entire cell, and 3-10 ⁇ m / pixel when the element of interest is the cell nucleus.
  • the element of interest is an organelle such as a mitochondria or a nucleolus, it is preferably set to 0.5-5 ⁇ m / pixel.
  • the downsampling method is not particularly limited, but for example, the image is downsampled using the average value of the pixel values of a plurality of pixels.
  • the average value of the pixel values of the plurality of pixels for example, the average value of the pixel values in the peripheral pixels having a size depending on the size of the image after downsampling is used. For example, when the image size is set to 1 / n, the average value of the pixel values of the peripheral n ⁇ n pixels is used.
  • the original image may be converted into a new image by dividing the original image into blocks consisting of a plurality of pixels on one side, calculating the average brightness for each block, and assigning the average brightness to each pixel of the entire block. ..
  • the bilinear method may be used, or the image may be thinned out by two in the x-axis direction and converted into a new image. Further, the pixels at a specific position in the block may be thinned out, the average brightness of the block may be calculated from the remaining pixels, and the average brightness may be assigned to each pixel of the entire block.
  • the image acquisition device 101 may have an image pickup means 107 having a binning function.
  • a smoothing filter may be used as another smoothing process.
  • the smoothing filter for example, an averaging filter, a Gaussian filter, or the like may be used, and the image may be smoothed in the XY directions by a convolution operation.
  • the image processing apparatus 103 of the present disclosure relates to the first image data of each of the biological samples at a plurality of positions along the optical axis of the objective lens and each of the plurality of first image data.
  • the contrast value becomes the first peak value and the second peak value in the step of acquiring the contrast value for each of the second image data and the function of the contrast value and the position along the optical axis based on the position data.
  • the step of specifying the position on the optical axis where the contrast value is the bottom value between the positions on the optical axis of the objective lens, and the focal position of the device are set at the position on the optical axis where the contrast value is the bottom value.
  • It has a processing unit 111 for executing the step.
  • the processing unit 111 may be a CPU.
  • the image processing device 103 may exist independently of the image acquisition device 101 (FIGS. 1A and 1B), or may be incorporated in the image acquisition device 101 as a processing unit 111 (FIGS. 1C and D).
  • the image processing device 103 processes a plurality of bright-field images acquired by the image acquisition device 101 described in (1).
  • the image processing device 103 may be directly connected to the image acquisition device 101, or may be connected by a network. In the latter case, the image acquisition device 101 and the image processing device 103 include a communication unit, and the communication unit can communicate with each other via the network.
  • the processing unit 111 of the image processing device 103 (FIGS. 1A, 1B) or the image acquisition device 101 (FIGS. 1C, D) includes the calculation unit 113 and the focusing position specifying unit 115, and the calculation unit 113 is different along the optical axis.
  • the contrast values of a plurality of bright-field images imaged at a plurality of positions and smoothed are calculated, and the in-focus position specifying unit 115 sets the calculated original contrast value or the converted value obtained by smoothing the calculated contrast value as an optical axis. It may be serialized as a function of the position in the axial direction, and the position where the contrast value becomes the minimum may be specified between each position when the contrast value or the conversion value becomes the two maximum values.
  • the image processing device 103 may include a smoothing processing unit 109 and convert the original image into a smoothed new image (S2).
  • the smoothing method can be performed in the same manner as described in the image acquisition device 101.
  • the image data generated by executing the smoothing process on the first image data may be referred to as the second image data.
  • the calculation unit 113 provided in the processing unit 111 calculates the contrast values of the plurality of smoothed bright-field images (S3).
  • the method for calculating the contrast value is not particularly limited, but for example, the ⁇ method or the ⁇ 2 method may be used.
  • the ⁇ method is a method of calculating the absolute value of the difference in brightness between adjacent pixels or blocks in the x-axis direction, calculating the sum of them row by row, and calculating the sum of the sums of each row in the y-axis direction. Is.
  • the absolute value of the difference in luminance between adjacent pixels or blocks in the y-axis direction may be calculated, the sum thereof may be calculated for each row, and the total sum for each row may be calculated in the x-axis direction.
  • the ⁇ 2 method is a method in which the squared value of the absolute value of the luminance difference is used instead of the absolute value of the luminance difference in the ⁇ method.
  • a calculation unit may be provided in addition to the processing unit 111 to acquire the contrast values calculated for each of the plurality of second image data.
  • two maximum values may be selected in descending order of the contrast value, and the minimum value may be specified between them. In this case, if a plurality of minimum values are observed, the minimum value may be selected from them.
  • specifying the minimum value use the graph before the smoothing process of the contrast value, that is, the graph at the time of S4 in which the contrast value calculated from the image is serialized as a function of the position in the optical axis direction. To identify.
  • the method for smoothing the contrast value is not particularly limited, but a moving average, a Savitzky-Golay filter, a local regression in which weight or robustness may be used, etc. can be used.
  • FIG. 4 shows an example of the graph after the contrast value is smoothed with respect to the graph of FIG.
  • the position on the optical axis of the objective lens when the contrast value becomes the maximum value is specified (S6), and each position when the contrast value or the converted value becomes the two maximum values.
  • the position where the contrast value becomes the minimum is specified between them (S8).
  • This minimum position can be suitably used as the in-focus position when observing a phase object.
  • the position where the contrast value becomes the minimum may be set as the focal position (S10).
  • This in-focus position differs depending on the set resolution of the image after downsampling when downsampling the original image. Therefore, by appropriately setting the resolution of the image after downsampling, the in-focus position can be adjusted to the target position.
  • the range of positions in the optical axis direction in which a plurality of original images are obtained is further expanded in one or both directions of the optical axis to acquire an image, and the contrast is obtained again.
  • the values are calculated and serialized as a function of the position in the optical axis direction (S7).
  • the maximum with the maximum contrast value or conversion value and the maximum with the larger contrast value or conversion value among the maximums on both sides thereof are used, and between the respective positions.
  • the position where the contrast value becomes the minimum is specified (S9).
  • a display means 117 for displaying an image captured with the position specified in this way as a focal point may be provided.
  • the display means 117 is typically a monitor.
  • the display means 117 may be provided as a display device independently of the image acquisition device 101 and the image processing device 103 (FIGS. 1C and D).
  • the calculated contrast values are serialized as a function with respect to the position of the objective lens in the optical axis direction, and the first maximum value as the first peak value, the second maximum value as the second peak value, and By calculating the minimum value as the bottom value, highly accurate focus adjustment becomes possible.
  • the calculated contrast values are serialized as a function with respect to the position of the objective lens in the optical axis direction, and the positions where the contrast values are maximum and minimum are specified, but the region with the minimum is predicted or specified. If so, it is possible to specify the position where the contrast value becomes the minimum without specifying the position where the contrast value becomes the maximum.
  • a region with a minimum can be predicted by, for example, a wide area scan as described above.
  • the calculated contrast value may be partially serialized as a function with respect to the position of the objective lens in the optical axis direction.
  • the focal plane is estimated by wide-area scanning as a pretreatment, and after the wide-area scanning, detailed scanning is performed on the region including the targeted focal plane, bimodal within the scanning range of the detailed scanning. Peaks may not be present.
  • the minimum contrast value or the minimum value may be detected and the position may be set as the focal position.
  • the maximum value and the minimum value are specified by serializing the calculated contrast values as a function with respect to the position in the optical axis direction, but this is not the case.
  • the first peak value, the second peak value, and the bottom value may be estimated from the contrast values of the plurality of smoothed bright-field images.
  • the first peak value and the second peak value may be specified from the actual data of the contrast value, and the intermediate position between the two peaks may be set as the bottom position.
  • the image processing system 100 of the technique of the present disclosure includes an image acquisition device 101 and an image processing device that acquire a plurality of first image data captured at a plurality of different positions along an optical axis. 103 and.
  • the processing unit 111 provided in the image acquisition device 101 or the image processing device 103 calculates the contrast value of the plurality of brightfield images obtained by smoothing the plurality of brightfield images acquired by the image acquisition device 103, and determines the contrast value. It is serialized as a function of the position in the optical axis direction, and the position where the contrast value becomes the minimum is specified between the positions in the optical axis direction when the contrast value becomes the two maximum values.
  • the image processing system 100 obtains a plurality of original images of the biological sample, and then smoothes the image according to the in-focus position or the element of interest set by the user as described in (1) and (2).
  • An image for calculating the contrast position is generated by setting the conditions of. By calculating the contrast, the position where the contrast position becomes the minimum is specified, and the image at the in-focus position is obtained and displayed on the display means 117.
  • the user can automatically obtain a bright-field image in focus on a biological sample by using the image processing system 100 of the present disclosure. That is, the user places the biological sample under a microscope and specifies the in-focus position where the element of interest is located within the biological sample.
  • the focus position setting is input or selected by the user, for example, via an input unit. For example, when the entire cell is the focus element, the focus position is set to the point where the cell membrane on the culture dish side is in focus, and the cell nucleus, mitochondria, nucleolus, and other organelles are the focus elements.
  • the in-focus position is the position where these intracellular organelles are in focus.
  • the in-focus position may be aligned with the cell adhesion surface by default.
  • the focus position is automatically specified.
  • the focus position can be changed to.
  • the correlation between the downsampling condition and the in-focus position is stored in advance in the storage unit of the image acquisition device 101 or the image processing device 103.
  • the correlation between the downsampling condition and the in-focus position is stored in, for example, a look-up table. Furthermore, by storing the correlation between the element of interest and the in-focus position in the storage unit, the user can specify the element of interest so that the in-focus position suitable for the object is automatically set. You can also do it.
  • the in-focus position is fixed at a specific position such as the adhesive surface of cells, and the position of the image in the optical axis direction in which the element of interest is focused is determined in advance from the in-focus position.
  • the correlation between the distance (hereinafter referred to as an offset amount) and the element of interest may be stored in the storage unit.
  • the bright field image may be divided into a plurality of sections, and the contrast value may be calculated for each section.
  • the calculation unit 113 calculates the contrast value of the plurality of downsampled brightfield images, as shown in the flowchart of FIG. 8, the plurality of downsampled brightfield images are acquired (S11), and each brightfield image is obtained. Is divided into a plurality of sections (S12), and the contrast value is calculated independently for each section. Then, the in-focus position specifying unit 115 may perform subsequent processing on each section to specify a position where the contrast value becomes the minimum (S13).
  • the center position of the position farthest from the objective lens and the position closest to the objective lens on the optical axis is the entire field of view. It may be regarded as a position where the contrast value becomes the minimum in, and may be set to the focal position (S14).
  • the plurality of brightfield images downsampled include the image acquired at the in-focus position of the entire image. For example, since it is a plurality of bright-field images acquired in a region that is estimated to be the in-focus position of the entire image by wide-area scanning, the optical axis is based on the image acquired at the in-focus position and the in-focus position. Brightfield images are included at the top and bottom positions in the direction.
  • FIG. 9 shows each process of the VC observation method in a flowchart.
  • the user installs the observation object under the microscope.
  • alignment is performed in the x, y, and z directions according to the object to be observed.
  • This alignment may be performed automatically or may be performed by the user while displaying a bright field image of the sample.
  • the user instructs to acquire the Volume Contrast image (hereinafter referred to as VC image).
  • VC image Volume Contrast image
  • the images are acquired at a plurality of positions different in the optical axis direction by the technique disclosed in the present specification, and the contrast value is calculated after the smoothing process. Then, the minimum value between the maximum peaks obtained by the technique disclosed in the present specification is set as the in-focus position (S21).
  • the in-focus position S21
  • the position in which the cell membrane on the culture surface side is in focus is set as the in-focus position. From the in-focus position, a plurality of bright-field images separated by a predetermined distance along the optical axis are acquired (S22).
  • a plurality of bright-field images separated by a predetermined distance along the optical axis may be newly acquired, and a plurality of bright-field images before smoothing processing used for determining the in-focus position may be used. May be good.
  • a new bright-field image is acquired, it is preferable to generate a bright-field image having an image quality suitable for the VC observation method. That is, it is possible to acquire a high-quality bright-field image having a wider dynamic range and imaging range of the brightness of each pixel and a large amount of data than the image acquired for focusing position calculation, and use it for VC image construction. can.
  • a VC image can be constructed using the plurality of bright-field images thus acquired (S23).
  • the disclosure of WO2019 / 097587, which describes how to construct a VC image, is incorporated herein by reference in its entirety.
  • FIG. 10 shows an example of the interface represented by the display means 117.
  • Information such as sample ID, observed cell type, cell seeding date, cell observation date, etc. is shown.
  • the first graph obtained by downsampling multiple original images of cells created when the focus position was specified, and the original image.
  • the figure drawn by superimposing the second graph obtained by using the above is shown.
  • the positions where a plurality of bright-field images obtained at a predetermined distance along the optical axis from the in-focus position are indicated by arrows.
  • photographs of the acquired bright field images Z1 to Z4 are shown.
  • the in-focus position Z2 in the acquired bright field image may be specified (not shown).
  • Z1 to Z3 used for VC image construction may be highlighted.
  • the VC image created based on Z1 to Z3 is shown in the upper right.
  • the in-focus position calculated toward the periphery of the well is calculated.
  • the objective lens side This is due to a phenomenon called meniscus in which the water surface curves due to the interaction between the liquid and the wall surface in the vicinity of the well wall surface.
  • it is calculated as the in-focus position around the center of the well, the first position farthest from the objective lens on the optical axis, and the in-focus position at the periphery of the well, and the objective lens is calculated on the optical axis.
  • the distance from the nearest second position was 12 ⁇ m.
  • the effect of the meniscus extends to the center, and different positions on the optical axis are identified as in-focus positions in each section that divides the field of view.
  • the field of view into a plurality of sections and calculate the contrast value independently for each section.
  • the first position farthest from the objective lens on the optical axis is specified as the position where the contrast value is the minimum
  • the second position closest to the objective lens on the optical axis is the position where the contrast value is the minimum.
  • the second section specified as the position is extracted, and the third position between the first position and the second position is regarded as the position where the contrast value of the entire field of view is minimized.
  • the third position in the middle of the second position is regarded as the position where the contrast value is considered to be the minimum in the entire field of view, but the calculation of the position where the contrast value is regarded as the minimum in the entire field of view is not limited to this method.
  • the average value of the contrast values calculated in each section may be calculated, and the position on the optical axis that gives the average value may be regarded as the position where the contrast value becomes the minimum in the entire visual field.
  • Program and Storage Medium A program for causing a computer to execute the image processing method described so far, and a non-transient computer-readable storage medium for storing the program are also embodiments of the technique of the present disclosure.
  • HeLa cells are cultured using a 12-well plate, and one block 10x10 is taken for a plurality of images taken in the Z-axis direction using a bright-field objective lens (manufactured by Nikon) 10 times NA0.3.
  • the contrast value of each image is calculated using the ⁇ method for those with and without downsampling, which takes the average of the brightness of the pixels and reduces it to one pixel with that brightness value, and the objective lens. It was serialized and graphed as a function of the position in the optical axis direction of.
  • FIG. 3 and 4 show graphs when the image was not downsampled, contrast values were not smoothed, and FIG. 5 shows the image down.
  • the graph with sampling is shown in comparison with the graph without sampling.
  • FIG. 6 shows the image at the maximum (A, C) and minimum (B) positions when the image is not downsampled
  • FIG. 7 shows that the image is not downsampled.
  • the image at the minimum of the case (B) compared with the image (A) in the case of the case is shown.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

本発明の一実施形態は、生物学的サンプルの画像データを取得する装置における合焦方法であって、前記装置が備える対物レンズの光軸に沿った複数の位置の各々における前記生物学的サンプルの第一画像データ、及び前記第一画像データの各々についての、前記光軸に沿った位置に関する位置データを取得するステップと、前記第一画像データの各々に対して平滑化処理を実行して、第二画像データを生成するステップと、前記第二画像データの各々についてコントラスト値を取得するステップと、前記位置データに基づいて、前記コントラスト値の第1ピーク値及び第２ピーク値を特定するステップと、前記コントラスト値が前記第1ピーク値及び前記第２ピーク値となるときの前記対物レンズの光軸上の位置の間で、前記コントラスト値がボトム値となる光軸上の位置を特定するステップと、前記コントラスト値がボトム値となる光軸上の位置に前記装置の焦点位置を設定するステップと、を含む、方法である。

Description

合焦方法、観察装置、およびプログラム
　本発明は、合焦方法、観察装置、及びプログラムに関する。
　従来、明視野顕微鏡を用い、ＣＣＤで撮像された観察像を画像処理してコントラストを判定することにより自動的に焦点位置を決めるオートフォーカス装置が知られていた。（特開２０１９－７０７５１号公開公報）。
　本発明は、新規な合焦方法、観察装置、及びプログラムを提供する。
　本発明の一実施態様は、生物学的サンプルの画像データを取得する装置における合焦方法であって、前記装置が備える対物レンズの光軸に沿った複数の位置の各々における前記生物学的サンプルの第一画像データ、及び前記第一画像データの各々についての、前記光軸に沿った位置に関する位置データを取得するステップと、前記第一画像データの各々に対して平滑化処理を実行して、第二画像データを生成するステップと、前記第二画像データの各々についてコントラスト値を取得するステップと、前記コントラスト値と前記光軸に沿った位置の関数において、前記コントラスト値が第1ピーク値及び第２ピーク値となるときの前記対物レンズの光軸上の位置の間の、前記コントラスト値がボトム値となる光軸上の位置を特定するステップと、前記コントラスト値がボトム値となる光軸上の位置に前記装置の焦点位置を設定するステップと、を含む、合焦方法である。
　本発明の他の実施態様は、生物学的サンプルを観察するための観察装置であって、対物レンズの光軸に沿った複数の位置における前記生物学的サンプルの各々の第一画像データ、及び、前記複数の第一画像データの各々についての、前記光軸に沿った位置に関する位置データを取得するステップと、前記複数の第一画像データの各々に対して平滑化処理を実行して、複数の第二画像データを生成するステップと、前記複数の第二画像データの各々についてコントラスト値を取得するステップと、前記コントラスト値と前記光軸に沿った位置の関数において、前記コントラスト値が第1ピーク値及び第２ピーク値となるときの前記対物レンズの光軸上の位置の間の、前記コントラスト値がボトム値となる光軸上の位置を特定するステップと、前記コントラスト値が前記ボトム値となる光軸上の位置に前記装置の焦点位置を設定するステップと、を実行する処理部を有する、観察装置である。
本発明の一実施形態にかかる画像処理システムの模式図である。 本発明の一実施形態にかかる画像処理システムの模式図である。 本発明の一実施形態にかかる画像処理システムの模式図である。 本発明の一実施形態にかかる画像処理システムの模式図である。 本発明の一実施形態にかかる画像処理方法のフローチャートである。 本発明の一実施例において、位相物体を撮像した複数のオリジナルの画像から算出されたコントラスト値を、光軸方向の位置の関数として系列化して得られる二峰性のグラフを示す図である。 本発明の一実施例において、位相物体を撮像した複数のオリジナルの画像から算出されたコントラスト値を平滑化した値を、光軸方向の位置の関数として系列化して得られる二峰性のグラフを、図３のグラフと比較して示す図である。 本発明の一実施例において、位相物体を撮像した複数のオリジナルの画像に対してダウンサンプリングを行って得られた画像を用いて得られる二峰性のグラフを、オリジナルの画像を用いて得られるグラフと比較して示す図である。 本発明の一実施例において、ダウンサンプリングを行わなかった画像を用いた場合の極大（Ａ、Ｃ）および極小（Ｂ）の位置での画像を示す図である。 本発明の一実施例において、ダウンサンプリングを行わなかった画像を用いた場合の極小での画像（Ａ）と比較して、ダウンサンプリングを行った画像を用いた場合の極小での画像（Ｂ）を示す図である。 本発明の一実施形態にかかるコントラスト値の算出方法のフローチャートである。 本発明の一実施形態にかかるＶｏｌｕｍｅ　Ｃｏｎｔｒａｓｔ観察法のフローチャートである。 本発明の一実施形態にかかる表示手段が表すインターフェイスの一例を示す図である。
　以下、本開示の技術の実施の形態につき、添付図面を用いて詳細に説明する。以下に記載された発明の実施の形態及び具体的な実施例などは、例示又は説明のために示されているのであって、本発明をそれらに限定するものではない。
　また、実施例に説明する画像処理はあくまでも一例であり、本開示の技術を実施する際には、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
　なお、本明細書に記載された全ての文献（特許文献および非特許文献）並びに技術規格は、本明細書に具体的にかつ個々に記載された場合と同様に、本明細書中に参照により取り込まれる。
　本開示の画像処理システム１００は、少なくとも画像取得装置１０１および画像処理装置１０３を備える。以下に、図１に示す画像処理システム１００の模式図を参照しながら、それぞれの構造や機能について、また図２に示すフローに沿って、画像処理システム１００を用いた合焦方法について、画像取得方法と画像処理方法に分けて、詳細に述べる。
（１）画像取得方法
　まず、画像処理システム１００は、生物学的サンプルを、観察手段１０５の光軸に沿って異なる複数の位置で、撮像手段１０７によって撮像した第一画像データを取得する（Ｓ１１）。この画像は後述する画像変換や定量位相画像を生成する際には、画像変換や画像生成を行う前の画像であるため、本明細書において、オリジナル画像、変換用画像と称することもある。観察手段１０５は、例えば生物学的サンプルの観察に適した、明視野顕微鏡、微分干渉顕微鏡などの顕微鏡である。それぞれの撮像手段１０７によって撮像したオリジナル画像は、明視野画像、微分干渉画像である。撮像手段１０７としては、例えばＣＣＤなどの撮像素子があげられる。
　オリジナル画像は、例えば、撮像手段１０７を装備したカメラ付きの明視野顕微鏡１０５を用い、観察対象物に対し、対物レンズの光軸方向に複数の焦点距離で撮像することで取得してもよい。あるいは、顕微鏡により撮像された画像がサーバーやデータベースに格納されており、ネットワークを経由して取得されてもよい。
　ここで、対物レンズの光軸とは、対物レンズの対象物側のレンズ面の光学中心と対物レンズの焦点を通る直線を意味する。生物学的サンプルは特に限定されず、動物や植物などの多細胞生物由来のものであっても、細菌などの単細胞生物由来のものであってもよく、例えば、無染色の培養細胞、組織、器官などが挙げられる。具体的には、培養容器に単層または多層で接着培養されたり、単細胞で、または細胞塊で浮遊培養されたりしている生細胞が例示できる。
　注目要素(Target component)は、観察対象物において、画像処理に際して焦点を合わせる対象となる特定の組織構成要素である。注目要素の像が、検出対象または識別対象となる。たとえば、観察対象物が細胞集団である場合には、注目要素は、１個の細胞全体でもよく、また、核小体などの細胞内小器官や細胞膜などであってもよい。
　培養容器は、例えばディッシュ、ウェルプレートなどの一般的な細胞培養に用いられる容器や、生体機能チップ（Organ-on-a-chip）であってもよい。
　オリジナル画像を、明視野顕微鏡により取得する場合、前処理として広域走査により焦点面の見当をつけ、広域走査の後に、見当を付けた焦点面を含む領域について詳細走査を行い、オリジナル画像を取得してもよい。
　具体的には、まず広域走査により、光軸方向に広い範囲について、光軸に沿って異なる複数の位置で画像を取得する。そして、取得した複数の画像に基づき、焦点面の見当をつけ、広域走査よりも光軸方向に狭く、合焦位置候補位置を含む第１領域を決定する。例えば、広域走査時に後述する二峰性の極大値のおおよその位置を検出し、それらピーク値としての極大値の間の領域を第１領域と決定する。次に、第１領域について詳細走査を実行し、光軸に沿って異なる複数の位置で画像を取得する。ただし、予め、第１領域が予測または特定できている場合、極大値の光軸上の位置を特定しなくてもよい。
　広域走査において、光軸方向における画像取得範囲は、対象サンプルの観察面のばらつきに依存する。観察面がばらつきうる範囲を全て走査するため、例えば、プラスチックプレートを用いた細胞の観察を行う場合、走査範囲の光軸方向における最大幅は、約４０００μｍである。一方で、走査範囲の光軸方向における最小幅は、対物レンズの焦点深度に依存するが、後述するコントラスト値を光軸方向の位置の関数として系列化して得られる二峰性のグラフの極大値２点が入る範囲を走査する必要がある。例えば、走査範囲の光軸方向における最小幅は、対物レンズの焦点深度の約３０倍であってもよい。
　詳細走査における画像取得範囲は、対物レンズの焦点深度と同じか、それより広くてもよく、例えば、焦点深度の約１～３０倍であってもよい。あるいは、後述する広域走査を行うときに取得する隣り合う画像の間隔の約１～５倍であってもよい。
　取得する画像の間隔は特に限定されないが、対物レンズの焦点深度によって適切な範囲で選ばれる。複数の画像を取得するときは、画像を光軸方向に等間隔で取得することが好ましい。広域走査においては、画像は広い間隔で取得され、詳細走査においては広域走査より狭い間隔で取得される。広域走査において取得する画像の間隔は、後述するコントラスト値を光軸方向の位置の関数として系列化して得られる二峰性のグラフの二つの山が見分けられる程度に広い間隔である。例えば、広域走査において取得される画像の間隔は、対物レンズの焦点深度の約１～１０倍であってもよい。詳細走査を行う場合に取得する画像の間隔は、例えば、対物レンズの焦点深度の約１／５～１／２倍であってもよい。
　また、この画像の解像度は、注目要素および解析の精度によりユーザーが設定してもよい。１個の細胞全体を確認したい場合には、細胞の輪郭に焦点を合わせてもよい。例えば、注目要素の大きさが直径５μｍ～数十μｍである１個の細胞全体である場合には、取得画像の解像度は、１個の細胞が１ｐｉｘｅｌに入ってしまわないように、０．５μｍ／ｐｉｘｅｌ以上５μｍ／ｐｉｘｅｌ未満であることが好ましい。また、注目要素が、大きさは１～３μｍである核小体などの細胞内小器官である場合には、取得画像の解像度は１μｍ／ｐｉｘｅｌ未満であることが好ましい。それによって、後述するように、合焦位置にある画像を作成した後、オリジナルとなる複数の明視野画像から定量位相画像を作成することができる。
　次に、取得したオリジナル画像を平滑化処理し（S2）、コントラスト値を算出するための第二画像を生成する。平滑化処理は平滑化処理部１０９で行われるが、平滑化処理部１０９は、画像取得装置１０１が備えてもよく（図１Ａ、Ｃ、Ｄ）、画像処理装置１０３が備えてもよい（図１Ｂ、Ｄ）。
　平滑化処理として、輝度方向または空間方向への平滑化が例としてあげられる。
　輝度方向への平滑化の一例として、処理する部分の輝度値を補正し、一定にする処理があり、例えばバイラテラルフィルタ処理があげられる。
　また、空間方向の平滑化の一例として、空間方向に対し、画像にダウンサンプリング処理を行う処理がある。ここで、ダウンサンプリングとは、画像をより低い解像度の画像に変換する処理である。ダウンサンプリングの効果は、観察対象物中で注目要素より小さい観察不要な物体の輪郭を除去するか、または輪郭をぼかすことによって、注目要素の輪郭を相対的に強調することにある。そこで、ダウンサンプリングの量は、ダウンサンプリング後の画像の解像度において、観察不要な物体が１ｐｉｘｅｌに含まれる量であることが好ましい。従って、ダウンサンプリング後の画像の解像度を、例えば注目要素が１個の細胞全体である場合には、５－１５μｍ／ｐｉｘｅｌに設定し、注目要素が細胞核である場合には、３－１０μｍ／ｐｉｘｅｌに設定し、注目要素がミトコンドリアや核小体などの細胞小器官の場合には、０．５－５μｍ／ｐｉｘｅｌに設定することが好ましい。このようにして、ダウンサンプリング後の画像の解像度を設定することによって、注目要素に焦点が合った画像を得ることができる。
　ダウンサンプリングの方法はとくに限定されないが、例えば複数の画素の画素値の平均値を用いて画像をダウンサンプリングする。複数の画素の画素値の平均値としては、例えば、ダウンサンプリング後の画像のサイズに依存した大きさの周辺画素における画素値の平均値を用いる。例えば、画像サイズを1/nにする場合、周辺ｎ×ｎの画素の画素値の平均値を用いる。例えば、オリジナル画像について、一辺が複数の画素からなるブロックに分割し、ブロックごとに平均輝度を計算し、ブロック全体の各画素にその平均輝度を割り当てることにより、新たな画像に変換してもよい。あるいは、バイリニア法を用いてもよく、ｘ軸方向に２つに１つずつ間引いて、新たな画像に変換してもよい。また、ブロックの中の特定の位置の画素を間引いて、残った画素でブロックの平均輝度を計算し、ブロック全体の各画素に、その平均輝度を割り当ててもよい。
　ダウンサンプリング処理としては、ビニングすることによって、観察時の明視野画像より画素数が少なく、所望の画素数である明視野画像を得ることもできる。画像取得装置１０１が、ビニング機能を有する撮像手段１０７を有してもよい。
　他の平滑化処理として、平滑化フィルターを用いてもよい。平滑化フィルターとして、例えば平均化フィルターやガウシアンフィルター等を用い、畳み込み演算によって画像をXY方向に滑らかにしてもよい。
（２）画像処理方法
　本開示の画像処理装置１０３は、対物レンズの光軸に沿った複数の位置における生物学的サンプルの各々の第一画像データ、及び、複数の第一画像データの各々についての、光軸に沿った位置に関する位置データを取得するステップと、複数の第一画像データの各々に対して平滑化処理を実行して、複数の第二画像データを生成するステップと、複数の第二画像データの各々についてコントラスト値を取得するステップと、位置データに基づいて、コントラスト値と光軸に沿った位置の関数において、コントラスト値が第1ピーク値及び第２ピーク値となるときの対物レンズの光軸上の位置の間の、コントラスト値がボトム値となる光軸上の位置を特定するステップと、コントラスト値がボトム値となる光軸上の位置に装置の焦点位置を設定するステップと、を実行する処理部１１１を有する。処理部１１１は、ＣＰＵであってよい。画像処理装置１０３は画像取得装置１０１と独立に存在してもよく（図１Ａ、Ｂ）、処理部１１１として、画像取得装置１０１に組み込まれていてもよい（図１Ｃ、Ｄ）。
　この画像処理装置１０３は、（１）で記載した画像取得装置１０１によって取得された複数の明視野画像を処理する。この画像処理装置１０３は、画像取得装置１０１に直接接続されていてもよく、またネットワークで接続されていてもよい。後者の場合、画像取得装置１０１および画像処理装置１０３は通信部を備え、通信部によってネットワークを介して互いに通信することができる。
　画像処理装置１０３（図１Ａ、Ｂ）または画像取得装置１０１（図１Ｃ、Ｄ）の処理部１１１が算出部１１３と合焦位置特定部１１５を含み、算出部１１３が、光軸に沿った異なる複数の位置で撮像され、平滑化処理された複数の明視野画像のコントラスト値を算出し、合焦位置特定部１１５が、算出されたオリジナルのコントラスト値またはそれを平滑化した変換値を、光軸方向の位置の関数として系列化し、コントラスト値または変換値が２つの極大値となるときの各々の位置の間で、コントラスト値が極小となる位置を特定してもよい。
　また、上述したように、画像処理装置１０３が平滑化処理部１０９を備え、オリジナル画像を平滑化した新たな画像に変換してもよい（Ｓ２）。平滑化方法は、画像取得装置１０１で述べたのと同様にして行うことができる。第一画像データに対して平滑化処理を実行して生成された画像データを、第二画像データと称してもよい。
　処理部１１１に設けられた算出部１１３では、平滑化された複数の明視野画像のコントラスト値を算出する（Ｓ３）。コントラスト値の算出方法は特に限定されないが、例えば、ΣΔ法やΣΔ２法を使用してもよい。ΣΔ法とは、x軸方向に隣り合う画素またはブロック間で輝度の差分の絶対値を算出し、それらの和を行ごとに計算し、y軸方向に行ごとの和の合計を算出する方法である。なお、y軸方向に隣り合う画素またはブロック間で輝度の差分の絶対値を算出し、それらの和を行ごとに計算し、x軸方向に行ごとの和の合計を算出してもよい。ΣΔ２法とは、ΣΔ法において、輝度の差分の絶対値の代わりに輝度の差分の絶対値を二乗した値を用いる方法である。なお、算出部が処理部１１１以外に設けられ、複数の第二画像データの各々について算出されたコントラスト値を取得してもよい。
　位相物体を撮像した複数の画像から算出されたコントラスト値を、光軸方向の位置の関数として系列化すると、例えば、図３に示されるような二峰性のグラフが得られる（Ｓ４）。
　この系列化の際、コントラスト値を平滑化処理して得られた変換値を光軸方向の位置の関数として系列化することが好ましい（Ｓ５）。なぜなら、算出して得られたオリジナルのコントラスト値を用いて系列化した場合、関数の変化がなめらかではなく、多数の細かい極大値や極小値が生じることがあるからである。オリジナルのコントラスト値を平滑化処理することによって、通常は明らかな２つの極大値とその間に１つの極小値を有する関数を得ることができる。平滑化処理を行わずオリジナルのコントラスト値を用いた場合などで、複数個の極小が得られた場合は、その中から最小値を選択して、ボトム値として、極大間の極小値とみなしてもよい。また、３個以上の極大値が得られた場合、コントラスト値が高い順に二つの極大を選択し、その間で極小値を特定してもよい。この場合、もし極小値が複数観察されれば、その中から最小値を選択してもよい。なお、最小値の特定を行う場合にはコントラスト値の平滑化処理を行う前のグラフ、すなわち画像から算出されたコントラスト値を光軸方向の位置の関数として系列化したＳ４時点でのグラフを用いて特定する。
　コントラスト値を平滑化処理する方法は特に限定されないが、移動平均、Savitzky-Golay フィルター、重みやロバスト性を使用してもよい局所回帰などを用いることができる。図４に、図３のグラフに対し、コントラスト値を平滑化処理した後のグラフの一例を示す。
　最後に、位置データに基づいて、コントラスト値が極大値となるときの対物レンズの光軸上の位置を特定し（Ｓ６）、コントラスト値または変換値が２つの極大値となるときの各々の位置の間で、コントラスト値が極小となる位置が特定される（Ｓ８）。この極小となる位置は、位相物体を観察する際の合焦位置として好適に利用できる。このコントラスト値が極小となる位置を、焦点位置に設定してもよい（Ｓ１０）
　この合焦位置は、オリジナル画像をダウンサンプリングする際、設定したダウンサンプリング後の画像の解像度によって異なる。従って、ダウンサンプリング後の画像の解像度を適切に設定することにより、目的の位置に合焦位置を合わせることができる。
　ここで、極大が１つしか得られなかった場合は、複数のオリジナルの画像を得た光軸方向の位置の範囲を、さらに光軸の一方向または両方向に広げて画像を取得し、再度コントラスト値を算出し、光軸方向の位置の関数として系列化する（Ｓ７）。また、極大が３つ以上得られた場合、コントラスト値または変換値が最大となる極大と、その両側の極大のうちコントラスト値または変換値が大きいほうの極大を用い、各々の位置の間で、コントラスト値が極小となる位置を特定する（Ｓ９）。
　このようにして特定された位置を焦点として撮像された画像を表示する表示手段１１７を設けてもよい。表示手段１１７は、典型的にはモニターである。表示手段１１７は、表示装置として、画像取得装置１０１や画像処理装置１０３と独立に設けられてもよい（図１Ｃ、Ｄ）。
　本実施形態のように、算出したコントラスト値を対物レンズの光軸方向の位置に対する関数として系列化して、第１ピーク値としての第１極大値、第２ピーク値としての第２極大値、及びボトム値としての極小値を算出することによって、高精度な焦点調節が可能になる。
　なお、本実施形態においては、算出したコントラスト値を対物レンズの光軸方向の位置に対する関数として系列化し、コントラスト値が極大と極小になる位置を特定したが、極小のある領域が予測または特定されている場合、コントラスト値が極大になる位置を特定せずに極小になる位置を特定することができる。極小のある領域は、例えば、上述したような広域走査により予測することができる。
　また、部分的に、算出したコントラスト値を対物レンズの光軸方向の位置に対する関数として系列化してもよい。上述のように前処理として広域走査により焦点面の見当をつけ、広域走査の後に、見当を付けた焦点面を含む領域について詳細走査を行う場合に、詳細走査の走査範囲内に二峰性のピークは存在しないことがある。例えば、広域走査時に後述する二峰性の極大値ピークのおおよその位置を検出し、極大値ピークの間の領域を第１領域と決定した場合には、詳細走査の走査範囲内に二峰性のピークは現れない。そのため、詳細走査の結果からは二峰性のピーク検出はせずに、コントラスト最小値あるいは極小値を検出し、その位置を焦点位置として設定してもよい。　なお、本実施形態において、算出したコントラスト値を光軸方向の位置に対する関数として系列化することによって、極大値と極小値を特定したが、この限りではない。平滑化された複数の明視野画像のコントラスト値の中から第１ピーク値、第２ピーク値及びボトム値を推定してもよい。例えば、コントラスト値の実データから第１ピーク値及び第２ピーク値を特定し、その２つのピーク間の中間位置をボトム位置と設定してもよい。上記関数を用いたときよりも、精度は劣るものの、高速な焦点調節が可能となる。
（３）画像処理システムの使用方法
　本開示の技術の画像処理システム１００は、光軸に沿った異なる複数の位置で撮像された複数の第一画像データを取得する画像取得装置１０１と画像処理装置１０３と、を備える。画像取得装置１０１または画像処理装置１０３が備えた処理部１１１は、画像取得装置１０３で取得された複数の明視野画像を平滑化した複数の明視野画像のコントラスト値を算出し、コントラスト値を、光軸方向の位置の関数として系列化し、コントラスト値が２つの極大値となるときの各々の光軸方向の位置の間で、コントラスト値が極小となる位置を特定する。ここで、画像処理システム１００は、生物学的サンプルのオリジナルの画像を複数得た後、（１）（２）で記載したように、ユーザーが設定した合焦位置または注目要素に従って、平滑化処理の条件を設定してコントラスト位置算出用の画像を生成する。コントラスト算出により、コントラスト位置が極小となる位置を特定し、合焦位置にある画像を得て表示手段１１７に表示する。
　以下、具体的に使用方法の一実施形態を説明する。
　ユーザーは、本開示の画像処理システム１００を用いて、生物学的サンプルに対して、自動でピントの合った明視野画像を得ることができる。すなわち、ユーザーは、生物学的サンプルを顕微鏡下に設置し、生物学的サンプル内の注目要素が存在する合焦位置を指定する。合焦位置の設定は、例えば入力部を介してユーザーにより入力または選択される。例えば、1個の細胞全体を注目要素とする場合には培養皿側の細胞膜に焦点が合っている点を合焦位置と設定し、細胞核やミトコンドリアや核小体などの細胞小器官を注目要素とする場合にはこれらの細胞内小器官に焦点が合う位置を合焦位置とする。合焦位置は、デフォルトでは細胞の接着面に合わされていてもよい。そして、ユーザーが細胞小器官を撮影したいときや、蛍光フィルターの切り替えによる色収差のために、光軸に沿った位置が異なる蛍光画像を撮影したいときに、合焦位置を指示することによって、自動的に合焦位置が変更できる。
　予め、画像取得装置１０１または画像処理装置１０３の記憶部に、ダウンサンプリングの条件と合焦位置との相関関係を記憶させておく。ダウンサンプリングの条件と合焦位置との相関関係は、例えばルックアップテーブルなどにより記憶される。さらに、記憶部に注目要素と合焦位置との相関関係を記憶させておくことによって、ユーザーが注目要素を指定することにより、その物体に適合した合焦位置が自動的に設定されるようにすることもできる。
　あるいは、合焦位置は、細胞の接着面など、特定の位置に固定しておき、予め、光軸方向のどの画像の位置で注目要素に焦点が合うかを決めておいて、合焦位置からの距離（以下、オフセット量と称する）と注目要素との相関関係を記憶部に記憶させておいてもよい。それによって、ユーザーが希望する注目要素を入力すれば、自動的にオフセット量を考慮して、その注目要素に焦点の合った画像が選択される。
（４）そのほかの態様
（４－１）コントラスト値の算出方法
　この画像処理装置１０３において、明視野画像を複数の区画に分割し、区画毎にコントラスト値を算出してもよい。算出部１１３がダウンサンプリングされた複数の明視野画像のコントラスト値を算出する際、図８のフローチャートに示すように、ダウンサンプリングされた複数の明視野画像を取得し（Ｓ１１）、各明視野画像を複数の区画に分けて（Ｓ１２）、各区画に対して独立にコントラスト値を算出する。そして、合焦位置特定部１１５は、各区画に対してそれ以降の処理を行い、コントラスト値が極小となる位置を特定してもよい（Ｓ１３）。この場合、それぞれの区画で、光軸上の異なる位置が特定されるかもしれないが、その際は、光軸上で対物レンズから最も遠い位置と最も近い位置との中央の位置を、視野全体でコントラスト値が極小となる位置とみなし、焦点位置に設定すればよい（Ｓ１４）。なお、ステップＳ１１において、ダウンサンプリングされた複数の明視野画像は、画像全体の合焦位置で取得した画像を含む。例えば、広域走査により画像全体の合焦位置であると見当を付けた領域で取得された複数の明視野画像であるため、合焦位置で取得した画像と、合焦位置を基準とし、光軸方向の上下の位置に明視野画像を含む。
（４－２）Ｖｏｌｕｍｅ　Ｃｏｎｔｒａｓｔ観察法
　明視野画像はコントラストが低く、細胞などの観察が難しいことがあるため、明視野画像をコントラストの高い定量位相画像に変換する技術が開発されている。その一つであるＶｏｌｕｍｅ　Ｃｏｎｔｒａｓｔ観察法（以下、ＶＣ観察法と称する）の例を以下に記載する。
　図９にはＶＣ観察法の各工程が、フローチャートで表されている。まず、ユーザーが観察対象物を顕微鏡下に設置する。そして、観察対象物に合わせてｘ、ｙ、ｚ方向のアライメントを行う。このアライメントは自動で行われてもよく、ユーザーがサンプルの明視野画像を表示させながら行ってもよい。そして、ユーザーがＶｏｌｕｍｅ　Ｃｏｎｔｒａｓｔ画像（以下、ＶＣ画像と称する）取得を指示する。このさい、必要に応じてタイムラプスの設定も行ってもよい。
　ＶＣ画像取得が指示されると、本明細書に開示の技術によって、光軸方向に異なる複数の位置で画像が取得され、平滑化処理後、コントラスト値算出が行われる。そして、本明細書に開示の技術によって、得られた極大ピーク間の極小値を合焦位置と設定する（Ｓ２１）。なお、ＶＣ観察法を用いる場合には、注目要素が細胞1個全体であるため、培養面側の細胞膜に焦点が合う位置を合焦位置として設定される。その合焦位置から、光軸に沿って所定距離離れた複数の明視野画像を取得する（Ｓ２２）。この時、新たに光軸に沿って所定距離離れた複数の明視野画像を取得してもよく、合焦位置を決定するときに用いられた平滑化処理前の複数の明視野画像を用いてもよい。新たに明視野画像を取得する場合には、ＶＣ観察法に適した画質の明視野画像を生成するのが好ましい。すなわち合焦位置算出用に取得された画像よりも、各画素の輝度のダイナミックレンジや撮像範囲が広く、データ量の大きい高画質な明視野画像を取得し、それをＶＣ画像構築に用いることができる。一方、合焦位置決定用に取得した明視野画像を用いれば、再度の明視野画像取得の手間を省くことができる。取得される明視野画像は、例えば奇数であり、３，５，７，９、１１枚である。こうして取得した複数の明視野画像を用いて、ＶＣ画像を構築できる（Ｓ２３）。ＶＣ画像の構築の方法が記載されている国際公開ＷＯ２０１９／０９７５８７の開示は、その全体が参照により本明細書に取り込まれる。
　図１０には、表示手段１１７が表すインターフェイスの一例を示す。サンプルＩＤ、観察した細胞種、細胞の播種日、細胞の観察日、などの情報が示されている。左上には、合焦位置を特定した際に作成した、細胞を撮像した複数のオリジナルの画像に対してダウンサンプリングを行って得られた画像を用いて得られる第１のグラフと、オリジナルの画像を用いて得られる第２のグラフとが重ねて描かれた図が示されている。第１のグラフには、合焦位置から光軸に沿って所定距離離れた複数の明視野画像を取得した位置が矢印で示されている。下部には、取得した複数の明視野画像Ｚ１～Ｚ４の写真が示されている。取得した明視野画像のうち合焦位置Ｚ２は、特定されていてもよい（図示しない）。また、図１０に示すように、ＶＣ画像構築に用いられたＺ１～Ｚ３が強調表示されていてもよい。そして、右上にはＺ１～Ｚ３を基に作成したＶＣ画像が示されている。
　このようにして、本開示の技術によって特定された焦点位置を利用し、明視野画像から、コントラストの高い画像を得ることができる。
（４－３）ウェルプレートを用いた実施態様
　本開示の技術をウェルプレートに培養された生物学的サンプルに対して用いる場合には、（４－１）で説明したように、視野を複数の区画に分けて、各区画に対して独立にコントラスト値を算出し、それ以降の処理を行い、コントラスト値が極小となる位置を特定してもよい。
　図１１に図示するように、３８４ウェルプレートで本開示の技術を用い、視野中心から外側に一定の距離ごとに合焦位置を計測したところ、ウェルの周辺部になるほど算出される合焦位置が対物レンズ側に位置する。これは、ウェル壁面近傍では、液体と壁面との相互作用によって水面が湾曲するメニスカスと呼ばれる現象によるものである。具体的には、ウェルの中心部周辺において合焦位置と算出され、光軸上で対物レンズから最も遠い第一位置と、ウェルの周辺部において合焦位置と算出され、光軸上で対物レンズから最も近い第二位置との間隔は、１２μｍであった。ウェルの直径が小さくなると、メニスカスの影響が中心まで及び、視野を分割した各区画で、光軸上の異なる位置が合焦位置として特定されるようになる。
　そこで、ウェルプレートを用いた本実施形態においては、視野を複数の区画に分けて、各区画に対して独立にコントラスト値を算出するのが好ましい。そして、光軸上で対物レンズから最も遠い第一位置がコントラスト値が極小となる位置として特定された第一区画と、光軸上で対物レンズから最も近い第二位置がコントラスト値が極小となる位置として特定される第二区画を抽出し、第一位置と第二位置との中間の第三位置を、視野全体のコントラスト値が極小となる位置とみなす。第三位置で視野全体を撮影することで、第一位置と第二位置における合焦位置と撮影画像の焦点位置間の差を最小に抑えることが可能である。
　本実施形態により、ウェルプレートを用いた場合であっても、メニスカスの影響をできるだけ抑え、所望の位置に焦点を合わせた画像を取得することができる
　なお、本実施形態においては、第一位置と第二位置との中間の第三位置を、視野全体でコントラスト値が極小になる位置とみなしたが、視野全体でコントラスト値が極小とみなす位置の算出はこの方法に限られない。例えば、各区画において算出されたコントラスト値の平均値を算出し、その平均値を与える光軸上の位置を視野全体でコントラスト値が極小となる位置とみなしてもよい。
　また、区画毎の合焦位置の撮影画像を１枚ずつ並べることで１視野全体を再構築する方法もある。この方法では、全区画で焦点の合う画像となる効果がある。
（５）プログラム及び記憶媒体
　ここまでに記載した画像処理方法をコンピューターに実行させるプログラムや、そのプログラムを格納する、非一過性のコンピューター可読記憶媒体も、本開示の技術の実施形態である。
　本実施例では、１２ウェルプレートを用いてＨｅＬａ細胞を培養し、ＮＡ０．３の１０倍の明視野対物レンズ（Ｎｉｋｏｎ社製）を用いてＺ軸方向に撮像した複数の画像について、１ブロック１０ｘ１０ピクセルの輝度の平均を取り、その輝度値を持つ一つのピクセルに縮小するダウンサンプリングを行ったものと行っていないものに対し、ΣΔ法を用いて、各画像のコントラスト値を算出し、対物レンズの光軸方向の位置の関数として系列化し、グラフ化した。
　次に、Savitzky-Golayフィルター（Window-length=57, polyorder=3）を用いて、各画像のコントラスト値を平滑化し、光軸方向の位置の関数として系列化し、グラフ化した。
　図３および図４には、画像に対してダウンサンプリングを行わなかった場合の、それぞれコントラスト値の平滑化を行わなかった場合、および行った場合のグラフ、図５には、画像に対してダウンサンプリングを行った場合のグラフを、行わなかった場合のグラフと比較して示す。また、図６には、画像に対してダウンサンプリングを行わなかった場合の極大（Ａ、Ｃ）および極小（Ｂ）の位置での画像、図７には、画像に対してダウンサンプリングを行わなかった場合の画像（Ａ）と比較して、行った場合（Ｂ）の極小での画像を、示す。なお、本実施例では、細胞の輪郭がシャープかつ、細胞のコントラストが低い場合に、焦点が合っていると判断した。
 
　図３では、グラフにおいて、極大値、極小値ともに、複数観察されたが、図４では、グラフにおいて極大の２個のピークおよび極小の１個のピークが明確になった。また、図６に示すように、コントラストが極小となる光軸上の位置で取得された画像は、コントラストが極大となる光軸上の位置で取得された画像より、細胞の輪郭がシャープかつ、細胞のコントラストが低い画像となった。
　一方で、画像に対してダウンサンプリングを行うと、図５に示すように、極小はより明確になり、また極小の位置がずれた。そして、図７に示すように、画像に対してダウンサンプリングを行ったときの極小の位置は、細胞のコントラストがより低く、輪郭がシャープになり、より細胞の輪郭に焦点が合った画像となった。
　このように、ダウンサンプリングを行った画像を用いてコントラストを計算し、コントラスト極大値間の極小値をとる光軸上の位置で取得された画像を選択することにより、合焦位置に非常に近い画像が得られた。
 

Claims (14)

  1. 　生物学的サンプルの画像データを取得する装置における合焦方法であって、
    　前記装置が備える対物レンズの光軸に沿った複数の位置の各々における前記生物学的サンプルの第一画像データ、及び前記第一画像データの各々についての、前記光軸に沿った位置に関する位置データを取得するステップと、
    　前記第一画像データの各々に対して平滑化処理を実行して、第二画像データを生成するステップと、
    　前記第二画像データの各々についてコントラスト値を取得するステップと、
    　前記コントラスト値と前記光軸に沿った位置の関数において、前記コントラスト値が第1ピーク値及び第２ピーク値となるときの前記対物レンズの光軸上の位置の間の、前記コントラスト値がボトム値となる光軸上の位置を特定するステップと、
    　前記コントラスト値が前記ボトム値となる光軸上の位置に前記装置の焦点位置を設定するステップと、
    を含む、合焦方法。
  2. 　前記コントラスト値がボトム値となる光軸上の位置を特定するステップにおいて、
    　前記コントラスト値と前記光軸に沿った位置との関数において、前記第ピーク値が第1極大値、及び前記第２ピーク値が第２極大値となるときの前記対物レンズの光軸上の位置の間の、前記コントラスト値が極小値となる光軸上の位置を前記ボトム値として特定する、請求項１に記載の合焦方法。
  3. 　前記複数の第二画像データの各々についてコントラスト値を取得するステップの後に、
    　前記コントラスト値を前記光軸に沿った位置の関数として系列化するステップを行う、請求項２に記載の合焦方法。
  4. 　さらに、前記系列化された前記コントラスト値を平滑化処理するステップを行う、請求項３に記載の合焦方法。
  5. 　前記第二画像データを生成するステップにおいて、
    　前記第二画像は、前記第一画像データのダウンサンプリングにより生成される、請求項１から４のいずれか一項に記載の合焦方法。
  6. 　前記第二画像データを生成するステップにおいて、
    　前記第二画像データは、前記第一画像データのビニングにより生成される、請求項５に記載の合焦方法。
  7. 　前記第二画像データを生成するステップにおいて、
    　前記第二画像データは、前記第一画像データを平滑化フィルターにより処理することで生成される、請求項１に記載の合焦方法。
  8. 　前記第一画像データは、平面培養された細胞の画像データである、請求項１～７のいずれか１項に記載の合焦方法。
  9. 　前記コントラスト値が前記極小値となる位置を中央位置として、前記光軸上の前記中央位置の両側で、前記中央位置から離れた位置で明視野画像を取得するステップと、
    前記中央位置から離れた位置でそれぞれ取得した前記明視野画像を定量位相画像に変換するステップと、
    をさらに含む、請求項２～８のいずれか一項に記載の方法。
  10. 　前記コントラスト値が極小となる光軸上の位置を特定するステップは、
    　前記コントラスト値算出用画像を複数の区画に分けるサブステップと、
    　それぞれの前記区画で、前記コントラスト値が極小となる位置を特定するサブステップと、
    を含む、請求項２～９のいずれか一項に記載の合焦方法。
  11. 　前記コントラスト値が極小となる光軸上の位置を特定するステップにおいて、
    それぞれの前記区画で特定された前記コントラスト値が極小となる位置のうち、前記光軸上の位置が最も離れた第一位置と第二位置を特定し、前記第二画像全体に対する前記コントラスト値が極小となる位置として、前記第一位置と前記第二位置の中間の位置を決定する、請求項１０に記載の方法。
  12. 　生物学的サンプルを観察するための観察装置であって、
    　対物レンズの光軸に沿った複数の位置における前記生物学的サンプルの各々の第一画像データ、及び、前記複数の第一画像データの各々についての、前記光軸に沿った位置に関する位置データを取得するステップと、
    　前記複数の第一画像データの各々に対して平滑化処理を実行して、複数の第二画像データを生成するステップと、
    　前記複数の第二画像データの各々についてコントラスト値を取得するステップと、
    　
    前記コントラスト値と前記光軸に沿った位置の関数において、前記コントラスト値が第1ピーク値及び第２ピーク値となるときの前記対物レンズの光軸上の位置の間の、前記コントラスト値がボトム値となる光軸上の位置を特定するステップと、
    　前記コントラスト値がボトム値となる光軸上の位置に前記観察装置の焦点位置を設定するステップと、
    　を実行する処理部を有する、観察装置。
  13. 前記コントラスト値がボトム値となる光軸上の位置を特定するステップにおいて、
    前記コントラスト値と前記光軸に沿った位置との関数において、前記１ピーク値が第1極大値、及び前記第２ピーク値が第２極大値となるときの前記対物レンズの光軸上の位置の間の、前記コントラスト値が極小値となる光軸上の位置を前記ボトム値として特定する、請求項１２に記載の合焦方法。
  14. 　請求項１～１１のいずれか１項に記載の合焦方法をコンピューターに実行させるプログラム。
     
     
PCT/JP2020/044563 2020-11-30 2020-11-30 合焦方法、観察装置、およびプログラム WO2022113365A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/044563 WO2022113365A1 (ja) 2020-11-30 2020-11-30 合焦方法、観察装置、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/044563 WO2022113365A1 (ja) 2020-11-30 2020-11-30 合焦方法、観察装置、およびプログラム

Publications (1)

Publication Number Publication Date
WO2022113365A1 true WO2022113365A1 (ja) 2022-06-02

Family

ID=81754192

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/044563 WO2022113365A1 (ja) 2020-11-30 2020-11-30 合焦方法、観察装置、およびプログラム

Country Status (1)

Country Link
WO (1) WO2022113365A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07218840A (ja) * 1994-02-02 1995-08-18 Shimadzu Corp ビデオカメラを備えた顕微鏡
JP2013131862A (ja) * 2011-12-20 2013-07-04 Olympus Corp 画像処理システム及びそれを備えた顕微鏡システム
JP2014085599A (ja) * 2012-10-25 2014-05-12 Olympus Corp 顕微鏡
WO2017149687A1 (ja) * 2016-03-02 2017-09-08 株式会社日立製作所 撮像装置
JP2019070751A (ja) * 2017-10-10 2019-05-09 オリンパス株式会社 観察装置および焦点調節方法
WO2019097587A1 (ja) * 2017-11-14 2019-05-23 株式会社ニコン 定量位相画像生成方法、定量位相画像生成装置およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07218840A (ja) * 1994-02-02 1995-08-18 Shimadzu Corp ビデオカメラを備えた顕微鏡
JP2013131862A (ja) * 2011-12-20 2013-07-04 Olympus Corp 画像処理システム及びそれを備えた顕微鏡システム
JP2014085599A (ja) * 2012-10-25 2014-05-12 Olympus Corp 顕微鏡
WO2017149687A1 (ja) * 2016-03-02 2017-09-08 株式会社日立製作所 撮像装置
JP2019070751A (ja) * 2017-10-10 2019-05-09 オリンパス株式会社 観察装置および焦点調節方法
WO2019097587A1 (ja) * 2017-11-14 2019-05-23 株式会社ニコン 定量位相画像生成方法、定量位相画像生成装置およびプログラム

Similar Documents

Publication Publication Date Title
JP7075743B2 (ja) マルチレベル拡大被写界深度画像処理機能を備えた可変焦点距離レンズ
JP5254441B2 (ja) フロー式粒子画像解析方法及び装置
JP5780865B2 (ja) 画像処理装置、撮像システム、画像処理システム
US10623627B2 (en) System for generating a synthetic 2D image with an enhanced depth of field of a biological sample
EP1336888A1 (en) Microscopy imaging system and data acquisition method
CN107850754A (zh) 具有快速样本自动聚焦的成像组件
US8237785B2 (en) Automatic focusing apparatus for use in a microscope in which fluorescence emitted from a cell is captured so as to acquire a cell image, and automatic focusing method therefor
JP2016520894A (ja) 複数収集スライド画像における参照
JP5177138B2 (ja) 観察装置
JP2018000102A (ja) 撮影装置および方法並びに撮影制御プログラム
EP2860568B1 (en) Image processing apparatus, image processing program, and image processing method
US11169079B2 (en) Captured image evaluation apparatus, captured image evaluation method, and captured image evaluation program
WO2022113365A1 (ja) 合焦方法、観察装置、およびプログラム
JP6704530B2 (ja) 撮影制御装置、方法およびプログラム
JP2017191609A (ja) 画像処理装置および画像処理方法
Štajduhar et al. 3d localization of neurons in bright-field histological images
Carozza et al. An incremental method for mosaicing of optical microscope imagery
US11256078B2 (en) Continuous scanning for localization microscopy
WO2021100328A1 (ja) 画像処理方法、画像処理装置および画像処理システム
JP7452702B2 (ja) 学習済みモデルを生成する方法、画像処理方法、画像変換装置、プログラム
JP2010121955A (ja) 高さ情報取得装置、高さ情報取得方法、及びプログラム
JP6570434B2 (ja) 顕微鏡システム
Cruz et al. Automated urine microscopy using scale invariant feature transform
WO2019044416A1 (ja) 撮影処理装置、撮影処理装置の制御方法および撮影処理プログラム
US20230196533A1 (en) Microscopy System and Method for Reducing an Image Vignetting

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20963628

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20963628

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP