WO2021100328A1 - 画像処理方法、画像処理装置および画像処理システム - Google Patents

画像処理方法、画像処理装置および画像処理システム Download PDF

Info

Publication number
WO2021100328A1
WO2021100328A1 PCT/JP2020/037068 JP2020037068W WO2021100328A1 WO 2021100328 A1 WO2021100328 A1 WO 2021100328A1 JP 2020037068 W JP2020037068 W JP 2020037068W WO 2021100328 A1 WO2021100328 A1 WO 2021100328A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image processing
medical image
focusing
filter
Prior art date
Application number
PCT/JP2020/037068
Other languages
English (en)
French (fr)
Inventor
拓哉 大嶋
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to JP2021558198A priority Critical patent/JPWO2021100328A1/ja
Priority to CN202080079048.XA priority patent/CN114730070A/zh
Priority to US17/776,985 priority patent/US20220392031A1/en
Priority to EP20890703.0A priority patent/EP4047408A4/en
Publication of WO2021100328A1 publication Critical patent/WO2021100328A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20008—Globally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Definitions

  • the present invention relates to an image processing method, an image processing device, and an image processing system.
  • a microscope device for observing cell tissue to image the cell tissue, save it as a medical image, and perform pathological diagnosis using the image data of the medical image.
  • a digital microscope device in order to observe the entire sample, a small area on a slide glass that divides the area containing the sample is imaged by a magnifying imaging system, and a plurality of images for each small area are joined together to form one huge image. Create medical images.
  • Autofocus is adopted as the focusing method that focuses the objective lens of the magnifying image system on the cell tissue to be imaged. For example, when the focal position of the objective lens of the magnifying image pickup system is moved in the optical axis direction at predetermined intervals, imaging is performed at each moving position, and the image having the highest contrast among the captured images is captured.
  • a focusing method for detecting a position as a focusing position has been proposed (see, for example, Patent Document 1). This type of focusing method is called "contrast AF".
  • the cell tissue image captured in this way can obtain relatively high focal accuracy, it looks different from the optical microscope image observed by an observer such as a doctor through an optical microscope.
  • the purpose of this technique is to provide a digital microscope device capable of acquiring images of cell tissues with high quality, an imaging method and a program thereof.
  • the image processing method is characterized in that a medical image captured by an imaging device is acquired and the strength of a filter applied to the medical image is determined according to the degree of focusing of the medical image.
  • the embodiment a mode for implementing the image processing method, the image processing device, and the image processing system according to the present application (hereinafter, referred to as “the embodiment”) will be described in detail with reference to the drawings.
  • the image processing method, the image processing apparatus, and the image processing system according to the present application are not limited by this embodiment. Further, in each of the following embodiments, the same parts are designated by the same reference numerals, and duplicate description is omitted.
  • FIG. 1 shows the characteristics of an optical microscope image.
  • Optical microscope images have different characteristics than images observed through a digital microscope device.
  • FIG. 1 there are several indicators regarding the image quality of the optical microscope image.
  • the characteristics of the optical microscope image will be described with reference to the index shown in FIG.
  • there is an index indicating the brightness of the image quality in this embodiment, it may be expressed as "glittering feeling”
  • there is an index indicating the degree of edge of image quality in this embodiment, it may be expressed as "clearness”
  • the indexes showing the characteristics of the optical microscope image are, for example, “three-dimensional / planar”, “transparent / dull”, “clear / blurred” and the like.
  • the blur (blurring) according to the embodiment indicates that the image is not sharp. Specifically, the blur according to the embodiment indicates a state in which the image is out of focus and is not sharp beyond the range of the depth of field.
  • the in-focus according to the embodiment indicates a state in which the subject is in focus within the range of the depth of field.
  • the degree of focusing according to the embodiment is a value obtained by scoring how much the focus is.
  • the optical microscope image is three-dimensional.
  • the three-dimensional aspect according to the embodiment indicates the quality regarding the visual contrast between the blur and the in-focus.
  • the optical microscope image has a sense of transparency.
  • the transparency according to the embodiment indicates the quality related to noise.
  • the noise according to the embodiment is unnecessary information other than the subject. Specifically, since the optical microscope image is not digitized, noise is not emphasized and the image has a transparent feeling.
  • the optical microscope image has a glittering feeling.
  • the glittering feeling according to the embodiment indicates the quality related to the brightness due to the interference fringes generated by the scattered light when the subject is exposed to light.
  • the optical microscope image emits light brighter than the light applied to the object due to the interference fringes, so that there is a feeling of glitter.
  • the optical microscope image has a clear feeling.
  • the sharpness according to the embodiment indicates the quality related to the sharpness.
  • optical microscope image Since the optical microscope image is three-dimensional, bright, and has high sharpness, it has high ability to identify an object (hereinafter, appropriately referred to as "object identification performance").
  • optical microscope image Since the optical microscope image is three-dimensional, bright, and has high sharpness, it has high ability to recognize an object (hereinafter, appropriately referred to as "object recognition performance").
  • Z direction the Z-axis direction
  • the medical image acquired by the digital microscope device is in focus.
  • Z direction the Z-axis direction
  • a high frequency enhancement filter is applied to the entire medical image, low frequency areas (for example, noise) are also emphasized, and the sharpness of the out-of-focus area is increased.
  • the image will have many high-frequency components, and the target identification performance will deteriorate.
  • the strength of the filter is lowered, the emphasis of the area to be emphasized is also weakened.
  • An image close to an optical microscope image is an image having the characteristics shown in FIG. 1, and is an image formed by images having different degrees of focus.
  • the effect of bringing the image closer to an optical microscope image will be described.
  • the cell structure becomes easier to see.
  • the use for diagnosis can be promoted.
  • bringing a medical image closer to an optical microscope image makes it easier to determine the location of cells.
  • the speed of diagnosis by the pathologist can be increased and fatigue can be reduced.
  • bringing a medical image closer to an optical microscope image enhances the visibility of overlapping cells. This makes it possible to diagnose diseases in which the identification of overlapping cells is important.
  • bringing a medical image closer to an optical microscope image makes it easier for a pathologist to adapt to a diagnosis using the medical image.
  • FIG. 2 shows an example of a slide for imaging.
  • FIG. 2 is a vertical view of the slide for imaging.
  • the Z direction is the direction of the thickness of the slide.
  • the Z direction is the direction of the thickness of the subject.
  • the Z direction is the direction perpendicular to the medical image.
  • the Z direction is the direction of the optical axis at the time of imaging.
  • FIG. 2 shows a case where the subject is placed on a slide glass and covered with a cover glass.
  • FIG. 2 shows a case where the subject is a section of tissue.
  • FIG. 2 shows a case where a sample such as a lymphocyte or a macrophage contained in a tissue is imaged.
  • lymphocytes are thick because they overlap.
  • macrophages under the lymphocytes. Since the depth of field to be imaged is shallow, it is not possible to focus on the entire image such as lymphocytes and macrophages.
  • information processing by the image processing apparatus 100 will be described as a process for correcting the deterioration of visibility due to digitization.
  • FIG. 3 is a diagram showing a configuration example of the image processing system according to the embodiment.
  • the image processing system 1 includes an image pickup apparatus 10 and an image processing apparatus 100.
  • the image pickup apparatus 10 and the image processing apparatus 100 are connected to each other via a predetermined communication network (network N) so as to be communicable by wire or wirelessly.
  • FIG. 3 is a diagram showing a configuration example of the image processing system according to the embodiment.
  • the image processing system 1 shown in FIG. 3 may include a plurality of image pickup devices 10 and a plurality of image processing devices 100.
  • the image pickup device 10 is an image pickup device such as a microscope, and is used for imaging a sample.
  • the image processing device 100 is used to determine information about the filter according to the degree of focusing of the subject.
  • the image processing device 100 is, for example, an information processing device such as a PC or WS (Work Station), and performs processing based on information transmitted from the image pickup device 10 or the like via the network N.
  • the filter according to the embodiment is a filter that improves the image quality of medical images. Further, the filter according to the embodiment is applied to a medical image obtained by capturing a subject. Moreover, any kind of filter according to an embodiment may be used. That is, there is no limitation on the area emphasized by the filter according to the embodiment.
  • the filter according to the embodiment includes filters such as high frequency enhancement, mid frequency enhancement, low frequency enhancement, negative enhancement filter, that is, a smoothing filter.
  • the image processing device 100 calculates the degree of focusing by using a blur function (hereinafter, appropriately referred to as a “blurring determination function” or a “blurring amount determination function”).
  • a blur function hereinafter, appropriately referred to as a “blurring determination function” or a “blurring amount determination function”.
  • the blur function is generated by approximating the sum of squares of adjacent differences with the Lorentz function and calculating the reciprocal.
  • the approximation according to the embodiment is graph fitting (curve fitting).
  • the formula (1) shows the sum of squared adjacent differences according to the embodiment.
  • FIG. 4 shows a graph GR1 of the sum of squared adjacent differences.
  • the feature amount for all the pixels in the medical image, the total value of the differences between the predetermined pixels and the pixels having a predetermined relationship is used as the feature amount, and the value in the Z direction (hereinafter, appropriately referred to as the “Z value”). ) Is plotted as a variable, and the graph GR1 is shown.
  • this feature amount is appropriately referred to as "blurring feature amount”.
  • the pixel having a predetermined relationship is a pixel adjacent to the predetermined pixel.
  • FIG. 4 shows a graph in which the total value of the differences between the predetermined pixel and the adjacent pixel is plotted for all the pixels in the medical image.
  • FIG. 4 shows a graph in which the total value of the differences between the predetermined pixel and the adjacent pixel is plotted for all the pixels in the medical image.
  • the horizontal axis (X axis) of the graph GR1 is the Z value of the slide.
  • the vertical axis (Y-axis) of the graph GR1 indicates the feature amount.
  • the output value of the sum of squares of adjacent differences is shown by s (z).
  • plotting is performed so that the Z value at which the feature amount is maximized becomes 0.
  • plot so that the maximum value of the output value of the sum of squares of the adjacent differences is s (0).
  • FIG. 4 shows that the larger the feature amount, the higher the degree of focusing.
  • FIG. 4 may show a graph in which the sum of squares of adjacent differences is approximated by the Lorentz function.
  • equation (2) shows the Lorentz function according to the embodiment.
  • the Y-axis of the graph GR1 in FIG. 4 may be f (z). That is, the Y-axis of the graph GR1 in FIG. 4 may be indicated by f (z) as the output value of the Lorentz function.
  • FIG. 5 shows a graph GR2 which is the reciprocal of the Lorentz function f (z).
  • FIG. 5 shows a graph GR2 plotting the reciprocal of the Lorentz function f (z).
  • the graph GR2 is a quadratic curve.
  • the equation (3) shows a quadratic curve according to the embodiment.
  • the apex of the graph GR2 indicates the in-focus position.
  • the focusing position according to the embodiment is a Z value that maximizes the degree of focusing.
  • the image processing device 100 acquires image information of a predetermined in-focus image.
  • the image processing device 100 acquires a predetermined number of image information focused on positions having different Z values based on the predetermined in-focus image together with the predetermined in-focus image.
  • the image processing device 100 acquires image information focused at a position several micrometers different in the Z direction with respect to the Z value of a predetermined focused image.
  • the image processing apparatus 100 includes a total of two images focused on a predetermined in-focus image and a position several micrometers different in the Z direction with respect to the Z value of the predetermined in-focus image. Acquire information on three images.
  • the image processing device 100 calculates the blur feature amount of the acquired image information by using the sum of squares of the adjacent differences. Specifically, the image processing apparatus 100 calculates the blur feature amount of the acquired image information by approximating the sum of squares of the adjacent differences to the Lorentz function.
  • the image processing device 100 calculates the reciprocal of the calculated blur feature amount.
  • the image processing device 100 performs fitting to a quadratic curve based on the reciprocal of the calculated bokeh feature amount.
  • the image processing device 100 estimates the in-focus position based on the fitted quadratic curve. Specifically, the image processing device 100 estimates the apex of the fitted quadratic curve as the focusing position of the entire image.
  • the image processing device 100 calculates the degree of focusing of the acquired image information based on the estimated focusing position. Specifically, the image processing device 100 calculates the degree of focusing of the acquired image information based on the difference between the estimated focusing position and the Z value used in the blur function.
  • the image processing device 100 determines the strength of the filter according to the calculated degree of focusing.
  • the image processing device 100 taps around a predetermined pixel with a predetermined pixel in the medical image as a reference, and calculates a blur feature amount by using the sum of squares of adjacent differences.
  • the tap according to the embodiment indicates a pixel range centered on a predetermined pixel. That is, the tap according to the embodiment indicates the range of peripheral pixels of the pixel of interest. For example, the tap according to the embodiment indicates the range of peripheral pixels of the pixel of interest to which the filter is applied. For example, a 3 ⁇ 3 tap indicates a range of 9 pixels in total, in which the vertical and horizontal pixels of the image are 3 pixels each.
  • the image processing device 100 taps the same for each of the images acquired with different Z values, and calculates the sum of squares of the adjacent differences as the blur feature amount.
  • the image processing device 100 shows an example of attaching a 3 ⁇ 3 tap TA1 as an example.
  • the image processing device 100 calculates the blur feature amount centering on S0, with S0 as a predetermined pixel. In this case, the image processing device 100 calculates the blur feature amount based on the equation (4).
  • the image processing device 100 acquires a total of three image information of a predetermined in-focus image and two images focused at different positions in the Z direction with respect to the Z value of the predetermined in-focus image. If so, the image processing device 100 calculates the blur feature amount by tapping 3 ⁇ 3 from each of the three images and using the sum of squares of the adjacent differences from the center. In this case, the image processing device 100 calculates the blur feature amount based on the equation (5).
  • the image processing device 100 calculates the blur feature amount using the image information of the layer located at the predetermined Z value among the acquired image information. For example, the image processing device 100 calculates the blur feature amount F2 by using the image information of the upper layer among the acquired three image information. For example, the image processing device 100 calculates the blur feature amount F1 by using the image information of the middle layer among the acquired three image information. For example, the image processing device 100 calculates the blur feature amount F0 by using the image information of the lower layer among the acquired three image information.
  • FIG. 7 shows a graph GR3 in which the reciprocals of the three values calculated by the image processing device 100 are fitted to a quadratic curve.
  • the image processing device 100 estimates the in-focus position based on the fitting.
  • the image processing device 100 estimates the apex of the fitted quadratic curve as the in-focus position.
  • Zc is the in-focus position.
  • Zc is the in-focus position estimated from the blur feature amount.
  • Z1 is the most focused position in the entire image.
  • Z1 closest to Zc is the most focused position in the entire image.
  • the image processing apparatus 100 may apply a filter having a strength equivalent to the result of applying the filter to be applied to Zc to Z1.
  • the image processing apparatus 100 may apply a filter having the same strength as Zc to Z1 when Z1 is within a predetermined range considered to be equivalent to Zc.
  • the image processing device 100 calculates the degree of focusing according to the distance from the focusing position. In FIG. 7, the image processing device 100 calculates the degree of focusing according to the distance from Zc.
  • the image processing device 100 determines the strength of the filter to be applied according to the calculated degree of focusing. Then, the image processing device 100 applies a filter according to the determined intensity. Specifically, the image processing apparatus 100 determines the strength of the filter for each pixel and performs the filter processing on the pixel. As a result, the image processing apparatus 100 performs the most suitable filter processing on the image by repeating the processing for each pixel.
  • the image processing device 100 can change the strength of the filter according to the degree of focusing.
  • the image processing apparatus 100 can apply a filter having an intensity of 100% only to the in-focus region of the image. Applying a 100% intensity filter to the entire image will increase the sharpness of out-of-focus areas and noise.
  • the image processing apparatus 100 applies the filter only to the in-focus region, the sharpness is improved only in the in-focus region. Since the sharpness of the out-of-focus area is not emphasized, the sense of depth of the image does not decrease, and it is easy to recognize the overlap of cells. Since the sharpness of the noise is not emphasized, it is possible to prevent a fine subject such as Helicobacter pylori from being buried in the noise.
  • the image processing apparatus 100 can adjust the local contrast.
  • the image processing device 100 can correct an image whose contrast has been lowered by the imaging optical system.
  • the image processing apparatus 100 can partially adjust the contrast.
  • the image processing apparatus 100 can confirm the situation even when mucus or the like is mixed in the cell nucleus and the genetic information is not in the center of the cell nucleus, and the accuracy of diagnosis can be improved.
  • the image processing device 100 shows an example of selecting a square tap centered on a predetermined pixel, but the range of the selected tap is not limited to a square such as 3 ⁇ 3, and any range is used. May be selected as a tap.
  • the image processing device 100 may select a range of cross-shaped taps centered on S0 as shown in FIG. Further, the number of vertical and horizontal pixels in the selected range is not limited to three pixels.
  • the image processing device 100 may select a range of 11 ⁇ 11 with 11 vertical and 11 horizontal pixels as taps.
  • the image processing apparatus 100 estimates the in-focus position by using the reciprocal of the three values calculated by using the information of three images having different Z directions. As long as the number of image information to be estimated is 3 or more, there is no limit. For example, the image processing apparatus 100 may estimate the in-focus position by using the reciprocal of four values calculated by using the information of four images having different Z directions.
  • the image processing device 100 determines the strength of the filter according to the degree of focusing, but the image processing device 100 may determine the type of the filter according to the degree of focusing. ..
  • the image processing apparatus 100 determines the type of filter according to the estimated focusing position.
  • the image processing apparatus 100 determines the type of the corresponding specific filter when the degree of focusing satisfies a predetermined condition.
  • the image processing apparatus 100 determines the type of filter that emphasizes the corresponding predetermined region when the degree of focusing satisfies a predetermined condition.
  • the image processing apparatus 100 determines that the mid-range enhancement filter is applied when the degree of focusing is equal to or higher than a predetermined threshold value. For example, the image processing apparatus 100 determines that the high frequency enhancement filter is applied when the degree of focusing is smaller than a predetermined threshold value. Alternatively, the image processing apparatus 100 determines to apply a negative enhancement filter, that is, a smoothing filter.
  • the image processing device 100 may determine the strength and type of the filter according to the degree of focusing.
  • the image processing apparatus 100 may simultaneously determine both the strength and the type of the filter according to the degree of focusing.
  • the image processing apparatus 100 may apply the determined intensity and type of filter to the medical image.
  • the image processing apparatus 100 can apply the optimum filter with the optimum intensity according to the degree of focusing.
  • the image processing device 100 determines the strength and type of the filter for each pixel. However, the image processing device 100 constitutes a block with a plurality of pixels and the strength of the filter for each block. And the type may be determined. In this case, the image processing apparatus 100 determines a plurality of pixels for forming the block. The image processing apparatus 100 may determine a plurality of pixels for forming the block. For example, the image processing device 100 constitutes a block with a plurality of adjacent pixels. For example, the image processing device 100 constitutes a block with a plurality of predetermined pixels.
  • the image processing apparatus 100 acquires a medical image with a sample such as a cell as a subject, but an image of a living thing or any image collected from the living thing is used as a subject. You may get it.
  • the image processing device 100 acquires an image of a sample related to a living body, a living thing, a material, a pathology, or the like in the medical field.
  • the imaging device according to the embodiment may be any device as long as it can image a subject.
  • the imaging device according to the embodiment is a microscope.
  • any microscope may be used.
  • the image processing apparatus 100 estimates the apex of the fitted quadratic curve as the focusing position of the entire image, but it is within a predetermined range from the apex of the fitted quadratic curve.
  • the position may be estimated as the in-focus position of the entire image.
  • the pixel having a predetermined relationship is a pixel adjacent to the predetermined pixel, but the present invention is not limited to this example. That is, the pixels having a predetermined relationship are not necessarily limited to adjacent pixels.
  • the pixels having a predetermined relationship may be pixels such as every other pixel or every two pixels.
  • the image processing apparatus 100 may calculate the degree of focusing by using the total value of the differences between the predetermined pixels and the pixels of every other pixel as the feature amount. In this case, the image processing apparatus 100 determines the intensity of the filter applied to the medical image according to the degree of focusing calculated by using the total value of the differences between the predetermined pixels and the pixels of every other pixel as the feature amount.
  • the image pickup device 10 and the image processing device 100 are separate devices, but the image pickup device 10 and the image processing device 100 may be integrated.
  • the function of the image processing device 100 may be mounted on a computer that controls the operation of the image pickup device 10, or may be mounted on an arbitrary computer provided in the housing of the image pickup device 10.
  • the function of the image processing device 100 may be downloaded to a computer that controls the operation of the image pickup device 10, or may be downloaded to an arbitrary computer provided in the housing of the image pickup device 10. Thereby, the image pickup apparatus 10 having the function of the image processing apparatus 100 can be sold.
  • FIG. 9 is a diagram showing a configuration example of the image pickup apparatus 10 according to the embodiment.
  • the image pickup apparatus 10 includes a communication unit 11, a storage unit 12, and a control unit 13.
  • the image pickup device 10 has an input unit (for example, a keyboard, a mouse, etc.) that receives various operations from the administrator of the image pickup device 10, and a display unit (for example, a liquid crystal display, etc.) for displaying various information. May be good.
  • the communication unit 11 is realized by, for example, a NIC (Network Interface Card) or the like. Then, the communication unit 11 is connected to the predetermined network N by wire or wirelessly, and transmits / receives information to / from the image processing device 100 or the like via the predetermined network N.
  • NIC Network Interface Card
  • the storage unit 12 is realized by, for example, a semiconductor memory element such as a RAM or a flash memory, or a storage device such as a hard disk or an optical disk.
  • the storage unit 12 stores information about the medical image. Specifically, the storage unit 12 stores information about the medical image of the captured subject.
  • the control unit 13 is a controller, and is realized by, for example, a CPU, an MPU, or the like executing various programs stored in a storage device inside the image pickup device 10 using the RAM as a work area. Further, the control unit 13 is a controller, and is realized by, for example, an integrated circuit such as an ASIC or FPGA.
  • control unit 13 has an imaging unit 141, and realizes or executes the action of information processing described below.
  • the internal configuration of the control unit 13 is not limited to the configuration shown in FIG. 9, and may be any other configuration as long as it is a configuration for performing information processing described later.
  • the image pickup unit 141 captures various information.
  • the imaging unit 141 images the subject on the slide.
  • the imaging unit 141 acquires various information.
  • the imaging unit 141 acquires the captured medical image.
  • FIG. 10 is a diagram showing a configuration example of the image processing device 100 according to the embodiment.
  • the image processing device 100 includes a communication unit 110, a storage unit 120, and a control unit 130.
  • the image processing device 100 has an input unit (for example, a keyboard, a mouse, etc.) that receives various operations from the administrator of the image processing device 100, and a display unit (for example, a liquid crystal display, etc.) for displaying various information. You may.
  • the communication unit 110 is realized by, for example, a NIC or the like. Then, the communication unit 110 is connected to the network N by wire or wirelessly, and transmits / receives information to / from the image pickup apparatus 10 and the like via the network N.
  • the storage unit 120 is realized by, for example, a semiconductor memory element such as a RAM or a flash memory, or a storage device such as a hard disk or an optical disk. As shown in FIG. 10, the storage unit 120 includes a medical image storage unit 121 and an emphasis filter storage unit 122.
  • the medical image storage unit 121 stores information related to medical images.
  • FIG. 11 shows an example of the medical image storage unit 121 according to the embodiment.
  • the medical image storage unit 121 has items such as “medical image ID” and “medical image”.
  • Medical image ID indicates identification information for identifying a medical image.
  • the “medical image” indicates a medical image obtained by capturing an image of a subject.
  • “medical image” indicates a medical image captured by the imaging device 10.
  • the “medical image” shows an example in which conceptual information such as “medical image # 11" and “medical image # 12" is stored, but in reality, a still image, a moving image, or the like is shown. Is stored.
  • still images and moving images are stored in a server or cloud different from the image processing device, and the "medical image” indicates the URL (Uniform Resource Locator) where the contents of the medical image are located or their storage location.
  • the file path name and the like may be stored.
  • the emphasis filter storage unit 122 stores information about an emphasis filter for applying to a medical image.
  • FIG. 12 shows an example of the emphasis filter storage unit 122 according to the embodiment.
  • the emphasis filter storage unit 122 has items such as “emphasis filter ID” and “emphasis filter”.
  • Emphasis filter ID indicates identification information for identifying the emphasis filter.
  • “Emphasis filter” indicates information about the emphasis filter. In the example shown in FIG. 12, an example in which conceptual information such as “emphasis filter # 11" and “emphasis filter # 12" is stored in the “emphasis filter” is shown, but in reality, the strength and type of the emphasis filter are used. , The range of pixels to which the emphasis filter is applied, etc. are stored.
  • the control unit 130 is a controller, and is realized by, for example, a CPU, an MPU, or the like executing various programs stored in a storage device inside the image processing device 100 using the RAM as a work area. Further, the control unit 130 is a controller, and is realized by, for example, an integrated circuit such as an ASIC or FPGA.
  • control unit 130 has an acquisition unit 131, a calculation unit 132, and a determination unit 133, and realizes or executes the information processing operation described below.
  • the internal configuration of the control unit 130 is not limited to the configuration shown in FIG. 10, and may be another configuration as long as it is a configuration for performing information processing described later.
  • the acquisition unit 131 acquires various types of information.
  • the acquisition unit 131 acquires various information from an external information processing device.
  • the acquisition unit 131 acquires various information from other information processing devices such as the image pickup device 10.
  • the acquisition unit 131 acquires various information from the storage unit 120.
  • the acquisition unit 131 acquires various information from the medical image storage unit 121 and the emphasis filter storage unit 122.
  • the acquisition unit 131 stores various acquired information in the storage unit 120.
  • the acquisition unit 131 stores various information in the medical image storage unit 121 and the emphasis filter storage unit 122.
  • the acquisition unit 131 acquires various information calculated and determined by other functional configurations.
  • the acquisition unit 131 acquires a medical image of the subject.
  • the acquisition unit 131 acquires a medical image of the subject captured by the imaging device 10.
  • the acquisition unit 131 acquires a medical image of a subject related to a living body, an organism, a material, or a pathology in the medical field.
  • the acquisition unit 131 acquires a medical image captured by a microscope.
  • the calculation unit 132 calculates various types of information.
  • the calculation unit 132 calculates various information from the storage unit 120.
  • the calculation unit 132 calculates various information from the medical image storage unit 121 and the emphasis filter storage unit 122.
  • the calculation unit 132 stores various calculated information in the storage unit 120.
  • the calculation unit 132 stores various information in the medical image storage unit 121 and the emphasis filter storage unit 122.
  • the calculation unit 132 calculates various information acquired and determined by other functional configurations.
  • the calculation unit 132 calculates various information based on various information acquired and determined by other functional configurations.
  • the calculation unit 132 calculates the sum of squares of the adjacent differences using the acquired image information.
  • the calculation unit 132 calculates the sum of squares of adjacent differences within the range of taps determined centering on a predetermined pixel. For example, the calculation unit 132 calculates the sum of squares of the adjacent differences based on the feature amount obtained by summing the differences between the predetermined pixels and the adjacent pixels in the medical image.
  • the calculation unit 132 calculates the Lorentz function from the calculated sum of squares of the adjacent differences.
  • the calculation unit 132 calculates an approximate value of the Lorentz function from the calculated sum of squares of the adjacent differences.
  • the calculation unit 132 approximates the calculated contiguous difference squared sum to the Lorentz function.
  • the calculation unit 132 calculates the reciprocal of the Lorentz function from the calculated Lorentz function.
  • the calculation unit 132 estimates the focusing position from the reciprocal of the Lorentz function.
  • the calculation unit 132 estimates the apex of the reciprocal of the Lorentz function as the in-focus position.
  • the calculation unit 132 calculates the degree of focusing.
  • the calculation unit 132 calculates the degree of focusing using the estimated focusing position.
  • the calculation unit 132 calculates the degree of focusing according to the distance from the estimated focusing position.
  • the calculation unit 132 calculates the degree of focusing according to the distance between the Z value corresponding to the reciprocal of the calculated Lorentz function and the estimated focusing position.
  • the determination unit 133 determines various information.
  • the determination unit 133 determines various information from the storage unit 120.
  • the determination unit 133 determines various information from the medical image storage unit 121 and the emphasis filter storage unit 122.
  • the determination unit 133 stores various determined information in the storage unit 120.
  • the determination unit 133 stores various information in the medical image storage unit 121 and the emphasis filter storage unit 122.
  • the determination unit 133 determines various information acquired and calculated by other functional configurations.
  • the determination unit 133 determines various information based on various information acquired and calculated by other functional configurations.
  • the determination unit 133 selects the pixel to which the filter is applied.
  • the determination unit 133 selects the first pixel to which the filter is applied. For example, the determination unit 133 selects the next pixel after application in which a filter is applied to a predetermined pixel. For example, the determination unit 133 selects the pixels to which the filter is applied based on a predetermined algorithm.
  • the determination unit 133 determines the intensity of the filter applied to the medical image according to the calculated degree of focusing.
  • the determination unit 133 determines a synthesis rate indicating the rate of synthesis of medical images according to a plurality of filters having different intensities according to the calculated degree of focusing.
  • the determination unit 133 selectively determines a plurality of filters to be applied to the medical image according to the calculated degree of focusing.
  • the determination unit 133 determines the type of filter applied to the medical image according to the calculated degree of focusing.
  • the determination unit 133 determines a synthesis rate indicating the rate of synthesis of medical images according to a plurality of different types of filters according to the calculated degree of focusing.
  • the determination unit 133 applies the determined intensity filter to the medical image.
  • the determination unit 133 applies the determined type of filter to the medical image.
  • the determination unit 133 applies a filter of the intensity determined for a plurality of medical images having different Z values to each medical image according to the calculated degree of focusing. Then, the determination unit 133 determines the synthesis rate indicating the synthesis rate of each medical image to which the filter is applied according to the calculated degree of focusing. Then, the determination unit 133 synthesizes each medical image based on the synthesis rate determined according to the calculated degree of focusing.
  • the determination unit 133 determines whether or not the filter has been applied to all the pixels. The determination unit 133 determines whether all the pixels in the medical image have been filtered. The determination unit 133 determines whether all the pixels included in the predetermined range in the medical image have been filtered.
  • FIG. 13 is a flowchart showing a procedure of information processing by the image processing system 1 according to the embodiment.
  • the image processing device 100 acquires a medical image (step S101).
  • the image processing device 100 selects a predetermined pixel for performing the filtering process (step S102).
  • the image processing device 100 estimates the degree of focusing using a blur function (step S103).
  • the image processing apparatus 100 determines the type and intensity of the filter from the estimated degree of focusing (step S104).
  • the image processing apparatus 100 applies a filter of the determined type and intensity (step S105).
  • the image processing device 100 determines whether all the pixels have been filtered (step S106). When the image processing apparatus 100 determines that the filtering processing has not been performed on all the pixels (step S106; No), the image processing apparatus 100 returns to the processing of step S102.
  • the image processing apparatus 100 returns to the process of step S102 and selects pixels other than the previously selected pixel.
  • the image processing device 100 ends the information processing.
  • FIG. 14 shows a case where the image processing device 100 applies one enhancement filter to the acquired medical image.
  • the image KG1 shows the image before applying the filter
  • the image KG2 shows the image after applying the filter.
  • an image with improved contrast and resolution of the entire image is generated, including an object other than the object to be focused on.
  • the image processing device 100 may apply a plurality of enhancement filters to the acquired medical image.
  • the image processing device 100 may generate a composite image to which a plurality of filters having different intensities depending on the degree of focusing are applied.
  • FIG. 15 shows a case where the image processing device 100 synthesizes an image to which a plurality of enhancement filters are applied to the acquired medical image.
  • the image KG11 shows an image to which the first filter is applied
  • the image KG22 shows an image to which a second filter having a different intensity from that of the first filter is applied.
  • the image KG11 is a more blurred image than the image KG22.
  • the image KG33 shows a composite image in which the image KG11 and the image KG22 are combined.
  • the target SJ 11 shows a first region showing a region of interest in an image
  • the target SJ 22 shows a second region that is not a region of interest.
  • the target SJ22 is a noise portion in a medical image.
  • the image processing device 100 may determine a composition rate indicating the rate of composition of medical images. For example, the image processing apparatus 100 may determine the composition rate in the first region and the second region.
  • the image processing apparatus 100 synthesizes the image KG11 and the image KG22 at a composition ratio of 1: 9 with respect to the region of the target SJ11.
  • the ratio of the synthesis ratio to the region of the target SJ11 may be any ratio as long as the image KG22 has a higher ratio than the image KG11.
  • the image processing apparatus 100 synthesizes the image KG11 and the image KG22 at a composition ratio of 9: 1 with respect to the region of the target SJ22.
  • the ratio of the synthesis ratio to the region of the target SJ22 may be any ratio as long as the image KG11 has a higher ratio than the image KG22.
  • FIG. 15 shows a case where two images to which the enhancement filter is applied are combined, but it is assumed that there is no limit to the number of images to be combined by the image processing device 100.
  • the image processing apparatus 100 may selectively determine the number of images to be combined, or may selectively determine the images to be combined. For example, the image processing apparatus 100 selectively combines a plurality of images to which another filter is applied and an image to which the first filter is applied when there is a region that cannot be discriminated by the image to which the first filter is applied. Generates an image with improved visibility and distinctiveness as compared with an image to which only the first filter is applied.
  • the image processing device 100 can adjust the local contrast by synthesizing the processed images of the enhancement filters having different intensities.
  • the image processing apparatus 100 can adjust the global and local contrasts by adaptively applying the optimum filter, and can improve the visibility like an optical microscope.
  • FIG. 15 shows an example of synthesizing an image in which a plurality of different filters are applied to one image.
  • the image processing device 100 may generate a composite image by synthesizing an image to which a plurality of different filters are applied to one image.
  • the image processing apparatus 100 applies an optimum filter according to the degree of focusing to a plurality of medical images having different Z values according to the degree of focusing.
  • a composite image may be generated by synthesizing the images.
  • FIG. 16 is a hardware configuration diagram showing an example of a computer that realizes the functions of the image pickup apparatus 10 and the image processing apparatus 100.
  • the computer 1000 has a CPU 1100, a RAM 1200, a ROM 1300, an HDD 1400, a communication interface (I / F) 1500, an input / output interface (I / F) 1600, and a media interface (I / F) 1700.
  • the CPU 1100 operates based on the program stored in the ROM 1300 or the HDD 1400, and controls each part.
  • the ROM 1300 stores a boot program executed by the CPU 1100 when the computer 1000 is started, a program depending on the hardware of the computer 1000, and the like.
  • the HDD 1400 stores a program executed by the CPU 1100, data used by such a program, and the like.
  • the communication interface 1500 receives data from another device via a predetermined communication network and sends it to the CPU 1100, and transmits the data generated by the CPU 1100 to the other device via the predetermined communication network.
  • the CPU 1100 controls an output device such as a display or a printer and an input device such as a keyboard or a mouse via the input / output interface 1600.
  • the CPU 1100 acquires data from the input device via the input / output interface 1600. Further, the CPU 1100 outputs the generated data to the output device via the input / output interface 1600.
  • the media interface 1700 reads the program or data stored in the recording medium 1800 and provides the program or data to the CPU 1100 via the RAM 1200.
  • the CPU 1100 loads the program from the recording medium 1800 onto the RAM 1200 via the media interface 1700, and executes the loaded program.
  • the recording medium 1800 is, for example, an optical recording medium such as a DVD (Digital Versatile Disc) or PD (Phase change rewritable disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory. And so on.
  • the CPU 1100 of the computer 1000 realizes the functions of the control units 13 and 130 by executing the program loaded on the RAM 1200. To do.
  • the CPU 1100 of the computer 1000 reads these programs from the recording medium 1800 and executes them, but as another example, these programs may be acquired from another device via a predetermined communication network.
  • each component of each device shown in the figure is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of the device is functionally or physically distributed / physically in arbitrary units according to various loads and usage conditions. Can be integrated and configured.
  • section, module, unit can be read as “means” or “circuit”.
  • acquisition unit can be read as an acquisition means or an acquisition circuit.
  • the present technology can also have the following configurations.
  • the computer acquires the medical image captured by the imaging device and An image processing method for determining the intensity of a filter applied to the medical image according to the degree of focusing of the medical image.
  • the image processing method according to (1) wherein the intensity of the filter applied to the medical image is determined according to the degree of focusing calculated by the blur function indicating the degree of blur of the medical image.
  • the strength of the filter applied to the medical image is determined according to the degree of focusing calculated by the blur function in the direction perpendicular to the medical image and in the direction of the thickness of the subject (1).
  • the image processing method according to (2) is Alternatively, the image processing method according to (2).
  • the strength of the filter applied to the medical image is determined according to the degree of focusing calculated from the feature amount obtained by summing the differences between the predetermined pixel and the peripheral pixels in the medical image (1).
  • the image processing method according to any one of (3).
  • (5) Based on the estimated degree of focusing estimated based on the blur function and the degree of focusing calculated by the feature amount obtained by summing the difference between a predetermined pixel and peripheral pixels in the medical image.
  • the image processing method according to any one of (1) to (4) which determines the strength of the filter applied to the medical image.
  • Any one of (1) to (5) determines the composition rate indicating the composition rate of the composite image generated by applying a plurality of different filters to the medical image according to the degree of focusing of the subject.
  • the image processing method described in the section. (7) The image processing method according to any one of (1) to (6), wherein the composite rate of the composite image generated by applying a plurality of filters having different intensities to the predetermined medical image is determined. (8) Any of (1) to (7), which determines the composition rate of the composite image generated by applying a filter according to the degree of focusing of the subject to the plurality of medical images having different Z values.
  • the image processing method according to item 1. (9) The item according to any one of (1) to (8), wherein the plurality of filters to be applied to the medical image for generating the composite image are selectively determined according to the degree of focusing of the subject. Image processing method.
  • High-frequency enhancement, mid-frequency enhancement, low-frequency enhancement, or negative enhancement filter, that is, smoothing filter is determined as the type of region emphasized by the filter according to the degree of focusing of the subject (1) to (9).
  • An acquisition unit that acquires a medical image of the subject captured by a microscope, A filter applied to the medical image according to the degree of focusing of the subject, and a determination unit for determining the strength of the filter for improving the image quality of the medical image.
  • An image processing device comprising. (14) An imaging device that captures the subject and An image processing system including software used for processing a medical image corresponding to an object imaged by the image pickup apparatus. The software includes an image processing device that determines the intensity of a filter applied to a medical image captured by the imaging device according to the degree of focusing of the subject. Image processing system including.
  • Image processing system 10 Image processing device 100 Image processing device 110 Communication unit 120 Storage unit 121 Medical image storage unit 122 Emphasis filter storage unit 130 Control unit 131 Acquisition unit 132 Calculation unit 133 Decision unit N network

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

本願に係る画像処理方法は、撮像装置により撮像された医療画像を取得し、医療画像の合焦度合いに応じて、医療画像に適用するフィルタの強度を決定する。

Description

画像処理方法、画像処理装置および画像処理システム
　本発明は、画像処理方法、画像処理装置および画像処理システムに関する。
　細胞組織を観察する顕微鏡装置を用いて、細胞組織を撮像し医療画像として保存し、医療画像の画像データを用いて病理診断などを行うデジタル顕微鏡装置や画像表示装置がある。デジタル顕微鏡装置では、検体の全体を観察するために、スライドガラス上の検体を含む領域を区画する小領域を拡大撮像系により撮像し、小領域毎の複数の像を繋ぎ合わせて１枚の巨大な医療画像を作成する。
　拡大撮像系の対物レンズの焦点を撮像対象である細胞組織に合わせる合焦方式にはオートフォーカス（ＡＦ：ＡｕｔｏＦｏｃｕｓ）を採用する。例えば、拡大撮像系の対物レンズの焦点位置を光軸方向に所定間隔毎に移動させ、各々の移動位置で撮像を行い、撮像された各々の画像のうち最もコントラストが高い画像を撮像したときの位置を合焦位置として検出する合焦方式などが提案されている（例えば、特許文献１参照）。この種の合焦方式は「コントラストＡＦ」と呼ばれる。
　このようにして撮像された細胞組織画像は、比較的高い焦点精度が得られるものの、光学顕微鏡を通して医師など観察者が観察する光学顕微鏡像とは、見え方が異なっている。
特開２０１１－１９７２８３号公報
　このように、デジタル顕微鏡装置では、細胞組織の画像を高い品質で取得したいという要望があるものの、未だ十分な解決には至っていない。
　以上のような事情に鑑み、本技術の目的は、細胞組織の画像を高い品質で取得することのできるデジタル顕微鏡装置、その撮像方法およびプログラムを提供することにある。
　本願に係る画像処理方法は、撮像装置により撮像された医療画像を取得し、医療画像の合焦度合いに応じて、医療画像に適用するフィルタの強度を決定することを特徴とする。
実施形態に係る医療画像の特徴の一例を示す図である。 実施形態に係るスライドの特徴の一例を示す図である。 実施形態に係る画像処理システムの構成例を示す図である。 実施形態に係るボケ特徴量を示す関数の一例を示す図である。 実施形態に係るボケ特徴量の逆数を示す関数の一例を示す図である。 実施形態に係るボケ特徴量の算出のための画素の範囲の一例を示す図である。 実施形態に係る合焦位置の一例を示す図である。 実施形態に係るボケ特徴量の算出のための画素の範囲の一例を示す図である。 実施形態に係る撮像装置の構成例を示す図である。 実施形態に係る画像処理装置の構成例を示す図である。 実施形態に係る医療画像記憶部の一例を示す図である。 実施形態に係る強調フィルタ記憶部の一例を示す図である。 実施形態に係る情報処理の一例を示すフローチャートである。 実施形態に係る強調フィルタによる効果の一例を示す図である。 実施形態に係る強調フィルタによる効果の一例を示す図である。 画像処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下に、本願に係る画像処理方法、画像処理装置及び画像処理システムを実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る画像処理方法、画像処理装置及び画像処理システムが限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略される。
　以下に示す項目順序に従って本開示を説明する。
　　１．光学顕微鏡の特徴
　　２．画像処理システムの構成
　　３．情報処理の一例
　　４．処理のバリエーション
　　　４－１．タップの範囲
　　　４－２．レイヤーの数
　　　４－３．フィルタの種類
　　　４－４．複数の画素でブロックを構成
　　　４－５．被写体
　　　４－６．撮像装置
　　　４－７．合焦位置
　　　４－８．特徴量の算出方法
　　　４－９．装置の一体
　　５．撮像装置の構成
　　６．画像処理装置の構成
　　７．情報処理のフロー
　　８．変形例
　　９．ハードウェア構成
　　１０．その他
（実施形態）
〔１．光学顕微鏡の特徴〕
　図１は、光学顕微鏡像の特徴を示す。光学顕微鏡像は、デジタル顕微鏡装置を通して観察される像とは異なる特徴を有する。図１に示すように、光学顕微鏡像の画質に関する指標はいくつかある。図１に示す指標を用いて、光学顕微鏡像の特徴を説明する。例えば、画質の明るさを示す指標（本実施形態では、「きらきら感」と表記する場合がある）がある。例えば、画質のエッジの度合を示す指標（本実施形態では、「くっきり感」と表記する場合がある）がある。図１では、光学顕微鏡像の特徴を示す指標は、例えば、「立体的／平面的」、「透明／くすみ」、「くっきり／ボケ」などである。
　実施形態に係るボケ（ぼやけ）とは、画像が鮮鋭でない状態を示す。具体的には、実施形態に係るボケとは、被写界深度の範囲を超えて、画像の焦点が合わず、鮮鋭でない状態を示す。なお、実施形態に係る合焦とは、被写界深度の範囲内で焦点が合う状態を示す。なお、実施形態に係る合焦度合いとは、焦点がどの程度合っているかをスコア化した値である。
　図１に示すように、光学顕微鏡像は立体的である。ここで、実施形態に係る立体的とは、ボケと合焦との視覚的な対比（コントラスト）に関する品質を示す。
　光学顕微鏡像は、透明感がある。ここで、実施形態に係る透明感とは、ノイズに関する品質を示す。なお、実施形態に係るノイズとは、被写体以外の不要な情報である。具体的には、光学顕微鏡像は、デジタル化をしないため、ノイズの強調などが起こらず、透明感がある。
　光学顕微鏡像は、きらきら感がある。ここで、実施形態に係るきらきら感とは、被写体に対して光を当てた際に散乱光によって生じる干渉縞による明るさに関する品質を示す。具体的には、光学顕微鏡像は、干渉縞によって物体に当てた光よりも明るい光を発するため、きらきら感がある。
　光学顕微鏡像は、くっきり感がある。ここで、実施形態に係るくっきり感とは、鮮鋭度に関する品質を示す。
　光学顕微鏡像は、立体的で、明るく、鮮鋭度が高いため、対象を識別する性能（以下、適宜、「対象識別性能」とする。）が高い。
　光学顕微鏡像は、立体的で、明るく、鮮鋭度が高いため、対象を認識する性能（以下、適宜、「対象認識性能」とする。）が高い。
　以下、デジタル顕微鏡装置で取得した画像を、光学顕微鏡像に近づける方法を説明する。検体は、スライドガラスに載置される。検体は、スライドの厚みの方向を示すＺ軸方向（以下、適宜、「Ｚ方向」とする。）に細胞などが分布しており、デジタル顕微鏡装置で取得した医療画像は、焦点が合っている領域と焦点があっていない領域が混在している。例えば、この医療画像全体に対し、高域強調フィルタを適用すると、低周波部分（例えば、ノイズ）も強調され、焦点があっていない領域の鮮鋭度も上がる。高周波成分が多い画像となり、対象識別性能が悪化する。また、フィルタの強度を下げた場合、強調したい領域の強調も弱まることになる。
　光学顕微鏡像に近い像とは、図１に示す特徴を有する像であり、合焦度の異なる像により形成される像である。以下、光学顕微鏡像に近づける効果を説明する。
　例えば、デジタル顕微鏡装置で取得した医療画像を光学顕微鏡像に近づけることにより、細胞の構造が見えやすくなる。これにより、診断への利用を促進させることができる。例えば、医療画像を光学顕微鏡像に近づけることにより、細胞の場所を判別しやすくなる。これにより、病理医による診断のスピードが上がり疲労を軽減できる。例えば、医療画像を光学顕微鏡像に近づけることにより、重なった細胞の視認性が高まる。これにより、重なった細胞の識別が重要な病種の診断が行えるようになる。例えば、医療画像を光学顕微鏡像に近づけることにより、病理医が医療画像を用いた診断に適応しやすくなる。例えば、光学顕微鏡像に近づけることにより、ピロリ菌などの小物体がノイズに埋もれないようにすることができる。例えば、光学顕微鏡像に近づけることにより、領域限定強調による高い圧縮効率を確保することができる。
　図２は、撮像用のスライドの一例を示す。図２は、撮像用のスライドを垂直方向から見た図である。図２に示すように、Ｚ方向とは、スライドの厚みの方向である。言い替えると、Ｚ方向とは、被写体の厚みの方向である。また、被写体をスライドガラスの上から撮像するため、Ｚ方向とは、医療画像に対して垂直方向である。また、Ｚ方向とは、撮像する際の光軸方向である。図２では、被写体をスライドガラスの上に載置しカバーガラスにより覆う場合を示す。図２は、被写体が組織の切片である場合を示す。図２では、組織に含まれるリンパ球やマクロファージなどの検体を撮像する場合を示す。
　図２に示すように、リンパ球は重なり合うため厚みがある。また、リンパ球の下にマクロファージが存在する。撮像される被写界深度が浅いため、リンパ球やマクロファージなどの全体に焦点をあわせて撮像することができない。以下、デジタル化による視認性の低下を是正する処理として、画像処理装置１００による情報処理を説明する。
〔２．画像処理システムの構成〕
　図３を用いて画像処理システム１の構成について説明する。図３は、実施形態に係る画像処理システムの構成例を示す図である。図３に示すように、画像処理システム１には、撮像装置１０と、画像処理装置１００とが含まれる。撮像装置１０と、画像処理装置１００とは所定の通信網（ネットワークＮ）を介して、有線または無線により通信可能に接続される。図３は、実施形態に係る画像処理システムの構成例を示す図である。なお、図３に示した画像処理システム１には、複数台の撮像装置１０や、複数台の画像処理装置１００が含まれてもよい。
　撮像装置１０は、顕微鏡などの撮像装置であり、検体を撮像するために用いられる。
　画像処理装置１００は、被写体の合焦度合いに応じたフィルタに関する情報を決定するために用いられる。画像処理装置１００は、例えば、ＰＣ、ＷＳ（Work　Station）等の情報処理装置であり、撮像装置１０等からネットワークＮを介して送信されてきた情報に基づいて処理を行う。
〔３．情報処理の一例〕
　以下、画像処理装置１００が、被写体の合焦度合いに応じてフィルタの強度を決定する場合を説明する。以下、細胞などの検体を被写体の一例として説明する。
　なお、実施形態に係るフィルタとは、医療画像の画質を向上させるフィルタである。また、実施形態に係るフィルタは、被写体を撮像した医療画像に適用される。また、実施形態に係るフィルタの種類は、どのようなものであってもよい。すなわち、実施形態に係るフィルタが強調する領域に制限はないものとする。例えば、実施形態に係るフィルタには、高域強調、中域強調、低域強調、負の強調フィルタすなわち平滑フィルタなどのフィルタが含まれる。
　画像処理装置１００は、ボケ関数（以下、適宜、「ボケ判定関数」又は「ボケ量判定関数」とする。）を用いて合焦度合いを算出する。以下、画像処理装置１００が、ボケ関数を生成する処理を説明する。
　ボケ関数は、隣接差分２乗和をローレンツ（Ｌｏｒｅｎｔｚ）関数で近似して逆数を算出することにより生成される。なお、実施形態に係る近似とは、グラフのフィッティング（カーブフィッティング）である。ここで、式（１）は、実施形態に係る隣接差分２乗和を示す。
Figure JPOXMLDOC01-appb-M000001
　図４は、隣接差分２乗和のグラフＧＲ１を示す。図４は、医療画像中の全ての画素について、所定の画素と所定の関係を有する画素との差分の合計値を特徴量とし、Ｚ方向の値（以下、適宜、「Ｚ値」とする。）を変数としてプロットしたグラフＧＲ１を示す。なお、この特徴量は、適宜、「ボケ特徴量」とする。ここで、所定の関係を有する画素とは、所定の画素と隣接する画素である。この場合、図４は、医療画像中の全ての画素について、所定の画素と隣接する画素との差分の合計値をプロットしたグラフを示す。図４では、グラフＧＲ１の横軸（Ｘ軸）がスライドのＺ値である。また、グラフＧＲ１の縦軸（Ｙ軸）が特徴量を示す。なお、図４では、隣接差分２乗和の出力値をｓ（ｚ）で示す。また、図４では、特徴量が最大となるＺ値が０になるようにプロットする。言い替えると、隣接差分２乗和の出力値の最大値がｓ（０）になるようにプロットする。また、図４は、この特徴量が大きいほど、合焦度合いが高いことを示す。
　なお、図４は、隣接差分２乗和をローレンツ関数で近似したグラフを示してもよい。ここで、式（２）は、実施形態に係るローレンツ関数を示す。
Figure JPOXMLDOC01-appb-M000002
　この場合、図４のグラフＧＲ１のＹ軸はｆ（ｚ）であってもよい。すなわち、図４のグラフＧＲ１のＹ軸を、ローレンツ関数の出力値としてｆ（ｚ）で示してもよい。
　図５は、ローレンツ関数ｆ（ｚ）の逆数であるグラフＧＲ２を示す。図５は、ローレンツ関数ｆ（ｚ）の逆数をプロットしたグラフＧＲ２を示す。なお、グラフＧＲ２は、２次曲線である。ここで、式（３）は、実施形態に係る２次曲線を示す。
Figure JPOXMLDOC01-appb-M000003
　なお、グラフＧＲ２の頂点は合焦位置を示す。なお、実施形態に係る合焦位置とは、合焦度合いが最大となるＺ値である。
　画像処理装置１００は、所定の合焦画像の画像情報を取得する。画像処理装置１００は、所定の合焦画像とともに、その所定の合焦画像を基準としてＺ値が異なる位置に焦点をあわせた所定の枚数の画像情報を取得する。例えば、画像処理装置１００は、所定の合焦画像のＺ値に対してＺ方向に数マイクロメートル異なる位置に焦点を合わせた画像情報を取得する。具体的な例を挙げると、画像処理装置１００は、所定の合焦画像とともに、所定の合焦画像のＺ値に対してＺ方向に数マイクロメートル異なる位置に焦点を合わせた画像２枚の計３枚の画像情報を取得する。
　画像処理装置１００は、隣接差分２乗和を用いて、取得した画像情報のボケ特徴量を算出する。具体的には、画像処理装置１００は、隣接差分２乗和をローレンツ関数に近似することによって、取得した画像情報のボケ特徴量を算出する。
　画像処理装置１００は、算出されたボケ特徴量の逆数を算出する。画像処理装置１００は、算出されたボケ特徴量の逆数に基づいて、２次曲線へのフィッティングを行う。画像処理装置１００は、フィッティングされた２次曲線に基づいて、合焦位置を推定する。具体的には、画像処理装置１００は、フィッティングされた２次曲線の頂点を、画像全体の合焦位置として推定する。
　画像処理装置１００は、推定した合焦位置に基づいて取得した画像情報の合焦度合いを算出する。具体的には、画像処理装置１００は、推定した合焦位置と、ボケ関数に用いられたＺ値との差に基づいて取得した画像情報の合焦度合いを算出する。
　画像処理装置１００は、算出された合焦度合いに応じて、フィルタの強度を決定する。
　以下、画像処理装置１００が、ボケ特徴量を算出する処理について図６を用いて説明する。
　画像処理装置１００は、医療画像中の所定の画素を基準として、所定の画素を中心にタップをはり、隣接差分２乗和を用いて、ボケ特徴量を算出する。ここで、実施形態に係るタップとは、所定の画素を中心とした画素の範囲を示す。すなわち、実施形態に係るタップとは、注目画素の周辺画素の範囲を示す。例えば、実施形態に係るタップは、フィルタが適用される注目画素の周辺画素の範囲を示す。例えば、３×３のタップとは、画像の縦と横の画素が３画素ずつの計９画素の範囲を示す。画像処理装置１００は、異なるＺ値で取得した画像それぞれについて同様のタップをはり隣接差分２乗和をボケ特徴量として算出する。図６では、画像処理装置１００は、３×３のタップＴＡ１をはる例を一例として示す。図６では、画像処理装置１００は、Ｓ０を所定の画素として、Ｓ０を中心にボケ特徴量を算出する。この場合、画像処理装置１００は、式（４）に基づいてボケ特徴量を算出する。
Figure JPOXMLDOC01-appb-M000004
　具体的には、画像処理装置１００が所定の合焦画像と、所定の合焦画像のＺ値に対してＺ方向に異なる位置に焦点をあわせた画像２枚の計３枚の画像情報を取得した場合、画像処理装置１００は、その３枚の各々から３×３のタップをはり中心から隣接差分２乗和を用いて、ボケ特徴量を算出する。この場合、画像処理装置１００は、式（５）に基づいてボケ特徴量を算出する。
Figure JPOXMLDOC01-appb-M000005
　画像処理装置１００は、取得した画像情報のうち所定のＺ値に位置するレイヤーの画像情報を用いてボケ特徴量を算出する。例えば、画像処理装置１００は、取得した３枚の画像情報のうち上位のレイヤーの画像情報を用いてボケ特徴量Ｆ２を算出する。例えば、画像処理装置１００は、取得した３枚の画像情報のうち中位のレイヤーの画像情報を用いてボケ特徴量Ｆ１を算出する。例えば、画像処理装置１００は、取得した３枚の画像情報のうち下位のレイヤーの画像情報を用いてボケ特徴量Ｆ０を算出する。
　図７は、画像処理装置１００により算出された３つの値の逆数を２次曲線へフィッティングさせたグラフＧＲ３を示す。画像処理装置１００は、フィッティングに基づいて合焦位置を推定する。画像処理装置１００は、フィッティングされた２次曲線の頂点を合焦位置として推定する。図７では、Ｚｃが合焦位置である。図７では、Ｚｃがボケ特徴量により推定された合焦位置である。図７では、Ｚ１が画像全体で最も合焦した位置である。図７では、Ｚｃから最も近いＺ１が画像全体で最も合焦した位置である。また、画像処理装置１００は、Ｚｃに適用すべきフィルタを適用した結果と同等の結果となるような強さのフィルタをＺ１に適用してもよい。また、画像処理装置１００は、Ｚｃと同等であるとみなされる所定の範囲内にＺ１がある場合、Ｚｃと同等の強さのフィルタをＺ１に適用してもよい。
　画像処理装置１００は、合焦位置からの距離に応じて合焦度合いを算出する。図７では、画像処理装置１００は、Ｚｃからの距離に応じて合焦度合いを算出する。
　画像処理装置１００は、算出された合焦度合いに応じて、適用するフィルタの強度を決定する。そして、画像処理装置１００は、決定された強度に応じたフィルタを適用する。具体的には、画像処理装置１００は、画素ごとにフィルタの強度を決定し、その画素に対してフィルタ処理を行う。これにより、画像処理装置１００は、画素ごとに処理を繰り返すことでその像に最も適したフィルタ処理を施す。
　これにより、画像処理装置１００は、合焦度合いに応じてフィルタの強度を変えることができる。これにより、画像処理装置１００は、画像の合焦している領域のみに強度１００％相当のフィルタを適用することができる。画像全体に強度１００％のフィルタを適用すると、焦点があっていない領域やノイズも鮮鋭度が上がる。しかし、画像処理装置１００は、合焦している領域のみに対しフィルタを適用するため、合焦している領域のみ鮮鋭度が向上する。焦点があっていない領域の鮮鋭度が強調されないため、画像の奥行き感は下がらず、細胞の重なりを認識しやすい。ノイズの鮮鋭度が強調されないため、ピロリ菌等の微細な被写体がノイズに埋もれることを抑制することができる。これにより、画像処理装置１００は、ローカルコントラストを調整することができる。これにより、画像処理装置１００は、撮像光学系によりコントラストが低下した画像を補正することができる。これにより、画像処理装置１００は、コントラストを部分的に調整することができる。これにより、画像処理装置１００は、細胞核の中に粘液などが混ざり込み遺伝子情報が細胞核の中心にないような場合にも、その状況を確認でき、診断の精度を向上させることができる。
〔４．処理のバリエーション〕
〔４－１．タップの範囲〕
　上述した例では、画像処理装置１００が、所定の画素を中心として正方形のタップを選択する例を示したが、選択されるタップの範囲は３×３などの正方形に限らず、どのような範囲をタップとして選択してもよい。例えば、画像処理装置１００は、図８に示すような、Ｓ０を中心とした十字形のタップの範囲を選択してもよい。また、選択される範囲の縦と横の画素数は３画素に限られなくてもよい。画像処理装置１００は、縦と横の画素が１１画素ずつの１１×１１の範囲をタップとして選択してもよい。
〔４－２．レイヤーの数〕
　上述した例では、画像処理装置１００が、Ｚ方向が異なる３枚の画像情報を用いて算出された３つの値の逆数を用いて合焦位置を推定する場合を示したが、合焦位置を推定するための画像情報の数は３以上であれば制限はないものとする。例えば、画像処理装置１００は、Ｚ方向が異なる４枚の画像情報を用いて算出された４つの値の逆数を用いて合焦位置を推定してもよい。
〔４－３．フィルタの種類〕
　上述した例では、画像処理装置１００が、合焦度合いに応じてフィルタの強度を決定する例を示したが、画像処理装置１００は、合焦度合いに応じてフィルタの種類を決定してもよい。例えば、画像処理装置１００は、推定された合焦位置に応じてフィルタの種類を決定する。例えば、画像処理装置１００は、合焦度合いが所定の条件を満たす場合、対応する特定のフィルタの種類を決定する。例えば、画像処理装置１００は、合焦度合いが所定の条件を満たす場合、対応する所定の領域を強調するフィルタの種類を決定する。例えば、画像処理装置１００は、合焦度合いが所定の閾値以上の場合、中域強調フィルタを適用すると決定する。例えば、画像処理装置１００は、合焦度合いが所定の閾値より小さい場合、高域強調フィルタを適用すると決定する。若しくは、画像処理装置１００は、負の強調フィルタすなわち平滑フィルタを適用すると決定する。
　なお、画像処理装置１００は、合焦度合いに応じてフィルタの強度と種類とを決定してもよい。画像処理装置１００は、合焦度合いに応じてフィルタの強度と種類との双方を同時に決定してもよい。この場合、画像処理装置１００は、決定した強度と種類のフィルタを医療画像に適用してもよい。これにより、画像処理装置１００は、合焦度合いに応じて、最適なフィルタを最適な強度で適用することができる。
〔４－４．複数の画素でブロックを構成〕
　上述した例では、画像処理装置１００が、画素ごとにフィルタの強度や種類を決定する場合を示したが、画像処理装置１００は、複数の画素でブロックを構成して、ブロックごとにフィルタの強度や種類を決定してもよい。この場合、画像処理装置１００は、ブロックを構成するための複数の画素を決定する。画像処理装置１００は、どのようにブロックを構成するための複数の画素を決定してもよい。例えば、画像処理装置１００は、隣接する複数の画素でブロックを構成する。例えば、画像処理装置１００は、予め定められた複数の画素でブロックを構成する。
〔４－５．被写体〕
　上述した例では、画像処理装置１００が、細胞などの検体を被写体とした医療画像を取得する場合を示すが、生物、または生物から採取したものであればどのようなものを被写体とした画像を取得してもよい。例えば、画像処理装置１００は、医療分野における生体、生物、材料、病理などに関する検体を被写体とした画像を取得する。
〔４－６．撮像装置〕
　なお、実施形態に係る撮像装置は、被写体を撮像できる装置であれば、どのようなものであってもよいものとする。例えば、実施形態に係る撮像装置は、顕微鏡である。なお、実施形態に係る撮像装置が顕微鏡である場合、どのような顕微鏡であってもよい。
〔４－７．合焦位置〕
　上述した例では、画像処理装置１００が、フィッティングされた２次曲線の頂点を、画像全体の合焦位置として推定する場合を示したが、フィッティングされた２次曲線の頂点から所定の範囲内の位置を、画像全体の合焦位置として推定してもよい。
〔４－８．特徴量の算出方法〕
　上記実施形態では、所定の関係を有する画素とは、所定の画素と隣接する画素である場合を示したが、この例に限られない。すなわち、所定の関係を有する画素は、必ずしも隣接する画素に限られない。例えば、所定の関係を有する画素は、一画素おきや２画素おきなどの画素であってもよい。例えば、画像処理装置１００は、所定の画素と一画素おきの画素との差分の合計値を特徴量として、合焦度合いを算出してもよい。この場合、画像処理装置１００は、所定の画素と一画素おきの画素との差分の合計値を特徴量として算出された合焦度合いに応じて、医療画像に適用するフィルタの強度を決定する。
〔４－９．装置の一体〕
　上記実施形態では、撮像装置１０と画像処理装置１００とは、別装置である場合を示したが、撮像装置１０と画像処理装置１００とが一体であってもよい。例えば、画像処理装置１００の機能は、撮像装置１０の動作を制御するコンピュータに実装されていてもよいし、撮像装置１０の筐体内に設けられた任意のコンピュータに実装されていてもよい。また、画像処理装置１００の機能は、撮像装置１０の動作を制御するコンピュータにダウンロードされてもよいし、撮像装置１０の筐体内に設けられた任意のコンピュータにダウンロードされてもよい。これにより、画像処理装置１００の機能を有する撮像装置１０を販売することもできる。
〔５．撮像装置の構成〕
　次に、図９を用いて、実施形態に係る撮像装置１０の構成について説明する。図９は、実施形態に係る撮像装置１０の構成例を示す図である。図９に示すように、撮像装置１０は、通信部１１と、記憶部１２と、制御部１３とを有する。なお、撮像装置１０は、撮像装置１０の管理者から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。
（通信部１１）
　通信部１１は、例えば、ＮＩＣ（Network　Interface　Card）等によって実現される。そして、通信部１１は、所定のネットワークＮと有線又は無線で接続され、所定のネットワークＮを介して、画像処理装置１００等との間で情報の送受信を行う。
（記憶部１２）
　記憶部１２は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２は、医療画像に関する情報を記憶する。具体的には、記憶部１２は、撮像された被写体の医療画像に関する情報を記憶する。
（制御部１３）
　制御部１３は、コントローラであり、例えば、ＣＰＵやＭＰＵ等によって、撮像装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３は、コントローラであり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。
　図９に示すように、制御部１３は、撮像部１４１を有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部１３の内部構成は、図９に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
（撮像部１４１）
　撮像部１４１は、各種情報を撮像する。撮像部１４１は、スライド上の被写体を撮像する。撮像部１４１は、各種情報を取得する。撮像部１４１は、撮像された医療画像を取得する。
〔６．画像処理装置の構成〕
　次に、図１０を用いて、実施形態に係る画像処理装置１００の構成について説明する。図１０は、実施形態に係る画像処理装置１００の構成例を示す図である。図１０に示すように、画像処理装置１００は、通信部１１０と、記憶部１２０と、制御部１３０とを有する。なお、画像処理装置１００は、画像処理装置１００の管理者から各種操作を受け付ける入力部（例えば、キーボードやマウス等）や、各種情報を表示するための表示部（例えば、液晶ディスプレイ等）を有してもよい。
（通信部１１０）
　通信部１１０は、例えば、ＮＩＣ等によって実現される。そして、通信部１１０は、ネットワークＮと有線又は無線で接続され、ネットワークＮを介して、撮像装置１０等との間で情報の送受信を行う。
（記憶部１２０）
　記憶部１２０は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。図１０に示すように、記憶部１２０は、医療画像記憶部１２１と、強調フィルタ記憶部１２２とを有する。
　医療画像記憶部１２１は、医療画像に関する情報を記憶する。ここで、図１１に、実施形態に係る医療画像記憶部１２１の一例を示す。図１１に示すように、医療画像記憶部１２１は、「医療画像ＩＤ」、「医療画像」といった項目を有する。
　「医療画像ＩＤ」は、医療画像を識別するための識別情報を示す。「医療画像」は、被写体を撮像した医療画像を示す。例えば、「医療画像」は、撮像装置１０により撮像された医療画像を示す。図１１に示す例では、「医療画像」に「医療画像＃１１」や「医療画像＃１２」といった概念的な情報が格納される例を示したが、実際には、静止画像や動画像などが格納される。また、静止画像や動画像は画像処理装置とは異なるサーバーやクラウドに保存し、「医療画像」には、医療画像のコンテンツが所在するＵＲＬ（Uniform　Resource　Locator）、または、これらの格納場所を示すファイルパス名などが格納されてもよい。
　強調フィルタ記憶部１２２は、医療画像に適用するための強調フィルタに関する情報を記憶する。ここで、図１２に、実施形態に係る強調フィルタ記憶部１２２の一例を示す。図１２に示すように、強調フィルタ記憶部１２２は、「強調フィルタＩＤ」、「強調フィルタ」といった項目を有する。
　「強調フィルタＩＤ」は、強調フィルタを識別するための識別情報を示す。「強調フィルタ」は、強調フィルタに関する情報を示す。図１２に示す例では、「強調フィルタ」に「強調フィルタ＃１１」や「強調フィルタ＃１２」といった概念的な情報が格納される例を示したが、実際には、強調フィルタの強度や種類、強調フィルタが適用される画素の範囲などが格納される。
（制御部１３０）
　制御部１３０は、コントローラであり、例えば、ＣＰＵやＭＰＵ等によって、画像処理装置１００内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、コントローラであり、例えば、ＡＳＩＣやＦＰＧＡ等の集積回路により実現される。
　図１０に示すように、制御部１３０は、取得部１３１と、算出部１３２と、決定部１３３とを有し、以下に説明する情報処理の作用を実現または実行する。なお、制御部１３０の内部構成は、図１０に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。
（取得部１３１）
　取得部１３１は、各種情報を取得する。取得部１３１は、外部の情報処理装置から各種情報を取得する。取得部１３１は、撮像装置１０等の他の情報処理装置から各種情報を取得する。
　取得部１３１は、記憶部１２０から各種情報を取得する。取得部１３１は、医療画像記憶部１２１や強調フィルタ記憶部１２２から各種情報を取得する。
　取得部１３１は、取得した各種情報を記憶部１２０に格納する。取得部１３１は、医療画像記憶部１２１や強調フィルタ記憶部１２２に各種情報を格納する。
　取得部１３１は、他の機能構成により算出、決定された各種情報を取得する。
　取得部１３１は、被写体の医療画像を取得する。例えば、取得部１３１は、撮像装置１０により撮像された被写体の医療画像を取得する。例えば、取得部１３１は、医療分野における生体、生物、材料、又は病理に関する被写体の医療画像を取得する。例えば、取得部１３１は、顕微鏡により撮像された医療画像を取得する。
（算出部１３２）
　算出部１３２は、各種情報を算出する。算出部１３２は、記憶部１２０から各種情報を算出する。算出部１３２は、医療画像記憶部１２１や強調フィルタ記憶部１２２から各種情報を算出する。
　算出部１３２は、算出した各種情報を記憶部１２０に格納する。算出部１３２は、医療画像記憶部１２１や強調フィルタ記憶部１２２に各種情報を格納する。
　算出部１３２は、他の機能構成により取得、決定された各種情報を算出する。算出部１３２は、他の機能構成により取得、決定された各種情報に基づいて、各種情報を算出する。
　算出部１３２は、取得された画像情報を用いて隣接差分２乗和を算出する。算出部１３２は、所定の画素を中心として決定されたタップの範囲で隣接差分２乗和を算出する。例えば、算出部１３２は、医療画像中の所定の画素と隣接する画素との差分を合計して得られる特徴量に基づいて隣接差分２乗和を算出する。
　算出部１３２は、算出された隣接差分２乗和からローレンツ関数を算出する。算出部１３２は、算出された隣接差分２乗和からローレンツ関数の近似値を算出する。算出部１３２は、算出された隣接差分２乗和をローレンツ関数に近似する。
　算出部１３２は、算出されたローレンツ関数からローレンツ関数の逆数を算出する。算出部１３２は、ローレンツ関数の逆数から合焦位置を推定する。算出部１３２は、ローレンツ関数の逆数の頂点を合焦位置として推定する。
　算出部１３２は、合焦度合いを算出する。算出部１３２は、推定された合焦位置を用いて合焦度合いを算出する。算出部１３２は、推定された合焦位置からの距離に応じて合焦度合いを算出する。算出部１３２は、算出されたローレンツ関数の逆数に対応するＺ値と、推定された合焦位置との距離に応じて合焦度合いを算出する。
（決定部１３３）
　決定部１３３は、各種情報を決定する。決定部１３３は、記憶部１２０から各種情報を決定する。決定部１３３は、医療画像記憶部１２１や強調フィルタ記憶部１２２から各種情報を決定する。
　決定部１３３は、決定した各種情報を記憶部１２０に格納する。決定部１３３は、医療画像記憶部１２１や強調フィルタ記憶部１２２に各種情報を格納する。
　決定部１３３は、他の機能構成により取得、算出された各種情報を決定する。決定部１３３は、他の機能構成により取得、算出された各種情報に基づいて、各種情報を決定する。
　決定部１３３は、フィルタを適用する画素を選択する。決定部１３３は、フィルタを適用する最初の画素を選択する。例えば、決定部１３３は、所定の画素に対してフィルタが適用された適用後の次の画素を選択する。例えば、決定部１３３は、フィルタを適用する画素を所定のアルゴリズムに基づいて選択する。
　決定部１３３は、算出された合焦度合いに応じて、医療画像に適用するフィルタの強度を決定する。決定部１３３は、算出された合焦度合いに応じて、強度が異なる複数のフィルタに応じた医療画像の合成の割合を示す合成率を決定する。決定部１３３は、算出された合焦度合いに応じて、医療画像に適用する複数のフィルタを選択的に決定する。
　決定部１３３は、算出された合焦度合いに応じて、医療画像に適用するフィルタの種類を決定する。決定部１３３は、算出された合焦度合いに応じて、種類が異なる複数のフィルタに応じた医療画像の合成の割合を示す合成率を決定する。
　決定部１３３は、決定した強度のフィルタを医療画像に適用する。決定部１３３は、決定した種類のフィルタを医療画像に適用する。
　決定部１３３は、算出された合焦度合いに応じて、Ｚ値が異なる複数の医療画像に対して決定された強度のフィルタをそれぞれの医療画像に適用する。そして、決定部１３３は、算出された合焦度合いに応じてフィルタが適用されたそれぞれの医療画像の合成の割合を示す合成率を決定する。そして、決定部１３３は、算出された合焦度合いに応じて決定された合成率に基づいて、それぞれの医療画像を合成する。
　決定部１３３は、全画素に対してフィルタを適用したかを判定する。決定部１３３は、医療画像中の全画素に対してフィルタ処理を行ったかを判定する。決定部１３３は、医療画像中の所定の範囲に含まれる全画素に対してフィルタ処理を行ったかを判定する。
〔７．情報処理のフロー〕
　次に、図１３を用いて、実施形態に係る画像処理システム１による情報処理の手順について説明する。図１３は、実施形態に係る画像処理システム１による情報処理の手順を示すフローチャートである。
　図１３に示すように、画像処理装置１００は、医療画像を取得する（ステップＳ１０１）。画像処理装置１００は、フィルタ処理を行うための所定の画素を選択する（ステップＳ１０２）。画像処理装置１００は、ボケ関数を用いて合焦度合いを推定する（ステップＳ１０３）。画像処理装置１００は、推定された合焦度合いからフィルタの種類と強度とを決定する（ステップＳ１０４）。画像処理装置１００は、決定された種類と強度のフィルタを適用する（ステップＳ１０５）。画像処理装置１００は、全画素に対してフィルタ処理を行ったかを判定する（ステップＳ１０６）。画像処理装置１００は、全画素に対してフィルタ処理を行っていないと判定した場合（ステップＳ１０６；Ｎｏ）、ステップＳ１０２の処理に戻る。例えば、画像処理装置１００は、ステップＳ１０２の処理に戻り、先に選択された画素以外の画素を選択する。一方、画像処理装置１００は、全画素に対してフィルタ処理を行ったと判定した場合（ステップＳ１０６；Ｙｅｓ）、情報処理を終了する。
〔８．変形例〕
　上述した実施形態に係る画像処理システム１は、上記実施形態以外にも種々の異なる形態にて実施されてよい。そこで、以下では、画像処理システム１の他の実施形態について説明する。
　上記実施形態では、Ｚ値が異なる複数の医療画像に対して最適なフィルタを画素ごとに適用する処理を説明した。ここで、図１４及び１５を用いて、Ｚ値が異なる複数の医療画像に対して最適なフィルタを画素ごとに適用する処理と同等の効果が得られる処理を説明する。
　図１４は、画像処理装置１００が、取得した医療画像に対して１枚の強調フィルタを適用する場合を示す。図１４では、画像ＫＧ１がフィルタ適用前の画像を示し、画像ＫＧ２がフィルタ適用後の画像を示す。この場合、注目したい対象以外の対象も含めて、画像全体のコントラストや解像感が向上した画像が生成される。
　ここで、画像処理装置１００は、取得した医療画像に対して複数の強調フィルタを適用してもよい。画像処理装置１００は、合焦度合いに応じて強度が異なる複数のフィルタを適用した合成画像を生成してもよい。
　図１５は、画像処理装置１００が、取得した医療画像に対して複数の強調フィルタを適用した画像を合成する場合を示す。図１５では、画像ＫＧ１１が第一のフィルタを適用した画像を示し、画像ＫＧ２２が第一のフィルタとは強度が異なる第二のフィルタを適用した画像を示す。図１５に示すように、画像ＫＧ１１の方が画像ＫＧ２２よりもボケを有する画像である。また、画像ＫＧ３３が、画像ＫＧ１１と画像ＫＧ２２とを合成した合成画像を示す。図１５では、対象ＳＪ１１が画像の注目領域を示す第一の領域であり、対象ＳＪ２２が注目領域ではない第二の領域を示す。例えば、対象ＳＪ２２は、医療画像中のノイズの部分である。
　画像処理装置１００は、医療画像の合成の割合を示す合成率を決定してもよい。例えば、画像処理装置１００は、第一の領域と、第二の領域とで、合成率を決定してもよい。図１５では、画像処理装置１００は、対象ＳＪ１１の領域に対して、画像ＫＧ１１と画像ＫＧ２２とを１対９の合成率で合成する。なお、対象ＳＪ１１の領域に対する合成率の割合は、画像ＫＧ２２の方が画像ＫＧ１１よりも高い割合であれば、どのような割合であってもよい。また、図１５では、画像処理装置１００は、対象ＳＪ２２の領域に対して、画像ＫＧ１１と画像ＫＧ２２とを９対１の合成率で合成する。なお、対象ＳＪ２２の領域に対する合成率の割合は、画像ＫＧ１１の方が画像ＫＧ２２よりも高い割合であれば、どのような割合であってもよい。
　なお、図１５では、強調フィルタを適用した２枚の画像を合成する場合を示したが、画像処理装置１００が合成する画像の枚数に制限はないものとする。また、画像処理装置１００は、合成する枚数を選択的に決定してもよいし、合成する画像を選択的に決定してもよい。例えば、画像処理装置１００は、第一のフィルタを適用した画像では判別できない領域がある場合、他のフィルタを適用した複数の画像と第一のフィルタを適用した画像とを選択的に合成させることによって、第一のフィルタのみを適用した画像よりも視認性や識別性が向上した画像を生成する。
　これにより、画像処理装置１００は、強度の異なる強調フィルタの処理画像を合成することで、ローカルコントラストの調整を行うことができる。これにより、画像処理装置１００は、適応的に最適なフィルタを適用することによりグローバル及びローカルなコントラストが調整されて、光学顕微鏡の様に視認性を向上できる。
　図１５では、一枚の画像に異なる複数のフィルタを適用した画像を合成する例を示した。このように、画像処理装置１００は、一枚の画像に異なる複数のフィルタを適用した画像を合成することで、合成画像を生成してもよい。また、上記実施形態のように、画像処理装置１００は、Ｚ値が異なる複数の医療画像に対して、それぞれの合焦度合いに応じて最適なフィルタが適用された画像を、合焦度合いに応じて合成することで、合成画像を生成してもよい。
〔９．ハードウェア構成〕
　また、上述してきた実施形態に係る撮像装置１０および画像処理装置１００は、例えば、図１６に示すような構成のコンピュータ１０００によって実現される。図１６は、撮像装置１０および画像処理装置１００の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。
　ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定の通信網を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定の通信網を介して他の機器へ送信する。
　ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。
　メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が実施形態に係る撮像装置１０および画像処理装置１００として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１３および１３０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。
〔１０．その他〕
　また、上記実施形態および変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
　また、上述してきた実施形態および変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
　以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。
　また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、取得部は、取得手段や取得回路に読み替えることができる。
　なお、本技術は以下のような構成も取ることができる。
（１）
　コンピュータが
　撮像装置により撮像された医療画像を取得し、
　前記医療画像の合焦度合いに応じて、前記医療画像に適用するフィルタの強度を決定する
　画像処理方法。
（２）
　前記医療画像のボケ度合を示すボケ関数により算出された前記合焦度合いに応じて、前記医療画像に適用するフィルタの強度を決定する
　（１）に記載の画像処理方法。
（３）
　前記医療画像に対して垂直方向であって前記被写体の厚みの方向に応じた前記ボケ関数により算出された前記合焦度合いに応じて、前記医療画像に適用するフィルタの強度を決定する
　（１）または（２）に記載の画像処理方法。
（４）
　前記医療画像中の所定の画素と周辺画素との差分を合計して得られた特徴量により算出される前記合焦度合いに応じて、前記医療画像に適用するフィルタの強度を決定する
　（１）～（３）のいずれか１項に記載の画像処理方法。
（５）
　前記ボケ関数に基づいて推定された推定合焦度合いと、前記医療画像中の所定の画素と周辺画素との差分を合計して得られた特徴量により算出される前記合焦度合いに基づいて、前記医療画像に適用するフィルタの強度を決定する
　（１）～（４）のいずれか１項に記載の画像処理方法。
（６）
　前記被写体の合焦度合いに応じて、前記医療画像に異なる複数のフィルタを適用することで生成される合成画像の合成の割合を示す合成率を決定する
　（１）～（５）のいずれか１項に記載の画像処理方法。
（７）
　所定の前記医療画像に前記強度が異なる複数のフィルタを適用することで生成される前記合成画像の前記合成率を決定する
　（１）～（６）のいずれか１項に記載の画像処理方法。
（８）
　Ｚ値が異なる複数の前記医療画像に対して、前記被写体の合焦度合いに応じたフィルタを適用することで生成される前記合成画像の前記合成率を決定する
　（１）～（７）のいずれか１項に記載の画像処理方法。
（９）
　前記被写体の合焦度合いに応じて、前記合成画像を生成するための、前記医療画像に適用する前記複数のフィルタを選択的に決定する
　（１）～（８）のいずれか１項に記載の画像処理方法。
（１０）
　前記被写体の合焦度合いに応じて、前記フィルタが強調する領域の種類として、高域強調、中域強調、低域強調、または、負の強調フィルタすなわち平滑フィルタを決定する
　（１）～（９）のいずれか１項に記載の画像処理方法。
（１１）
　医療分野における生体、生物、材料、又は病理に関する被写体の前記医療画像を取得する
　（１）～（１０）のいずれか１項に記載の画像処理方法。
（１２）
　前記撮像装置として、顕微鏡により撮像された前記医療画像を取得する
　（１）～（１１）のいずれか１項に記載の画像処理方法。
（１３）
　顕微鏡により撮像された被写体の医療画像を取得する取得部と、
　前記被写体の合焦度合いに応じて、前記医療画像に適用するフィルタであって、当該医療画像の画質を向上させるフィルタの強度を決定する決定部と、
　を備える画像処理装置。
（１４）
　被写体を撮像する撮像装置と、
　前記撮像装置により撮像される対象物に対応する医療画像の処理に使われるソフトウェアとを含んで構成される画像処理システムであって、
　前記ソフトウェアは、前記被写体の合焦度合いに応じて、前記撮像装置により撮像された医療画像に適用するフィルタの強度を決定する画像処理装置と、
　を含む画像処理システム。
　　　　　１　画像処理システム
　　　　１０　撮像装置
　　　１００　画像処理装置
　　　１１０　通信部
　　　１２０　記憶部
　　　１２１　医療画像記憶部
　　　１２２　強調フィルタ記憶部
　　　１３０　制御部
　　　１３１　取得部
　　　１３２　算出部
　　　１３３　決定部
　　　Ｎ　　　ネットワーク

Claims (14)

  1. 　コンピュータが
    　撮像装置により撮像された医療画像を取得し、
    　前記医療画像の合焦度合いに応じて、前記医療画像に適用するフィルタの強度を決定する
    　画像処理方法。
  2. 　前記医療画像のボケ度合を示すボケ関数により算出された前記合焦度合いに応じて、前記医療画像に適用するフィルタの強度を決定する
    　ことを特徴とする請求項１に記載の画像処理方法。
  3. 　前記医療画像に対して垂直方向であって被写体の厚みの方向に応じた前記ボケ関数により算出された前記合焦度合いに応じて、前記医療画像に適用するフィルタの強度を決定する
    　ことを特徴とする請求項２に記載の画像処理方法。
  4. 　前記医療画像中の所定の画素と周辺画素との差分を合計して得られた特徴量により算出される前記合焦度合いに応じて、前記医療画像に適用するフィルタの強度を決定する
    　ことを特徴とする請求項３に記載の画像処理方法。
  5. 　前記ボケ関数に基づいて推定された推定合焦度合いと、前記医療画像中の所定の画素と周辺画素との差分を合計して得られた特徴量により算出される前記合焦度合いに基づいて、前記医療画像に適用するフィルタの強度を決定する
    　ことを特徴とする請求項４に記載の画像処理方法。
  6. 　前記被写体の合焦度合いに応じて、前記医療画像に異なる複数のフィルタを適用することで生成される合成画像の合成の割合を示す合成率を決定する
    　ことを特徴とする請求項５に記載の画像処理方法。
  7. 　所定の前記医療画像に前記強度が異なる複数のフィルタを適用することで生成される前記合成画像の前記合成率を決定する
    　ことを特徴とする請求項６に記載の画像処理方法。
  8. 　Ｚ値が異なる複数の前記医療画像に対して、前記被写体の合焦度合いに応じたフィルタを適用することで生成される前記合成画像の前記合成率を決定する
    　ことを特徴とする請求項６に記載の画像処理方法。
  9. 　前記被写体の合焦度合いに応じて、前記合成画像を生成するための、前記医療画像に適用する前記複数のフィルタを選択的に決定する
    　ことを特徴とする請求項６に記載の画像処理方法。
  10. 　前記被写体の合焦度合いに応じて、前記フィルタが強調する領域の種類として、高域強調、中域強調、低域強調、または、負の強調フィルタすなわち平滑フィルタを決定する
    　ことを特徴とする請求項９に記載の画像処理方法。
  11. 　医療分野における生体、生物、材料、又は病理に関する被写体の前記医療画像を取得する
    　ことを特徴とする請求項１０に記載の画像処理方法。
  12. 　前記撮像装置として、顕微鏡により撮像された前記医療画像を取得する
    　ことを特徴とする請求項１１に記載の画像処理方法。
  13. 　顕微鏡により撮像された被写体の医療画像を取得する取得部と、
    　前記被写体の合焦度合いに応じて、前記医療画像に適用するフィルタであって、当該医療画像の画質を向上させるフィルタの強度を決定する決定部と、
    　を備える画像処理装置。
  14. 　被写体を撮像する撮像装置と、
    　前記撮像装置により撮像される対象物に対応する医療画像の処理に使われるソフトウェアとを含んで構成される画像処理システムであって、
    　前記ソフトウェアは、前記被写体の合焦度合いに応じて、前記撮像装置により撮像された医療画像に適用するフィルタの強度を決定する画像処理装置と、
    　を含む画像処理システム。
PCT/JP2020/037068 2019-11-22 2020-09-30 画像処理方法、画像処理装置および画像処理システム WO2021100328A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021558198A JPWO2021100328A1 (ja) 2019-11-22 2020-09-30
CN202080079048.XA CN114730070A (zh) 2019-11-22 2020-09-30 图像处理方法、图像处理装置和图像处理系统
US17/776,985 US20220392031A1 (en) 2019-11-22 2020-09-30 Image processing method, image processing apparatus and image processing system
EP20890703.0A EP4047408A4 (en) 2019-11-22 2020-09-30 IMAGE PROCESSING METHOD, DEVICE AND SYSTEM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019211390 2019-11-22
JP2019-211390 2019-11-22

Publications (1)

Publication Number Publication Date
WO2021100328A1 true WO2021100328A1 (ja) 2021-05-27

Family

ID=75980520

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/037068 WO2021100328A1 (ja) 2019-11-22 2020-09-30 画像処理方法、画像処理装置および画像処理システム

Country Status (5)

Country Link
US (1) US20220392031A1 (ja)
EP (1) EP4047408A4 (ja)
JP (1) JPWO2021100328A1 (ja)
CN (1) CN114730070A (ja)
WO (1) WO2021100328A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7280107B2 (ja) * 2019-05-10 2023-05-23 株式会社エビデント 画像処理方法、プログラム、画像処理装置、画像処理システム、及び、顕微鏡システム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5994712A (ja) * 1982-11-22 1984-05-31 Olympus Optical Co Ltd 合焦検出方法
JPH10243289A (ja) * 1997-02-27 1998-09-11 Olympus Optical Co Ltd 画像加算装置
JP2011090221A (ja) * 2009-10-23 2011-05-06 Sony Corp 顕微鏡、合焦位置検出方法及び合焦位置検出プログラム
JP2011197283A (ja) 2010-03-18 2011-10-06 Sony Corp 合焦装置、合焦方法、合焦プログラム及び顕微鏡
JP2017158764A (ja) * 2016-03-09 2017-09-14 ソニー株式会社 画像処理装置、画像処理方法、及び記録媒体
JP2019114250A (ja) * 2017-12-21 2019-07-11 株式会社ニコン 画像処理装置、画像処理プログラム、画像処理方法および撮像装置
JP2019149719A (ja) * 2018-02-27 2019-09-05 キヤノン株式会社 画像処理装置及び方法、及び撮像装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5657375B2 (ja) * 2010-12-24 2015-01-21 オリンパス株式会社 内視鏡装置及びプログラム
JP5705096B2 (ja) * 2011-12-02 2015-04-22 キヤノン株式会社 画像処理装置及び画像処理方法
US9942534B2 (en) * 2011-12-20 2018-04-10 Olympus Corporation Image processing system and microscope system including the same
US8994809B2 (en) * 2012-07-19 2015-03-31 Sony Corporation Method and apparatus for simulating depth of field (DOF) in microscopy
US8928772B2 (en) * 2012-09-21 2015-01-06 Eastman Kodak Company Controlling the sharpness of a digital image
JP2014071207A (ja) * 2012-09-28 2014-04-21 Canon Inc 画像処理装置、撮像システム、画像処理システム
US9897792B2 (en) * 2012-11-30 2018-02-20 L&T Technology Services Limited Method and system for extended depth of field calculation for microscopic images
CN105026977B (zh) * 2013-03-13 2017-09-08 索尼公司 信息处理装置、信息处理方法和信息处理程序
CN108292366B (zh) * 2015-09-10 2022-03-18 美基蒂克艾尔有限公司 在内窥镜手术中检测可疑组织区域的系统和方法
US10419698B2 (en) * 2015-11-12 2019-09-17 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN108700733A (zh) * 2016-02-22 2018-10-23 皇家飞利浦有限公司 用于生成生物样本的具有增强景深的合成2d图像的系统
US10466332B2 (en) * 2017-02-21 2019-11-05 General Electric Company Systems and methods for an interleaved RF coil acquisition scheme

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5994712A (ja) * 1982-11-22 1984-05-31 Olympus Optical Co Ltd 合焦検出方法
JPH10243289A (ja) * 1997-02-27 1998-09-11 Olympus Optical Co Ltd 画像加算装置
JP2011090221A (ja) * 2009-10-23 2011-05-06 Sony Corp 顕微鏡、合焦位置検出方法及び合焦位置検出プログラム
JP2011197283A (ja) 2010-03-18 2011-10-06 Sony Corp 合焦装置、合焦方法、合焦プログラム及び顕微鏡
JP2017158764A (ja) * 2016-03-09 2017-09-14 ソニー株式会社 画像処理装置、画像処理方法、及び記録媒体
JP2019114250A (ja) * 2017-12-21 2019-07-11 株式会社ニコン 画像処理装置、画像処理プログラム、画像処理方法および撮像装置
JP2019149719A (ja) * 2018-02-27 2019-09-05 キヤノン株式会社 画像処理装置及び方法、及び撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4047408A4

Also Published As

Publication number Publication date
EP4047408A1 (en) 2022-08-24
US20220392031A1 (en) 2022-12-08
CN114730070A (zh) 2022-07-08
JPWO2021100328A1 (ja) 2021-05-27
EP4047408A4 (en) 2022-12-28

Similar Documents

Publication Publication Date Title
US9332190B2 (en) Image processing apparatus and image processing method
US9881373B2 (en) Image generating apparatus and image generating method
JP5780865B2 (ja) 画像処理装置、撮像システム、画像処理システム
US8265362B2 (en) Pathological tissue image capturing system, method, and program
JP5254441B2 (ja) フロー式粒子画像解析方法及び装置
KR101891364B1 (ko) 현미경 이미징에서의 빠른 오토-포커스
RU2734447C2 (ru) Система для формирования синтезированного двухмерного изображения биологического образца с повышенной глубиной резкости
US20150279033A1 (en) Image data generating apparatus and image data generating method
JP2023542619A (ja) 試料のデジタル画像の品質管理のためのコンピュータ実装方法
CN109001902B (zh) 基于图像融合的显微镜聚焦方法
JP2015108837A (ja) 画像処理装置及び画像処理方法
JP6362062B2 (ja) 画像生成装置および画像生成方法
WO2021100328A1 (ja) 画像処理方法、画像処理装置および画像処理システム
CN117474777A (zh) 一种面向手术显微镜的图像融合方法
JP2015057682A (ja) 画像生成装置および画像生成方法
JP2012255808A (ja) 病理組織画像撮影システム、病理組織画像撮影方法、および病理組織画像撮影プログラム
Jiang et al. Blind deblurring for microscopic pathology images using deep learning networks
JP7030986B2 (ja) 画像生成装置、画像生成方法および画像生成プログラム
US11050931B2 (en) Control device and control method
JP2015191362A (ja) 画像データ生成装置および画像データ生成方法
Garud et al. Volume visualization approach for depth-of-field extension in digital pathology
JP2023033982A (ja) 画像処理装置、画像処理システム、画像の鮮鋭化方法、及び、プログラム
Tadrous A method of PSF generation for 3D brightfield deconvolution
JP5648366B2 (ja) 顕微鏡制御装置及び領域判定方法
CN103487928A (zh) 散焦量估计方法、成像装置和透明部件

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20890703

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021558198

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2020890703

Country of ref document: EP

Effective date: 20220517

NENP Non-entry into the national phase

Ref country code: DE