WO2023171432A1 - 画像処理装置、画像処理方法及びプログラム - Google Patents

画像処理装置、画像処理方法及びプログラム Download PDF

Info

Publication number
WO2023171432A1
WO2023171432A1 PCT/JP2023/006918 JP2023006918W WO2023171432A1 WO 2023171432 A1 WO2023171432 A1 WO 2023171432A1 JP 2023006918 W JP2023006918 W JP 2023006918W WO 2023171432 A1 WO2023171432 A1 WO 2023171432A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
compressed image
processing
pixel
image
Prior art date
Application number
PCT/JP2023/006918
Other languages
English (en)
French (fr)
Inventor
歩 田口
憲治 池田
光太 中村
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2023171432A1 publication Critical patent/WO2023171432A1/ja

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/53Immunoassay; Biospecific binding assay; Materials therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/28Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/41Bandwidth or redundancy reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Definitions

  • the present disclosure relates to an image processing device, an image processing method, and a program.
  • An image captured by an image sensor includes noise components in addition to the original image of the object to be imaged.
  • Patent Document 1 performs image processing using a gradation space that is less susceptible to noise caused by an image sensor.
  • image compression processing particularly irreversible compression processing
  • some data of the image may be lost, and the original image of the imaged object may not be sufficiently reproduced in the compressed and decompressed image.
  • image compression processing may increase noise in the image after compression and decompression, and the image quality of the image after compression and decompression is likely to deteriorate further.
  • reversible compression processing can prevent some data from being lost in an image, but because the compression rate is inherently low, the amount of image data cannot be compressed sufficiently, and it is difficult to increase the capacity of the storage unit. It is not always possible to fully solve the problem of long image storage processing.
  • the present disclosure provides an advantageous technique for performing image compression processing on image data while reducing noise in the image data.
  • One aspect of the present disclosure includes a square root calculation unit that obtains first compressed image data by calculating a plurality of pixel square roots that are the square roots of each of a plurality of original pixel values based on a plurality of pixel values included in the image data. , and a fraction processing unit that obtains second compressed image data by performing fraction processing on square roots of a plurality of pixels.
  • the plurality of original pixel values may be derived by dividing the plurality of pixel values included in the image data by the reference pixel value, which is the output value equivalent to one electron in the photoelectric conversion process of the image sensor that acquired the image data. good.
  • the fraction processing unit may acquire the second compressed image data by rounding off the decimal point of each of the square roots of the plurality of pixels based on rounding.
  • the fraction processing unit calculates an approximate original pixel value that has the smallest difference n ⁇ 2 (n is a natural number) with respect to the original pixel value corresponding to each pixel square root, and calculates the approximate original pixel value n ⁇ 2 (n is a natural number).
  • the value n may be employed as the second compressed image data.
  • the image processing device includes a word length adjustment unit that obtains third compressed image data by reducing the word length of the second compressed image data according to the size of a plurality of pixel values included in the second compressed image data. It's okay.
  • the word length adjustment unit obtains third compressed image data by reducing the word length of the second compressed image data according to the number of significant digits of the maximum value among the plurality of pixel values included in the second compressed image data. You may.
  • the second compressed image data may have a word length of 16 bits or more, and the third compressed image data may have a word length of 8 bits or less.
  • the image processing device may include a compression processing unit that performs compression processing on compressed image data based on the second compressed image data to obtain fourth compressed image data.
  • the image processing device includes a word length adjustment unit that obtains third compressed image data by reducing the word length of the second compressed image data according to the size of a plurality of pixel values included in the second compressed image data,
  • the compression processing unit may perform compression processing on the third compressed image data to obtain fourth compressed image data.
  • the image processing device may include a storage processing unit that stores compressed image data based on the second compressed image data in a storage unit.
  • the image processing device may include a decoding unit that performs a process of squaring a plurality of pixel values included in compressed image data based on the second compressed image data.
  • the image processing device includes a word length restoring unit that increases the word length of the compressed image data based on the second compressed image data, and the decoding unit increases the word length of the compressed image data based on the second compressed image data by the word length restoring unit. After the pixel values have been increased, a process of squaring a plurality of pixel values included in the compressed image data based on the second compressed image data may be performed.
  • the image processing device includes a compression processing unit that performs compression processing on compressed image data based on the second compressed image data to obtain fourth compressed image data, and a compression processing unit that performs a decompression processing on the compressed image data based on the second compressed image data.
  • the compressed image data to which the decompression process is performed is based on the fourth compressed image data, and the decompression process may be a process corresponding to the compression process performed by the compression process part.
  • the plurality of original pixel values are derived by dividing the plurality of pixel values included in the image data by a reference pixel value, which is an output value equivalent to one electron in the photoelectric conversion process of the image sensor that acquired the image data, and are decoded.
  • the section obtains a plurality of decompressed pixel values by multiplying a plurality of pixel square values obtained by squaring a plurality of pixel values included in the compressed image data based on the second compressed image data by a reference pixel value. You may.
  • the image data may be biological tissue image data.
  • the biological tissue image data may be fluorescent antibody image data.
  • Another aspect of the present disclosure is to obtain first compressed image data by calculating a plurality of pixel square roots that are the square roots of each of a plurality of original pixel values based on a plurality of pixel values included in the image data;
  • the present invention relates to an image processing method including the step of obtaining second compressed image data by performing fraction processing of a plurality of pixel square roots.
  • Another aspect of the present disclosure is to obtain the first compressed image data by having a computer calculate a plurality of pixel square roots that are the square roots of each of a plurality of original pixel values based on a plurality of pixel values included in the image data.
  • the present invention relates to a program for executing a procedure and a procedure for obtaining second compressed image data by performing fraction processing of a plurality of pixel square roots.
  • FIG. 1 is a conceptual diagram for explaining photoelectric conversion in an image sensor (particularly a pixel).
  • FIG. 2 is a conceptual diagram of pixel values, which are 16-bit pixel data.
  • FIG. 3 is a conceptual diagram of pixel values, which are 16-bit pixel data.
  • FIG. 4 is a conceptual diagram of pixel values, which are 16-bit pixel data.
  • FIG. 5 is a conceptual diagram of pixel values, which are 16-bit pixel data.
  • FIG. 6 is a conceptual diagram of pixel values, which are 16-bit pixel data.
  • FIG. 7 is a block diagram illustrating a configuration example of an imaging processing system.
  • FIG. 8 is a block diagram showing an example of a functional configuration of an image processing device, and particularly shows a functional configuration related to image compression processing.
  • FIG. 9 is a block diagram showing an example of a functional configuration of an image processing apparatus, and particularly shows a functional configuration related to image decompression processing.
  • FIG. 10 is a flowchart illustrating an example of image compression processing.
  • FIG. 11 is a conceptual diagram of pixel data illustrating calculation of the square root of pixel data.
  • FIG. 12 is a diagram for explaining an example of rounding.
  • FIG. 13 is a flowchart illustrating an example of image decompression processing.
  • FIG. 14 is a block diagram showing a configuration example of a microscope system.
  • FIG. 15 is a diagram illustrating an example of an imaging device.
  • FIG. 16 is a diagram illustrating an example of a mobile device.
  • FIG. 17 is a diagram illustrating an example of a client server system.
  • the image data to be processed is biological tissue image data (for example, fluorescent antibody image data)
  • biological tissue image data for example, fluorescent antibody image data
  • the image data to which the technology described below can be applied is not limited.
  • the technique described below can be applied to image data used for any purpose other than medical care, and can also be applied to ordinary snapshots, for example.
  • image data is also simply referred to as an "image” and collectively includes a large number of pixel values (pixel data).
  • a biological tissue image to be observed includes multiple frequency components (multiple frequency patterns), some frequency components reduce the sensitivity of other frequency components, so the general public cannot understand the fine tissue structure in such a biological tissue image. difficult to recognize.
  • researchers and doctors who are well aware that the sensitivity of each frequency component changes when observing such an image while changing the distance and angle of the eye, would be able to discern the subtleties of each frequency component. , it is possible to appropriately recognize fine tissue structures in biological tissue images.
  • Fluorescent antibody images obtained in such cases may include both bright and dark image areas.
  • fluorescent antibody images are captured with the amount of excitation light irradiated suppressed in order to suppress tissue deterioration caused by excitation light that excites fluorescent antibody molecules. Therefore, the amount of fluorescent signals contained in a fluorescent antibody image is small to begin with, and the fluorescent antibody image tends to be dark overall.
  • image processing to reduce noise components be performed on the biological tissue image so that the original image of the subject can be appropriately observed in the biological tissue image.
  • an image processing method there is a method of acquiring multiple fluorescent antibody images by performing imaging multiple times, and then acquiring a fluorescent antibody image with reduced noise components based on averaging of the multiple fluorescent antibody images.
  • the tissue is irradiated with excitation light multiple times, and there is a concern that the tissue may deteriorate due to such multiple irradiation with excitation light, so it is often difficult to employ this method.
  • the entire slide containing the biological tissue to be observed is imaged using light of many different wavelengths (for example, 100 or more wavelengths), and such imaging is performed on each of multiple slides. It is sometimes done for.
  • the amount of data of biological tissue images obtained through such imaging is enormous.
  • the amount of image data is approximately 603 GB per slide. If this image data is stored in a hard disk drive (HDD) at a transfer rate of 255 MB/s, for example, it will take approximately 39.41 minutes from the start to the end of saving the image data.
  • HDD hard disk drive
  • the time required to transfer and save the image significantly exceeds the time required to capture and acquire the image, and becomes a factor that significantly delays the processing speed of the entire system.
  • SATA SSD transfer speed: 750MB/s
  • HDD transfer speed
  • M transfer speed
  • transfer rate 2800 MB/s
  • the time from the start to the end of saving image data is approximately 13.40 minutes and 3.59 minutes, respectively.
  • Using storage with such high transfer speeds reduces the time required to save image data and significantly improves system performance.
  • compressed image data with a high compression rate can be obtained by setting the quantization level of DCT compression to a level sufficiently higher than shot noise, taking into account the brightness of the entire image. is possible.
  • compression processing reduces the amount of image data by sacrificing the dynamic range, texture in dark image areas is lost.
  • biological tissue images require precise image reproducibility, biological tissue images tend to have a large bit depth, and for example, it is not uncommon for them to have a word length of 16 bits or more.
  • FIG. 1 is a conceptual diagram for explaining photoelectric conversion in an image sensor (particularly a pixel 81).
  • FIG. 2 is a conceptual diagram of the pixel value d1, which is 16-bit pixel data.
  • the pixel 81 of the image sensor outputs electrons 82 corresponding to the received photons 80, and the electrons 82 output from the pixel 81 are accumulated in the electron storage section 83.
  • the pixel data (image data) output from the image sensor in this way includes shot noise as the main noise component.
  • Shot noise is a type of circuit noise that inevitably occurs with the photoelectric conversion performed in each pixel 81, and is based on the inherent error associated with the measurement of particles such as photons and electrons.
  • the magnitude of shot noise is proportional to the square root of the average value of the observation light intensity and current, and the smaller the observation light intensity and current value, the greater the proportion of the absolute value of shot noise in the pixel value d1 output from each pixel 81. tends to become larger.
  • Shot noise increases information entropy (that is, unpredictability), reduces the efficiency of image compression in both reversible and irreversible compression processing, and does not provide useful information to the viewer.
  • shot noise is a noise component that is generated due to its physical nature, and shot noise cannot be made smaller than the square root of the amount of signal light except under very special circumstances.
  • shot noise is equal to or proportional to the square root of the expected value of the light intensity detected at each pixel, the noise level of shot noise can differ from pixel to pixel. Therefore, shot noise cannot be uniformly reduced by uniformly setting the noise level of shot noise over the entire image (that is, all pixels).
  • 3 to 6 are conceptual diagrams of the pixel value d1, which is 16-bit pixel data. 3 to 6 illustrate pixel values d1 having different numbers of effective digits.
  • shot noise occupies approximately the lower half of the effective digits of the pixel value d1.
  • the lower half of the effective digits of the pixel value d1 expressed in binary notation is the noise-dominant digit (or shot noise floor) dominated by shot noise (see Figures 3 to 6)
  • the essential digit related to the subject image Contains almost no information.
  • primary image compression is performed by reducing the number of digits of the image data to be saved in accordance with the number of digits of the shot noise floor.
  • the amount of image data actually stored in the storage unit is significantly reduced, making it possible to significantly reduce storage costs and data transfer time (and thus significantly reduce storage processing time).
  • image compression processing removes the shot noise floor from the image data and reduces only the portion corresponding to the shot noise component, so there is very little deterioration in image quality. Further, when additional image compression processing is performed on image data whose shot noise has been reduced by image compression processing, it is also expected that the efficiency of such additional image compression processing will be improved.
  • FIG. 7 is a block diagram showing a configuration example of the imaging processing system 10.
  • the imaging processing system 10 shown in FIG. 7 includes an imaging element 11, an image processing device 12, a storage section 13, a display device 14, and an imaging processing control section 15.
  • the imaging processing system 10 may be configured with a single device, or may be configured with a combination of multiple devices.
  • the image sensor 11, the image processing device 12, the storage section 13, and the display device 14 are driven under the control of the image processing control section 15.
  • the image sensor 11 receives imaging light from the subject and outputs image data d0 including the subject image.
  • the image sensor 11 can have any configuration, and is typically configured by a CCD image sensor or a CMOS image sensor.
  • the image data d0 acquired by the image sensor 11 is not limited, and may be biological tissue image data (for example, fluorescent antibody image data) or image data obtained by imaging any other object. Good too.
  • Image data d0 output from the image sensor 11 is input to the image processing device 12, where it undergoes various image processing.
  • the image processing performed by the image processing device 12 is not limited, the image processing device 12 of this embodiment performs at least image compression processing and image decompression processing.
  • the image processing device 12 generates compressed image data d50 by performing image compression processing on the image data d0, and outputs the compressed image data d50 to the storage unit 13.
  • the storage unit 13 stores compressed image data d50 output from the image processing device 12.
  • the image processing device 12 generates decompressed image data d100 by performing an image decompression process on the compressed image data d50 read from the storage unit 13, and outputs the decompressed image data d100 to the display device 14.
  • the display device 14 displays the decompressed image data d100 output from the image processing device 12.
  • the decompressed image data d100 output from the image processing device 12 may be sent to any other device in addition to or instead of the display device 14.
  • the image compression process and the image decompression process are performed by a common image processing device 12, but the image compression process and the image decompression process may be performed by separate image processing devices 12.
  • FIG. 8 is a block diagram showing an example of the functional configuration of the image processing device 12, and particularly shows the functional configuration related to image compression processing.
  • the image processing device 12 shown in FIG. 8 includes a square root calculation section 21, a fraction processing section 22, a word length adjustment section 23, a compression processing section 24, and a storage processing section 25.
  • the square root calculation unit 21 performs first compression by calculating a plurality of pixel square roots that are square roots of each of a plurality of original pixel values based on a plurality of pixel values d1 included in the image data d0 input from the image sensor 11. Image data d11 is acquired.
  • the plurality of original pixel values here are determined by the reference pixel value, which is an output value equivalent to one electron in the photoelectric conversion process of the image sensor 11 that has acquired the image data d0, for each of the plurality of pixel values d1 included in the image data d0. It is derived by dividing.
  • the plurality of original pixel values may be the plurality of pixel values d1 included in the image data d0.
  • the square root calculation unit 21 obtains the first compressed image data d11 by dividing the square root of each calculated pixel value d1 by the square root of the reference pixel value.
  • the reference pixel value used here is expressed by the absolute value of the "output value k [LSB] per electron (LSB: Least Significant Bit)" in each pixel 81 of the image sensor 11 (see FIG. 1).
  • the fraction processing unit 22 obtains second compressed image data d12 converted into an integer by performing fraction processing on the square roots of a plurality of pixels included in the first compressed image data d11. For example, the fraction processing unit 22 can obtain the second compressed image data d12 by rounding off the decimal point (ie, the decimal part) of each square root of a plurality of pixels based on rounding.
  • fraction processing unit 22 can also perform fraction processing in a manner other than rounding (see FIG. 12 described later).
  • the word length adjustment unit 23 obtains the third compressed image data d13 by reducing the word length of the second compressed image data d12 according to the size of the plurality of pixel values included in the second compressed image data d12.
  • the word length adjustment unit 23 reduces the word length of the second compressed image data d12 according to the number of significant digits of the maximum value among the plurality of pixel values included in the second compressed image data d12, thereby reducing the word length of the second compressed image data d12.
  • Image data d13 can be obtained. Thereby, it is also possible to derive the third compressed image data d13 having a word length of 8 bits or less from the second compressed image data d12 having a word length of 16 bits or more.
  • the compression processing unit 24 performs compression processing on the third compressed image data d13 to obtain fourth compressed image data d14.
  • the compression processing unit 24 can perform compression processing in an arbitrary manner, and may perform compression processing using a general-purpose image compression library.
  • the storage processing unit 25 stores compressed image data d50 based on the fourth compressed image data d14 in the storage unit 13.
  • the compressed image data d50 may be the fourth compressed image data d14 itself, or may be image data derived by the storage processing unit 25 performing further processing on the fourth compressed image data d14.
  • the third compressed image data d13 and the fourth compressed image data d14 which are the data to be processed in the compression processing unit 24 and storage processing unit 25, are both “compressed image data based on the second compressed image data d12”. Applicable.
  • FIG. 9 is a block diagram showing an example of the functional configuration of the image processing device 12, and particularly shows the functional configuration related to image decompression processing.
  • the image processing device 12 When image compression processing and image decompression processing are performed by a common image processing device 12, the image processing device 12 has the functional configuration related to the image compression processing shown in FIG. 8, as well as the functional configuration related to the image decompression processing shown in FIG. It has a functional configuration.
  • image compression processing and image decompression processing are performed by separate image processing devices 12, one image processing device 12 has the functional configuration related to the image compression processing shown in FIG. 8, and the other image processing device 12 has the functional configuration shown in FIG. It has a functional configuration related to image decompression processing shown in 9.
  • the image processing device 12 shown in FIG. 9 includes a decompression processing section 31, a word length restoration section 32, a decoding section 33, and an output processing section 34.
  • the decompression processing unit 31 performs decompression processing on the compressed image data d50 (that is, the fourth compressed image data d14) read from the storage unit 13, and obtains the first decompressed image data d21.
  • the decompression processing performed by the decompression processing unit 31 in this manner corresponds to the compression processing performed by the compression processing unit 24 (see FIG. 8) described above.
  • the word length restoration unit 32 increases the word length of the first decompressed image data d21 and obtains the second decompressed image data d22. That is, the word length restoring unit 32 increases the word length of the first decompressed image data d21 by the same word length as the word length reduced by the word length adjustment unit 23 (see FIG. 8) in the image compression process described above. , obtains second decompressed image data d22.
  • the decompression processing performed by the word length restoring unit 32 in this manner corresponds to the compression processing performed by the word length adjustment unit 23 described above.
  • the word length of the second decompressed image data d22 output from the word length restoring unit 32 is the same word length as the word length of the image data d0 before the above-described compression process (FIG. 8) is performed.
  • the decoding unit 33 performs a process of squaring a plurality of pixel values included in the second decompressed image data d22. That is, after the word length restoring unit 32 increases the word length of the first decompressed image data d21 and obtains the second decompressed image data d22, the decoding unit 33 decodes the plurality of pixel values included in the second decompressed image data d22. Performs the process of squaring.
  • the decoding unit 33 obtains a plurality of decompressed pixel values by multiplying a plurality of pixel square values obtained by squaring a plurality of pixel values included in the second decompressed image data d22 by a reference pixel value. do.
  • the decoding unit 33 may obtain a plurality of decompressed pixel values by multiplying the plurality of pixel values included in the second decompressed image data d22 by the square root of the reference pixel value and then squaring the result.
  • the reference pixel value used by the decoding unit 33 in this way is also used by the square root calculation unit 21 (see FIG. 9) when acquiring a plurality of original pixel values from the pixel value d1 included in the image data d0. It is being
  • the decompression process performed by the decoding unit 33 in this manner corresponds to the square root calculation process performed by the square root calculation unit 21 described above.
  • the decoding unit 33 outputs the third decompressed image data d23 including a plurality of decompressed pixel values to the output processing unit 34.
  • the output processing unit 34 outputs the third decompressed image data d23 to the display device 14 as decompressed image data d100.
  • the display device 14 displays the decompressed image data d100 (third decompressed image data d23 in this embodiment) input from the output processing section 34.
  • the fourth compressed image data d14, the first decompressed image data d21, and the second decompressed image data d22, which are the data to be processed by the decompression processing unit 31, word length restoration unit 32, and decoding unit 33 described above, are all second compressed images. This corresponds to compressed image data based on data d12.
  • FIG. 10 is a flowchart illustrating an example of image compression processing.
  • image data d0 to be processed is input to the image processing device 12 (see FIG. 8) (S1 in FIG. 10).
  • the square root calculation unit 21 (see FIG. 8) of the image processing device 12 calculates the square root (a plurality of pixel square roots) of each pixel value d1 of the image data d0, and obtains the first compressed image data d11 (see FIG. 10 S2).
  • a biological tissue image is used as the image data d0, but images that can be used as the image data d0 are not limited.
  • the biological tissue images that can be used as the image data d0 are not limited, and for example, a bright field microscope image, a dark field microscope image, or a fluorescence microscope image may be input to the image processing device 12 as the image data d0.
  • the subject included in the image data d0 is not limited to the object within the field of view, but can also be captured by scanning the entire slide once or multiple times. Good too.
  • a fluorescence microscope image is used as image data d0
  • imaging is performed while changing the wavelength of excitation light irradiated to the imaging target, and a plurality of image data d0 with different excitation light wavelengths are acquired and image processing is performed. It may also be input into the device 12.
  • the slide to be imaged is automatically replaced, the image of the slide to be imaged is automatically performed by the image sensor 11, and the image data d0 of each slide is automatically input from the image sensor 11 to the image processing device 12. It's okay.
  • calculating the square root of each original pixel value of the image data d0 corresponds to making the quantization level (that is, the value corresponding to 1 bit) for each original pixel value equivalent to shot noise. .
  • FIG. 11 is a conceptual diagram of pixel data illustrating calculation of the square root of pixel data.
  • the process of calculating the square root of pixel data is a process of halving the number of significant digits of the integer part of the pixel data.
  • the value of the upper half (upper 8 bits) of the original significant digits corresponds to the integer part
  • the value of the original significant digits corresponds to the integer part
  • the value in the lower half (lower 8 bits) corresponds to the decimal part.
  • the shot noise included in each pixel data corresponds to the lower half of the effective digits of the pixel data (shot noise floor) (see Figures 3 to 6)
  • the shot noise floor is data of the subject image is not included or is hardly included.
  • calculating the square root of each original pixel value means that most of the shot noise is represented by the decimal part, and most of the data of the original subject image is represented by the integer part. This corresponds to calculating.
  • the level of shot noise is equal to or proportional to the square root of each pixel value d1 (signal value of each pixel), for example, the intensity value of shot noise is absolutely low in a dark image area in image data d0, and in a bright image area. In this case, the shot noise intensity value is absolutely high.
  • the actual quantization level for each pixel can be changed according to the size of the original pixel value (pixel value d1). It turns out. Therefore, in both bright and dark image areas, it is possible to effectively prevent signal components that are meaningful as an image from being cut off by quantization.
  • the fraction processing unit 22 (see FIG. 8) of the image processing device 12 performs fraction processing on each pixel value (that is, each pixel square root) of the first compressed image data d11, and rounds the decimal part of each pixel square root ( S3 in FIG. 10).
  • the second compressed image data d12 is obtained by converting each pixel value into an integer in this way, and each of the plurality of pixel values included in the second compressed image data d12 becomes an integer value.
  • the fraction processing unit 22 may convert each pixel value into an integer by rounding off the value to the first decimal place of the square root of each pixel based on "rounding off.”
  • the fraction processing unit 22 may convert each pixel value into an integer based on any other method.
  • rounding based on rounding can be performed based on the following formula (1).
  • FIG. 12 is a diagram for explaining an example of rounding.
  • the horizontal axis represents the pixel value (original pixel value), and the vertical axis represents the pixel square root, which is the square root of the pixel value.
  • the solid curve shown in FIG. 12 shows the correspondence between pixel values and pixel square roots.
  • a solid straight line extending between the curve shown in FIG. 12 and the vertical and horizontal axes of FIG. 12 indicates a case where both the corresponding pixel value and the square root of the pixel are integer values.
  • the dashed-dotted straight line extending between the curve shown in FIG. 12 and each of the vertical and horizontal axes in FIG. 12 corresponds to the boundary when the pixel square root is rounded off.
  • the "central value between n ⁇ 2 (n is a natural number)" is expressed, for example, by (n 2 + (n+1) 2 )/2. Therefore, "the square root of the central value between n ⁇ 2 (n is a natural number)” is expressed, for example, by ⁇ (n 2 + (n+1) 2 )/2 ⁇ (1/2) .
  • the square root of a pixel that is larger than "n (n is a natural number)" and smaller than "n+1” is equal to or larger than the rounding standard value expressed by ⁇ (n 2 + (n+1) 2 )/2 ⁇ (1/2) In this case, it may be rounded to "n+1" by rounding.
  • the pixel square root is smaller than the rounding reference value, it may be rounded to "n” by rounding.
  • the square root of the center value between n ⁇ 2 (n is a natural number) described above is used as the rounding reference value and the fraction of the pixel square root is rounded. It can be said that the case where processing is performed is more in line with the actual situation. In other words, for each pixel square root, find the approximate original pixel value that has the smallest difference n ⁇ 2 (n is a natural number) with respect to the pixel value (original pixel value) corresponding to each pixel square root, and calculate n may be adopted as the pixel value of the second compressed image data d12.
  • the integer value after rounding changes above and below the dashed line (incorporation boundary) extending horizontally from the vertical axis in FIG.
  • the dotted line incorporation boundary
  • the integer value after rounding changes depending on whether it is above or below. Therefore, if rounding is used for fraction processing, the pixel square root located between the dashed line and the dotted line extending horizontally from the vertical axis in FIG. bring about an increase.
  • n for the approximate original pixel value that has the smallest difference n ⁇ 2 (n is a natural number) with respect to the original pixel value corresponding to the square root of each pixel is By employing the value after rounding, it is possible to suppress an increase in quantization noise.
  • the word length adjustment unit 23 (see FIG. 8) of the image processing device 12 reduces the word length of the second compressed image data d12 to obtain third compressed image data d13 (S4 in FIG. 10).
  • the degree of the data word length reduced by the word length adjustment unit 23 is not limited, the degree of reduction of the data word length of the second compressed image data d12 depends on the size (especially the maximum value) of a plurality of pixel values included in the second compressed image data d12.
  • the word length of each pixel value is reduced. That is, the word length adjustment unit 23 adjusts the length of the second compressed image data d12 up to the number of digits that can represent all the pixel values included in the second compressed image data d12 (that is, the number of digits that can represent the maximum pixel value). The word length of each pixel value can be reduced.
  • the word length adjustment unit 23 may reduce the word length of each pixel value of the second compressed image data d12 to obtain third compressed image data d13 in which each pixel value has a word length of 8 bits.
  • the word length adjustment unit 23 can cast (reduce) the word length of pixel data in half.
  • the word length adjustment unit 23 can cast (reduce) the word length of pixel data in half.
  • the compression processing unit 24 (see FIG. 8) of the image processing device 12 performs additional compression processing on the third compressed image data d13 to obtain fourth compressed image data d14 (S5 in FIG. 10).
  • the storage processing unit 25 (see FIG. 8) of the image processing device 12 stores the fourth compressed image data d14 in the storage unit 13 as compressed image data d50 (S6 in FIG. 10).
  • the additional compression processing performed by the compression processing unit 24 is not limited, and may be reversible compression processing or irreversible compression such as JPEG.
  • the image data (compressed image data) obtained as a result of the above-described processing steps S2 to S4 may be stored in the storage unit 13 without performing the main processing step S5.
  • the noise component (shot noise) that is reduced through the above processing steps S2 to S4 is information that has no meaning to the viewer, and is an element that increases the information entropy that determines the limit of the image compression rate.
  • compression processing that uses DCT compression such as JPEG can generally result in loss of detail in dark areas of the image.
  • DCT compression such as JPEG
  • loss of detail in dark areas of the image due to subsequent DCT compression additional image compression processing
  • the amount of image data subjected to such additional compression processing is less than half of the original amount of image data due to the compression processing in the preceding processing steps S2 to S4. Therefore, the data transfer time and the amount of compression processing calculation required for the additional compression processing are reduced, and the overall processing speed of the additional compression processing is increased.
  • the amount of image data after the additional compression processing is compressed to less than half (often about 1/10) the amount of original image data. Therefore, the data transfer time when storing the compressed image data d50 (fourth compressed image data d14) in the storage unit 13 is significantly shortened, the storage capacity required for the storage unit 13 can be significantly reduced, and storage costs can be reduced. Can be reduced.
  • FIG. 13 is a flowchart illustrating an example of image decompression processing.
  • the image decompression process can be performed based on the reverse procedure of the image compression process described above.
  • compressed image data d50 (fourth compressed image data d14 in this embodiment) is acquired from the storage unit 13 by the image processing device 12 (for example, the decompression processing unit 31) (S11 in FIG. 13).
  • the decompression processing unit 31 performs decompression processing on the compressed image data d50 to obtain first decompressed image data d21 (S12).
  • the decompression process here corresponds to the compression process (see S5 in FIG. 10) by the compression processing unit 24 described above.
  • the word length restoring unit 32 increases the word length of the first decompressed image data d21, and obtains the second decompressed image data d22 (S13).
  • the word length increase process here is a process corresponding to the word length reduction process (see S4 in FIG. 10) by the word length adjustment section 23 described above.
  • the decoding unit 33 squares each of the plurality of pixel values included in the second decompressed image data d22 to obtain a plurality of pixel squared values, and multiplies the plurality of pixel squared values by a reference pixel value to obtain a plurality of decompressed pixel values.
  • a pixel value is acquired (S14).
  • the squaring process here corresponds to the square root calculation process (see S2 in FIG. 10) by the square root calculation unit 21 described above.
  • the decoding unit 33 instead squares the value obtained by multiplying each of the plurality of pixel values included in the second decompressed image data d22 by the square root of the reference pixel value. , multiple decompressed pixel values may be obtained.
  • the output processing unit 34 outputs the third decompressed image data d23 including the plurality of decompressed pixel values obtained through the above-described series of processes S11 to S14 to the display device 14 as decompressed image data d100 (S15). .
  • the decompressed image data d100 is displayed on the display device 14.
  • the inventor of the present invention compares original pixel data (original image data) containing shot noise with decompressed pixel data (decompressed image data) obtained from the original pixel data through the above-described image compression processing and image decompression processing. I did it.
  • shot noise is equal to or proportional to the square root of the pixel signal value (luminance value) and the property that the number of effective digits of the pixel signal value is halved by calculating the square root of the pixel signal value, shot noise can be It is possible to realize a reduction in the amount of image data and the amount of saved image data.
  • the amount of data can be compressed in a state where the dynamic range is substantially maintained in any pixel.
  • the image data is a biological tissue image
  • the above-described image compression technology and image decompression technology related to this embodiment are based on very simple methods, but have sophisticated physical and mathematical rationality, and are also excellent in versatility.
  • the amount of image data stored in the storage unit 13 is significantly reduced, storage costs can be reduced. Furthermore, since the data transfer time is shortened and the storage processing time can be significantly shortened, it is possible to suppress the stagnation of other processes performed before and after the storage processing, and to improve the processing efficiency and shorten the processing time of the entire system.
  • FIG. 14 is a block diagram showing a configuration example of a microscope system.
  • the microscope system shown in FIG. 14 includes a microscope 101 and a data processing section 107.
  • FIG. 14 shows an example of a measurement system that can image a wide field of view of a fluorescently stained specimen 30 and a non-fluorescently stained specimen, and this measurement system can also be applied to WSI (Whole Slide Imaging), for example. be.
  • WSI Whole Slide Imaging
  • the microscope 101 includes a stage 102, an optical system 103, a light source 104, a stage drive section 105, a light source drive section 106, and a fluorescence signal acquisition section 112.
  • the stage 102 has a mounting surface on which a fluorescently stained specimen 30 and a non-fluorescently stained specimen can be mounted, and is moved in a horizontal direction (xy plane direction) parallel to the mounting surface by being driven by a stage drive unit 105. and is provided movably in the vertical direction (z-axis direction).
  • the fluorescently stained specimen 30 has a thickness of, for example, several ⁇ m to several tens of ⁇ m in the Z-axis direction, and is fixed by a predetermined method while being sandwiched between a slide glass SG and a cover glass (not shown).
  • the optical system 103 is arranged above the stage 102.
  • the optical system 103 includes an objective lens 103A, an imaging lens 103B, a dichroic mirror 103C, an emission filter 103D, and an excitation filter 103E.
  • the light source 104 is, for example, a light bulb such as a mercury lamp, an LED (Light Emitting Diode), or the like, and emits light when driven by a light source driver 106 . Light emitted from the light source 104 is guided to the fluorescently stained specimen 30 or the non-fluorescently stained specimen on the mounting surface of the stage 102 via the optical system 103.
  • the excitation filter 103E generates excitation light by transmitting only light with an excitation wavelength that excites the fluorescent dye among the light emitted from the light source 104 when obtaining fluorescent images of the fluorescently stained specimen 30 and the unstained specimen. do.
  • the dichroic mirror 103C reflects the excitation light that is incident after passing through the excitation filter 103E and guides it to the objective lens 103A.
  • the objective lens 103A focuses the excitation light onto the fluorescently stained specimen 30.
  • the objective lens 103A and the imaging lens 103B enlarge the image of the fluorescently stained specimen 30 to a predetermined magnification, and form the enlarged image on the imaging surface of the fluorescent signal acquisition unit 112.
  • the staining agent fluorescent reagent
  • autofluorescent component bound to each tissue of the fluorescently stained specimen 30 emit fluorescence.
  • This fluorescence passes through the dichroic mirror 103C via the objective lens 103A, and reaches the imaging lens 103B via the emission filter 103D.
  • the emission filter 103D is magnified by the objective lens 103A, absorbs a portion of the light that has passed through the excitation filter 103E, and transmits only a portion of the colored light.
  • the image of the colored light from which the external light has been lost is magnified by the imaging lens 103B and formed on the fluorescence signal acquisition unit 112.
  • a spectroscope (not shown) may be provided instead of the imaging lens 103B shown in FIG.
  • the spectroscope can be configured using one or more prisms, lenses, etc., and spectrally spectra the fluorescence from the fluorescently stained specimen 30 or the unstained specimen in a predetermined direction.
  • the fluorescence signal acquisition unit 112 is configured as a photodetector that detects the light intensity of each wavelength of fluorescence separated by a spectrometer, and inputs the detected fluorescence signal to the data processing unit 107.
  • the data processing unit 107 drives the light source 104 via the light source driving unit 106, acquires fluorescence spectra/fluorescence images of the fluorescence-stained specimen 30 and the fluorescence-unstained specimen using the fluorescence signal acquisition unit 112, and obtains the acquired fluorescence spectrum. / Perform various processing using fluorescent images.
  • the light source 104, excitation filter 103E, dichroic mirror 103C, and objective lens 103A function as a light irradiation unit that irradiates excitation light that excites the fluorescent reagent.
  • the fluorescence signal acquisition unit 112 functions as an imaging device that images a specimen (fluorescence-stained specimen 30 or non-fluorescence-stained specimen) irradiated with excitation light and acquires a specimen fluorescence spectrum.
  • the data processing unit 107 functions as an information processing device that analyzes the sample fluorescence spectrum.
  • the above-described apparatus described with reference to FIG. 14 is just an example, and the measurement systems according to the embodiments and modifications described above are not limited to the example shown in FIG. 14.
  • the microscope system does not necessarily have to include all of the configurations shown in FIG. 14, or may include configurations not shown in FIG. 14.
  • ⁇ wide-field image data'' image data with sufficient resolution
  • ⁇ region of interest'' a necessary region of the area to be imaged
  • the embodiments and modifications described above can be realized.
  • the above-described embodiments may be implemented using a measurement system that can image the entire imaging target area or a necessary area of the imaging target area at once, or a measuring system that acquires an image of the entire imaging area or a region of interest by line scanning. and modifications can be realized.
  • the stage 102 is By moving the camera to change the field of view, each field of view is photographed sequentially.
  • field of view image data By tiling the image data obtained by photographing each field of view (hereinafter referred to as “field of view image data"), wide field of view image data of the entire photographing area is generated.
  • the imaging processing system 10 shown in FIG. 7 described above may be applied to the microscope system shown in FIG. 14. That is, in the microscope system shown in FIG. 14, the "fluorescence signal acquisition section 112" is used as the image sensor 11 shown in FIG. 7, and the "data processing section 107” is used as the image processing device 12, the storage section 13, and the display device shown in FIG. 14 and the imaging processing control section 15. Alternatively, in addition to or instead of the "data processing section 107", other devices may be used as the image processing device 12, storage section 13, display device 14, and imaging processing control section 15 shown in FIG. It's okay to be hurt.
  • FIG. 15 is a diagram showing an example of the imaging device 200.
  • the imaging device 200 shown in FIG. 15 includes an imaging optical system 202 and an imaging light emitting unit 203 mounted on an imaging main body 201.
  • the imaging device 200 is configured as a so-called digital camera, and can be configured as a compact camera with non-interchangeable lenses or a lens-interchangeable camera (for example, a single-lens reflex camera or a mirrorless camera).
  • a digital camera can be configured as a compact camera with non-interchangeable lenses or a lens-interchangeable camera (for example, a single-lens reflex camera or a mirrorless camera).
  • the specific configuration and use of the imaging device 200 are not limited.
  • the imaging processing system 10 shown in FIG. 7 described above may be applied to the imaging device 200 shown in FIG. 15. That is, the imaging device 11, image processing device 12, storage section 13, display device 14, and imaging processing control section 15 shown in FIG. 7 may be installed in the imaging main body section 201 shown in FIG. 15.
  • FIG. 16 is a diagram illustrating an example of the mobile device 300.
  • the mobile device 300 shown in FIG. 16 has a device imaging unit 302 mounted on a device main body 301.
  • the device imaging unit 302 shown in FIG. 16 is configured as a so-called front camera
  • the mobile device 300 may include a rear camera (not shown) mounted on the back side of the device main body 301.
  • Mobile device 300 can typically be configured as a mobile phone, smart phone, or other tablet terminal. However, the specific configuration and use of the mobile device 300 are not limited.
  • the imaging processing system 10 shown in FIG. 7 described above may be applied to the mobile device 300 shown in FIG. 16. That is, the image sensor 11, image processing device 12, storage section 13, display device 14, and imaging processing control section 15 shown in FIG. 7 may be installed in the device main body 301 shown in FIG. 16.
  • FIG. 17 is a diagram showing an example of the client server system 400.
  • a client-server system 400 shown in FIG. 17 includes a client 401, an information processing device 403, and a server 404 that are interconnected via a network 405.
  • the client 401 and the information processing device 403 upload and save various data to the server 404 via the network 405, and download and acquire various data stored in the server 404 and/or calculated by the server 404. It can be done.
  • server 404 In response to requests (command signals) from the client 401 and information processing device 403, server 404 stores various data sent from client 401 and information processing device 403, transmits various stored data, or Can perform data processing.
  • the image data d0 may be transmitted from the client 401 and/or the information processing device 403 to the server 404 via the network 405.
  • the server 404 may function as the image processing device 12 and storage unit 13 described above. That is, the server 404 performs the above-described image compression processing (see FIGS. 8 and 10) on the image data d0 sent from the information processing device 403, obtains compressed image data d50, and converts the compressed image data d50 into The information may be stored in a storage unit (not shown) provided by the user. Further, the server 404 performs the above-described image decompression processing (see FIGS. 9 and 13) on the compressed image data d50 to obtain decompressed image data d100, and transfers the decompressed image data d100 to the client 401 and/or information processing. It may also be transmitted to device 403.
  • server 404 may perform only one of the above-described image compression processing (see FIGS. 8 and 10) and image decompression processing (see FIGS. 9 and 13).
  • the server 404 performs the above-described image compression processing (see FIGS. 8 and 10) on the image data d0 sent from the client 401 and/or the information processing device 403 via the network 405, and creates a compressed image.
  • Data d50 may also be stored.
  • the server 404 may transmit the compressed image data d50 to the client 401 and/or the information processing device 403 without performing image decompression processing, in response to a request.
  • the client 401 and/or the information processing device 403 functions as the above-described image processing device 12, and performs the above-described image decompression processing (see FIGS. 9 and 13) on the received compressed image data d50 to create a decompressed image.
  • the server 404 also stores compressed image data d50 sent via the network 405 from the client 401 and/or information processing device 403, and performs image decompression processing on the compressed image data d50 in response to a request to create a decompressed image.
  • Data d100 may also be transmitted.
  • the client 401 and/or the information processing device 403 functions as the above-described image processing device 12, and performs the above-described image compression processing (see FIGS. 8 and 10) on the image data d0 to generate compressed image data d50. get.
  • the server 404 also functions as the above-described image processing device 12, and performs the above-described image decompression processing (see FIGS. 9 and 13) on the compressed image data d50 to obtain decompressed image data d100.
  • the server 404 may not function as the image processing device 12 described above, but may function only as the storage unit 13 described above. That is, the server 404 stores the compressed image data d50 sent from the client 401 and/or the information processing device 403 via the network 405, and transmits the compressed image data d50 to the client 401 and/or the information processing device 403 in response to a request. may be sent. In this case, the client 401 and/or the information processing device 403 function as the image processing device 12 described above.
  • the client 401 and the information processing device 403 may have equivalent functions, or may play different roles.
  • the information processing device 403 may exclusively transmit image data d0 or compressed image data d50 to the server 404, while the client 401 may exclusively acquire compressed image data d50 or decompressed image data d100 from the server 404. .
  • the technical categories that embody the above technical ideas are not limited.
  • the above technical idea may be embodied by a computer program for causing a computer to execute one or more procedures (steps) included in the method of manufacturing or using the above-described device.
  • the above-mentioned technical idea may be embodied by a computer-readable non-transitory recording medium on which such a computer program is recorded.
  • a square root calculation unit that obtains first compressed image data by calculating a plurality of pixel square roots that are square roots of each of a plurality of original pixel values based on a plurality of pixel values included in the image data; a fraction processing unit that obtains second compressed image data by performing fraction processing of the square roots of the plurality of pixels;
  • the plurality of original pixel values are derived by dividing the plurality of pixel values included in the image data by a reference pixel value that is an output value equivalent to one electron in photoelectric conversion processing of the image sensor that acquired the image data. be done, The image processing device according to item 1.
  • the fraction processing unit obtains the second compressed image data by rounding a value below the decimal point of each of the square roots of the plurality of pixels based on rounding.
  • the image processing device according to item 1 or 2.
  • the fraction processing unit calculates, for each of the plurality of pixel square roots, an approximate original pixel value that has the smallest difference n ⁇ 2 (n is a natural number) with respect to the original pixel value corresponding to each pixel square root, and calculates the approximate original pixel value that is n ⁇ 2 (n is a natural number). employing n for the original pixel value as the pixel value of the second compressed image data;
  • the image processing device according to any one of items 1 to 3.
  • [Item 5] comprising a word length adjustment unit that obtains third compressed image data by reducing the word length of the second compressed image data according to the size of a plurality of pixel values included in the second compressed image data;
  • the image processing device according to any one of items 1 to 4.
  • the word length adjustment unit reduces the word length of the second compressed image data according to the number of significant digits of the maximum value among the plurality of pixel values included in the second compressed image data, thereby improving the third compressed image data. obtain image data, The image processing device according to item 5.
  • the second compressed image data has a word length of 16 bits or more
  • the third compressed image data has a word length of 8 bits or less
  • the image processing device according to item 5 or 6.
  • [Item 8] comprising a compression processing unit that performs compression processing on compressed image data based on the second compressed image data to obtain fourth compressed image data;
  • the image processing device according to any of items 1 to 7.
  • [Item 9] comprising a word length adjustment unit that obtains third compressed image data by reducing the word length of the second compressed image data according to the size of a plurality of pixel values included in the second compressed image data,
  • the compression processing unit performs compression processing on the third compressed image data to obtain fourth compressed image data.
  • the image processing device according to item 8.
  • [Item 10] comprising a storage processing unit that stores compressed image data based on the second compressed image data (for example, the second compressed image data, the third compressed image data, or the fourth compressed image data) in a storage unit;
  • the image processing device according to any of items 1 to 9.
  • the image processing device according to any one of items 1 to 10.
  • [Item 12] comprising a word length restoring unit that increases the word length of compressed image data based on the second compressed image data;
  • the decoding unit converts a plurality of pixel values included in the compressed image data based on the second compressed image data after the word length restoring unit increases the word length of the compressed image data based on the second compressed image data. Performs the process of squaring, The image processing device according to item 11.
  • a compression processing unit that performs compression processing on compressed image data based on the second compressed image data to obtain fourth compressed image data
  • a decompression processing unit that performs decompression processing on compressed image data based on the second compressed image data,
  • the compressed image data to which the decompression process is performed is based on the fourth compressed image data,
  • the decompression process is a process corresponding to the compression process performed by the compression processing unit,
  • the image processing device according to item 11 or 12.
  • the plurality of original pixel values are derived by dividing the plurality of pixel values included in the image data by a reference pixel value that is an output value equivalent to one electron in photoelectric conversion processing of the image sensor that acquired the image data.
  • the decoding unit performs decompression by multiplying a plurality of pixel square values obtained by squaring a plurality of pixel values included in compressed image data based on the second compressed image data by the reference pixel value. get pixel value,
  • the image processing device according to any of items 11 to 13.
  • Imaging processing system 11 Imaging element, 12 Image processing device, 13 Storage unit, 14 Display device, 15 Imaging processing control unit, 21 Square root calculation unit, 22 Fraction processing unit, 23 Word length adjustment unit, 24 Compression processing unit, 25 Storage processing section, 31 Decompression processing section, 32 Word length restoration section, 33 Decoding section, 34 Output processing section, 80 Photon, 81 Pixel, 82 Electron, 83 Electron storage section, 101 Microscope, 102 Stage, 103 Optical system, 103A Objective Lens, 103B Imaging lens, 103C Dichroic mirror, 103D Emission filter, 103E Excitation filter, 104 Light source, 105 Stage drive section, 106 Light source drive section, 107 Data processing section, 112 Fluorescence signal acquisition section, 200 Imaging device, 201 Imaging main body Section, 202 Imaging optical system, 203 Imaging light emitting unit, 300 Mobile device, 301 Device body, 302 Device imaging unit, 400 Client server system, 401 Client, 403 Information processing device, 404 Server, 405 Network, d0 Image data, d1

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Biomedical Technology (AREA)
  • Hematology (AREA)
  • Molecular Biology (AREA)
  • Urology & Nephrology (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Medicinal Chemistry (AREA)
  • Pathology (AREA)
  • Food Science & Technology (AREA)
  • Signal Processing (AREA)
  • Biotechnology (AREA)
  • Cell Biology (AREA)
  • Microbiology (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

[課題]画像データのノイズを低減させつつ、当該画像データの画像圧縮処理を行うのに有利な技術を提供する。 [解決手段]画像処理装置は、画像データに含まれる複数の画素値に基づく複数の元画素値のそれぞれの平方根である複数の画素平方根を算出することで第1圧縮画像データを取得する平方根算出部と、複数の画素平方根の端数処理を行うことで第2圧縮画像データを取得する端数処理部と、を備える。

Description

画像処理装置、画像処理方法及びプログラム
 本開示は、画像処理装置、画像処理方法及びプログラムに関する。
 撮像素子(画像センサ)によって撮像取得される画像には、撮像対象の本来の画像の他にノイズ成分が含まれる。
 特許文献1が開示する装置は、撮像素子に起因するノイズの影響を受けにくい階調空間を利用した画像処理を行う。
国際公開第2006/006373号
 近年の画像センサの高画素化及び大型化に伴って、画像センサから出力される画像のデータ量は増大傾向にある。例えば生体組織画像などの医療用途に使われる画像に関しては、精緻な再現性が要求されるため、各画像のデータ量が大きいことが多く、また同じ被写体の画像を多数、撮像取得されることもある。
 データ量の大きな画像をそのまま記憶部に保存するには、大容量の記憶部が必要とされ、またデータ転送に長い時間を要する。しかしながら大容量の記憶部を準備するには相応のコストがかかる。また長時間にわたるデータ転送処理は、画像保存処理に要する時間の長時間化を招き、システム全体の処理のボトルネックとなって画像保存処理の前後に行われる他の処理を停滞させる要因ともなりうる。
 そのため画像保存処理に先立って画像圧縮処理を行うことで、保存データ量が低減される。これにより記憶部の大容量化を抑え、画像保存処理に要する時間を短縮して、システム全体の処理効率の向上及び処理時間の短縮を促すことができる。
 しかしながら画像圧縮処理(特に非可逆圧縮処理)を行うことによって画像の一部データが欠落し、撮像対象の本来の画像が圧縮解凍後の画像において十分に再現されないことがある。それに加え、そのような画像圧縮処理によって圧縮解凍後の画像におけるノイズが増大することがあり、圧縮解凍後の画像の画質がより一層悪化しやすい。
 なお可逆圧縮処理は、画像の一部データの欠落を防ぐことはできるが本来的に圧縮率が小さいため、画像のデータ量を十分に圧縮低減することができず、記憶部の大容量化及び画像保存処理の長時間化を必ずしも十分には解消することができない。
 本開示は、画像データのノイズを低減させつつ、当該画像データの画像圧縮処理を行うのに有利な技術を提供する。
 本開示の一態様は、画像データに含まれる複数の画素値に基づく複数の元画素値のそれぞれの平方根である複数の画素平方根を算出することで第1圧縮画像データを取得する平方根算出部と、複数の画素平方根の端数処理を行うことで第2圧縮画像データを取得する端数処理部と、を備える画像処理装置に関する。
 複数の元画素値は、画像データを取得した撮像素子の光電変換処理における1電子相当の出力値である基準画素値によって、画像データに含まれる複数の画素値を除算することで導出されてもよい。
 端数処理部は、四捨五入に基づき、複数の画素平方根の各々の小数点以下の数値を丸めることで第2圧縮画像データを取得してもよい。
 端数処理部は、複数の画素平方根の各々に関し、各画素平方根に対応する元画素値に対して最も差分の少ないn^2(nは自然数)である近似元画素値を求め、当該近似元画素値についてのnを第2圧縮画像データとして採用してもよい。
 画像処理装置は、第2圧縮画像データに含まれる複数の画素値の大きさに応じて第2圧縮画像データのワード長を減らすことで、第3圧縮画像データを取得するワード長調整部を備えてもよい。
 ワード長調整部は、第2圧縮画像データに含まれる複数の画素値のうちの最大値の有効桁数に応じて第2圧縮画像データのワード長を減らすことで、第3圧縮画像データを取得してもよい。
 第2圧縮画像データは、16ビット以上のワード長を有し、第3圧縮画像データは、8ビット以下のワード長を有してもよい。
 画像処理装置は、第2圧縮画像データに基づく圧縮画像データの圧縮処理を行って第4圧縮画像データを取得する圧縮処理部を備えてもよい。
 画像処理装置は、第2圧縮画像データに含まれる複数の画素値の大きさに応じて第2圧縮画像データのワード長を減らすことで第3圧縮画像データを取得するワード長調整部を備え、圧縮処理部は、第3圧縮画像データの圧縮処理を行って第4圧縮画像データを取得してもよい。
 画像処理装置は、第2圧縮画像データに基づく圧縮画像データを記憶部に保存する保存処理部を備えてもよい。
 画像処理装置は、第2圧縮画像データに基づく圧縮画像データに含まれる複数の画素値を自乗する処理を行うデコード部を備えてもよい。
 画像処理装置は、第2圧縮画像データに基づく圧縮画像データのワード長を増やすワード長復元部を備え、デコード部は、ワード長復元部によって第2圧縮画像データに基づく圧縮画像データのワード長が増やされた後に、第2圧縮画像データに基づく圧縮画像データに含まれる複数の画素値を自乗する処理を行ってもよい。
 画像処理装置は、第2圧縮画像データに基づく圧縮画像データの圧縮処理を行って第4圧縮画像データを取得する圧縮処理部と、第2圧縮画像データに基づく圧縮画像データに対して解凍処理を行う解凍処理部と、を備え、解凍処理が行われる圧縮画像データは、第4圧縮画像データに基づいており、解凍処理は、圧縮処理部が行う圧縮処理に対応する処理であってもよい。
 複数の元画素値は、画像データを取得した撮像素子の光電変換処理における1電子相当の出力値である基準画素値によって、画像データに含まれる複数の画素値を除算することで導出され、デコード部は、第2圧縮画像データに基づく圧縮画像データに含まれる複数の画素値を自乗することで得られる複数の画素自乗値に対して基準画素値を乗算することで複数の解凍画素値を取得してもよい。
 画像データは、生体組織画像データであってもよい。
 生体組織画像データは、蛍光抗体画像データであってもよい。
 本開示の他の態様は、画像データに含まれる複数の画素値に基づく複数の元画素値のそれぞれの平方根である複数の画素平方根を算出することで第1圧縮画像データを取得するステップと、複数の画素平方根の端数処理を行うことで第2圧縮画像データを取得するステップと、を含む画像処理方法に関する。
 本開示の他の態様は、コンピュータに、画像データに含まれる複数の画素値に基づく複数の元画素値のそれぞれの平方根である複数の画素平方根を算出することで第1圧縮画像データを取得する手順と、複数の画素平方根の端数処理を行うことで第2圧縮画像データを取得する手順と、を実行させるためのプログラムに関する。
図1は、撮像素子(特に画素)における光電変換を説明するための概念図である。 図2は、16ビットの画素データである画素値の概念図である。 図3は、16ビットの画素データである画素値の概念図である。 図4は、16ビットの画素データである画素値の概念図である。 図5は、16ビットの画素データである画素値の概念図である。 図6は、16ビットの画素データである画素値の概念図である。 図7は、撮像処理システムの構成例を示すブロック図である。 図8は、画像処理装置の機能構成例を示すブロック図であり、特に画像圧縮処理に関連する機能構成を示す。 図9は、画像処理装置の機能構成例を示すブロック図であり、特に画像解凍処理に関連する機能構成を示す。 図10は、画像圧縮処理の一例を示すフローチャートである。 図11は、画素データの平方根の算出を説明する画素データの概念図である。 図12は、端数処理例を説明するための図である。 図13は、画像解凍処理の一例を示すフローチャートである。 図14は、顕微鏡システムの構成例を示すブロック図である。 図15は、撮像装置の一例を示す図である。 図16は、モバイルデバイスの一例を示す図である。 図17は、クライアントサーバシステムの一例を示す図である。
 図面を参照して本開示の典型的な実施形態について説明する。
 以下では、主として、処理対象の画像データが生体組織画像データ(例えば蛍光抗体画像データ)である場合について例示する。ただし、以下で説明する技術を適用可能な画像データは限定されない。下述の技術は、医療以外の任意の用途で使用される画像データに対しても適用可能であり、例えば通常のスナップ写真に対しても適用可能である。
 以下の説明において、画像データは単に「画像」とも呼ばれ、多数の画素値(画素データ)を集合的に含む。
 生体組織画像では、その特異的な用途のため、明るい画像領域においてだけではなく暗い画像領域においても、本来の画質の適切な保持が必要とされることがある。
 例えば研究者や医師は、明るい画像領域の微細組織構造だけではなく、暗い画像領域の微細組織構造も視認して、一般人であれば看過してしまうようなザラつき感などの質感を観察することで、癌などの細胞の異常の有無を判断する。
 観察対象の生体組織画像が複数の周波数成分(複数の周波数パターン)を含む場合、ある周波数成分が他の周波数成分の感受性を下げるため、一般人には、そのような生体組織画像中の微細組織構造を認知することが難しい。一方、そのような画像に対する目の距離や角度を変えながら観察を行うことで各周波数成分の感受性が変わることを熟知している研究者や医師であれば、それぞれの周波数成分の機微を見分けて、生体組織画像中の微細組織構造を適切に認知することが可能である。
 また他の目的でも、明るい画像領域及び暗い画像領域の両方を含む生体組織画像において、とりわけ暗い画像領域に注目して観察を行うことが求められる場合がある。
 そのため生体組織画像に関しては、通常のスナップ写真などに比べ、より広いダイナミックレンジを確保して微細なテクスチャーを保全することが要求される。
 例えば蛍光顕微による生体組織観察では、観察対象の生体組織範囲において蛍光発現する蛋白の種類や量が大きくばらつき、蛍光抗体の発光効率及び発光量(蛍光量)が観察部位間で大きく異ることがある。そのような場合に得られる蛍光抗体画像は、明るい画像領域及び暗い画像領域の両方を含みうる。
 ただし蛍光抗体画像は、通常のスナップ写真とは異なり、蛍光抗体分子を励起させる励起光による組織の劣化を抑えるため、励起光の照射光量が抑制された状態で撮像が行われる。そのため蛍光抗体画像に含まれる蛍光信号量がそもそも小さく、蛍光抗体画像は全体的に暗くなりやすい傾向がある。
 このように暗い画像領域を一部又は全体にわたって含む蛍光抗体画像などの生体組織画像では、ショットノイズなどのノイズ成分の影響が相対的に大きくなり、無視できない水準でノイズ成分が生体組織画像に含まれることも少なくない。
 そのため、生体組織画像において被写体の本来の画像が適切に観察可能なように、ノイズ成分を低減する画像処理が生体組織画像に対して行われることが好ましい。
 そのような画像処理手法として、複数回の撮像を行って複数の蛍光抗体画像を取得し、当該複数の蛍光抗体画像の平均化に基づいて、ノイズ成分が低減された蛍光抗体画像を取得する手法がある。しかしながら当該手法では、組織に対する励起光の照射を複数回行うことになり、そのような複数回の励起光照射による組織の劣化が懸念されるため、当該手法の採用が難しい場合も多い。
 生体組織画像を取得する場合、観察対象の生体組織を含むスライドの全体を、多種類の波長(例えば100種類以上の波長)の光を使って撮像し、そのような撮像が複数のスライドのそれぞれに対して行われることがある。
 すなわち生体組織画像を取得する場合、顕微鏡の単一視野内の画像のみを撮像保存する場合もあるが、スライド全体をスキャンしながら撮像を行うことでスライド全体の画像を取得して、保存する場合もある。また蛍光顕微鏡画像を取得する場合には、様々な波長の励起光が用いられて撮像が行われることもある。
 このような撮像により得られる生体組織画像のデータ量は膨大である。
 そのような膨大な画像データの保存は、ストレージ(記憶部)のコスト増大を招く。また保存対象画像のデータ量が大きくなるに従って、ストレージへのデータ転送に要する時間が長くなる。データ転送の長時間化は、システム全体のパフォーマンス性能の向上を阻害するボトルネックとなりうる。
 例えば「30,000px×30,000px(16bit)」の画像を335チャネルCHの波長で保存する場合、画像データ量は1スライド当たりおよそ603GBとなる。この画像データを、例えば255MB/sの転送速度でハードディスクドライブ(HDD)に保存する場合、画像データの保存の開始から終了までにおよそ39.41分の時間がかかることになる。
 この場合、画像の転送及び保存に要する時間は、画像の撮像取得に要する時間を大幅に上回り、システム全体としての処理速度を大幅に遅延させる要因となる。
 HDDよりも転送速度が速いSATA SSD(転送速度:750MB/s)やM.2 SSD(転送速度:2800MB/s)をストレージとして使用する場合、画像データの保存の開始から終了までの時間がそれぞれ13.40分及び3.59分程度となる。このように転送速度の速いストレージを用いることで、画像データの保存に要する時間が短縮され、システムパフォーマンスが大幅に改善される。
 ただし、そのような優れたデータ転送速度性能を有するストレージは非常に高価であり、コスト面で採用が難しい場合がある。
 上述のようなストレージコストの増大やデータ転送時間の長大化を抑えるには、ストレージへの保存に先立って、保存対象の生体組織画像のデータ量を画像圧縮処理により低減することが有効である。
 しかしながら汎用の画像圧縮処理を生体組織画像に適用すると、ダイナミックレンジ(例えば暗い画像領域におけるテクスチャー)が犠牲になる。
 例えばDCT圧縮を利用するJPEGでは、画像全体の明るさを考慮してDCT圧縮の量子化レベルをショットノイズよりも十分に高いレベルに設定することで、高圧縮率の圧縮画像データを取得することが可能である。ただしこのような圧縮処理は、ダイナミックレンジを犠牲にすることで画像データ量を低減する処理であるため、暗い画像領域におけるテクスチャーが失われる。
 通常のスナップ写真であれば、明るい画像領域に隣接する暗い画像領域の濃淡が画像全体の質感に与える影響は小さいので、圧縮処理によって暗い画像領域におけるテクスチャーが失われても、観察上の実際的な不都合は殆どないことが多い。
 一方、暗い画像領域においても精緻なテクスチャーの保全が求められる生体組織画像には、ダイナミックレンジを犠牲にするDCT圧縮などの汎用の圧縮処理は不向きである。
 また生体組織画像は精緻な画像再現性が要求されるため、生体組織画像は大きなビット深度を持つ傾向があり、例えば16ビット以上のワード長を持つことも珍しくない。
 その一方で、汎用画像圧縮ライブラリ(画像エンコーダ)の多くは、8ビット以下のワード長を持つ画像に対しては適用可能であるが、16ビット以上のワード長を持つ画像に対して適用可能な汎用画像圧縮ライブラリは非常に限られている。
 このように広ダイナミックレンジを確保し且つノイズの増大を抑えながら、高ビット画像を圧縮効率良く圧縮可能な汎用画像圧縮ライブラリは見当たらない。
 なお、生体組織画像以外にも本来的に膨大なデータサイズを有する画像はあり、そのような膨大なデータサイズを有する画像の取り扱いに関しても、上述の生体組織画像と同様の技術的課題がある。
 以下、画像データを圧縮しつつ、ショットノイズなどのノイズ成分を低減するのに有利な画像処理技術を例示的に説明する。
 図1は、撮像素子(特に画素81)における光電変換を説明するための概念図である。図2は、16ビットの画素データである画素値d1の概念図である。
 図1に示すように、撮像素子の画素81は受光した光子80に応じた電子82を出力し、画素81から出力される電子82が電子貯留部83に蓄積される。
 そして電子貯留部83に蓄積される電圧(電子82の数)のデジタル変換(A/D変換)を行うことで、デジタルデータ(図2に示す例では16ビットのデジタルデータ(2進数データ))の画素値d1(画素データ)が出力される。
 このようにして撮像素子から出力される画素データ(画像データ)は、主たるノイズ成分としてショットノイズを含む。
 ショットノイズは、各画素81で行われる光電変換に伴って必然的に生じる回路ノイズの一種であり、光子及び電子などの粒子の計測に付随する本質的誤差に基づく。
 ショットノイズの大きさは観察光の強度や電流の平均値の平方根に比例し、観察光強度や電流値が小さいほど、各画素81から出力される画素値d1においてショットノイズの絶対値が占める割合が大きくなる傾向がある。
 そのため、撮像時の照明光量(例えば蛍光分子を励起する励起光源の出力)を増大させることにより、撮像画像データにおけるショットノイズの比率を減少させることが可能である。
 しかしながら実際には、撮影時の光によって生体試料及び蛍光抗体試薬にもたらされうるダメージを考慮すると、撮影対象の生体組織に対する長時間露光及び多数回露光を行えないことが多い。
 ショットノイズは情報エントロピー(すなわち予測不能性)を上げ、可逆圧縮処理及び非可逆圧縮処理のいずれにおいても画像圧縮の効率低下を招くとともに、観察者に有益な情報を提供しない。
 その一方で、ショットノイズを信号光量(すなわちイメージセンサの半導体内で生じる電子数)の平方根よりも小さくすることは量子力学的制約により本質的にできない。すなわちショットノイズは、物理的本質に根ざして発生するノイズ成分であり、非常に特殊な状況以外においてショットノイズを信号光量の平方根よりも小さくすることはできない。
 ショットノイズは、各画素で検出される光強度の期待値の平方根に等しい又は比例するため、ショットノイズのノイズレベルは画素毎に異なりうる。そのため、ショットノイズのノイズレベルを画像全体(すなわち全画素)にわたって画一的に設定することでショットノイズを一律的に低減する、ということができない。
 図3~図6は、16ビットの画素データである画素値d1の概念図である。図3~図6には、それぞれ有効桁数が異なる画素値d1が例示されている。
 ショットノイズの標準偏差は、画素値d1(すなわち画素信号値(検出光量値))の平方根(=d1^(1/2))に等しい又は比例する。
 ショットノイズの桁数は「Log[d1^(1/2)] = 1/2×Log[d1]」で表現される。
 当該式からも明らかなように、ショットノイズは、画素値d1の有効桁のおよそ下位半分の桁を占める。つまり二進法で表される画素値d1の有効桁の下位半分の桁は、ショットノイズが支配するノイズ支配桁(すなわちショットノイズフロア)であり(図3~図6参照)、被写体画像に関する本質的な情報を殆ど含まない。
 下述の画像圧縮技術は当該知見に基づいており、各画素値d1(各画素の光強度信号)の有効桁のうちショットノイズが支配する下位の桁の数値が、被写体画像を表すデータとしてあまり意味を持たないことに着目している。
 すなわち、保存対象の画像データの桁数をショットノイズフロアの桁数に応じて減じることで、一次的な画像圧縮が行われる。これにより、画像データのデータ量を半分程度に圧縮することが可能であるとともに、画像データの本質的な成分ではないショットノイズを低減して情報エントロピーを下げることが可能である。
 その結果、記憶部に実際に記憶される画像データ量が大幅に低減され、ストレージコストの大幅な低減及びデータ転送時間の大幅な短縮(ひいては保存処理時間の大幅な短縮)が可能である。
 また画像圧縮処理によって、画像データからショットノイズフロアが除去されてショットノイズ成分に相当する部分だけが低減されるため、画質の劣化が非常に少ない。また、画像圧縮処理によってショットノイズが低減した画像データに対して追加的な画像圧縮処理を行う場合には、そのような追加的画像圧縮処理の効率の向上も期待できる。
 以下、具体的な装置構成例及び処理構成例について説明する。
 図7は、撮像処理システム10の構成例を示すブロック図である。
 図7に示す撮像処理システム10は、撮像素子11、画像処理装置12、記憶部13、表示装置14及び撮像処理制御部15を備える。撮像処理システム10は、単一デバイスにより構成されてもよいし、複数のデバイスが組み合わされて構成されてもよい。
 撮像素子11、画像処理装置12、記憶部13及び表示装置14は、撮像処理制御部15の制御下で駆動する。
 撮像素子11は、被写体からの撮像光を受光して、被写体像を含む画像データd0を出力する。
 撮像素子11は任意の構成を有することができ、典型的にはCCD画像センサ又はCMOS画像センサによって構成される。
 撮像素子11によって取得される画像データd0は限定されず、生体組織画像データ(例えば蛍光抗体画像データ)であってもよいし、他の任意の対象を撮像することで得られる画像データであってもよい。
 撮像素子11から出力される画像データd0は画像処理装置12に入力され、画像処理装置12において各種の画像処理を受ける。
 画像処理装置12で行われる画像処理は限定されないが、本実施形態の画像処理装置12は、少なくとも画像圧縮処理及び画像解凍処理を行う。
 すなわち画像処理装置12は、画像データd0に対して画像圧縮処理を行うことで圧縮画像データd50を生成し、当該圧縮画像データd50を記憶部13に出力する。記憶部13は、画像処理装置12から出力される圧縮画像データd50を保存する。
 また画像処理装置12は、記憶部13から読み出した圧縮画像データd50に対して画像解凍処理を行うことで解凍画像データd100を生成し、当該解凍画像データd100を表示装置14に出力する。表示装置14は、画像処理装置12から出力される解凍画像データd100を表示する。
 画像処理装置12から出力される解凍画像データd100は、表示装置14に加え又は表示装置14の代わりに、他の任意のデバイスに送信されてもよい。
 図7に示す例では、画像圧縮処理及び画像解凍処理が共通の画像処理装置12によって行われるが、画像圧縮処理及び画像解凍処理が別々の画像処理装置12によって行われてもよい。
 図8は、画像処理装置12の機能構成例を示すブロック図であり、特に画像圧縮処理に関連する機能構成を示す。
 図8に示す画像処理装置12は、平方根算出部21、端数処理部22、ワード長調整部23、圧縮処理部24及び保存処理部25を有する。
 平方根算出部21は、撮像素子11から入力される画像データd0に含まれる複数の画素値d1に基づく複数の元画素値のそれぞれの平方根である複数の画素平方根を算出することで、第1圧縮画像データd11を取得する。
 ここでの複数の元画素値は、画像データd0を取得した撮像素子11の光電変換処理における1電子相当の出力値である基準画素値によって、画像データd0に含まれる複数の画素値d1のそれぞれを除算することで導出される。
 或いは、複数の元画素値は、画像データd0に含まれる複数の画素値d1そのものであってもよい。この場合、平方根算出部21は、算出した各画素値d1の平方根を、基準画素値の平方根によって除算することで、第1圧縮画像データd11を取得する。
 ここで用いられる基準画素値は、撮像素子11の各画素81(図1参照)における「1電子当たりの出力値k[LSB](LSB:Least Significant Bit)」の絶対値によって表される。すなわち撮像素子11の各画素81の出力値(画素値)の1[LSB]は、必ずしも「1つの電子」に相当するわけではなく、ある係数kに基づいて増幅された値が各画素81から出力されることが多い。そのため撮像素子11の各画素81は、「1電子=k[LSB]」の関係性に基づく画素値d1を出力する。
 したがって上述のように、各画素値d1を基準画素値kによって除算した後に平方根算出を行うことで、或いは、各画素値d1の平方根算出後に基準画素値kの平方根を使って除算を行うことで、1[LSB]が「1電子」に相当するように画素値d1が調整される。その結果、ショットノイズ及び量子化ノイズをおよそ等しくすることができ、実質的な情報の欠落を抑えつつ、画素強度情報の有効桁数を低減させることができる。
 端数処理部22は、第1圧縮画像データd11に含まれる複数の画素平方根の端数処理を行うことで、整数化された第2圧縮画像データd12を取得する。例えば、端数処理部22は、四捨五入に基づき、複数の画素平方根の各々の小数点以下の数値(すなわち小数部)を丸めることで第2圧縮画像データd12を取得することができる。
 ただし端数処理部22は、四捨五入以外のやり方で端数処理を行うことも可能である(後述の図12参照)。
 ワード長調整部23は、第2圧縮画像データd12に含まれる複数の画素値の大きさに応じて第2圧縮画像データd12のワード長を減らすことで、第3圧縮画像データd13を取得する。
 例えばワード長調整部23は、第2圧縮画像データd12に含まれる複数の画素値のうちの最大値の有効桁数に応じて第2圧縮画像データd12のワード長を減らすことで、第3圧縮画像データd13を取得することができる。これにより、16ビット以上のワード長を有する第2圧縮画像データd12から、8ビット以下のワード長を有する第3圧縮画像データd13を導出することも可能である。
 圧縮処理部24は、第3圧縮画像データd13の圧縮処理を行って第4圧縮画像データd14を取得する。圧縮処理部24は任意のやり方で圧縮処理を行うことができ、汎用画像圧縮ライブラリを利用した圧縮処理を行ってもよい。
 保存処理部25は、第4圧縮画像データd14に基づく圧縮画像データd50を記憶部13に保存する。圧縮画像データd50は、第4圧縮画像データd14そのものであってもよいし、保存処理部25が第4圧縮画像データd14に更なる処理を行うことで導出される画像データであってもよい。
 なお、上述の圧縮処理部24及び保存処理部25における処理対象データである第3圧縮画像データd13及び第4圧縮画像データd14は、いずれも「第2圧縮画像データd12に基づく圧縮画像データ」に該当する。
 図9は、画像処理装置12の機能構成例を示すブロック図であり、特に画像解凍処理に関連する機能構成を示す。
 共通の画像処理装置12によって画像圧縮処理及び画像解凍処理が行われる場合、画像処理装置12は、図8に示す画像圧縮処理に関連する機能構成に加え、図9に示す画像解凍処理に関連する機能構成を有する。別々の画像処理装置12によって画像圧縮処理及び画像解凍処理が行われる場合、一方の画像処理装置12が図8に示す画像圧縮処理に関連する機能構成を有し、他方の画像処理装置12が図9に示す画像解凍処理に関連する機能構成を有する。
 図9に示す画像処理装置12は、解凍処理部31、ワード長復元部32、デコード部33及び出力処理部34を有する。
 解凍処理部31は、記憶部13から読み出される圧縮画像データd50(すなわち第4圧縮画像データd14)に対して解凍処理を行い、第1解凍画像データd21を取得する。このようにして解凍処理部31によって行われる解凍処理は、上述の圧縮処理部24(図8参照)が行う圧縮処理に対応する処理である。
 ワード長復元部32は、第1解凍画像データd21のワード長を増やして、第2解凍画像データd22を取得する。すなわちワード長復元部32は、第1解凍画像データd21のワード長を、上述の画像圧縮処理においてワード長調整部23(図8参照)が減らしたワード長分と同じワード長分だけ増やすことで、第2解凍画像データd22を取得する。
 このようにワード長復元部32によって行われる解凍処理は、上述のワード長調整部23が行う圧縮処理に対応する処理である。ワード長復元部32から出力される第2解凍画像データd22のワード長は、上述の圧縮処理(図8)が行われる前の画像データd0のワード長と同じワード長になる。
 デコード部33は、第2解凍画像データd22に含まれる複数の画素値を自乗する処理を行う。すなわちデコード部33は、ワード長復元部32によって第1解凍画像データd21のワード長が増やされて第2解凍画像データd22が取得された後に、第2解凍画像データd22に含まれる複数の画素値を自乗する処理を行う。
 そしてデコード部33は、第2解凍画像データd22に含まれる複数の画素値を自乗することで得られる複数の画素自乗値に対して基準画素値を乗算することで、複数の解凍画素値を取得する。或いはデコード部33は、第2解凍画像データd22に含まれる複数の画素値を、基準画素値の平方根で乗算した後に自乗することで、複数の解凍画素値を取得してもよい。このようにしてデコード部33で用いられる基準画素値は、上述の平方根算出部21(図9参照)が、画像データd0に含まれる画素値d1から複数の元画素値を取得する際にも用いられている。
 このようにデコード部33によって行われる解凍処理は、上述の平方根算出部21が行う平方根算出処理に対応する処理である。
 デコード部33は、複数の解凍画素値を含む第3解凍画像データd23を出力処理部34に出力する。出力処理部34は、第3解凍画像データd23を解凍画像データd100として表示装置14に出力する。表示装置14は、出力処理部34から入力される解凍画像データd100(本実施形態では第3解凍画像データd23)を表示する。
 上述の解凍処理部31、ワード長復元部32及びデコード部33における処理対象データである第4圧縮画像データd14、第1解凍画像データd21及び第2解凍画像データd22は、いずれも第2圧縮画像データd12に基づく圧縮画像データに該当する。
 次に、上述の画像処理装置12によって行われる画像処理方法(すなわち画像圧縮処理及び画像解凍処理)の一例について説明する。
[画像圧縮処理]
 図10は、画像圧縮処理の一例を示すフローチャートである。
 まず画像処理装置12(図8参照)に、処理対象の画像データd0が入力される(図10のS1)。
 そして画像処理装置12の平方根算出部21(図8参照)によって、画像データd0のそれぞれの画素値d1の平方根(複数の画素平方根)が算出されて第1圧縮画像データd11が取得される(図10のS2)。
 本実施形態では、生体組織画像が画像データd0として使われるが、画像データd0として利用可能な画像は限定されない。画像データd0として利用可能な生体組織画像は限定されず、例えば明視野顕微鏡画像、暗視野顕微鏡画像、或いは蛍光顕微鏡画像が、画像データd0として画像処理装置12に入力されてもよい。
 顕微鏡画像が画像データd0として使われる場合、画像データd0に含まれる被写体は、視野内の対象だけにとどまらず、スライド全体を1回又は複数回スキャンしながら撮像を行うことでスライド全体を対象としてもよい。また蛍光顕微鏡画像が画像データd0として使われる場合、撮像対象に照射する励起光の波長が変えられながら撮像が行われ、励起光の波長が互いに異なる複数の画像データd0が取得されて、画像処理装置12に入力されてもよい。また撮像対象のスライドは自動的に交換され、撮像素子11による対象のスライドの撮像が自動的に行われ、それぞれのスライドの画像データd0が撮像素子11から画像処理装置12に自動的に入力されてもよい。
 本処理ステップS2において、画像データd0の各元画素値の平方根を算出することは、各元画素値に対する量子化レベル(すなわち1ビットに相当する値)をショットノイズと同等にすることに相当する。
 図11は、画素データの平方根の算出を説明する画素データの概念図である。
 画素データの平方根を算出する処理は、画素データの整数部の有効桁数を半分にする処理となる。
 例えば図11に示すように、16ビットの有効桁数を有する元々の画素データの平方根では、元々の有効桁の上位半分(上位8ビット)の値が整数部に対応し、元々の有効桁の下位半分(下位8ビット)の値は小数部に対応する。
 一方、上述のように、各画素データに含まれるショットノイズは、画素データの有効桁の下位半分の桁(ショットノイズフロア)に相当し(図3~図6参照)、ショットノイズフロアには本来の被写体画像のデータが含まれない又は殆ど含まれない。
 したがって本処理ステップS2において、各元画素値の平方根を算出することは、ショットノイズの大部分が小数部で表され、本来の被写体画像のデータの大部分が整数部で表される画素値を算出することに相当する。
 なお、一般には、量子化レベルの増大に伴って量子化ノイズが増大する傾向があると考えられる。しかしながら本実施形態では、上述のように第1圧縮画像データd11を取得するために各元画素値の平方根が算出されるため、量子化レベルがショットノイズと同等となる。そのため第1圧縮画像データd11を取得する本処理ステップS2において、量子化ノイズが各画素値に対して与える影響は非常に限定的である。
 ショットノイズのレベルは各画素値d1(各画素の信号値)の平方根に等しい又は比例するため、例えば画像データd0中の暗い画像領域ではショットノイズの強度値は絶対的には低く、明るい画像領域ではショットノイズの強度値は絶対的には高い。
 そのため画像データd0の領域全体に対して同一水準レベルで量子化を行うと、明るい画像領域ではノイズ信号成分のみが削減できても、暗い画像領域ではノイズ信号成分とともに被写体画像成分も削減されることがある。
 一方、本実施形態のように画像データd0の各元画素値の平方根を算出することによって、各画素に対する実質的な量子化レベルが元画素値(画素値d1)の大きさに応じて変えられることになる。したがって、明るい画像領域及び暗い画像領域の両方において、画像として意味のある信号成分が量子化によって切り落とされるのを有効に防ぐことができる。
 そして画像処理装置12の端数処理部22(図8参照)によって、第1圧縮画像データd11の各画素値(すなわち各画素平方根)の端数処理が行われ、各画素平方根の小数部が丸められる(図10のS3)。このようにして各画素値が整数化されることで第2圧縮画像データd12が取得され、第2圧縮画像データd12に含まれる複数の画素値の各々は整数値となる。
 例えば端数処理部22は、各画素平方根の小数点第1位の数値を「四捨五入」に基づいて丸めることで各画素値を整数化してもよい。或いは、端数処理部22は、他の任意の手法に基づいて、各画素値の整数化を行ってもよい。
 四捨五入に基づく端数処理は、具体的には、下記の式(1)に基づいて行うことができる。
 式(1) A = IntegerPart[Sqrt[x] + 0.5]
 上記式(1)において、「A」は端数処理によって導出される値(すなわち整数値)を表し、「x」は、元の値である第1圧縮画像データd11の各画素値(各画素平方根)を表す。「Sqrt[x]」は、xの平方根算出演算子を表し、「IntegerPart[Q]」はQの整数部を抽出する演算子を表す。
 上記式(1)で表される四捨五入に基づく端数処理は、演算が単純であるというメリットを有するが、量子化ノイズを最小にする手法ではない。
 図12は、端数処理例を説明するための図である。
 図12において横軸は画素値(元画素値)を表し、縦軸は当該画素値の平方根である画素平方根を表す。図12に示される実線の曲線は、画素値と画素平方根との対応関係を示す。
 図12に示される曲線と、図12の縦軸及び横軸との間で延びる実線の直線は、対応の画素値及び画素平方根の両方が整数値の場合を示す。
 図12に示される曲線と図12の縦軸及び横軸の各々との間で延びる一点鎖線の直線は、画素平方根の端数処理を四捨五入に基づいて行う場合の境界に対応する。
 図12に示される曲線と、図12の縦軸及び横軸の各々との間で延びる点線の直線は、画素平方根の端数処理を、n^2(nは自然数)間の中心値の平方根である丸め基準値に基づいて行う場合の境界に対応する。
 仮に、0~測定最大値までの範囲において等確率で連続的に分布する確率変数に対して平方根圧縮をかけた後に、元確率変数に対する分散を最小にするケースについて考える。この場合、「n^2(nは自然数)」間の中心値(真ん中の値)の平方根を境界値(編入境界値)として使って端数処理(すなわち切り捨て処理及び切り上げ処理)を行うことで、量子化レベルの期待値を最小化できる。
 ここで「n^2(nは自然数)間の中心値」は、例えば(n+(n+1))/2によって表される。したがって「n^2(nは自然数)間の中心値の平方根」は、例えば{(n+(n+1))/2}^(1/2)によって表される。例えば「n(nは自然数)」よりも大きく且つ「n+1」よりも小さい画素平方根は、{(n+(n+1))/2}^(1/2)で表される丸め基準値以上の場合、端数処理によって「n+1」に丸められてもよい。一方、当該画素平方根は、当該丸め基準値よりも小さい場合、端数処理によって「n」に丸められてもよい。
 このように画素平方根の整数化のために、画素平方根に対して四捨五入を適用する場合よりも、上述のn^2(nは自然数)間の中心値の平方根を丸め基準値として画素平方根の端数処理を行う場合の方が、より実情に沿っていると言える。すなわち各画素平方根に関し、各画素平方根に対応する画素値(元画素値)に対して最も差分の少ないn^2(nは自然数)である近似元画素値を求め、当該近似元画素値についてのnを第2圧縮画像データd12の画素値として採用してもよい。
 画素平方根に対して四捨五入を適用する場合、図12の縦軸から横方向に延びる一点鎖線(編入境界)の上下で、端数処理後の整数値が変わる。一方、n^2(nは自然数)間の中心値の平方根を丸め基準値として採用する端数処理を画素平方根に対して適用する場合、図12の縦軸から横方向に延びる点線(編入境界)の上下で、端数処理後の整数値が変わる。したがって図12の縦軸から横方向に延びる一点鎖線と点線との間に位置する画素平方根は、端数処理に四捨五入が用いられると、実情に沿わない値に整数化されてしまい、量子化ノイズの増大をもたらす。
 一方、図12の点線で示すように、各画素平方根に対応する元画素値に対して最も差分の少ないn^2(nは自然数)である近似元画素値についてのnを、各画素平方根の端数処理後の値として採用することで、量子化ノイズの増大を抑えることができる。
 上述の「各画素平方根に対応する元画素値に対して最も差分の少ないn^2(nは自然数)である近似元画素値についてのnを各画素平方根の端数処理後の値として採用する端数処理」は、具体的には下記の式(2)及び(3)に基づいて行うことができる。下記の式(2)及び(3)の各記号の意味合いは、上記の式(1)と同様である。
 式(2) n = IntegerPart[Sqrt[x]]
 式(3) A = IntegerPart[1 + n - Sqrt[1/2 + n + n^2] + Sqrt[x]]
 そして画像処理装置12のワード長調整部23(図8参照)によって、第2圧縮画像データd12のワード長が減らされて第3圧縮画像データd13が取得される(図10のS4)。
 ワード長調整部23によって減らされるデータワード長の程度は限定されないが、第2圧縮画像データd12に含まれる複数の画素値の大きさ(特に最大値)に応じて、第2圧縮画像データd12の各画素値のワード長が減らされることが好ましい。すなわちワード長調整部23によって、第2圧縮画像データd12に含まれる全ての画素値を表記しうる桁数(すなわち最大値の画素値を表記しうる桁数)まで、第2圧縮画像データd12の各画素値のワード長を減らすことができる。
 例えば画像データd0において最大値を示す画素値d1が16ビットの有効桁数を有する場合、上述の平方根算出及び整数化によって当該画素値は8ビットの有効桁数を持つ。そのためワード長調整部23は、第2圧縮画像データd12の各画素値のワード長を減らして、それぞれの画素値が8ビットのワード長を持つ第3圧縮画像データd13を取得してもよい。
 このようにワード長調整部23は、画素データのワード長を半分にキャスト(削減)することができる。このようにして画素データのワード長を半減することで、上述のようにデータ量を半分にできるとともに、ショットノイズの影響を1[LSB]程度に低減できる(上述の図11参照)。
 そして画像処理装置12の圧縮処理部24(図8参照)によって、第3圧縮画像データd13の追加的な圧縮処理が行われて第4圧縮画像データd14が取得される(図10のS5)。
 そして画像処理装置12の保存処理部25(図8参照)によって、第4圧縮画像データd14が圧縮画像データd50として記憶部13に保存される(図10のS6)。
 圧縮処理部24によって行われる追加的な圧縮処理は限定されず、可逆圧縮処理であってもよいし、JPEGなどの非可逆圧縮でもあってもよい。
 このように、上述の処理ステップS2~S4によってショットノイズが低減されてデータ量が圧縮された画像データに対し、追加的な圧縮処理を行うことで、画像データの圧縮率が更に上げられる。
 なお、上述の処理ステップS2~S4における処理によって各画素データのワード長が半分以下になっている場合、画像データ量も半分以下となっているため、既に十分な画像圧縮率が達成されているとも言える。したがって本処理ステップS5を行うことなく、上述の処理ステップS2~S4の結果取得された画像データ(圧縮画像データ)が記憶部13に記憶されてもよい。
 ただし上述の処理ステップS2~S4を通じて削減されるノイズ成分(ショットノイズ)は、観察者にとって意味を持たない情報であり、画像圧縮率の限界を定める情報エントロピーを増大させる要素である。
 そのため、上述の処理ステップS2~S4によってノイズ成分が十分に低減された画像データに対して追加的な画像圧縮処理を行う場合、当該追加的な画像圧縮処理は、処理速度及び圧縮率の点でより良好な結果を期待できる。
 また上述のように、一般的には、JPEGなどのDCT圧縮を利用する圧縮処理は画像暗部のディテールの喪失をもたらしうる。しかしながら、DCT圧縮に先立って上述の処理ステップS2~S4が前段圧縮処理として行われることで、その後に行われるDCT圧縮(追加的な画像圧縮処理)による画像暗部のディテールの喪失が軽減されうる。
 特に平方根算出処理(図10のS2)によって各画素データのダイナミックレンジの圧縮が実効的に行われる一方で、解凍後の画像のダイナミックレンジの低減が抑制されるため、追加的な画像圧縮処理が行われても画像暗部のディテールが失われ難い傾向がある。
 また、そのような追加的圧縮処理を受ける画像データ量は、先行の処理ステップS2~S4による圧縮処理によって、本来の画像データ量の半分以下になっている。そのため追加的圧縮処理に要するデータ転送時間及び圧縮処理演算量が低減され、追加的圧縮処理の全体の処理速度が高速化される。
 また追加的圧縮処理後の画像データ量は、元々の画像データ量の半分以下(往々にして1/10程度)に圧縮される。そのため圧縮画像データd50(第4圧縮画像データd14)を記憶部13に保存する際のデータ転送時間が大幅に短縮され、記憶部13に必要とされる記憶容量を大幅に低減でき、ストレージコストを低減できる。
 また画像データ(画素データ)において、従来手法では広ダイナミックレンジを確保するためには、相応の長さのワード長を確保することが必要である。例えば画像データ(画素データ)のワード長が16ビット程度の長さになると、追加的圧縮処理のために使用可能な汎用圧縮ライブラリが限定的になる。一方、上述の処理ステップS2~S4によって画像データのワード長が十分に減じられることで、追加的圧縮処理に使用可能な汎用圧縮ライブラリの選択の幅が拡がる。
[画像解凍処理]
 図13は、画像解凍処理の一例を示すフローチャートである。
 画像解凍処理は、上述の画像圧縮処理と逆の手順に基づいて実行可能である。
 すなわち、まず、画像処理装置12(例えば解凍処理部31)によって記憶部13から圧縮画像データd50(本実施形態では第4圧縮画像データd14)が取得される(図13のS11)。
 そして解凍処理部31により、圧縮画像データd50に対する解凍処理が行われて第1解凍画像データd21が取得される(S12)。ここでの解凍処理は、上述の圧縮処理部24による圧縮処理(図10のS5参照)に対応する処理である。
 そしてワード長復元部32により、第1解凍画像データd21のワード長が増やされて、第2解凍画像データd22が取得される(S13)。ここでのワード長増大処理は、上述のワード長調整部23によるワード長削減処理(図10のS4参照)に対応する処理である。
 そしてデコード部33により、第2解凍画像データd22に含まれる複数の画素値の各々が自乗されて複数の画素自乗値が取得され、複数の画素自乗値に基準画素値が乗算されて複数の解凍画素値が取得される(S14)。ここでの自乗処理は、上述の平方根算出部21による平方根算出処理(図10のS2参照)に対応する処理である。
 なお本処理ステップS14において、デコード部33は、代わりに、第2解凍画像データd22に含まれる複数の画素値の各々に対して基準画素値の平方根を乗じて得られた値を自乗することで、複数の解凍画素値を取得してもよい。
 そして出力処理部34により、上述の一連の処理S11~S14を経て得られた複数の解凍画素値を含む第3解凍画像データd23が、解凍画像データd100として表示装置14に出力される(S15)。その結果、解凍画像データd100が表示装置14に表示される。
 なお直感的には、上述の画像圧縮処理において行われる平方根算出処理(図10のS2参照)によって、平方根算出処理を行わない場合よりも、量子化ノイズが増大する懸念があるかもしれない。
 しかしながら、上述の画像圧縮処理において、原理的にショットノイズが量子化レベルと同等の割合で画素データに含まれることになるため、実際には量子化ノイズの増大は非常に軽微である。
 本件発明者は、ショットノイズを含む元画素データ(元画像データ)と、元画素データから上述の画像圧縮処理及び画像解凍処理を介して得られた解凍画素データ(解凍画像データ)と、の比較を行った。
 その結果、解凍画素データにおける明白なノイズ増加は見られず、ほぼ全ての画素値強度に関し、解凍画素データに含まれるノイズの大きさは、元画素データに含まれるノイズの大きさの15%以下に抑えられることを、本件発明者は確認した。
 以上説明したように本実施形態によれば、画像データd0のノイズを低減させつつ、当該画像データd0の画像圧縮処理を有利に行うことができる。
 すなわちショットノイズが画素信号値(輝度値)の平方根に等しい又は比例する性質と、画素信号値の平方根算出により画素信号値の有効桁数が半減されるという性質とを利用して、ショットノイズの低減及び保存画像データ量の削減を実現できる。
 このように量子化誤差が、原理的に抑制不能なショットノイズと同等となるように、画像データを数学的に調整することにより、不可避のショットノイズ成分を画像データから取り除いて、画像データ量が削減される。
 したがって、いずれの画素に関しても、各画素の最小値(1[LSB])がショットノイズフロアとなるようにデータ圧縮が行われ、被写体画像として意味のある信号成分は基本的に維持される。そのため、いずれの画素においても、ダイナミックレンジが実質的にほぼ保全された状態でのデータ量圧縮が実現される。例えば画像データが生体組織画像の場合には、広ダイナミックレンジを確保して、組織画像固有のテクスチャーを保全しつつ、保存データ量は元々の画像データ量の半分以下に抑えることが可能である。
 このように本実施形態の画像圧縮処理及び画像解凍処理は、画像データにおける本質的情報の犠牲をもたらさない又は殆どもたらさない。
 また本実施形態の画像圧縮処理及び画像解凍処理における演算が比較的単純であり、各画素データの演算が単一オペランドの演算であるため、高速処理が可能であり、GPU(Graphics Processing Unit)などによる並列処理も容易に実現可能である。
 このように本実施形態に関する上述の画像圧縮技術及び画像解凍技術は、非常にシンプルな方法に基づく一方で、物理的及び数学的に精緻な合理性を持っており、汎用性にも優れる。
 また画像データ量及び情報エントロピーを低減できるため、追加的な圧縮処理の効率も向上される。
 また、記憶部13に記憶される画像データのデータ量が大幅に低減されるため、ストレージコストを下げることができる。またデータ転送時間が短縮されて保存処理時間を大幅に短縮できるため、保存処理の前後に行われる他の処理の停滞を抑え、システム全体としての処理効率の向上及び処理時間の短縮も期待できる。
 特に、マルチスペクトル画像やスライドイメージングのように広域画像はデータ量が膨大になる傾向があるが、本実施形態によれば、そのような膨大なデータ量の画像のより高速な画像保存処理及び画像解凍処理を行うことが可能である。
[応用例]
 上述の実施形態の装置及び方法は一例に過ぎず、上述の画像圧縮技術及び画像解凍技術を適用可能な対象は限定されない。
[顕微鏡システム]
 図14は、顕微鏡システムの構成例を示すブロック図である。
 図14に示す顕微鏡システムは、顕微鏡101及びデータ処理部107を備える。図14には、蛍光染色標本30及び蛍光非染色標本の広視野領域を撮影可能な測定系の一例が示されており、当該測定系は例えばWSI(Whole Slide Imaging)に対しても適用可能である。
 顕微鏡101は、ステージ102と、光学系103と、光源104と、ステージ駆動部105と、光源駆動部106と、蛍光信号取得部112と、を備える。
 ステージ102は、蛍光染色標本30及び蛍光非染色標本を載置可能な載置面を有し、ステージ駆動部105の駆動により当該載置面に対して平行な水平方向(x-y平面方向)及び垂直方向(z軸方向)へ移動可能に設けられている。蛍光染色標本30は、Z軸方向に例えば数μm~数十μmの厚さを有し、スライドガラスSG及びカバーガラス(図示省略)に挟まれつつ、所定の手法により固定されている。
 ステージ102の上方には光学系103が配置される。光学系103は、対物レンズ103Aと、結像レンズ103Bと、ダイクロイックミラー103Cと、エミッションフィルタ103Dと、励起フィルタ103Eと、を備える。光源104は、例えば水銀ランプ等の電球やLED(Light Emitting Diode)等であり、光源駆動部106の駆動によって光を発する。光源104から発せられた光は、光学系103を介して、ステージ102の載置面上の蛍光染色標本30又は蛍光非染色標本に導かれる。
 励起フィルタ103Eは、蛍光染色標本30及び蛍光非染色標本の蛍光像を得る場合に、光源104から出射された光のうち蛍光色素を励起する励起波長の光のみを透過させることで励起光を生成する。ダイクロイックミラー103Cは、励起フィルタ103Eを透過して入射する励起光を反射して対物レンズ103Aへ導く。対物レンズ103Aは、当該励起光を蛍光染色標本30へ集光する。対物レンズ103A及び結像レンズ103Bは、蛍光染色標本30の像を所定の倍率に拡大し、当該拡大像を蛍光信号取得部112の撮像面に結像させる。
 蛍光染色標本30に励起光が照射されると、蛍光染色標本30の各組織に結合している染色剤(蛍光試薬)及び自家蛍光成分が蛍光を発する。この蛍光は、対物レンズ103Aを介してダイクロイックミラー103Cを透過し、エミッションフィルタ103Dを介して結像レンズ103Bへ到達する。エミッションフィルタ103Dは、対物レンズ103Aによって拡大され、励起フィルタ103Eを透過した光の一部を吸収し、発色光の一部のみを透過する。当該外光が喪失された発色光の像は、上述のとおり、結像レンズ103Bにより拡大され、蛍光信号取得部112上に結像される。
 なお図14に示す結像レンズ103Bの代わりに、分光器(図示省略)が設けられてもよい。当該分光器は、1以上のプリズムやレンズ等を用いて構成可能であり、蛍光染色標本30又は蛍光非染色標本からの蛍光を所定方向に分光する。この場合、蛍光信号取得部112は、分光器で分光された蛍光の波長毎の光強度を検出する光検出器として構成され、検出した蛍光信号をデータ処理部107に入力する。
 データ処理部107は、光源駆動部106を介して光源104を駆動させ、蛍光信号取得部112を用いて蛍光染色標本30及び蛍光非染色標本の蛍光スペクトル/蛍光像を取得し、取得した蛍光スペクトル/蛍光像を用いて各種処理を行う。
 上述のように図14に示す顕微鏡システムでは、少なくとも光源104、励起フィルタ103E、ダイクロイックミラー103C及び対物レンズ103Aが、蛍光試薬を励起させる励起光を照射する光照射部として働く。また蛍光信号取得部112が、励起光が照射されている標本(蛍光染色標本30又は蛍光非染色標本)を撮像して標本蛍光スペクトルを取得する撮像装置として働く。またデータ処理部107が、標本蛍光スペクトルの解析を行う情報処理装置として働く。
 なお、図14を参照して説明した上記の装置はあくまで一例であり、上述した実施形態及び変形例に係る測定系は、図14に示す例に限定されない。例えば、顕微鏡システムは、図14に示す構成の全てを必ずしも備えなくてもよいし、図14に示されていない構成を備えてもよい。
 撮影対象領域の全体又は撮影対象領域のうち必要な領域(以下「関心領域」とも称する)についての十分な解像度の画像データ(以下「広視野画像データ」と称する)を取得可能な測定系を使って、上述の実施形態及び変形例を実現しうる。例えば、撮影対象領域の全体又は撮影対象領域のうち必要な領域を一度に撮影可能な測定系や、ラインスキャンにより撮影領域全体又は関心領域の画像を取得する測定系を使って、上述の実施形態及び変形例を実現しうる。
 図14に示す顕微鏡システムにおいて、撮影領域全体が、1回の撮影で画像データを取得可能な領域(以下「視野」と称する)を超えるWSIのような場合、1回の撮影毎にステージ102を動かして視野を移動させることで、各視野の撮影が順次行われる。それぞれの視野の撮影により得られた画像データ(以下「視野画像データ」と称する)をタイリングすることで、撮影領域全体の広視野画像データが生成される。
 上述の図7に示す撮像処理システム10は、図14に示す顕微鏡システムに適用されてもよい。すなわち図14に示す顕微鏡システムにおいて、「蛍光信号取得部112」を図7に示す撮像素子11として使用し、「データ処理部107」を図7に示す画像処理装置12、記憶部13、表示装置14及び撮像処理制御部15として使用してもよい。或いは、「データ処理部107」に加えて又は「データ処理部107」の代わりに他のデバイスが、図7に示す画像処理装置12、記憶部13、表示装置14及び撮像処理制御部15として使われてもよい。
[撮像装置]
 図15は、撮像装置200の一例を示す図である。
 図15に示す撮像装置200は、撮像本体部201に搭載される撮像光学系202及び撮像発光部203を備える。
 撮像装置200はいわゆるデジタルカメラとして構成され、レンズ交換不能なコンパクトカメラ或いはレンズ交換式カメラ(例えば一眼レフカメラやミラーレスカメラ)として構成可能である。ただし撮像装置200の具体的な構成及び用途は限定されない。
 上述の図7に示す撮像処理システム10は、図15に示す撮像装置200に適用されてもよい。すなわち図7に示す撮像素子11、画像処理装置12、記憶部13、表示装置14及び撮像処理制御部15が、図15に示す撮像本体部201に搭載されていてもよい。
[モバイルデバイス]
 図16は、モバイルデバイス300の一例を示す図である。
 図16に示すモバイルデバイス300は、デバイス本体部301に搭載されたデバイス撮像部302を有する。図16に示すデバイス撮像部302はいわゆるフロントカメラとして構成されるが、モバイルデバイス300は、デバイス本体部301の背面側に搭載されるリアカメラ(図示省略)を備えてもよい。
 モバイルデバイス300は、典型的には携帯電話、スマートフォン或いは他のタブレット端末として構成可能である。ただしモバイルデバイス300の具体的な構成及び用途は限定されない。
 上述の図7に示す撮像処理システム10は、図16に示すモバイルデバイス300に適用されてもよい。すなわち図7に示す撮像素子11、画像処理装置12、記憶部13、表示装置14及び撮像処理制御部15が、図16に示すデバイス本体部301に搭載されていてもよい。
[クライアントサーバシステム]
 図17は、クライアントサーバシステム400の一例を示す図である。
 図17に示すクライアントサーバシステム400は、ネットワーク405を介して相互に接続されるクライアント401、情報処理装置403及びサーバ404を含む。
 クライアント401及び情報処理装置403は、ネットワーク405を介し、サーバ404に各種データをアップロードして保存したり、サーバ404に保存されている及び/又はサーバ404が算出した各種データをダウンロードして取得したりしうる。
 サーバ404は、クライアント401及び情報処理装置403からの要求(コマンド信号)に応じて、クライアント401及び情報処理装置403から送られてくる各種データの保存、保存している各種データの送信、或いは各種データ処理を行うことができる。
 例えば、クライアント401及び/又は情報処理装置403からネットワーク405を介してサーバ404に画像データd0が送信されてもよい。この場合、サーバ404は、上述の画像処理装置12及び記憶部13として機能してもよい。すなわちサーバ404は、情報処理装置403から送られてくる画像データd0に対して上述の画像圧縮処理(図8及び図10参照)を行って圧縮画像データd50を取得し、当該圧縮画像データd50を自らが具備する記憶部(図示省略)に保存してもよい。またサーバ404は、当該圧縮画像データd50に対して上述の画像解凍処理(図9及び図13参照)を行って解凍画像データd100を取得し、当該解凍画像データd100をクライアント401及び/又は情報処理装置403に送信してもよい。
 なおサーバ404は、上述の画像圧縮処理(図8及び図10参照)及び画像解凍処理(図9及び図13参照)の一方のみを行ってもよい。
 例えば、サーバ404は、クライアント401及び/又は情報処理装置403からネットワーク405を介して送られてくる画像データd0に対して上述の画像圧縮処理(図8及び図10参照)を行って、圧縮画像データd50を記憶してもよい。そしてサーバ404は、要求に応じて、圧縮画像データd50を、画像解凍処理を行うことなく、クライアント401及び/又は情報処理装置403に送信してもよい。この場合、クライアント401及び/又は情報処理装置403は上述の画像処理装置12として機能し、受信した圧縮画像データd50に対して上述の画像解凍処理(図9及び図13参照)を行って解凍画像データd100を取得する。
 またサーバ404は、クライアント401及び/又は情報処理装置403からネットワーク405を介して送られてくる圧縮画像データd50を記憶し、要求に応じて、圧縮画像データd50の画像解凍処理を行って解凍画像データd100を送信してもよい。この場合、クライアント401及び/又は情報処理装置403は上述の画像処理装置12として機能し、画像データd0に対して上述の画像圧縮処理(図8及び図10参照)を行って圧縮画像データd50を取得する。一方、サーバ404も上述の画像処理装置12として機能し、圧縮画像データd50に対して上述の画像解凍処理(図9及び図13参照)を行って解凍画像データd100を取得する。
 またサーバ404は、上述の画像処理装置12としては機能せず、上述の記憶部13としてのみ機能してもよい。すなわちサーバ404は、クライアント401及び/又は情報処理装置403からネットワーク405を介して送られてくる圧縮画像データd50を記憶し、要求に応じてクライアント401及び/又は情報処理装置403に圧縮画像データd50を送信してもよい。この場合、クライアント401及び/又は情報処理装置403が、上述の画像処理装置12として機能する。
 なおクライアント401及び情報処理装置403は、お互いに同等の機能を有していてもよいし、お互いに異なる役割を果たしてもよい。例えば情報処理装置403は、専らサーバ404に対して画像データd0又は圧縮画像データd50を送信する一方で、クライアント401は、専らサーバ404から圧縮画像データd50又は解凍画像データd100を取得してもよい。
 本明細書で開示されている実施形態及び変形例はすべての点で例示に過ぎず限定的には解釈されないことに留意されるべきである。上述の実施形態及び変形例は、添付の特許請求の範囲及びその趣旨を逸脱することなく、様々な形態での省略、置換及び変更が可能である。例えば上述の実施形態及び変形例が全体的に又は部分的に組み合わされてもよく、また上述以外の実施形態が上述の実施形態又は変形例と組み合わされてもよい。また、本明細書に記載された本開示の効果は例示に過ぎず、その他の効果がもたらされてもよい。
 上述の技術的思想を具現化する技術的カテゴリーは限定されない。例えば上述の装置を製造する方法或いは使用する方法に含まれる1又は複数の手順(ステップ)をコンピュータに実行させるためのコンピュータプログラムによって、上述の技術的思想が具現化されてもよい。またそのようなコンピュータプログラムが記録されたコンピュータが読み取り可能な非一時的(non-transitory)な記録媒体によって、上述の技術的思想が具現化されてもよい。
 [付記]
 本開示は、以下の構成をとることもできる。
 [項目1]
 画像データに含まれる複数の画素値に基づく複数の元画素値のそれぞれの平方根である複数の画素平方根を算出することで第1圧縮画像データを取得する平方根算出部と、
 前記複数の画素平方根の端数処理を行うことで第2圧縮画像データを取得する端数処理部と、
 を備える画像処理装置。
 [項目2]
 前記複数の元画素値は、前記画像データを取得した撮像素子の光電変換処理における1電子相当の出力値である基準画素値によって、前記画像データに含まれる複数の画素値を除算することで導出される、
 項目1に記載の画像処理装置。
 [項目3]
 前記端数処理部は、四捨五入に基づき、前記複数の画素平方根の各々の小数点以下の数値を丸めることで前記第2圧縮画像データを取得する、
 項目1又は2に記載の画像処理装置。
 [項目4]
 前記端数処理部は、前記複数の画素平方根の各々に関し、各画素平方根に対応する元画素値に対して最も差分の少ないn^2(nは自然数)である近似元画素値を求め、当該近似元画素値についてのnを前記第2圧縮画像データの画素値として採用する、
 項目1~3のいずれかに記載の画像処理装置。
 [項目5]
 前記第2圧縮画像データに含まれる複数の画素値の大きさに応じて前記第2圧縮画像データのワード長を減らすことで、第3圧縮画像データを取得するワード長調整部を備える、
 項目1~4のいずれかに記載の画像処理装置。
 [項目6]
 前記ワード長調整部は、前記第2圧縮画像データに含まれる複数の画素値のうちの最大値の有効桁数に応じて前記第2圧縮画像データのワード長を減らすことで、前記第3圧縮画像データを取得する、
 項目5に記載の画像処理装置。
 [項目7]
 前記第2圧縮画像データは、16ビット以上のワード長を有し、
 前記第3圧縮画像データは、8ビット以下のワード長を有する、
 項目5又は6に記載の画像処理装置。
 [項目8]
 前記第2圧縮画像データに基づく圧縮画像データの圧縮処理を行って第4圧縮画像データを取得する圧縮処理部を備える、
 項目1~7のいずれに記載の画像処理装置。
 [項目9]
 前記第2圧縮画像データに含まれる複数の画素値の大きさに応じて前記第2圧縮画像データのワード長を減らすことで第3圧縮画像データを取得するワード長調整部を備え、
 前記圧縮処理部は、前記第3圧縮画像データの圧縮処理を行って第4圧縮画像データを取得する、
 項目8に記載の画像処理装置。
 [項目10]
 前記第2圧縮画像データに基づく圧縮画像データ(例えば前記第2圧縮画像データ、或いは前記第3圧縮画像データ、或いは前記第4圧縮画像データ)を記憶部に保存する保存処理部を備える、
 項目1~9のいずれに記載の画像処理装置。
 [項目11]
 前記第2圧縮画像データに基づく圧縮画像データ(例えば前記第2圧縮画像データ、或いは前記第3圧縮画像データ、或いは前記第4圧縮画像データ)に含まれる複数の画素値を自乗する処理を行うデコード部を備える、
 項目1~10のいずれに記載の画像処理装置。
 [項目12]
 前記第2圧縮画像データに基づく圧縮画像データのワード長を増やすワード長復元部を備え、
 前記デコード部は、前記ワード長復元部によって前記第2圧縮画像データに基づく圧縮画像データのワード長が増やされた後に、前記第2圧縮画像データに基づく圧縮画像データに含まれる複数の画素値を自乗する処理を行う、
 項目11に記載の画像処理装置。
 [項目13]
 前記第2圧縮画像データに基づく圧縮画像データの圧縮処理を行って第4圧縮画像データを取得する圧縮処理部と、
 前記第2圧縮画像データに基づく圧縮画像データに対して解凍処理を行う解凍処理部と、を備え、
 前記解凍処理が行われる圧縮画像データは、前記第4圧縮画像データに基づいており、
 前記解凍処理は、前記圧縮処理部が行う圧縮処理に対応する処理である、
 項目11又は12に記載の画像処理装置。
 [項目14]
 前記複数の元画素値は、前記画像データを取得した撮像素子の光電変換処理における1電子相当の出力値である基準画素値によって、前記画像データに含まれる複数の画素値を除算することで導出され、
 前記デコード部は、前記第2圧縮画像データに基づく圧縮画像データに含まれる複数の画素値を自乗することで得られる複数の画素自乗値に対して前記基準画素値を乗算することで複数の解凍画素値を取得する、
 項目11~13のいずれに記載の画像処理装置。
 [項目15]
 前記画像データは、生体組織画像データである
 項目1~14のいずれに記載の画像処理装置。
 [項目16]
 前記生体組織画像データは、蛍光抗体画像データである
 項目15に記載の画像処理装置。
 [項目17]
 画像データに含まれる複数の画素値に基づく複数の元画素値のそれぞれの平方根である複数の画素平方根を算出することで第1圧縮画像データを取得するステップと、
 前記複数の画素平方根の端数処理を行うことで第2圧縮画像データを取得するステップと、
 を含む画像処理方法。
 [項目18]
 コンピュータに、
 画像データに含まれる複数の画素値に基づく複数の元画素値のそれぞれの平方根である複数の画素平方根を算出することで第1圧縮画像データを取得する手順と、
 前記複数の画素平方根の端数処理を行うことで第2圧縮画像データを取得する手順と、
 を実行させるためのプログラム。
10 撮像処理システム、11 撮像素子、12 画像処理装置、13 記憶部、14 表示装置、15 撮像処理制御部、21 平方根算出部、22 端数処理部、23 ワード長調整部、24 圧縮処理部、25 保存処理部、31 解凍処理部、32 ワード長復元部、33 デコード部、34 出力処理部、80 光子、81 画素、82 電子、83 電子貯留部、101 顕微鏡、102 ステージ、103 光学系、103A 対物レンズ、103B 結像レンズ、103C ダイクロイックミラー、103D エミッションフィルタ、103E 励起フィルタ、104 光源、105 ステージ駆動部、106 光源駆動部、107 データ処理部、112 蛍光信号取得部、200 撮像装置、201 撮像本体部、202 撮像光学系、203 撮像発光部、300 モバイルデバイス、301 デバイス本体部、302 デバイス撮像部、400 クライアントサーバシステム、401 クライアント、403 情報処理装置、404 サーバ、405 ネットワーク、d0 画像データ、d1 画素値、d11 第1圧縮画像データ、d12 第2圧縮画像データ、d13 第3圧縮画像データ、d14 第4圧縮画像データ、d21 第1解凍画像データ、d22 第2解凍画像データ、d23 第3解凍画像データ、d50 圧縮画像データ、d100 解凍画像データ

Claims (18)

  1.  画像データに含まれる複数の画素値に基づく複数の元画素値のそれぞれの平方根である複数の画素平方根を算出することで第1圧縮画像データを取得する平方根算出部と、
     前記複数の画素平方根の端数処理を行うことで第2圧縮画像データを取得する端数処理部と、
     を備える画像処理装置。
  2.  前記複数の元画素値は、前記画像データを取得した撮像素子の光電変換処理における1電子相当の出力値である基準画素値によって、前記画像データに含まれる複数の画素値を除算することで導出される、
     請求項1に記載の画像処理装置。
  3.  前記端数処理部は、四捨五入に基づき、前記複数の画素平方根の各々の小数点以下の数値を丸めることで前記第2圧縮画像データを取得する、
     請求項1に記載の画像処理装置。
  4.  前記端数処理部は、前記複数の画素平方根の各々に関し、各画素平方根に対応する元画素値に対して最も差分の少ないn^2(nは自然数)である近似元画素値を求め、当該近似元画素値についてのnを前記第2圧縮画像データの画素値として採用する、
     請求項1に記載の画像処理装置。
  5.  前記第2圧縮画像データに含まれる複数の画素値の大きさに応じて前記第2圧縮画像データのワード長を減らすことで、第3圧縮画像データを取得するワード長調整部を備える、
     請求項1に記載の画像処理装置。
  6.  前記ワード長調整部は、前記第2圧縮画像データに含まれる複数の画素値のうちの最大値の有効桁数に応じて前記第2圧縮画像データのワード長を減らすことで、前記第3圧縮画像データを取得する、
     請求項5に記載の画像処理装置。
  7.  前記第2圧縮画像データは、16ビット以上のワード長を有し、
     前記第3圧縮画像データは、8ビット以下のワード長を有する、
     請求項5に記載の画像処理装置。
  8.  前記第2圧縮画像データに基づく圧縮画像データの圧縮処理を行って第4圧縮画像データを取得する圧縮処理部を備える、
     請求項1に記載の画像処理装置。
  9.  前記第2圧縮画像データに含まれる複数の画素値の大きさに応じて前記第2圧縮画像データのワード長を減らすことで第3圧縮画像データを取得するワード長調整部を備え、
     前記圧縮処理部は、前記第3圧縮画像データの圧縮処理を行って第4圧縮画像データを取得する、
     請求項8に記載の画像処理装置。
  10.  前記第2圧縮画像データに基づく圧縮画像データを記憶部に保存する保存処理部を備える、
     請求項1に記載の画像処理装置。
  11.  前記第2圧縮画像データに基づく圧縮画像データに含まれる複数の画素値を自乗する処理を行うデコード部を備える、
     請求項1に記載の画像処理装置。
  12.  前記第2圧縮画像データに基づく圧縮画像データのワード長を増やすワード長復元部を備え、
     前記デコード部は、前記ワード長復元部によって前記第2圧縮画像データに基づく圧縮画像データのワード長が増やされた後に、前記第2圧縮画像データに基づく圧縮画像データに含まれる複数の画素値を自乗する処理を行う、
     請求項11に記載の画像処理装置。
  13.  前記第2圧縮画像データに基づく圧縮画像データの圧縮処理を行って第4圧縮画像データを取得する圧縮処理部と、
     前記第2圧縮画像データに基づく圧縮画像データに対して解凍処理を行う解凍処理部と、を備え、
     前記解凍処理が行われる圧縮画像データは、前記第4圧縮画像データに基づいており、
     前記解凍処理は、前記圧縮処理部が行う圧縮処理に対応する処理である、
     請求項11に記載の画像処理装置。
  14.  前記複数の元画素値は、前記画像データを取得した撮像素子の光電変換処理における1電子相当の出力値である基準画素値によって、前記画像データに含まれる複数の画素値を除算することで導出され、
     前記デコード部は、前記第2圧縮画像データに基づく圧縮画像データに含まれる複数の画素値を自乗することで得られる複数の画素自乗値に対して前記基準画素値を乗算することで複数の解凍画素値を取得する、
     請求項11に記載の画像処理装置。
  15.  前記画像データは、生体組織画像データである
     請求項1に記載の画像処理装置。
  16.  前記生体組織画像データは、蛍光抗体画像データである
     請求項15に記載の画像処理装置。
  17.  画像データに含まれる複数の画素値に基づく複数の元画素値のそれぞれの平方根である複数の画素平方根を算出することで第1圧縮画像データを取得するステップと、
     前記複数の画素平方根の端数処理を行うことで第2圧縮画像データを取得するステップと、
     を含む画像処理方法。
  18.  コンピュータに、
     画像データに含まれる複数の画素値に基づく複数の元画素値のそれぞれの平方根である複数の画素平方根を算出することで第1圧縮画像データを取得する手順と、
     前記複数の画素平方根の端数処理を行うことで第2圧縮画像データを取得する手順と、
     を実行させるためのプログラム。
PCT/JP2023/006918 2022-03-07 2023-02-27 画像処理装置、画像処理方法及びプログラム WO2023171432A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-034632 2022-03-07
JP2022034632 2022-03-07

Publications (1)

Publication Number Publication Date
WO2023171432A1 true WO2023171432A1 (ja) 2023-09-14

Family

ID=87935106

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/006918 WO2023171432A1 (ja) 2022-03-07 2023-02-27 画像処理装置、画像処理方法及びプログラム

Country Status (1)

Country Link
WO (1) WO2023171432A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0696200A (ja) * 1992-06-19 1994-04-08 Agfa Gevaert Nv ノイズ減少方法および装置
JP2013183178A (ja) * 2012-02-29 2013-09-12 Axell Corp 画像処理方法及び画像処理装置
WO2013168348A1 (ja) * 2012-05-10 2013-11-14 ソニー株式会社 情報処理装置、情報処理方法、情報処理プログラム、画像取得装置、画像取得システム、および画像取得・閲覧システム
WO2017086181A1 (ja) * 2015-11-19 2017-05-26 ソニー株式会社 光パルス検出装置、光パルス検出方法、放射線計数装置、および生体検査装置
US20190110056A1 (en) * 2017-10-06 2019-04-11 Imagination Technologies Limited Compressing m-bit data using spatial decorrelation and entropy encoding on n-bit data

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0696200A (ja) * 1992-06-19 1994-04-08 Agfa Gevaert Nv ノイズ減少方法および装置
JP2013183178A (ja) * 2012-02-29 2013-09-12 Axell Corp 画像処理方法及び画像処理装置
WO2013168348A1 (ja) * 2012-05-10 2013-11-14 ソニー株式会社 情報処理装置、情報処理方法、情報処理プログラム、画像取得装置、画像取得システム、および画像取得・閲覧システム
WO2017086181A1 (ja) * 2015-11-19 2017-05-26 ソニー株式会社 光パルス検出装置、光パルス検出方法、放射線計数装置、および生体検査装置
US20190110056A1 (en) * 2017-10-06 2019-04-11 Imagination Technologies Limited Compressing m-bit data using spatial decorrelation and entropy encoding on n-bit data

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
GOWEN ROBERT A., SMITH ALAN: "Square root data compression", REVIEW OF SCIENTIFIC INSTRUMENTS, AMERICAN INSTITUTE OF PHYSICS, 2 HUNTINGTON QUADRANGLE, MELVILLE, NY 11747, vol. 74, no. 8, 1 August 2003 (2003-08-01), 2 Huntington Quadrangle, Melville, NY 11747, pages 3853 - 3861, XP012041008, ISSN: 0034-6748, DOI: 10.1063/1.1593811 *

Similar Documents

Publication Publication Date Title
US11854167B2 (en) Photographic underexposure correction using a neural network
US11704775B2 (en) Bright spot removal using a neural network
JP6939000B2 (ja) 撮像装置及び撮像方法
JP5695080B2 (ja) 圧縮画像データの解像度ベースのフォーマット
Banterle et al. High dynamic range imaging and low dynamic range expansion for generating HDR content
JP4860551B2 (ja) 拡大観察装置、高階調画像ファイル作成方法、高階調画像ファイル作成方法、高階調画像ファイル作成プログラム及びコンピュータで読み取り可能な記録媒体
JP6054585B2 (ja) 動的カラーシェーディング補正
KR20100016214A (ko) 비디오 카메라
US20220174245A1 (en) Systems and methods for creating a full-color image in low light
US20150350483A1 (en) Dynamic Compression Ratio Selection
JP2022516038A (ja) 顕微鏡画像の圧縮された入手
WO2023171432A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP2020068524A (ja) 画像処理
WO2017217325A1 (ja) データ復元装置、顕微鏡システム、およびデータ復元方法
JP5464982B2 (ja) 撮像装置および画像処理方法
CN110796592B (zh) 一种高动态范围光谱图像数据的存储方法
CN114076637B (zh) 高光谱获取方法及其系统、电子设备和编码宽光谱成像装置
JP2012018621A (ja) 画像処理装置、画像処理方法及びプログラム
WO2023233922A1 (ja) 顕微鏡システム及びデータ処理方法
JP7158795B1 (ja) 顕微鏡システム及びデータ処理方法
JP2023178168A (ja) 顕微鏡システム及びデータ処理方法
EP4367500A1 (en) Temporal super-resolution
CHIPS High Dynamic Range Techniques in Graphics: from Acquisition to Display
Pan et al. SNR-based adaptive acquisition method for fast Fourier ptychographic microscopy
JP2021012514A (ja) 三次元形状モデル生成システム、三次元形状モデル生成方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23766610

Country of ref document: EP

Kind code of ref document: A1