WO2013084414A1 - デジタル標本作製装置、デジタル標本作製方法およびデジタル標本作製サーバ - Google Patents

デジタル標本作製装置、デジタル標本作製方法およびデジタル標本作製サーバ Download PDF

Info

Publication number
WO2013084414A1
WO2013084414A1 PCT/JP2012/007290 JP2012007290W WO2013084414A1 WO 2013084414 A1 WO2013084414 A1 WO 2013084414A1 JP 2012007290 W JP2012007290 W JP 2012007290W WO 2013084414 A1 WO2013084414 A1 WO 2013084414A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
magnification
resolution image
unit
low
Prior art date
Application number
PCT/JP2012/007290
Other languages
English (en)
French (fr)
Inventor
本村 秀人
佳州 佐藤
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2013548064A priority Critical patent/JP5963009B2/ja
Publication of WO2013084414A1 publication Critical patent/WO2013084414A1/ja
Priority to US14/062,008 priority patent/US9947089B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/815Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection

Definitions

  • the present invention relates to a digital specimen preparation device, a digital specimen preparation method, and a digital specimen preparation server for preparing a digital specimen used for medical diagnosis and treatment.
  • Patent Document 1 a technique for photographing a specimen has been proposed in order to produce a digital specimen used for medical diagnosis and treatment (see, for example, Patent Document 1 and Non-Patent Document 1).
  • the above-described conventional technique has a problem that the image quality cannot be maintained at a certain standard when an image other than the magnification used at the time of photographing is reduced or enlarged to produce a digital specimen.
  • the present invention provides a digital specimen preparation device, a digital specimen preparation server, and a digital specimen preparation method that can freely change zoom and pan while maintaining the image quality of an image created from a captured image by image processing such as reduction. .
  • a digital specimen preparation device uses a low-resolution image and a high-resolution image that are photographed images of specimens with different resolutions photographed by a photographing unit, and is used for diagnosis of a disease name or medical condition.
  • a digital specimen preparation apparatus for preparing a specimen wherein the high resolution image captured at a first magnification is reduced so as to become an image at a second magnification that is an imaging magnification of the low resolution image, and the high resolution
  • a reduction processing unit that generates a reduced image of the image, and information indicating whether a difference between the reduced image and the low-resolution image falls within an allowable error, and indicates that the information does not fall within the allowable error
  • the second magnification is updated to a value larger than the second magnification and smaller than the first magnification, and an operation instruction unit that instructs the photographing unit to re-photograph the low-resolution image; two A third magnification that is a photographing magnification that is larger than the ratio and smaller than the first magnification
  • non-transitory recording medium such as a server, a system, a method, an integrated circuit, a computer program, or a computer-readable CD-ROM.
  • the present invention may be realized by any combination of a system, a method, an integrated circuit, a computer program, and a recording medium.
  • the digital specimen preparation apparatus can freely change the zoom and pan while maintaining the image quality of an image created by image processing such as reduction from a captured image on a constant basis.
  • FIG. 1 is a block diagram showing a functional configuration of the digital specimen preparation device according to the first embodiment.
  • FIG. 2 is a diagram illustrating a configuration of the imaging unit according to the first embodiment.
  • FIG. 3 is a diagram illustrating an image quality determination method executed by the image quality determination unit according to the first embodiment.
  • FIG. 4 is a diagram illustrating a process in which the allowable error determination unit according to Embodiment 1 acquires a determination threshold value.
  • FIG. 5 is an example of an operation screen used when a doctor operates the digital specimen preparation device according to the first embodiment.
  • FIG. 6 is a diagram illustrating a process performed by the digital specimen manufacturing device according to Embodiment 1 when the image reference region is changed.
  • FIG. 1 is a block diagram showing a functional configuration of the digital specimen preparation device according to the first embodiment.
  • FIG. 2 is a diagram illustrating a configuration of the imaging unit according to the first embodiment.
  • FIG. 3 is a diagram illustrating an image quality determination method executed by the image quality determination unit
  • FIG. 7 is a diagram for explaining a process performed by the digital specimen preparation device according to Embodiment 1 when the magnification of an image is changed.
  • FIG. 8 is a diagram for explaining processing performed by the digital specimen preparation device according to Embodiment 1 when the image reference position and magnification are changed.
  • FIG. 9 is a diagram illustrating an example of an input screen for the allowable error determination unit according to Embodiment 1 to obtain a determination threshold value.
  • FIG. 10 is a flowchart showing an operation flow of the digital specimen preparation device according to the first embodiment.
  • FIG. 11 is a diagram illustrating an example in which the photographing unit re-photographs the low-resolution image twice in accordance with an instruction from the operation instruction unit according to the first embodiment.
  • FIG. 12 is a block diagram illustrating a functional configuration of the digital specimen preparation device according to the second embodiment.
  • FIG. 13 is a block diagram illustrating a functional configuration of the digital specimen manufacturing server according to the third embodiment.
  • FIG. 14 is a block diagram showing a hardware configuration of a computer system that realizes the digital specimen preparation device according to the first to third embodiments.
  • Medical services are broadly divided into diagnostic services and treatment services.
  • Diagnostic work is aimed at understanding the disease name and condition, and the treatment policy is determined according to the disease name or condition.
  • the diagnosis work starts with an inquiry and palpation, and if there is a suspicion of illness, a more detailed examination is performed by image diagnosis.
  • diagnostic imaging the state of the body is examined by nondestructive examination using radiation, ultrasound, and the like.
  • diagnostic work an organ surface is observed with an endoscope or the like.
  • a pathological diagnosis is performed in which a specimen is removed from the lesion and the state is observed at the cellular level. A specimen is prepared by slicing the extracted specimen to a thickness that can be observed with a microscope.
  • specimens are photographed with a scanner or digital camera and recorded electronically as digital image information.
  • Digital specimens which are digitized specimens, are not only used as medical records but also considered as past cases from various viewpoints in order to improve medical technology.
  • a digital specimen is a correct image, which is medical information indispensable for improving image diagnosis technology.
  • the preparation of digital specimens leads to improvement in the efficiency and quality of medical care and is an indispensable task in the medical workflow.
  • a specific method for photographing a specimen is constituted by a microscope and a camera as disclosed in, for example, Patent Document 1 described above.
  • the specimen cut out from the specimen is stored on a glass slide and observed under a microscope.
  • the camera takes a specimen as a color image through a microscope.
  • the pathologist diagnoses the specimen while changing the optical magnification of the microscope. At low magnification, the overall pattern of the specimen is observed, and at high magnification, the shape of each cell nucleus is observed. In addition, since a part of the specimen is observed as the magnification increases, the entire specimen is confirmed by moving the glass slide. Therefore, zooming and panning are necessary for taking a specimen as camera work.
  • the objective lens is switched to change the zoom, and the slide glass transport unit is controlled to perform panning.
  • Non-Patent Document 1 if a low-resolution image obtained by low-magnification shooting and a high-resolution image obtained by high-magnification shooting are managed with a pyramidal data structure, The magnification and image position can be managed centrally.
  • the resolution at which the entire specimen can be recorded in one image is the lowest resolution, and the lowest resolution image captured at the lowest resolution is located at the apex of the pyramid structure. The higher the magnification, the higher the resolution of the captured image and the lower the pyramid.
  • the highest resolution image taken at the highest magnification is placed at the bottom of the pyramid.
  • the specimen can be digitized as a digital image by the digital specimen, and pathological diagnosis information can be stored in the electronic medical record.
  • remote pathological diagnosis can be realized by sending a digital specimen to a remote place via a network.
  • digital specimens can be referred to as past cases, and can be used for improving pathological and image diagnostic techniques.
  • the present inventor has found that the following problems occur with respect to the above conventional technique.
  • the above conventional technique has a problem that the image quality cannot be maintained at a constant standard when a digital sample is produced by reducing or enlarging an image other than the magnification used at the time of photographing.
  • the lowest resolution image located at the bottom of the pyramid structure is taken at a magnification of 32 times that of the lowest resolution image located at the apex of the pyramid, the lowest resolution image is obtained by subjecting the highest resolution image to 1/32 reduction processing. It becomes the same resolution. However, there is no guarantee that the lowest resolution image obtained from the reduction process matches the actually captured lowest resolution image. If the image obtained by the reduction process is different from the actually captured image, the image created by the image process called reduction cannot be used.
  • a digital specimen preparation device uses a low-resolution image and a high-resolution image that are photographed images of specimens with different resolutions photographed by a photographing unit.
  • a reduction processing unit for generating a reduced image of the high-resolution image, and obtaining information indicating whether a difference between the reduced image and the low-resolution image falls within an allowable error,
  • the second magnification is updated to a value larger than the second magnification and smaller than the first magnification to instruct the photographing unit to re-photograph the low-resolution image.
  • a third magnification that is larger than the updated second magnification and smaller than the first magnification and smaller than the first magnification, and is a photographing magnification of the digital specimen, and the high-resolution image is the first resolution.
  • An image processing unit that outputs an image of the digital specimen by performing a reduction process so as to obtain an image with a triple magnification.
  • the digital specimen preparation device when the difference between the reduced image of the high-resolution image and the low-resolution image does not fall within the allowable error, the digital specimen preparation device re-shoots the image by increasing the shooting magnification of the low-resolution image. Re-photographing is performed until the difference between the low-resolution image and the reduced image of the high-resolution image falls within an allowable error, and an image of a digital specimen having a magnification larger than the photographing magnification of the re-photographed low-resolution image is output.
  • the digital specimen preparation device can maintain the image quality of the reduced image of the high resolution image at a constant reference when producing the digital specimen. For this reason, according to the digital specimen preparation device, the zoom and pan can be freely changed while maintaining the image quality of an image created by image processing such as reduction from a captured image on a constant basis.
  • an allowable error determination unit that determines whether or not a difference between the reduced image and the low-resolution image falls within an allowable error
  • the operation instruction unit includes a determination result by the allowable error determination unit. Accordingly, the second magnification is set to be larger than the second magnification and larger than the first magnification until information indicating whether or not the allowable error is obtained is acquired. Update to a small value and instruct the imaging unit to re-photograph the low-resolution image, and the reduction processing unit updates the high-resolution image every time the operation instruction unit updates the second magnification.
  • the reduced image is reduced to the image of the second magnification to generate a reduced image of the high resolution image
  • the allowable error determination unit updates the second magnification of the low resolution image by the operation instruction unit. Instruct reshooting to the shooting unit Each time, the difference between the low-resolution image captured at the second magnification after the update by the imaging unit and the reduced image generated by the reduction processing unit falls within an allowable error. It may be.
  • the digital specimen preparation device determines whether or not the difference between the reduced image of the high resolution image and the low resolution image falls within the allowable error, and sets the imaging magnification of the low resolution image until the allowable error falls. Enlarge and re-shoot.
  • the digital specimen preparation device can determine whether or not the tolerance falls within the permissible error without obtaining a judgment from the doctor when preparing the digital specimen, and the image quality of the reduced image of the high resolution image is constant. Can keep to the standard. For this reason, according to the digital specimen preparation device, the zoom and pan can be freely changed while maintaining the image quality of an image created by image processing such as reduction from a captured image on a constant basis.
  • the allowable error determination unit determines whether or not the allowable error falls within the allowable error by comparing a difference between the reduced image and the low-resolution image and a determination threshold value, and the operation instruction unit includes: Information indicating whether or not the allowable error is satisfied is acquired by an external input, and the allowable error determination unit reduces the reduction when the information acquired by the operation instruction unit indicates that the allowable error is included.
  • the difference between the image and the low-resolution image may be acquired as the determination threshold.
  • the digital specimen preparation device acquires information indicating whether or not the difference between the reduced image of the high resolution image and the low resolution image falls within the allowable error, and the information is input from the outside.
  • the difference between the reduced image and the low-resolution image in the case where it indicates that it falls within the error is acquired as a determination threshold.
  • the digital specimen preparation device uses the determination threshold value to determine whether or not the difference between the reduced image of the high resolution image and the low resolution image falls within an allowable error.
  • the doctor determines whether the difference between the reduced image of the high-resolution image and the low-resolution image falls within an allowable error, and gives an instruction to the digital sample preparation device.
  • a threshold can be acquired and a determination can be made.
  • the allowable error determination unit calculates a PSNR (Peak Signal to Noise Ratio) as a difference between the reduced image and the low-resolution image, and compares the calculated PSNR with a determination threshold value. It may be determined whether or not is within an allowable error.
  • PSNR Peak Signal to Noise Ratio
  • the digital specimen preparation device calculates the PSNR as the difference between the reduced image of the high resolution image and the low resolution image, and determines whether or not the difference falls within an allowable error. That is, the digital specimen preparation device can determine whether or not the difference falls within an allowable error by digitizing the image quality.
  • the reduction processing unit uses a band limiting filter to reduce the high-resolution image so as to be the image of the second magnification, and generates the reduced image.
  • an image filter providing unit that provides the image processing unit with the band limiting filter used by the reduction processing unit when the operation instruction unit acquires information indicating that the operation instruction unit is within the allowable error.
  • the processing unit may output the image of the digital sample by performing the reduction process of the high-resolution image using the provided band limiting filter.
  • the digital specimen manufacturing apparatus uses the band limiting filter used for generating the reduced image to An image of a digital specimen is output by performing a resolution image reduction process.
  • the digital specimen preparation device can create a reduced image having an image quality equivalent to the image quality of the actually captured image, and can output an image of the digital specimen.
  • a color correction unit that corrects a difference in color characteristics between the reduced image and the low-resolution image may be further provided.
  • the digital specimen preparation device corrects the difference in color characteristics between the reduced image of the high resolution image and the low resolution image.
  • the digital specimen preparation device corrects the difference in color characteristics between when shooting a low-resolution image and when shooting a high-resolution image, and changes the image quality of the image created by image processing to the image quality of the actually captured image. Can be equivalent.
  • the color correction unit corrects a color characteristic difference from a color characteristic of the photographing unit at the time of photographing the low-resolution image and a color characteristic of the photographing unit at the time of photographing the high-resolution image. Correction information may be generated.
  • the digital specimen preparation device generates color correction information for correcting a difference in color characteristics at the time of shooting between a low resolution image and a high resolution image.
  • the digital specimen preparation device corrects the difference in color characteristics when shooting low-resolution images and when shooting high-resolution images, and the image quality of images created by image processing is equivalent to the quality of images actually captured. Can be.
  • FIG. 1 is a block diagram showing a functional configuration of the digital specimen preparation device 100 according to the first embodiment.
  • the digital specimen preparation device 100 is used for diagnosis of a disease name or medical condition using a low-resolution image and a high-resolution image that are photographed images of specimens with different resolutions photographed by the photographing unit 101. Make a digital specimen.
  • the digital specimen preparation device 100 includes an imaging unit 101, an image quality determination unit 102, an image filter providing unit 103, an operation instruction unit 104, an image display instruction unit 105, an image readout control unit 106, an image memory unit 107, and An image processing unit 108 is provided, and a sample is photographed to produce a digital image, and a corresponding digital image is provided to the display unit 114 according to a digital sample reference method.
  • FIG. 2 is a diagram illustrating a configuration of the imaging unit 101 according to the first embodiment.
  • the photographing unit 101 photographs a specimen 2001 as a subject with a camera 2003 through an objective lens 2002.
  • Digital images with different resolutions can be taken by rotating the revolver 2004 equipped with objective lenses with different optical magnifications. Further, by controlling the position of the stage 2005, the positional relationship between the sample 2001 and the camera 2003 can be changed, and panning can be controlled.
  • the multifocal lens 2006 capable of continuously changing the focal length is set in front of the camera 2003, it can be set other than the optical magnification of the objective lens, and the magnification can be continuously set. Can change.
  • Parameters related to shooting (hereinafter referred to as shooting parameters) such as the magnification of the objective lens used for shooting, the position of the stage 2005, the size of the image sensor of the camera 2003, and illumination are automatically recorded by the shooting unit 101. Manage with image data. The shooting parameters are used in image processing described later.
  • the present invention does not limit the photographing method, and the configuration shown in FIGS. 2A and 2B is an example.
  • the method of using the revolver 2004 for exchanging the objective lens 2002 is an example, and the optical magnification may be changed using only the multifocal lens 2006.
  • the present invention does not limit various conditions related to photographing such as illumination.
  • the image quality determination unit 102 includes a switching unit 115, a high resolution image memory unit 109, a low resolution image memory unit 110, a reduction processing unit 111, and an allowable error determination unit 112, and is generated by image processing. Judgment of digital image quality.
  • FIG. 3 is a diagram for explaining an image quality determination method executed by the image quality determination unit 102 according to the first embodiment.
  • FIG. 4 is a diagram for describing processing in which the allowable error determination unit 112 according to Embodiment 1 acquires a determination threshold value.
  • the imaging unit 101 captures the highest resolution image 3001 and the lowest resolution image 3002 and sends them to the switching unit 115. Then, the switching unit 115 sends the highest resolution image 3001 to the high resolution image memory unit 109 and sends the lowest resolution image 3002 to the low resolution image memory unit 110. As a result, the highest resolution image 3001 is stored in the high resolution image memory unit 109 and the lowest resolution image 3002 is stored in the low resolution image memory unit 110.
  • the intermediate resolution image 3003 and the intermediate resolution image 3004 are produced by reduction processing by image processing. Assuming that the lowest resolution image 3002 has a magnification of 1, the intermediate resolution image 3003 corresponds to an enlargement ratio of 2 times, the intermediate resolution image 3004 corresponds to an enlargement ratio of 4 times, and the maximum resolution image 3001 corresponds to an enlargement ratio of 8 times.
  • the digital specimen preparation device 100 reduces the maximum resolution image 3001 to 1/2 by image processing, and sets this as an intermediate resolution image 3004. Similarly, the digital specimen preparation device 100 reduces the maximum resolution image 3001 to 1 ⁇ 4 by image processing, and sets this as an intermediate resolution image 3003.
  • the lowest resolution image 3002 corresponds to an image obtained by reducing the highest resolution image 3001 to 1/8. Therefore, when an image reduced to 1/8 by image processing is created from the highest resolution image 3001, the lowest resolution image 3002 is positioned as the correct image of the 1/8 reduced image. Therefore, image processing for reducing the highest resolution image 3001 may be designed so that the same image as the lowest resolution image 3002 can be created.
  • PSNR Peak Signal to Noise Ratio
  • I (i, j) and K (i, j) are the pixel values of the two images
  • MAX is the maximum pixel value of all pixels
  • m and n are the size of the image. It can be said that the higher the PSNR, the more similar the two images. Therefore, if the reduced image obtained by performing the 1/8 reduction on the highest resolution image 3001 is I (i, j) and the lowest resolution image 3002 photographed at a magnification of 1 is K (i, j), The image quality of the reduced processed image can be quantitatively evaluated by Equation (1).
  • the doctor who uses the digital specimen preparation device 100 shows the 1/8 reduced image and the lowest resolution image 3002 at the same time, and evaluates the PSNR that is judged to be the same in appearance. As a result, if the two image pairs cannot be distinguished if the PSNR exceeds 38 dB, an image equivalent to the photographed image is obtained by using a reduction process in which the PSNR exceeds 38 dB. .
  • the reduction processing includes, for example, bilinear interpolation and bicubic interpolation, but a band limiting filter is usually used together so that aliasing due to thinning does not occur. Therefore, in the PSNR control, the design of a spatial band limiting filter should be considered in addition to the selection of the interpolation processing method.
  • the image whose image quality is to be confirmed is switched from the lowest resolution image 4001 to the intermediate resolution image 4003.
  • the intermediate resolution image 4003 is taken at a magnification of 2 ⁇ and is an image obtained by reducing the maximum resolution image 4002 by 1 /. If the reduction ratio is low, the image quality generally increases and the PSNR increases.
  • the PSNR of the 1/8 reduced image of the highest resolution image 4002 and the intermediate resolution image 4003 is 39 dB, which exceeds 38 dB that does not cause image quality degradation.
  • a digital specimen may be created by image processing by reduction processing without using a captured image.
  • an image with a reduction ratio of the highest resolution image 4002 larger than 1/8 is created by image processing.
  • a 1/4 reduced image of the highest resolution image 4002 is created by image processing. it can.
  • the 1/4 reduced image is 4 times in terms of shooting magnification, and can be created only by image processing without shooting 16 images as shown in the intermediate resolution image 3004 of FIG.
  • a 1/2 reduced image corresponding to a shooting magnification of 8 times can be created only by image processing without any problem in image quality, and an image can be created only by image processing without shooting 64 images.
  • the image quality determination unit 102 includes a high-resolution image memory unit 109 for holding a high-resolution image to be reduced.
  • the image quality determination unit 102 includes a low resolution image memory unit 110 for holding a low resolution image actually captured in order to calculate a PSNR for image quality evaluation.
  • the reduction processing unit 111 performs a reduction process on the image in the high resolution image memory unit 109. Specifically, the reduction processing unit 111 reduces the high-resolution image captured at the first magnification so as to become an image at the second magnification that is the imaging magnification of the low-resolution image, and reduces the high-resolution image. Is generated.
  • the operation instruction unit 104 acquires information indicating whether or not the difference between the reduced image of the high resolution image and the low resolution image falls within the allowable error, and indicates that the information does not fall within the allowable error.
  • the magnification is updated to a value larger than the second magnification and smaller than the first magnification to instruct the photographing unit 101 to re-photograph a low-resolution image.
  • the operation instruction unit 104 acquires information indicating whether or not the allowable error can be accommodated by external input (input by a doctor).
  • the allowable error determination unit 112 determines whether or not the difference between the reduced image of the high resolution image and the low resolution image falls within the allowable error. Specifically, the allowable error determination unit 112 acquires a difference between the reduced image and the low-resolution image when the information acquired by the operation instruction unit 104 falls within the allowable error as a determination threshold value. Then, the allowable error determination unit 112 compares the difference between the reduced image and the low-resolution image with the determination threshold value to determine whether or not the allowable error is satisfied.
  • the operation instruction unit 104 acquires information indicating whether or not the allowable error falls within the allowable error according to the determination result by the allowable error determination unit 112, and continues until the information indicating that the allowable error is included is acquired.
  • the second magnification is updated to a value larger than the second magnification and smaller than the first magnification, and the photographing unit 101 is instructed to re-photograph a low resolution image.
  • the reduction processing unit 111 reduces the high-resolution image so as to become an image of the updated second magnification, and generates a reduced image of the high-resolution image. To do.
  • the allowable error determination unit 112 is photographed at the updated second magnification by the photographing unit 101 every time the operation instruction unit 104 updates the second magnification and instructs the photographing unit 101 to re-photograph a low resolution image. It is determined whether or not the difference between the low-resolution image and the reduced image generated by the reduction processing unit 111 falls within an allowable error.
  • the allowable error determination unit 112 receives, from the threshold database 116, a PSNR that does not cause image quality degradation as a determination threshold. Then, the allowable error determination unit 112 calculates the PSNR between the image from the low-resolution image memory unit 110 and the image from the reduction processing unit 111. The unit 101 is instructed to retake the low resolution image.
  • the imaging unit 101 that has received the re-taking instruction increases the imaging magnification as described with reference to FIG. 4B, and performs re-imaging, and stores this in the low-resolution image memory unit 110. This re-imaging is repeated until the PSNR exceeds the determination threshold.
  • the operation instruction unit 104 causes the image filter providing unit 103 to limit the bandwidth for reduction processing. An instruction to provide the filter to the image processing unit 108 is given.
  • the operation instruction unit 104 also instructs the image display instruction unit 105 to start an operation related to image display.
  • the reduction processing unit 111 generates a reduced image by reducing the high-resolution image so as to be an image of the second magnification using the band limiting filter, and the image filter providing unit 103
  • the band limiting filter 111 used for the reduction processing is received from the reduction processing unit 111 and provided to the image processing unit 108.
  • the image processing unit 108 outputs a digital sample image to the display unit 114 by performing a reduction process of the high-resolution image using the band limiting filter provided from the image filter providing unit 103.
  • the image processing unit 108 acquires a third magnification that is larger than the updated second magnification and smaller than the first magnification and is the photographing magnification of the digital specimen, and the high-resolution image is the first magnification.
  • An image of a digital specimen is output by performing a reduction process so as to obtain a three-magnification image.
  • the reduction processing by the reduction processing unit 111 is generally performed in the following procedure.
  • Low-pass filtering (2) Coordinate transformation (3) Interpolation process
  • Coordinate conversion is a process for determining to which position before reduction the pixel after reduction corresponds.
  • Interpolation processing calculates the number of pixel values at the corresponding position obtained by coordinate conversion.
  • interpolation processing There are various types of interpolation processing such as nearest neighbor, bilinear, and bicubic, but the present invention does not limit these applications, and any interpolation method can be used.
  • aliasing noise is suppressed by a low-pass filter that leaves low-frequency components and cuts high-frequency components.
  • the reduction processing unit 111 outputs a low-pass filter to the image filter providing unit 103, and the image filter providing unit 103 provides the low-pass filter to the image processing unit 108 when receiving an operation instruction from the operation instruction unit 104.
  • an instruction to the image reading control unit 106 is an instruction to read a partial area in a captured image, and is determined from the reference position and magnification of an image instructed by a doctor using the digital specimen preparation device 100.
  • FIG. 5 is an example of an operation screen used when a doctor operates the digital specimen preparation device 100 according to the first embodiment.
  • the doctor moves the cursor 1202 on the screen using the mouse 1201 and inputs a viewpoint corresponding to the center point of the reference position of the image. Further, the wheel 1203 attached to the mouse 1201 is rotated to control the enlargement or reduction of the image.
  • FIG. 6 is a diagram for explaining processing performed by the digital specimen manufacturing device 100 according to Embodiment 1 when the reference region of the image is changed.
  • the image display instruction unit 105 first passes the received image coordinates of the reference area 5002 to the image reading control unit 106.
  • the image reading control unit 106 instructs the image memory unit 107 to read the highest resolution image 3001 including the reference area 5002.
  • the image memory unit 107 reads the highest resolution image 3001 and outputs it to the image processing unit 108. Further, the image display instruction unit 105 passes the received image coordinates of the reference area 5002 to the image processing unit 108.
  • the image processing unit 108 cuts out the reference area 5002 from the highest resolution image 3001 received from the image memory unit 107 and outputs it to the display unit 114.
  • the display unit 114 displays the reference area 5002 on the display. Accordingly, a doctor who uses the digital specimen preparation device 100 can observe the reference area 5002 which is a new reference area.
  • FIG. 7 is a diagram for explaining processing performed by the digital specimen preparation device 100 according to Embodiment 1 when the image magnification is changed.
  • the doctor inputs a zoom instruction to the image reference method input unit 113 so that the magnification of the image is reduced by 1/2 and the reference area 6002 is displayed on the display.
  • the image reference method input unit 113 passes the image coordinates and magnification (1/2 reduction) of the reference area 6001 to the image display instruction unit 105.
  • the image display instruction unit 105 first passes the received image coordinates of the reference area 6001 to the image reading control unit 106.
  • the image reading control unit 106 gives an instruction to the image memory unit 107 to read the highest resolution image 3001 including the reference area 6001.
  • the image memory unit 107 reads the highest resolution image 3001 received from the photographing unit 101 and outputs it to the image processing unit 108. Further, the image display instruction unit 105 passes the received image coordinates of the reference area 6001 to the image processing unit 108.
  • the image processing unit 108 cuts out the reference area 6001 from the highest resolution image 3001 received from the image memory unit 107, performs image processing of 1/2 reduction according to the magnification (1/2 reduction) received from the image display instruction unit 105, Output to the display unit 114.
  • the display unit 114 displays the reference area 6002 on the display, and a doctor who uses the digital specimen preparation device 100 can observe the reference area 6002 that is a new reference area.
  • FIG. 8 is a diagram for explaining processing performed by the digital specimen preparation device 100 according to Embodiment 1 when the image reference position and magnification are changed.
  • the doctor inputs a zoom instruction to the image reference method input unit 113 so that the reference region 7002 is displayed on the display while changing the reference position and magnification of the image.
  • the image reference method input unit 113 passes the image coordinates and the magnification (1/2 reduction) of the intermediate reference region 7003 corresponding to twice the magnification of the reference region 7002 to the image display instruction unit 105.
  • the image display instruction unit 105 first passes the received image coordinates of the intermediate reference region 7003 to the image reading control unit 106.
  • the image reading control unit 106 instructs the image memory unit 107 to read the highest resolution image 3001 including the intermediate reference region 7003.
  • the image memory unit 107 reads the highest resolution image 3001 and outputs it to the image processing unit 108. Further, the image display instruction unit 105 passes the received image coordinates of the intermediate reference region 7003 to the image processing unit 108.
  • the image processing unit 108 cuts out the intermediate reference area 7003 from the highest resolution image 3001 received from the image memory unit 107 and performs 1/2 reduction image processing according to the magnification (1/2 reduction) received from the image display instruction unit 105. And output to the display unit 114.
  • the display unit 114 displays the reference area 7002 on the display, and a doctor who uses the digital specimen preparation device 100 can observe the reference area 7002 that is a new reference area.
  • FIG. 9 is a diagram illustrating an example of an input screen for the allowable error determination unit 112 according to Embodiment 1 to acquire a determination threshold value.
  • the digital specimen preparation device 100 presents a test image 801 and a reference image 802 to a doctor as shown in FIG.
  • the doctor observes the difference between the test image 801 and the reference image 802, and if there is a difference between the images, presses the button 803, and if there is no difference between the images, presses the button 804.
  • the allowable error determination unit 112 displays the lowest resolution image 3002 positioned at the top of the pyramid illustrated in FIG. 3 as a reference image 802 on the display. On the other hand, the allowable error determination unit 112 causes the test image 801 to display a 1/8 reduced image obtained by performing the 1/8 reduction process on the highest resolution image 3001 on the display.
  • the allowable error determination unit 112 calculates the PSNR by the above-described equation 1, and this becomes the determination threshold value. In a case where a large number of cases are accumulated in the past and the determination threshold is almost obvious, the tolerance determination unit 112 can acquire the determination threshold by directly inputting the determination threshold to the numerical value input unit 805.
  • the test image 801 is switched.
  • the method for switching the test image 801 is the same as the example described in FIG. That is, in the state of FIG. 4A, the reference image 802 is displayed with the lowest resolution image 4001 actually taken.
  • the test image 801 displays a 1/16 reduced image obtained by multiplying the highest resolution image 4002 by 1/16 reduction processing.
  • the doctor observes the difference between the test image 801 and the reference image 802 and presses the button 803 to notify the allowable error determination unit 112 that there is a difference between the images.
  • the reduction ratio of the highest resolution image 4002 is changed from 1/16 to 1/8.
  • the display displays a magnification display 806 of the current reference image and a selectable enlargement factor.
  • the photographing unit 101 selects and automatically sets an objective lens having a corresponding magnification ratio.
  • the intermediate resolution image 4003 is photographed, and the intermediate resolution image 4003 is displayed in the reference image 802.
  • the test image 801 a 1/8 reduced image obtained by performing a 1/8 reduction process on the highest resolution image 4002 is displayed.
  • the doctor determines that there is no difference between the test image 801 and the reference image 802, and presses the button 804 to allow the difference between the test image 801 and the reference image 802 to be acceptable. 112.
  • the allowable error determination unit 112 calculates the PSNR between the test image 801 and the reference image 802, and 39 dB is determined as the determination threshold in the example of FIG. 4B.
  • the shooting magnification 1/8 is an example, and other magnifications such as 1/10 may be used.
  • the image quality may be improved by reviewing the image processing method and the band limiting filter while the photographing magnification remains at 1/16 reduction.
  • the illumination distribution is different between a part of the subject and the whole. If the illumination distribution is different, the camera sensitivity is affected, and generally the noise increases when the illumination is dark. Conversely, if the illumination is too bright, whiteout occurs.
  • the reference image 802 should be subjected to noise removal processing.
  • noise removal for example, a smoothing process in which the target pixel value is replaced with an average value of pixel values of a plurality of pixels, or a high band is cut with a band limiting filter can be applied.
  • the present invention does not limit the method for improving the image quality of the test image.
  • the determination threshold is set when the digital specimen preparation device 100 is operated for the first time or when the determination threshold is reviewed.
  • the specimen is made by slicing and staining the extracted specimen. Therefore, there is a possibility of exhibiting various textures and shades depending on the state of slicing and staining.
  • the image quality comparison of FIG. 9 is performed with a plurality of specimens, and the determination threshold is determined. After the digital specimen preparation apparatus 100 is operated, specimens in various slice states and stained states are added, so that the determination threshold value may change. Therefore, the determination threshold value is appropriately checked in cooperation with the sample preparation management process.
  • the digital specimen preparation device 100 receives the camera characteristics parameters from the imaging unit 101 as needed and monitors the changes. .
  • the re-imaging instruction may be either the operation instruction unit 104 automatically operating or the user of the digital specimen preparation device 100 giving an instruction to the operation instruction unit 104.
  • the situation in which the operation instruction unit 104 automatically operates is, for example, a change in photographing magnification, and the change in magnification is set to 2 in advance. As described above, 1/16 reduction is reduced to 1/8 reduction.
  • the operation instruction unit 104 instructs the photographing unit 101 to change the setting.
  • the operation instruction unit 104 when the user gives an instruction to the operation instruction unit 104, for example, when the state of the slice of the sample changes greatly and the user proceeds with the adjustment of the imaging magnification while testing, the user inputs the image reference method.
  • the imaging unit 101 is controlled from the unit 113 via the operation instruction unit 104.
  • the operation instruction unit 104 has the following five roles.
  • the first role is to capture the highest resolution image 4002 and the lowest resolution image 4001.
  • the second role is to capture an intermediate resolution image until the information that the allowable error determination unit 112 exceeds the determination threshold value is received.
  • the third role is to accept the result of the user's image quality evaluation. If there is a difference between the test image 801 and the reference image 802, the imaging unit 101 is instructed to generate an intermediate resolution image. An instruction to store the determination threshold value in 116 is performed.
  • the fourth role is to issue an instruction to provide the image processing unit 108 with an image filter.
  • the fifth role is to instruct the image display instruction unit 105 and the image processing unit 108 to start the operation.
  • FIG. 10 is a flowchart showing an operation flow of the digital specimen preparation device 100 according to the first embodiment.
  • step S908 an operation is performed to determine a determination threshold acquired by the allowable error determination unit 112.
  • the photographing unit 101 photographs a low resolution image (lowest resolution image) at a magnification of 1 (second magnification) (S901).
  • the photographing unit 101 photographs a high resolution image (maximum resolution image) at a magnification n (first magnification) (S902).
  • the reduction processing unit 111 reduces the high resolution image to 1 / n and calculates a 1 / n reduced image (S903).
  • the image processing unit 108 applies the 1 / n reduced image of the high resolution image to the test image and the low resolution image to the reference image, and presents them to the doctor who is the user of the digital specimen preparation device 100 ( S904).
  • the operation instruction unit 104 acquires a comparison result between the test image and the reference image by an input from the doctor (S905). If the operation instruction unit 104 receives a result that there is a difference in appearance between the two images (YES in S905), the process proceeds to step S906. If the operation instruction unit 104 receives a result indicating that there is no difference between the two images (NO in S905), the process proceeds to step S909.
  • step S906 based on the instruction from the operation instruction unit 104, the photographing unit 101 increases the photographing magnification to m times to obtain a low resolution image in order to improve the image quality of the 1 / n reduced image of the high resolution image. Re-photographing (S906).
  • the reduction processing unit 111 reduces the high resolution image to 1 / m and calculates a 1 / m reduced image (S907).
  • the image processing unit 108 applies the 1 / m reduced image of the high resolution image to the test image and the low resolution image having a magnification of m times to the reference image, and applies these to the doctor who is the user of the digital specimen preparation device 100. Is presented (S908). After step S908 ends, the process returns to step S905.
  • the photographing unit 101 re-photographs the low-resolution image so as to improve the image quality of the 1 / m reduced image of the high-resolution image by changing the magnification m to a higher magnification.
  • step S909 the allowable error determination unit 112 calculates the PSNR between the test image and the reference image according to the above-described equation 1, and determines this as a determination threshold value (S909).
  • the image display instruction unit 105 obtains information on the reference region as to where the doctor using the digital specimen preparation device 100 sees the specimen image at what magnification (S910).
  • the image processing unit 108 reads out a high resolution image including the reference area from the image memory unit 107 (S911). For example, in the case of FIG. 7, since the reference area 6001 is included in the highest resolution image 3001, the highest resolution image 3001 is read from the image memory unit 107.
  • the image processing unit 108 extracts the reference area 6001 from the highest resolution image 3001, and performs 1 / k reduction processing for each pixel (S912).
  • the allowable error determination unit 112 calculates the PSNR of the 1 / l reduced image with respect to the high resolution image, and compares it with the determination threshold (S913). If the allowable error determination unit 112 determines that the PSNR of the reduced image is lower than the determination threshold (YES in S913), the process proceeds to step S914.
  • step S914 based on the instruction from the operation instruction unit 104, the photographing unit 101 changes the photographing magnification to d times so that the PSNR of the reduced image exceeds the determination threshold, and re-photographs the low-resolution image.
  • d times the photographing magnification is larger than the photographing magnification of the latest low-resolution image and smaller than the photographing magnification of the high-resolution image.
  • the method of determining the magnification d is arbitrary, and the present invention does not limit it.
  • a method of increasing the magnification by 2 times or a method of sequentially increasing the magnification according to the magnification of the objective lens mounted on the microscope is employed.
  • the reduction processing unit 111 reduces the high resolution image to 1 / d and calculates a 1 / d reduced image (S915).
  • the allowable error determination unit 112 applies the 1 / d reduced image of the high resolution image to the test image and the low resolution image having the magnification of d times to the reference image, and compares the reduced image with the low resolution image. (S916), the process returns to step S913.
  • the allowable error determination unit 112 determines that the PSNR of the reduced image is greater than or equal to the determination threshold (NO in S913), the output of the image processing unit 108 is sent to the display unit 114 to display the reduced image (S917). ).
  • FIG. 11 is a diagram illustrating an example in which the photographing unit 101 performs re-photographing of the low-resolution image twice in accordance with an instruction from the operation instruction unit 104 according to the first embodiment.
  • the imaging unit 101 captures the lowest resolution image 13002 corresponding to the 1/16 reduced image of the highest resolution image 13001 after capturing the highest resolution image 13001. Then, it is assumed that the reduction processing unit 111 performs 1/16 reduction processing on the highest resolution image 13001 and the PSNR of the 1/16 reduced image with respect to the lowest resolution image 13002 becomes 36 dB.
  • the photographing unit 101 changes the photographing magnification to 1/8 and re-photographs the intermediate resolution image 13003.
  • the PSNR of the 1/8 reduced image obtained by applying the 1/8 reduction process to the highest resolution image 13001 with respect to the intermediate resolution image 13003 is 37 dB, which again falls below the threshold value 38 dB for image quality determination.
  • the imaging unit 101 captures the second re-imaging by zooming corresponding to 1/4 times to obtain an intermediate resolution image 13004.
  • the PSNR of the 1/4 reduced image of the highest resolution image 13001 with respect to the intermediate resolution image 13004 is 39 dB, which exceeds the image quality determination threshold.
  • the captured images stored in the image memory unit 107 are the highest resolution image 13001, the lowest resolution image 13002, and the intermediate resolution images 13003 and 13004. These actually captured images are free from image quality degradation due to image processing, data access is only for reading time, and time is not taken for reduced image processing.
  • the minimum resolution image 13002, the intermediate resolution image 13003, and the intermediate resolution image 13004 may be displayed as they are.
  • a reduced image may be generated by image processing from the 2 ⁇ intermediate resolution image 13003 or the 4 ⁇ intermediate resolution image 13004. For example, when the magnification of the display image is 1.5 times, a reduction process of 0.75 times may be performed on the 2 times intermediate resolution image 13003.
  • the magnification is between the highest resolution image 13001 and the intermediate resolution image 13004, the PSNR of the reduced image does not fall below the determination threshold, and therefore the reduced image can be applied to the display image.
  • the maximum resolution image 13001 may be reduced by 3/8 times.
  • the digital specimen preparation device 100 can reduce the number of images to be actually captured to reduce the effort of digitization, and can freely observe the specimen for pathological diagnosis by changing the reference position and magnification of the image.
  • the digital specimen preparation device 100 can observe the specimen at various magnifications and viewpoints by freely changing the zoom and pan, so that the medical information can be efficiently digitized, and the medical workflow for determining the disease name or medical condition can be performed. Can contribute to improvement.
  • a specimen can be electronically extracted when referring to a past case, and a part of disease name or condition determination can be supported by image processing.
  • the imaging magnification of the low resolution image is set.
  • Re-photograph at a larger size perform re-photographing until the difference between the re-photographed low-resolution image and the reduced image of the high-resolution image falls within the allowable error, and use a digital image with a larger magnification than the re-photographed low-resolution image.
  • the digital specimen manufacturing apparatus 100 can maintain the image quality of the reduced image of the high-resolution image at a constant reference when manufacturing the digital specimen. For this reason, according to the digital specimen preparation device 100, zoom and pan can be freely changed while maintaining the image quality of an image created by image processing such as reduction from a captured image on a constant basis.
  • the digital specimen preparation device 100 determines whether or not the difference between the reduced image of the high resolution image and the low resolution image falls within the allowable error, and increases the imaging magnification of the low resolution image until the allowable error is satisfied. And re-shoot.
  • the digital specimen preparation device 100 can determine whether or not the digital specimen preparation apparatus can fall within the permissible error without obtaining a judgment from a doctor, and can reduce the image quality of the reduced image of the high-resolution image. A certain standard can be maintained. For this reason, according to the digital specimen preparation device 100, zoom and pan can be freely changed while maintaining the image quality of an image created by image processing such as reduction from a captured image on a constant basis.
  • the digital specimen preparation device 100 acquires information indicating whether or not the difference between the reduced image of the high resolution image and the low resolution image falls within the allowable error by an input from the outside, and the information becomes the allowable error.
  • the difference between the reduced image and the low-resolution image in the case of indicating that the image fits is acquired as a determination threshold value. Then, the digital specimen preparation device 100 uses the determination threshold value to determine whether or not the difference between the reduced image of the high resolution image and the low resolution image falls within an allowable error.
  • the doctor determines whether the difference between the reduced image of the high resolution image and the low resolution image falls within the allowable error, and gives an instruction to the digital sample preparation device 100, whereby the digital sample preparation device 100 is The determination threshold value can be acquired and the determination can be performed.
  • the digital specimen preparation device 100 calculates the PSNR as the difference between the reduced image of the high resolution image and the low resolution image, and determines whether or not the difference falls within an allowable error. That is, the digital specimen preparation device 100 can determine whether or not the difference falls within an allowable error by digitizing the image quality.
  • the digital specimen manufacturing apparatus 100 uses the band limiting filter used for generating the reduced image to generate the high-resolution image.
  • the image of the digital specimen is output by performing the reduction process.
  • the digital specimen manufacturing apparatus 100 can create a reduced image having an image quality equivalent to the image quality of the actually captured image, and output the digital specimen image.
  • a digital specimen manufacturing apparatus in which a captured image can be reduced, zoom and pan can be freely changed by image processing, and image quality can be maintained at a constant standard.
  • the difference in color characteristics between the time of shooting a low resolution image and the time of shooting a high resolution image is corrected, and the image quality of the image created by image processing is actually shot. It is equivalent to the image quality of the selected image.
  • FIG. 12 is a block diagram showing a functional configuration of the digital specimen preparation apparatus 1000 according to the second embodiment.
  • symbol is attached
  • a digital specimen preparation device 1000 is replaced with an image quality determination section 1001, an image filter provision section 103, and an image processing section 108 provided in the digital specimen preparation apparatus 100 of the first embodiment.
  • An image filter color correction information providing unit 1003 and an image processing unit 1004 are provided, and an intermediate image is generated while correcting a difference in color characteristics of the captured image.
  • the image quality determination unit 1001 has a configuration in which a color correction unit 1002 is added to the components included in the image quality determination unit 102 of the digital specimen manufacturing apparatus 100 of the first embodiment.
  • the image quality determination unit 1001 has a function of matching the color characteristics of the reduced image output from the reduction processing unit 111 with the image stored in the low-resolution image memory unit 110, and the color correction unit 1002 is responsible for this function.
  • the color correction unit 1002 corrects the difference in color characteristics between the reduced image of the high resolution image and the low resolution image. Specifically, the color correction unit 1002 performs color correction that corrects a difference in color characteristics from the color characteristics of the shooting unit 101 when shooting a low-resolution image and the color characteristics of the shooting unit 101 when shooting a high-resolution image. Generate information.
  • images having different shooting timings have different color characteristics. For example, white balance over the entire image may be different or some colors may be different.
  • white balance adjustment function Because the lighting is bright, the color of the lighting is generally “white”, but the lighting has a certain color tone, such as “reddish white” like indoors and “bluish white” like outdoors. ing. Therefore, white balance adjustment is to adjust the “white color” by adjusting the RGB balance of the camera when shooting indoors and shooting outdoors.
  • the color correction unit 1002 converts the pixel value (R, G, B) t of the reduced image It output from the reduction processing unit 111 into the pixel value (R, G, B) of the corrected reduced image Ic according to Equation 2 below.
  • the difference in color characteristics is corrected, and the color characteristics of the reduced image are matched with the color characteristics of the actually captured image.
  • the matrix M acquires a large number of pairs of the matrix C and the matrix T, and is set in advance by analysis analysis.
  • the correct resolution image of the 1/8 reduced image of the highest resolution image 3001 is the lowest resolution image 3002. Therefore, the lowest resolution image 3002 corresponds to the matrix C.
  • the matrix T corresponds to a 1/8 reduced image obtained by performing 1/8 reduction processing on the highest resolution image 3001. The same subject is photographed at a magnification of 1 ⁇ and a magnification of 8 ⁇ , and a minimum resolution image 3002 and a maximum resolution image 3001 are obtained.
  • the color correction unit 1002 performs color correction on the reduced image It that is the output of the reduction processing unit 111 to calculate a corrected reduced image Ic, and outputs this to the allowable error determination unit 112. In addition, the color correction unit 1002 passes the matrix M that is color correction information to the image filter color correction information providing unit 1003.
  • the image filter color correction information providing unit 1003 provides the band limiting filter to the image processing unit 1004 in the same manner as the function of the image filter providing unit 103, and also provides the matrix M as color correction information to the image processing unit 1004.
  • the image processing unit 1004 performs the same reduction processing as the function of the image processing unit 108 and performs the same color correction processing as the color correction unit 1002.
  • Equation 2 above is an example of a color correction method, and the present invention does not limit the color correction method, and any color correction method can be applied.
  • any color correction method can be applied.
  • a format for performing the calculation as in the above formula 2 but also a method for referring to color correction information set in advance in a table reference format can be used.
  • the color correction information is generated, and the difference in color characteristics between the reduced image of the high resolution image and the low resolution image is corrected.
  • the digital specimen preparation device 1000 corrects the difference in color characteristics when shooting a low-resolution image and when shooting a high-resolution image, and changes the image quality of the image created by image processing to the image quality of the actually shot image.
  • the digital specimen manufacturing apparatus 1000 generates an intermediate image in which the reference position and magnification of the image are changed while correcting the difference in color characteristics of the captured image. For this reason, the digital specimen manufacturing apparatus 1000 can cover not only the reduction image processing but also the matching of the color characteristics, so that the number of photographed images can be suppressed.
  • a digital specimen production server including a digital specimen production apparatus that can perform zooming processing on a captured image, freely change zoom and pan by image processing, and can maintain a constant image quality is described.
  • the digital specimen production server may not be installed at the same location as the imaging device, the display device, and the image server.
  • FIG. 13 is a block diagram showing a functional configuration of the digital specimen production server 1100 according to the third embodiment.
  • symbol is attached
  • the digital specimen production server 1100 includes an image quality determination unit 1001, an image filter color correction information provision unit 1003, an image processing unit 1004, an operation instruction unit 104, an image display instruction unit 105, and an image provided in the digital specimen preparation device 1000 of the third embodiment.
  • a read control unit 106 is provided.
  • the digital specimen production server 1100 acquires captured images such as a low resolution image and a high resolution image from the imaging apparatus 1101 via the network, and instructs the imaging apparatus 1101 to re-photograph the low resolution image via the network. .
  • the digital specimen production server 1100 is connected to the image server 1103 via a network, and transmits the image coordinates of the reference area to the image server.
  • the output of the image processing unit 108 is sent to the display device 1102 via the network.
  • the photographing apparatus 1101 receives an operation instruction from the operation instruction unit 104 via the network.
  • the digital specimen preparation server 1100 is connected to various imaging apparatuses via a network, it is necessary to individually grasp what kind of control items the imaging apparatus has, what input / output characteristics, etc. There is. Therefore, before the imaging operation starts, the digital specimen production server 1100 and the imaging device 1101 exchange information necessary for each to perform negotiation.
  • the panning and zooming mechanism described in FIG. 2 can be driven by electronic control, and the photographing apparatus 1101 is automatically controlled in response to an instruction from the operation instruction unit 104. Therefore, if the specimen 2001 can be set on the stage 2005 included in the imaging apparatus 1101, panning, zooming, imaging, and the like of the imaging apparatus 1101 can be remotely controlled by the digital specimen production server 1100 via the network.
  • the display device 1102 sends the image reference position and the magnification obtained by the image reference method input unit 113 to the image display instruction unit 105 via the network.
  • the display device 1102 similarly to the imaging device 1101, various types of display devices are connected to the digital specimen production server 1100 via a network, and thus necessary information is exchanged for negotiation.
  • Information that the display device 1102 should send to the digital specimen production server 1100 is, for example, the image size, the number of gradations, input / output characteristics, and the like.
  • the digital specimen preparation server 1100 is connected to the electronic medical record server 1104 via a network and can refer to the patient's personal information. For example, when an examination image of a patient is taken out of the hospital for use at an academic conference or the like, it is possible to check with a tag whether the patient's consent has been completed.
  • the digital specimen preparation server 1100 refers to the patient consent tag of the electronic medical record server 1104 when sending the image to the out-of-hospital display device 1102, and forcibly stops the image transmission if the patient consent has not been obtained. Similarly, the digital specimen production server 1100 forcibly stops imaging so that the imaging apparatus 1101 does not operate when a new examination image is captured and the explanation to the patient is not completed.
  • the imaging device 1101, the display device 1102, the image server 1103, and the digital sample production server 1100 it is not necessary to install the imaging device 1101, the display device 1102, the image server 1103, and the digital sample production server 1100 in the same place when digitizing the specimen.
  • the pathologist creates the specimen 2001 and sets it on the stage 2005, and the pathological doctor at the remote location uses the display device 1102, and the lowest resolution image with a magnification of 1 and the highest resolution image with a magnification of n.
  • Information necessary for setting the determination threshold of the allowable error determination unit 112 is also input from the display device 1102 by the pathologist. If the determination threshold in FIG. 9 can be shared between the pathologist and the pathologist as the PSNR value, the pathologist can input the determination threshold and the pathologist can skip the setting of the determination threshold.
  • the digital specimen production server 1100 can cooperate with the electronic medical record server 1104 to produce a digital specimen in association with security management of personal information and the like.
  • the digital specimen preparation devices 100 and 1000 and the digital specimen preparation server 1100 according to the embodiment have been described above. However, the present invention is not limited to this embodiment.
  • the digital specimen preparation devices 100 and 1000 only need to include the reduction processing unit 111, the operation instruction unit 104, and the image processing unit 108 as essential components.
  • the element may not be provided.
  • the digital specimen production server 1100 only needs to include the reduction processing unit 111, the operation instruction unit 104, and the image processing unit 1004 as essential components, and other components are included. It does not have to be.
  • the digital specimen preparation device can be realized by a computer.
  • FIG. 14 is a block diagram showing a hardware configuration of a computer system that realizes a digital specimen preparation apparatus.
  • the digital specimen preparation apparatus includes a computer 34, a keyboard 36 and a mouse 38 for giving instructions to the computer 34, a display 32 for presenting information such as a calculation result of the computer 34, and a program executed by the computer 34.
  • a CD-ROM (Compact Disc-Read Only Memory) device 40 for reading and a communication modem (not shown) are included.
  • a program that is a process performed by the digital specimen preparation device is stored in a CD-ROM 42 that is a computer-readable recording medium, and is read by the CD-ROM device 40.
  • the data is read by the communication modem 52 through a computer network.
  • the computer 34 includes a CPU (Central Processing Unit) 44, a ROM (Read Only Memory) 46, a RAM (Random Access Memory) 48, a hard disk 50, a communication modem 52, and a bus 54.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the CPU 44 executes the program read via the CD-ROM device 40 or the communication modem 52.
  • the ROM 46 stores programs and data necessary for the operation of the computer 34.
  • the RAM 48 stores data such as parameters at the time of program execution.
  • the hard disk 50 stores programs and data.
  • the communication modem 52 communicates with other computers via a computer network.
  • the bus 54 connects the CPU 44, the ROM 46, the RAM 48, the hard disk 50, the communication modem 52, the display 32, the keyboard 36, the mouse 38, and the CD-ROM device 40 to each other.
  • the system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip, and specifically, a computer system including a microprocessor, ROM, RAM, and the like. .
  • a computer program is stored in the RAM.
  • the system LSI achieves its functions by the microprocessor operating according to the computer program.
  • each of the above-described devices may be configured from an IC card or a single module that can be attached to and detached from each device.
  • the IC card or module is a computer system that includes a microprocessor, ROM, RAM, and the like.
  • the IC card or the module may include the super multifunctional LSI described above.
  • the IC card or the module achieves its function by the microprocessor operating according to the computer program. This IC card or this module may have tamper resistance.
  • the present invention may be the method described above.
  • the present invention may be a computer program that realizes these methods by a computer, or may be a digital signal composed of the computer program.
  • the present invention relates to a non-transitory recording medium that can read the computer program or the digital signal, such as a flexible disk, a hard disk, a CD-ROM, an MO, a DVD, a DVD-ROM, a DVD-RAM, a BD ( It may be recorded on a Blu-ray Disc (registered trademark), a semiconductor memory, or the like.
  • the digital signal may be recorded on these non-temporary recording media.
  • the computer program or the digital signal may be transmitted via an electric communication line, a wireless or wired communication line, a network represented by the Internet, data broadcasting, or the like.
  • the present invention may also be a computer system including a microprocessor and a memory.
  • the memory may store the computer program, and the microprocessor may operate according to the computer program.
  • each component may be configured by dedicated hardware, or may be realized by executing a software program suitable for each component.
  • each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • each component of the digital specimen preparation device shown in FIG. 1 or FIG. 12 or the digital specimen preparation server shown in FIG. 13 may be realized by software.
  • the software that realizes the digital specimen preparation apparatus or digital specimen preparation server of the above embodiment is a program that causes a computer to execute the steps included in the following digital specimen preparation method. That is, in this digital specimen preparation method, a digital specimen used for diagnosis of a disease name or medical condition is prepared using a low-resolution image and a high-resolution image that are photographed images of specimens taken with different resolutions.
  • a method of preparing a digital specimen wherein the high-resolution image captured at a first magnification is reduced so as to become an image at a second magnification that is a photographing magnification of the low-resolution image, and a reduced image of the high-resolution image
  • a reduction processing step for generating the information, and obtaining information indicating whether a difference between the reduced image and the low resolution image falls within an allowable error, and indicating that the information does not fall within the allowable error,
  • An operation instruction step for instructing the photographing unit to re-photograph the low-resolution image by updating the two magnifications to a value larger than the second magnification and smaller than the first magnification;
  • a third magnification which is a photographing magnification larger than two magnifications and smaller than the first magnification and which is the photographing magnification of the digital specimen is acquired, and reduction processing is performed so that the high-resolution image becomes an image of the third magnification.
  • first to third embodiments may be combined.
  • the present invention can minimize imaging of a specimen that requires a lot of work time, and can observe the specimen from any viewpoint anytime and anywhere. For this reason, it is possible to determine the disease name or disease state and contribute to the efficiency and quality improvement of the pathological diagnosis that has a great influence on the decision of the treatment policy.

Abstract

 デジタル標本作製装置(100)であって、第一倍率の高解像度画像を低解像度画像の撮影倍率である第二倍率の画像になるように縮小させて、高解像度画像の縮小画像を生成する縮小処理部(111)と、縮小画像と低解像度画像との違いが許容誤差に収まるか否かを示す情報を取得し、当該情報が許容誤差に収まらないことを示す場合に、第二倍率を第二倍率よりも大きく第一倍率よりも小さい値に更新して低解像度画像の再撮影を撮影部(101)へ指示する動作指示部(104)と、更新後の第二倍率よりも大きく第一倍率よりも小さいデジタル標本の撮影倍率である第三倍率を取得し、高解像度画像が第三倍率の画像になるように縮小処理を行うことでデジタル標本の画像を出力する画像処理部(108)とを備える。

Description

デジタル標本作製装置、デジタル標本作製方法およびデジタル標本作製サーバ
 本発明は、医療診断や治療に用いられるデジタル標本を作製するデジタル標本作製装置、デジタル標本作製方法およびデジタル標本作製サーバに関する。
 従来、医療診断や治療に用いられるデジタル標本を作製するために、標本を撮影する技術が提案されている(例えば、特許文献1及び非特許文献1参照)。
特開2009-223164号公報
一般社団法人 保険医療福祉情報システム工業会、病理・臨床細胞部門システムの標準化活動、pp.20-21、2011年
 しかしながら、上記従来の技術では、撮影時に用いた倍率以外の画像を縮小処理、あるいは拡大処理してデジタル標本を作製する際、画質を一定基準に保つことができないという課題がある。
 本発明は、撮影画像から縮小などの画像処理で作成する画像の画質を一定基準に保って、ズームやパンを自由に変更できるデジタル標本作製装置、デジタル標本作製サーバおよびデジタル標本作製方法を提供する。
 本発明の一態様に係るデジタル標本作製装置は、撮影部によって撮影された解像度が異なる標本の撮影画像である低解像度画像と高解像度画像とを用いて、病名または病状の診断に使用されるデジタル標本を作製するデジタル標本作製装置であって、第一倍率で撮影された前記高解像度画像を、前記低解像度画像の撮影倍率である第二倍率の画像になるように縮小させて、前記高解像度画像の縮小画像を生成する縮小処理部と、前記縮小画像と前記低解像度画像との違いが許容誤差に収まるか否かを示す情報を取得し、前記情報が許容誤差に収まらないことを示す場合に、前記第二倍率を前記第二倍率よりも大きく前記第一倍率よりも小さい値に更新して前記低解像度画像の再撮影を前記撮影部へ指示する動作指示部と、更新後の前記第二倍率よりも大きく前記第一倍率よりも小さい撮影倍率であって前記デジタル標本の撮影倍率である第三倍率を取得し、前記高解像度画像が前記第三倍率の画像になるように縮小処理を行うことで前記デジタル標本の画像を出力する画像処理部とを備える。
 なお、これらの包括的または具体的な態様は、サーバ、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROM等の非一時的な記録媒体で実現されてもよく、装置、サーバ、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
 本発明に係るデジタル標本作製装置によれば、撮影画像から縮小などの画像処理で作成する画像の画質を一定基準に保って、ズームやパンを自由に変更することができる。
図1は、実施の形態1に係るデジタル標本作製装置の機能構成を示すブロック図である。 図2は、実施の形態1に係る撮影部の構成を示す図である。 図3は、実施の形態1に係る画質判定部が実行する画質判定方法を説明する図である。 図4は、実施の形態1に係る許容誤差判定部が判定閾値を取得する処理を説明する図である。 図5は、実施の形態1に係るデジタル標本作製装置を医師が操作する際に使用する操作画面の一例である。 図6は、実施の形態1に係るデジタル標本作製装置が行う、画像の参照領域が変更された場合の処理を説明する図である。 図7は、実施の形態1に係るデジタル標本作製装置が行う、画像の倍率が変更された場合の処理を説明する図である。 図8は、実施の形態1に係るデジタル標本作製装置が行う、画像の参照位置と倍率とが変更された場合の処理を説明する図である。 図9は、実施の形態1に係る許容誤差判定部が判定閾値を取得するための入力画面の一例を示す図である。 図10は、実施の形態1に係るデジタル標本作製装置の動作フローを示すフローチャートである。 図11は、実施の形態1に係る動作指示部の指示により撮影部が低解像度画像の再撮影を2回行った例を示す図である。 図12は、実施の形態2に係るデジタル標本作製装置の機能構成を示すブロック図である。 図13は、実施の形態3に係るデジタル標本作製サーバの機能構成を示すブロック図である。 図14は、実施の形態1~3に係るデジタル標本作製装置を実現するコンピュータシステムのハードウェア構成を示すブロック図である。
(本発明の基礎となった知見)
 医療業務は、診断業務と治療業務の2つに大きく分かれる。
 診断業務は、病名と病状の把握が目的であり、病名または病状に応じて治療方針が決定される。診断業務は、問診や触診から始まって、病気の疑いがあれば画像診断でより詳細な検査を行う。画像診断は、放射線や超音波などを用いた非破壊検査で体内の状態を診る。また、診断業務では、内視鏡などによって臓器表面を観察する。病名や病状を確定するには、病変部から検体を摘出して細胞レベルで状態観察を行う病理診断が行われる。摘出した検体を顕微鏡で観察できる厚みにスライスして、標本を作製する。
 電子カルテの普及や遠隔診断への対応のため、標本は、スキャナやデジタルカメラで撮影されて、デジタル画像情報として電子的に記録される。デジタル化された標本であるデジタル標本は、診療記録となるだけでなく、医療技術の向上のために、過去症例として様々な観点から考察が行われる。特に、放射線や超音波などを利用する非破壊検査の画像診断にとって、デジタル標本は正解画像となるため、画像診断技術の向上に欠かせない医療情報である。以上のように、デジタル標本の作製は、診療の効率化、質的向上につながり、医療ワークフローにおいて欠かせない業務となっている。
 標本を撮影する具体的な方法は、たとえば上記の特許文献1が開示しているように、顕微鏡とカメラから構成される。検体から切り出された標本は、ガラススライドに格納され、顕微鏡下で観察される。カメラは、顕微鏡を通して標本をカラー画像として撮影する。
 病気の種類や病状によって、標本を観察するポイントが変わるため、病理診断医は、顕微鏡の光学倍率を変えながら標本を観察する。低倍率では標本の全体的なパターンを観察し、高倍率では細胞核1つ1つの形状などを観察する。また、倍率が高くなるほど標本の一部を観察することになるため、ガラススライドを動かして標本全体を確認する。そこで、標本の撮影には、カメラワークとしてズームとパンが必要になる。特許文献1は、対物レンズを切り替えてズームを変更し、スライドガラスの搬送ユニットを制御してパンを行っている。
 ズームとパンとを切り替えて複数回撮影を行うため、撮影画像は複数枚取得される。複数枚の撮影画像は1つの標本として一体であるため、一元管理すべきである。そこで、たとえば上記の非特許文献1が開示しているように、低倍率の撮影で得られる低解像度画像と高倍率の撮影で得られる高解像度画像とをピラミッド型のデータ構造で管理すれば、倍率と画像位置とを一元的に管理できる。標本全体を1枚の画像に記録できる解像度が最低解像度となり、最低解像度で撮影された最低解像度画像がピラミッド構造の頂点に位置する。倍率の高い撮影になるほど撮影される画像は高解像度の画像となり、ピラミッドの下部へ位置することになる。最も高い倍率で撮影された最高解像度画像がピラミッドの底辺に配置される。
 以上により、デジタル標本によって、標本をデジタル画像として電子化でき、電子カルテに病理診断の情報を保存できる。また、デジタル標本をネットワークで遠隔地へ送ることにより、遠隔病理診断を実現できる。さらに、過去症例としてデジタル標本を参照でき、病理診断や画像診断の技術改善に活用できる。
 しかしながら、本発明者は、上記従来の技術に関し、以下の課題が生じることを見出した。つまり、上記従来の技術では、撮影時に用いた倍率以外の画像を縮小処理、あるいは拡大処理してデジタル標本を作製する際、画質を一定基準に保つことができないという課題がある。
 たとえば、ピラミッド構造の底辺に位置する最高解像度画像が、ピラミッドの頂点に位置する最低解像度画像の32倍の倍率で撮影された場合、最高解像度画像に1/32の縮小処理を施せば最低解像度画像と同じ解像度となる。しかし、縮小処理から得られた最低解像度画像が実際に撮影された最低解像度画像に一致する保障はない。縮小処理で得られた画像が実際に撮影された画像と異なるようであれば、縮小という画像処理で作られた画像を用いることはできない。
 このような課題を解決するために、本発明の一実施態様に係るデジタル標本作製装置は、撮影部によって撮影された解像度が異なる標本の撮影画像である低解像度画像と高解像度画像とを用いて、病名または病状の診断に使用されるデジタル標本を作製するデジタル標本作製装置であって、第一倍率で撮影された前記高解像度画像を、前記低解像度画像の撮影倍率である第二倍率の画像になるように縮小させて、前記高解像度画像の縮小画像を生成する縮小処理部と、前記縮小画像と前記低解像度画像との違いが許容誤差に収まるか否かを示す情報を取得し、前記情報が許容誤差に収まらないことを示す場合に、前記第二倍率を前記第二倍率よりも大きく前記第一倍率よりも小さい値に更新して前記低解像度画像の再撮影を前記撮影部へ指示する動作指示部と、更新後の前記第二倍率よりも大きく前記第一倍率よりも小さい撮影倍率であって前記デジタル標本の撮影倍率である第三倍率を取得し、前記高解像度画像が前記第三倍率の画像になるように縮小処理を行うことで前記デジタル標本の画像を出力する画像処理部とを備える。
 この構成によると、デジタル標本作製装置は、高解像度画像の縮小画像と低解像度画像との違いが許容誤差に収まらない場合に、低解像度画像の撮影倍率を大きくして再撮影し、再撮影した低解像度画像と高解像度画像の縮小画像との違いが許容誤差に収まるまで再撮影を行って、再撮影した低解像度画像の撮影倍率よりも大きい倍率のデジタル標本の画像を出力する。これにより、デジタル標本作製装置は、デジタル標本を作製する際に、高解像度画像の縮小画像の画質を一定基準に保つことができる。このため、デジタル標本作製装置によれば、撮影画像から縮小などの画像処理で作成する画像の画質を一定基準に保って、ズームやパンを自由に変更することができる。
 また、たとえば、さらに、前記縮小画像と前記低解像度画像との違いが許容誤差に収まるか否かを判定する許容誤差判定部を備え、前記動作指示部は、前記許容誤差判定部による判定結果に応じて、前記許容誤差に収まるか否かを示す情報を取得し、前記許容誤差に収まることを示す情報を取得するまで、前記第二倍率を前記第二倍率よりも大きく前記第一倍率よりも小さい値に更新して前記低解像度画像の再撮影を前記撮影部へ指示し、前記縮小処理部は、前記動作指示部が前記第二倍率を更新するたびに、前記高解像度画像を更新後の前記第二倍率の画像になるように縮小させて、前記高解像度画像の縮小画像を生成し、前記許容誤差判定部は、前記動作指示部が前記第二倍率を更新して前記低解像度画像の再撮影を前記撮影部へ指示するたびに、前記撮影部によって更新後の前記第二倍率で撮影された前記低解像度画像と、前記縮小処理部が生成した前記縮小画像との違いが許容誤差に収まるか否かを判定することにしてもよい。
 この構成によると、デジタル標本作製装置は、高解像度画像の縮小画像と低解像度画像との違いが許容誤差に収まるか否かを判定し、当該許容誤差に収まるまで、低解像度画像の撮影倍率を大きくして再撮影する。これにより、デジタル標本作製装置は、デジタル標本を作製する際に、医師からの判断を得ることなく当該許容誤差に収まるか否かを判定することができ、高解像度画像の縮小画像の画質を一定基準に保つことができる。このため、デジタル標本作製装置によれば、撮影画像から縮小などの画像処理で作成する画像の画質を一定基準に保って、ズームやパンを自由に変更することができる。
 また、たとえば、前記許容誤差判定部は、前記縮小画像と前記低解像度画像との違いと判定閾値とを比較することで、前記許容誤差に収まるか否かを判定し、前記動作指示部は、前記許容誤差に収まるか否かを示す情報を、外部からの入力により取得し、前記許容誤差判定部は、前記動作指示部が取得した前記情報が前記許容誤差に収まることを示す場合の前記縮小画像と前記低解像度画像との違いを前記判定閾値として取得することにしてもよい。
 この構成によると、デジタル標本作製装置は、高解像度画像の縮小画像と低解像度画像との違いが許容誤差に収まるか否かを示す情報を、外部からの入力により取得し、当該情報が当該許容誤差に収まることを示す場合の縮小画像と低解像度画像との違いを判定閾値として取得する。そして、デジタル標本作製装置は、当該判定閾値を用いて、高解像度画像の縮小画像と低解像度画像との違いが許容誤差に収まるか否かを判定する。これにより、医師が、高解像度画像の縮小画像と低解像度画像との違いが許容誤差に収まるか否かを判断して、デジタル標本作製装置に指示を与えることで、デジタル標本作製装置は、判定閾値を取得し、判定を行うことができる。
 また、たとえば、前記許容誤差判定部は、前記縮小画像と前記低解像度画像との違いとしてPSNR(Peak Signal to Noise Ratio)を算出し、算出したPSNRと判定閾値とを比較することで、当該違いが許容誤差に収まるか否かを判定することにしてもよい。
 この構成によると、デジタル標本作製装置は、高解像度画像の縮小画像と低解像度画像との違いとしてPSNRを算出して、当該違いが許容誤差に収まるか否かを判定する。つまり、デジタル標本作製装置は、画質を数値化することによって、当該違いが許容誤差に収まるか否かを判定することができる。
 また、たとえば、前記縮小処理部は、帯域制限フィルタを用いて、前記高解像度画像を前記第二倍率の画像になるように縮小させて、前記縮小画像を生成し、前記デジタル標本作製装置は、さらに、前記動作指示部が前記許容誤差に収まることを示す情報を取得した場合に、前記縮小処理部が用いた前記帯域制限フィルタを前記画像処理部に提供する画像フィルタ提供部を備え、前記画像処理部は、提供された前記帯域制限フィルタを用いて、前記高解像度画像の縮小処理を行うことで、前記デジタル標本の画像を出力することにしてもよい。
 この構成によると、デジタル標本作製装置は、高解像度画像の縮小画像と低解像度画像との違いが許容誤差に収まる場合に、当該縮小画像の作成に用いられた帯域制限フィルタを使用して、高解像度画像の縮小処理を行うことで、デジタル標本の画像を出力する。これにより、デジタル標本作製装置は、実際に撮影した画像の画質と同等の画質の縮小画像を作成して、デジタル標本の画像を出力することができる。
 また、たとえば、さらに、前記縮小画像と前記低解像度画像とのカラー特性の違いを補正する色補正部を備えることにしてもよい。
 この構成によると、デジタル標本作製装置は、高解像度画像の縮小画像と低解像度画像とのカラー特性の違いを補正する。これにより、デジタル標本作製装置は、低解像度画像の撮影時と高解像度画像の撮影時におけるカラー特性の違いを修正して、画像処理によって作成した画像の画質を、実際に撮影した画像の画質と同等にすることができる。
 また、たとえば、前記色補正部は、前記低解像度画像の撮影時の前記撮影部のカラー特性と前記高解像度画像の撮影時の前記撮影部のカラー特性とから、カラー特性の違いを補正する色補正情報を生成することにしてもよい。
 この構成によると、デジタル標本作製装置は、低解像度画像と高解像度画像との撮影時のカラー特性の違いを補正する色補正情報を生成する。これにより、デジタル標本作製装置は、低解像度画像の撮影時と高解像度画像の撮影時におけるカラー特性の違いを修正し、画像処理によって作成した画像の画質を、実際に撮影した画像の画質と同等にすることができる。
 以下、図面を参照して実施の形態を詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、構成要素、構成要素の配置位置および接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
 (実施の形態1)
 本実施の形態では、撮影画像に縮小処理を行って画像処理でズームやパンを自由に変更でき、かつ画質を一定基準に保つことができるデジタル標本作製装置について説明する。
 図1は、実施の形態1に係るデジタル標本作製装置100の機能構成を示すブロック図である。
 同図に示すように、デジタル標本作製装置100は、撮影部101によって撮影された解像度が異なる標本の撮影画像である低解像度画像と高解像度画像とを用いて、病名または病状の診断に使用されるデジタル標本を作製する。
 具体的には、デジタル標本作製装置100は、撮影部101、画質判定部102、画像フィルタ提供部103、動作指示部104、画像表示指示部105、画像読み出し制御部106、画像メモリ部107、および画像処理部108を有し、標本を撮影してデジタル画像を作製し、デジタル標本の参照方法に応じて該当するデジタル画像を表示部114へ提供する。
 まず、図2を用いて、撮影部101について説明する。図2は、実施の形態1に係る撮影部101の構成を示す図である。
 図2(a)に示すように、撮影部101は、被写体である標本2001を、対物レンズ2002を通してカメラ2003で撮影する。光学倍率の異なる対物レンズが装着されたレボルバ2004を回転して解像度の異なるデジタル画像を撮影できる。また、ステージ2005の位置を制御することで、標本2001とカメラ2003との位置関係を変え、パンを制御することができる。
 また、図2(b)に示すように、焦点距離を連続的に変更できる多焦点レンズ2006をカメラ2003の前に設定すれば、対物レンズの光学倍率以外にも設定でき、倍率を連続的に変更できる。撮影に使用されている対物レンズの倍率や、ステージ2005の位置、カメラ2003の撮像素子のサイズ、照明など、撮影に関係するパラメータ(以降、撮影パラメータ)は撮影部101で自動的に記録され、画像データとともに管理する。撮影パラメータは、後述する画像処理などで用いられる。
 なお、本発明は撮影方法に限定を与えるものではなく、図2(a)と図2(b)に示した構成は一例である。たとえば、対物レンズ2002の交換にレボルバ2004を利用する方式は一例であり、多焦点レンズ2006のみで光学倍率の変更を行っても構わない。また、照明など、撮影に関わる諸条件に対しても本発明は制限を与えない。
 図1に戻り、画質判定部102は、切替部115、高解像度画像メモリ部109、低解像度画像メモリ部110、縮小処理部111、および許容誤差判定部112を備えており、画像処理によって生成されたデジタル標本の画質判定を行う。
 図3は、実施の形態1に係る画質判定部102が実行する画質判定方法を説明する図である。また、図4は、実施の形態1に係る許容誤差判定部112が判定閾値を取得する処理を説明する図である。
 まず、図3に示すように、撮影部101は、最高解像度画像3001と最低解像度画像3002とを撮影し、切替部115に送る。そして、切替部115は、最高解像度画像3001を高解像度画像メモリ部109へ送り、最低解像度画像3002を低解像度画像メモリ部110へ送る。これにより、最高解像度画像3001は高解像度画像メモリ部109に記憶され、最低解像度画像3002は低解像度画像メモリ部110に記憶される。
 また、中間解像度画像3003と中間解像度画像3004とは、画像処理による縮小処理で作製される。最低解像度画像3002を倍率1倍とすると、中間解像度画像3003は拡大率2倍、中間解像度画像3004は拡大率4倍、最高解像度画像3001は拡大率8倍に相当する。
 そこで、デジタル標本作製装置100は、最高解像度画像3001を画像処理で1/2に縮小し、これを中間解像度画像3004とする。同様に、デジタル標本作製装置100は、最高解像度画像3001を画像処理で1/4に縮小し、これを中間解像度画像3003とする。
 また、最低解像度画像3002は、最高解像度画像3001を1/8に縮小した画像に相当する。そこで、最高解像度画像3001から画像処理で1/8に縮小した画像を作る際、最低解像度画像3002は1/8縮小画像の正解画像に位置付けられる。そこで最低解像度画像3002と同じ画像が作れるように、最高解像度画像3001を縮小する画像処理を設計すればよい。
 2つの画像の一致度を示す指標の1つに、たとえばPeak Signal to Noise Ratio(以降、PSNRと呼ぶ)がある。
Figure JPOXMLDOC01-appb-M000001
 ここで、I(i,j)とK(i,j)が2つの画像の画素値、MAXは全画素における最大画素値、mとnが画像のサイズを表わす。PSNRが高いほど2つの画像は類似していると言える。そこで、最高解像度画像3001に1/8縮小の画像処理を行った縮小画像をI(i,j)とし、倍率1倍で撮影した最低解像度画像3002をK(i,j)とすれば、上記の式1によって、縮小処理画像の画質を定量的に評価できる。
 デジタル標本作製装置100を使う医師に1/8縮小画像と最低解像度画像3002とを同時に見せ、見た目に同一であると判断するPSNRを評価してみる。その結果、仮に、PSNRが38dBを越えれば2つの画像対は見分けがつかなかったとなった場合、PSNRが38dBを越えるような縮小処理を使えば、撮影画像と等価な画像を得たことになる。
 ここで、縮小処理には、たとえば、バイリニア補間やバイキュービック補間などがあるが、間引きによる折り返しが発生しないように、通常、帯域制限フィルタを併用する。そこで、PSNRのコントロールにおいては、補間処理方式の選択の他、空間的な帯域制限フィルタの設計も考慮されるべきである。
 今、仮に、図4(a)に示すように、最低解像度画像4001に対して16倍の倍率で撮影した最高解像度画像4002に1/16縮小処理を掛けた場合を考える。そして、最高解像度画像4002の1/16縮小画像と最低解像度画像4001とのPSNRが36dBとなったとする。
 上述と同様に、デジタル標本作製装置100を使う医師が画質劣化を感じないレベルをPSNR=38dBとした場合、医師は当該1/16縮小画像と実際に撮影した最低解像度画像4001との違いがわかる。従って、最高解像度画像4002の1/16縮小による画質確認では、縮小処理の画質保障ができないと言える。
 そこで、図4(b)に示すように、画質確認を行う画像を最低解像度画像4001から中間解像度画像4003に切り替える。中間解像度画像4003は、この例では倍率2倍で撮影されていて、最高解像度画像4002を1/8縮小処理した画像となる。縮小率が低くなれば一般に画質は上がり、PSNRが高くなる。この例では、最高解像度画像4002の1/8縮小画像と中間解像度画像4003とのPSNRが39dBになり、画質劣化を感じない38dBを上回る。
 このため、最高解像度画像4002の1/8縮小画像を用いる場合には、撮影画像を用いることなく、縮小処理による画像処理でデジタル標本を作成しても構わない。
 以上の確認より、最高解像度画像4002の縮小率が1/8よりも大きい画像は画像処理で作成しても画質的問題はなく、たとえば最高解像度画像4002の1/4縮小画像が画像処理で作成できる。当該1/4縮小画像は撮影倍率で言えば4倍にあたり、図3の中間解像度画像3004に示すように16枚の画像を撮影することなく画像処理のみで作成できる。同様に、撮影倍率8倍にあたる1/2縮小画像も画質的に問題なく、画像処理のみで作成でき、64枚分の撮影を行うことなしに画像処理のみで画像を作成できる。
 図4(b)の場合、撮影する画像は合計261枚で、その内訳は最低解像度画像4001を1枚、中間解像度画像4003を4枚(=2×2)、最高解像度画像4002を256枚(=16×16)となる。倍率4倍の中間解像度画像4004と、倍率8倍の中間解像度画像4005とを撮影する場合は、さらに80枚(=4×4+8×8)撮影する必要があり、画像処理による画像作成で撮影時間を23%(=80/(261+80))短縮できる。
 図4(b)で説明した動作を行うために、画質判定部102は、縮小処理を施す高解像度画像を保持するための高解像度画像メモリ部109を有する。また、画質判定部102は、画質評価のPSNRを算出するために、実際に撮影した低解像度画像を保持するための低解像度画像メモリ部110を有する。
 縮小処理部111は、高解像度画像メモリ部109の画像に縮小処理を施す。具体的には、縮小処理部111は、第一倍率で撮影された高解像度画像を、低解像度画像の撮影倍率である第二倍率の画像になるように縮小させて、高解像度画像の縮小画像を生成する。
 動作指示部104は、高解像度画像の縮小画像と低解像度画像との違いが許容誤差に収まるか否かを示す情報を取得し、当該情報が許容誤差に収まらないことを示す場合に、第二倍率を第二倍率よりも大きく第一倍率よりも小さい値に更新して低解像度画像の再撮影を撮影部101へ指示する。具体的には、動作指示部104は、当該許容誤差に収まるか否かを示す情報を、外部からの入力(医師による入力)により取得する。
 許容誤差判定部112は、高解像度画像の縮小画像と低解像度画像との違いが許容誤差に収まるか否かを判定する。具体的には、許容誤差判定部112は、動作指示部104が取得した当該情報が当該許容誤差に収まることを示す場合の当該縮小画像と低解像度画像との違いを判定閾値として取得する。そして、許容誤差判定部112は、当該縮小画像と低解像度画像との違いと判定閾値とを比較することで、当該許容誤差に収まるか否かを判定する。
 そして、動作指示部104は、許容誤差判定部112による判定結果に応じて、当該許容誤差に収まるか否かを示す情報を取得し、当該許容誤差に収まることを示す情報を取得するまで、第二倍率を第二倍率よりも大きく第一倍率よりも小さい値に更新して低解像度画像の再撮影を撮影部101へ指示する。
 そして、縮小処理部111は、動作指示部104が第二倍率を更新するたびに、高解像度画像を更新後の第二倍率の画像になるように縮小させて、高解像度画像の縮小画像を生成する。
 そして、許容誤差判定部112は、動作指示部104が第二倍率を更新して低解像度画像の再撮影を撮影部101へ指示するたびに、撮影部101によって更新後の第二倍率で撮影された低解像度画像と、縮小処理部111が生成した縮小画像との違いが許容誤差に収まるか否かを判定する。
 具体的には、許容誤差判定部112は、画質劣化を感じないPSNRを判定閾値として閾値データベース116から受け取る。そして、許容誤差判定部112は、低解像度画像メモリ部110からの画像と縮小処理部111からの画像とのPSNRを計算し、判定閾値を下回った場合は、動作指示部104を介して、撮影部101に低解像度画像の取り直しの指示をする。
 取り直し指示を受けた撮影部101は、図4(b)で説明したように撮影倍率を上げて再撮影を行い、これを低解像度画像メモリ部110に収める。この再撮影は、PSNRが判定閾値を上回るまで繰り返される。
 一方、低解像度画像メモリ部110からの画像と縮小処理部111からの画像とのPSNRが判定閾値を上回った場合には、動作指示部104は、画像フィルタ提供部103に縮小処理用の帯域制限フィルタの画像処理部108への提供を指示する。また、動作指示部104は、画像表示指示部105に画像表示に関する動作を開始する指示を出す。
 つまり、縮小処理部111は、帯域制限フィルタを用いて、高解像度画像を第二倍率の画像になるように縮小させて、縮小画像を生成しており、画像フィルタ提供部103は、縮小処理部111が縮小処理に用いた帯域制限フィルタを縮小処理部111から受け取り、画像処理部108へ提供する。
 そして、画像処理部108は、画像フィルタ提供部103から提供された帯域制限フィルタを用いて、高解像度画像の縮小処理を行うことで、デジタル標本の画像を表示部114に出力する。
 具体的には、画像処理部108は、更新後の第二倍率よりも大きく第一倍率よりも小さい撮影倍率であってデジタル標本の撮影倍率である第三倍率を取得し、高解像度画像が第三倍率の画像になるように縮小処理を行うことでデジタル標本の画像を出力する。
 ここで、縮小処理部111による縮小処理は、一般に以下の手順で行われる。
 (1)ローパスフィルタリング
 (2)座標変換
 (3)補間処理
 座標変換は、縮小後の画素が縮小前のどの位置に対応するかを求める処理である。座標変換で求められた対応位置で画素値がいくつになるかを算出するのが補間処理である。補間処理には、ニアレストネーバーやバイリニア、バイキュービックなど、様々な方式があるが、本発明はこれらの適用に制限を与えるものではなく、任意の補間法を利用できる。
 ただし、画像サイズを小さくすると、縮小後のサンプリング周波数では表現できない高周波成分が折り返しノイズとして現れる。そこで、低域成分を残し、高域成分をカットするローパスフィルタで折り返しノイズを抑える。
 縮小処理部111は、ローパスフィルタを画像フィルタ提供部103へ出力し、画像フィルタ提供部103は、動作指示部104から動作指示を受けると、ローパスフィルタを画像処理部108へ提供する。
 画像表示指示部105は、動作指示部104から画像表示の動作開始の指示を受けると、表示画像を作成するために、画像読み出し制御部106と画像処理部108へ指示を出す。まず、画像読み出し制御部106への指示は、撮影画像内の一部の領域を読み出す指示であり、デジタル標本作製装置100を利用する医師が指示する画像の参照位置と倍率から決まってくる。
 医師からの指示は画像参照方法入力部113が受け付け、画像の参照位置と倍率とが画像表示指示部105へ伝えられる。図5は、実施の形態1に係るデジタル標本作製装置100を医師が操作する際に使用する操作画面の一例である。
 医師は、マウス1201を使って画面上のカーソル1202を移動させ、画像の参照位置の中心点に当たる視点を入力する。また、マウス1201に付属するホイール1203を回転させて、画像の拡大または縮小をコントロールする。
 ある時点で医師は、図6に示す参照領域5001をディスプレイ上で見ているとする。次に医師は、マウス1201でカーソル1202を移動させて画像の参照位置を変更し、参照領域5002をディスプレイに表示するよう、画像参照方法入力部113にパンの指示を入力する。画像参照方法入力部113は、参照領域5002の画像座標を画像表示指示部105へ渡す。図6は、実施の形態1に係るデジタル標本作製装置100が行う、画像の参照領域が変更された場合の処理を説明する図である。
 画像表示指示部105は、受け取った参照領域5002の画像座標を、まず、画像読み出し制御部106へ渡す。画像読み出し制御部106は、参照領域5002を含む最高解像度画像3001を読み出すよう、画像メモリ部107へ指示を与える。
 画像メモリ部107は、最高解像度画像3001を読み出し、画像処理部108へ出力する。さらに、画像表示指示部105は、受け取った参照領域5002の画像座標を画像処理部108へ渡す。
 画像処理部108は、画像メモリ部107から受け取った最高解像度画像3001から参照領域5002を切り出し、表示部114へ出力する。表示部114は、参照領域5002をディスプレイに表示する。これにより、デジタル標本作製装置100を利用する医師は、新しい参照領域である参照領域5002を観察できる。
 図7は、実施の形態1に係るデジタル標本作製装置100が行う、画像の倍率が変更された場合の処理を説明する図である。
 デジタル標本作製装置100を利用する医師は、ある時点で図7に示す参照領域6001をディスプレイ上で見ているとする。次に、当該医師は、画像の倍率を1/2縮小して参照領域6002をディスプレイに表示するよう、画像参照方法入力部113にズームの指示を入力する。
 ここで、当該医師は、拡大率の選択に、図5に示した拡大率選択ボタン1204を利用し、今、16倍の画像を見ていたとすると、拡大率8倍のボタンを押すことで、画像が1/2に縮小される。画像参照方法入力部113は、参照領域6001の画像座標と倍率(1/2縮小)とを画像表示指示部105へ渡す。
 画像表示指示部105は、受け取った参照領域6001の画像座標を、まず、画像読み出し制御部106へ渡す。画像読み出し制御部106は、参照領域6001を含む最高解像度画像3001を読み出すよう、画像メモリ部107へ指示を与える。
 画像メモリ部107は、撮影部101から受け取った最高解像度画像3001を読み出し、画像処理部108へ出力する。さらに、画像表示指示部105は、受け取った参照領域6001の画像座標を画像処理部108へ渡す。
 画像処理部108は、画像メモリ部107から受け取った最高解像度画像3001から参照領域6001を切り出し、画像表示指示部105から受け取った倍率(1/2縮小)に従って1/2縮小の画像処理を施し、表示部114へ出力する。表示部114は、参照領域6002をディスプレイに表示し、デジタル標本作製装置100を利用する医師は、新しい参照領域である参照領域6002を観察できる。
 図8は、実施の形態1に係るデジタル標本作製装置100が行う、画像の参照位置と倍率とが変更された場合の処理を説明する図である。
 デジタル標本作製装置100を利用する医師は、ある時点で図8に示す参照領域7001をディスプレイ上で見ているとする。次に、当該医師は、画像の参照位置と倍率とを変えて、参照領域7002をディスプレイに表示するよう、画像参照方法入力部113にズームの指示を入力する。
 そして、画像参照方法入力部113は、参照領域7002の倍率2倍に相当する中間参照領域7003の画像座標と倍率(1/2縮小)とを画像表示指示部105へ渡す。
 画像表示指示部105は、受け取った中間参照領域7003の画像座標を、まず、画像読み出し制御部106へ渡す。画像読み出し制御部106は、中間参照領域7003を含む最高解像度画像3001を読み出すよう、画像メモリ部107へ指示を与える。
 画像メモリ部107は、最高解像度画像3001を読み出し、画像処理部108へ出力する。さらに、画像表示指示部105は、受け取った中間参照領域7003の画像座標を画像処理部108へ渡す。
 画像処理部108は、画像メモリ部107から受け取った最高解像度画像3001から中間参照領域7003を切り出し、画像表示指示部105から受け取った倍率(1/2縮小)に従って1/2縮小の画像処理を施し、表示部114へ出力する。表示部114は、参照領域7002をディスプレイに表示し、デジタル標本作製装置100を利用する医師は、新しい参照領域である参照領域7002を観察できる。
 図9は、実施の形態1に係る許容誤差判定部112が判定閾値を取得するための入力画面の一例を示す図である。
 デジタル標本作製装置100は、図9に示すように、テスト画像801と参照画像802とを医師に提示する。医師は、テスト画像801と参照画像802との違いを観察し、画像に違いがある場合は、ボタン803を押し、画像に違いがない場合は、ボタン804を押す。
 許容誤差判定部112は、図3に示したピラミッドの頂点に位置する最低解像度画像3002を、参照画像802としてディスプレイに表示させる。一方、許容誤差判定部112は、テスト画像801には、最高解像度画像3001に1/8縮小処理を施した1/8縮小画像を、ディスプレイに表示させる。
 医師がボタン804を押してテスト画像801と参照画像802との違いがないと判断した場合は、許容誤差判定部112は、上記の式1でPSNRを算出し、これが判定閾値となる。なお、過去に多数の症例が蓄積され、判定閾値がほぼ自明となるケースでは、数値入力部805に判定閾値が直接入力されることで、許容誤差判定部112は判定閾値を取得できる。
 一方、医師がボタン803を押して、テスト画像801と参照画像802との違いがあると判断した場合は、テスト画像801を切り替える。テスト画像801を切り替える方法は、図4で説明した例と同様である。すなわち、図4(a)の状態では、参照画像802に実際に撮影された最低解像度画像4001が表示される。テスト画像801には、最高解像度画像4002に1/16の縮小処理を掛けた1/16縮小画像が表示される。
 医師は、テスト画像801と参照画像802との違いを観察し、ボタン803を押して、画像に違いがあることを許容誤差判定部112に通知する。
 そして、テスト画像801の画質を高めるために、最高解像度画像4002の縮小率を1/16から1/8に変更する。そのために、ディスプレイには、現在の参照画像の倍率表示806と、選択できる拡大率とが表示されている。利用者がこの拡大率を選択すると、撮影部101は、対応する拡大率の対物レンズを選んで自動的にセットする。
 これにより、中間解像度画像4003が撮影され、参照画像802には、中間解像度画像4003が表示される。テスト画像801には、最高解像度画像4002に1/8縮小処理を施した1/8縮小画像が表示される。
 図4の例では、医師は、テスト画像801と参照画像802とに違いがないと判断し、ボタン804を押して、テスト画像801と参照画像802との違いは許容されることが許容誤差判定部112へ伝わる。これにより、許容誤差判定部112は、テスト画像801と参照画像802とのPSNRを算出し、図4(b)の例では39dBが判定閾値と決定される。
 なお、テスト画像801の画質改善として、撮影倍率を低下させた画像を新たに取得する方法を説明したが、撮影倍率1/8は一例であり、1/10など他の倍率でも構わない。また、撮影倍率は1/16縮小のままで、画像処理方法や帯域制限フィルタを見直して画質改善を行っても構わない。
 画質劣化の原因として、たとえばカメラ特性の違いがある。高解像度画像と低解像度画像の2枚の画像が必要になるため、カメラ撮影は2回行われる。高解像度画像の場合、図3の最高解像度画像3001に示すように、カメラの撮影範囲は狭くなり、被写体上のある一部を撮影する。一方、低解像度画像の場合、図3の最低解像度画像3002に示すように、カメラの撮影範囲は広くなり、被写体全体を撮影する。
 一般的に、被写体を照らす照明にはむらがあり、被写体の一部と全体では照明分布が異なる。照明分布が異なればカメラ感度に影響が出て、照明が暗いと一般にノイズが増える。逆に、照明が明る過ぎる場合は白飛びが発生する。
 このような原因で、テスト画像801と参照画像802との画質の違いがノイズである場合は、参照画像802にノイズ除去の処理を施すべきである。ノイズ除去は、たとえば対象の画素値を複数画素の画素値の平均値で置き換えるスムージング処理や、帯域制限フィルタで高域をカットするなど任意の方法を適用できる。本発明は、テスト画像の画質改善の方法に関して一切制限は与えない。
 また、判定閾値の設定は、デジタル標本作製装置100を初めて稼動する場合や、判定閾値の見直しをする際に実施する。標本は摘出された検体をスライスし、染色して作られる。そこで、スライスや染色の状態に応じて、様々なテクスチャや色合いを呈する可能性がある。
 デジタル標本作製装置100を初めて稼動する際には、複数の標本で図9の画質比較を行い、判定閾値を決定する。デジタル標本作製装置100を稼動した後、様々なスライス状態や染色状態の標本が追加されるため、判定閾値が変わる可能性がある。そこで、標本作製の管理プロセスなどと連携し、適宜、判定閾値の確認を実施する。
 また、判定閾値の再確認の結果、判定閾値の更新がほとんどない染色方法や、更新が頻繁に行われた染色方法など、様々な傾向が出現する。そこで、継時的傾向を参照して判定閾値の更新のタイミングを管理することも有効である。
 また、病気の種類や病状に応じて、画質が安定する標本と画質が変わりやすい標本が存在する場合も考えられる。そこで、病気や病状ごとに標本を分類して、判定閾値の更新傾向を確認することも有効である。
 上述したように、カメラ特性が変わった場合は画質変化が発生する可能性が高いため、デジタル標本作製装置100が撮影部101からカメラ特性のパラメータを随時受け取って変化を監視するのも有効である。
 なお、再撮影の指示は、動作指示部104が自動的に動作しても、デジタル標本作製装置100の利用者が動作指示部104に指示を与えても、どちらでも構わない。
 動作指示部104が自動的に動作する状況は、たとえば、撮影倍率の変更であり、あらかじめ倍率の変更は2倍と定めておいて、上記のように、1/16縮小を1/8縮小に変更するよう、動作指示部104が自ら撮影部101に指示をする。
 一方、利用者が動作指示部104に指示を与える場合は、たとえば、標本のスライスの状態が大きく変化し、撮影倍率の調整を利用者がテストしながら進める場合、利用者は、画像参照方法入力部113から動作指示部104を介して撮影部101を制御する。
 上述したように、動作指示部104には、以下の5つの役割がある。第一の役割は、最高解像度画像4002と最低解像度画像4001とを撮影することである。第二の役割は、許容誤差判定部112が判定閾値を上回ったという情報が来るまで中間解像度画像を撮影することである。第三の役割は、利用者の画質評価の結果を受け付け、テスト画像801と参照画像802に違いがある場合は中間解像度画像の生成を撮影部101へ指示すること、違いがない場合は閾値データベース116に判定閾値を保存する指示を行うことである。第四の役割は、画像フィルタを画像処理部108へ提供する指示を出すことである。第五の役割は、画像表示指示部105と画像処理部108へ動作開始の指示を行うことである。
 図10は、実施の形態1に係るデジタル標本作製装置100の動作フローを示すフローチャートである。
 ステップS901からステップS908までは、許容誤差判定部112が取得する判定閾値を決定するために動作する。
 まず、撮影部101は、倍率1倍(第二倍率)で低解像度画像(最低解像度画像)を撮影する(S901)。
 また、撮影部101は、倍率n倍(第一倍率)で高解像度画像(最高解像度画像)を撮影する(S902)。
 そして、縮小処理部111は、高解像度画像を1/nに縮小し、1/n縮小画像を算出する(S903)。
 そして、画像処理部108は、テスト画像に高解像度画像の1/n縮小画像を、参照画像に低解像度画像をそれぞれ適用し、デジタル標本作製装置100の利用者である医師にこれらを提示する(S904)。
 そして、動作指示部104は、テスト画像と参照画像の比較結果を医師からの入力により取得する(S905)。動作指示部104が当該2つの画像に見た目の違いがあるとの結果を受けた場合(S905でYES)には、ステップS906へ進む。また、動作指示部104が当該2つの画像に違いがないとの結果を受けた場合(S905でNO)には、ステップS909へ進む。
 そして、ステップS906においては、撮影部101は、動作指示部104からの指示に基づいて、高解像度画像の1/n縮小画像の画質を高めるために、撮影倍率をm倍にして低解像度画像を再撮影する(S906)。
 ただし、mは、第二倍率よりも大きく第一倍率よりも小さい値(n>m>1)である。つまり、撮影部101は、倍率1倍で撮影する最低解像度画像をより高解像度で取得するために、1倍より大きな倍率で中間解像度画像を撮影する。図4(b)の場合、撮影部101は、m=2として中間解像度画像4003を撮影している。
 次に、縮小処理部111は、高解像度画像を1/mに縮小し、1/m縮小画像を算出する(S907)。
 そして、画像処理部108は、テスト画像に高解像度画像の1/m縮小画像を、参照画像に倍率m倍の低解像度画像をそれぞれ適用し、デジタル標本作製装置100の利用者である医師にこれらを提示する(S908)。ステップS908終了後、ステップS905へ戻る。
 また、再びステップS906へ進む場合は、撮影部101は、倍率m倍をより高い倍率に変更して高解像度画像の1/m縮小画像の画質が上がるように、低解像度画像の再撮影を行う。
 そして、テスト画像と参照画像とに違いがなければ、ステップS909へ進む。
 ステップS909においては、許容誤差判定部112は、上記の式1によりテスト画像と参照画像とのPSNRを算出し、これを判定閾値と決定する(S909)。
 そして、画像表示指示部105は、デジタル標本作製装置100を利用する医師が、検体画像のどこを、どのような倍率で見るのか、参照領域の情報を取得する(S910)。
 そして、画像処理部108は、参照領域を含む高解像度画像を画像メモリ部107から読み出す(S911)。たとえば図7の場合は、参照領域6001は最高解像度画像3001に含まれるため、最高解像度画像3001が画像メモリ部107から読み出される。
 そして、画像処理部108は、最高解像度画像3001から参照領域6001を抜き出し、画素ごとに1/kの縮小処理を施す(S912)。
 次に、許容誤差判定部112は、高解像度画像に対する1/l縮小画像のPSNRを算出し、判定閾値と比較する(S913)。許容誤差判定部112が当該縮小画像のPSNRが判定閾値より低いと判定した場合(S913でYES)は、ステップS914へ進む。
 ステップS914においては、撮影部101は、動作指示部104からの指示に基づいて、当該縮小画像のPSNRが判定閾値を上回るように、撮影倍率をd倍に変更して低解像度画像を再撮影する(S914)。ここで、当該撮影倍率のd倍は、最新の低解像度画像の撮影倍率よりも大きく高解像度画像の撮影倍率よりも小さい倍率である。
 ただし、倍率dの決め方は任意であり、本発明は制限を与えない。たとえば、図4に示したように、倍率を2倍ずつ大きくしていく方法や、顕微鏡に装着されている対物レンズの倍率に従って順次倍率を上げるなどの方法を取る。
 そして、縮小処理部111は、高解像度画像を1/dに縮小し、1/d縮小画像を算出する(S915)。
 そして、許容誤差判定部112は、テスト画像に高解像度画像の1/d縮小画像を、参照画像に倍率d倍の低解像度画像をそれぞれ適用して、当該縮小画像と低解像度画像とを比較し(S916)、ステップS913へ戻る。
 また、許容誤差判定部112が当該縮小画像のPSNRが判定閾値以上であると判定した場合(S913でNO)は、画像処理部108の出力を表示部114へ送り、縮小画像を表示する(S917)。
 図11は、実施の形態1に係る動作指示部104の指示により撮影部101が低解像度画像の再撮影を2回行った例を示す図である。
 撮影部101は、最高解像度画像13001を撮影後、最高解像度画像13001の1/16縮小画像に相当する最低解像度画像13002を撮影する。そして、縮小処理部111は、最高解像度画像13001に1/16の縮小処理を行い、1/16縮小画像の最低解像度画像13002に対するPSNRが36dBとなったとする。
 この場合、縮小画像と最低解像度画像との違いが確認できない判定閾値を38dBとすると、1/16縮小画像は最低解像度画像との違いが大きすぎると判定される。このため、撮影部101は、動作指示部104からの指示により、撮影倍率を1/8倍に変更して中間解像度画像13003を再撮影する。これにより、最高解像度画像13001に1/8縮小処理を施して得られた1/8縮小画像の中間解像度画像13003に対するPSNRは37dBとなり、再び、画質判定の閾値38dBを下回る。
 撮影部101は、2度目の再撮影を、1/4倍に相当するズーミングで撮影し、中間解像度画像13004を得たとする。この場合、最高解像度画像13001の1/4縮小画像の中間解像度画像13004に対するPSNRは39dBとなり、画質判断の閾値を上回る。
 以上の状況において、画像メモリ部107に保存される撮影画像は、最高解像度画像13001、最低解像度画像13002、中間解像度画像13003と13004になる。これら実際に撮影された画像は、画像処理による画質劣化の心配がなく、データアクセスは読み込み時間のみであり、縮小画像処理に時間を取られることはない。
 そこで、図11の場合であれば、1倍、2倍、4倍の場合は、それぞれ最低解像度画像13002、中間解像度画像13003、中間解像度画像13004をそのまま表示すればよい。
 また、表示画像の拡大率が1倍から4倍の間であれば、2倍の中間解像度画像13003、あるいは4倍の中間解像度画像13004から画像処理で縮小画像を生成すればよい。たとえば表示画像の倍率が1.5倍の場合は、2倍の中間解像度画像13003に0.75倍の縮小処理を施せばよい。
 一方、最高解像度画像13001と中間解像度画像13004との間に位置する倍率であれば、縮小画像のPSNRは判定閾値を下回ることはないため、縮小画像を表示画像に適応できる。図11に示すように、たとえば、6倍相当の表示画像が必要な場合は、最高解像度画像13001に3/8倍の縮小処理を施せばよい。
 以上により、デジタル標本作製装置100は、実際に撮影する画像の枚数を抑えてデジタル化の手間を抑え、画像の参照位置や倍率を変更して病理診断用の検体を自由に観察できる。つまり、デジタル標本作製装置100は、ズームやパンを自由に変更して様々な倍率、視点で標本を観察できるため、医療情報の電子化を効率的に実施でき、病名または病状確定の医療ワークフローの改善に貢献できる。また、過去症例の参照において標本を電子的に取り出せ、画像処理によって病名または病状判断の一部を支援できる。
 以上のように、本実施の形態1に係るデジタル標本作製装置100によれば、高解像度画像の縮小画像と低解像度画像との違いが許容誤差に収まらない場合に、低解像度画像の撮影倍率を大きくして再撮影し、再撮影した低解像度画像と高解像度画像の縮小画像との違いが許容誤差に収まるまで再撮影を行って、再撮影した低解像度画像の撮影倍率よりも大きい倍率のデジタル標本の画像を出力する。これにより、デジタル標本作製装置100は、デジタル標本を作製する際に、高解像度画像の縮小画像の画質を一定基準に保つことができる。このため、デジタル標本作製装置100によれば、撮影画像から縮小などの画像処理で作成する画像の画質を一定基準に保って、ズームやパンを自由に変更することができる。
 また、デジタル標本作製装置100は、高解像度画像の縮小画像と低解像度画像との違いが許容誤差に収まるか否かを判定し、当該許容誤差に収まるまで、低解像度画像の撮影倍率を大きくして再撮影する。これにより、デジタル標本作製装置100は、デジタル標本を作製する際に、医師からの判断を得ることなく当該許容誤差に収まるか否かを判定することができ、高解像度画像の縮小画像の画質を一定基準に保つことができる。このため、デジタル標本作製装置100によれば、撮影画像から縮小などの画像処理で作成する画像の画質を一定基準に保って、ズームやパンを自由に変更することができる。
 また、デジタル標本作製装置100は、高解像度画像の縮小画像と低解像度画像との違いが許容誤差に収まるか否かを示す情報を、外部からの入力により取得し、当該情報が当該許容誤差に収まることを示す場合の縮小画像と低解像度画像との違いを判定閾値として取得する。そして、デジタル標本作製装置100は、当該判定閾値を用いて、高解像度画像の縮小画像と低解像度画像との違いが許容誤差に収まるか否かを判定する。これにより、医師が、高解像度画像の縮小画像と低解像度画像との違いが許容誤差に収まるか否かを判断して、デジタル標本作製装置100に指示を与えることで、デジタル標本作製装置100は、判定閾値を取得し、判定を行うことができる。
 また、デジタル標本作製装置100は、高解像度画像の縮小画像と低解像度画像との違いとしてPSNRを算出して、当該違いが許容誤差に収まるか否かを判定する。つまり、デジタル標本作製装置100は、画質を数値化することによって、当該違いが許容誤差に収まるか否かを判定することができる。
 また、デジタル標本作製装置100は、高解像度画像の縮小画像と低解像度画像との違いが許容誤差に収まる場合に、当該縮小画像の作成に用いられた帯域制限フィルタを使用して、高解像度画像の縮小処理を行うことで、デジタル標本の画像を出力する。これにより、デジタル標本作製装置100は、実際に撮影した画像の画質と同等の画質の縮小画像を作成して、デジタル標本の画像を出力することができる。
 (実施の形態2)
 本実施の形態では、撮影画像に縮小処理を行って画像処理でズームやパンを自由に変更でき、かつ画質を一定基準に保つことができるデジタル標本作製装置について説明する。特に、本実施の形態に係るデジタル標本作製装置によれば、低解像度画像の撮影時と高解像度画像の撮影時におけるカラー特性の違いを修正し、画像処理によって作成した画像の画質が実際に撮影した画像の画質と同等になる。
 図12は、実施の形態2に係るデジタル標本作製装置1000の機能構成を示すブロック図である。なお、図1に示した実施の形態1のデジタル標本作製装置100と同様の部分については同じ符号を付し、詳細な説明は省略する。
 同図に示すように、デジタル標本作製装置1000は、実施の形態1のデジタル標本作製装置100が備える画質判定部102、画像フィルタ提供部103および画像処理部108に代えて、画質判定部1001、画像フィルタ色補正情報提供部1003および画像処理部1004を有しており、撮影画像のカラー特性の違いを補正しながら、中間画像を生成する。また、画質判定部1001は、実施の形態1のデジタル標本作製装置100の画質判定部102が備える構成要素に色補正部1002を加えた構成である。
 画質判定部1001は、縮小処理部111が出力した縮小画像のカラー特性を低解像度画像メモリ部110に格納される画像と一致させる機能を有し、色補正部1002がこの機能を受け持つ。
 つまり、色補正部1002は、高解像度画像の縮小画像と低解像度画像とのカラー特性の違いを補正する。具体的には、色補正部1002は、低解像度画像の撮影時の撮影部101のカラー特性と高解像度画像の撮影時の撮影部101のカラー特性とから、カラー特性の違いを補正する色補正情報を生成する。
 一般に、撮影タイミングが異なる画像はカラー特性が異なり、たとえば、画像全体に渡るホワイトバランスが違ったり、ある一部の色味が異なったりする場合がある。昨今、ほとんどのデジタルスチルカメラ、ビデオカメラにホワイトバランスの自動調整機能が搭載されている。照明は明るいため、照明の色は概ね「白」という印象を持つが、室内等のように「赤みがかった白」や屋外のように、「青みがかった白」など、照明はある程度の色味を持っている。そこで、屋内で撮影する場合と屋外で撮影する場合で、カメラのRGBのバランスを調節して「白の色味」を調節するのがホワイトバランス調整である。
 一般に、図3の最高解像度画像3001のように、被写体の一部にズームインした狭角撮影では、画面全体がある有彩色に支配され、ホワイトバランスの自動調整は難しい。一方、図3の最低解像度画像3002のように広角撮影の場合は、画面に様々な被写体が存在し、画面全体がある有彩色に支配される状況は少なくなる。そこで、高解像度画像と低解像度画像の2枚の画像を撮影した結果、ホワイトバランスが一致しない状況は十分に考えられる。
 このような場合、縮小処理に関係する帯域制限フィルタを調整しても縮小画像の画質を実際に撮影した画像に近づけることはできない。
 そこで、色補正部1002は、以下の式2に従って、縮小処理部111が出力した縮小画像Itの画素値(R,G,B)tを補正縮小画像Icの画素値(R,G,B)cへ変換して、カラー特性の違いを補正し、縮小画像のカラー特性を実際に撮影した画像のカラー特性に一致させる。
Figure JPOXMLDOC01-appb-M000002
 ここで、行列Mは、行列Cと行列Tのペアを多数取得し、解析分析で予め設定しておく。たとえば図3の場合、最高解像度画像3001の1/8縮小画像の正解画像は最低解像度画像3002である。そこで、行列Cには最低解像度画像3002が対応する。一方、行列Tは、最高解像度画像3001に1/8縮小処理を施した1/8縮小画像が対応する。同一被写体を倍率1倍と倍率8倍とで撮影し、それぞれ最低解像度画像3002と最高解像度画像3001とする。カラー特性を取得するには色相、彩度、明度が異なる様々な色を含む被写体を撮影するのが適当であり、通常、カラー特性を取得する目的で構成されたカラーチャートを用いる。
 色補正部1002は、縮小処理部111の出力である縮小画像Itに色補正を掛けて補正縮小画像Icを算出し、これを許容誤差判定部112へ出力する。また、色補正部1002は、色補正情報である行列Mを、画像フィルタ色補正情報提供部1003へ渡す。
 画像フィルタ色補正情報提供部1003は、画像フィルタ提供部103が有する機能と同じく帯域制限フィルタを画像処理部1004へ提供するとともに、色補正情報として行列Mを画像処理部1004へ提供する。
 画像処理部1004は、画像処理部108が有する機能と同じく縮小処理を実行するとともに、色補正部1002と同じ色補正処理を実施する。
 なお、上記の式2は色補正方法の一例であって、本発明は色補正方法に制限を与えず、任意の色補正方法を適応できる。たとえば、上記の式2のような演算を行う形式のみでなく、テーブル参照形式で予め設定した色補正情報を参照する方法なども利用できる。
 以上のように、本実施の形態2に係るデジタル標本作製装置1000によれば、色補正情報を生成し、高解像度画像の縮小画像と低解像度画像とのカラー特性の違いを補正する。これにより、デジタル標本作製装置1000は、低解像度画像の撮影時と高解像度画像の撮影時におけるカラー特性の違いを修正して、画像処理によって作成した画像の画質を、実際に撮影した画像の画質と同等にすることができる。つまり、デジタル標本作製装置1000は、撮影画像のカラー特性の違いを補正しながら画像の参照位置や倍率を変更した中間画像を生成する。このため、デジタル標本作製装置1000は、縮小の画像処理だけではなく、カラー特性の一致もカバーできるため、撮影画像の枚数を抑えることができる。
 (実施の形態3)
 本実施の形態では、撮影画像に縮小処理を行って画像処理でズームやパンを自由に変更でき、かつ画質を一定基準に保つことができるデジタル標本作製装置を備えるデジタル標本作製サーバについて説明する。特に、当該デジタル標本作製サーバは、撮影装置、表示装置および画像サーバと同一箇所に設置しなくてもよい。
 図13は、実施の形態3に係るデジタル標本作製サーバ1100の機能構成を示すブロック図である。なお、図12に示した実施の形態2のデジタル標本作製装置1000と同様の部分については同じ符号を付し、詳細な説明を省略する。
 デジタル標本作製サーバ1100は、実施の形態3のデジタル標本作製装置1000が備える画質判定部1001、画像フィルタ色補正情報提供部1003、画像処理部1004、動作指示部104、画像表示指示部105および画像読み出し制御部106を備えている。
 そして、デジタル標本作製サーバ1100は、撮影装置1101からネットワークを介して低解像度画像と高解像度画像などの撮影画像を取得するとともに、ネットワークを介して撮影装置1101に低解像度画像の再撮影を指示する。また、デジタル標本作製サーバ1100は、画像サーバ1103とネットワークを介して接続されており、参照領域の画像座標を画像サーバへ伝える。また、画像処理部108の出力は、ネットワークを介して表示装置1102へ送られる。
 撮影装置1101は、動作指示部104からネットワークを介して動作指示を受ける。ただし、デジタル標本作製サーバ1100は、ネットワークを介して様々な撮影装置とつながるため、どのような制御項目を有する撮影装置であるか、どのような入出力特性であるかなどを個々に把握する必要がある。そこで、撮影動作が始まる前に、デジタル標本作製サーバ1100と撮影装置1101はそれぞれに必要な情報を交換してネゴシエーションを行う。
 その後、撮影装置1101は、図2で説明したパンやズームの機構は電子制御で駆動でき、動作指示部104からの指示を受けて自動制御される。そこで、標本2001を撮影装置1101が有するステージ2005にセットできれば、撮影装置1101のパンやズーム、撮影等は、デジタル標本作製サーバ1100がネットワーク越しに遠隔から制御できる。
 表示装置1102は、画像参照方法入力部113で得た画像参照位置と倍率とを、ネットワークを介して画像表示指示部105へ送る。表示装置1102についても撮影装置1101と同様に、様々なタイプの表示装置がデジタル標本作製サーバ1100にネットワークを介して接続されるため、それぞれに必要な情報を交換してネゴシエーションを行う。表示装置1102がデジタル標本作製サーバ1100へ送るべき情報は、たとえば画像サイズ、階調数、入出力特性などである。
 デジタル標本作製サーバ1100は、ネットワークを介して電子カルテサーバ1104とつながっていて、患者の個人情報を参照することができる。たとえば、ある患者の検査画像を学会等で用いるために院外へ出す際、患者の承諾が完了しているかをタグで確認できるようにしておく。
 デジタル標本作製サーバ1100は、院外の表示装置1102に画像を送る際、電子カルテサーバ1104の患者承諾のタグを参照し、患者承諾が得られていない場合は、強制的に画像送信を中止する。同様に、デジタル標本作製サーバ1100は、新たに検査画像を撮影する際に、患者への説明が完了していない際には、撮影装置1101が動作しないように、強制的に撮影を中止する。
 以上により、標本をデジタル化するにあたり、撮影装置1101、表示装置1102、画像サーバ1103、デジタル標本作製サーバ1100を同一箇所に設置する必要はない。
 そこで、たとえば、病理技師が標本2001を作製してステージ2005にセットし、遠隔地にいる病理診断医が表示装置1102を使いながら、倍率1倍の最低解像度画像と倍率n倍の最高解像度画像とを遠隔から撮影する。許容誤差判定部112の判定閾値の設定に必要な情報も表示装置1102から病理診断医が入力する。図9の判定閾値がPSNRの数値として病理診断医と病理技師との間で共有できていれば、病理技師が判定閾値を入力して、病理診断医が判定閾値の設定をスキップできる。
 また、デジタル標本作製サーバ1100が電子カルテサーバ1104と連携することで、個人情報などのセキュリティ管理と関連付けてデジタル標本を作製できる。
 以上、実施の形態に係るデジタル標本作製装置100、1000およびデジタル標本作製サーバ1100について説明したが、本発明は、この実施の形態に限定されるものではない。
 たとえば、上記実施の形態1および2では、デジタル標本作製装置100および1000は、必須の構成要素として、縮小処理部111、動作指示部104および画像処理部108を備えていればよく、その他の構成要素は備えられていなくともよい。また、上記実施の形態3では、デジタル標本作製サーバ1100は、必須の構成要素として、縮小処理部111、動作指示部104および画像処理部1004を備えていればよく、その他の構成要素は備えられていなくともよい。
 また、上述の実施の形態に係るデジタル標本作製装置は、コンピュータにより実現することも可能である。
 図14は、デジタル標本作製装置を実現するコンピュータシステムのハードウェア構成を示すブロック図である。
 デジタル標本作製装置は、コンピュータ34と、コンピュータ34に指示を与えるためのキーボード36およびマウス38と、コンピュータ34の演算結果等の情報を提示するためのディスプレイ32と、コンピュータ34で実行されるプログラムを読み取るためのCD-ROM(Compact Disc-Read Only Memory)装置40および通信モデム(図示せず)とを含む。
 デジタル標本作製装置が行う処理であるプログラムは、コンピュータで読取可能な記録媒体であるCD-ROM42に記憶され、CD-ROM装置40で読み取られる。または、コンピュータネットワークを通じて通信モデム52で読み取られる。
 コンピュータ34は、CPU(Central Processing Unit)44と、ROM(Read Only Memory)46と、RAM(Random Access Memory)48と、ハードディスク50と、通信モデム52と、バス54とを含む。
 CPU44は、CD-ROM装置40または通信モデム52を介して読み取られたプログラムを実行する。ROM46は、コンピュータ34の動作に必要なプログラムやデータを記憶する。RAM48は、プログラム実行時のパラメータなどのデータを記憶する。ハードディスク50は、プログラムやデータなどを記憶する。通信モデム52は、コンピュータネットワークを介して他のコンピュータとの通信を行う。バス54は、CPU44、ROM46、RAM48、ハードディスク50、通信モデム52、ディスプレイ32、キーボード36、マウス38およびCD-ROM装置40を相互に接続する。
 さらに、上記の各装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしても良い。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM、RAMなどを含んで構成されるコンピュータシステムである。RAMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
 さらにまた、上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なICカードまたは単体のモジュールから構成されているとしても良い。ICカードまたはモジュールは、マイクロプロセッサ、ROM、RAMなどから構成されるコンピュータシステムである。ICカードまたはモジュールは、上記の超多機能LSIを含むとしても良い。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、ICカードまたはモジュールは、その機能を達成する。このICカードまたはこのモジュールは、耐タンパ性を有するとしても良い。
 また、本発明は、上記に示す方法であるとしても良い。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしても良いし、上記コンピュータプログラムからなるデジタル信号であるとしても良い。
 さらに、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な非一時的な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD-ROM、MO、DVD、DVD-ROM、DVD-RAM、BD(Blu-ray Disc(登録商標))、半導体メモリなどに記録したものとしても良い。また、これらの非一時的な記録媒体に記録されている上記デジタル信号であるとしても良い。
 また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしても良い。
 また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしても良い。
 また、上記プログラムまたは上記デジタル信号を上記非一時的な記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしても良い。
 つまり、上記実施の形態において、各構成要素は、専用のハードウェアで構成されてもよいし、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。例えば、各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
 つまり、図1または図12に示したデジタル標本作製装置または図13に示したデジタル標本作製サーバの各構成要素は、ソフトウェアによって実現されてもよい。そして、上記実施の形態のデジタル標本作製装置またはデジタル標本作製サーバを実現するソフトウェアは、次のようなデジタル標本作製方法に含まれるステップをコンピュータに実行させるプログラムである。すなわち、このデジタル標本作製方法は、撮影部によって撮影された解像度が異なる標本の撮影画像である低解像度画像と高解像度画像とを用いて、病名または病状の診断に使用されるデジタル標本を作製するデジタル標本作製方法であって、第一倍率で撮影された前記高解像度画像を、前記低解像度画像の撮影倍率である第二倍率の画像になるように縮小させて、前記高解像度画像の縮小画像を生成する縮小処理ステップと、前記縮小画像と前記低解像度画像との違いが許容誤差に収まるか否かを示す情報を取得し、前記情報が許容誤差に収まらないことを示す場合に、前記第二倍率を前記第二倍率よりも大きく前記第一倍率よりも小さい値に更新して前記低解像度画像の再撮影を前記撮影部へ指示する動作指示ステップと、更新後の前記第二倍率よりも大きく前記第一倍率よりも小さい撮影倍率であって前記デジタル標本の撮影倍率である第三倍率を取得し、前記高解像度画像が前記第三倍率の画像になるように縮小処理を行うことで前記デジタル標本の画像を出力する画像処理ステップとを含む。
 さらに、上記実施の形態1~3をそれぞれ組み合わせるとしても良い。
 今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
 本発明は、多くの作業時間を取られる標本の撮影を必要最小限に抑え、かつ、いつでもどこでも標本を自由な視点から観察できる。このため、病名または病状を確定し、治療方針の決定に大きな影響を与える病理診断の効率化、質的向上に貢献できる。
  100、1000 デジタル標本作製装置
  101 撮影部
  102、1001 画質判定部
  103 画像フィルタ提供部
  104 動作指示部
  105 画像表示指示部
  106 画像読み出し制御部
  107 画像メモリ部
  108、1004 画像処理部
  109 高解像度画像メモリ部
  110 低解像度画像メモリ部
  111 縮小処理部
  112 許容誤差判定部
  113 画像参照方法入力部
  114 表示部
  115 切替部
  116 閾値データベース
  801 テスト画像
  802 参照画像
  803、804 ボタン
  805 数値入力部
 1002 色補正部
 1003 画像フィルタ色補正情報提供部
 1100 デジタル標本作製サーバ
 1101 撮影装置
 1102 表示装置
 1103 画像サーバ
 1104 電子カルテサーバ
 1201 マウス
 1202 カーソル
 1203 ホイール
 1204 拡大率選択ボタン
 2001 標本
 2002 対物レンズ
 2003 カメラ
 2004 レボルバ
 2005 ステージ
 2006 多焦点レンズ
 3001、4002、13001 最高解像度画像
 3002、4001、13002 最低解像度画像
 3003、3004、4003、4004、4005、13003、13004 中間解像度画像
 5001、5002、6001、6002、7001、7002 参照領域
 7003 中間参照領域

Claims (10)

  1.  撮影部によって撮影された解像度が異なる標本の撮影画像である低解像度画像と高解像度画像とを用いて、病名または病状の診断に使用されるデジタル標本を作製するデジタル標本作製装置であって、
     第一倍率で撮影された前記高解像度画像を、前記低解像度画像の撮影倍率である第二倍率の画像になるように縮小させて、前記高解像度画像の縮小画像を生成する縮小処理部と、
     前記縮小画像と前記低解像度画像との違いが許容誤差に収まるか否かを示す情報を取得し、前記情報が許容誤差に収まらないことを示す場合に、前記第二倍率を前記第二倍率よりも大きく前記第一倍率よりも小さい値に更新して前記低解像度画像の再撮影を前記撮影部へ指示する動作指示部と、
     更新後の前記第二倍率よりも大きく前記第一倍率よりも小さい撮影倍率であって前記デジタル標本の撮影倍率である第三倍率を取得し、前記高解像度画像が前記第三倍率の画像になるように縮小処理を行うことで前記デジタル標本の画像を出力する画像処理部と
     を備えるデジタル標本作製装置。
  2.  さらに、
     前記縮小画像と前記低解像度画像との違いが許容誤差に収まるか否かを判定する許容誤差判定部を備え、
     前記動作指示部は、前記許容誤差判定部による判定結果に応じて、前記許容誤差に収まるか否かを示す情報を取得し、前記許容誤差に収まることを示す情報を取得するまで、前記第二倍率を前記第二倍率よりも大きく前記第一倍率よりも小さい値に更新して前記低解像度画像の再撮影を前記撮影部へ指示し、
     前記縮小処理部は、前記動作指示部が前記第二倍率を更新するたびに、前記高解像度画像を更新後の前記第二倍率の画像になるように縮小させて、前記高解像度画像の縮小画像を生成し、
     前記許容誤差判定部は、前記動作指示部が前記第二倍率を更新して前記低解像度画像の再撮影を前記撮影部へ指示するたびに、前記撮影部によって更新後の前記第二倍率で撮影された前記低解像度画像と、前記縮小処理部が生成した前記縮小画像との違いが許容誤差に収まるか否かを判定する
     請求項1に記載のデジタル標本作製装置。
  3.  前記許容誤差判定部は、前記縮小画像と前記低解像度画像との違いと判定閾値とを比較することで、前記許容誤差に収まるか否かを判定し、
     前記動作指示部は、前記許容誤差に収まるか否かを示す情報を、外部からの入力により取得し、
     前記許容誤差判定部は、前記動作指示部が取得した前記情報が前記許容誤差に収まることを示す場合の前記縮小画像と前記低解像度画像との違いを前記判定閾値として取得する
     請求項2に記載のデジタル標本作製装置。
  4.  前記許容誤差判定部は、前記縮小画像と前記低解像度画像との違いとしてPSNR(Peak Signal to Noise Ratio)を算出し、算出したPSNRと判定閾値とを比較することで、当該違いが許容誤差に収まるか否かを判定する
     請求項2または3に記載のデジタル標本作製装置。
  5.  前記縮小処理部は、帯域制限フィルタを用いて、前記高解像度画像を前記第二倍率の画像になるように縮小させて、前記縮小画像を生成し、
     前記デジタル標本作製装置は、さらに、
     前記動作指示部が前記許容誤差に収まることを示す情報を取得した場合に、前記縮小処理部が用いた前記帯域制限フィルタを前記画像処理部に提供する画像フィルタ提供部を備え、
     前記画像処理部は、提供された前記帯域制限フィルタを用いて、前記高解像度画像の縮小処理を行うことで、前記デジタル標本の画像を出力する
     請求項1~4のいずれか1項に記載のデジタル標本作製装置。
  6.  さらに、
     前記縮小画像と前記低解像度画像とのカラー特性の違いを補正する色補正部を備える
     請求項1~5のいずれか1項に記載のデジタル標本作製装置。
  7.  前記色補正部は、前記低解像度画像の撮影時の前記撮影部のカラー特性と前記高解像度画像の撮影時の前記撮影部のカラー特性とから、カラー特性の違いを補正する色補正情報を生成する
     請求項6に記載のデジタル標本作製装置。
  8.  請求項1~7のいずれか1項に記載のデジタル標本作製装置を備え、
     前記デジタル標本作製装置は、撮影装置によって撮影された低解像度画像と高解像度画像とをネットワークを介して取得するとともに、ネットワークを介して前記撮影装置に低解像度画像の再撮影を指示し、ネットワークを介してデジタル標本の画像を出力する
     デジタル標本作製サーバ。
  9.  撮影部によって撮影された解像度が異なる標本の撮影画像である低解像度画像と高解像度画像とを用いて、病名または病状の診断に使用されるデジタル標本を作製するデジタル標本作製方法であって、
     第一倍率で撮影された前記高解像度画像を、前記低解像度画像の撮影倍率である第二倍率の画像になるように縮小させて、前記高解像度画像の縮小画像を生成する縮小処理ステップと、
     前記縮小画像と前記低解像度画像との違いが許容誤差に収まるか否かを示す情報を取得し、前記情報が許容誤差に収まらないことを示す場合に、前記第二倍率を前記第二倍率よりも大きく前記第一倍率よりも小さい値に更新して前記低解像度画像の再撮影を前記撮影部へ指示する動作指示ステップと、
     更新後の前記第二倍率よりも大きく前記第一倍率よりも小さい撮影倍率であって前記デジタル標本の撮影倍率である第三倍率を取得し、前記高解像度画像が前記第三倍率の画像になるように縮小処理を行うことで前記デジタル標本の画像を出力する画像処理ステップと
     を含むデジタル標本作製方法。
  10.  請求項9に記載のデジタル標本作製方法に含まれるステップをコンピュータに実行させるためのプログラム。
PCT/JP2012/007290 2011-12-08 2012-11-14 デジタル標本作製装置、デジタル標本作製方法およびデジタル標本作製サーバ WO2013084414A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013548064A JP5963009B2 (ja) 2011-12-08 2012-11-14 デジタル標本作製装置、デジタル標本作製方法およびデジタル標本作製サーバ
US14/062,008 US9947089B2 (en) 2011-12-08 2013-10-24 Digital specimen manufacturing device, digital specimen manufacturing method, and digital specimen manufacturing server

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011269368 2011-12-08
JP2011-269368 2011-12-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/062,008 Continuation US9947089B2 (en) 2011-12-08 2013-10-24 Digital specimen manufacturing device, digital specimen manufacturing method, and digital specimen manufacturing server

Publications (1)

Publication Number Publication Date
WO2013084414A1 true WO2013084414A1 (ja) 2013-06-13

Family

ID=48573808

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/007290 WO2013084414A1 (ja) 2011-12-08 2012-11-14 デジタル標本作製装置、デジタル標本作製方法およびデジタル標本作製サーバ

Country Status (3)

Country Link
US (1) US9947089B2 (ja)
JP (1) JP5963009B2 (ja)
WO (1) WO2013084414A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106354425A (zh) * 2015-07-13 2017-01-25 三星电子株式会社 基于数据属性的数据布局的方法和系统
JP2018512641A (ja) * 2015-02-18 2018-05-17 クアルコム,インコーポレイテッド 拡張現実における色転写のために複数の縮尺において特徴を使用すること
JP2018198090A (ja) * 2016-07-01 2018-12-13 株式会社トプコン 医療支援方法及び医療支援システム
JP2020153682A (ja) * 2019-03-18 2020-09-24 株式会社キーエンス 画像測定装置

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10063757B2 (en) * 2012-11-21 2018-08-28 Infineon Technologies Ag Dynamic conservation of imaging power
JP6455829B2 (ja) * 2013-04-01 2019-01-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP2015195845A (ja) * 2014-03-31 2015-11-09 富士フイルム株式会社 内視鏡システム、内視鏡システムの作動方法、プロセッサ装置、プロセッサ装置の作動方法
US20150363650A1 (en) * 2014-06-13 2015-12-17 Mauricio Braun Distracted Driving Violation Detection and Reporting Technology
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
WO2016183744A1 (en) * 2015-05-15 2016-11-24 SZ DJI Technology Co., Ltd. Color correction system and method
US10509770B2 (en) 2015-07-13 2019-12-17 Samsung Electronics Co., Ltd. Heuristic interface for enabling a computer device to utilize data property-based data placement inside a nonvolatile memory device
US10282324B2 (en) 2015-07-13 2019-05-07 Samsung Electronics Co., Ltd. Smart I/O stream detection based on multiple attributes
US10013781B1 (en) * 2017-06-13 2018-07-03 Google Llc Sewing machine-style polygon drawing method
WO2019049595A1 (ja) * 2017-09-08 2019-03-14 ソニー株式会社 画像処理装置、画像処理方法および画像処理プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007017930A (ja) * 2005-06-10 2007-01-25 Olympus Corp 顕微鏡装置
JP2008304541A (ja) * 2007-06-05 2008-12-18 Olympus Corp 顕微鏡撮像装置
JP2011112523A (ja) * 2009-11-27 2011-06-09 Sony Corp 情報処理装置、情報処理方法及びそのプログラム
JP2011117991A (ja) * 2009-11-30 2011-06-16 Sony Corp 情報処理装置、情報処理方法及びそのプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6404906B2 (en) * 1997-03-03 2002-06-11 Bacus Research Laboratories,Inc. Method and apparatus for acquiring and reconstructing magnified specimen images from a computer-controlled microscope
JP4365555B2 (ja) * 2002-01-22 2009-11-18 株式会社日立製作所 画像記録装置
US7929738B2 (en) 2005-10-11 2011-04-19 Olympus Corporation Microscope apparatus and microscope system
KR100808610B1 (ko) * 2006-06-13 2008-02-28 중앙대학교 산학협력단 영상융합 기술을 이용한 다중초점 디지털 영상복원 방법 및장치
JP2009223164A (ja) 2008-03-18 2009-10-01 Olympus Corp 顕微鏡画像撮影装置
US8296359B2 (en) * 2010-07-12 2012-10-23 Opus Medicus, Inc. Systems and methods for networked, in-context, high resolution image viewing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007017930A (ja) * 2005-06-10 2007-01-25 Olympus Corp 顕微鏡装置
JP2008304541A (ja) * 2007-06-05 2008-12-18 Olympus Corp 顕微鏡撮像装置
JP2011112523A (ja) * 2009-11-27 2011-06-09 Sony Corp 情報処理装置、情報処理方法及びそのプログラム
JP2011117991A (ja) * 2009-11-30 2011-06-16 Sony Corp 情報処理装置、情報処理方法及びそのプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018512641A (ja) * 2015-02-18 2018-05-17 クアルコム,インコーポレイテッド 拡張現実における色転写のために複数の縮尺において特徴を使用すること
CN106354425A (zh) * 2015-07-13 2017-01-25 三星电子株式会社 基于数据属性的数据布局的方法和系统
CN106354425B (zh) * 2015-07-13 2021-06-29 三星电子株式会社 基于数据属性的数据布局的方法和系统
US11461010B2 (en) 2015-07-13 2022-10-04 Samsung Electronics Co., Ltd. Data property-based data placement in a nonvolatile memory device
JP2018198090A (ja) * 2016-07-01 2018-12-13 株式会社トプコン 医療支援方法及び医療支援システム
JP2020153682A (ja) * 2019-03-18 2020-09-24 株式会社キーエンス 画像測定装置
JP7240913B2 (ja) 2019-03-18 2023-03-16 株式会社キーエンス 画像測定装置

Also Published As

Publication number Publication date
JPWO2013084414A1 (ja) 2015-04-27
JP5963009B2 (ja) 2016-08-03
US20140049628A1 (en) 2014-02-20
US9947089B2 (en) 2018-04-17

Similar Documents

Publication Publication Date Title
JP5963009B2 (ja) デジタル標本作製装置、デジタル標本作製方法およびデジタル標本作製サーバ
US8947519B2 (en) Image processing apparatus, image processing system, image processing method, and image processing program
JP5350532B2 (ja) 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム
JP5725975B2 (ja) 撮像装置及び撮像方法
WO2013099124A1 (en) Image processing apparatus, image processing system, image processing method, and program
US9710598B2 (en) Information processor, image data optimization method and program
JP6794747B2 (ja) 医療用画像処理システム、および医療用画像処理システムの作動方法
JP5372068B2 (ja) 撮像システム、画像処理装置
US20160042122A1 (en) Image processing method and image processing apparatus
WO2013100029A1 (ja) 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム
JP5055120B2 (ja) リニア・アレイを用いたマイクロスコープ・スライド・スキャナにおけるデータ管理システムおよび方法
US20130265322A1 (en) Image processing apparatus, image processing system, image processing method, and image processing program
JP2010220794A (ja) 内視鏡画像回転装置および方法並びにプログラム
US20130162805A1 (en) Image processing apparatus, image processing system, image processing method, and program for processing a virtual slide image
JP5466142B2 (ja) リニア・アレイを用いたマイクロスコープ・スライド・スキャナにおけるデータ管理システムおよび方法
JP7158795B1 (ja) 顕微鏡システム及びデータ処理方法
WO2023233922A1 (ja) 顕微鏡システム及びデータ処理方法
JP2013250400A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP5588267B2 (ja) 画像データ管理装置、画像データ管理プログラム、及び画像データ管理方法
JP2023177772A (ja) 顕微鏡システム及びデータ処理方法
JP2023178168A (ja) 顕微鏡システム及びデータ処理方法
JP2021173665A (ja) 画像処理装置、画像処理方法及び画像処理システム
JP2013250574A (ja) 画像処理装置、画像表示システム、画像処理方法および画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12856220

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013548064

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12856220

Country of ref document: EP

Kind code of ref document: A1