WO2020261955A1 - 診断支援プログラム、診断支援システム及び診断支援方法 - Google Patents

診断支援プログラム、診断支援システム及び診断支援方法 Download PDF

Info

Publication number
WO2020261955A1
WO2020261955A1 PCT/JP2020/022475 JP2020022475W WO2020261955A1 WO 2020261955 A1 WO2020261955 A1 WO 2020261955A1 JP 2020022475 W JP2020022475 W JP 2020022475W WO 2020261955 A1 WO2020261955 A1 WO 2020261955A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pathological
displayed
pathological image
processing procedure
Prior art date
Application number
PCT/JP2020/022475
Other languages
English (en)
French (fr)
Inventor
雄生 杉江
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN202080032642.3A priority Critical patent/CN113767440A/zh
Priority to EP20831564.8A priority patent/EP3975198A1/en
Priority to US17/619,741 priority patent/US20220359061A1/en
Publication of WO2020261955A1 publication Critical patent/WO2020261955A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices

Definitions

  • This disclosure relates to a diagnostic support program, a diagnostic support system, and a diagnostic support method.
  • predetermined image processing for example, color correction, contour enhancement, contrast correction, etc.
  • the pathologist may see a pathological image in which the processed portion and the unprocessed portion by the predetermined image processing are mixed. Then, there is a concern that a misdiagnosis may occur because the pathologist cannot reliably distinguish between the processed portion and the unprocessed portion in the pathological image.
  • the present disclosure has been made in view of the above circumstances, and proposes a diagnostic support program, a diagnostic support system, and a diagnostic support method that can improve the accuracy of pathological diagnosis using pathological images.
  • one form of the diagnostic support program includes an image processing procedure for performing predetermined image processing on a pathological image captured by an imaging device, and the image processing on the pathological image. It is a program for causing a computer to execute an output processing procedure for outputting identification information for distinguishing between a processed part and an unprocessed part.
  • FIG. 1 is an overall configuration diagram of the diagnosis support system 1 according to the first embodiment.
  • the diagnostic support system 1 includes a scanner 2, a server 3 (information processing device), and a viewer 4 (information processing device).
  • the scanner 2, the server 3, and the viewer 4 each have a communication unit (not shown) realized by a NIC (Network Interface Card) or the like, and are connected to a communication network (not shown) by wire or wirelessly.
  • Information can be sent and received from each other via a communication network.
  • the arrows in the figure indicate the main flow of information, and information can be sent and received even in the parts without arrows.
  • the scanner 2 is, for example, an imaging device that has a function of an optical microscope, images an observation object (specimen) contained in a glass slide, and acquires a pathological image that is a digital image.
  • the observation object is, for example, a tissue or cell collected from a patient, such as a piece of meat, saliva, or blood of an organ.
  • the scanner 2 includes an imaging unit 21, an image processing unit 22, an encoding unit 23, and a transmitting unit 24.
  • the imaging unit 21 images an observation object housed in a glass slide and outputs an imaging signal.
  • the image processing unit 22 performs basic image processing (for example, demosaicing) on the image pickup signal output by the image pickup unit 21.
  • the encoding unit 23 encodes (encodes) the pathological image processed by the image processing unit 22.
  • the transmission unit 24 transmits the pathological image encoded by the encoding unit 23 to the server 3.
  • the server 3 is a computer device that stores and processes pathological images captured by the scanner 2. Further, when the server 3 receives the request for viewing the pathological image from the viewer 4, the server 3 searches for the pathological image and sends the searched pathological image to the viewer 4.
  • the server 3 includes a receiving unit 31, a storage unit 32, a decoding unit 33, an image processing unit 34, an encoding unit 35, and a transmitting unit 36.
  • the server 3 realizes each function by executing a predetermined program.
  • the program may be stored in the server 3, or may be stored in a storage medium such as a DVD (Digital Versatile Disc), a cloud computer, or the like. Further, the program may be executed on the server 3 by a CPU (Central Processing Unit) or an MPU (Micro Processor) using a RAM (Random Access Memory) or the like as a work area, or an ASIC (Application Specific Integrated Circuit). It may be executed by an integrated circuit such as FPGA (Field Programmable Gate Array).
  • FPGA Field Programmable Gate Array
  • the receiving unit 31 receives the pathological image transmitted from the scanner 2 and stores it in the storage unit 32.
  • the storage unit 32 is realized by, for example, a semiconductor memory element such as a RAM or a flash memory, or a storage device such as a hard disk or an optical disk.
  • the storage unit 32 stores various programs, data, pathological images received from the scanner 2, and the like.
  • the decoding unit 33 reads out the pathological image from the storage unit 32 and decodes it.
  • the image processing unit 34 performs predetermined image processing (for example, color correction, contour enhancement, contrast) on the pathological image decoded by the decoding unit 33 according to the performance of the display unit 45 of the viewer 4 and the preference of the pathologist. Correction, etc. Hereinafter, it may be simply referred to as “image processing”).
  • the encoding unit 35 encodes the pathological image processed by the image processing unit 34.
  • the transmission unit 36 transmits the pathological image encoded by the encoding unit 35 to the viewer 4.
  • the viewer 4 is a computer device mainly used by a pathologist and displaying a pathological image received from the server 3 to which a viewing request is issued, and is installed in, for example, a laboratory or a hospital.
  • the viewer 4 includes a receiving unit 41, a decoding unit 42, an image processing unit 43, a display control unit 44, a display unit 45, a storage unit 46, and an operation unit 47.
  • Viewer 4 realizes each function by executing a predetermined program.
  • the program may be stored in the server 3 or the viewer 4, or may be stored in a storage medium such as a DVD or a cloud computer. Further, the program may be executed by a CPU or MPU with a RAM or the like as a work area, or may be executed by an integrated circuit such as an ASIC or FPGA.
  • the receiving unit 41 receives the pathological image transmitted from the server 3.
  • the decoding unit 42 decodes the pathological image received by the receiving unit 41.
  • the image processing unit 43 performs predetermined image processing (for example, color correction, contour enhancement, contrast correction, etc.) on the pathological image decoded by the decoding unit 42 according to the performance of the display unit 45, the preference of the pathologist, and the like. Perform the image processing procedure. The process by the image processing unit 43 is executed (continued) even while the pathological image is displayed on the display unit 45.
  • predetermined image processing for example, color correction, contour enhancement, contrast correction, etc.
  • the image processing procedure is, for example, performing image processing from the central portion of the area displayed on the display unit 45 of the pathological image (FIG. 3: details will be described later).
  • the image processing may be performed from the portion of the pathological image corresponding to the cursor position displayed on the display unit 45 (FIG. 6: details will be described later).
  • the display control unit 44 executes an output processing procedure for outputting identification information for distinguishing the processed portion and the unprocessed portion of the image processing for the pathological image.
  • the process by the display control unit 44 is executed (continued) even while the pathological image is displayed on the display unit 45.
  • a boundary line which is identification information, is displayed at the boundary between the processed completed portion and the unprocessed portion displayed on the display unit 45 (Fig. 3: Details will be described later).
  • the new processing completed part is highlighted by at least one of the color, thickness, and blinking of the boundary line around the new processing completed part.
  • Fig. 5 Details will be described later.
  • the boundary line is displayed by the line of the first line type located on the side of the processing completed portion and the line of the second line type located on the side of the unprocessed portion. (Fig. 7: Details will be described later).
  • the entire pathological image is displayed on a part of the display unit 45, and the entire displayed pathological image is combined with the processing completed portion.
  • a boundary line may be displayed at the boundary of the unprocessed portion (FIG. 8: details will be described later).
  • At least one of the processed completed portion and the unprocessed portion may be indicated by text display on the display unit 45 (FIG. 8: details will be described later).
  • the display unit 45 may indicate that the unprocessed portion is displayed by graphic display (FIG. 10: details will be described later).
  • the unprocessed portion may be displayed on the display unit 45 after performing a predetermined image quality deterioration processing. For example, if the unprocessed portion is subjected to brightness reduction or grayscale as a predetermined image quality deterioration process, the observer can surely notice the unprocessed portion.
  • the display unit 45 is a means for displaying information, and has, for example, a screen using a liquid crystal, EL (Electro-Luminescence), CRT (Cathode Ray Tube), or the like. Further, the display unit 45 may correspond to 4K or 8K, or may be formed by a plurality of display devices. The display unit 45 displays information (images and the like) according to the control by the display control unit 44.
  • the storage unit 46 is realized by, for example, a semiconductor memory element such as a RAM or a flash memory, or a storage device such as a hard disk or an optical disk.
  • the storage unit 46 stores various programs, data, pathological images received from the server 3, and the like.
  • the operation unit 47 is a means operated by a user of the viewer 4 (pathologist or the like; the same applies hereinafter), and is, for example, a mouse, a keyboard, a touch panel, or the like.
  • both the image processing unit 34 of the server 3 and the image processing unit 43 of the viewer 4 can perform predetermined image processing, but the present invention is not limited to this.
  • the predetermined image processing may be performed only by the viewer 4.
  • the predetermined image processing may be performed only by the server 3.
  • the viewer 4 has a function of outputting identification information for distinguishing a processed portion and an unprocessed portion of a predetermined image processing in a pathological image among the server 3 and the viewer 4.
  • the present invention is not limited to this, and the server 3 may have such a function.
  • FIG. 2 is a flowchart showing processing by the viewer 4 according to the first embodiment.
  • the description of some processes such as the process by the decoding unit 42 may be omitted.
  • step S1 the viewer 4 determines whether or not there is an image display operation, that is, an operation by the operation unit 47 for displaying the pathological image by a pathologist or the like, and in the case of Yes, the process proceeds to step S2, and No. In the case of, the process returns to step S1.
  • step S2 the receiving unit 41 acquires a pathological image from the server 3.
  • step S3 the image processing unit 43 starts predetermined image processing (for example, color correction, contour enhancement, contrast correction, etc.) on the pathological image.
  • predetermined image processing for example, color correction, contour enhancement, contrast correction, etc.
  • step S4 the display control unit 44 displays the pathological image on the display unit 45.
  • step S5 the display control unit 44 executes an output processing procedure for outputting identification information for distinguishing the processed portion and the unprocessed portion of the image processing for the pathological image.
  • step S6 the image processing unit 43 determines whether or not the predetermined image processing has been completed, and if Yes, the process proceeds to step S7, and if No, the process returns to step S4. That is, during the loop processing of step S4 ⁇ step S5 ⁇ step S6, No ⁇ step S4 ...,
  • the display unit 45 displays the processed portion and the unprocessed portion as a pathological image in a mixed manner, and also processes the pathological image.
  • the boundary line for distinguishing the completed part and the unprocessed part is also displayed. As a result, the observer can reliably distinguish between the processed portion and the unprocessed portion of the image processing for the pathological image (details will be described later).
  • step S7 the viewer 4 has whether or not the image display portion has been changed, that is, whether or not the observer has operated the operation unit 47 to change the area of the pathological image displayed on the display unit 45. If Yes, the process returns to step S3, and if No, the process proceeds to step S8.
  • step S8 the viewer 4 determines whether or not the image display end operation, that is, the operation by the operation unit 47 for ending the display of the pathological image by the pathologist or the like has been performed, and in the case of Yes, the process proceeds to step S9. If No, the process returns to step S7.
  • step S9 the viewer 4 ends the image display, that is, the display of the pathological image on the display unit 45.
  • FIG. 3 is a diagram schematically showing a first example of a pathological image according to the first embodiment.
  • 3 (a) to 3 (c) show pathological images displayed on the display unit 45.
  • FIG. 3A is a pathological image before performing predetermined image processing.
  • FIG. 3C is a pathological image after the predetermined image processing is completed.
  • the image processing procedure performed by the image processing unit 43 performs predetermined image processing from the central portion of the area displayed on the display unit 45 of the pathological image.
  • the image processing is performed from the central part of the display area of the pathological image in this way. That is convenient for the observer.
  • FIG. 3B is a pathological image during the process of performing the predetermined image processing.
  • the inside of the area R1 is the processing completed part, and the outside of the area R1 is the unprocessed part.
  • a predetermined image processing is a color correction processing
  • the lesion site is determined by a shade of purple to magenta.
  • the pathologist may misdiagnose the unprocessed portion of the color correction as the processed completed portion when he / she sees the pathological image without the display of the boundary line.
  • contour enhancement and if proper contour enhancement processing is not performed, normal cells may be judged to be lesion cells in the high-magnification image, so the processed part and the unprocessed part in the pathological image without the boundary line display. Confusion in the treated area can cause misdiagnosis.
  • the observer can surely distinguish between the processed portion and the unprocessed portion in the pathological image. Misdiagnosis can be avoided.
  • FIG. 4 is a diagram schematically showing a second example of the pathological image according to the first embodiment. 4 (a) to 4 (c) show pathological images displayed on the display unit 45.
  • FIG. 4A is a pathological image after performing predetermined image processing. Here, for example, it is assumed that the observer operates the operation unit 47 to move the pathological image displayed on the display unit 45 to the left (Yes in step S7 in FIG. 2).
  • the left area R2 in the display unit 45 is the processed completed portion, and the outside of the right area R2 is the unprocessed portion.
  • the output processing procedure performed by the display control unit 44 displays the boundary line inside and outside the area R2.
  • FIG. 5 is a diagram schematically showing a third example of the pathological image according to the first embodiment.
  • 5 (a) to 5 (c) show pathological images displayed on the display unit 45.
  • FIG. 5A is a pathological image before performing predetermined image processing.
  • the image processing procedure performed by the image processing unit 43 performs image processing from the central portion of the area displayed on the display unit 45 of the pathological image, and the processing completed portion. And a border is displayed at the boundary of the unprocessed part.
  • FIG. 5B is a pathological image during the process of performing the predetermined image processing.
  • the inside of the region R3 is the processed portion
  • the outside of the region R1 is the unprocessed portion.
  • the image processing procedure performs predetermined image processing on the area R4 shown in FIG. 5C, and at that time, the output processing procedure is a boundary line around the area R4 which is the new processing completion portion. Is highlighted.
  • this highlighting method is not limited to making the boundary line thicker than other boundary lines, and in addition, the color of the boundary line may be different from the color of other boundary lines, or the boundary line may be different. May be blinking.
  • FIG. 6 is a diagram schematically showing a fourth example of the pathological image according to the first embodiment. 6 (a) to 6 (c) show pathological images displayed on the display unit 45.
  • FIG. 6A is a pathological image before performing predetermined image processing.
  • the image processing procedure is performed on the part of the pathological image corresponding to the position of the cursor (reference numeral C in FIG. 6B) displayed on the display unit 45 (hereinafter, “cursor”).
  • cursor reference numeral C in FIG. 6B
  • Image processing is performed from the "part". Since it is highly likely that the observer is paying attention to the cursor portion of the pathological image, it is convenient for the observer to perform image processing from the cursor portion.
  • the output processing procedure displays a boundary line at the boundary between the processed part and the unprocessed part.
  • the inside of the region R5 is the processed portion, and the outside of the region R5 is the unprocessed portion.
  • the boundary line of the region R6 including the new processing completed portion is highlighted in the same manner as the boundary line of the region R4 in FIG. 5C.
  • FIG. 7 is a diagram schematically showing a fifth example of the pathological image according to the first embodiment.
  • the boundary line is the line L71 of the first line type located on the side (center side) of the processing completed portion and the first line L71 located on the side (outside) of the unprocessed portion. It is indicated by the line L73 of the line type 2 and the line L72 in between.
  • the lines L71, L72, and L73 are made different so that the color depths gradually become darker in that order. Then, if the observer recognizes in advance that the light-colored side is the processed portion and the dark-colored side is the unprocessed portion, the processed portion and the unprocessed portion in the pathological image can be reliably distinguished.
  • the method of different line types is not limited to the color, and may be a solid line or a broken line. Further, the number of lines constituting the boundary line is not limited to three, and may be two or four or more.
  • FIG. 8 is a diagram schematically showing a sixth example of the pathological image according to the first embodiment.
  • the observer observes that the entire screen is the processed completed portion and the unprocessed portion. It may not be easy to determine which of these. Therefore, as shown in FIG. 8, in the output processing procedure, when a part of the pathological image is enlarged and displayed on the display unit 45 (region R8), the entire pathological image is displayed on a part of the display unit 45 (region R9).
  • a boundary line is displayed at the boundary between the processed portion (inside the region R10 in the region R9) and the unprocessed portion (outside the region R10 in the region R9) in the entire displayed pathological image. Further, the region R11 in the region R9 corresponds to the enlarged display (region R8).
  • the observer can easily recognize that the enlarged display (area R8) portion corresponds to the region R11 in the whole (region R9) and is an unprocessed portion.
  • the output processing procedure highlights (for example, a thick frame display) the enlarged display (area R8) that is a part of the pathological image.
  • the observer can more easily recognize that the portion of the enlarged display (region R8) is the unprocessed portion.
  • the unprocessed part is indicated by a text display (display of "Caution! Unprocessed" of reference numeral T).
  • a text display display of "Caution! Unprocessed" of reference numeral T.
  • the text display is not limited to the unprocessed portion, and may be performed on the processed completed portion. Further, the text display may be performed by, for example, OSD (On Screen Display), but is not limited to this, and may be performed by other means.
  • FIG. 9 is a diagram schematically showing an example of a UI (User Interface) when performing predetermined image processing on the pathological image according to the first embodiment.
  • color temperature correction color tmp
  • contrast enhancement contrast enhancement
  • image proc menu image proc menu
  • Contrast can be selected.
  • color temperature correction color tmp
  • an image obtained by performing color temperature correction of 5000K on the bird's-eye view image (an image showing the overall overview of the pathological image) is displayed in a pop-up as an example in the area R12 of FIG. 9A. Will be done.
  • the color temperature correction of 5000 K is performed on the entire display screen.
  • the observer can easily select the content of the predetermined image processing for the pathological image using the UI as described above.
  • the processing time can be shortened by performing color temperature correction on a bird's-eye view image having a small area and showing it as an example instead of the entire display screen shown in FIG. 9A.
  • FIG. 10 is a diagram schematically showing an example of a display for identifying an unprocessed portion in the pathological image according to the first embodiment.
  • the display unit 45 may indicate by graphic display that the unprocessed portion is displayed.
  • the inside of the region R14 is the processed portion, and the outside of the region R14 is the untreated portion.
  • the area R13 is a bird's-eye view image.
  • the icon A1 is an icon indicating by displaying an hourglass that the unprocessed portion is displayed.
  • the status bar SB1 is a status bar indicating that the unprocessed portion is displayed by displaying the remaining time as a guide.
  • the observer can display the displayed pathological image by indicating by graphic display that the unprocessed portion is displayed by the icon A1 and the status bar SB1 in addition to the boundary line inside and outside the area R14. It is possible to more reliably recognize the existence of the unprocessed portion in.
  • both the icon A1 and the status bar SB1 are displayed in FIG. 10, but the display is not limited to this, and only one of them may be displayed. Moreover, other illustrated display may be used.
  • the pathology using the pathological image is output by outputting the identification information for distinguishing the processed portion and the unprocessed portion of the image processing for the pathological image.
  • the accuracy of diagnosis can be improved.
  • the observer can surely distinguish between the processed portion and the unprocessed portion in the pathological image. , Misdiagnosis can be avoided.
  • the observer can surely recognize the new processed part in the pathological image and make a misdiagnosis. It can be avoided more.
  • the cursor when the cursor is displayed together with the pathological image, it is convenient for the observer who is considered to have a high possibility of paying attention to the cursor part by performing image processing from the part corresponding to the cursor position.
  • the observer can more reliably distinguish between the processed portion and the unprocessed portion in the pathological image.
  • the observer can see the bird's-eye view image by displaying the boundary line at the boundary between the processed portion and the unprocessed portion in the bird's-eye view image. It is possible to easily recognize whether the enlarged display is a processed portion or an unprocessed portion.
  • the observer can more reliably distinguish between the processed completed portion and the unprocessed portion.
  • the observer more surely recognizes that the unprocessed portion exists in the pathological image. can do.
  • the start position of the predetermined image processing for the pathological image is not limited to the center of the screen or the cursor portion described above.
  • the lesion portion is specified by inference by machine learning or the like, it is the lesion site. May be good.
  • the predetermined image processing is not limited to color correction, contour enhancement, and contrast correction, and may be other image processing such as tone curve correction.
  • ⁇ Second Embodiment> [4. System configuration according to the second embodiment] Next, the diagnosis support system 1 according to the second embodiment will be described. Descriptions of the same items as in the first embodiment will be omitted as appropriate.
  • the second embodiment is different from the first embodiment in that a so-called tile image is used. That is, in the second embodiment, the pathological image is composed of a plurality of tile images. Further, in the image processing procedure, when the layer of the tile image displayed on the display unit 45 changes, a predetermined image processing is performed on the tile image in the new layer. The details will be described below.
  • FIG. 11 is an overall configuration diagram of the diagnosis support system 1 according to the second embodiment. Compared with the case of the first embodiment, the tile image generation unit 37 is added to the server 3. The details of the tile image generation unit 37 will be described later.
  • FIG. 12 is a diagram for explaining the imaging process according to the second embodiment.
  • the scanner 2 captures the observation object A10 housed in the glass slide G10 and acquires a pathological image which is a digital image.
  • the scanner 2 identifies the area where the observation object A10 exists from the whole image after generating the whole image, and divides the area where the observation object A10 exists into predetermined sizes. The divided regions are sequentially imaged by the high-resolution imaging unit. For example, as shown in FIG. 12, the scanner 2 first images the region R11 and generates a high-resolution image I11 which is an image showing a part of the observation target A10.
  • the scanner 2 moves the stage to image the region R12 by the high-resolution imaging unit, and generates the high-resolution image I12 corresponding to the region R12. Similarly, the scanner 2 generates high resolution images I13, I14, ... Corresponding to the regions R13, R14, .... Although only the area R18 is shown in FIG. 12, the scanner 2 sequentially moves the stage to image all the divided areas corresponding to the observation object A10 by the high-resolution imaging unit, and corresponds to each divided area. Generate high resolution images.
  • the glass slide G10 may move on the stage.
  • an unphotographed region of the observation object A10 may occur.
  • the scanner 2 takes an image with a high-resolution imaging unit so that adjacent divided areas partially overlap, so that an unphotographed area is generated even when the glass slide G10 moves a little. Can be prevented.
  • FIG. 12 shows an example in which the scanner 2 takes an image from the central portion of the observation object A10.
  • the scanner 2 may image the observation object A10 in an order different from the imaging order shown in FIG.
  • the scanner 2 may take an image from the outer peripheral portion of the observation object A10.
  • each high-resolution image generated by the scanner 2 is sent to the server 3, and is divided into a predetermined size by the tile image generation unit 37 in the server 3.
  • a partial image (tile image) is generated from the high-resolution image.
  • FIG. 13 is a diagram for explaining the generation process of the partial image (tile image) in the second embodiment.
  • FIG. 13 shows a high-resolution image I11 corresponding to the region R11 shown in FIG.
  • the server 3 generates a partial image from the high resolution image.
  • the partial image may be generated by a device other than the server 3 (for example, an information processing device mounted inside the scanner 2).
  • the server 3 generates 100 tile images T11, T12, ... By dividing one high-resolution image I11. For example, when the resolution of the high resolution image I11 is 256 0 ⁇ 256 [pixel: pixel], the server 3 has 100 tile images T11 having a resolution of 256 ⁇ 256 [pixel: pixel] from the high resolution image I11. Generate T12, .... Similarly, the server 3 generates a tile image by dividing other high-resolution images into similar sizes.
  • the regions R111, R112, R113, and R114 are regions that overlap with other adjacent high-resolution images (not shown in FIG. 13).
  • the server 3 performs stitching processing on high-resolution images adjacent to each other by aligning overlapping areas by a technique such as template matching. In this case, the server 3 may generate a tile image by dividing the high-resolution image after the stitching process. Alternatively, the server 3 generates a tile image of an area other than the areas R111, R112, R113 and R114 before the stitching process, and generates a tile image of the area R111, R112, R113 and R114 after the stitching process. May be good.
  • the server 3 generates a tile image which is the minimum unit of the captured image of the observation object A10. Then, the server 3 (or the viewer 4) sequentially synthesizes the tile images of the smallest unit to generate tile images having different hierarchies. Specifically, the server 3 generates one tile image by synthesizing a predetermined number of adjacent tile images. This point will be described with reference to FIGS. 14 and 15. 14 and 15 are diagrams for explaining the pathological image according to the second embodiment.
  • the upper part of FIG. 14 shows a tile image group of the smallest unit generated from each high-resolution image by the server 3.
  • the server 3 generates one tile image T110 by synthesizing four tile images T111, T112, T211 and T212 adjacent to each other among the tile images.
  • the server 3 generates the tile image T110 having a resolution of 256 ⁇ 256.
  • the server 3 generates the tile image T120 by synthesizing the four tile images T113, T114, T213, and T214 adjacent to each other. In this way, the server 3 generates a tile image in which a predetermined number of tile images of the smallest unit are combined.
  • the server 3 generates a tile image in which tile images adjacent to each other are further combined among the tile images after the tile images in the smallest unit are combined.
  • the server 3 generates one tile image T100 by synthesizing four tile images T110, T120, T210, and T220 adjacent to each other. For example, when the resolution of the tile images T110, T120, T210, and T220 is 256 ⁇ 256, the server 3 generates the tile image T100 having the resolution of 256 ⁇ 256.
  • the server 3 uses a 4-pixel average, a weighting filter (a process that reflects close pixels more strongly than distant pixels), and 1/2 thinning out of an image having a resolution of 512 ⁇ 512 that combines four tile images adjacent to each other. By performing processing or the like, a tile image having a resolution of 256 ⁇ 256 is generated.
  • the server 3 By repeating such a compositing process, the server 3 finally generates one tile image having the same resolution as the resolution of the minimum unit tile image. For example, as in the above example, when the resolution of the minimum unit tile image is 256 ⁇ 256, the server 3 repeats the above-mentioned composition process to finally obtain one tile image having a resolution of 256 ⁇ 256. Generate T1.
  • FIG. 15 schematically shows the tile image shown in FIG.
  • the tile image group of the lowest layer is the tile image of the smallest unit generated by the server 3.
  • the tile image group in the second layer from the bottom is a tile image after the tile image group in the lowest layer is combined.
  • the tile image T1 of the uppermost layer indicates that it is one tile image finally generated.
  • the server 3 generates a tile image group having a hierarchy like the pyramid structure shown in FIG. 15 as a pathological image.
  • the area D shown in FIG. 14 shows an example of an area displayed on a display screen such as the display unit 45.
  • the resolution that the display device can display is a tile image for three vertical tiles and a tile image for four horizontal tiles.
  • the degree of detail of the observation object A10 displayed on the display device changes depending on the hierarchy to which the tile image to be displayed belongs. For example, when the tile image of the lowest layer is used, a narrow area of the observation object A10 is displayed in detail. Further, the higher the tile image used, the coarser the wide area of the observation object A10 is displayed.
  • the server 3 stores the tile images of each layer as shown in FIG. 15 in the storage unit 32.
  • the server 3 stores each tile image together with tile identification information (an example of partial image information) that can uniquely identify each tile image.
  • the server 3 receives the acquisition request of the tile image including the tile identification information from the viewer 4, the server 3 transmits the tile image corresponding to the tile identification information to the viewer 4.
  • the server 3 may store each tile image together with the layer identification information for identifying each layer and the tile identification information that can be uniquely identified within the same layer.
  • the server 3 when the server 3 receives the acquisition request of the tile image including the hierarchy identification information and the tile identification information from the viewer 4, the server 3 corresponds to the tile identification information among the tile images belonging to the hierarchy corresponding to the hierarchy identification information.
  • the tile image is transmitted to the viewer 4.
  • the server 3 may store the tile images of each layer as shown in FIG. 15 in the viewer 4, a cloud server (not shown), or the like. Further, the tile image generation process shown in FIGS. 14 and 15 may be executed by a cloud server or the like.
  • the server 3 does not have to store the tile images of all layers.
  • the server 3 may store only the tile image of the lowest layer, may store only the tile image of the lowest layer and the tile image of the top layer, or may store only a predetermined layer (for example, an odd-numbered layer). , Even-numbered layers, etc.) tile images may be stored only.
  • the server 3 requests a tile image of a layer that is not stored from another device, the server 3 dynamically synthesizes the stored tile image to obtain the tile image requested by the other device. Generate an image. In this way, the server 3 can prevent the storage capacity from being overwhelmed by thinning out the tile images to be stored.
  • the server 3 may store tile images of each layer as shown in FIG. 15 for each imaging condition.
  • An example of the imaging condition is a focal length with respect to a subject (observation object A10 or the like).
  • the scanner 2 may take an image of the same subject while changing the focal length.
  • the server 3 may store tile images of each layer as shown in FIG. 15 for each focal length.
  • the reason for changing the focal length is that some observation objects A10 are translucent, so that the focal length is suitable for imaging the surface of the observation object A10 and the inside of the observation object A10 is imaged. This is because there is a suitable focal length.
  • the scanner 2 can generate a pathological image of the surface of the observation object A10 and a pathological image of the inside of the observation object A10 by changing the focal length.
  • the imaging condition there is a staining condition for the observation object A10.
  • a luminescent substance may be stained on a specific portion (for example, a cell nucleus) of the observation object A10.
  • the luminescent material is, for example, a substance that emits light when irradiated with light having a specific wavelength.
  • different luminescent substances may be stained on the same observation object A10.
  • the server 3 may store the tile image of each layer as shown in FIG. 15 for each dyed luminescent material.
  • the number and resolution of the tile images mentioned above are examples and can be changed as appropriate depending on the system.
  • the number of tile images synthesized by the server 3 is not limited to four.
  • the resolution of the tile image is 256 ⁇ 256, but the resolution of the tile image may be other than 256 ⁇ 256.
  • the viewer 4 uses software that employs a system that can handle the tile image group of the hierarchical structure described above, extracts a desired tile image from the tile image group of the hierarchical structure according to a user input operation, and displays the desired tile image. Output to unit 45. Specifically, the display unit 45 displays an image of an arbitrary portion selected by the user among images having an arbitrary resolution selected by the user. By such a process, the user can obtain the feeling of observing the observation object while changing the observation magnification. That is, the viewer 4 functions as a virtual microscope. The virtual observation magnification here actually corresponds to the resolution.
  • FIG. 16 is a diagram schematically showing an example of displaying a pathological image according to the second embodiment.
  • the pathological image I1 shown in FIG. 16A is composed of a tile image group in the middle layer of the pyramid structure.
  • the region R15 in the pathological image I1 is displayed on the display unit 45 as shown in FIG. 16 (b).
  • the inside of the region R16 is the processed portion, and the outside of the region R16 is the unprocessed portion.
  • a border is displayed at the boundary.
  • the pathological image I2 is composed of a tile image group in the upper layer than the pathological image I1.
  • the region R17 in the pathological image I2 corresponds to the region R15 in the pathological image I1.
  • the pathological image I3 is composed of a tile image group in a lower layer than the pathological image I1.
  • the region R18 in the pathological image I3 corresponds to the region R15 in the pathological image I1.
  • a predetermined image processing is executed in the background for the region R17 in the corresponding pathological image I2 and the region R18 in the pathological image I3.
  • the time required for the user to wait during the zoom operation may be reduced.
  • a predetermined image processing may be executed in advance by predicting the user's operation.
  • the identification information for distinguishing the processed portion and the unprocessed portion of the image processing is output even for the pathological image composed of a plurality of tile images.
  • displaying for example, displaying a boundary line
  • the accuracy of pathological diagnosis using a pathological image can be improved.
  • predetermined image processing is performed on the tile image in the new hierarchy, and the boundary line between the processed portion and the unprocessed portion is displayed. This allows the observer to reliably distinguish between the processed portion and the unprocessed portion in the pathological image.
  • FIG. 17 is an overall configuration diagram of the diagnosis support system 1 according to the third embodiment.
  • the third embodiment is different from the first embodiment in that a voice control unit 48 and a voice output unit 49 are added to the viewer 4.
  • the voice control unit 48 executes an output processing procedure for outputting voice as identification information for distinguishing between a processed portion and an unprocessed portion of image processing for a pathological image.
  • the audio output unit 49 is a means for outputting audio, for example, a speaker. For example, when the unprocessed portion is displayed on the display unit 45, the voice control unit 48 notifies by voice to that effect.
  • diagnosis support system 1 of the third embodiment not only the display but also the sound can be used to distinguish the processed portion and the unprocessed portion of the image processing for the pathological image. Therefore, the observer can more reliably distinguish between the processed portion and the unprocessed portion in the pathological image.
  • the display unit 45 assumes a stationary type display device.
  • the present invention is not limited to this, and the display unit 45 may be a wearing device (head-mounted display or the like) worn by a pathologist or the like.
  • the device that images the observation object may be a medical image acquisition device such as an endoscope that images the inside of a patient, CT (Computed Tomography), or MRI (Magnetic Resonance Image).
  • CT Computerputed Tomography
  • MRI Magnetic Resonance Image
  • the server 3 stores a two-dimensional still image or moving image generated by the endoscope, and a medical image such as a three-dimensional image generated by CT or MRI.
  • the server 3 may store other pathological images captured by other medical image acquisition devices such as an endoscope, CT, and MRI in association with the pathological images generated by the scanner 2.
  • other medical image acquisition devices such as an endoscope, CT, and MRI
  • FIG. 18 is a hardware configuration diagram showing an example of a computer that realizes the functions of the viewer 4.
  • the computer 1000 has a CPU 1100, a RAM 1200, a ROM (Read Only Memory) 1300, an HDD (Hard Disk Drive) 1400, a communication interface 1500, and an input / output interface 1600. Each part of the computer 1000 is connected by a bus 1050.
  • the CPU 1100 operates based on the program stored in the ROM 1300 or the HDD 1400, and controls each part. For example, the CPU 1100 expands the program stored in the ROM 1300 or the HDD 1400 into the RAM 1200, and executes processing corresponding to various programs.
  • the ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, a program that depends on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records a program executed by the CPU 1100 and data used by the program.
  • the HDD 1400 is a recording medium for recording the response generation program according to the present disclosure, which is an example of the program data 1450.
  • the communication interface 1500 is an interface for the computer 1000 to connect to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device or transmits data generated by the CPU 1100 to another device via the communication interface 1500.
  • the input / output interface 1600 is an interface for connecting the input / output device 1650 and the computer 1000.
  • the CPU 1100 receives data from an input device such as a keyboard or mouse via the input / output interface 1600. Further, the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input / output interface 1600. Further, the input / output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined computer-readable recording medium (media).
  • the media is, for example, an optical recording medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory.
  • an optical recording medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk)
  • a magneto-optical recording medium such as MO (Magneto-Optical disk)
  • tape medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk)
  • MO Magneto-optical disk
  • the CPU 1100 of the computer 1000 executes the diagnostic support program loaded on the RAM 1200 to execute the receiving unit 41, the decoding unit 42, and the image processing unit. 43, display control unit 44 and other functions are realized.
  • each component of each device shown in the figure is a functional concept, and does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of the device is functionally or physically distributed in an arbitrary unit according to various loads and usage conditions. -Can be integrated and configured.
  • the present technology can also have the following configurations.
  • the output processing procedure is The diagnostic support program according to (1), wherein a boundary line, which is the identification information, is displayed at the boundary between the processed completed portion and the unprocessed portion displayed on the display unit.
  • (3) The output processing procedure is The diagnosis according to (2), wherein a new processing completed portion among the processing completed portions displayed on the display unit is highlighted by at least one of the color, thickness, and blinking of the surrounding boundary line. Support program.
  • the image processing procedure The diagnostic support program according to (2) or (3), wherein the image processing is performed from the central portion of the area displayed on the display unit of the pathological image.
  • the image processing procedure The diagnostic support program according to (2) or (3), wherein the image processing is performed from the portion of the pathological image corresponding to the cursor position displayed on the display unit.
  • the output processing procedure is The boundary line is indicated by a line of the first line type located on the side of the processed portion and a line of the second line type located on the side of the unprocessed portion, (2) or ( The diagnostic support program described in 3).
  • the output processing procedure is When a part of the pathological image is enlarged and displayed on the display unit, the entire pathological image is displayed on a part of the display unit, and the processed portion and the unprocessed portion in the entire displayed pathological image.
  • the diagnostic support program according to (2) or (3) which displays a boundary line at the boundary of a processing portion.
  • the output processing procedure is The diagnostic support program according to (7), which highlights a part of the pathological image when a part of the pathological image enlarged and displayed on the display unit is the unprocessed part.
  • the output processing procedure is The diagnostic support program according to (2) or (3), wherein at least one of the processed completed portion and the unprocessed portion is indicated by text display in the display unit.
  • the output processing procedure is The diagnostic support program according to (2) or (3), wherein the display unit indicates that the unprocessed portion is displayed by a graphic display.
  • the output processing procedure is The diagnostic support program according to (2) or (3), wherein the unprocessed portion is subjected to a predetermined image quality deterioration process and then displayed on the display unit.
  • the pathological image is composed of a plurality of tile images.
  • the image processing procedure The diagnostic support program according to (2) or (3), wherein when the layer of the tile image displayed on the display unit is changed, the predetermined image processing is performed on the tile image in the new layer.
  • the output processing procedure is The diagnostic support program according to (2) or (3), which notifies the unprocessed portion by voice when the unprocessed portion is displayed on the display unit.
  • Imaging device and An information processing device that performs predetermined image processing on a pathological image captured by the imaging device and outputs identification information for distinguishing a processed portion and an unprocessed portion of the image processing on the pathological image.
  • a diagnostic support system A diagnostic support system.
  • the computer An image processing procedure for performing predetermined image processing on a pathological image captured by an imaging device, and A diagnostic support method for executing an output processing procedure for outputting identification information for distinguishing a processed portion and an unprocessed portion of the image processing for the pathological image.
  • the software An information processing device that performs image processing that performs predetermined image processing on the pathological image and output processing that outputs identification information for distinguishing a processed portion and an unprocessed portion of the image processing on the pathological image.
  • Diagnostic support system which is software to be executed by.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Processing (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

診断支援プログラムは、撮像装置によって撮像された病理画像に対して所定の画像処理を行う画像処理手順と、前記病理画像に対する前記画像処理の処理完了部分と未処理部分を識別するための識別用情報を出力する出力処理手順と、をコンピュータに実行させるためのプログラムである。

Description

診断支援プログラム、診断支援システム及び診断支援方法
　本開示は、診断支援プログラム、診断支援システム及び診断支援方法に関する。
　従来から、医療機関における主な診断として、例えば、患者を臨床医が診断する臨床診断のほかに、患者から採取した観察対象物（検体）の撮像画像である病理画像を病理医が診断する病理診断がある。病理診断は、その診断結果が患者の治療方針等に大きく影響するため、極めて重要である。
　そして、病理医が病理診断時に病理画像を見る場合、モニタの性能や病理医の好み等に応じて、病理画像に対して所定の画像処理（例えば、色補正、輪郭強調、コントラスト補正等）を行うことがある。
　しかしながら、一般に、病理画像は高解像度なので、病理画像に対する所定の画像処理は瞬時には完了しない場合が多い。したがって、病理医は、所定の画像処理による処理完了部分と未処理部分の混在した病理画像を見る場合がある。そして、病理医が病理画像における処理完了部分と未処理部分を確実に見分けることができないことによって誤診が起きてしまう可能性がある、という懸念があった。
　そこで、本開示は、上記事情に鑑みてなされたものであり、病理画像を用いた病理診断の精度を向上させることができる診断支援プログラム、診断支援システム及び診断支援方法を提案する。
　上記の課題を解決するために、本開示に係る一形態の診断支援プログラムは、撮像装置によって撮像された病理画像に対して所定の画像処理を行う画像処理手順と、前記病理画像に対する前記画像処理の処理完了部分と未処理部分を識別するための識別用情報を出力する出力処理手順と、をコンピュータに実行させるためのプログラムである。
第１実施形態に係る診断支援システムの全体構成図である。 第１実施形態に係るビューワによる処理を示すフローチャートである。 第１実施形態に係る病理画像の第１の例を模式的に示す図である。 第１実施形態に係る病理画像の第２の例を模式的に示す図である。 第１実施形態に係る病理画像の第３の例を模式的に示す図である。 第１実施形態に係る病理画像の第４の例を模式的に示す図である。 第１実施形態に係る病理画像の第５の例を模式的に示す図である。 第１実施形態に係る病理画像の第６の例を模式的に示す図である。 第１実施形態に係る病理画像に対して所定の画像処理を行う場合のＵＩの例を模式的に示す図である。 第１実施形態に係る病理画像における未処理部分の識別用表示の例を模式的に示す図である。 第２実施形態に係る診断支援システムの全体構成図である。 第２実施形態に係る撮像処理を説明するための図である。 第２実施形態における部分画像（タイル画像）の生成処理を説明するための図である。 第２実施形態に係る病理画像を説明するための図である。 第２実施形態に係る病理画像を説明するための図である。 第２実施形態に係る病理画像の表示の例を模式的に示す図である。 第３実施形態に係る診断支援システムの全体構成図である。 ビューワの機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下に、本開示の実施形態について図面を参照して詳細に説明する。なお、以下の各実施形態において、同一の構成には同一の符号を付することによって重複する説明を適宜省略する。
　以下に示す項目順序にしたがって本開示を説明する。
＜第１実施形態＞
　１．第１実施形態に係るシステムの構成
　２．第１実施形態に係るビューワによる処理手順
　３．第１実施形態に係る病理画像の第１の例～第６の例など
＜第２実施形態＞
　４．第２実施形態に係るシステムの構成
　５．第２実施形態におけるタイル画像の説明
　６．第２実施形態に係る病理画像の表示の例
＜第３実施形態＞
　７．第３実施形態に係るシステムの構成
＜その他の実施形態＞
＜第１実施形態＞
［１．第１実施形態に係るシステムの構成］
　まず、図１を参照して、第１実施形態に係る診断支援システム１について説明する。図１は、第１実施形態に係る診断支援システム１の全体構成図である。図１に示すように、診断支援システム１は、スキャナ２と、サーバ３（情報処理装置）と、ビューワ４（情報処理装置）と、を備える。なお、スキャナ２とサーバ３とビューワ４は、それぞれ、ＮＩＣ（Network　Interface　Card）等によって実現される通信部（不図示）を有し、通信ネットワーク（不図示）と有線又は無線で接続され、その通信ネットワークを介して互いに情報を送受信することができる。なお、図中の矢印は情報の主な流れを示したもので、矢印のない部分でも情報の送受信をすることができる。
　従来技術では、このような病理診断（ＤＰＩ（Digital　Pathology　Imaging））のシステムにおいて、病理画像に対する所定の画像処理が瞬時には完了しない場合に、病理画像の未処理部分について、観察者（病理医等。以下同様）にとっての体感する待ち時間を低減するために、例えば、簡易現像処理による簡易プレビュー表示を行っていた。しかし、１つの病理画像を数秒で診断してしまうこともある病理医にとって、そのような簡易プレビュー表示が混在する病理画像では、病理画像における処理完了部分と未処理部分を確実に見分けることができないことによって誤診が起きてしまう可能性がある、という懸念があった。そこで、以下では、病理医が処理完了部分と未処理部分を確実に見分けることができる病理画像を提供する技術について説明する。
　スキャナ２は、例えば、光学顕微鏡の機能を有し、ガラススライドに収められた観察対象物（検体）を撮像し、デジタル画像である病理画像を取得する撮像装置である。なお、観察対象物とは、例えば、患者から採取された組織や細胞であり、臓器の肉片、唾液、血液等である。スキャナ２は、撮像部２１と、画像処理部２２と、エンコード部２３と、送出部２４と、を備える。
　撮像部２１は、ガラススライドに収められた観察対象物を撮像し、撮像信号を出力する。画像処理部２２は、撮像部２１が出力した撮像信号に対して基本的な画像処理（例えばデモザイク等）を行う。
　エンコード部２３は、画像処理部２２によって画像処理された病理画像をエンコード（符号化）する。送出部２４は、エンコード部２３によってエンコードされた病理画像をサーバ３に送出する。
　サーバ３は、スキャナ２によって撮像された病理画像の記憶や処理等を行うコンピュータ装置である。また、サーバ３は、ビューワ４から病理画像の閲覧要求を受け付けた場合に、病理画像を検索し、検索した病理画像をビューワ４に送る。サーバ３は、受信部３１と、記憶部３２と、デコード部３３と、画像処理部３４と、エンコード部３５と、送出部３６と、を備える。
　サーバ３は、所定のプログラムを実行することで、各機能を実現する。なお、そのプログラムは、サーバ３に記憶されていてもよいし、あるいは、ＤＶＤ（Digital　Versatile　Disc）などの記憶媒体やクラウドコンピュータ等に記憶されていてもよい。また、そのプログラムは、サーバ３において、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processor）によってＲＡＭ（Random　Access　Memory）等を作業領域として実行されてもよいし、あるいは、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）等の集積回路により実行されてもよい。
　受信部３１は、スキャナ２から送信された病理画像を受信し、記憶部３２に記憶させる。記憶部３２は、例えば、ＲＡＭ、フラッシュメモリ（Flash　Memory）等の半導体メモリ素子、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部３２は、各種のプログラム、データや、スキャナ２から受信した病理画像等を記憶する。
　デコード部３３は、記憶部３２から病理画像を読み出してデコード（復号化）する。画像処理部３４は、ビューワ４の表示部４５の性能や病理医の好み等に応じて、デコード部３３によってデコードされた病理画像に対して所定の画像処理（例えば、色補正、輪郭強調、コントラスト補正等。以下、単に「画像処理」という場合もある。）を行う。
　エンコード部３５は、画像処理部３４によって画像処理された病理画像をエンコードする。送出部３６は、エンコード部３５によってエンコードされた病理画像をビューワ４に送出する。
　ビューワ４は、主に病理医によって使用され、閲覧要求を出した先のサーバ３から受け付けた病理画像を表示するコンピュータ装置であり、例えば研究所や病院に設置される。ビューワ４は、受信部４１と、デコード部４２と、画像処理部４３と、表示制御部４４と、表示部４５と、記憶部４６と、操作部４７と、を備える。
　ビューワ４は、所定のプログラムを実行することで、各機能を実現する。なお、そのプログラムは、サーバ３やビューワ４に記憶されていてもよいし、あるいは、ＤＶＤなどの記憶媒体やクラウドコンピュータ等に記憶されていてもよい。また、そのプログラムは、ＣＰＵやＭＰＵによってＲＡＭ等を作業領域として実行されてもよいし、あるいは、ＡＳＩＣやＦＰＧＡ等の集積回路により実行されてもよい。
　受信部４１は、サーバ３から送信された病理画像を受信する。デコード部４２は、受信部４１によって受信された病理画像をデコードする。
　画像処理部４３は、表示部４５の性能や病理医の好み等に応じて、デコード部４２によってデコードされた病理画像に対して所定の画像処理（例えば、色補正、輪郭強調、コントラスト補正等）を行う画像処理手順を実行する。なお、画像処理部４３による処理は、病理画像が表示部４５に表示されている間にも実行（継続）される。
　画像処理手順は、例えば、病理画像のうち、表示部４５に表示されている領域の中央部分から画像処理を行う（図３：詳細は後述）。
　また、画像処理手順は、例えば、病理画像のうち、表示部４５に表示されているカーソル位置に対応する部分から画像処理を行うようにしてもよい（図６：詳細は後述）。
　表示制御部４４は、病理画像に対する画像処理の処理完了部分と未処理部分を識別するための識別用情報を出力する出力処理手順を実行する。なお、表示制御部４４による処理は、病理画像が表示部４５に表示されている間にも実行（継続）される。
　出力処理手順は、例えば、表示部４５に表示されている処理完了部分と未処理部分の境界に、識別用情報である境界線を表示する（図３：詳細は後述）。
　また、出力処理手順は、表示部４５に表示されている処理完了部分のうち、新規な処理完了部分を、その周囲の境界線の色、太さ、点滅の少なくともいずれかによって強調表示するようにしてもよい（図５：詳細は後述）。
　また、出力処理手順は、境界線を、処理完了部分の側に位置する第１の線種の線と、未処理部分の側に位置する第２の線種の線と、により表示するようにしてもよい（図７：詳細は後述）。
　また、出力処理手順は、病理画像の一部を表示部に拡大表示する場合に、表示部４５の一部に病理画像の全体を表示し、その表示された病理画像の全体において処理完了部分と未処理部分の境界に境界線を表示するようにしてもよい（図８：詳細は後述）。
　また、出力処理手順は、表示部４５に拡大表示されている病理画像の一部が未処理部分の場合に、当該病理画像の一部を強調表示するようにしてもよい（図８：詳細は後述）。
　また、出力処理手順は、表示部４５において、処理完了部分と未処理部分の少なくともいずれかをテキスト表示によって示すようにしてもよい（図８：詳細は後述）。
　また、出力処理手順は、表示部４５において、未処理部分が表示されていることを図形表示によって示すようにしてもよい（図１０：詳細は後述）。
　また、出力処理手順は、未処理部分に対して所定の画質劣化処理を行ってから表示部４５に表示するようにしてもよい。例えば、未処理部分に対して、所定の画質劣化処理として輝度低下やグレースケール化を行っておけば、観察者は未処理部分に確実に気付くことができる。
　表示部４５は、情報を表示する手段であり、例えば、液晶、ＥＬ（Electro‐Luminescence）、ＣＲＴ（Cathode　Ray　Tube）などが用いられた画面を有する。また、表示部４５は、４Ｋや８Ｋに対応していてもよいし、複数の表示装置により形成されてもよい。表示部４５は、表示制御部４４による制御にしたがって情報（画像等）を表示する。
　記憶部４６は、例えば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、ハードディスク、光ディスク等の記憶装置によって実現される。記憶部４６は、各種のプログラム、データや、サーバ３から受信した病理画像等を記憶する。
　操作部４７は、ビューワ４のユーザ（病理医等。以下同様）によって操作される手段であり、例えば、マウス、キーボード、タッチパネル等である。
　なお、本実施形態では、サーバ３の画像処理部３４とビューワ４の画像処理部４３の両方で所定の画像処理を行うことができるものとしたが、これに限定されない。例えば、ビューワ４に充分な演算能力がある場合は、所定の画像処理をビューワ４のみで行うようにしてもよい。あるいは、例えば、ビューワ４に充分な演算能力がない場合は、所定の画像処理をサーバ３のみで行うようにしてもよい。また、本開示では、サーバ３とビューワ４のうち、病理画像における所定の画像処理の処理完了部分と未処理部分を識別するための識別用情報を出力する機能をビューワ４が有するものとして説明するが、これに限定されず、そのような機能をサーバ３が有していてもよい。
［２．第１実施形態に係るビューワによる処理手順］
　次に、図２を参照して、第１実施形態に係るビューワ４による処理について説明する。図２は、第１実施形態に係るビューワ４による処理を示すフローチャートである。なお、以下では、説明を簡潔にするために、デコード部４２による処理等の一部の処理の説明を省略する場合がある。
　まず、ステップＳ１において、ビューワ４は、画像表示操作、つまり、病理医等によって病理画像を表示させるための操作部４７による操作があったか否かを判定し、Ｙｅｓの場合はステップＳ２に進み、Ｎｏの場合はステップＳ１に戻る。
　ステップＳ２において、受信部４１は、サーバ３から病理画像を取得する。
　次に、ステップＳ３において、画像処理部４３は、病理画像に対して所定の画像処理（例えば、色補正、輪郭強調、コントラスト補正等）を開始する。
　次に、ステップＳ４において、表示制御部４４は、病理画像を表示部４５に表示する。
　次に、ステップＳ５において、表示制御部４４は、病理画像に対する画像処理の処理完了部分と未処理部分を識別するための識別用情報を出力する出力処理手順を実行する。
　次に、ステップＳ６において、画像処理部４３は、所定の画像処理を終了したか否かを判定し、Ｙｅｓの場合はステップＳ７に進み、Ｎｏの場合はステップＳ４に戻る。つまり、ステップＳ４→ステップＳ５→ステップＳ６でＮｏ→ステップＳ４・・・というループ処理の間、表示部４５には、病理画像として処理完了部分と未処理部分が混在して表示されるとともに、処理完了部分と未処理部分の識別用の境界線等も表示される。これにより、観察者は、病理画像に対する画像処理の処理完了部分と未処理部分を確実に見分けることができる（詳細は後述）。
　ステップＳ７において、ビューワ４は、画像表示部分の変更操作があったか否か、つまり、観察者によって病理画像のうち表示部４５に表示されている領域を変更する旨の操作部４７による操作があったか否かを判定し、Ｙｅｓの場合はステップＳ３に戻り、Ｎｏの場合はステップＳ８に進む。
　ステップＳ８において、ビューワ４は、画像表示終了操作、つまり、病理医等によって病理画像の表示を終了させるための操作部４７による操作があったか否かを判定し、Ｙｅｓの場合はステップＳ９に進み、Ｎｏの場合はステップＳ７に戻る。
　ステップＳ９において、ビューワ４は、画像表示、つまり、表示部４５における病理画像の表示を終了する。
［３．第１実施形態に係る病理画像の第１の例～第６の例など］
　図３は、第１実施形態に係る病理画像の第１の例を模式的に示す図である。図３（ａ）～（ｃ）は、表示部４５に表示される病理画像を示す。図３（ａ）は、所定の画像処理を行う前の病理画像である。図３（ｃ）は、所定の画像処理を完了した後の病理画像である。図３（ａ）の病理画像に対し、画像処理部４３によって行われる画像処理手順は、病理画像のうち、表示部４５に表示されている領域の中央部分から所定の画像処理を行う。一般に、観察者は病理画像の中央部分から見る場合が多いと考えられるので、所定の画像処理が瞬時には完了しないものとすると、このように病理画像の表示領域の中央部分から画像処理を行うことは観察者にとって好都合である。
　また、表示制御部４４によって行われる出力処理手順は、表示部４５に表示されている処理完了部分と未処理部分の境界に、識別用情報である境界線を表示する。図３（ｂ）は、所定の画像処理を行っている途中の病理画像である。領域Ｒ１内が処理完了部分で、領域Ｒ１外が未処理部分である。
　例えば、所定の画像処理が色補正処理の場合、このような境界線の表示が無いと、病理画像における処理完了部分と未処理部分を見分けるのは容易ではない。具体的には、例えば、ＨＥ（hematoxylin　and　eosin）染色された観察対象物の病理画像の場合、病変部位の判断は紫色～赤紫色の色合いによって行われる。その場合、病理医は、境界線の表示の無い病理画像を見ると、色補正の未処理部分を処理完了部分と勘違いして誤診をしてしまう恐れがある。また、輪郭強調も同様で、適切な輪郭強調処理をしないと高倍率画像において正常細胞が病変細胞と判断されてしまうことがあるので、境界線の表示の無い病理画像での処理完了部分と未処理部分の混同は誤診の原因となりえる。
　一方、本開示によれば、病理画像における処理完了部分と未処理部分の境界に境界線を表示することで、観察者は病理画像における処理完了部分と未処理部分を確実に見分けることができ、誤診を回避することができる。
　図４は、第１実施形態に係る病理画像の第２の例を模式的に示す図である。図４（ａ）～（ｃ）は、表示部４５に表示される病理画像を示す。図４（ａ）は、所定の画像処理を行った後の病理画像である。ここで、例えば、観察者が操作部４７を操作して表示部４５に表示されている病理画像を左方向に移動したものとする（図２のステップＳ７でＹｅｓ）。
　そうすると、図４（ｂ）に示すように、表示部４５における左側の領域Ｒ２は処理完了部分で、右側の領域Ｒ２外は未処理部分となる。そして、表示制御部４４によって行われる出力処理手順は、領域Ｒ２の内外の境界線を表示する。このように、病理画像における処理完了部分と未処理部分の境界に境界線を表示することで、観察者は病理画像における処理完了部分と未処理部分を確実に見分けることができ、誤診を回避することができる。その後、図４（ｂ）の領域Ｒ２外の未処理部分において所定の画像処理が完了すると、図４（ｃ）に示すように、全画面が所定の画像処理を完了した後の病理画像となる。
　図５は、第１実施形態に係る病理画像の第３の例を模式的に示す図である。図５（ａ）～（ｃ）は、表示部４５に表示される病理画像を示す。図５（ａ）は、所定の画像処理を行う前の病理画像である。図５（ａ）の病理画像に対し、画像処理部４３によって行われる画像処理手順は、病理画像のうち、表示部４５に表示されている領域の中央部分から画像処理を行うとともに、処理完了部分と未処理部分の境界に境界線を表示する。図５（ｂ）は、所定の画像処理を行っている途中の病理画像である。領域Ｒ３内が処理完了部分で、領域Ｒ１外が未処理部分である。
　ここで、さらに、画像処理手順は図５（ｃ）に示す領域Ｒ４に対して所定の画像処理を行い、そのとき、出力処理手順はその新規な処理完了部分である領域Ｒ４の周囲の境界線を太く表示する強調表示を行う。このように、新規な処理完了部分を強調表示することで、観察者は病理画像における新規な処理完了部分（領域Ｒ４）を確実に認識し、誤診を回避することができる。なお、この強調表示の手法は、当該境界線を他の境界線より太くすることに限定されず、ほかに、当該境界線の色を他の境界線の色と異なるものにしたり、当該境界線を点滅させたりすることであってもよい。
　図６は、第１実施形態に係る病理画像の第４の例を模式的に示す図である。図６（ａ）～（ｃ）は、表示部４５に表示される病理画像を示す。図６（ａ）は、所定の画像処理を行う前の病理画像である。図６（ａ）の病理画像に対し、画像処理手順は、病理画像のうち、表示部４５に表示されているカーソル（図６（ｂ）の符号Ｃ）位置に対応する部分（以下、「カーソル部分」ともいう。）から画像処理を行う。観察者は病理画像のカーソル部分に注目している可能性が高いと考えられるので、カーソル部分から画像処理を行うことは観察者に好都合である。
　また、出力処理手順は、処理完了部分と未処理部分の境界に境界線を表示する。図６（ｂ）において、領域Ｒ５内が処理完了部分で、領域Ｒ５外が未処理部分である。なお、図６（ｃ）において、新規な処理完了部分を含む領域Ｒ６の境界線は、図５（ｃ）における領域Ｒ４の境界線と同様の強調表示となっている。
　図７は、第１実施形態に係る病理画像の第５の例を模式的に示す図である。図７に示すように、出力処理手順は、境界線を、処理完了部分の側（中央側）に位置する第１の線種の線Ｌ７１と、未処理部分の側（外側）に位置する第２の線種の線Ｌ７３と、その間の線Ｌ７２と、により表示する。ここでは、線Ｌ７１、Ｌ７２、Ｌ７３について、色の濃さがその順に次第に濃くなるように異ならせている。そして、観察者は、予め、色の薄い側が処理完了部分で、色の濃い側が未処理部分であることを認識しておけば、病理画像における処理完了部分と未処理部分を確実に見分けることができ、誤診を回避することができる。なお、線種の異ならせ方は、色に限定されず、ほかに、実線と破線などであってもよい。また、境界線を構成する線の数は、３つに限定されず、２つや４つ以上であってもよい。
　図８は、第１実施形態に係る病理画像の第６の例を模式的に示す図である。病理画像の拡大表示を行っていて、表示部４５に表示されている画面全体が処理完了部分と未処理部分のいずれかである場合、観察者は、その画面全体が処理完了部分と未処理部分のいずれであるかを容易に判断できないことがある。そこで、図８に示すように、出力処理手順は、病理画像の一部を表示部４５に拡大表示（領域Ｒ８）する場合に、表示部４５の一部（領域Ｒ９）に病理画像の全体を表示し、その表示された病理画像の全体において処理完了部分（領域Ｒ９における領域Ｒ１０内）と未処理部分（領域Ｒ９における領域Ｒ１０外）の境界に境界線を表示する。また、領域Ｒ９における領域Ｒ１１は、拡大表示（領域Ｒ８）に対応している。
　このようにすることで、観察者は、拡大表示（領域Ｒ８）の部分が、全体（領域Ｒ９）における領域Ｒ１１に対応していて未処理部分であることを容易に認識できる。
　また、出力処理手順は、病理画像の一部である拡大表示（領域Ｒ８）を強調表示（例えば太枠表示）する。これにより、観察者は、拡大表示（領域Ｒ８）の部分が未処理部分であることをさらに容易に認識できる。
　また、出力処理手順は、未処理部分をテキスト表示（符号Ｔの「注意！未処理」の表示）によって示す。これにより、観察者は、拡大表示（領域Ｒ８）の部分が未処理部分であることをさらに容易に認識できる。なお、テキスト表示は、未処理部分に対して行うことに限定されず、処理完了部分に対して行ってもよい。また、テキスト表示は、例えばＯＳＤ（On　Screen　Display）によって行えばよいが、これに限定されず、他の手段によって行ってもよい。
　図９は、第１実施形態に係る病理画像に対して所定の画像処理を行う場合のＵＩ（User　Interface）の例を模式的に示す図である。この画面では、ユーザインタフェース表示ＵＩ１（（ａ）、（ｂ））の所定の画像処理のメニュー（image　proc　menu）によって、色補正の例である色温度補正（color　tmp）、輪郭強調（sharpness）、コントラスト補正（contrast）のいずれかを選択できる。例えば、色温度補正（color　tmp）を選択すると（（ｃ））、５０００Ｋ、６０００Ｋ、７０００Ｋの三択での選択が可能となる。そこで例えば５０００Ｋを選択すると（（ｄ））、俯瞰画像（病理画像の全体概観を示す画像）に対して５０００Ｋの色温度補正を行った画像が図９（ａ）の領域Ｒ１２に例としてポップアップ表示される。観察者は、このポップアップ表示を見て、満足であれば選択決定の操作をすることで、表示画面全体に対して５０００Ｋの色温度補正が行われる。
　このようにして、観察者は上述のようなＵＩを用いて病理画像に対して所定の画像処理の内容を容易に選択できる。なお、上述の例では、図９（ａ）に示す表示画面全体ではなく、面積の小さな俯瞰画像に対して色温度補正を行って例として示すことによって、処理時間が短く済む。
　図１０は、第１実施形態に係る病理画像における未処理部分の識別用表示の例を模式的に示す図である。上述のように、出力処理手順は、表示部４５において、未処理部分が表示されていることを図形表示によって示すようにしてもよい。図１０の病理画像では、領域Ｒ１４内は処理完了部分で、領域Ｒ１４外は未処理部分である。また、領域Ｒ１３は俯瞰画像である。また、アイコンＡ１は、未処理部分が表示されていることを砂時計表示によって示すアイコンである。また、ステータスバーＳＢ１は、未処理部分が表示されていることを残り時間の目安表示によって示すステータスバーである。
　このようにして、領域Ｒ１４の内外の境界線のほかに、アイコンＡ１やステータスバーＳＢ１によって未処理部分が表示されていることを図形表示によって示すことによって、観察者は、表示されている病理画像において未処理部分が存在することをより確実に認識することができる。
　なお、図面作成の都合上、図１０ではアイコンＡ１とステータスバーＳＢ１の両方の表示としたが、これに限定されず、どちらか一方のみの表示としてもよい。また、他の図示表示を用いてもよい。
　このように、第１実施形態の診断支援システム１によれば、病理画像に対する画像処理の処理完了部分と未処理部分を識別するための識別用情報を出力することで、病理画像を用いた病理診断の精度を向上させることができる。
　具体的には、表示されている病理画像の処理完了部分と未処理部分の境界に境界線を表示することで、観察者は病理画像における処理完了部分と未処理部分を確実に見分けることができ、誤診を回避することができる。
　また、新規な処理完了部分をその周囲の境界線の色、太さ、点滅の少なくともいずれかによって強調表示することで、観察者は病理画像における新規な処理完了部分を確実に認識し、誤診をより回避することができる。
　また、表示されている病理画像の中央部分から画像処理を行うことで、中央部分から見る場合が多いと考えられる観察者にとって好都合である。
　また、病理画像とともにカーソルも併せて表示されている場合、カーソル位置に対応する部分から画像処理を行うことで、カーソル部分に注目している可能性が高いと考えられる観察者にとって好都合である。
　また、境界線を複数の線種の線で表示することで、観察者は病理画像における処理完了部分と未処理部分をより確実に見分けることができる。
　また、病理画像の一部を表示部４５に拡大表示する場合に、俯瞰画像において処理完了部分と未処理部分の境界に境界線を表示することで、観察者は、その俯瞰画像を見ることで拡大表示が処理完了部分と未処理部分のいずれであるかを容易に認識できる。
　また、その際、拡大表示が未処理部分の場合に強調表示（太枠表示等）することで、観察者は、拡大表示が未処理部分であることをさらに容易に認識できる。
　また、病理画像の処理完了部分と未処理部分の少なくともいずれかをテキスト表示によって示すことで、観察者は、処理完了部分と未処理部分をより確実に識別できる。
　また、未処理部分が表示されていることを図形表示（例えば図１０のアイコンＡ１やステータスバーＳＢ１）によって示すことで、観察者は、病理画像において未処理部分が存在することをより確実に認識することができる。
　また、未処理部分に対して所定の画質劣化処理（輝度低下やグレースケール化）を行ってから病理画像を表示するようにすれば、未処理部分が見にくくなっていることで誤診が起きる可能性をより低減できる。
　なお、病理画像に対する所定の画像処理の開始位置は、上述の画面中央やカーソル部分に限定されず、例えば、機械学習による推論等で病変部分が特定されている場合は、その病変部位であってもよい。
　また、所定の画像処理は、色補正、輪郭強調、コントラスト補正に限定されず、トーンカーブ補正などの他の画像処理であってもよい。
＜第２実施形態＞
［４．第２実施形態に係るシステムの構成］
　次に、第２実施形態に係る診断支援システム１について説明する。第１実施形態と同様の事項については説明を適宜省略する。第２実施形態は、第１実施形態と比べて、いわゆるタイル画像を用いる点で異なっている。つまり、第２実施形態では、病理画像は、複数のタイル画像から構成されている。また、画像処理手順は、表示部４５に表示されるタイル画像の階層が変わった場合、新しい階層におけるタイル画像に対して所定の画像処理を行う。以下、詳細に説明する。
　図１１は、第２実施形態に係る診断支援システム１の全体構成図である。第１実施形態の場合と比べて、サーバ３においてタイル画像生成部３７が追加されている。タイル画像生成部３７の詳細については後述する。
［５．第２実施形態におけるタイル画像の説明］
　図１２は、第２実施形態に係る撮像処理を説明するための図である。前述したように、スキャナ２は、ガラススライドＧ１０に収められた観察対象物Ａ１０を撮像し、デジタル画像である病理画像を取得する。第２実施形態では、例えば、スキャナ２は、全体画像を生成した後に、全体画像から観察対象物Ａ１０が存在する領域を特定し、観察対象物Ａ１０が存在する領域を所定サイズ毎に分割した各分割領域を高解像度撮像部により順次撮像する。例えば、図１２に示すように、スキャナ２は、最初に領域Ｒ１１を撮像し、観察対象物Ａ１０の一部領域を示す画像である高解像度画像Ｉ１１を生成する。続いて、スキャナ２は、ステージを移動させることで、領域Ｒ１２を高解像度撮像部により撮像し、領域Ｒ１２に対応する高解像度画像Ｉ１２を生成する。同様にして、スキャナ２は、領域Ｒ１３、Ｒ１４、・・・に対応する高解像度画像Ｉ１３、Ｉ１４、・・・を生成する。図１２では領域Ｒ１８までしか図示していないが、スキャナ２は、ステージを順次移動させることで、観察対象物Ａ１０に対応する全ての分割領域を高解像度撮像部により撮像し、各分割領域に対応する高解像度画像を生成する。
　ところで、ステージを移動させる際にガラススライドＧ１０がステージ上で移動することがある。ガラススライドＧ１０が移動すると、観察対象物Ａ１０のうち未撮影の領域が発生する恐れがある。スキャナ２は、図１２に示すように、隣り合う分割領域が一部重なるように、高解像度撮像部により撮像することで、ガラススライドＧ１０が少し移動した場合であっても、未撮影領域の発生を防止することができる。
　なお、上記では、ステージを移動させることで撮像領域を変更する例を示したが、スキャナ２が光学系（高解像度撮像部など）を移動させることで撮像領域を変更してもよい。また、図１２では、スキャナ２が観察対象物Ａ１０の中央部から撮像する例を示した。しかし、スキャナ２は、図１２に示した撮像順とは異なる順序で観察対象物Ａ１０を撮像してもよい。例えば、スキャナ２は、観察対象物Ａ１０の外周部から撮像してもよい。
　続いて、スキャナ２によって生成された各々の高解像度画像はサーバ３に送られ、サーバ３におけるタイル画像生成部３７によって所定のサイズに分割される。これにより、高解像度画像から部分画像（タイル画像）が生成される。この点について、図１３を用いて説明する。図１３は、第２実施形態における部分画像（タイル画像）の生成処理を説明するための図である。
　図１３には、図１２に示した領域Ｒ１１に対応する高解像度画像Ｉ１１を示す。なお、以下では、サーバ３によって、高解像度画像から部分画像が生成されるものとして説明する。しかし、サーバ３以外の装置（例えば、スキャナ２内部に搭載される情報処理装置など）によって部分画像が生成されてもよい。
　図１３に示す例では、サーバ３は、１つの高解像度画像Ｉ１１を分割することで、１００個のタイル画像Ｔ１１、Ｔ１２、・・・を生成する。例えば、高解像度画像Ｉ１１の解像度が２５６０×２５６０［pixel：ピクセル］である場合、サーバ３は、高解像度画像Ｉ１１から、解像度が２５６×２５６［pixel：ピクセル］である１００個のタイル画像Ｔ１１、Ｔ１２、・・・を生成する。同様にして、サーバ３は、他の高解像度画像も同様のサイズに分割することでタイル画像を生成する。
　なお、図１３の例において、領域Ｒ１１１、Ｒ１１２、Ｒ１１３、Ｒ１１４は、隣り合う他の高解像度画像（図１３には図示しない）と重複する領域である。サーバ３は、重複する領域をテンプレートマッチング等の技法により位置合わせを行うことで、互いに隣り合う高解像度画像にスティッチング処理を施す。この場合、サーバ３は、スティッチング処理後に高解像度画像を分割することでタイル画像を生成してもよい。または、サーバ３は、スティッチング処理前に、領域Ｒ１１１、Ｒ１１２、Ｒ１１３及びＲ１１４以外の領域のタイル画像を生成し、スティッチング処理後に、領域Ｒ１１１、Ｒ１１２、Ｒ１１３及びＲ１１４のタイル画像を生成してもよい。
　このようにして、サーバ３は、観察対象物Ａ１０の撮像画像の最小単位となるタイル画像を生成する。そして、サーバ３（またはビューワ４）は、最小単位のタイル画像を順次合成することで、階層の異なるタイル画像を生成する。具体的には、サーバ３は、隣り合う所定数のタイル画像を合成することで、１つのタイル画像を生成する。この点について、図１４及び図１５を用いて説明する。図１４及び図１５は、第２実施形態に係る病理画像を説明するための図である。
　図１４の上段には、サーバ３によって各高解像度画像から生成された最小単位のタイル画像群を示す。図１４の上段の例において、サーバ３は、タイル画像のうち、互いに隣り合う４つのタイル画像Ｔ１１１、Ｔ１１２、Ｔ２１１、Ｔ２１２を合成することで、１つのタイル画像Ｔ１１０を生成する。例えば、タイル画像Ｔ１１１、Ｔ１１２、Ｔ２１１、Ｔ２１２の解像度がそれぞれ２５６×２５６である場合、サーバ３は、解像度が２５６×２５６であるタイル画像Ｔ１１０を生成する。同様にして、サーバ３は、互いに隣り合う４つのタイル画像Ｔ１１３、Ｔ１１４、Ｔ２１３、Ｔ２１４を合成することで、タイル画像Ｔ１２０を生成する。このようにして、サーバ３は、最小単位のタイル画像を所定数ずつ合成したタイル画像を生成する。
　また、サーバ３は、最小単位のタイル画像を合成した後のタイル画像のうち、互いに隣り合うタイル画像を更に合成したタイル画像を生成する。図１４の例において、サーバ３は、互いに隣り合う４つのタイル画像Ｔ１１０、Ｔ１２０、Ｔ２１０、Ｔ２２０を合成することで、１つのタイル画像Ｔ１００を生成する。例えば、タイル画像Ｔ１１０、Ｔ１２０、Ｔ２１０、Ｔ２２０の解像度が２５６×２５６である場合、サーバ３は、解像度が２５６×２５６であるタイル画像Ｔ１００を生成する。例えば、サーバ３は、互いに隣り合う４つのタイル画像を合成した解像度５１２×５１２の画像から、４画素平均や、重み付けフィルタ（近い画素を遠い画素よりも強く反映する処理）や、１／２間引き処理等を施すことにより、解像度が２５６×２５６であるタイル画像を生成する。
　サーバ３は、このような合成処理を繰り返すことで、最終的には、最小単位のタイル画像の解像度と同様の解像度を有する１つのタイル画像を生成する。例えば、上記例のように、最小単位のタイル画像の解像度が２５６×２５６である場合、サーバ３は、上述した合成処理を繰り返すことにより、最終的に解像度が２５６×２５６である１つのタイル画像Ｔ１を生成する。
　図１５に、図１４に示したタイル画像を模式的に示す。図１５に示した例では、最下層のタイル画像群は、サーバ３によって生成された最小単位のタイル画像である。また、下から２階層目のタイル画像群は、最下層のタイル画像群が合成された後のタイル画像である。そして、最上層のタイル画像Ｔ１は、最終的に生成される１つのタイル画像であることを示す。このようにして、サーバ３は、病理画像として、図１５に示すピラミッド構造のような階層を有するタイル画像群を生成する。
　なお、図１４に示す領域Ｄは、表示部４５等のディスプレイ画面に表示される領域の一例を示す。例えば、表示装置が表示可能な解像度が、縦３個分のタイル画像であり、横４個分のタイル画像であるものとする。この場合、図１４に示す領域Ｄのように、表示対象のタイル画像が属する階層によって、表示装置に表示される観察対象物Ａ１０の詳細度が変わる。例えば、最下層のタイル画像が用いられる場合には、観察対象物Ａ１０の狭い領域が詳細に表示される。また、用いられるタイル画像が上層であるほど観察対象物Ａ１０の広い領域が粗く表示される。
　サーバ３は、図１５に示したような各階層のタイル画像を記憶部３２に記憶する。例えば、サーバ３は、各タイル画像を一意に識別可能なタイル識別情報（部分画像情報の一例）とともに、各タイル画像を記憶する。この場合、サーバ３は、ビューワ４からタイル識別情報を含むタイル画像の取得要求を受け付けた場合に、タイル識別情報に対応するタイル画像をビューワ４へ送信する。また、例えば、サーバ３は、各階層を識別する階層識別情報と、同一階層内で一意に識別可能なタイル識別情報とともに、各タイル画像を記憶してもよい。この場合、サーバ３は、ビューワ４から階層識別情報とタイル識別情報を含むタイル画像の取得要求を受け付けた場合に、階層識別情報に対応する階層に属するタイル画像のうち、タイル識別情報に対応するタイル画像をビューワ４へ送信する。
　なお、サーバ３は、図１５に示したような各階層のタイル画像をビューワ４や不図示のクラウドサーバ等に記憶させてもよい。また、図１４及び図１５に示したタイル画像の生成処理はクラウドサーバ等で実行されてもよい。
　また、サーバ３は、全ての階層のタイル画像を記憶しなくてもよい。例えば、サーバ３は、最下層のタイル画像のみを記憶してもよいし、最下層のタイル画像と最上層のタイル画像のみを記憶してもよいし、所定の階層（例えば、奇数番目の階層、偶数番目の階層など）のタイル画像のみを記憶してもよい。このとき、サーバ３は、記憶していない階層のタイル画像を他の装置から要求された場合には、記憶しているタイル画像を動的に合成することで、他の装置から要求されたタイル画像を生成する。このように、サーバ３は、保存対象のタイル画像を間引くことで、記憶容量の圧迫を防止することができる。
　また、上記例では撮像条件について言及しなかったが、サーバ３は、撮像条件毎に、図１５に示したような各階層のタイル画像を記憶してもよい。撮像条件の例としては、被写体（観察対象物Ａ１０など）に対する焦点距離が挙げられる。例えば、スキャナ２は、同一の被写体に対して焦点距離を変更しながら撮像してもよい。この場合、サーバ３は、焦点距離毎に、図１５に示したような各階層のタイル画像を記憶してもよい。なお、焦点距離を変更する理由は、観察対象物Ａ１０によっては半透明であるため、観察対象物Ａ１０の表面を撮像するために適した焦点距離や、観察対象物Ａ１０の内部を撮像するために適した焦点距離があるからである。言い換えれば、スキャナ２は、焦点距離を変更することで、観察対象物Ａ１０の表面を撮像した病理画像や、観察対象物Ａ１０の内部を撮像した病理画像を生成することができる。
　また、撮像条件の他の例として、観察対象物Ａ１０に対する染色条件が挙げられる。具体的に説明すると、病理診断では、観察対象物Ａ１０のうち特定の部分（例えば、細胞の核など）に発光物を染色する場合がある。発光物とは、例えば、特定の波長の光が照射されると発光する物質である。そして、同一の観察対象物Ａ１０に対して異なる発光物が染色される場合がある。この場合、サーバ３は、染色された発光物毎に、図１５に示したような各階層のタイル画像を記憶してもよい。
　また、上述したタイル画像の数や解像度は一例であってシステムによって適宜変更可能である。例えば、サーバ３が合成するタイル画像の数は４つに限定されない。例えば、サーバ３は、３×３＝９個のタイル画像を合成する処理を繰り返してもよい。また、上記例ではタイル画像の解像度が２５６×２５６である例を示したが、タイル画像の解像度は２５６×２５６以外であってもよい。
　ビューワ４は、上述した階層構造のタイル画像群に対応可能なシステムを採用するソフトウェアを用い、ユーザの入力操作に応じて、階層構造のタイル画像群から所望のタイル画像を抽出し、これを表示部４５に出力する。具体的には、表示部４５は、ユーザにより選択された任意の解像度の画像のうちの、ユーザにより選択された任意の部位の画像を表示する。このような処理により、ユーザは、観察倍率を変えながら観察対象物を観察しているような感覚を得ることができる。すなわち、ビューワ４は仮想顕微鏡として機能する。ここでの仮想的な観察倍率は、実際には解像度に相当する。
［６．第２実施形態に係る病理画像の表示の例］
　図１６は、第２実施形態に係る病理画像の表示の例を模式的に示す図である。図１６（ａ）に示す病理画像Ｉ１は、ピラミッド構造の中層部のタイル画像群から構成される。その病理画像Ｉ１における領域Ｒ１５が、図１６（ｂ）に示すように、表示部４５に表示される。図１６（ｂ）の病理画像において、領域Ｒ１６内は処理完了部分で、領域Ｒ１６外は未処理部分である。その境界に境界線が表示されている。
　また、病理画像Ｉ２は、病理画像Ｉ１よりも上層部のタイル画像群から構成される。病理画像Ｉ２における領域Ｒ１７は、病理画像Ｉ１における領域Ｒ１５に対応している。また、病理画像Ｉ３は、病理画像Ｉ１よりも下層部のタイル画像群から構成される。病理画像Ｉ３における領域Ｒ１８は、病理画像Ｉ１における領域Ｒ１５に対応している。
　このような場合、例えば、病理画像Ｉ１における領域Ｒ１５を表示している間に、それに対応する病理画像Ｉ２における領域Ｒ１７や、病理画像Ｉ３における領域Ｒ１８に対してバックグラウンドで所定の画像処理を実行しておき、ズーム操作（Ｚ方向の移動）の際、ユーザを待たせる時間を削減するようにしてもよい。また、Ｘ方向やＹ方向についても、ユーザの操作を予測して予め所定の画像処理を実行しておいてもよい。
　このように、第２実施形態の診断支援システム１によれば、複数のタイル画像から構成される病理画像についても、画像処理の処理完了部分と未処理部分を識別するための識別用情報を出力（例えば境界線の表示）することで、病理画像を用いた病理診断の精度を向上させることができる。
　具体的には、例えば、表示されるタイル画像の階層が変わった場合、新しい階層におけるタイル画像に対して所定の画像処理を行うとともに、処理完了部分と未処理部分の境界線等の表示を行うことで、観察者は病理画像における処理完了部分と未処理部分を確実に見分けることができる。
＜第３実施形態＞
［７．第３実施形態に係るシステムの構成］
　次に、第３実施形態に係る診断支援システム１について説明する。第１実施形態と同様の事項については説明を適宜省略する。図１７は、第３実施形態に係る診断支援システム１の全体構成図である。第３実施形態は、第１実施形態と比べて、ビューワ４に音声制御部４８と音声出力部４９が追加されている点で異なっている。
　音声制御部４８は、病理画像に対する画像処理の処理完了部分と未処理部分を識別するための識別用情報として音声を出力する出力処理手順を実行する。音声出力部４９は、音声を出力する手段であり、例えば、スピーカである。音声制御部４８は、例えば、表示部４５に未処理部分が表示されている場合に、その旨を音声により報知する。
　このように、第３実施形態の診断支援システム１によれば、病理画像に対する画像処理の処理完了部分と未処理部分を識別するために、表示だけでなく音声も用いることができる。したがって、観察者は、病理画像における処理完了部分と未処理部分をより確実に見分けることができる。
＜その他の実施形態＞
　上述した各実施形態に係る処理は、上記各実施形態以外にも種々の異なる形態にて実施されてよい。
［表示装置］
　上記実施形態では、表示部４５は、据え置きタイプの表示装置を想定した。しかし、これに限定されず、表示部４５は、病理医等が装着している装着装置（ヘッドマウントディスプレイ等）であってもよい。
［撮像装置］
　また、上記実施形態では、観察対象物を撮像する装置としてスキャナを例に挙げて説明したが、これに限定されない。例えば、観察対象物を撮像する装置は、患者の体内を撮像する内視鏡、ＣＴ（Computed　Tomography）、ＭＲＩ（Magnetic　Resonance　Image）などの医療画像取得装置でもよい。この場合、サーバ３には、内視鏡により生成される二次元の静止画像または動画像や、ＣＴやＭＲＩにより生成される三次元画像等の医用画像が保存される。
［サーバ］
　また、サーバ３には、スキャナ２により生成された病理画像に対応付けて、内視鏡やＣＴやＭＲＩ等の他の医療画像取得装置で撮像された他の病理画像が記憶されてもよい。
［ハードウェア構成］
　上述してきた各実施形態に係るサーバ３やビューワ４等の情報機器は、例えば図１８に示すような構成のコンピュータ１０００によって実現される。以下、第１実施形態に係るビューワ４を例に挙げて説明する。図１８は、ビューワ４の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read　Only　Memory）１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る応答生成プログラムを記録する記録媒体である。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカーやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、コンピュータ読み取り可能な所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が第１実施形態に係るビューワ４として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた診断支援プログラムを実行することにより、受信部４１、デコード部４２、画像処理部４３、表示制御部４４等の機能を実現する。
［その他］
　上記各実施形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限定されない。
　また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限定されず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
　また、上述してきた各実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　撮像装置によって撮像された病理画像に対して所定の画像処理を行う画像処理手順と、
　前記病理画像に対する前記画像処理の処理完了部分と未処理部分を識別するための識別用情報を出力する出力処理手順と、
　をコンピュータに実行させるための診断支援プログラム。
（２）
　前記出力処理手順は、
　表示部に表示されている前記処理完了部分と前記未処理部分の境界に、前記識別用情報である境界線を表示する、（１）に記載の診断支援プログラム。
（３）
　前記出力処理手順は、
　前記表示部に表示されている前記処理完了部分のうち、新規な処理完了部分を、その周囲の境界線の色、太さ、点滅の少なくともいずれかによって強調表示する、（２）に記載の診断支援プログラム。
（４）
　前記画像処理手順は、
　前記病理画像のうち、前記表示部に表示されている領域の中央部分から前記画像処理を行う、（２）または（３）に記載の診断支援プログラム。
（５）
　前記画像処理手順は、
　前記病理画像のうち、前記表示部に表示されているカーソル位置に対応する部分から前記画像処理を行う、（２）または（３）に記載の診断支援プログラム。
（６）
　前記出力処理手順は、
　前記境界線を、前記処理完了部分の側に位置する第１の線種の線と、前記未処理部分の側に位置する第２の線種の線と、により表示する、（２）または（３）に記載の診断支援プログラム。
（７）
　前記出力処理手順は、
　前記病理画像の一部を前記表示部に拡大表示する場合に、前記表示部の一部に前記病理画像の全体を表示し、その表示された前記病理画像の全体において前記処理完了部分と前記未処理部分の境界に境界線を表示する、（２）または（３）に記載の診断支援プログラム。
（８）
　前記出力処理手順は、
　前記表示部に拡大表示されている前記病理画像の一部が前記未処理部分の場合に、当該病理画像の一部を強調表示する、（７）に記載の診断支援プログラム。
（９）
　前記出力処理手順は、
　前記表示部において、前記処理完了部分と前記未処理部分の少なくともいずれかをテキスト表示によって示す、（２）または（３）に記載の診断支援プログラム。
（１０）
　前記出力処理手順は、
　前記表示部において、前記未処理部分が表示されていることを図形表示によって示す、（２）または（３）に記載の診断支援プログラム。
（１１）
　前記出力処理手順は、
　前記未処理部分に対して所定の画質劣化処理を行ってから前記表示部に表示する、（２）または（３）に記載の診断支援プログラム。
（１２）
　前記病理画像は、複数のタイル画像から構成されており、
　前記画像処理手順は、
　前記表示部に表示される前記タイル画像の階層が変わった場合、新しい階層における前記タイル画像に対して前記所定の画像処理を行う、（２）または（３）に記載の診断支援プログラム。
（１３）
　前記出力処理手順は、
　前記表示部に前記未処理部分が表示されている場合に、その旨を音声により報知する、（２）または（３）に記載の診断支援プログラム。
（１４）
　撮像装置と、
　前記撮像装置によって撮像された病理画像に対して所定の画像処理を行うとともに、前記病理画像に対する前記画像処理の処理完了部分と未処理部分を識別するための識別用情報を出力する情報処理装置と、を備える診断支援システム。
（１５）
　コンピュータが、
　撮像装置によって撮像された病理画像に対して所定の画像処理を行う画像処理手順と、
　前記病理画像に対する前記画像処理の処理完了部分と未処理部分を識別するための識別用情報を出力する出力処理手順と、を実行する診断支援方法。
（１６）
　撮像装置と、前記撮像装置によって撮像された病理画像の処理に使われるソフトウェアとを含んで構成される診断支援システムであって、
　前記ソフトウェアは、
　前記病理画像に対して所定の画像処理を行う画像処理と、前記病理画像に対する前記画像処理の処理完了部分と未処理部分を識別するための識別用情報を出力する出力処理と、を情報処理装置に実行させるためのソフトウェアである、診断支援システム。
　１…診断支援システム、２…スキャナ、３…サーバ、４…ビューワ、２１…撮像部、２２…画像処理部、２３…エンコード部、２４…送出部、３１…受信部、３２…記憶部、３３…デコード部、３４…画像処理部、３５…エンコード部、３６…送出部、３７…タイル画像生成部、４１…受信部、４２…デコード部、４３…画像処理部、４４…表示制御部、４５…表示部、４６…記憶部、４７…操作部、４８…音声制御部、４９…音声出力部

Claims (16)

  1. 　撮像装置によって撮像された病理画像に対して所定の画像処理を行う画像処理手順と、
    　前記病理画像に対する前記画像処理の処理完了部分と未処理部分を識別するための識別用情報を出力する出力処理手順と、
    　をコンピュータに実行させるための診断支援プログラム。
  2. 　前記出力処理手順は、
    　表示部に表示されている前記処理完了部分と前記未処理部分の境界に、前記識別用情報である境界線を表示する、請求項１に記載の診断支援プログラム。
  3. 　前記出力処理手順は、
    　前記表示部に表示されている前記処理完了部分のうち、新規な処理完了部分を、その周囲の境界線の色、太さ、点滅の少なくともいずれかによって強調表示する、請求項２に記載の診断支援プログラム。
  4. 　前記画像処理手順は、
    　前記病理画像のうち、前記表示部に表示されている領域の中央部分から前記画像処理を行う、請求項２に記載の診断支援プログラム。
  5. 　前記画像処理手順は、
    　前記病理画像のうち、前記表示部に表示されているカーソル位置に対応する部分から前記画像処理を行う、請求項２に記載の診断支援プログラム。
  6. 　前記出力処理手順は、
    　前記境界線を、前記処理完了部分の側に位置する第１の線種の線と、前記未処理部分の側に位置する第２の線種の線と、により表示する、請求項２に記載の診断支援プログラム。
  7. 　前記出力処理手順は、
    　前記病理画像の一部を前記表示部に拡大表示する場合に、前記表示部の一部に前記病理画像の全体を表示し、その表示された前記病理画像の全体において前記処理完了部分と前記未処理部分の境界に境界線を表示する、請求項２に記載の診断支援プログラム。
  8. 　前記出力処理手順は、
    　前記表示部に拡大表示されている前記病理画像の一部が前記未処理部分の場合に、当該病理画像の一部を強調表示する、請求項７に記載の診断支援プログラム。
  9. 　前記出力処理手順は、
    　前記表示部において、前記処理完了部分と前記未処理部分の少なくともいずれかをテキスト表示によって示す、請求項２に記載の診断支援プログラム。
  10. 　前記出力処理手順は、
    　前記表示部において、前記未処理部分が表示されていることを図形表示によって示す、請求項２に記載の診断支援プログラム。
  11. 　前記出力処理手順は、
    　前記未処理部分に対して所定の画質劣化処理を行ってから前記表示部に表示する、請求項２に記載の診断支援プログラム。
  12. 　前記病理画像は、複数のタイル画像から構成されており、
    　前記画像処理手順は、
    　前記表示部に表示される前記タイル画像の階層が変わった場合、新しい階層における前記タイル画像に対して前記所定の画像処理を行う、請求項２に記載の診断支援プログラム。
  13. 　前記出力処理手順は、
    　前記表示部に前記未処理部分が表示されている場合に、その旨を音声により報知する、請求項２に記載の診断支援プログラム。
  14. 　撮像装置と、
    　前記撮像装置によって撮像された病理画像に対して所定の画像処理を行うとともに、前記病理画像に対する前記画像処理の処理完了部分と未処理部分を識別するための識別用情報を出力する情報処理装置と、を備える診断支援システム。
  15. 　コンピュータが、
    　撮像装置によって撮像された病理画像に対して所定の画像処理を行う画像処理手順と、
    　前記病理画像に対する前記画像処理の処理完了部分と未処理部分を識別するための識別用情報を出力する出力処理手順と、を実行する診断支援方法。
  16. 　撮像装置と、前記撮像装置によって撮像された病理画像の処理に使われるソフトウェアとを含んで構成される診断支援システムであって、
    　前記ソフトウェアは、
    　前記病理画像に対して所定の画像処理を行う画像処理と、前記病理画像に対する前記画像処理の処理完了部分と未処理部分を識別するための識別用情報を出力する出力処理と、を情報処理装置に実行させるためのソフトウェアである、診断支援システム。
PCT/JP2020/022475 2019-06-24 2020-06-08 診断支援プログラム、診断支援システム及び診断支援方法 WO2020261955A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080032642.3A CN113767440A (zh) 2019-06-24 2020-06-08 诊断支持程序、诊断支持系统和诊断支持方法
EP20831564.8A EP3975198A1 (en) 2019-06-24 2020-06-08 Diagnosis support program, diagnosis support system, and diagnosis support method
US17/619,741 US20220359061A1 (en) 2019-06-24 2020-06-08 Diagnosis support program, diagnosis support system, and diagnosis support method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019116793A JP2021002303A (ja) 2019-06-24 2019-06-24 診断支援プログラム、診断支援システム及び診断支援方法
JP2019-116793 2019-06-24

Publications (1)

Publication Number Publication Date
WO2020261955A1 true WO2020261955A1 (ja) 2020-12-30

Family

ID=73994127

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/022475 WO2020261955A1 (ja) 2019-06-24 2020-06-08 診断支援プログラム、診断支援システム及び診断支援方法

Country Status (5)

Country Link
US (1) US20220359061A1 (ja)
EP (1) EP3975198A1 (ja)
JP (1) JP2021002303A (ja)
CN (1) CN113767440A (ja)
WO (1) WO2020261955A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011072538A (ja) * 2009-09-30 2011-04-14 Fujifilm Corp Ｘ線画像撮影装置、撮影方法および撮影プログラム
JP2018067261A (ja) * 2016-10-21 2018-04-26 京セラドキュメントソリューションズ株式会社 表示システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070140538A1 (en) * 2005-12-20 2007-06-21 James Doran Method for processing unenhanced medical images
US8073232B2 (en) * 2007-10-02 2011-12-06 Siemens Aktiengesellschaft Method and system for diaphragm segmentation in chest X-ray radiographs
US11379984B2 (en) * 2019-08-22 2022-07-05 Boston Scientific Scimed, Inc. Systems and methods for processing electronic medical images to determine enhanced electronic medical images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011072538A (ja) * 2009-09-30 2011-04-14 Fujifilm Corp Ｘ線画像撮影装置、撮影方法および撮影プログラム
JP2018067261A (ja) * 2016-10-21 2018-04-26 京セラドキュメントソリューションズ株式会社 表示システム

Also Published As

Publication number Publication date
EP3975198A1 (en) 2022-03-30
CN113767440A (zh) 2021-12-07
US20220359061A1 (en) 2022-11-10
JP2021002303A (ja) 2021-01-07

Similar Documents

Publication Publication Date Title
US11164277B2 (en) Information processing apparatus, method and computer-readable medium
JP4820680B2 (ja) 医用画像表示装置
JP5038643B2 (ja) 画像表示装置
JP5589366B2 (ja) 情報処理装置、情報処理方法及びそのプログラム
US10222954B2 (en) Image display apparatus, display control apparatus and display control method using thumbnail images
US20050259116A1 (en) Medical image display apparatus
JP5257958B2 (ja) 画像表示装置、画像表示システムおよび画像表示方法
JP5306422B2 (ja) 画像表示システム、装置、方法及び医用画像診断装置
JP6455829B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP5442542B2 (ja) 病理診断支援装置、病理診断支援方法、病理診断支援のための制御プログラムおよび該制御プログラムを記録した記録媒体
JP5173053B2 (ja) 画像処理システム、装置、方法及び医用画像診断装置
CN108133501B (zh) 显示病理图像的方法、图像处理装置和计算机存储介质
JP6106967B2 (ja) 情報処理装置、情報処理方法、プログラム及び画像表示装置
JP2016038542A (ja) 画像処理方法および画像処理装置
WO2020261955A1 (ja) 診断支援プログラム、診断支援システム及び診断支援方法
JP2004287732A (ja) 医療情報表示装置
JP6645904B2 (ja) 医用画像表示装置及び表示プログラム
JP2006262975A (ja) 医用画像表示装置
JP2006255093A (ja) 医用画像システム
JP5832990B2 (ja) 画像表示システム
JP7323989B2 (ja) コンピュータプログラム、記録媒体、表示装置及び表示方法
JP2006304840A (ja) 医用画像表示システム
JP5826606B2 (ja) 画像配信サーバ
JP2009106505A (ja) 検査画像閲覧システムおよび該システムを組み込んだ超音波診断装置
JP2013097772A (ja) 医用画像診断装置及び画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20831564

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020831564

Country of ref document: EP

Effective date: 20211222

NENP Non-entry into the national phase

Ref country code: DE