WO2021117466A1 - 病理診断サポートシステムおよび病理診断サポート装置 - Google Patents

病理診断サポートシステムおよび病理診断サポート装置 Download PDF

Info

Publication number
WO2021117466A1
WO2021117466A1 PCT/JP2020/043364 JP2020043364W WO2021117466A1 WO 2021117466 A1 WO2021117466 A1 WO 2021117466A1 JP 2020043364 W JP2020043364 W JP 2020043364W WO 2021117466 A1 WO2021117466 A1 WO 2021117466A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pathological diagnosis
confirmation
frame
unit
Prior art date
Application number
PCT/JP2020/043364
Other languages
English (en)
French (fr)
Inventor
恵 西
Original Assignee
Ｐｈｃホールディングス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｐｈｃホールディングス株式会社 filed Critical Ｐｈｃホールディングス株式会社
Priority to US17/767,700 priority Critical patent/US20240119585A1/en
Priority to JP2021563828A priority patent/JP7261319B2/ja
Publication of WO2021117466A1 publication Critical patent/WO2021117466A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483—Physical analysis of biological material
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Definitions

  • the present invention relates to, for example, a pathological diagnosis support system and a pathological diagnosis support device used for pathological diagnosis of cancer.
  • the pathological diagnosis of cancer is performed by a pathologist visually confirming a pathological diagnosis image obtained by scanning a pathological diagnosis specimen (a specimen prepared from a patient for the purpose of pathological diagnosis). ing. At this time, the pathologist enlarges and observes the suspicious area of the pathological diagnosis image to confirm the pathology. In other words, if the image is not enlarged, the pathologist may overlook the presence of small cancer cells, and the pathologist has to spend an extremely large amount of time on this pathological diagnosis.
  • the pathological diagnosis image is divided into a plurality of divided images, and the points of interest are colored and displayed on the display unit if there is a possibility of abnormality in each divided image.
  • a method has been proposed (as a similar prior document, for example, Patent Document 1 below).
  • the pathological diagnosis image displayed on the display unit is colored as a point of interest. Therefore, by paying attention to the colored portion, the pathologist can alleviate the tension state that the abnormal portion should not be overlooked, and thus the burden on the pathologist can be reduced.
  • the point of interest is an extremely small point in the image for pathological diagnosis, even if the point of interest is colored, it may be overlooked.
  • an object of the present invention is to provide a pathological diagnosis support system and a pathological diagnosis support device capable of reducing the burden on a pathologist.
  • an image diagnosis server that analyzes an image for pathology diagnosis and a pathologist terminal that communicates with the image diagnosis server.
  • the image diagnosis server has an image analysis unit that performs image analysis of an image for pathological diagnosis, and a first control unit to which the image analysis unit is connected.
  • the first control unit uses the image analysis unit to divide the image for pathological diagnosis into a plurality of divided images and calculates an abnormality score for each divided image, and a confirmation frame including the divided images in which the abnormality score exceeds the threshold value. Is set and a frame number is assigned to each confirmation frame, and the image for pathological diagnosis, the setting information of the confirmation frame, and the frame number of the confirmation frame are transmitted to the pathologist terminal.
  • the pathologist terminal has a display unit and a second control unit.
  • the second control unit displays the confirmation frame and the frame number of the confirmation frame in the pathological diagnosis image, and the confirmation frame is displayed outside the pathological diagnosis image.
  • the display unit is controlled so that the frame number is displayed.
  • the pathologist can immediately recognize that there is a point of interest to be confirmed in the pathological diagnosis image by looking at the frame number displayed on the outside of the pathological diagnosis image. Then, the pathologist can immediately grasp the position and size of the confirmation frame in the pathological diagnosis image by the frame number and the confirmation frame displayed in the pathological diagnosis image. Therefore, the pathologist can perform intensive confirmation on the confirmation frame corresponding to the frame number displayed on the outside of the pathological diagnosis image, so that the burden on the pathologist can be reduced.
  • the points of interest to be confirmed are given a frame number and a confirmation frame, it is possible to reduce the burden on the pathologist by gaining confidence and a sense of security in confirming without overlooking the points of interest. it can.
  • FIG. 1 The figure which shows the structure of the pathological diagnosis support system which concerns on Embodiment 1 of this invention.
  • A is a control block diagram showing the configuration of the personal computer of the clinical laboratory technician of FIG.
  • B is a control block diagram showing the configuration of the diagnostic imaging server of FIG.
  • C is a control block diagram showing the configuration of the personal computer of the pathologist of FIG.
  • the figure which shows the display example of the display part of the personal computer of the pathologist of FIG. The figure which shows the display example of the display part of the personal computer of the pathologist of FIG.
  • the figure which shows the display example of the display part of the personal computer of the pathologist of FIG. The figure which shows the display example of the display part of the personal computer of the pathologist of FIG.
  • the operation flowchart of the personal computer and the diagnostic imaging server of the clinical laboratory technician of FIG. The operation flowchart of the diagnostic imaging server of FIG. 1 and the personal computer of a pathologist.
  • the operation flowchart of the personal computer of the pathologist of FIG. The figure which shows the display example of the display part of the personal computer of the pathologist of FIG.
  • the figure which shows the display example of the display part of the personal computer of the pathologist of FIG. The figure which shows the display example of the display part of the personal computer of the pathologist of FIG.
  • the control block diagram which shows the structure of the personal computer of the pathologist which concerns on Embodiment 2 of this invention.
  • the figure which shows the display example of the display part of the personal computer of the pathologist of FIG. The figure which shows the display example of the display part of the personal computer of the pathologist of FIG.
  • FIG. 1 shows the configuration of the pathological diagnosis support system of the present embodiment.
  • the image scanner 1 is connected to a personal computer 2 of a clinical laboratory engineer, and scans a pathological diagnosis sample (a sample collected from a patient and created for the purpose of pathological diagnosis) to obtain a clinical image for pathological diagnosis. Send to the inspection engineer's personal computer 2.
  • a pathological diagnosis sample a sample collected from a patient and created for the purpose of pathological diagnosis
  • the personal computer 2 transmits the pathological diagnosis image obtained by the image scanner 1 to the image diagnosis server 3.
  • the image diagnosis server 3 transmits the analysis result obtained by analyzing the pathological diagnosis image and the pathological diagnosis image to the pathologist's personal computer 4 (an example of the pathologist terminal).
  • the pathologist makes a pathological diagnosis using the image for pathological diagnosis sent to the personal computer 4.
  • FIG. 2 is a control block diagram showing the configurations of a personal computer 2 for a clinical laboratory engineer, a diagnostic imaging server 3, and a personal computer 4 for a pathologist.
  • the personal computer 2 includes a control unit 5 to which the image scanner 1 is connected, a communication unit 6, a display unit 7, and a storage unit 8 connected to the control unit 5.
  • the image diagnosis server 3 includes a communication unit 9 that communicates with the communication unit 6 of the personal computer 2, a control unit (first control unit) 10 connected to the communication unit 9, and a storage unit 11 connected to the control unit 10. It is provided with an image analysis unit 12 that performs image analysis of an image for pathological diagnosis.
  • the control unit 10 controls each unit connected to the control unit 10.
  • a control program for causing the control unit 10 to execute various operations is stored in the storage unit 11.
  • the pathologist's personal computer 4 is connected to a communication unit 13 that communicates with the communication unit 9 of the diagnostic imaging server 3, a storage unit 14, a display unit 15, and an input unit 16 into which control commands such as display are input.
  • the control unit (second control unit) 17 is provided.
  • the control unit 17 controls each unit connected to the control unit 17.
  • a control program for causing the control unit 17 to execute various operations is stored in the storage unit 14.
  • FIG. 3 shows a display screen of a display unit 15 displaying a viewer unit 15a that occupies most of the screen and a guide unit 15b displayed on the right side of the viewer unit 15a.
  • the entire image for pathological diagnosis is displayed on the viewer unit 15a.
  • the guide unit 15b has a frame number indicating that there is a point of interest to be confirmed in the pathological diagnosis image described later, and examples of the reason for the abnormality include "3. Invasive cancer" and "2. Non-invasive cancer” 1. Benign ". Is displayed.
  • the pathological diagnosis image displayed on the viewer unit 15a is sent to the diagnostic imaging server 3, and has a size of, for example, 30 mm ⁇ 20 mm.
  • the state after the determination is made is displayed on the viewer unit 15a.
  • the diagnostic imaging server 3 calculates an abnormality score for each divided image, and forms a confirmation frame 18, a confirmation frame 19, and a confirmation frame 20 including the divided images in which the abnormality score exceeds the threshold value. Then, these confirmation frames 18, 19 and 20 are displayed together with the frame numbers "1", “2” and “3” in the image for pathological diagnosis. Further, the guide portion 15b provided on the right outer side of the image for pathological diagnosis corresponds to the frame numbers "1", "2", and "3" of the confirmation frames 18, 19, and 20, respectively. The reason for the abnormality is displayed.
  • the guide units 15b are assigned the frame numbers "1", “2", and “3".
  • the corresponding reason for abnormality is displayed, and the frame numbers "1", “2", “3” and the confirmation frames 18, 19, 20 are displayed on the viewer unit 15a. Therefore, the pathologist who sees the display unit 15 of the personal computer 4 should check the points of interest in the pathological diagnosis image by the frame numbers "1", "2", and "3" displayed on the guide unit 15b. It is possible to immediately recognize that there are three.
  • the confirmation frames 18 to 20 are arranged by the three frame numbers "1", “2", “3” and the three confirmation frames 18, 19, 20 displayed in the pathological diagnosis image of the viewer unit 15a.
  • the position, size, and positional relationship can be grasped immediately.
  • all the confirmation frames 18, 19 and 20 displayed on the viewer unit 15a only the frame lines are displayed and the inside of the frames is displayed in a visible state. As a result, the states of the three points of interest can be easily grasped.
  • the frame numbers are represented by numbers “1", “2", and "3", but the frame numbers may be any as long as the confirmation frames 18, 19, and 20 can be specified.
  • the frame number for example, instead of numbers, alphabets, Roman numerals, icons, or a combination thereof may be used.
  • the guide portion 15b is provided on the right outer side of the pathological diagnosis image of the viewer portion 15a, but the guide portion 15b is provided in the window by displaying a so-called window outside the pathological diagnosis image. You may be.
  • the personal computer 2 scans the pathological diagnosis specimen using the image scanner 1 by an operation by a clinical laboratory technician (step R1), acquires the pathological diagnosis image (step R2), and then obtains the pathological diagnosis image.
  • An image for pathological diagnosis is transmitted to the image diagnosis server 3 (step R3).
  • the control unit 10 of the image diagnosis server 3 receives the image for pathological diagnosis (step G1)
  • the image analysis unit 12 is used to generate m ⁇ n (3243 sections) divided images as described above.
  • the control unit 10 inputs each divided image into the trained abnormality detection model and calculates an abnormality score for each pixel of the divided image (step G3).
  • the learned abnormality detection model is stored in advance in the storage unit 11 of the diagnostic imaging server 3.
  • control unit 10 colors the pixels whose abnormal score exceeds the threshold value (step G4).
  • control unit 10 collects 3243 sections of the colored divided images and reconstructs the pathological diagnosis image (step G5).
  • the colored region indicates that the abnormality is detected by the image analysis unit 12 and is likely to include the lesion tissue.
  • the colored area indicates that it is a point of interest for the pathologist to perform intensive confirmation.
  • the image analysis unit 12 detects whether or not there are adjacent colored divided images in the pathological diagnosis image (step G6). Then, when there are adjacent objects, the square confirmation frames 18, 19, 20 are set in the integrated state, and the images in the confirmation frames 18, 19, 20 are cut out as lesion image, and each confirmation frame 18 is used. , 19, 20 are assigned frame numbers "1", "2", and "3" (step G7).
  • the diagnostic imaging server 3 inputs the lesion image into the trained classification color-coded model, and sets the lesion area of the lesion image as the reason for abnormality "benign", "invasive cancer", or "non-invasive cancer". In addition to determining "invasive cancer", the color of the confirmation frame is determined.
  • the confirmation frame for "benign” is red
  • the confirmation frame for “invasive cancer” is green
  • the confirmation frame for “non-invasive cancer” is black.
  • the reason for abnormality and the display color are assigned to each of the confirmation frames 18, 19 and 20 (step G8).
  • the image diagnosis server 3 contains pathological diagnosis data including the position information (example of setting information) of the confirmation frames 18, 19, and 20, the frame number, the reason for the abnormality, the display color, and the lesion image. Is created, and the pathological diagnosis image and the pathological diagnosis data are transmitted to the pathologist's personal computer 4 (step G9).
  • the control unit 17 of the pathologist's personal computer 4 controls the display unit 15 so as to display the guidance screen A shown in FIG. 3 based on the pathological diagnosis data received from the image diagnosis server 3 (steps S1 and S2). ).
  • the image for pathological diagnosis is displayed on the viewer unit 15a, and the confirmation frames 18, 19 and 20 are displayed together with the frame numbers "1", "2" and "3" in the image for pathological diagnosis.
  • the frame numbers "1", "2", and "3" of the confirmation frames 18, 19 and 20 are the reasons for abnormality "benign” and "non-benign". It is displayed together with "invasive cancer” and "invasive cancer”.
  • the confirmation frames 18 and 19 in the pathological diagnosis image are displayed as frames larger than the confirmation frame 20 because the images in the confirmation frames 18 and 19 are composed of a plurality of divided images. ..
  • the confirmation frame 20 is composed of only one divided image, it is displayed as a frame smaller than the confirmation frames 18 and 19.
  • the reason for the abnormality displayed on the guide unit 15b the reason for the abnormality in the small confirmation frame 20, the frame number "3", is "invasive cancer", and the reason for the abnormality is the large confirmation frame 19, the frame number "2".
  • the risk is higher than the reason for abnormality "non-invasive cancer” and the reason for abnormality "benign” in the frame number "1" which is a large confirmation frame 18.
  • the frame numbers and the reasons for the abnormalities are displayed on the guide unit 15b from the top to the bottom in descending order of risk. .. Therefore, in the guide unit 15b shown in FIG. 3, the frame number “3” of the confirmation frame 20 is displayed as the one with the highest risk.
  • the pathologist first selects the frame number “3” of the guide unit 15b having the highest risk according to the contents of the confirmation frame displayed on the guide unit 15b in descending order of risk. Specifically, the frame number "3" is selected by designating the character "3, invasive cancer" portion of the guide unit 15b by the operation of the input unit 16 by the pathologist. Then, the medical treatment screen B shown in FIG. 4 is displayed on the display unit 15 (steps S3 and S4 in FIG. 10).
  • the frame number “3” of the confirmation frame 20 On the medical treatment screen B shown in FIG. 4, the frame number “3” of the confirmation frame 20, the reason for abnormality “invasive cancer”, and a 40-fold enlarged view of the confirmation frame 20 are displayed on the guide unit 15b.
  • the pathologist can recognize the risk of the confirmation frame 20 portion to which the frame number “3” is assigned. Therefore, the pathologist operates the detail key 21 in order to perform intensive confirmation on the confirmation frame 20.
  • the confirmation frame 20 portion of the pathological diagnosis image is enlarged and displayed on the viewer unit 15a of the display unit 15 (steps S5 and S6 in FIG. 10). Therefore, the pathologist intensively confirms the pathological diagnosis image enlarged and displayed on the viewer unit 15a, and inputs the memo in the memo field 22. If the pathologist wants to erase the confirmation frame 20 and continue the confirmation, the pathologist operates the guide on / off key 23 to erase the confirmation frame 20 and continue the confirmation (steps S5 and S7 in FIG. 10).
  • the pathologist checks and inputs in the input field 24 (an example of the confirmation input button) to indicate that the confirmation given to the frame number "3" has been completed. (Confirmed input) is performed.
  • the check input to the input field 24 means that the confirmation of the confirmation frame 20 corresponding to the frame number "3" has been completed.
  • information indicating that the confirmed input has been made is given to the confirmation frame 20.
  • the confirmation frame 20 in which the confirmed input has been made is subsequently displayed as confirmed when it is displayed on the viewer unit 15a.
  • control unit 17 sets the inside of the confirmation frame 20 in an invisible state (filled in black), and controls the display unit 15 so that it can be seen that the confirmation has been completed (steps S5 and S8 in FIG. 10). Subsequently, the pathologist continues to confirm the confirmation frame 19 corresponding to the frame number "2" having the second highest risk, and the confirmation frame 18 corresponding to the frame number "1" having the third highest risk, and confirms the confirmation.
  • the final medical treatment screen C is displayed as shown in FIG.
  • step S9 it is determined whether or not a check has been entered in the input fields 24 corresponding to the respective confirmation frames 18, 19, and 20, that is, whether or not the confirmation of all the guidance information has been completed.
  • the final medical treatment screen C is displayed (step S10 in FIG. 11).
  • the control unit 17 can see that in the pathological diagnosis image displayed on the viewer unit 15a, the display unit 15 has confirmed all the confirmation frames input as confirmed. indicate. Therefore, in FIG. 7, in the viewer portion 15a, the confirmation frame 20, the confirmation frame 19, and the confirmation frame 18 are displayed in an invisible state (black fill) so that it can be seen that the confirmation has been completed. ..
  • step S9 of FIG. 11 determines whether all the confirmations have not been completed. If it is determined in step S9 of FIG. 11 that all the confirmations have not been completed, the process returns to step S2 of FIG. 10 and the processes after step S2 are repeated.
  • the invisible state this time, the inside of the frame is filled with black, but the invisible state may be a state in which the inside of the frame cannot be accurately recognized.
  • the inside of the frame may be made semi-transparent, or a diagonal line may be displayed in the frame so that the inside of the frame cannot be recognized accurately.
  • the guide unit 15b when the pathologist starts diagnosing the image for pathological diagnosis, the guide unit 15b has frame numbers "1" and "2" as shown in FIG. , "3" and the corresponding abnormal reason are displayed. Therefore, the pathologist can easily recognize that there are three points of interest to be confirmed in the pathological diagnosis image. Then, the frame numbers "1", “2", "3" displayed on the image for pathological diagnosis and the confirmation frames 18, 19, 20 respectively indicate the confirmation frames 18, 19, 20 in the image for pathological diagnosis. The position, size, and positional relationship can be grasped immediately. At this time, only the frame lines are displayed in the confirmation frames 18, 19 and 20, and the inside of the frame is displayed in a visible state, so that the state of the point of interest can be easily grasped.
  • the pathologist can consciously perform intensive confirmation on those confirmation frames 18, 19 and 20.
  • the confirmation frames 18, 19, 20 and the frame numbers "1", "2", and "3" are displayed at the points of interest to be confirmed, the risk of the pathologist overlooking these parts is reduced.
  • the burden on the pathologist can be reduced because the confidence and security of the confirmation can be obtained.
  • the pathologist confirms the parts other than the confirmation frames 18, 19 and 20 by using the viewer unit 15a so that the pathological diagnosis is complete.
  • the confirmation frames 18, 19 and 20 are displayed in an invisible state.
  • the pathologist can recognize the remaining parts to be confirmed (parts other than the confirmation frames 18, 19 and 20) at a glance, so that the burden on the pathologist can be further reduced.
  • the pathologist is suspicious except for the point displayed on the guide portion 15b while moving the line of sight in the horizontal direction from the upper side to the lower side as in the conventional case. If there are points, the enlargement confirmation work is executed at the corresponding positions.
  • the confirmation frame 18 enlarged and displayed on the display unit 15 is displayed in an invisible state indicating that the confirmation has already been completed.
  • the confirmation frame 18 for which the confirmation work is most required is displayed in an invisible state that it has already been confirmed. Therefore, the pathologist can be relieved that "the confirmation of this part has been surely completed". Then, in the other parts, the confirmation work can be smoothly executed in sequence with a normal mind, and the burden on the pathologist can be further reduced.
  • FIG. 6 shows a medical treatment screen B in the portion of the confirmation frame 19 with the frame number “2”.
  • a plurality of divided images exist in the confirmation frame 19 of the guide unit 15b, indicating that the area in which the abnormality is detected is large.
  • the confirmation frame 19 of the viewer unit 15a is displayed in a state where a plurality of divided images are present in the confirmation frame 19. Therefore, even when the area where the abnormality is detected is large, the confirmation frame 19 set in an appropriate range (size) is displayed on the viewer portion 15a, so that the pathologist can easily determine the position and range of the point of interest. Can be recognized.
  • the pathologist confirms the confirmation frame 19 while displaying the image for pathological diagnosis of the viewer portion 15a in an enlarged / reduced manner using, for example, an enlargement / reduction key (not shown).
  • FIG. 12 shows a medical treatment screen B of the confirmation frame 25.
  • a plurality of lesion areas specifically, a “benign” lesion area 25a, a “invasive cancer” lesion area 25b, and a “invasive cancer” lesion area 25c are displayed.
  • the image analysis unit 12 sets the abnormality reason of the confirmation frame 25 as the highest risk abnormality reason. That is, the image analysis unit 12 sets the reason for the abnormality in the confirmation frame 25 to "invasive cancer". Then, when the confirmation frame 25 including the plurality of divided images is displayed on the display unit 15 of the pathologist's personal computer 4, as shown in FIG. 12, the most abnormal reason for the divided images in the confirmation frame 25 is the most. The reason for the high-risk abnormality is displayed in the outer region (that is, the guide portion 15b) of the pathological diagnosis image.
  • the display is made in consideration of safety so that the pathologist does not easily overlook it, and from this point as well, the burden on the pathologist can be reduced.
  • 13 and 14 show a state in which many confirmation frames are present in the image for pathological diagnosis. Even if there are many confirmation frames in this way, the risk of the pathologist overlooking them can be reduced by assigning a frame number and the reason for the abnormality to each confirmation frame and providing confirmation guidance to the guide unit 15b. Can be done.
  • the image analysis unit 12 of the image diagnosis server 3 analyzes the image for pathological diagnosis.
  • the personal computer 4 pathological diagnosis support
  • An image analysis unit 26 may be provided in an example of the apparatus), and a pathologist's personal computer 4 may be configured to analyze an image for pathological diagnosis. That is, as shown in FIG. 15, the pathologist's personal computer 4 has an image analysis unit 26 that analyzes an image for pathological diagnosis and a control unit (third control unit) 17 to which the image analysis unit 26 is connected.
  • a communication unit 13, a storage unit 14, and a display unit 15 connected to the control unit 17 are provided.
  • the control unit 17 uses the image analysis unit 26 to divide the pathological diagnosis image into a plurality of divided images and calculate an abnormality score for each divided image, and a confirmation frame including the divided image in which the abnormality score exceeds the threshold value. Is set and a frame number is assigned to each confirmation frame. Then, when the pathological diagnosis image is displayed on the display unit 15, the control unit 17 displays a confirmation frame and a corresponding frame number on the pathological diagnosis image, and a confirmation frame outside the pathological diagnosis image. Display the frame number of.
  • the image analysis unit 26 when an image for pathological diagnosis is sent from the image diagnosis server 3 to the pathologist's personal computer 4, the image analysis unit 26 is the same as the image analysis unit 12 of the image diagnosis server 3 in the first embodiment. Performs the analysis operation of. That is, the image analysis unit 26 performs the analysis operations of steps G1 to G7 in FIG. 9 and steps G8 to G9 in FIG. After that, the personal computer 4 performs the same operation as that of the first embodiment.
  • FIGS. 16 and 17 are images displayed on the personal computer 4 when performing a cytodiagnosis of breast cancer, and an image of cells is displayed on the viewer portion 15a as an image for pathological diagnosis.
  • the image of this cell is an image acquired by depth-of-focus synthesis, and when the pathological diagnosis specimen was taken, the focal position was slightly shifted and multiple images were taken, and these multiple images were in focus.
  • the image is a composite of only the areas where it is.
  • the confirmation frame 27 corresponding to the frame number "1" is displayed together with the frame number "1"
  • the confirmation frame 28 corresponding to the frame number "2" is displayed together with the frame number "2". .. Therefore, the pathologist can easily recognize the positions of the confirmation frames 27 and 28, which are the points of interest, the range in which the abnormal cells exist, and the positional relationship. Further, in this case, since only the frame lines are displayed in the confirmation frames 27 and 28 and the inside of the frame is displayed in a visible state, the state in the frame can be easily grasped. That is, in the case of cytodiagnosis, the findings that the pathologist should examine are the state of the cell nucleus, the arrangement and color of the cells, and the like. Therefore, it can be easily recognized that such remarkable features (state of cell nucleus, cell arrangement and color) are in the confirmation frames 27 and 28.
  • the pathologist can intensively perform the pathological diagnosis on the confirmation frames 27 and 28 after grasping the state of the confirmation frames 27 and 28. After that, when the diagnosis of the point of interest is completed, the pathologist confirms the parts other than the confirmation frames 27 and 28 by using the viewer portion 15a so that the pathological diagnosis is complete. At this time, as shown in FIG. 17, in the pathological diagnosis image of the viewer unit 15a, all the confirmation frames 27 and 28 for which the confirmed input has been made are displayed in an invisible state.
  • the pathologist can recognize the remaining parts to be confirmed (parts other than the confirmation frames 27 and 28) at a glance, so that the burden on the pathologist can be reduced.
  • the present invention is expected to be utilized as, for example, a pathological diagnosis support system and a pathological diagnosis support device used for pathological diagnosis of cancer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Chemical & Material Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • Medicinal Chemistry (AREA)
  • Immunology (AREA)
  • Hematology (AREA)
  • Molecular Biology (AREA)
  • Urology & Nephrology (AREA)
  • Biochemistry (AREA)
  • Food Science & Technology (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Biophysics (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本病理診断サポートシステムは、画像診断サーバ（３）と、病理医のパソコン（４）とを備えている。画像診断サーバ（３）は、画像解析部（１２）を用いて異常スコアが閾値を超えた確認枠（１８，１９，２０）を設定すると共に確認枠（１８，１９，２０）毎に枠番号「１」、「２」、「３」を付与し、病理診断用画像および確認枠（１８，１９，２０）の設定情報および確認枠（１８，１９，２０）の枠番号「１」、「２」、「３」を病理医のパソコン（４）に送信する。パソコン（４）は、病理診断用画像を表示部（１５）に表示させた際に、病理診断用画像内に確認枠（１８，１９，２０）と枠番号「１」、「２」、「３」とを表示し、病理診断用画像の外側に枠番号「１」、「２」、「３」を表示するように、表示部（１５）を制御する。

Description

病理診断サポートシステムおよび病理診断サポート装置
　本発明は、例えば、がんの病理診断に用いられる病理診断サポートシステムおよび病理診断サポート装置に関するものである。
　がんの病理診断は、病理診断用標本（患者から採取された検体について、病理診断を目的に作成された標本）をスキャンした病理診断用画像を、病理医が目視で確認することによって行われている。この時、病理医は病理診断用画像の疑わしい領域を拡大して観察し病理を確定する。
　つまり、画像を拡大表示させないと、病理医が小さながん細胞の存在を見落としてしまうおそれがあるため、病理医はこの病理診断に極めて多くの時間をかけざるをえない。
　そこで、病理医の負担を軽減するために、病理診断用画像を複数の分割画像にすると共に、各分割画像で異常の可能性があるものには表示部上で注目点を着色して表示する方法が提案されている（これに類似する先行文献としては、例えば、下記特許文献１）。
特開２０１９－９５２１２号公報
　上記従来例によれば、表示部に表示された病理診断用画像には、注目点として着色が施されている。このため、病理医はこの着色部分に注目することで、異常部分を見落としてはいけないという緊張状態を緩和することができるため、病理医の負担を軽減することができる。
　しかしながら、病理診断用画像中において注目点が極めて小さなポイントであった場合には、注目点が着色されていたとしても、見落としてしまうおそれがある。
　つまり、病理診断用画像は、様々な色や組織形態が混在する画像であるため、病理医が前記小さなポイントを確実に捉えることは難しい。このため、病理医は、従来通り、病理診断用画像の全体を集中して確認する必要があるため、十分に病理医の負担を軽減することができていない。
　そこで本発明は、病理医の負担を軽減するが可能な病理診断サポートシステムおよび病理診断サポート装置を提供することを目的とするものである。
　この目的を達成するために、病理診断用画像を解析する画像診断サーバと、画像診断サーバと交信する病理医端末と、を備えている。画像診断サーバは、病理診断用画像の画像解析を行う画像解析部と、画像解析部が接続された第１の制御部と、を有している。第１の制御部は、画像解析部を用いて、病理診断用画像を複数の分割画像に分割すると共に分割画像毎に異常スコアを算出し、異常スコアが閾値を超えた分割画像を含む確認枠を設定すると共に確認枠毎に枠番号を付与し、病理診断用画像および確認枠の設定情報および確認枠の枠番号を、病理医端末に送信する。病理医端末は、表示部と、第２の制御部と、を有している。第２の制御部は、病理診断用画像を表示部に表示させた際に、病理診断用画像内に確認枠と確認枠の枠番号とを表示し、病理診断用画像の外側に確認枠の枠番号を表示するように、表示部を制御する。
（発明の効果）
　本発明の構成によれば、病理医の病理医端末に病理診断用画像を表示させた際に、病理診断用画像内には確認枠と枠番号が表示され、病理診断用画像の外側には、病理診断用画像内に表示された枠番号に対応する枠番号が表示される。
　このため、病理医は、病理診断用画像の外側に表示された枠番号を見ることで、病理診断用画像内に確認すべき注目点があることを即座に認識することができる。そして、病理医は、病理診断用画像内に表示された枠番号と確認枠によって、病理診断用画像内の確認枠の位置や大きさを即座に把握することができる。
　よって、病理医は、病理診断用画像の外側に表示された枠番号に対応する確認枠に対して集中的な確認を行うことができるため、病理医の負担を軽減することができる。
　つまり、確認すべき注目点には枠番号と確認枠とが付されているため、注目点を決して見逃すことなく、確認に対する自信と安心感を得ることで、病理医の負担を軽減することができる。
本発明の実施の形態１に係る病理診断サポートシステムの構成を示す図。 （ａ）は、図１の臨床検査技師のパソコンの構成を示す制御ブロック図。（ｂ）は、図１の画像診断サーバの構成を示す制御ブロック図。（ｃ）は、図１の病理医のパソコンの構成を示す制御ブロック図。 図１の病理医のパソコンの表示部の表示例を示す図。 図１の病理医のパソコンの表示部の表示例を示す図。 図１の病理医のパソコンの表示部の表示例を示す図。 図１の病理医のパソコンの表示部の表示例を示す図。 図１の病理医のパソコンの表示部の表示例を示す図。 図１の病理医のパソコンの表示部の表示例を示す図。 図１の臨床検査技師のパソコンと画像診断サーバの動作フローチャート。 図１の画像診断サーバと病理医のパソコンの動作フローチャート。 図１の病理医のパソコンの動作フローチャート。 図１の病理医のパソコンの表示部の表示例を示す図。 図１の病理医のパソコンの表示部の表示例を示す図。 図１の病理医のパソコンの表示部の表示例を示す図。 本発明の実施の形態２に係る病理医のパソコンの構成を示す制御ブロック図。 図１の病理医のパソコンの表示部の表示例を示す図。 図１の病理医のパソコンの表示部の表示例を示す図。
　以下に、本発明の一実施形態を、添付図面を用いて説明する。
（実施の形態１）
　図１は、本実施形態の病理診断サポートシステムの構成を示している。
　画像スキャナ１は、臨床検査技師のパソコン２に接続されており、病理診断用標本（患者から採取された検体について、病理診断を目的に作成された標本）をスキャンした病理診断用画像を、臨床検査技師のパソコン２へ送信する。
　パソコン２は、画像スキャナ１によって得られた病理診断用画像を、画像診断サーバ３へ送信する。
　画像診断サーバ３は、病理診断用画像を解析した解析結果と病理診断用画像とを、病理医のパソコン４（病理医端末の一例）に送信する。
　病理医は、パソコン４に送られた病理診断用画像を用いて病理診断を行う。
　図２は、臨床検査技師のパソコン２、画像診断サーバ３、病理医のパソコン４のそれぞれの構成を示す制御ブロック図である。
　パソコン２は、画像スキャナ１が接続された制御部５と、制御部５に接続された通信部６、表示部７、記憶部８とを備えている。
　画像診断サーバ３は、パソコン２の通信部６と通信する通信部９と、通信部９と接続された制御部（第１の制御部）１０と、制御部１０に接続された記憶部１１、病理診断用画像の画像解析を行う画像解析部１２とを備えている。制御部１０は、制御部１０に接続された各部の制御を行う。制御部１０に各種動作を実行させるための制御プログラムは、記憶部１１に保持されている。
　病理医のパソコン４は、画像診断サーバ３の通信部９と通信する通信部１３と、記憶部１４、表示部１５、表示等の制御コマンドが入力される入力部１６と、これらは全てが接続された制御部（第２の制御部）１７と、を備えている。制御部１７は、制御部１７に接続された各部の制御を行う。制御部１７に各種動作を実行させるための制御プログラムは、記憶部１４に保持されている。
　本実施形態では、病理医のパソコン４の表示部１５に、図３に示すような画像が表示される。そして、表示部１５にこのような画像を表示させるために、画像診断サーバ３は、以下のような病理診断データを作成する。
　図３は、画面の大部分を占めるビューワ部１５ａと、ビューワ部１５ａの右側に表示された案内部１５ｂとを表示した表示部１５の表示画面を示している。
　ビューワ部１５ａには、病理診断用画像の全体が表示されている。
　案内部１５ｂには、後述する病理診断用画像内に確認すべき注目点があることを示す枠番号と異常理由として、例えば、「３．浸潤癌」「２．非浸潤癌「１．良性」と表示されている。
　ビューワ部１５ａに表示された病理診断用画像は、画像診断サーバ３に送付されたもので、例えば、大きさが３０ｍｍ×２０ｍｍである。この病理診断用画像は、画像解析部１２によってＸ方向にｍ列（６９列）、Ｙ方向にｎ行（４７行）に分割され、この３２４３個（＝６９×４７）の分割画像毎に異常判断が行われた後の状態が、ビューワ部１５ａに表示される。
　また、画像診断サーバ３は、分割画像毎に異常スコアを算出し、異常スコアが閾値を超えた分割画像を含む確認枠１８、確認枠１９、確認枠２０を形成する。そして、これら確認枠１８，１９，２０が、病理診断用画像内に、枠番号「１」、「２」、「３」と共に表示されている。
　さらに、病理診断用画像の右外側に設けられた案内部１５ｂ部分には、確認枠１８，１９，２０の枠番号「１」、「２」、「３」と、それぞれの枠番号に対応する異常理由とが表示されている。
　すなわち、異常スコアが閾値を超えた分割画像を含む確認枠（図３の確認枠１８，１９，２０）においては、案内部１５ｂに枠番号「１」、「２」、「３」とそれらに対応する異常理由とが表示されるとともに、ビューワ部１５ａに枠番号「１」、「２」、「３」と確認枠１８，１９，２０とが表示される。
　このため、パソコン４の表示部１５を見た病理医は、案内部１５ｂに表示された枠番号「１」、「２」、「３」によって、病理診断用画像内に確認すべき注目点が３個あることを即座に認識することができる。
　そして、ビューワ部１５ａの病理診断用画像内に表示された３個の枠番号「１」、「２」、「３」と３個の確認枠１８，１９，２０によって、確認枠１８～２０の位置、大きさ、位置関係を即座に把握することができる。
　なお、ビューワ部１５ａに表示される全ての確認枠１８，１９，２０は、枠線のみが表示され枠内は可視状態で表示される。これにより、３個の注目点の状態を容易に把握することができる。
　なお、図３に示す表示例では、枠番号は「１」、「２」、「３」と数字で表したが、枠番号は確認枠１８，１９，２０が特定できるものであればよい。枠番号としては、例えば、数字の代わりに、アルファベット、ローマ数字、アイコン、あるいはそれらの組み合わせを用いてもよい。
　また、本実施形態では、ビューワ部１５ａの病理診断用画像の右外側に案内部１５ｂが設けられているが、病理診断用画像外にいわゆるウインドウ表示を行って案内部１５ｂがウインドウ内に設けられていてもよい。
　以下、図９および図１０のフローチャートを用いて、臨床検査技師のパソコン２、画像診断サーバ３、および病理医のパソコン４における処理について説明を続ける。
　図９に示すように、パソコン２は、臨床検査技師による操作によって、画像スキャナ１を用いて病理診断用標本をスキャンし（ステップＲ１）、この病理診断用画像を取得した（ステップＲ２）後、画像診断サーバ３に病理診断用画像を送信する（ステップＲ３）。
　画像診断サーバ３の制御部１０は、病理診断用画像を受信する（ステップＧ１）と、上述したように、画像解析部１２を用いて、ｍ×ｎ個（３２４３区画）の分割画像を生成する（ステップＧ２）。
　次に、制御部１０は、各分割画像を学習済みの異常検知モデルに入力し分割画像の画素毎に異常スコアを算出する（ステップＧ３）。なお、学習済みの異常検知モデルは、予め、画像診断サーバ３の記憶部１１に保存されている。
　次に、制御部１０は、異常スコアが閾値を超えた画素に対して色付けを行う（ステップＧ４）。
　次に、制御部１０は、色付けされた分割画像を３２４３区画集めて、病理診断用画像を再構成する（ステップＧ５）。
　なお、再構成された病理診断用画像において、色付けされた領域は、画像解析部１２によって異常が検出され、病変組織を含む可能性の高い領域であることを示している。つまり、色付けされた領域は、病理医に集中的な確認を行ってもらいたい注目点であることを示している。
　画像解析部１２は、病理診断用画像において、色付けされた分割画像で隣接するものがあるか否かの検出を行う（ステップＧ６）。そして、隣接するものがある場合には、統合した状態で四角形の確認枠１８，１９，２０を設定すると共に、確認枠１８，１９，２０内の画像を病変部画像として切り出し、各確認枠１８，１９，２０毎に、枠番号「１」、「２」、「３」を付与する（ステップＧ７）。
　なお、枠番号は、確認枠１８，１９，２０の位置が病理診断用画像における上部に位置するほど、若い番号が付与される。
　次に、図１０に示すように、画像診断サーバ３は、病変部画像を学習済み分類色分けモデルに入力し、病変部画像の病変領域を、異常理由「良性」、「浸潤癌」、「非浸潤癌」に判定すると共に、確認枠の色を決定する。
　本実施形態では、例えば、「良性」の確認枠は赤色、「浸潤癌」の確認枠は緑色、「非浸潤癌」の確認枠は黒色とした。このようにして、確認枠１８，１９，２０毎に異常理由と表示色とが付与される（ステップＧ８）。
　次に、画像診断サーバ３は、確認枠１８，１９，２０の位置情報（設定情報の一例）、その枠番号、その異常理由、その表示色、その病変部画像、が含まれた病理診断データを作成して、病理診断用画像および病理診断データを、病理医のパソコン４に送信する（ステップＧ９）。
　病理医のパソコン４の制御部１７は、画像診断サーバ３から受信した病理診断データを基にして、図３に示す案内画面Ａを表示するように、表示部１５を制御する（ステップＳ１、Ｓ２）。
　図３に示す案内画面Ａでは、ビューワ部１５ａに病理診断用画像が表示され、病理診断用画像中に確認枠１８，１９，２０が枠番号「１」、「２」、「３」と共に表示されている。また、病理診断用画像の右外側に設けられた案内部１５ｂには、各確認枠１８，１９，２０の枠番号「１」、「２」、「３」が異常理由「良性」、「非浸潤癌」、「浸潤癌」と共に表示されている。
　図３において、病理診断用画像内の確認枠１８，１９は、は、確認枠１８，１９内の画像が複数の分割画像から構成されるため、確認枠２０よりも大きい枠として表示されている。一方、確認枠２０はただ１つの分割画像から構成されているため、確認枠１８，１９よりも小さい枠として表示されている。
　しかし、案内部１５ｂに表示された異常理由をみると、小さな確認枠２０である枠番号「３」の異常理由は「浸潤癌」であって、大きな確認枠１９である枠番号「２」の異常理由「非浸潤癌」、大きな確認枠１８である枠番号「１」の異常理由「良性」よりも、リスクが高くなっている。
　すなわち、本実施形態においては、案内部１５ｂには、確認枠１８～２０の大きさにかかわらず、そのリスクの高い順に上位から下方に向けて、枠番号と、その異常理由とが表示される。よって、図３に示す案内部１５ｂには、確認枠２０の枠番号「３」が最もリスクの高いものとして表示されている。
　病理医は、案内部１５ｂにリスクが高い順に表示された確認枠の内容に従って、まずは、最もリスクが高い案内部１５ｂの枠番号「３」を選択する。具体的には、病理医による入力部１６の操作で案内部１５ｂの文字「３、浸潤癌」部分が指定されることにより、枠番号「３」が選択される。すると、表示部１５には、図４に示す診療画面Ｂが表示される（図１０のステップＳ３、Ｓ４）。
　図４に示す診療画面Ｂでは、案内部１５ｂに、確認枠２０の枠番号「３」、異常理由「浸潤癌」、確認枠２０の４０倍の拡大図、が表示される。
　病理医は、診療画面Ｂを確認することで、枠番号「３」が付与された確認枠２０部分のリスクを認識することができる。したがって、病理医は、確認枠２０に対して集中的な確認を行うために、詳細キー２１を操作する。
　詳細キー２１が操作されると、図５に示すように、表示部１５のビューワ部１５ａには、病理診断用画像の確認枠２０部分が拡大表示される（図１０のステップＳ５、Ｓ６）。したがって、病理医は、ビューワ部１５ａに拡大表示された病理診断用画像を集中的に確認し、メモ欄２２にメモへの入力を行う。
　なお、確認枠２０を消して確認を続けたい場合には、病理医は、ガイドオンオフキー２３を操作し、確認枠２０を消去して確認を続ける（図１０のステップＳ５、Ｓ７）。
　メモ欄２２にメモへの入力が完了すると、病理医は、枠番号「３」に対して付与された確認済みであることを示すために、入力欄２４（確認入力ボタンの一例）にチェック入力（確認済み入力）を行う。
　入力欄２４へのチェック入力は、枠番号「３」に対応する確認枠２０の確認が終了したことを意味する。入力欄２４にチェック入力されると、確認枠２０に確認済み入力が行われた旨の情報が付与される。そして、確認済み入力が行われた確認枠２０は、以後、ビューワ部１５ａに表示される時には確認済みと表示される。
　具体的には、制御部１７は、確認枠２０内を不可視状態（黒色の塗りつぶし）とし、確認済みであることが分かるように表示部１５を制御する（図１０のステップＳ５、Ｓ８）。
　続いて、病理医は、リスクが２番目に高い枠番号「２」に対応する確認枠１９、リスクが３番目に高い枠番号「１」に対応する確認枠１８の順に確認を続け、その確認が終わると、図７に示すように、最終診療画面Ｃが表示される。
　具体的には、それぞれの確認枠１８，１９，２０に対応する入力欄２４にチェックが入力されているか否か、すなわち、全ての案内情報の確認が終了したか否かが判定される（図１１のステップＳ９）。ここで、全ての確認が終了すると、最終診療画面Ｃが表示される（図１１のステップＳ１０）。
　本実施形態では、制御部１７は、ビューワ部１５ａに表示された病理診断用画像において、表示部１５が、確認済みであると入力された全ての確認枠を確認済みであることが分かるように表示する。このため、図７では、ビューワ部１５ａにおいて、確認枠２０、確認枠１９、確認枠１８は、確認済みであることが分かるように、枠内が不可視状態（黒色の塗りつぶし）で表示されている。
　一方、図１１のステップＳ９において、全ての確認が終了していないと判定されると、図１０のステップＳ２へ戻り、ステップＳ２以降の処理を繰り返し実施する。
　なお、今回の不可視状態は、枠内を黒色の塗りつぶしで表わしたが、不可視状態とは枠内が正確に認識できない状態であればよい。例えば、枠内を半透明にする、あるいは、枠内に斜線を表示することで、枠内を正確に認識できない状態にしてもよい。
　以上のように、本実施形態の病理診断サポートシステムでは、病理医が病理診断用画像の診断を開始するときには、図３に示すように、案内部１５ｂに、枠番号「１」、「２」、「３」と、それぞれに対応する異常理由とが表示される。このため、病理医は、病理診断用画像内に確認すべき注目点が３個あることを容易に認識することができる。
　そして、病理診断用画像に表示された枠番号「１」、「２」、「３」と確認枠１８，１９，２０とによって、病理診断用画像内の確認枠１８，１９，２０のそれぞれの位置、大きさ、位置関係を即座に把握することができる。この時、確認枠１８，１９，２０は枠線のみが表示され、枠内は可視状態で表示されるので、注目点の状態も把握しやすい。
　このため、病理医は、意識的に、それらの確認枠１８，１９，２０に対して集中的な確認を行うことができる。
　つまり、確認すべき注目点には確認枠１８，１９，２０、枠番号「１」、「２」、「３」が表示されているので、病理医がこれらの部分を見逃してしまうリスクが軽減されるとともに、確認に対する自信と安心感を得ることができるため、病理医の負担を軽減することができる。
　そして、注目点の診断が終了すると、病理医は、確認枠１８，１９，２０以外の部分について、病理診断に漏れがないように、ビューワ部１５ａを用いて確認する。
　本実施形態においては、図７に示すように、ビューワ部１５ａに表示された病理診断用画像内に、複数の確認枠１８，１９，２０を表示させる場合、確認済み入力が行われた全ての確認枠１８，１９，２０は、枠内が不可視状態で表示される。
　これにより、病理医は、確認すべき残りの部位（確認枠１８，１９，２０以外の部位）を一目で認識することができるため、病理医の負担をさらに軽減することができる。
　具体的には、病理医は、図８に示すように、従来と同様に、上方から下方に向けて格段毎に水平方向に視線を移動させながら、案内部１５ｂに表示された点以外に疑わしいポイントがあれば、それぞれ対応する位置で拡大確認作業を実行する。
　本実施形態では、図８の右上の図に示すように、病理診断用画像を表示部１５に拡大表示させる時には、確認済み入力が行われた全ての確認枠を確認済み表示させる。今回は、確認済み入力が行われた確認枠１８，１９，２０の内、表示部１５に拡大表示されている確認枠１８が、すでに確認済みであることを示す不可視状態で表示される。
　このように、疑わしいポイントに対応する位置で拡大確認作業を実行する時においても、確認作業が最も求められる確認枠１８については、すでに確認したことが不可視状態で表示されている。このため、病理医は、「この部分の確認は確実に終わった」と安心することができる。そして、その他の部分は、平常心を持って順次確認作業をスムーズに実行することができ、病理医の負担をさらに軽減することができる。
　また、図６は、確認枠１９で枠番号「２」の部分の診療画面Ｂを示している。
　案内部１５ｂの確認枠１９内には、分割画像が複数個存在しており、異常が検出された領域が大きいことを示している。この時、ビューワ部１５ａの確認枠１９は、確認枠１９内に分割画像が複数個存在している状態で表示される。
　このため、異常が検出された領域が大きい時も、適切な範囲（大きさ）に設定された確認枠１９がビューワ部１５ａに表示されるため、病理医は、注目点の位置や範囲を容易に認識できる。
　病理医は、ビューワ部１５ａの病理診断用画像を、例えば、拡大縮小キー（図示せず）を用いて拡大縮小表示させながら、確認枠１９の確認を行う。
　図１２は、確認枠２５の診療画面Ｂを示している。
　確認枠２５内には、複数の病変領域、具体的には、「良性」の病変領域２５ａ、「浸潤癌」の病変領域２５ｂ、「浸潤癌」の病変領域２５ｃが表示されている。
　このように、１つの確認枠２５内に複数の病変領域が含まれている場合には、画像解析部１２は、確認枠２５の異常理由を最もリスクの高い異常理由に設定する。すなわち、画像解析部１２は、確認枠２５の異常理由を「浸潤癌」に設定する。
　そして、病理医のパソコン４の表示部１５に、複数の分割画像を含む確認枠２５を表示させる場合には、図１２に示すように、確認枠２５内の分割画像に対する異常理由の内、最もリスクの高い異常理由を病理診断用画像の外側の領域（つまり、案内部１５ｂ）に表示させる。
　このため、病理医が見落としにくいように安全に配慮した表示がなされ、この点からも、病理医の負担を軽減することができる。
　図１３および図１４は、病理診断用画像中に多くの確認枠が存在した状態を示している。このように多くの確認枠が存在する場合でも、各確認枠に対して枠番号とその異常理由を付し、案内部１５ｂに確認案内することで、病理医がそれらを見逃すリスクを軽減することができる。
　つまり、病理医が確認すべき部分に単に色を付けるだけではなく、確認をするための枠番号およびその異常理由を付与し、案内表示することで、病理医が確認すべき部分を見逃してしまうことを防止することができる。
　また、図１４に示すように、確認した確認枠には、不可視状態（黒色の塗りつぶし）に移行するように表示制御されるため、全ての確認枠を確認したか否かを容易に把握することができるため、確認漏れに対する不安感を解消することができる。
　なお、図１３、図１４においては、多くの確認枠が存在しているため、図面の見易さを考慮して、各確認枠に対する枠番号は標記していないが、実際には、病理診断用画像中に確認枠と枠番号とが表示され、案内部１５ｂに枠番号と異常理由が表示される。
（実施の形態２）
　本発明の他の実施形態に係る病理診断サポート装置について、図１５～図１７を用いて説明すれば以下の通りである。
　すなわち、上記実施形態１では、画像診断サーバ３の画像解析部１２が病理診断用画像の解析を行う構成としたが、図１５に示すように、上記実施の形態１のパソコン４（病理診断サポート装置の一例）に画像解析部２６が設けられており、病理医のパソコン４において、病理診断用画像の解析を行う構成であってもよい。
　すなわち、病理医のパソコン４は、図１５に示すように、病理診断用画像の画像解析を行う画像解析部２６と、画像解析部２６が接続された制御部（第３の制御部）１７と、制御部１７に接続された通信部１３、記憶部１４および表示部１５と、を備えている。
　制御部１７は、画像解析部２６を用いて、病理診断用画像を複数の分割画像に分割すると共に分割画像毎に異常スコアを算出し、異常スコアが閾値を超えた前記分割画像を含む確認枠を設定すると共に前記確認枠毎に枠番号を付与する。そして、制御部１７は、病理診断用画像を表示部１５に表示させた時に、病理診断用画像上に確認枠とこれに対応する枠番号とを表示させ、病理診断用画像の外側に確認枠の枠番号を表示させる。
　本実施形態では、画像診断サーバ３から病理医のパソコン４に病理診断用画像が送られてくると、画像解析部２６が、上記実施の形態１における画像診断サーバ３の画像解析部１２と同様の解析動作を行う。すなわち、画像解析部２６が、図９のステップＧ１～Ｇ７、図１０のステップＧ８～Ｇ９の解析動作を行う。
　その後、パソコン４は、上記実施の形態１と同じ動作を行う。
　これにより、上記実施の形態１において得られる効果を、本実施形態においても同様に得ることができる。
　ここで、上記実施形態１の病理診断サポートシステムおよび実施形態２の病理診断サポート装置は、例えば、乳がんなどの病理診断（組織診、細胞診を含む）にも活用される。
　具体的には、図１６および図１７は、乳がんの細胞診を行う時にパソコン４に表示される画像であって、ビューワ部１５ａには、病理診断用画像として細胞の画像が表示されている。この細胞の画像は焦点深度合成にて取得された画像であって、病理診断用標本の撮影時に焦点位置を少しずつずらして複数枚の撮影が行われ、これら複数枚の画像のピントが合っている所だけを合成した画像となっている。
　このような細胞診を行う場合でも、図１６に示すように、病理医が病理診断用画像の診断を開始するときには、案内部１５ｂには、枠番号と異常理由とがリスクの高い順に表示される。
　具体的には、「２．重度の核異型」「１．軽度の核異型」などの異常理由と、それぞれの入力欄２４（確認入力ボタンの一例）とが表示されている。
　一方、ビューワ部１５ａには、枠番号「１」に対応する確認枠２７が枠番号「１」と共に表示され、枠番号「２」に対応する確認枠２８が枠番号「２」と共に表示される。
　このため、病理医は、注目点である確認枠２７，２８の位置、異常な細胞が存在する範囲、位置関係を容易に認識することができる。
　また、この場合、確認枠２７，２８は、枠線のみが表示され、枠内は可視状態で表示されているため、枠内の状態を容易に把握することができる。すなわち、細胞診の場合、病理医が診るべき所見は、細胞核の状態、細胞の配置や色などである。このため、そのような注目すべき特徴（細胞核の状態、細胞の配置や色）が確認枠２７，２８の中にあることを容易に認識することができる。
　この結果、病理医は、確認枠２７，２８の状態を把握した上で、確認枠２７，２８に対して集中的に病理診断を行うことができる。
　その後、病理医は、注目点の診断が終了すると、確認枠２７，２８以外の部分について、病理診断に漏れがないように、ビューワ部１５ａを用いて確認する。
　この時、図１７に示すように、ビューワ部１５ａの病理診断用画像内において、確認済み入力が行われた全ての確認枠２７，２８は、枠内が不可視状態で表示される。
　これにより、病理医は、確認すべき残りの部位（確認枠２７，２８以外の部位）を一目で認識することができるため、病理医の負担を軽減することができる。
　本発明は、例えば、癌の病理診断に用いられる病理診断サポートシステムおよび病理診断サポート装置として活用が期待される。
　１　　　画像スキャナ
　２　　　パソコン
　３　　　画像診断サーバ
　４　　　パソコン（病理医端末の一例）
　５　　　制御部
　６　　　通信部
　７　　　表示部
　８　　　記憶部
　９　　　通信部
１０　　　制御部（第１の制御部）
１１　　　記憶部
１２　　　画像解析部
１３　　　通信部
１４　　　記憶部
１５　　　表示部
１５ａ　　ビューワ部
１５ｂ　　案内部
１６　　　入力部
１７　　　制御部（第２の制御部、第３の制御部）
１８　　　確認枠
１９　　　確認枠
２０　　　確認枠
２１　　　詳細キー
２２　　　メモ欄
２３　　　ガイドオンオフキー
２４　　　入力欄（確認済み入力ボタンの一例）
２５　　　確認枠
２５ａ　　病変領域
２５ｂ　　病変領域
２５ｃ　　病変領域
２６　　　画像解析部
２７　　　確認枠
２８　　　確認枠

Claims (16)

  1. 　病理診断用画像を解析する画像診断サーバと、前記画像診断サーバと交信する病理医端末と、を備え、
    　前記画像診断サーバは、
    　　前記病理診断用画像の画像解析を行う画像解析部と、
    　　前記画像解析部が接続されており、前記画像解析部を用いて、前記病理診断用画像を複数の分割画像に分割すると共に前記分割画像毎に異常スコアを算出し、前記異常スコアが閾値を超えた前記分割画像を含む確認枠を設定すると共に前記確認枠毎に枠番号を付与し、前記病理診断用画像および前記確認枠の設定情報および前記確認枠の枠番号を、前記病理医端末に送信する第１の制御部と、
    を有し、
    　前記病理医端末は、
    　　表示部と、
    　　前記病理診断用画像を前記表示部に表示させた際に、前記病理診断用画像内に前記確認枠と前記確認枠の枠番号とを表示し、前記病理診断用画像の外側に前記確認枠の枠番号を表示するように、前記表示部を制御する第２の制御部と、
    を有している、
    病理診断サポートシステム。
  2. 　前記画像診断サーバの前記画像解析部は、前記異常スコアが閾値を超えた前記分割画像を含む前記確認枠に異常理由を付与すると共に前記異常理由を前記病理医端末に送信し、
    　前記病理医端末の前記第２の制御部は、前記病理診断用画像の外側に複数の枠番号を表示する際に、前記枠番号に対して付与された前記異常理由のリスクの高い順に表示するように、前記表示部を制御する、
    請求項１に記載の病理診断サポートシステム。
  3. 　前記画像診断サーバの前記画像解析部は、前記異常スコアが閾値を超えた前記分割画像が隣接もしくは近接する場合に、これら複数の前記分割画像を含む前記確認枠を設定する、
    請求項１または２に記載の病理診断サポートシステム。
  4. 　前記病理医端末の前記第２の制御部は、複数の前記分割画像を含む前記確認枠を表示する際に、前記確認枠内の前記分割画像に対する異常理由の内、最もリスクの高い前記異常理由を前記病理診断用画像の外側に表示するように、前記表示部を制御する、
    請求項３に記載の病理診断サポートシステム。
  5. 　前記病理医端末の前記第２の制御部は、前記確認枠毎に、前記確認枠の確認終了を示す確認済み入力が行われる確認入力ボタンを表示するように、前記表示部を制御する、
    請求項１から４のいずれか１つに記載の病理診断サポートシステム。
  6. 　前記病理医端末の前記第２の制御部は、前記表示部に複数の前記確認枠を表示する際に、前記確認済み入力が行われた全ての前記確認枠を確認済みであることが分かるように、前記表示部を制御する、
    請求項５に記載の病理診断サポートシステム。
  7. 　前記病理医端末の前記第２の制御部は、前記確認済み入力が行われた前記確認枠内を不可視状態で表示するように、前記表示部を制御する、
    請求項６に記載の病理診断サポートシステム。
  8. 　前記病理医端末の前記第２の制御部は、前記病理診断用画像を前記表示部に拡大表示する際に、確認済み入力が行われた全ての前記確認枠を確認済みであることが分かるように、前記表示部を制御する、
    請求項６または７に記載の病理診断サポートシステム。
  9. 　病理診断用画像の画像解析を行う画像解析部と、
    　表示部と、
    　前記画像解析部および前記表示部に接続されており、前記画像解析部を用いて、前記病理診断用画像を複数の分割画像に分割すると共に前記分割画像毎に異常スコアを算出し、異常スコアが閾値を超えた前記分割画像を含む確認枠を設定すると共に、前記確認枠毎に枠番号を付与し、前記病理診断用画像を前記表示部に表示させた際に、前記病理診断用画像内に前記確認枠と前記確認枠の枠番号とを表示し、前記病理診断用画像の外側に前記確認枠の枠番号を表示するように、前記表示部を制御する第３の制御部と、
    を備えている病理診断サポート装置。
  10. 　前記画像解析部は、前記異常スコアが閾値を超えた前記分割画像を含む確認枠に異常理由を付与し、
    　前記第３の制御部は、前記病理診断用画像の外側に複数の枠番号を表示する際に、前記枠番号に対して付与された異常理由のリスクの高い順に表示するように、前記表示部を制御する、
    請求項９に記載の病理診断サポート装置。
  11. 　前記画像解析部は、前記異常スコアが閾値を超えた前記分割画像が隣接もしくは近接する場合に、これら複数の前記分割画像を含む前記確認枠を設定する、
    請求項９または１０に記載の病理診断サポート装置。
  12. 　前記第３の制御部は、複数の前記分割画像を含む前記確認枠を表示させる際に、前記確認枠内の前記分割画像に対する異常理由の内、最もリスクの高い異常理由を前記病理診断用画像の外側に表示するように、前記表示部を制御する、
    請求項１１に記載の病理診断サポート装置。
  13. 　前記第３の制御部は、前記確認枠毎に、前記確認枠の確認終了を示す確認済み入力が行われる確認入力ボタンを表示するように、前記表示部を制御する、
    請求項９から１２のいずれか１つに記載の病理診断サポート装置。
  14. 　前記第３の制御部は、前記表示部に複数の前記確認枠を表示させる際に、前記確認済み入力が行われた全ての前記確認枠を確認済みであることが分かるように、前記表示部を制御する、
    請求項１３に記載の病理診断サポート装置。
  15. 　前記第３の制御部は、前記確認済み入力が行われた前記確認枠内を、不可視状態で表示するように、前記表示部を制御する、
    請求項１４に記載の病理診断サポート装置。
  16. 　前記第３の制御部は、前記病理診断用画像を前記表示部に拡大表示させる際に、前記確認済み入力が行われた全ての前記確認枠を確認済みであることが分かるように、前記表示部を制御する、
    請求項１４または１５に記載の病理診断サポート装置。
     
PCT/JP2020/043364 2019-12-10 2020-11-20 病理診断サポートシステムおよび病理診断サポート装置 WO2021117466A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/767,700 US20240119585A1 (en) 2019-12-10 2020-11-20 Pathological diagnosis support system and pathological diagnosis support device
JP2021563828A JP7261319B2 (ja) 2019-12-10 2020-11-20 病理診断サポートシステムおよび病理診断サポート装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-222977 2019-12-10
JP2019222977 2019-12-10

Publications (1)

Publication Number Publication Date
WO2021117466A1 true WO2021117466A1 (ja) 2021-06-17

Family

ID=76329815

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/043364 WO2021117466A1 (ja) 2019-12-10 2020-11-20 病理診断サポートシステムおよび病理診断サポート装置

Country Status (3)

Country Link
US (1) US20240119585A1 (ja)
JP (1) JP7261319B2 (ja)
WO (1) WO2021117466A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06251038A (ja) * 1993-03-01 1994-09-09 Toshiba Corp 医用診断支援システム
WO2012105281A1 (ja) * 2011-01-31 2012-08-09 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置及びその制御方法とその制御プログラムを格納した記憶媒体
JP2018000454A (ja) * 2016-06-30 2018-01-11 キヤノンマーケティングジャパン株式会社 医用画像診断装置、その制御方法、及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5487157B2 (ja) * 2011-05-26 2014-05-07 富士フイルム株式会社 画像処理装置および画像処理装置の作動方法並びに画像処理プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06251038A (ja) * 1993-03-01 1994-09-09 Toshiba Corp 医用診断支援システム
WO2012105281A1 (ja) * 2011-01-31 2012-08-09 日本電気株式会社 情報処理システム、情報処理方法、情報処理装置及びその制御方法とその制御プログラムを格納した記憶媒体
JP2018000454A (ja) * 2016-06-30 2018-01-11 キヤノンマーケティングジャパン株式会社 医用画像診断装置、その制御方法、及びプログラム

Also Published As

Publication number Publication date
US20240119585A1 (en) 2024-04-11
JPWO2021117466A1 (ja) 2021-06-17
JP7261319B2 (ja) 2023-04-19

Similar Documents

Publication Publication Date Title
US10782862B2 (en) Systems and methods for viewing medical images
CN113015476A (zh) 用于生成和显示体内图像流的研究的系统和方法
EP2172902B1 (en) Image display apparatus, image display method, and image display program
CN1935100B (zh) 用于肺结节评估的临床观察和分析工作流程
JP5630674B2 (ja) 情報処理装置、情報処理システム、情報処理方法、プログラム及び記録媒体
US20070195165A1 (en) Image display apparatus
CN104350742B (zh) 用于显示图像流的系统和方法
KR20140030042A (ko) 진단 지원장치 및 방법
WO2021117466A1 (ja) 病理診断サポートシステムおよび病理診断サポート装置
JP2003190134A (ja) 医用画像処理装置、医用画像処理方法、プログラム、及び記憶媒体
CN106778036B (zh) 一种数据处理的方法及装置
JP6090505B1 (ja) 眼底画像解析システムとそのプログラム
JP4490225B2 (ja) 細胞画像表示方法、細胞画像表示システム、細胞画像表示装置、及びコンピュータプログラム
JP4691732B1 (ja) 組織抽出システム
JP3885961B2 (ja) 医用画像表示装置
JPWO2022075047A5 (ja)
CN111989044B (zh) X射线摄影装置
CN114170177A (zh) 一种手术路径分析方法及存储介质
CN116324572A (zh) 医疗图像处理装置及其工作方法
US20230298178A1 (en) Medical image display system, medical image display method, and recording medium
US20220359061A1 (en) Diagnosis support program, diagnosis support system, and diagnosis support method
US20230410981A1 (en) Medical image display system, medical image display method, and recording medium
US20240104688A1 (en) Medical image display device
EP3493213B1 (en) Method, system, computer program product and computer-readable medium for supporting a visual analysis of a medical image data set
KR20240079994A (ko) 민감도 설정이 가능한 인공지능 기반의 병변 검출 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20897659

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021563828

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 17767700

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20897659

Country of ref document: EP

Kind code of ref document: A1