WO2022014017A1 - 医療システム - Google Patents

医療システム Download PDF

Info

Publication number
WO2022014017A1
WO2022014017A1 PCT/JP2020/027704 JP2020027704W WO2022014017A1 WO 2022014017 A1 WO2022014017 A1 WO 2022014017A1 JP 2020027704 W JP2020027704 W JP 2020027704W WO 2022014017 A1 WO2022014017 A1 WO 2022014017A1
Authority
WO
WIPO (PCT)
Prior art keywords
evaluation
image
images
unit
image information
Prior art date
Application number
PCT/JP2020/027704
Other languages
English (en)
French (fr)
Inventor
晴彦 坂従
和義 田村
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2020/027704 priority Critical patent/WO2022014017A1/ja
Priority to JP2022536074A priority patent/JP7483008B2/ja
Publication of WO2022014017A1 publication Critical patent/WO2022014017A1/ja
Priority to US18/096,097 priority patent/US20230177689A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Definitions

  • the present invention relates to a medical system that supports endoscopy.
  • test protocol that shows the test procedure so that there is no difference in the method of observing organs due to differences in the experience and skills of doctors (for example, patent documents). 1).
  • the testing protocol defines the site of the organ to be observed and the order in which the site is observed.
  • a skilled doctor who has performed a double check carefully guides an unskilled doctor based on the check results, but since the skilled doctor is busy, it may not be possible to take sufficient time for guidance. many. Therefore, without bothering the skilled doctor, we built a mechanism to make the unskilled doctor recognize points to be improved and points to be noted based on the result of image analysis of the image taken by the unskilled doctor with a computer. It is preferable to do so.
  • the present invention has been made in view of such a situation, and an object thereof is to provide a technique for supporting endoscopy by a doctor.
  • the medical system of a certain aspect of the present invention has an information acquisition unit that acquires a plurality of image information obtained by image analysis of a plurality of images captured in an endoscopy, and a plurality of acquired images.
  • the image information storage unit that stores information, the appropriate number of images holding unit that holds the appropriate number of images for each part to be inspected by endoscopy, and the number of images of one part are different from the appropriate number of images of the part.
  • a second evaluation value holding unit that holds the first evaluation value that is the evaluation result when the image is present, and a second evaluation value that holds the second evaluation value that is the evaluation result when the image information indicates that the image is inappropriate.
  • the number of images of each part is derived based on the evaluation value holding unit and a plurality of stored image information, and when the number of images of the derived part is different from the appropriate number of images, the first evaluation value is added to the evaluation result of the part.
  • Image evaluation that extracts image information indicating that the image is inappropriate from the image number evaluation unit to be assigned and a plurality of stored image information, and assigns a second evaluation value to the evaluation result of the part of the extracted image information.
  • a unit and an evaluation result storage unit that stores evaluation results including a first evaluation value and a second evaluation value, which are evaluation results generated based on a plurality of stored image information, are provided.
  • Another aspect of the present invention is also a medical system, in which an information acquisition unit that acquires image information obtained by image-analyzing an image captured by an image analyzer during endoscopy, and an information acquisition unit that acquires the acquired image information.
  • An image information storage unit to be stored, an appropriate number holding unit for holding an appropriate number of images for each part to be examined for endoscopy, and an image pickup when the number of images taken for a certain part is less than the appropriate number of images taken for the part.
  • the number evaluation unit that determines the number of images is insufficient, and the notification unit that notifies the doctor who is performing the endoscopy when the number of images of the site is insufficient. And.
  • FIG. 1 shows the configuration of the medical system 1 according to the embodiment of the present invention.
  • the medical system 1 of the embodiment is provided in a medical facility such as a hospital, and includes an endoscope observation device 3, an image storage device 6, an image analysis device 7, an information processing device 8, and a management device 10.
  • the endoscope observation device 3, the image storage device 6, the image analysis device 7, the information processing device 8, and the management device 10 are communicably connected by a network 2 such as a LAN (local area network).
  • a network 2 such as a LAN (local area network).
  • the endoscope observation device 3 is provided in the examination room, is connected to the endoscope 5 inserted into the gastrointestinal tract of the patient, and displays the image in the gastrointestinal tract taken by the endoscope 5 on the display device 4. ..
  • the doctor observes the organ parts in order according to the examination protocol that defines the examination procedure, and operates the release switch of the endoscope to capture an appropriate number of images determined for each part.
  • the testing protocol specifies that the site of the upper gastrointestinal tract should be observed from the esophagus toward the duodenum, and that one or two images should be taken for each site.
  • the doctor finds a lesion he takes an image containing the lesion.
  • the endoscope observation device 3 captures an image at the timing when the release switch is operated, and transmits the captured image to the image storage device 6.
  • the endoscope observation device 3 may collectively transmit the captured plurality of images to the image storage device 6 after the inspection is completed.
  • the image storage device 6 is an image server that stores images captured by endoscopy, and stores images transmitted from the endoscopy observation device 3 in association with an inspection order.
  • metadata information on the date and time of imaging, the identification number of the endoscope 5, information on the inspection order, and the like may be added to the captured image.
  • the image analysis device 7 is a device that analyzes an image captured by endoscopy, and has a medical image computer-aided diagnosis (CAD: Computer-Aided Diagnosis / Detection) function utilizing artificial intelligence.
  • CAD Computer-Aided Diagnosis / Detection
  • the image analysis device 7 of the embodiment analyzes the captured image and generates image information which is an analysis result for each captured image.
  • the image information includes organ information, site information, inappropriate information, and lesion presence / absence information.
  • Organ information is information that identifies an imaged organ.
  • the image analysis device 7 analyzes the captured image and identifies which organ is the image captured. For example, in upper endoscopy, the organ information is information indicating any one of the upper gastrointestinal tract, "esophagus", “stomach”, and “duodenum”.
  • Site information is information that identifies the imaged site. The image analysis device 7 analyzes the captured image to identify the organ, and also identifies the imaged portion. For example, the "esophagus” is divided into three categories: "upper esophagus", "central esophagus", and "lower esophagus".
  • Inappropriate information is information indicating that the endoscopic image is not suitable for observation.
  • the image analysis device 7 generates information (inappropriate information) indicating an inappropriate reason for an image in which the color tone or brightness is abnormal, or the image is blurred or blurred. Further, since an image having a large amount of residue is unsuitable for observation, the image analysis device 7 generates inappropriate information indicating that the amount of residue is large when it is determined by image analysis that the image has a large amount of residue. No inappropriate information is generated for images that are crisp and suitable for observation.
  • Lesion presence / absence information When the image analysis device 7 analyzes an image and determines that a lesion is present, it generates information indicating that the lesion is included in the image. When the image analysis device 7 determines that the lesion does not exist by the image analysis, it generates information indicating that the lesion is not included in the image. The lesion presence / absence information is used as reference information at the time of image diagnosis by a doctor.
  • the image storage device 6 transmits a plurality of endoscopic images associated with the inspection order to the image analysis device 7. offer.
  • the image analysis device 7 may transmit an image provision request specifying the inspection order of the inspection to the image storage device 6 when the inspection by an unskilled doctor is completed.
  • the image analysis device 7 transmits an image provision request specifying the inspection order to the image storage device 6. good.
  • the image analysis device 7 acquires the image captured in the inspection after the inspection is completed and analyzes the image.
  • the image analysis device 7 can also acquire an image captured in the inspection during the inspection, that is, in real time, and analyze the image.
  • the image analysis device 7 analyzes the captured image, the image analysis device 7 transmits the image information resulting from the analysis to the management device 10.
  • the information processing device 8 may be a personal computer (PC) capable of executing various applications, and is used by an unskilled doctor to create an examination report or the like.
  • the information processing device 8 of the embodiment displays the evaluation result of the test generated by the management device 10 based on the image information transmitted from the image analysis device 7 on the display device 9 after the test by the unskilled doctor is completed. Unskilled doctors can recognize points to be improved by looking at the evaluation results.
  • the management device 10 of the embodiment has a plurality of functions for supporting endoscopy by an unskilled doctor.
  • One function of the management device 10 is to generate an evaluation result including an evaluation of the captured image by using the image information analyzed by the image analysis device 7 after the inspection by an unskilled doctor is completed.
  • Another function of the management device 10 is to notify the points to be noted in the examination to be performed from now on based on the evaluation result of the examination performed by the unskilled doctor in the past before the examination by the unskilled doctor is started.
  • Yet another function of the management device 10 is to notify a message regarding an appropriate imaging action during the inspection.
  • each function of the management device 10 will be described.
  • the management device 10 has a function of generating an evaluation result including an evaluation of a captured image.
  • FIG. 2 shows a functional block of the management device 10 in the first embodiment.
  • the management device 10 includes a processing unit 20 and a storage device 50.
  • the processing unit 20 includes an information acquisition unit 22, a number evaluation unit 24, an image evaluation unit 26, a comprehensive evaluation unit 28, an evaluation result generation unit 30, a document creation unit 32, and a notification unit 34, and the storage device 50 stores image information.
  • a unit 52, an evaluation result storage unit 54, an appropriate number of sheets holding unit 56, a first evaluation value holding unit 58, a second evaluation value holding unit 60, a rank table 62, and a template holding unit 64 are provided.
  • the configuration shown in FIG. 2 can be realized by an arbitrary processor, memory, auxiliary storage device, or other LSI in terms of hardware, and can be realized by an evaluation generation application program loaded in memory in terms of software.
  • the functional blocks realized by their cooperation are drawn. Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.
  • the image storage device 6 stores all the images captured in the examination.
  • the endoscopic observation device 3 may transmit the image captured by the operation of the release switch by the doctor to the image storage device 6 every time the image is captured, and the captured image is accumulated to complete the inspection. May be used as an opportunity to collectively transmit to the image storage device 6.
  • the image analysis device 7 When the image analysis device 7 is notified from the endoscope observation device 3 that the inspection is completed, the image analysis device 7 transmits an image provision request specifying the inspection order of the inspection to the image storage device 6.
  • the image storage device 6 transmits all the captured images associated with the inspection order to the image analysis device 7.
  • the image analysis device 7 analyzes all the captured images by the medical image computer-aided diagnosis function, and generates image information of each captured image.
  • the image analysis device 7 transmits a plurality of image information associated with the inspection order to the management device 10.
  • the information acquisition unit 22 acquires a plurality of image information obtained by image-analyzing a plurality of captured images from the image analysis device 7.
  • the image information storage unit 52 stores a plurality of image information acquired by the information acquisition unit 22 in association with an inspection order.
  • FIG. 3 shows an example of image information stored in the image information storage unit 52.
  • the image information is composed of organ information, site information, inappropriate information, and lesion presence / absence information related to the captured image. It should be noted that FIG. 3 shows a part of the image information of the image captured by the upper endoscopy (general), and actually includes the image information of the image captured by the duodenum. The image information is treated as metadata of the captured image.
  • image 1 is set with image information such that organ information is “esophagus”, site information is “upper esophagus”, inappropriate information is “none”, and lesion presence / absence information is “none”.
  • Organ information is “esophagus”
  • site information is “central esophagus”
  • inappropriate information is “residue”
  • lesion presence / absence information is "none”.
  • “Inappropriate information” is information indicating the reason why the image is not suitable for observation, and "with residue” set in image 2 means that it is not suitable for observation because a large amount of residue is reflected in the image. do. "With blur” set in the image 6 means that the endoscope camera moves during capture and the image is blurred, so that it is not suitable for observation. If inappropriate information is not set for all the images captured in one inspection, it means that all the captured images in the inspection are clear and there is no problem in observation.
  • Lesion presence / absence information is information indicating whether or not a lesion is included in the image, and is used as reference information when a doctor makes an image diagnosis.
  • information indicating that a lesion is included is set in images 4 and 5.
  • the appropriate number of sheets holding unit 56 holds an appropriate number of images for each site to be examined by endoscopy.
  • FIG. 4 shows an example of an appropriate number of images stored in the appropriate number of sheets holding unit 56.
  • the appropriate number of images holding unit 56 holds an appropriate number of images to be captured (appropriate number of images to be captured) in association with the portion.
  • the proper number of images taken in the upper esophagus, middle esophagus, lower esophagus, esophagogastric junction, upper corpus posterior wall, middle corpus posterior wall, and lower corpus posterior wall is 1. It keeps that it is ⁇ 2 sheets.
  • the examination protocol that the doctor complies with defines at least the order of the parts to be observed and the appropriate number of images taken for each part.
  • the test protocol defines an observation of a site of the upper gastrointestinal tract from the esophagus toward the duodenum and a range of an appropriate number of images to be imaged at each site. Therefore, the doctor must capture an appropriate number of images at each site, and if the number of images taken at the site is less than the appropriate number of images, or conversely, the number of images at the site is larger than the appropriate number of images, the imaging action of the site is not appropriate. As a result, the evaluation of the imaging action of the relevant part can be lowered.
  • FIG. 5 shows an example of the first evaluation value stored in the first evaluation value holding unit 58.
  • the first evaluation value holding unit 58 holds a first evaluation value which is an evaluation result when the number of actually images of one part is different from the appropriate number of images of the part.
  • a first evaluation value of -5 points is set as an evaluation result for the imaging action of the site when the number of images actually taken is small or large with respect to the appropriate number of images of the site.
  • a first evaluation value of -10 points is set as an evaluation result for the imaging action of the portion that has not been imaged (forgot to image).
  • the number evaluation unit 24 compares the actual number of images of each part with the appropriate number of images of each part held by the appropriate number holding unit 56, and when the actual number of images is different from the appropriate number of images, the part is concerned.
  • the first evaluation value is given to the evaluation result of.
  • the appropriate number of images shown in FIG. 4 is 1 or 2
  • the case where the actual number of images is less than the appropriate number of images is when the actual number of images is 0, but the actual number of images is taken.
  • the number-of-sheet evaluation unit 24 assigns an unimaged first evaluation value (-10 points) instead of the first evaluation value (-5 points) of insufficient number of sheets.
  • the number evaluation unit 24 determines that the actual number of images is appropriate. It is determined that the number of images is less than the number of images, and the first evaluation value (-5 points) of insufficient number of images is given.
  • the number evaluation unit 24 derives the actual number of images of each part based on the plurality of image information stored in the image information storage unit 52.
  • the actual number of images of each part is derived as follows. ⁇ Upper esophagus 1 ⁇ Middle esophagus 1 ⁇ Lower esophagus 3 ⁇ Esophageal gastric junction 0 ⁇ Upper corpus posterior wall 1 ⁇ Body middle corpus posterior wall 3 ⁇ Lower corpus posterior wall 1
  • the number evaluation unit 24 assigns a first evaluation value to the evaluation result of the part according to the reason for the difference. That is, when the actual number of images taken is insufficient or exceeded, -5 points are given as an evaluation result for the imaging action of the relevant part, and when the actual number of images taken is 0, that is, when no image is taken. , -10 points will be given as an evaluation result for the imaging action of the relevant part.
  • the parts where the appropriate number of images taken differs from the actual number of images taken are the "lower esophagus", “esophagogastric junction", and ".
  • the posterior wall of the middle body of the stomach Of these, the number of images taken was exceeded for the "lower esophagus” and “posterior wall of the middle body of the stomach", and no images were taken for the "esophagogastric junction". Therefore, the number evaluation unit 24 may give -5 points to the evaluation results of the "lower esophagus” and "posterior wall of the middle body of the stomach” and give -10 points to the evaluation results of the "esophagogastric junction". ..
  • the number evaluation unit 24 sets the first evaluation value in the evaluation result of the part when the lesion is present in the part. It does not have to be given. This is because it is necessary to observe the site where the lesion is present in more detail, and it is preferable that the number of images taken is large.
  • the number evaluation unit 24 evaluates that the evaluation result of the "lower esophagus" is not -5 points but no deduction. Is preferable.
  • FIG. 6 shows an example of the second evaluation value stored in the second evaluation value holding unit 60.
  • the second evaluation value holding unit 60 holds a second evaluation value which is an evaluation result when the image information indicates that the image is inappropriate.
  • a second evaluation value of -1 point is set for the reason why the image is inappropriate for observation.
  • all the second evaluation values have the same deduction, but different deductions may be set.
  • the image evaluation unit 26 extracts image information indicating that the image is inappropriate from a plurality of image information stored in the image information storage unit 52. With reference to the image information shown in FIG. 3, inappropriate information is set in the image information of the image 2 and the image 6. Therefore, the image evaluation unit 26 assigns a second evaluation value to the evaluation results of the parts of the image information of the extracted image 2 and the image 6. That is, the image evaluation unit 26 gives -1 point to the evaluation results of the "central esophagus" and the "upper corpus posterior wall of the stomach".
  • the evaluation result generation unit 30 generates an evaluation result based on a plurality of image information stored in the image information storage unit 52.
  • the evaluation result generation unit 30 includes the first evaluation value given by the number evaluation unit 24 and the second evaluation value given by the image evaluation unit 26 in the evaluation result.
  • the evaluation result storage unit 54 stores the evaluation result generated by the evaluation result generation unit 30.
  • FIG. 7 shows an example of the evaluation result including the first evaluation value and the second evaluation value.
  • the evaluation result generation unit 30 generates an evaluation result in which an image captured by a doctor is evaluated for each site.
  • an appropriate number of images taken an actual number of images taken, the presence or absence of a lesion, and a first evaluation value are displayed.
  • the "lower esophagus” is evaluated without any deduction because the actual number of images taken exceeds the appropriate number of images, but the lesion is present.
  • the "image evaluation result” column the reason for the inappropriateness of the image and the second evaluation value are displayed.
  • the evaluation result storage unit 54 is an evaluation result generated based on a plurality of image information, and stores the evaluation result including the first evaluation value and the second evaluation value. After the examination is completed, the unskilled doctor can access the management device 10 from the information processing device 8 to acquire the evaluation result and display it on the display device 9.
  • the comprehensive evaluation unit 28 totals the first evaluation value and the second evaluation value included in the evaluation result.
  • the evaluation of the captured image is carried out by a deduction method, and therefore, the larger the total negative points, the lower the evaluation.
  • the comprehensive evaluation unit 28 determines the quality of the performed endoscopy based on the total score of the first evaluation value and the second evaluation value.
  • FIG. 8 shows an example of the rank table 62.
  • the rank table 62 is a table in which the rank and the total score are associated with each other. Ranks A and B indicate pass, and rank C and below indicate fail.
  • the comprehensive evaluation unit 28 identifies the rank from the total score, and if it is rank A or B, it is determined that the endoscopy has been successfully performed. On the other hand, if the specified rank is C or lower, the comprehensive evaluation unit 28 determines that the endoscopy was not performed satisfactorily.
  • the rank table 62 shown in FIG. 8 it is stipulated that the guidance by a skilled doctor should be carried out after the rank C, and for example, the instructor is obliged to give the guidance of an unskilled doctor. Such an operation may be appropriately determined in the medical facility, and for example, an instructor may be obliged to give guidance to an unskilled doctor who has been evaluated as rank C multiple times.
  • the document creation unit 32 has a function of creating a guidance document for an unskilled doctor based on the evaluation result stored in the evaluation result storage unit 54. By automatically generating the instruction document based on the evaluation result, the document creation unit 32 can accurately convey the improvement points to the unskilled doctor without bothering the instructor.
  • FIG. 9A shows an example of a sentence template held in the template holding unit 64.
  • a sentence template is prepared for each part, and the document creation unit 32 inserts improvement advice corresponding to the part in which inappropriate information is set into the instruction document.
  • Reference images and / or reference videos for supporting improvement advice may be registered.
  • FIG. 9B shows an example of a conversion table held in the template holding unit 64.
  • the conversion table is prepared for each inappropriate reason regarding the captured image and the number of sheets, and the document creation unit 32 generates an outline regarding the portion in which the first evaluation value and the second evaluation value are set and inserts them into the instruction document.
  • FIG. 10 shows an example of a guidance document created by the document creation unit 32.
  • the document creation unit 32 creates a guidance document including the rank evaluated by the comprehensive evaluation unit 28, the outline and improvement advice created by the document creation unit 32, and the evaluation result generated by the evaluation result generation unit 30.
  • the unskilled doctor can access the management device 10 from the information processing device 8 to acquire the instruction document created by the document creation unit 32 and display it on the display device 9.
  • the guidance document contains not only the evaluation results but also improvement advice, etc., and can be used by unskilled doctors for future examinations.
  • the management device 10 generates an evaluation result regarding the imaging action after the inspection is completed.
  • This evaluation result is used for reviewing the examination by the unskilled doctor, but may be used for giving advice when the unskilled doctor conducts a new examination.
  • the notification unit 34 When the doctor starts the endoscopy, the notification unit 34 notifies the advice based on the evaluation result included in the evaluation result stored in the evaluation result storage unit 54.
  • the advice may be displayed on the display device 4 connected to the endoscopic observation device 3 in the examination room, or may be displayed on the display device (not shown) of the terminal device provided in the examination room.
  • the notification unit 34 When a doctor starts an endoscopy in a laboratory, the notification unit 34 obtains the evaluation results of the past endoscopy performed by the doctor from the evaluation result storage unit 54, and obtains the first evaluation value and the second evaluation value. Generate advice on the site to which the evaluation value has been given. For example, the notification unit 34 said, "Because I forgot to take a picture of the esophagogastric junction in the previous examination, please do not forget to take a picture.” Please take a picture carefully because it was done. ”And display it on the display device in the examination room. The notification unit 34 may output the advice sentence by voice. By recognizing failures in past tests before the start of the test, doctors will be more careful in performing this test.
  • the management device 10 has a function of evaluating an image captured during the endoscopy in real time.
  • FIG. 11 shows a functional block of the management device 10 in the second embodiment.
  • the management device 10 includes a processing unit 20 and a storage device 50.
  • the processing unit 20 includes an information acquisition unit 42, a number evaluation unit 44, and a notification unit 46
  • the storage device 50 includes an image information storage unit 52 and an appropriate number holding unit 56.
  • the configuration shown in FIG. 11 can be realized by an arbitrary processor, memory, auxiliary storage device, or other LSI in terms of hardware, and can be realized by an evaluation generation application program loaded in memory in terms of software.
  • the functional blocks realized by their cooperation are drawn. Therefore, it is understood by those skilled in the art that these functional blocks can be realized in various forms by hardware only, software only, or a combination thereof.
  • the endoscope observation device 3 transmits the image captured by the operation of the release switch by the doctor to the image storage device 6 and the image analysis device 7 each time it is captured.
  • the image analysis device 7 analyzes the captured image by the medical image computer assisted diagnosis function, generates the image information of the captured image, associates it with the inspection order, and transmits the image information to the management device 10. Therefore, in the second embodiment, the image information is generated and transmitted to the management device 10 as soon as the image is captured during the inspection.
  • the image information storage unit 52 stores the acquired image information. Similar to the first embodiment, the appropriate number of sheets holding unit 56 in the second embodiment holds an appropriate number of images for each site to be examined by endoscopy (see FIG. 4).
  • the number evaluation unit 44 counts the number of captured images for each part and determines whether or not the number is less than the appropriate number of captured images.
  • the examination protocol adhered to by the doctor in Example 2 defines the order of the parts to be observed and the appropriate number of images of each part. Specifically, the examination protocol defines the observation of the upper gastrointestinal tract site from the esophagus toward the duodenum and the range of the appropriate number of images to be captured at each site.
  • the number evaluation unit 44 monitors whether or not an appropriate number of images of each part are captured according to the inspection protocol.
  • the test protocol stipulates that the upper esophagus, the middle esophagus, the lower esophagus, the gastric junction of the esophagus, the posterior wall of the upper body of the stomach, the posterior wall of the middle body of the stomach, the posterior wall of the lower body of the stomach, and so on are imaged in this order. And.
  • the information acquisition unit 42 acquired the image information of the upper esophagus, the image information of the middle esophagus, and the image information of the esophagogastric junction in order, and the number evaluation unit 44 imaged the lower esophagus. It is determined that the number of images is less than the appropriate number of images of the lower esophagus (1 to 2 images) (in this case, it is not imaged), and it is determined that the number of images is insufficient.
  • the number evaluation unit 44 monitors the number of images of each part according to the inspection protocol, and when the number of images of a certain part is less than the appropriate number of images of the part, the function of determining the insufficient number of images of the part. Has. This determination result is immediately transmitted to the notification unit 46, and the notification unit 46 notifies the doctor performing the endoscopy that the number of images taken at the site is insufficient.
  • the notification unit 46 may indicate on the display device 4 connected to the endoscope observation device 3 that the number of images taken is insufficient in the examination room, and may indicate that the number of images taken is insufficient, and the display device of the terminal device provided in the examination room (not shown). ) May indicate that the number of images taken is insufficient.
  • the number evaluation unit 44 may monitor the number of images taken at each site only when a specific inspection, for example, a routine inspection of the upper part is performed.
  • the notification unit 46 notifies the doctor who is performing the endoscopy that the captured image is inappropriate when the image information contains inappropriate information indicating that the image is inappropriate. .. At that time, it is preferable to give a notification according to the reason for inappropriateness. For example, if a blurred image was taken on the posterior wall of the upper body of the stomach, "an image with blurring was taken on the posterior wall of the upper body of the stomach again. Please take a picture with caution. "
  • the present invention can be used in the field of supporting endoscopy.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Surgery (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • General Business, Economics & Management (AREA)
  • Optics & Photonics (AREA)
  • Business, Economics & Management (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Endoscopes (AREA)

Abstract

情報取得部２２は、内視鏡検査において撮像された複数の画像を画像解析した複数の画像情報を取得する。画像情報記憶部５２は、取得した複数の画像情報を記憶する。第１評価値保持部５８は、一つの部位を撮像した枚数が当該部位の適正撮像枚数と異なっているときの評価結果となる第１評価値を保持する。第２評価値保持部６０は、画像情報により不適切な画像であることが示されるときの評価結果となる第２評価値を保持する。枚数評価部２４は、記憶した複数の画像情報にもとづいて各部位の撮像枚数を導出し、導出した部位の撮像枚数が適正撮像枚数と異なるときに、当該部位の評価結果に第１評価値を付与する。画像評価部２６は、記憶した複数の画像情報の中から不適切な画像であることを示す画像情報を抽出し、抽出した画像情報の部位の評価結果に第２評価値を付与する。

Description

医療システム
　本発明は、内視鏡検査を支援する医療システムに関する。
　病院等の医療施設では、医師の経験やスキルの違いから臓器の観察方法に違いが出ないようにするために、検査の手順を示す検査プロトコルを定めることが有効とされている（たとえば特許文献１）。検査プロトコルは、観察する臓器の部位および部位を観察する順序を定義する。医師は検査プロトコルにしたがって検査を進めることで臓器を漏れなく観察でき、さらには検査を効率的に進めることで、患者の負担軽減にも役立つ。
特開２０１７－１０８７９２号公報
　経験が浅い非熟練医が内視鏡検査を行った場合、熟練医が、非熟練医により撮像された画像を観察して、所見の見落としが無いか、診断の誤りが無いか等のダブルチェックを実施することが一般的である。その際、非熟練医が撮像した画像枚数が少なすぎると、観察漏れが生じる可能性があり、撮像した画像枚数が多すぎると、ダブルチェックに要する時間が長くなる。また不鮮明な画像や、色調や輝度が異常な画像は、そもそも観察する画像として適切でなく、ダブルチェックの妨げとなる。本来であればダブルチェックを行った熟練医が、チェック結果をもとに非熟練医を丁寧に指導することが好ましいが、熟練医は多忙であるため、指導に十分な時間をとれないことが多い。そこで熟練医の手を煩わせることなく、非熟練医が撮像した画像をコンピュータで画像解析した結果をもとに、改善するべき点や注意するべき点などを非熟練医に認識させる仕組みを構築することが好ましい。
　本発明はこうした状況に鑑みなされたものであり、その目的は、医師による内視鏡検査を支援する技術を提供することにある。
　上記課題を解決するために、本発明のある態様の医療システムは、内視鏡検査において撮像された複数の画像を画像解析した複数の画像情報を取得する情報取得部と、取得した複数の画像情報を記憶する画像情報記憶部と、内視鏡検査の対象となる部位ごとの適正撮像枚数を保持する適正枚数保持部と、一つの部位を撮像した枚数が当該部位の適正撮像枚数と異なっているときの評価結果となる第１評価値を保持する第１評価値保持部と、画像情報により不適切な画像であることが示されるときの評価結果となる第２評価値を保持する第２評価値保持部と、記憶した複数の画像情報にもとづいて各部位の撮像枚数を導出し、導出した部位の撮像枚数が適正撮像枚数と異なるときに、当該部位の評価結果に第１評価値を付与する枚数評価部と、記憶した複数の画像情報の中から不適切な画像であることを示す画像情報を抽出し、抽出した画像情報の部位の評価結果に第２評価値を付与する画像評価部と、記憶した複数の画像情報にもとづいて生成される評価結果であって、第１評価値および第２評価値を含む評価結果を記憶する評価結果記憶部と、を備える。
　本発明の別の態様もまた医療システムであって、内視鏡検査の実施中に、撮像された画像を画像解析装置で画像解析した画像情報を取得する情報取得部と、取得した画像情報を記憶する画像情報記憶部と、内視鏡検査の対象となる部位ごとの適正撮像枚数を保持する適正枚数保持部と、ある部位を撮像した枚数が当該部位の適正撮像枚数より少ない場合に、撮像枚数不足を判定する枚数評価部と、枚数評価部が、当該部位の撮像枚数不足を判定した場合に、内視鏡検査を実施している医師に、当該部位の撮像枚数不足を通知する通知部と、を備える。
　なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明の実施形態にかかる医療システムの構成を示す図である。 管理装置の機能ブロックを示す図である。 画像情報の例を示す図である。 適正撮像枚数の例を示す図である。 第１評価値の例を示す図である。 第２評価値の例を示す図である。 第１評価値および第２評価値を含む評価結果の例を示す図である。 ランクテーブルの例を示す図である。 テンプレート保持部の保持内容の例を示す図である。 指導文書の例を示す図である。 管理装置の機能ブロックを示す図である。
　図１は、本発明の実施形態にかかる医療システム１の構成を示す。実施形態の医療システム１は病院などの医療施設に設けられ、内視鏡観察装置３、画像記憶装置６、画像解析装置７、情報処理装置８および管理装置１０を備える。内視鏡観察装置３、画像記憶装置６、画像解析装置７、情報処理装置８および管理装置１０は、ＬＡＮ（ローカルエリアネットワーク）などのネットワーク２によって通信可能に接続される。
　内視鏡観察装置３は検査室に設けられ、患者の消化管に挿入される内視鏡５を接続されて、内視鏡５が撮影している消化管内の画像を表示装置４に表示する。医師は、検査の手順を定義した検査プロトコルにしたがって臓器の部位を順番に観察し、内視鏡のレリーズスイッチを操作して、各部位で定められた適正枚数の画像を撮像する。たとえば検査プロトコルは、上部消化管の部位を食道から十二指腸に向けて観察すること、および各部位につき１～２枚の画像を撮像することを定めている。医師は病変を見つけると、病変を含む画像を撮像する。内視鏡観察装置３は、レリーズスイッチが操作されたタイミングで画像をキャプチャして、キャプチャした画像を画像記憶装置６に送信する。なお内視鏡観察装置３は、検査終了後に、キャプチャした複数の画像をまとめて画像記憶装置６に送信してもよい。
　画像記憶装置６は、内視鏡検査で撮像された画像を記憶する画像サーバであり、内視鏡観察装置３から送信される画像を検査オーダに紐付けて蓄積する。撮像画像にはメタデータとして、撮像日時、内視鏡５の識別番号、検査オーダに関する情報等が付加されてよい。
　画像解析装置７は、内視鏡検査で撮像された画像を画像解析する装置であって、人工知能を活用した医用画像コンピュータ支援診断（ＣＡＤ：Computer-Aided Diagnosis/Detection）機能を有する。実施形態の画像解析装置７は、撮像画像を解析し、各撮像画像について、解析結果である画像情報を生成する。画像情報には、臓器情報、部位情報、不適切情報、病変有無情報が含まれる。
（１）臓器情報
　臓器情報は、撮像された臓器を特定する情報である。画像解析装置７は、撮像画像を解析して、どの臓器を撮像した画像であるか特定する。たとえば上部内視鏡検査で、臓器情報は、上部消化管である「食道」、「胃」、「十二指腸」のいずれかを示す情報となる。
（２）部位情報
　部位情報は、撮像された部位を特定する情報である。画像解析装置７は、撮像画像を解析して臓器を特定するとともに、撮像された部位も特定する。たとえば「食道」は、「上部食道」、「中部食道」、「下部食道」と３つに区分けされている。
（３）不適切情報
　不適切情報は、内視鏡画像が観察に適切でないことを示す情報である。たとえば色調や輝度が異常であってり、ボケやブレが生じている画像に対して、画像解析装置７は、不適切な理由を示す情報（不適切情報）を生成する。また残渣が多い画像は、観察に不向きであるため、画像解析装置７は、画像解析により残渣が多いことを判定すると、残渣が多いことを示す不適切情報を生成する。鮮明であって観察に適した画像に、不適切情報は生成されない。
（４）病変有無情報
　画像解析装置７は、画像を解析して病変が存在することを判定すると、当該画像に対して、病変が含まれていることを示す情報を生成する。なお画像解析装置７が画像解析により、病変が存在しないことを判定すると、当該画像に対して、病変が含まれていないことを示す情報を生成する。病変有無情報は、医師による画像診断の際の参考情報として利用される。
　画像解析装置７が画像記憶装置６に対して、検査オーダを特定した画像提供要求を送信すると、画像記憶装置６は、検査オーダに紐付けられた複数の内視鏡画像を画像解析装置７に提供する。たとえば画像解析装置７は、非熟練医による検査の終了を契機として、当該検査の検査オーダを特定した画像提供要求を画像記憶装置６に送信してよい。また非熟練医が情報処理装置８から検査の評価結果を表示装置９に表示させようとしたときに、画像解析装置７が、検査オーダを特定した画像提供要求を画像記憶装置６に送信してよい。このように画像解析装置７は、検査で撮像された画像を、検査終了後に取得して画像解析する。なお画像解析装置７は、検査で撮像された画像を、検査中に、つまりリアルタイムで取得して、画像解析することも可能である。画像解析装置７は、撮像画像を解析すると、解析結果となる画像情報を管理装置１０に送信する。
　情報処理装置８は、各種アプリケーションを実行可能なパーソナルコンピュータ（ＰＣ）であってよく、非熟練医によって検査レポートの作成等に利用される。実施形態の情報処理装置８は、非熟練医による検査終了後に、管理装置１０が画像解析装置７から送信された画像情報をもとに生成した検査の評価結果を表示装置９に表示する。非熟練医は、評価結果を見ることで、改善すべき点を認識できる。
　実施形態の管理装置１０は、非熟練医による内視鏡検査を支援するための複数の機能をもつ。管理装置１０の一つの機能は、非熟練医による検査終了後に、画像解析装置７が解析した画像情報を用いて、撮像した画像の評価を含む評価結果を生成する。管理装置１０の別の機能は、非熟練医による検査開始前に、当該非熟練医が過去に実施した検査の評価結果にもとづいて、これから実施する検査で注意するべき点などを通知する。管理装置１０のさらに別の機能は、適切な撮像行為に関するメッセージを、検査実施中に通知する。以下、管理装置１０の各機能について説明する。
＜実施例１＞
　実施例１では、管理装置１０が、撮像画像の評価を含む評価結果を生成する機能を備える。
　図２は、実施例１における管理装置１０の機能ブロックを示す。管理装置１０は、処理部２０および記憶装置５０を備える。処理部２０は、情報取得部２２、枚数評価部２４、画像評価部２６、総合評価部２８、評価結果生成部３０、文書作成部３２および通知部３４を備え、記憶装置５０は、画像情報記憶部５２、評価結果記憶部５４、適正枚数保持部５６、第１評価値保持部５８、第２評価値保持部６０、ランクテーブル６２およびテンプレート保持部６４を備える。
　図２に示す構成はハードウエア的には、任意のプロセッサ、メモリ、補助記憶装置、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされた評価生成アプリケーションプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
　非熟練医による検査の終了時、画像記憶装置６は、当該検査で撮像された全ての画像を記憶する。上記したように内視鏡観察装置３は、医師によるレリーズスイッチの操作によりキャプチャした画像を、キャプチャする度に画像記憶装置６に送信してよく、またキャプチャした画像を蓄積して、検査の終了を契機にまとめて画像記憶装置６に送信してよい。
　画像解析装置７は、検査終了を内視鏡観察装置３から通知されると、画像記憶装置６に、当該検査の検査オーダを特定した画像提供要求を送信する。画像記憶装置６は、検査オーダに紐付けられた全ての撮像画像を画像解析装置７に送信する。画像解析装置７は全ての撮像画像を、医用画像コンピュータ支援診断機能により解析して、各撮像画像の画像情報を生成する。画像解析装置７は、検査オーダに紐付けた複数の画像情報を管理装置１０に送信する。
　管理装置１０において、情報取得部２２は画像解析装置７から、複数の撮像画像を画像解析した複数の画像情報を取得する。画像情報記憶部５２は、情報取得部２２が取得した複数の画像情報を、検査オーダに紐付けて記憶する。
　図３は、画像情報記憶部５２に記憶された画像情報の例を示す。画像情報は、撮像画像に関する臓器情報、部位情報、不適切情報、病変有無情報を含んで構成される。なお図３は、上部内視鏡検査（一般）で撮像された画像の画像情報の一部を示しており、実際には、十二指腸を撮像した画像の画像情報も含まれることに留意されたい。画像情報は、撮像画像のメタデータとして取り扱われる。
　たとえば画像１には、臓器情報が「食道」、部位情報が「上部食道」、不適切情報が「なし」、病変有無情報が「なし」とする画像情報が設定されており、画像２には、臓器情報が「食道」、部位情報が「中部食道」、不適切情報が「残渣有り」、病変有無情報が「なし」とする画像情報が設定されている。
　「不適切情報」は、画像が観察に適切でない理由を示す情報であり、画像２に設定されている「残渣有り」は、画像に残渣が多く写り込んでいるため観察に適さないことを意味する。画像６に設定されている「ブレ有り」は、キャプチャ時に内視鏡カメラが動いて画像がブレているため、観察に適さないことを意味する。なお１回の検査で撮像された全ての画像に不適切情報が設定されていなければ、その検査における撮像画像は、全て鮮明で観察に問題ないことを意味する。
　「病変有無情報」は、画像に病変が含まれているか否かを示す情報であり、医師が画像診断する際の参考情報として利用される。図３に示す例では、画像４と画像５に、病変が含まれていることを示す情報が設定されている。病変有無情報が設定されることで、医師は画像診断の際、画像４と画像５をより慎重に観察できる。
　適正枚数保持部５６は、内視鏡検査の対象となる部位ごとの適正撮像枚数を保持する。
　図４は、適正枚数保持部５６に記憶された適正撮像枚数の例を示す。適正枚数保持部５６は、部位に対応づけて、撮像する画像の適正枚数（適正撮像枚数）を保持する。この例で適正枚数保持部５６は、上部食道、中部食道、下部食道、食道胃接合部、胃体上部後壁、胃体中部後壁、胃体下部後壁のそれぞれにおける適正撮像枚数が、１～２枚であることを保持している。
　医師が遵守する検査プロトコルは、観察する部位の順番と、各部位の適正撮像枚数とを少なくとも規定する。実施例１では、検査プロトコルが、上部消化管の部位を食道から十二指腸に向けて観察することと、各部位で撮像する画像の適正枚数の範囲とを定めている。そのため医師は、各部位において画像を適正撮像枚数だけ撮像しなければならず、撮像した部位の画像が適正撮像枚数より少なかったり、逆に多かったりした場合には、当該部位の撮像行為が適切でないとして、当該部位の撮像行為に対する評価を下げられる。
　図５は、第１評価値保持部５８に記憶された第１評価値の例を示す。第１評価値保持部５８は、一つの部位を実際に撮像した枚数が当該部位の適正撮像枚数と異なっているときの評価結果となる第１評価値を保持する。図５に示す例では、部位の適正撮像枚数に対して、実際に撮像した枚数が少ない場合と多い場合に、その部位の撮像行為に対する評価結果として、－５点の第１評価値が設定されている。また撮像していない（撮像し忘れた）部位の撮像行為に対する評価結果として、－１０点の第１評価値が設定されている。
　枚数評価部２４は、各部位の実際の撮像枚数と、適正枚数保持部５６に保持された各部位の適正撮像枚数とを比較し、実際の撮像枚数が適正撮像枚数と異なるときに、当該部位の評価結果に第１評価値を付与する。ここで図４に示す適正撮像枚数は１～２枚となっているため、実際の撮像枚数が適正撮像枚数より少ないケースは、実際の撮像枚数が０枚のときであるが、実際の撮像枚数が０枚のときは、枚数評価部２４が、枚数不足の第１評価値（－５点）ではなく、未撮像の第１評価値（－１０点）を付与する。そのため適正撮像枚数の最低枚数が２枚以上に設定されており、実際の撮像枚数が１枚以上且つ適正撮像枚数の最低枚数未満である場合に、枚数評価部２４は、実際の撮像枚数が適正撮像枚数より少ないことを判定して、枚数不足の第１評価値（－５点）を付与することになる。
　具体的に枚数評価部２４は、画像情報記憶部５２に記憶した複数の画像情報にもとづいて各部位の実際の撮像枚数を導出する。図３に示す画像情報を参照すると、各部位の実際の撮像枚数が、以下のように導出される。
・　上部食道　１枚
・　中部食道　１枚
・　下部食道　３枚
・　食道胃接合部　０枚
・　胃体上部後壁　１枚
・　胃体中部後壁　３枚
・　胃体下部後壁　１枚
　枚数評価部２４は、導出した部位の実際の撮像枚数が適正撮像枚数と異なるときに、その異なっている理由に応じて、当該部位の評価結果に第１評価値を付与する。つまり実際の撮像枚数が不足または超過している場合には、当該部位の撮像行為に対する評価結果として、－５点を付与し、実際の撮像枚数が０のとき、すなわち未撮像である場合には、当該部位の撮像行為に対する評価結果として、－１０点を付与する。
　図４を参照して、各部位の適正撮像枚数は１～２枚であるため、この適正撮像枚数と実際の撮像枚数とが異なる部位は、「下部食道」、「食道胃接合部」、「胃体中部後壁」である。このうち「下部食道」、「胃体中部後壁」については、撮像枚数が超過しており、「食道胃接合部」については、撮像が行われていない。そこで枚数評価部２４は、「下部食道」、「胃体中部後壁」の評価結果に、－５点を付与し、「食道胃接合部」の評価結果に、－１０点を付与してよい。
　なお枚数評価部２４は、ある部位に関して実際の撮像枚数が適正撮像枚数より多い場合であっても、当該部位に病変が存在している場合には、当該部位の評価結果に第１評価値を付与しなくてもよい。病変が存在する部位については、より詳細に観察する必要があるため、撮像枚数は多い方が好ましいためである。実施例１では、「下部食道」に病変が存在することが確認されているため、枚数評価部２４は、「下部食道」の評価結果を－５点とするのではなく、減点なしと評価することが好ましい。
　図６は、第２評価値保持部６０に記憶された第２評価値の例を示す。第２評価値保持部６０は、画像情報により不適切な画像であることが示されるときの評価結果となる第２評価値を保持する。図６に示す例では、画像が観察に不適切である理由に対して、－１点の第２評価値が設定されている。この例では、全ての第２評価値が同じ減点であるが、異なる減点が設定されてもよい。
　画像評価部２６は、画像情報記憶部５２に記憶した複数の画像情報の中から不適切な画像であることを示す画像情報を抽出する。図３に示す画像情報を参照すると、画像２と画像６の画像情報に不適切情報が設定されている。そこで画像評価部２６は、抽出した画像２と画像６の画像情報の部位の評価結果に第２評価値を付与する。つまり画像評価部２６は、「中部食道」と「胃体上部後壁」の評価結果に、－１点を付与する。
　評価結果生成部３０は、画像情報記憶部５２に記憶した複数の画像情報にもとづいて、評価結果を生成する。評価結果生成部３０は、枚数評価部２４により付与された第１評価値および画像評価部２６により付与された第２評価値を、評価結果に含ませる。評価結果記憶部５４は、評価結果生成部３０により生成された評価結果を記憶する。
　図７は、第１評価値および第２評価値を含む評価結果の例を示す。評価結果生成部３０は、医師により撮像された画像を部位ごとに評価した評価結果を生成する。「枚数評価結果」の欄には、適正撮像枚数、実際の撮像枚数、病変有無、第１評価値が表示される。上記したように、「下部食道」に関しては、実際の撮像枚数が適正撮像枚数を上回っているものの、病変が存在する部位であるため、減点なしの評価となっている。「画像評価結果」の欄には、画像の不適切理由、第２評価値が表示される。
　評価結果記憶部５４は、複数の画像情報にもとづいて生成される評価結果であって、第１評価値および第２評価値を含む評価結果を記憶する。非熟練医は、検査の終了後、情報処理装置８から管理装置１０にアクセスして評価結果を取得し、表示装置９に表示させることができる。
　総合評価部２８は、評価結果に含まれる第１評価値と第２評価値を合計する。実施例１において、撮像画像の評価は減点方式で実施され、したがって合計したマイナス点数が多いほど、低い評価であることを示す。総合評価部２８は、第１評価値と第２評価値の合計点数にもとづいて、実施された内視鏡検査の良否を判定する。
　図８は、ランクテーブル６２の例を示す。ランクテーブル６２は、ランクと合計点数とを対応づけたテーブルであり、ランクＡ、Ｂは合格、ランクＣ以下は不合格を示す。総合評価部２８は、合計点数からランクを特定し、ランクＡまたはＢであれば、内視鏡検査が良好に実施されたことを判定する。一方で総合評価部２８は、特定したランクがＣ以下であれば、内視鏡検査が良好に実施されなかったことを判定する。図８に示すランクテーブル６２では、ランクＣ以降に、熟練医による指導が実施されるべきことが定められており、たとえば指導医が、非熟練医の指導をすることを義務づけられる。このような運用は、医療施設において適宜定められればよく、たとえば複数回ランクＣと評価された非熟練医に対して、指導医による指導が義務づけられてもよい。
　文書作成部３２は、評価結果記憶部５４に記憶した評価結果をもとに、非熟練医への指導文書を作成する機能をもつ。文書作成部３２が評価結果にもとづいて指導文書を自動生成することで、指導医の手を煩わせることなく、改善点を的確に非熟練医に伝えることが可能となる。
　図９（ａ）は、テンプレート保持部６４に保持された文章テンプレートの例を示す。文章テンプレートは部位ごとに用意され、文書作成部３２は、不適切情報が設定された部位に対応する改善アドバイスを、指導文書に挿入する。なお改善アドバイスをサポートするための参考画像および／または参考動画が登録されていてもよい。
　図９（ｂ）は、テンプレート保持部６４に保持された変換テーブルの例を示す。変換テーブルは、撮像画像や枚数に関する不適切理由ごとに用意され、文書作成部３２は、第１評価値および第２評価値を設定された部位に関する概要を生成して、指導文書に挿入する。
　図１０は、文書作成部３２が作成した指導文書の例を示す。文書作成部３２は、総合評価部２８により評価されたランク、文書作成部３２が作成した概要および改善アドバイス、評価結果生成部３０により生成された評価結果を含む指導文書を作成する。非熟練医は、検査の終了後、情報処理装置８から管理装置１０にアクセスして、文書作成部３２が作成する指導文書を取得し、表示装置９に表示させることができる。指導文書には、評価結果のみならず、改善アドバイス等が含まれており、非熟練医は、これからの検査に役立てることができる。
　以上のように実施例１では、管理装置１０が、検査終了後に、撮像行為に関する評価結果を生成する。この評価結果は、非熟練医による検査の振り返りに利用されるが、当該非熟練医が新たに検査を実施する際にアドバイスするために利用されてもよい。
　通知部３４は、医師が内視鏡検査を開始する際に、評価結果記憶部５４に記憶された評価結果に含まれる評価結果にもとづくアドバイスを通知する。アドバイスは、検査室において内視鏡観察装置３に接続された表示装置４に表示されてよく、また検査室に設けられた端末装置の表示装置（図示せず）に表示されてもよい。
　検査室において医師が内視鏡検査を開始する際、通知部３４は、当該医師が実施した過去の内視鏡検査に関する評価結果を評価結果記憶部５４から取得し、第１評価値および第２評価値が付与された部位に関するアドバイスを生成する。たとえば通知部３４は、「前回検査で、食道胃接合部の撮り忘れがあったため、忘れずに撮影してください。」や、「前回検査で、胃体上部後壁でブレのある画像が撮影されていたため、注意して撮影してください。」のようなアドバイス文を作成して、検査室内の表示装置に表示する。通知部３４は、アドバイス文を音声で出力してもよい。医師は、検査開始前に過去の検査における失敗を認識することで、今回の検査をより注意深く実施するようになる。
＜実施例２＞
　実施例２では、管理装置１０が、内視鏡検査の実施中に撮像された画像をリアルタイムで評価する機能を備える。
　図１１は、実施例２における管理装置１０の機能ブロックを示す。管理装置１０は、処理部２０および記憶装置５０を備える。処理部２０は、情報取得部４２、枚数評価部４４および通知部４６を備え、記憶装置５０は、画像情報記憶部５２および適正枚数保持部５６を備える。
　図１１に示す構成はハードウエア的には、任意のプロセッサ、メモリ、補助記憶装置、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされた評価生成アプリケーションプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
　非熟練医による内視鏡検査の実施中、内視鏡観察装置３は、医師によるレリーズスイッチの操作によりキャプチャした画像を、キャプチャする度に画像記憶装置６および画像解析装置７に送信する。画像解析装置７は、撮像画像を医用画像コンピュータ支援診断機能により解析して、撮像画像の画像情報を生成し、検査オーダに紐付けて画像情報を管理装置１０に送信する。したがって実施例２では、検査の実施中、画像が撮像されるとすぐに画像情報が生成されて、管理装置１０に送信される。
　管理装置１０において、情報取得部４２が画像解析装置７から画像情報を取得すると、画像情報記憶部５２が、取得した画像情報を記憶する。実施例２における適正枚数保持部５６は、実施例１と同様に、内視鏡検査の対象となる部位ごとの適正撮像枚数を保持している（図４参照）。枚数評価部４４は、部位ごとに撮像画像の枚数をカウントし、適正撮像枚数より少ないか否かを判定する。実施例２において医師が遵守する検査プロトコルは、観察する部位の順番と、各部位の適正撮像枚数とを規定する。具体的に検査プロトコルは、上部消化管の部位を食道から十二指腸に向けて観察することと、各部位で撮像する画像の適正枚数の範囲とを定めている。
　枚数評価部４４は、検査プロトコルにしたがって、各部位の画像が適正な枚数撮像されているか監視する。たとえば検査プロトコルにおいて、上部食道、中部食道、下部食道、食道胃接合部、胃体上部後壁、胃体中部後壁、胃体下部後壁・・・の順番に撮像することが定められているとする。内視鏡検査の開始後、情報取得部４２が、上部食道の画像情報、中部食道の画像情報、食道胃接合部の画像情報を順番に取得すると、枚数評価部４４は、下部食道を撮像した枚数が下部食道の適正撮像枚数（１～２枚）より少ないこと（この場合は、未撮像であること）を判定し、撮像枚数が不足していることを判定する。
　このように枚数評価部４４は、検査プロトコルにしたがって各部位の撮像枚数を監視し、ある部位を撮像した枚数が当該部位の適正撮像枚数より少ない場合に、当該部位の撮像枚数不足を判定する機能をもつ。この判定結果は、ただちに通知部４６に伝えられ、通知部４６は、内視鏡検査を実施している医師に、当該部位の撮像枚数不足を通知する。通知部４６は、検査室において内視鏡観察装置３に接続された表示装置４に撮像枚数不足であることを表示してよく、また検査室に設けられた端末装置の表示装置（図示せず）に撮像枚数不足であることを表示してもよい。
　なお、内視鏡的粘膜下層はく離術（Endoscopic submucosal dissection: ESD）では、専用の処置具を使って病変を切り取る処置を行うが、処置の際には撮像する部位の順番が前後することが発生しうる。そのため特定の検査、たとえば上部のルーチン検査を実施している場合に限って、枚数評価部４４が、各部位の撮像枚数を監視してもよい。
　なお通知部４６は、画像情報が不適切な画像であることを示す不適切情報を含む場合に、撮像した画像が不適切であることを、内視鏡検査を実施している医師に通知する。その際、不適切理由に沿った通知を行うことが好ましく、たとえば胃体上部後壁でブレ画像が撮像されていれば、「胃体上部後壁でブレのある画像が撮影されました。もう一度注意して撮影してください。」と通知してよい。
　以上、本発明を実施例をもとに説明した。これらの実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。実施形態において画像記憶装置６および画像解析装置７は、医療施設に設けられることを説明したが、画像記憶装置６および／または画像解析装置７の機能は、インターネットに接続したクラウドサーバによって実現されてよい。
　本発明は、内視鏡検査を支援する分野に利用できる。
１・・・医療システム、２・・・ネットワーク、３・・・内視鏡観察装置、４・・・表示装置、５・・・内視鏡、６・・・画像記憶装置、７・・・画像解析装置、８・・・情報処理装置、９・・・表示装置、１０・・・管理装置、２０・・・処理部、２２・・・情報取得部、２４・・・枚数評価部、２６・・・画像評価部、２８・・・総合評価部、３０・・・評価結果生成部、３２・・・文書作成部、４２・・・情報取得部、４４・・・枚数評価部、４６，３４・・・通知部、５０・・・記憶装置、５２・・・画像情報記憶部、５４・・・評価結果記憶部、５６・・・適正枚数保持部、５８・・・第１評価値保持部、６０・・・第２評価値保持部、６２・・・ランクテーブル、６４・・・テンプレート保持部。

Claims (8)

  1. 　内視鏡検査において撮像された複数の画像を画像解析した複数の画像情報を取得する情報取得部と、
    　取得した複数の画像情報を記憶する画像情報記憶部と、
    　内視鏡検査の対象となる部位ごとの適正撮像枚数を保持する適正枚数保持部と、
    　一つの部位を撮像した枚数が当該部位の適正撮像枚数と異なっているときの評価結果となる第１評価値を保持する第１評価値保持部と、
    　画像情報により不適切な画像であることが示されるときの評価結果となる第２評価値を保持する第２評価値保持部と、
    　記憶した複数の画像情報にもとづいて各部位の撮像枚数を導出し、導出した部位の撮像枚数が適正撮像枚数と異なるときに、当該部位の評価結果に第１評価値を付与する枚数評価部と、
    　記憶した複数の画像情報の中から不適切な画像であることを示す画像情報を抽出し、抽出した画像情報の部位の評価結果に第２評価値を付与する画像評価部と、
    　記憶した複数の画像情報にもとづいて生成される評価結果であって、第１評価値および第２評価値を含む評価結果を記憶する評価結果記憶部と、
    　を備えることを特徴とする医療システム。
  2. 　評価結果に含まれる第１評価値と第２評価値を合計する総合評価部をさらに備える、
    　ことを特徴とする請求項１に記載の医療システム。
  3. 　前記総合評価部は、第１評価値と第２評価値の合計値にもとづいて、実施された内視鏡検査の良否を判定する、
    　ことを特徴とする請求項２に記載の医療システム。
  4. 　前記枚数評価部は、ある部位に関して撮像枚数が適正撮像枚数より多い場合であっても、当該部位に病変が存在している場合には、当該部位の評価結果に第１評価値を付与しない、
    　ことを特徴とする請求項１から３のいずれかに記載の医療システム。
  5. 　前記評価結果記憶部に記憶した評価結果をもとに、医師への指導文書を作成する文書作成部をさらに備える、
    　ことを特徴とする請求項１から４のいずれかに記載の医療システム。
  6. 　医師が内視鏡検査を開始する際に、前記評価結果記憶部に記憶された評価結果に含まれる評価結果にもとづくアドバイスを通知する通知部をさらに備える、
    　ことを特徴とする請求項１から５のいずれかに記載の医療システム。
  7. 　内視鏡検査の実施中に、撮像された画像を画像解析装置で画像解析した画像情報を取得する情報取得部と、
    　取得した画像情報を記憶する画像情報記憶部と、
    　内視鏡検査の対象となる部位ごとの適正撮像枚数を保持する適正枚数保持部と、
    　ある部位を撮像した枚数が当該部位の適正撮像枚数より少ない場合に、撮像枚数不足を判定する枚数評価部と、
    　前記枚数評価部が、当該部位の撮像枚数不足を判定した場合に、内視鏡検査を実施している医師に、当該部位の撮像枚数不足を通知する通知部と、
    　を備えることを特徴とする医療システム。
  8. 　画像情報が不適切な画像であることを示す情報を含む場合に、前記通知部は、撮像した画像が不適切であることを通知する、
    　ことを特徴とする請求項７に記載の医療システム。
PCT/JP2020/027704 2020-07-16 2020-07-16 医療システム WO2022014017A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2020/027704 WO2022014017A1 (ja) 2020-07-16 2020-07-16 医療システム
JP2022536074A JP7483008B2 (ja) 2020-07-16 2020-07-16 管理装置、検査画像評価方法、医療システム
US18/096,097 US20230177689A1 (en) 2020-07-16 2023-01-12 Management device, examination image evaluation method, and medical system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/027704 WO2022014017A1 (ja) 2020-07-16 2020-07-16 医療システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/096,097 Continuation US20230177689A1 (en) 2020-07-16 2023-01-12 Management device, examination image evaluation method, and medical system

Publications (1)

Publication Number Publication Date
WO2022014017A1 true WO2022014017A1 (ja) 2022-01-20

Family

ID=79554608

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/027704 WO2022014017A1 (ja) 2020-07-16 2020-07-16 医療システム

Country Status (3)

Country Link
US (1) US20230177689A1 (ja)
JP (1) JP7483008B2 (ja)
WO (1) WO2022014017A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011235177A (ja) * 2011-08-15 2011-11-24 Olympus Corp 内視鏡挿入方向検出方法
JP2012070936A (ja) * 2010-09-28 2012-04-12 Fujifilm Corp 内視鏡システム、内視鏡画像取得支援方法、及びプログラム
JP2014067229A (ja) * 2012-09-26 2014-04-17 Ge Medical Systems Global Technology Co Llc 読影レポート管理装置、医用ネットワークシステムおよびプログラム
JP2017108792A (ja) * 2015-12-14 2017-06-22 オリンパス株式会社 内視鏡業務支援システム
WO2019008737A1 (ja) * 2017-07-07 2019-01-10 オリンパス株式会社 内視鏡用トレーニングシステム
WO2019142243A1 (ja) * 2018-01-16 2019-07-25 オリンパス株式会社 画像診断支援システムおよび画像診断支援方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012070936A (ja) * 2010-09-28 2012-04-12 Fujifilm Corp 内視鏡システム、内視鏡画像取得支援方法、及びプログラム
JP2011235177A (ja) * 2011-08-15 2011-11-24 Olympus Corp 内視鏡挿入方向検出方法
JP2014067229A (ja) * 2012-09-26 2014-04-17 Ge Medical Systems Global Technology Co Llc 読影レポート管理装置、医用ネットワークシステムおよびプログラム
JP2017108792A (ja) * 2015-12-14 2017-06-22 オリンパス株式会社 内視鏡業務支援システム
WO2019008737A1 (ja) * 2017-07-07 2019-01-10 オリンパス株式会社 内視鏡用トレーニングシステム
WO2019142243A1 (ja) * 2018-01-16 2019-07-25 オリンパス株式会社 画像診断支援システムおよび画像診断支援方法

Also Published As

Publication number Publication date
JPWO2022014017A1 (ja) 2022-01-20
US20230177689A1 (en) 2023-06-08
JP7483008B2 (ja) 2024-05-14

Similar Documents

Publication Publication Date Title
JP5542021B2 (ja) 内視鏡システム、内視鏡システムの作動方法、及びプログラム
CN110916606A (zh) 一种基于人工智能的实时肠道清洁度评分系统和方法
JP6830082B2 (ja) 歯科分析システムおよび歯科分析ｘ線システム
JP2017108792A (ja) 内視鏡業務支援システム
CN113240662B (zh) 基于人工智能的内镜检查辅助系统
JP4009583B2 (ja) 医療用画像記録システム
JP6313913B2 (ja) 内視鏡画像観察支援システム
JP7013317B2 (ja) 医療情報処理システム
WO2022014017A1 (ja) 医療システム
JPWO2020152758A1 (ja) 画像処理装置、診断支援方法及び画像処理プログラム
JP2017205292A (ja) 画像ファイル作成方法、画像ファイル作成プログラム及び画像ファイル作成装置
JP5160110B2 (ja) 画像ファイリングシステムおよび画像表示システム
Green et al. Microanalysis of video from a robotic surgical procedure: implications for observational learning in the robotic environment
JP2017129922A (ja) 医療レポート作成支援システム
JP2010282355A (ja) 医療検査情報管理システム
JP2019103932A5 (ja)
CN111937377A (zh) 内窥镜业务辅助系统和内窥镜业务辅助方法
WO2018225326A1 (ja) 医療情報処理システム
JP2017130137A (ja) 内視鏡レポート作成支援システム
CN110709937A (zh) 医疗信息处理系统
WO2023135815A1 (ja) 医療支援システムおよび医療支援方法
US11968408B2 (en) System and method for teaching a surgical procedure
WO2023135816A1 (ja) 医療支援システムおよび医療支援方法
CN110084276B (zh) 一种训练集的拆分方法及装置
WO2023166647A1 (ja) 医療支援システムおよび画像表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20945026

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022536074

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20945026

Country of ref document: EP

Kind code of ref document: A1