WO2023135815A1 - 医療支援システムおよび医療支援方法 - Google Patents

医療支援システムおよび医療支援方法 Download PDF

Info

Publication number
WO2023135815A1
WO2023135815A1 PCT/JP2022/001461 JP2022001461W WO2023135815A1 WO 2023135815 A1 WO2023135815 A1 WO 2023135815A1 JP 2022001461 W JP2022001461 W JP 2022001461W WO 2023135815 A1 WO2023135815 A1 WO 2023135815A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
report
endoscopic
attached
priority
Prior art date
Application number
PCT/JP2022/001461
Other languages
English (en)
French (fr)
Inventor
晴彦 坂従
恵 永澤
恵美 増田
Original Assignee
オリンパスメディカルシステムズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパスメディカルシステムズ株式会社 filed Critical オリンパスメディカルシステムズ株式会社
Priority to PCT/JP2022/001461 priority Critical patent/WO2023135815A1/ja
Priority to JP2023573810A priority patent/JPWO2023135815A5/ja
Publication of WO2023135815A1 publication Critical patent/WO2023135815A1/ja
Priority to US18/746,796 priority patent/US20240339186A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Definitions

  • This disclosure relates to a medical support system and a medical support method for assisting report creation.
  • Patent Literature 1 discloses a report input screen that displays a list of a plurality of captured endoscopic images as attachment candidate images.
  • Patent Literature 2 discloses a system that recognizes treatments and lesions on a subject from endoscopic images and selects endoscopic images to be used for reports.
  • JP 2017-86274 A Japanese Patent Application Laid-Open No. 2020-81332
  • CAD computer-aided diagnosis
  • the present disclosure has been made in view of this situation, and its purpose is to support report creation work when a computer such as a CAD system does not detect an endoscopic image containing a lesion to be attached to a report. It is to provide the technology to
  • a medical support system includes one or more processors having hardware, the one or more processors having a plurality of endoscopic images captured by endoscopy. Acquiring a endoscopic image, acquiring additional information for each of a plurality of endoscopic images, and acquiring the additional information when the computer does not detect an endoscopic image containing a lesion to be attached to the report during the endoscopy A predetermined amount of images attached to the report are selected from among the plurality of endoscopic images based on the priority set for , and a report including the information indicating the absence of lesions and the images attached to the report is generated.
  • Another aspect of the present invention is a medical support method, which acquires a plurality of endoscopic images taken by endoscopy, acquires additional information of each of the plurality of endoscopic images, and comprises: In endoscopy, when no endoscopic image containing a lesion to be attached to the report is detected, based on the priority set for additional information, a report of a predetermined amount from among multiple endoscopic images An attached image is selected to generate a report containing information indicating the absence of lesions and the attached image of the report.
  • FIG. 10 is a diagram showing priority specified from the order of organs and the order of parts;
  • FIG. 10 is a diagram showing a modified example of priorities set for combinations of organs and regions;
  • FIG. 10 is a diagram showing a modified example of priorities set for combinations of organs and regions;
  • FIG. 1 shows the configuration of a medical support system 1 according to an embodiment.
  • a medical support system 1 is provided in a medical facility such as a hospital where endoscopy is performed.
  • the server device 2, the image analysis device 3, the image storage device 8, the endoscope system 9, and the terminal device 10b are communicably connected via a network 4 such as a LAN (local area network).
  • a network 4 such as a LAN (local area network).
  • An endoscope system 9 is installed in an examination room and has an endoscope observation device 5 and a terminal device 10a.
  • the server device 2, the image analysis device 3, and the image storage device 8 may be provided outside the medical facility, for example, as a cloud server.
  • the endoscope observation device 5 is connected to an endoscope 7 that is inserted into the patient's gastrointestinal tract.
  • the endoscope 7 has a light guide for transmitting the illumination light supplied from the endoscope observation device 5 to illuminate the inside of the gastrointestinal tract.
  • An illumination window for emitting light to the living tissue and an imaging unit for imaging the living tissue at a predetermined cycle and outputting an imaging signal to the endoscope observation device 5 are provided.
  • the imaging unit includes a solid-state imaging device (such as a CCD image sensor or a CMOS image sensor) that converts incident light into electrical signals.
  • the endoscope observation device 5 generates an endoscope image by performing image processing on the imaging signal photoelectrically converted by the solid-state imaging device of the endoscope 7, and displays it on the display device 6 in real time.
  • the endoscope observation device 5 may have a function of performing special image processing for the purpose of highlighting, etc., in addition to normal image processing such as A/D conversion and noise removal.
  • the endoscopic observation device 5 generates endoscopic images at a predetermined cycle (for example, 1/60 second).
  • the endoscope observation device 5 may be composed of one or more processors having dedicated hardware, or may be composed of one or more processors having general-purpose hardware.
  • the doctor observes the endoscopic image displayed on the display device 6 according to the examination procedure.
  • the doctor observes the endoscopic image while moving the endoscope 7 , and when the biological tissue to be captured is displayed on the display device 6 , operates the release switch of the endoscope 7 .
  • the endoscopic observation device 5 captures (stores) an endoscopic image at the timing when the release switch is operated, and converts the captured endoscopic image to the endoscopic image. It is transmitted to the image storage device 8 together with identification information (image ID).
  • image ID identification information
  • the endoscope observation device 5 may collectively transmit a plurality of captured endoscope images to the image storage device 8 after the end of the examination.
  • the image storage device 8 records the endoscopic image transmitted from the endoscopic observation device 5 in association with the examination ID that identifies the endoscopic examination.
  • capturing means an operation in which the solid-state imaging device of the endoscope 7 converts incident light into an electrical signal
  • capturing means capturing an endoscopic image generated by the endoscope observation device 5. It means the action of saving (recording). It should be noted that “shooting” may include an operation from the converted electrical signal to the endoscope observation device 5 generating an endoscopic image.
  • the terminal device 10a includes an information processing device 11a and a display device 12a, and is installed in the examination room.
  • the terminal device 10a may be used by a doctor, a nurse, or the like to check in real time information about the captured living tissue during an endoscopy.
  • the terminal device 10b includes an information processing device 11b and a display device 12b, and is installed in a room other than the examination room.
  • the terminal device 10b is used when a doctor prepares an endoscopy report.
  • Terminal devices 10a and 10b are configured by one or more processors having general-purpose hardware.
  • the endoscopic observation device 5 causes the display device 6 to display the endoscopic image in real time, and transmits the endoscopic image along with the meta information of the image to the image analysis device 3. supply in real time.
  • the meta information includes at least the frame number of the image and information on the shooting time, and the frame number may be information indicating what frame it is after the endoscope 7 starts shooting.
  • the image analysis device 3 is an electronic computer (computer) that analyzes endoscopic images, detects lesions contained in the endoscopic images, and qualitatively diagnoses the detected lesions.
  • the image analysis device 3 may be a CAD (computer-aided diagnosis) system having an AI (artificial intelligence) diagnosis function.
  • the image analysis device 3 may be composed of one or more processors having dedicated hardware, or may be composed of one or more processors having general-purpose hardware.
  • the image analysis device 3 uses a learned model generated by machine learning using endoscopic images for learning and information about lesion areas included in the endoscopic images as teacher data.
  • the annotation work of endoscopic images is performed by an annotator with specialized knowledge such as a doctor, and for machine learning, CNN, RNN, LSTM, etc., which are types of deep learning, may be used.
  • this trained model When inputting an endoscopic image, this trained model outputs information indicating the imaged organ, information indicating the imaged part, and information about the imaged lesion (lesion information).
  • the lesion information output by the image analysis device 3 includes at least lesion presence/absence information indicating whether or not a lesion is included in the endoscopic image.
  • the lesion information includes information indicating the size of the lesion, information indicating the position of the outline of the lesion, information indicating the shape of the lesion, information indicating the depth of invasion of the lesion, and qualitative diagnosis results of the lesion.
  • the lesion qualitative diagnosis result includes the lesion type.
  • the image analysis apparatus 3 receives endoscopic images from the endoscopic observation apparatus 5 in real time, and analyzes information indicating organs, information indicating sites, and lesion information for each endoscopic image. Output.
  • the image analysis device 3 has a function of recognizing the image quality of the endoscopic image.
  • the image analysis device 3 checks whether the image is blurry, blurry, cloudy, or contains residue by image analysis, and determines whether the image is properly captured.
  • the image analysis device 3 outputs image quality information indicating whether or not the image has been captured appropriately for each endoscopic image.
  • image analysis information information indicating an organ, information indicating a site, lesion information, and image quality information output for each endoscopic image.
  • the endoscope observation device 5 receives information indicating that the capture operation has been performed (capture operation information), as well as the frame number, shooting time, and image ID of the captured endoscopic image.
  • Capture operation information information indicating that the capture operation has been performed
  • the image analysis device 3 acquires the capture operation information, it provides the server device 2 with the examination ID as well as the image ID, frame number, imaging time information, and image analysis information of the provided frame number.
  • the image ID, frame number, imaging time information, and image analysis information constitute "additional information” that expresses the features and properties of the endoscopic image.
  • the image analysis device 3 acquires the capture operation information, it transmits the additional information together with the examination ID to the server device 2, and the server device 2 records the additional information in association with the examination ID.
  • the examination end button of the endoscopic observation device 5 When the user finishes the endoscopic examination, he/she operates the examination end button of the endoscopic observation device 5 .
  • the operation information of the examination end button is supplied to the server device 2 and the image analysis device 3, and the server device 2 and the image analysis device 3 recognize the end of the endoscopy.
  • the image analysis device 3 receives the examination end information, the image analysis device 3 sends information indicating whether or not an endoscopic image including a lesion to be attached to the report has been detected in the endoscopic examination to the server device 2 together with the examination ID. offer.
  • information indicating whether or not an endoscopic image including a lesion to be attached to a report has been detected will be referred to as "lesion image presence/absence information”.
  • the image analysis device 3 detects even one endoscopic image containing a lesion during an examination, the image analysis device 3 sends lesion image presence/absence information indicating that an endoscopic image to be attached to a report has been detected to the server. may be provided to device 2; On the other hand, if the image analysis device 3 detects no endoscopic images containing lesions during the examination, the image analyzer 3 detects lesion image presence/absence information indicating that no endoscopic images to be attached to the report have been detected. may be provided to the server device 2 .
  • FIG. 2 shows functional blocks of the server device 2 .
  • the server device 2 includes a communication section 20 , a processing section 30 and a storage device 60 .
  • the communication unit 20 transmits and receives information such as data and instructions to and from the image analysis device 3, the endoscope observation device 5, the image storage device 8, the terminal device 10a, and the terminal device 10b via the network 4.
  • the processing unit 30 includes an order information acquisition unit 40 , an additional information acquisition unit 42 and a lesion image presence/absence information acquisition unit 44 .
  • the storage device 60 has an order information storage section 62 , an additional information storage section 64 and a lesion image presence/absence information storage section 66 .
  • the server device 2 includes a computer, and various functions shown in FIG. 2 are realized by the computer executing programs.
  • a computer includes, as hardware, a memory for loading a program, one or more processors for executing the loaded program, an auxiliary storage device, and other LSIs.
  • a processor is composed of a plurality of electronic circuits including semiconductor integrated circuits and LSIs, and the plurality of electronic circuits may be mounted on one chip or may be mounted on a plurality of chips.
  • the functional blocks shown in FIG. 2 are realized by cooperation of hardware and software, and therefore those skilled in the art will understand that these functional blocks can be realized in various forms by hardware alone, software alone, or a combination thereof. It is understood.
  • the order information acquisition unit 40 acquires order information for endoscopy from the hospital information system. For example, the order information acquisition unit 40 acquires the order information for the current day from the hospital information system and stores it in the order information storage unit 62 before the start of examination work for the day at the medical facility. Before starting the examination, the endoscope observation device 5 or the information processing device 11a may read the order information of the examination to be performed from the order information storage unit 62 and display it on the display device.
  • the additional information acquisition unit 42 acquires the examination ID and the additional information of the endoscopic image from the image analysis device 3, and stores the additional information in the additional information storage unit 64 in association with the examination ID.
  • the additional information of the endoscopic image includes image ID, frame number, imaging time information and image analysis information. For example, when the user performs the capture operation 17 times during the endoscopy, the additional information acquisition unit 42 acquires additional information of 17 endoscopic images from the image analysis device 3 and stores the additional information. Store in section 64 .
  • the image IDs are assigned by the endoscope observation device 5, and the endoscope observation device 5 assigns the image IDs in order from 1 in order of photographing time. Therefore, in this case, image IDs 1 to 17 are assigned to the 17 endoscopic images, respectively.
  • the lesion image presence/absence information acquisition unit 44 acquires the examination ID and the lesion image presence/absence information from the image analysis device 3, and stores the lesion image presence/absence information in the lesion image presence/absence information storage unit 66 in association with the examination ID.
  • the lesion image presence/absence information acquisition unit 44 may acquire lesion image presence/absence information from the image analysis device 3 after the end of the examination.
  • the embodiment proposes a technique in which the information processing device 11b automatically selects an endoscopic image to be attached to a report of the examination when the image analysis device 3 does not detect a lesion in the examination. Therefore, in the embodiment, the lesion image presence/absence information acquisition unit 44 acquires lesion image presence/absence information indicating that an endoscopic image including a lesion to be attached to the report was not detected from the image analysis device 3 after the examination. do.
  • FIG. 3 shows an example of additional information linked to the captured endoscopic image.
  • Information indicating the organ included in the image that is, the information indicating the organ that was photographed is stored in the "organ" item.
  • Information indicating the part of the organ that has been processed is stored.
  • the "size” item stores information indicating the longest diameter of the base of the lesion
  • the "shape” item stores coordinate information representing the contour shape of the lesion
  • the "diagnosis” item stores: A qualitative diagnosis of the lesion is stored.
  • each item is set to blank because no lesions are included in all endoscopic images.
  • Information indicating whether or not the image has been properly captured is stored in the item of "Quality of image quality”. Indicates that the image was not captured properly.
  • Information indicating the shooting time of the image is stored in the item of "shooting time”.
  • a frame number may be included in the item “imaging time”.
  • FIG. 4 shows functional blocks of the information processing device 11b.
  • the information processing apparatus 11 b has a function of automatically selecting an endoscopic image to be attached to an examination report in which no lesion is detected, and includes a communication section 76 , an input section 78 , a processing section 80 and a storage device 120 .
  • the communication unit 76 transmits/receives information such as data and instructions to/from the server device 2, the image analysis device 3, the endoscope observation device 5, the image storage device 8, and the terminal device 10a via the network 4.
  • the processing unit 80 includes an operation reception unit 82, an acquisition unit 84, a support mode setting unit 98, a priority order setting unit 100, an image selection unit 102, a report generation unit 104, and a registration processing unit 106.
  • the acquisition unit 84 performs image acquisition. It has a section 86 , an additional information acquisition section 88 and a lesion image presence/absence information acquisition section 90 .
  • the storage device 120 has an image storage section 122 , an additional information storage section 124 and a priority storage section 126 .
  • the information processing device 11b includes a computer, and various functions shown in FIG. 4 are realized by the computer executing a program.
  • a computer includes, as hardware, a memory for loading a program, one or more processors for executing the loaded program, an auxiliary storage device, and other LSIs.
  • a processor is composed of a plurality of electronic circuits including semiconductor integrated circuits and LSIs, and the plurality of electronic circuits may be mounted on one chip or may be mounted on a plurality of chips.
  • the functional blocks shown in FIG. 4 are implemented by a combination of hardware and software, and therefore those skilled in the art will understand that these functional blocks can be implemented in various forms by hardware alone, software alone, or a combination thereof. It is understood.
  • the user who is a doctor inputs the user ID and password to the information processing device 11b to log in.
  • an application for creating an inspection report is activated, and a list of completed inspections is displayed on the display device 12b.
  • examination information such as patient name, patient ID, examination date and time, and examination items are displayed in a list. Select an inspection.
  • the image acquisition unit 86 acquires a plurality of endoscopic images linked to the examination ID of the examination selected by the user from the image storage device 8.
  • the additional information acquisition unit 88 acquires additional information linked to the examination ID of the examination selected by the user from the server device 2 and stores it in the additional information storage unit 124 .
  • the lesion image presence/absence information acquisition unit 90 acquires lesion image presence/absence information associated with the examination ID of the examination selected by the user from the server device 2 .
  • Lesion image presence/absence information is information indicating whether or not the image analysis apparatus 3 has detected an endoscopic image including a lesion to be attached to a report in an endoscopy.
  • the support mode setting unit 98 sets a mode in which the image selection unit 102 automatically selects an image to be attached to the report according to the lesion image presence/absence information.
  • the support mode setting unit 98 sets the first support mode in which the image selection unit 102 selects the report-attached image based on the order of priority.
  • the image selection unit 102 selects a predetermined amount of report-attached images from among the plurality of captured endoscopic images based on the priority order set for the additional information.
  • the predetermined amount of images attached to the report means a predetermined number of still images when the captured endoscopic images are still images, and a predetermined amount ( or predetermined time).
  • the support mode setting unit 98 sets the second support mode in which the image selection unit 102 selects an endoscopic image including the lesion.
  • the image selection unit 102 selects the report-attached image containing the lesion detected by the image analysis device 3 from among the plurality of captured endoscopic images.
  • the lesion image presence/absence information acquired by the lesion image presence/absence information acquisition unit 90 indicates that the image analysis device 3 did not detect a lesion, and the support mode setting unit 98 sets the first support mode.
  • the operation of the processing unit 80 when this is done will be described.
  • the user is capturing static endoscopic images.
  • the image selection unit 102 automatically selects the report attached image based on the priority order set for the additional information.
  • Priority may be set for at least one of organs, parts, and imaging timings.
  • the priority order setting section 100 sets the priority order based on the user's input, and stores it in the priority order storage section 126 . For example, the user may select one priority from among multiple priority candidates. By allowing the user to determine by himself/herself the criteria for automatically selecting the images to be attached to the report in the lesion-undetected examination, it is possible to generate a report that reflects the preferences of the user and the hospital facility.
  • the user may also set the upper limit number of images attached to the report (upper limit amount).
  • FIG. 5(a) shows an example of priorities set for organs.
  • the order of priority of "esophagus” is set as first
  • the order of priority of "stomach” is set as second
  • the order of priority of "duodenum” is set as third.
  • the image selection unit 102 selects report-attached images within the upper limit of the number of report-attached images from among the plurality of endoscopic images captured by the user according to the priority order.
  • the image selection unit 102 refers to the information indicating the organ included in the additional information of each endoscopic image, selects the report-attached images one by one in order from the highest priority, When the report attached image is selected, the report attached image is selected in order from the highest ranking.
  • the image selection unit 102 selects an image including the esophagus as the first image attached to the report, and attaches the report including the stomach as the second image. Select an image, select an image attached to the report including the duodenum for the third sheet, select an image attached to the report including the esophagus for the fourth sheet, and select an image attached to the report including the stomach for the fifth sheet. As described above, the image selection unit 102 of the embodiment selects images to be attached to the report based on the set priority within the upper limit number of images.
  • FIG. 5(b) shows another example of priorities set for organs.
  • the priority order of "stomach” is set as first
  • the priority of "duodenum” is set as second
  • the priority of "esophagus” is set as third.
  • the image selection unit 102 selects the image attached to the report including the stomach as the first image. Then, select the image attached to the report including the duodenum for the second sheet, select the image attached to the report including the esophagus for the third sheet, select the image attached to the report including the stomach for the fourth sheet, and select the image attached to the report for the fifth sheet. Then select the report attachment image that contains the duodenum.
  • FIG. 5(c) shows another example of priorities set for organs.
  • the priority order of "stomach” is set as first
  • the priority of "esophagus” is set as second
  • the priority of "duodenum” is set as third.
  • the image selection unit 102 selects the image attached to the report including the stomach as the first image. Then, select the image attached to the report including the esophagus for the second sheet, select the image attached to the report including the duodenum for the third sheet, select the image attached to the report including the stomach for the fourth sheet, and select the image attached to the report for the fifth sheet. Then select the report attachment image containing the esophagus.
  • the priority setting unit 100 sets priorities based on user input.
  • the image selection unit 102 selects images to be attached to the report according to the order of priority determined by the user, so that the report generation unit 104, which will be described later, can generate a report that meets the user's request.
  • the priority order of organs shown in FIGS. 5A to 5C is an example, and the user may freely determine the priority order of organs.
  • Fig. 6 shows an example of priorities set for organ parts. This priority defines the order of priority of parts in each organ.
  • the priority order of "cervical region” is set first, the priority order of "thorax” is set second, and the priority order of "abdomen” is set third.
  • the priority of the ⁇ vestibular region'' is 1st
  • the priority of the ⁇ corner'' is 2nd
  • the priority of the ⁇ body'' is 3rd.
  • the order of priority is set as 1st
  • the priority of 'bulb' is 2nd
  • the priority of 'sub-papilla' is set as 3rd.
  • the order of priority shown in FIG. 6 is an example, and the user may arbitrarily determine the order of priority of parts in each organ.
  • the image selection unit 102 selects the report-attached image based on the priority order set for the organ (for example, the priority order shown in any one of FIGS. 5A to 5C) and the priority order set for the part. can be selected.
  • the image selection unit 102 sets the priority order of the organs shown in FIG. ), the operation of selecting an image to be attached to a report will be described.
  • the image selection unit 102 identifies an endoscopic image including an organ identified by the organ ranking shown in FIG. is selected from a plurality of endoscopic images including the relevant organ based on the site order shown in .
  • the image selection unit 102 identifies the priority order of combinations of organs and parts for selecting report-attached images from the order of organs shown in FIG. 5A and the order of parts shown in FIG. (Ranking identification step 1)
  • the image selection unit 102 recognizes that the report-attached image to be selected as the first image includes "esophagus" from the order of organs shown in FIG. Identify the combination (esophagus, neck) as the first priority, recognizing that "cervical" has the highest priority in .
  • FIG. 7 shows the priority specified from the organ order shown in FIG. 5(a) and the region order shown in FIG.
  • the image selection unit 102 selects the report-attached image including the neck of the esophagus as the first image and the vestibule of the stomach as the second image according to the priority shown in FIG. Select the image attached to the report including the part, select the image attached to the report including the descending part of the duodenum on the third sheet, select the image attached to the report including the thorax of the esophagus on the fourth sheet, and select the image attached to the report on the fifth sheet. Select the report attachment image that includes the corner of the stomach.
  • the image selection unit 102 may select the images to be attached to the report based on the priority order derived with respect to organs and regions within the upper limit of the number of images.
  • the image selection unit 102 selects a report-attached image that includes a lower-priority part of the same organ. For example, when the image selection unit 102 attempts to select a report-attached image including the duodenum descending portion, if there is no endoscopic image including the duodenum descending portion, the report-attached image including the duodenum bulb portion is selected. select. If there is no endoscopic image including the bulb of the duodenum, the image selection unit 102 selects the report-attached image including the sub-papilla of the duodenum. In this manner, the image selection unit 102 selects the report-attached images based on the organ order, so that the report-attached images of each organ can be evenly selected.
  • FIG. 8(a) shows an example of priorities set in relation to the shooting order.
  • the order of priority set for the imaging order is to select one of the multiple endoscopic images containing the organ or the same region. Used to select report attachment images.
  • the priority order setting unit 100 sets a first priority standard for preferentially selecting the endoscopic image captured at the first timing, and a second priority standard for preferentially selecting the endoscopic image captured at the intermediate timing. , or a third priority criterion for preferentially selecting the endoscopic image captured at the last timing, is set as the priority regarding the order of imaging. In the example shown in FIG. 8A, the first priority criterion is set.
  • the endoscopic image including the esophagus that is the earliest in the order of imaging is selected as the first report attached image.
  • FIG. 8(b) shows another example of priorities set with respect to the shooting order.
  • the second priority criterion is set.
  • the image selection unit 102 selects an endoscopic image having an intermediate timing in the order of imaging from among the plurality of endoscopic images as an image to be attached to the report.
  • FIG. 8(c) shows another example of priorities set with respect to the shooting order.
  • the third priority criterion is set.
  • the image selection unit 102 selects the endoscopic image with the latest shooting order from among the plurality of endoscopic images as the image to be attached to the report. In this way, the image selection unit 102 can narrow down the number of images to be attached to a report to one by taking into account the priority of the shooting order.
  • the image selection unit 102 selects images to be attached to the report based on the order of organs shown in FIG. 5(a), the order of parts shown in FIG. 6, and the priority order of imaging order shown in FIG. Describe the procedure.
  • the maximum number of images attached to a report is set to "5". Seventeen endoscopic images were acquired during the examination, and the additional information acquiring unit 88 acquires additional information of the endoscopic images shown in FIG.
  • the image selection unit 102 When the image selection unit 102 identifies that the combination of (esophagus, neck) has the highest priority from the organ ranking and the region ranking, it refers to the additional information of each endoscopic image and selects (esophagus, neck). Search for endoscopic images with image analysis information of (part).
  • the endoscopic image of image ID1 corresponds to this, and therefore the image selection unit 102 selects the endoscopic image of image ID1 as the first report attached image.
  • the image selection unit 102 selects that the combination of (stomach, vestibule) has the second highest priority from the order of organs and the region order, it refers to the additional information of each endoscopic image and selects (stomach, vestibule). Search for endoscopic images with image analysis information of (part). Referring now to FIG. 3, two endoscopic images with image IDs 13 and 14 correspond. The order of priority in the imaging order shown in FIG. The endoscopic image with image ID 14, which is the second image attached to the report, is selected.
  • the image selection unit 102 selects that the combination of (duodenum, descending part) has the third priority from the order of organs and the part order, it refers to the additional information of each endoscopic image and selects (duodenum, descending part). Search for endoscopic images with image analysis information of (part). Referring to FIG. 3, since there is no endoscopic image with image analysis information for (duodenum, descending), the image selection unit 102 selects the image analysis for the “bulb”, which is one lower in the order of the duodenum. Search for informative endoscopic images. In FIG. 3, the endoscopic image with image ID 15 corresponds.
  • the image selection unit 102 refers to the item “quality of image quality” linked to the image ID 15, and recognizes that “poor” indicating that the image was not properly captured is stored. Decide not to select endoscopic images as report attachment images. Therefore, the image selection unit 102 searches for an endoscopic image having the image analysis information of the "accessory papilla", which is one lower in the region order in the duodenum. Referring now to FIG. 3, two endoscopic images with image IDs 16 and 17 are relevant. Since the priority of the order of imaging shown in FIG. 8C is set to the third priority criterion, the image selection unit 102 selects the endoscopic image of image ID 17 having the later imaging time as the third report-attached image. Select as
  • the image selection unit 102 identifies that the combination of (esophagus, chest) has the fourth priority from the organ order and the site order, it refers to the additional information of each endoscopic image and selects (esophagus, chest). search for endoscopic images with image analysis information of Referring now to FIG. 3, two endoscopic images with image IDs 2 and 3 are relevant.
  • the image selection unit 102 refers to the item "quality of image quality” linked to image IDs 2 and 3, and recognizes that "poor” is stored in the item “quality of image quality” of image ID2. Therefore, the image selection unit 102 determines not to select the endoscopic image with image ID2 as the image attached to the report, and selects the endoscopic image with image ID3 as the fourth image attached to the report.
  • the image selection unit 102 identifies that the combination of (stomach, horn) has the fifth priority from the order of organs and the region ranking, it refers to the additional information of each endoscopic image and selects (stomach, horn). Search for endoscopic images with image analysis information of (part). Referring now to FIG. 3, four endoscopic images with image IDs 9, 10, 11, and 12 apply.
  • the image selection unit 102 refers to the item of "quality of image quality” linked to image IDs 9, 10, 11, and 12, and confirms that "bad” is stored in the item of "quality of image quality” of image ID 9. is recognized, it is determined not to select the endoscopic image with image ID 9 as the image attached to the report. Subsequently, the image selection unit 102 selects the endoscopic image with the image ID 12 having the last imaging time as the fifth image to be attached to the report, based on the priority of the imaging order shown in FIG. 8(c).
  • the image selection unit 102 selects 5 images to be attached to the report, which is the maximum number of images.
  • endoscopic images that reflect the user's preferences are automatically attached to the report.
  • Fig. 9 shows an example of an automatically generated report.
  • the image selection unit 102 selects the report attached image based on the priority order set for the additional information as described above, and the report generation unit 104 , to automatically generate a report using the selected report attachment image.
  • Fig. 10 shows an example of an automatically generated report.
  • the report generation unit 104 generates a report including information indicating that there is no lesion and the image attached to the report selected by the image selection unit 102, and displays the report on the display device 12b.
  • the report generation unit 104 may generate a report including the content of the examination order, the diagnosis content indicating that there is no abnormal finding, and the image to be attached to the report.
  • the user confirms the report displayed on the display device 12b and operates a predetermined registration button (not shown) so that the registration processing unit 106 registers the automatically generated report in the server device 2. good.
  • Fig. 10 shows a modified example of priorities set for combinations of organs and parts.
  • the priority is set by combining the order of organs shown in FIGS. 5(a) to 5(c) and the order of parts shown in FIGS. 6(a) to 6(b).
  • the priority order shown in is defined for the combination of organ and site.
  • a procedure for selecting images to be attached to a report by the image selection unit 102 based on the order of priority shown in FIG. 10 and the order of shooting shown in FIG. 8C will be described below.
  • the maximum number of images attached to a report is set to "5".
  • the additional information acquisition unit 88 acquires additional information of the endoscopic image shown in FIG. 3 and stores it in the additional information storage unit 124 .
  • the image selection unit 102 When the image selection unit 102 recognizes that the combination of (esophagus, neck) has the highest priority, it refers to the additional information of each endoscopic image and selects the image analysis information of (esophagus, neck). Explore the endoscopic images you have. Here, referring to FIG. 3, the endoscopic image of image ID1 corresponds to this, and therefore the image selection unit 102 selects the endoscopic image of image ID1 as the first report attached image.
  • the image selection unit 102 When the image selection unit 102 recognizes that the combination of (esophagus, chest) has the second highest priority, it refers to the additional information of each endoscopic image and selects an internal image having image analysis information of (esophagus, chest). Explore the optic image. Referring now to FIG. 3, two endoscopic images with image IDs 2 and 3 are relevant.
  • the image selection unit 102 refers to the item "quality of image quality” linked to image IDs 2 and 3, and recognizes that "poor” is stored in the item “quality of image quality” of image ID2. Therefore, the image selection unit 102 determines not to select the endoscopic image with the image ID2 as the image to be attached to the report, and selects the endoscopic image with the image ID3 as the second image to be attached to the report.
  • the image selection unit 102 When the image selection unit 102 recognizes that the combination of (esophagus, abdomen) has the third highest priority, it refers to the additional information of each endoscopic image, and selects an internal image having image analysis information of (esophagus, abdomen). Explore the optic image. Referring now to FIG. 3, two endoscopic images with image IDs 4 and 5 are relevant. The order of priority in the imaging order shown in FIG. The endoscopic image with image ID 5, which is the slowest, is selected as the third report-attached image.
  • the image selection unit 102 selects the endoscopic image of image ID 8 having the last imaging time as the fourth report. Select as an attached image.
  • the image selection unit 102 refers to the item of "quality of image quality” linked to image IDs 9, 10, 11, and 12, and confirms that "bad” is stored in the item of "quality of image quality” of image ID 9. is recognized, it is determined not to select the endoscopic image with image ID 9 as the image attached to the report. Subsequently, the image selection unit 102 selects the endoscopic image with the image ID 12 having the last imaging time as the fifth image to be attached to the report, based on the priority of the imaging order shown in FIG. 8(c).
  • the image selection unit 102 selects 5 images to be attached to the report, which is the maximum number of images.
  • the report will automatically be accompanied by endoscopic images that reflect the user's preferences.
  • Fig. 11 shows a modified example of priorities set for combinations of organs and regions.
  • the combination of an organ and a region is further associated with the priority order of imaging timing.
  • the user can set the upper limit number of images attached to the report (upper limit amount).
  • the user may be able to select the maximum number of sheets from 0.
  • the support mode setting unit 98 sets the first support mode by setting the upper limit number of sheets to 0 by the user, the image selection unit 102 operates so as not to automatically select the report attached image.
  • the endoscopy is an upper endoscopy, but the endoscopy may be a lower endoscopy.
  • the priority order setting unit 100 may set a priority order for each inspection item based on the user's input. For example, the priority order setting unit 100 sets the priority order related to imaging timing to the third priority reference for the upper endoscopy report, and sets the priority order related to imaging timing to the lower endoscopy report. It may be set as the second priority criterion.
  • the image selection unit 102 selects the image attached to the report of the upper endoscopy based on the third priority criterion, and selects the image attached to the report of the lower endoscopy based on the second priority criterion. select. Since the target organ for lower endoscopy is long, an image captured at an intermediate timing in lower endoscopy is preferable as a report-attached image representing the state of the organ.
  • the image analysis device 3 may transmit the captured image to the image storage device 8 in a modified example.
  • the information processing device 11b has the processing unit 80 in the embodiment
  • the server device 2 may have the processing unit 80 in a modified example.
  • This disclosure can be used in the technical field to support the creation of reports.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Endoscopes (AREA)

Abstract

画像取得部８６は、内視鏡検査で撮影された複数の内視鏡画像を取得する。付加情報取得部８８は、複数の前記内視鏡画像のそれぞれの付加情報を取得する。画像解析装置が内視鏡検査において、レポートに添付するべき病変を含む内視鏡画像を検出しなかったとき、画像選択部１０２は、付加情報に関して設定された優先順位にもとづいて、複数の内視鏡画像の中から所定量のレポート添付画像を選択する。レポート生成部１０４は、病変がないことを示す情報と、前記レポート添付画像とを含むレポートを生成する。

Description

医療支援システムおよび医療支援方法
　本開示は、レポートの作成を支援するための医療支援システムおよび医療支援方法に関する。
　内視鏡検査において、医師は、表示装置に表示される内視鏡画像を観察し、病変を見つけると内視鏡のレリーズスイッチを操作して、当該病変を撮影した内視鏡画像をキャプチャ（保存）する。検査終了後、医師は、検査結果をレポート入力画面に入力するとともに、キャプチャした複数枚の内視鏡画像の中から、レポートに添付する内視鏡画像を選択して、レポートを作成する。特許文献１は、キャプチャした複数の内視鏡画像の一覧を、添付候補画像として表示するレポート入力画面を開示する。特許文献２は、内視鏡画像から被写体に対する処置や病変を認識して、レポートに使用する内視鏡画像を選択するシステムを開示する。
特開２０１７－８６２７４号公報 特開２０２０－８１３３２号公報
　近年、コンピュータ支援診断（ＣＡＤ：computer-aided diagnosis）システムの研究、開発が進められている。検査レポートの作成に際し、ＣＡＤシステムが病変検出した画像をレポート添付画像として自動選択することで、医師のレポート作成業務の負担を軽減できることが期待される。ＣＡＤシステムが病変を検出しない検査においては、ＣＡＤシステムが病変検出した画像は存在しないが、そのような場合であっても、レポート作成業務を効率的に支援できることが好ましい。
　本開示はこうした状況に鑑みてなされたものであり、その目的は、ＣＡＤシステムなどのコンピュータにより、レポートに添付するべき病変を含む内視鏡画像が検出されなかったときに、レポート作成業務を支援する技術を提供することにある。
　上記課題を解決するために、本発明のある態様の医療支援システムは、ハードウェアを有する１つ以上のプロセッサを備え、１つ以上のプロセッサは、内視鏡検査で撮影された複数の内視鏡画像を取得し、複数の内視鏡画像のそれぞれの付加情報を取得し、コンピュータが内視鏡検査において、レポートに添付するべき病変を含む内視鏡画像を検出しなかったとき、付加情報に関して設定された優先順位にもとづいて、複数の内視鏡画像の中から所定量のレポート添付画像を選択し、病変がないことを示す情報とレポート添付画像とを含むレポートを生成する。
　本発明の別の態様は、医療支援方法であって、内視鏡検査で撮影された複数の内視鏡画像を取得し、複数の内視鏡画像のそれぞれの付加情報を取得し、コンピュータが内視鏡検査において、レポートに添付するべき病変を含む内視鏡画像を検出しなかったとき、付加情報に関して設定された優先順位にもとづいて、複数の内視鏡画像の中から所定量のレポート添付画像を選択し、病変がないことを示す情報と、レポート添付画像とを含むレポートを生成する。
　なお、以上の構成要素の任意の組み合わせ、本開示の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本開示の態様として有効である。
実施形態にかかる医療支援システムの構成を示す図である。 サーバ装置の機能ブロックを示す図である。 内視鏡画像に紐付けられる付加情報の例を示す図である。 情報処理装置の機能ブロックを示す図である。 （ａ）～（ｃ）は、臓器に関して設定された優先順位の例を示す図である。 臓器の部位に関して設定された優先順位の例を示す図である。 臓器順位と部位順位とから特定される優先順位を示す図である。 （ａ）～（ｃ）は、撮影した順番に関して設定された優先順位の例を示す図である。 自動生成されるレポートの例を示す図である。 臓器と部位の組み合わせに関して設定された優先順位の変形例を示す図である。 臓器と部位の組み合わせに関して設定された優先順位の変形例を示す図である。
　図１は、実施形態にかかる医療支援システム１の構成を示す。医療支援システム１は、内視鏡検査を行う病院などの医療施設に設けられる。医療支援システム１において、サーバ装置２、画像解析装置３、画像蓄積装置８、内視鏡システム９および端末装置１０ｂは、ＬＡＮ（ローカルエリアネットワーク）などのネットワーク４を介して、通信可能に接続される。内視鏡システム９は検査室に設けられ、内視鏡観察装置５および端末装置１０ａを有する。医療支援システム１において、サーバ装置２、画像解析装置３および画像蓄積装置８は、医療施設の外部に、たとえばクラウドサーバとして設けられてもよい。
　内視鏡観察装置５は、患者の消化管に挿入される内視鏡７を接続される。内視鏡７は、内視鏡観察装置５から供給される照明光を伝送して、消化管内を照明するためのライトガイドを有し、先端部には、ライトガイドにより伝送される照明光を生体組織へ出射するための照明窓と、生体組織を所定の周期で撮影して撮像信号を内視鏡観察装置５に出力する撮影部が設けられる。撮影部は、入射光を電気信号に変換する固体撮像素子（たとえばＣＣＤイメージセンサまたはＣＭＯＳイメージセンサ）を含む。
　内視鏡観察装置５は、内視鏡７の固体撮像素子により光電変換された撮像信号に対して画像処理を施して内視鏡画像を生成し、表示装置６にリアルタイムに表示する。内視鏡観察装置５は、Ａ／Ｄ変換、ノイズ除去などの通常の画像処理に加えて、強調表示等を目的とする特別な画像処理を実施する機能を備えてよい。内視鏡観察装置５は、内視鏡画像を所定の周期（たとえば１／６０秒）で生成する。内視鏡観察装置５は、専用ハードウェアを有する１つ以上のプロセッサによって構成されてよいが、汎用ハードウェアを有する１つ以上のプロセッサによって構成されてもよい。
　医師は、検査手順にしたがって、表示装置６に表示されている内視鏡画像を観察する。医師は、内視鏡７を動かしながら内視鏡画像を観察し、キャプチャ対象となる生体組織が表示装置６に映し出されると、内視鏡７のレリーズスイッチを操作する。レリーズスイッチが操作されると、内視鏡観察装置５は、レリーズスイッチが操作されたタイミングで内視鏡画像をキャプチャ（保存）して、キャプチャした内視鏡画像を、当該内視鏡画像を識別する情報（画像ＩＤ）とともに画像蓄積装置８に送信する。なお内視鏡観察装置５は、検査終了後に、キャプチャした複数の内視鏡画像をまとめて画像蓄積装置８に送信してもよい。画像蓄積装置８は、内視鏡検査を識別する検査ＩＤに紐付けて、内視鏡観察装置５から送信された内視鏡画像を記録する。
　なお実施形態において「撮影」は、内視鏡７の固体撮像素子が入射光を電気信号に変換する動作を意味し、「キャプチャ」は、内視鏡観察装置５が生成した内視鏡画像を保存（記録）する動作を意味する。なお「撮影」は、変換された電気信号から、内視鏡観察装置５が内視鏡画像を生成するまでの動作を含んでもよい。
　端末装置１０ａは、情報処理装置１１ａおよび表示装置１２ａを備えて、検査室に設けられる。端末装置１０ａは、医師や看護師等が内視鏡検査中に、撮影されている生体組織に関する情報をリアルタイムに確認するために利用されてよい。
　端末装置１０ｂは、情報処理装置１１ｂおよび表示装置１２ｂを備えて、検査室以外の部屋に設けられる。端末装置１０ｂは、医師が内視鏡検査のレポートを作成する際に利用される。端末装置１０ａ、１０ｂは、汎用ハードウェアを有する１つ以上のプロセッサによって構成される。
　実施形態の医療支援システム１において、内視鏡観察装置５は、内視鏡画像を表示装置６からリアルタイムに表示させるとともに、内視鏡画像を、当該画像のメタ情報とともに、画像解析装置３にリアルタイムに供給する。ここでメタ情報は、画像のフレーム番号、撮影時刻情報を少なくとも含み、フレーム番号は、内視鏡７が撮影を開始してから何フレーム目であるかを示す情報であってよい。
　画像解析装置３は内視鏡画像を解析し、内視鏡画像に含まれる病変を検出して、検出した病変を質的診断する電子計算機（コンピュータ）である。画像解析装置３はＡＩ（artificial intelligence）診断機能を有するＣＡＤ（computer-aided diagnosis）システムであってよい。画像解析装置３は専用ハードウェアを有する１つ以上のプロセッサによって構成されてよいが、汎用ハードウェアを有する１つ以上のプロセッサによって構成されてもよい。
　画像解析装置３は、学習用の内視鏡画像および内視鏡画像に含まれる病変領域に関する情報を教師データとして用いた機械学習により生成された学習済みモデルを利用する。内視鏡画像のアノテーション作業は、医師などの専門知識を有するアノテータにより実施され、機械学習には、ディープラーニングの一種であるＣＮＮ、ＲＮＮ、ＬＳＴＭなどを使用してよい。この学習済みモデルは、内視鏡画像を入力すると、撮影された臓器を示す情報、撮影された部位を示す情報と、撮影された病変に関する情報（病変情報）とを出力する。画像解析装置３が出力する病変情報は、内視鏡画像に病変が含まれているか否かを示す病変有無情報を少なくとも含む。病変が含まれている場合、病変情報は、病変のサイズを示す情報、病変の輪郭の位置を示す情報、病変の形状を示す情報、病変の深達度を示す情報および病変の質的診断結果を含んでよい。病変の質的診断結果は、病変の種類を含む。内視鏡検査中、画像解析装置３は、内視鏡観察装置５から内視鏡画像をリアルタイムに提供されて、内視鏡画像ごとに、臓器を示す情報、部位を示す情報および病変情報を出力する。
　画像解析装置３は、内視鏡画像の画質を認識する機能を有する。画像解析装置３は、画像にボケやブレ、くもりなどが生じているか、または残渣が含まれているかを画像解析により確認して、画像が適切に撮影されているか否かを判定する。画像解析装置３は、内視鏡画像ごとに、画像が適切に撮影されているか否かを示す画質良否情報を出力する。以下、内視鏡画像ごとに出力される、臓器を示す情報、部位を示す情報、病変情報および画質良否情報を、まとめて「画像解析情報」と呼ぶ。
　ユーザがレリーズスイッチを操作（キャプチャ操作）すると、内視鏡観察装置５は、キャプチャ操作したことを示す情報（キャプチャ操作情報）とともに、キャプチャした内視鏡画像のフレーム番号、撮影時刻および画像ＩＤを画像解析装置３に提供する。画像解析装置３はキャプチャ操作情報を取得すると、検査ＩＤとともに、画像ＩＤ、フレーム番号、撮影時刻情報および提供されたフレーム番号の画像解析情報を、サーバ装置２に提供する。ここで、画像ＩＤ、フレーム番号、撮影時刻情報および画像解析情報は、内視鏡画像の特徴や性質を表現する「付加情報」を構成する。画像解析装置３はキャプチャ操作情報を取得すると、検査ＩＤとともに付加情報をサーバ装置２に送信し、サーバ装置２は、検査ＩＤに紐付けて、付加情報を記録する。
　ユーザは内視鏡検査を終了すると、内視鏡観察装置５の検査終了ボタンを操作する。検査終了ボタンの操作情報は、サーバ装置２および画像解析装置３に供給されて、サーバ装置２および画像解析装置３は、当該内視鏡検査の終了を認識する。画像解析装置３は、検査終了情報を受け取ると、内視鏡検査において、レポートに添付するべき病変を含む内視鏡画像を検出したか否かを示す情報を、検査ＩＤとともに、サーバ装置２に提供する。以下、レポートに添付するべき病変を含む内視鏡画像を検出したか否かを示す情報を、「病変画像有無情報」と呼ぶ。たとえば画像解析装置３は、検査中に、病変を含む内視鏡画像を１枚でも検出していれば、レポートに添付するべき内視鏡画像を検出したことを示す病変画像有無情報を、サーバ装置２に提供してよい。一方、画像解析装置３は、検査中に、病変を含む内視鏡画像を１枚も検出していなければ、レポートに添付するべき内視鏡画像を検出しなかったことを示す病変画像有無情報を、サーバ装置２に提供してよい。
　図２は、サーバ装置２の機能ブロックを示す。サーバ装置２は、通信部２０、処理部３０および記憶装置６０を備える。通信部２０は、ネットワーク４を介して、画像解析装置３、内視鏡観察装置５、画像蓄積装置８、端末装置１０ａおよび端末装置１０ｂとの間でデータや指示などの情報を送受信する。処理部３０は、オーダ情報取得部４０、付加情報取得部４２および病変画像有無情報取得部４４を備える。記憶装置６０は、オーダ情報記憶部６２、付加情報記憶部６４および病変画像有無情報記憶部６６を有する。
　サーバ装置２はコンピュータを備え、コンピュータがプログラムを実行することによって、図２に示す各種機能が実現される。コンピュータは、プログラムをロードするメモリ、ロードされたプログラムを実行する１つ以上のプロセッサ、補助記憶装置、その他のＬＳＩなどをハードウェアとして備える。プロセッサは、半導体集積回路やＬＳＩを含む複数の電子回路により構成され、複数の電子回路は、１つのチップ上に搭載されてよく、または複数のチップ上に搭載されてもよい。図２に示す機能ブロックは、ハードウェアとソフトウェアとの連携によって実現され、したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
　オーダ情報取得部４０は、病院情報システムから内視鏡検査のオーダ情報を取得する。たとえばオーダ情報取得部４０は、医療施設における１日の検査業務開始前に、当日分のオーダ情報を病院情報システムから取得して、オーダ情報記憶部６２に記憶する。検査開始前、内視鏡観察装置５または情報処理装置１１ａは、オーダ情報記憶部６２から、これから実施する検査のオーダ情報を読み出して、表示装置に表示してよい。
　付加情報取得部４２は、画像解析装置３から、検査ＩＤおよび内視鏡画像の付加情報を取得し、検査ＩＤに紐付けて付加情報を付加情報記憶部６４に記憶する。内視鏡画像の付加情報は、画像ＩＤ、フレーム番号、撮影時刻情報および画像解析情報を含む。たとえばユーザが、内視鏡検査中にキャプチャ操作を１７回した場合、付加情報取得部４２は、画像解析装置３から、１７枚分の内視鏡画像の付加情報を取得して、付加情報記憶部６４に記憶する。なお画像ＩＤは内視鏡観察装置５によって付与され、内視鏡観察装置５は、画像ＩＤを、撮影時刻順に１から順に付与している。したがって、この場合、１７枚の内視鏡画像には、それぞれ画像ＩＤ１～１７が割り当てられている。
　病変画像有無情報取得部４４は、画像解析装置３から、検査ＩＤおよび病変画像有無情報を取得し、検査ＩＤに紐付けて病変画像有無情報を、病変画像有無情報記憶部６６に記憶する。病変画像有無情報取得部４４は、検査終了後、画像解析装置３から、病変画像有無情報を取得してよい。
　実施形態では、画像解析装置３が内視鏡検査において病変を検出しなかった場合に、情報処理装置１１ｂが、当該検査のレポートに添付する内視鏡画像を自動選択する技術を提案する。したがって実施形態において、病変画像有無情報取得部４４は、検査終了後、画像解析装置３から、レポートに添付するべき病変を含む内視鏡画像を検出しなかったことを示す病変画像有無情報を取得する。
　図３は、キャプチャされた内視鏡画像に紐付けられる付加情報の例を示す。「臓器」の項目には、画像に含まれる臓器を示す情報、つまり撮影された臓器を示す情報が記憶され、「部位」の項目には、画像に含まれる臓器の部位を示す情報、つまり撮影された臓器の部位を示す情報が記憶される。
　病変情報のうち、「有無」の項目には、画像解析装置３により病変が検出されたか否かを示す情報が記憶される。上記したように、実施形態では、画像解析装置３が内視鏡検査において病変を検出していないため、画像ＩＤ１～１７の全ての内視鏡画像の「有無」の項目には、「なし」が記憶されている。
　「サイズ」の項目には、病変の底面の最長径を示す情報が記憶され、「形状」の項目には、病変の輪郭形状を表現する座標情報が記憶され、「診断」の項目には、病変の質的診断結果が記憶される。実施形態では、全ての内視鏡画像に病変が含まれていないため、各項目はブランクに設定される。
　「画質良否」の項目には、画像が適切に撮影されているか否かを示す情報が記憶され、「良い」は、画像が適切に撮影されていることを示し、「悪い」は、画像が適切に撮影されていないことを示す。「撮影時刻」の項目には、画像の撮影時刻を示す情報が記憶される。「撮影時刻」の項目に、フレーム番号が含まれてもよい。
　図４は、情報処理装置１１ｂの機能ブロックを示す。情報処理装置１１ｂは、病変が検出されなかった検査のレポートに添付する内視鏡画像を自動選択する機能を有し、通信部７６、入力部７８、処理部８０および記憶装置１２０を備える。通信部７６は、ネットワーク４を介して、サーバ装置２、画像解析装置３、内視鏡観察装置５、画像蓄積装置８および端末装置１０ａとの間でデータや指示などの情報を送受信する。処理部８０は、操作受付部８２、取得部８４、支援モード設定部９８、優先順位設定部１００、画像選択部１０２、レポート生成部１０４および登録処理部１０６を備え、取得部８４は、画像取得部８６、付加情報取得部８８および病変画像有無情報取得部９０を有する。記憶装置１２０は、画像記憶部１２２、付加情報記憶部１２４および優先順位記憶部１２６を有する。
　情報処理装置１１ｂはコンピュータを備え、コンピュータがプログラムを実行することによって、図４に示す各種機能が実現される。コンピュータは、プログラムをロードするメモリ、ロードされたプログラムを実行する１つ以上のプロセッサ、補助記憶装置、その他のＬＳＩなどをハードウェアとして備える。プロセッサは、半導体集積回路やＬＳＩを含む複数の電子回路により構成され、複数の電子回路は、１つのチップ上に搭載されてよく、または複数のチップ上に搭載されてもよい。図４に示す機能ブロックは、ハードウェアとソフトウェアとの連携によって実現され、したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
　内視鏡検査の終了後、医師であるユーザは情報処理装置１１ｂにユーザＩＤおよびパスワードを入力して、ログインする。ユーザがログインすると、検査レポートを作成するためのアプリケーションが起動して、表示装置１２ｂには、実施済み検査の一覧が表示される。この実施済み検査一覧には、患者名、患者ＩＤ、検査日時、検査項目などの検査情報がリスト表示され、ユーザは、マウスやキーボードなどの入力部７８を操作して、レポート作成の対象となる検査を選択する。操作受付部８２が、検査の選択操作を受け付けると、画像取得部８６が、画像蓄積装置８から、ユーザが選択した検査の検査ＩＤに紐付けられている複数の内視鏡画像を取得して画像記憶部１２２に記憶し、付加情報取得部８８が、サーバ装置２から、ユーザが選択した検査の検査ＩＤに紐付けられている付加情報を取得して付加情報記憶部１２４に記憶する。病変画像有無情報取得部９０は、サーバ装置２から、ユーザが選択した検査の検査ＩＤに紐付けられている病変画像有無情報を取得する。病変画像有無情報は、内視鏡検査において、画像解析装置３がレポートに添付するべき病変を含む内視鏡画像を検出したか否かを示す情報である。
　支援モード設定部９８は、病変画像有無情報に応じて、画像選択部１０２がレポートに添付する画像を自動選択するモードを設定する。画像解析装置３が内視鏡検査において病変を検出しなかったとき、支援モード設定部９８は、画像選択部１０２が優先順位にもとづいてレポート添付画像を選択する第１支援モードを設定する。第１支援モードにおいて画像選択部１０２は、付加情報に関して設定された優先順位にもとづいて、キャプチャされた複数の内視鏡画像の中から、所定量のレポート添付画像を選択する。ここで所定量のレポート添付画像は、キャプチャされた内視鏡画像が静止画像の場合は、所定枚数の静止画像を意味し、キャプチャされた内視鏡画像が動画像の場合は、所定容量（または所定時間）の動画像を意味してよい。
　一方、画像解析装置３が内視鏡検査において病変を検出したとき、支援モード設定部９８は、画像選択部１０２が当該病変を含む内視鏡画像を選択する第２支援モードを設定する。第２支援モードにおいて画像選択部１０２は、キャプチャされた複数の内視鏡画像の中から、画像解析装置３が検出した病変を含むレポート添付画像を選択する。
　以下の実施形態では、病変画像有無情報取得部９０が取得した病変画像有無情報が、画像解析装置３が病変を検出しなかったことを示し、支援モード設定部９８が、第１支援モードを設定したときの処理部８０の動作について説明する。ユーザは検査中に、静止画像である内視鏡画像をキャプチャしている。
　第１支援モードにおいて画像選択部１０２は、付加情報に関して設定された優先順位にもとづいて、レポート添付画像を自動選択する。優先順位は、臓器、部位、撮影タイミングの少なくとも１つに関して設定されてよい。優先順位設定部１００は、ユーザの入力にもとづいて優先順位を設定して、優先順位記憶部１２６に記憶する。たとえばユーザは、複数の優先順位の候補の中から、１つの優先順位を選択してもよい。ユーザが、病変未検出検査におけるレポート添付画像を自動選択するための基準を自ら決定できることで、ユーザや病院施設の好みを反映したレポートを生成できる。レポート添付画像の上限枚数（上限量）も、ユーザが設定してよい。
　図５（ａ）は、臓器に関して設定された優先順位の一例を示す。図５（ａ）に示す優先順位においては、「食道」の優先順位が１位、「胃」の優先順位が２位、「十二指腸」の優先順位が３位と定められている。画像選択部１０２は優先順位にしたがって、ユーザがキャプチャした複数の内視鏡画像の中から、レポート添付画像の上限枚数の範囲内でレポート添付画像を選択する。画像選択部１０２は、各内視鏡画像の付加情報に含まれる臓器を示す情報を参照して、優先順位の一番高い順位から順に１枚ずつレポート添付画像を選択し、一番低い順位のレポート添付画像を選択すると、また一番高い順位から順にレポート添付画像を選択する。
　たとえばレポート添付画像の上限枚数が「５枚」に設定されている場合、画像選択部１０２は、１枚目に、食道を含むレポート添付画像を選択し、２枚目に、胃を含むレポート添付画像を選択し、３枚目に、十二指腸を含むレポート添付画像を選択し、４枚目に、食道を含むレポート添付画像を選択し、５枚目に、胃を含むレポート添付画像を選択する。以上のように実施形態の画像選択部１０２は、上限枚数の範囲内で、設定された優先順位にもとづいて、レポート添付画像を選択する。
　図５（ｂ）は、臓器に関して設定された優先順位の別の例を示す。図５（ｂ）に示す優先順位においては、「胃」の優先順位が１位、「十二指腸」の優先順位が２位、「食道」の優先順位が３位と定められている。図５（ｂ）に示す優先順位が設定され、レポート添付画像の上限枚数が「５枚」に設定されている場合、画像選択部１０２は、１枚目に、胃を含むレポート添付画像を選択し、２枚目に、十二指腸を含むレポート添付画像を選択し、３枚目に、食道を含むレポート添付画像を選択し、４枚目に、胃を含むレポート添付画像を選択し、５枚目に、十二指腸を含むレポート添付画像を選択する。
　図５（ｃ）は、臓器に関して設定された優先順位の別の例を示す。図５（ｃ）に示す優先順位においては、「胃」の優先順位が１位、「食道」の優先順位が２位、「十二指腸」の優先順位が３位と定められている。図５（ｃ）に示す優先順位が設定され、レポート添付画像の上限枚数が「５枚」に設定されている場合、画像選択部１０２は、１枚目に、胃を含むレポート添付画像を選択し、２枚目に、食道を含むレポート添付画像を選択し、３枚目に、十二指腸を含むレポート添付画像を選択し、４枚目に、胃を含むレポート添付画像を選択し、５枚目に、食道を含むレポート添付画像を選択する。
　上記したように優先順位設定部１００は、ユーザの入力にもとづいて優先順位を設定する。画像選択部１０２は、ユーザが定めた優先順位にしたがってレポート添付画像を選択することで、後述するレポート生成部１０４が、ユーザの要望に沿ったレポートを生成できるようになる。なお図５（ａ）～（ｃ）に示した臓器に関する優先順位は例示であり、ユーザは、臓器に関する優先順位を自由に定めてよい。
　図６は、臓器の部位に関して設定された優先順位の一例を示す。この優先順位は、各臓器における部位の優先順位を定めている。図６に示す優先順位によると、「食道」において、「頸部」の優先順位が１位、「胸部」の優先順位が２位、「腹部」の優先順位が３位と定められ、「胃」において、「前庭部」の優先順位が１位、「角部」の優先順位が２位、「体部」の優先順位が３位と定められ、「十二指腸」において、「下行部」の優先順位が１位、「球部」の優先順位が２位、「副乳頭」の優先順位が３位と定められている。なお図６に示す優先順位は一例であり、ユーザは、各臓器における部位の優先順位を任意に定めてよい。
　画像選択部１０２は、臓器に関して設定された優先順位（たとえば図５（ａ）～（ｃ）のいずれかに示される優先順位）と、部位に関して設定された優先順位とにもとづいて、レポート添付画像を選択してよい。以下、画像選択部１０２が、図５（ａ）に示す臓器に関する優先順位（以下、単に「臓器順位」と呼ぶ）と、図６に示す部位に関する優先順位（以下、単に「部位順位」と呼ぶ）とにもとづいて、レポート添付画像を選択する動作について説明する。画像選択部１０２は、図５（ａ）に示す臓器順位により特定される臓器を含む内視鏡画像を特定し、当該臓器を含む複数の内視鏡画像が取得されている場合に、図６に示す部位順位にもとづいて、当該臓器を含む複数の内視鏡画像の中からレポート添付画像を選択する。
　画像選択部１０２は、図５（ａ）に示す臓器順位と、図６に示す部位順位とから、レポート添付画像を選択する臓器と部位の組み合わせの優先順位を特定する。
（順位特定ステップ１）
　画像選択部１０２は、図５（ａ）に示す臓器順位から、１枚目に選択するレポート添付画像が「食道」を含む画像であることを認識すると、図６に示す部位順位から「食道」において「頸部」の優先順位が１位であることを認識して、（食道、頸部）の組み合わせが優先順位１位であることを特定する。
（順位特定ステップ２）
　画像選択部１０２は、図５（ａ）に示す臓器順位から、２枚目に選択するレポート添付画像が「胃」を含む画像であることを認識すると、図６に示す部位順位から「胃」において「前庭部」の優先順位が１位であることを認識して、（胃、前庭部）の組み合わせが優先順位２位であることを特定する。
（順位特定ステップ３）
　画像選択部１０２は、図５（ａ）に示す臓器順位から、３枚目に選択するレポート添付画像が「十二指腸」を含む画像であることを認識すると、図６に示す部位順位から「十二指腸」において「下行部」の優先順位が１位であることを認識して、（十二指腸、下行部）の組み合わせが優先順位３位であることを特定する。
（順位特定ステップ４）
　画像選択部１０２は、図５（ａ）に示す臓器順位から、４枚目に選択するレポート添付画像が「食道」を含む画像であることを認識すると、図６に示す部位順位から「食道」において「胸部」の優先順位が２位であることを認識して、（食道、胸部）の組み合わせが優先順位４位であることを特定する。
（順位特定ステップ５）
　画像選択部１０２は、図５（ａ）に示す臓器順位から、５枚目に選択するレポート添付画像が「胃」を含む画像であることを認識すると、図６に示す部位順位から「胃」において「角部」の優先順位が２位であることを認識して、（胃、角部）の組み合わせが優先順位５位であることを特定する。
（順位特定ステップ６）
　画像選択部１０２は、図５（ａ）に示す臓器順位から、６枚目に選択するレポート添付画像が「十二指腸」を含む画像であることを認識すると、図６に示す部位順位から「十二指腸」において「球部」の優先順位が２位であることを認識して、（十二指腸、球部）の組み合わせが優先順位６位であることを特定する。
（順位特定ステップ７）
　画像選択部１０２は、図５（ａ）に示す臓器順位から、７枚目に選択するレポート添付画像が「食道」を含む画像であることを認識すると、図６に示す部位順位から「食道」において「腹部」の優先順位が３位であることを認識して、（食道、腹部）の組み合わせが優先順位７位であることを特定する。
（順位特定ステップ８）
　画像選択部１０２は、図５（ａ）に示す臓器順位から、８枚目に選択するレポート添付画像が「胃」を含む画像であることを認識すると、図６に示す部位順位から「胃」において「体部」の優先順位が３位であることを認識して、（胃、体部）の組み合わせが優先順位８位であることを特定する。
（順位特定ステップ９）
　画像選択部１０２は、図５（ａ）に示す臓器順位から、９枚目に選択するレポート添付画像が「十二指腸」を含む画像であることを認識すると、図６に示す部位順位から「十二指腸」において「副乳頭」の優先順位が３位であることを認識して、（十二指腸、副乳頭）の組み合わせが優先順位９位であることを特定する。
　図７は、図５（ａ）に示す臓器順位と、図６に示す部位順位とから特定される優先順位を示す。
　上限枚数が５枚である場合、画像選択部１０２は、図７に示す優先順位にしたがって、１枚目に、食道の頸部を含むレポート添付画像を選択し、２枚目に、胃の前庭部を含むレポート添付画像を選択し、３枚目に、十二指腸の下行部を含むレポート添付画像を選択し、４枚目に、食道の胸部を含むレポート添付画像を選択し、５枚目に、胃の角部を含むレポート添付画像を選択する。以上のように画像選択部１０２は、上限枚数の範囲内で、臓器および部位に関して導出される優先順位にもとづいて、レポート添付画像を選択してよい。
　なお（臓器，部位）の組み合わせを付加情報に含む内視鏡画像が存在しない場合、画像選択部１０２は、同一臓器において、より優先順位の低い部位を含むレポート添付画像を選択する。たとえば画像選択部１０２が、十二指腸の下行部を含むレポート添付画像を選択しようとした場合に、十二指腸の下行部を含む内視鏡画像が存在しなければ、十二指腸の球部を含むレポート添付画像を選択する。なお十二指腸の球部を含む内視鏡画像も存在しなければ、画像選択部１０２は、十二指腸の副乳頭を含むレポート添付画像を選択する。このように画像選択部１０２は、臓器順位にもとづいてレポート添付画像を選択することで、各臓器のレポート添付画像を満遍なく選択できる。
　図８（ａ）は、撮影した順番に関して設定された優先順位の例を示す。撮影順に関して設定された優先順位は、同じ臓器または同じ部位を含む複数の内視鏡画像が取得されている場合に、当該臓器または当該部位を含む複数の内視鏡画像の中から１枚のレポート添付画像を選択するために用いられる。
　優先順位設定部１００は、最初のタイミングで撮影された内視鏡画像を優先して選択する第１優先基準、中間のタイミングで撮影された内視鏡画像を優先して選択する第２優先基準、最後のタイミングで撮影された内視鏡画像を優先して選択する第３優先基準のいずれかを、撮影した順番に関する前記優先順位として設定する。図８（ａ）に示す例では、第１優先基準が設定されている。
　たとえば、画像選択のための優先順位として、図５（ａ）に示す臓器順位と、図８（ａ）に示す撮影順の優先順位とが設定されている場合、画像選択部１０２は、食道を含む内視鏡画像の付加情報に含まれる撮影時刻を示す情報を参照して、最も撮影順の早い食道を含む内視鏡画像を、１枚目のレポート添付画像として選択する。
　図８（ｂ）は、撮影した順番に関して設定された優先順位の別の例を示す。図８（ｂ）に示す例では、第２優先基準が設定されている。第２優先基準が設定されている場合、画像選択部１０２は、複数の内視鏡画像の中から、撮影順が中間のタイミングである内視鏡画像を、レポート添付画像として選択する。
　図８（ｃ）は、撮影した順番に関して設定された優先順位の別の例を示す。図８（ｃ）に示す例では、第３優先基準が設定されている。第３優先基準が設定されている場合、画像選択部１０２は、複数の内視鏡画像の中から、最も撮影順の遅い内視鏡画像を、レポート添付画像として選択する。このように画像選択部１０２は、撮影順の優先順位を加味することで、レポート添付画像を１枚に絞ることが可能となる。
　以下、画像選択部１０２が、図５（ａ）に示す臓器順位と、図６に示す部位順位と、図８（ｃ）に示す撮影順の優先順位とにもとづいて、レポート添付画像を選択する手順について説明する。レポート添付画像の上限枚数は「５枚」に設定されている。検査中に取得された内視鏡画像は１７枚であり、付加情報取得部８８は、図３に示す内視鏡画像の付加情報を取得して、付加情報記憶部１２４に記憶する。
（１枚目のレポート添付画像の選択手順）
　画像選択部１０２は、臓器順位と部位順位から、（食道、頸部）の組み合わせが優先順位１位であることを特定すると、各内視鏡画像の付加情報を参照して、（食道、頸部）の画像解析情報をもつ内視鏡画像を探索する。ここで図３を参照すると、画像ＩＤ１の内視鏡画像が該当し、したがって画像選択部１０２は、画像ＩＤ１の内視鏡画像を、１枚目のレポート添付画像として選択する。
（２枚目のレポート添付画像の選択手順）
　画像選択部１０２は、臓器順位と部位順位から、（胃、前庭部）の組み合わせが優先順位２位であることを特定すると、各内視鏡画像の付加情報を参照して、（胃、前庭部）の画像解析情報をもつ内視鏡画像を探索する。ここで図３を参照すると、画像ＩＤ１３，１４の２枚の内視鏡画像が該当する。図８（ｃ）に示す撮影順の優先順位は、最後のタイミングで撮影された内視鏡画像を優先して選択する第３優先基準に設定されているため、画像選択部１０２は、撮影時刻の遅い画像ＩＤ１４の内視鏡画像を、２枚目のレポート添付画像として選択する。
（３枚目のレポート添付画像の選択手順）
　画像選択部１０２は、臓器順位と部位順位から、（十二指腸、下行部）の組み合わせが優先順位３位であることを特定すると、各内視鏡画像の付加情報を参照して、（十二指腸、下行部）の画像解析情報をもつ内視鏡画像を探索する。図３を参照すると、（十二指腸、下行部）の画像解析情報をもつ内視鏡画像は存在していないため、画像選択部１０２は、十二指腸において部位順位が１つ低い「球部」の画像解析情報をもつ内視鏡画像を探索する。図３において、画像ＩＤ１５の内視鏡画像が該当する。
　画像選択部１０２は、画像ＩＤ１５に紐付けられている「画質良否」の項目を参照して、適切に撮影されていないことを示す「悪い」が記憶されていることを認識すると、画像ＩＤ１５の内視鏡画像をレポート添付画像として選択しないことを決定する。そのため画像選択部１０２は、十二指腸において部位順位がさらに１つ低い「副乳頭」の画像解析情報をもつ内視鏡画像を探索する。ここで図３を参照すると、画像ＩＤ１６，１７の２枚の内視鏡画像が該当する。図８（ｃ）に示す撮影順の優先順位が第３優先基準に設定されているため、画像選択部１０２は、撮影時刻の遅い画像ＩＤ１７の内視鏡画像を、３枚目のレポート添付画像として選択する。
（４枚目のレポート添付画像の選択手順）
　画像選択部１０２は、臓器順位と部位順位から、（食道、胸部）の組み合わせが優先順位４位であることを特定すると、各内視鏡画像の付加情報を参照して、（食道、胸部）の画像解析情報をもつ内視鏡画像を探索する。ここで図３を参照すると、画像ＩＤ２，３の２枚の内視鏡画像が該当する。
　画像選択部１０２は、画像ＩＤ２，３に紐付けられている「画質良否」の項目を参照して、画像ＩＤ２の「画質良否」の項目に「悪い」が記憶されていることを認識する。したがって画像選択部１０２は、画像ＩＤ２の内視鏡画像をレポート添付画像として選択しないことを決定し、画像ＩＤ３の内視鏡画像を、４枚目のレポート添付画像として選択する。
（５枚目のレポート添付画像の選択手順）
　画像選択部１０２は、臓器順位と部位順位から、（胃、角部）の組み合わせが優先順位５位であることを特定すると、各内視鏡画像の付加情報を参照して、（胃、角部）の画像解析情報をもつ内視鏡画像を探索する。ここで図３を参照すると、画像ＩＤ９，１０，１１，１２の４枚の内視鏡画像が該当する。
　画像選択部１０２は、画像ＩＤ９，１０，１１，１２に紐付けられている「画質良否」の項目を参照して、画像ＩＤ９の「画質良否」の項目に「悪い」が記憶されていることを認識すると、画像ＩＤ９の内視鏡画像をレポート添付画像として選択しないことを決定する。続いて画像選択部１０２は、図８（ｃ）に示す撮影順の優先順位にもとづいて、撮影時刻が最後である画像ＩＤ１２の内視鏡画像を、５枚目のレポート添付画像として選択する。
　以上の選択手順により、画像選択部１０２は、上限枚数である５枚のレポート添付画像を選択する。ユーザが優先順位を事前に設定することで、レポートには、ユーザの好みを反映した内視鏡画像が自動で添付されることになる。
　図９は、自動生成されるレポートの例を示す。支援モード設定部９８が第１支援モードを設定しているとき、上記したように画像選択部１０２が、付加情報に関して設定された優先順位にもとづいてレポート添付画像を選択し、レポート生成部１０４が、選択されたレポート添付画像を用いて、レポートを自動生成する。
　図１０は、自動生成したレポートの例を示す。レポート生成部１０４は、病変がないことを示す情報と、画像選択部１０２により選択されたレポート添付画像とを含むレポートを生成して、表示装置１２ｂに表示する。画像選択部１０２がレポート添付画像を選択すると、レポート生成部１０４は、検査オーダの内容、異常所見がないことを示す診断内容およびレポート添付画像を含むレポートを生成してよい。ユーザは、表示装置１２ｂに表示されたレポートを確認して、所定の登録ボタン（図示せず）を操作することで、登録処理部１０６が、自動生成されたレポートをサーバ装置２に登録してよい。
　以上、本開示を実施形態をもとに説明した。実施形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。
　図１０は、臓器と部位の組み合わせに関して設定された優先順位の変形例を示す。実施形態においては、図５（ａ）～図５（ｃ）に示す臓器順位と、図６（ａ）～図６（ｂ）に示す部位順位の組み合わせにより優先順位が設定されるが、図１０に示す優先順位は、臓器と部位の組み合わせに対して定められる。以下、画像選択部１０２が、図１０に示す優先順位と、図８（ｃ）に示す撮影順の優先順位とにもとづいて、レポート添付画像を選択する手順について説明する。レポート添付画像の上限枚数は「５枚」に設定されている。付加情報取得部８８は、図３に示す内視鏡画像の付加情報を取得して、付加情報記憶部１２４に記憶する。
（１枚目のレポート添付画像の選択手順）
　画像選択部１０２は、（食道、頸部）の組み合わせが優先順位１位であることを認識すると、各内視鏡画像の付加情報を参照して、（食道、頸部）の画像解析情報をもつ内視鏡画像を探索する。ここで図３を参照すると、画像ＩＤ１の内視鏡画像が該当し、したがって画像選択部１０２は、画像ＩＤ１の内視鏡画像を、１枚目のレポート添付画像として選択する。
（２枚目のレポート添付画像の選択手順）
　画像選択部１０２は、（食道、胸部）の組み合わせが優先順位２位であることを認識すると、各内視鏡画像の付加情報を参照して、（食道、胸部）の画像解析情報をもつ内視鏡画像を探索する。ここで図３を参照すると、画像ＩＤ２，３の２枚の内視鏡画像が該当する。
　画像選択部１０２は、画像ＩＤ２，３に紐付けられている「画質良否」の項目を参照して、画像ＩＤ２の「画質良否」の項目に「悪い」が記憶されていることを認識する。したがって画像選択部１０２は、画像ＩＤ２の内視鏡画像をレポート添付画像として選択しないことを決定し、画像ＩＤ３の内視鏡画像を、２枚目のレポート添付画像として選択する。
（３枚目のレポート添付画像の選択手順）
　画像選択部１０２は、（食道、腹部）の組み合わせが優先順位３位であることを認識すると、各内視鏡画像の付加情報を参照して、（食道、腹部）の画像解析情報をもつ内視鏡画像を探索する。ここで図３を参照すると、画像ＩＤ４，５の２枚の内視鏡画像が該当する。図８（ｃ）に示す撮影順の優先順位は、最後のタイミングで撮影された内視鏡画像を優先して選択する第３優先基準に設定されているため、画像選択部１０２は、撮影時刻の遅い画像ＩＤ５の内視鏡画像を、３枚目のレポート添付画像として選択する。
（４枚目のレポート添付画像の選択手順）
　画像選択部１０２は、（胃、体部）の組み合わせが優先順位４位であることを認識すると、各内視鏡画像の付加情報を参照して、（胃、体部）の画像解析情報をもつ内視鏡画像を探索する。ここで図３を参照すると、画像ＩＤ６，７，８の３枚の内視鏡画像が該当する。図８（ｃ）に示す撮影順の優先順位は第３優先基準に設定されているため、画像選択部１０２は、撮影時刻が最後である画像ＩＤ８の内視鏡画像を、４枚目のレポート添付画像として選択する。
（５枚目のレポート添付画像の選択手順）
　画像選択部１０２は、（胃、角部）の組み合わせが優先順位５位であることを特定すると、各内視鏡画像の付加情報を参照して、（胃、角部）の画像解析情報をもつ内視鏡画像を探索する。ここで図３を参照すると、画像ＩＤ９，１０，１１，１２の４枚の内視鏡画像が該当する。
　画像選択部１０２は、画像ＩＤ９，１０，１１，１２に紐付けられている「画質良否」の項目を参照して、画像ＩＤ９の「画質良否」の項目に「悪い」が記憶されていることを認識すると、画像ＩＤ９の内視鏡画像をレポート添付画像として選択しないことを決定する。続いて画像選択部１０２は、図８（ｃ）に示す撮影順の優先順位にもとづいて、撮影時刻が最後である画像ＩＤ１２の内視鏡画像を、５枚目のレポート添付画像として選択する。
　以上の選択手順により、画像選択部１０２は、上限枚数である５枚のレポート添付画像を選択する。ユーザが、臓器と部位の全ての組み合わせに対する優先順位を事前に設定することで、レポートには、ユーザの好みを反映した内視鏡画像が自動で添付されることになる。
　図１１は、臓器と部位の組み合わせに関して設定された優先順位の変形例を示す。この例では、臓器と部位の組み合わせに対して、さらに撮影タイミングの優先順位が対応付けられている。このように臓器と部位の組み合わせに対して、撮影タイミングの優先順位を設定できることで、ユーザの好みをより細かく反映したレポート添付画像を選択できるようになる。
　実施形態において、ユーザは、レポート添付画像の上限枚数（上限量）を設定できることを説明した。ユーザは、上限枚数を、０枚から選択できてよい。ユーザが上限枚数を０枚に設定することで、支援モード設定部９８が第１支援モードを設定したとき、画像選択部１０２は、レポート添付画像を自動選択しないように動作する。
　実施形態では、内視鏡検査が上部内視鏡検査である場合について説明したが、内視鏡検査は下部内視鏡検査であってもよい。優先順位設定部１００は、ユーザの入力にもとづいて、検査項目ごとに優先順位を設定してよい。たとえば優先順位設定部１００は、上部内視鏡検査のレポートに対して、撮影タイミングに関する優先順位を第３優先基準に設定し、下部内視鏡検査のレポートに対して、撮影タイミングに関する優先順位を第２優先基準に設定してよい。この場合、画像選択部１０２は、上部内視鏡検査のレポート添付画像を、第３優先基準にもとづいて選択し、一方、下部内視鏡検査のレポート添付画像を、第２優先基準にもとづいて選択する。下部内視鏡検査の対象となる臓器は長いため、下部内視鏡検査において中間のタイミングでキャプチャした画像は、当該臓器の状態を表すレポート添付画像として好ましい。
　実施形態では、内視鏡観察装置５がキャプチャ画像を画像蓄積装置８に送信しているが、変形例では、画像解析装置３がキャプチャ画像を画像蓄積装置８に送信してもよい。また実施形態では情報処理装置１１ｂが処理部８０を有しているが、変形例ではサーバ装置２が処理部８０を有してもよい。
　本開示は、レポートの作成を支援する技術分野に利用できる。
１・・・医療支援システム、２・・・サーバ装置、３・・・画像解析装置、４・・・ネットワーク、５・・・内視鏡観察装置、６・・・表示装置、７・・・内視鏡、８・・・画像蓄積装置、９・・・内視鏡システム、１０ａ，１０ｂ・・・端末装置、１１ａ，１１ｂ・・・情報処理装置、１２ａ，１２ｂ・・・表示装置、２０・・・通信部、３０・・・処理部、４０・・・オーダ情報取得部、４２・・・付加情報取得部、４４・・・病変画像有無情報取得部、６０・・・記憶装置、６２・・・オーダ情報記憶部、６４・・・付加情報記憶部、６６・・・病変画像有無情報記憶部、７６・・・通信部、７８・・・入力部、８０・・・処理部、８２・・・操作受付部、８４・・・取得部、８６・・・画像取得部、８８・・・付加情報取得部、９０・・・病変画像有無情報取得部、９８・・・支援モード設定部、１００・・・優先順位設定部、１０２・・・画像選択部、１０４・・・レポート生成部、１０６・・・登録処理部、１２０・・・記憶装置、１２２・・・画像記憶部、１２４・・・付加情報記憶部、１２６・・・優先順位記憶部。

Claims (15)

  1. 　医療支援システムであって、ハードウェアを有する１つ以上のプロセッサを備え、
    　前記１つ以上のプロセッサは、
    　内視鏡検査で撮影された複数の内視鏡画像を取得し、
    　複数の前記内視鏡画像のそれぞれの付加情報を取得し、
    　コンピュータが内視鏡検査において、レポートに添付するべき病変を含む内視鏡画像を検出しなかったとき、前記付加情報に関して設定された優先順位にもとづいて、複数の前記内視鏡画像の中から所定量のレポート添付画像を選択し、
    　病変がないことを示す情報と、前記レポート添付画像とを含むレポートを生成する、
    　ことを特徴とする医療支援システム。
  2. 　前記１つ以上のプロセッサは、
    　前記コンピュータが内視鏡検査において、レポートに添付するべき病変を含む内視鏡画像を検出しなかったとき、前記優先順位にもとづいて前記レポート添付画像を選択し、
    　前記コンピュータが内視鏡検査において、レポートに添付するべき病変を含む内視鏡画像を検出したとき、複数の前記内視鏡画像の中から、前記病変を含む前記レポート添付画像を選択する、
    　ことを特徴とする請求項１に記載の医療支援システム。
  3. 　前記１つ以上のプロセッサは、
    　ユーザの入力にもとづいて、前記優先順位を設定する、
    　ことを特徴とする請求項１に記載の医療支援システム。
  4. 　前記１つ以上のプロセッサは、
    　ユーザの入力にもとづいて、検査項目ごとに前記優先順位を設定する、
    　ことを特徴とする請求項３に記載の医療支援システム。
  5. 　前記付加情報は、前記内視鏡画像に含まれる臓器を示す情報を含み、
    　前記１つ以上のプロセッサは、
    　臓器に関して設定された優先順位にもとづいて、前記レポート添付画像を選択する、
    　ことを特徴とする請求項１に記載の医療支援システム。
  6. 　前記付加情報は、前記内視鏡画像に含まれる臓器の部位を示す情報を含み、
    　前記１つ以上のプロセッサは、
    　臓器の部位に関して設定された優先順位にもとづいて、前記レポート添付画像を選択する、
    　ことを特徴とする請求項５に記載の医療支援システム。
  7. 　前記付加情報は、前記内視鏡画像を撮影した順番を示す情報を含み、
    　前記１つ以上のプロセッサは、
    　同じ臓器または同じ部位を含む複数の前記内視鏡画像が取得されている場合に、撮影した順番に関して設定された優先順位にもとづいて、当該臓器または当該部位を含む複数の前記内視鏡画像の中から前記レポート添付画像を選択する、
    　ことを特徴とする請求項１に記載の医療支援システム。
  8. 　前記１つ以上のプロセッサは、
    　最初のタイミングで撮影された前記内視鏡画像を優先して選択する第１優先基準、中間のタイミングで撮影された前記内視鏡画像を優先して選択する第２優先基準、最後のタイミングで撮影された前記内視鏡画像を優先して選択する第３優先基準のいずれかを、撮影した順番に関する前記優先順位として設定する、
    　ことを特徴とする請求項７に記載の医療支援システム。
  9. 　前記１つ以上のプロセッサは、
    　同じ臓器を含む複数の前記内視鏡画像が取得されている場合に、臓器の部位に関して設定された前記優先順位にもとづいて、当該臓器を含む複数の前記内視鏡画像の中から前記レポート添付画像を選択する、
    　ことを特徴とする請求項６に記載の医療支援システム。
  10. 　前記１つ以上のプロセッサは、
    　臓器と部位の組み合わせに関して設定された優先順位にもとづいて、前記レポート添付画像を選択する、
    　ことを特徴とする請求項６に記載の医療支援システム。
  11. 　前記１つ以上のプロセッサは、
    　ユーザの入力にもとづいて、前記レポート添付画像の上限量を設定し、
    　ユーザは、当該上限量を０枚から選択できる、
    　ことを特徴とする請求項１に記載の医療支援システム。
  12. 　内視鏡検査は、上部内視鏡検査と下部内視鏡検査を含み、
    　前記１つ以上のプロセッサは、
    　上部内視鏡検査の前記レポート添付画像を、前記第３優先基準にもとづいて選択し、
    　下部内視鏡検査の前記レポート添付画像を、前記第２優先基準にもとづいて選択する、
    　ことを特徴とする請求項８に記載の医療支援システム。
  13. 　前記１つ以上のプロセッサは、
    　適切に撮影されていないことを示す情報が前記付加情報に含まれている前記内視鏡画像を、前記レポート添付画像として選択しない、
    　ことを特徴とする請求項１に記載の医療支援システム。
  14. 　医療支援方法であって、
    　内視鏡検査で撮影された複数の内視鏡画像を取得し、
    　複数の前記内視鏡画像のそれぞれの付加情報を取得し、
    　コンピュータが内視鏡検査において、レポートに添付するべき病変を含む内視鏡画像を検出しなかったとき、前記付加情報に関して設定された優先順位にもとづいて、複数の前記内視鏡画像の中から所定量のレポート添付画像を選択し、
    　病変がないことを示す情報と、前記レポート添付画像とを含むレポートを生成する、
    　ことを特徴とする医療支援方法。
  15. 　コンピュータに、
    　内視鏡検査で撮影された複数の内視鏡画像を取得する機能と、
    　複数の前記内視鏡画像のそれぞれの付加情報を取得する機能と、
    　別のコンピュータが内視鏡検査において、レポートに添付するべき病変を含む内視鏡画像を検出しなかったとき、前記付加情報に関して設定された優先順位にもとづいて、複数の前記内視鏡画像の中から所定量のレポート添付画像を選択する機能と、
    　病変がないことを示す情報と、前記レポート添付画像とを含むレポートを生成する機能と、を実現させるためのプログラムを記録した記録媒体。
PCT/JP2022/001461 2022-01-17 2022-01-17 医療支援システムおよび医療支援方法 WO2023135815A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2022/001461 WO2023135815A1 (ja) 2022-01-17 2022-01-17 医療支援システムおよび医療支援方法
JP2023573810A JPWO2023135815A5 (ja) 2022-01-17 医療支援システム、レポート作成支援方法および情報処理装置
US18/746,796 US20240339186A1 (en) 2022-01-17 2024-06-18 Medical support system, report creation support method, and information processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/001461 WO2023135815A1 (ja) 2022-01-17 2022-01-17 医療支援システムおよび医療支援方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/746,796 Continuation US20240339186A1 (en) 2022-01-17 2024-06-18 Medical support system, report creation support method, and information processing apparatus

Publications (1)

Publication Number Publication Date
WO2023135815A1 true WO2023135815A1 (ja) 2023-07-20

Family

ID=87278696

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/001461 WO2023135815A1 (ja) 2022-01-17 2022-01-17 医療支援システムおよび医療支援方法

Country Status (2)

Country Link
US (1) US20240339186A1 (ja)
WO (1) WO2023135815A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015181594A (ja) * 2014-03-20 2015-10-22 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP2017130137A (ja) * 2016-01-22 2017-07-27 オリンパス株式会社 内視鏡レポート作成支援システム
WO2019220801A1 (ja) * 2018-05-15 2019-11-21 富士フイルム株式会社 内視鏡画像処理装置、内視鏡画像処理方法、及びプログラム
JP2020081332A (ja) * 2018-11-22 2020-06-04 富士フイルム株式会社 内視鏡情報管理システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015181594A (ja) * 2014-03-20 2015-10-22 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP2017130137A (ja) * 2016-01-22 2017-07-27 オリンパス株式会社 内視鏡レポート作成支援システム
WO2019220801A1 (ja) * 2018-05-15 2019-11-21 富士フイルム株式会社 内視鏡画像処理装置、内視鏡画像処理方法、及びプログラム
JP2020081332A (ja) * 2018-11-22 2020-06-04 富士フイルム株式会社 内視鏡情報管理システム

Also Published As

Publication number Publication date
US20240339186A1 (en) 2024-10-10
JPWO2023135815A1 (ja) 2023-07-20

Similar Documents

Publication Publication Date Title
US10433709B2 (en) Image display device, image display method, and program
JP2017108792A (ja) 内視鏡業務支援システム
JP6284439B2 (ja) 医療情報処理システム
JP5492729B2 (ja) 内視鏡画像記録装置、及び内視鏡画像記録装置の作動方法、並びにプログラム
JP2009022446A (ja) 医療における統合表示のためのシステム及び方法
JP7270658B2 (ja) 画像記録装置、画像記録装置の作動方法および画像記録プログラム
US20140300719A1 (en) Inspection management apparatus, system, and method, and computer readable recording medium
US20220361739A1 (en) Image processing apparatus, image processing method, and endoscope apparatus
JP2017099509A (ja) 内視鏡業務支援システム
JP5593008B1 (ja) 画像処理装置及び画像処理方法
KR100751160B1 (ko) 의료용 화상 기록 시스템
JP2017086685A (ja) 内視鏡業務支援システム
WO2023135815A1 (ja) 医療支援システムおよび医療支援方法
JP2018047067A (ja) 画像処理プログラム、画像処理方法および画像処理装置
JP2008220839A (ja) 画像ファイリングシステムおよび画像表示システム
JP7314394B2 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び内視鏡検査支援プログラム
WO2023135816A1 (ja) 医療支援システムおよび医療支援方法
JP2008264313A (ja) 内視鏡システム
WO2023145078A1 (ja) 医療支援システムおよび医療支援方法
JP4027842B2 (ja) 医療用画像記録装置
JP4615842B2 (ja) 内視鏡システムおよび内視鏡画像処理装置
WO2023166647A1 (ja) 医療支援システムおよび画像表示方法
JP2017130137A (ja) 内視鏡レポート作成支援システム
WO2023175916A1 (ja) 医療支援システムおよび画像表示方法
US20230420115A1 (en) Medical care assistance system and input assistance method for medical care information

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22920340

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023573810

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE