WO2021024301A1 - コンピュータプログラム、内視鏡用プロセッサ、及び情報処理方法 - Google Patents

コンピュータプログラム、内視鏡用プロセッサ、及び情報処理方法 Download PDF

Info

Publication number
WO2021024301A1
WO2021024301A1 PCT/JP2019/030488 JP2019030488W WO2021024301A1 WO 2021024301 A1 WO2021024301 A1 WO 2021024301A1 JP 2019030488 W JP2019030488 W JP 2019030488W WO 2021024301 A1 WO2021024301 A1 WO 2021024301A1
Authority
WO
WIPO (PCT)
Prior art keywords
inspection
endoscope
information
inspection location
image
Prior art date
Application number
PCT/JP2019/030488
Other languages
English (en)
French (fr)
Inventor
祐一 河端
Original Assignee
Hoya株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hoya株式会社 filed Critical Hoya株式会社
Priority to JP2021538526A priority Critical patent/JP7189355B2/ja
Priority to PCT/JP2019/030488 priority patent/WO2021024301A1/ja
Priority to US17/420,454 priority patent/US20220084194A1/en
Priority to DE112019007602.7T priority patent/DE112019007602T5/de
Publication of WO2021024301A1 publication Critical patent/WO2021024301A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Definitions

  • This technology relates to computer programs, endoscope processors, and information processing methods.
  • one or more examination target parts are predetermined for each patient who is a subject, and the inside of the patient's body cavity is imaged for the examination target part according to a prescribed procedure to perform image diagnosis.
  • a person in charge of endoscopic examination inserts the endoscope insertion part into the body cavity into the patient, and while confirming the position of the tip of the insertion part of the endoscope in the body cavity, a predetermined examination is performed. Reach the target site. Then, while checking the image on the monitor screen each time it arrives, the still image is taken by pressing the button for still image shooting while finely adjusting the shooting position and direction.
  • the number of captured images may be several to 20 or more in one examination, and it is desirable for a large number of people to be examined in a short time in the medical field, so the person in charge of examination is accurate and quick. Imaging work is required. Under such circumstances, it is especially easy for inconveniences to occur, such as failure to image a part of the inspection site, and if failure to take an image at the required inspection site, accurate diagnosis becomes difficult. In addition, the burden on the patient becomes large in order to retake the image with an endoscope by re-examination in order to obtain an image that has been missed.
  • Patent Document 1 discloses an endoscopic business support system that can easily confirm whether or not an examination has been performed according to an examination protocol in a medical facility that defines an examination protocol.
  • the purpose of this disclosure is to provide a computer program or the like that can efficiently derive information on inspection contents.
  • the computer program in one aspect of the present disclosure acquires the inspection location information regarding the inspection location included in the target portion of the inspection using the endoscope, and acquires and acquires the endoscopic image taken by the endoscope. Based on the image analysis of the endoscope image, it is determined whether or not the endoscope has reached the inspection point, and when the endoscope reaches the inspection point, a notification is output. Let the computer do it.
  • FIG. It is explanatory drawing which shows the appearance of the diagnosis support system. It is explanatory drawing explaining the structure of the diagnosis support system in Embodiment 1.
  • FIG. It is a figure which shows the content example of the information stored in the inspector DB. It is a figure which shows the content example of the information stored in the inspection place DB. It is explanatory drawing about the generation process of a trained model.
  • FIG. 1 is an explanatory diagram showing the appearance of the diagnosis support system 100.
  • the diagnostic support system 100 includes an endoscope processor 20, an endoscope 40, and a display device 50.
  • the display device 50 is, for example, a liquid crystal display device or an organic EL (Electro Luminescence) display device.
  • the display device 50 is installed on the upper stage of the storage shelf 16 with casters.
  • the endoscope processor 20 is housed in the middle stage of the storage shelf 16.
  • the storage shelf 16 is arranged in the vicinity of an endoscopy bed (not shown).
  • the storage shelf 16 has a pull-out shelf on which the keyboard 15 connected to the endoscope processor 20 is mounted.
  • the endoscope processor 20 has a substantially rectangular parallelepiped shape and is provided with a touch panel 25 on one surface.
  • a reading unit 28 is arranged at the bottom of the touch panel 25.
  • the reading unit 28 is a connection interface for reading and writing a portable recording medium such as a USB connector, an SD (Secure Digital) card slot, or a CD-ROM (Compact Disc Read Only Memory) drive.
  • the endoscope 40 has an insertion unit 44, an operation unit 43, a light guide flexible tube 49, and a scope connector 48.
  • the operation unit 43 is provided with a control button 431.
  • the insertion portion 44 is long and one end thereof is connected to the operation portion 43 via the folding portion 45.
  • the insertion portion 44 has a soft portion 441, a curved portion 442, and a tip portion 443 in this order from the operation portion 43 side.
  • the bending portion 442 bends in response to the operation of the bending knob 433.
  • Physical detection devices such as a 3-axis acceleration sensor, a gyro sensor, a geomagnetic sensor, or a magnetic coil sensor are mounted on the insertion unit 44, and when the endoscope 40 is inserted into the body of the subject, the physical detection devices are used. The detection result of the above may be acquired.
  • the light guide flexible tube 49 is long, and the first end is connected to the operation unit 43 and the second end is connected to the scope connector 48.
  • the light guide flexible tube 49 is flexible.
  • the scope connector 48 has a substantially rectangular parallelepiped shape.
  • the scope connector 48 is provided with an air supply water supply port 36 (see FIG. 2) for connecting an air supply water supply tube.
  • the endoscope processor 20 determines the inspection content of the endoscope 40 in real time based on the endoscope image 59 taken by the endoscope 40, and notifies the examiner of the determination result. To do. The inspector operates the endoscope 40 while referring to the notification.
  • FIG. 2 is an explanatory diagram illustrating the configuration of the diagnosis support system 100 in the first embodiment.
  • the diagnostic support system 100 includes an endoscope processor 20, an endoscope 40, and a display device 50.
  • the endoscope processor 20 includes a control unit 21, a main storage device 22, an auxiliary storage device 23, a communication unit 24, a display device I / F (Interface) 26, and an input device I /. It includes an F27, an endoscope connector 31, a light source 33, a pump 34, and a bus.
  • the endoscope connector 31 includes an electrical connector 311 and an optical connector 312.
  • the control unit 21 is an arithmetic control device that executes the program 231 of the present embodiment.
  • One or more CPUs Central Processing Units
  • MPUs Micro-Processing Units
  • GPUs Graphics Processing Units
  • the control unit 21 is connected to each hardware unit constituting the endoscope processor 20 via a bus.
  • the main storage device 22 is a storage device such as SRAM (Static Random Access Memory), DRAM (Dynamic Random Access Memory), and flash memory.
  • SRAM Static Random Access Memory
  • DRAM Dynamic Random Access Memory
  • flash memory volatile memory
  • the main storage device 22 temporarily stores information necessary during the processing performed by the control unit 21 and the program being executed by the control unit 21.
  • the auxiliary storage device 23 is a storage device such as a SRAM, a flash memory, or a hard disk.
  • the auxiliary storage device 23 stores the program 231 to be executed by the control unit 21, the trained model 237, and various data necessary for executing the program 231.
  • the program 231 and the learned model 237 may be downloaded by the control unit 21 from an external device via a network such as the so-called Internet via the communication unit 24 and stored in the auxiliary storage device 23.
  • the program 231 and the learned model 237 may be those that the control unit 21 reads from the portable storage medium 23a via the reading unit 28 and stores them in the auxiliary storage device 23.
  • the program 231 and the trained model 237 may be read by the control unit 21 from the semiconductor memory 23b.
  • the auxiliary storage device 23 stores the inspector DB (Data Base: database) 232 and the inspection location DB 233.
  • the examiner DB 232 and the inspection location DB 233 may be stored in an external large-capacity storage device connected to the endoscope processor 20.
  • the communication unit 24 is an interface for data communication between the endoscope processor 20 and the network.
  • the touch panel 25 includes a display unit 251 such as a liquid crystal display panel and an input unit 252 laminated on the display unit 251.
  • the display device I / F 26 is an interface that connects the endoscope processor 20 and the display device 50.
  • the input device I / F 27 is an interface for connecting the endoscope processor 20 and an input device such as a keyboard 15.
  • the light source 33 is a high-brightness white light source such as a white LED.
  • the light source 33 is connected to the bus via a driver (not shown).
  • the lighting, extinguishing, and changing of the brightness of the light source 33 are controlled by the control unit 21.
  • the illumination light emitted from the light source 33 is incident on the optical connector 312.
  • the optical connector 312 engages with the scope connector 48 to supply illumination light to the endoscope 40.
  • the pump 34 generates pressure for the air supply / water supply function of the endoscope 40.
  • the pump 34 is connected to the bus via a driver (not shown).
  • the on / off and pressure change of the pump 34 are controlled by the control unit 21.
  • the pump 34 is connected to the air supply water supply port 36 provided in the scope connector 48 via the water supply tank 35.
  • a fiber bundle, a cable bundle, an air supply tube, a water supply tube, and the like are inserted inside the scope connector 48, the light guide flexible tube 49, the operation unit 43, and the insertion unit 44.
  • the illumination light emitted from the light source 33 is radiated from the illumination window provided at the tip portion 443 via the optical connector 312 and the fiber bundle.
  • the range illuminated by the illumination light is photographed by the image sensor provided at the tip portion 443.
  • the captured image is transmitted from the image sensor to the endoscope processor 20 via the cable bundle and the electric connector 311.
  • the control unit 21 performs image processing on the captured image to generate an endoscopic image 59 that makes it easy for the inspector performing the examination to visually detect the lesion.
  • the control unit 21 outputs the endoscopic image 59 to the display device 50.
  • the inspector operates the endoscope 40 while checking the endoscope image 59, and when the examiner reaches a predetermined inspection point, presses a button for taking a still image to take a still image.
  • FIG. 3 is a diagram showing an example of the content of the information stored in the inspector DB232.
  • the inspector DB232 stores attributes such as the name of the inspector and information on the inspection history of the inspector in association with the inspector ID for identifying the inspector.
  • Information on the inspection history of the inspector includes the skill level of the inspector, the number of inspections, the inspection history, and the like.
  • the proficiency level is information indicating the proficiency level of the examiner for endoscopy. For example, the degree of proficiency is shown in 5 stages from 1 to 5, and the higher the value, the more proficient in endoscopy.
  • the number of examinations is the number of endoscopy performed by the inspector so far.
  • the examination history is the execution history of the endoscopic examination performed by the inspector so far, and may include the implementation date, the examination content, the log of the operation signal at the time of the examination, and the like. Note that FIG. 3 is an example, and the stored contents of the inspector DB232 are not limited.
  • FIG. 4 is a diagram showing an example of the content of the information stored in the inspection location DB 233.
  • the control unit 21 acquires various information about the inspection location included in the inspection target portion in advance and stores it in the inspection location DB 233.
  • the inspection site is a site to be inspected when the endoscope moves in the body in an inspection using an endoscope, and is an inspection site that is a judgment point of the inspection content.
  • the inspection points include, in addition to so-called checkpoint inspection points, points around the checkpoints, specific points between checkpoints, and the like.
  • the diagnosis support system 100 determines the inspection content of the endoscope 40 in real time based on the analysis result of the image of the endoscope image 59 and the inspection location image of the inspection location information 234, and notifies the notification according to the determination result. It is output to the person.
  • the inspection location DB 233 stores the inspection location information 234 and the candidate information 235.
  • the inspection location information 234 stores checkpoint information, inspection location position, inspection location image, endoscope type, and notification information in association with the inspection location ID for identifying the inspection location information.
  • the checkpoint information includes information on checkpoints related to the inspection point, and for example, information on proximity checkpoints at the inspection point is stored.
  • the checkpoint number displayed on the display device 50 may be included.
  • the inspection site position may include information regarding the position of the inspection site, such as position information of the inspection site in the body and distance information between the inspection sites.
  • the inspection location image may include a plurality of image information indicating the inspection location.
  • the endoscope type may include the type of the endoscope 40 connected to the endoscope processor 20.
  • an endoscope 40 of a type suitable for the part to be examined is selected and used.
  • the type of endoscope for example, the upper part (digestive organ), the upper part (respiratory organ), the lower part (digestive organ) and the like are stored.
  • the notification information may include information regarding whether or not a notification is output at the inspection location. At the inspection location where the presence is stored in the notification output, a notification is output to inform the inspector of the inspection content.
  • the notification information may store the presence or absence of notification according to the skill level.
  • the inspection location information 234 may store the target skill level in association with the inspection location ID.
  • the target proficiency level includes information on the proficiency level of the inspector who should inspect the inspection site to which the target proficiency level is associated. The target proficiency level will be described in detail in other embodiments.
  • Candidate information 235 stores candidate information of inspection points in association with the endoscope type, which is information for identifying the type of endoscope.
  • the candidate information includes information on candidates for an inspection site, which is a determination point for inspection contents when a predetermined type of endoscope is used.
  • the candidate information may include the passing order of the inspection points at the time of inspection.
  • the candidate information is stored in the inspection location ID. Note that FIG. 4 is an example, and the stored contents of the inspection location DB 233 are not limited.
  • FIG. 5 is an explanatory diagram relating to the generation process of the trained model 237.
  • the control unit 21 constructs (generates) a trained model of machine learning including deep learning that inputs the endoscope image 59 and outputs the inspection location information corresponding to the endoscope image 59.
  • the inspection location ID is output from the output layer as inspection location information.
  • the control unit 21 performs machine learning to learn the amount of image features related to the inspection location in the endoscopic image 59.
  • the trained model 237 is, for example, a neural network, which is a CNN (Convolution Neural Network).
  • the trained model 237 extracts an input layer that accepts the input of the endoscope image 59, an output layer that outputs an inspection point ID corresponding to the endoscope image 59, and an image feature amount of the endoscope image 59. It has an intermediate layer.
  • the neural network trained using the training data is expected to be used as a program module that is a part of artificial intelligence software.
  • the trained model 237 is used in the endoscope processor 20 including the control unit 21 (CPU or the like) and the auxiliary storage device 23 as described above, and is an endoscope processor having arithmetic processing capacity in this way.
  • a neural network system is configured. That is, the control unit 21 of the endoscope processor 20 performs an operation to extract the feature amount of the endoscope image input to the input layer according to the command from the learned model 237 stored in the auxiliary storage device 23. , It operates so as to output the inspection point ID corresponding to the endoscopic image from the output layer.
  • the input layer has a plurality of neurons that receive input of pixel values of each pixel included in the endoscopic image 59, and passes the input pixel values to the intermediate layer.
  • the intermediate layer has a plurality of neurons for extracting the image feature amount of the endoscopic image 59, and passes the image feature amount extracted using various parameters to the output layer.
  • the trained model 237 is CNN
  • the intermediate layer alternates between a convolution layer that convolves the pixel values of each pixel input from the input layer and a pooling layer that maps the pixel values convolved by the convolution layer. It has a configuration connected to.
  • the intermediate layer finally extracts the image feature amount while compressing the pixel information of the image region of the object.
  • the output layer has a plurality of neurons that output the examination site ID corresponding to the endoscopic image. Each neuron can be classified according to each examination site ID.
  • the output value from the output layer can be interpreted as the probability that the inspection site ID classified into each category is included in the endoscopic image. For example, among the neurons having the inspection point IDs of 1030, 1130, 2012, ..., The information of the inspection point ID of the neuron having the highest probability or the neuron having the probability equal to or higher than the threshold value is used as the output value of the trained model 237. be able to.
  • the output layer outputs an output value based on the image feature amount output from the intermediate layer.
  • the control unit 21 learns various parameters in the intermediate layer by using the training data in which a plurality of endoscopic images obtained by photographing the inspection points with the endoscope and the inspection points ID in each endoscopic image are associated with each other. I do.
  • the training data is constructed as a data set in which the presence / absence of the inspection location and the inspection location ID are labeled on the endoscopic image.
  • the control unit 21 performs learning using a large amount of endoscopic image data collected in the examinations performed in the past.
  • the data may include an endoscopic image without the examination site.
  • the control unit 21 inputs the endoscopic image included in the training data to the input layer, performs arithmetic processing in the intermediate layer, and acquires the inspection location ID from the output layer.
  • the control unit 21 compares the inspection point ID output from the output layer with the inspection point ID labeled on the image in the training data, that is, the correct answer value, so that the output value from the output layer approaches the correct answer value.
  • the parameters are, for example, weights between neurons, bias, and the like.
  • the method of optimizing various parameters is not particularly limited, but for example, the control unit 21 optimizes various parameters by using the backpropagation method.
  • the control unit 21 performs the above processing on each endoscopic image included in the training data to generate a trained model 237.
  • the trained model 237 has been described as being a CNN, but the trained model 237 is not limited to the CNN.
  • a neural network other than CNN for example, a recurrent neural network (RNN: Recurrent Neural Network) or an LSTM (Long Short Term Memory) network may be used.
  • RNN Recurrent Neural Network
  • LSTM Long Short Term Memory
  • it may be a trained model constructed by other learning algorithms such as a reinforcement learning model that does not use a neural network, a support vector machine, and a regression tree.
  • FIG. 6 is a functional block diagram illustrating a functional unit included in the control unit 21.
  • the control unit 21 includes the endoscope image acquisition unit 211, the endoscope type determination unit 212, the inspection location information acquisition unit 213, and the image analysis unit 214. And each function of the output unit 218 is realized. In FIG. 6, these parts are shown as functional parts.
  • the control unit 21 functions as the trained model 237 by executing the program 231 stored in the auxiliary storage device 23 or reading the actual file constituting the trained model 237.
  • the endoscopic image acquisition unit 211 acquires the endoscopic image 59.
  • the control unit 21 acquires a photographed image taken by an image pickup element provided at the tip end portion 443 of the endoscope 40.
  • the captured image is obtained as a moving image, and is composed of a still image of a plurality of frames such as 60 frames per second.
  • the control unit 21 performs various image processing such as gamma correction, white balance correction, and shading correction on the captured image to generate an endoscopic image 59 that is easy for the user to see, and stores it in the auxiliary storage device 23.
  • the endoscopic image acquisition unit 211 acquires the generated endoscopic image 59.
  • the endoscope image 59 input to the endoscope image acquisition unit 211 may be a captured image at a stage where various image processings have not been performed, and is in the middle of generating the endoscope image 59 from the captured image. It may be an image of.
  • the acquired endoscopic image 59 is input to the image analysis unit 214.
  • the endoscope type determination unit 212 acquires endoscope type information based on the information acquired from the endoscope 40.
  • the endoscope type information is information regarding the type of the endoscope 40 connected to the endoscope processor 20.
  • the endoscope type determination unit 212 determines the type of the endoscope 40 from the shape of the connector of the endoscope 40 connected to the endoscope processor 20, the signal information obtained from the endoscope 40, and the like. Acquire endoscope type information.
  • the acquired endoscope type information is input to the inspection location information acquisition unit 213.
  • the inspection location information acquisition unit 213 refers to the inspection location DB 233 and acquires candidate information including the inspection location according to the endoscope type information. Further, the inspection location information acquisition unit 213 receives the inspection location ID of the checkpoint selected by the inspector, and derives the candidate information and the inspection location information based on the inspector's selection checkpoint.
  • FIG. 7 is an explanatory diagram illustrating a flow of setting inspection location information.
  • the inspection location information acquisition unit 213 reads the candidate information corresponding to the acquired endoscope type information from the inspection location DB 233, and displays the inspection location, which is a checkpoint included in the candidate information, on the display device 50 via the output unit 218. (See FIG. 8).
  • the inspection location is displayed by, for example, a checkpoint number. The inspector selects or adds a checkpoint from the candidate checkpoints displayed on the display device 50 according to the inspection purpose and the like.
  • the inspection location information acquisition unit 213 receives input from the keyboard 15 or the mouse, and acquires the inspection location ID of the selected checkpoint.
  • the inspection point information acquisition unit 213 refers to the inspection point DB 233 and identifies the inspection point related to the checkpoint based on the selected checkpoint.
  • the inspection points include selected checkpoints, passage points associated with each checkpoint, and the like.
  • the inspection location information acquisition unit 213 derives inspection location information associated with these inspection locations from the inspection location DB 233.
  • the inspection location information acquisition unit 213 temporarily stores the derived inspection location information in the auxiliary storage device 23.
  • the inspection location information is input to the image analysis unit 214. Note that these input operations and output operations may be performed using the display unit 251 and the input unit 252 of the touch panel 25.
  • the image analysis unit 214 includes an inspection content determination unit (determination unit) 215.
  • the inspection content determination unit 215 analyzes the image of the endoscope image 59 and determines the inspection location information corresponding to the endoscope 40.
  • the inspection content determination unit 215 gives the endoscopic image 59 to the trained model 237 as input information.
  • the trained model 237 outputs the inspection location ID included in the endoscopic image as output information according to the endoscopic image 59.
  • the inspection content determination unit 215 has an inspection location ID output from the trained model 237 and an inspection location ID included in the inspection location information derived by the inspection location information acquisition unit 213, that is, an inspection location included in the inspection target portion. Based on whether or not the ID matches, it is determined whether or not the endoscope 40 has reached the examination location.
  • the inspection content determination unit 215 determines whether or not appropriate inspection content is being carried out using the endoscope 40. When the endoscope 40 reaches the checkpoint, the inspection content determination unit 215 determines whether or not appropriate inspection content has been performed at the checkpoint. Implementation of appropriate inspection contents means that, for example, at a checkpoint, the control button 431 is pressed to perform a predetermined image capture operation. The inspection content determination unit 215 determines whether or not the capture operation has been performed at the checkpoint based on the operation information of the endoscope 40, the capture history information of the image, and the like.
  • the inspection content is not limited to the image capture operation, and may be, for example, an air supply or water supply operation, or may be a foreign matter excision or the like.
  • the inspection content determination unit 215 determines whether or not there is a passage omission at the inspection location based on the arrival history at the inspection location.
  • the inspection content determination unit 215 has acquired information on a plurality of inspection points to be detected by the endoscope 40 in advance as inspection location information.
  • the inspection location information includes information such as the passage order and position of the inspection location. If the inspection points are not detected from the endoscopic images 59 in a predetermined order during the inspection, the inspection content determination unit 215 determines that the predetermined inspection points to be passed are leaked.
  • the inspection content determination unit 215 creates notification information according to the determination result.
  • the notification information of the determination result is input to the output unit 218.
  • the inspection content determination unit 215 may acquire the position information in the body of the tip portion 443 of the endoscope 40 at the time of determining the inspection content. By determining whether or not the endoscope 40 has reached the inspection location based on the position information of the tip portion 443 and the image analysis result, a more accurate determination result can be obtained. There are various methods for detecting the position information of the tip portion 443. For example, the inspection content determination unit 215 may detect the position information based on the insertion amount of the endoscope 40. The amount of insertion of the insertion portion 44 into the body is detected by comparison with the reference point with reference to before insertion.
  • the inspection content determination unit 215 derives the position information of the tip portion 443 from the insertion amount of the endoscope 40 based on the attributes such as the height and weight of the inspected person acquired in advance.
  • a plurality of coils are arranged inside the insertion portion 44, and an electric signal generated by the coils is output to the outside via a lead wire by receiving an electromagnetic wave from the outside, and the output electric signal is output.
  • Accurate position information of the endoscope 40 in the body by detecting the shape of the endoscope 40 in the body and correcting the position information based on the insertion amount of the endoscope 40 including rotation, curvature, etc. Is obtained.
  • the inspection content determination unit 215 determines, for example, based on the position information and the image analysis result that the inspection content at the inspection location is leaked when the inspection location is not detected when the predetermined position is passed.
  • the inspection content determination unit 215 may arrange a sensor for detecting the position information on the tip portion 443 and derive the position information of the tip portion 443 from the detection information of the sensor. For example, the inspection content determination unit 215 acquires a signal indicating measurement information of acceleration and rotational angular velocity output from the 3-axis acceleration sensor and the gyro sensor arranged on the tip portion 443, and the tip portion is obtained from the detection result of the acquired sensor. The position information of 443 is derived.
  • the image analysis method is not limited to the one using the trained model 237, and other known methods may be used.
  • the inspection content determination unit 215 uses a technique such as pattern matching to include the inspection portion in the endoscopic image 59 based on the feature amount of the endoscopic image 59 and the feature amount of the inspection portion stored in advance. It may be determined whether or not.
  • the output unit 218 creates display screen information based on various information such as candidate information and notification information of the determination result, and outputs the created display screen information to the display device 50.
  • each functional unit in a series of processes is an example, and is not limited to this.
  • the functions of each functional unit including the trained model 237 may be realized by a control unit (not shown) of an external server communicatively connected to the endoscope processor 20. Further, even if the control unit 21 of the endoscope processor 20 and the control unit of the external server cooperate with each other to function as each functional unit in a series of processes by performing interprocess communication, for example. Good.
  • FIG. 8A and 8B are schematic views showing an example of a checkpoint input screen.
  • FIG. 8A shows an example of an input screen that accepts input of selection information.
  • the input screen includes a candidate information field 511 showing candidate information of the inspection location and a selection reception field 512 for accepting the selection of the inspector from the candidates of the inspection location.
  • the input screen includes an illustration of the human body including the part to be examined for performing endoscopy, and the candidate information indicates the checkpoint (examination point) number and the corresponding position in the body. It is displayed using a circle.
  • an input box 513 including a candidate information field 511 indicated by a plurality of checkpoint numbers and a check box of a selection reception field 512 that accepts an inspector's selection operation associated with each checkpoint number is provided. included. The inspector performs a check box selection operation of a desired checkpoint from checkpoint candidates, and sets a selection checkpoint.
  • the control unit 21 refers to the inspection location DB 233 and identifies a plurality of candidate checkpoints included in the candidate information based on the endoscope type information.
  • the control unit 21 creates display screen information including candidate checkpoints and displays it on the display device 50 as shown in FIG. 8A.
  • the control unit 21 receives an input operation of the inspection point ID of the selection checkpoint through the keyboard 15 or the mouse.
  • the control unit 21 creates screen information based on the acquired inspection location ID of the selection checkpoint and displays it on the display device 50 as shown in FIG. 8B. On the screen, only the checkpoints selected by the inspector are displayed with a circle indicating the inspection position, and are superimposed and displayed on the illustration of the human body.
  • FIG. 9 to 11 are schematic views showing an example of a notification screen for displaying notification information.
  • the notification information is displayed in parallel with the endoscopic image 59, for example, on a part of the display screen of the display device 50.
  • FIG. 9 shows an example of a notification screen for notifying that the inspection content has been carried out.
  • the notification screen includes a text box containing notification information and information on an illustration showing the current position of the endoscope 40 in the body.
  • a notification indicating the completion of confirmation is displayed to the inspector.
  • the notification screen includes text indicating the content of the notification, such as "Checkpoint 02 has been confirmed".
  • the control unit 21 makes a determination based on the endoscopic image 59 and the inspection location information, and acquires the determination result regarding the implementation of the inspection content at the predetermined inspection location.
  • the notification DB (not shown) of the auxiliary storage device 23
  • the notification content is stored in association with the determination result.
  • the control unit 21 refers to the notification DB, acquires notification information according to the inspection location and the determination result, and creates display screen information including the acquired notification information.
  • the control unit 21 causes the display device 50 to display display screen information including the created notification information. Further, the control unit 21 acquires the position information of the endoscope 40 based on the inspection location and creates screen information indicating the current position.
  • FIG. 10 shows an example of a notification screen for notifying that the inspection content has not been carried out.
  • the notification screen includes a text box containing notification information and information on an illustration showing the current position of the endoscope 40 in the body. If it is determined that the appropriate inspection contents have not been carried out at the set inspection location, a notification prompting the inspector to reconfirm is displayed.
  • the notification screen contains text indicating the content of the notification, such as "Checkpoint 02 has been passed. We have not performed chapters, so please check again.”
  • the control unit 21 states that there is a possibility of omission of inspection when the endoscopic images 59 are not acquired in a predetermined order or the endoscopic images 59 matching the inspection location are not acquired at a predetermined position. judge. In this case, by displaying a notification prompting re-inspection, it is possible to prevent the vehicle from passing through the inspection location and moving to the next inspection location.
  • FIG. 11 shows an example of a notification screen for notifying that the area around the inspection point has been reached.
  • the notification screen includes a text box containing notification information and information on an illustration showing the current position of the endoscope 40 in the body.
  • a notification indicating that the inspection point is near is displayed.
  • the notification screen contains text indicating the content of the notification, such as "We are approaching checkpoint 02. Please be careful not to leak the inspection points.”
  • the inspection points include not only checkpoints but also checkpoint peripheral parts. For example, by setting the notification at the inspection point close to the checkpoint to be output, the notification that the checkpoint has been reached is output, and the inspection omission can be prevented.
  • FIGS. 12 and 13 are flowcharts showing an example of the processing procedure executed by the diagnosis support system 100.
  • the control unit 21 executes the following processing.
  • the control unit 21 executes the programs shown in FIGS. 12 and 13 in parallel with processing such as generation of the endoscope image 59 and control of the light source 33 and the image pickup element arranged at the tip portion 443 of the endoscope 40. To do.
  • the control unit 21 acquires endoscope type information from the connected endoscope 40 (step S11).
  • the control unit 21 refers to the inspection location DB 233 and acquires candidate information including the inspection location according to the type of endoscope (step S13).
  • the candidate information includes information on checkpoints that are a plurality of candidates.
  • the control unit 21 creates input screen information including candidate information and displays it on the display device 50 in order to accept the selection input of the inspector (step S15).
  • the control unit 21 accepts the selection of the inspection point (checkpoint) by the inspector by the input operation of the keyboard 15 or the mouse (step S17), and acquires the inspection point ID of the selected checkpoint (step S19).
  • the control unit 21 refers to the inspection location DB 233 and acquires inspection location information according to the inspection content based on the selected checkpoint (step S21).
  • the inspection location information includes the selected checkpoint and the inspection location information between the checkpoints derived from the degree of association with the selected checkpoint.
  • the control unit 21 stores the acquired inspection location information in the auxiliary storage device 23 (step S23).
  • Endoscopy is started, and the endoscope 40 takes a picture of the part to be inspected.
  • the control unit 21 acquires the endoscopic image 59 (step S31).
  • the control unit 21 gives the endoscopic image 59 to the trained model 237 (step S33), and identifies the output inspection location ID (step S35).
  • the number of trained models 237 stored in the endoscope processor 20 is not limited to one, and a plurality of trained models may be prepared according to the type of endoscope. In this case, a trained model corresponding to the endoscope type information is selected. Further, the endoscope type information may be input as one of the elements of the input information.
  • the control unit 21 determines whether or not the tip portion 443 of the endoscope 40 has reached the inspection point (step S37).
  • the control unit 21 refers to the auxiliary storage device 23, and refers to the inspection location ID of the inspection location information selected and registered in advance, and the inspection location ID corresponding to the endoscopic image 59 specified from the output value of the trained model 237. Determines if and does not match.
  • step S37: NO determines whether or not the inspection portion is leaking.
  • the control unit 21 determines whether or not the inspection location is leaked based on the passage order, position, and the like of the inspection location included in the inspection location information.
  • control unit 21 may perform the control unit 21. It is determined that the inspection portion that has already passed is leaked (step S39: YES), and the process proceeds to step S49.
  • Step S37 YES
  • the control unit 21 determines whether or not the inspection point is a checkpoint based on the inspection point ID (step S41).
  • step S41: NO the control unit 21 determines whether or not to output a notification based on the inspection location information.
  • Step S43 The control unit 21 refers to the information on whether or not the notification is output, which is stored in the inspection location information 234 of the inspection location DB 233, and determines whether or not the inspection location is the output target of the notification. If the inspection location is not the output target of the notification, the control unit 21 determines that the notification is not output (step S43: NO), and proceeds to the process in step S51. On the other hand, when the inspection location is the output target of the notification, the control unit 21 determines that the output of the notification is necessary (step S43: YES), and proceeds to the process in step S49.
  • step S45 determines whether or not the appropriate inspection content has been performed.
  • the control unit 21 determines whether or not an image has been taken at the inspection site by, for example, acquiring the presence or absence of a capture operation of the endoscope 40.
  • the control unit 21 stores the operation history of the endoscope 40 in the auxiliary storage device 23 (step S47).
  • step S45: NO the control unit 21 advances the process to step S49.
  • the control unit 21 determines the determination results. Output notification of.
  • the control unit 21 acquires the determination result, refers to the notification DB, and creates display screen information including notification information according to the determination result.
  • the control unit 21 outputs display screen information including the created notification information to the display device 50 (step S49).
  • the notification information displayed on the display device 50 includes information on inspection contents such as confirmation completion, inspection omission, and arrival at the vicinity of the inspection location.
  • the control unit 21 determines whether or not the shooting is completed (step S51). When it is determined that the imaging is not completed (step S51: NO), the control unit 21 returns the process to step S31 and acquires a new endoscopic image. When it is determined that the shooting is completed (step S51: YES), the control unit 21 ends a series of processes.
  • the inspection content is detected in real time based on the endoscopic image 59, and a notification according to the detection result is output. Since the information regarding the implementation of the inspection content is efficiently derived, the inspector can confirm the inspection content based on the notification information.
  • FIG. 14 is an explanatory diagram illustrating the configuration of the diagnosis support system 200 according to the second embodiment. Since the hardware configuration in the second embodiment is the same as that of the diagnosis support system 200 in the first embodiment, the common configurations are designated by the same reference numerals and detailed description thereof will be omitted.
  • the behavior learning DB 236 is further stored in the auxiliary storage device 23 of the endoscope processor 20.
  • FIG. 15 is a diagram showing an example of the content of the information stored in the behavior learning DB 236.
  • the control unit 21 collects information on the operation of the endoscope 40 according to the type of endoscope and the skill level, and stores it in the behavior learning DB 236.
  • the behavior learning DB 236 stores the endoscope type, skill level, and motion information in association with the motion information ID for identifying the motion information.
  • the motion information is information indicating how the endoscope 40 operates at the time of an inspection associated with a predetermined skill level, and includes, for example, information such as the movement order and the movement time of the endoscope 40. Is done.
  • the operation information may include, for example, image data, endoscope operation signal data, and the like. The detection of operation information will be described later.
  • FIG. 16 is a functional block diagram illustrating a functional unit included in the control unit 21.
  • the control unit 21 further includes a motion detection unit 216 and a behavior analysis unit 217 as functional units.
  • the control unit 21 realizes each function of the motion detection unit 216 and the behavior analysis unit 217 by executing the program 231 stored in the auxiliary storage device 23.
  • the inspection location information acquisition unit 213 acquires inspection location information according to the skill level of the inspector.
  • the setting of the inspection location may be different depending on the skill level of the inspector. For example, when an inexperienced inspector performs an endoscopy using a predetermined type of endoscope, the examination may be performed by passing through all the basic set inspection points without omission. desirable. On the other hand, when a skilled inspector carries out the inspection, instead of carrying out the inspection contents at all the inspection points that are basically set, the inspection is carried out at the inspection points where the number of inspection points is reduced. Good. Further, the inspection location set according to the skill level may be changed.
  • the inspector DB 232 stores the target proficiency level of the inspector who should include the inspection location in the determination point in association with the inspection location information.
  • the inspection location information acquisition unit 213 acquires endoscopy type information and the skill level of the inspector who performs the endoscopy.
  • the inspector inputs the inspector ID and the like in advance on the input screen.
  • the inspection location information acquisition unit 213 acquires the inspector ID and refers to the inspector DB 232 to specify the skill level associated with the inspector.
  • the inspection location information acquisition unit 213 refers to the inspection location DB 233, extracts candidate information according to the endoscope type information and the target skill level, and displays the candidate checkpoints included in the candidate information via the output unit 218. Display on device 50.
  • the inspector selects or adds a checkpoint from the candidate checkpoints displayed on the display device 50 according to the inspection purpose, his / her skill level, and the like, and sets the checkpoint.
  • the inspection location information acquisition unit 213 receives input from the keyboard 15 or the mouse, and acquires the inspection location ID of the selected checkpoint.
  • the inspection location information acquisition unit 213 identifies the inspection location with reference to the inspection location DB 233 based on the inspection location ID of the acquired checkpoint and the target skill level. In addition to the set checkpoints, the inspection points include checkpoint peripheral points added according to skill level, passing points between checkpoints, and the like.
  • the inspection location DB 233 stores the inspection location in association with the target skill level.
  • the inspection location information acquisition unit 213 derives inspection location information associated with these inspection locations from the inspection location DB 233.
  • the inspection location information acquisition unit 213 outputs the derived inspection location information to the image analysis unit 214.
  • the image analysis unit 214 of the second embodiment includes the inspection content determination unit 215 and the motion detection unit 216.
  • the motion detection unit 216 analyzes the image of the endoscope image 59 and detects the motion of the endoscope 40 at the time of inspection.
  • a known method such as pattern matching may be used.
  • FIG. 17 is an explanatory diagram illustrating an example of motion detection.
  • the motion detection unit 216 provides information such as the presence / absence, position, and size of the inspection location in the imaging region of the endoscopic image 59 based on the feature amount of the endoscopic image 59 and the feature amount of the inspection location stored in advance. Is extracted. Further, the motion detection unit 216 detects motion based on the image features of a plurality of frames of the endoscopic image 59.
  • FIG. 17 shows an example of the first frame, the second frame, and the third frame included in the endoscopic image 59.
  • the motion detection unit 216 acquires frames of the endoscopic image 59 in the order of the first frame, the second frame, and the third frame. That is, the endoscope 40 indicates that the inspection site is moved in the order of being photographed in the first frame, the second frame, and the third frame.
  • the motion detection unit 216 detects the motion of the endoscope by matching the image features included in each frame.
  • the first frame includes a feature point a on the upper left side of the center of the frame, a feature point b on the lower left side, and a feature point c on the right side of the center.
  • the feature point b disappears, and the feature point a is included in the upper left side, the feature point c is in the center, and a new feature point d is included in the upper right side.
  • the feature point c is enlarged and displayed, and the feature point a and the feature point d disappear. Therefore, from the first frame and the second frame, an operation indicating that the tip end portion of the endoscope 40 has moved to the right side is detected. Further, from the second frame and the third frame, an operation indicating that the tip portion 443 of the endoscope 40 has approached the region of interest including the feature point b is detected. In this way, the motion detection unit 216 detects motion information.
  • the motion detection unit 216 may acquire the operation signal of the endoscope 40 and detect the motion based on the operation history.
  • the motion detection unit 216 detects information on the movement time required for movement between inspection points, passing points, and the like, in addition to information on the movement route.
  • the detected motion information is input to the behavior analysis unit 217.
  • the behavior analysis unit 217 analyzes the behavior of the inspector with reference to the behavior learning DB 236 based on the acquired behavior information.
  • the behavior analysis unit 217 evaluates the skill level of the inspector by the behavior analysis and outputs the analysis result according to the skill level. For example, the behavior analysis unit 217 compares the acquired motion information of the inspector with the motion information associated with various skill levels included in the behavior learning DB 236.
  • the behavior analysis unit 217 identifies the motion information ID having the motion information with a high matching rate, and acquires the skill level associated with the motion information ID.
  • the behavior analysis unit 217 identifies the skill level from the operation history of the endoscope 40, the time required for the operation, and the like based on the motion information. For example, an inspector who is skilled in endoscopy can move the endoscope 40 from the inspection point to the inspection point in a short time without waste in the movement path of the endoscope 40.
  • the behavior analysis unit 217 compares the real-time skill level obtained from the analysis result with the skill level of the inspector acquired in advance, and determines whether or not to change the inspection location.
  • the behavior analysis unit 217 derives analysis result information including the judgment result.
  • the analysis result information is input to the inspection location information acquisition unit 213.
  • the inspection location information acquisition unit 213 acquires inspection location information corresponding to the newly derived skill level when it is necessary to change the inspection location based on the acquired analysis result information.
  • the behavior analysis unit 217 may determine the skill level of the inspector using other machine learning models.
  • the behavior analysis unit 217 creates in advance a learned model that outputs information indicating the skill level and stores it in the auxiliary storage device 23.
  • the trained model is generated using data collected from endoscopic images at the time of examination by examiners of various proficiency levels.
  • the trained model outputs the skill level of the inspector estimated from the operation content obtained from the image information when the moving image data including a plurality of endoscopic images is input.
  • the behavior analysis unit 217 acquires information information indicating the skill level from the endoscopic image 59 by using this trained model.
  • the information input to the trained model may include information such as an operation signal in addition to the endoscopic image 59.
  • the control unit 21 acquires inspector information of the inspector who carries out the inspection (step S61).
  • the control unit 21 receives an input operation from the keyboard 15, a mouse, or the like, and acquires an inspector ID.
  • the control unit 21 refers to the inspector DB232 and acquires inspector information including the skill level of the inspector.
  • the control unit 21 acquires the endoscope type information (step S11).
  • the control unit 21 refers to the inspection location DB 233 and acquires candidate information including a plurality of inspection locations according to the type of endoscope and the skill level of the inspector (step S13).
  • the control unit 21 causes the display device 50 to display the input screen information including the candidate information (step S15).
  • the control unit 21 may display the candidate information based only on the endoscope type information on the display device 50 regardless of the skill level.
  • the control unit 21 accepts the selection of the inspection location by the inspector (step S17) and acquires the inspection location ID of the selected checkpoint (step S19).
  • the control unit 21 refers to the inspection location DB 233 and acquires inspection location information according to the inspection content based on the selected checkpoint and skill level (step S21).
  • the inspection location information includes inspection location information such as checkpoints and locations around the checkpoints according to the skill level.
  • the control unit 21 performs the processes from step S31 to step S49 in the same manner as in the first embodiment, and outputs a notification according to the inspection content.
  • the inspection points for which notifications are output differ depending on the skill level. For example, when an inexperienced inspector carries out an inspection, not only the checkpoint but also the area around the checkpoint is included in the output target of the notification. A notification is output when the area around the checkpoint is reached in advance, and by calling the inspector's attention, it is possible to prevent inspection omissions. If the inspector's skill level is high, the notification before the checkpoint is not output, and the notification is output only when the inspection at the checkpoint is completed.
  • control unit 21 detects the operation information based on the endoscopic image 59 (step S63).
  • the control unit 21 detects the operation information based on the image analysis of the endoscope image 59, the operation signal, and the like.
  • the control unit 21 performs a behavior analysis with reference to the behavior learning DB 236 based on the detected motion information.
  • the control unit 21 identifies the skill level of the inspector reflecting the motion information in real time by the behavior analysis.
  • the control unit 21 derives an analysis result including the specified skill level (step S65).
  • the control unit 21 acquires information on whether or not to change the skill level of the inspector based on the analysis result (step S67).
  • the control unit 21 determines the skill level. Judge to change.
  • the control unit 21 returns the process to step S21 and acquires the inspection location information based on the newly derived skill level. For example, when the skill level is changed to a low value, the inspection location information is changed so that a notification is output around the checkpoint in addition to the checkpoint.
  • step S67 YES
  • the control unit 21 Determines that the skill level is not changed, and proceeds to the next step S51.
  • the control unit 21 determines whether or not the shooting is completed (step S51). When it is determined that the imaging is not completed (step S51: NO), the control unit 21 returns the process to step S31 and acquires a new endoscopic image. When it is determined that the shooting is completed (step S51: YES), the control unit 21 ends a series of processes.
  • a notification regarding the inspection content is output based on the result of the behavior analysis performed in real time. Since the information regarding the implementation of the inspection contents is efficiently derived, it is possible to provide the information according to the inspection contents of the inspector.
  • Endoscope processor 21 Control unit 211 Endoscope image acquisition unit 212 Endoscope type determination unit 213 Inspection location information acquisition unit 214 Image analysis unit 215 Inspection content determination unit 216 Motion detection unit 217 Behavior analysis unit 218 Output unit 23 Auxiliary storage device 231 Program 232 Inspector DB 233 Inspection point DB 234 Inspection location information 235 Candidate information 236 Behavior learning DB 237 Trained model 40 Endoscope 50 Display device 59 Endoscope image 100,200 Diagnosis support system

Abstract

コンピュータプログラム（２３１）は、内視鏡（４０）を用いた検査の対象部に含まれる検査箇所に関する検査箇所情報（２３４）を取得し、前記内視鏡（４０）により撮影された内視鏡画像（５９）を取得し、取得した前記内視鏡画像（５９）の画像解析に基づいて、前記内視鏡（４０）が前記検査箇所に到達したか否かを判定し、前記内視鏡（４０）が前記検査箇所に到達した場合に通知を出力するための処理をコンピュータに実行させる。

Description

コンピュータプログラム、内視鏡用プロセッサ、及び情報処理方法
　本技術は、コンピュータプログラム、内視鏡用プロセッサ、及び情報処理方法に関する。
　内視鏡検査を行う場合、被験者である患者毎に１つ又は複数の検査対象部位が予め定められ、その検査対象部位について患者の体腔内を規定の手順で撮像して画像診断を行う。具体的には、内視鏡の検査担当者が患者に内視鏡挿入部を体腔内に挿入し、内視鏡の挿入部先端の体腔内での位置を確認しながら、予め決められた検査対象部位に到達させる。そして、到達する毎に画像をモニタ画面上で確認しつつ、撮影位置や方向を微調整しながら静止画撮影用のボタンを押下して、静止画像を撮影する。
　撮像画像の枚数は、１回の検診で数枚から２０枚以上になることもあり、また、医療現場では多人数を短時間で検診することが望まれるため、検査担当者には正確かつ迅速な撮像作業が要求される。このような状況下では、一部の検査部位を撮像し損ねる等、特に不手際が生じやすくなり、必要な検査部位で画像の撮り損ねが生じると、正確な診断が難しくなる。また、撮り損ねた画像を得るために再検査により内視鏡で撮り直しを行うには、患者への負担が大きくなる。
　医療施設では、検査担当者の経験やスキルの違いから、患者の負担、臓器の観察方法に相違が出ないようにするために、検査の手順などを定義した検査プロトコルを定めることが有効とされている。特許文献１には、検査プロトコルを定義している医療施設において、検査プロトコルに沿って検査が実施されたかどうかを容易に確認できる内視鏡業務支援システムが開示されている。
特開２０１７－１０８７９２号公報
　しかしながら、特許文献１の内視鏡業務支援システムでは、検査が実施されたかどうかの確認は検査記録に基づき検査後に行われるため、観察内容の漏れが懸念される。検査担当者の経験やスキルに関わらず適切な検査内容が実施されるために、検査内容に関する情報をリアルタイムで導出することが望まれる。
　本開示の目的は、検査内容に関する情報を効率的に導出することを実現するコンピュータプログラム等を提供することである。
　本開示の一態様におけるコンピュータプログラムは、内視鏡を用いた検査の対象部に含まれる検査箇所に関する検査箇所情報を取得し、前記内視鏡により撮影された内視鏡画像を取得し、取得した前記内視鏡画像の画像解析に基づいて、前記内視鏡が前記検査箇所に到達したか否かを判定し、前記内視鏡が前記検査箇所に到達した場合に通知を出力する処理をコンピュータに実行させる。
　本開示によれば、検査内容に関する情報を効率的に導出することを実現するコンピュータプログラム等を提供することができる。
診断支援システムの外観を示す説明図である。 実施形態１における診断支援システムの構成を説明する説明図である。 検査者ＤＢに記憶される情報の内容例を示す図である。 検査箇所ＤＢに記憶される情報の内容例を示す図である。 学習済みモデルの生成処理に関する説明図である。 制御部に含まれる機能部を例示する機能ブロック図である。 検査箇所情報の設定の流れを説明する説明図である。 チェックポイントの入力画面の一例を示す模式図である。 チェックポイントの入力画面の一例を示す模式図である。 通知情報を表示する通知画面の一例を示す模式図である。 通知情報を表示する通知画面の一例を示す模式図である。 通知情報を表示する通知画面の一例を示す模式図である。 診断支援システムが実行する処理手順の一例を示すフローチャートである。 診断支援システムが実行する処理手順の一例を示すフローチャートである。 実施形態２における診断支援システムの構成を説明する説明図である。 行動学習ＤＢに記憶される情報の内容例を示す図である。 制御部に含まれる機能部を例示する機能ブロック図である。 動作検出の一例を説明する説明図である。 診断支援システムが実行する処理手順の一例を示すフローチャートである。 診断支援システムが実行する処理手順の一例を示すフローチャートである。
　本発明をその実施の形態を示す図面を参照して具体的に説明する。
（実施形態１）
　図１は、診断支援システム１００の外観を示す説明図である。診断支援システム１００は、内視鏡用プロセッサ２０と、内視鏡４０と、表示装置５０とを含む。表示装置５０は、例えば液晶表示装置、または、有機ＥＬ（Electro Luminescence）表示装置である。
　表示装置５０はキャスター付きの収容棚１６の上段に設置されている。内視鏡用プロセッサ２０は、収容棚１６の中段に収容されている。収容棚１６は、図示を省略する内視鏡検査用ベッドの近傍に配置される。収容棚１６は内視鏡用プロセッサ２０に接続されたキーボード１５を搭載する、引き出し式の棚を有する。
　内視鏡用プロセッサ２０は、略直方体形状であり、一面にタッチパネル２５を備える。タッチパネル２５の下部に、読取部２８が配置されている。読取部２８は、たとえばＵＳＢコネクタ、ＳＤ（Secure Digital）カードスロット、またはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）ドライブ等の、可搬型記録媒体の読み書きを行なう接続用インターフェイスである。
　内視鏡４０は、挿入部４４、操作部４３、ライトガイド可撓管４９およびスコープコネクタ４８を有する。操作部４３には、制御ボタン４３１が設けられている。挿入部４４は長尺であり、一端が折止部４５を介して操作部４３に接続されている。挿入部４４は、操作部４３側から順に軟性部４４１、湾曲部４４２および先端部４４３を有する。湾曲部４４２は、湾曲ノブ４３３の操作に応じて湾曲する。挿入部４４には、３軸加速度センサ、ジャイロセンサ、地磁気センサ又は磁気コイルセンサ等の物理検出装置が実装され、内視鏡４０が被検者の体内に挿入された際、これら物理検出装置からの検出結果を取得するものであってもよい。
　ライトガイド可撓管４９は長尺であり、第一端が操作部４３に、第二端がスコープコネクタ４８にそれぞれ接続されている。ライトガイド可撓管４９は、軟性である。スコープコネクタ４８は略直方体形状である。スコープコネクタ４８には、送気送水用のチューブを接続する送気送水口金３６（図２参照）が設けられている。
　診断支援システム１００では、内視鏡用プロセッサ２０は、内視鏡４０で撮影された内視鏡画像５９に基づき、リアルタイムで内視鏡４０の検査内容を判定し、判定結果を検査者に通知する。検査者は、通知を参照しながら、内視鏡４０の操作を行う。
　図２は、実施形態１における診断支援システム１００の構成を説明する説明図である。前述のとおり診断支援システム１００は、内視鏡用プロセッサ２０と、内視鏡４０と、表示装置５０とを含む。内視鏡用プロセッサ２０は、タッチパネル２５および読取部２８に加えて、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、表示装置Ｉ／Ｆ（Interface）２６、入力装置Ｉ／Ｆ２７、内視鏡用コネクタ３１、光源３３、ポンプ３４およびバスを備える。内視鏡用コネクタ３１は、電気コネクタ３１１および光コネクタ３１２を含む。
　制御部２１は、本実施の形態のプログラム２３１を実行する演算制御装置である。制御部２１には、一又は複数のＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、又はＧＰＵ（Graphics Processing Unit）等が使用される。制御部２１は、バスを介して内視鏡用プロセッサ２０を構成するハードウェア各部と接続されている。
　主記憶装置２２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の記憶装置である。主記憶装置２２には、制御部２１が行なう処理の途中で必要な情報および制御部２１で実行中のプログラムが一時的に保存される。
　補助記憶装置２３は、ＳＲＡＭ、フラッシュメモリまたはハードディスク等の記憶装置である。補助記憶装置２３には、制御部２１に実行させるプログラム２３１、学習済みモデル２３７、及びプログラム２３１の実行に必要な各種データが保存される。プログラム２３１及び学習済みモデル２３７は、制御部２１が、通信部２４を介して所謂インターネット等のネットワーク経由で外部装置からダウンロードして補助記憶装置２３に記憶したものであってもよい。プログラム２３１及び学習済みモデル２３７は、制御部２１が読取部２８を介して可搬型記憶媒体２３ａから読み取って補助記憶装置２３に記憶したものであってもよい。プログラム２３１及び学習済みモデル２３７は、制御部２１が半導体メモリ２３ｂから読み出したものであってもよい。
　補助記憶装置２３は、検査者ＤＢ（Data Base ：データベース）２３２及び検査箇所ＤＢ２３３を記憶する。検査者ＤＢ２３２及び検査箇所ＤＢ２３３は内視鏡用プロセッサ２０に接続された外部の大容量記憶装置に記憶されていてもよい。
　通信部２４は、内視鏡用プロセッサ２０とネットワークとの間のデータ通信を行なうインターフェイスである。タッチパネル２５は、液晶表示パネル等の表示部２５１と、表示部２５１に積層された入力部２５２とを備える。
　表示装置Ｉ／Ｆ２６は、内視鏡用プロセッサ２０と表示装置５０とを接続するインターフェイスである。入力装置Ｉ／Ｆ２７は、内視鏡用プロセッサ２０とキーボード１５等の入力装置とを接続するインターフェイスである。
　光源３３は、たとえば白色ＬＥＤ等の高輝度の白色光源である。光源３３は、図示を省略するドライバを介してバスに接続されている。光源３３の点灯、消灯および明るさの変更は、制御部２１により制御される。光源３３から照射した照明光は、光コネクタ３１２に入射する。光コネクタ３１２は、スコープコネクタ４８と係合し、内視鏡４０に照明光を供給する。
　ポンプ３４は、内視鏡４０の送気・送水機能用の圧力を発生させる。ポンプ３４は、図示を省略するドライバを介してバスに接続されている。ポンプ３４のオン、オフおよび圧力の変更は、制御部２１により制御される。ポンプ３４は、送水タンク３５を介して、スコープコネクタ４８に設けられた送気送水口金３６に接続される。
　内視鏡用プロセッサ２０に接続された内視鏡４０の機能の概略を説明する。スコープコネクタ４８、ライトガイド可撓管４９、操作部４３および挿入部４４の内部に、ファイバーバンドル、ケーブル束、送気チューブおよび送水チューブ等が挿通されている。光源３３から出射した照明光は、光コネクタ３１２およびファイバーバンドルを介して、先端部４４３に設けられた照明窓から放射される。
　照明光により照らされた範囲を、先端部４４３に設けられた撮像素子で撮影する。撮像素子からケーブル束および電気コネクタ３１１を介して内視鏡用プロセッサ２０に撮影画像が伝送される。
　制御部２１は、撮影画像に画像処理を施して、検査を実施する検査者が目視して病変を発見しやすい内視鏡画像５９を生成する。制御部２１は、内視鏡画像５９を表示装置５０に出力する。検査者は、内視鏡画像５９を確認しながら内視鏡４０を操作し、予め定められる検査箇所に到達した場合に、静止画撮影用のボタンを押下して、静止画像を撮影する。
　図３は、検査者ＤＢ２３２に記憶される情報の内容例を示す図である。検査者ＤＢ２３２は、検査者を識別するための検査者ＩＤに対応付けて、検査者の氏名等の属性、及び検査者の検査履歴に関する情報を記憶している。検査者の検査履歴に関する情報は、検査者の熟練度、検査回数、及び検査履歴等が含まれる。熟練度とは、検査者の内視鏡検査に対する熟練度合いを示す情報である。例えば、熟練度は、１から５の５段階で示され、数値が高い程、内視鏡検査に熟練していることを示す。検査回数は、検査者がこれまでに実施した内視鏡検査の回数である。検査履歴は、検査者がこれまでに実施した内視鏡検査の実施履歴であり、実施日、検査内容、検査時の操作信号のログ等を含んでよい。なお図３は一例であって、検査者ＤＢ２３２の記憶内容は限定されるものではない。
　図４は、検査箇所ＤＢ２３３に記憶される情報の内容例を示す図である。制御部２１は、予め検査の対象部に含まれる検査箇所に関する各種の情報を取得し検査箇所ＤＢ２３３に記憶している。検査箇所とは、内視鏡を用いた検査において内視鏡が体内を移動していく際に検査すべき箇所であり、検査内容の判定ポイントとなる検査部位である。検査箇所には、所謂チェックポイントとなる検査部位に加え、チェックポイント周辺箇所、及びチェックポイント間の特定箇所等が含まれる。診断支援システム１００では、内視鏡画像５９の画像と検査箇所情報２３４の検査箇所画像との解析結果に基づき、内視鏡４０の検査内容をリアルタイムで判定し、判定結果に応じた通知が検査者へ出力される。検査箇所ＤＢ２３３は、検査箇所情報２３４及び候補情報２３５を記憶している。
　検査箇所情報２３４は、検査箇所情報を識別するための検査箇所ＩＤに対応付けて、チェックポイント情報、検査箇所位置、検査箇所画像、内視鏡種類、通知情報を記憶している。チェックポイント情報とは、当該検査箇所と関連のあるチェックポイントの情報を含み、例えば当該検査箇所の近接チェックポイントの情報が記憶される。なお当該検査箇所がチェックポイントである場合には、表示装置５０に表示される際のチェックポイント番号を含んでよい。検査箇所位置は、例えば、検査箇所の体内における位置情報、各検査箇所間の距離情報等の、検査箇所の位置に関する情報を含んでよい。検査箇所画像は、検査箇所を示す複数の画像情報を含んでよい。内視鏡種類は、内視鏡用プロセッサ２０に接続される内視鏡４０の種類を含んでよい。内視鏡を用いた検査では、検査の対象部に適した種類の内視鏡４０を選択して使用する。内視鏡種類は、例えば上部（消化器）、上部（呼吸器）、下部（消化器）等が記憶される。通知情報は、検査箇所における通知の出力の有無に関する情報を含んでよい。通知の出力に有が記憶される検査箇所では、検査内容を検査者に伝える通知が出力される。通知情報は、熟練度に対応させて通知の有無を記憶してもよい。
　さらに検査箇所情報２３４は、検査箇所ＩＤに対応付けて対象熟練度を記憶してよい。対象熟練度は、当該対象熟練度が対応付けられる検査箇所を検査すべき、検査者の熟練度の情報を含む。対象熟練度に関しては、他の実施形態で詳述する。
　内視鏡検査において、様々な熟練度の検査者が適正なレベルで消化管の内部をくまなく画像撮影するためのガイドライン（マニュアル）が定められている（例えば、「対策型検診のための胃内視鏡検診マニュアル  ２０１５年度版（Ｐ５６～Ｐ６３）」参照）。検査箇所位置は、これらのガイドラインに基づき設定されるとよい。例えば、胃内視鏡検査を行う場合においては、撮影すべき検査箇所位置には、上記胃内視鏡検診マニュアルに記載の撮影箇所が含まれている。
　候補情報２３５は、内視鏡の種類を識別するための情報である内視鏡種類に対応付けて検査箇所の候補情報を記憶している。候補情報とは、所定の種類の内視鏡を用いる場合に検査内容の判定ポイントとなる検査箇所の候補に関する情報が含まれる。候補情報は、検査時における検査箇所の通過順序を含んでよい。図４の例では、候補情報は検査箇所ＩＤで記憶される。なお図４は一例であって、検査箇所ＤＢ２３３の記憶内容は限定されるものではない。
　図５は、学習済みモデル２３７の生成処理に関する説明図である。制御部２１は、内視鏡画像５９を入力とし、該内視鏡画像５９に対応する検査箇所情報を出力とする深層学習を含む機械学習の学習済みモデルを構築（生成）する。本実施形態においては、出力層からは、検査箇所情報として検査箇所ＩＤが出力される。制御部２１は、内視鏡画像５９内における検査箇所に関する画像特徴量を学習する機械学習を行う。学習済みモデル２３７は、例えばニューラルネットワークであり、ＣＮＮ（Convolution Neural Network）である。学習済みモデル２３７は、内視鏡画像５９の入力を受け付ける入力層と、該内視鏡画像５９に対応する検査箇所ＩＤを出力する出力層と、内視鏡画像５９の画像特徴量を抽出する中間層とを備える。
　訓練データを用いて学習されたニューラルネットワーク（学習済みモデル２３７）は、人工知能ソフトウェアの一部であるプログラムモジュールとして利用が想定される。学習済みモデル２３７は、上述のごとく制御部２１（ＣＰＵ等）及び補助記憶装置２３を備える内視鏡用プロセッサ２０にて用いられるものであり、このように演算処理能力を有する内視鏡用プロセッサ２０にて実行されることにより、ニューラルネットワークシステムが構成される。すなわち、内視鏡用プロセッサ２０の制御部２１が、補助記憶装置２３に記憶された学習済みモデル２３７からの指令に従って、入力層に入力された内視鏡画像の特徴量を抽出する演算を行い、出力層から該内視鏡画像に対応する検査箇所ＩＤを出力するように動作する。
　入力層は、内視鏡画像５９に含まれる各画素の画素値の入力を受け付ける複数のニューロンを有し、入力された画素値を中間層に受け渡す。中間層は、内視鏡画像５９の画像特徴量を抽出する複数のニューロンを有し、各種パラメータを用いて抽出された画像特徴量を出力層に受け渡す。例えば学習済みモデル２３７がＣＮＮである場合、中間層は、入力層から入力された各画素の画素値を畳み込むコンボリューション層と、コンボリューション層で畳み込んだ画素値をマッピングするプーリング層とが交互に連結された構成を有する。中間層は、対象物の画像領域の画素情報を圧縮しながら最終的に画像特徴量を抽出する。
　出力層は、内視鏡画像に対応する検査箇所ＩＤを出力する複数のニューロンを有する。各ニューロンは夫々、各検査箇所ＩＤに対応させて区分することができる。出力層からの出力値は、各区分に分類される検査箇所ＩＤが内視鏡画像に含まれる確率と解釈することができる。例えば、検査箇所ＩＤが１０３０、１１３０、２０１２、…、の各ニューロンのうち、確率が最も高いニューロン、あるいは確率が閾値以上であるニューロンの検査箇所ＩＤの情報を学習済みモデル２３７の出力値とすることができる。出力層は、中間層から出力された画像特徴量に基づいて、出力値を出力する。
　制御部２１は、内視鏡により検査箇所を撮影した複数の内視鏡画像と、各内視鏡画像における検査箇所ＩＤとが対応付けられた訓練データを用いて、中間層における各種パラメータの学習を行う。例えば図５に示すように、訓練データは、内視鏡画像に対し、検査箇所の有無及び検査箇所ＩＤがラベル付けされたデータセットとして構築される。制御部２１は、過去に実施された検査で収集された大量の内視鏡画像のデータを用いて学習を行う。データには、検査箇所が含まれていない状態の内視鏡画像が含まれてよい。
　制御部２１は、訓練データに含まれる内視鏡画像を入力層に入力し、中間層での演算処理を経て、出力層から検査箇所ＩＤを取得する。制御部２１は、出力層から出力された検査箇所ＩＤを、訓練データにおいて画像に対しラベル付けされた検査箇所ＩＤ、すなわち正解値と比較し、出力層からの出力値が正解値に近づくように、中間層での演算処理に用いる各種パラメータを最適化する。当該パラメータは、例えばニューロン間の重み、バイアス等である。各種パラメータの最適化の方法は特に限定されないが、例えば制御部２１は誤差逆伝播法を用いて各種パラメータの最適化を行う。制御部２１は、訓練データに含まれる各内視鏡画像について上記の処理を行い、学習済みモデル２３７を生成する。
　本実施の形態では学習済みモデル２３７がＣＮＮであるものとして説明したが、学習済みモデル２３７はＣＮＮに限定されるものではない。時系列データを取得した場合にはＣＮＮ以外のニューラルネットワーク、例えばリカレントニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）、ＬＳＴＭ（Long Short Term Memory）ネットワークを用いてもよい。またニューラルネットワークを用いない強化学習モデル、サポートベクタマシン、回帰木等、他の学習アルゴリズムで構築された学習済みモデルであってよい。
　図６は、制御部２１に含まれる機能部を例示する機能ブロック図である。制御部２１は、補助記憶装置２３に記憶してあるプログラム２３１を実行することにより、内視鏡画像取得部２１１、内視鏡種類判定部２１２、検査箇所情報取得部２１３、画像解析部２１４、及び出力部２１８の各機能を実現する。図６においては、これら部位を機能部として示している。制御部２１は、補助記憶装置２３に記憶してあるプログラム２３１を実行、又は学習済みモデル２３７を構成する実体ファイルを読み出すことにより、学習済みモデル２３７として機能する。
　内視鏡画像取得部２１１は、内視鏡画像５９を取得する。制御部２１は、内視鏡４０の先端部４４３に設けられた撮像素子により撮影された撮影画像を取得する。撮影画像は、動画像で得られ、例えば１秒間に６０フレーム等の複数のフレームの静止画像から構成される。制御部２１は、撮影画像にガンマ補正、ホワイトバランス補正、シェーディング補正等の各種画像処理を行ない、ユーザが目視しやすい状態にした内視鏡画像５９を生成し、補助記憶装置２３に記憶する。内視鏡画像取得部２１１は、生成された内視鏡画像５９を取得する。なお内視鏡画像取得部２１１に入力される内視鏡画像５９は、各種画像処理が行われていない段階の撮影画像であってもよく、撮影画像から内視鏡画像５９を生成する途中段階の画像であってもよい。取得した内視鏡画像５９は、画像解析部２１４へ入力される。
　内視鏡種類判定部２１２は、内視鏡４０から取得する情報に基づく内視鏡種類情報を取得する。内視鏡種類情報とは、内視鏡用プロセッサ２０に接続される内視鏡４０の種類に関する情報である。内視鏡種類判定部２１２は、内視鏡用プロセッサ２０に接続される内視鏡４０のコネクタ形状、又は内視鏡４０から得られる信号情報等から、内視鏡４０の種類を判定し内視鏡種類情報を取得する。取得した内視鏡種類情報は、検査箇所情報取得部２１３へ入力される。
　検査箇所情報取得部２１３は、検査箇所ＤＢ２３３を参照し、内視鏡種類情報に応じた検査箇所を含む候補情報を取得する。また検査箇所情報取得部２１３は、検査者により選択されたチェックポイントの検査箇所ＩＤを受け付け、候補情報及び検査者の選択チェックポイントに基づく検査箇所情報を導出する。
　図７は、検査箇所情報の設定の流れを説明する説明図である。検査箇所情報取得部２１３は、取得した内視鏡種類情報に対応する候補情報を検査箇所ＤＢ２３３から読み出し、候補情報に含まれるチェックポイントである検査箇所を出力部２１８を介して表示装置５０へ表示する（図８参照）。検査箇所は、例えばチェックポイント番号で表示される。検査者は、表示装置５０に表示される候補チェックポイントの中から検査目的等に応じてチェックポイントを選択又は追加する。
　検査箇所情報取得部２１３は、キーボード１５又はマウス等の入力を受け付け、選択されたチェックポイントの検査箇所ＩＤを取得する。検査箇所情報取得部２１３は、検査箇所ＤＢ２３３を参照して、選択されたチェックポイントに基づき、当該チェックポイントに関連する検査箇所を特定する。検査箇所には、選択されたチェックポイント、及び各チェックポイントに関連する通過箇所等が含まれる。検査箇所情報取得部２１３は、検査箇所ＤＢ２３３から、これらの検査箇所に対応付けられる検査箇所情報を導出する。検査箇所情報取得部２１３は、導出した検査箇所情報を補助記憶装置２３に一時的に記憶する。検査箇所情報は、画像解析部２１４に入力される。なお、これらの入力操作及び出力操作は、タッチパネル２５の表示部２５１及び入力部２５２を用いて行われてもよい。
　画像解析部２１４は、検査内容判定部（判定部）２１５を含む。検査内容判定部２１５は、内視鏡画像５９の画像解析を行い、内視鏡４０に対応する検査箇所情報を判定する。検査内容判定部２１５は、内視鏡画像５９を学習済みモデル２３７に入力情報として与える。学習済みモデル２３７は、内視鏡画像５９に応じて、出力情報として該内視鏡画像に含まれる検査箇所ＩＤを出力する。検査内容判定部２１５は、学習済みモデル２３７から出力される検査箇所ＩＤと、検査箇所情報取得部２１３により導出される検査箇所情報に含まれる検査箇所ＩＤ、すなわち検査の対象部に含まれる検査箇所ＩＤとが一致するか否かに基づき、内視鏡４０が検査箇所に到達したか否かを判定する。
　検査内容判定部２１５は、内視鏡４０を用いて適切な検査内容が実施されているか否かを判定する。検査内容判定部２１５は、内視鏡４０がチェックポイントに到達した場合において、チェックポイントで適切な検査内容が実施されたか否かを判定する。適切な検査内容の実施とは、例えばチェックポイントにおいて、制御ボタン４３１が押下され所定の画像のキャプチャー操作が行われることである。検査内容判定部２１５は、内視鏡４０の操作情報、又は画像のキャプチャー履歴情報等に基づき、チェックポイントでキャプチャー操作が実施されたか否かを判定する。なお、検査内容は画像のキャプチャー操作に限定されるものではなく、例えば送気又は送水操作であってもよく、異物の切除等であってもよい。また、検査内容判定部２１５は、検査箇所への到達履歴に基づき、検査箇所の通過漏れの有無を判定する。検査内容判定部２１５は、予め検査箇所情報として、内視鏡４０が検出すべき複数の検査箇所の情報を取得している。検査箇所情報には、検査箇所の通過順序、位置等の情報が含まれている。検査内容判定部２１５は、検査途中において、所定の順序で内視鏡画像５９から検査箇所が検出されない場合には、通過すべき所定の検査箇所が漏れていると判定する。検査内容判定部２１５は、判定結果に応じた通知情報を作成する。判定結果の通知情報は、出力部２１８に入力される。
　検査内容判定部２１５は、検査内容の判定時に、内視鏡４０の先端部４４３の体内での位置情報を取得してもよい。先端部４４３の位置情報及び画像解析結果に基づき、内視鏡４０が検査箇所に到達したか否かを判定することで、より精度の高い判定結果を得ることができる。先端部４４３の位置情報の検出方法は様々であるが、例えば、検査内容判定部２１５は内視鏡４０の挿入量に基づいて位置情報を検出してもよい。挿入前を基準として、基準点との比較により、挿入部４４の体内への挿入量を検知する。検査内容判定部２１５は、予め取得している被検査者の身長、体重等の属性に基づき、内視鏡４０の挿入量から先端部４４３の位置情報を導出する。なお、この場合においては、挿入部４４の内部に複数のコイルを配置し、外部からの電磁波を受信することによりコイルで発生した電気信号をリード線を介して外部に出力し、出力した電気信号の振幅や位相等に基づき内視鏡４０の形状を把握するとよい。内視鏡４０の体内での形状を検出し、回転、湾曲等を含んだ内視鏡４０の挿入量に基づき、位置情報の補正を行うことで、体内における内視鏡４０の正確な位置情報が得られる。検査内容判定部２１５は、例えば位置情報及び画像解析結果に基づき、所定位置を通過した場合に検査箇所が検出されていない場合には検査箇所での検査内容が漏れていると判定する。
　また、検査内容判定部２１５は、先端部４４３に位置情報を検出するセンサを配し、センサの検出情報から先端部４４３の位置情報を導出してもよい。例えば、検査内容判定部２１５は、先端部４４３に配される３軸加速度センサ及びジャイロセンサから出力される加速度及び回転角速度の測定情報を示す信号を取得し、取得したセンサの検出結果から先端部４４３の位置情報を導出する。
　なお、画像解析の手法は学習済みモデル２３７を用いるものに限定されるものではなく他の公知の方法を用いてよい。例えば、検査内容判定部２１５は、パターンマッチング等の手法を用いて、内視鏡画像５９の特徴量と予め記憶する検査箇所の特徴量とに基づき、内視鏡画像５９に検査箇所が含まれるか否かを判定してもよい。
　出力部２１８は、候補情報、判定結果の通知情報等の各種の情報に基づく表示画面情報を作成し、作成した表示画面情報を表示装置５０へ出力する。
　本実施形態において、一連の処理における各機能部の分担は一例であり、これに限定されない。学習済みモデル２３７を含め各機能部の機能は、内視鏡用プロセッサ２０と通信接続された外部サーバの制御部（図示せず）によって実現されてもよい。また、内視鏡用プロセッサ２０の制御部２１と、外部サーバの制御部とは、例えばプロセス間通信を行うことにより、協働して一連の処理における各機能部として機能するものであってもよい。
　図８Ａ及び図８Ｂは、チェックポイントの入力画面の一例を示す模式図である。図８Ａは、選択情報の入力を受け付ける入力画面の例を示している。入力画面には、検査箇所の候補情報を示す候補情報欄５１１と、検査箇所の候補から検査者の選択を受け付けるための選択受付欄５１２とが含まれる。図８Ａの例では、入力画面には、内視鏡検査を実施する検査の対象部を含む人体のイラストが含まれ、候補情報は、チェックポイント（検査箇所）番号及び体内の対応する位置を示す丸印を用いて表示されている。さらに入力画面には、複数のチェックポイント番号で示される候補情報欄５１１と、各チェックポイント番号に対応付けられた検査者の選択操作を受け付ける選択受付欄５１２のチェックボックスとを含む入力ボックス５１３が含まれる。検査者は、チェックポイントの候補から、希望するチェックポイントのチェックボックスの選択操作を行い、選択チェックポイントの設定を行う。
　制御部２１は、検査箇所ＤＢ２３３を参照して、内視鏡種類情報に基づく候補情報に含まれる複数の候補チェックポイントを特定する。制御部２１は、候補チェックポイントを含む表示画面情報を作成し図８Ａに示す如く表示装置５０に表示する。制御部２１は、図８Ａにおいて、キーボード１５又はマウス等を通じて選択チェックポイントの検査箇所ＩＤの入力操作を受け付ける。制御部２１は、取得した選択チェックポイントの検査箇所ＩＤに基づく画面情報を作成し、図８Ｂに示す如く表示装置５０に表示する。画面には、検査者により選択されたチェックポイントのみが検査位置を示す丸印とともに表示され、人体のイラスト上に重畳表示される。
　図９から図１１は、通知情報を表示する通知画面の一例を示す模式図である。通知情報は、例えば表示装置５０の表示画面の一部に、内視鏡画像５９と並列に表示される。図９は、検査内容が実施されたことを通知する通知画面の例を示している。通知画面には、通知情報を含むテキストボックスと、内視鏡４０の体内での現在位置を示すイラストの情報とが含まれる。設定された検査箇所において、適切な検査内容が実施されたと判定された場合には、検査者に確認完了を示す通知が表示される。通知画面には、通知内容を示すテキスト「チェックポイント０２の確認が完了しました」等が含まれる。制御部２１は、内視鏡画像５９及び検査箇所情報に基づく判定を行い、所定の検査箇所における検査内容の実施に関する判定結果を取得する。補助記憶装置２３の通知ＤＢ（図示せず）には、判定結果に対応付けて通知内容が記憶されている。制御部２１は、通知ＤＢを参照し、検査箇所及び判定結果に応じた通知情報を取得し、取得した通知情報を含む表示画面情報を作成する。制御部２１は、作成した通知情報を含む表示画面情報を表示装置５０に表示させる。また制御部２１は、検査箇所に基づき内視鏡４０の位置情報を取得し、現在位置を示す画面情報を作成する。
　図１０は、検査内容が実施されていないことを通知する通知画面の例を示している。通知画面には、通知情報を含むテキストボックスと、内視鏡４０の体内での現在位置を示すイラストの情報とが含まれる。設定された検査箇所において、適切な検査内容が実施されていないと判定された場合には、検査者に再確認を促す通知が表示される。通知画面には、通知内容を示すテキスト「チェックポイント０２を通過しました。チャプチャーを行っていませんので、再度確認してください」等が含まれる。制御部２１は、所定順序で内視鏡画像５９が取得されていない、又は所定位置で検査箇所に一致する内視鏡画像５９が取得されていない場合には、検査漏れの可能性があると判定する。この場合においては、再検査を促す通知を表示させることで、検査箇所を通過して次の検査箇所へ移動することを防止できる。
　図１１は、検査箇所周辺に到達したことを通知する通知画面の例を示している。通知画面には、通知情報を含むテキストボックスと、内視鏡４０の体内での現在位置を示すイラストの情報とが含まれる。内視鏡４０が、検査箇所周辺に到達したと判定された場合には、検査箇所が近いことを示す通知が表示される。通知画面には、通知内容を示すテキスト「チェックポイント０２に近づいています。検査箇所の漏れがないよう注意してください」等が含まれる。診断支援システム１００では、検査箇所にチェックポイントのみでなく、チェックポイント周辺部位が含まれる。例えばチェックポイントに近接する検査箇所における通知を出力有とすることで、チェックポイント周辺部に到達したことを知らせる通知が出力され、検査漏れを防止できる。
　図１２及び図１３は、診断支援システム１００が実行する処理手順の一例を示すフローチャートである。内視鏡用プロセッサ２０に内視鏡４０が接続され、内視鏡用プロセッサ２０のプログラム２３１が起動されると、制御部２１は以下の処理を実行する。制御部２１は、内視鏡画像５９の生成、光源３３及び内視鏡４０の先端部４４３に配置された撮像素子の制御等の処理と並行して、図１２及び図１３に示すプログラムを実行する。
　制御部２１は、接続される内視鏡４０から内視鏡種類情報を取得する（ステップＳ１１）。制御部２１は、検査箇所ＤＢ２３３を参照し、内視鏡の種類に応じた検査箇所を含む候補情報を取得する（ステップＳ１３）。候補情報には、複数の候補となるチェックポイントの情報が含まれる。制御部２１は、検査者の選択入力を受け付けるため、候補情報を含む入力画面情報を作成し、表示装置５０に表示させる（ステップＳ１５）。
　制御部２１は、キーボード１５又はマウス等の入力操作により、検査者による検査箇所（チェックポイント）の選択を受け付け（ステップＳ１７）、選択されたチェックポイントの検査箇所ＩＤを取得する（ステップＳ１９）。制御部２１は、検査箇所ＤＢ２３３を参照し、選択されたチェックポイントに基づく、検査内容に応じた検査箇所情報を取得する（ステップＳ２１）。検査箇所情報には、選択されたチェックポイント、及び選択されたチェックポイントとの関連度から導出されるチェックポイント間の検査箇所の情報が含まれる。制御部２１は、取得した検査箇所情報を補助記憶装置２３に記憶する（ステップＳ２３）。
　内視鏡検査が開始され、内視鏡４０は検査の対象部の撮影を行う。制御部２１は、内視鏡画像５９を取得する（ステップＳ３１）。制御部２１は、内視鏡画像５９を学習済みモデル２３７に与え（ステップＳ３３）、出力される検査箇所ＩＤを特定する（ステップＳ３５）。なお、内視鏡用プロセッサ２０に記憶される学習済みモデル２３７は１つに限られず、内視鏡の種類に応じた複数の学習済みモデルを用意しておいてもよい。この場合においては、内視鏡種類情報に応じた学習済みモデルが選択される。また入力情報の要素の１つとして内視鏡種類情報が入力されてもよい。
　制御部２１は、内視鏡４０の先端部４４３が検査箇所に到達したか否かを判定する（ステップＳ３７）。制御部２１は、補助記憶装置２３を参照し、予め選択登録されている検査箇所情報の検査箇所ＩＤと、学習済みモデル２３７の出力値から特定された内視鏡画像５９に対応する検査箇所ＩＤとが一致するか否かを判定する。
　検査箇所ＩＤが一致しない、又は内視鏡画像５９に検査箇所が含まれていないため、内視鏡４０が予め選択登録されている検査箇所に到達していないと判定された場合（ステップＳ３７：ＮＯ）、ついで制御部２１は、検査箇所が漏れているか否かを判定する（ステップＳ３９）。制御部２１は、検査箇所情報に含まれる検査箇所の通過順序、位置等に基づき検査箇所が漏れているか否かを判定する。内視鏡４０が次の検査箇所への移動途中である場合は、検査箇所漏れではないと判定する（ステップＳ３９：ＮＯ）。この場合、制御部２１は、処理をステップＳ５１に進める。一方、所定順序で検査箇所ＩＤを含む内視鏡画像５９が取得されていない場合、あるいは所定位置で検査箇所ＩＤを含む内視鏡画像５９が取得されていない場合には、制御部２１は、既に通過した検査箇所が漏れていると判定し（ステップＳ３９：ＹＥＳ）、処理をステップＳ４９に進める。
　予め選択登録されている検査箇所情報の検査箇所ＩＤと、学習済みモデル２３７の出力値から特定された検査箇所ＩＤとが一致する場合、制御部２１は、内視鏡４０が検査箇所に到達したと判定する（ステップＳ３７：ＹＥＳ）。制御部２１は、検査箇所ＩＤに基づき、当該検査箇所がチェックポイントであるか否かを判定する（ステップＳ４１）。
　内視鏡画像５９に含まれる検査箇所がチェックポイント以外の検査箇所である場合には（ステップＳ４１：ＮＯ）、制御部２１は、検査箇所情報に基づき通知を出力するか否かを判定する（ステップＳ４３）。制御部２１は、検査箇所ＤＢ２３３の検査箇所情報２３４に記憶される通知の出力有無の情報を参照し、当該検査箇所が通知の出力対象であるか否かを判定する。検査箇所が通知の出力対象でない場合には、制御部２１は通知を出力しないと判定し（ステップＳ４３：ＮＯ）、処理をステップＳ５１に進める。一方、検査箇所が通知の出力対象である場合には、制御部２１は通知の出力が必要であると判定し（ステップＳ４３：ＹＥＳ）、処理をステップＳ４９に進める。
　内視鏡画像５９に含まれる検査箇所がチェックポイントである場合には（ステップＳ４１：ＹＥＳ）、制御部２１は適切な検査内容が実施されたか否かを判定する（ステップＳ４５）。制御部２１は、例えば内視鏡４０のキャプチャー操作の有無を取得することにより、検査箇所での撮影が行われたか否かを判定する。キャプチャー操作が行われ、適切な検査内容が実施されたと判定される場合（ステップＳ４５：ＹＥＳ）、制御部２１は内視鏡４０の操作履歴を補助記憶装置２３に記憶する（ステップＳ４７）。一方、キャプチャー操作が行われず、適切な検査内容が実施されていないと判定される場合（ステップＳ４５：ＮＯ）、制御部２１は処理をステップＳ４９に進める。
　内視鏡４０による適切な検査内容の実施、検査内容の漏れ、検査箇所周辺に到達、又は検査箇所漏れ等、検査箇所における検査に関する各種の判定結果を取得した場合、制御部２１は、判定結果の通知を出力する。制御部２１は、判定結果を取得し、通知ＤＢを参照して判定結果に応じた通知情報を含む表示画面情報を作成する。制御部２１は、作成した通知情報を含む表示画面情報を表示装置５０に出力する（ステップＳ４９）。表示装置５０に表示される通知情報は、確認完了、検査漏れ、検査箇所の周辺到達等の検査内容に関する情報が含まれる。
　制御部２１は、撮影が終了したか否かを判断する（ステップＳ５１）。撮影が終了していないと判定した場合（ステップＳ５１：ＮＯ）、制御部２１は処理をステップＳ３１に戻し、新たな内視鏡画像を取得する。撮影が終了したと判断した場合（ステップＳ５１：ＹＥＳ）、制御部２１は一連の処理を終了する。
　本実施形態によれば、内視鏡画像５９に基づき、リアルタイムで検査内容が検出され、検出結果に応じた通知が出力される。検査内容の実施に関する情報が効率的に導出されるため、検査者は通知情報を基に、検査内容を確認することができる。
（実施形態２）
　実施形態２では、内視鏡用プロセッサ２０は、検査者の動作情報を取得し、検査者の熟練度に応じた通知が出力される点で実施形態１と異なる。図１４は、実施形態２における診断支援システム２００の構成を説明する説明図である。実施形態２におけるハードウェア構成は、実施形態１における診断支援システム２００と同様であるので共通する構成については同一の符号を付してその詳細な説明を省略する。実施形態２では、内視鏡用プロセッサ２０の補助記憶装置２３には、行動学習ＤＢ２３６がさらに記憶されている。
　図１５は、行動学習ＤＢ２３６に記憶される情報の内容例を示す図である。制御部２１は、内視鏡種類及び熟練度に応じた内視鏡４０の動作に関する情報を収集し、行動学習ＤＢ２３６に記憶している。行動学習ＤＢ２３６は、動作情報を識別するための動作情報ＩＤに対応付けて、内視鏡種類、熟練度、及び動作情報を記憶している。動作情報とは、所定の熟練度が対応付けられる検査時において、内視鏡４０がどのように動作するかを示す情報であり、例えば内視鏡４０の移動順序、移動時間等の情報が含まれる。動作情報は、例えば画像データ、内視鏡の操作信号データ等を含んでよい。動作情報の検出については後述する。
　図１６は、制御部２１に含まれる機能部を例示する機能ブロック図である。実施形態２では、制御部２１は、機能部として動作検出部２１６及び行動分析部２１７をさらに有する。制御部２１は、補助記憶装置２３に記憶してあるプログラム２３１を実行することにより、動作検出部２１６及び行動分析部２１７の各機能を実現する。
　実施形態２では、検査箇所情報取得部２１３は、検査者の熟練度に応じた検査箇所情報を取得する。検査箇所の設定は、検査者の熟練度に応じて異なる内容であってよい。例えば、所定の種類の内視鏡を用いた内視鏡検査に未熟な検査者が検査を実施する場合においては、基本設定される全ての検査箇所を漏れなく通過して検査を実施することが望ましい。一方、熟練した検査者が検査を実施する場合においては、基本設定される全ての検査箇所での検査内容の実施に代えて、数箇所の検査箇所を減らした検査箇所での検査が実施されてよい。また熟練度に応じて設定される検査箇所が変更されてもよい。検査者ＤＢ２３２には、検査箇所情報に対応付けて、当該検査箇所を判定ポイントに含むべき検査者の対象熟練度が記憶されている。
　検査箇所情報取得部２１３は、内視鏡種類情報、及び内視鏡検査を実施する検査者の熟練度を取得する。検査者は、入力画面により予め検査者ＩＤ等を入力する。検査箇所情報取得部２１３は、検査者ＩＤを取得し、検査者ＤＢ２３２を参照して検査者に対応付けられる熟練度を特定する。検査箇所情報取得部２１３は、検査箇所ＤＢ２３３を参照して、内視鏡種類情報及び対象熟練度に応じた候補情報を抽出し、候補情報に含まれる候補チェックポイントを出力部２１８を介して表示装置５０へ表示する。検査者は、表示装置５０に表示される候補チェックポイントの中から検査目的、自身の熟練度等に応じてチェックポイントを選択又は追加し、チェックポイントを設定する。検査箇所情報取得部２１３は、キーボード１５又はマウス等の入力を受け付け、選択されたチェックポイントの検査箇所ＩＤを取得する。
　検査箇所情報取得部２１３は、取得したチェックポイントの検査箇所ＩＤ及び対象熟練度に基づき、検査箇所ＤＢ２３３を参照して検査箇所を特定する。検査箇所には、設定されたチェックポイントの他に、熟練度に応じて追加されるチェックポイント周辺箇所、及び各チェックポイント間の通過箇所等が含まれる。検査箇所ＤＢ２３３は、対象熟練度に対応付けて検査箇所を記憶している。検査箇所情報取得部２１３は、検査箇所ＤＢ２３３から、これらの検査箇所に対応付けられる検査箇所情報を導出する。検査箇所情報取得部２１３は、導出した検査箇所情報を画像解析部２１４に出力する。
　実施形態２の画像解析部２１４は、検査内容判定部２１５及び動作検出部２１６を含む。動作検出部２１６は、内視鏡画像５９の画像解析を行い、検査時の内視鏡４０の動作を検出する。画像解析の手法は、例えばパターンマッチング等の公知の方法を用いてよい。
　図１７は、動作検出の一例を説明する説明図である。動作検出部２１６は、内視鏡画像５９の特徴量と予め記憶する検査箇所の特徴量とに基づき、内視鏡画像５９の撮像領域における、検査箇所の有無、位置、及び大きさ等の情報を抽出する。さらに動作検出部２１６は、内視鏡画像５９の複数のフレームの画像特徴量に基づき、動作検出を行う。
　図１７は、内視鏡画像５９に含まれる第１フレーム、第２フレーム、第３フレームの一例を示している。動作検出部２１６は第１フレーム、第２フレーム、第３フレームの順序で内視鏡画像５９のフレームを取得する。すなわち、内視鏡４０は、第１フレーム、第２フレーム、第３フレームで撮影される順に検査部位を移動させていることを示す。動作検出部２１６は、各フレームに含まれる画像特徴量のマッチングにより、内視鏡の動作を検出する。例えば第１フレームには、フレーム中央左寄り上側に特徴点a、左下側に特徴点ｂ、及び中心右寄りに特徴点ｃが含まれている。第２フレームは、特徴点ｂが消失し、左上側に特徴点a、中央に特徴点ｃ、右上側に新たな特徴点ｄが含まれている。第３フレームは特徴点ｃが拡大表示され、また特徴点a及び特徴点ｄが消失している。従って、第１フレーム及び第２フレームから、内視鏡４０の先端部が右側に移動したことを示す動作が検出される。また第２フレーム及び第３フレームから、内視鏡４０の先端部４４３が特徴点ｂを含む注目領域に接近したことを示す動作が検出される。このようにして動作検出部２１６は動作情報を検出する。なお、動作検出部２１６は、内視鏡４０の操作信号を取得し、操作履歴に基づき動作を検出してもよい。動作検出部２１６は、移動経路に関する情報に加え、検査箇所間、通過点間等までの移動に要した移動時間に関する情報を検出する。検出された動作情報は、行動分析部２１７へ入力される。
　行動分析部２１７は、取得した動作情報に基づき、行動学習ＤＢ２３６を参照して検査者の行動分析を行う。行動分析部２１７は、行動分析により検査者の熟練度を評価し、熟練度に応じた分析結果を出力する。例えば行動分析部２１７は、取得した検査者の動作情報と、行動学習ＤＢ２３６に含まれる様々な熟練度に対応付けた動作情報とを比較する。行動分析部２１７は、一致率が高い動作情報を有する動作情報ＩＤを特定し、当該動作情報ＩＤに対応付けられる熟練度を取得する。行動分析部２１７は、動作情報を基に、内視鏡４０の操作履歴、操作に要した時間等から熟練度を特定する。例えば、内視鏡検査に熟練した検査者であれば、内視鏡４０の移動経路に無駄がなく、また短時間で検査箇所から検査箇所へと内視鏡４０を移動させることができる。
　行動分析部２１７は、分析結果から得られるリアルタイムでの熟練度と予め取得した検査者の熟練度とを比較し、検査箇所を変更するか否かを判断する。行動分析部２１７は、判断結果を含む分析結果情報を導出する。分析結果情報は、検査箇所情報取得部２１３へ入力される。検査箇所情報取得部２１３は、取得した分析結果情報により、検査箇所の変更が必要である場合には、新たに導出された熟練度に対応する検査箇所情報を取得する。
　なお行動分析部２１７は、その他機械学習モデルを用いて検査者の熟練度を判定してもよい。行動分析部２１７は、内視鏡画像５９を入力した場合に、熟練度を示す情報を出力する学習済みモデルを予め作成して補助記憶装置２３に記憶しておく。学習済みモデルは、様々な熟練度の検査者による、検査時の内視鏡画像を収集するデータを用いて生成される。学習済みモデルは、複数の内視鏡画像を含む動画データが入力された場合に、画像情報から得られる動作内容により推定される検査者の熟練度を出力とする。行動分析部２１７は、この学習済みモデルにより内視鏡画像５９から熟練度を示す情報情報を取得する。学習済みモデルに入力される情報は、内視鏡画像５９の他に、例えば操作信号等の情報が含まれてもよい。
　図１８及び図１９は、診断支援システム２００が実行する処理手順の一例を示すフローチャートである。実施形態１の図１２及び図１３と共通する処理については同一のステップ番号を付してその詳細な説明を省略する。内視鏡用プロセッサ２０に内視鏡４０が接続され、内視鏡用プロセッサ２０のプログラム２３１が起動されると、制御部２１は以下の処理を実行する。
　制御部２１は、検査を実施する検査者の検査者情報を取得する（ステップＳ６１）。制御部２１は、キーボード１５又はマウス等より入力操作を受け付け、検査者ＩＤを取得する。制御部２１は、検査者ＤＢ２３２を参照して検査者の熟練度を含む検査者情報を取得する。
　制御部２１は、内視鏡種類情報を取得する（ステップＳ１１）。制御部２１は、検査箇所ＤＢ２３３を参照し、内視鏡の種類及び検査者の熟練度に応じた複数の検査箇所を含む候補情報を取得する（ステップＳ１３）。制御部２１は、候補情報を含む入力画面情報を表示装置５０に表示させる（ステップＳ１５）。なお制御部２１は、熟練度によらず、内視鏡種類情報のみに基づく候補情報を表示装置５０に表示させてもよい。
　制御部２１は、検査者による検査箇所の選択を受け付け（ステップＳ１７）、選択されたチェックポイントの検査箇所ＩＤを取得する（ステップＳ１９）。制御部２１は、検査箇所ＤＢ２３３を参照し、選択されたチェックポイント及び熟練度に基づき、検査内容に応じた検査箇所情報を取得する（ステップＳ２１）。検査箇所情報には、熟練度に応じたチェックポイント及びチェックポイント周辺箇所等の検査箇所情報が含まれる。
　内視鏡検査が開始され、内視鏡４０は検査の対象部の撮影を行う。制御部２１は、実施形態１と同様にステップＳ３１からステップＳ４９の処理を行い、検査内容に応じた通知を出力する。通知の出力対象となる検査箇所は熟練度に応じて異なる。例えば、未熟な検査者が検査を実施する場合においては、チェックポイントのみでなくチェックポイント周辺が通知の出力対象に含まれる。事前にチェックポイント周辺に到達した段階で通知が出力され、検査者の注意を促すことで検査漏れの防止に繋げる。検査者の熟練度が高い場合には、チェックポイント前での通知は出力されず、チェックポイントでの検査完了時にのみ通知が出力される。
　ついで制御部２１は、内視鏡画像５９に基づく動作情報を検出する（ステップＳ６３）。制御部２１は、内視鏡画像５９の画像解析、操作信号等に基づき動作情報を検出する。制御部２１は、検出した動作情報に基づき、行動学習ＤＢ２３６を参照して行動分析を行う。制御部２１は、行動分析によりリアルタイムでの動作情報を反映した検査者の熟練度を特定する。制御部２１は、特定した熟練度を含む分析結果を導出する（ステップＳ６５）。
　制御部２１は、分析結果に基づき、検査者の熟練度を変更するか否かの情報を取得する（ステップＳ６７）。予め取得した検査者情報に含まれる熟練度と、分析結果に含まれる熟練度とが異なる場合、又は熟練度の差異が閾値以上である場合（ステップＳ６７：ＮＯ）、制御部２１は熟練度を変更すると判断する。制御部２１は、処理をステップＳ２１に戻し、新たに導出された熟練度に基づく検査箇所情報を取得する。例えば、熟練度が低い数値に変更された場合には、チェックポイントに加えてチェックポイント周辺においても通知が出力される様、検査箇所情報が変更される。一方、予め取得した検査者情報に含まれる熟練度と、分析結果に含まれる熟練度とが同じである場合、又は熟練度の差異が閾値未満である場合（ステップＳ６７：ＹＥＳ）、制御部２１は熟練度を変更しないと判断し、処理を次のステップＳ５１へ進める。
　制御部２１は、撮影が終了したか否かを判断する（ステップＳ５１）。撮影が終了していないと判定した場合（ステップＳ５１：ＮＯ）、制御部２１は処理をステップＳ３１に戻し、新たな内視鏡画像を取得する。撮影が終了したと判断した場合（ステップＳ５１：ＹＥＳ）、制御部２１は一連の処理を終了する。
　本実施形態によれば、リアルタイムで行われる行動分析の結果に基づき、検査内容に関する通知が出力される。検査内容の実施に関する情報が効率的に導出されるため、検査者の検査内容に応じた情報を提供することが可能となる。
　なお、上述のように開示された実施の形態はすべての点で例示であって、制限的なものではないと考えられるべきである。各実施例にて記載されている技術的特徴は互いに組み合わせることができ、本発明の範囲は、請求の範囲内での全ての変更及び請求の範囲と均等の範囲が含まれることが意図される。
　２０　内視鏡用プロセッサ
　２１　制御部
　２１１　内視鏡画像取得部
　２１２　内視鏡種類判定部
　２１３　検査箇所情報取得部
　２１４　画像解析部
　２１５　検査内容判定部
　２１６　動作検出部
　２１７　行動分析部
　２１８　出力部
　２３　補助記憶装置
　２３１　プログラム
　２３２　検査者ＤＢ
　２３３　検査箇所ＤＢ
　２３４　検査箇所情報
　２３５　候補情報
　２３６　行動学習ＤＢ
　２３７　学習済みモデル
　４０　内視鏡
　５０　表示装置
　５９　内視鏡画像
　１００，２００　診断支援システム
 

Claims (13)

  1. 　内視鏡を用いた検査の対象部に含まれる検査箇所に関する検査箇所情報を取得し、
    　前記内視鏡により撮影された内視鏡画像を取得し、
    　取得した前記内視鏡画像の画像解析に基づいて、前記内視鏡が前記検査箇所に到達したか否かを判定し、
    　前記内視鏡が前記検査箇所に到達した場合に通知を出力する
    　処理をコンピュータに実行させるためのコンピュータプログラム。
  2. 　前記通知は、前記検査箇所における検査内容に関する情報を含む
    　請求項１に記載のコンピュータプログラム。
  3. 　内視鏡画像を入力した場合に該内視鏡画像に対応する検査箇所を出力する学習済みモデルに、前記内視鏡画像を入力して、出力される前記検査箇所を取得し、
    　取得した前記検査箇所と、取得した検査箇所に関する検査箇所情報とに基づき、前記内視鏡が前記検査箇所に到達したか否かを判定する
    　処理を実行させるための請求項１又は請求項２に記載のコンピュータプログラム。
  4. 　前記検査箇所において、所定の検査内容が実施されていない場合に、前記通知を出力する
    　処理を実行させるための請求項１から請求項３のいずれか１項に記載のコンピュータプログラム。
  5. 　前記検査を実施する検査者の前記検査に対する熟練度を取得し、
    　取得した前記熟練度に基づいて、前記通知の内容を変更する
    　処理を実行させるための請求項１から請求項４のいずれか１項に記載のコンピュータプログラム。
  6. 　前記内視鏡画像又は前記内視鏡の操作信号に基づき、前記検査を実施する検査者の動作情報を取得する
    　処理を実行させるための請求項１から請求項５のいずれか１項に記載のコンピュータプログラム。
  7. 　取得した前記動作情報に基づき、前記検査者の前記検査の実施内容に応じた前記検査に対する熟練度を導出する
    　処理を実行させるための請求項６に記載のコンピュータプログラム。
  8. 　導出した前記検査の実施内容に応じた前記検査に対する熟練度に基づき、前記検査箇所情報を取得する
    　処理を実行させるための請求項７に記載のコンピュータプログラム。
  9. 　予め記憶される複数の検査箇所情報の候補を表示し、
    　前記検査を実施する検査者からの選択を受け付け、前記検査に応じた前記検査箇所情報を決定する
    　処理を実行させるための請求項１から請求項８のいずれか１項に記載のコンピュータプログラム。
  10. 　前記検査に用いられる前記内視鏡の種類を特定し、
    　特定した前記内視鏡の種類に応じた前記検査箇所情報を取得する
    　処理を実行させるための請求項１から請求項９のいずれか１項に記載のコンピュータプログラム。
  11. 　内視鏡を用いた検査の対象部に含まれる検査箇所に関する検査箇所情報を取得する検査箇所情報取得部と、
    　前記内視鏡により撮影された内視鏡画像を取得する内視鏡画像取得部と、
    　取得した前記内視鏡画像の画像解析に基づいて、前記内視鏡が前記検査箇所に到達したか否かを判定する判定部と、
    　前記内視鏡が前記検査箇所に到達した場合に通知を出力する出力部と
    　を備える内視鏡用プロセッサ。
  12. 　前記判定部は、内視鏡画像を入力した場合に該内視鏡画像に対応する検査箇所を出力する学習済みモデルに、前記内視鏡画像を入力して、出力される前記検査箇所を取得し、
    　取得した前記検査箇所と、取得した検査箇所に関する検査箇所情報とに基づき、前記内視鏡が前記検査箇所に到達したか否かを判定する
    　請求項１１に記載の内視鏡用プロセッサ。
  13. 　内視鏡を用いた検査の対象部に含まれる検査箇所に関する検査箇所情報を取得し、
    　前記内視鏡により撮影された内視鏡画像を取得し、
    　取得した前記内視鏡画像の画像解析に基づいて、前記内視鏡が前記検査箇所に到達したか否かを判定し、
    　前記内視鏡が前記検査箇所に到達した場合に通知を出力する
    　処理を含む情報処理方法。
     
PCT/JP2019/030488 2019-08-02 2019-08-02 コンピュータプログラム、内視鏡用プロセッサ、及び情報処理方法 WO2021024301A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021538526A JP7189355B2 (ja) 2019-08-02 2019-08-02 コンピュータプログラム、内視鏡用プロセッサ、及び情報処理方法
PCT/JP2019/030488 WO2021024301A1 (ja) 2019-08-02 2019-08-02 コンピュータプログラム、内視鏡用プロセッサ、及び情報処理方法
US17/420,454 US20220084194A1 (en) 2019-08-02 2019-08-02 Computer program, processor for endoscope, and information processing method
DE112019007602.7T DE112019007602T5 (de) 2019-08-02 2019-08-02 Computerprogramm, endoskopprozessor und informationsverarbeitungsverfahren

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/030488 WO2021024301A1 (ja) 2019-08-02 2019-08-02 コンピュータプログラム、内視鏡用プロセッサ、及び情報処理方法

Publications (1)

Publication Number Publication Date
WO2021024301A1 true WO2021024301A1 (ja) 2021-02-11

Family

ID=74503365

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/030488 WO2021024301A1 (ja) 2019-08-02 2019-08-02 コンピュータプログラム、内視鏡用プロセッサ、及び情報処理方法

Country Status (4)

Country Link
US (1) US20220084194A1 (ja)
JP (1) JP7189355B2 (ja)
DE (1) DE112019007602T5 (ja)
WO (1) WO2021024301A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022264751A1 (ja) * 2021-06-16 2022-12-22 富士フイルム株式会社 医用画像処理装置、医用画像処理方法、及びプログラム
WO2023175986A1 (ja) * 2022-03-18 2023-09-21 オリンパスメディカルシステムズ株式会社 内視鏡挿入支援システム、内視鏡挿入支援方法および記憶媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017055954A (ja) * 2015-09-16 2017-03-23 富士フイルム株式会社 内視鏡位置特定装置、方法およびプログラム
WO2018069992A1 (ja) * 2016-10-12 2018-04-19 オリンパス株式会社 挿入システム
WO2018211674A1 (ja) * 2017-05-18 2018-11-22 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8870751B2 (en) * 2010-09-28 2014-10-28 Fujifilm Corporation Endoscope system, endoscope image recording apparatus, endoscope image acquisition assisting method and computer readable medium
US11086860B2 (en) * 2013-07-15 2021-08-10 Capricorn Holdings Pte, Ltd Predefined semantic queries
KR20150128049A (ko) * 2014-05-08 2015-11-18 삼성전자주식회사 수술 로봇 및 그 제어방법
JP6488716B2 (ja) * 2015-01-21 2019-03-27 コニカミノルタ株式会社 超音波診断装置
JP6017739B1 (ja) * 2015-04-20 2016-11-02 オリンパス株式会社 走査型内視鏡装置
EP3405908B1 (en) * 2015-09-10 2021-12-15 Magentiq Eye Ltd. A system and method for detection of suspicious tissue regions in an endoscopic procedure
US10455002B2 (en) * 2015-10-29 2019-10-22 Tharmalingam Satkunarajah Apparatus and method for generating customizable software based networking platforms
JP6641172B2 (ja) 2015-12-14 2020-02-05 オリンパス株式会社 内視鏡業務支援システム
JP2018139846A (ja) * 2017-02-28 2018-09-13 富士フイルム株式会社 内視鏡システム及びその作動方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017055954A (ja) * 2015-09-16 2017-03-23 富士フイルム株式会社 内視鏡位置特定装置、方法およびプログラム
WO2018069992A1 (ja) * 2016-10-12 2018-04-19 オリンパス株式会社 挿入システム
WO2018211674A1 (ja) * 2017-05-18 2018-11-22 オリンパス株式会社 画像処理装置、画像処理方法およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022264751A1 (ja) * 2021-06-16 2022-12-22 富士フイルム株式会社 医用画像処理装置、医用画像処理方法、及びプログラム
WO2023175986A1 (ja) * 2022-03-18 2023-09-21 オリンパスメディカルシステムズ株式会社 内視鏡挿入支援システム、内視鏡挿入支援方法および記憶媒体

Also Published As

Publication number Publication date
JP7189355B2 (ja) 2022-12-13
US20220084194A1 (en) 2022-03-17
DE112019007602T5 (de) 2022-04-14
JPWO2021024301A1 (ja) 2021-12-02

Similar Documents

Publication Publication Date Title
CN109557099B (zh) 检查装置以及检查系统
CN103919573B (zh) 病变诊断设备和方法
US20170296032A1 (en) Branching structure determination apparatus, method, and program
CN102395318B (zh) 诊断支援装置及诊断支援方法
EP3477589B1 (en) Method of processing medical image, and medical image processing apparatus performing the method
CN108354578A (zh) 一种胶囊内镜定位系统
WO2021024301A1 (ja) コンピュータプログラム、内視鏡用プロセッサ、及び情報処理方法
JP7377769B2 (ja) プログラム、情報処理方法及び情報処理装置
CA3110581C (en) System and method for evaluating the performance of a user in capturing an image of an anatomical region
WO2021192593A1 (ja) プログラム、情報処理方法、情報処理装置及び診断支援システム
WO2021010225A1 (ja) コンピュータプログラム、情報処理方法、及び内視鏡用プロセッサ
JP2021029675A (ja) 情報処理装置、検査システム及び情報処理方法
US20200129153A1 (en) Determining a guidance signal and a system for providing a guidance for an ultrasonic handheld transducer
US20190388057A1 (en) System and method to guide the positioning of a physiological sensor
CN110742690A (zh) 一种用于配置内窥镜的方法及终端设备
JP2021029676A (ja) 情報処理装置、検査システム及び情報処理方法
WO2021240656A1 (ja) 画像処理装置、制御方法及び記憶媒体
KR102459723B1 (ko) 이미지 검증 방법, 그를 수행하는 진단 시스템 및 그를 수행하는 방법이 기록된 컴퓨터로 판독가능한 기록매체
KR102536369B1 (ko) 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법
CN111599004B (zh) 一种3d血管成像系统、方法及装置
WO2021095500A1 (ja) プログラム、情報処理方法及び情報処理装置
WO2023089716A1 (ja) 情報表示装置、情報表示方法、及び、記録媒体
US20240021103A1 (en) Endoscopic training system
US20230172428A1 (en) Endoscope image processing device
US20240122444A1 (en) Endoscopic examination support apparatus, endoscopic examination support method, and recording medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19940216

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021538526

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19940216

Country of ref document: EP

Kind code of ref document: A1