WO2024095674A1 - 医療支援装置、内視鏡、医療支援方法、及びプログラム - Google Patents

医療支援装置、内視鏡、医療支援方法、及びプログラム Download PDF

Info

Publication number
WO2024095674A1
WO2024095674A1 PCT/JP2023/036268 JP2023036268W WO2024095674A1 WO 2024095674 A1 WO2024095674 A1 WO 2024095674A1 JP 2023036268 W JP2023036268 W JP 2023036268W WO 2024095674 A1 WO2024095674 A1 WO 2024095674A1
Authority
WO
WIPO (PCT)
Prior art keywords
type
information
papilla
image
intestinal wall
Prior art date
Application number
PCT/JP2023/036268
Other languages
English (en)
French (fr)
Inventor
稔宏 臼田
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2024095674A1 publication Critical patent/WO2024095674A1/ja

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes

Definitions

  • the technology disclosed herein relates to a medical support device, an endoscope, a medical support method, and a program.
  • JP 2020-62218 A discloses a learning device that includes an acquisition unit that acquires multiple pieces of information that associate images of the duodenal papilla of Vater in the bile duct with information indicating a cannulation method, which is a method of inserting a catheter into the bile duct, a learning unit that performs machine learning using information indicating the cannulation method as teacher data based on images of the duodenal papilla of Vater in the bile duct, and a storage unit that associates and stores the results of the machine learning performed by the learning unit with the information indicating the cannulation method.
  • a cannulation method which is a method of inserting a catheter into the bile duct
  • a learning unit that performs machine learning using information indicating the cannulation method as teacher data based on images of the duodenal papilla of Vater in the bile duct
  • a storage unit that associates and stores the results of the machine learning performed by the learning unit with the information indicating the
  • One embodiment of the technology disclosed herein provides a medical support device, endoscope, medical support method, and program that can support the implementation of medical care according to the type of duodenal papilla.
  • the first aspect of the technology disclosed herein is a medical support device that includes a processor, which identifies the type of duodenal papilla by performing image recognition processing on an intestinal wall image obtained by capturing an image of the intestinal wall, including the duodenal papilla, in the duodenum using a camera attached to an endoscope, and outputs relevant information related to the papilla type.
  • the second aspect of the technology disclosed herein is a medical support device according to the first aspect, in which outputting the related information means displaying the related information on a screen.
  • a third aspect of the technology disclosed herein is a medical support device according to the first or second aspect, in which the related information includes a schema determined according to the nipple type.
  • a fourth aspect of the technology disclosed herein is a medical support device according to any one of the first to third aspects, in which the related information includes junction type information, which is determined according to the type of papilla and is information that can identify the junction type at which the bile duct and pancreatic duct join.
  • a fifth aspect of the technology disclosed herein is a medical support device according to any one of the first to fourth aspects, in which the image recognition process includes a classification process for classifying nipple types, and the related information includes certainty information indicating the certainty of each nipple type classified by the classification process.
  • a sixth aspect of the technology disclosed herein is a medical support device according to any one of the first to fifth aspects, in which the frequency of occurrence of the confluence of the bile duct and pancreatic duct is determined for each type of papilla, and the processor outputs, as related information, information including occurrence frequency information indicating the occurrence frequency according to the identified type of papilla.
  • a seventh aspect of the technology disclosed herein is a medical support device according to any one of the first to fifth aspects, in which the papilla type includes a first papilla type, the first papilla type having any one of a number of junction types in which the bile duct and the pancreatic duct join, and when the processor identifies the first papilla type as the papilla type, it outputs, as related information, information including occurrence frequency information indicating the occurrence frequency of each junction type.
  • An eighth aspect of the technology disclosed herein is a medical support device according to the seventh aspect, in which the first nipple type is a villous type or a flat type, and the multiple confluence types are a partition type and a common duct type.
  • a ninth aspect of the technology disclosed herein is a medical support device according to any one of the first to eighth aspects, in which the related information includes auxiliary information, which is a junction type where the bile duct and the pancreatic duct join, and which is information that assists in medical procedures performed for the junction type determined according to the papilla type.
  • auxiliary information which is a junction type where the bile duct and the pancreatic duct join, and which is information that assists in medical procedures performed for the junction type determined according to the papilla type.
  • a tenth aspect of the technology disclosed herein is a medical support device according to the ninth aspect, in which the processor outputs auxiliary information when there are multiple merging formats for the identified nipple type.
  • An eleventh aspect of the technology disclosed herein is a medical support device according to any one of the first to tenth aspects, in which a processor identifies the papilla type by performing image recognition processing on an intestinal wall image on a frame-by-frame basis.
  • a twelfth aspect of the technology disclosed herein is a medical support device according to any one of the first to tenth aspects, in which the image recognition process includes a first image recognition process and a second image recognition process, and the processor detects the duodenal papilla region by executing the first image recognition process on the intestinal wall image, and identifies the papilla type by executing the second image recognition process on the detected duodenal papilla region.
  • a thirteenth aspect of the technology disclosed herein is a medical support device according to any one of the first to twelfth aspects, in which the related information is stored in an external device and/or a medical record.
  • a fourteenth aspect of the technology disclosed herein is an endoscope comprising a medical support device according to any one of the first to thirteenth aspects and an endoscope scope.
  • a fifteenth aspect of the technology disclosed herein is a medical support method that includes identifying the type of duodenal papilla by performing image recognition processing on an intestinal wall image obtained by imaging the intestinal wall, including the duodenal papilla, in the duodenum using a camera provided in an endoscope, and outputting relevant information related to the papilla type.
  • a sixteenth aspect of the technology disclosed herein is a program for causing a computer to execute processing including identifying the type of duodenal papilla by executing image recognition processing on an intestinal wall image obtained by capturing an image of the intestinal wall, including the duodenal papilla, in the duodenum using a camera attached to an endoscope, and outputting relevant information related to the papilla type.
  • FIG. 1 is a conceptual diagram showing an example of an embodiment in which the duodenoscope system is used.
  • 1 is a conceptual diagram showing an example of the overall configuration of a duodenoscope system.
  • 2 is a block diagram showing an example of a hardware configuration of an electrical system of the duodenoscope system.
  • FIG. FIG. 1 is a conceptual diagram showing an example of an aspect in which a duodenoscope is used.
  • 2 is a block diagram showing an example of a hardware configuration of an electrical system of the image processing apparatus;
  • 2 is a conceptual diagram showing an example of the correlation between an endoscope, an NVM, an image acquisition unit, an image recognition unit, and a support information acquisition unit.
  • 1 is a conceptual diagram showing an example of correlation between a display device, an image acquisition unit, an image recognition unit, a support information acquisition unit, and a display control unit.
  • 13 is a flowchart showing an example of the flow of a medical support process.
  • 2 is a conceptual diagram showing an example of the correlation between an endoscope, an NVM, an image acquisition unit, an image recognition unit, and a support information acquisition unit.
  • 1 is a conceptual diagram showing an example of correlation between a display device, an image acquisition unit, an image recognition unit, a support information acquisition unit, and a display control unit.
  • 2 is a conceptual diagram showing an example of the correlation between an endoscope, an NVM, an image acquisition unit, an image recognition unit, and a support information acquisition unit.
  • 1 is a conceptual diagram showing an example of correlation between a display device, an image acquisition unit, an image recognition unit, a support information acquisition unit, and a display control unit.
  • 1 is a conceptual diagram showing an example of correlation between a display device, an image acquisition unit, an image recognition unit, a support information acquisition unit, and a display control unit.
  • 2 is a conceptual diagram showing an example of the correlation between an endoscope, an NVM, an image acquisition unit, an image recognition unit, and a support information acquisition unit.
  • CPU is an abbreviation for "Central Processing Unit”.
  • GPU is an abbreviation for "Graphics Processing Unit”.
  • RAM is an abbreviation for "Random Access Memory”.
  • NVM is an abbreviation for "Non-volatile memory”.
  • EEPROM is an abbreviation for "Electrically Erasable Programmable Read-Only Memory”.
  • ASIC is an abbreviation for "Application Specific Integrated Circuit”.
  • PLD is an abbreviation for "Programmable Logic Device”.
  • FPGA is an abbreviation for "Field-Programmable Gate Array”.
  • SoC is an abbreviation for "System-on-a-chip”.
  • SSD is an abbreviation for "Solid State Drive”.
  • USB is an abbreviation for "Universal Serial Bus”.
  • HDD is an abbreviation for “Hard Disk Drive.”
  • EL is an abbreviation for “Electro-Luminescence.”
  • CMOS is an abbreviation for “Complementary Metal Oxide Semiconductor.”
  • CCD is an abbreviation for “Charge Coupled Device.”
  • AI is an abbreviation for "Artificial Intelligence.”
  • BLI is an abbreviation for "Blue Light Imaging.”
  • LCI is an abbreviation for "Linked Color Imaging.”
  • I/F is an abbreviation for "Interface.”
  • FIFO is an abbreviation for "First In First Out.”
  • ERCP is an abbreviation for "Endoscopic Retrograde Cholangio-Pancreatography.”
  • a duodenoscope system 10 includes a duodenoscope 12 and a display device 13.
  • the duodenoscope 12 is used by a doctor 14 in an endoscopic examination.
  • the duodenoscope 12 is communicatively connected to a communication device (not shown), and information obtained by the duodenoscope 12 is transmitted to the communication device.
  • the communication device receives the information transmitted from the duodenoscope 12 and executes a process using the received information (e.g., a process of recording the information in an electronic medical record, etc.).
  • the duodenoscope 12 is equipped with an endoscope scope 18.
  • the duodenoscope 12 is a device for performing medical treatment on an observation target 21 (e.g., the duodenum) contained within the body of a subject 20 (e.g., a patient) using the endoscope scope 18.
  • the observation target 21 is an object observed by a doctor 14.
  • the endoscope scope 18 is inserted into the body of the subject 20.
  • the duodenoscope 12 causes the endoscope scope 18 inserted into the body of the subject 20 to capture an image of the observation target 21 inside the body of the subject 20, and performs various medical procedures on the observation target 21 as necessary.
  • the duodenoscope 12 is an example of an "endoscope" according to the technology disclosed herein.
  • the duodenoscope 12 captures images of the inside of the subject's body 20, and outputs images showing the state of the inside of the body.
  • the duodenoscope 12 is an endoscope with an optical imaging function that captures images of reflected light obtained by irradiating light inside the body and reflecting it off the object of observation 21.
  • the duodenoscope 12 is equipped with a control device 22, a light source device 24, and an image processing device 25.
  • the control device 22 and the light source device 24 are installed on a wagon 34.
  • the wagon 34 has multiple stands arranged in the vertical direction, and the image processing device 25, the control device 22, and the light source device 24 are installed from the lower stand to the upper stand.
  • a display device 13 is installed on the top stand of the wagon 34.
  • the control device 22 is a device that controls the entire duodenoscope 12.
  • the image processing device 25 is a device that performs image processing on the images captured by the duodenoscope 12 under the control of the control device 22.
  • the display device 13 displays various information including images (e.g., images that have been subjected to image processing by the image processing device 25).
  • images e.g., images that have been subjected to image processing by the image processing device 25.
  • Examples of the display device 13 include a liquid crystal display and an EL display.
  • a tablet terminal with a display may be used in place of the display device 13 or together with the display device 13.
  • the display device 13 displays a plurality of screens side by side. In the example shown in FIG. 1, screens 36, 37, and 38 are shown.
  • An endoscopic image 40 obtained by the duodenoscope 12 is displayed on the screen 36.
  • the endoscopic image 40 shows an observation target 21.
  • the endoscopic image 40 is an image obtained by capturing an image of the observation target 21 by a camera 48 (see FIG. 2) provided on the endoscope scope 18 inside the body of the subject 20.
  • An example of the observation target 21 is the intestinal wall of the duodenum.
  • an intestinal wall image 41 which is an endoscopic image 40 in which the intestinal wall of the duodenum is captured as the observation target 21.
  • duodenum is merely one example, and any area that can be imaged by the duodenoscope 12 may be used. Examples of areas that can be imaged by the duodenoscope 12 include the esophagus and stomach.
  • the intestinal wall image 41 is an example of an "intestinal wall image" according to the technology disclosed herein.
  • a moving image including multiple frames of intestinal wall images 41 is displayed on the screen 36.
  • multiple frames of intestinal wall images 41 are displayed on the screen 36 at a preset frame rate (e.g., several tens of frames per second).
  • the duodenoscope 12 includes an operating section 42 and an insertion section 44.
  • the insertion section 44 is partially curved by operating the operating section 42.
  • the insertion section 44 is inserted while curving in accordance with the shape of the observation target 21 (e.g., the shape of the duodenum) in accordance with the operation of the operating section 42 by the doctor 14.
  • the tip 46 of the insertion section 44 is provided with a camera 48, a lighting device 50, a treatment opening 51, and an erecting mechanism 52.
  • the camera 48 and the lighting device 50 are provided on the side of the tip 46.
  • the duodenoscope 12 is a side-viewing scope. This makes it easier to observe the intestinal wall of the duodenum.
  • Camera 48 is a device that captures images of the inside of subject 20 to obtain intestinal wall images 41 as medical images.
  • One example of camera 48 is a CMOS camera. However, this is merely one example, and other types of cameras such as a CCD camera may also be used.
  • Camera 48 is an example of a "camera" according to the technology of this disclosure.
  • the illumination device 50 has an illumination window 50A.
  • the illumination device 50 irradiates light through the illumination window 50A.
  • Types of light irradiated from the illumination device 50 include, for example, visible light (e.g., white light) and non-visible light (e.g., near-infrared light).
  • the illumination device 50 also irradiates special light through the illumination window 50A. Examples of the special light include light for BLI and/or light for LCI.
  • the camera 48 captures images of the inside of the subject 20 by optical techniques while light is irradiated inside the subject 20 by the illumination device 50.
  • the treatment opening 51 is used as a treatment tool ejection port for ejecting the treatment tool 54 from the tip 46, as a suction port for sucking blood and internal waste, and as a delivery port for delivering fluids.
  • the treatment tool 54 protrudes from the treatment opening 51 in accordance with the operation of the doctor 14.
  • the treatment tool 54 is inserted into the insertion section 44 from the treatment tool insertion port 58.
  • the treatment tool 54 passes through the insertion section 44 via the treatment tool insertion port 58 and protrudes from the treatment opening 51 into the body of the subject 20.
  • a cannula protrudes from the treatment opening 51 as the treatment tool 54.
  • the cannula is merely one example of the treatment tool 54, and other examples of the treatment tool 54 include a papillotomy knife or a snare.
  • the standing mechanism 52 changes the protruding direction of the treatment tool 54 protruding from the treatment opening 51.
  • the standing mechanism 52 is equipped with a guide 52A, and the guide 52A rises in the protruding direction of the treatment tool 54, so that the protruding direction of the treatment tool 54 changes along the guide 52A. This makes it easy to protrude the treatment tool 54 toward the intestinal wall.
  • the standing mechanism 52 changes the protruding direction of the treatment tool 54 to a direction perpendicular to the traveling direction of the tip 46.
  • the standing mechanism 52 is operated by the doctor 14 via the operating unit 42. This allows the degree of change in the protruding direction of the treatment tool 54 to be adjusted.
  • the endoscope scope 18 is connected to the control device 22 and the light source device 24 via a universal cord 60.
  • the control device 22 is connected to the display device 13 and the reception device 62.
  • the reception device 62 receives instructions from a user (e.g., the doctor 14) and outputs the received instructions as an electrical signal.
  • a keyboard is given as an example of the reception device 62.
  • the reception device 62 may also be a mouse, a touch panel, a foot switch, and/or a microphone, etc.
  • the control device 22 controls the entire duodenoscope 12.
  • the control device 22 controls the light source device 24 and transmits and receives various signals to and from the camera 48.
  • the light source device 24 emits light under the control of the control device 22 and supplies the light to the illumination device 50.
  • the illumination device 50 has a built-in light guide, and the light supplied from the light source device 24 passes through the light guide and is irradiated from illumination windows 50A and 50B.
  • the control device 22 causes the camera 48 to capture an image, obtains an intestinal wall image 41 (see FIG. 1) from the camera 48, and outputs it to a predetermined output destination (for example, the image processing device 25).
  • the image processing device 25 is communicably connected to the control device 22, and performs image processing on the intestinal wall image 41 output from the control device 22. Details of the image processing in the image processing device 25 will be described later.
  • the image processing device 25 outputs the intestinal wall image 41 that has been subjected to image processing to a predetermined output destination (e.g., the display device 13).
  • a predetermined output destination e.g., the display device 13.
  • the control device 22 and the display device 13 may be connected, and the intestinal wall image 41 that has been subjected to image processing by the image processing device 25 may be displayed on the display device 13 via the control device 22.
  • the control device 22 includes a computer 64, a bus 66, and an external I/F 68.
  • the computer 64 includes a processor 70, a RAM 72, and an NVM 74.
  • the processor 70, the RAM 72, the NVM 74, and the external I/F 68 are connected to the bus 66.
  • the processor 70 has a CPU and a GPU, and controls the entire control device 22.
  • the GPU operates under the control of the CPU, and is responsible for executing various graphic processing operations and performing calculations using neural networks.
  • the processor 70 may be one or more CPUs that have integrated GPU functionality, or one or more CPUs that do not have integrated GPU functionality.
  • RAM 72 is a memory in which information is temporarily stored, and is used as a work memory by processor 70.
  • NVM 74 is a non-volatile storage device that stores various programs and various parameters, etc.
  • One example of NVM 74 is a flash memory (e.g., EEPROM and/or SSD). Note that flash memory is merely one example, and may be other non-volatile storage devices such as HDDs, or may be a combination of two or more types of non-volatile storage devices.
  • the external I/F 68 is responsible for transmitting various types of information between devices that exist outside the control device 22 (hereinafter also referred to as "external devices") and the processor 70.
  • external devices include a USB interface.
  • the camera 48 is connected to the external I/F 68 as one of the external devices, and the external I/F 68 is responsible for the exchange of various information between the camera 48 provided in the endoscope 18 and the processor 70.
  • the processor 70 controls the camera 48 via the external I/F 68.
  • the processor 70 also acquires, via the external I/F 68, intestinal wall images 41 (see FIG. 1) obtained by imaging the inside of the subject 20 with the camera 48 provided in the endoscope 18.
  • the light source device 24 is connected to the external I/F 68 as one of the external devices, and the external I/F 68 is responsible for the exchange of various information between the light source device 24 and the processor 70.
  • the light source device 24 supplies light to the lighting device 50 under the control of the processor 70.
  • the lighting device 50 irradiates the light supplied from the light source device 24.
  • the external I/F 68 is connected to the reception device 62 as one of the external devices, and the processor 70 acquires instructions accepted by the reception device 62 via the external I/F 68 and executes processing according to the acquired instructions.
  • the image processing device 25 is connected to the external I/F 68 as one of the external devices, and the processor 70 outputs the intestinal wall image 41 to the image processing device 25 via the external I/F 68.
  • a procedure called ERCP (endoscopic retrograde cholangiopancreatography) examination may be performed.
  • ERCP examination for example, first, a duodenoscope 12 is inserted into the duodenum J via the esophagus and stomach. In this case, the insertion state of the duodenoscope 12 may be confirmed by X-ray imaging. Then, the tip 46 of the duodenoscope 12 reaches the vicinity of the duodenal papilla N (hereinafter also simply referred to as "papilla N”) present in the intestinal wall of the duodenum J.
  • papilla N duodenal papilla N
  • a cannula 54A is inserted from the papilla N.
  • the papilla N is a part that protrudes from the intestinal wall of the duodenum J, and the openings of the ends of the bile duct T (e.g., common bile duct, intrahepatic bile duct, gall bladder duct) and pancreatic duct S are present in the papilla protuberance NA of the papilla N.
  • X-rays are taken in a state in which a contrast agent is injected into the bile duct T and pancreatic duct S through the opening of the papilla N via the cannula 54A.
  • a doctor 14 with little experience in ERCP examinations may refer to information related to the procedure, including the type of papilla N, but in this case too, because the doctor is concentrating on operating the duodenoscope 12, it is difficult for the doctor 14 to refer to text or notes and confirm information related to the procedure.
  • medical support processing is performed by the processor 82 of the image processing device 25 to support the implementation of medical care according to the type of duodenal papilla.
  • the image processing device 25 includes a computer 76, an external I/F 78, and a bus 80.
  • the computer 76 includes a processor 82, an NVM 84, and a RAM 81.
  • the processor 82, the NVM 84, the RAM 81, and the external I/F 78 are connected to the bus 80.
  • the computer 76 is an example of a "medical support device” and a “computer” according to the technology of the present disclosure.
  • the processor 82 is an example of a "processor" according to the technology of the present disclosure.
  • the hardware configuration of computer 76 (i.e., processor 82, NVM 84, and RAM 81) is basically the same as the hardware configuration of computer 64 shown in FIG. 3, so a description of the hardware configuration of computer 76 will be omitted here.
  • the role of external I/F 78 in image processing device 25 in terms of sending and receiving information with the outside world is basically the same as the role of external I/F 68 in control device 22 shown in FIG. 3, so a description of this role will be omitted here.
  • a medical support processing program 84A is stored in the NVM 84.
  • the medical support processing program 84A is an example of a "program" according to the technology of the present disclosure.
  • the processor 82 reads out the medical support processing program 84A from the NVM 84 and executes the read out medical support processing program 84A on the RAM 81.
  • the medical support processing is realized by the processor 82 operating as an image acquisition unit 82A, an image recognition unit 82B, a support information acquisition unit 82C, and a display control unit 82D in accordance with the medical support processing program 84A executed on the RAM 81.
  • the NVM 84 stores a trained model 84B.
  • the image recognition unit 82B performs AI-based image recognition processing as image recognition processing for object detection.
  • the trained model 84B is optimized by performing machine learning in advance on the neural network.
  • the NVM 84 stores a support information table 83. Details of the support information table 83 will be described later.
  • the image acquisition unit 82A acquires an intestinal wall image 41 generated by imaging a camera 48 provided on the endoscope scope 18 at an imaging frame rate (e.g., several tens of frames per second) from the camera 48 on a frame-by-frame basis.
  • an imaging frame rate e.g., several tens of frames per second
  • the image acquisition unit 82A holds a time-series image group 89.
  • the time-series image group 89 is a plurality of time-series intestinal wall images 41 in which the observation subject 21 is captured.
  • the time-series image group 89 includes, for example, a certain number of frames (for example, a number of frames determined in advance within a range of several tens to several hundreds of frames) of intestinal wall images 41.
  • the image acquisition unit 82A updates the time-series image group 89 in a FIFO manner each time it acquires an intestinal wall image 41 from the camera 48.
  • time-series image group 89 is stored and updated by the image acquisition unit 82A, but this is merely one example.
  • the time-series image group 89 may be stored and updated in a memory connected to the processor 82, such as the RAM 81.
  • the image recognition unit 82B acquires the intestinal wall image 41 of a frame designated by the user from among the time-series image group 89 held by the image acquisition unit 82A.
  • the designated frame is, for example, a frame at a time point designated by the user operating the operation unit 42.
  • the image recognition unit 82B performs image recognition processing on the intestinal wall image 41 using the trained model 84B. By performing the image recognition processing, the type of papilla N included in the observation target 21 is identified.
  • identifying the type of papilla N refers to a process of storing in memory in a state in which papilla type information 90 (for example, the name of the type of papilla N shown in the intestinal wall image 41) capable of identifying the type of papilla N is associated with the intestinal wall image 41.
  • the papilla type information 90 is an example of "related information" related to the technology disclosed herein.
  • the trained model 84B is obtained by optimizing the neural network through machine learning using training data.
  • the training data is a plurality of data (i.e., a plurality of frames of data) in which example data and correct answer data are associated with each other.
  • the example data is, for example, an image (for example, an image equivalent to the intestinal wall image 41) obtained by imaging a site that may be the subject of an ERCP examination (for example, the inner wall of the duodenum).
  • the correct answer data is an annotation that corresponds to the example data.
  • An example of correct answer data is an annotation that can identify the type of papilla N.
  • each trained model 84B is created by performing machine learning specialized for the ERCP examination technique (e.g., the position of the duodenoscope 12 relative to the papilla N, etc.), and the trained model 84B corresponding to the ERCP examination technique currently being performed is selected and used by the image recognition unit 82B.
  • the ERCP examination technique e.g., the position of the duodenoscope 12 relative to the papilla N, etc.
  • the image recognition unit 82B inputs the intestinal wall image 41 acquired from the image acquisition unit 82A to the trained model 84B. As a result, the trained model 84B outputs papilla type information 90 corresponding to the input intestinal wall image 41. The image recognition unit 82B acquires the papilla type information 90 output from the trained model 84B.
  • the support information acquisition unit 82C acquires support information 86 according to the type of papilla N.
  • the support information 86 is information provided to the user to support the procedure in the ERCP examination.
  • the support information 86 includes junction type information 86A and a schema 86B.
  • the junction type information 86A is determined according to the type of papilla N, and is information capable of identifying the junction type in which the bile duct and the pancreatic duct join.
  • the schema 86B is an image showing the state in which the bile duct and the pancreatic duct join.
  • the support information 86, the junction type information 86A, and the schema 86B are examples of "related information" according to the technology disclosed herein.
  • the junction type information 86A is an example of "junction type information” according to the technology disclosed herein
  • the schema 86B is an example of a "schema” according to the technology disclosed herein.
  • the support information acquisition unit 82C acquires nipple type information 90 from the image recognition unit 82B.
  • the support information acquisition unit 82C also acquires a support information table 83 from the NVM 84.
  • the support information acquisition unit 82C acquires support information 86 corresponding to the nipple type information 90 using the support information table 83.
  • the support information table 83 is information in which nipple type information 90, merging format information 86A, and schema 86B, which correspond to each other, are associated according to their corresponding relationships.
  • the support information table 83 is, for example, a table in which nipple type information 90 is used as input information, and merging format information 86A and schema 86B corresponding to the type of nipple N are used as output information.
  • FIG. 6 shows an example of an image in which the confluence type is a separation type when the type of papilla N is a separate opening type
  • the schema 86B shows the bile duct and pancreatic duct separated within the papilla N.
  • the support information table 83 an example of an image is shown in which the confluence type is a separation type when the type of papilla N is an onion type
  • the schema 86B shows the bile duct and pancreatic duct separated within the papilla N and the pancreatic duct branched within the papilla N.
  • the confluence type is a partition type when the type of papilla N is a nodular type
  • the schema 86B shows the bile duct and pancreatic duct adjacent to each other at the tip side of the protrusion of the papilla N.
  • the output information for the support information table 83 may be merging type information 86A alone.
  • the schema 86B has the merging type information 86A as incidental information.
  • the support information acquisition unit 82C then acquires a schema 86B having incidental information corresponding to the merging type information 86A based on the merging type information 86A acquired using the support information table 83.
  • a support information calculation formula (not shown) may be used instead of the support information table 83.
  • the support information calculation formula is a calculation formula in which a value indicating the type of nipple N is an independent variable, and a value indicating the merging type and a value indicating the schema 86B are dependent variables.
  • the display control unit 82D acquires an intestinal wall image 41 from the image acquisition unit 82A.
  • the display control unit 82D also acquires papilla type information 90 from the image recognition unit 82B.
  • the display control unit 82D further acquires support information 86 from the support information acquisition unit 82C.
  • the display control unit 82D generates a display image 94 including the intestinal wall image 41, the type of papilla N indicated by the papilla type information 90, and the merging format and schema indicated by the support information 86, and outputs it to the display device 13.
  • the display control unit 82D controls a GUI (Graphical User Interface) to display the display image 94, thereby causing the display device 13 to display screens 36 to 38.
  • the screens 36 to 38 are examples of "screens" according to the technology disclosed herein.
  • an intestinal wall image 41 is displayed on screen 36.
  • a schema 86B is also displayed on screen 37.
  • a message indicating the type of papilla N and a message indicating the merging format are displayed on screen 38.
  • doctor 14 visually checks intestinal wall image 41 displayed on screen 36, and also visually checks schema 86B displayed on screen 37 and the message displayed on screen 38. This allows doctor 14 to use information on the type of papilla N and the merging format when inserting a cannula into papilla N.
  • the intestinal wall image 41, papilla type information 90, and support information 86 are displayed on the screens 36-38 of the display device 13, this is merely one example.
  • the intestinal wall image 41, papilla type information 90, and support information 86 may be displayed on a single screen. Also, the intestinal wall image 41, papilla type information 90, and support information 86 may be displayed on separate display devices 13.
  • FIG. 8 shows an example of the flow of medical support processing performed by the processor 82.
  • the flow of medical support processing shown in FIG. 8 is an example of a "medical support method" according to the technology of the present disclosure.
  • step ST10 the image acquisition unit 82A determines whether or not the user has specified a frame in the time-series image group 89 captured by the camera 48 provided in the endoscope scope 18. If a frame has not been specified in step ST10, the determination is negative and the determination in step ST10 is made again. If a frame has been specified in step ST10, the determination is positive and the medical support process proceeds to step ST12.
  • step ST12 the image acquisition unit 82A acquires the intestinal wall image 41 of the specified frame from the camera 48 provided in the endoscope 18. After the processing of step ST12 is executed, the medical support processing proceeds to step ST14.
  • step ST14 the image recognition unit 82B performs AI-based image recognition processing (i.e., image recognition processing using the trained model 84B) on the intestinal wall image 41 acquired in step ST12 to detect the type of papilla N.
  • AI-based image recognition processing i.e., image recognition processing using the trained model 84B
  • the medical support processing proceeds to step ST16.
  • step ST16 the support information acquisition unit 82C acquires the support information table 83 from the NVM 84. After the processing of step ST16 is executed, the medical support processing proceeds to step ST18.
  • step ST18 the support information acquisition unit 82C uses the support information table 83 to acquire support information 86 corresponding to the type of nipple N. Specifically, the support information acquisition unit 82C acquires junction format information 86A and a schema 86B as support information 86 from the support information table 83. After the processing of step ST18 is executed, the medical support processing proceeds to step ST20.
  • step ST20 the display control unit 82D generates a display image 94 that displays the intestinal wall image 41, the type of papilla N indicated by the papilla type information 90, the junction type indicated by the junction type information 86A, and a schema 86B.
  • step ST20 the display control unit 82D generates a display image 94 that displays the intestinal wall image 41, the type of papilla N indicated by the papilla type information 90, the junction type indicated by the junction type information 86A, and a schema 86B.
  • step ST22 the display control unit 82D outputs the display image 94 generated in step ST20 to the display device 13. After the processing of step ST22 is executed, the medical support processing proceeds to step ST24.
  • step ST24 the display control unit 82D determines whether or not a condition for terminating the medical support process has been satisfied.
  • a condition for terminating the medical support process is that an instruction to terminate the medical support process has been given to the duodenoscope system 10 (for example, that an instruction to terminate the medical support process has been accepted by the acceptance device 62).
  • step ST24 If the conditions for terminating the medical support process are not met in step ST24, the determination is negative and the medical support process proceeds to step ST10. If the conditions for terminating the medical support process are met in step ST24, the determination is positive and the medical support process ends.
  • the processor 82 performs image recognition processing on the intestinal wall image 41 using the image recognition unit 82B to identify the type of papilla N.
  • the support information acquisition unit 82C then acquires support information 86 based on the papilla type information 90.
  • the display control unit 82D outputs the papilla type information 90 and the support information 86 to the outside (e.g., the display device 13).
  • the type of papilla N indicated by the papilla type information 90 is displayed, for example, on the display device 13 together with the intestinal wall image 41, allowing the user to grasp the type of papilla N while operating the duodenoscope 12. This configuration makes it possible to support the implementation of medical care according to the type of papilla N.
  • the type of papilla N indicated by papilla type information 90, the junction type of the bile duct and pancreatic duct indicated by junction type information 86A, and a schema 86B are displayed on the display device 13.
  • the user can visually confirm the various pieces of information displayed on the display device 13 while operating the duodenoscope 12.
  • This configuration provides visual support for the implementation of medical care according to the type of papilla N.
  • the support information 86 includes a schema 86B that is determined according to the type of papilla N.
  • the schema 86B is an image that diagrammatically shows the confluence of the bile duct and the pancreatic duct. This provides visual support using the schema 86B as support for the performance of medical care according to the type of papilla N.
  • the support information 86 includes the schema 86B, it is possible to easily grasp information that can be used in the performance of medical care, as compared to when the support information 86 is displayed only as text, for example.
  • the support information 86 includes junction type information 86A indicating the junction type of the bile duct and the pancreatic duct.
  • the junction type information 86A is determined according to the type of papilla N, and is information capable of identifying the junction type of the bile duct and the pancreatic duct. This allows the user to recognize the junction type of the bile duct and the pancreatic duct.
  • a treatment tool such as a cannula may be inserted into the bile duct or the pancreatic duct.
  • the junction type of the bile duct and the pancreatic duct affects the success or failure of the intubation. Therefore, by allowing the user to recognize the junction type of the bile duct and the pancreatic duct, support for the implementation of medical care is realized.
  • the image recognition unit 82B of the processor 82 performs image recognition processing on a frame-by-frame basis to identify the type of papilla N contained in the intestinal wall image 41. This makes it possible to identify the type of papilla N with a simpler configuration than when a portion of the intestinal wall image 41 is extracted and image recognition processing is performed on the extracted image area basis.
  • the type of the nipple N was identified by the image recognition processing in the image recognition unit 82B, but the technology of the present disclosure is not limited to this.
  • the present second embodiment as a result of the image recognition processing in the image recognition unit 82B, the type of the nipple N is classified, and further, a confidence level for each classified type of nipple N is obtained.
  • the image acquisition unit 82A acquires an intestinal wall image 41 from a camera 48 provided on the endoscope scope 18.
  • the image recognition unit 82B acquires the intestinal wall image 41 in a frame specified by the user.
  • the image recognition unit 82B performs image recognition processing on the intestinal wall image 41 using a trained model 84C.
  • the image recognition processing includes a classification processing for classifying the type of papilla N.
  • the classification processing determines which of these types of papilla N it corresponds to. Then, in the classification processing, the confidence level for each type of papilla N is calculated according to the classification result of the papilla N.
  • the confidence level is a statistical measure that indicates the certainty of the classification result.
  • the confidence level is, for example, multiple scores (scores for each type of nipple N) that are input to an activation function (e.g., a softmax function) in the output layer of the trained model 84C.
  • the trained model 84C is obtained by optimizing the neural network through machine learning using training data.
  • the training data is a plurality of data (i.e., a plurality of frames of data) in which example data and correct answer data are associated with each other.
  • the example data is, for example, an image (for example, an image equivalent to the intestinal wall image 41) obtained by imaging a site that may be the subject of an ERCP examination (for example, the inner wall of the duodenum).
  • the correct answer data is an annotation that corresponds to the example data.
  • An example of the correct answer data is the classification result of the papilla N (for example, data in which the type of papilla N is annotated as multi-label).
  • the image recognition unit 82B inputs the intestinal wall image 41 acquired from the image acquisition unit 82A to the trained model 84C. As a result, the trained model 84C outputs certainty information 92 corresponding to the input intestinal wall image 41.
  • the image recognition unit 82B acquires the certainty information 92 output from the trained model 84B.
  • the certainty information 92 includes the certainty of each type of papilla N in the intestinal wall image 41 in which the papilla N appears.
  • the certainty information 92 is an example of "certainty information" related to the technology of the present disclosure.
  • the support information acquisition unit 82C acquires certainty information 92 from the image recognition unit 82B.
  • the support information acquisition unit 82C acquires support information 86 corresponding to the type of nipple N that exhibits the highest certainty among the certainty levels indicated by the certainty information 92.
  • the support information acquisition unit 82C uses the support information table 83 to acquire junction format information 86A and a schema 86B corresponding to the type of nipple N that exhibits the highest certainty.
  • the display control unit 82D acquires an intestinal wall image 41 from the image acquisition unit 82A.
  • the display control unit 82D also acquires confidence level information 92 from the image recognition unit 82B.
  • the display control unit 82D also acquires support information 86 from the support information acquisition unit 82C.
  • the display control unit 82D generates a display image 94 including the intestinal wall image 41, the confidence level for each type of papilla N indicated by the confidence level information 92, and the merging format and schema indicated by the support information 86, and causes the display device 13 to display the screens 36 to 38.
  • an intestinal wall image 41 is displayed on screen 36, and a schema 86B is displayed on screen 37.
  • a message indicating the certainty of papilla N and a message indicating the merging type are displayed on screen 38.
  • the types and certainty of papilla N are shown as separate opening type: 70%, onion type: 20%, nodular type: 5%, and villous type: 5%.
  • the message for separate opening type which is the type of papilla N with the highest certainty, is displayed in a frame to distinguish it from the others.
  • the doctor 14 visually checks the intestinal wall image 41 displayed on the screen 36, and further visually checks the schema 86B displayed on the screen 37 and the message displayed on the screen 38. This allows the doctor 14 to use information on the type of papilla N and the junction type when inserting a cannula into the papilla N.
  • the image recognition unit 82B of the processor 82 performs image recognition processing.
  • the image recognition processing includes a classification process for classifying the type of papilla N.
  • the type of papilla N is classified, and confidence level information 92 indicating the confidence level for each classified type of papilla N is output from the image recognition unit 82B.
  • the confidence level for each type of papilla N indicated by the confidence level information 92 is displayed on the display device 13. The user can grasp the type of papilla N and the confidence level while operating the duodenoscope 12.
  • the user can grasp the confidence of the identified result and the possibility of other types of papilla N.
  • This configuration can support the implementation of medical care according to the type of papilla N.
  • the image acquisition unit 82A acquires an intestinal wall image 41 from a camera 48 provided on the endoscope scope 18.
  • the image recognition unit 82B performs image recognition processing on the intestinal wall image 41 using a trained model 84C.
  • the image recognition unit 82B inputs the intestinal wall image 41 acquired from the image acquisition unit 82A to the trained model 84C.
  • the trained model 84C outputs certainty information 92 corresponding to the input intestinal wall image 41.
  • the image recognition unit 82B acquires the certainty information 92 output from the trained model 84B.
  • the support information acquisition unit 82C acquires confidence level information 92 from the image recognition unit 82B.
  • the support information acquisition unit 82C uses the support information table 85 to acquire occurrence frequency information 86C and a schema 86B corresponding to the type of nipple N with the highest confidence level.
  • the support information table 85 is a table in which nipple type information 90, occurrence frequency information 86C, and schema 86B, which correspond to each other, are associated according to their corresponding relationships.
  • the support information table 85 is a table in which the type of nipple N indicated by nipple type information 90 is used as input information, and occurrence frequency information 86C and schema 86B corresponding to the type of nipple N are used as output information.
  • the frequency of occurrence of the confluence type is 2/3 septum type and 1/3 common duct type, and an example of an image of a schema 86B showing the septum type and the common duct type is shown.
  • the frequency of occurrence of the confluence type is 2/3 septum type and 1/3 common duct type, and an example of an image of a schema 86B showing the septum type and the common duct type is shown.
  • the frequency of occurrence of the confluence type is mostly septum type.
  • the villous type and the flat type are examples of the "first papilla type" according to the technology disclosed herein.
  • the output information of the support information table 85 may be only the occurrence frequency information 86C.
  • the schema 86B has the occurrence frequency information 86C as incidental information.
  • the support information acquisition unit 82C then acquires a schema 86B having incidental information corresponding to the occurrence frequency information 86C, based on the occurrence frequency information 86C acquired using the support information table 85.
  • a support information calculation formula (not shown) may be used instead of the support information table 85.
  • the support information calculation formula is a calculation formula in which the type of nipple N is an independent variable, and the occurrence frequency information 86C and the schema 86B are dependent variables.
  • the display control unit 82D acquires an intestinal wall image 41 from the image acquisition unit 82A.
  • the display control unit 82D also acquires confidence level information 92 from the image recognition unit 82B.
  • the display control unit 82D also acquires support information 86 from the support information acquisition unit 82C.
  • the display control unit 82D generates a display image 94 including the intestinal wall image 41, the confidence level for each type of papilla N indicated by the confidence level information 92, and the occurrence frequency and schema 86B of the merging type indicated by the support information 86, and causes the display device 13 to display the screens 36 to 38.
  • an intestinal wall image 41 is displayed on screen 36, and a schema 86B is displayed on screen 37.
  • schema 86B includes an image showing a septum type and an image showing a common duct type.
  • the upper left corner of the image showing the septum type displays the frequency of occurrence of 2/3
  • the upper left corner of the image showing the common duct type displays the frequency of occurrence of 1/3.
  • a message indicating the certainty of papilla N and a message indicating the merging type are displayed on screen 38.
  • the message indicating the merging type indicates that the merging type is either the septum type or the common duct type.
  • the doctor 14 visually checks the intestinal wall image 41 displayed on the screen 36, and further visually checks the schema 86B displayed on the screen 37 and the message displayed on the screen 38. This allows the doctor 14 to use information on the type of papilla N and the frequency of occurrence of the merging type when inserting a cannula into the papilla N.
  • the support information acquisition unit 82C of the processor 82 acquires occurrence frequency information 86C and schema 86B indicating the occurrence frequency of the junction type of the bile duct and the pancreatic duct using the support information table 85.
  • the support information acquisition unit 82C then outputs the occurrence frequency information 86C and schema 86B as support information 86.
  • the occurrence frequency and schema 86B indicated by the occurrence frequency information 86C are displayed on the display device 13.
  • the user can grasp the type of papilla N and the occurrence frequency of the junction type while operating the duodenoscope 12. This can contribute to the realization of a highly accurate judgment by the user when the user visually judges the type of papilla N.
  • the occurrence frequency information 86C includes information indicating the occurrence frequency of each junction type (e.g., 2/3 partition type and 1/3 common duct type).
  • the schema 86B also shows the occurrence frequency together with an image showing the junction type.
  • the support information acquisition unit 82C outputs the occurrence frequency information 86C and the schema 86B, and a message indicating the occurrence frequency of the junction type of the bile duct and the pancreatic duct and the schema 86B are displayed on the display device 13.
  • the user can grasp the type of papilla N and the occurrence frequency of the junction type while operating the duodenoscope 12. This can contribute to realizing a highly accurate judgment by the user when the user visually judges the type of papilla N to be one of multiple junction types.
  • the multiple junction types are septum type or common duct type.
  • the occurrence frequency of the junction type is 2/3 septum type and 1/3 common duct type, and an example of an image in which the schema 86B shows the septum type and common duct type is shown.
  • the occurrence frequency of the junction type is 2/3 septum type and 1/3 common duct type, and an example of an image in which the schema 86B shows the septum type and common duct type is shown. This can contribute to realizing a highly accurate judgment by the user when visually judging whether the junction type of a villous or flat papilla is the septum type or the common duct type.
  • the display control unit 82D acquires an intestinal wall image 41 from the image acquisition unit 82A.
  • the display control unit 82D also acquires confidence level information 92 from the image recognition unit 82B.
  • the display control unit 82D further acquires support information 86 from the support information acquisition unit 82C.
  • the support information 86 includes auxiliary information 86D.
  • the auxiliary information 86D is information that assists in medical treatment, and the medical treatment here is treatment performed on the confluence of the bile duct and pancreatic duct that is determined according to the type of papilla N.
  • auxiliary information 86D is provided to assist in the medical procedure, making it easier for the user to perform the medical procedure.
  • Auxiliary information 86D is an example of "auxiliary information" related to the technology disclosed herein.
  • the auxiliary information 86D may be set as an output value of the support information table 85 (see FIG. 11), for example, or may be input in advance by the user.
  • the content of the assistance indicated by the auxiliary information 86D may be, for example, information regarding the amount of insertion when inserting a cannula, or information regarding the method of insertion, etc.
  • the display control unit 82D generates a display image 94 including the intestinal wall image 41, the certainty indicated by the certainty information 92, and the auxiliary content indicated by the auxiliary information 86D, and causes the display device 13 to display the screens 36 to 38.
  • the screen 37 displays a message indicating the auxiliary content together with the schema 86B. In the example shown in FIG. 13, the message “Start with shallow intubation" is displayed as the auxiliary content.
  • the support information 86 includes auxiliary information 86D, which is information for assisting medical procedures performed for a junction type determined according to the type of papilla N.
  • the auxiliary information 86D is output from the support information acquisition unit 82C.
  • a message of the support content indicated by the support information 86 is displayed on the display device 13. While operating the duodenoscope 12, the user can grasp the type of papilla N and the support content available for medical procedures for the junction type. This can contribute to the accurate implementation of medical procedures for the junction type determined according to the type of papilla N.
  • the support information acquisition unit 82C of the processor 82 outputs auxiliary information 86D when there are multiple junction types of the bile duct and pancreatic duct corresponding to the type of papilla N. This can contribute to the accurate implementation of medical procedures for the junction type, even when there are multiple junction types for the type of papilla N.
  • the image recognition process is performed on the entire intestinal wall image 41 to identify the type of the papilla N, but the technology of the present disclosure is not limited to this.
  • the type identification process is performed after the papilla detection process is performed on the intestinal wall image 41.
  • the image acquisition unit 82A acquires an intestinal wall image 41 from a camera 48 provided on the endoscope 18.
  • the image recognition unit 82B performs image recognition processing on the intestinal wall image 41.
  • the image recognition processing includes a nipple detection processing, which is a processing for detecting an area indicating a nipple N in the intestinal wall image 41, and a type identification processing, which is a processing for identifying the type of the nipple N.
  • the nipple detection processing is an example of a "first image recognition processing" related to the technology of the present disclosure
  • the type identification processing is an example of a "second image recognition processing" related to the technology of the present disclosure.
  • the image recognition unit 82B performs a nipple detection process on the intestinal wall image 41.
  • the image recognition unit 82B inputs the intestinal wall image 41 acquired from the image acquisition unit 82A to the trained model for nipple detection 84D.
  • the trained model for nipple detection 84D outputs nipple region information 93 corresponding to the input intestinal wall image 41.
  • the nipple region information 93 is information that can identify the region indicating the nipple N in the intestinal wall image 41 (for example, the position coordinates within the image of the region indicating the nipple N).
  • the image recognition unit 82B acquires the nipple region information 93 output from the trained model for nipple detection 84D.
  • the trained model 84D for papilla detection is obtained by optimizing the neural network through machine learning using training data.
  • the training data may be a plurality of images (e.g., a plurality of images corresponding to a plurality of intestinal wall images 41 in a time series) obtained by imaging a region that may be the subject of an ERCP examination (e.g., the inner wall of the duodenum) as example data, and the papilla region information 93 as correct answer data.
  • the image recognition unit 82B performs type identification processing on the area of the nipple N indicated by the nipple area information 93.
  • the image recognition unit 82B inputs an image showing the nipple N identified by the nipple detection processing to the trained model for type identification 84E.
  • the trained model for type identification 84E outputs nipple type information 90 based on the input image showing the nipple N.
  • the image recognition unit 82B acquires the nipple type information 90 output from the trained model for type identification 84E.
  • the trained model 84E for type identification is obtained by optimizing the neural network through machine learning performed on the neural network using training data.
  • the training data is a plurality of data (i.e., a plurality of frames of data) in which example data and correct answer data are associated with each other.
  • the example data is, for example, an image (for example, an image equivalent to the intestinal wall image 41) obtained by imaging a site that may be the subject of an ERCP examination (for example, the inner wall of the duodenum).
  • the correct answer data is an annotation that corresponds to the example data.
  • One example of correct answer data is an annotation that can identify the type of papilla N.
  • a papilla N is detected using the trained model for papilla detection 84D and the type of papilla N is identified using the trained model for type identification 84E
  • the technology disclosed herein is not limited to this.
  • a single trained model may be used to detect a papilla N and identify the type of papilla N in the intestinal wall image 41.
  • the support information acquisition unit 82C acquires support information 86 according to the type of papilla N.
  • the display control unit 82D (see FIG. 7) generates a display image 94 including the intestinal wall image 41, the type of papilla N indicated by the papilla type information 90, and the merging format and schema 86B indicated by the support information 86, and outputs it to the display device 13.
  • image recognition processing is performed in the image recognition unit 82B of the processor 82.
  • the image recognition processing includes a nipple detection processing and a type identification processing.
  • the type of nipple N is identified for the nipple N identified by the nipple detection processing, and the accuracy of identifying the type of nipple N is improved compared to when the type identification processing is performed on the entire intestinal wall image 41.
  • the papilla type information 90, support information 86, intestinal wall image 41, etc. are output to the display device 13 and displayed on the screens 36 to 38 of the display device 13, but the technology of the present disclosure is not limited to this.
  • the papilla type information 90, support information 86, intestinal wall image 41, etc. may be output to an electronic medical record server 100.
  • the electronic medical record server 100 is a server for storing electronic medical record information 102 that indicates the results of medical treatment for patients.
  • the electronic medical record information 102 includes the papilla type information 90, support information 86, intestinal wall image 41, etc.
  • the electronic medical record server 100 is connected to the duodenoscope system 10 via a network 104.
  • the electronic medical record server 100 acquires intestinal wall images 41 from the duodenoscope system 10.
  • the electronic medical record server 100 stores papilla type information 90, support information 86, intestinal wall images 41, etc. as part of the medical results indicated by electronic medical record information 102.
  • the electronic medical record server 100 is an example of an "external device" according to the technology of the present disclosure, and the electronic medical record information 102 is an example of a "medical record” according to the technology of the present disclosure.
  • the electronic medical record server 100 is also connected to terminals other than the duodenoscope system 10 (for example, personal computers installed in a medical facility) via a network 104.
  • a user such as a doctor 14 can obtain the papilla type information 90, support information 86, intestinal wall images 41, etc. stored in the electronic medical record server 100 via a terminal.
  • the papilla type information 90, support information 86, intestinal wall images 41, etc. are stored in the electronic medical record server 100, the user can obtain the papilla type information 90, support information 86, intestinal wall images 41, etc.
  • the nipple type information 90, support information 86, intestinal wall image 41, etc. are output to the display device 13, but the technology of the present disclosure is not limited to this.
  • the nipple type information 90, support information 86, intestinal wall image 41, etc. may be output to an audio output device such as a speaker (not shown), or may be output to a printing device such as a printer (not shown).
  • AI-based image recognition processing is performed on the intestinal wall image 41, but the technology disclosed herein is not limited to this.
  • a pattern matching-based image recognition processing may be performed.
  • the medical support processing is performed by the processor 82 of the computer 76 included in the image processing device 25, but the technology of the present disclosure is not limited to this.
  • the medical support processing may be performed by the processor 70 of the computer 64 included in the control device 22.
  • the device performing the medical support processing may be provided outside the duodenoscope 12. Examples of devices provided outside the duodenoscope 12 include at least one server and/or at least one personal computer that are communicatively connected to the duodenoscope 12.
  • the medical support processing may be distributed and performed by multiple devices.
  • the medical support processing program 84A is stored in the NVM 84, but the technology of the present disclosure is not limited to this.
  • the medical support processing program 84A may be stored in a portable non-transitory storage medium such as an SSD or USB memory.
  • the medical support processing program 84A stored in the non-transitory storage medium is installed in the computer 76 of the duodenoscope 12.
  • the processor 82 executes the medical support processing in accordance with the medical support processing program 84A.
  • the medical support processing program 84A may also be stored in a storage device such as another computer or server connected to the duodenoscope 12 via a network, and the medical support processing program 84A may be downloaded and installed in the computer 76 in response to a request from the duodenoscope 12.
  • processors listed below can be used as hardware resources for executing medical support processing.
  • An example of a processor is a CPU, which is a general-purpose processor that functions as a hardware resource for executing medical support processing by executing software, i.e., a program.
  • Another example of a processor is a dedicated electrical circuit, which is a processor with a circuit configuration designed specifically for executing specific processing, such as an FPGA, PLD, or ASIC. All of these processors have built-in or connected memory, and all of these processors execute medical support processing by using the memory.
  • the hardware resource that executes the medical support processing may be composed of one of these various processors, or may be composed of a combination of two or more processors of the same or different types (e.g., a combination of multiple FPGAs, or a combination of a CPU and an FPGA). Also, the hardware resource that executes the medical support processing may be a single processor.
  • a configuration using a single processor first, there is a configuration in which one processor is configured using a combination of one or more CPUs and software, and this processor functions as a hardware resource that executes medical support processing. Secondly, there is a configuration in which a processor is used that realizes the functions of the entire system, including multiple hardware resources that execute medical support processing, on a single IC chip, as typified by SoCs. In this way, medical support processing is realized using one or more of the various processors listed above as hardware resources.
  • the hardware structure of these various processors can be an electric circuit that combines circuit elements such as semiconductor elements.
  • the above medical support process is merely one example. It goes without saying that unnecessary steps can be deleted, new steps can be added, and the processing order can be changed without departing from the spirit of the invention.
  • a and/or B is synonymous with “at least one of A and B.”
  • a and/or B means that it may be just A, or just B, or a combination of A and B.
  • the same concept as “A and/or B” is also applied when three or more things are expressed by linking them with “and/or.”

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Endoscopes (AREA)

Abstract

プロセッサを備え、プロセッサは、内視鏡スコープに設けられたカメラによって十二指腸内の十二指腸乳頭を含む腸壁が撮像されることで得られた腸壁画像に対して画像認識処理を実行することにより十二指腸乳頭の種類である乳頭種類を特定し、乳頭種類に関連する関連情報を出力する医療支援装置。

Description

医療支援装置、内視鏡、医療支援方法、及びプログラム
　本開示の技術は、医療支援装置、内視鏡、医療支援方法、及びプログラムに関する。
　特開２０２０－６２２１８号公報には、胆管の十二指腸ファータ乳頭の画像と、胆管にカテーテルを挿入した方法であるカニュレーション方法を示す情報とを関連付けた情報を複数取得する取得部と、胆管の十二指腸ファータ乳頭の画像に基づいて、カニュレーション方法を示す情報を教師データとして、機械学習する学習部と、学習部が機械学習した結果とカニュレーション方法を示す情報とを関連付けて記憶する記憶部とを備える、学習装置が開示されている。
　本開示の技術に係る一つの実施形態は、十二指腸乳頭の種類に応じた医療の実施を支援することが可能な医療支援装置、内視鏡、医療支援方法、及びプログラムを提供する。
　本開示の技術に係る第１の態様は、プロセッサを備え、プロセッサは、内視鏡スコープに設けられたカメラによって十二指腸内の十二指腸乳頭を含む腸壁が撮像されることで得られた腸壁画像に対して画像認識処理を実行することにより十二指腸乳頭の種類である乳頭種類を特定し、乳頭種類に関連する関連情報を出力する医療支援装置である。
　本開示の技術に係る第２の態様は、関連情報を出力することは、関連情報を画面に表示することである第１の態様に係る医療支援装置である。
本開示の技術に係る第３の態様は、関連情報は、乳頭種類に応じて定められたシェーマを含む第１の態様又は第２の態様に係る医療支援装置である。
　本開示の技術に係る第４の態様は、関連情報は、合流形式情報を含み、合流形式情報は、乳頭種類に応じて定まり、胆管と膵管とが合流する合流形式を特定可能な情報である第１の態様から第３の態様の何れか一つの態様に係る医療支援装置である。
　本開示の技術に係る第５の態様は、画像認識処理は、乳頭種類を分類する分類処理を含み、関連情報は、分類処理により分類された乳頭種類毎の確信度を示す確信度情報を含む第１の態様から第４の態様の何れか一つの態様に係る医療支援装置である。
　本開示の技術に係る第６の態様は、乳頭種類毎に、胆管と膵管とが合流する合流形式の出現頻度が定められており、プロセッサは、関連情報として、特定した乳頭種類に応じた出現頻度を示す出現頻度情報を含む情報を出力する第１の態様から第５の態様の何れか一つの態様に係る医療支援装置である。
　本開示の技術に係る第７の態様は、乳頭種類には、第１乳頭種類が含まれており、第１乳頭種類は、胆管と膵管とが合流する複数の合流形式のうちの何れかを有し、プロセッサは、乳頭種類として第１乳頭種類を特定した場合に、関連情報として、合流形式毎の出現頻度を示す出現頻度情報を含む情報を出力する第１の態様から第５の態様の何れか一つの態様に係る医療支援装置である。
　本開示の技術に係る第８の態様は、第１乳頭種類は、絨毛型又は平坦型であり、複数の合流形式は、隔壁型及び共通管型である第７の態様に係る医療支援装置である。
　本開示の技術に係る第９の態様は、関連情報は、補助情報を含み、補助情報は、胆管と膵管とが合流する合流形式であって、乳頭種類に応じて定まる合流形式に対して行われる医療処置を補助する情報である第１の態様から第８の態様の何れか一つの態様に係る医療支援装置である。
　本開示の技術に係る第１０の態様は、プロセッサは、特定した乳頭種類に合流形式が複数存在する場合に、補助情報を出力する第９の態様に係る医療支援装置である。
本開示の技術に係る第１１の態様は、プロセッサは、腸壁画像に対してフレーム単位で画像認識処理を実行することにより乳頭種類を特定する第１の態様から第１０の態様の何れか一つの態様に係る医療支援装置である。
　本開示の技術に係る第１２の態様は、画像認識処理は、第１画像認識処理及び第２画像認識処理を含み、プロセッサは、腸壁画像に対して第１画像認識処理を実行することにより十二指腸乳頭領域を検出し、検出した十二指腸乳頭領域に対して第２画像認識処理を実行することにより乳頭種類を特定する第１の態様から第１０の態様の何れか一つの態様に係る医療支援装置である。
　本開示の技術に係る第１３の態様は、関連情報は、外部装置及び／又はカルテに保存される第１の態様から第１２の態様の何れか一つの態様に係る医療支援装置である。
　本開示の技術に係る第１４の態様は、第１の態様から第１３の態様の何れか一つの態様に係る医療支援装置と、内視鏡スコープと、を備える内視鏡である。
　本開示の技術に係る第１５の態様は、内視鏡スコープに設けられたカメラによって十二指腸内の十二指腸乳頭を含む腸壁が撮像されることで得られた腸壁画像に対して画像認識処理を実行することにより十二指腸乳頭の種類である乳頭種類を特定すること、及び、乳頭種類に関連する関連情報を出力することを含む医療支援方法である。
　本開示の技術に係る第１６の態様は、コンピュータに、内視鏡スコープに設けられたカメラによって十二指腸内の十二指腸乳頭を含む腸壁が撮像されることで得られた腸壁画像に対して画像認識処理を実行することにより十二指腸乳頭の種類である乳頭種類を特定すること、及び、乳頭種類に関連する関連情報を出力することを含む処理を実行させるためのプログラムである。
十二指腸鏡システムが用いられている態様の一例を示す概念図である。 十二指腸鏡システムの全体構成の一例を示す概念図である。 十二指腸鏡システムの電気系のハードウェア構成の一例を示すブロック図である。 十二指腸鏡が用いられている態様の一例を示す概念図である。 画像処理装置の電気系のハードウェア構成の一例を示すブロック図である。 内視鏡スコープ、ＮＶＭ、画像取得部、画像認識部、及び支援情報取得部の相関の一例を示す概念図である。 表示装置、画像取得部、画像認識部、支援情報取得部、及び表示制御部の相関の一例を示す概念図である。 医療支援処理の流れの一例を示すフローチャートである。 内視鏡スコープ、ＮＶＭ、画像取得部、画像認識部、及び支援情報取得部の相関の一例を示す概念図である。 表示装置、画像取得部、画像認識部、支援情報取得部、及び表示制御部の相関の一例を示す概念図である。 内視鏡スコープ、ＮＶＭ、画像取得部、画像認識部、及び支援情報取得部の相関の一例を示す概念図である。 表示装置、画像取得部、画像認識部、支援情報取得部、及び表示制御部の相関の一例を示す概念図である。 表示装置、画像取得部、画像認識部、支援情報取得部、及び表示制御部の相関の一例を示す概念図である。 内視鏡スコープ、ＮＶＭ、画像取得部、画像認識部、及び支援情報取得部の相関の一例を示す概念図である。 十二指腸鏡システムで生成された腸壁画像、支援情報、乳頭種類情報が電子カルテサーバに保存される態様の一例を示す概念図である。
　以下、添付図面に従って本開示の技術に係る医療支援装置、内視鏡、医療支援方法、及びプログラムの実施形態の一例について説明する。
　先ず、以下の説明で使用される文言について説明する。
　ＣＰＵとは、“Central Processing Unit”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＮＶＭとは、“Non-volatile memory”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable Programmable Read-Only Memory”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＥＬとは、“Electro-Luminescence”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。ＡＩとは、“Artificial Intelligence”の略称を指す。ＢＬＩとは、“Blue Light Imaging”の略称を指す。ＬＣＩとは、“Linked Color Imaging”の略称を指す。Ｉ／Ｆとは、“Interface”の略称を指す。ＦＩＦＯとは、“First In First Out”の略称を指す。ＥＲＣＰとは、“Endoscopic Retrograde Cholangio-Pancreatography”の略称を指す。
　＜第１実施形態＞
　一例として図１に示すように、十二指腸鏡システム１０は、十二指腸鏡１２及び表示装置１３を備えている。十二指腸鏡１２は、内視鏡検査において医師１４によって用いられる。十二指腸鏡１２は、通信装置（図示省略）と通信可能に接続されており、十二指腸鏡１２によって得られた情報は、通信装置に送信される。通信装置は、十二指腸鏡１２から送信された情報を受信し、受信した情報を用いた処理（例えば、電子カルテ等に記録する処理）を実行する。
　十二指腸鏡１２は、内視鏡スコープ１８を備えている。十二指腸鏡１２は、内視鏡スコープ１８を用いて被検体２０（例えば、患者）の体内に含まれる観察対象２１（例えば、十二指腸）に対する診療を行うための装置である。観察対象２１は、医師１４によって観察される対象である。内視鏡スコープ１８は、被検体２０の体内に挿入される。十二指腸鏡１２は、被検体２０の体内に挿入された内視鏡スコープ１８に対して、被検体２０の体内の観察対象２１を撮像させ、かつ、必要に応じて観察対象２１に対して医療的な各種処置を行う。十二指腸鏡１２は、本開示の技術に係る「内視鏡」の一例である。
　十二指腸鏡１２は、被検体２０の体内を撮像することで体内の態様を示す画像を取得して出力する。本実施形態において、十二指腸鏡１２は、体内で光を照射することにより観察対象２１で反射されて得られた反射光を撮像する光学式撮像機能を有する内視鏡である。
　十二指腸鏡１２は、制御装置２２、光源装置２４及び画像処理装置２５を備えている。制御装置２２及び光源装置２４は、ワゴン３４に設置されている。ワゴン３４には、上下方向に沿って複数の台が設けられており、下段側の台から上段側の台にかけて、画像処理装置２５、制御装置２２及び光源装置２４が設置されている。また、ワゴン３４の最上段の台には、表示装置１３が設置されている。
　制御装置２２は、十二指腸鏡１２の全体を制御する装置である。また、画像処理装置２５は、制御装置２２の制御下で、十二指腸鏡１２によって撮像された画像に対して画像処理を行う装置である。
　表示装置１３は、画像（例えば、画像処理装置２５によって画像処理が行われた画像）を含めた各種情報を表示する。表示装置１３の一例としては、液晶ディスプレイ又はＥＬディスプレイ等が挙げられる。また、表示装置１３に代えて、又は、表示装置１３と共に、ディスプレイ付きのタブレット端末を用いてもよい。
　表示装置１３には、複数の画面が並べて表示される。図１に示す例では、画面３６、３７、及び３８が示されている。画面３６には、十二指腸鏡１２によって得られた内視鏡画像４０が表示される。内視鏡画像４０には、観察対象２１が写っている。内視鏡画像４０は、被検体２０の体内で内視鏡スコープ１８に設けられたカメラ４８（図２参照）によって観察対象２１が撮像されることによって得られた画像である。観察対象２１としては、十二指腸の腸壁が挙げられる。以下では、説明の便宜上、観察対象２１として十二指腸の腸壁が撮像された内視鏡画像４０である腸壁画像４１を例に挙げて説明する。なお、十二指腸は、あくまでも一例に過ぎず、十二指腸鏡１２によって撮像可能な領域であればよい。十二指腸鏡１２によって撮像可能な領域としては、例えば、食道、又は胃等が挙げられる。腸壁画像４１は、本開示の技術に係る「腸壁画像」の一例である。
　画面３６には、複数フレームの腸壁画像４１を含んで構成される動画像が表示される。つまり、画面３６には、複数フレームの腸壁画像４１が既定のフレームレート（例えば、数十フレーム／秒）で表示される。
　一例として図２に示すように、十二指腸鏡１２は、操作部４２及び挿入部４４を備えている。挿入部４４は、操作部４２が操作されることにより部分的に湾曲する。挿入部４４は、医師１４による操作部４２の操作に従って、観察対象２１の形状（例えば、十二指腸の形状）に応じて湾曲しながら挿入される。
　挿入部４４の先端部４６には、カメラ４８、照明装置５０、処置用開口５１、及び起立機構５２が設けられている。カメラ４８及び照明装置５０は、先端部４６の側面に設けられている。すなわち、十二指腸鏡１２は、側視鏡となっている。これにより、十二指腸の腸壁を観察しやすくなっている。
　カメラ４８は、被検体２０の体内を撮像することにより医用画像として腸壁画像４１を取得する装置である。カメラ４８の一例としては、ＣＭＯＳカメラが挙げられる。但し、これは、あくまでも一例に過ぎず、ＣＣＤカメラ等の他種のカメラであってもよい。カメラ４８は、本開示の技術に係る「カメラ」の一例である。
　照明装置５０は、照明窓５０Ａを有する。照明装置５０は、照明窓５０Ａを介して光を照射する。照明装置５０から照射される光の種類としては、例えば、可視光（例えば、白色光等）及び非可視光（例えば、近赤外光等）が挙げられる。また、照明装置５０は、照明窓５０Ａを介して特殊光を照射する。特殊光としては、例えば、ＢＬＩ用の光及び／又はＬＣＩ用の光が挙げられる。カメラ４８は、被検体２０の体内で照明装置５０によって光が照射された状態で、被検体２０の体内を光学的手法で撮像する。
　処置用開口５１は、処置具５４を先端部４６から突出させる処置具突出口、血液及び体内汚物等を吸引する吸引口、及び流体を送出する送出口として用いられる。
　処置用開口５１からは、医師１４の操作に従って、処置具５４が突出する。処置具５４は、処置具挿入口５８から挿入部４４内に挿入される。処置具５４は、処置具挿入口５８を介して挿入部４４内を通過して処置用開口５１から被検体２０の体内に突出する。図２に示す例では、処置具５４として、カニューレが処置用開口５１から突出している。カニューレは、処置具５４の一例に過ぎず、処置具５４の他の例としては、パピロトミーナイフ又はスネア等が挙げられる。
　起立機構５２は、処置用開口５１から突出した処置具５４の突出方向を変化させる。起立機構５２は、ガイド５２Ａを備えており、ガイド５２Ａが処置具５４の突出方向に対して起き上がることで、処置具５４の突出方向が、ガイド５２Ａに沿って変化する。これにより、処置具５４を腸壁に向かって突出させることが容易となっている。図２に示す例では、起立機構５２によって、処置具５４の突出方向が、先端部４６の進行方向に対して直交する方向に変化している。起立機構５２は、医師１４によって操作部４２を介して操作される。これにより、処置具５４の突出方向の変化の度合いが調整される。
　内視鏡スコープ１８は、ユニバーサルコード６０を介して制御装置２２及び光源装置２４に接続されている。制御装置２２には、表示装置１３及び受付装置６２が接続されている。受付装置６２は、ユーザ（例えば、医師１４）からの指示を受け付け、受け付けた指示を電気信号として出力する。図２に示す例では、受付装置６２の一例として、キーボードが挙げられている。但し、これは、あくまでも一例に過ぎず、受付装置６２は、マウス、タッチパネル、フットスイッチ、及び／又はマイクロフォン等であってもよい。
　制御装置２２は、十二指腸鏡１２の全体を制御する。例えば、制御装置２２は、光源装置２４を制御したり、カメラ４８との間で各種信号の授受を行ったりする。光源装置２４は、制御装置２２の制御下で発光し、光を照明装置５０に供給する。照明装置５０には、ライトガイドが内蔵されており、光源装置２４から供給された光はライトガイドを経由して照明窓５０Ａ及び５０Ｂから照射される。制御装置２２は、カメラ４８に対して撮像を行わせ、カメラ４８から腸壁画像４１（図１参照）を取得して既定の出力先（例えば、画像処理装置２５）に出力する。
　画像処理装置２５は、制御装置２２に対して通信可能に接続されており、画像処理装置２５は、制御装置２２から出力された腸壁画像４１に対して画像処理を行う。画像処理装置２５における画像処理の詳細については後述する。画像処理装置２５は、画像処理を施した腸壁画像４１を既定の出力先（例えば、表示装置１３）へ出力する。なお、ここでは、制御装置２２から出力された腸壁画像４１が、画像処理装置２５を介して、表示装置１３へ出力される形態例を挙げて説明したが、これはあくまでも一例に過ぎない。制御装置２２と表示装置１３とが接続されており、画像処理装置２５で画像処理が施された腸壁画像４１を、制御装置２２を介して表示装置１３に表示させる態様であってもよい。
　一例として図３に示すように、制御装置２２は、コンピュータ６４、バス６６、及び外部Ｉ／Ｆ６８を備えている。コンピュータ６４は、プロセッサ７０、ＲＡＭ７２、及びＮＶＭ７４を備えている。プロセッサ７０、ＲＡＭ７２、ＮＶＭ７４、及び外部Ｉ／Ｆ６８は、バス６６に接続されている。
　例えば、プロセッサ７０は、ＣＰＵ及びＧＰＵを有しており、制御装置２２の全体を制御する。ＧＰＵは、ＣＰＵの制御下で動作し、グラフィック系の各種処理の実行及びニューラルネットワークを用いた演算等を担う。なお、プロセッサ７０は、ＧＰＵ機能を統合した１つ以上のＣＰＵであってもよいし、ＧＰＵ機能を統合していない１つ以上のＣＰＵであってもよい。
　ＲＡＭ７２は、一時的に情報が格納されるメモリであり、プロセッサ７０によってワークメモリとして用いられる。ＮＶＭ７４は、各種プログラム及び各種パラメータ等を記憶する不揮発性の記憶装置である。ＮＶＭ７４の一例としては、フラッシュメモリ（例えば、ＥＥＰＲＯＭ及び／又はＳＳＤ）が挙げられる。なお、フラッシュメモリは、あくまでも一例に過ぎず、ＨＤＤ等の他の不揮発性の記憶装置であってもよいし、２種類以上の不揮発性の記憶装置の組み合わせであってもよい。
　外部Ｉ／Ｆ６８は、制御装置２２の外部に存在する装置（以下、「外部装置」とも称する）とプロセッサ７０との間の各種情報の授受を司る。外部Ｉ／Ｆ６８の一例としては、ＵＳＢインタフェースが挙げられる。
　外部Ｉ／Ｆ６８には、外部装置の１つとしてカメラ４８が接続されており、外部Ｉ／Ｆ６８は、内視鏡スコープ１８に設けられたカメラ４８とプロセッサ７０との間の各種情報の授受を司る。プロセッサ７０は、外部Ｉ／Ｆ６８を介してカメラ４８を制御する。また、プロセッサ７０は、内視鏡スコープ１８に設けられたカメラ４８によって被検体２０の体内が撮像されることで得られた腸壁画像４１（図１参照）を外部Ｉ／Ｆ６８を介して取得する。
　外部Ｉ／Ｆ６８には、外部装置の１つとして光源装置２４が接続されており、外部Ｉ／Ｆ６８は、光源装置２４とプロセッサ７０との間の各種情報の授受を司る。光源装置２４は、プロセッサ７０の制御下で、照明装置５０に光を供給する。照明装置５０は、光源装置２４から供給された光を照射する。
　外部Ｉ／Ｆ６８には、外部装置の１つとして受付装置６２が接続されており、プロセッサ７０は、受付装置６２によって受け付けられた指示を、外部Ｉ／Ｆ６８を介して取得し、取得した指示に応じた処理を実行する。
　外部Ｉ／Ｆ６８には、外部装置の１つとして画像処理装置２５が接続されており、プロセッサ７０は、腸壁画像４１を、外部Ｉ／Ｆ６８を介して画像処理装置２５へ出力する。
　ところで、内視鏡を用いた十二指腸に対する処置の中で、ＥＲＣＰ（内視鏡的逆行性胆管膵管造影）検査と呼ばれる処置が行われることがある。一例として図４に示すように、ＥＲＣＰ検査においては、例えば、先ず、十二指腸鏡１２が、食道、及び胃を介して、十二指腸Ｊまで挿入される。この場合、十二指腸鏡１２の挿入状態は、Ｘ線撮像によって確認されてもよい。そして、十二指腸鏡１２の先端部４６が、十二指腸Ｊの腸壁に存在する十二指腸乳頭Ｎ（以下、単に「乳頭Ｎ」とも称する）の付近へ到達する。
　ＥＲＣＰ検査では、例えば、乳頭Ｎからカニューレ５４Ａを挿入する。ここで、乳頭Ｎは、十二指腸Ｊの腸壁から隆起した部位であり、胆管Ｔ（例えば、総胆管、肝内胆管、胆のう管）及び膵管Ｓの端部の開口が乳頭Ｎの乳頭隆起ＮＡに存在している。乳頭Ｎの開口からカニューレ５４Ａを介して造影剤を胆管Ｔ及び膵管Ｓ等に注入した状態でＸ線撮影が行われる。このＥＲＣＰ検査では、乳頭Ｎの種類を把握した上で処置を行うことが重要である。なぜならば、カニューレ５４Ａを挿入する場合に、乳頭Ｎの種類が挿入の成否に影響し、さらに乳頭Ｎの種類に対応した胆管Ｔ及び膵管Ｓの状態（例えば、管の形状等）が挿入後の挿管の成否に影響するからである。しかしながら、例えば、医師１４は十二指腸鏡１２を操作しているために、このような乳頭Ｎの種類等を常に把握しておくことは困難である。
　また、例えば、ＥＲＣＰ検査の経験が浅い医師１４の場合には、乳頭Ｎの種類を含めた手技に関連する情報を参照することがあるが、この場合も十二指腸鏡１２の操作に集中しているために、テキスト又はメモを参照して、手技に関する情報を確認するのは困難である。
　そこで、このような事情に鑑み、十二指腸乳頭の種類に応じた医療の実施を支援するために、本実施形態では、画像処理装置２５のプロセッサ８２によって医療支援処理が行われる。
　一例として図５に示すように、画像処理装置２５は、コンピュータ７６、外部Ｉ／Ｆ７８、及びバス８０を備えている。コンピュータ７６は、プロセッサ８２、ＮＶＭ８４、及びＲＡＭ８１を備えている。プロセッサ８２、ＮＶＭ８４、ＲＡＭ８１、及び外部Ｉ／Ｆ７８は、バス８０に接続されている。コンピュータ７６は、本開示の技術に係る「医療支援装置」及び「コンピュータ」の一例である。プロセッサ８２は、本開示の技術に係る「プロセッサ」の一例である。
　なお、コンピュータ７６のハードウェア構成（すなわち、プロセッサ８２、ＮＶＭ８４、及びＲＡＭ８１）は、図３に示すコンピュータ６４のハードウェア構成と基本的に同じなので、ここでは、コンピュータ７６のハードウェア構成に関する説明は省略する。また、画像処理装置２５において外部Ｉ／Ｆ７８が担う外部との情報の授受という役割は、図３に示す制御装置２２において外部Ｉ／Ｆ６８が担う役割と基本的に同じなので、ここでの説明は省略する。
　ＮＶＭ８４には、医療支援処理プログラム８４Ａが記憶されている。医療支援処理プログラム８４Ａは、本開示の技術に係る「プログラム」の一例である。プロセッサ８２は、ＮＶＭ８４から医療支援処理プログラム８４Ａを読み出し、読み出した医療支援処理プログラム８４ＡをＲＡＭ８１上で実行する。医療支援処理は、プロセッサ８２がＲＡＭ８１上で実行する医療支援処理プログラム８４Ａに従って画像取得部８２Ａ、画像認識部８２Ｂ、支援情報取得部８２Ｃ、及び表示制御部８２Ｄとして動作することによって実現される。
　ＮＶＭ８４には、学習済みモデル８４Ｂが記憶されている。本実施形態では、画像認識部８２Ｂによって、物体検出用の画像認識処理として、ＡＩ方式の画像認識処理が行われる。学習済みモデル８４Ｂは、ニューラルネットワークに対して事前に機械学習が行われることによって最適化されている。
　ＮＶＭ８４には、支援情報テーブル８３が記憶されている。支援情報テーブル８３についての詳細は後述する。
　一例として図６に示すように、画像取得部８２Ａは、内視鏡スコープ１８に設けられたカメラ４８によって撮像フレームレート（例えば、数十フレーム／秒）に従って撮像されることで生成された腸壁画像４１をカメラ４８から１フレーム単位で取得する。
　画像取得部８２Ａは、時系列画像群８９を保持する。時系列画像群８９は、観察対象２１が写っている時系列の複数の腸壁画像４１である。時系列画像群８９には、例えば、一定フレーム数（例えば、数十～数百フレームの範囲内で事前に定められたフレーム数）の腸壁画像４１が含まれている。画像取得部８２Ａは、カメラ４８から腸壁画像４１を取得する毎に、ＦＩＦＯ方式で時系列画像群８９を更新する。
　ここでは、画像取得部８２Ａによって時系列画像群８９が保持されて更新される形態例を挙げているが、これは、あくまでも一例に過ぎない。例えば、時系列画像群８９は、ＲＡＭ８１等のように、プロセッサ８２に接続されているメモリに保持されて更新されるようにしてもよい。
　画像認識部８２Ｂは、画像取得部８２Ａが保持する時系列画像群８９の内、ユーザにより指定されたフレームの腸壁画像４１を取得する。指定されたフレームとは、例えば、ユーザによって操作部４２が操作されることにより指定された時点におけるフレームである。画像認識部８２Ｂは、腸壁画像４１に対して学習済みモデル８４Ｂを用いた画像認識処理を行う。画像認識処理が行われることで、観察対象２１に含まれる乳頭Ｎの種類が特定される。本実施形態では、乳頭Ｎの種類の特定とは、乳頭Ｎの種類を特定可能な乳頭種類情報９０（例えば、腸壁画像４１に写っている乳頭Ｎの種類の名称）と腸壁画像４１とを対応付けた状態でメモリに記憶させる処理を指す。乳頭種類情報９０は、本開示の技術に係る「関連情報」の一例である。
　学習済みモデル８４Ｂは、ニューラルネットワークに対して教師データを用いた機械学習が行われることによってニューラルネットワークが最適化されることで得られる。教師データは、例題データと正解データとが対応付けられた複数のデータ（すなわち、複数フレームのデータ）である。例題データは、例えば、ＥＲＣＰ検査の対象となり得る部位（例えば、十二指腸の内壁）が撮像されることによって得られた画像（例えば、腸壁画像４１に相当する画像）である。正解データは、例題データに対応するアノテーションである。正解データの一例としては、乳頭Ｎの種類を特定可能なアノテーションが挙げられる。
　なお、ここでは、１つの学習済みモデル８４Ｂのみが画像認識部８２Ｂによって使用される形態例を挙げているが、これは、あくまでも一例に過ぎない。例えば、複数の学習済みモデル８４Ｂから選択された学習済みモデル８４Ｂが画像認識部８２Ｂによって用いられるようにしてもよい。この場合、各学習済みモデル８４Ｂは、ＥＲＣＰ検査の手技（例えば、十二指腸鏡１２の乳頭Ｎに対する位置等）別に特化した機械学習が行われることによって作成され、現在行われているＥＲＣＰ検査の手技に対応する学習済みモデル８４Ｂが選択されて画像認識部８２Ｂによって用いられるようにすればよい。
　画像認識部８２Ｂは、画像取得部８２Ａから取得した腸壁画像４１を学習済みモデル８４Ｂに入力する。これにより、学習済みモデル８４Ｂは、入力された腸壁画像４１に対応する乳頭種類情報９０を出力する。画像認識部８２Ｂは、学習済みモデル８４Ｂから出力された乳頭種類情報９０を取得する。
　支援情報取得部８２Ｃは、乳頭Ｎの種類に応じた支援情報８６を取得する。支援情報８６は、ＥＲＣＰ検査における手技を支援するためにユーザに提供される情報である。支援情報８６は、合流形式情報８６Ａ及びシェーマ８６Ｂを含んでいる。合流形式情報８６Ａは、乳頭Ｎの種類に応じて定まり、胆管と膵管とが合流する合流形式を特定可能な情報である。また、シェーマ８６Ｂは、胆管と膵管とが合流する様子を示す画像である。支援情報８６、合流形式情報８６Ａ、及びシェーマ８６Ｂは、本開示の技術に係る「関連情報」の一例である。また、合流形式情報８６Ａは、本開示の技術に係る「合流形式情報」の一例であり、シェーマ８６Ｂは、本開示の技術に係る「シェーマ」の一例である。
　支援情報取得部８２Ｃは、画像認識部８２Ｂから乳頭種類情報９０を取得する。また、支援情報取得部８２Ｃは、ＮＶＭ８４から支援情報テーブル８３を取得する。支援情報取得部８２Ｃは、支援情報テーブル８３を用いて、乳頭種類情報９０に応じた支援情報８６を取得する。ここで、支援情報テーブル８３は、互いに対応関係にある乳頭種類情報９０、合流形式情報８６Ａ、及びシェーマ８６Ｂが、対応関係に応じて対応付けられた情報である。支援情報テーブル８３は、例えば、乳頭種類情報９０を入力情報とし、乳頭Ｎの種類に応じた合流形式情報８６Ａ及びシェーマ８６Ｂを出力情報とするテーブルである。
　図６に示す例では、支援情報テーブル８３において、乳頭Ｎの種類が別開口型の場合に、合流形式が分離型であり、シェーマ８６Ｂが胆管及び膵管が乳頭Ｎ内で分離した様子を示す画像の例が示されている。また、支援情報テーブル８３において、乳頭Ｎの種類がタマネギ型の場合に、合流形式が分離型であり、シェーマ８６Ｂが、胆管及び膵管が乳頭Ｎ内で分離しており、かつ膵管が乳頭Ｎ内で分岐した様子を示す画像の例が示されている。さらに、支援情報テーブル８３において、乳頭Ｎの種類が結節型の場合に、合流形式が隔壁型であり、シェーマ８６Ｂが胆管及び膵管が乳頭Ｎの突起の先端側において隣接している様子を示す画像の例が示されている。
　なお、ここでは、支援情報テーブル８３の入力情報として別開口型、タマネギ型、及び結節型の例を挙げているが、これはあくまでも一例にすぎない。支援情報テーブル８３の入力情報の内容及び出力情報の内容は、乳頭Ｎの種類及び合流形式に関する医学的知見に基づいて適宜定められる。また、支援情報テーブル８３の出力情報は、合流形式情報８６Ａのみでもよい。この場合、シェーマ８６Ｂは、付帯情報として合流形式情報８６Ａを有している。そして、支援情報取得部８２Ｃは、支援情報テーブル８３を用いて取得した合流形式情報８６Ａに基づいて、合流形式情報８６Ａに対応した付帯情報を有するシェーマ８６Ｂを取得する。
　また、支援情報８６の導出において、支援情報テーブル８３に代えて、支援情報演算式（図示省略）が用いられてもよい。支援情報演算式は、乳頭Ｎの種類を示す値を独立変数とし、合流形式を示す値及びシェーマ８６Ｂを示す値を従属変数とする演算式である。
　一例として図７に示すように、表示制御部８２Ｄは、画像取得部８２Ａから腸壁画像４１を取得する。また、表示制御部８２Ｄは、画像認識部８２Ｂから乳頭種類情報９０を取得する。さらに、表示制御部８２Ｄは、支援情報取得部８２Ｃから支援情報８６を取得する。表示制御部８２Ｄは、腸壁画像４１、乳頭種類情報９０により示される乳頭Ｎの種類、並びに、支援情報８６により示される合流形式及びシェーマを含む表示画像９４を生成し、表示装置１３に対して出力する。具体的には、表示制御部８２Ｄは、表示画像９４を表示するためのＧＵＩ（Graphical User Interface）制御を行うことで、表示装置１３に対して画面３６～３８を表示させる。画面３６～３８は、本開示の技術に係る「画面」の一例である。
　図７に示す例では、画面３６に腸壁画像４１が表示されている。また、画面３７には、シェーマ８６Ｂが表示されている。さらに、画面３８には、乳頭Ｎの種類を示すメッセージ及び合流形式を示すメッセージが表示されている。例えば、医師１４は、画面３６に表示された腸壁画像４１を視認し、さらに画面３７に表示されたシェーマ８６Ｂ及び画面３８に表示されたメッセージを視認する。これにより、乳頭Ｎにカニューレを挿入する作業に乳頭Ｎの種類、及び合流形式の情報を利用することができる。
　なお、ここでは、表示装置１３の画面３６～３８に腸壁画像４１、乳頭種類情報９０、及び支援情報８６が表示される形態例を挙げて説明したが、これはあくまでも一例にすぎない。腸壁画像４１、乳頭種類情報９０、及び支援情報８６は、一つの画面に表示される形態であってもよい。また、腸壁画像４１、乳頭種類情報９０、及び支援情報８６は、別々の表示装置１３に表示される形態であってもよい。
　次に、十二指腸鏡システム１０の本開示の技術に係る部分についての作用を、図８を参照しながら説明する。
　図８には、プロセッサ８２によって行われる医療支援処理の流れの一例が示されている。図８に示す医療支援処理の流れは、本開示の技術に係る「医療支援方法」の一例である。
　図８に示す医療支援処理では、先ず、ステップＳＴ１０で、画像取得部８２Ａは、内視鏡スコープ１８に設けられたカメラ４８によって撮像された時系列画像群８９に対して、ユーザによりフレームの指定が行われたか否かを判定する。ステップＳＴ１０において、フレームの指定が行われていない場合は、判定が否定されて、ステップＳＴ１０の判定が再び行われる。ステップＳＴ１０において、フレームの指定が行われた場合は、判定が肯定されて、医療支援処理はステップＳＴ１２へ移行する。
　ステップＳＴ１２で、画像取得部８２Ａは、内視鏡スコープ１８に設けられたカメラ４８から指定されたフレームの腸壁画像４１を取得する。ステップＳＴ１２の処理が実行された後、医療支援処理はステップＳＴ１４へ移行する。
　ステップＳＴ１４で、画像認識部８２Ｂは、ステップＳＴ１２で取得された腸壁画像４１に対するＡＩ方式の画像認識処理（すなわち、学習済みモデル８４Ｂを用いた画像認識処理）を行うことで、乳頭Ｎの種類を検出する。ステップＳＴ１４の処理が実行された後、医療支援処理はステップＳＴ１６へ移行する。
　ステップＳＴ１６で、支援情報取得部８２Ｃは、ＮＶＭ８４から支援情報テーブル８３を取得する。ステップＳＴ１６の処理が実行された後、医療支援処理はステップＳＴ１８へ移行する。
　ステップＳＴ１８で、支援情報取得部８２Ｃは、支援情報テーブル８３を用いて、乳頭Ｎの種類に応じた支援情報８６を取得する。具体的には、支援情報取得部８２Ｃは、支援情報テーブル８３から支援情報８６として合流形式情報８６Ａ及びシェーマ８６Ｂを取得する。ステップＳＴ１８の処理が実行された後、医療支援処理はステップＳＴ２０へ移行する。
　ステップＳＴ２０で、表示制御部８２Ｄは、腸壁画像４１、乳頭種類情報９０により示される乳頭Ｎの種類、合流形式情報８６Ａにより示される合流形式、及びシェーマ８６Ｂを表示した表示画像９４を生成する。ステップＳＴ２０の処理が実行された後、医療支援処理はステップＳＴ２２へ移行する。
　ステップＳＴ２２で、表示制御部８２Ｄは、表示装置１３に対してステップＳＴ２０において生成された表示画像９４を出力する。ステップＳＴ２２の処理が実行された後、医療支援処理はステップＳＴ２４へ移行する。
　ステップＳＴ２４で、表示制御部８２Ｄは、医療支援処理を終了する条件を満足したか否かを判定する。医療支援処理を終了する条件の一例としては、十二指腸鏡システム１０に対して、医療支援処理を終了させる指示が与えられたという条件（例えば、医療支援処理を終了させる指示が受付装置６２によって受け付けられたという条件）が挙げられる。
　ステップＳＴ２４において、医療支援処理を終了する条件を満足していない場合は、判定が否定されて、医療支援処理は、ステップＳＴ１０へ移行する。ステップＳＴ２４において、医療支援処理を終了する条件を満足した場合は、判定が肯定されて、医療支援処理が終了する。
　以上説明したように、本第１実施形態に係る十二指腸鏡システム１０では、プロセッサ８２において、画像認識部８２Ｂにより、腸壁画像４１に対して画像認識処理が行われることで、乳頭Ｎの種類が特定される。そして、支援情報取得部８２Ｃは、乳頭種類情報９０に基づいて、支援情報８６を取得する。表示制御部８２Ｄは、乳頭種類情報９０及び支援情報８６を外部（例えば、表示装置１３）へ出力する。乳頭種類情報９０により示される乳頭Ｎの種類は、例えば、表示装置１３において、腸壁画像４１とともに表示されるので、ユーザは十二指腸鏡１２を操作しながら、乳頭Ｎの種類を把握することができる。これにより、本構成では、乳頭Ｎの種類に応じた医療の実施を支援することができる。
　また、本第１実施形態に係る十二指腸鏡システム１０では、表示制御部８２Ｄによる制御下において、表示装置１３に対して、乳頭種類情報９０により示される乳頭Ｎの種類、合流形式情報８６Ａにより示される胆管及び膵管の合流形式、並びに、シェーマ８６Ｂが表示される。ユーザは十二指腸鏡１２を操作しながら、表示装置１３に表示される各種情報を視認することができる。これにより、本構成では、乳頭Ｎの種類に応じた医療の実施を視覚的に支援することができる。
　また、本第１実施形態に係る十二指腸鏡システム１０では、支援情報８６は、乳頭Ｎの種類に応じて定まるシェーマ８６Ｂを含んでいる。例えば、シェーマ８６Ｂは、胆管及び膵管の合流形式を模式的に示す画像である。これにより、乳頭Ｎの種類に応じた医療の実施に対する支援として、シェーマ８６Ｂを用いた視覚的な支援が実現される。また、例えば、文章のみで支援情報８６が表示される場合と比較して、支援情報８６にシェーマ８６Ｂが含まれるので、医療の実施に利用可能な情報を容易に把握することが実現される。
　また、本第１実施形態に係る十二指腸鏡システム１０では、支援情報８６は、胆管及び膵管の合流形式を示す合流形式情報８６Ａを含んでいる。合流形式情報８６Ａは、乳頭Ｎの種類に応じて定まり、かつ胆管と膵管とが合流する合流形式を特定可能な情報である。これにより、ユーザに対して、胆管と膵管とが合流する合流形式を認識させることができる。ＥＲＣＰ検査では、胆管又は膵管にカニューレ等の処置具を挿管する場合がある。この場合に、胆管及び膵管の合流形式（例えば、独立した管となっているのか、又は、共通の管となっているのか等）は、挿管の成否に影響する。このため、胆管及び膵管の合流形式をユーザに認識させることで、医療の実施を支援することが実現される。
　また、本第１実施形態に係る十二指腸鏡システム１０では、プロセッサ８２の画像認識部８２Ｂにおいて、フレーム単位での画像認識処理が行われることで、腸壁画像４１に含まれる乳頭Ｎの種類が特定される。これにより、腸壁画像４１内の一部を抽出し、抽出した画像領域単位で画像認識処理が行われる場合と比較して、簡易な構成で乳頭Ｎの種類を特定することが実現される。
　＜第２実施形態＞
　上記第１実施形態では、画像認識部８２Ｂにおける画像認識処理により乳頭Ｎの種類が特定される形態例を挙げて説明したが、本開示の技術はこれに限定されない。本第２実施形態では、画像認識部８２Ｂにおける画像認識処理の結果、乳頭Ｎの種類が分類され、さらに分類された乳頭Ｎの種類毎の確信度が得られる。
　一例として図９に示すように、画像取得部８２Ａは、腸壁画像４１を内視鏡スコープ１８に設けられたカメラ４８から取得する。画像認識部８２Ｂは、ユーザにより指定されたフレームの腸壁画像４１を取得する。画像認識部８２Ｂは、腸壁画像４１に対して学習済みモデル８４Ｃを用いた画像認識処理を行う。画像認識処理が行われることで、観察対象２１に含まれる乳頭Ｎの種類が分類され、さらに分類された乳頭Ｎの種類毎の確信度が出力される。すなわち、画像認識処理には、乳頭Ｎの種類を分類する分類処理が含まれる。上述したように、乳頭Ｎには、医学的な所見に基づいて定められた複数の種類が存在し、分類処理では、これら乳頭Ｎの種類の内の何れに該当するかが判定される。そして、分類処理では、乳頭Ｎの分類結果に応じて、乳頭Ｎの種類毎の確信度が算出される。ここで、確信度とは、分類結果の確実さを示す統計的な尺度である。確信度は、例えば、学習済みモデル８４Ｃの出力層の活性化関数（例えば、ソフトマックス関数等）に入力される複数のスコア（乳頭Ｎの種類毎のスコア）である。
　学習済みモデル８４Ｃは、ニューラルネットワークに対して教師データを用いた機械学習が行われることによってニューラルネットワークが最適化されることで得られる。教師データは、例題データと正解データとが対応付けられた複数のデータ（すなわち、複数フレームのデータ）である。例題データは、例えば、ＥＲＣＰ検査の対象となり得る部位（例えば、十二指腸の内壁）が撮像されることによって得られた画像（例えば、腸壁画像４１に相当する画像）である。正解データは、例題データに対応するアノテーションである。正解データの一例としては、乳頭Ｎの分類結果（例えば、乳頭Ｎの種類がマルチラベルとしてアノテーションされたデータ）である。
　画像認識部８２Ｂは、画像取得部８２Ａから取得した腸壁画像４１を学習済みモデル８４Ｃに入力する。これにより、学習済みモデル８４Ｃは、入力された腸壁画像４１に対応する確信度情報９２を出力する。画像認識部８２Ｂは、学習済みモデル８４Ｂから出力された確信度情報９２を取得する。確信度情報９２には、乳頭Ｎが写っている腸壁画像４１において乳頭Ｎの種類毎の確信度が含まれる。確信度情報９２は、本開示の技術に係る「確信度情報」の一例である。
　支援情報取得部８２Ｃは、画像認識部８２Ｂから確信度情報９２を取得する。支援情報取得部８２Ｃは、確信度情報９２により示される確信度のうち、最も高い確信度を示す乳頭Ｎの種類に応じた支援情報８６を取得する。具体的には、支援情報取得部８２Ｃは、支援情報テーブル８３を用いて、最も高い確信度の乳頭Ｎの種類に応じた合流形式情報８６Ａ及びシェーマ８６Ｂを取得する。
　一例として図１０に示すように、表示制御部８２Ｄは、画像取得部８２Ａから腸壁画像４１を取得する。また、表示制御部８２Ｄは、画像認識部８２Ｂから確信度情報９２を取得する。さらに、表示制御部８２Ｄは、支援情報取得部８２Ｃから支援情報８６を取得する。表示制御部８２Ｄは、腸壁画像４１、確信度情報９２により示される乳頭Ｎの種類毎の確信度、並びに、支援情報８６により示される合流形式及びシェーマを含む表示画像９４を生成し、表示装置１３に対して画面３６～３８を表示させる。
　図１０に示す例では、画面３６に腸壁画像４１が表示され、画面３７には、シェーマ８６Ｂが表示されている。画面３８には、乳頭Ｎの確信度を示すメッセージ及び合流形式を示すメッセージが表示されている。図１０に示す例では、乳頭Ｎの種類及び確信度が、別開口型：７０％、タマネギ型、：２０％、結節型：５％、絨毛型：５％である例が示されている。そして、最も確信度の高い乳頭Ｎの種類である別開口型のメッセージは、他と区別可能な表示として枠で囲われた態様となっている。
　なお、ここでは、分類結果のすべてが表示される形態例を挙げて説明したが、これはあくまでも一例にすぎない。例えば、予め定められた確信度（例えば、３０％）以上の分類結果のみを表示する態様であってもよい。また、最も高い確信度のメッセージの表示は、他の区別可能な態様であればよく、例えば、色、フォントが変更された態様であってもよい。また、最も高い確信度のメッセージの他と区別可能な表示は行われなくてもよい。
　例えば、医師１４は、画面３６に表示された腸壁画像４１を視認し、さらに画面３７に表示されたシェーマ８６Ｂ及び画面３８に表示されたメッセージを視認する。これにより、乳頭Ｎにカニューレを挿入する作業に乳頭Ｎの種類、及び合流形式の情報を利用することができる。
　以上説明したように、本第２実施形態に係る十二指腸鏡システム１０では、プロセッサ８２の画像認識部８２Ｂにおいて、画像認識処理が行われる。画像認識処理は、乳頭Ｎの種類を分類する分類処理を含んでいる。そして、画像認識部８２Ｂによる腸壁画像４１に対する画像認識処理の結果、乳頭Ｎの種類が分類され、分類された乳頭Ｎの種類毎の確信度を示す確信度情報９２が画像認識部８２Ｂから出力される。表示装置１３には、確信度情報９２により示される乳頭Ｎの種類毎の確信度が表示される。ユーザは十二指腸鏡１２を操作しながら、乳頭Ｎの種類、及び確信度を把握することができる。これにより、乳頭Ｎの種類をユーザが判断する場合に、判断を誤る可能性を低減することができる。すなわち、乳頭Ｎの種類を特定した結果のみが表示される場合と比較して、ユーザは、特定した結果の確実さ、及び他の乳頭Ｎの種類の可能性を把握することができる。これにより、本構成では、乳頭Ｎの種類に応じた医療の実施を支援することができる。
　＜第３実施形態＞
　上記第２実施形態では、乳頭Ｎの種類の確信度が表示される形態例を挙げて説明したが、本開示の技術はこれに限定されない。本第３実施形態では、確信度とともに、胆管及び膵管の合流形式の出現する頻度が表示される。
　一例として図１１に示すように、画像取得部８２Ａは、腸壁画像４１を内視鏡スコープ１８に設けられたカメラ４８から取得する。画像認識部８２Ｂは、腸壁画像４１に対して学習済みモデル８４Ｃを用いた画像認識処理を行う。画像認識部８２Ｂは、画像取得部８２Ａから取得した腸壁画像４１を学習済みモデル８４Ｃに入力する。これにより、学習済みモデル８４Ｃは、入力された腸壁画像４１に対応する確信度情報９２を出力する。画像認識部８２Ｂは、学習済みモデル８４Ｂから出力された確信度情報９２を取得する。
　支援情報取得部８２Ｃは、画像認識部８２Ｂから確信度情報９２を取得する。支援情報取得部８２Ｃは、支援情報テーブル８５を用いて、最も高い確信度の乳頭Ｎの種類に応じた出現頻度情報８６Ｃ及びシェーマ８６Ｂを取得する。
　ここで、支援情報テーブル８５は、互い対応関係にある乳頭種類情報９０、出現頻度情報８６Ｃ、及びシェーマ８６Ｂを対応関係に応じて対応付けたテーブルである。支援情報テーブル８５は、乳頭種類情報９０により示される乳頭Ｎの種類を入力情報とし、乳頭Ｎの種類に応じた出現頻度情報８６Ｃ及びシェーマ８６Ｂを出力情報とするテーブルである。
　図１１に示す例では、支援情報テーブル８５において、乳頭Ｎの種類が絨毛型の場合に合流形式の出現頻度が隔壁型２／３、及び共通管型１／３であり、シェーマ８６Ｂが、隔壁型及び共通管型を示す画像の例が示されている。また、支援情報テーブル８５において、乳頭Ｎの種類が平坦型の場合に、合流形式の出現頻度が隔壁型２／３、及び共通管型１／３であり、シェーマ８６Ｂが隔壁型及び共通管型を示す画像である例が示されている。さらに、支援情報テーブル８５において、乳頭Ｎの種類が結節型の場合に、合流形式の出現頻度が、隔壁型が大半である例が示されている。ここで、絨毛型及び平坦型は、本開示の技術に係る「第１乳頭種類」の一例である。
　なお、ここでは、支援情報テーブル８５の入力情報として絨毛型、平坦型、及び結節型の例を挙げているが、これはあくまでも一例にすぎない。支援情報テーブル８５の入力情報の内容及び出力情報の内容は、乳頭Ｎの種類及び合流形式の出現頻度に関する医学的知見に基づいて適宜定められる。また、支援情報テーブル８５の出力情報は、出現頻度情報８６Ｃのみでもよい。この場合、シェーマ８６Ｂは、付帯情報として出現頻度情報８６Ｃを有している。そして、支援情報取得部８２Ｃは、支援情報テーブル８５を用いて取得した出現頻度情報８６Ｃに基づいて、出現頻度情報８６Ｃに対応した付帯情報を有するシェーマ８６Ｂを取得する。
　また、支援情報８６の導出において、支援情報テーブル８５に代えて、支援情報演算式（図示省略）が用いられてもよい。支援情報演算式は、乳頭Ｎの種類を独立変数とし、出現頻度情報８６Ｃ及びシェーマ８６Ｂを従属変数とする演算式である。
　一例として図１２に示すように、表示制御部８２Ｄは、画像取得部８２Ａから腸壁画像４１を取得する。また、表示制御部８２Ｄは、画像認識部８２Ｂから確信度情報９２を取得する。さらに、表示制御部８２Ｄは、支援情報取得部８２Ｃから支援情報８６を取得する。表示制御部８２Ｄは、腸壁画像４１、確信度情報９２により示される乳頭Ｎの種類毎の確信度、並びに、支援情報８６により示される合流形式の出現頻度及びシェーマ８６Ｂを含む表示画像９４を生成し、表示装置１３に対して画面３６～３８を表示させる。
　図１２に示す例では、画面３６に腸壁画像４１が表示され、画面３７には、シェーマ８６Ｂが表示されている。図１２に示す例では、シェーマ８６Ｂは、隔壁型を示す画像と共通管型を示す画像を含んでいる。また、隔壁型を示す画像の左上には、出現頻度である２／３の表示がされ、共通管型を示す画像の左上には、出現頻度である１／３の表示がされている。画面３８には、乳頭Ｎの確信度を示すメッセージ及び合流形式を示すメッセージが表示されている。合流形式を示すメッセージは、合流形式が隔壁型又は共通管型であることを示している。
　例えば、医師１４は、画面３６に表示された腸壁画像４１を視認し、さらに画面３７に表示されたシェーマ８６Ｂ及び画面３８に表示されたメッセージを視認する。これにより、乳頭Ｎにカニューレを挿入する作業に乳頭Ｎの種類、及び合流形式の出現頻度の情報を利用することができる。
　以上説明したように、本第３実施形態に係る十二指腸鏡システム１０では、プロセッサ８２の支援情報取得部８２Ｃにおいて、胆管及び膵管の合流形式の出現頻度を示す出現頻度情報８６Ｃ及びシェーマ８６Ｂが、支援情報テーブル８５を用いて取得される。そして、支援情報取得部８２Ｃは、支援情報８６として出現頻度情報８６Ｃ及びシェーマ８６Ｂを出力する。表示装置１３には、出現頻度情報８６Ｃにより示される出現頻度及びシェーマ８６Ｂが表示される。ユーザは十二指腸鏡１２を操作しながら、乳頭Ｎの種類、及び合流形式の出現頻度を把握することができる。これにより、ユーザが乳頭Ｎの種類を目視で判断する場合、ユーザによる高精度な判断の実現に寄与することができる。
　また、本第３実施形態に係る十二指腸鏡システム１０では、出現頻度情報８６Ｃは、合流形式毎の出現頻度（例えば、隔壁型２／３、及び共通管型１／３）を示す情報を含んでいる。また、シェーマ８６Ｂには、合流形式を示す画像と共に出現頻度が示されている。支援情報取得部８２Ｃは、出現頻度情報８６Ｃ及びシェーマ８６Ｂを出力し、表示装置１３において、胆管及び膵管の合流形式の出現頻度を示すメッセージ及びシェーマ８６Ｂが表示される。ユーザは十二指腸鏡１２を操作しながら、乳頭Ｎの種類、及び合流形式の出現頻度を把握することができる。これにより、複数の合流形式の何れかをユーザが乳頭Ｎの種類を目視で判断する場合、ユーザによる高精度な判断の実現に寄与することができる。
　また、本第３実施形態に係る十二指腸鏡システム１０では、乳頭Ｎの種類が絨毛型又は平坦型である場合に、複数の合流形式は、隔壁型又は共通管型となっている。例えば、支援情報テーブル８５において、乳頭Ｎの種類が絨毛型の場合に、合流形式の出現頻度が隔壁型２／３、及び共通管型１／３であり、シェーマ８６Ｂが隔壁型及び共通管型を示す画像の例が示されている。また、支援情報テーブル８５において、乳頭Ｎの種類が平坦型の場合に、合流形式出現頻度が隔壁型２／３、及び共通管型１／３であり、シェーマ８６Ｂが隔壁型及び共通管型を示す画像の例が示されている。これにより、絨毛型又は平坦型の乳頭が有する合流形式が隔壁型であるか共通管型であるかをユーザが目視で判断する場合に、ユーザによる高精度な判断の実現に寄与することができる。
　（第１変形例）
　上記第３実施形態では、胆管及び膵管の合流形式の出現する頻度が表示される形態例を挙げて説明したが、本開示の技術はこれに限定されない。本第１変形例では、医療処置を補助するメッセージが表示される。
　一例として図１３に示すように、表示制御部８２Ｄは、画像取得部８２Ａから腸壁画像４１を取得する。また、表示制御部８２Ｄは、画像認識部８２Ｂから確信度情報９２を取得する。さらに、表示制御部８２Ｄは、支援情報取得部８２Ｃから支援情報８６を取得する。支援情報８６には、補助情報８６Ｄが含まれている。補助情報８６Ｄは、医療処置を補助する情報であり、ここでの医療処置とは、乳頭Ｎの種類に応じて定まる胆管及び膵管の合流形式に対して行われる処置である。
　例えば、乳頭Ｎの種類が、絨毛型である場合に、胆管及び膵管の合流形式の出現頻度は、隔壁型２／３、及び共通管型１／３である。すなわち、胆管及び膵管の合流形式は、複数想定され、一意に定めることが困難である。合流形式が異なると、カニューレの挿入の仕方等の手技も、適宜変更する必要がある。そのため、合流形式が複数存在すると特定された場合には、医療処置を補助するため補助情報８６Ｄが提供されることにより、ユーザが医療処置を実施することが容易になる。補助情報８６Ｄは、本開示の技術に係る「補助情報」の一例である。
　補助情報８６Ｄは、例えば、支援情報テーブル８５（図１１参照）の出力値として設定されていてもよいし、ユーザによって予め入力される態様であってもよい。補助情報８６Ｄにより示される補助の内容は、例えば、カニューレを挿入する場合の挿入量に関する内容、又は挿入の仕方に関する内容等が挙げられる。
　表示制御部８２Ｄは、腸壁画像４１、確信度情報９２により示される確信度、及び補助情報８６Ｄにより示される補助内容を含む表示画像９４を生成し、表示装置１３に対して画面３６～３８を表示させる。画面３７には、シェーマ８６Ｂとともに、補助内容を示すメッセージが表示されている。図１３に示す例では、補助内容をとして「浅い挿管から開始してください」とのメッセージが表示されている。
　以上説明したように、本第１変形例に係る十二指腸鏡システム１０では、支援情報８６には、補助情報８６Ｄが含まれており、補助情報８６Ｄは、乳頭Ｎの種類に応じて定まる合流形式に対して行われる医療処置を補助するための情報である。補助情報８６Ｄは、支援情報取得部８２Ｃから出力される。表示装置１３には、支援情報８６により示される補助内容のメッセージが表示される。ユーザは十二指腸鏡１２を操作しながら、乳頭Ｎの種類、及び合流形式に対する医療処置に利用可能な補助内容を把握することができる。これにより、乳頭Ｎの種類に応じて定まる合流形式に対する医療処置の正確な実施に寄与することができる。
　また、本第１変形例に係る十二指腸鏡システム１０では、プロセッサ８２の支援情報取得部８２Ｃにおいて、乳頭Ｎの種類に応じた胆管及び膵管の合流形式が複数存在する場合に、補助情報８６Ｄが出力される。これにより、乳頭Ｎの種類に対して複数の合流形式が存在する場合であっても、合流形式に対する医療処置の正確な実施に寄与することができる。
　（第２変形例）
　上記各実施形態では、腸壁画像４１の全体に対して画像認識処理が行われ乳頭Ｎの種類が特定される形態例を挙げたが、本開示の技術はこれに限定されない。本第２変形例では、腸壁画像４１に対して乳頭検出処理が行われた後、種類特定処理が行われる。
　一例として図１４に示すように、画像取得部８２Ａは、腸壁画像４１を内視鏡スコープ１８に設けられたカメラ４８から取得する。画像認識部８２Ｂは、腸壁画像４１に対して用いた画像認識処理を行う。画像認識処理は、腸壁画像４１における乳頭Ｎを示す領域を検出する処理である乳頭検出処理と、乳頭Ｎの種類と特定する処理である種類特定処理を含んでいる。乳頭検出処理は、本開示の技術に係る「第１画像認識処理」の一例であり、種類特定処理は、本開示の技術に係る「第２画像認識処理」の一例である。
　先ず、画像認識部８２Ｂは、腸壁画像４１に対して乳頭検出処理を行う。画像認識部８２Ｂは、画像取得部８２Ａから取得した腸壁画像４１を乳頭検出用学習済みモデル８４Ｄに入力する。これにより、乳頭検出用学習済みモデル８４Ｄは、入力された腸壁画像４１に対応する乳頭領域情報９３を出力する。乳頭領域情報９３は、腸壁画像４１における乳頭Ｎを示す領域を特定可能な情報（例えば、乳頭Ｎを示す領域の画像内の位置座標）である。画像認識部８２Ｂは、乳頭検出用学習済みモデル８４Ｄから出力された乳頭領域情報９３を取得する。
　乳頭検出用学習済みモデル８４Ｄは、ニューラルネットワークに対して教師データを用いた機械学習が行われることによってニューラルネットワークが最適化されることで得られる。教師データとしては、例えば、ＥＲＣＰ検査の対象となり得る部位（例えば、十二指腸の内壁）が撮像されることによって時系列で得られた複数の画像（例えば、時系列の複数の腸壁画像４１に相当する複数の画像）を例題データとし、乳頭領域情報９３を正解データとした教師データが挙げられる。
　画像認識部８２Ｂは、乳頭領域情報９３により示される乳頭Ｎの領域に対して、種類特定処理を行う。画像認識部８２Ｂは、乳頭検出処理により特定された乳頭Ｎを示す画像を、種類特定用学習済みモデル８４Ｅに入力する。これにより、種類特定用学習済みモデル８４Ｅは、入力された乳頭Ｎを示す画像に基づいて、乳頭種類情報９０を出力する。画像認識部８２Ｂは、種類特定用学習済みモデル８４Ｅから出力された乳頭種類情報９０を取得する。
　種類特定用学習済みモデル８４Ｅは、ニューラルネットワークに対して教師データを用いた機械学習が行われることによってニューラルネットワークが最適化されることで得られる。教師データは、例題データと正解データとが対応付けられた複数のデータ（すなわち、複数フレームのデータ）である。例題データは、例えば、ＥＲＣＰ検査の対象となり得る部位（例えば、十二指腸の内壁）が撮像されることによって得られた画像（例えば、腸壁画像４１に相当する画像）である。正解データは、例題データに対応するアノテーションである。正解データの一例としては、乳頭Ｎの種類を特定可能なアノテーションである。
　なお、ここでは、乳頭検出用学習済みモデル８４Ｄを用いて乳頭Ｎが検出され、種類特定用学習済みモデル８４Ｅを用いて乳頭Ｎの種類が特定される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、腸壁画像４１に対して乳頭Ｎの検出と乳頭Ｎの種類の特定とを行う一つの学習済みモデルが用いられてもよい。
　支援情報取得部８２Ｃは、乳頭Ｎの種類に応じた支援情報８６を取得する。表示制御部８２Ｄ（図７参照）は、腸壁画像４１、乳頭種類情報９０により示される乳頭Ｎの種類、及び支援情報８６により示される合流形式及びシェーマ８６Ｂを含む表示画像９４を生成し、表示装置１３に対して出力する。
　以上説明したように、本第２変形例に係る十二指腸鏡システム１０では、プロセッサ８２の画像認識部８２Ｂにおいて、画像認識処理が行われる。画像認識処理は、乳頭検出処理及び種類特定処理を含んでいる。これにより、乳頭検出処理によって特定された乳頭Ｎに対して、乳頭Ｎの種類が特定されるので、腸壁画像４１の全体に対して種類特定処理が行われる場合と比較して、乳頭Ｎの種類を特定する精度が向上する。
　上記各実施形態では、乳頭種類情報９０、支援情報８６、及び腸壁画像４１等が、表示装置１３に対して出力され、これらの情報が表示装置１３の画面３６～３８に表示される形態例を挙げて説明したが、本開示の技術はこれに限定されない。一例として図１５に示すように、乳頭種類情報９０、支援情報８６、及び腸壁画像４１等は、電子カルテサーバ１００に対して出力される態様であってもよい。電子カルテサーバ１００は、患者に対する診療結果を示す電子カルテ情報１０２を記憶するためのサーバである。電子カルテ情報１０２は、乳頭種類情報９０、支援情報８６、及び腸壁画像４１等を含んでいる。
　電子カルテサーバ１００は、ネットワーク１０４を介して十二指腸鏡システム１０と接続されている。電子カルテサーバ１００は、十二指腸鏡システム１０から腸壁画像４１を取得する。電子カルテサーバ１００は、乳頭種類情報９０、支援情報８６、及び腸壁画像４１等を電子カルテ情報１０２により示される診療結果の一部として記憶する。電子カルテサーバ１００は、本開示の技術に係る「外部装置」の一例であり、電子カルテ情報１０２は、本開示の技術に係る「カルテ」の一例である。
　電子カルテサーバ１００は、十二指腸鏡システム１０以外の端末（例えば、診療施設内に設置されたパーソナル・コンピュータ）ともネットワーク１０４を介して接続されている。医師１４等のユーザは、電子カルテサーバ１００に記憶された乳頭種類情報９０、支援情報８６、及び腸壁画像４１等を、端末を介して入手することができる。このように、乳頭種類情報９０、支援情報８６、及び腸壁画像４１等が、電子カルテサーバ１００に記憶されていることで、ユーザは、乳頭種類情報９０、支援情報８６、及び腸壁画像４１等を入手することができる。
　また、上記各実施形態では、乳頭種類情報９０、支援情報８６、及び腸壁画像４１等が表示装置１３に出力される形態例を挙げたが、本開示の技術はこれに限定されない。例えば、乳頭種類情報９０、支援情報８６、及び腸壁画像４１等は、スピーカ（図示省略）等の音声出力装置に出力されてもよいし、プリンタ（図示省略）等の印刷装置に出力されてもよい。
　また、上記各実施形態では、腸壁画像４１に対してＡＩ方式の画像認識処理が実行される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、パターンマッチング方式の画像認識処理が実行されてもよい。
　上記実施形態では、画像処理装置２５に含まれるコンピュータ７６のプロセッサ８２によって医療支援処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定さない。例えば、医療支援処理は、制御装置２２に含まれるコンピュータ６４のプロセッサ７０によって行われてもよい。また、医療支援処理を行う装置は、十二指腸鏡１２の外部に設けられていてもよい。十二指腸鏡１２の外部に設けられる装置としては、例えば、十二指腸鏡１２と通信可能に接続されている少なくとも１台のサーバ及び／又は少なくとも１台のパーソナル・コンピュータ等が挙げられる。また、医療支援処理は、複数の装置によって分散して行われるようにしてもよい。
　上記実施形態では、ＮＶＭ８４に医療支援処理プログラム８４Ａが記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、医療支援処理プログラム８４ＡがＳＳＤ又はＵＳＢメモリなどの可搬型の非一時的記憶媒体に記憶されていてもよい。非一時的記憶媒体に記憶されている医療支援処理プログラム８４Ａは、十二指腸鏡１２のコンピュータ７６にインストールされる。プロセッサ８２は、医療支援処理プログラム８４Ａに従って医療支援処理を実行する。
　また、ネットワークを介して十二指腸鏡１２に接続される他のコンピュータ又はサーバ等の記憶装置に医療支援処理プログラム８４Ａを記憶させておき、十二指腸鏡１２の要求に応じて医療支援処理プログラム８４Ａがダウンロードされ、コンピュータ７６にインストールされるようにしてもよい。
　なお、十二指腸鏡１２に接続される他のコンピュータ又はサーバ装置等の記憶装置、又はＮＶＭ８４に医療支援処理プログラム８４Ａの全てを記憶させておく必要はなく、医療支援処理プログラム８４Ａの一部を記憶させておいてもよい。
　医療支援処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、医療支援処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで医療支援処理を実行する。
　医療支援処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、医療支援処理を実行するハードウェア資源は１つのプロセッサであってもよい。
　１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、医療支援処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、医療支援処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、医療支援処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。
　更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の医療支援処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
　以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
　本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。
　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
　２０２２年１１月４日に出願された日本国特許出願２０２２－１７７６１２号の開示は、その全体が参照により本明細書に取り込まれる。

Claims (16)

  1. 　プロセッサを備え、
    　前記プロセッサは、
    　内視鏡スコープに設けられたカメラによって十二指腸内の十二指腸乳頭を含む腸壁が撮像されることで得られた腸壁画像に対して画像認識処理を実行することにより前記十二指腸乳頭の種類である乳頭種類を特定し、
    　前記乳頭種類に関連する関連情報を出力する
    　医療支援装置。
  2. 　前記関連情報を出力することは、前記関連情報を画面に表示することである
    　請求項１に記載の医療支援装置。
  3. 　前記関連情報は、前記乳頭種類に応じて定められたシェーマを含む
    　請求項１に記載の医療支援装置。
  4. 　前記関連情報は、合流形式情報を含み、
    　前記合流形式情報は、前記乳頭種類に応じて定まり、胆管と膵管とが合流する合流形式を特定可能な情報である
    　請求項１に記載の医療支援装置。
  5. 　前記画像認識処理は、前記乳頭種類を分類する分類処理を含み、
    　前記関連情報は、前記分類処理により分類された前記乳頭種類毎の確信度を示す確信度情報を含む
    　請求項１に記載の医療支援装置。
  6. 　前記乳頭種類毎に、胆管と膵管とが合流する合流形式の出現頻度が定められており、
    　前記プロセッサは、前記関連情報として、特定した前記乳頭種類に応じた前記出現頻度を示す出現頻度情報を含む情報を出力する
    　請求項１に記載の医療支援装置。
  7. 　前記乳頭種類には、第１乳頭種類が含まれており、
    　前記第１乳頭種類は、胆管と膵管とが合流する複数の合流形式のうちの何れかを有し、
    　前記プロセッサは、前記乳頭種類として第１乳頭種類を特定した場合に、前記関連情報として、前記合流形式毎の出現頻度を示す出現頻度情報を含む情報を出力する
    　請求項１に記載の医療支援装置。
  8. 　前記第１乳頭種類は、絨毛型又は平坦型であり、
    　前記複数の合流形式は、隔壁型及び共通管型である
    　請求項７に記載の医療支援装置。
  9. 　前記関連情報は、補助情報を含み、
    　前記補助情報は、胆管と膵管とが合流する合流形式であって、前記乳頭種類に応じて定まる合流形式に対して行われる医療処置を補助する情報である
    　請求項１に記載の医療支援装置。
  10. 　前記プロセッサは、特定した前記乳頭種類に前記合流形式が複数存在する場合に、前記補助情報を出力する
    　請求項９に記載の医療支援装置。
  11. 　前記プロセッサは、前記腸壁画像に対してフレーム単位で前記画像認識処理を実行することにより前記乳頭種類を特定する
    　請求項１に記載の医療支援装置。
  12. 　前記画像認識処理は、第１画像認識処理及び第２画像認識処理を含み、
    　前記プロセッサは、
    　前記腸壁画像に対して前記第１画像認識処理を実行することにより十二指腸乳頭領域を検出し、
    　検出した前記十二指腸乳頭領域に対して前記第２画像認識処理を実行することにより前記乳頭種類を特定する
    　請求項１に記載の医療支援装置。
  13. 　前記関連情報は、外部装置及び／又はカルテに保存される
    　請求項１に記載の医療支援装置。
  14. 　請求項１から請求項１３の何れか一項に記載の医療支援装置と、
    　前記内視鏡スコープと、を備える
    　内視鏡。
  15. 　内視鏡スコープに設けられたカメラによって十二指腸内の十二指腸乳頭を含む腸壁が撮像されることで得られた腸壁画像に対して画像認識処理を実行することにより前記十二指腸乳頭の種類である乳頭種類を特定すること、及び、
    　前記乳頭種類に関連する関連情報を出力することを含む
    　医療支援方法。
  16. 　コンピュータに、
    　内視鏡スコープに設けられたカメラによって十二指腸内の十二指腸乳頭を含む腸壁が撮像されることで得られた腸壁画像に対して画像認識処理を実行することにより前記十二指腸乳頭の種類である乳頭種類を特定すること、及び、
    　前記乳頭種類に関連する関連情報を出力することを含む処理を実行させるためのプログラム。
PCT/JP2023/036268 2022-11-04 2023-10-04 医療支援装置、内視鏡、医療支援方法、及びプログラム WO2024095674A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-177612 2022-11-04
JP2022177612 2022-11-04

Publications (1)

Publication Number Publication Date
WO2024095674A1 true WO2024095674A1 (ja) 2024-05-10

Family

ID=90930409

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/036268 WO2024095674A1 (ja) 2022-11-04 2023-10-04 医療支援装置、内視鏡、医療支援方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2024095674A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012245057A (ja) * 2011-05-25 2012-12-13 Fujifilm Corp 診断支援装置、診断支援方法、病変部検出装置、及び病変部検出方法
JP2020062218A (ja) * 2018-10-17 2020-04-23 学校法人日本大学 学習装置、推定装置、学習方法、推定方法、およびプログラム
WO2020174778A1 (ja) * 2019-02-28 2020-09-03 富士フイルム株式会社 超音波内視鏡システムおよび超音波内視鏡システムの作動方法
WO2021153797A1 (ja) * 2020-01-30 2021-08-05 アナウト株式会社 コンピュータプログラム、学習モデルの生成方法、画像処理装置、及び手術支援システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012245057A (ja) * 2011-05-25 2012-12-13 Fujifilm Corp 診断支援装置、診断支援方法、病変部検出装置、及び病変部検出方法
JP2020062218A (ja) * 2018-10-17 2020-04-23 学校法人日本大学 学習装置、推定装置、学習方法、推定方法、およびプログラム
WO2020174778A1 (ja) * 2019-02-28 2020-09-03 富士フイルム株式会社 超音波内視鏡システムおよび超音波内視鏡システムの作動方法
WO2021153797A1 (ja) * 2020-01-30 2021-08-05 アナウト株式会社 コンピュータプログラム、学習モデルの生成方法、画像処理装置、及び手術支援システム

Similar Documents

Publication Publication Date Title
EP3968272A1 (en) Medical endoscope image identification method and system, and endoscope image system
US20220254017A1 (en) Systems and methods for video-based positioning and navigation in gastroenterological procedures
US20210022586A1 (en) Endoscope observation assistance apparatus and endoscope observation assistance method
WO2012029265A1 (ja) 医療情報表示装置および方法、並びにプログラム
CN111091559A (zh) 基于深度学习的小肠镜下淋巴瘤辅助诊断系统
KR20220130855A (ko) 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법
JP6807869B2 (ja) 画像処理装置、画像処理方法およびプログラム
KR20230097646A (ko) 위장 질환 및 위암 검출률 향상을 위한 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법
CN116309605B (zh) 基于深度学习和状态转移的内窥镜检查质控方法及系统
KR20220122312A (ko) 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법
WO2024095674A1 (ja) 医療支援装置、内視鏡、医療支援方法、及びプログラム
WO2023126999A1 (ja) 画像処理装置、画像処理方法、及び、記憶媒体
US20230169669A1 (en) Endoscope insertion assistance apparatus, method and non-transitory computer-readable medium storing program thereof
WO2024171780A1 (ja) 医療支援装置、内視鏡、医療支援方法、及びプログラム
WO2024095673A1 (ja) 医療支援装置、内視鏡、医療支援方法、及びプログラム
WO2024190272A1 (ja) 医療支援装置、内視鏡システム、医療支援方法、及びプログラム
WO2024166731A1 (ja) 画像処理装置、内視鏡、画像処理方法、及びプログラム
WO2024095676A1 (ja) 医療支援装置、内視鏡、及び医療支援方法
WO2024095675A1 (ja) 医療支援装置、内視鏡、医療支援方法、及びプログラム
WO2024176780A1 (ja) 医療支援装置、内視鏡、医療支援方法、及びプログラム
US20240065527A1 (en) Medical support device, endoscope, medical support method, and program
WO2024185468A1 (ja) 医療支援装置、内視鏡システム、医療支援方法、及びプログラム
WO2024185357A1 (ja) 医療支援装置、内視鏡システム、医療支援方法、及びプログラム
WO2024202789A1 (ja) 医療支援装置、内視鏡システム、医療支援方法、及びプログラム
WO2024048098A1 (ja) 医療支援装置、内視鏡、医療支援方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23885437

Country of ref document: EP

Kind code of ref document: A1