WO2024095675A1 - 医療支援装置、内視鏡、医療支援方法、及びプログラム - Google Patents

医療支援装置、内視鏡、医療支援方法、及びプログラム Download PDF

Info

Publication number
WO2024095675A1
WO2024095675A1 PCT/JP2023/036269 JP2023036269W WO2024095675A1 WO 2024095675 A1 WO2024095675 A1 WO 2024095675A1 JP 2023036269 W JP2023036269 W JP 2023036269W WO 2024095675 A1 WO2024095675 A1 WO 2024095675A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image
intestinal
endoscope
medical support
Prior art date
Application number
PCT/JP2023/036269
Other languages
English (en)
French (fr)
Inventor
康彦 森本
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Publication of WO2024095675A1 publication Critical patent/WO2024095675A1/ja

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/273—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the upper alimentary canal, e.g. oesophagoscopes, gastroscopes

Definitions

  • the technology disclosed herein relates to a medical support device, an endoscope, a medical support method, and a program.
  • JP 2020-62218 A discloses a learning device that includes an acquisition unit that acquires multiple pieces of information that associate images of the duodenal papilla of Vater in the bile duct with information indicating a cannulation method, which is a method of inserting a catheter into the bile duct, a learning unit that performs machine learning using information indicating the cannulation method as teacher data based on images of the duodenal papilla of Vater in the bile duct, and a storage unit that associates and stores the results of the machine learning performed by the learning unit with the information indicating the cannulation method.
  • a cannulation method which is a method of inserting a catheter into the bile duct
  • a learning unit that performs machine learning using information indicating the cannulation method as teacher data based on images of the duodenal papilla of Vater in the bile duct
  • a storage unit that associates and stores the results of the machine learning performed by the learning unit with the information indicating the
  • One embodiment of the technology disclosed herein provides a medical support device, endoscope, medical support method, and program that can make it easier for the user to understand the degree to which the position of the endoscope scope is misaligned relative to the direction of the duodenal intestine.
  • a first aspect of the technology disclosed herein is a medical support device that includes a processor, and the processor acquires intestinal direction related information related to the intestinal direction of the duodenum based on geometric characteristic information that can identify the geometric characteristics of the duodenum into which an endoscope is inserted, and outputs the intestinal direction related information.
  • a second aspect of the technology disclosed herein is a medical support device according to the first aspect, in which the intestinal direction-related information includes deviation amount information indicating the amount of deviation between the posture of the endoscope and the intestinal direction.
  • a third aspect of the technology disclosed herein is a medical support device according to the first or second aspect, in which the geometric characteristic information includes an intestinal wall image obtained by imaging the intestinal wall of the duodenum with a camera provided in an endoscope, and the processor acquires intestinal direction-related information by performing a first image recognition process on the intestinal wall image.
  • a fourth aspect of the technology disclosed herein is a medical support device according to any one of the first to third aspects, in which outputting the intestinal tract direction related information includes displaying the intestinal tract direction related information on a first screen.
  • a fifth aspect of the technology disclosed herein is a medical support device according to any one of the first to fourth aspects, in which the intestinal direction related information includes first direction information capable of identifying a first direction that intersects with the intestinal direction at a predetermined angle.
  • a sixth aspect of the technology disclosed herein is a medical support device according to the fifth aspect, in which the first direction information is obtained by performing a second image recognition process on an intestinal wall image obtained by capturing an image of the intestinal wall of the duodenum with a camera provided in an endoscope.
  • a seventh aspect of the technology disclosed herein is a medical support device according to the sixth aspect, in which the first direction information is information obtained with a degree of certainty equal to or greater than a threshold value by performing an AI-based image recognition process as the second image recognition process.
  • An eighth aspect of the technology disclosed herein is a medical support device according to any one of the first to eighth aspects, in which the processor acquires posture information capable of identifying the posture of the endoscope when the endoscope is inserted into the duodenum, the intestinal direction related information includes posture adjustment support information that supports posture adjustment, and the posture adjustment support information is information determined based on the amount of deviation between the intestinal direction and the posture identified from the posture information.
  • a ninth aspect of the technology disclosed herein is a medical support device according to any one of the first to eighth aspects, in which the intestinal direction-related information includes condition information indicating a condition for aligning the optical axis direction of a camera provided on the endoscope with a second direction that intersects with the intestinal direction at a predetermined angle by changing the posture of the endoscope.
  • a tenth aspect of the technology disclosed herein is a medical support device according to the ninth aspect, in which the conditions include operation conditions related to operations performed on the endoscope to align the optical axis direction with the second direction.
  • An eleventh aspect of the technology disclosed herein is a medical support device according to any one of the first to tenth aspects, in which, when the optical axis direction of a camera provided in an endoscope coincides with a third direction that intersects with the intestinal direction at a predetermined angle, the intestinal direction related information includes notification information that notifies the user that the optical axis direction coincides with the third direction.
  • a twelfth aspect of the technology disclosed herein is a medical support device according to any one of the first to eleventh aspects, in which the processor detects the duodenal papilla region by executing a third image recognition process on an intestinal wall image obtained by imaging the intestinal wall of the duodenum with a camera provided in an endoscope, displays the duodenal papilla region on a second screen, and displays papilla orientation information indicating the orientation of the duodenal papilla region, which is obtained based on intestinal direction related information, on the second screen.
  • a thirteenth aspect of the technology disclosed herein is a medical support device according to any one of the first to twelfth aspects, in which the processor detects the duodenal papilla region by executing a fourth image recognition process on an intestinal wall image obtained by imaging the intestinal wall of the duodenum with a camera provided in an endoscope, displays the duodenal papilla region on a third screen, and displays running direction information indicating the running direction of the tube leading to the opening of the duodenal papilla region, which is obtained based on intestinal direction related information, on the third screen.
  • a fourteenth aspect of the technology disclosed herein is the medical support device according to the thirteenth aspect, in which the duct is a bile duct or a pancreatic duct.
  • a fifteenth aspect of the technology disclosed herein is a medical support device according to any one of the first to fourteenth aspects, in which the geometric characteristic information includes depth information indicating the depth of the duodenum, and the intestinal direction related information is acquired based on the depth information.
  • a sixteenth aspect of the technology disclosed herein is an endoscope comprising a medical support device according to any one of the first to fifteenth aspects and an endoscope scope.
  • a seventeenth aspect of the technology disclosed herein is a medical support method that includes acquiring intestinal direction related information related to the intestinal direction of the duodenum based on geometric characteristic information capable of identifying the geometric characteristics of the duodenum into which an endoscope is inserted, and outputting the intestinal direction related information.
  • An 18th aspect of the technology disclosed herein is a program for causing a computer to execute processing including obtaining intestinal direction related information relating to the intestinal direction of the duodenum based on geometric characteristic information capable of identifying the geometric characteristics of the duodenum into which the endoscope is inserted, and outputting the intestinal direction related information.
  • FIG. 1 is a conceptual diagram showing an example of an embodiment in which the duodenoscope system is used.
  • 1 is a conceptual diagram showing an example of the overall configuration of a duodenoscope system.
  • 2 is a block diagram showing an example of a hardware configuration of an electrical system of the duodenoscope system.
  • FIG. FIG. 1 is a conceptual diagram showing an example of an embodiment in which a duodenoscope is used.
  • 2 is a block diagram showing an example of a hardware configuration of an electrical system of the image processing apparatus;
  • 1 is a conceptual diagram showing an example of the correlation between an endoscope, a duodenoscope body, an image acquisition unit, an image recognition unit, and a derivation unit.
  • 1 is a conceptual diagram showing an example of the correlation between a display device, an image acquisition unit, an image recognition unit, a derivation unit, and a display control unit. 13 is a flowchart showing an example of the flow of a medical support process.
  • 1 is a conceptual diagram showing an example of the correlation between an endoscope, a duodenoscope body, an image acquisition unit, an image recognition unit, and a derivation unit.
  • 1 is a conceptual diagram showing an example of the correlation between an endoscope, a duodenoscope body, an image acquisition unit, an image recognition unit, and a derivation unit.
  • 1 is a conceptual diagram showing an example of the correlation between a display device, an image recognition unit, a derivation unit, and a display control unit.
  • FIG. 4 is a conceptual diagram showing an example of the correlation between an endoscope, an image acquisition unit, an image recognition unit, and a derivation unit.
  • FIG. 1 is a conceptual diagram showing an example of the correlation between a display device, an image recognition unit, a derivation unit, and a display control unit.
  • 1 is a conceptual diagram showing an example of the correlation between a display device, a derivation unit, and a display control unit.
  • 1 is a conceptual diagram showing an example of the correlation between an endoscope, a duodenoscope body, an image acquisition unit, an image recognition unit, and a derivation unit.
  • 1 is a conceptual diagram showing an example of the correlation between a display device, an image recognition unit, a derivation unit, and a display control unit.
  • FIG. 1 is a conceptual diagram showing an example of the correlation between a display device, an image recognition unit, a derivation unit, and a display control unit.
  • 13 is a conceptual diagram showing an example of a manner in which an endoscope is opposed directly to a papilla.
  • 1 is a conceptual diagram showing an example of the correlation between an endoscope, a duodenoscope body, an image acquisition unit, an image recognition unit, and a derivation unit.
  • 1 is a conceptual diagram showing an example of the correlation between an endoscope, a duodenoscope body, an image acquisition unit, an image recognition unit, and a derivation unit.
  • 1 is a conceptual diagram showing an example of the correlation between a display device, an image recognition unit, a derivation unit, and a display control unit.
  • FIG. 1 is a conceptual diagram showing an example of the correlation between an endoscope, a duodenoscope body, an image acquisition unit, an image recognition unit, and a derivation unit.
  • 1 is a conceptual diagram showing an example of the correlation between a display device, an image recognition unit, a derivation unit, and a display control unit.
  • 1 is a conceptual diagram showing an example of the correlation between a display device, an image recognition unit, a derivation unit, and a display control unit.
  • 4 is a conceptual diagram showing an example of the correlation between an endoscope, an image acquisition unit, an image recognition unit, and a derivation unit.
  • FIG. 1 is a conceptual diagram showing an example of the correlation between a display device, a derivation unit, and a display control unit.
  • FIG. 13 is a flowchart showing an example of the flow of a medical support process.
  • 1 is a conceptual diagram showing an example of the correlation between a display device, a derivation unit, and a display control unit.
  • 4 is a conceptual diagram showing an example of the correlation between an endoscope, an image acquisition unit, an image recognition unit, and a derivation unit.
  • FIG. 1 is a conceptual diagram showing an example of the correlation between a display device, a derivation unit, and a display control unit.
  • 4 is a conceptual diagram showing an example of the correlation between an endoscope, an image acquisition unit, an image recognition unit, and a derivation unit.
  • FIG. 4 is a conceptual diagram showing an example of the correlation between an endoscope, an image acquisition unit, an image recognition unit, and a derivation unit.
  • FIG. 4 is a conceptual diagram showing an example of the correlation between an endoscope, an image acquisition unit, an image recognition unit, and a derivation unit.
  • FIG. 4 is a conceptual diagram showing an example of the correlation between an endoscope, an image acquisition unit, an image recognition unit, and a derivation unit.
  • FIG. 1 is a conceptual diagram showing an example of the correlation between a display device, a derivation unit, and a display control unit.
  • 4 is a conceptual diagram showing an example of the correlation between an endoscope, an image acquisition unit, an image recognition unit, and a derivation unit.
  • FIG. 4 is a conceptual diagram showing an example of the correlation between an endoscope, an image acquisition unit, an image recognition unit, and a derivation unit.
  • 1 is a conceptual diagram showing an example of the correlation between a display device, a derivation unit, and a display control unit.
  • 1 is a conceptual diagram showing an example of the correlation between a display device, a derivation unit, and a display control unit.
  • CPU is an abbreviation for "Central Processing Unit”.
  • GPU is an abbreviation for "Graphics Processing Unit”.
  • RAM is an abbreviation for "Random Access Memory”.
  • NVM is an abbreviation for "Non-volatile memory”.
  • EEPROM is an abbreviation for "Electrically Erasable Programmable Read-Only Memory”.
  • ASIC is an abbreviation for "Application Specific Integrated Circuit”.
  • PLD is an abbreviation for "Programmable Logic Device”.
  • FPGA is an abbreviation for "Field-Programmable Gate Array”.
  • SoC is an abbreviation for "System-on-a-chip”.
  • SSD is an abbreviation for "Solid State Drive”.
  • USB is an abbreviation for "Universal Serial Bus”.
  • HDD is an abbreviation for "Hard Disk Drive”.
  • EL is an abbreviation for "Electro-Luminescence”.
  • CMOS is an abbreviation for "Complementary Metal Oxide Semiconductor”.
  • CCD is an abbreviation for "Charge Coupled Device”.
  • AI is an abbreviation for "Artificial Intelligence”.
  • BLI is an abbreviation for "Blue Light Imaging”.
  • LCI is an abbreviation for "Linked Color Imaging”.
  • I/F is an abbreviation for "Interface”.
  • FIFO is an abbreviation for "First In First Out”.
  • ERCP is an abbreviation for "Endoscopic Retrograde Cholangio-Pancreatography”.
  • TOF is an abbreviation for "Time of Flight”.
  • a duodenoscope system 10 includes a duodenoscope 12 and a display device 13.
  • the duodenoscope 12 is used by a doctor 14 in an endoscopic examination.
  • the duodenoscope 12 is communicatively connected to a communication device (not shown), and information obtained by the duodenoscope 12 is transmitted to the communication device.
  • the communication device receives the information transmitted from the duodenoscope 12 and executes a process using the received information (e.g., a process of recording the information in an electronic medical record, etc.).
  • the duodenoscope 12 is equipped with an endoscope scope 18.
  • the duodenoscope 12 is a device for performing medical treatment on an observation target 21 (e.g., the duodenum) contained within the body of a subject 20 (e.g., a patient) using the endoscope scope 18.
  • the observation target 21 is an object observed by a doctor 14.
  • the endoscope scope 18 is inserted into the body of the subject 20.
  • the duodenoscope 12 causes the endoscope scope 18 inserted into the body of the subject 20 to capture an image of the observation target 21 inside the body of the subject 20, and performs various medical procedures on the observation target 21 as necessary.
  • the duodenoscope 12 is an example of an "endoscope" according to the technology disclosed herein.
  • the duodenoscope 12 captures images of the inside of the subject's body 20, and outputs images showing the state of the inside of the body.
  • the duodenoscope 12 is an endoscope with an optical imaging function that captures images of reflected light obtained by irradiating light inside the body and reflecting it off the object of observation 21.
  • the duodenoscope 12 is equipped with a control device 22, a light source device 24, and an image processing device 25.
  • the control device 22 and the light source device 24 are installed on a wagon 34.
  • the wagon 34 has multiple stands arranged in the vertical direction, and the image processing device 25, the control device 22, and the light source device 24 are installed from the lower stand to the upper stand.
  • a display device 13 is installed on the top stand of the wagon 34.
  • the control device 22 is a device that controls the entire duodenoscope 12.
  • the image processing device 25 is a device that performs image processing on the images captured by the duodenoscope 12 under the control of the control device 22.
  • the display device 13 displays various information including images (e.g., images that have been subjected to image processing by the image processing device 25).
  • images e.g., images that have been subjected to image processing by the image processing device 25.
  • Examples of the display device 13 include a liquid crystal display and an EL display.
  • a tablet terminal with a display may be used in place of the display device 13 or together with the display device 13.
  • the display device 13 displays a plurality of screens side by side. In the example shown in FIG. 1, screens 36, 37, and 38 are shown.
  • An endoscopic image 40 obtained by the duodenoscope 12 is displayed on the screen 36.
  • the endoscopic image 40 shows the observation target 21.
  • the endoscopic image 40 is an image obtained by imaging the observation target 21 by a camera 48 (see FIG. 2) provided on the endoscope scope 18 inside the body of the subject 20.
  • An example of the observation target 21 is the intestinal wall of the duodenum.
  • an intestinal wall image 41 which is an endoscopic image 40 in which the intestinal wall of the duodenum is imaged as the observation target 21.
  • duodenum is merely one example, and any area that can be imaged by the duodenoscope 12 may be used. Examples of areas that can be imaged by the duodenoscope 12 include the esophagus and stomach. Intestinal wall image 41 is an example of an "intestinal wall image" and "geometric characteristic information" according to the technology disclosed herein.
  • a moving image including multiple frames of intestinal wall images 41 is displayed on the screen 36.
  • multiple frames of intestinal wall images 41 are displayed on the screen 36 at a preset frame rate (e.g., several tens of frames per second).
  • the duodenoscope 12 includes an operating section 42 and an insertion section 44.
  • the insertion section 44 is partially curved by operating the operating section 42.
  • the insertion section 44 is inserted while curving in accordance with the shape of the observation target 21 (e.g., the shape of the duodenum) according to the operation of the operating section 42 by the doctor 14.
  • the tip 46 of the insertion section 44 is provided with a camera 48, a lighting device 50, a treatment opening 51, and an erecting mechanism 52.
  • the camera 48 and the lighting device 50 are provided on the side of the tip 46.
  • the duodenoscope 12 is a side-viewing scope. This makes it easier to observe the intestinal wall of the duodenum.
  • Camera 48 is a device that captures images of the inside of subject 20 to obtain intestinal wall images 41 as medical images.
  • One example of camera 48 is a CMOS camera. However, this is merely one example, and other types of cameras such as a CCD camera may also be used.
  • Camera 48 is an example of a "camera" according to the technology of this disclosure.
  • the illumination device 50 has an illumination window 50A.
  • the illumination device 50 irradiates light through the illumination window 50A.
  • Types of light irradiated from the illumination device 50 include, for example, visible light (e.g., white light) and non-visible light (e.g., near-infrared light).
  • the illumination device 50 also irradiates special light through the illumination window 50A. Examples of the special light include light for BLI and/or light for LCI.
  • the camera 48 captures images of the inside of the subject 20 by optical techniques while light is irradiated inside the subject 20 by the illumination device 50.
  • the treatment opening 51 is used as a treatment tool ejection port for ejecting the treatment tool 54 from the tip 46, as a suction port for sucking blood and internal waste, and as a delivery port for delivering fluids.
  • the treatment tool 54 protrudes from the treatment opening 51 in accordance with the operation of the doctor 14.
  • the treatment tool 54 is inserted into the insertion section 44 from the treatment tool insertion port 58.
  • the treatment tool 54 passes through the insertion section 44 via the treatment tool insertion port 58 and protrudes from the treatment opening 51 into the body of the subject 20.
  • a cannula protrudes from the treatment opening 51 as the treatment tool 54.
  • the cannula is merely one example of the treatment tool 54, and other examples of the treatment tool 54 include a papillotomy knife or a snare.
  • the standing mechanism 52 changes the protruding direction of the treatment tool 54 protruding from the treatment opening 51.
  • the standing mechanism 52 is equipped with a guide 52A, and the guide 52A rises in the protruding direction of the treatment tool 54, so that the protruding direction of the treatment tool 54 changes along the guide 52A. This makes it easy to protrude the treatment tool 54 toward the intestinal wall.
  • the standing mechanism 52 changes the protruding direction of the treatment tool 54 to a direction perpendicular to the traveling direction of the tip 46.
  • the standing mechanism 52 is operated by the doctor 14 via the operating unit 42. This allows the degree of change in the protruding direction of the treatment tool 54 to be adjusted.
  • the endoscope scope 18 is connected to the control device 22 and the light source device 24 via a universal cord 60.
  • the control device 22 is connected to the display device 13 and the reception device 62.
  • the reception device 62 receives instructions from a user (e.g., the doctor 14) and outputs the received instructions as an electrical signal.
  • a keyboard is given as an example of the reception device 62.
  • the reception device 62 may also be a mouse, a touch panel, a foot switch, and/or a microphone, etc.
  • the control device 22 controls the entire duodenoscope 12.
  • the control device 22 controls the light source device 24 and transmits and receives various signals to and from the camera 48.
  • the light source device 24 emits light under the control of the control device 22 and supplies the light to the illumination device 50.
  • the illumination device 50 has a built-in light guide, and the light supplied from the light source device 24 passes through the light guide and is irradiated from illumination windows 50A and 50B.
  • the control device 22 causes the camera 48 to capture an image, obtains an intestinal wall image 41 (see FIG. 1) from the camera 48, and outputs it to a predetermined output destination (for example, the image processing device 25).
  • the image processing device 25 is communicably connected to the control device 22, and performs image processing on the intestinal wall image 41 output from the control device 22. Details of the image processing in the image processing device 25 will be described later.
  • the image processing device 25 outputs the intestinal wall image 41 that has been subjected to image processing to a predetermined output destination (e.g., the display device 13).
  • a predetermined output destination e.g., the display device 13.
  • the control device 22 and the display device 13 may be connected, and the intestinal wall image 41 that has been subjected to image processing by the image processing device 25 may be displayed on the display device 13 via the control device 22.
  • the control device 22 includes a computer 64, a bus 66, and an external I/F 68.
  • the computer 64 includes a processor 70, a RAM 72, and an NVM 74.
  • the processor 70, the RAM 72, the NVM 74, and the external I/F 68 are connected to the bus 66.
  • the processor 70 has a CPU and a GPU, and controls the entire control device 22.
  • the GPU operates under the control of the CPU, and is responsible for executing various graphic processing operations and performing calculations using neural networks.
  • the processor 70 may be one or more CPUs that have integrated GPU functionality, or one or more CPUs that do not have integrated GPU functionality.
  • RAM 72 is a memory in which information is temporarily stored, and is used as a work memory by processor 70.
  • NVM 74 is a non-volatile storage device that stores various programs and various parameters, etc.
  • One example of NVM 74 is a flash memory (e.g., EEPROM and/or SSD). Note that flash memory is merely one example, and other non-volatile storage devices such as HDDs may also be used, or a combination of two or more types of non-volatile storage devices may also be used.
  • the external I/F 68 is responsible for transmitting various types of information between devices that exist outside the control device 22 (hereinafter also referred to as "external devices") and the processor 70.
  • external devices include a USB interface.
  • the camera 48 is connected to the external I/F 68 as one of the external devices, and the external I/F 68 is responsible for the exchange of various information between the camera 48 provided in the endoscope 18 and the processor 70.
  • the processor 70 controls the camera 48 via the external I/F 68.
  • the processor 70 also acquires, via the external I/F 68, intestinal wall images 41 (see FIG. 1) obtained by imaging the inside of the subject 20 with the camera 48 provided in the endoscope 18.
  • the light source device 24 is connected to the external I/F 68 as one of the external devices, and the external I/F 68 is responsible for the exchange of various information between the light source device 24 and the processor 70.
  • the light source device 24 supplies light to the lighting device 50 under the control of the processor 70.
  • the lighting device 50 irradiates the light supplied from the light source device 24.
  • the external I/F 68 is connected to the reception device 62 as one of the external devices, and the processor 70 acquires instructions accepted by the reception device 62 via the external I/F 68 and executes processing according to the acquired instructions.
  • the image processing device 25 is connected to the external I/F 68 as one of the external devices, and the processor 70 outputs the intestinal wall image 41 to the image processing device 25 via the external I/F 68.
  • a procedure called ERCP (endoscopic retrograde cholangiopancreatography) examination may be performed.
  • ERCP examination for example, first, a duodenoscope 12 is inserted into the duodenum J via the esophagus and stomach. In this case, the insertion state of the duodenoscope 12 may be confirmed by X-ray imaging. Then, the tip 46 of the duodenoscope 12 reaches the vicinity of the duodenal papilla N (hereinafter also simply referred to as "papilla N”) present in the intestinal wall of the duodenum J.
  • papilla N duodenal papilla N
  • a cannula 54A is inserted from the papilla N.
  • the papilla N is a part that protrudes from the intestinal wall of the duodenum J, and the openings of the ends of the bile duct T (e.g., common bile duct, intrahepatic bile duct, cystic duct) and pancreatic duct S are present in the papillary protuberance NA of the papilla N.
  • X-rays are taken in a state in which a contrast agent is injected into the bile duct T and pancreatic duct S through the opening of the papilla N via the cannula 54A.
  • an ERCP examination includes various procedures such as inserting the duodenoscope 12 into the duodenum J, checking the position, orientation, and type of the papilla N, and inserting a treatment tool (e.g., a cannula) into the papilla N. Therefore, the doctor 14 needs to operate the duodenoscope 12 and observe the condition of the target area according to each procedure.
  • a treatment tool e.g., a cannula
  • the papilla N will be viewed in a tilted state, which may result in a misidentification of the direction of the bile duct T and pancreatic duct S from the papilla N. Therefore, it is necessary to understand the degree to which the position of the endoscope scope 18 is tilted relative to the direction of the intestine within the duodenum J.
  • medical support processing is performed by the processor 82 of the image processing device 25 to support the performance of medical treatment for the duodenum, including ERCP examinations.
  • the image processing device 25 includes a computer 76, an external I/F 78, and a bus 80.
  • the computer 76 includes a processor 82, an NVM 84, and a RAM 81.
  • the processor 82, the NVM 84, the RAM 81, and the external I/F 78 are connected to the bus 80.
  • the computer 76 is an example of a "medical support device” and a “computer” according to the technology of the present disclosure.
  • the processor 82 is an example of a "processor" according to the technology of the present disclosure.
  • the hardware configuration of computer 76 (i.e., processor 82, NVM 84, and RAM 81) is basically the same as the hardware configuration of computer 64 shown in FIG. 3, so a description of the hardware configuration of computer 76 will be omitted here.
  • the role of external I/F 78 in image processing device 25 in terms of sending and receiving information with the outside world is basically the same as the role of external I/F 68 in control device 22 shown in FIG. 3, so a description of this role will be omitted here.
  • the NVM 84 stores a medical support processing program 84A.
  • the medical support processing program 84A is an example of a "program" according to the technology of the present disclosure.
  • the processor 82 reads out the medical support processing program 84A from the NVM 84, and executes the read out medical support processing program 84A on the RAM 81.
  • the medical support processing according to this embodiment is realized by the processor 82 operating as an image acquisition unit 82A, an image recognition unit 82B, a derivation unit 82C, and a display control unit 82D in accordance with the medical support processing program 84A executed on the RAM 81.
  • the NVM 84 stores a trained model 84B.
  • the image recognition unit 82B performs AI-based image recognition processing as image recognition processing for object detection.
  • the trained model 84B is optimized by performing machine learning in advance on the neural network.
  • the image acquisition unit 82A acquires the intestinal wall image 41 generated by the camera 48 capturing images at an imaging frame rate (e.g., several tens of frames per second) from the camera 48 on a frame-by-frame basis.
  • an imaging frame rate e.g., several tens of frames per second
  • the image acquisition unit 82A holds a time-series image group 89.
  • the time-series image group 89 is a plurality of time-series intestinal wall images 41 in which the observation subject 21 is captured.
  • the time-series image group 89 includes, for example, a certain number of frames (for example, a number of frames determined in advance within a range of several tens to several hundreds of frames) of intestinal wall images 41.
  • the image acquisition unit 82A updates the time-series image group 89 in a FIFO manner each time it acquires an intestinal wall image 41 from the camera 48.
  • time-series image group 89 is stored and updated by the image acquisition unit 82A, but this is merely one example.
  • the time-series image group 89 may be stored and updated in a memory connected to the processor 82, such as the RAM 81.
  • the image recognition unit 82B performs image recognition processing on the time-series image group 89 using the trained model 84B.
  • the intestinal tract direction CD refers to the lumen direction of the duodenum.
  • detection of the intestinal tract direction refers to processing for storing in memory in a state in which intestinal tract direction information 90 (e.g., position coordinates indicating the extension direction of the duodenum), which is information capable of identifying the intestinal tract direction CD, is associated with the intestinal wall image 41.
  • the intestinal tract direction information 90 is an example of "intestinal tract direction related information" according to the technology disclosed herein.
  • the trained model 84B is obtained by optimizing the neural network through machine learning performed on the neural network using training data.
  • the training data is a plurality of data (i.e., a plurality of frames of data) in which example data and correct answer data are associated with each other.
  • the example data is, for example, an image (for example, an image equivalent to the intestinal wall image 41) obtained by imaging a region that may be the subject of an ERCP examination (for example, the inner wall of the duodenum).
  • the correct answer data is an annotation that corresponds to the example data.
  • One example of correct answer data is an annotation that can identify the intestinal direction CD.
  • an example of an annotation in the correct answer data is an annotation of the intestinal direction CD based on the shape of the intestinal folds shown in the intestinal wall image 41 (for example, an annotation in which the line segment connecting the centers of the arcs of the fold shape is the intestinal direction CD).
  • other annotations in the correct answer data include annotations based on depth information when the intestinal wall image 41 is a depth image (for example, an annotation in which the direction in which the depth direction indicated by the depth information increases is the intestinal direction CD).
  • each trained model 84B is created by performing machine learning specialized for the ERCP examination technique (e.g., the position of the duodenoscope 12 relative to the papilla N, etc.), and the trained model 84B corresponding to the ERCP examination technique currently being performed is selected and used by the image recognition unit 82B.
  • the ERCP examination technique e.g., the position of the duodenoscope 12 relative to the papilla N, etc.
  • the image recognition unit 82B inputs the intestinal wall image 41 acquired from the image acquisition unit 82A to the trained model 84B. As a result, the trained model 84B outputs intestinal tract direction information 90 corresponding to the input intestinal wall image 41. The image recognition unit 82B acquires the intestinal tract direction information 90 output from the trained model 84B.
  • the derivation unit 82C derives the amount of deviation (hereinafter simply referred to as "deviation amount") of the endoscope 18 with respect to the intestinal tract direction CD.
  • the deviation amount refers to the degree of deviation between the posture of the endoscope 18 and the intestinal tract direction CD.
  • the deviation amount refers to the amount of deviation between the direction along the imaging surface of the imaging element of the camera 48 provided on the endoscope 18 (e.g., the up and down direction in the angle of view) and the intestinal tract direction CD.
  • the deviation amount can also be considered as the angle between the longitudinal direction SD of the tip 46 (e.g., the central axis direction when the tip 46 is cylindrical) and the intestinal tract direction CD.
  • the derivation unit 82C acquires intestinal tract direction information 90 from the image recognition unit 82B.
  • the derivation unit 82C also acquires posture information 91 from the optical fiber sensor 18A provided in the endoscope 18.
  • the posture information 91 is information indicating the posture of the endoscope 18.
  • the optical fiber sensor 18A is a sensor arranged inside the endoscope 18 (e.g., the insertion section 44 and the tip 46) along the longitudinal direction.
  • the posture of the endoscope 18 e.g., the inclination of the tip 46 from a reference position (e.g., the straight state of the endoscope 18)
  • a known endoscope posture detection technology such as that described in Japanese Patent Publication No. 6797834 can be appropriately used.
  • the posture information 91 is an example of "posture information" related to the technology disclosed herein.
  • attitude detection technology using the optical fiber sensor 18A has been described here, this is merely one example.
  • the inclination of the tip 46 of the endoscope 18 may be detected using a so-called electromagnetic navigation method.
  • endoscope attitude detection technology such as that described in Patent Publication No. 6534193.
  • the derivation unit 82C uses the intestinal tract direction information 90 and the posture information 91 to derive displacement amount information 93, which is information indicating the displacement amount. In the example shown in FIG. 6, an angle A is shown as the displacement amount information 93.
  • the derivation unit 82C derives the displacement amount, for example, using a displacement amount calculation formula (not shown).
  • the displacement amount calculation formula is a calculation formula in which the position coordinate of the intestinal tract direction CD indicated by the intestinal tract direction information 90 and the position coordinate of the longitudinal direction SD of the tip portion 46 indicated by the posture information 91 are independent variables, and the angle between the intestinal tract direction CD and the longitudinal direction SD of the tip portion 46 is a dependent variable.
  • the displacement amount information 93 is an example of "displacement amount information" related to the technology disclosed herein.
  • the display control unit 82D acquires an intestinal wall image 41 from the image acquisition unit 82A.
  • the display control unit 82D also acquires intestinal tract direction information 90 from the image recognition unit 82B.
  • the display control unit 82D also acquires deviation amount information 93 from the derivation unit 82C.
  • the display control unit 82D generates an operation instruction image 93A for aligning the longitudinal direction SD of the tip portion 46 with the intestinal tract direction CD according to the deviation amount indicated by the deviation amount information 93.
  • the operation instruction image 93A is, for example, an arrow indicating the operation direction of the tip portion 46 in which the deviation amount becomes smaller.
  • the display control unit 82D generates a display image 94 including the intestinal wall image 41, the intestinal tract direction CD indicated by the intestinal tract direction information 90, and the operation instruction image 93A, and outputs it to the display device 13. Specifically, the display control unit 82D controls a GUI (Graphical User Interface) for displaying the display image 94, thereby causing the display device 13 to display a screen 36.
  • Screen 36 is an example of a "first screen” according to the technology of the present disclosure.
  • Operation instruction image 93A is an example of "posture adjustment support information" according to the technology of the present disclosure.
  • the technology of the present disclosure is not limited to this.
  • a message (not shown) indicating the operation to reduce the amount of misalignment may be displayed on the screen 36.
  • One example of the message is "Tilt the tip of the duodenoscope 10 degrees toward the back.”
  • the user may be notified by an audio output device such as a speaker.
  • the user can understand the intestinal tract direction CD by visually checking the screen 36 of the display device 13.
  • the user can understand the operation for reducing the misalignment between the tip 46 of the endoscope 18 and the intestinal tract direction CD by visually checking the operation instruction image 93A displayed on the screen 36.
  • FIG. 8 shows an example of the flow of medical support processing performed by the processor 82.
  • the flow of medical support processing shown in FIG. 8 is an example of a "medical support method" according to the technology of the present disclosure.
  • step ST10 the image acquisition unit 82A determines whether or not one frame of image has been captured by the camera 48 provided on the endoscope 18. If one frame of image has not been captured by the camera 48 in step ST10, the determination is negative and the determination in step ST10 is made again. If one frame of image has been captured by the camera 48 in step ST10, the determination is positive and the medical support process proceeds to step ST12.
  • step ST12 the image acquisition unit 82A acquires one frame of the intestinal wall image 41 from the camera 48 provided in the endoscope 18. After the processing of step ST12 is executed, the medical support processing proceeds to step ST14.
  • step ST14 the image recognition unit 82B detects the intestinal direction CD by performing AI-based image recognition processing (i.e., image recognition processing using the trained model 84B) on the intestinal wall image 41 acquired in step ST12. After the processing of step ST14 is executed, the medical support processing proceeds to step ST16.
  • AI-based image recognition processing i.e., image recognition processing using the trained model 84B
  • step ST16 the derivation unit 82C acquires posture information 91 from the optical fiber sensor 18A of the endoscope 18. After the processing of step ST16 is executed, the medical support processing proceeds to step ST18.
  • step ST18 the derivation unit 82C derives the amount of deviation based on the intestinal tract direction CD obtained by the image recognition unit 82B in step ST14 and the posture information 91 acquired in step ST16. Specifically, the derivation unit 82C derives the angle between the intestinal tract direction CD and the longitudinal direction SD of the tip portion 46 indicated by the posture information 91.
  • step ST20 the medical support processing proceeds to step ST20.
  • step ST20 the display control unit 82D generates a display image 94 in which the intestinal direction CD and an operation instruction image 93A corresponding to the amount of deviation derived in step ST18 are superimposed on the intestinal wall image 41.
  • step ST22 the display control unit 82D outputs the display image 94 generated in step ST20 to the display device 13. After the processing of step ST22 is executed, the medical support processing proceeds to step ST24.
  • step ST24 the display control unit 82D determines whether or not a condition for terminating the medical support process has been satisfied.
  • a condition for terminating the medical support process is that an instruction to terminate the medical support process has been given to the duodenoscope system 10 (for example, that an instruction to terminate the medical support process has been accepted by the acceptance device 62).
  • step ST24 If the conditions for terminating the medical support process are not met in step ST24, the determination is negative and the medical support process proceeds to step ST10. If the conditions for terminating the medical support process are met in step ST24, the determination is positive and the medical support process ends.
  • the image recognition unit 82B of the processor 82 performs image recognition processing on the intestinal wall image 41, and as a result of the image recognition processing, the intestinal direction CD in the intestinal wall image 41 is detected. Then, intestinal direction information 90 indicating the intestinal direction CD is output to the display control unit 82D, and a display image 94 generated by the display control unit 82D is output to the display device 13.
  • the display image 94 includes the intestinal direction CD superimposed on the intestinal wall image 41. This allows the user to recognize the intestinal direction CD, and this configuration makes it easier for the user to grasp the extent to which the posture of the endoscope scope 18 is deviated from the intestinal direction CD.
  • the deviation amount information 93 is derived in the derivation unit 82C.
  • the deviation amount information 93 indicates the amount of deviation between the posture of the endoscope 18 and the intestinal tract direction CD.
  • the deviation amount information 93 is output to the display control unit 82D, and a display image 94 generated in the display control unit 82D is output to the display device 13.
  • the display image 94 includes a display based on the deviation amount information 93. This allows the user to recognize the amount of deviation between the posture of the endoscope 18 and the intestinal tract direction CD, and this configuration makes it easier for the user to understand how much the posture of the endoscope 18 is deviated from the intestinal tract direction CD.
  • the image recognition unit 82B performs image recognition processing on the intestinal wall image 41, thereby obtaining intestinal direction information 90 indicating the intestinal direction CD. This allows for more accurate intestinal direction information 90 to be obtained compared to when the user visually specifies the intestinal direction CD for the intestinal wall image 41.
  • the display control unit 82D outputs intestinal direction information 90 to the display device 13, and the display device 13 displays the intestinal direction CD on the screen 36. This makes it easier for the user to visually grasp the degree to which the attitude of the endoscope scope 18 has deviated from the intestinal direction CD.
  • the output unit 82C acquires from the optical fiber sensor 18A posture information 91, which is information that can identify the posture of the endoscope 18.
  • the output unit 82C generates deviation amount information 93 based on the posture information 91 and the intestinal tract direction information 90.
  • the display control unit 82D generates an operation instruction image 93A indicating an operation direction that reduces the deviation amount based on the deviation amount information 93.
  • the display control unit 82D outputs the operation instruction image 93A to the display device 13, and the display device 13 displays the operation instruction image 93A superimposed on the intestinal wall image 41.
  • the user can bring the posture of the endoscope 18 closer to the intestinal tract direction CD by performing an operation to change the posture of the endoscope 18 in the direction indicated by the operation instruction image 93A.
  • the intestinal direction CD is detected by image recognition processing using an AI method
  • the technology of the present disclosure is not limited to this.
  • the intestinal direction CD may be detected by image recognition processing using a pattern matching method.
  • a region showing the folds of the intestine i.e., the fold region contained in the intestinal wall image 41 may be detected, and the intestinal direction may be estimated from the arc shape of the fold region (for example, the line connecting the centers of the arcs may be estimated as the intestinal direction).
  • the image recognition unit 82B derives the intestinal direction using the intestinal wall image 41, which is a depth image.
  • the intestinal wall image 41 is a depth image having depth information 41A, which is information indicating the depth of the duodenum, which is the subject, as a pixel value (i.e., the distance to the intestinal wall).
  • the depth of the duodenum is obtained, for example, by a distance measurement sensor mounted on the tip portion 46, by a so-called TOF method.
  • the image recognition unit 82B acquires the intestinal wall image 41 from the image acquisition unit 82A.
  • the depth information 41A is an example of "depth information" related to the technology of the present disclosure.
  • the image recognition unit 82B derives intestinal tract direction information 90 based on the depth information 41A indicated by the intestinal wall image 41.
  • the image recognition unit 82B derives the intestinal tract direction information 90 using, for example, an intestinal tract direction calculation formula 82B1.
  • the intestinal tract direction calculation formula 82B1 is, for example, a calculation formula in which the depth indicated by the depth information 41A is an independent variable and the position coordinate group of the axis line indicating the intestinal tract direction CD is a dependent variable. In this way, the intestinal tract direction information 90 is obtained based on the depth information 41A of the intestinal wall image 41.
  • the intestinal wall image 41 has depth information 41A indicating the depth of the duodenum, and the intestinal direction information 90 is acquired based on the depth information 41A.
  • the intestinal direction CD is a direction along the depth direction of the duodenal lumen.
  • the depth information 41A reflects the depth of the duodenal lumen. Therefore, the intestinal direction CD is derived based on the depth information 41A, and intestinal direction information 90 indicating the intestinal direction CD with higher accuracy is obtained compared to the case where the depth information 41A is not taken into consideration.
  • the image acquisition unit 82A updates the time-series image group 89 in a FIFO manner each time an intestinal wall image 41 is acquired from the camera 48.
  • the image recognition unit 82B acquires the time series image group 89 from the image acquisition unit 82A and inputs the acquired time series image group 89 to the trained model 84C. As a result, the trained model 84C outputs vertical direction information 97 corresponding to the input time series image group 89.
  • the image recognition unit 82B acquires the vertical direction information 97 output from the trained model 84C.
  • the vertical direction information 97 is information (for example, a group of position coordinates indicating an axis perpendicular to the intestinal tract direction CD) that can identify a direction VD perpendicular to the intestinal tract direction CD (hereinafter also simply referred to as the "vertical direction VD").
  • the confidence of the identification result is calculated according to the result of identifying the direction perpendicular to the intestinal direction CD.
  • the confidence is a statistical measure that indicates the certainty of the identification result.
  • the confidence is, for example, a score input to an activation function (e.g., a softmax function) of the output layer of the trained model 84C.
  • the vertical direction information 97 output from the trained model 84C has a score equal to or greater than a threshold (e.g., 0.9 or greater).
  • “vertical” refers not only to perfect verticality, but also to verticality including an error that is generally acceptable in the technical field to which the technology of the present disclosure belongs and that does not contradict the spirit of the technology of the present disclosure.
  • the perpendicular direction to the intestinal tract direction CD is given here as the default angle to the intestinal tract direction CD, the technology of the present disclosure is not limited to this.
  • the default angle may be 45 degrees, 60 degrees, or 80 degrees.
  • the trained model 84C is obtained by optimizing the neural network through machine learning using training data.
  • the training data is a plurality of data (i.e., a plurality of frames of data) in which example data and correct answer data are associated with each other.
  • the example data is, for example, an image (for example, an image equivalent to the intestinal wall image 41) obtained by imaging a region that may be the subject of an ERCP examination (for example, the inner wall of the duodenum).
  • the correct answer data is an annotation that corresponds to the example data.
  • One example of correct answer data is an annotation that can identify the vertical direction VD.
  • the derivation unit 82C derives the degree of agreement between the predetermined direction and the direction of the optical axis of the camera 48.
  • the agreement between the predetermined direction and the direction of the optical axis means that the direction in which the camera 48 is facing is the same as the direction predetermined by the user. In other words, this means that the tip 46 on which the camera 48 is mounted is not in a direction not intended by the user (for example, a direction tilted relative to the intestinal tract direction CD).
  • the derivation unit 82C acquires vertical direction information 97.
  • the derivation unit 82C also acquires optical axis information 48A from the camera 48 of the endoscope 18.
  • the optical axis information 48A is information that can identify the optical axis of the optical system of the camera 48.
  • the derivation unit 82C generates coincidence information 99 by comparing the direction indicated by the vertical direction information 97 with the direction of the optical axis indicated by the optical axis information 48A.
  • the coincidence information 99 is information that indicates the degree of coincidence between the direction of the optical axis and the predetermined direction (for example, the angle between the direction of the optical axis and the predetermined direction).
  • coincidentence refers to a complete coincidence as well as a coincidence that includes an error that is generally acceptable in the technical field to which the technology of the present disclosure belongs and that does not go against the spirit of the technology of the present disclosure.
  • the vertical direction information 97 is an example of "first direction information” and "intestinal direction related information” related to the technology of the present disclosure.
  • the derivation unit 82C determines whether the direction of the optical axis and the predetermined direction match. If the direction of the optical axis and the predetermined direction match, the derivation unit 82C generates notification information 100.
  • the notification information 100 is information that notifies the user that the direction of the optical axis and the predetermined direction match (for example, text indicating that the direction of the optical axis and the predetermined direction match).
  • the display control unit 82D acquires vertical direction information 97 from the image recognition unit 82B.
  • the display control unit 82D also acquires coincidence information 99 from the derivation unit 82C.
  • the display control unit 82D generates an operation instruction image 93B (e.g., an arrow indicating an operation direction) for aligning the direction of the optical axis with the predetermined direction according to the degree of coincidence between the direction of the optical axis indicated by the coincidence information 99 and the predetermined direction.
  • the display control unit 82D then generates a display image 94 including the vertical direction VD indicated by the vertical direction information 97, the operation instruction image 93B, and the intestinal wall image 41, and outputs it to the display device 13.
  • the display device 13 displays the intestinal wall image 41 on which the vertical direction VD and the operation instruction image 93B are superimposed on the screen 36.
  • the vertical direction VD is an example of the "first direction,” “second direction,” and “third direction” according to the technology of the present disclosure.
  • the operation instruction image 93B is an example of "condition information" according to the technology of the present disclosure.
  • the derivation unit 82C outputs notification information 100 to the display control unit 82D instead of the coincidence information 99.
  • the display control unit 82D generates a display image 94, instead of an operation instruction image 93B, that includes content notifying the user that the direction of the optical axis indicated by the notification information 100 matches the predetermined direction.
  • a message stating "The optical axis and the vertical direction match" is displayed on the screen 37 of the display device 13.
  • the notification information 100 is an example of "notification information" related to the technology disclosed herein.
  • the notification information 100 may be output to an audio output device such as a speaker.
  • the derivation unit 82C derives vertical direction information 97, which is information capable of identifying a direction perpendicular to the intestinal direction CD.
  • the vertical direction information 97 is output to the display control unit 82D, and the display image 94 generated by the display control unit 82D is output to the display device 13.
  • the display image 94 includes the vertical direction VD indicated by the vertical direction information 97. This allows the user to recognize the direction that intersects with the intestinal direction CD at a predetermined angle.
  • the image recognition unit 82B performs image recognition processing on the intestinal wall image 41 to obtain vertical direction information 97 indicating the vertical direction VD. This allows for more accurate vertical direction information 97 to be obtained compared to when the user visually specifies the vertical direction VD for the intestinal wall image 41.
  • the vertical direction information 97 is obtained with a degree of confidence equal to or higher than a threshold value.
  • the optical axis information 48A is acquired from the camera 48 by the lead-out unit 82C.
  • the lead-out unit 82C generates coincidence information 99 based on the optical axis information 48A and the vertical direction information 97.
  • the display control unit 82D generates a display image 94 based on the coincidence information 99 and outputs it to the display device 13.
  • the display image 94 includes an indication of the degree of coincidence between the optical axis direction indicated by the coincidence information 99 and the predetermined direction. This allows the user to understand the degree of deviation between the optical axis of the camera 48 and the vertical direction VD.
  • the display control unit 82D generates an operation instruction image 93B for aligning the direction of the optical axis with a predetermined direction based on the coincidence information 99.
  • the display control unit 82D outputs the operation instruction image 93B to the display device 13, and the operation instruction image 93B is displayed on the display device 13 in a superimposed manner on the intestinal wall image 41. This allows the user to understand the operation required to align the optical axis direction of the camera 48 with the vertical direction VD.
  • the derivation unit 82C determines whether the direction of the optical axis coincides with the predetermined direction, and if the direction of the optical axis coincides with the predetermined direction, the derivation unit 82C generates notification information 100.
  • the display control unit 82D generates a display image 94 based on the notification information 100 and outputs it to the display device 13.
  • the display image 94 includes an indication that the direction of the optical axis indicated by the notification information 100 coincides with the predetermined direction. This allows the user to perceive that the direction of the optical axis coincides with the predetermined direction.
  • the intestinal tract direction CD is obtained by image recognition processing of the intestinal wall image 41
  • the technology of the present disclosure is not limited to this.
  • the running direction TD of the bile duct is obtained based on the intestinal tract direction CD.
  • the image acquisition unit 82A updates the time-series image group 89 in a FIFO manner each time an intestinal wall image 41 is acquired from the camera 48.
  • the image recognition unit 82B performs papilla detection processing on the time-series image group 89 using the trained model 84D.
  • the image recognition unit 82B acquires the time-series image group 89 from the image acquisition unit 82A, and inputs the acquired time-series image group 89 to the trained model 84D.
  • the trained model 84D outputs papilla region information 95 corresponding to the input time-series image group 89.
  • the image recognition unit 82B acquires the papilla region information 95 output from the trained model 84D.
  • the papilla region information 95 includes information (e.g., coordinates and range within the image) that can identify the papilla region N1 in the intestinal wall image 41 in which the papilla N appears.
  • the trained model 84D is obtained by optimizing the neural network through machine learning using training data.
  • the training data is a plurality of data (i.e., a plurality of frames of data) in which example data and correct answer data are associated with each other.
  • the training data is, for example, an image (e.g., an image equivalent to the intestinal wall image 41) obtained by imaging a region that may be the subject of an ERCP examination (e.g., the inner wall of the duodenum).
  • the correct answer data is an annotation that corresponds to the example data.
  • An example of the correct answer data is an annotation that can identify the papilla region N1.
  • the derivation unit 82C derives running direction information 96, which is information indicating the running direction TD of the bile duct.
  • the running direction information 96 includes information that can identify the direction in which the bile duct extends (for example, position coordinates indicating the direction in which the bile duct extends).
  • the derivation unit 82C acquires papilla region information 95 from the image recognition unit 82B.
  • the derivation unit 82C also acquires intestinal tract direction information 90 obtained by image recognition processing using the trained model 84B (see FIG. 6) from the image recognition unit 82B.
  • the derivation unit 82C then derives running direction information 96 based on the intestinal tract direction information 90 and the papilla region information 95.
  • the derivation unit 82C derives the running direction TD, for example, from a predetermined orientation relationship between the intestinal tract direction CD and the running direction TD. Specifically, the derivation unit 82C derives the running direction TD as the direction from 11 o'clock to 12 o'clock when the intestinal tract direction CD is the 6 o'clock direction. Furthermore, the derivation unit 82C sets the nipple region N1 indicated by the nipple region information 95 as the starting point of the travel direction TD.
  • the display control unit 82D acquires running direction information 96 from the derivation unit 82C.
  • the display control unit 82D also acquires nipple region information 95 from the image recognition unit 82B.
  • the display control unit 82D generates a display image 94 in which the running direction TD indicated by the running direction information 96 and the nipple region N1 indicated by the nipple region information 95 are superimposed on the intestinal wall image 41 acquired from the image acquisition unit 82A (see FIG. 6), and outputs the display image 94 to the display device 13.
  • the display device 13 displays the intestinal wall image 41 with the running direction TD superimposed on it on the screen 36.
  • the image recognition unit 82B performs a papilla detection process using the trained model 84D.
  • Papilla region information 95 is obtained by the papilla detection process.
  • the image recognition unit 82B performs an image recognition process using the trained model 84A, thereby obtaining intestinal direction information 90.
  • the derivation unit 82C derives running direction information 96 based on the intestinal direction information 90 and the papilla region information 95.
  • the display control unit 82D then outputs a display image 94 to the display device 13.
  • the display image 94 includes the papilla region N1 indicated by the papilla region information 95 and the running direction TD of the bile duct indicated by the running direction information 96.
  • the papilla region N1 and the running direction TD of the bile duct are displayed on the screen 36. This makes it easier for the user observing the papilla N through the screen 36 to visually grasp the running direction TD of the bile duct.
  • the camera 48 may be positioned directly facing the papilla N.
  • the running direction of the bile duct or pancreatic duct it becomes easier to grasp the position of the endoscope 18.
  • the camera 48 when inserting a treatment tool into the papilla N, by knowing the running direction of the bile duct or pancreatic duct, it becomes easier to perform the intubation operation of the bile duct or pancreatic duct within the papilla N.
  • the intestinal direction CD is obtained by image recognition processing of the intestinal wall image 41, but the technology of the present disclosure is not limited to this.
  • the orientation of the papilla protuberance NA at the papilla N (hereinafter also simply referred to as "papilla orientation ND") is obtained based on the intestinal direction CD.
  • the derivation unit 82C generates papilla direction information 102 based on the intestinal direction information 90 and papilla region information 95.
  • the papilla direction information 102 is information that can identify the papilla direction ND (e.g., the direction in which the papilla protuberance NA faces the treatment tool).
  • the papilla direction ND is obtained, for example, as a tangent to the papilla protuberance NA in the running direction TD of the bile duct.
  • the derivation unit 82C derives the running direction TD of the bile duct from the intestinal direction CD indicated by the intestinal direction information 90, and further derives the direction of the tangent to the papilla protuberance NA from the running direction TD as the papilla direction ND.
  • the display control unit 82D acquires the nipple orientation information 102 from the derivation unit 82C.
  • the display control unit 82D generates a display image 94 in which the nipple orientation ND indicated by the nipple orientation information 102 and the nipple region N1 indicated by the nipple region information 95 are superimposed on the intestinal wall image 41 acquired from the image acquisition unit 82A (see FIG. 6), and outputs the display image 94 to the display device 13.
  • the intestinal wall image 41 with the nipple orientation ND superimposed is displayed on the screen 36.
  • nipple direction ND is displayed as an arrow
  • the nipple direction ND may also be displayed in a form in which the direction is indicated by text.
  • the image recognition unit 82B performs a nipple detection process (see FIG. 12) to obtain nipple region information 95.
  • the image recognition unit 82B also performs an image recognition process using the trained model 84B (see FIG. 6) to obtain intestinal direction information 90.
  • the derivation unit 82C derives nipple orientation information 102 based on the intestinal direction information 90.
  • the display control unit 82D then outputs a display image 94 to the display device 13.
  • the display image 94 includes the nipple region N1 indicated by the nipple region information 95 and the nipple orientation ND indicated by the nipple orientation information 102.
  • the nipple region N1 and nipple orientation ND are displayed on the screen 36 of the display device 13. This makes it easier for a user observing the nipple N through the screen 36 to visually grasp the nipple orientation ND.
  • the camera 48 may be positioned directly facing the nipple N.
  • the nipple orientation ND it becomes easier to grasp the position of the endoscope 18.
  • the treatment tool can be positioned directly facing the nipple N, making it easier to insert the treatment tool into the nipple N.
  • the intestinal tract direction CD is obtained by image recognition processing of the intestinal wall image 41
  • the technology of the present disclosure is not limited to this.
  • the intestinal wall image 41 is an image obtained by capturing an image of the intestinal wall including the papilla N
  • the protruding direction RD of the papilla N is obtained by image recognition processing of the intestinal wall image 41.
  • the camera 48 may be positioned directly facing the protruding direction RD of the papilla N.
  • This makes it easier to estimate the running direction of the bile duct T and pancreatic duct S extending from the papilla N, and makes it easier to insert a treatment tool (e.g., a cannula) into the papilla N. Therefore, in this second embodiment, the protruding direction RD of the papilla N is obtained by performing image recognition processing on the intestinal wall image 41.
  • the image acquisition unit 82A updates the time-series image group 89 in a FIFO manner each time an intestinal wall image 41 is acquired from the camera 48.
  • the image recognition unit 82B acquires the time series image group 89 from the image acquisition unit 82A, and inputs the acquired time series image group 89 to the trained model 84E. As a result, the trained model 84E outputs the protuberance direction information 104 corresponding to the input time series image group 89.
  • the image recognition unit 82B acquires the protuberance direction information 104 output from the trained model 84E.
  • the protuberance direction information 104 is information that can identify the direction in which the nipple N protrudes (for example, a group of position coordinates of an axis indicating the protuberance direction RD).
  • the trained model 84E is obtained by optimizing the neural network through machine learning using training data.
  • the training data is a plurality of data (i.e., a plurality of frames of data) in which example data and correct answer data are associated with each other.
  • the training data is, for example, an image (e.g., an image equivalent to the intestinal wall image 41) obtained by imaging a region that may be the subject of an ERCP examination (e.g., the inner wall of the duodenum).
  • the correct answer data is an annotation that corresponds to the example data.
  • An example of the correct answer data is an annotation that can identify the protrusion direction RD of the papilla N.
  • the protruding direction RD of the nipple N is specified as, for example, the direction from the top of the nipple protuberance NA of the nipple N to the top of the headband fold H1. This is because, according to medical findings, the protruding direction RD of the nipple N often coincides with the direction from the top of the nipple protuberance NA to the top of the headband fold H1.
  • the headband fold H1 is the fold closest to the nipple protuberance NA.
  • an example of an annotation in the correct answer data is an annotation in which the direction passing through the top of the headband fold H1 is the protruding direction RD.
  • the derivation unit 82C derives the degree of coincidence between the protruding direction RD and the direction of the optical axis of the camera 48.
  • the coincidence between the protruding direction RD and the direction of the optical axis means that the camera 48 is facing directly toward the nipple N. In other words, this means that the tip 46 on which the camera 48 is mounted is not in a direction not intended by the user (for example, a direction tilted relative to the protruding direction RD of the nipple N).
  • the derivation unit 82C then acquires the bulge direction information 104 from the image recognition unit 82B.
  • the derivation unit 82C also acquires the optical axis information 48A from the camera 48 of the endoscope 18.
  • the derivation unit 82C then generates the coincidence information 103 by comparing the direction indicated by the vertical direction information 97 with the direction of the optical axis indicated by the optical axis information 48A.
  • the coincidence information 103 is information that indicates the degree of coincidence between the direction of the optical axis and the bulge direction RD (for example, the angle between the direction of the optical axis and the bulge direction RD).
  • the display control unit 82D acquires the protuberance direction information 104 from the image recognition unit 82B.
  • the display control unit 82D also acquires the coincidence information 103 from the derivation unit 82C.
  • the display control unit 82D generates an operation instruction image 93C (e.g., an arrow indicating an operation direction) for matching the direction of the optical axis with the protuberance direction RD according to the degree of coincidence between the direction of the optical axis indicated by the coincidence information 103 and the protuberance direction RD.
  • the display control unit 82D then generates a display image 94 including the protuberance direction RD indicated by the protuberance direction information 104, the operation instruction image 93C, and the intestinal wall image 41, and outputs it to the display device 13.
  • the display device 13 displays the intestinal wall image 41 with the protuberance direction RD and the operation instruction image 93C superimposed on the screen 36.
  • the doctor 14 operates the endoscope 18 to bring the optical axis of the camera 48 closer to the protuberance direction RD.
  • This allows the doctor 14 to obtain an intestinal wall image 41 in which the papilla N and the camera 48 are directly facing each other, making it easier to estimate the running direction of the bile duct T and pancreatic duct S extending from the papilla N and to insert a treatment tool (e.g., a cannula) into the papilla N.
  • a treatment tool e.g., a cannula
  • the image recognition unit 82B of the processor 82 performs image recognition processing on the intestinal wall image 41, and as a result of the image recognition processing, the protuberance direction RD of the papilla N in the intestinal wall image 41 is detected. Then, protuberance direction information 104 indicating the protuberance direction RD is output to the display control unit 82D, and the display image 94 generated by the display control unit 82D is output to the display device 13.
  • the display image 94 includes the protuberance direction RD superimposed on the intestinal wall image 41. In this way, the protuberance direction RD is displayed on the screen 36 of the display device 13. This allows the user observing the intestinal wall image 41 to visually grasp the protuberance direction RD of the papilla N.
  • the image recognition unit 82B obtains bulging direction information 104 based on the intestinal wall image 41.
  • the bulging direction information 104 is output to the display control unit 82D, and a display image 94 generated in the display control unit 82D is output to the display device 13.
  • the display image 94 includes a display based on the bulging direction information 104. This allows the user observing the intestinal wall image 41 to visually grasp the bulging direction RD of the papilla N.
  • a display image 94 is generated in the display control unit 82D.
  • the display image 94 includes an image of an arrow indicating the protrusion direction RD. This allows the user observing the intestinal wall image 41 to visualize the protrusion direction RD of the papilla N and visually grasp it.
  • the optical axis information 48A is acquired from the camera 48 in the lead-out unit 82C.
  • the lead-out unit 82C generates the coincidence information 103 based on the optical axis information 48A and the protuberance direction information 104.
  • the display control unit 82D generates a display image 94 based on the coincidence information 103 and outputs it to the display device 13.
  • the display image 94 includes an indication of the degree of coincidence between the optical axis direction indicated by the coincidence information 103 and the protuberance direction RD. This allows the user observing the intestinal wall image 41 to visually grasp the degree of coincidence between the protuberance direction RD of the papilla N and the optical axis direction.
  • the protuberance direction RD is identified as the direction from the apex of the papilla N's papilla protuberance NA to the apex of the fold H1.
  • a display image 94 generated in the display control unit 82D is output to the display device 13.
  • the display image 94 includes the protuberance direction RD. This allows the user observing the intestinal wall image 41 to visually grasp the direction from the opening of the papilla protuberance NA to the apex of the fold H1. As a result, it becomes easier to identify the running direction TD of the bile duct leading to the opening of the papilla N.
  • the protuberance direction RD is identified as the direction from the apex of the papilla N's papilla protuberance NA to the apex of the fold H1.
  • a display image 94 generated in the display control unit 82D is output to the display device 13.
  • the display image 94 includes an image of an arrow indicating the protuberance direction RD. This allows the user observing the intestinal wall image 41 to visually grasp the direction from the opening of the papilla protuberance NA to the apex of the fold H1. As a result, it becomes easier to identify the running direction TD of the bile duct leading to the opening of the papilla N.
  • the image recognition unit 82B performs image recognition processing on the intestinal wall image 41 to obtain bulging direction information 104 indicating the bulging direction RD. This allows for more accurate bulging direction information 104 to be obtained compared to when the user visually specifies the bulging direction RD for the intestinal wall image 41.
  • the protuberance direction RD is specified as the direction from the apex of the nipple protuberance NA to the apex of the headband fold H1, but the technology of the present disclosure is not limited to this.
  • the protuberance direction RD is specified based on the configuration of the multiple folds H1 to H3.
  • the image recognition unit 82B acquires a time-series image group 89 from the image acquisition unit 82A, and inputs the acquired time-series image group 89 to the trained model 84E.
  • the trained model 84E outputs uplift direction information 104 corresponding to the input time-series image group 89.
  • the image recognition unit 82B acquires the uplift direction information 104 output from the trained model 84E.
  • the rising direction RD of the nipple N is identified as, for example, the direction passing through the top of the headband fold H1. According to medical findings, the rising direction RD of the nipple N may coincide with the direction passing through the top of the headband fold H1.
  • an annotation in the correct answer data is an annotation that defines the direction passing through the top of the headband fold H1 as the rising direction RD.
  • the rising direction RD is specified as a direction passing through the apex of the headband pleat H1, this is merely one example.
  • the rising direction RD may also be specified as a direction passing through at least one of the apexes of the multiple pleats H1 to H3.
  • the protuberance direction RD is identified based on the state of the multiple folds H1 to H3. Then, the display image 94 generated in the display control unit 82D is output to the display device 13.
  • the display image 94 includes the protuberance direction RD. This allows the user observing the intestinal wall image 41 to visually grasp the direction passing through the apex of the headband fold H1 of the papillary protuberance NA as the protuberance direction RD.
  • the protuberance direction RD is specified as the direction from the apex of the nipple protuberance NA to the apex of the headband fold H1, but the technology of the present disclosure is not limited to this.
  • the protuberance direction RD is specified based on the nipple protuberance NA and the multiple folds H1 to H3.
  • the image recognition unit 82B acquires a time-series image group 89 from the image acquisition unit 82A, and inputs the acquired time-series image group 89 to the trained model 84E.
  • the trained model 84E outputs uplift direction information 104 corresponding to the input time-series image group 89.
  • the image recognition unit 82B acquires the uplift direction information 104 output from the trained model 84E.
  • the protruding direction RD of the nipple N is specified as, for example, the direction passing from the top of the nipple protuberance NA through the tops of the headband folds H1, H2, and H3.
  • the protruding direction RD of the nipple N may coincide with the direction passing from the top of the nipple protuberance NA through the tops of the headband folds H1, H2, and H3.
  • an example of an annotation in the correct answer data is an annotation in which the direction passing from the top of the nipple protuberance NA through the tops of the headband folds H1, H2, and H3 is the protruding direction RD.
  • the protuberance direction RD is identified based on the papillary protuberance NA and the multiple folds H1 to H3. Then, the display image 94 generated in the display control unit 82D is output to the display device 13.
  • the display image 94 includes the protuberance direction RD. This allows the user observing the intestinal wall image 41 to visually grasp the direction passing through the top of the papillary protuberance NA and the tops of the multiple folds H1 to H3 as the protuberance direction RD.
  • the derivation unit 82C derives running direction information 96 based on the bulging direction information 104.
  • the running direction TD of the bile duct has a predetermined orientation relationship with the bulging direction RD of the papilla N. Specifically, when the bulging direction RD is the 12 o'clock direction, the derivation unit 82C derives the running direction TD as the 11 o'clock direction.
  • the display control unit 82D acquires the running direction information 96 from the derivation unit 82C.
  • the display control unit 82D generates a display image 94 in which the running direction TD indicated by the running direction information 96 is superimposed on the intestinal wall image 41 acquired from the image acquisition unit 82A (see FIG. 6), and outputs the display image 94 to the display device 13.
  • the display device 13 displays the intestinal wall image 41 with the running direction TD superimposed on the screen 36.
  • the running direction information 96 is obtained based on the protuberance direction information 104. In this way, since the running direction information 96 is obtained from the protuberance direction information 104, it is easier to identify the running direction TD compared to when the running direction information 96 is obtained by image recognition processing.
  • a display image 94 is generated in the display control unit 82D.
  • the display image 94 includes an image showing the running direction TD. This allows the user observing the intestinal wall image 41 to visually grasp the running direction TD of the bile duct.
  • the protruding direction RD of the papilla N is obtained by image recognition processing of the intestinal wall image 41, but the technology of the present disclosure is not limited to this.
  • the direction MD of the surface in which the opening exists in the papilla N (hereinafter also simply referred to as the "surface direction MD") is obtained by image recognition processing of the intestinal wall image 41.
  • the image acquisition unit 82A updates the time-series image group 89 in a FIFO manner each time an intestinal wall image 41 is acquired from the camera 48.
  • the image recognition unit 82B acquires the time-series image group 89 from the image acquisition unit 82A, and inputs the acquired time-series image group 89 to the trained model 84F. As a result, the trained model 84F outputs face direction information 106 corresponding to the input time-series image group 89.
  • the image recognition unit 82B acquires the face direction information 106 output from the trained model 84F.
  • the face direction information 106 is information that can identify the face direction MD (for example, a group of position coordinates of axes indicating the face direction MD).
  • the trained model 84F is obtained by optimizing the neural network through machine learning using training data.
  • the training data is a plurality of data (i.e., a plurality of frames of data) in which example data and correct answer data are associated with each other.
  • the example data is, for example, an image (for example, an image equivalent to the intestinal wall image 41) obtained by imaging a region that may be the subject of an ERCP examination (for example, the inner wall of the duodenum).
  • the correct answer data is an annotation that corresponds to the example data.
  • An example of the correct answer data is an annotation that can identify the surface direction MD.
  • the derivation unit 82C derives the relative angle between the plane P on which the opening K of the papilla N is provided and the attitude of the endoscope 18. When the relative angle between the plane P on which the opening K of the papilla N is provided and the attitude of the endoscope 18 approaches 0, this means that the camera 48 approaches a state in which it faces the papilla N directly.
  • the derivation unit 82C acquires face direction information 106 from the image recognition unit 82B.
  • the derivation unit 82C also acquires attitude information 91 from the optical fiber sensor 18A of the endoscope 18.
  • the derivation unit 82C then generates relative angle information 108 by comparing the plane P having the opening K from the surface direction indicated by the face direction information 106 with the attitude of the endoscope 18 indicated by the attitude information 91.
  • the relative angle information 108 is information indicating the angle A formed between the plane P and the attitude of the endoscope 18 (for example, the imaging plane of the camera 48).
  • the display control unit 82D acquires face direction information 106 from the image recognition unit 82B.
  • the display control unit 82D also acquires relative angle information 108 from the derivation unit 82C.
  • the display control unit 82D generates an operation instruction image 93D (e.g., an arrow indicating an operation direction) for orienting the camera 48 directly to the papilla N according to the angle indicated by the relative angle information 108.
  • the display control unit 82D then generates a display image 94 including the face direction MD indicated by the face direction information 106, the operation instruction image 93D, and the intestinal wall image 41, and outputs it to the display device 13.
  • the display device 13 displays the intestinal wall image 41 with the face direction MD and the operation instruction image 93D superimposed on the screen 36.
  • the image recognition unit 82B of the processor 82 performs image recognition processing on the intestinal wall image 41, and as a result of the image recognition processing, the surface direction MD of the papilla N in the intestinal wall image 41 is detected. Then, surface direction information 106 indicating the surface direction MD is output to the display control unit 82D, and the display image 94 generated by the display control unit 82D is output to the display device 13.
  • the display image 94 includes the surface direction MD superimposed on the intestinal wall image 41. In this way, the surface direction MD is displayed on the screen 36 of the display device 13. This allows the user observing the intestinal wall image 41 to visually grasp the surface direction MD of the papilla N.
  • the derivation unit 82C acquires from the optical fiber sensor 18A posture information 91, which is information that can identify the posture of the endoscope 18.
  • the derivation unit 82C generates relative angle information 108 based on the posture information 91 and the face direction information 106.
  • the display control unit 82D generates an operation instruction image 93D for orienting the camera 48 directly toward the papilla N based on the relative angle information 108.
  • the display control unit 82D outputs the operation instruction image 93D to the display device 13, and the operation instruction image 93D is superimposed on the intestinal wall image 41 on the display device 13. This makes it easy for the user to set the posture of the endoscope 18 relative to the face direction MD of the papilla N to the posture intended by the user when the endoscope 18 is inserted into the duodenum.
  • the display control unit 82D acquires the protuberance direction information 104 from the image recognition unit 82B.
  • the display control unit 82D generates a nipple surface image 93E based on the protuberance direction RD indicated by the protuberance direction information 104.
  • the nipple surface image 93E is an image capable of identifying a surface that intersects with the protuberance direction RD at a predetermined angle (e.g., 90 degrees).
  • the display control unit 82D adjusts the nipple surface image 93E to a size and shape according to the nipple region N1 based on the nipple region information 95 obtained in the image recognition unit 82B.
  • the display control unit 82D also generates an operation instruction image 93C.
  • the display control unit 82D generates a display image 94 including the nipple surface image 93E, the operation instruction image 93C, and the intestinal wall image 41, and outputs it to the display device 13.
  • the display device 13 displays the intestinal wall image 41 on the screen 36 with the nipple surface image 93E and the operation instruction image 93C superimposed thereon.
  • the display control unit 82D generates a nipple surface image 93E based on the protuberance direction information 104.
  • the display control unit 82D outputs the nipple surface image 93E to the display device 13, and the nipple surface image 93E is superimposed on the intestinal wall image 41 on the display device 13. This makes it easier for the user observing the intestinal wall image 41 to visually predict the position of the opening contained in the nipple N.
  • the intestinal tract direction CD is obtained by image recognition processing of the intestinal wall image 41
  • the protuberance direction RD is obtained by image recognition processing of the intestinal wall image 41.
  • the technology of the present disclosure is not limited to this.
  • the running direction TD of the bile duct T is obtained by image recognition processing of the intestinal wall image 41.
  • a treatment tool e.g., a cannula
  • the treatment tool may then be intubated into the bile duct T or pancreatic duct S inside the papilla N.
  • the running direction of the bile duct T or pancreatic duct S is obtained by image recognition processing of the intestinal wall image 41. Note that, for ease of explanation, the following will use the case of the bile duct T as an example.
  • the image acquisition unit 82A updates the time-series image group 89 in a FIFO manner each time an intestinal wall image 41 is acquired from the camera 48.
  • the image recognition unit 82B acquires the time-series image group 89 from the image acquisition unit 82A, and inputs the acquired time-series image group 89 to the trained model 84G. As a result, the trained model 84G outputs driving direction information 96 corresponding to the input time-series image group 89. The image recognition unit 82B acquires the driving direction information 96 output from the trained model 84E.
  • the trained model 84G is obtained by optimizing the neural network through machine learning using training data.
  • the training data is a plurality of data (i.e., a plurality of frames of data) in which example data and correct answer data are associated with each other.
  • the example data is, for example, an image (for example, an image equivalent to the intestinal wall image 41) obtained by imaging a site that may be the subject of an ERCP examination (for example, the inner wall of the duodenum).
  • the correct answer data is an annotation that corresponds to the example data.
  • An example of the correct answer data is an annotation that can identify the traveling direction TD.
  • the running direction TD of the bile duct T is identified as, for example, the direction passing through the apexes of the multiple folds of the papilla N. This is because, according to medical findings, the running direction of the bile duct T may coincide with a line connecting the apexes of the folds.
  • an annotation in the correct answer data is an annotation that defines the running direction TD of the bile duct T as the direction passing through the apex of the folds of the papilla N.
  • the acquired time-series image group 89 is also input to the trained model 84H.
  • the trained model 84H outputs diverticulum area information 110 corresponding to the input time-series image group 89.
  • the image recognition unit 82B acquires the diverticulum area information 110 output from the trained model 84H.
  • the diverticulum area information 110 is information that can identify an area indicating a diverticulum present in the papilla N (coordinates indicating the size and position of the diverticulum).
  • a diverticulum is an area in which part of the papilla N protrudes in a pouch-like shape outside the duodenum.
  • the trained model 84H is obtained by optimizing the neural network through machine learning using training data.
  • the training data is a plurality of data (i.e., a plurality of frames of data) in which example data and correct answer data are associated with each other.
  • the example data is, for example, an image (for example, an image equivalent to the intestinal wall image 41) obtained by imaging a region that may be the subject of an ERCP test (for example, the inner wall of the duodenum).
  • the correct answer data is an annotation that corresponds to the example data.
  • An example of correct answer data is an annotation that can identify an area indicating a diverticulum.
  • the derivation unit 82C derives a mode for displaying the traveling direction TD.
  • the traveling direction TD is specified in a mode that avoids the diverticulum. This is because, according to medical findings, the traveling direction TD may be formed to avoid the diverticulum. Therefore, the derivation unit 82C changes the display mode of the traveling direction TD based on the diverticulum area information 110. Specifically, the derivation unit 82C changes the portion of the traveling direction TD indicated by the traveling direction information 96 that intersects with the diverticulum indicated by the diverticulum area information 110 to a mode that avoids the diverticulum. In this way, the derivation unit 82C generates display mode information 112 that indicates the display mode of the changed traveling direction TD.
  • the display control unit 82D acquires the display mode information 112 from the derivation unit 82C.
  • the display control unit 82D generates a display image 94 including the changed traveling direction TD and the intestinal wall image 41 indicated by the display mode information 112, and outputs it to the display device 13.
  • the display device 13 displays the intestinal wall image 41 with the changed traveling direction TD superimposed on the screen 36.
  • Figure 26 shows an example of the flow of medical support processing performed by the processor 82.
  • step ST110 the image acquisition unit 82A determines whether or not one frame of image has been captured by the camera 48 provided on the endoscope 18. If one frame of image has not been captured by the camera 48 in step ST10, the determination is negative and the determination in step ST110 is made again. If one frame of image has been captured by the camera 48 in step ST110, the determination is positive and the medical support process proceeds to step ST112.
  • step ST112 the image acquisition unit 82A acquires one frame of the intestinal wall image 41 from the camera 48 provided in the endoscope 18. After the processing of step ST112 is executed, the medical support processing proceeds to step ST114.
  • step ST114 the image recognition unit 82B detects the traveling direction TD by performing an AI-based image recognition process (i.e., image recognition process using the trained model 84G) on the intestinal wall image 41 acquired in step ST112. After the process of step ST114 is executed, the medical support process proceeds to step ST116.
  • an AI-based image recognition process i.e., image recognition process using the trained model 84G
  • step ST116 the image recognition unit 82B detects the diverticulum area by performing AI-based image recognition processing (i.e., image recognition processing using the trained model 84H) on the intestinal wall image 41 acquired in step ST112. After the processing of step ST116 is executed, the medical support processing proceeds to step ST118.
  • AI-based image recognition processing i.e., image recognition processing using the trained model 84H
  • step ST118 the derivation unit 82C changes the display mode of the driving direction TD based on the driving direction TD obtained by the image recognition unit 82B in step ST114 and the diverticulum area obtained by the image recognition unit 82B in step ST116. Specifically, the derivation unit 82C changes the display mode of the driving direction TD to a mode that avoids the diverticulum area.
  • step ST120 the medical support processing proceeds to step ST120.
  • step ST120 the display control unit 82D generates a display image 94 in which the traveling direction TD, the display mode of which was changed by the derivation unit 82C in step ST118, is superimposed on the intestinal wall image 41.
  • step ST120 the medical support processing proceeds to step ST122.
  • step ST122 the display control unit 82D outputs the display image 94 generated in step ST120 to the display device 13. After the processing of step ST122 is executed, the medical support processing proceeds to step ST124.
  • step ST124 the display control unit 82D determines whether or not a condition for terminating the medical support process has been satisfied.
  • a condition for terminating the medical support process is that an instruction to terminate the medical support process has been given to the duodenoscope system 10 (for example, that an instruction to terminate the medical support process has been accepted by the acceptance device 62).
  • step ST124 If the conditions for terminating the medical support process are not met in step ST124, the determination is negative and the medical support process proceeds to step ST110. If the conditions for terminating the medical support process are met in step ST124, the determination is positive and the medical support process ends.
  • the image recognition unit 82B of the processor 82 performs image recognition processing on the intestinal wall image 41, and as a result of the image recognition processing, the running direction TD of the bile duct in the intestinal wall image 41 is detected. Then, running direction information 96 indicating the running direction TD is output to the display control unit 82D, and a display image 94 generated by the display control unit 82D is output to the display device 13.
  • the display image 94 includes the running direction TD superimposed on the intestinal wall image 41. In this way, the running direction TD is displayed on the screen 36 of the display device 13. This allows the user observing the intestinal wall image 41 to visually grasp the running direction TD of the bile duct.
  • the image recognition unit 82B performs image recognition processing on the intestinal wall image 41 to obtain diverticulum area information 110.
  • display mode information 112 is generated based on the running direction information 96 and the diverticulum area information 110. Then, the display mode information 112 indicating the changed running direction TD is output to the display control unit 82D, and the display image 94 generated by the display control unit 82D is output to the display device 13.
  • the display image 94 includes the changed running direction TD superimposed on the intestinal wall image 41. In this way, the changed running direction TD is displayed on the screen 36 of the display device 13.
  • the display mode information 112 indicates the traveling direction TD indicated by the traveling direction information 96, which has been changed to avoid the diverticulum. Then, the changed traveling direction TD is displayed on the screen 36 of the display device 13. This allows the user observing the intestinal wall image 41 to visually grasp the traveling direction TD of the bile duct that has been changed to avoid the diverticulum.
  • the display mode of the running direction TD of the bile duct is changed to avoid the diverticulum, but the technology disclosed herein is not limited to this.
  • the area of the running direction TD of the bile duct that intersects with the diverticulum may be hidden, or the area that intersects with the diverticulum may be displayed as a dashed line or semi-transparent.
  • a diverticulum is detected from the intestinal wall image 41 by image recognition processing, and the display mode of the traveling direction TD is changed according to the diverticulum.
  • the technology disclosed herein is not limited to this.
  • a configuration in which a diverticulum is not detected may also be used.
  • the derivation unit 82C acquires the traveling direction information 96 and the diverticulum area information 110 from the image recognition unit 82B.
  • the derivation unit 82C identifies the positional relationship between the diverticulum and the traveling direction TD based on the diverticulum area information 110 and the traveling direction information 96.
  • the derivation unit 82C compares the traveling direction TD indicated by the traveling direction information 96 with the position and size of the diverticulum indicated by the diverticulum area information 110 to identify whether the diverticulum intersects with the traveling direction TD. Then, when the derivation unit 82C identifies that the traveling direction TD and the diverticulum intersect with each other, it generates notification information 114.
  • the derivation unit 82C outputs the notification information 114 to the display control unit 82D.
  • the display control unit 82D generates a display image 94 including content notifying the user that the diverticulum indicated by the notification information 114 intersects with the driving direction TD.
  • a message stating "The diverticulum intersects with the driving direction" is displayed on the screen 37 of the display device 13.
  • the lead-out unit 82C identifies the positional relationship between the diverticulum and the running direction TD based on the diverticulum area information 110 and the running direction information 96, and generates notification information 114 based on the identification result.
  • the display control unit 82D generates a display image 94 based on the notification information 114 and outputs it to the display device 13.
  • the display image 94 includes an indication that the diverticulum indicated by the notification information 114 intersects with the running direction. This allows the user to perceive that the diverticulum intersects with the running direction.
  • the positional relationship between the papilla N and the treatment tool affects the success of the procedure. For example, if the direction of travel of the treatment tool does not match the papilla direction ND, the treatment tool will not be able to properly approach the papilla N, making it difficult to successfully perform the procedure. Therefore, in the fourth embodiment, the positional relationship between the treatment tool and the papilla N is identified by image recognition processing of the intestinal wall image 41.
  • the image acquisition unit 82A updates the time-series image group 89 in a FIFO manner each time an intestinal wall image 41 is acquired from the camera 48.
  • the image recognition unit 82B acquires the time-series image group 89 from the image acquisition unit 82A, and inputs the acquired time-series image group 89 to the trained model 84I. As a result, the trained model 84I outputs positional relationship information 116 corresponding to the input time-series image group 89.
  • the image recognition unit 82B acquires the positional relationship information 116 output from the trained model 84I.
  • the positional relationship information 116 is information that can identify the position of the nipple N and the position of the treatment tool (for example, the distance and angle between the position of the nipple N and the position of the tip of the treatment tool).
  • the trained model 84I is obtained by optimizing the neural network through machine learning using training data.
  • the training data is a plurality of data (i.e., a plurality of frames of data) in which example data and correct answer data are associated with each other.
  • the example data is, for example, an image (for example, an image equivalent to the intestinal wall image 41) obtained by imaging a site that may be the subject of an ERCP examination (for example, the inner wall of the duodenum).
  • the correct answer data is an annotation that corresponds to the example data.
  • An example of the correct answer data is an annotation that can identify the position of the papilla N and the position of the treatment tool.
  • the derivation unit 82C acquires positional relationship information 116 from the image recognition unit 82B. Based on the positional relationship information 116, the derivation unit 82C generates notification information 118, which is information that notifies the user of the positional relationship between the nipple N and the treatment tool.
  • the derivation unit 82C compares the position of the treatment tool indicated by the positional relationship information 116 with the position of the nipple N. Then, when the position of the treatment tool and the position of the nipple N match, the derivation unit 82C generates notification information 118 to the effect that the position of the treatment tool and the position of the nipple N match. Furthermore, when the position of the treatment tool and the position of the nipple N do not match, the derivation unit 82C generates notification information 118 to the effect that the position of the treatment tool and the position of the nipple N do not match.
  • the display control unit 82D acquires notification information 118 from the derivation unit 82C.
  • the derivation unit 82C outputs the notification information 118 to the display control unit 82D.
  • the display control unit 82D generates a display image 94 including information notifying the user of the positional relationship between the treatment tool and the nipple N indicated by the notification information 118.
  • a message stating "The position of the treatment tool and the position of the nipple match" is displayed on the screen 37 of the display device 13.
  • the image recognition unit 82B of the processor 82 performs image recognition processing on the intestinal wall image 41 to identify the positional relationship between the treatment tool and the papilla.
  • the output unit 82C determines the positional relationship between the treatment tool and the papilla N based on positional relationship information 116 indicating the positional relationship between the treatment tool and the papilla, and generates notification information 118 based on the determination result.
  • the display control unit 82D generates a display image 94 based on the notification information 118 and outputs it to the display device 13.
  • the display image 94 includes an indication of the positional relationship between the treatment tool and the papilla N indicated by the notification information 118. This allows the user observing the intestinal wall image 41 to perceive the relationship between the position of the treatment tool and the position of the papilla N.
  • the image recognition unit 82B acquires a time-series image group 89 from the image acquisition unit 82A, and inputs the acquired time-series image group 89 to the trained model 84J.
  • the trained model 84J outputs positional relationship information 116A corresponding to the input time-series image group 89.
  • the positional relationship information 116A is information that can identify the nipple orientation ND and the traveling direction of the treatment tool (for example, the angle between the nipple orientation ND and the traveling direction of the treatment tool).
  • the trained model 84J is obtained by optimizing the neural network through machine learning using training data.
  • the training data is a plurality of data (i.e., a plurality of frames of data) in which example data and correct answer data are associated with each other.
  • the example data is, for example, an image (for example, an image equivalent to the intestinal wall image 41) obtained by imaging a site that may be the subject of an ERCP examination (for example, the inner wall of the duodenum).
  • the correct answer data is an annotation that corresponds to the example data.
  • An example of the correct answer data is an annotation that can identify the relationship between the papilla direction ND and the direction of travel of the treatment tool.
  • the derivation unit 82C acquires positional relationship information 116A from the image recognition unit 82B. Based on the positional relationship information 116A, the derivation unit 82C generates notification information 118, which is information that notifies the user of the positional relationship between the nipple N and the treatment tool. If the angle between the nipple direction ND and the direction of travel of the treatment tool is within a predetermined range, the derivation unit 82C generates notification information 118 to the effect that the two match. In addition, if the angle between the nipple direction ND and the direction of travel of the treatment tool exceeds the predetermined range, the derivation unit 82C generates notification information 118 to the effect that the two do not match.
  • the image recognition unit 82B identifies the relationship between the treatment tool's traveling direction and the nipple direction ND.
  • notification information 118 is generated based on positional relationship information 116A indicating the relationship between the treatment tool's traveling direction and the nipple direction ND. This allows the user observing the intestinal wall image 41 to perceive the relationship between the treatment tool's traveling direction and the nipple direction ND.
  • the relationship between the treatment tool's traveling direction and the nipple direction ND is identified in the image recognition unit 82B, but the technology of the present disclosure is not limited to this.
  • the image recognition unit 82B may identify the relationship between the position of the nipple N and the position of the treatment tool, as well as the relationship between the treatment tool's traveling direction and the nipple direction ND.
  • the positional relationship information 116A is information indicating the relationship between the treatment tool's traveling direction and the nipple direction ND, and the relationship between the nipple N position and the treatment tool position
  • the derivation unit 82C makes a determination regarding the relationship between the treatment tool's traveling direction and the nipple direction ND, and a determination regarding the relationship between the nipple N position and the treatment tool position, based on the positional relationship information 116A.
  • the derivation unit 82C generates notification information 118 in accordance with these determination results.
  • the image recognition unit 82B acquires a time series image group 89 from the image acquisition unit 82A, and inputs the acquired time series image group 89 to the trained model 84K.
  • the trained model 84K outputs positional relationship information 116B corresponding to the input time series image group 89.
  • the positional relationship information 116B is information that can identify the relationship between the running direction TD of the bile duct and the traveling direction of the treatment tool (for example, the angle between the direction of the tangent of the opening end in the running direction TD of the bile duct (hereinafter simply referred to as the "bile duct tangent direction”) and the traveling direction of the treatment tool).
  • the trained model 84K is obtained by optimizing the neural network through machine learning using training data.
  • the training data is a plurality of data (i.e., a plurality of frames of data) in which example data and correct answer data are associated with each other.
  • the example data is, for example, an image (for example, an image equivalent to the intestinal wall image 41) obtained by imaging a site that may be the subject of an ERCP examination (for example, the inner wall of the duodenum).
  • the correct answer data is an annotation that corresponds to the example data.
  • An example of the correct answer data is an annotation that can identify the relationship between the running direction TD of the bile duct and the traveling direction of the treatment tool.
  • the derivation unit 82C acquires positional relationship information 116B from the image recognition unit 82B. Based on the positional relationship information 116B, the derivation unit 82C generates notification information 118 that notifies the user of the relationship between the running direction TD of the bile duct and the traveling direction of the treatment tool. If the angle between the bile duct tangent direction and the traveling direction of the treatment tool is within a predetermined range, the derivation unit 82C generates notification information 118 that the two match. In addition, if the angle between the bile duct tangent direction and the traveling direction of the treatment tool exceeds the predetermined range, the derivation unit 82C generates notification information 118 that the two do not match.
  • the image recognition unit 82B identifies the relationship between the treatment tool's traveling direction and the bile duct's running direction TD.
  • notification information 118 is generated based on positional relationship information 116B indicating the relationship between the treatment tool's traveling direction and the bile duct's running direction TD. This allows the user observing the intestinal wall image 41 to perceive the relationship between the treatment tool's traveling direction and the bile duct's running direction TD.
  • the image recognition unit 82B acquires a time-series image group 89 from the image acquisition unit 82A, and inputs the acquired time-series image group 89 to the trained model 84L.
  • the trained model 84L outputs positional relationship information 116C corresponding to the input time-series image group 89.
  • the positional relationship information 116C is information that can identify the relationship between the vertical surface orientation and the traveling direction of the treatment tool (for example, the angle between the vertical surface orientation and the traveling direction of the treatment tool).
  • the trained model 84L is obtained by optimizing the neural network through machine learning using training data.
  • the training data is a plurality of data (i.e., a plurality of frames of data) in which example data and correct answer data are associated with each other.
  • the example data is, for example, an image (for example, an image equivalent to the intestinal wall image 41) obtained by imaging a site that may be the subject of an ERCP examination (for example, the inner wall of the duodenum).
  • the correct answer data is an annotation that corresponds to the example data.
  • An example of the correct answer data is an annotation that can identify the relationship between the vertical surface orientation and the direction of travel of the treatment tool.
  • the derivation unit 82C acquires positional relationship information 116C from the image recognition unit 82B. Based on the positional relationship information 116C, the derivation unit 82C generates notification information 118 that notifies the user of the relationship between the vertical surface orientation and the treatment tool's traveling direction. If the angle between the vertical surface orientation and the treatment tool's traveling direction is within a predetermined range, the derivation unit 82C generates notification information 118 that the two match. Furthermore, if the angle between the vertical surface orientation and the treatment tool's traveling direction exceeds the predetermined range, the derivation unit 82C generates notification information 118 that the two do not match.
  • the image recognition unit 82B identifies the relationship between the vertical surface orientation and the direction of travel of the treatment tool.
  • notification information 118 is generated based on positional relationship information 116C indicating the relationship between the vertical surface orientation and the direction of travel of the treatment tool. This allows the user observing the intestinal wall image 41 to perceive the relationship between the vertical surface orientation and the direction of travel of the treatment tool.
  • the image acquisition unit 82A updates the time-series image group 89 in a FIFO manner each time an intestinal wall image 41 is acquired from the camera 48.
  • the image recognition unit 82B acquires the time-series image group 89 from the image acquisition unit 82A, and inputs the acquired time-series image group 89 to the trained model 84M.
  • the trained model 84M outputs evaluation value information 120 corresponding to the input time-series image group 89.
  • the image recognition unit 82B acquires the evaluation value information 120 output from the trained model 84M.
  • the evaluation value information 120 is information that can identify an evaluation value related to the appropriate positioning of the nipple N and the treatment tool (e.g., the degree of success of the procedure determined according to the positioning of the nipple N and the treatment tool).
  • the evaluation value information 120 is, for example, a plurality of scores (scores for each success or failure of the procedure) input to an activation function (e.g., a softmax function, etc.) of the output layer of the trained model 84M.
  • the trained model 84M is obtained by optimizing the neural network through machine learning using training data.
  • the training data is a plurality of data (i.e., a plurality of frames of data) in which example data and correct answer data are associated with each other.
  • the example data is, for example, an image (e.g., an image equivalent to the intestinal wall image 41) obtained by imaging a site that may be the subject of an ERCP examination (e.g., the inner wall of the duodenum).
  • the correct answer data is an annotation that corresponds to the example data.
  • An example of the correct answer data is an annotation that can identify an evaluation value regarding the appropriate positioning of the papilla N and the treatment tool (e.g., an annotation indicating the success or failure of the procedure).
  • the image recognition unit 82B also inputs the time-series image group 89 to the trained model 84N. As a result, the trained model 84N outputs contact presence/absence information 122 corresponding to the input time-series image group 89. The image recognition unit 82B acquires the contact presence/absence information 122 output from the trained model 84M.
  • the contact presence/absence information 122 is information that can identify the presence or absence of contact between the nipple N and the treatment tool.
  • the trained model 84N is obtained by optimizing the neural network through machine learning using training data.
  • the training data is a plurality of data (i.e., a plurality of frames of data) in which example data and correct answer data are associated with each other.
  • the example data is, for example, an image (for example, an image equivalent to the intestinal wall image 41) obtained by imaging a site that may be the subject of an ERCP examination (for example, the inner wall of the duodenum).
  • the correct answer data is an annotation that corresponds to the example data.
  • One example of the correct answer data is an annotation that can identify whether or not there is contact between the papilla N and a treatment tool.
  • the derivation unit 82C acquires contact presence/absence information 122 from the image recognition unit 82B. Based on the contact presence/absence information 122, the derivation unit 82C determines whether or not contact between the treatment tool and the nipple N has been detected. If contact between the treatment tool and the nipple N has been detected, the derivation unit 82C generates notification information 124 based on the evaluation value information 120.
  • the notification information 124 is information for notifying the user of the success probability of the procedure (e.g., text indicating the success probability of the procedure).
  • the display control unit 82D acquires notification information 124 from the derivation unit 82C.
  • the derivation unit 82C outputs the notification information 124 to the display control unit 82D.
  • the display control unit 82D generates a display image 94 including information notifying the user of the success probability of the procedure indicated by the notification information 124.
  • the example shown in FIG. 34 shows an example in which the message "Probability of successful cannulation: 90%" is displayed on the screen 37 of the display device 13.
  • the image recognition unit 82B of the processor 82 performs image recognition processing on the intestinal wall image 41, and calculates an evaluation value related to the arrangement of the treatment tool and the papilla N.
  • the derivation unit 82C generates notification information 124 based on evaluation value information 120 indicating the evaluation value.
  • the display control unit 82D generates a display image 94 based on the notification information 124 and outputs it to the display device 13.
  • the display image 94 includes an indication of the success probability of the procedure indicated by the notification information 124. This makes it possible to notify the user observing the intestinal wall image 41 of the success probability of the procedure using the treatment tool. After understanding the success probability of the procedure, the user can consider continuing or changing the operation, thereby supporting the success of the procedure using the treatment tool.
  • the image recognition unit 82B performs image recognition processing on the intestinal wall image 41 to determine whether or not there is contact between the treatment tool and the papilla N. Then, in the derivation unit 82C, when there is contact between the treatment tool and the papilla N based on the contact presence/absence information 122, notification information 124 is generated based on the evaluation value information 120. This makes it possible to notify the user observing the intestinal wall image 41 of the success rate of the procedure using the treatment tool only when necessary. In other words, it is possible to support the procedure on the papilla N using the treatment tool at the appropriate time.
  • the positional relationship between the treatment tool and the papilla N was identified by performing image recognition processing on the intestinal wall image 41, but the technology of the present disclosure is not limited to this.
  • the treatment tool is an incision tool
  • the incision direction is obtained based on the result of image recognition processing on the intestinal wall image 41.
  • an incision instrument e.g., a papillotomy knife
  • the incision instrument is used to cut open the papilla N, making it easier to insert the treatment tool into the papilla N and to make it easier to remove foreign bodies in the bile duct T or pancreatic duct S.
  • the direction in which the incision instrument cuts open the papilla N i.e., the incision direction
  • an image recognition process is performed on the intestinal wall image 41 to identify the recommended incision direction (i.e., the recommended incision direction).
  • the image acquisition unit 82A updates the time-series image group 89 in a FIFO manner each time an intestinal wall image 41 is acquired from the camera 48.
  • the image recognition unit 82B acquires the time-series image group 89 from the image acquisition unit 82A, and inputs the acquired time-series image group 89 to the trained model 84E. As a result, the trained model 84E outputs the uplift direction information 104 corresponding to the input time-series image group 89.
  • the derivation unit 82C acquires the protuberance direction information 104 from the image recognition unit 82B. The derivation unit 82C then derives the recommended incision direction information 126 based on the protuberance direction information 104.
  • the recommended incision direction information 126 is information that can identify the recommended incision direction (for example, a group of position coordinates of the start point and end point of the recommended incision direction).
  • the derivation unit 82C derives the recommended incision direction, for example, from a predetermined orientation relationship between the protuberance direction RD and the recommended incision direction. Specifically, when the protuberance direction RD is set to the 12 o'clock direction, the derivation unit 82C derives the recommended incision direction as the 11 o'clock direction.
  • the display control unit 82D acquires recommended incision direction information 126 from the derivation unit 82C.
  • the display control unit 82D generates an incision direction image 93F, which is an image indicating the incision direction, based on the incision direction indicated by the recommended incision direction information 126.
  • the display control unit 82D then generates a display image 94 including the incision direction image 93F and the intestinal wall image 41, and outputs it to the display device 13.
  • the display device 13 displays the intestinal wall image 41 with the incision direction image 93F superimposed on the screen 36.
  • the output unit 82C generates recommended incision direction information 126.
  • the display control unit 82D generates a display image 94 based on the recommended incision direction information 126 and outputs it to the display device 13.
  • the display image 94 includes an incision direction image 93F that indicates the recommended incision direction indicated by the recommended incision direction information 126. This allows the user observing the intestinal wall image 41 to understand the recommended incision direction. As a result, it is possible to support successful incision of the papilla N.
  • the derivation unit 82C derives non-recommended incision direction information 127.
  • the non-recommended incision direction information 127 is information that can identify a non-recommended incision direction (e.g., an angle indicating a direction other than the recommended incision direction).
  • the derivation unit 82C derives the recommended incision direction, for example, from a predetermined orientation relationship between the protuberance direction RD and the recommended incision direction. Specifically, when the protuberance direction RD is set to the 12 o'clock direction, the derivation unit 82C derives the recommended incision direction as the 11 o'clock direction. Then, the derivation unit 82C identifies a range excluding a predetermined angle range including the recommended incision direction (e.g., a range of ⁇ 5 degrees around the recommended incision direction) as the non-recommended incision direction.
  • a predetermined angle range including the recommended incision direction e.g., a range of ⁇ 5 degrees around the recommended incision direction
  • the display control unit 82D acquires non-recommended incision direction information 127 from the derivation unit 82C.
  • the display control unit 82D generates a non-recommended incision direction image 93G, which is an image indicating the non-recommended incision direction, based on the non-recommended incision direction indicated by the non-recommended incision direction information 127.
  • the display control unit 82D then generates a display image 94 including the non-recommended incision direction image 93G and the intestinal wall image 41, and outputs it to the display device 13.
  • the display device 13 displays the intestinal wall image 41 with the non-recommended incision direction image 93G superimposed on the screen 36.
  • the output unit 82C generates non-recommended incision direction information 127.
  • the display control unit 82D generates a display image 94 based on the non-recommended incision direction information 127 and outputs it to the display device 13.
  • the display image 94 includes a non-recommended incision direction image 93G that indicates the non-recommended incision direction indicated by the non-recommended incision direction information 127. This allows the user observing the intestinal wall image 41 to understand the non-recommended incision direction. As a result, it is possible to support successful incision of the papilla N.
  • an example has been described in which an image of an arrow indicating the operation direction is displayed on the screen 36 as a mode for indicating the operation direction to the user, but the technology of the present disclosure is not limited to this.
  • the image for indicating the operation direction to the user may be an image of a triangle indicating the operation direction.
  • a message indicating the operation direction may be displayed.
  • the image indicating the operation direction may not be displayed on the screen 36, but may be displayed in a separate window or on a separate display device.
  • the bile duct direction TD is indicated, but the technology of the present disclosure is not limited to this.
  • the running direction of the pancreatic duct S may be indicated.
  • various information is output to the display device 13, but the technology of the present disclosure is not limited to this.
  • the information may be output to an audio output device such as a speaker (not shown), or may be output to a printing device such as a printer (not shown).
  • various information is output to the display device 13 and is displayed on the screen 36 of the display device 13, but the technology disclosed herein is not limited to this.
  • the various information may also be output to an electronic medical record server.
  • the electronic medical record server is a server for storing electronic medical record information that indicates the results of medical treatment for patients.
  • the electronic medical record information includes various information.
  • the electronic medical record server is connected to the duodenoscope system 10 via a network.
  • the electronic medical record server acquires the intestinal wall image 41 and various information from the duodenoscope system 10.
  • the electronic medical record server stores the intestinal wall image 41 and various information as part of the medical treatment results indicated by the electronic medical record information.
  • the electronic medical record server is also connected via a network to terminals other than the duodenoscope system 10 (for example, personal computers installed in a medical facility). Users such as doctors 14 can access the intestinal wall images 41 and various information stored in the electronic medical record server via their terminals. In this way, the intestinal wall images 41 and various information are stored in the electronic medical record server, allowing users to access the intestinal wall images 41 and various information.
  • AI-based image recognition processing is performed on the intestinal wall image 41, but the technology disclosed herein is not limited to this.
  • a pattern matching-based image recognition processing may be performed.
  • the medical support processing is performed by the processor 82 of the computer 76 included in the image processing device 25, but the technology of the present disclosure is not limited to this.
  • the medical support processing may be performed by the processor 70 of the computer 64 included in the control device 22.
  • the device performing the medical support processing may be provided outside the duodenoscope 12. Examples of devices provided outside the duodenoscope 12 include at least one server and/or at least one personal computer that are communicatively connected to the duodenoscope 12.
  • the medical support processing may be distributed and performed by multiple devices.
  • the medical support processing program 84A is stored in the NVM 84, but the technology of the present disclosure is not limited to this.
  • the medical support processing program 84A may be stored in a portable non-transitory storage medium such as an SSD or USB memory.
  • the medical support processing program 84A stored in the non-transitory storage medium is installed in the computer 76 of the duodenoscope 12.
  • the processor 82 executes the medical support processing in accordance with the medical support processing program 84A.
  • the medical support processing program 84A may also be stored in a storage device such as another computer or server connected to the duodenoscope 12 via a network, and the medical support processing program 84A may be downloaded and installed in the computer 76 in response to a request from the duodenoscope 12.
  • processors listed below can be used as hardware resources for executing medical support processing.
  • An example of a processor is a CPU, which is a general-purpose processor that functions as a hardware resource for executing medical support processing by executing software, i.e., a program.
  • Another example of a processor is a dedicated electrical circuit, which is a processor with a circuit configuration designed specifically for executing specific processing, such as an FPGA, PLD, or ASIC. All of these processors have built-in or connected memory, and all of these processors execute medical support processing by using the memory.
  • the hardware resource that executes the medical support processing may be composed of one of these various processors, or may be composed of a combination of two or more processors of the same or different types (e.g., a combination of multiple FPGAs, or a combination of a CPU and an FPGA). Also, the hardware resource that executes the medical support processing may be a single processor.
  • a configuration using a single processor first, there is a configuration in which one processor is configured using a combination of one or more CPUs and software, and this processor functions as a hardware resource that executes medical support processing. Secondly, there is a configuration in which a processor is used that realizes the functions of the entire system, including multiple hardware resources that execute medical support processing, on a single IC chip, as typified by SoCs. In this way, medical support processing is realized using one or more of the various processors listed above as hardware resources.
  • the hardware structure of these various processors can be an electric circuit that combines circuit elements such as semiconductor elements.
  • the above medical support process is merely one example. It goes without saying that unnecessary steps can be deleted, new steps can be added, and the processing order can be changed without departing from the spirit of the invention.
  • a and/or B is synonymous with “at least one of A and B.”
  • a and/or B means that it may be just A, or just B, or a combination of A and B.
  • the same concept as “A and/or B” is also applied when three or more things are expressed by linking them with “and/or.”

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Gastroenterology & Hepatology (AREA)
  • Endoscopes (AREA)

Abstract

プロセッサを備え、プロセッサは、内視鏡スコープが挿入される十二指腸の幾何特性を特定可能な幾何特性情報に基づいて十二指腸の腸管方向に関連する腸管方向関連情報を取得し、腸管方向関連情報を出力する医療支援装置。

Description

医療支援装置、内視鏡、医療支援方法、及びプログラム
　本開示の技術は、医療支援装置、内視鏡、医療支援方法、及びプログラムに関する。
　特開２０２０－６２２１８号公報には、胆管の十二指腸ファータ乳頭の画像と、胆管にカテーテルを挿入した方法であるカニュレーション方法を示す情報とを関連付けた情報を複数取得する取得部と、胆管の十二指腸ファータ乳頭の画像に基づいて、カニュレーション方法を示す情報を教師データとして、機械学習する学習部と、学習部が機械学習した結果とカニュレーション方法を示す情報とを関連付けて記憶する記憶部とを備える、学習装置が開示されている。
　本開示の技術に係る一つの実施形態は、十二指腸の腸管方向に対して内視鏡スコープの姿勢がどの程度ずれているかをユーザに把握させ易くすることが可能な医療支援装置、内視鏡、医療支援方法、及びプログラムを提供する。
　本開示の技術に係る第１の態様は、プロセッサを備え、プロセッサは、内視鏡スコープが挿入される十二指腸の幾何特性を特定可能な幾何特性情報に基づいて十二指腸の腸管方向に関連する腸管方向関連情報を取得し、腸管方向関連情報を出力する医療支援装置である。
　本開示の技術に係る第２の態様は、腸管方向関連情報は、内視鏡スコープの姿勢と腸管方向とのずれ量を示すずれ量情報を含む第１の態様に係る医療支援装置である。
　本開示の技術に係る第３の態様は、幾何特性情報は、内視鏡スコープに設けられたカメラによって十二指腸の腸壁が撮像されることで得られた腸壁画像を含み、プロセッサは、腸壁画像に対して第１画像認識処理を実行することにより腸管方向関連情報を取得する第１の態様又は第２の態様に係る医療支援装置である。
　本開示の技術に係る第４の態様は、腸管方向関連情報を出力することは、腸管方向関連情報を第１画面に表示することを含む第１の態様から第３の態様のうちの何れか一つの態様に係る医療支援装置である。
　本開示の技術に係る第５の態様は、腸管方向関連情報は、腸管方向と既定角度で交差する第１方向を特定可能な第１方向情報を含む第１の態様から第４の態様のうちの何れか一つの態様に係る医療支援装置である。
　本開示の技術に係る第６の態様は、第１方向情報は、内視鏡スコープに設けられたカメラによって十二指腸の腸壁が撮像されることで得られた腸壁画像に対して第２画像認識処理が実行されることにより得られる第５の態様に係る医療支援装置である。
　本開示の技術に係る第７の態様は、第１方向情報は、第２画像認識処理としてＡＩ方式の画像認識処理が行われることによって閾値以上の確信度で得られた情報である第６の態様に係る医療支援装置である。
　本開示の技術に係る第８の態様は、プロセッサは、十二指腸に内視鏡スコープが挿入された状態での内視鏡スコープの姿勢を特定可能な姿勢情報を取得し、腸管方向関連情報は、姿勢の調整を支援する姿勢調整支援情報を含み、姿勢調整支援情報は、腸管方向と姿勢情報から特定される姿勢とのずれ量に基づいて定められた情報である第１の態様から第８の態様のうちの何れか一つの態様に係る医療支援装置である。
　本開示の技術に係る第９の態様は、腸管方向関連情報は、内視鏡スコープの姿勢を変えることにより内視鏡スコープに設けられたカメラの光軸方向を腸管方向に既定角度で交差する第２方向と一致させる条件を示す条件情報を含む　第１の態様から第８の態様のうちの何れか一つの態様に係る医療支援装置である。
　本開示の技術に係る第１０の態様は、条件は、光軸方向と第２方向とを一致させるために内視鏡スコープに対して行われる操作に関する操作条件を含む第９の態様に係る医療支援装置である。
　本開示の技術に係る第１１の態様は、内視鏡スコープに設けられたカメラの光軸方向と腸管方向に既定角度で交差する第３方向とが一致した場合、腸管方向関連情報は、光軸方向と第３方向とが一致したことを報知する報知情報を含む第１の態様から第１０の態様のうちの何れか一つの態様に係る医療支援装置である。
　本開示の技術に係る第１２の態様は、プロセッサは、内視鏡スコープに設けられたカメラによって十二指腸の腸壁が撮像されることで得られた腸壁画像に対して第３画像認識処理を実行することにより十二指腸乳頭領域を検出し、十二指腸乳頭領域を第２画面に表示し、十二指腸乳頭領域の向きを示す乳頭向き情報であって、腸管方向関連情報に基づいて得られた乳頭向き情報を第２画面に表示する第１の態様から第１１の態様のうちの何れか一つの態様に係る医療支援装置である。
　本開示の技術に係る第１３の態様は、プロセッサは、内視鏡スコープに設けられたカメラによって十二指腸の腸壁が撮像されることで得られた腸壁画像に対して第４画像認識処理を実行することにより十二指腸乳頭領域を検出し、十二指腸乳頭領域を第３画面に表示し、十二指腸乳頭領域の開口に通じる管の走行方向を示す走行方向情報であって、腸管方向関連情報に基づいて得られた走行方向情報を第３画面に表示する第１の態様から第１２の態様のうちの何れか一つの態様に係る医療支援装置である。
　本開示の技術に係る第１４の態様は、管は、胆管又は膵管である第１３の態様に係る医療支援装置である。
　本開示の技術に係る第１５の態様は、幾何特性情報は、十二指腸の奥行の深度を示す深度情報を含み、腸管方向関連情報は、深度情報に基づいて取得される第１の態様から第１４の態様のうちの何れか一つの態様に係る医療支援装置である。
　本開示の技術に係る第１６の態様は、第１の態様から第１５の態様のうちの何れか一つの態様に係る医療支援装置と、内視鏡スコープと、を備える内視鏡である。
　本開示の技術に係る第１７の態様は、内視鏡スコープが挿入される十二指腸の幾何特性を特定可能な幾何特性情報に基づいて十二指腸の腸管方向に関連する腸管方向関連情報を取得すること、及び腸管方向関連情報を出力することを含む医療支援方法である。
　本開示の技術に係る第１８の態様は、コンピュータに、内視鏡スコープが挿入される十二指腸の幾何特性を特定可能な幾何特性情報に基づいて十二指腸の腸管方向に関連する腸管方向関連情報を取得すること、及び腸管方向関連情報を出力することを含む処理を実行させるためのプログラムである。
十二指腸鏡システムが用いられている態様の一例を示す概念図である。 十二指腸鏡システムの全体構成の一例を示す概念図である。 十二指腸鏡システムの電気系のハードウェア構成の一例を示すブロック図である。 十二指腸鏡が用いられている態様の一例を示す概念図である。 画像処理装置の電気系のハードウェア構成の一例を示すブロック図である。 内視鏡スコープ、十二指腸鏡本体、画像取得部、画像認識部、及び導出部の相関の一例を示す概念図である。 表示装置、画像取得部、画像認識部、導出部、及び表示制御部の相関の一例を示す概念図である。 医療支援処理の流れの一例を示すフローチャートである。 内視鏡スコープ、十二指腸鏡本体、画像取得部、画像認識部、及び導出部の相関の一例を示す概念図である。 内視鏡スコープ、十二指腸鏡本体、画像取得部、画像認識部、及び導出部の相関の一例を示す概念図である。 表示装置、画像認識部、導出部、及び表示制御部の相関の一例を示す概念図である。 内視鏡スコープ、画像取得部、画像認識部、及び導出部の相関の一例を示す概念図である。 表示装置、画像認識部、導出部、及び表示制御部の相関の一例を示す概念図である。 表示装置、導出部、及び表示制御部の相関の一例を示す概念図である。 内視鏡スコープ、十二指腸鏡本体、画像取得部、画像認識部、及び導出部の相関の一例を示す概念図である。 表示装置、画像認識部、導出部、及び表示制御部の相関の一例を示す概念図である。 内視鏡スコープを乳頭に対して正対させる態様の一例を示す概念図である。 内視鏡スコープ、十二指腸鏡本体、画像取得部、画像認識部、及び導出部の相関の一例を示す概念図である。 内視鏡スコープ、十二指腸鏡本体、画像取得部、画像認識部、及び導出部の相関の一例を示す概念図である。 表示装置、画像認識部、導出部、及び表示制御部の相関の一例を示す概念図である。 内視鏡スコープ、十二指腸鏡本体、画像取得部、画像認識部、及び導出部の相関の一例を示す概念図である。 表示装置、画像認識部、導出部、及び表示制御部の相関の一例を示す概念図である。 表示装置、画像認識部、導出部、及び表示制御部の相関の一例を示す概念図である。 内視鏡スコープ、画像取得部、画像認識部、及び導出部の相関の一例を示す概念図である。 表示装置、導出部、及び表示制御部の相関の一例を示す概念図である。 医療支援処理の流れの一例を示すフローチャートである。 表示装置、導出部、及び表示制御部の相関の一例を示す概念図である。 内視鏡スコープ、画像取得部、画像認識部、及び導出部の相関の一例を示す概念図である。 表示装置、導出部、及び表示制御部の相関の一例を示す概念図である。 内視鏡スコープ、画像取得部、画像認識部、及び導出部の相関の一例を示す概念図である。 内視鏡スコープ、画像取得部、画像認識部、及び導出部の相関の一例を示す概念図である。 内視鏡スコープ、画像取得部、画像認識部、及び導出部の相関の一例を示す概念図である。 内視鏡スコープ、画像取得部、画像認識部、及び導出部の相関の一例を示す概念図である。 表示装置、導出部、及び表示制御部の相関の一例を示す概念図である。 内視鏡スコープ、画像取得部、画像認識部、及び導出部の相関の一例を示す概念図である。 表示装置、導出部、及び表示制御部の相関の一例を示す概念図である。 表示装置、導出部、及び表示制御部の相関の一例を示す概念図である。
　以下、添付図面に従って本開示の技術に係る医療支援装置、内視鏡、医療支援方法、及びプログラムの実施形態の一例について説明する。
　先ず、以下の説明で使用される文言について説明する。
　ＣＰＵとは、“Central Processing Unit”の略称を指す。ＧＰＵとは、“Graphics Processing Unit”の略称を指す。ＲＡＭとは、“Random Access Memory”の略称を指す。ＮＶＭとは、“Non-volatile memory”の略称を指す。ＥＥＰＲＯＭとは、“Electrically Erasable Programmable Read-Only Memory”の略称を指す。ＡＳＩＣとは、“Application Specific Integrated Circuit”の略称を指す。ＰＬＤとは、“Programmable Logic Device”の略称を指す。ＦＰＧＡとは、“Field-Programmable Gate Array”の略称を指す。ＳｏＣとは、“System-on-a-chip”の略称を指す。ＳＳＤとは、“Solid State Drive”の略称を指す。ＵＳＢとは、“Universal Serial Bus”の略称を指す。ＨＤＤとは、“Hard Disk Drive”の略称を指す。ＥＬとは、“Electro-Luminescence”の略称を指す。ＣＭＯＳとは、“Complementary Metal Oxide Semiconductor”の略称を指す。ＣＣＤとは、“Charge Coupled Device”の略称を指す。ＡＩとは、“Artificial Intelligence”の略称を指す。ＢＬＩとは、“Blue Light Imaging”の略称を指す。ＬＣＩとは、“Linked Color Imaging”の略称を指す。Ｉ／Ｆとは、“Interface”の略称を指す。ＦＩＦＯとは、“First In First Out”の略称を指す。ＥＲＣＰとは、“Endoscopic Retrograde Cholangio-Pancreatography”の略称を指す。ＴＯＦとは、“Time of Flight”の略称を指す。
　＜第１実施形態＞
　一例として図１に示すように、十二指腸鏡システム１０は、十二指腸鏡１２及び表示装置１３を備えている。十二指腸鏡１２は、内視鏡検査において医師１４によって用いられる。十二指腸鏡１２は、通信装置（図示省略）と通信可能に接続されており、十二指腸鏡１２によって得られた情報は、通信装置に送信される。通信装置は、十二指腸鏡１２から送信された情報を受信し、受信した情報を用いた処理（例えば、電子カルテ等に記録する処理）を実行する。
　十二指腸鏡１２は、内視鏡スコープ１８を備えている。十二指腸鏡１２は、内視鏡スコープ１８を用いて被検体２０（例えば、患者）の体内に含まれる観察対象２１（例えば、十二指腸）に対する診療を行うための装置である。観察対象２１は、医師１４によって観察される対象である。内視鏡スコープ１８は、被検体２０の体内に挿入される。十二指腸鏡１２は、被検体２０の体内に挿入された内視鏡スコープ１８に対して、被検体２０の体内の観察対象２１を撮像させ、かつ、必要に応じて観察対象２１に対して医療的な各種処置を行う。十二指腸鏡１２は、本開示の技術に係る「内視鏡」の一例である。
　十二指腸鏡１２は、被検体２０の体内を撮像することで体内の態様を示す画像を取得して出力する。本実施形態において、十二指腸鏡１２は、体内で光を照射することにより観察対象２１で反射されて得られた反射光を撮像する光学式撮像機能を有する内視鏡である。
　十二指腸鏡１２は、制御装置２２、光源装置２４及び画像処理装置２５を備えている。制御装置２２及び光源装置２４は、ワゴン３４に設置されている。ワゴン３４には、上下方向に沿って複数の台が設けられており、下段側の台から上段側の台にかけて、画像処理装置２５、制御装置２２及び光源装置２４が設置されている。また、ワゴン３４の最上段の台には、表示装置１３が設置されている。
　制御装置２２は、十二指腸鏡１２の全体を制御する装置である。また、画像処理装置２５は、制御装置２２の制御下で、十二指腸鏡１２によって撮像された画像に対して画像処理を行う装置である。
　表示装置１３は、画像（例えば、画像処理装置２５によって画像処理が行われた画像）を含めた各種情報を表示する。表示装置１３の一例としては、液晶ディスプレイ又はＥＬディスプレイ等が挙げられる。また、表示装置１３に代えて、又は、表示装置１３と共に、ディスプレイ付きのタブレット端末を用いてもよい。
　表示装置１３には、複数の画面が並べて表示される。図１に示す例では、画面３６、３７、及び３８が示されている。画面３６には、十二指腸鏡１２によって得られた内視鏡画像４０が表示される。内視鏡画像４０には、観察対象２１が写っている。内視鏡画像４０は、被検体２０の体内で内視鏡スコープ１８に設けられたカメラ４８（図２参照）によって観察対象２１が撮像されることによって得られた画像である。観察対象２１としては、十二指腸の腸壁が挙げられる。以下では、説明の便宜上、観察対象２１として十二指腸の腸壁が撮像された内視鏡画像４０である腸壁画像４１を例に挙げて説明する。なお、十二指腸は、あくまでも一例に過ぎず、十二指腸鏡１２によって撮像可能な領域であればよい。十二指腸鏡１２によって撮像可能な領域としては、例えば、食道、又は胃等が挙げられる。腸壁画像４１は、本開示の技術に係る「腸壁画像」及び「幾何特性情報」の一例である。
　画面３６には、複数フレームの腸壁画像４１を含んで構成される動画像が表示される。つまり、画面３６には、複数フレームの腸壁画像４１が既定のフレームレート（例えば、数十フレーム／秒）で表示される。
　一例として図２に示すように、十二指腸鏡１２は、操作部４２及び挿入部４４を備えている。挿入部４４は、操作部４２が操作されることにより部分的に湾曲する。挿入部４４は、医師１４による操作部４２の操作に従って、観察対象２１の形状（例えば、十二指腸の形状）に応じて湾曲しながら挿入される。
　挿入部４４の先端部４６には、カメラ４８、照明装置５０、処置用開口５１、及び起立機構５２が設けられている。カメラ４８及び照明装置５０は、先端部４６の側面に設けられている。すなわち、十二指腸鏡１２は、側視鏡となっている。これにより、十二指腸の腸壁を観察しやすくなっている。
　カメラ４８は、被検体２０の体内を撮像することにより医用画像として腸壁画像４１を取得する装置である。カメラ４８の一例としては、ＣＭＯＳカメラが挙げられる。但し、これは、あくまでも一例に過ぎず、ＣＣＤカメラ等の他種のカメラであってもよい。カメラ４８は、本開示の技術に係る「カメラ」の一例である。
　照明装置５０は、照明窓５０Ａを有する。照明装置５０は、照明窓５０Ａを介して光を照射する。照明装置５０から照射される光の種類としては、例えば、可視光（例えば、白色光等）及び非可視光（例えば、近赤外光等）が挙げられる。また、照明装置５０は、照明窓５０Ａを介して特殊光を照射する。特殊光としては、例えば、ＢＬＩ用の光及び／又はＬＣＩ用の光が挙げられる。カメラ４８は、被検体２０の体内で照明装置５０によって光が照射された状態で、被検体２０の体内を光学的手法で撮像する。
　処置用開口５１は、処置具５４を先端部４６から突出させる処置具突出口、血液及び体内汚物等を吸引する吸引口、及び流体を送出する送出口として用いられる。
　処置用開口５１からは、医師１４の操作に従って、処置具５４が突出する。処置具５４は、処置具挿入口５８から挿入部４４内に挿入される。処置具５４は、処置具挿入口５８を介して挿入部４４内を通過して処置用開口５１から被検体２０の体内に突出する。図２に示す例では、処置具５４として、カニューレが処置用開口５１から突出している。カニューレは、処置具５４の一例に過ぎず、処置具５４の他の例としては、パピロトミーナイフ又はスネア等が挙げられる。
　起立機構５２は、処置用開口５１から突出した処置具５４の突出方向を変化させる。起立機構５２は、ガイド５２Ａを備えており、ガイド５２Ａが処置具５４の突出方向に対して起き上がることで、処置具５４の突出方向が、ガイド５２Ａに沿って変化する。これにより、処置具５４を腸壁に向かって突出させることが容易となっている。図２に示す例では、起立機構５２によって、処置具５４の突出方向が、先端部４６の進行方向に対して直交する方向に変化している。起立機構５２は、医師１４によって操作部４２を介して操作される。これにより、処置具５４の突出方向の変化の度合いが調整される。
　内視鏡スコープ１８は、ユニバーサルコード６０を介して制御装置２２及び光源装置２４に接続されている。制御装置２２には、表示装置１３及び受付装置６２が接続されている。受付装置６２は、ユーザ（例えば、医師１４）からの指示を受け付け、受け付けた指示を電気信号として出力する。図２に示す例では、受付装置６２の一例として、キーボードが挙げられている。但し、これは、あくまでも一例に過ぎず、受付装置６２は、マウス、タッチパネル、フットスイッチ、及び／又はマイクロフォン等であってもよい。
　制御装置２２は、十二指腸鏡１２の全体を制御する。例えば、制御装置２２は、光源装置２４を制御したり、カメラ４８との間で各種信号の授受を行ったりする。光源装置２４は、制御装置２２の制御下で発光し、光を照明装置５０に供給する。照明装置５０には、ライトガイドが内蔵されており、光源装置２４から供給された光はライトガイドを経由して照明窓５０Ａ及び５０Ｂから照射される。制御装置２２は、カメラ４８に対して撮像を行わせ、カメラ４８から腸壁画像４１（図１参照）を取得して既定の出力先（例えば、画像処理装置２５）に出力する。
　画像処理装置２５は、制御装置２２に対して通信可能に接続されており、画像処理装置２５は、制御装置２２から出力された腸壁画像４１に対して画像処理を行う。画像処理装置２５における画像処理の詳細については後述する。画像処理装置２５は、画像処理を施した腸壁画像４１を既定の出力先（例えば、表示装置１３）へ出力する。なお、ここでは、制御装置２２から出力された腸壁画像４１が、画像処理装置２５を介して、表示装置１３へ出力される形態例を挙げて説明したが、これはあくまでも一例に過ぎない。制御装置２２と表示装置１３とが接続されており、画像処理装置２５で画像処理が施された腸壁画像４１を、制御装置２２を介して表示装置１３に表示させる態様であってもよい。
　一例として図３に示すように、制御装置２２は、コンピュータ６４、バス６６、及び外部Ｉ／Ｆ６８を備えている。コンピュータ６４は、プロセッサ７０、ＲＡＭ７２、及びＮＶＭ７４を備えている。プロセッサ７０、ＲＡＭ７２、ＮＶＭ７４、及び外部Ｉ／Ｆ６８は、バス６６に接続されている。
　例えば、プロセッサ７０は、ＣＰＵ及びＧＰＵを有しており、制御装置２２の全体を制御する。ＧＰＵは、ＣＰＵの制御下で動作し、グラフィック系の各種処理の実行及びニューラルネットワークを用いた演算等を担う。なお、プロセッサ７０は、ＧＰＵ機能を統合した１つ以上のＣＰＵであってもよいし、ＧＰＵ機能を統合していない１つ以上のＣＰＵであってもよい。
　ＲＡＭ７２は、一時的に情報が格納されるメモリであり、プロセッサ７０によってワークメモリとして用いられる。ＮＶＭ７４は、各種プログラム及び各種パラメータ等を記憶する不揮発性の記憶装置である。ＮＶＭ７４の一例としては、フラッシュメモリ（例えば、ＥＥＰＲＯＭ及び／又はＳＳＤ）が挙げられる。なお、フラッシュメモリは、あくまでも一例に過ぎず、ＨＤＤ等の他の不揮発性の記憶装置であってもよいし、２種類以上の不揮発性の記憶装置の組み合わせであってもよい。
　外部Ｉ／Ｆ６８は、制御装置２２の外部に存在する装置（以下、「外部装置」とも称する）とプロセッサ７０との間の各種情報の授受を司る。外部Ｉ／Ｆ６８の一例としては、ＵＳＢインタフェースが挙げられる。
　外部Ｉ／Ｆ６８には、外部装置の１つとしてカメラ４８が接続されており、外部Ｉ／Ｆ６８は、内視鏡スコープ１８に設けられたカメラ４８とプロセッサ７０との間の各種情報の授受を司る。プロセッサ７０は、外部Ｉ／Ｆ６８を介してカメラ４８を制御する。また、プロセッサ７０は、内視鏡スコープ１８に設けられたカメラ４８によって被検体２０の体内が撮像されることで得られた腸壁画像４１（図１参照）を外部Ｉ／Ｆ６８を介して取得する。
　外部Ｉ／Ｆ６８には、外部装置の１つとして光源装置２４が接続されており、外部Ｉ／Ｆ６８は、光源装置２４とプロセッサ７０との間の各種情報の授受を司る。光源装置２４は、プロセッサ７０の制御下で、照明装置５０に光を供給する。照明装置５０は、光源装置２４から供給された光を照射する。
　外部Ｉ／Ｆ６８には、外部装置の１つとして受付装置６２が接続されており、プロセッサ７０は、受付装置６２によって受け付けられた指示を、外部Ｉ／Ｆ６８を介して取得し、取得した指示に応じた処理を実行する。
　外部Ｉ／Ｆ６８には、外部装置の１つとして画像処理装置２５が接続されており、プロセッサ７０は、腸壁画像４１を、外部Ｉ／Ｆ６８を介して画像処理装置２５へ出力する。
　ところで、内視鏡を用いた十二指腸に対する処置の中で、ＥＲＣＰ（内視鏡的逆行性胆管膵管造影）検査と呼ばれる処置が行われることがある。一例として図４に示すように、ＥＲＣＰ検査においては、例えば、先ず、十二指腸鏡１２が、食道及び胃を介して、十二指腸Ｊまで挿入される。この場合、十二指腸鏡１２の挿入状態は、Ｘ線撮像によって確認されてもよい。そして、十二指腸鏡１２の先端部４６が、十二指腸Ｊの腸壁に存在する十二指腸乳頭Ｎ（以下、単に「乳頭Ｎ」とも称する）の付近へ到達する。
　ＥＲＣＰ検査では、例えば、乳頭Ｎからカニューレ５４Ａを挿入する。ここで、乳頭Ｎは、十二指腸Ｊの腸壁から隆起した部位であり、胆管Ｔ（例えば、総胆管、肝内胆管、胆のう管）及び膵管Ｓの端部の開口が乳頭Ｎの乳頭隆起ＮＡに存在している。乳頭Ｎの開口からカニューレ５４Ａを介して造影剤を胆管Ｔ及び膵管Ｓ等に注入した状態でＸ線撮影が行われる。このように、ＥＲＣＰ検査では、十二指腸鏡１２の十二指腸Ｊ内への挿入、乳頭Ｎの位置及び向き、並びに種類の確認、さらに、処置具（例えば、カニューレ）の乳頭Ｎへの挿入等の種々の手技が含まれている。そのため、医師１４は、各手技に応じて十二指腸鏡１２の操作、及び対象部位の状態の観察を行う必要がある。
　例えば、十二指腸鏡１２を十二指腸Ｊ内へ挿入する場合に、十二指腸鏡１２の内視鏡スコープ１８が腸管方向に対して傾いた状態であると、乳頭Ｎを傾いた状態で視認してしまうために乳頭Ｎから胆管Ｔ及び膵管Ｓの走行方向を誤認する可能性がある。そのため、十二指腸Ｊ内において、内視鏡スコープ１８の姿勢が、腸管方向に対してどの程度傾いているかを把握する必要がある。
　そこで、このような事情に鑑み、ＥＲＣＰ検査を含む十二指腸に対する医療の実施を支援するために、画像処理装置２５のプロセッサ８２によって医療支援処理が行われる。
　一例として図５に示すように、画像処理装置２５は、コンピュータ７６、外部Ｉ／Ｆ７８、及びバス８０を備えている。コンピュータ７６は、プロセッサ８２、ＮＶＭ８４、及びＲＡＭ８１を備えている。プロセッサ８２、ＮＶＭ８４、ＲＡＭ８１、及び外部Ｉ／Ｆ７８は、バス８０に接続されている。コンピュータ７６は、本開示の技術に係る「医療支援装置」及び「コンピュータ」の一例である。プロセッサ８２は、本開示の技術に係る「プロセッサ」の一例である。
　なお、コンピュータ７６のハードウェア構成（すなわち、プロセッサ８２、ＮＶＭ８４、及びＲＡＭ８１）は、図３に示すコンピュータ６４のハードウェア構成と基本的に同じなので、ここでは、コンピュータ７６のハードウェア構成に関する説明は省略する。また、画像処理装置２５において外部Ｉ／Ｆ７８が担う外部との情報の授受という役割は、図３に示す制御装置２２において外部Ｉ／Ｆ６８が担う役割と基本的に同じなので、ここでの説明は省略する。
　ＮＶＭ８４には、医療支援処理プログラム８４Ａが記憶されている。医療支援処理プログラム８４Ａは、本開示の技術に係る「プログラム」の一例である。プロセッサ８２は、ＮＶＭ８４から医療支援処理プログラム８４Ａを読み出し、読み出した医療支援処理プログラム８４ＡをＲＡＭ８１上で実行する。本実施形態に係る医療支援処理は、プロセッサ８２がＲＡＭ８１上で実行する医療支援処理プログラム８４Ａに従って画像取得部８２Ａ、画像認識部８２Ｂ、導出部８２Ｃ、及び表示制御部８２Ｄとして動作することによって実現される。
　ＮＶＭ８４には、学習済みモデル８４Ｂが記憶されている。本実施形態では、画像認識部８２Ｂによって、物体検出用の画像認識処理として、ＡＩ方式の画像認識処理が行われる。学習済みモデル８４Ｂは、ニューラルネットワークに対して事前に機械学習が行われることによって最適化されている。
　一例として図６に示すように、画像取得部８２Ａは、カメラ４８によって撮像フレームレート（例えば、数十フレーム／秒）に従って撮像されることで生成された腸壁画像４１をカメラ４８から１フレーム単位で取得する。
　画像取得部８２Ａは、時系列画像群８９を保持する。時系列画像群８９は、観察対象２１が写っている時系列の複数の腸壁画像４１である。時系列画像群８９には、例えば、一定フレーム数（例えば、数十～数百フレームの範囲内で事前に定められたフレーム数）の腸壁画像４１が含まれている。画像取得部８２Ａは、カメラ４８から腸壁画像４１を取得する毎に、ＦＩＦＯ方式で時系列画像群８９を更新する。
　ここでは、画像取得部８２Ａによって時系列画像群８９が保持されて更新される形態例を挙げているが、これは、あくまでも一例に過ぎない。例えば、時系列画像群８９は、ＲＡＭ８１等のように、プロセッサ８２に接続されているメモリに保持されて更新されるようにしてもよい。
　画像認識部８２Ｂは、時系列画像群８９に対して学習済みモデル８４Ｂを用いた画像認識処理を行う。画像認識処理が行われることで、観察対象２１に含まれる腸管方向ＣＤが検出される。ここで、腸管方向ＣＤとは、十二指腸の管腔方向を指す。ここで、腸管方向の検出とは、腸管方向ＣＤを特定可能な情報である腸管方向情報９０（例えば、十二指腸の伸びる方向を示す位置座標）と腸壁画像４１とを対応付けた状態でメモリに記憶させる処理を指す。腸管方向情報９０は、本開示の技術に係る「腸管方向関連情報」の一例である。
　学習済みモデル８４Ｂは、ニューラルネットワークに対して教師データを用いた機械学習が行われることによってニューラルネットワークが最適化されることで得られる。教師データは、例題データと正解データとが対応付けられた複数のデータ（すなわち、複数フレームのデータ）である。例題データは、例えば、ＥＲＣＰ検査の対象となり得る部位（例えば、十二指腸の内壁）が撮像されることによって得られた画像（例えば、腸壁画像４１に相当する画像）である。正解データは、例題データに対応するアノテーションである。正解データの一例としては、腸管方向ＣＤを特定可能なアノテーションである。
　ここで、正解データにおけるアノテーションの例としては、腸壁画像４１に示される腸管の襞形状に基づいた腸管方向ＣＤのアノテーション（例えば、襞形状の円弧の中心を結ぶ線分が腸管方向ＣＤとするアノテーション）が挙げられる。また、その他の正解データにおけるアノテーションとしては、腸壁画像４１が深度画像である場合に、深度情報に基づくアノテーション（例えば、深度情報により示される奥行方向の深度が大きくなる方向を腸管方向ＣＤとするアノテーション）が挙げられる。
　なお、ここでは、１つの学習済みモデル８４Ｂのみが画像認識部８２Ｂによって使用される形態例を挙げているが、これは、あくまでも一例に過ぎない。例えば、複数の学習済みモデル８４Ｂから選択された学習済みモデル８４Ｂが画像認識部８２Ｂによって用いられるようにしてもよい。この場合、各学習済みモデル８４Ｂは、ＥＲＣＰ検査の手技（例えば、十二指腸鏡１２の乳頭Ｎに対する位置等）別に特化した機械学習が行われることによって作成され、現在行われているＥＲＣＰ検査の手技に対応する学習済みモデル８４Ｂが選択されて画像認識部８２Ｂによって用いられるようにすればよい。
　画像認識部８２Ｂは、画像取得部８２Ａから取得した腸壁画像４１を学習済みモデル８４Ｂに入力する。これにより、学習済みモデル８４Ｂは、入力された腸壁画像４１に対応する腸管方向情報９０を出力する。画像認識部８２Ｂは、学習済みモデル８４Ｂから出力された腸管方向情報９０を取得する。
　導出部８２Ｃは、内視鏡スコープ１８の腸管方向ＣＤに対する、ずれの量（以下単に「ずれ量」と称する）を導出する。ここで、ずれ量は、内視鏡スコープ１８の姿勢と腸管方向ＣＤとのずれの度合いを指す。具体的には、ずれ量は、内視鏡スコープ１８に設けられたカメラ４８の撮像素子の撮像面に沿った方向（例えば、画角における上下方向）と、腸管方向ＣＤとのずれ量を指す。また、カメラ４８は、先端部４６に設けられているので、ずれ量は、先端部４６の長手方向ＳＤ（例えば、先端部４６が円柱状である場合に中心軸方向）と腸管方向ＣＤとの間の角度ともいえる。
　導出部８２Ｃは、画像認識部８２Ｂから腸管方向情報９０を取得する。また、導出部８２Ｃは、内視鏡スコープ１８に設けられた光ファイバセンサ１８Ａから姿勢情報９１を取得する。姿勢情報９１は、内視鏡スコープ１８の姿勢を示す情報である。光ファイバセンサ１８Ａは、内視鏡スコープ１８の内部（例えば、挿入部４４及び先端部４６）に長手方向に沿って、配置されたセンサである。光ファイバセンサ１８Ａを用いることで、内視鏡スコープ１８の姿勢（例えば、基準となる位置（例えば、内視鏡スコープ１８の真直状態）からの先端部４６の傾き）を検出することができる。この場合において、例えば、特許６７９７８３４号公報等の公知の内視鏡の姿勢検出技術を適宜利用することが可能である。姿勢情報９１は、本開示の技術に係る「姿勢情報」の一例である。
　また、ここでは、光ファイバセンサ１８Ａを用いた姿勢検出技術を挙げたが、これはあくまでも一例にすぎない。例えば、いわゆる電磁ナビゲーション方式を用いて、内視鏡スコープ１８の先端部４６の傾きを検出してもよい。この場合において、例えば、特許６５３４１９３号公報等の公知の内視鏡の姿勢検出技術を適宜利用することが可能である。
　導出部８２Ｃは、腸管方向情報９０と姿勢情報９１とを用いて、ずれ量を示す情報である、ずれ量情報９３を導出する。図６に示す例では、ずれ量情報９３として角度Ａが示されている。導出部８２Ｃは、例えば、ずれ量演算式（図示省略）を用いて、ずれ量を導出する。ずれ量演算式は、腸管方向情報９０により示される腸管方向ＣＤの位置座標、及び姿勢情報９１により示される先端部４６の長手方向ＳＤの位置座標を独立変数とし、腸管方向ＣＤと先端部４６の長手方向ＳＤとが成す角度を従属変数とする演算式である。ずれ量情報９３は、本開示の技術に係る「ずれ量情報」の一例である。
　一例として図７に示すように、表示制御部８２Ｄは、画像取得部８２Ａから腸壁画像４１を取得する。また、表示制御部８２Ｄは、画像認識部８２Ｂから腸管方向情報９０を取得する。さらに、表示制御部８２Ｄは、導出部８２Ｃからずれ量情報９３を取得する。表示制御部８２Ｄは、ずれ量情報９３により示されるずれ量に応じて、先端部４６の長手方向ＳＤを腸管方向ＣＤへ一致させるための操作指示画像９３Ａを生成する。操作指示画像９３Ａは、例えば、ずれ量が小さくなる先端部４６の操作方向を示す矢印である。表示制御部８２Ｄは、腸壁画像４１、腸管方向情報９０により示される腸管方向ＣＤ、及び操作指示画像９３Ａを含む表示画像９４を生成し、表示装置１３に対して出力する。具体的には、表示制御部８２Ｄは、表示画像９４を表示するためのＧＵＩ（Graphical User Interface）制御を行うことで、表示装置１３に対して画面３６を表示させる。画面３６は、本開示の技術に係る「第１画面」の一例である。操作指示画像９３Ａは、本開示の技術に係る「姿勢調整支援情報」の一例である。
　なお、ここでは、操作指示画像９３Ａを画面３６に表示することで、ユーザに対してずれ量を把握させる形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、ずれ量を低減する操作内容を示すメッセージ（図示省略）を画面３６に表示してもよい。メッセージの一例としては、「十二指腸鏡の先端部を背中側に向けて１０度傾けてください」等が挙げられる。スピーカ等の音声出力装置によってユーザに対して報知してもよい。
　ユーザは、表示装置１３の画面３６を視認することで、腸管方向ＣＤを把握することができる。また、画面３６に表示された操作指示画像９３Ａを視認することで、内視鏡スコープ１８の先端部４６と腸管方向ＣＤとの間のずれを低減するための操作を把握することができる。
　次に、十二指腸鏡システム１０の本開示の技術に係る部分についての作用を、図８を参照しながら説明する。
　図８には、プロセッサ８２によって行われる医療支援処理の流れの一例が示されている。図８に示す医療支援処理の流れは、本開示の技術に係る「医療支援方法」の一例である。
　図８に示す医療支援処理では、先ず、ステップＳＴ１０で、画像取得部８２Ａは、内視鏡スコープ１８に設けられたカメラ４８によって１フレーム分の撮像が行われたか否かを判定する。ステップＳＴ１０において、カメラ４８によって１フレーム分の撮像が行われていない場合は、判定が否定されて、ステップＳＴ１０の判定が再び行われる。ステップＳＴ１０において、カメラ４８によって１フレーム分の撮像が行われた場合は、判定が肯定されて、医療支援処理はステップＳＴ１２へ移行する。
　ステップＳＴ１２で、画像取得部８２Ａは、内視鏡スコープ１８に設けられたカメラ４８から１フレーム分の腸壁画像４１を取得する。ステップＳＴ１２の処理が実行された後、医療支援処理はステップＳＴ１４へ移行する。
　ステップＳＴ１４で、画像認識部８２Ｂは、ステップＳＴ１２で取得された腸壁画像４１に対するＡＩ方式の画像認識処理（すなわち、学習済みモデル８４Ｂを用いた画像認識処理）を行うことで、腸管方向ＣＤを検出する。ステップＳＴ１４の処理が実行された後、医療支援処理はステップＳＴ１６へ移行する。
　ステップＳＴ１６で、導出部８２Ｃは、内視鏡スコープ１８の光ファイバセンサ１８Ａから姿勢情報９１を取得する。ステップＳＴ１６の処理が実行された後、医療支援処理はステップＳＴ１８へ移行する。
　ステップＳＴ１８で、導出部８２Ｃは、ステップＳＴ１４で画像認識部８２Ｂにより得られた腸管方向ＣＤと、ステップＳＴ１６で取得した姿勢情報９１とに基づいてずれ量を導出する。具体的には、導出部８２Ｃは、腸管方向ＣＤ及び姿勢情報９１により示される先端部４６の長手方向ＳＤとの角度を導出する。ステップＳＴ１８の処理が実行された後、医療支援処理はステップＳＴ２０へ移行する。
　ステップＳＴ２０で、表示制御部８２Ｄは、腸壁画像４１に対して、腸管方向ＣＤ、及びステップＳＴ１８で導出されたずれ量に応じた操作指示画像９３Ａを重畳表示した表示画像９４を生成する。ステップＳＴ２０の処理が実行された後、医療支援処理はステップＳＴ２２へ移行する。
　ステップＳＴ２２で、表示制御部８２Ｄは、表示装置１３に対してステップＳＴ２０において生成された表示画像９４を出力する。ステップＳＴ２２の処理が実行された後、医療支援処理はステップＳＴ２４へ移行する。
　ステップＳＴ２４で、表示制御部８２Ｄは、医療支援処理を終了する条件を満足したか否かを判定する。医療支援処理を終了する条件の一例としては、十二指腸鏡システム１０に対して、医療支援処理を終了させる指示が与えられたという条件（例えば、医療支援処理を終了させる指示が受付装置６２によって受け付けられたという条件）が挙げられる。
　ステップＳＴ２４において、医療支援処理を終了する条件を満足していない場合は、判定が否定されて、医療支援処理は、ステップＳＴ１０へ移行する。ステップＳＴ２４において、医療支援処理を終了する条件を満足した場合は、判定が肯定されて、医療支援処理が終了する。
　以上説明したように、本第１実施形態に係る十二指腸鏡システム１０では、プロセッサ８２の画像認識部８２Ｂにおいて、腸壁画像４１に対して画像認識処理が行われ、画像認識処理の結果、腸壁画像４１における腸管方向ＣＤが検出される。そして、腸管方向ＣＤを示す腸管方向情報９０が、表示制御部８２Ｄに出力され、表示制御部８２Ｄにおいて生成された表示画像９４が表示装置１３に対して出力される。表示画像９４は、腸壁画像４１に重畳表示された腸管方向ＣＤを含んでいる。これにより、ユーザは、腸管方向ＣＤを認識することができ、本構成によれば、腸管方向ＣＤに対して内視鏡スコープ１８の姿勢がどの程度ずれているかをユーザに把握させ易くすることができる。
　また、本第１実施形態に係る十二指腸鏡システム１０では、導出部８２Ｃにおいて、ずれ量情報９３が導出される。ずれ量情報９３は、内視鏡スコープ１８の姿勢と腸管方向ＣＤとのずれ量を示す。ずれ量情報９３は、表示制御部８２Ｄに出力され、表示制御部８２Ｄにおいて生成された表示画像９４が表示装置１３に対して出力される。表示画像９４は、ずれ量情報９３に基づいた表示を含んでいる。これにより、ユーザは、内視鏡スコープ１８の姿勢と腸管方向ＣＤとのずれ量を認識することができ、本構成によれば、腸管方向ＣＤに対して内視鏡スコープ１８の姿勢がどの程度ずれているかをユーザに把握させ易くすることができる。
　また、本第１実施形態に係る十二指腸鏡システム１０では、画像認識部８２Ｂにおいて、腸壁画像４１に対して画像認識処理が行われることにより、腸管方向ＣＤを示す腸管方向情報９０が得られる。これにより、ユーザが目視により腸壁画像４１に対して腸管方向ＣＤを指定する場合と比較して、高精度な腸管方向情報９０が得られる。
　また、本第１実施形態に係る十二指腸鏡システム１０では、表示制御部８２Ｄにより腸管方向情報９０が表示装置１３に対して出力され、表示装置１３において、腸管方向ＣＤが画面３６に表示される。これにより、腸管方向ＣＤに対して内視鏡スコープ１８の姿勢がどの程度ずれているかをユーザに視覚的に把握させ易くすることができる。
　また、本第１実施形態に係る十二指腸鏡システム１０では、導出部８２Ｃにより、内視鏡スコープ１８の姿勢を特定可能な情報である姿勢情報９１が、光ファイバセンサ１８Ａから取得される。また、導出部８２Ｃにおいて、姿勢情報９１と腸管方向情報９０とに基づいて、ずれ量情報９３が生成される。さらに、表示制御部８２Ｄにおいて、ずれ量情報９３に基づいて、ずれ量を低減する操作方向を示す操作指示画像９３Ａが生成される。表示制御部８２Ｄは、操作指示画像９３Ａを表示装置１３に対して出力し、表示装置１３において、操作指示画像９３Ａが腸壁画像４１に重畳表示される。これにより、内視鏡スコープ１８が十二指腸に挿入された状態において、腸管方向ＣＤに対する内視鏡スコープ１８の姿勢をユーザが意図する姿勢にすることが容易になる。例えば、ユーザは、操作指示画像９３Ａが示す方向に内視鏡スコープ１８の姿勢を変更する操作を行うことで、腸管方向ＣＤと内視鏡スコープ１８の姿勢とを近付けることができる。
　なお、上記第１実施形態では、ＡＩ方式による画像認識処理によって腸管方向ＣＤが検出される形態例を挙げたが、本開示の技術はこれに限定されない。例えば、パターンマッチング方式による画像認識処理によって腸管方向ＣＤが検出されてもよい。この場合において、例えば、腸壁画像４１に含まれる腸管の襞を示す領域（すなわち、襞領域）を検出し、襞領域の円弧形状から腸管方向を推定する（例えば、円弧の中心を結ぶ線を腸管方向と推定する）形態であってもよい。
　（第１変形例）
　上記第１実施形態では、深度情報を含まない腸壁画像４１を用いて腸管方向ＣＤの検出が行われる形態例を挙げて説明したが、本開示の技術はこれに限定されない。本第１変形例では、画像認識部８２Ｂにおいて、深度画像である腸壁画像４１を用いた腸管方向の導出が行われる。一例として図９に示すように、腸壁画像４１は、画素値として被写体である十二指腸の奥行の深度（すなわち、腸壁までの距離）を示す情報である深度情報４１Ａを有する深度画像である。十二指腸の奥行の深度は、例えば、先端部４６に搭載された測距センサによって、いわゆるＴＯＦ方式の測距により得られる。画像認識部８２Ｂは、画像取得部８２Ａから腸壁画像４１を取得する。深度情報４１Ａは、本開示の技術に係る「深度情報」の一例である。
　画像認識部８２Ｂは、腸壁画像４１により示される深度情報４１Ａに基づいて、腸管方向情報９０を導出する。画像認識部８２Ｂは、例えば、腸管方向演算式８２Ｂ１を用いて、腸管方向情報９０を導出する。腸管方向演算式８２Ｂ１は、例えば、深度情報４１Ａにより示される奥行の深度を独立変数とし、腸管方向ＣＤを示す軸線の位置座標群を従属変数とする演算式である。このように、腸管方向情報９０は、腸壁画像４１の深度情報４１Ａに基づいて得られる。
　以上説明したように、本第１変形例に係る十二指腸鏡システム１０では、腸壁画像４１は、十二指腸の奥行の深度を示す深度情報４１Ａを有し、腸管方向情報９０は、深度情報４１Ａに基づいて取得される。腸管方向ＣＤは、十二指腸の管腔における奥行方向に沿った方向である。そして、深度情報４１Ａは、十二指腸の管腔の奥行の深度を反映している。このため、深度情報４１Ａに基づいて腸管方向ＣＤが導出されるので、深度情報４１Ａが考慮されない場合と比較して、より精度の高い腸管方向ＣＤを示す腸管方向情報９０が得られる。
　（第２変形例）
　上記第１実施形態では、腸壁画像４１に対する画像認識処理により腸管方向ＣＤが得られる形態例を挙げて説明したが、本開示の技術はこれに限定されない。本第２変形例では、腸管方向ＣＤと既定角度で交差する方向（以下単に、「既定方向」とも称する）が得られる。
　一例として図１０に示すように、画像取得部８２Ａは、腸壁画像４１をカメラ４８から取得する毎に、ＦＩＦＯ方式で時系列画像群８９を更新する。
　画像認識部８２Ｂは、時系列画像群８９に対して画像認識部８２Ｂは、画像取得部８２Ａから時系列画像群８９を取得し、取得した時系列画像群８９を学習済みモデル８４Ｃに入力する。これにより、学習済みモデル８４Ｃは、入力された時系列画像群８９に対応する垂直方向情報９７を出力する。画像認識部８２Ｂは、学習済みモデル８４Ｃから出力された垂直方向情報９７を取得する。ここで、垂直方向情報９７は、腸管方向ＣＤに対して直交する方向ＶＤ（以下単に「垂直方向ＶＤ」とも称する）を特定可能な情報（例えば、腸管方向ＣＤに直交する軸線を示す位置座標群）である。
　学習済みモデル８４Ｃを用いた画像認識処理では、腸管方向ＣＤに対して直交する方向を特定した結果に応じて、特定結果の確信度が算出される。ここで、確信度とは、特定結果の確実さを示す統計的な尺度である。確信度は、例えば、学習済みモデル８４Ｃの出力層の活性化関数（例えば、ソフトマックス関数等）に入力されるスコアである。学習済みモデル８４Ｃから出力される垂直方向情報９７は、閾値以上（例えば、０．９以上）のスコアを有している。
　なお、本実施形態において、「垂直」とは、完全な垂直の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの垂直を指す。また、ここでは、腸管方向ＣＤに対する既定角度として、腸管方向ＣＤに対する垂直方向を挙げているが、本開示の技術はこれに限定されない。例えば、既定角度は、４５度、６０度、又は８０度であってもよい。
　学習済みモデル８４Ｃは、ニューラルネットワークに対して教師データを用いた機械学習が行われることによってニューラルネットワークが最適化されることで得られる。教師データは、例題データと正解データとが対応付けられた複数のデータ（すなわち、複数フレームのデータ）である。例題データは、例えば、ＥＲＣＰ検査の対象となり得る部位（例えば、十二指腸の内壁）が撮像されることによって得られた画像（例えば、腸壁画像４１に相当する画像）である。正解データは、例題データに対応するアノテーションである。正解データの一例としては、垂直方向ＶＤを特定可能なアノテーションである。
　導出部８２Ｃは、既定方向とカメラ４８の光軸の方向との一致度を導出する。既定方向と光軸の方向とが一致するということは、カメラ４８が向いている方向が、ユーザが予め定めた方向と一致していることを意味する。すなわち、カメラ４８が設けられた先端部４６が、ユーザが意図しない方向（例えば、腸管方向ＣＤに対して傾いた方向）となっていない状態であることを意味する。
　そこで、導出部８２Ｃは、垂直方向情報９７を取得する。また、導出部８２Ｃは、内視鏡スコープ１８のカメラ４８から光軸情報４８Ａを取得する。光軸情報４８Ａは、カメラ４８の光学系の光軸を特定可能な情報である。そして、導出部８２Ｃは、垂直方向情報９７により示される方向と、光軸情報４８Ａにより示される光軸の方向と比較することで、一致度情報９９を生成する。一致度情報９９は、光軸の方向と既定方向との一致する度合い（例えば、光軸の方向と既定方向との成す角度）を示す情報である。なお、本実施形態において、「一致」とは、完全な一致の他に、本開示の技術が属する技術分野で一般的に許容される誤差であって、本開示の技術の趣旨に反しない程度の誤差を含めた意味合いでの一致を指す。垂直方向情報９７は、本開示の技術に係る「第１方向情報」及び「腸管方向関連情報」の一例である。
　さらに、導出部８２Ｃは、光軸の方向と既定方向とが一致したか否かを判定する。光軸の方向と既定方向とが一致した場合、導出部８２Ｃは、報知情報１００を生成する。報知情報１００は、光軸の方向と既定方向とが一致していることをユーザに報知する情報（例えば、光軸の方向と既定方向とが一致したこと示すテキスト）である。
　一例として図１１に示すように、表示制御部８２Ｄは、画像認識部８２Ｂから垂直方向情報９７を取得する。また、表示制御部８２Ｄは、導出部８２Ｃから一致度情報９９を取得する。表示制御部８２Ｄは、一致度情報９９により示される光軸の方向と既定方向との一致の度合いに応じて、光軸の方向を既定方向に一致させるための操作指示画像９３Ｂ（例えば、操作方向を示す矢印）を生成する。そして、表示制御部８２Ｄは、垂直方向情報９７により示される垂直方向ＶＤ、操作指示画像９３Ｂ、及び腸壁画像４１を含む表示画像９４を生成し、表示装置１３に出力する。図１１に示す例では、表示装置１３において、画面３６に垂直方向ＶＤ及び操作指示画像９３Ｂが重畳表示された腸壁画像４１が示されている。垂直方向ＶＤは、本開示の技術に係る「第１方向」、「第２方向」、及び「第３方向」の一例である。操作指示画像９３Ｂは、本開示の技術に係る「条件情報」の一例である。
　また、光軸の方向と既定方向とが一致している場合には、導出部８２Ｃは、一致度情報９９に代えて、報知情報１００を表示制御部８２Ｄに対して出力する。この場合、表示制御部８２Ｄは、操作指示画像９３Ｂに代えて、報知情報１００により示される光軸の方向と既定方向とが一致していることをユーザに報知する内容を含む表示画像９４を生成する。図１１に示す例では、表示装置１３において、画面３７に「光軸と垂直方向とが一致しています」とのメッセージが表示された例が示されている。報知情報１００は、本開示の技術に係る「報知情報」の一例である。
　なお、ここでは、表示装置１３において報知情報１００に基づくメッセージが表示される形態例を挙げて説明したが、これはあくまでも一例にすぎない。例えば、報知情報１００に基づく丸印等の記号が表示されてもよい。また、表示装置１３に代えて、又は、表示装置１３と共にスピーカ等の音声出力装置に対して報知情報１００が出力される形態であってもよい。
　以上説明したように、本第２変形例に係る十二指腸鏡システム１０では、導出部８２Ｃにおいて、腸管方向ＣＤと直交する方向を特定可能な情報である垂直方向情報９７が導出される。垂直方向情報９７は、表示制御部８２Ｄに出力され、表示制御部８２Ｄにおいて生成された表示画像９４が表示装置１３に対して出力される。表示画像９４は、垂直方向情報９７により示される垂直方向ＶＤを含んでいる。これにより、ユーザは、腸管方向ＣＤに対して既定角度で交差する方向を認識することができる。
　また、本第２変形例に係る十二指腸鏡システム１０では、画像認識部８２Ｂにおいて、腸壁画像４１に対して画像認識処理が行われることにより、垂直方向ＶＤを示す垂直方向情報９７が得られる。これにより、ユーザが目視により腸壁画像４１に対して垂直方向ＶＤを指定する場合と比較して、高精度な垂直方向情報９７が得られる。
　また、本第２変形例に係る十二指腸鏡システム１０では、画像認識部８２Ｂにおける学習済みモデル８４Ｃを用いた画像認識処理において、垂直方向情報９７は、閾値以上の確信度で得られる。これにより、画像認識部８２Ｂにおける学習済みモデル８４Ｃを用いた画像認識処理において、確信度に対して閾値を設定しない場合と比較して、高精度な垂直方向情報９７が得られる。
　また、本第２変形例に係る十二指腸鏡システム１０では、導出部８２Ｃにより、カメラ４８から光軸情報４８Ａが取得される。また、導出部８２Ｃにおいて、光軸情報４８Ａと垂直方向情報９７とに基づいて、一致度情報９９が生成される。さらに、表示制御部８２Ｄにおいて、一致度情報９９に基づいて表示画像９４が生成され、表示装置１３に対して出力される。表示画像９４は、一致度情報９９により示される光軸の方向と既定方向との一致の度合いに関する表示を含んでいる。これにより、ユーザは、カメラ４８の光軸と垂直方向ＶＤとがどの程度ずれているかを把握することができる。例えば、光軸と垂直方向ＶＤとが一致している場合、カメラ４８は、十二指腸の腸壁と正対している可能性が高い。この状態に内視鏡スコープ１８の姿勢を保持することで、十二指腸の腸壁に存在する乳頭Ｎを見つけやすくなり、さらに乳頭Ｎに対してもカメラ４８を正対させやすくなる。
　また、本第２変形例に係る十二指腸鏡システム１０では、表示制御部８２Ｄにおいて、一致度情報９９に基づいて、光軸の方向を既定方向に一致させるための操作指示画像９３Ｂが生成される。表示制御部８２Ｄは、操作指示画像９３Ｂを表示装置１３に対して出力し、表示装置１３において、操作指示画像９３Ｂが腸壁画像４１に重畳表示される。これにより、カメラ４８の光軸方向と垂直方向ＶＤとを一致させるのに必要な操作をユーザに把握させることができる。
　また、本第２変形例に係る十二指腸鏡システム１０では、導出部８２Ｃにおいて、光軸の方向と既定方向とが一致したか否かが判定され、光軸の方向と既定方向とが一致した場合、導出部８２Ｃは、報知情報１００を生成する。表示制御部８２Ｄにおいて、報知情報１００に基づいて、表示画像９４が生成され、表示装置１３に対して出力される。表示画像９４には、報知情報１００により示される光軸の方向と既定方向とが一致している旨の表示が含まれている。これにより、ユーザに対して、光軸の方向と既定方向とが一致していることを知覚させることができる。
　（第３変形例）
　上記第１実施形態では、腸壁画像４１に対する画像認識処理により腸管方向ＣＤが得られる形態例を挙げて説明したが、本開示の技術はこれに限定されない。本第３変形例では、腸管方向ＣＤに基づいて胆管の走行方向ＴＤが得られる。
　一例として図１２に示すように、画像取得部８２Ａは、腸壁画像４１をカメラ４８から取得する毎に、ＦＩＦＯ方式で時系列画像群８９を更新する。
　画像認識部８２Ｂは、時系列画像群８９に対して学習済みモデル８４Ｄを用いた乳頭検出処理を行う。画像認識部８２Ｂは、画像取得部８２Ａから時系列画像群８９を取得し、取得した時系列画像群８９を学習済みモデル８４Ｄに入力する。これにより、学習済みモデル８４Ｄは、入力された時系列画像群８９に対応する乳頭領域情報９５を出力する。画像認識部８２Ｂは、学習済みモデル８４Ｄから出力された乳頭領域情報９５を取得する。ここで、乳頭領域情報９５には、乳頭Ｎが写っている腸壁画像４１において乳頭領域Ｎ１を特定可能な情報（例えば、画像内の座標及び範囲）が含まれる。
　学習済みモデル８４Ｄは、ニューラルネットワークに対して教師データを用いた機械学習が行われることによってニューラルネットワークが最適化されることで得られる。教師データは、例題データと正解データとが対応付けられた複数のデータ（すなわち、複数フレームのデータ）である。教師データは、例えば、ＥＲＣＰ検査の対象となり得る部位（例えば、十二指腸の内壁）が撮像されることによって得られた画像（例えば、腸壁画像４１に相当する画像）である。正解データは、例題データに対応するアノテーションである。正解データの一例としては、乳頭領域Ｎ１を特定可能なアノテーションが挙げられる。
　導出部８２Ｃは、胆管の走行方向ＴＤを示す情報である走行方向情報９６を導出する。走行方向情報９６には、胆管の伸びる方向を特定可能な情報（例えば、胆管の伸びる方向を示す位置座標）が含まれる。導出部８２Ｃは、画像認識部８２Ｂから乳頭領域情報９５を取得する。また、導出部８２Ｃは、学習済みモデル８４Ｂ（図６参照）を用いた画像認識処理により得られた腸管方向情報９０を、画像認識部８２Ｂから取得する。そして、導出部８２Ｃは、腸管方向情報９０及び乳頭領域情報９５に基づいて、走行方向情報９６を導出する。導出部８２Ｃは、例えば、腸管方向ＣＤと走行方向ＴＤとの間の既定の方位関係から、走行方向ＴＤを導出する。具体的には、導出部８２Ｃは、腸管方向ＣＤを６時の方向とした場合において、走行方向ＴＤを１１時～１２時の方向として導出する。さらに、導出部８２Ｃは、乳頭領域情報９５により示される乳頭領域Ｎ１を、走行方向ＴＤの起点とする。
　一例として図１３に示すように、表示制御部８２Ｄは、導出部８２Ｃから走行方向情報９６を取得する。また、表示制御部８２Ｄは、画像認識部８２Ｂから乳頭領域情報９５を取得する。表示制御部８２Ｄは、画像取得部８２Ａ（図６参照）から取得した腸壁画像４１に、走行方向情報９６により示される走行方向ＴＤ及び乳頭領域情報９５により示される乳頭領域Ｎ１を重畳表示した表示画像９４を生成し、表示装置１３に出力する。表示装置１３において、画面３６には、走行方向ＴＤが重畳表示された腸壁画像４１が表示される。
　以上説明したように、本第３変形例に係る十二指腸鏡システム１０では、画像認識部８２Ｂにおいて、学習済みモデル８４Ｄを用いて乳頭検出処理が行われる。乳頭検出処理によって乳頭領域情報９５が得られる。また、画像認識部８２Ｂにおいて、学習済みモデル８４Ａを用いて画像認識処理が行われることで、腸管方向情報９０が得られる。導出部８２Ｃは、腸管方向情報９０及び乳頭領域情報９５に基づいて、走行方向情報９６を導出する。そして、表示制御部８２Ｄにより表示画像９４が表示装置１３に対して出力される。表示画像９４は、乳頭領域情報９５により示される乳頭領域Ｎ１、及び走行方向情報９６により示される胆管の走行方向ＴＤを含んでいる。表示装置１３において、乳頭領域Ｎ１及び胆管の走行方向ＴＤが画面３６に表示される。これにより、画面３６を通して乳頭Ｎを観察しているユーザに対して、胆管の走行方向ＴＤを視覚的に把握させ易くすることができる。
　例えば、ＥＲＣＰ検査においては、乳頭Ｎに対してカメラ４８を正対させる場合がある。この場合に、胆管又は膵管の走行方向を利用することで、内視鏡スコープ１８の姿勢を把握しやすくなる。また、処置具を乳頭Ｎに対して挿入する場合に、胆管又は膵管の走行方向を把握しておくことで、乳頭Ｎ内における胆管又は膵管への挿管の操作が行いやすくなる。
　（第４変形例）
　上記第１実施形態では、腸壁画像４１に対する画像認識処理により腸管方向ＣＤが得られる形態例を挙げて説明したが、本開示の技術はこれに限定されない。本第４変形例では、腸管方向ＣＤに基づいて乳頭Ｎにおける乳頭隆起ＮＡの向き（以下単に、「乳頭向きＮＤ」とも称する）が得られる。
　画像認識部８２Ｂにおいて、腸壁画像４１に対して画像認識処理が行われることで、腸管方向情報９０及び乳頭領域情報９５が得られる（図１２参照）。一例として図１４に示すように、導出部８２Ｃは、腸管方向情報９０及び乳頭領域情報９５に基づいて、乳頭向き情報１０２を生成する。乳頭向き情報１０２は、乳頭向きＮＤ（例えば、乳頭隆起ＮＡが処置具と正対する向き）を特定可能な情報である。乳頭向きＮＤは、例えば、胆管の走行方向ＴＤにおいて、乳頭隆起ＮＡにおける接線として得られる。そこで、導出部８２Ｃは、腸管方向情報９０により示される腸管方向ＣＤから、胆管の走行方向ＴＤを導出し、さらに、走行方向ＴＤから乳頭隆起ＮＡにおける接線の方向を、乳頭向きＮＤとして導出する。
　表示制御部８２Ｄは、導出部８２Ｃから乳頭向き情報１０２を取得する。表示制御部８２Ｄは、画像取得部８２Ａ（図６参照）から取得した腸壁画像４１に、乳頭向き情報１０２により示される乳頭向きＮＤ及び乳頭領域情報９５により示される乳頭領域Ｎ１を重畳表示した表示画像９４を生成し、表示装置１３に出力する。表示装置１３において、画面３６には、乳頭向きＮＤが重畳表示された腸壁画像４１が表示される。
　なお、ここでは、乳頭向きＮＤが矢印として表示されている形態例を挙げているが、これはあくまでも一例にすぎない。乳頭向きＮＤは、テキストにより方向が示される態様であってもよい。
　以上説明したように、本第４変形例に係る十二指腸鏡システム１０では、画像認識部８２Ｂにおいて、乳頭検出処理が行われ（図１２参照）、乳頭領域情報９５が得られる。また、画像認識部８２Ｂにおいて、学習済みモデル８４Ｂ（図６参照）を用いて画像認識処理が行われることで、腸管方向情報９０が得られる。導出部８２Ｃは、腸管方向情報９０に基づいて、乳頭向き情報１０２を導出する。そして、表示制御部８２Ｄにより表示画像９４が表示装置１３に対して出力される。表示画像９４は、乳頭領域情報９５により示される乳頭領域Ｎ１、及び乳頭向き情報１０２により示される乳頭向きＮＤを含んでいる。表示装置１３において、乳頭領域Ｎ１及び乳頭向きＮＤが画面３６に表示される。これにより、画面３６を通して乳頭Ｎを観察しているユーザに対して、乳頭向きＮＤを視覚的に把握させ易くすることができる。
　例えば、ＥＲＣＰ検査において、乳頭Ｎに対してカメラ４８を正対させる場合がある。この場合に、乳頭向きＮＤを利用することで、内視鏡スコープ１８の姿勢を把握しやすくなる。また、処置具を乳頭Ｎに対して挿入する場合に、乳頭向きＮＤを把握しておくことで、乳頭Ｎに対して処置具を正対させることができ、乳頭Ｎへ処置具を挿入しやすくなる。
　＜第２実施形態＞
　上記第１実施形態では、腸壁画像４１に対する画像認識処理によって腸管方向ＣＤが得られる形態例を挙げて説明したが、本開示の技術はこれに限定されない。本第２実施形態では、腸壁画像４１は、乳頭Ｎを含む腸壁が撮像されることで得られた画像であり、腸壁画像４１に対する画像認識処理によって乳頭Ｎの隆起方向ＲＤが得られる。
　例えば、ＥＲＣＰ検査において、乳頭Ｎの隆起方向ＲＤに対してカメラ４８を正対させる場合がある。これにより、乳頭Ｎから伸びる胆管Ｔ及び膵管Ｓの走行方向が推定しやすくなったり、乳頭Ｎに対する処置具（例えば、カニューレ）の挿入がしやすくなったりする。そこで、本第２実施形態では、腸壁画像４１に対する画像認識処理によって、乳頭Ｎの隆起方向ＲＤを取得する。
　一例として図１５に示すように、画像取得部８２Ａは、腸壁画像４１をカメラ４８から取得する毎に、ＦＩＦＯ方式で時系列画像群８９を更新する。
　画像認識部８２Ｂは、画像取得部８２Ａから時系列画像群８９を取得し、取得した時系列画像群８９を学習済みモデル８４Ｅに入力する。これにより、学習済みモデル８４Ｅは、入力された時系列画像群８９に対応する隆起方向情報１０４を出力する。画像認識部８２Ｂは、学習済みモデル８４Ｅから出力された隆起方向情報１０４を取得する。ここで、隆起方向情報１０４は、乳頭Ｎが隆起する方向を特定可能な情報（例えば、隆起方向ＲＤを示す軸線の位置座標群）である。
　学習済みモデル８４Ｅは、ニューラルネットワークに対して教師データを用いた機械学習が行われることによってニューラルネットワークが最適化されることで得られる。教師データは、例題データと正解データとが対応付けられた複数のデータ（すなわち、複数フレームのデータ）である。教師データは、例えば、ＥＲＣＰ検査の対象となり得る部位（例えば、十二指腸の内壁）が撮像されることによって得られた画像（例えば、腸壁画像４１に相当する画像）である。正解データは、例題データに対応するアノテーションである。正解データの一例としては、乳頭Ｎの隆起方向ＲＤを特定可能なアノテーションが挙げられる。
　ここで、乳頭Ｎの隆起方向ＲＤは、例えば、乳頭Ｎの乳頭隆起ＮＡの頂部から鉢巻き襞Ｈ１の頂部へと向かう方向として特定される。なぜならば、医学的所見によれば、乳頭Ｎの隆起方向ＲＤは、乳頭隆起ＮＡの頂部から鉢巻き襞Ｈ１の頂部へ向かう方向と一致する場合が多いためである。ここで、乳頭Ｎにおいて、隆起した部位の周囲に複数の襞（例えば、襞Ｈ１～Ｈ３）が存在している。鉢巻き襞Ｈ１には、乳頭隆起ＮＡに最も近い襞である。そこで、正解データにおけるアノテーションの一例として、鉢巻き襞Ｈ１の頂部を通る方向を隆起方向ＲＤとするアノテーションが挙げられる。
　導出部８２Ｃは、隆起方向ＲＤとカメラ４８の光軸の方向との一致度を導出する。隆起方向ＲＤと光軸の方向とが一致するということは、カメラ４８が向いている方向が、乳頭Ｎに正対していることを意味する。すなわち、カメラ４８が設けられた先端部４６が、ユーザが意図しない方向（例えば、乳頭Ｎの隆起方向ＲＤに対して傾いた方向）となっていない状態であることを意味する。
　そこで、導出部８２Ｃは、画像認識部８２Ｂから隆起方向情報１０４を取得する。また、導出部８２Ｃは、内視鏡スコープ１８のカメラ４８から光軸情報４８Ａを取得する。そして、導出部８２Ｃは、垂直方向情報９７により示される方向と、光軸情報４８Ａにより示される光軸の方向と比較することで、一致度情報１０３を生成する。一致度情報１０３は、光軸の方向と隆起方向ＲＤとの一致する度合い（例えば、光軸の方向と隆起方向ＲＤとの成す角度）を示す情報である。
　一例として図１６に示すように、表示制御部８２Ｄは、画像認識部８２Ｂから隆起方向情報１０４を取得する。また、表示制御部８２Ｄは、導出部８２Ｃから一致度情報１０３を取得する。表示制御部８２Ｄは、一致度情報１０３により示される光軸の方向と隆起方向ＲＤとの一致の度合いに応じて、光軸の方向を隆起方向ＲＤに一致させるための操作指示画像９３Ｃ（例えば、操作方向を示す矢印）を生成する。そして、表示制御部８２Ｄは、隆起方向情報１０４により示される隆起方向ＲＤ、操作指示画像９３Ｃ、及び腸壁画像４１を含む表示画像９４を生成し、表示装置１３に出力する。図１６に示す例では、表示装置１３において、画面３６に隆起方向ＲＤ及び操作指示画像９３Ｃが重畳表示された腸壁画像４１が示されている。
　一例として図１７に示すように、医師１４は、内視鏡スコープ１８を操作することで、カメラ４８の光軸を隆起方向ＲＤに近付ける。これにより、乳頭Ｎとカメラ４８とが正対した場合の腸壁画像４１が得られるので、乳頭Ｎから伸びる胆管Ｔ及び膵管Ｓの走行方向が推定しやすくなったり、乳頭Ｎに対する処置具（例えば、カニューレ）の挿入がしやすくなったりする。
　以上説明したように、本第２実施形態に係る十二指腸鏡システム１０では、プロセッサ８２の画像認識部８２Ｂにおいて、腸壁画像４１に対して画像認識処理が行われ、画像認識処理の結果、腸壁画像４１における乳頭Ｎの隆起方向ＲＤが検出される。そして、隆起方向ＲＤを示す隆起方向情報１０４が、表示制御部８２Ｄに出力され、表示制御部８２Ｄにおいて生成された表示画像９４が表示装置１３に対して出力される。表示画像９４は、腸壁画像４１に重畳表示された隆起方向ＲＤを含んでいる。このように、表示装置１３において隆起方向ＲＤが画面３６に表示される。これにより、腸壁画像４１を観察しているユーザに対して、乳頭Ｎの隆起方向ＲＤを視覚的に把握させることができる。
　また、本第２実施形態に係る十二指腸鏡システム１０では、画像認識部８２Ｂにおいて、腸壁画像４１に基づいて隆起方向情報１０４が得られる。隆起方向情報１０４は、表示制御部８２Ｄに出力され、表示制御部８２Ｄにおいて生成された表示画像９４が表示装置１３に対して出力される。表示画像９４は、隆起方向情報１０４に基づいた表示を含んでいる。これにより、腸壁画像４１を観察しているユーザに対して、乳頭Ｎの隆起方向ＲＤを視覚的に把握させることができる。
　また、本第２実施形態に係る十二指腸鏡システム１０では、表示制御部８２Ｄにおいて、表示画像９４が生成される。表示画像９４には、隆起方向ＲＤを示す矢印の画像が含まれる。これにより、腸壁画像４１を観察しているユーザに対して、乳頭Ｎの隆起方向ＲＤを画像化して視覚的に把握させることができる。
　また、本第２実施形態に係る十二指腸鏡システム１０では、導出部８２Ｃにおいて、カメラ４８から光軸情報４８Ａが取得される。また、導出部８２Ｃにおいて、光軸情報４８Ａと隆起方向情報１０４とに基づいて、一致度情報１０３が生成される。表示制御部８２Ｄにおいて、一致度情報１０３に基づいて表示画像９４が生成され、表示装置１３に対して出力される。表示画像９４は、一致度情報１０３により示される光軸の方向と隆起方向ＲＤとの一致の度合いに関する表示を含んでいる。これにより、腸壁画像４１を観察しているユーザに対して、乳頭Ｎの隆起方向ＲＤと光軸方向との一致度を視覚的に把握させることができる。例えば、光軸と隆起方向ＲＤとが一致している場合、カメラ４８は、乳頭Ｎと正対している可能性が高い。この状態に内視鏡スコープ１８の姿勢を保持することで、乳頭Ｎを観察しやすくなり、さらに乳頭Ｎに処置具を挿入しやすくなる。
　また、本第２実施形態に係る十二指腸鏡システム１０では、画像認識部８２Ｂにおける画像認識処理において、隆起方向ＲＤは、乳頭Ｎの乳頭隆起ＮＡの頂部から鉢巻き襞Ｈ１へと向かう方向として特定される。そして、表示制御部８２Ｄにおいて生成された表示画像９４が表示装置１３に出力される。表示画像９４には、隆起方向ＲＤが含まれる。これにより、腸壁画像４１を観察しているユーザに対して、乳頭隆起ＮＡが有する開口から鉢巻襞Ｈ１の頂部に向かう方向を視覚的に把握させることができる。この結果、乳頭Ｎの開口に通じる胆管の走行方向ＴＤを特定し易くすることができる。
　また、本第２実施形態に係る十二指腸鏡システム１０では、画像認識部８２Ｂにおける画像認識処理において、隆起方向ＲＤは、乳頭Ｎの乳頭隆起ＮＡの頂部から鉢巻き襞Ｈ１へと向かう方向として特定される。そして、表示制御部８２Ｄにおいて生成された表示画像９４が表示装置１３に出力される。表示画像９４には、隆起方向ＲＤを示す矢印の画像が含まれる。これにより、腸壁画像４１を観察しているユーザに対して、乳頭隆起ＮＡが有する開口から鉢巻襞Ｈ１の頂部に向かう方向を視覚的に把握させることができる。この結果、乳頭Ｎの開口に通じる胆管の走行方向ＴＤを特定し易くすることができる。
　また、本第２実施形態に係る十二指腸鏡システム１０では、画像認識部８２Ｂにおいて、腸壁画像４１に対して画像認識処理が行われることにより隆起方向ＲＤを示す隆起方向情報１０４が得られる。これにより、ユーザが目視により腸壁画像４１に対して隆起方向ＲＤを指定する場合と比較して、高精度な隆起方向情報１０４が得られる。
　（第５変形例）
　上記第２実施形態では、隆起方向ＲＤが、乳頭隆起ＮＡの頂部から鉢巻き襞Ｈ１の頂部へ向かう方向として特定される形態例を挙げて説明したが、本開示の技術はこれに限定されない。隆起方向ＲＤは、複数の襞Ｈ１～Ｈ３の態様に基づいて特定される。
　一例として図１８に示すように、画像認識部８２Ｂは、画像取得部８２Ａから時系列画像群８９を取得し、取得した時系列画像群８９を学習済みモデル８４Ｅに入力する。これにより、学習済みモデル８４Ｅは、入力された時系列画像群８９に対応する隆起方向情報１０４を出力する。画像認識部８２Ｂは、学習済みモデル８４Ｅから出力された隆起方向情報１０４を取得する。
　ここで、乳頭Ｎの隆起方向ＲＤは、例えば、鉢巻き襞Ｈ１の頂部を通る方向として特定される。医学的所見によれば、乳頭Ｎの隆起方向ＲＤは、鉢巻き襞Ｈ１の頂部を通る方向と一致する場合がある。そこで、正解データにおけるアノテーションの一例として、鉢巻き襞Ｈ１の頂部を通る方向を隆起方向ＲＤとするアノテーションが挙げられる。
　なお、ここでは、鉢巻き襞Ｈ１の頂部を通る方向として隆起方向ＲＤが、特定される態様を挙げて説明したが、これはあくまでも一例にすぎない。隆起方向ＲＤは、複数の襞Ｈ１～Ｈ３の頂部のうちの少なくとも一つを通る方向として特定されてもよい。
　以上説明したように、本第５変形例に係る十二指腸鏡システム１０では、画像認識部８２Ｂにおける画像認識処理において、隆起方向ＲＤは、複数の襞Ｈ１～Ｈ３の態様に基づいて特定される。そして、表示制御部８２Ｄにおいて生成された表示画像９４が表示装置１３に出力される。表示画像９４には、隆起方向ＲＤが含まれる。これにより、腸壁画像４１を観察しているユーザに対して、隆起方向ＲＤとして乳頭隆起ＮＡが有する鉢巻き襞Ｈ１の頂部を通る方向を視覚的に把握させることができる。
　（第６変形例）
　上記第２実施形態では、隆起方向ＲＤが、乳頭隆起ＮＡの頂部から鉢巻き襞Ｈ１の頂部へと向かう方向として特定される形態例を挙げて説明したが、本開示の技術はこれに限定されない。本第６変形例では、隆起方向ＲＤが、乳頭隆起ＮＡと複数の襞Ｈ１～Ｈ３に基づいて特定される。
　一例として図１９に示すように、画像認識部８２Ｂは、画像取得部８２Ａから時系列画像群８９を取得し、取得した時系列画像群８９を学習済みモデル８４Ｅに入力する。これにより、学習済みモデル８４Ｅは、入力された時系列画像群８９に対応する隆起方向情報１０４を出力する。画像認識部８２Ｂは、学習済みモデル８４Ｅから出力された隆起方向情報１０４を取得する。
　ここで、乳頭Ｎの隆起方向ＲＤは、例えば、乳頭隆起ＮＡの頂部から鉢巻き襞Ｈ１、襞Ｈ２、及びＨ３の各頂部を通る方向として特定される。医学的所見によれば、乳頭Ｎの隆起方向ＲＤは、乳頭隆起ＮＡの頂部から鉢巻き襞Ｈ１、襞Ｈ２、及びＨ３の各頂部を通る方向と一致する場合がある。そこで、正解データにおけるアノテーションの一例として、乳頭隆起ＮＡの頂部から鉢巻き襞Ｈ１、襞Ｈ２、及びＨ３の各頂部を通る方向を隆起方向ＲＤとするアノテーションが挙げられる。
　以上説明したように、本第６変形例に係る十二指腸鏡システム１０では、画像認識部８２Ｂにおける画像認識処理において、隆起方向ＲＤは、乳頭隆起ＮＡと複数の襞Ｈ１～Ｈ３に基づいて特定される。そして、表示制御部８２Ｄにおいて生成された表示画像９４が表示装置１３に出力される。表示画像９４には、隆起方向ＲＤが含まれる。これにより、腸壁画像４１を観察しているユーザに対して、隆起方向ＲＤとして乳頭隆起ＮＡの頂部と複数の襞Ｈ１～Ｈ３の頂部を通る方向を視覚的に把握させることができる。
　（第７変形例）
　上記第２実施形態では、腸壁画像４１に対する画像認識処理により隆起方向ＲＤが得られる形態例を挙げて説明したが、本開示の技術はこれに限定されない。本第７変形例では、隆起方向ＲＤに基づいて胆管の走行方向ＴＤが得られる。
　画像認識部８２Ｂにおいて、腸壁画像４１に対して画像認識処理が行われることで、隆起方向情報１０４及び乳頭領域情報９５が得られる（図１２及び図１５参照）。一例として図２０に示すように、導出部８２Ｃは、隆起方向情報１０４に基づいて、走行方向情報９６を導出する。胆管の走行方向ＴＤは、乳頭Ｎの隆起方向ＲＤと既定の方位関係を有している。具体的には、導出部８２Ｃは、隆起方向ＲＤを１２時の方向とした場合において、走行方向ＴＤを１１時の方向として導出する。
　表示制御部８２Ｄは、導出部８２Ｃから走行方向情報９６を取得する。表示制御部８２Ｄは、画像取得部８２Ａ（図６参照）から取得した腸壁画像４１に、走行方向情報９６により示される走行方向ＴＤを重畳表示した表示画像９４を生成し、表示装置１３に出力する。表示装置１３において、画面３６には、走行方向ＴＤが重畳表示された腸壁画像４１が表示される。
　以上説明したように、本第７変形例に係る十二指腸鏡システム１０では、導出部８２Ｃにおいて、走行方向情報９６は、隆起方向情報１０４に基づいて得られる。このように、走行方向情報９６が、隆起方向情報１０４により得られるので、走行方向情報９６が画像認識処理により得られる場合と比較して、走行方向ＴＤを特定することが容易となる。
　また、本第７変形例に係る十二指腸鏡システム１０では、表示制御部８２Ｄにおいて、表示画像９４が生成される。表示画像９４には、走行方向ＴＤを示す画像が含まれる。これにより、腸壁画像４１を観察しているユーザに対して、胆管の走行方向ＴＤを視覚的に把握させることができる。
　（第８変形例）
　上記第２実施形態では、腸壁画像４１に対する画像認識処理によって、乳頭Ｎの隆起方向ＲＤが得られる形態例を挙げて説明したが、本開示の技術はこれに限定されない。本第８変形例では、腸壁画像４１に対する画像認識処理によって乳頭Ｎにおいて開口の存在する面の方向ＭＤ（以下単に「面方向ＭＤ」とも称する）が得られる。
　一例として図２１に示すように、画像取得部８２Ａは、腸壁画像４１をカメラ４８から取得する毎に、ＦＩＦＯ方式で時系列画像群８９を更新する。
　画像認識部８２Ｂは、画像取得部８２Ａから時系列画像群８９を取得し、取得した時系列画像群８９を学習済みモデル８４Ｆに入力する。これにより、学習済みモデル８４Ｆは、入力された時系列画像群８９に対応する面方向情報１０６を出力する。画像認識部８２Ｂは、学習済みモデル８４Ｆから出力された面方向情報１０６を取得する。ここで、面方向情報１０６は、面方向ＭＤを特定可能な情報（例えば、面方向ＭＤを示す軸線の位置座標群）である。
　学習済みモデル８４Ｆは、ニューラルネットワークに対して教師データを用いた機械学習が行われることによってニューラルネットワークが最適化されることで得られる。教師データは、例題データと正解データとが対応付けられた複数のデータ（すなわち、複数フレームのデータ）である。例題データは、例えば、ＥＲＣＰ検査の対象となり得る部位（例えば、十二指腸の内壁）が撮像されることによって得られた画像（例えば、腸壁画像４１に相当する画像）である。正解データは、例題データに対応するアノテーションである。正解データの一例としては、面方向ＭＤを特定可能なアノテーションが挙げられる。
　導出部８２Ｃは、乳頭Ｎの開口Ｋが設けられた面Ｐと内視鏡スコープ１８の姿勢との相対角度を導出する。乳頭Ｎの開口Ｋが設けられた面Ｐと内視鏡スコープ１８の姿勢との相対角度が、０に近づくことは、カメラ４８が乳頭Ｎに正対した状態に近づくことを意味する。そこで、導出部８２Ｃは、画像認識部８２Ｂから面方向情報１０６を取得する。また、導出部８２Ｃは、内視鏡スコープ１８の光ファイバセンサ１８Ａから姿勢情報９１を取得する。そして、導出部８２Ｃは、面方向情報１０６により示される面の向きから開口Ｋを有する面Ｐと、姿勢情報９１により示される内視鏡スコープ１８の姿勢と比較することで、相対角度情報１０８を生成する。相対角度情報１０８は、面Ｐと内視鏡スコープ１８の姿勢（例えば、カメラ４８の撮像面）の成す角度Ａを示す情報である。
　一例として図２２に示すように、表示制御部８２Ｄは、画像認識部８２Ｂから面方向情報１０６を取得する。また、表示制御部８２Ｄは、導出部８２Ｃから相対角度情報１０８を取得する。表示制御部８２Ｄは、相対角度情報１０８により示される角度に応じて、カメラ４８を乳頭Ｎに正対させるための操作指示画像９３Ｄ（例えば、操作方向を示す矢印）を生成する。そして、表示制御部８２Ｄは、面方向情報１０６により示される面方向ＭＤ、操作指示画像９３Ｄ、及び腸壁画像４１を含む表示画像９４を生成し、表示装置１３に出力する。図２２に示す例では、表示装置１３において、画面３６に面方向ＭＤ及び操作指示画像９３Ｄが重畳表示された腸壁画像４１が示されている。
　以上説明したように、本第８変形例に係る十二指腸鏡システム１０では、プロセッサ８２の画像認識部８２Ｂにおいて、腸壁画像４１に対して画像認識処理が行われ、画像認識処理の結果、腸壁画像４１における乳頭Ｎの面方向ＭＤが検出される。そして、面方向ＭＤを示す面方向情報１０６が、表示制御部８２Ｄに出力され、表示制御部８２Ｄにおいて生成された表示画像９４が表示装置１３に対して出力される。表示画像９４は、腸壁画像４１に重畳表示された面方向ＭＤを含んでいる。このように、表示装置１３において面方向ＭＤが画面３６に表示される。これにより、腸壁画像４１を観察しているユーザに対して、乳頭Ｎの面方向ＭＤを視覚的に把握させることができる。
　また、本第８変形例に係る十二指腸鏡システム１０では、導出部８２Ｃにより、内視鏡スコープ１８の姿勢を特定可能な情報である姿勢情報９１が、光ファイバセンサ１８Ａから取得される。また、導出部８２Ｃにおいて、姿勢情報９１と面方向情報１０６とに基づいて、相対角度情報１０８が生成される。さらに、表示制御部８２Ｄにおいて、相対角度情報１０８に基づいて、カメラ４８を乳頭Ｎに正対させるための操作指示画像９３Ｄが生成される。表示制御部８２Ｄは、操作指示画像９３Ｄを表示装置１３に対して出力し、表示装置１３において、操作指示画像９３Ｄが腸壁画像４１に重畳表示される。これにより、内視鏡スコープ１８が十二指腸に挿入された状態において、乳頭Ｎの面方向ＭＤに対する内視鏡スコープ１８の姿勢をユーザが意図する姿勢にすることが容易になる。
　（第９変形例）
　上記第２実施形態では、腸壁画像４１に対する画像認識処理により得られた隆起方向ＲＤが表示される形態例を挙げて説明したが、本開示の技術はこれに限定されない。本第９変形例では、乳頭面画像９３Ｅが表示される。
　一例として図２３に示すように、表示制御部８２Ｄは、画像認識部８２Ｂから隆起方向情報１０４を取得する。表示制御部８２Ｄは、隆起方向情報１０４により示される隆起方向ＲＤに基づいて乳頭面画像９３Ｅを生成する。乳頭面画像９３Ｅは、隆起方向ＲＤにと既定角度（例えば、９０度）で交差する面を特定可能な画像である。さらに、表示制御部８２Ｄは、画像認識部８２Ｂにおいて得られた乳頭領域情報９５に基づいて乳頭面画像９３Ｅを乳頭領域Ｎ１に応じたサイズ及び形状に調整する。また、表示制御部８２Ｄは、操作指示画像９３Ｃを生成する。
　そして、表示制御部８２Ｄは、乳頭面画像９３Ｅ、操作指示画像９３Ｃ、及び腸壁画像４１を含む表示画像９４を生成し、表示装置１３に出力する。図２３に示す例では、表示装置１３において、画面３６に乳頭面画像９３Ｅ及び操作指示画像９３Ｃが重畳表示された腸壁画像４１が示されている。
　以上説明したように、本第９変形例に係る十二指腸鏡システム１０では、表示制御部８２Ｄにおいて、隆起方向情報１０４に基づいて乳頭面画像９３Ｅが生成される。表示制御部８２Ｄは、乳頭面画像９３Ｅを表示装置１３に対して出力し、表示装置１３において、乳頭面画像９３Ｅが腸壁画像４１に重畳表示される。これにより、腸壁画像４１を観察しているユーザに対して、乳頭Ｎに含まれる開口の位置を視覚的に予測させやすくなる。
　＜第３実施形態＞
　上記第１実施形態では、腸壁画像４１に対する画像認識処理により腸管方向ＣＤが得られ、また、上記第２実施形態では、腸壁画像４１に対する画像認識処理により隆起方向ＲＤが得られる形態例を挙げて説明したが、本開示の技術はこれに限定されない。本第３実施形態では、腸壁画像４１に対する画像認識処理により胆管Ｔの走行方向ＴＤが得られる。
　例えば、ＥＲＣＰ検査において、乳頭Ｎに対して処置具（例えば、カニューレ）の挿入し、さらに乳頭Ｎ内の胆管Ｔ又は膵管Ｓに対して処置具を挿管する場合がある。この場合において、腸壁画像４１では、乳頭Ｎの内部に存在する胆管Ｔ又は膵管Ｓの走行方向を把握するのは困難である。そこで、本第３実施形態では、腸壁画像４１に対する画像認識処理によって、胆管Ｔ又は膵管Ｓの走行方向を取得する。なお、以下では、説明の便宜上、胆管Ｔの場合を例に挙げて説明する。
　一例として図２４に示すように、画像取得部８２Ａは、腸壁画像４１をカメラ４８から取得する毎に、ＦＩＦＯ方式で時系列画像群８９を更新する。
　画像認識部８２Ｂは、画像取得部８２Ａから時系列画像群８９を取得し、取得した時系列画像群８９を学習済みモデル８４Ｇに入力する。これにより、学習済みモデル８４Ｇは、入力された時系列画像群８９に対応する走行方向情報９６を出力する。画像認識部８２Ｂは、学習済みモデル８４Ｅから出力された走行方向情報９６を取得する。
　学習済みモデル８４Ｇは、ニューラルネットワークに対して教師データを用いた機械学習が行われることによってニューラルネットワークが最適化されることで得られる。教師データは、例題データと正解データとが対応付けられた複数のデータ（すなわち、複数フレームのデータ）である。例題データは、例えば、ＥＲＣＰ検査の対象となり得る部位（例えば、十二指腸の内壁）が撮像されることによって得られた画像（例えば、腸壁画像４１に相当する画像）である。正解データは、例題データに対応するアノテーションである。正解データの一例としては、走行方向ＴＤを特定可能なアノテーションが挙げられる。
　ここで、胆管Ｔの走行方向ＴＤは、例えば、乳頭Ｎの複数の襞の頂部を通る方向として特定される。なぜならば、医学的所見によれば、胆管Ｔの走行方向は、襞の頂部を繋いだ線と一致する場合があるからである。そこで、正解データにおけるアノテーションの一例として、乳頭Ｎの襞の頂部を通る方向を胆管Ｔの走行方向ＴＤとするアノテーションが挙げられる。
　また、取得した時系列画像群８９を学習済みモデル８４Ｈに入力する。これにより、学習済みモデル８４Ｈは、入力された時系列画像群８９に対応する憩室領域情報１１０を出力する。画像認識部８２Ｂは、学習済みモデル８４Ｈから出力された憩室領域情報１１０を取得する。憩室領域情報１１０は、乳頭Ｎに存在する憩室を示す領域を特定可能な情報（憩室のサイズ及び位置を示す座標）である。ここで、憩室とは、乳頭Ｎの一部が十二指腸の外部へ嚢状に突出した領域である。
　学習済みモデル８４Ｈは、ニューラルネットワークに対して教師データを用いた機械学習が行われることによってニューラルネットワークが最適化されることで得られる。教師データは、例題データと正解データとが対応付けられた複数のデータ（すなわち、複数フレームのデータ）である。例題データは、例えば、ＥＲＣＰ検査の対象となり得る部位（例えば、十二指腸の内壁）が撮像されることによって得られた画像（例えば、腸壁画像４１に相当する画像）である。正解データは、例題データに対応するアノテーションである。正解データの一例としては、憩室を示す領域を特定可能なアノテーションが挙げられる。
　導出部８２Ｃは、走行方向ＴＤを表示するための態様を導出する。例えば、走行方向ＴＤは、憩室を回避した態様で特定される。なぜならば、医学的所見によれば、走行方向ＴＤは、憩室を避けて形成される場合があるからである。そこで、導出部８２Ｃは、憩室領域情報１１０に基づいて、走行方向ＴＤの表示態様を変更する。具体的には、導出部８２Ｃは、走行方向情報９６により示される走行方向ＴＤにおいて、憩室領域情報１１０により示される憩室と交差する部分については、憩室を回避する態様に変更する。このように、導出部８２Ｃは、変更後の走行方向ＴＤの表示態様を示す表示態様情報１１２を生成する。
　一例として図２５に示すように、表示制御部８２Ｄは、導出部８２Ｃから表示態様情報１１２を取得する。表示制御部８２Ｄは、表示態様情報１１２により示される変更後の走行方向ＴＤ及び腸壁画像４１を含む表示画像９４を生成し、表示装置１３に出力する。図２５に示す例では、表示装置１３において、画面３６に変更後の走行方向ＴＤが重畳表示された腸壁画像４１が示されている。
　次に、十二指腸鏡システム１０の本開示の技術に係る部分についての作用を、図２６を参照しながら説明する。
　図２６には、プロセッサ８２によって行われる医療支援処理の流れの一例が示されている。
　図２６に示す医療支援処理では、先ず、ステップＳＴ１１０で、画像取得部８２Ａは、内視鏡スコープ１８に設けられたカメラ４８によって１フレーム分の撮像が行われたか否かを判定する。ステップＳＴ１０において、カメラ４８によって１フレーム分の撮像が行われていない場合は、判定が否定されて、ステップＳＴ１１０の判定が再び行われる。ステップＳＴ１１０において、カメラ４８によって１フレーム分の撮像が行われた場合は、判定が肯定されて、医療支援処理はステップＳＴ１１２へ移行する。
　ステップＳＴ１１２で、画像取得部８２Ａは、内視鏡スコープ１８に設けられたカメラ４８から１フレーム分の腸壁画像４１を取得する。ステップＳＴ１１２の処理が実行された後、医療支援処理はステップＳＴ１１４へ移行する。
　ステップＳＴ１１４で、画像認識部８２Ｂは、ステップＳＴ１１２で取得された腸壁画像４１に対するＡＩ方式の画像認識処理（すなわち、学習済みモデル８４Ｇを用いた画像認識処理）を行うことで、走行方向ＴＤを検出する。ステップＳＴ１１４の処理が実行された後、医療支援処理はステップＳＴ１１６へ移行する。
　ステップＳＴ１１６で、画像認識部８２Ｂは、ステップＳＴ１１２で取得された腸壁画像４１に対するＡＩ方式の画像認識処理（すなわち、学習済みモデル８４Ｈを用いた画像認識処理）を行うことで、憩室領域を検出する。ステップＳＴ１１６の処理が実行された後、医療支援処理はステップＳＴ１１８へ移行する。
　ステップＳＴ１１８で、導出部８２Ｃは、ステップＳＴ１１４で画像認識部８２Ｂにより得られた走行方向ＴＤと、ステップＳＴ１１６で画像認識部８２Ｂにより得られた憩室領域とに基づいて走行方向ＴＤの表示態様を変更する。具体的には、導出部８２Ｃは、憩室領域を避ける態様に走行方向ＴＤの表示態様を変更する。ステップＳＴ１１８の処理が実行された後、医療支援処理はステップＳＴ１２０へ移行する。
　ステップＳＴ１２０で、表示制御部８２Ｄは、腸壁画像４１に対して、ステップＳＴ１１８で導出部８２Ｃにより表示態様が変更された走行方向ＴＤを重畳表示した表示画像９４を生成する。ステップＳＴ１２０の処理が実行された後、医療支援処理はステップＳＴ１２２へ移行する。
　ステップＳＴ１２２で、表示制御部８２Ｄは、表示装置１３に対してステップＳＴ１２０において生成された表示画像９４を出力する。ステップＳＴ１２２の処理が実行された後、医療支援処理はステップＳＴ１２４へ移行する。
　ステップＳＴ１２４で、表示制御部８２Ｄは、医療支援処理を終了する条件を満足したか否かを判定する。医療支援処理を終了する条件の一例としては、十二指腸鏡システム１０に対して、医療支援処理を終了させる指示が与えられたという条件（例えば、医療支援処理を終了させる指示が受付装置６２によって受け付けられたという条件）が挙げられる。
　ステップＳＴ１２４において、医療支援処理を終了する条件を満足していない場合は、判定が否定されて、医療支援処理は、ステップＳＴ１１０へ移行する。ステップＳＴ１２４において、医療支援処理を終了する条件を満足した場合は、判定が肯定されて、医療支援処理が終了する。
　以上説明したように、本第３実施形態に係る十二指腸鏡システム１０では、プロセッサ８２の画像認識部８２Ｂにおいて、腸壁画像４１に対して画像認識処理が行われ、画像認識処理の結果、腸壁画像４１における胆管の走行方向ＴＤが検出される。そして、走行方向ＴＤを示す走行方向情報９６が、表示制御部８２Ｄに出力され、表示制御部８２Ｄにおいて生成された表示画像９４が表示装置１３に対して出力される。表示画像９４は、腸壁画像４１に重畳表示された走行方向ＴＤを含んでいる。このように、表示装置１３において走行方向ＴＤが画面３６に表示される。これにより、腸壁画像４１を観察しているユーザに対して、胆管の走行方向ＴＤを視覚的に把握させることができる。
　また、本第３実施形態に係る十二指腸鏡システム１０では、画像認識部８２Ｂにおいて、腸壁画像４１に対して画像認識処理が行われ、憩室領域情報１１０が得られる。導出部８２Ｃにおいて、走行方向情報９６と憩室領域情報１１０とに基づいて、表示態様情報１１２が生成される。そして、変更後の走行方向ＴＤを示す表示態様情報１１２が、表示制御部８２Ｄに出力され、表示制御部８２Ｄにおいて生成された表示画像９４が表示装置１３に対して出力される。表示画像９４は、腸壁画像４１に重畳表示された変更後の走行方向ＴＤを含んでいる。このように、表示装置１３において変更後の走行方向ＴＤが画面３６に表示される。これにより、腸壁画像４１を観察しているユーザに対して、憩室の存在に応じて変更された胆管の走行方向ＴＤを視覚的に把握させることができる。例えば、腸壁画像４１を観察しているユーザに対して、乳頭Ｎの開口に通じる胆管の走行方向ＴＤを、憩室の存在に起因して視覚的に誤って把握させてしまうという事態の発生を抑制することができる。
　また、本第３実施形態に係る十二指腸鏡システム１０では、導出部８２Ｃにおいて、表示態様情報１１２は、走行方向情報９６により示される走行方向ＴＤにおいて、憩室を避ける態様で変更された走行方向ＴＤを示す。そして、表示装置１３において変更後の走行方向ＴＤが画面３６に表示される。これにより、腸壁画像４１を観察しているユーザに対して、憩室を回避する態様で変更された胆管の走行方向ＴＤを視覚的に把握させることができる。
　なお、上記第３実施形態では、胆管の走行方向ＴＤの表示態様を変更する形態例として、憩室を回避する態様を挙げたが、本開示の技術はこれに限定されない。例えば、胆管の走行方向ＴＤにおいて、憩室と交差する領域を非表示としてもよいし、憩室と交差する領域を破線又は半透明としてもよい。
　また、上記第３実施形態では、腸壁画像４１に対して画像認識処理によって憩室が検出され、憩室に応じて走行方向ＴＤの表示態様を変更する形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、憩室の検出は行われない態様であってもよい。
　（第１０変形例）
　上記第３実施形態では、胆管の走行方向ＴＤが憩室を避けて表示される形態例を挙げて説明したが、本開示の技術はこれに限定されない。本第１０変形例では、胆管の走行方向ＴＤが憩室と交差する場合に、ユーザに対してその旨が報知される。
　一例として図２７に示すように、導出部８２Ｃは、画像認識部８２Ｂから走行方向情報９６及び憩室領域情報１１０を取得する。導出部８２Ｃは、憩室領域情報１１０と走行方向情報９６とに基づいて憩室と走行方向ＴＤとの位置関係を特定する。具体的には、導出部８２Ｃは、走行方向情報９６により示される走行方向ＴＤと、憩室領域情報１１０により示される憩室の位置及びサイズを比較して、憩室と走行方向ＴＤとが交差するかを特定する。そして、導出部８２Ｃは、走行方向ＴＤと憩室とが交差する位置関係であることを特定した場合には、報知情報１１４を生成する。
　導出部８２Ｃは、報知情報１１４を表示制御部８２Ｄに対して出力する。この場合、表示制御部８２Ｄは、報知情報１１４により示される憩室と走行方向ＴＤとが交差していることをユーザに報知する内容を含む表示画像９４を生成する。図２７に示す例では、表示装置１３において、画面３７に「憩室と走行方向とが交差しています」とのメッセージが表示された例が示されている。
　以上説明したように、本第１０変形例に係る十二指腸鏡システム１０では、導出部８２Ｃにおいて、憩室領域情報１１０と走行方向情報９６とに基づいて、憩室と走行方向ＴＤとの位置関係が特定され、特定結果に基づいて報知情報１１４が生成される。表示制御部８２Ｄにおいて、報知情報１１４に基づいて、表示画像９４が生成され、表示装置１３に対して出力される。表示画像９４には、報知情報１１４により示される憩室と走行方向とが交差している旨の表示が含まれている。これにより、ユーザに対して、憩室と走行方向とが交差していることを知覚させることができる。例えば、腸壁画像４１を観察しているユーザに対して、乳頭Ｎの開口に通じる胆管の走行方向ＴＤを、憩室の存在に起因して視覚的に誤って把握させてしまうという事態の発生を抑制することができる。
　＜第４実施形態＞
　上記第１実施形態～上記第３実施形態では、腸壁画像４１に対する画像認識処理により腸管方向ＣＤ、乳頭Ｎ、及び胆管の走行方向ＴＤ等の生体組織に関する情報が特定される形態例を挙げて説明したが、本開示の技術はこれに限定されない。本第４実施形態では、腸壁画像４１に対して画像認識処理が行われることで、処置具と生体組織との関係が特定される。
　例えば、ＥＲＣＰ検査において、乳頭Ｎに対して処置具を用いた種々の処置（例えば、乳頭Ｎに対してカニューレが挿入される）が行われる場合がある。この場合において、乳頭Ｎと処置具との位置関係が、手技の成否に影響する。例えば、処置具の進行方向が、乳頭向きＮＤと合っていない場合には、処置具が乳頭Ｎに対して適切にアプローチできず、手技を成功させることが困難になる。そこで、本第４実施形態では、腸壁画像４１に対する画像認識処理により処置具と乳頭Ｎとの位置関係が特定される。
　一例として図２８に示すように、画像取得部８２Ａは、腸壁画像４１をカメラ４８から取得する毎に、ＦＩＦＯ方式で時系列画像群８９を更新する。
　画像認識部８２Ｂは、画像取得部８２Ａから時系列画像群８９を取得し、取得した時系列画像群８９を学習済みモデル８４Ｉに入力する。これにより、学習済みモデル８４Ｉは、入力された時系列画像群８９に対応する位置関係情報１１６を出力する。画像認識部８２Ｂは、学習済みモデル８４Ｉから出力された位置関係情報１１６を取得する。ここで、位置関係情報１１６は、乳頭Ｎの位置と処置具の位置とを特定可能な情報（例えば、乳頭Ｎの位置と処置具の先端の位置との距離及び角度）である。
　学習済みモデル８４Ｉは、ニューラルネットワークに対して教師データを用いた機械学習が行われることによってニューラルネットワークが最適化されることで得られる。教師データは、例題データと正解データとが対応付けられた複数のデータ（すなわち、複数フレームのデータ）である。例題データは、例えば、ＥＲＣＰ検査の対象となり得る部位（例えば、十二指腸の内壁）が撮像されることによって得られた画像（例えば、腸壁画像４１に相当する画像）である。正解データは、例題データに対応するアノテーションである。正解データの一例としては、乳頭Ｎの位置と処置具の位置とを特定可能なアノテーションが挙げられる。
　導出部８２Ｃは、画像認識部８２Ｂから位置関係情報１１６を取得する。導出部８２Ｃは、位置関係情報１１６に基づいて、ユーザに対して乳頭Ｎと処置具との位置関係を報知する情報である報知情報１１８を生成する。導出部８２Ｃは、位置関係情報１１６により示される処置具の位置と乳頭Ｎの位置とを比較する。そして、導出部８２Ｃは、処置具の位置と乳頭Ｎの位置とが一致する場合は、処置具の位置と乳頭Ｎの位置とが一致する旨の報知情報１１８を生成する。また、導出部８２Ｃは、処置具の位置と乳頭Ｎの位置とが一致しない場合は、処置具の位置と乳頭Ｎの位置とが一致しない旨の報知情報１１８を生成する。
　なお、ここでは、処置具の位置と乳頭Ｎの位置とが一致するか否かの場合を例に挙げて説明したが、これはあくまでも一例にすぎない。例えば、処置具の位置と乳頭Ｎの位置が予め定められた範囲内（例えば、予め定められた距離及び角度の範囲内）であるか否かが判定されてもよい。
　一例として図２９に示すように、表示制御部８２Ｄは、導出部８２Ｃから報知情報１１８を取得する。導出部８２Ｃは、報知情報１１８を表示制御部８２Ｄに対して出力する。この場合、表示制御部８２Ｄは、報知情報１１８により示される処置具と乳頭Ｎの位置関係をユーザに報知する内容を含む表示画像９４を生成する。図２９に示す例では、表示装置１３において、画面３７に「処置具の位置と乳頭の位置が一致」とのメッセージが表示された例が示されている。
　以上説明したように、本第４実施形態に係る十二指腸鏡システム１０では、プロセッサ８２の画像認識部８２Ｂにおいて、腸壁画像４１に対して画像認識処理が行われ、処置具と乳頭との位置関係が特定される。導出部８２Ｃにおいて、処置具と乳頭との位置関係を示す位置関係情報１１６に基づいて、処置具と乳頭Ｎとの位置関係に関する判定が行われ、判定結果に基づいて、報知情報１１８が生成される。表示制御部８２Ｄにおいて、報知情報１１８に基づいて、表示画像９４が生成され、表示装置１３に対して出力される。表示画像９４には、報知情報１１８により示される処置具と乳頭Ｎとの位置関係に関する表示が含まれている。これにより、腸壁画像４１を観察しているユーザに対して、処置具の位置と乳頭Ｎの位置との関係が如何なる関係なのかを知覚させることができる。
　（第１１変形例）
　上記第４実施形態では、処置具と乳頭Ｎとの位置関係として、乳頭Ｎの位置と処置具との位置との関係が特定される形態例を挙げて説明したが、本開示の技術はこれに限定されない。本第１１変形例では、処置具の進行方向と乳頭向きＮＤとの関係が特定される。
　一例として図３０に示すように、画像認識部８２Ｂは、画像取得部８２Ａから時系列画像群８９を取得し、取得した時系列画像群８９を学習済みモデル８４Ｊに入力する。これにより、学習済みモデル８４Ｊは、入力された時系列画像群８９に対応する位置関係情報１１６Ａを出力する。ここで、位置関係情報１１６Ａは、乳頭向きＮＤと処置具の進行方向とを特定可能な情報（例えば、乳頭向きＮＤと処置具の進行方向との成す角度）である。
　学習済みモデル８４Ｊは、ニューラルネットワークに対して教師データを用いた機械学習が行われることによってニューラルネットワークが最適化されることで得られる。教師データは、例題データと正解データとが対応付けられた複数のデータ（すなわち、複数フレームのデータ）である。例題データは、例えば、ＥＲＣＰ検査の対象となり得る部位（例えば、十二指腸の内壁）が撮像されることによって得られた画像（例えば、腸壁画像４１に相当する画像）である。正解データは、例題データに対応するアノテーションである。正解データの一例としては、乳頭向きＮＤと処置具の進行方向との関係を特定可能なアノテーションが挙げられる。
　導出部８２Ｃは、画像認識部８２Ｂから位置関係情報１１６Ａを取得する。導出部８２Ｃは、位置関係情報１１６Ａに基づいて、ユーザに対して乳頭Ｎと処置具との位置関係を報知する情報である報知情報１１８を生成する。導出部８２Ｃは、乳頭向きＮＤと処置具の進行方向の成す角度が予め定められた範囲内である場合は、両者が一致する旨の報知情報１１８を生成する。また、導出部８２Ｃは、乳頭向きＮＤと処置具の進行方向の成す角度が予め定められた範囲を超える場合は、両者が一致しない旨の報知情報１１８を生成する。
　以上説明したように、本第１１変形例に係る十二指腸鏡システム１０では、画像認識部８２Ｂにおいて、処置具の進行方向と乳頭向きＮＤとの関係が特定される。導出部８２Ｃにおいて、処置具の進行方向と乳頭向きＮＤとの関係を示す位置関係情報１１６Ａに基づいて、報知情報１１８が生成される。これにより、腸壁画像４１を観察しているユーザに対して、処置具の進行方向と乳頭向きＮＤとの関係が如何なる関係なのかを知覚させることができる。
　なお、上記第１１変形例では、画像認識部８２Ｂにおいて、処置具の進行方向と乳頭向きＮＤとの関係が特定される形態例を挙げたが、本開示の技術はこれに限定されない。例えば、画像認識部８２Ｂにおいて、処置具の進行方向と乳頭向きＮＤとの関係と共に、乳頭Ｎの位置と処置具の位置との関係が特定されてもよい。この場合において、位置関係情報１１６Ａは、処置具の進行方向と乳頭向きＮＤとの関係、及び乳頭Ｎの位置と処置具の位置との関係を示す情報であり、導出部８２Ｃは、位置関係情報１１６Ａに基づいて、処置具の進行方向と乳頭向きＮＤとの関係に関する判定と、乳頭Ｎの位置と処置具の位置との関係に関する判定を行う。さらに導出部８２Ｃは、これらの判定結果に応じて報知情報１１８を生成する。
　（第１２変形例）
　上記第４実施形態では、処置具と乳頭Ｎとの位置関係として、乳頭Ｎの位置と処置具との位置との関係が特定される形態例を挙げて説明したが、本開示の技術はこれに限定されない。本第１１変形例では、処置具の進行方向と胆管の走行方向ＴＤとの関係が特定される。
　一例として図３１に示すように、画像認識部８２Ｂは、画像取得部８２Ａから時系列画像群８９を取得し、取得した時系列画像群８９を学習済みモデル８４Ｋに入力する。これにより、学習済みモデル８４Ｋは、入力された時系列画像群８９に対応する位置関係情報１１６Ｂを出力する。ここで、位置関係情報１１６Ｂは、胆管の走行方向ＴＤと処置具の進行方向との関係を特定可能な情報（例えば、胆管の走行方向ＴＤにおける開口端部の接線の方向（以下単に、「胆管接線方向」と称する）と、処置具の進行方向との成す角度）である。
　学習済みモデル８４Ｋは、ニューラルネットワークに対して教師データを用いた機械学習が行われることによってニューラルネットワークが最適化されることで得られる。教師データは、例題データと正解データとが対応付けられた複数のデータ（すなわち、複数フレームのデータ）である。例題データは、例えば、ＥＲＣＰ検査の対象となり得る部位（例えば、十二指腸の内壁）が撮像されることによって得られた画像（例えば、腸壁画像４１に相当する画像）である。正解データは、例題データに対応するアノテーションである。正解データの一例としては、胆管の走行方向ＴＤと処置具の進行方向との関係を特定可能なアノテーションが挙げられる。
　導出部８２Ｃは、画像認識部８２Ｂから位置関係情報１１６Ｂを取得する。導出部８２Ｃは、位置関係情報１１６Ｂに基づいて、ユーザに対して胆管の走行方向ＴＤと処置具の進行方向との関係を報知する情報である報知情報１１８を生成する。導出部８２Ｃは、胆管接線方向と処置具の進行方向の成す角度が予め定められた範囲内である場合は、両者が一致する旨の報知情報１１８を生成する。また、導出部８２Ｃは、胆管接線方向と処置具の進行方向の成す角度が予め定められた範囲を超える場合は、両者が一致しない旨の報知情報１１８を生成する。
　以上説明したように、本第１２変形例に係る十二指腸鏡システム１０では、画像認識部８２Ｂにおいて、処置具の進行方向と胆管の走行方向ＴＤとの関係が特定される。導出部８２Ｃにおいて、処置具の進行方向と胆管の走行方向ＴＤとの関係を示す位置関係情報１１６Ｂに基づいて、報知情報１１８が生成される。これにより、腸壁画像４１を観察しているユーザに対して、処置具の進行方向と胆管の走行方向ＴＤとの関係が如何なる関係なのかを知覚させることができる。
　（第１３変形例）
　上記第４実施形態では、処置具と乳頭Ｎとの位置関係として、乳頭Ｎの位置と処置具との位置との関係が特定される形態例を挙げて説明したが、本開示の技術はこれに限定されない。本第１３変形例では、処置具の進行方向と乳頭隆起ＮＡの隆起方向ＲＤに対して垂直な面の向き（以下単に「垂直面向き」とも称する）との関係が特定される。
一例として図３２に示すように、画像認識部８２Ｂは、画像取得部８２Ａから時系列画像群８９を取得し、取得した時系列画像群８９を学習済みモデル８４Ｌに入力する。これにより、学習済みモデル８４Ｌは、入力された時系列画像群８９に対応する位置関係情報１１６Ｃを出力する。ここで、位置関係情報１１６Ｃは、垂直面向きと処置具の進行方向との関係を特定可能な情報（例えば、垂直面向きと処置具の進行方向との成す角度）である。
　学習済みモデル８４Ｌは、ニューラルネットワークに対して教師データを用いた機械学習が行われることによってニューラルネットワークが最適化されることで得られる。教師データは、例題データと正解データとが対応付けられた複数のデータ（すなわち、複数フレームのデータ）である。例題データは、例えば、ＥＲＣＰ検査の対象となり得る部位（例えば、十二指腸の内壁）が撮像されることによって得られた画像（例えば、腸壁画像４１に相当する画像）である。正解データは、例題データに対応するアノテーションである。正解データの一例としては、垂直面向きと処置具の進行方向との関係を特定可能なアノテーションが挙げられる。
　導出部８２Ｃは、画像認識部８２Ｂから位置関係情報１１６Ｃを取得する。導出部８２Ｃは、位置関係情報１１６Ｃに基づいて、ユーザに対して垂直面向きと処置具の進行方向との関係を報知する情報である報知情報１１８を生成する。導出部８２Ｃは、垂直面向きと処置具の進行方向との成す角度が予め定められた範囲内である場合は、両者が一致する旨の報知情報１１８を生成する。また、導出部８２Ｃは、垂直面向きと処置具の進行方向との成す角度が予め定められた範囲を超える場合は、両者が一致しない旨の報知情報１１８を生成する。
　以上説明したように、本第１３変形例に係る十二指腸鏡システム１０では、画像認識部８２Ｂにおいて、垂直面向きと処置具の進行方向との関係が特定される。導出部８２Ｃにおいて、垂直面向きと処置具の進行方向との関係を示す位置関係情報１１６Ｃに基づいて、報知情報１１８が生成される。これにより、腸壁画像４１を観察しているユーザに対して、垂直面向きと処置具の進行方向との関係が如何なる関係なのかを知覚させることができる。
　（第１４変形例）
　上記第４実施形態では、腸壁画像４１に対して画像認識処理を行うことで処置具と乳頭Ｎとの位置関係を特定する形態例を挙げて説明したが、本開示の技術はこれに限定されない。本第１４変形例では、腸壁画像４１に対して画像認識処理を行うことで、処置具と乳頭Ｎの位置関係に関する評価値が取得される。
　一例として図３３に示すように、画像取得部８２Ａは、腸壁画像４１をカメラ４８から取得する毎に、ＦＩＦＯ方式で時系列画像群８９を更新する。
　画像認識部８２Ｂは、画像取得部８２Ａから時系列画像群８９を取得し、取得した時系列画像群８９を学習済みモデル８４Ｍに入力する。これにより、学習済みモデル８４Ｍは、入力された時系列画像群８９に対応する評価値情報１２０を出力する。画像認識部８２Ｂは、学習済みモデル８４Ｍから出力された評価値情報１２０を取得する。ここで、評価値情報１２０は、乳頭Ｎと処置具との適切な配置に関する評価値を特定可能な情報（例えば、乳頭Ｎと処置具との配置に応じて定まる手技の成功度合い）である。評価値情報１２０は、例えば、学習済みモデル８４Ｍの出力層の活性化関数（例えば、ソフトマックス関数等）に入力される複数のスコア（手技の成功又は不成功毎のスコア）である。
　学習済みモデル８４Ｍは、ニューラルネットワークに対して教師データを用いた機械学習が行われることによってニューラルネットワークが最適化されることで得られる。教師データは、例題データと正解データとが対応付けられた複数のデータ（すなわち、複数フレームのデータ）である。例題データは、例えば、ＥＲＣＰ検査の対象となり得る部位（例えば、十二指腸の内壁）が撮像されることによって得られた画像（例えば、腸壁画像４１に相当する画像）である。正解データは、例題データに対応するアノテーションである。正解データの一例としては、乳頭Ｎと処置具との適切な配置に関する評価値を特定可能なアノテーション（例えば、手技の成功又は不成功を示すアノテーション）が挙げられる。
　また、画像認識部８２Ｂは、時系列画像群８９を学習済みモデル８４Ｎに入力する。これにより、学習済みモデル８４Ｎは、入力された時系列画像群８９に対応する接触有無情報１２２を出力する。画像認識部８２Ｂは、学習済みモデル８４Ｍから出力された接触有無情報１２２を取得する。ここで、接触有無情報１２２は、乳頭Ｎと処置具との接触有無を特定可能な情報である。
　学習済みモデル８４Ｎは、ニューラルネットワークに対して教師データを用いた機械学習が行われることによってニューラルネットワークが最適化されることで得られる。教師データは、例題データと正解データとが対応付けられた複数のデータ（すなわち、複数フレームのデータ）である。例題データは、例えば、ＥＲＣＰ検査の対象となり得る部位（例えば、十二指腸の内壁）が撮像されることによって得られた画像（例えば、腸壁画像４１に相当する画像）である。正解データは、例題データに対応するアノテーションである。正解データの一例としては、乳頭Ｎと処置具との接触有無を特定可能なアノテーションが挙げられる。
　導出部８２Ｃは、画像認識部８２Ｂから接触有無情報１２２を取得する。導出部８２Ｃは、接触有無情報１２２に基づいて、処置具と乳頭Ｎとの接触が検出されたか否かを判定する。処置具と乳頭Ｎとの接触が検出された場合、導出部８２Ｃは、評価値情報１２０に基づいて、報知情報１２４を生成する。報知情報１２４は、ユーザに対して手技の成功確率を報知するための情報（例えば、手技の成功確率を示すテキスト）である。
　一例として図３４に示すように、表示制御部８２Ｄは、導出部８２Ｃから報知情報１２４を取得する。導出部８２Ｃは、報知情報１２４を表示制御部８２Ｄに対して出力する。この場合、表示制御部８２Ｄは、報知情報１２４により示される手技の成功確率をユーザに報知する内容を含む表示画像９４を生成する。図３４に示す例では、表示装置１３において、画面３７に「カニューレ挿入成功確率：９０％」とのメッセージが表示された例が示されている。
　以上説明したように、本第１４変形例に係る十二指腸鏡システム１０では、プロセッサ８２の画像認識部８２Ｂにおいて、腸壁画像４１に対して画像認識処理が行われ、処置具と乳頭Ｎの配置に関する評価値が算出される。導出部８２Ｃにおいて、評価値を示す評価値情報１２０に基づいて、報知情報１２４が生成される。表示制御部８２Ｄにおいて、報知情報１２４に基づいて、表示画像９４が生成され、表示装置１３に対して出力される。表示画像９４には、報知情報１２４により示される手技の成功確率に関する表示が含まれている。これにより、腸壁画像４１を観察しているユーザに対して、処置具を用いた手技の成功確率を報知することができる。ユーザは、手技の成功確率を把握したうえで、操作の継続、又は変更を検討することができるので、処置具を用いた手技の成功を支援することができる。
　また、本第１４変形例に係る十二指腸鏡システム１０では、画像認識部８２Ｂにおいて、腸壁画像４１に対して画像認識処理が行われ、処置具と乳頭Ｎの接触の有無が特定される。そして、導出部８２Ｃにおいて、接触有無情報１２２に基づいて、処置具と乳頭Ｎとが接触した場合に、評価値情報１２０に基づいて報知情報１２４が生成される。これにより、腸壁画像４１を観察しているユーザに対して、必要な場面でのみ処置具を用いた手技の成功確率を報知することができる。換言すれば、処置具を用いた乳頭Ｎに対する手技を適切なタイミングで支援することができる。
　＜第５実施形態＞
　上記第４実施形態では、腸壁画像４１に対して画像認識処理を行うことにより処置具と乳頭Ｎとの位置関係が特定される形態例を挙げて説明したが、本開示の技術はこれに限定されない。本第５実施形態では、処置具が切開器具である場合に、腸壁画像４１に対する画像認識処理の結果に基づいて切開方向が得られる。
　例えば、ＥＲＣＰ検査において、処置具としての切開器具（例えば、パピロトミーナイフ）が用いられる場合がある。切開器具を用いて、乳頭Ｎを切り開くことで、処置具の乳頭Ｎへの挿入を容易にしたり、胆管Ｔ又は膵管Ｓ内の異物を取り除き易くしたりするためである。この場合において、切開器具により乳頭Ｎを切り開く方向（すなわち、切開方向）の選択を誤ると不用意な出血を伴う等、手技の成功が困難になる場合がある。そこで、本第５実施形態では、腸壁画像４１に対して画像認識処理を行うことで、切開方向として推奨される方向（すなわち、切開推奨方向）が特定される。
　一例として図３５に示すように、画像取得部８２Ａは、腸壁画像４１をカメラ４８から取得する毎に、ＦＩＦＯ方式で時系列画像群８９を更新する。
　画像認識部８２Ｂは、画像取得部８２Ａから時系列画像群８９を取得し、取得した時系列画像群８９を学習済みモデル８４Ｅに入力する。これにより、学習済みモデル８４Ｅは、入力された時系列画像群８９に対応する隆起方向情報１０４を出力する。
　導出部８２Ｃは、隆起方向情報１０４を、画像認識部８２Ｂから取得する。そして、導出部８２Ｃは、隆起方向情報１０４に基づいて、切開推奨方向情報１２６を導出する。切開推奨方向情報１２６は、切開推奨方向を特定可能な情報（例えば、切開推奨方向の始点及び終点の位置座標群）である。導出部８２Ｃは、例えば、隆起方向ＲＤと切開推奨方向との間の既定の方位関係から、切開推奨方向を導出する。具体的には、導出部８２Ｃは、隆起方向ＲＤを１２時の方向とした場合において、切開推奨方向を１１時の方向として導出する。
　一例として図３６に示すように、表示制御部８２Ｄは、導出部８２Ｃから切開推奨方向情報１２６を取得する。表示制御部８２Ｄは、切開推奨方向情報１２６により示される切開方向に基づいて、切開方向を示す画像である切開方向画像９３Ｆを生成する。そして、表示制御部８２Ｄは、切開方向画像９３Ｆ及び腸壁画像４１を含む表示画像９４を生成し、表示装置１３に出力する。図３６に示す例では、表示装置１３において、画面３６に切開方向画像９３Ｆが重畳表示された腸壁画像４１が示されている。
　以上説明したように、本第５実施形態に係る十二指腸鏡システム１０では、導出部８２Ｃにおいて、切開推奨方向情報１２６が生成される。表示制御部８２Ｄにおいて切開推奨方向情報１２６に基づいて、表示画像９４が生成され、表示装置１３に対して出力される。表示画像９４には切開推奨方向情報１２６により示される切開推奨方向を示す切開方向画像９３Ｆが含まれている。これにより、腸壁画像４１を観察しているユーザに対して、切開推奨方向を把握させることができる。この結果、乳頭Ｎに対する切開の成功を支援することができる。
　（第１５変形例）
　なお、上記第５実施形態では、切開推奨方向が特定される形態例を挙げて説明したが、本開示の技術はこれに限定されない。本第１５変形例では、切開方向として推奨されない方向（すなわち、切開非推奨方向）が特定されてもよい。
　一例として図３７に示すように、導出部８２Ｃは、切開非推奨方向情報１２７を導出する。切開非推奨方向情報１２７は、切開非推奨方向を特定可能な情報（例えば、切開推奨方向の以外の方向を示す角度）である。導出部８２Ｃは、例えば、隆起方向ＲＤと切開推奨方向との間の既定の方位関係から、切開推奨方向を導出する。具体的には、導出部８２Ｃは、隆起方向ＲＤを１２時の方向とした場合において、切開推奨方向を１１時の方向として導出する。そして、導出部８２Ｃは、切開推奨方向を含む予め定められた角度範囲（例えば、切開推奨方向を中心として±５度の範囲）を除く範囲を切開非推奨方向として特定する。
　表示制御部８２Ｄは、導出部８２Ｃから切開非推奨方向情報１２７を取得する。表示制御部８２Ｄは、切開非推奨方向情報１２７により示される切開非推奨方向に基づいて切開非推奨方向を示す画像である切開非推奨方向画像９３Ｇを生成する。そして、表示制御部８２Ｄは、切開非推奨方向画像９３Ｇ及び腸壁画像４１を含む表示画像９４を生成し、表示装置１３に出力する。図３７に示す例では、表示装置１３において、画面３６に切開非推奨方向画像９３Ｇが重畳表示された腸壁画像４１が示されている。
　以上説明したように、本第１５変形例に係る十二指腸鏡システム１０では、導出部８２Ｃにおいて、切開非推奨方向情報１２７が生成される。表示制御部８２Ｄにおいて切開非推奨方向情報１２７に基づいて、表示画像９４が生成され、表示装置１３に対して出力される。表示画像９４には切開非推奨方向情報１２７により示される切開非推奨方向を示す切開非推奨方向画像９３Ｇが含まれている。これにより、腸壁画像４１を観察しているユーザに対して、切開非推奨方向を把握させることができる。この結果、乳頭Ｎに対する切開の成功を支援することができる。
　なお、上記各実施形態では、ユーザに対して操作方向を示す態様として、操作方向を示す矢印の画像が画面３６に表示される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、ユーザに対して操作方向を示す画像は、操作方向を示す三角形の画像でもよい。また、操作方向を示す画像に代えて、又は、画像と共に、操作方向を示すメッセージが表示される態様であってもよい。さらに、操作方向を示す画像は、画面３６に表示されるのではなく、別のウィンドウ又は別の表示装置に表示される態様であってもよい。
　また、上記各実施形態では、胆管方向ＴＤが示される形態例を挙げて説明したが、本開示の技術は、これに限定されない。胆管方向ＴＤに代えて、又は、胆管方向ＴＤと共に、膵管Ｓの走行方向が示される態様であってもよい。
　また、上記各実施形態では、表示装置１３に各種情報が出力される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、表示装置１３に代えて、又は、表示装置１３と共にスピーカ（図示省略）等の音声出力装置に出力されてもよいし、プリンタ（図示省略）等の印刷装置に出力されてもよい。
　上記各実施形態では、各種情報が、表示装置１３に対して出力され、これらの情報が表示装置１３の画面３６に表示される形態例を挙げて説明したが、本開示の技術はこれに限定されない。各種情報は、電子カルテサーバに対して出力される態様であってもよい。電子カルテサーバは、患者に対する診療結果を示す電子カルテ情報を記憶するためのサーバである。電子カルテ情報は、各種情報を含んでいる。
　電子カルテサーバは、ネットワークを介して十二指腸鏡システム１０と接続されている。電子カルテサーバは、十二指腸鏡システム１０から腸壁画像４１及び各種情報を取得する。電子カルテサーバは、腸壁画像４１及び各種情報を電子カルテ情報により示される診療結果の一部として記憶する。
　電子カルテサーバは、十二指腸鏡システム１０以外の端末（例えば、診療施設内に設置されたパーソナル・コンピュータ）ともネットワークを介して接続されている。医師１４等のユーザは、電子カルテサーバに記憶された腸壁画像４１及び各種情報を、端末を介して入手することができる。このように、腸壁画像４１及び各種情報が、電子カルテサーバに記憶されていることで、ユーザは、腸壁画像４１及び各種情報を入手することができる。
　また、上記各実施形態では、腸壁画像４１に対してＡＩ方式の画像認識処理が実行される形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、パターンマッチング方式の画像認識処理が実行されてもよい。
　上記実施形態では、画像処理装置２５に含まれるコンピュータ７６のプロセッサ８２によって医療支援処理が行われる形態例を挙げて説明したが、本開示の技術はこれに限定さない。例えば、医療支援処理は、制御装置２２に含まれるコンピュータ６４のプロセッサ７０によって行われてもよい。また、医療支援処理を行う装置は、十二指腸鏡１２の外部に設けられていてもよい。十二指腸鏡１２の外部に設けられる装置としては、例えば、十二指腸鏡１２と通信可能に接続されている少なくとも１台のサーバ及び／又は少なくとも１台のパーソナル・コンピュータ等が挙げられる。また、医療支援処理は、複数の装置によって分散して行われるようにしてもよい。
　上記実施形態では、ＮＶＭ８４に医療支援処理プログラム８４Ａが記憶されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、医療支援処理プログラム８４ＡがＳＳＤ又はＵＳＢメモリなどの可搬型の非一時的記憶媒体に記憶されていてもよい。非一時的記憶媒体に記憶されている医療支援処理プログラム８４Ａは、十二指腸鏡１２のコンピュータ７６にインストールされる。プロセッサ８２は、医療支援処理プログラム８４Ａに従って医療支援処理を実行する。
　また、ネットワークを介して十二指腸鏡１２に接続される他のコンピュータ又はサーバ等の記憶装置に医療支援処理プログラム８４Ａを記憶させておき、十二指腸鏡１２の要求に応じて医療支援処理プログラム８４Ａがダウンロードされ、コンピュータ７６にインストールされるようにしてもよい。
　なお、十二指腸鏡１２に接続される他のコンピュータ又はサーバ装置等の記憶装置、又はＮＶＭ８４に医療支援処理プログラム８４Ａの全てを記憶させておく必要はなく、医療支援処理プログラム８４Ａの一部を記憶させておいてもよい。
　医療支援処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、医療支援処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ、ＰＬＤ、又はＡＳＩＣなどの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで医療支援処理を実行する。
　医療支援処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、医療支援処理を実行するハードウェア資源は１つのプロセッサであってもよい。
　１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、医療支援処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣなどに代表されるように、医療支援処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、医療支援処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。
　更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の医療支援処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。
　以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
　本明細書において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。
　本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
　２０２２年１１月４日に出願された日本国特許出願２０２２－１７７６１３号の開示は、その全体が参照により本明細書に取り込まれる。

Claims (18)

  1. 　プロセッサを備え、
    　前記プロセッサは、
    　内視鏡スコープが挿入される十二指腸の幾何特性を特定可能な幾何特性情報に基づいて前記十二指腸の腸管方向に関連する腸管方向関連情報を取得し、
    　前記腸管方向関連情報を出力する
    　医療支援装置。
  2. 　前記腸管方向関連情報は、前記内視鏡スコープの姿勢と前記腸管方向とのずれ量を示すずれ量情報を含む
    　請求項１に記載の医療支援装置。
  3. 　前記幾何特性情報は、前記内視鏡スコープに設けられたカメラによって前記十二指腸の腸壁が撮像されることで得られた腸壁画像を含み、
    　前記プロセッサは、前記腸壁画像に対して第１画像認識処理を実行することにより前記腸管方向関連情報を取得する
    　請求項１に記載の医療支援装置。
  4. 　前記腸管方向関連情報を出力することは、前記腸管方向関連情報を第１画面に表示することを含む
    　請求項１に記載の医療支援装置。
  5. 　前記腸管方向関連情報は、前記腸管方向と既定角度で交差する第１方向を特定可能な第１方向情報を含む
    　請求項１に記載の医療支援装置。
  6. 　前記第１方向情報は、前記内視鏡スコープに設けられたカメラによって前記十二指腸の腸壁が撮像されることで得られた腸壁画像に対して第２画像認識処理が実行されることにより得られる
    　請求項５に記載の医療支援装置。
  7. 　前記第１方向情報は、前記第２画像認識処理としてＡＩ方式の画像認識処理が行われることによって閾値以上の確信度で得られた情報である
    　請求項６に記載の医療支援装置。
  8. 　前記プロセッサは、前記十二指腸に前記内視鏡スコープが挿入された状態での前記内視鏡スコープの姿勢を特定可能な姿勢情報を取得し、
    　前記腸管方向関連情報は、前記姿勢の調整を支援する姿勢調整支援情報を含み、
    　前記姿勢調整支援情報は、前記腸管方向と前記姿勢情報から特定される前記姿勢とのずれ量に基づいて定められた情報である
    　請求項１に記載の医療支援装置。
  9. 　前記腸管方向関連情報は、前記内視鏡スコープの姿勢を変えることにより前記内視鏡スコープに設けられたカメラの光軸方向を前記腸管方向に既定角度で交差する第２方向と一致させる条件を示す条件情報を含む
    　請求項１に記載の医療支援装置。
  10. 　前記条件は、前記光軸方向と前記第２方向とを一致させるために前記内視鏡スコープに対して行われる操作に関する操作条件を含む
    　請求項９に記載の医療支援装置。
  11. 　前記内視鏡スコープに設けられたカメラの光軸方向と前記腸管方向に既定角度で交差する第３方向とが一致した場合、
    　前記腸管方向関連情報は、前記光軸方向と前記第３方向とが一致したことを報知する報知情報を含む
    　請求項１に記載の医療支援装置。
  12. 　前記プロセッサは、
    　前記内視鏡スコープに設けられたカメラによって前記十二指腸の腸壁が撮像されることで得られた腸壁画像に対して第３画像認識処理を実行することにより十二指腸乳頭領域を検出し、
    　前記十二指腸乳頭領域を第２画面に表示し、
    　前記十二指腸乳頭領域の向きを示す乳頭向き情報であって、前記腸管方向関連情報に基づいて得られた乳頭向き情報を前記第２画面に表示する
    　請求項１に記載の医療支援装置。
  13. 　前記プロセッサは、
    　前記内視鏡スコープに設けられたカメラによって前記十二指腸の腸壁が撮像されることで得られた腸壁画像に対して第４画像認識処理を実行することにより十二指腸乳頭領域を検出し、
    　前記十二指腸乳頭領域を第３画面に表示し、
    　前記十二指腸乳頭領域の開口に通じる管の走行方向を示す走行方向情報であって、前記腸管方向関連情報に基づいて得られた走行方向情報を前記第３画面に表示する
    　請求項１に記載の医療支援装置。
  14. 　前記管は、胆管又は膵管である
    　請求項１３に記載の医療支援装置。
  15. 　前記幾何特性情報は、前記十二指腸の奥行の深度を示す深度情報を含み、
    　前記腸管方向関連情報は、前記深度情報に基づいて取得される
    　請求項１に記載の医療支援装置。
  16. 　請求項１から請求項１５の何れか一項に記載の医療支援装置と、
    　前記内視鏡スコープと、を備える
    　内視鏡。
  17. 　内視鏡スコープが挿入される十二指腸の幾何特性を特定可能な幾何特性情報に基づいて前記十二指腸の腸管方向に関連する腸管方向関連情報を取得すること、及び
    　前記腸管方向関連情報を出力することを含む
    　医療支援方法。
  18. 　コンピュータに、
    　内視鏡スコープが挿入される十二指腸の幾何特性を特定可能な幾何特性情報に基づいて前記十二指腸の腸管方向に関連する腸管方向関連情報を取得すること、及び
    　前記腸管方向関連情報を出力することを含む処理を実行させるためのプログラム。
PCT/JP2023/036269 2022-11-04 2023-10-04 医療支援装置、内視鏡、医療支援方法、及びプログラム WO2024095675A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022177613 2022-11-04
JP2022-177613 2022-11-04

Publications (1)

Publication Number Publication Date
WO2024095675A1 true WO2024095675A1 (ja) 2024-05-10

Family

ID=90930419

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/036269 WO2024095675A1 (ja) 2022-11-04 2023-10-04 医療支援装置、内視鏡、医療支援方法、及びプログラム

Country Status (1)

Country Link
WO (1) WO2024095675A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006230906A (ja) * 2005-02-28 2006-09-07 Toshiba Corp 医用診断システム、医用診断装置及び内視鏡
JP6534193B2 (ja) * 2014-07-02 2019-06-26 コヴィディエン リミテッド パートナーシップ 実時間自動位置合わせフィードバック
JP2020062218A (ja) * 2018-10-17 2020-04-23 学校法人日本大学 学習装置、推定装置、学習方法、推定方法、およびプログラム
JP6797834B2 (ja) * 2015-05-22 2020-12-09 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 画像誘導手術のための位置合わせのシステム及び方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006230906A (ja) * 2005-02-28 2006-09-07 Toshiba Corp 医用診断システム、医用診断装置及び内視鏡
JP6534193B2 (ja) * 2014-07-02 2019-06-26 コヴィディエン リミテッド パートナーシップ 実時間自動位置合わせフィードバック
JP6797834B2 (ja) * 2015-05-22 2020-12-09 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 画像誘導手術のための位置合わせのシステム及び方法
JP2020062218A (ja) * 2018-10-17 2020-04-23 学校法人日本大学 学習装置、推定装置、学習方法、推定方法、およびプログラム

Similar Documents

Publication Publication Date Title
CN106659373B (zh) 用于在肺内部的工具导航的动态3d肺图谱视图
US7659912B2 (en) Insertion support system for producing imaginary endoscopic image and supporting insertion of bronchoscope
US10092216B2 (en) Device, method, and non-transitory computer-readable medium for identifying body part imaged by endoscope
US20090292175A1 (en) Medical device
EP3777645A1 (en) Endoscope observation assistance device, endoscope observation assistance method, and program
KR20160086629A (ko) 영상유도 수술에서 수술부위와 수술도구 위치정합 방법 및 장치
WO2020242949A1 (en) Systems and methods for video-based positioning and navigation in gastroenterological procedures
CN113365545A (zh) 图像记录装置、图像记录方法和图像记录程序
CN114980793A (zh) 内窥镜检查辅助装置、内窥镜检查辅助装置的工作方法以及程序
US20230148847A1 (en) Information processing system, medical system and cannulation method
EP2777593A2 (en) Real time image guidance system
WO2024095675A1 (ja) 医療支援装置、内視鏡、医療支援方法、及びプログラム
WO2024095676A1 (ja) 医療支援装置、内視鏡、及び医療支援方法
WO2024095674A1 (ja) 医療支援装置、内視鏡、医療支援方法、及びプログラム
CN115089163A (zh) 呼吸信号检测方法及其装置、手术导航方法及其装置
WO2024095673A1 (ja) 医療支援装置、内視鏡、医療支援方法、及びプログラム
JP7260060B2 (ja) 情報処理装置、表示方法、及びプログラム
JP2021194268A (ja) 血管観察システムおよび血管観察方法
WO2024018713A1 (ja) 画像処理装置、表示装置、内視鏡装置、画像処理方法、画像処理プログラム、学習済みモデル、学習済みモデル生成方法、及び、学習済みモデル生成プログラム
WO2024048098A1 (ja) 医療支援装置、内視鏡、医療支援方法、及びプログラム
CN113317874A (zh) 一种医学图像处理装置及介质
JP2021194268A6 (ja) 血管観察システムおよび血管観察方法
WO2023175986A1 (ja) 内視鏡挿入支援システム、内視鏡挿入支援方法および記憶媒体
US20240065527A1 (en) Medical support device, endoscope, medical support method, and program
US20240000299A1 (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23885438

Country of ref document: EP

Kind code of ref document: A1