WO2021166208A1 - 画像処理システム、内視鏡システム及び画像処理方法 - Google Patents

画像処理システム、内視鏡システム及び画像処理方法 Download PDF

Info

Publication number
WO2021166208A1
WO2021166208A1 PCT/JP2020/006965 JP2020006965W WO2021166208A1 WO 2021166208 A1 WO2021166208 A1 WO 2021166208A1 JP 2020006965 W JP2020006965 W JP 2020006965W WO 2021166208 A1 WO2021166208 A1 WO 2021166208A1
Authority
WO
WIPO (PCT)
Prior art keywords
bleeding
image
processing
treatment
database
Prior art date
Application number
PCT/JP2020/006965
Other languages
English (en)
French (fr)
Inventor
木村　正人
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2020/006965 priority Critical patent/WO2021166208A1/ja
Priority to JP2022501544A priority patent/JP7376677B2/ja
Priority to CN202080096312.0A priority patent/CN115135223A/zh
Publication of WO2021166208A1 publication Critical patent/WO2021166208A1/ja
Priority to US17/886,698 priority patent/US20220392069A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/02042—Determining blood loss or bleeding, e.g. during a surgical procedure
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30101—Blood vessel; Artery; Vein; Vascular

Definitions

  • the present invention relates to an image processing system, an endoscope system, an image processing method, and the like.
  • Patent Document 1 discloses a method for detecting a bleeding region based on moving image information during surgery.
  • Patent Document 1 determines the detection of a bleeding area, the change in the area of the bleeding area, the amount of bleeding, etc., but the treatment for bleeding is left to the user who is the operator.
  • an image processing system capable of appropriately supporting a user by presenting a recommended treatment method for bleeding that occurs in vivo. Etc. can be provided.
  • One aspect of the present disclosure is an image acquisition unit that acquires a time-series image captured in a living body by an endoscopic imaging device as a processing target image sequence, and a plurality of images captured at a timing prior to the processing target image sequence.
  • the processing unit includes a database generated by an in-vivo image and a processing unit that performs processing based on the processing target image sequence, and the processing unit includes the processing target image sequence when bleeding occurs in the living body. It is related to an image processing system that determines a hemostatic treatment for a blood vessel in which the bleeding has occurred based on the above database and presents the determined hemostatic treatment to a user.
  • an imaging unit that images the inside of a living body
  • an image acquisition unit that acquires a time-series image captured by the imaging unit as a processing target image sequence, and a timing before the processing target image sequence.
  • the processing unit includes a database generated by a plurality of captured in-vivo images and a processing unit that performs processing based on the processing target image sequence, and the processing unit includes when bleeding occurs in the living body. It relates to an endoscopic system that determines a hemostatic treatment for a blood vessel in which the bleeding has occurred based on the image sequence to be processed and the database, and presents the determined hemostatic treatment to a user.
  • a time-series image obtained by imaging the inside of a living body by an endoscopic imaging device is acquired as a processing target image string, and when bleeding occurs in the living body, the time series image is before the processing target image string.
  • the hemostatic treatment for the blood vessel in which the bleeding has occurred is determined, and the determined hemostatic treatment is presented to the user. It is related to the image processing method that performs the processing.
  • FIG. 1 Schematic diagram showing blood vessels associated with the liver. Schematic configuration example of an image processing system. Configuration example of the system including the image processing system. A flowchart illustrating a database creation process. Configuration example of image processing system. Configuration example of an endoscope system. A flowchart illustrating processing in an image processing system. A flowchart illustrating a bleeding determination process. A flowchart illustrating a bleeding detection process. A flowchart illustrating a bleeding point detection process. A flowchart illustrating a bleeding point detection process for a given bleeding area. 12 (A) and 12 (B) are schematic views illustrating a bleeding point detection process. An example of the data obtained by the bleeding point detection process. 14 (A) and 14 (B) are examples of databases.
  • 15 (A) and 15 (B) are examples of neural networks. Neural network input and output examples.
  • the flowchart explaining the decision process of the hemostatic treatment A flowchart illustrating a display process. An example of a display image for presenting a hemostatic procedure.
  • FIG. 20 (A) is another example of the database
  • FIG. 20 (B) is another example of the input and output of the neural network.
  • FIG. 21 (A) is another example of the database
  • FIG. 21 (B) is another example of the input and output of the neural network.
  • 23 (A) and 23 (B) are other examples of the database.
  • Patent Document 1 discloses a method of detecting and presenting information on bleeding based on an captured image. However, although it may be possible to detect the presence or absence of bleeding by the conventional method such as Patent Document 1, it is left to the doctor to decide the specific treatment based on the information.
  • FIG. 1 is a schematic diagram showing the liver and blood vessels related to the liver.
  • the blood vessels related to the liver include a plurality of blood vessels of different types such as portal vein (A1), hepatic artery (A2), and hepatic vein (A3).
  • A1 portal vein
  • A2 hepatic artery
  • A3 hepatic vein
  • the desired hemostatic treatment when bleeding occurs differs depending on the type of blood vessel. Therefore, depending on the skill level of the doctor, it is difficult to quickly determine the appropriate treatment for bleeding. As a result, the operation time increases, and the burden on the patient and the operator increases.
  • FIG. 2 is a diagram showing a configuration example of the image processing system 100 of the present embodiment.
  • the image processing system 100 includes an image acquisition unit 110 that acquires a time-series image captured in the living body by an endoscope imaging device as a processing target image sequence, and a plurality of raw images captured at a timing prior to the processing target image sequence.
  • the processing unit 120 that performs processing based on the database generated by the in-vivo image and the image string to be processed is included. Then, when bleeding occurs in the living body, the processing unit 120 determines a hemostatic treatment for the blood vessel in which the bleeding has occurred based on the image string to be processed and the database, and presents the determined hemostatic treatment to the user. conduct.
  • the endoscope imaging device is an imaging device included in the endoscope system 200, and is provided, for example, in the endoscope scope 210 described later.
  • the image processing system 100 may periodically execute the process of determining the hemostatic treatment without performing the bleeding detection process.
  • the decision processing result of the hemostatic treatment differs depending on the occurrence of bleeding, and when the bleeding occurs, the specific hemostatic treatment such as suturing is decided and presented, and when the bleeding does not occur, the hemostatic treatment is unnecessary. It is judged.
  • the processing target image sequence represents a time-series image to be processed to determine the hemostasis treatment.
  • the image sequence to be processed is a real-time moving image captured in the laparoscopic surgery being performed.
  • the database includes a plurality of images taken in the surgery performed in the past than the execution timing of the process for determining the hemostatic treatment.
  • the surgery performed in the past may be performed on the same patient as the target patient of the laparoscopic surgery performed in real time, or may be performed on a different patient. ..
  • the database when deciding on a hemostatic procedure in a partial liver resection, includes moving images taken in previous partial liver resections.
  • the operation here is specifically an operation using a laparoscope.
  • the database may include case images obtained by imaging the course of surgery in open surgery.
  • it is desirable that the amount of information contained in the database is large. For example, when counting moving images of a period corresponding to one occurrence of bleeding in partial liver resection as one moving image, the database includes a plurality of moving images. That is, one moving image corresponding to one bleeding includes a plurality of in-vivo images, and the database includes a plurality of the moving images.
  • the method of the present embodiment it is possible to present the recommended hemostatic treatment to the user as well as the presence / absence of bleeding and the presentation of the bleeding point.
  • the user here is specifically a doctor who is an operator. This makes it possible to appropriately support the hemostasis treatment by the user.
  • the region where blood exists is imaged as a red region. Therefore, it is possible to estimate the amount of bleeding based on the area of the red region.
  • the distance between the imaging unit and the living body changes, the size on the image will change even if the actual size of the subject is the same.
  • the configuration of an imaging optical system such as a lens and image processing such as digital zoom are also factors that change the size of a given subject on an image. Therefore, it is not easy to accurately grasp the bleeding situation only from the image string to be processed, for example, to accurately estimate the amount of bleeding and its time-series change. Therefore, it is difficult to accurately estimate the recommended hemostatic treatment for bleeding only from the image sequence to be processed.
  • the processing based on the database is performed instead of using only the image string to be processed. Since the processing is performed based on the information obtained in the past operations, it is possible to accurately estimate the recommended hemostatic treatment.
  • the database-based process may be a process based on a trained model generated by machine learning using the database, or a comparison process using the information contained in the database and the image string to be processed. May be good. Details will be described later.
  • FIG. 3 is a configuration example of a system including the image processing system 100 according to the present embodiment.
  • the system includes an image processing system 100, an endoscope system 200, a database server 300, a database creation device 400, a learning device 500, and an image acquisition endoscope system 600.
  • the system is not limited to the configuration shown in FIG. 3, and various modifications such as omitting some of these components or adding other components can be performed.
  • the image collection endoscope system 600 is an endoscope system that captures a plurality of in-vivo images for creating the database of the present embodiment.
  • the endoscope system 200 is a system that captures a processing target image sequence that is a target of a hemostatic treatment determination process, and in a narrow sense, is a system that is performing an operation using a laparoscope.
  • the processed image sequence captured by the endoscope system 200 can be used as a part of the database for determining the hemostatic treatment in future surgery. That is, the endoscope system 200 may function as the image acquisition endoscope system 600 at other timings. Further, the endoscope system 600 for image acquisition may function as the endoscope system 200 according to the present embodiment at other timings.
  • the database server 300 may be a server provided in a private network such as an intranet, or may be a server provided in a public communication network such as the Internet.
  • the database server 300 first collects a surgical image sequence which is a plurality of in-vivo images acquired during a past operation from the image collection endoscope system 600.
  • the surgical image sequence also includes images not related to bleeding.
  • the images captured during the period when bleeding does not occur are less useful in the process of determining the hemostatic treatment than the images at the time of bleeding.
  • the database creation device 400 acquires a surgical image sequence collected by the database server 300 from the image collection endoscope system 600, and performs a process of creating a database according to the present embodiment.
  • FIG. 4 is a flowchart illustrating a database creation process in the database creation device 400.
  • the database creation device 400 performs a process of extracting an image string of the bleeding pattern from the surgical image string.
  • the image sequence of the bleeding pattern represents, for example, a plurality of in vivo images corresponding to the period from the bleeding start frame to the frame in which the bleeding is detected.
  • the database creation device 400 performs a process of specifying an image Pi in which bleeding is detected and an image Ps corresponding to the start frame of the bleeding by executing a process described later with reference to FIGS. 9 to 11.
  • the database creation device 400 extracts an image corresponding to the period from Pi to Ps as an image string of a bleeding pattern.
  • the image sequence of the bleeding pattern may be, for example, a plurality of in-vivo images corresponding to the period from the start of bleeding to the first-aid hemostasis treatment described later.
  • the time-series change of the bleeding status in the in-vivo image is defined in advance as a bleeding pattern, and the database creation device 400 performs a process of extracting an image sequence having a high degree of similarity to the bleeding pattern from the surgical image sequence. conduct.
  • the image string may be extracted based on user input, or may be automatically performed by using image processing.
  • step S12 the database creation device 400 annotates.
  • Annotation is a process of adding metadata about recommended hemostatic treatment to bleeding imaged in an image sequence of a bleeding pattern. Annotation is performed by a user who has specialized knowledge such as a doctor.
  • the database creation device 400 receives the user's annotation input and performs a process of associating the received information with the image string extracted in step S11.
  • the information added here may be information for specifying the blood vessel type, information for specifying the hemostatic treatment, or both.
  • the database creation device 400 may perform a process of associating other additional information with the image string of the bleeding pattern.
  • the additional information here may include, for example, information such as the surgeon, surgical procedure, hospital name, and information such as matters to be noted during surgery. Further, the additional information may be information about the patient such as age, gender, height, weight, etc., or may be information acquired by using CT (Computed Tomography) or MRI (Magnetic Resonance Imaging) before surgery. good.
  • step S14 the database creation device 400 performs a process of registering the information associated with the image string of the bleeding pattern with the metadata including the information for specifying the hemostatic treatment in the database of the present embodiment. .. Specifically, the process of step S14 is a process of writing table data to the database server 300.
  • the learning device 500 generates a trained model by performing machine learning using a database. For example, the learning device 500 acquires a database from the database server 300 and generates a trained model by performing machine learning described later. The learning device 500 transmits the generated trained model to the database server 300.
  • the image processing system 100 acquires the trained model from the database server 300. Further, the image processing system 100 acquires a processing target image sequence from the endoscope system 200. Then, the image processing system 100 performs a process of determining the hemostatic treatment based on the trained model generated based on the database and the image string to be processed.
  • the database creation device 400 is included in the database server 300, and the processing shown in FIG. 4 may be performed in the database server 300.
  • the database creation device 400 may be included in the image acquisition endoscope system 600. In this case, the process shown in FIG. 4 is executed in the image collection endoscope system 600, and the processed data is transmitted to the database server 300.
  • the database creation device 400 and the learning device 500 may be the same device.
  • the process of creating a database from the surgical image sequence and the machine learning based on the created database can be executed in the same device.
  • the learning device 500 and the image processing system 100 may be integrally configured.
  • the learning process for generating the trained model and the inference process using the trained model can be executed in the same device.
  • FIG. 3 shows an example in which the trained model generated by the learning device 500 is temporarily stored in the database server 300
  • the trained model may be directly transmitted from the learning device 500 to the image processing system 100.
  • machine learning is not essential in the method of this embodiment. If machine learning is not performed, the learning device 500 can be omitted.
  • FIG. 3 is an example of the system configuration, and the configuration of the system including the image processing system 100 can be modified in various ways.
  • FIG. 5 is a diagram showing a detailed configuration example of the image processing system 100.
  • the image processing system 100 includes an image acquisition unit 110, a processing unit 120, and a storage unit 130.
  • the processing unit 120 includes a bleeding detection unit 121, a bleeding point detection unit 123, a treatment determination unit 125, and a display processing unit 127.
  • the image processing system 100 and the processing unit 120 are not limited to the configuration shown in FIG. 5, and various modifications such as omitting some of these components or adding other components can be performed.
  • the image acquisition unit 110 is an interface circuit that acquires an in-vivo image captured by the imaging device of the endoscope system 200.
  • the image acquisition unit 110 corresponds to the image acquisition data receiving unit 221 that acquires an image signal from the image pickup device via a cable.
  • the interface circuit is, for example, a circuit having a function of acquiring an in-vivo image from the endoscope system 200 and transmitting the acquired in-vivo image to the processing unit 120.
  • the image acquisition unit 110 may receive an in-vivo image which is digital data from the image pickup apparatus.
  • the image acquisition unit 110 may acquire an in-vivo image which is digital data by receiving an analog signal from the image pickup apparatus and performing A / D conversion on the analog signal. That is, the interface circuit may be an A / D conversion circuit.
  • the image acquisition unit 110 is realized as a communication interface for receiving an in-vivo image from the endoscope system 200 via a network. That is, the interface circuit may be a circuit provided in a communication chip or a communication device.
  • the network here may be a private network such as an intranet or a public communication network such as the Internet.
  • the network may be wired or wireless.
  • the image acquisition unit 110 acquires, for example, an image obtained by capturing an image of the inside of the living body for each frame. However, the image acquisition unit 110 may collectively acquire a plurality of images corresponding to a plurality of frames.
  • the processing unit 120 is composed of the following hardware.
  • the hardware can include at least one of a control circuit that processes digital signals and a control circuit that processes analog signals.
  • hardware can consist of one or more circuit devices mounted on a circuit board or one or more circuit elements.
  • One or more circuit devices are, for example, ICs (Integrated Circuits), FPGAs (field-programmable gate arrays), and the like.
  • One or more circuit elements are, for example, resistors, capacitors, and the like.
  • the processing unit 120 may be realized by the following processor.
  • the image processing system 100 includes a memory for storing information and a processor that operates based on the information stored in the memory.
  • the memory here may be the storage unit 130 or may be a different memory.
  • the information is, for example, a program and various data.
  • the processor includes hardware.
  • various processors such as a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and a DSP (Digital Signal Processor) can be used.
  • the memory may be a semiconductor memory such as SRAM (Static Random Access Memory) or DRAM (Dynamic Random Access Memory), a register, or a magnetic storage device such as an HDD (Hard Disk Drive). It may be an optical storage device such as an optical disk device.
  • each part of the processing unit 120 is a bleeding detection unit 121, a bleeding point detection unit 123, a treatment determination unit 125, and a display processing unit 127.
  • the instruction here may be an instruction of an instruction set constituting a program, or an instruction instructing an operation to a hardware circuit of a processor.
  • all or a part of each part of the processing unit 120 can be realized by cloud computing, and each processing described later can be performed on cloud computing.
  • the storage unit 130 serves as a work area for the processing unit 120 and the like, and its function can be realized by a semiconductor memory, a register, a magnetic storage device, or the like.
  • the storage unit 130 stores the processing target image sequence acquired by the image acquisition unit 110. Further, the storage unit 130 stores the trained model generated by using the database.
  • the storage unit 130 may store the database itself together with the trained model or in place of the trained model.
  • the bleeding detection unit 121 performs bleeding detection processing for detecting whether or not bleeding has occurred in the living body to be imaged based on the image string to be processed. Details of the bleeding detection process will be described later with reference to FIG.
  • the bleeding point detection unit 123 performs the bleeding point detection process for detecting the bleeding point based on the image string to be processed.
  • the bleeding point here represents the position where the bleeding occurred. Details of the bleeding point detection process will be described later with reference to FIGS. 10 and 11.
  • the treatment decision unit 125 performs a process of determining the recommended hemostatic treatment for bleeding.
  • the treatment determination unit 125 is used for, for example, a process of reading a trained model from a storage unit 130, a process of inputting an image string extracted from a predetermined section of a process target image string into the trained model, and an output of the trained model.
  • a process of determining the type of blood vessel in which bleeding has occurred and a process of determining a hemostatic treatment based on the determined blood vessel type are performed. Details of the processing using the trained model will be described later with reference to FIGS. 14 (A) to 17 (FIG. 17).
  • the processing unit 120 may directly determine the hemostatic treatment based on the output of the trained model. Further, the processing unit 120 may determine the hemostasis treatment based on the comparison processing of the image string to be processed and the database without using the trained model.
  • the display processing unit 127 performs a process of displaying the hemostatic treatment determined by the treatment determination unit 125 on the display unit.
  • the display unit here is, for example, the display unit 230 of the endoscope system 200.
  • the display processing unit 127 performs a process of generating a display image by superimposing information on the hemostatic treatment on each image of the processing target image sequence, and a process of transmitting the generated display image to the display unit 230.
  • the display processing unit 127 may perform a process of transmitting the displayed image to the processor unit 220 of the endoscope system 200.
  • the display control in the display unit 230 is executed by the processor unit 220.
  • the display process by the display process unit 127 may be a process of transmitting the determined information on the hemostatic treatment to a device such as the endoscope system 200 and instructing the display.
  • the display image generation process and the control process of the display unit 230 are executed by the processor unit 220.
  • the processing performed by the image processing system 100 of the present embodiment may be realized as an image processing method.
  • a time-series image obtained by imaging the inside of a living body with an endoscopic imaging device is acquired as a processing target image string, and when bleeding occurs in the living body, the image processing method is prior to the processing target image string.
  • the hemostatic treatment for the bleeding blood vessel is determined, and the determined hemostatic treatment is presented to the user. ..
  • each part of the processing unit 120 of the present embodiment may be realized as a module of a program that operates on the processor.
  • the bleeding detection unit 121 and the bleeding point detection unit 123 are realized as image processing modules that perform bleeding detection processing and bleeding point detection processing, respectively.
  • the treatment determination unit 125 is realized as a processing module for determining a hemostatic treatment.
  • the treatment determination unit 125 is realized as an inference processing module for calculating the output according to the trained model.
  • the treatment determination unit 125 is realized as a comparison processing module that compares the image string to be processed with the database.
  • the display processing unit 127 is realized as an image processing module that generates a display image and a control module that controls the display unit 230.
  • the program that realizes the processing performed by each unit of the processing unit 120 of the present embodiment can be stored in, for example, an information storage device that is a medium that can be read by a computer.
  • the information storage device can be realized by, for example, an optical disk, a memory card, an HDD, a semiconductor memory, or the like.
  • the semiconductor memory is, for example, a ROM.
  • the processing unit 120 performs various processes of the present embodiment based on the program stored in the information storage device. That is, the information storage device stores a program for operating the computer as each unit of the processing unit 120.
  • a computer is a device including an input device, a processing unit, a storage unit, and an output unit.
  • the program according to the present embodiment is a program for causing a computer to execute each step described later using FIG. 7 and the like.
  • FIG. 6 is a configuration example of the endoscope system 200.
  • the endoscope system 200 includes an endoscope scope 210, a processor unit 220, and a display unit 230. Further, the endoscope system 200 may further include an operation unit 240.
  • An imaging device is provided at the tip of the endoscope scope 210, and the tip is inserted into the abdominal cavity.
  • the image pickup apparatus takes an image in the abdominal cavity, and the image pickup data is transmitted from the endoscope scope 210 to the processor unit 220.
  • the processor unit 220 is a device that performs various processes in the endoscope system 200.
  • the processor unit 220 controls the endoscope system 200, performs image processing, and the like.
  • the processor unit 220 includes an imaging data receiving unit 221, a processing unit 222, and a storage unit 223.
  • the imaging data receiving unit 221 receives the imaging data from the endoscope scope 210.
  • the image pickup data receiving unit 221 is, for example, a connector to which a cable of the endoscope scope 210 is connected, an interface circuit for receiving image pickup data, or the like.
  • the processing unit 222 processes the imaging data and displays the processing result on the display unit 230.
  • the processing in the processing unit 222 is, for example, a correction processing such as a white balance processing and a noise reduction processing.
  • the processing unit 222 may perform detection processing or the like to detect a given subject from the captured data.
  • the processing unit 222 here is specifically an image processing circuit.
  • the storage unit 223 serves as a work area for the processing unit 222 and the like, and is, for example, a semiconductor memory or a storage device such as a hard disk drive or an optical disk drive.
  • the display unit 230 is a monitor that displays an image output from the processing unit 222, and is a display device such as a liquid crystal display or an organic EL display.
  • the operation unit 240 is a device for an operator to operate the endoscope system 200.
  • the operation unit 240 is a button, a dial, a foot switch, a touch panel, or the like.
  • the processing unit 222 may change the display mode of the object based on the input information from the operation unit 240.
  • the image processing system 100 shown in FIGS. 2 and 5 may be provided as a separate body from, for example, the endoscope system 200 shown in FIG.
  • the image processing system 100 is included in an information processing device connected to the processor unit 220.
  • the information processing device here may be a PC (Personal Computer) or a server system.
  • the processor unit 220 and the information processing device may be connected by a cable or may be connected by a wireless network.
  • the processing unit 222 of the processor unit 220 performs a process of transmitting the imaging data acquired by the imaging data receiving unit 221 to the information processing device via a communication unit (not shown).
  • the image acquisition unit 110 of the image processing system 100 acquires time-series imaged data transmitted from the processor unit 220 as a processing target image sequence.
  • the processing unit 120 performs a hemostasis treatment determination process on the image sequence to be processed.
  • the image processing system 100 returns the determination processing result of the hemostatic treatment to the processor unit 220.
  • the processing unit 222 of the processor unit 220 displays a display image including information on the hemostatic treatment received from the image processing system 100 on the display unit 230.
  • the image processing system 100 may be included in the endoscope system 200.
  • the image acquisition unit 110 corresponds to the image pickup data reception unit 221.
  • the processing unit 120 corresponds to the processing unit 222.
  • the storage unit 130 corresponds to the storage unit 223. That is, the method of this embodiment may be applied to the endoscope system 200.
  • the endoscope system 200 of the present embodiment includes an imaging unit that images the inside of a living body, an image acquisition unit 110 that acquires a time-series image captured by the imaging unit as a processing target image sequence, and a processing target image sequence before the processing target image sequence.
  • a processing unit 120 that performs processing on a processing target image sequence based on a database generated by a plurality of in-vivo images captured at the timing is included.
  • the processing unit 120 determines a hemostatic treatment for the blood vessel in which the bleeding has occurred based on the image sequence to be processed and the database, and performs a process of presenting the determined hemostatic treatment to the user. ..
  • the imaging unit is, for example, an imaging device included in the endoscope scope 210 as described above.
  • the endoscope scope 210 irradiates the subject with illumination light guided from a light source device (not shown) to the illumination lens of the endoscope scope 210 via a light guide.
  • the image pickup unit is an image pickup element that receives reflected light from a subject via a lens system including an objective lens, a focus lens, and the like.
  • the image pickup unit may include an A / D conversion circuit that A / D-converts an analog signal that is an output of the image pickup device.
  • the imaging data receiving unit 221 may include an A / D conversion circuit.
  • FIG. 7 is a flowchart illustrating processing in the image processing system 100.
  • the image acquisition unit 110 acquires the image sequence to be processed.
  • the image acquisition unit 110 acquires an image of the latest frame from the endoscope system 200 and reads out an image of a predetermined frame in the past stored in the storage unit 130.
  • the latest frame is referred to as frame i
  • the image in the frame i is referred to as Pi.
  • i is a variable representing a frame.
  • step S102 the processing unit 120 performs a bleeding determination process, which is a determination regarding bleeding.
  • the bleeding determination process includes a bleeding detection process by the bleeding detection unit 121, a bleeding point detection process by the bleeding point detection unit 123, and a treatment determination process by the treatment determination unit 125.
  • step S103 the display processing unit 127 generates a display image by superimposing information on the specified bleeding point on the image of the latest frame, and performs a process for displaying the display image on the display unit. Further, in step S103, the display processing unit 127 may display information regarding the determined hemostatic treatment.
  • step S104 the processing unit 120 performs a process of updating the database.
  • the process of step S104 does not have to be performed during the operation, and may be performed, for example, after the operation is completed.
  • step S105 after incrementing the variable i representing the frame, the process returns to step S101. That is, the processing of steps S101 to S104 is continued for the image of the next frame.
  • FIG. 8 is a flowchart illustrating the bleeding determination process in step S102 of FIG.
  • the bleeding detection unit 121 performs the bleeding detection process.
  • the bleeding point detection unit 123 performs the bleeding point detection process.
  • the treatment decision unit 125 performs a decision processing of the hemostatic treatment.
  • FIG. 9 is a flowchart illustrating the bleeding detection process in step S201.
  • the bleeding detection unit 121 performs a comparison process between the image Pi to be processed and the image Pi-n n frames past the Pi.
  • the image Pin is, for example, an image acquired one second before the image Pi, but the acquisition timing of the image to be compared can be variously modified.
  • the bleeding detection unit 121 determines whether or not the change in the red region between the images is large. For example, the bleeding detection unit 121 identifies a region changed between images by using a known matching method such as block matching. Then, when the area of the changed region is equal to or larger than a predetermined threshold value, it is determined whether or not the region is a red region. The bleeding detection unit 121 determines, for example, a region whose hue is within a predetermined angle range including 0 degrees as a red region.
  • the bleeding detection unit 121 determines that there is bleeding in the image Pi in step S303. In other cases, in step S304, the bleeding detection unit 121 determines in the image Pi that there is no bleeding.
  • FIGS. 10 and 11 are flowcharts illustrating the bleeding point detection process in step S202.
  • the bleeding point detection unit 123 determines whether or not bleeding is detected in the image Pi. If No in step S401, the bleeding point detection unit 123 ends the process without performing the processes after step S402.
  • the bleeding point detection unit 123 identifies the bleeding region S in the image Pi.
  • the bleeding region here is, for example, a region having a predetermined number of pixels or more in a region which is a set of continuous red pixels in the image Pi.
  • the bleeding point detection unit 123 distinguishes each bleeding region from S1, S2, and so on.
  • step S403 the bleeding point detection unit 123 initializes the variable k that identifies the bleeding region with 1. Then, in step S404, the bleeding point detection process is executed for the bleeding region Sk. After the process of step S404, the bleeding point detection unit 123 increments k in step S405 and returns to the process of step S404. That is, the bleeding point detection unit 123 sequentially executes the bleeding point detection process for one or a plurality of bleeding regions detected in the image Pi. When the bleeding point detection process for all the bleeding areas is completed, the process shown in FIG. 10 is completed.
  • FIG. 11 is a flowchart illustrating a bleeding point detection process for the bleeding region Sk in step S404.
  • the bleeding point detection unit 123 initializes the variable j for bleeding point search with 1.
  • the bleeding point detection unit 123 determines whether or not the bleeding region Sk to be processed exists in the image Pi-j j frames before the image Pi. For example, the bleeding point detection unit 123 detects the bleeding region on the image Pi-j, obtains the center of gravity of the bleeding region, and compares the center of gravity with the center of gravity of Sk on the image Pi-j + 1. When the difference is equal to or less than a predetermined threshold value, the bleeding point detection unit 123 determines that the bleeding region in the image Pi-j is the bleeding region Sk to be processed. When it is assumed that the movement of the subject on the image is large in the period corresponding to one frame, the bleeding point detection unit 123 may perform the comparison processing of the center of gravity after correcting with the movement vector.
  • step S502 If Yes in step S502, the bleeding point detection unit 123 increments the variable j in step S503. After the process of step S503, the bleeding point detection unit 123 returns to step S502 again to continue the process. That is, the presence or absence of the bleeding region Sk is determined further back in the past direction.
  • FIG. 12A is a schematic diagram illustrating a bleeding point detection process.
  • the bleeding point detection unit 123 searches the bleeding region Sk detected by the image Pi in the past direction.
  • FIG. 12A illustrates the case where No is detected in step S502, that is, Sk is detected in the image Pi-j + 1 and Sk is not detected in the image Pi-j.
  • the bleeding point detection unit 123 sets the image Pi-j + 1 as the bleeding start image Ps corresponding to the bleeding start frame. That is, the bleeding start frame is a j-1 frame past frame as compared with the latest frame i.
  • FIG. 12B is a schematic diagram illustrating a process for identifying a bleeding point (xs, ys). As shown in FIG. 12B, the bleeding point detection unit 123 performs a process of detecting the center of gravity (xs, ys) of the bleeding region Sk in the image Ps as a bleeding point. In FIG. 12B, the upper left end point of the image is set as the origin, but the setting of the coordinate system is arbitrary.
  • FIG. 13 is a diagram illustrating a configuration of data acquired by the bleeding point detection process shown in FIGS. 10 to 12 (B).
  • one or a plurality of bleeding regions are detected based on the image Pi in the frame i, and information for identifying the bleeding start frame is associated with each bleeding region.
  • the bleeding start frame is, for example, ij + 1, and a specific numerical value is specified.
  • coordinates (xs, ys) for specifying the bleeding start point are associated with each bleeding region.
  • the processing unit 120 performs bleeding detection processing for detecting whether or not bleeding has occurred in the living body based on the processing target image sequence. Then, when bleeding is detected, the processing unit 120 performs bleeding point detection processing for identifying the bleeding point, which is the position where bleeding occurs. In this way, it is possible to detect the occurrence of bleeding and identify the bleeding point, so that it is possible to appropriately support the hemostasis treatment by the user.
  • the hemostatic treatment determination process in step S203 will be described.
  • a specific example of the database and the learning process using the database will also be described.
  • the processing unit 120 determines hemostasis treatment for any of the hepatic artery, hepatic vein, and portal vein based on the image sequence to be processed and the database. In this way, it becomes possible to appropriately support the user's coping with unexpected bleeding in the operation targeting the liver such as partial liver resection. In particular, since the liver is densely packed with blood vessels, bleeding is likely to occur, and the prognosis may be poor if proper hemostasis treatment is not performed. Therefore, support for hemostatic treatment for the liver is very useful.
  • the processing unit 120 may specify the type of blood vessel in which bleeding has occurred based on the image string to be processed and the database, and determine the hemostasis treatment based on the specified type. In this way, by identifying the type of blood vessel in which bleeding is occurring, it is possible to present the user with an appropriate hemostatic treatment according to the type.
  • the type of blood vessel represents a structural division or a functional division in a field such as anatomy or angiology.
  • the portal vein that guides blood from the digestive system to the liver
  • the hepatic artery that branches from the abdominal aorta
  • the hepatic vein that branches from the inferior vena cava.
  • the type in this embodiment may be a type that further classifies blood vessels.
  • a relatively large hepatic artery and a thin hepatic artery may be of different types.
  • the liver is divided into right lobe, left lobe, and caudate lobe, and the right lobe and left lobe are further divided into multiple areas.
  • the type of blood vessel in the present embodiment may consider which area the blood vessel is connected to.
  • the right hepatic vein, the middle hepatic vein, and the left hepatic vein may be of different types.
  • FIG. 14 (A) and 14 (B) are diagrams showing an example of the database of the present embodiment.
  • information indicating the blood vessel type of the blood vessel in which the bleeding has occurred is associated with the image string of the bleeding pattern. That is, in step S12 of FIG. 4, the database shown in FIG. 14 (A) is acquired by performing the annotation that adds the blood vessel type as metadata.
  • the database includes data for associating a blood vessel type with a hemostatic treatment according to the blood vessel type.
  • FIG. 14B is a table containing data on the number of rows corresponding to the target blood vessel type, and one hemostatic treatment is associated with one blood vessel type.
  • Hemostasis treatment includes suturing the blood vessels together, sealing by burning the blood vessels using an energy device, clipping to mechanically compress the area near the bleeding point with a clip, and injecting a drug having a vasoconstrictor effect. Spraying etc. can be considered.
  • the number of blood vessel types and the number of hemostatic treatment types do not have to match, and it is not prevented that one hemostatic treatment is associated with a plurality of blood vessel types.
  • the process of determining the hemostatic treatment of the present embodiment may be one using machine learning.
  • the learning device 500 generates a trained model by performing machine learning based on the database.
  • the processing unit 120 of the image processing system 100 determines the hemostatic treatment by operating according to the learned model generated by the learning device 500.
  • machine learning using a neural network will be described below, the method of the present embodiment is not limited to this. In this embodiment, for example, machine learning using another model such as SVM (support vector machine) may be performed, or machine learning using a method developed from various methods such as a neural network or SVM. May be done.
  • FIG. 15A is a schematic diagram illustrating a neural network.
  • the neural network has an input layer into which data is input, an intermediate layer in which operations are performed based on the output from the input layer, and an output layer in which data is output based on the output from the intermediate layer.
  • a network in which the intermediate layer is two layers is illustrated, but the intermediate layer may be one layer or three or more layers.
  • the number of nodes (neurons) included in each layer is not limited to the example of FIG. 15 (A), and various modifications can be performed. Considering the accuracy, it is desirable to use deep learning using a multi-layer neural network for the learning of this embodiment.
  • the term "multilayer” here means four or more layers in a narrow sense.
  • the nodes included in a given layer are combined with the nodes in the adjacent layer.
  • a weighting coefficient is set for each bond.
  • Each node multiplies the output of the node in the previous stage by the weighting coefficient to obtain the total value of the multiplication results.
  • each node adds a bias to the total value and obtains the output of the node by applying an activation function to the addition result.
  • activation functions By sequentially executing this process from the input layer to the output layer, the output of the neural network is obtained.
  • Various functions such as a sigmoid function and a ReLU function are known as activation functions, and these can be widely applied in the present embodiment.
  • Learning in a neural network is a process of determining an appropriate weighting coefficient (including bias).
  • the learning device 500 inputs the input data of the training data to the neural network, and obtains the output by performing a forward calculation using the weighting coefficient at that time.
  • the learning device 500 calculates an error function based on the output and the correct label of the training data.
  • the weighting coefficient is updated so as to reduce the error function.
  • an error backpropagation method in which the weighting coefficient is updated from the output layer to the input layer can be used.
  • FIG. 15B is a schematic diagram illustrating CNN.
  • the CNN includes a convolutional layer and a pooling layer that perform a convolutional operation.
  • the convolution layer is a layer to be filtered.
  • the pooling layer is a layer that performs a pooling operation that reduces the size in the vertical direction and the horizontal direction.
  • the example shown in FIG. 15B is a network in which the output is obtained by performing the calculation by the convolution layer and the pooling layer a plurality of times and then performing the calculation by the fully connected layer.
  • the fully connected layer is a layer that performs arithmetic processing when all the nodes of the previous layer are imaged with respect to the nodes of a given layer, and the arithmetic of each layer described above with reference to FIG. 15A is performed. Corresponds to. In FIG. 15B, the arithmetic processing by the activation function is omitted.
  • Various configurations of CNNs are known, and they can be widely applied in the present embodiment.
  • the processing procedure is the same as in FIG. 15 (A). That is, the learning device 500 inputs the input data of the training data to the CNN, and obtains the output by performing the filter processing and the pooling operation using the filter characteristics at that time.
  • the error function is calculated based on the output and the correct label, and the weighting coefficient including the filter characteristic is updated so as to reduce the error function.
  • the backpropagation method can be used when updating the weighting coefficient of the CNN.
  • FIG. 16 is a diagram illustrating the input and output of the neural network when the database shown in FIG. 14 (A) is used.
  • the input data of the neural network is an image string
  • the output data is information for specifying the blood vessel type.
  • the input image sequence has a fixed length, for example, but it is not prevented from having a variable length depending on the configuration of the neural network.
  • the output layer of the neural network is a known softmax layer
  • the output data is probability data representing the certainty of each blood vessel type.
  • the output data are "probability data indicating the certainty that the blood vessel in which bleeding has occurred in the input image sequence is the portal vein" and "probability data indicating the certainty that the hepatic artery is the probability”.
  • probability data representing the certainty of the hepatic vein are "probability data indicating the certainty that the blood vessel in which bleeding has occurred in the input image sequence.
  • probability data indicating the certainty that the hepatic artery is the probability.
  • the learning device 500 acquires the image string of the bleeding pattern and the blood vessel type information associated with the image string from the database shown in FIG. 14 (A). Next, the image sequence is input to the neural network, and three probability data are obtained by performing a forward calculation using the current weighting coefficient.
  • the blood vessel type information is "portal vein”
  • the "probability data representing the probability of being a portal vein” becomes 1
  • the "probability data representing the probability of being a hepatic artery” and the “probability data representing the probability of being a hepatic vein” are represented.
  • the correct answer is the data in which both of the "probability data" are 0.
  • the learning device 500 calculates the error between the three probability data obtained by the forward calculation and the correct answer as an error function.
  • the error backpropagation method or the like is used for the update processing of the weighting coefficient for reducing the error function.
  • the above is the process executed by one row of data included in the database of FIG. 14 (A).
  • the learning device 500 generates a trained model by repeating this process. Further, various methods such as batch learning and mini-batch learning are known in the learning process, and they can be widely applied in the present embodiment.
  • FIG. 17 is a flowchart illustrating the process of determining the hemostatic treatment in step S203. Before starting the process of FIG. 17, it is assumed that the trained model is generated by the process described above.
  • step S601 the treatment determination unit 125 determines whether or not bleeding has occurred in the latest image Pi. For example, the treatment determination unit 125 performs the processing of step S601 by acquiring the processing result of the bleeding detection unit 121 in step S201. If no bleeding has occurred, the treatment decision unit 125 omits steps S602 and subsequent steps and ends the process.
  • the treatment determination unit 125 performs a process of extracting an image string to be input to the trained model from the image string to be processed.
  • the image sequence here is an image showing the situation of bleeding.
  • the starting point of the image sequence is, for example, the image Ps.
  • the end point of the image sequence is, for example, an image Pi.
  • the range of the image sequence to be extracted is not limited to this, and at least one of the start point and the end point may be different.
  • the images of all frames from the start point to the end point are not limited to those included in the image string, and some images in the middle may be omitted.
  • step S603 the treatment determination unit 125 acquires the trained model generated by the learning device 500.
  • the process of step S603 may be a process of receiving the trained model from the database server 300.
  • the treatment determination unit 125 may acquire the trained model from the database server 300 in advance and store it in the storage unit 130.
  • step S603 corresponds to the process of reading the stored learned model.
  • the processing order of steps S602 and S603 is not limited to this, and step S603 may be performed before S602, or the two processes may be performed in parallel.
  • step S604 the treatment determination unit 125 executes an inference process based on the trained model. Specifically, the treatment determination unit 125 acquires output data by inputting the extracted image sequence into the trained model.
  • the process of step S604 is a forward operation including, for example, a filter process corresponding to the convolution layer.
  • the output data is, for example, three probability data as described above with reference to FIG.
  • step S605 the treatment determination unit 125 performs a process of identifying the blood vessel type of the blood vessel in which the bleeding has occurred based on the output data.
  • the process of step S605 is, for example, a process of selecting the data having the maximum value from the three probability data.
  • the treatment determination unit 125 determines the hemostatic treatment based on the specified blood vessel type. For example, the treatment determination unit 125 determines the hemostatic treatment by performing a comparison process between the database shown in FIG. 14 (B) and the blood vessel type specified in step S605. In the example of FIG. 14B, if the blood vessel type is identified as portal vein, the hemostasis procedure is suture.
  • the database of the present embodiment shows in which type of blood vessel the bleeding imaged in the in-vivo image sequence occurred with respect to the in-vivo image sequence which is a time-series in-vivo image.
  • a plurality of data sets to which blood vessel type information is associated may be included.
  • the database is, for example, FIG. 14 (A).
  • the processing unit 120 performs processing for identifying the type of blood vessel in which bleeding has occurred, based on the trained model and the processing target image sequence.
  • the trained model is a trained model in which the relationship between the in-vivo image sequence and the blood vessel type information is machine-learned based on the plurality of data sets. Further, the processing unit 120 determines the hemostatic treatment based on the specified type.
  • the calculation in the processing unit 120 according to the trained model may be executed by software or hardware.
  • the product-sum operation executed at each node of FIG. 15A, the filter processing executed at the convolution layer of CNN, and the like may be executed by software.
  • the above calculation may be executed by a circuit device such as FPGA.
  • the above calculation may be executed by a combination of software and hardware.
  • the operation of the processing unit 120 according to the command from the learned model stored in the storage unit 130 can be realized by various aspects.
  • a trained model includes an inference algorithm and parameters used in the inference algorithm.
  • the inference algorithm is an algorithm that performs a product-sum operation or the like based on input data.
  • the parameter is a parameter acquired by the learning process, and is, for example, a weighting coefficient.
  • both the inference algorithm and the parameters are stored in the storage unit 130, and the processing unit 120 may perform the inference processing by software by reading the inference algorithm and the parameters.
  • the inference algorithm may be realized by FPGA or the like, and the storage unit 130 may store the parameters.
  • FIG. 18 is a flowchart illustrating the display process in step S103.
  • the display processing unit 127 acquires the bleeding point (xs, ys) in the bleeding start image Ps of the bleeding point targeted in the current operation.
  • the display processing unit 127 specifies the coordinates of the bleeding point in the image Ps by reading out the data shown in FIG.
  • step S702 the display processing unit 127 performs a process of correcting the bleeding point based on the amount of movement of the subject between the images.
  • the bleeding point detection unit 123 may perform the bleeding point correction process, and the display processing unit 127 may acquire the correction process result.
  • the display processing unit 127 calculates the amount of movement of the subject between the image Ps and the image Pi of the latest frame to be displayed.
  • the amount of movement here is, for example, a motion vector.
  • the motion vector can be obtained by, for example, block matching.
  • the position of the bleeding point on the image Pi can be specified by performing correction processing based on the obtained motion vector on the position of the bleeding point on the image Ps.
  • the bleeding point correction process is not limited to the process of directly executing the correction process between the image Ps and the image Pi.
  • the display processing unit 127 obtains a movement vector between the image Ps and the image Ps + 1, and performs a process of identifying the bleeding point in the image Ps + 1 based on the movement vector.
  • the display processing unit 127 may specify the bleeding point in the image Pi by correcting the bleeding point one frame at a time.
  • the display processing unit 127 may correct the bleeding point by performing a process of specifying the bleeding point every two frames, and various modifications can be performed for the specific process.
  • step S703 the display processing unit 127 generates a display image based on the display target image and the information of the bleeding point specified for the image. Specifically, the display processing unit 127 displays the bleeding point by adding the result of correction by the movement vector to the bleeding point (xs, ys) in the bleeding start image Ps to the image Pi. conduct. The display processing unit 127 performs a process of superimposing and displaying a marker object that clearly indicates the position of the bleeding point on the display target image, for example.
  • FIG. 19 is an example of a display image for presenting the determined hemostatic treatment to the user.
  • the display image is, for example, an image in which information representing a hemostatic treatment is superimposed on an image of an image taken in a living body.
  • FIG. 19 presents that clipping is recommended as a hemostatic treatment by superimposing the text "clip stop".
  • the superimposed information is not limited to text, and may be an image or an icon.
  • the presentation process of the hemostatic treatment may be performed by using a method other than the display.
  • the processing unit 120 may present the hemostatic treatment to the user by using voice or the like.
  • information indicating a bleeding point and information indicating the type of blood vessel in which bleeding has occurred may be superimposed on the displayed image.
  • the processing unit 120 may perform the bleeding notification process of notifying the user of the information regarding the bleeding point identified by the bleeding point detection process.
  • the bleeding notification process may include a process of notifying information on the occurrence of bleeding when it is determined that there is bleeding in the bleeding point detection process.
  • the bleeding notification process may be a process for notifying both information on the occurrence of bleeding and information on the bleeding point.
  • the processing unit 120 includes the processing target image string used for determining the hemostatic treatment, and the hemostatic treatment for the bleeding detected in the processing target image string. Performs the process of adding the data set associated with, to the database. In this way, the data stored in the database is expanded as the surgery is performed. This makes it possible to improve the accuracy of processing using the database.
  • machine learning is used, the amount of training data increases, which makes it possible to generate a trained model that can execute highly accurate inference processing.
  • the flow of database update processing follows the flow of database creation processing shown in Fig. 4. Since the process of extracting the image sequence is performed in step S602 of the process of determining the hemostatic treatment, the process of S602 can be diverted to the process of step S11.
  • the image string stored in the database is an image string whose starting point is the image Ps and whose end point is the image Pi. However, it does not prevent the user from re-extracting the image string, such as adjusting the range of the image string.
  • step S606 of the process of determining the hemostatic treatment the hemostatic treatment is determined. If the hemostasis is properly completed by the hemostasis treatment, the metadata given in the process of step S12 is information representing the actually performed hemostasis treatment. In addition, when the hemostatic effect of the performed hemostatic treatment is insufficient, information indicating that fact and information indicating other hemostatic treatments judged to be more desirable by a skilled doctor are associated with the image sequence. You may be struck.
  • the image sequence to be processed and the in-vivo image included in the database may be an image obtained by capturing the liver.
  • the surgery assumed in the present embodiment may be surgery in the liver, or in a narrow sense, partial liver resection.
  • the Pringle method In partial liver resection, a method called the Pringle method is used. This is a method of blocking blood flow by stopping the hepatic artery and portal vein with clamp forceps. By using the Pringle method, it becomes possible to suppress bleeding during surgery. Large-scale bleeding during Pringle is likely to be bleeding from the hepatic veins. On the other hand, if bleeding occurs after the pudding is released, the probability of bleeding from the portal vein or hepatic artery increases.
  • the processing unit 120 identifies whether or not a pringle that blocks blood flow in the hepatic artery and portal vein is performed, and performs a process of determining a hemostasis treatment based on the specific result. In this way, it is possible to determine whether the hemostatic treatment is in progress or after the release, so that the process of determining the hemostatic treatment can be executed with high accuracy.
  • the user may enter an input indicating whether the user is in the purging or after the purging is released.
  • the processing unit 120 specifies whether or not the pring is performed based on the user input. However, the processing unit 120 may specify whether or not the pringle is performed based on the image processing.
  • the blood vessel type information corresponds to the first table in which the blood vessel type information is associated with the image string when bleeding occurs during the pringle, and the blood vessel type information corresponds to the image string when the bleeding occurs after the bleeding occurs after the pringle is released.
  • Two of the attached second tables may be included.
  • the learning device 500 generates the first trained model based on the first table and generates the second trained model based on the second table.
  • the processing unit 120 identifies whether or not pudding that blocks blood flow in the hepatic artery and portal vein is performed, and if it is determined that the hepatic artery and portal vein are in the process of purging, hemostasis treatment is determined based on the first learned model. If it is determined that the pringle has been released, the hemostasis treatment is determined based on the second trained model. In this way, the treatment result corresponding to the pringle can be output.
  • the processing unit 120 may determine a first hemostasis treatment when the pringle is performed and a second hemostasis treatment when the pringle is not performed, based on the image sequence to be processed and the database. ..
  • the display processing unit 127 displays both of the two hemostatic treatments. For example, two pieces of information such as "during pudding: suturing” and "after releasing pudding: clipping" are described together. Users undergoing surgery know whether they are currently in or after pudding. Therefore, even when two pieces of information are presented, the user can easily understand which information should be referred to.
  • the processing unit 120 inputs the image string to be processed into both the first trained model and the second trained model.
  • the processing unit 120 determines the first hemostatic treatment based on the output of the first trained model, and determines the second hemostatic treatment based on the output of the second trained model.
  • FIG. 20A is a diagram illustrating another configuration of the database.
  • the blood vessel type information indicating the blood vessel type of the blood vessel in which the bleeding has occurred and the information indicating the recommended hemostatic treatment are associated with the image sequence of the bleeding pattern.
  • the database shown in FIG. 20 (A) is acquired by performing annotations that add the blood vessel type and hemostatic treatment as metadata.
  • FIG. 20 (B) is a diagram illustrating the input and output of the neural network when the database shown in FIG. 20 (A) is used.
  • the input data of the neural network is an image sequence
  • the output data is information for specifying the blood vessel type and information for specifying the hemostatic treatment.
  • the information for specifying the blood vessel type is probability data representing the certainty of each blood vessel type, as in the example of FIG. 16, for example.
  • the information for identifying the hemostatic treatment is, for example, probability data indicating the certainty of recommending each hemostatic treatment.
  • the information for identifying the hemostatic treatment includes, for example, "probability data recommending suturing", “probability data recommending clipping", "probability data recommending baking and sealing” and the like.
  • the learning device 500 generates a trained model by inputting the image string in FIG. 20 (A) and performing machine learning using the information indicating the blood vessel type and the information indicating the recommended hemostatic treatment as correct labels. ..
  • the treatment determination unit 125 of the image processing system 100 inputs the processing target image sequence into the trained model.
  • the neural network of FIG. 20B it is possible to determine both the blood vessel type and the hemostatic treatment as the output of the trained model.
  • the identification of the blood vessel type and the decision of the hemostasis treatment are not limited to those performed in stages, and may be performed in parallel as shown in FIG. 20 (B). In this case as well, it is possible to present the user with a blood vessel type and a hemostatic treatment suitable for the blood vessel type. As shown in FIG. 20 (A), in the database here, different hemostatic treatments may be associated with blood vessels of the same type. Therefore, even for blood vessels of the same type, it is possible to flexibly change the hemostatic treatment according to the situation.
  • FIG. 21 (A) is a diagram illustrating another configuration of the database. As shown in FIG. 21 (A), information representing a recommended hemostatic treatment may be associated with the image sequence of the bleeding pattern.
  • FIG. 21 (B) is a diagram illustrating the input and output of the neural network when the database shown in FIG. 21 (A) is used.
  • the input data of the neural network is an image sequence
  • the output data is information for specifying the hemostasis treatment. Even when the blood vessel type is omitted in this way, it is possible to determine and present the recommended hemostatic treatment.
  • the database provides for in vivo image sequences, which are time-series in vivo images, for bleeding imaged in the in vivo image sequence. It may include a plurality of data sets associated with hemostatic treatment information representing recommended hemostatic treatments.
  • the processing unit 120 performs a process of determining the hemostatic treatment based on the trained model in which the relationship between the in-vivo image sequence and the hemostatic treatment information is machine-learned based on a plurality of data sets and the image string to be processed. In this way, it is possible to acquire information representing the hemostatic treatment as the output of the trained model.
  • the method of the present embodiment is not limited to this.
  • the feature amount obtained based on each image included in the image sequence may be used as an input of the trained model.
  • the feature amount may be information on hue, saturation, lightness, and the like.
  • the feature amount may be information representing a time-series change in the bleeding rate.
  • the bleeding rate represents the amount of bleeding per unit time.
  • the region where blood is present is imaged as a red region.
  • the area of the red region is information that serves as an index of the amount of bleeding. Therefore, the area change in the red region can be used as an index of the bleeding rate.
  • the severity of bleeding can be determined.
  • the presence or absence of pulsation can be determined by observing the degree of change in the bleeding rate.
  • a feature that represents a bleeding situation is a time-varying waveform of bleeding rate.
  • the feature amount may be a statistic such as an average value or a maximum value of the bleeding rate, a statistic of a change in the bleeding rate, or a combination thereof, and is a specific embodiment. Can be modified in various ways.
  • the output data acquired by inputting the feature amount into the neural network may be a blood vessel type, a hemostatic treatment, or both.
  • FIG. 22 is a flowchart illustrating a process for determining a hemostatic treatment when a feature amount is used as input data. Steps S801 and S802 of FIG. 22 are the same as steps S601 and S602 of FIG. Next, in step S803, the treatment determination unit 125 calculates the feature amount based on the extracted image sequence. For example, the treatment decision unit 125 obtains a feature amount corresponding to the bleeding rate based on the time change of the red region in the image.
  • step S804 the treatment determination unit 125 acquires the trained model generated by the learning device 500.
  • step S805 the treatment determination unit 125 executes an inference process based on the trained model. Specifically, the treatment determination unit 125 acquires output data by inputting the obtained feature amount into the trained model.
  • the processing of steps S806 and S807 is the same as that of steps S605 and S606 of FIG.
  • the processing unit 120 may perform a hemostatic treatment determination process by comparing the in-vivo image string included in the database with the image string to be processed. For comparison between images, for example, a method of obtaining histograms of hue, saturation, and lightness from images and comparing the histograms is known.
  • the processing unit 120 calculates the similarity between the image sequences by repeating the comparison process of the two images a plurality of times.
  • the processing unit 120 determines an image sequence most similar to the image string to be processed from a plurality of in-vivo image sequences included in the database.
  • the processing unit 120 determines that bleeding has occurred in the blood vessel type associated with the determined in-vivo image sequence.
  • the treatment after determining the blood vessel type is the same as in the above-mentioned example. The same applies to the cases where the databases are shown in FIGS. 20 (A) and 21 (A), and by specifying an in-vivo image string similar to the image string to be processed, both the blood vessel type and the hemostasis treatment, or hemostasis is performed. It is possible to decide on treatment.
  • the feature amount such as the above-mentioned histogram may be calculated each time.
  • the feature amount may be calculated from the in-vivo image string, and a database may be created in which the feature amount is associated with the blood vessel type, hemostasis treatment, and the like.
  • the database creation device 400 creates a database in which blood vessel type information is associated with a feature amount such as a histogram, instead of the database shown in FIG. 14A, and transmits the database to the database server 300.
  • the comparison between the in-vivo image string and the image string to be processed is a process of searching for an image string having a similar bleeding situation. Therefore, as the feature amount used for comparison, the feature amount representing bleeding in the image may be used.
  • the feature amount representing bleeding is the amount of bleeding, the bleeding rate, the time change of the bleeding rate, and the like.
  • FIG. 23 (A) is a diagram illustrating another configuration of the database.
  • information indicating the blood vessel type of the blood vessel in which the bleeding has occurred is associated with the time-varying waveform of the bleeding rate.
  • the database creation device 400 obtains the area of the red region from each image of the in-vivo image sequence, and performs a process of obtaining the time-varying waveform of the bleeding rate based on the differential information.
  • the differential information is, for example, the difference between two adjacent images.
  • the treatment determination unit 125 obtains the time-varying waveform of the bleeding rate in the image string to be processed by performing the process of obtaining the area of the red region and the process of obtaining the differential information on the image string to be processed. Next, the treatment determination unit 125 calculates the similarity between the time-varying waveforms of the bleeding rate. Then, it is determined that bleeding has occurred in the blood vessel type associated with the time-varying waveform having the highest degree of similarity.
  • the treatment after determining the blood vessel type is the same as in the above-mentioned example.
  • the database includes data for associating a blood vessel type with a hemostatic treatment according to the blood vessel type.
  • FIG. 23 (B) is the same as FIG. 14 (B).
  • the treatment determination unit 125 determines the hemostatic treatment based on the comparison processing between the blood vessel type determined based on FIG. 23 (A) and the table shown in FIG. 23 (B).
  • the hemostasis treatment is determined based on the image sequence starting from the bleeding start image Ps and ending at the image Pi.
  • the hemostatic treatment may be determined based on whether or not the user has performed the emergency hemostasis treatment.
  • the treatment decision unit 125 determines whether or not the display process related to the bleeding point has been executed in the past frame, and the user performs an emergency hemostasis treatment. Determine if it is.
  • the first-aid hemostasis treatment represents a first-aid treatment as compared with the hemostasis treatment determined by the determination treatment of the hemostasis treatment of the present embodiment.
  • the emergency hemostasis treatment is specifically, compression hemostasis using a cover of a treatment tool, gauze inserted into the abdominal cavity, or the like. This is a treatment that inhibits blood flow by compression and suppresses bleeding, and has a relatively low hemostatic effect as compared with clip-stopping, baking and sealing, suturing, etc., which are presented as hemostatic treatments.
  • a large amount of bleeding is suppressed by the emergency hemostasis treatment and a treatment having a high hemostatic effect such as clipping is facilitated, it is effective to first present the bleeding point and promote the emergency hemostasis treatment.
  • the treatment determination unit 125 executes the processing after step S602 or after step S802. Whether or not the emergency hemostasis procedure has been performed is determined based on, for example, user input. For example, in the display screen in step S103 or the manual of the endoscope system 200, the user may be urged to perform a predetermined input operation when the emergency hemostasis treatment is completed. Alternatively, the determination of whether or not the emergency hemostasis treatment has been performed may be performed by image processing. Since bleeding is temporarily suppressed by the emergency hemostasis treatment, for example, the treatment unit 120 is said to have performed the emergency hemostasis treatment when the area of the red region is sufficiently smaller than the timing when it is determined that there is bleeding. judge.
  • the processing unit 120 performs hemostasis treatment with a treatment having a higher hemostatic ability than the emergency hemostasis treatment based on the processing target image sequence and the database. You may perform the process of determining as.
  • Bleeding is suppressed by first aid hemostasis.
  • the hemostatic effect of the first aid hemostasis treatment changes depending on the type of damaged blood vessel and the degree of damage.
  • the processing unit 120 first performs bleeding notification processing, and the user performs emergency hemostasis treatment based on the bleeding notification processing. Conceivable. Therefore, the processing unit 120 may perform a process of determining the hemostatic treatment based on the image sequence to be processed and the database after the bleeding notification processing and the emergency hemostasis treatment.
  • the bleeding notification process is not essential and can be omitted.
  • the processing unit 120 may perform a process of determining the hemostatic treatment based on a processing target image sequence including at least an image captured during or after the execution of the emergency hemostatic treatment by the user. ..
  • the image of the situation where bleeding is suppressed by the emergency hemostasis treatment is used for the determination process of the hemostasis treatment. Therefore, it is possible to improve the processing accuracy as compared with the case where only the situation where the amount of bleeding increases from the start of bleeding is considered. In the above example, the accuracy of the process of estimating the blood vessel type based on the image string to be processed is improved.
  • bleeding first occurs in the living body, and the user recognizes the bleeding.
  • the user may recognize the bleeding by the above-mentioned bleeding notification process, or the user may voluntarily recognize the bleeding by observing the in-vivo image.
  • the user then provides first aid for bleeding, resulting in suppression of bleeding.
  • the processing unit 120 determines that the emergency hemostasis treatment has been performed, for example, based on the degree of decrease in the red region. In this case, at the timing when the processing unit 120 determines that the emergency hemostasis treatment has been performed, it is unknown whether the emergency hemostasis treatment is continuing or after the execution is completed, but at least in a situation where bleeding is reduced. be.
  • the processing unit 120 determines that the emergency hemostasis treatment has been performed or the timing after that as the end point of the image string to be processed, it is possible to determine the hemostasis treatment in consideration of the situation where the bleeding subsides. .. Further, when it is determined that the emergency hemostatic treatment has been executed based on the user input, for example, the user may be prompted to input the user after the execution of the emergency hemostatic treatment is started. In this case as well, it is possible to determine the hemostatic treatment in consideration of the situation where the bleeding subsides.
  • the image is captured during or after the execution of the emergency hemostatic treatment by the user. It is possible to acquire a process target image string including at least the processed image.
  • the start point of the image string to be processed may be, for example, the timing corresponding to Ps shown in FIG. 11 or the timing determined to be bleeding in the bleeding detection process shown in FIG. May be good.
  • the processing unit 120 performs the bleeding notification process
  • the timing at which the bleeding notification process is started may be the starting point. It should be noted that not all the images from the start point to the end point need to be used for the determination process of the hemostasis treatment, and some of them may be omitted. For example, when the input image string of CNN has a fixed length, thinning processing or the like for adjusting the length of the image string may be performed.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Cardiology (AREA)
  • Physiology (AREA)
  • Quality & Reliability (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Urology & Nephrology (AREA)
  • Endoscopes (AREA)

Abstract

画像処理システム（１００）は、内視鏡撮像装置によって生体内を撮像した時系列画像を処理対象画像列として取得する画像取得部（１１０）と、処理対象画像列よりも前のタイミングにおいて撮像された複数の生体内画像によって生成されたデータベースに基づいて、処理対象画像列に対する処理を行う処理部（１２０）を含む。処理部（１２０）は、生体内において出血が発生したときに、処理対象画像列とデータベースとに基づいて、出血が発生した血管に対する止血処置を決定し、決定した止血処置をユーザーに提示する処理を行う。

Description

画像処理システム、内視鏡システム及び画像処理方法
　本発明は、画像処理システム、内視鏡システム及び画像処理方法等に関する。
　従来、内視鏡システム等を用いた手術において、生体内を撮像した画像に基づく画像処理を行う手法が知られている。例えば特許文献１には、手術中の動画情報に基づいて、出血領域を検出する手法が開示されている。
特開２０１１－３６３７１号公報
　特許文献１の手法は、出血領域の検出や、当該出血領域の面積の変化、出血量等を求めるものの、出血に対する処置については術者であるユーザーに対応が委ねられる。
　本開示のいくつかの態様によれば、生体内において発生した出血に対して推奨される処置方法を提示することによって、ユーザーを適切にサポート可能な画像処理システム、内視鏡システム及び画像処理方法等を提供できる。
　本開示の一態様は、内視鏡撮像装置によって生体内を撮像した時系列画像を処理対象画像列として取得する画像取得部と、前記処理対象画像列よりも前のタイミングにおいて撮像された複数の生体内画像によって生成されたデータベースと、前記処理対象画像列とに基づいて処理を行う処理部と、を含み、前記処理部は、前記生体内において出血が発生したときに、前記処理対象画像列と前記データベースとに基づいて、前記出血が発生した血管に対する止血処置を決定し、決定した前記止血処置をユーザーに提示する処理を行う画像処理システムに関係する。
　本開示の他の態様は、生体内を撮像する撮像部と、前記撮像部が撮像した時系列画像を処理対象画像列として取得する画像取得部と、前記処理対象画像列よりも前のタイミングにおいて撮像された複数の生体内画像によって生成されたデータベースと、前記処理対象画像列とに基づいて処理を行う処理部と、を含み、前記処理部は、前記生体内において出血が発生したときに、前記処理対象画像列と前記データベースとに基づいて、前記出血が発生した血管に対する止血処置を決定し、決定した前記止血処置をユーザーに提示する処理を行う内視鏡システムに関係する。
　本開示の他の態様は、内視鏡撮像装置によって生体内を撮像した時系列画像を処理対象画像列として取得し、前記生体内において出血が発生したときに、前記処理対象画像列よりも前のタイミングにおいて撮像された複数の生体内画像によって生成されたデータベースと、前記処理対象画像列とに基づいて、前記出血が発生した血管に対する止血処置を決定し、決定した前記止血処置をユーザーに提示する処理を行う画像処理方法に関係する。
肝臓に関連する血管を示す模式図。 画像処理システムの概略構成例。 画像処理システムを含むシステムの構成例。 データベース作成処理を説明するフローチャート。 画像処理システムの構成例。 内視鏡システムの構成例。 画像処理システムにおける処理を説明するフローチャート。 出血判定処理を説明するフローチャート。 出血検出処理を説明するフローチャート。 出血点検出処理を説明するフローチャート。 所与の出血領域を対象とした出血点検出処理を説明するフローチャート。 図１２（Ａ）、図１２（Ｂ）は出血点検出処理を説明する模式図。 出血点検出処理によって取得されるデータの例。 図１４（Ａ）、図１４（Ｂ）はデータベースの例。 図１５（Ａ）、図１５（Ｂ）はニューラルネットワークの例。 ニューラルネットワークの入力及び出力の例。 止血処置の決定処理を説明するフローチャート。 表示処理を説明するフローチャート。 止血処置を提示するための表示画像の例。 図２０（Ａ）はデータベースの他の例、図２０（Ｂ）はニューラルネットワークの入力及び出力の他の例。 図２１（Ａ）はデータベースの他の例、図２１（Ｂ）はニューラルネットワークの入力及び出力の他の例。 止血処置の決定処理を説明するフローチャート。 図２３（Ａ）、図２３（Ｂ）はデータベースの他の例。
　以下、本実施形態について説明する。なお、以下に説明する本実施形態は、請求の範囲に記載された内容を不当に限定するものではない。また本実施形態で説明される構成の全てが必須構成要件であるとは限らない。
１．本実施形態の手法
　腹腔鏡を用いた手術において、医師が術前計画に従って手術を実施したとしても、術中に予期しない出血が発生する可能性がある。例えば血管の走行は患者によって個人差があるため、血管の損傷を確実に回避することは難しい。出血が発生した場合、医師は迅速に処置を行う必要がある。例えば、肝臓の一部を切除する肝部分切除を行う場合、出血に対する処置を誤ると予後に関わる可能性があるため、迅速に処置を行うことが重要である。
　特許文献１には、撮像画像に基づいて出血に関する情報を検出、提示する手法が開示されている。しかし特許文献１等の従来手法は、出血の有無等を検出することは可能かもしれないが、それらの情報に基づく具体的な処置の決定は医師に委ねられる。
　図１は、肝臓、及び肝臓に関連する血管を表す模式図である。図１に示すように、肝臓に関連する血管には、門脈（Ａ１）、肝動脈（Ａ２）、肝静脈（Ａ３）という種別の異なる複数の血管が含まれる。そして血管種別に応じて、出血発生時の望ましい止血処置が異なる。そのため医師の熟練度によっては、出血に対する適切な処置を迅速に決定することが難しい。結果として、手術時間が増大してしまい、患者及び術者の負担が大きくなる。
　図２は、本実施形態の画像処理システム１００の構成例を示す図である。画像処理システム１００は、内視鏡撮像装置によって生体内を撮像した時系列画像を処理対象画像列として取得する画像取得部１１０と、処理対象画像列よりも前のタイミングにおいて撮像された複数の生体内画像によって生成されたデータベースと、処理対象画像列とに基づいて処理を行う処理部１２０を含む。そして処理部１２０は、生体内において出血が発生したときに、処理対象画像列とデータベースとに基づいて、出血が発生した血管に対する止血処置を決定し、決定した止血処置をユーザーに提示する処理を行う。なお内視鏡撮像装置とは、内視鏡システム２００に含まれる撮像装置であって、例えば後述する内視鏡スコープ２１０に設けられる。生体内において出血が発生したときとは、具体的には図９を用いて後述するように、出血検出処理によって出血の発生が検出された場合を表す。ただし、画像処理システム１００が出血検出処理を行わずに、止血処置の決定処理を定期的に実行してもよい。この場合、出血の発生状況に応じて止血処置の決定処理結果が異なり、出血が発生したときには縫合等の具体的な止血処置が決定、提示され、出血が発生していないときには止血処置が不要と判定される。
　ここで処理対象画像列とは、止血処置を決定する処理の対象となる時系列の画像を表す。具体的には処理対象画像列とは、実行中の腹腔鏡手術において撮像されるリアルタイムの動画像である。これに対してデータベースとは、止血処置を決定する処理の実行タイミングよりも過去に行われた手術において撮像された複数の画像を含む。なお、過去に行われた手術とは、リアルタイムに行われている腹腔鏡手術の対象患者と同じ患者を対象としたものであってもよいし、異なる患者を対象としたものであってもよい。例えば肝部分切除における止血処置を決定する場合、データベースは、過去に行われた肝部分切除において撮像された動画像を含む。なお、処理対象画像列との関係を考慮すれば、ここでの手術は具体的には腹腔鏡を用いた手術である。ただし、開腹手術において手術経過を撮像することによって取得された症例画像がデータベースに含まれてもよい。また、データベースに基づく処理の精度を考慮すれば、データベースに含まれる情報量は多いことが望ましい。例えば、肝部分切除における１回の出血発生に対応する期間の動画像を１つの動画像とカウントする場合に、データベースは複数の動画像を含む。即ち、１回の出血に対応する１つの動画像は複数の生体内画像を含み、データベースは当該動画像を複数含む。
　本実施形態の手法によれば、出血の有無や出血点の提示にとどまらず、推奨される止血処置をユーザーに提示することが可能になる。ここでのユーザーは、具体的には術者である医師である。これにより、ユーザーによる止血処置を適切にサポートすることが可能になる。
　なお生体内画像において、血液が存在する領域は赤色領域として撮像される。そのため赤色領域の面積に基づいて、出血量を推定することが可能である。しかし、撮像部と生体の距離が変化すれば、実際の大きさが同じ被写体であっても画像上での大きさは変化してしまう。また、レンズ等の撮像光学系の構成や、デジタルズーム等の画像処理も、所与の被写体の画像上での大きさを変化させる要因となる。このため、処理対象画像列のみから出血の状況を正確に把握すること、例えば出血量やその時系列変化を精度よく推定することは容易でない。そのため、処理対象画像列のみから出血に対して推奨される止血処置を精度よく推定することも難しい。例えば、所与の閾値と赤色領域の面積を比較するといった処理によって止血処置を決定しようとしても、適切な閾値を設定できない。また、肝臓等の臓器の大きさや細かい形状については患者による個人差があるため、その点からも、多くの患者に汎用的に適用可能な閾値設定は困難と言える。
　これに対して本実施形態の手法では、推奨される止血処置を決定する際、処理対象画像列のみを用いるのではなく、データベースに基づく処理が行われる。過去に行われた手術において取得された情報に基づく処理が行われるため、推奨される止血処置を精度よく推定することが可能になる。なおデータベースに基づく処理とは、データベースを用いた機械学習によって生成された学習済モデルに基づく処理であってもよいし、データベースに含まれる情報と処理対象画像列とを用いた比較処理であってもよい。詳細については後述する。
２．システム構成例
　まず画像処理システム１００を含む全体システムの構成について説明し、その後、画像処理システム１００の詳細構成、及び内視鏡システム２００の構成について説明する。
２．１　全体構成例
　図３は、本実施形態にかかる画像処理システム１００を含むシステムの構成例である。図３に示すように、システムは、画像処理システム１００と、内視鏡システム２００と、データベースサーバー３００と、データベース作成装置４００と、学習装置５００と、画像収集用内視鏡システム６００を含む。ただし、システムは図３の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
　画像収集用内視鏡システム６００は、本実施形態のデータベースを作成するための複数の生体内画像を撮像する内視鏡システムである。これに対して、内視鏡システム２００は、止血処置決定処理の対象となる処理対象画像列を撮像するシステムであり、狭義には腹腔鏡を用いた手術を実行中のシステムである。後述するデータベースの更新処理を考慮すれば、内視鏡システム２００が撮像した処理対象画像列は、将来的な手術において止血処置を決定するためのデータベースの一部として用いることが可能である。即ち、内視鏡システム２００が他のタイミングにおいて画像収集用内視鏡システム６００として機能してもよい。また画像収集用内視鏡システム６００が、他のタイミングにおいて本実施形態にかかる内視鏡システム２００として機能してもよい。
　データベースサーバー３００は、イントラネット等のプライベートネットワークに設けられるサーバーであってもよいし、インターネット等の公衆通信網に設けられるサーバーであってもよい。
　データベースサーバー３００は、まず画像収集用内視鏡システム６００から過去の手術中に取得された複数の生体内画像である手術画像列を収集する。ただし、手術画像列には出血に関連しない画像等も含まれる。例えば、手術画像列のうち、出血が発生していない期間において撮像された画像は、出血発生時の画像に比べて、止血処置の決定処理における有用性が低い。また、画像処理システム１００における止血処置の決定処理に利用するためには、出血を撮像した複数の生体内画像に対して、当該出血に対して行うべき止血処置に関する情報を対応付ける必要がある。
　よってデータベース作成装置４００は、データベースサーバー３００が画像収集用内視鏡システム６００から収集した手術画像列を取得し、本実施形態にかかるデータベースを作成する処理を行う。
　図４は、データベース作成装置４００におけるデータベース作成処理を説明するフローチャートである。この処理が開始されると、ステップＳ１１において、データベース作成装置４００は、手術画像列から出血パターンの画像列を抽出する処理を行う。出血パターンの画像列とは、例えば出血開始フレームから出血が検出されたフレームまでの期間に対応する複数の生体内画像を表す。例えばデータベース作成装置４００は、図９～図１１を用いて後述する処理を実行することによって、出血が検出された画像Ｐｉと、当該出血の開始フレームに対応する画像Ｐｓを特定する処理を行う。データベース作成装置４００は、ＰｉからＰｓまでの期間に対応する画像を、出血パターンの画像列として抽出する。なお、ＰｉからＰｓまでの期間に対応する画像の全てが抽出対象となってもよいし、一部の画像が省略されてもよい。或いは、出血パターンの画像列とは、例えば出血開始から後述する応急止血処置が行われるまでの期間に対応する複数の生体内画像であってもよい。この場合、出血量は開始タイミングから時間の経過とともに増加していき、応急止血処置が開始されると減少するというパターンに従うことが想定される。このように、生体内画像における出血状況の時系列変化をあらかじめ出血パターンとして定義しておき、データベース作成装置４００は、手術画像列から当該出血パターンとの類似度が高い画像列を抽出する処理を行う。なお、画像列の抽出はユーザー入力に基づいて行われてもよいし、画像処理を用いて自動的に行われてもよい。
　次にステップＳ１２において、データベース作成装置４００は、アノテーションを行う。アノテーションとは、出血パターンの画像列において撮像された出血に対して、推奨される止血処置に関するメタデータを付加する処理である。アノテーションは、例えば医師等の専門的な知識を有するユーザーによって行われる。データベース作成装置４００は、ユーザーのアノテーション入力を受け付け、受け付けた情報をステップＳ１１において抽出した画像列に対応付ける処理を行う。なお、ここで付加される情報は、血管種別を特定する情報であってもよいし、止血処置を特定する情報であってもよいし、その両方であってもよい。
　またステップＳ１３において、データベース作成装置４００は、出血パターンの画像列に対して他の付加情報を対応付ける処理を行ってもよい。ここでの付加情報は、例えば術者、術式、病院名等の情報や、手術中に注意すべき事項等の情報を含んでもよい。また付加情報は、年齢、性別、身長、体重等の患者に関する情報であってもよいし、手術前にＣＴ（Computed Tomography）やＭＲＩ（Magnetic Resonance Imaging）を用いて取得された情報であってもよい。
　ステップＳ１４において、データベース作成装置４００は、出血パターンの画像列に対して、止血処置を特定するための情報を含むメタデータが対応付けられた情報を、本実施形態のデータベースに登録する処理を行う。ステップＳ１４の処理は、具体的にはデータベースサーバー３００に対するテーブルデータの書き込み処理である。
　学習装置５００は、データベースを用いた機械学習を行うことによって、学習済モデルを生成する。例えば学習装置５００は、データベースサーバー３００からデータベースを取得し、後述する機械学習を行うことによって学習済モデルを生成する。学習装置５００は、生成した学習済モデルをデータベースサーバー３００に送信する。
　画像処理システム１００は、データベースサーバー３００から学習済モデルを取得する。また画像処理システム１００は、内視鏡システム２００から処理対象画像列を取得する。そして画像処理システム１００は、データベースに基づいて生成された学習済モデルと、処理対象画像列とに基づいて、止血処置を決定する処理を行う。
　なお、データベース作成装置４００は、データベースサーバー３００に含まれ、データベースサーバー３００内において図４に示した処理が行われてもよい。或いはデータベース作成装置４００は画像収集用内視鏡システム６００に含まれてもよい。この場合、図４に示す処理は画像収集用内視鏡システム６００において実行され、データベースサーバー３００へは処理後のデータが送信される。
　また、データベース作成装置４００と、学習装置５００を同じ装置としてもよい。この場合、手術画像列からデータベースを作成する処理と、作成したデータベースに基づく機械学習とを同じ装置内で実行することが可能になる。或いは、学習装置５００と画像処理システム１００とを一体で構成してもよい。この場合、学習済モデルを生成する学習処理と、学習済モデルを用いた推論処理とを同じ装置において実行することが可能になる。
　また図３では学習装置５００が生成した学習済モデルが一旦データベースサーバー３００に蓄積される例を示したが、学習済モデルは学習装置５００から画像処理システム１００へ直接送信されてもよい。また後述するように、本実施形態の手法では機械学習は必須でない。機械学習が行われない場合、学習装置５００は省略可能である。
　以上のように、図３はシステム構成の一例であり、画像処理システム１００を含むシステムの構成は種々の変形実施が可能である。
２．２　画像処理システム
　図５は、画像処理システム１００の詳細な構成例を示す図である。画像処理システム１００は、画像取得部１１０と、処理部１２０と、記憶部１３０を含む。処理部１２０は、出血検出部１２１と、出血点検出部１２３と、処置決定部１２５と、表示処理部１２７を含む。ただし画像処理システム１００や処理部１２０は図５の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
　画像取得部１１０は、内視鏡システム２００の撮像装置によって撮像された生体内画像を取得するインターフェース回路である。画像処理システム１００が内視鏡システム２００のプロセッサユニット２２０に含まれる場合、画像取得部１１０は、ケーブルを介して撮像装置からの画像信号を取得する撮像データ受信部２２１に相当する。インターフェース回路とは、例えば内視鏡システム２００から生体内画像を取得し、取得した生体内画像を処理部１２０に送信する機能を有する回路である。この場合、画像取得部１１０は、撮像装置からデジタルデータである生体内画像を受信してもよい。或いは画像取得部１１０は、撮像装置からアナログ信号を受信し、当該アナログ信号に対するＡ／Ｄ変換を行うことによってデジタルデータである生体内画像を取得してもよい。即ち、インターフェース回路とは、Ａ／Ｄ変換回路であってもよい。また、画像処理システム１００が内視鏡システム２００とは別体として設けられる場合、画像取得部１１０は、内視鏡システム２００からネットワークを介して生体内画像を受信する通信インターフェースとして実現される。即ち、インターフェース回路とは、通信チップや通信デバイスに設けられる回路であってもよい。ここでのネットワークは、イントラネット等のプライベートネットワークであってもよいし、インターネット等の公衆通信網であってもよい。またネットワークは、有線、無線を問わない。また画像取得部１１０は、例えば１フレームごとに生体内を撮像した画像を取得する。ただし画像取得部１１０は、複数フレームに対応する複数の画像をまとめて取得してもよい。
　処理部１２０は、下記のハードウェアにより構成される。ハードウェアは、デジタル信号を処理する制御回路及びアナログ信号を処理する制御回路の少なくとも一方を含むことができる。例えば、ハードウェアは、回路基板に実装された１又は複数の回路装置や、１又は複数の回路素子で構成することができる。１又は複数の回路装置は例えばＩＣ（Integrated Circuit）、ＦＰＧＡ（field-programmable gate array）等である。１又は複数の回路素子は例えば抵抗、キャパシター等である。
　また処理部１２０は、下記のプロセッサにより実現されてもよい。画像処理システム１００は、情報を記憶するメモリと、メモリに記憶された情報に基づいて動作するプロセッサと、を含む。ここでのメモリは、記憶部１３０であってもよいし、異なるメモリであってもよい。情報は、例えばプログラムと各種のデータ等である。プロセッサは、ハードウェアを含む。プロセッサは、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）等、各種のプロセッサを用いることが可能である。メモリは、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリであってもよいし、レジスタであってもよいし、ＨＤＤ（Hard Disk Drive）等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、処理部１２０の各部の機能が処理として実現されることになる。処理部１２０の各部とは、具体的には出血検出部１２１、出血点検出部１２３、処置決定部１２５、表示処理部１２７である。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。さらに、処理部１２０の各部の全部または一部をクラウドコンピューティングで実現し、後述する各処理をクラウドコンピューティング上で行うこともできる。
　記憶部１３０は、処理部１２０等のワーク領域となるもので、その機能は半導体メモリ、レジスタ、磁気記憶装置などにより実現できる。記憶部１３０は、画像取得部１１０が取得した処理対象画像列を記憶する。また記憶部１３０は、データベースを用いて生成された学習済モデルを記憶する。なお記憶部１３０は、学習済モデルとともに、或いは学習済モデルに代えて、データベース自体を記憶してもよい。
　出血検出部１２１は、処理対象画像列に基づいて、撮像対象である生体内において出血が発生したか否かを検出する出血検出処理を行う。出血検出処理の詳細は図９を用いて後述する。
　出血点検出部１２３は、処理対象画像列に基づいて、出血点を検出する出血点検出処理を行う。ここでの出血点は、出血が発生した位置を表す。出血点検出処理の詳細は図１０、図１１を用いて後述する。
　処置決定部１２５は、出血に対して推奨される止血処置を決定する処理を行う。処置決定部１２５は、例えば記憶部１３０から学習済モデルを読み出す処理と、処理対象画像列のうちの所定の区間を抽出した画像列を学習済モデルに入力する処理と、学習済モデルの出力に基づいて出血が発生した血管種別を決定する処理と、決定した血管種別に基づいて止血処置を決定する処理と、を行う。学習済モデルを用いた処理の詳細については図１４（Ａ）～図１７を用いて後述する。なお、変形例として後述するように、処理部１２０は学習済モデルの出力に基づいて直接的に止血処置を決定してもよい。また処理部１２０は、学習済モデルを用いずに、処理対象画像列とデータベースの比較処理に基づいて止血処置を決定してもよい。
　表示処理部１２７は、処置決定部１２５によって決定された止血処置を表示部に表示する処理を行う。ここでの表示部は、例えば内視鏡システム２００の表示部２３０である。表示処理部１２７は、例えば処理対象画像列の各画像に止血処置に関する情報を重畳することによって表示画像を生成する処理と、生成した表示画像を表示部２３０に送信する処理を行う。或いは、表示処理部１２７は、表示画像を内視鏡システム２００のプロセッサユニット２２０に送信する処理を行ってもよい。この場合、表示部２３０における表示制御はプロセッサユニット２２０によって実行される。また、表示処理部１２７による表示処理とは、決定された止血処置に関する情報を内視鏡システム２００等の機器に送信し、表示を指示する処理であってもよい。この場合、表示画像の生成処理や表示部２３０の制御処理はプロセッサユニット２２０によって実行される。
　また、本実施形態の画像処理システム１００が行う処理は、画像処理方法として実現されてもよい。本実施形態の画像処理方法は、内視鏡撮像装置によって生体内を撮像した時系列画像を処理対象画像列として取得し、生体内において出血が発生したときに、処理対象画像列よりも前のタイミングにおいて撮像された複数の生体内画像によって生成されたデータベースと、処理対象画像列とに基づいて、出血が発生した血管に対する止血処置を決定し、決定した止血処置をユーザーに提示する処理を行う。
　また、本実施形態の処理部１２０の各部は、プロセッサ上で動作するプログラムのモジュールとして実現されてもよい。例えば、出血検出部１２１及び出血点検出部１２３は、それぞれ出血検出処理、出血点検出処理を行う画像処理モジュールとして実現される。処置決定部１２５は、止血処置を決定するための処理モジュールとして実現される。学習済モデルを用いる場合、処置決定部１２５は、学習済モデルに従って出力を演算するための推論処理モジュールとして実現される。データベースそのものを用いる場合、処置決定部１２５は、処理対象画像列とデータベースとを比較する比較処理モジュールとして実現される。表示処理部１２７は、表示画像を生成する画像処理モジュールや、表示部２３０を制御する制御モジュールとして実現される。
　また、本実施形態の処理部１２０の各部が行う処理を実現するプログラムは、例えばコンピュータによって読み取り可能な媒体である情報記憶装置に格納できる。情報記憶装置は、例えば光ディスク、メモリカード、ＨＤＤ、或いは半導体メモリなどによって実現できる。半導体メモリは例えばＲＯＭである。処理部１２０は、情報記憶装置に格納されるプログラムに基づいて本実施形態の種々の処理を行う。即ち情報記憶装置は、処理部１２０の各部としてコンピュータを機能させるためのプログラムを記憶する。コンピュータは、入力装置、処理部、記憶部、出力部を備える装置である。具体的には本実施形態に係るプログラムは、図７等を用いて後述する各ステップを、コンピュータに実行させるためのプログラムである。
２．３　内視鏡システム
　図６は、内視鏡システム２００の構成例である。内視鏡システム２００は、内視鏡スコープ２１０と、プロセッサユニット２２０と、表示部２３０と、を含む。また内視鏡システム２００は操作部２４０を更に含んでもよい。
　内視鏡スコープ２１０の先端部には撮像装置が設けられ、その先端部が腹腔内に挿入される。撮像装置が腹腔内の画像を撮影し、その撮像データが内視鏡スコープ２１０からプロセッサユニット２２０へ送信される。
　プロセッサユニット２２０は、内視鏡システム２００における種々の処理を行う装置である。例えばプロセッサユニット２２０は、内視鏡システム２００の制御、及び画像処理等を行う。プロセッサユニット２２０は、撮像データ受信部２２１と、処理部２２２と、記憶部２２３を含む。
　撮像データ受信部２２１は、内視鏡スコープ２１０からの撮像データを受信する。撮像データ受信部２２１は、例えば内視鏡スコープ２１０のケーブルが接続されるコネクター、又は、撮像データを受信するインターフェース回路等である。
　処理部２２２は、撮像データに対する処理を行い、処理結果を表示部２３０に表示する処理を行う。処理部２２２における処理は、例えばホワイトバランス処理、ノイズ低減処理等の補正処理である。また処理部２２２は、撮像データから所与の被写体を検出する検出処理等を行ってもよい。ここでの処理部２２２は、具体的には画像処理回路である。
　記憶部２２３は、処理部２２２等のワーク領域となるもので、例えば半導体メモリ、又はハードディスクドライブ、光学ディスクドライブ等の記憶装置である。
　表示部２３０は、処理部２２２から出力された画像を表示するモニタであり、例えば液晶ディスプレイ又は有機ＥＬディスプレイ等の表示装置である。
　操作部２４０は、作業者が内視鏡システム２００を操作するための装置である。例えば、操作部２４０は、ボタン、又はダイヤル、フットスイッチ、タッチパネル等である。後述するように、処理部２２２は、操作部２４０からの入力情報に基づいて、対象物の表示態様を変更してもよい。
　図２及び図５に示した画像処理システム１００は、例えば図６に示した内視鏡システム２００とは別体として設けられてもよい。例えば、画像処理システム１００は、プロセッサユニット２２０と接続される情報処理装置に含まれる。ここでの情報処理装置はＰＣ（Personal Computer）であってもよいし、サーバーシステムであってもよい。プロセッサユニット２２０と情報処理装置は、ケーブルによって接続されてもよいし、無線ネットワークを用いて接続されてもよい。
　プロセッサユニット２２０の処理部２２２は、撮像データ受信部２２１によって取得した撮像データを、不図示の通信部を介して情報処理装置に送信する処理を行う。画像処理システム１００の画像取得部１１０は、プロセッサユニット２２０から送信された時系列の撮像データを処理対象画像列として取得する。処理部１２０は、処理対象画像列を対象として止血処置の決定処理を行う。画像処理システム１００は、止血処置の決定処理結果を、プロセッサユニット２２０に返信する。プロセッサユニット２２０の処理部２２２は、画像処理システム１００から受信した止血処置に関する情報を含む表示画像を、表示部２３０に表示する。
　或いは、画像処理システム１００は、内視鏡システム２００に含まれてもよい。この場合、画像取得部１１０は撮像データ受信部２２１に対応する。処理部１２０は処理部２２２に対応する。記憶部１３０は記憶部２２３に対応する。即ち、本実施形態の手法は内視鏡システム２００に適用されてもよい。本実施形態の内視鏡システム２００は、生体内を撮像する撮像部と、撮像部が撮像した時系列画像を処理対象画像列として取得する画像取得部１１０と、処理対象画像列よりも前のタイミングにおいて撮像された複数の生体内画像によって生成されたデータベースに基づいて、処理対象画像列に対する処理を行う処理部１２０を含む。処理部１２０は、生体内において出血が発生したときに、処理対象画像列とデータベースとに基づいて、出血が発生した血管に対する止血処置を決定し、決定した止血処置をユーザーに提示する処理を行う。
　撮像部は、例えば上述したように内視鏡スコープ２１０に含まれる撮像装置である。内視鏡スコープ２１０は、不図示の光源装置からライトガイドを経由して内視鏡スコープ２１０の照明レンズまで導光された照明光を被写体に照射する。撮像部は、対物レンズやフォーカスレンズ等を含むレンズ系を介して、被写体からの反射光を受光する撮像素子である。なお、撮像部が撮像素子の出力であるアナログ信号をＡ／Ｄ変換するＡ／Ｄ変換回路を含んでもよい。或いは、撮像データ受信部２２１がＡ／Ｄ変換回路を含んでもよい。
３．処理の詳細
　次に画像処理システム１００において実行される処理について説明する。まず全体的な処理の流れについて説明した後、各処理の詳細を説明する。
３．１　全体処理
　図７は、画像処理システム１００における処理を説明するフローチャートである。この処理が開始されると、まずステップＳ１０１において、画像取得部１１０は、処理対象画像列を取得する。例えば画像取得部１１０は、内視鏡システム２００から最新フレームの画像を取得するとともに、記憶部１３０に記憶しておいた過去所定フレーム分の画像を読み出す。ここでは最新フレームをフレームｉとし、当該フレームｉにおける画像をＰｉと表記する。ｉはフレームを表す変数である。
　ステップＳ１０２において、処理部１２０は、出血に関する判定である出血判定処理を行う。出血判定処理は、出血検出部１２１による出血検出処理と、出血点検出部１２３による出血点検出処理と、処置決定部１２５による処置の決定処理を含む。
　ステップＳ１０３において、表示処理部１２７は、最新フレームの画像に対して特定された出血点に関する情報を重畳させることによって表示画像を生成し、当該表示画像を表示部に表示するための処理を行う。またステップＳ１０３において、表示処理部１２７は、決定された止血処置に関する情報を表示してもよい。
　次にステップＳ１０４において、処理部１２０はデータベースを更新する処理を行う。なお、ステップＳ１０４の処理は手術中に行う必要はなく、例えば手術が完了した後に実行されてもよい。
　次にステップＳ１０５において、フレームを表す変数ｉをインクリメントした後、ステップＳ１０１に戻る。即ち、次のフレームの画像を対象として、ステップＳ１０１～Ｓ１０４の処理が継続される。
３．２　出血判定処理
　図８は、図７のステップＳ１０２における出血判定処理を説明するフローチャートである。この処理が開始されると、ステップＳ２０１において、出血検出部１２１は、出血検出処理を行う。ステップＳ２０２において、出血点検出部１２３は、出血点検出処理を行う。ステップＳ２０３において、処置決定部１２５は、止血処置の決定処理を行う。以下、各ステップの処理について詳細に説明する。
３．２．１　出血検出処理
　図９は、ステップＳ２０１における出血検出処理を説明するフローチャートである。まずステップＳ３０１において、出血検出部１２１は、処理対象の画像Ｐｉと、Ｐｉに比べてｎフレーム過去の画像Ｐｉ－ｎの比較処理を行う。画像Ｐｉ－ｎは、例えば画像Ｐｉの１秒前に取得された画像であるが、比較対象となる画像の取得タイミングは種々の変形実施が可能である。
　次にステップＳ３０２において、出血検出部１２１は、画像間における赤色領域の変化が大きいか否かを判定する。例えば出血検出部１２１は、ブロックマッチング等の公知のマッチング手法を用いて、画像間で変化した領域を特定する。そして変化した領域の面積が所定閾値以上である場合、当該領域が赤色の領域であるか否かを判定する。出血検出部１２１は、例えば色相が０度を含む所定角度範囲内である領域を赤色領域であると判定する。
　画像間で変化した領域の面積が閾値以上であり、且つ、当該領域が赤色領域であると判定された場合、ステップＳ３０３において、出血検出部１２１は画像Ｐｉにおいて出血ありと判定する。それ以外の場合、ステップＳ３０４において、出血検出部１２１は画像Ｐｉにおいて出血なしと判定する。
３．２．２　出血点検出処理
　図１０、図１１は、ステップＳ２０２における出血点検出処理を説明するフローチャートである。まず図１０のステップＳ４０１において、出血点検出部１２３は、画像Ｐｉにおいて出血が検出されているか否かを判定する。ステップＳ４０１でＮｏの場合、出血点検出部１２３は、ステップＳ４０２以降の処理を行わずに処理を終了する。
　ステップＳ４０１でＹｅｓの場合、ステップＳ４０２において、出血点検出部１２３は、画像Ｐｉにおける出血領域Ｓを特定する。ここでの出血領域は、例えば画像Ｐｉにおける連続する赤色画素の集合である領域のうち、所定画素数以上の領域である。なお、画像Ｐｉ中に出血領域が複数存在する場合、出血点検出部１２３は、各出血領域をＳ１、Ｓ２…と区別する。
　ステップＳ４０３において、出血点検出部１２３は、出血領域を特定する変数ｋを１で初期化する。そしてステップＳ４０４において、出血領域Ｓｋを対象として、出血点検出処理を実行する。ステップＳ４０４の処理後、ステップＳ４０５において出血点検出部１２３はｋをインクリメントし、ステップＳ４０４の処理に戻る。即ち、出血点検出部１２３は、画像Ｐｉにおいて検出された１又は複数の出血領域について、順次、出血点検出処理を実行する。全ての出血領域に対する出血点検出処理が終了した場合、図１０に示す処理は終了する。
　図１１は、ステップＳ４０４における出血領域Ｓｋを対象とした出血点検出処理を説明するフローチャートである。ステップＳ５０１において、出血点検出部１２３は、出血点探索用の変数ｊを１で初期化する。ステップＳ５０２において、出血点検出部１２３は、画像Ｐｉよりもｊフレーム前の画像Ｐｉ－ｊに、処理対象としている出血領域Ｓｋが存在するか否かを判定する。例えば出血点検出部１２３は、画像Ｐｉ－ｊにおいて出血領域の検出及び当該出血領域の重心を求め、当該重心と、画像Ｐｉ－ｊ＋１におけるＳｋの重心との比較処理を行う。差分が所定閾値以下の場合に、出血点検出部１２３は、画像Ｐｉ－ｊにおける出血領域が処理対象としている出血領域Ｓｋであると判定する。なお、１フレームに相当する期間における画像上での被写体の動きが大きいと想定される場合、出血点検出部１２３は、動きベクトルによる補正を行った上で重心の比較処理を行ってもよい。
　ステップＳ５０２でＹｅｓの場合、ステップＳ５０３において出血点検出部１２３は、変数ｊをインクリメントする。ステップＳ５０３の処理後、出血点検出部１２３は、再度ステップＳ５０２に戻って処理を継続する。即ち、さらに過去方向に遡って、出血領域Ｓｋの有無を判定する。
　図１２（Ａ）は、出血点検出処理を説明する模式図である。図１２（Ａ）に示すように、出血点検出部１２３は、画像Ｐｉで検出された出血領域Ｓｋを、過去方向に探索していく。図１２（Ａ）は、ステップＳ５０２でＮｏの場合、即ち、画像Ｐｉ－ｊ＋１ではＳｋが検出され、且つ、画像Ｐｉ－ｊではＳｋが検出されなかった場合を図示している。この場合、ステップＳ５０５において、出血点検出部１２３は、画像Ｐｉ－ｊ＋１を出血開始フレームに対応する出血開始画像Ｐｓとして設定する。即ち、出血開始フレームは、最新のフレームｉに比べてｊ－１フレーム過去のフレームである。
　出血開始画像Ｐｓが特定されたら、ステップＳ５０５において、出血点検出部１２３は出血点を特定する。図１２（Ｂ）は出血点（ｘｓ，ｙｓ）を特定する処理を説明する模式図である。図１２（Ｂ）に示すように、出血点検出部１２３は、画像Ｐｓにおける出血領域Ｓｋの重心である（ｘｓ，ｙｓ）を出血点として検出する処理を行う。なお図１２（Ｂ）では画像の左上の端点を原点としたが、座標系の設定は任意である。
　図１３は、図１０～図１２（Ｂ）に示す出血点検出処理によって取得されるデータの構成を説明する図である。図１３に示すように、フレームｉにおける画像Ｐｉに基づいて、１又は複数個の出血領域が検出され、各出血領域について、出血開始フレームを特定する情報が対応付けられる。出血開始フレームは、図１１に示すように例えばｉ－ｊ＋１であり、具体的な数値が特定されている。また各出血領域に対して、図１２（Ｂ）に示したように、出血開始点を特定する座標である（ｘｓ，ｙｓ）が対応付けられる。
　以上のように、処理部１２０は、処理対象画像列に基づいて、生体内において出血が発生したか否かを検出する出血検出処理を行う。そして処理部１２０は、出血が検出されたときに、出血の発生位置である出血点を特定する出血点検出処理を行う。このようにすれば、出血の発生を検出及び出血点の特定が可能になるため、ユーザーによる止血処置を適切にサポートすることが可能になる。
３．２．３　止血処置の決定処理
　ステップＳ２０３における止血処置の決定処理について説明する。なお、止血処置の決定処理を行う前提として、データベースの具体例及びデータベースを用いた学習処理についても説明する。
　以下、処理対象画像列、及びデータベースに含まれる生体内画像が肝臓を撮像した画像である例について説明する。処理部１２０は、処理対象画像列とデータベースに基づいて、肝動脈、肝静脈、門脈のいずれかの血管に対する止血処置を決定する。このようにすれば、肝部分切除等の肝臓を対象とした手術において、予期せぬ出血に対するユーザーの対処を適切にサポートすることが可能になる。特に肝臓は血管が密集しているため出血が発生しやすく、且つ、適切に止血処置を行わなければ予後不良となるおそれがある。そのため、肝臓に関する止血処置のサポートは非常に有用である。
　処理部１２０は、処理対象画像列とデータベースとに基づいて、出血が発生した血管の種別を特定し、特定した種別に基づいて、止血処置を決定してもよい。このようにすれば、出血が発生している血管種別を特定することによって、当該種別に応じた適切な止血処置をユーザーに提示することが可能になる。
　ここで血管の種別とは、例えば解剖学、脈管学等の分野における構造的な区分、或いは機能的な区分を表す。図１に例示したように、肝臓に関する血管の種別としては、消化器系からの血液を肝臓へと導く門脈、腹大動脈から分岐する肝動脈、下大静脈から分岐する肝静脈の３つが考えられる。ただし、本実施形態における種別は血管をより細かく区分するものであってもよい。例えば、相対的に太い肝動脈と、細い肝動脈とを異なる種別としてもよい。或いは、肝部分切除においては肝臓を右葉、左葉、尾状葉に区分し、さらに右葉と左葉をそれぞれ複数の区域に分ける。本実施形態における血管の種別は、血管がいずれの区域に接続されるかを考慮したものであってもよい。例えば本実施形態では、右肝静脈、中肝静脈、左肝静脈をそれぞれ異なる種別としてもよい。
　図１４（Ａ）、図１４（Ｂ）は、本実施形態のデータベースの例を示す図である。図４を用いて上述したデータベースの作成処理において、図１４（Ａ）に示すように、出血パターンの画像列に対して、出血が発生した血管の血管種別を表す情報が対応付けられている。即ち、図４のステップＳ１２において、血管種別をメタデータとして付加するアノテーションを行うことによって、図１４（Ａ）に示すデータベースが取得される。
　また図１４（Ｂ）に示すように、データベースは血管種別と、当該血管種別に応じた止血処置を対応付けるデータを含む。例えば図１４（Ｂ）は、対象となる血管種別に対応する行数のデータを含むテーブルであり、１つの血管種別に対して、１つの止血処置が対応付けられる。なお、止血処置は血管を縫い合わせる縫合、エネルギーデバイスを用いて血管を焼くことによる封止、出血点近傍をクリップで挟むことによって機械的に圧迫を行うクリップ止め、血管収縮作用を有する薬剤の注射や散布等が考えられる。なお血管種別の数と止血処置の種類数は一致する必要はなく、１つの止血処置が複数の血管種別に対応付けられることは妨げられない。
　本実施形態の止血処置の決定処理は、機械学習を用いたものであってもよい。具体的には、学習装置５００はデータベースに基づく機械学習を行うことによって学習済モデルを生成する。画像処理システム１００の処理部１２０は、学習装置５００が生成した学習済モデルに従って動作することによって、止血処置を決定する。以下ではニューラルネットワークを用いた機械学習について説明するが、本実施形態の手法はこれに限定されない。本実施形態においては、例えばＳＶＭ（support vector machine）等の他のモデルを用いた機械学習が行われてもよいし、ニューラルネットワークやＳＶＭ等の種々の手法を発展させた手法を用いた機械学習が行われてもよい。
　図１５（Ａ）は、ニューラルネットワークを説明する模式図である。ニューラルネットワークは、データが入力される入力層と、入力層からの出力に基づいて演算を行う中間層と、中間層からの出力に基づいてデータを出力する出力層を有する。図１５（Ａ）においては、中間層が２層であるネットワークを例示するが、中間層は１層であってもよいし、３層以上であってもよい。また各層に含まれるノード（ニューロン）の数は図１５（Ａ）の例に限定されず、種々の変形実施が可能である。なお精度を考慮すれば、本実施形態の学習は多層のニューラルネットワークを用いた深層学習（ディープラーニング）を用いることが望ましい。ここでの多層とは、狭義には４層以上である。
　図１５（Ａ）に示すように、所与の層に含まれるノードは、隣接する層のノードと結合される。各結合には重み付け係数が設定されている。各ノードは、前段のノードの出力と重み付け係数を乗算し、乗算結果の合計値を求める。さらに各ノードは、合計値に対してバイアスを加算し、加算結果に活性化関数を適用することによって当該ノードの出力を求める。この処理を、入力層から出力層へ向けて順次実行することによって、ニューラルネットワークの出力が求められる。なお活性化関数としては、シグモイド関数やＲｅＬＵ関数等の種々の関数が知られており、本実施形態ではそれらを広く適用可能である。
　ニューラルネットにおける学習は、適切な重み付け係数（バイアスを含む）を決定する処理である。具体的には、学習装置５００は、訓練データのうちの入力データをニューラルネットワークに入力し、そのときの重み付け係数を用いた順方向の演算を行うことによって出力を求める。学習装置５００は、当該出力と訓練データのうちの正解ラベルとに基づいて、誤差関数を演算する。そして誤差関数を小さくするように、重み付け係数を更新する。重み付け係数の更新では、例えば出力層から入力層に向かって重み付け係数を更新していく誤差逆伝播法を利用可能である。
　またニューラルネットワークは例えばＣＮＮ（Convolutional Neural Network）であってもよい。図１５（Ｂ）は、ＣＮＮを説明する模式図である。ＣＮＮは、畳み込み演算を行う畳み込み層とプーリング層を含む。畳み込み層は、フィルタ処理を行う層である。プーリング層は、縦方向、横方向のサイズを縮小するプーリング演算を行う層である。図１５（Ｂ）に示す例は、畳み込み層及びプーリング層による演算を複数回行った後、全結合層による演算を行うことによって出力を求めるネットワークである。全結合層とは、所与の層のノードに対して前の層の全てのノードが結像される場合の演算処理を行う層であり、図１５（Ａ）を用いて上述した各層の演算に対応する。なお、図１５（Ｂ）では活性化関数による演算処理を省略している。ＣＮＮは種々の構成が知られており、本実施形態においてはそれらを広く適用可能である。
　ＣＮＮを用いる場合も、処理の手順は図１５（Ａ）と同様である。即ち、学習装置５００は、訓練データのうちの入力データをＣＮＮに入力し、そのときのフィルタ特性を用いたフィルタ処理やプーリング演算を行うことによって出力を求める。当該出力と、正解ラベルとに基づいて誤差関数を算出し、当該誤差関数を小さくするように、フィルタ特性を含む重み付け係数を更新する。ＣＮＮの重み付け係数を更新する際にも、例えば誤差逆伝播法を利用可能である。
　図１６は、図１４（Ａ）に示すデータベースを用いる場合のニューラルネットワークの入力と出力を例示する図である。図１６に示すように、ニューラルネットワークの入力データは画像列であり、出力データは血管種別を特定するための情報である。入力となる画像列は例えば固定長であるが、ニューラルネットワークの構成によっては可変長となることも妨げられない。ニューラルネットワークの出力層が公知のソフトマックス層である場合、出力データは、各血管種別の確からしさを表す確率データである。図１６の例では、出力データは、入力である画像列において出血が発生した血管の種別が「門脈である確からしさを表す確率データ」と、「肝動脈である確からしさを表す確率データ」と、「肝静脈である確からしさを表す確率データ」の３つのデータである。
　学習装置５００は、図１４（Ａ）に示すデータベースから、出血パターンの画像列と、当該画像列に対応付けられた血管種別情報を取得する。次にニューラルネットワークに画像列を入力し、現在の重み付け係数を用いた順方向の演算を行うことによって、３つの確率データを求める。血管種別情報が「門脈」である場合、「門脈である確からしさを表す確率データ」が１となり、「肝動脈である確からしさを表す確率データ」と「肝静脈である確からしさを表す確率データ」の両方が０となるデータが正解となる。学習装置５００は、順方向の演算によって求めた３つの確率データと正解との誤差を、誤差関数として演算する。誤差関数を小さくするための重み付け係数の更新処理には、上述したように誤差逆伝播法等が用いられる。以上が図１４（Ａ）のデータベースに含まれる１行のデータによって実行される処理である。学習装置５００は、この処理を繰り返すことによって学習済モデルを生成する。また学習処理においてはバッチ学習、ミニバッチ学習等の種々の手法が知られており、本実施形態ではそれらを広く適用可能である。
　図１７は、ステップＳ２０３における止血処置の決定処理を説明するフローチャートである。なお、図１７の処理を開始する前に、以上で説明した処理によって、学習済モデルが生成されているものとする。
　まずステップＳ６０１において、処置決定部１２５は、最新の画像Ｐｉにおいて出血が発生しているか否かを判定する。例えば処置決定部１２５は、ステップＳ２０１における出血検出部１２１の処理結果を取得することによって、ステップＳ６０１の処理を行う。出血が発生していない場合、処置決定部１２５はステップＳ６０２以降を省略し、処理を終了する。
　出血が発生していると判定された場合、ステップＳ６０２において、処置決定部１２５は、処理対象画像列から学習済モデルに入力する画像列を抽出する処理を行う。ここでの画像列は、出血の状況を表す画像である。画像列の始点は、例えば画像Ｐｓである。画像列の終点は、例えば画像Ｐｉである。ただし、抽出する画像列の範囲はこれに限定されず、始点及び終点の少なくとも一方が異なってもよい。また、始点から終点までの全てのフレームの画像が画像列に含まれるものには限定されず、途中の一部の画像が省略されてもよい。
　ステップＳ６０３において、処置決定部１２５は、学習装置５００によって生成された学習済モデルを取得する。ステップＳ６０３の処理は、データベースサーバー３００から学習済モデルを受信する処理であってもよい。或いは処置決定部１２５は、あらかじめデータベースサーバー３００から学習済モデルを取得し、記憶部１３０に記憶しておいてもよい。この場合、ステップＳ６０３は、記憶しておいた学習済モデルを読み出す処理に対応する。なお、ステップＳ６０２とＳ６０３の処理順序はこれに限定されず、ステップＳ６０３がＳ６０２よりも前に行われてもよいし、２つの処理が並列に行われてもよい。
　ステップＳ６０４において、処置決定部１２５は、学習済モデルに基づく推論処理を実行する。具体的には、処置決定部１２５は、抽出した画像列を学習済モデルに入力することによって出力データを取得する。ステップＳ６０４の処理は、例えば畳み込み層に対応するフィルタ処理等を含む順方向の演算である。出力データは、例えば図１６を用いて上述したように３つの確率データである。
　ステップＳ６０５において、処置決定部１２５は、出力データに基づいて、出血が発生した血管の血管種別を特定する処理を行う。ステップＳ６０５の処理は、例えば３つの確率データのうち、値が最大となるデータを選択する処理である。
　ステップＳ６０６において、処置決定部１２５は、特定された血管種別に基づいて、止血処置を決定する。例えば処置決定部１２５は、図１４（Ｂ）に示したデータベースと、ステップＳ６０５において特定された血管種別との比較処理を行うことによって、止血処置を決定する。図１４（Ｂ）の例であれば、血管種別が門脈であると特定された場合、止血処置は縫合となる。
　以上のように、本実施形態のデータベースは、時系列の生体内画像である生体内画像列に対して、当該生体内画像列において撮像された出血がいずれの種別の血管において発生したかを表す血管種別情報が対応付けられたデータセットを複数含んでもよい。データベースは例えば図１４（Ａ）である。処理部１２０は、学習済モデルと処理対象画像列に基づいて、出血が発生した血管の種別を特定する処理を行う。学習済モデルは、複数の上記データセットに基づいて生体内画像列と血管種別情報との関係を機械学習した学習済モデルである。さらに処理部１２０は、特定された種別に基づいて、止血処置を決定する。
　このように学習済モデルを用いて血管種別を特定することによって、出血が発生した血管の血管種別を精度よく推定することが可能になる。また、血管種別に応じた止血処置をユーザーに提示することが可能になる。
　なお、学習済モデルに従った処理部１２０おける演算、即ち、入力データに基づいて出力データを出力するための演算は、ソフトウェアによって実行されてもよいし、ハードウェアによって実行されてもよい。換言すれば、図１５（Ａ）の各ノードにおいて実行される積和演算や、ＣＮＮの畳み込み層において実行されるフィルタ処理等は、ソフトウェア的に実行されてもよい。或いは上記演算は、ＦＰＧＡ等の回路装置によって実行されてもよい。また、上記演算は、ソフトウェアとハードウェアの組み合わせによって実行されてもよい。このように、記憶部１３０に記憶された学習済モデルからの指令に従った処理部１２０の動作は、種々の態様によって実現可能である。例えば学習済モデルは、推論アルゴリズムと、当該推論アルゴリズムにおいて用いられるパラメーターとを含む。推論アルゴリズムとは、入力データに基づいて、積和演算等を行うアルゴリズムである。パラメーターとは、学習処理によって取得されるパラメーターであって、例えば重み付け係数である。この場合、推論アルゴリズムとパラメーターの両方が記憶部１３０に記憶され、処理部１２０は、当該推論アルゴリズムとパラメーターを読み出すことによってソフトウェア的に推論処理を行ってもよい。或いは、推論アルゴリズムはＦＰＧＡ等によって実現され、記憶部１３０はパラメーターを記憶してもよい。
　３．３　表示処理
　図１８は、ステップＳ１０３における表示処理を説明するフローチャートである。まずステップＳ７０１において、表示処理部１２７は、現在行っている手術で対象としている出血点の出血開始画像Ｐｓにおける出血点（ｘｓ，ｙｓ）を取得する。例えば、表示処理部１２７は、図１３に示すデータを読み出すことによって画像Ｐｓにおける出血点の座標を特定する。
　ステップＳ７０２において、表示処理部１２７は、画像間における被写体の移動量に基づいて、出血点を補正する処理を行う。なお、出血点検出部１２３が出血点の補正処理を行い、表示処理部１２７は補正処理結果を取得してもよい。
　例えば表示処理部１２７は、画像Ｐｓと、表示対象となる最新フレームの画像Ｐｉとの間で、被写体の移動量を算出する。ここでの移動量は例えば動きベクトルである。動きベクトルは、例えばブロックマッチング等により求めることが可能である。画像Ｐｓにおける出血点の位置に対して、求めた動きベクトルに基づく補正処理を行うことによって、画像Ｐｉにおける出血点の位置を特定できる。なお出血点の補正処理は、画像Ｐｓと画像Ｐｉの間の補正処理を直接実行する処理に限定されない。例えば表示処理部１２７は、画像Ｐｓと画像Ｐｓ＋１の間の移動ベクトルを求め、当該移動ベクトルに基づいて、画像Ｐｓ＋１における出血点を特定する処理を行う。これ以降も同様に、表示処理部１２７は、１フレームずつ出血点を補正することによって、画像Ｐｉにおける出血点を特定してもよい。なお、表示処理部１２７は２フレームおきに出血点を特定する処理を行うことによって、出血点を補正してもよく、具体的な処理については種々の変形実施が可能である。
　ステップＳ７０３において、表示処理部１２７は、表示対象画像と、当該画像について特定された出血点の情報に基づいて表示画像を生成する。具体的には、表示処理部１２７は、出血開始画像Ｐｓにおける出血点（ｘｓ，ｙｓ）に対して、移動ベクトルによる補正が行われた結果を、画像Ｐｉに付加することによって出血点に関する表示を行う。表示処理部１２７は、例えば表示対象画像に対して、出血点の位置を明示するマーカーオブジェクトを重畳表示する処理を行う。
　図１９は、決定された止血処置をユーザーに提示するための表示画像の例である。図１９に示すように、表示画像は、例えば生体内を撮像した画像に対して、止血処置を表す情報が重畳された画像である。図１９では、「クリップ止め」というテキストを重畳することによって、止血処置としてクリップ止めが推奨されることを提示する。ただし、重畳される情報はテキストに限定されず、画像やアイコンであってもよい。また表示以外の手法を用いて止血処置の提示処理が行われてもよい。例えば、処理部１２０は、音声等を用いて止血処置をユーザーに提示してもよい。
　また図１９に示すように、表示画像には出血点を表す情報や、出血が発生した血管種別を表す情報が重畳されてもよい。このような付加的な情報を表示することによって、ユーザーに出血状況をわかりやすい態様で提示することが可能になる。例えば、出血点を表示することによって止血処置を行うべき位置をユーザーに把握させることが可能になる。
　以上のように処理部１２０は、出血点検出処理によって特定された出血点に関する情報をユーザーに報知する出血報知処理を行ってもよい。ユーザーに出血点を提示することによって、ユーザーによる止血処置を容易にすることが可能になる。なお図１８においては出血点を表示する例を示したが、出血報知処理は、出血点検出処理において出血ありと判定されたときに、出血の発生に関する情報を報知する処理を含んでもよい。また出血報知処理は、出血の発生に関する情報と、出血点に関する情報の両方を報知する処理であってもよい。
３．４　データベースの更新処理
　また処理部１２０は、図７のステップＳ１０４に示したように、止血処置の決定に用いた処理対象画像列と、処理対象画像列において検出された出血に対する止血処置と、を対応付けたデータセットを、データベースに追加する処理を行う。このようにすれば、手術の実行に伴ってデータベースに記憶されるデータが拡充される。これにより、データベースを用いた処理の精度向上が可能になる。機械学習を用いる場合、訓練データの量が増えることによって、精度の高い推論処理を実行可能な学習済モデルの生成が可能になる。
　データベースの更新処理の流れは、図４に示したデータベースの作成処理の流れに準ずる。止血処置の決定処理のステップＳ６０２において、画像列を抽出する処理が行われているため、ステップＳ１１の処理はＳ６０２の処理結果を流用可能である。例えば、データベースに保存される画像列は、画像Ｐｓを始点とし、画像Ｐｉを終点とする画像列である。ただし、ユーザーが画像列の範囲調整等、画像列の抽出処理をやり直すことは妨げられない。
　また、止血処置の決定処理のステップＳ６０６において、止血処置は決定されている。当該止血処置によって止血が適切に完了したのであれば、ステップＳ１２の処理において付与されるメタデータは、実際に実行した止血処置を表す情報となる。また実行した止血処置による止血効果が不十分であった場合、その旨を表す情報や、熟練の医師によってより望ましいと判断された他の止血処置を表す情報等を、画像列に対応付ける処理が行われてもよい。
　ステップＳ１３における付加情報の関連付け、ステップＳ１４におけるデータベースへの登録処理については、図４の例と同様である。
４．変形例
　以下、いくつかの変形例について説明する。
４．１　肝部分切除における変形例
　上述したように、処理対象画像列、及びデータベースに含まれる生体内画像は肝臓を撮像した画像であってもよい。具体的には、本実施形態で想定する手術は肝臓における手術、狭義には肝部分切除であってもよい。
　肝部分切除においては、プリングル法と呼ばれる手法が用いられる。これは、肝動脈及び門脈をクランプ鉗子で止めることによって血流を遮断する手法である。プリングル法を用いることによって、手術中の出血を抑制することが可能になる。プリングル中に発生した大規模な出血は肝静脈からの出血である蓋然性が高い。一方、プリングル解除後に出血が発生した場合、門脈や肝動脈からの出血である蓋然性が高くなる。
　よって処理部１２０は、肝動脈及び門脈の血流を遮断するプリングルが行われているか否かを特定し、特定結果に基づいて止血処置を決定する処理を行う。このようにすれば、プリングル中か解除後かを考慮した判定が可能になるため、止血処置の決定処理を高い精度で実行することが可能になる。
　例えばユーザーがプリングル中かプリングル解除後かを表す入力を行ってもよい。処理部１２０は、ユーザー入力に基づいてプリングルが行われているか否かを特定する。ただし、処理部１２０は、画像処理に基づいてプリングルが行われているか否かを特定してもよい。
　例えばデータベースは、プリングル中に出血が発生した場合の画像列に対して血管種別情報が対応付けられた第１テーブルと、プリングル解除後に出血が発生した場合の画像列に対して血管種別情報が対応付けられた第２テーブルの２つを含んでもよい。学習装置５００は、第１テーブルに基づいて第１学習済モデルを生成し、第２テーブルに基づいて第２学習済モデルを生成する。
　処理部１２０は、肝動脈及び門脈の血流を遮断するプリングルが行われているか否かを特定し、プリングル中と判定された場合は第１学習済モデルに基づいて止血処置を決定し、プリングル解除後と判定された場合は第２学習済モデルに基づいて止血処置を決定する。このようにすれば、プリングルに応じた処置結果を出力できる。
　或いは処理部１２０は、処理対象画像列とデータベースとに基づいて、プリングルが行われている場合の第１止血処置と、プリングルが行われていない場合の第２止血処置とを決定してもよい。例えば表示処理部１２７は、２つの止血処置の両方を表示する。例えば「プリングル中：縫合」「プリングル解除後：クリップ止め」といった２つの情報を併記する。手術中のユーザーは、現在がプリングル中かプリングル解除後かを把握している。よって２つの情報が提示された場合であっても、いずれの情報を参照すればよいかをユーザーは容易に理解することが可能である。
　例えば処理部１２０は、処理対象画像列を第１学習済モデルと第２学習済モデルの両方に入力する。処理部１２０は、第１学習済モデルの出力に基づいて第１止血処置を決定し、第２学習済モデルの出力に基づいて第２止血処置を決定する。
４．２　機械学習の変形例
　図２０（Ａ）は、データベースの他の構成を説明する図である。図２０（Ａ）に示すように、出血パターンの画像列に対して、出血が発生した血管の血管種別を表す血管種別情報と、推奨される止血処置を表す情報が対応付けられている。具体的には、図４のステップＳ１２において、血管種別及び止血処置をメタデータとして付加するアノテーションを行うことによって、図２０（Ａ）に示すデータベースが取得される。
　図２０（Ｂ）は、図２０（Ａ）に示すデータベースを用いる場合のニューラルネットワークの入力と出力を例示する図である。図２０（Ｂ）に示すように、ニューラルネットワークの入力データは画像列であり、出力データは血管種別を特定するための情報及び止血処置を特定するための情報である。血管種別を特定するための情報とは、例えば図１６の例と同様に、各血管種別の確からしさを表す確率データである。止血処置を特定するための情報とは、例えば各止血処置を推奨する確からしさを表す確率データである。止血処置を特定するための情報は、例えば「縫合を推奨する確率データ」、「クリップ止めを推奨する確率データ」、「焼いて封止を推奨する確率データ」等を含む。
　学習装置５００は、図２０（Ａ）のうちの画像列を入力とし、血管種別を表す情報及び推奨される止血処置を表す情報を正解ラベルとする機械学習を行うことによって学習済モデルを生成する。画像処理システム１００の処置決定部１２５は、処理対象画像列を学習済モデルに入力する。図２０（Ｂ）のニューラルネットワークを用いる場合、学習済モデルの出力として、血管種別と止血処置の両方を決定することが可能である。
　血管種別の特定と、止血処置の決定は段階的に行われるものに限定されず、図２０（Ｂ）に示すように並列に行われてもよい。この場合も、血管種別及び当該血管種別に適した止血処置をユーザーに提示することが可能になる。なお図２０（Ａ）に示したように、ここでのデータベースでは、同じ種別の血管に対して異なる止血処置が対応付けられてもよい。そのため、同じ種別の血管であっても、状況に応じて柔軟に止血処置を変更することが可能になる。
　なお、本実施形態の手法は推奨される止血処置をユーザーに提示するものである。そのため、血管種別の決定、提示は必須ではない。図２１（Ａ）は、データベースの他の構成を説明する図である。図２１（Ａ）に示すように、出血パターンの画像列に対して、推奨される止血処置を表す情報が対応付けられてもよい。
　図２１（Ｂ）は、図２１（Ａ）に示すデータベースを用いる場合のニューラルネットワークの入力と出力を例示する図である。図２１（Ｂ）に示すように、ニューラルネットワークの入力データは画像列であり、出力データは止血処置を特定するための情報である。このように血管種別を省略した場合であっても、推奨すべき止血処置の決定、提示を行うことが可能である。
　図２０（Ａ）及び図２１（Ａ）を用いて上述したように、データベースは、時系列の生体内画像である生体内画像列に対して、生体内画像列において撮像された出血に対して推奨される止血処置を表す止血処置情報が対応付けられたデータセットを複数含んでもよい。処理部１２０は、複数のデータセットに基づいて生体内画像列と止血処置情報との関係を機械学習した学習済モデルと、処理対象画像列とに基づいて、止血処置を決定する処理を行う。このようにすれば、学習済モデルの出力として、止血処置を表す情報を取得することが可能になる。
　また、以上では学習済モデルにおける入力が画像列である例について説明したが、本実施形態の手法はこれに限定されない。例えば画像列に含まれる各画像に基づいて求められる特徴量が、学習済モデルの入力として用いられてもよい。特徴量は、色相、彩度、明度等に関する情報であってもよい。或いは特徴量は、出血速度の時系列変化を表す情報であってもよい。出血速度とは、単位時間当たりの出血量を表す。上述したように、血液が存在する領域は赤色領域として撮像される。出血の絶対量を精度よく推定することは難しいが、赤色領域の面積は出血量の指標となる情報である。よって、赤色領域の面積変化は、出血速度の指標として利用可能である。出血速度そのものを用いることによって、出血の激しさを判定できる。また出血速度の変化度合いを見ることによって、脈動の有無を判定できる。例えば、出血の状況を表す特徴量は、出血速度の時間変化波形である。ただし特徴量は、出血速度の平均値や最大値等の統計量であってもよいし、出血速度変化の統計量であってもよいし、これらの組み合わせであってもよく、具体的な態様は種々の変形実施が可能である。
　なお、ニューラルネットワークに特徴量を入力することによって取得される出力データは、上述したように、血管種別であってもよいし、止血処置であってもよいし、その両方であってもよい。
　図２２は、特徴量を入力データとする場合の止血処置の決定処理を説明するフローチャートである。図２２のステップＳ８０１及びＳ８０２は、図１７のステップＳ６０１及びＳ６０２と同様である。次にステップＳ８０３において、処置決定部１２５は、抽出した画像列に基づいて、特徴量を算出する。例えば処置決定部１２５は、画像中の赤い領域の時間変化に基づいて、出血速度に対応する特徴量を求める。
　ステップＳ８０４において、処置決定部１２５は、学習装置５００によって生成された学習済モデルを取得する。ステップＳ８０５において、処置決定部１２５は、学習済モデルに基づく推論処理を実行する。具体的には、処置決定部１２５は、求めた特徴量を学習済モデルに入力することによって出力データを取得する。ステップＳ８０６、Ｓ８０７の処理は、図１７のステップＳ６０５、Ｓ６０６と同様である。
４．３　データベースに基づく処理の変形例
　以上では、データベースに基づく止血処置の決定処理が、機械学習を用いた処理である例について説明した。しかし本実施形態の手法は機械学習に限定されない。
　処理部１２０は、データベースに含まれる生体内画像列と、処理対象画像列を比較することによって止血処置の決定処理を行ってもよい。画像同士の比較は、例えば画像から色相、彩度、明度のそれぞれのヒストグラムを求め、当該ヒストグラムを比較する手法等が知られている。ここでは生体内画像列と処理対象画像列がそれぞれ複数の画像を有するため、例えば処理部１２０は２枚の画像の比較処理を複数回繰り返すことによって、画像列間の類似度を算出する。
　処理部１２０は、データベースに含まれる複数の生体内画像列から、処理対象画像列に最も類似する画像列を決定する。図１４（Ａ）に示すデータベースを用いる場合、処理部１２０は、決定された生体内画像列に対応付けられた血管種別において出血が発生したと判定する。血管種別決定後の処理については上述した例と同様である。また、データベースが図２０（Ａ）、図２１（Ａ）の場合も同様であり、処理対象画像列に類似する生体内画像列を特定することによって、血管種別と止血処置の両方、又は、止血処置を決定することが可能である。
　データベースと処理対象画像列を比較する場合、上述したヒストグラム等の特徴量をその都度演算してもよい。ただしデータベースの作成処理を行う際に、生体内画像列から特徴量を演算し、当該特徴量と血管種別、止血処置等を対応付けたデータベースが作成されてもよい。例えば、データベース作成装置４００は、図１４（Ａ）に示すデータベースに代えて、ヒストグラム等の特徴量に対して血管種別情報が対応付けられたデータベースを作成し、データベースサーバー３００に送信する。
　なお、生体内画像列と処理対象画像列の比較は、出血の状況が類似している画像列を探索する処理である。そのため、比較に用いる特徴量は画像における出血を表す特徴量が用いられてもよい。出血を表す特徴量とは、出血量、出血速度、出血速度の時間変化等である。
　図２３（Ａ）は、データベースの他の構成を説明する図である。図２３（Ａ）に示すように、出血速度の時間変化波形に対して、出血が発生した血管の血管種別を表す情報が対応付けられている。例えば、データベース作成装置４００は、生体内画像列の各画像から赤色領域の面積を求め、その微分情報に基づいて出血速度の時間変化波形を求める処理を行う。微分情報とは、例えば隣り合う２つの画像間での差分である。
　処置決定部１２５は、処理対象画像列に対して、赤色領域の面積を求める処理、及び微分情報を求める処理を行うことによって、処理対象画像列における出血速度の時間変化波形を求める。次に処置決定部１２５は、出血速度の時間変化波形同士の類似度を算出する。そして最も類似度が高い時間変化波形が対応付けられた血管種別において出血が発生したと判定する。血管種別決定後の処理については上述した例と同様である。例えば図２３（Ｂ）に示すように、データベースは血管種別と、当該血管種別に応じた止血処置を対応付けるデータを含む。図２３（Ｂ）は、図１４（Ｂ）と同様である。処置決定部１２５は、図２３（Ａ）に基づいて決定された血管種別と、図２３（Ｂ）に示すテーブルとの比較処理に基づいて、止血処置を決定する。
　４．４　応急止血処置
　また以上では、最新フレームの画像Ｐｉにおいて出血が検出された場合に、出血開始画像Ｐｓを始点とし、画像Ｐｉを終点とする画像列に基づいて止血処置が決定される例について説明した。しかしユーザーによる応急止血処置の実施有無に基づいて、止血処置が決定されてもよい。
　例えば処置決定部１２５は、図１７のステップＳ６０１、或いは図２２のステップＳ８０１の処理に代えて、過去フレームにおいて出血点に関する表示処理を実行済であるか否かと、ユーザーによる応急止血処置が実行されたか否かを判定する。
　図７のステップＳ１０３における出血点の表示処理によって、出血に対する応急止血処置の実行をユーザーに促すことが可能である。応急止血処置とは、本実施形態の止血処置の決定処理によって決定される止血処置に比べて応急的な処置を表す。応急止血処置とは、具体的には処置具のカバーや腹腔内に挿入されたガーゼ等を用いた圧迫止血である。これは圧迫によって血流を阻害し、出血を抑制する処置であり、止血処置として提示されるクリップ止め、焼いて封止、縫合等に比べて止血効果が相対的に低い。しかし応急止血処置によって大量出血が抑制され、クリップ止め等の止血効果の高い処置が容易になるため、まず出血点を提示して応急止血処置を促すことは有効である。
　処置決定部１２５は、応急止血処置が実行されたと判定された場合に、ステップＳ６０２以降、或いはステップＳ８０２以降の処理を実行する。応急止血処置が実行されたか否かの判定は、例えばユーザー入力に基づいて行われる。例えば、ステップＳ１０３における表示画面や内視鏡システム２００のマニュアルにおいて、応急止血処置が完了した場合に所定の入力操作を行うことをユーザーに促してもよい。或いは応急止血処置が実行されたか否かの判定は、画像処理によって行われてもよい。応急止血処置によって一時的に出血が抑制されるため、例えば処理部１２０は、出血ありと判定されたタイミングに比べて、赤色領域の面積が十分小さくなった場合に、応急止血処置が行われたと判定する。
　このように処理部１２０は、ユーザーが出血に対して応急止血処置を行ったと判定されたときに、処理対象画像列とデータベースに基づいて、応急止血処置に比べて止血能力の高い処置を止血処置として決定する処理を行ってもよい。
　応急止血処置によって、出血が抑制される。その際、損傷した血管の種別や損傷度合いに応じて、応急止血処置による止血効果も変わってくる。応急止血処置の実行後に止血処置の決定処理を行うことによって、出血が広がっていく状況だけでなく、応急止血処置によって出血が収まる状況まで考慮した止血処置の決定が可能になる。そのため、止血処置の推定精度を高くすることが可能になる。場合によっては、応急止血処置によって十分に止血が行われており、追加での止血処置が不要であると判定することも可能である。
　なお内視鏡システム２００のユースケースとしては、図７のステップＳ１０３に示したように、まず処理部１２０が出血報知処理を行い、ユーザーは当該出血報知処理に基づいて応急止血処置を行うことが考えられる。よって処理部１２０は、出血報知処理後、且つ、応急止血処置後に、処理対象画像列とデータベースに基づいて止血処置として決定する処理を行ってもよい。ただし、本実施形態では出血報知処理は必須ではなく、省略が可能である。
　より具体的には、処理部１２０は、ユーザーによる応急止血処置の実行中、又は、実行後に撮像された画像を少なくとも含む処理対象画像列に基づいて、止血処置を決定する処理を行ってもよい。
　このようにすれば、応急止血処置によって出血が抑制される状況を撮像した画像が、止血処置の決定処理に用いられる。そのため、出血開始から出血量が増えていく状況のみを考慮する場合に比べて、処理精度の向上が可能になる。上記の例であれば、処理対象画像列に基づいて血管種別を推定する処理の精度が向上する。
　なお、生体及びユーザーの挙動としては、まず生体に出血が発生し、ユーザーが当該出血を認識する。ユーザーによる出血の認識は、上記出血報知処理によるものであってもよいし、ユーザーが生体内画像を観察することによって自発的に行われてもよい。そしてユーザーが出血に対して応急止血処置を行い、その結果として出血が抑制される。上述したように、処理部１２０は、例えば赤色領域の減少度合いに基づいて、応急止血処置が実行されたと判定する。この場合、応急止血処置が行われたと処理部１２０が判定したタイミングでは、応急止血処置が実行継続中であるか実行完了後であるかは不明であるが、少なくとも出血が減少している状況である。そのため、応急止血処置が行われたと処理部１２０が判定したタイミング、又は、それ以降のタイミングを処理対象画像列の終点とすることによって、出血が収まる状況まで考慮した止血処置の決定が可能になる。またユーザー入力に基づいて応急止血処置が実行されたと判定する場合、例えば応急止血処置の実行開始後にユーザー入力を行うようにユーザーに促せばよい。この場合も、出血が収まる状況まで考慮した止血処置の決定が可能になる。換言すれば、応急止血処置が行われたと処理部１２０が判定したタイミング、又はそれ以降のタイミングを処理対象画像列の終点とすることによって、ユーザーによる応急止血処置の実行中、又は、実行後に撮像された画像を少なくとも含む処理対象画像列を取得可能である。
　処理対象画像列の始点は、例えば上述したように、図１１に示すＰｓに対応するタイミングであってもよいし、図９に示す出血検出処理において出血していると判定されたタイミングであってもよい。また処理部１２０が出血報知処理を行う場合、当該出血報知処理を開始したタイミングを始点としてもよい。なお、始点から終点までの全ての画像が止血処置の決定処理に用いられる必要はなく、一部が省略されてもよい。例えばＣＮＮの入力画像列が固定長である場合、画像列の長さを調整するための間引き処理等が行われてもよい。
　なお、上記のように本実施形態について詳細に説明したが、本実施形態の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本開示の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また本実施形態及び変形例の全ての組み合わせも、本開示の範囲に含まれる。また画像処理システム、内視鏡システム等の構成及び動作等も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。
１００…画像処理システム、１１０…画像取得部、１２０…処理部、１２１…出血検出部、１２３…出血点検出部、１２５…処置決定部、１２７…表示処理部、１３０…記憶部、２００…内視鏡システム、２１０…内視鏡スコープ、２２０…プロセッサユニット、２２１…撮像データ受信部、２２２…処理部、２２３…記憶部、２３０…表示部、２４０…操作部、３００…データベースサーバー、４００…データベース作成装置、５００…学習装置、６００…画像収集用内視鏡システム

Claims (14)

  1. 　内視鏡撮像装置によって生体内を撮像した時系列画像を処理対象画像列として取得する画像取得部と、
    　前記処理対象画像列よりも前のタイミングにおいて撮像された複数の生体内画像によって生成されたデータベースと、前記処理対象画像列とに基づいて処理を行う処理部と、
    　を含み、
    　前記処理部は、
    　前記生体内において出血が発生したときに、前記処理対象画像列と前記データベースとに基づいて、前記出血が発生した血管に対する止血処置を決定し、決定した前記止血処置をユーザーに提示する処理を行うことを特徴とする画像処理システム。
  2. 　請求項１において、
    　前記処理部は、
    　前記処理対象画像列と前記データベースとに基づいて、前記出血が発生した前記血管の種別を特定し、特定した前記種別に基づいて、前記止血処置を決定することを特徴とする画像処理システム。
  3. 　請求項２において、
    　前記データベースは、
    　時系列の前記生体内画像である生体内画像列に対して、前記生体内画像列において撮像された前記出血がいずれの前記種別の前記血管において発生したかを表す血管種別情報が対応付けられたデータセットを複数含み、
    　前記処理部は、
    　複数の前記データセットに基づいて前記生体内画像列と前記血管種別情報との関係を機械学習した学習済モデルと、前記処理対象画像列とに基づいて、前記出血が発生した前記血管の前記種別を特定する処理を行い、特定された前記種別に基づいて、前記止血処置を決定することを特徴とする画像処理システム。
  4. 　請求項１において、
    　前記データベースは、
    　時系列の前記生体内画像である生体内画像列に対して、前記生体内画像列において撮像された出血に対して推奨される前記止血処置を表す止血処置情報が対応付けられたデータセットを複数含み、
    　前記処理部は、
    　複数の前記データセットに基づいて前記生体内画像列と前記止血処置情報との関係を機械学習した学習済モデルと、前記処理対象画像列とに基づいて、前記止血処置を決定する処理を行うことを特徴とする画像処理システム。
  5. 　請求項１において、
    　前記処理部は、
    　前記止血処置の決定に用いた前記処理対象画像列と、前記処理対象画像列において検出された前記出血に対する前記止血処置と、を対応付けたデータセットを、前記データベースに追加する処理を行うことを特徴とする画像処理システム。
  6. 　請求項１において、
    　前記処理部は、
    　前記処理対象画像列に基づいて、前記生体内において前記出血が発生したか否かを検出する出血検出処理を行い、
    　前記出血が検出されたときに、前記出血の発生位置である出血点を特定する出血点検出処理を行うことを特徴とする画像処理システム。
  7. 　請求項６において、
    　前記処理部は、
    　前記出血検出処理によって検出された前記出血の発生、及び、前記出血点検出処理によって特定された前記出血点の少なくとも一方に関する情報を前記ユーザーに報知する出血報知処理を行うことを特徴とする画像処理システム。
  8. 　請求項１において、
    　前記処理部は、
    　前記ユーザーが前記出血に対して応急止血処置を行ったと判定されたときに、前記処理対象画像列と前記データベースに基づいて、前記応急止血処置に比べて止血能力の高い処置を前記止血処置として決定する処理を行うことを特徴とする画像処理システム。
  9. 　請求項８において、
    　前記処理部は、
    　前記ユーザーによる前記応急止血処置の実行中、又は、実行後に撮像された画像を含む前記処理対象画像列に基づいて、前記止血処置を決定する処理を行うことを特徴とする画像処理システム。
  10. 　請求項１において、
    　前記処理対象画像列及び前記生体内画像は肝臓を撮像した画像であり、
    　前記処理部は、
    　前記処理対象画像列と前記データベースに基づいて、肝動脈、肝静脈、門脈のいずれかの血管に対する前記止血処置を決定する処理を行うことを特徴とする画像処理システム。
  11. 　請求項１０において、
    　前記処理部は、
    　前記肝動脈及び前記門脈の血流を遮断するプリングルが行われているか否かを特定し、特定結果に基づいて前記止血処置を決定する処理を行うことを特徴とする画像処理システム。
  12. 　請求項１０において、
    　前記処理部は、
    　前記処理対象画像列と前記データベースとに基づいて、前記肝動脈及び前記門脈の血流を遮断するプリングルが行われている場合の第１止血処置と、前記プリングルが行われていない場合の第２止血処置とを決定することを特徴とする画像処理システム。
  13. 　生体内を撮像する撮像部と、
    　前記撮像部が撮像した時系列画像を処理対象画像列として取得する画像取得部と、
    　前記処理対象画像列よりも前のタイミングにおいて撮像された複数の生体内画像によって生成されたデータベースと、前記処理対象画像列とに基づいて処理を行う処理部と、
    　を含み、
    　前記処理部は、
    　前記生体内において出血が発生したときに、前記処理対象画像列と前記データベースとに基づいて、前記出血が発生した血管に対する止血処置を決定し、決定した前記止血処置をユーザーに提示する処理を行うことを特徴とする内視鏡システム。
  14. 　内視鏡撮像装置によって生体内を撮像した時系列画像を処理対象画像列として取得し、
    　前記生体内において出血が発生したときに、前記処理対象画像列よりも前のタイミングにおいて撮像された複数の生体内画像によって生成されたデータベースと、前記処理対象画像列とに基づいて、前記出血が発生した血管に対する止血処置を決定し、
    　決定した前記止血処置をユーザーに提示する処理を行う、
    　ことを特徴とする画像処理方法。
PCT/JP2020/006965 2020-02-21 2020-02-21 画像処理システム、内視鏡システム及び画像処理方法 WO2021166208A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2020/006965 WO2021166208A1 (ja) 2020-02-21 2020-02-21 画像処理システム、内視鏡システム及び画像処理方法
JP2022501544A JP7376677B2 (ja) 2020-02-21 2020-02-21 画像処理システム、内視鏡システム及び内視鏡システムの作動方法
CN202080096312.0A CN115135223A (zh) 2020-02-21 2020-02-21 图像处理系统、内窥镜系统以及图像处理方法
US17/886,698 US20220392069A1 (en) 2020-02-21 2022-08-12 Image processing system, endoscope system, and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/006965 WO2021166208A1 (ja) 2020-02-21 2020-02-21 画像処理システム、内視鏡システム及び画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/886,698 Continuation US20220392069A1 (en) 2020-02-21 2022-08-12 Image processing system, endoscope system, and image processing method

Publications (1)

Publication Number Publication Date
WO2021166208A1 true WO2021166208A1 (ja) 2021-08-26

Family

ID=77390530

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/006965 WO2021166208A1 (ja) 2020-02-21 2020-02-21 画像処理システム、内視鏡システム及び画像処理方法

Country Status (4)

Country Link
US (1) US20220392069A1 (ja)
JP (1) JP7376677B2 (ja)
CN (1) CN115135223A (ja)
WO (1) WO2021166208A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024042895A1 (ja) * 2022-08-24 2024-02-29 富士フイルム株式会社 画像処理装置、内視鏡、画像処理方法、及びプログラム
WO2024079523A3 (en) * 2022-10-12 2024-08-22 Taipei University Of Technology The method of and the computing device for generating surgical condition information

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116385977B (zh) * 2023-06-06 2023-08-15 首都医科大学附属北京安贞医院 一种基于深度学习的术中出血点检测系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018114303A (ja) * 2012-07-25 2018-07-26 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 手術用システムにおける効率的且つインタラクティブな出血検出
WO2019181432A1 (ja) * 2018-03-20 2019-09-26 ソニー株式会社 手術支援システム、情報処理装置、及びプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2558924B (en) * 2017-01-20 2021-08-11 Perspectum Diagnostics Ltd Method and apparatus for providing a quantitative volumetric assessment of organ health

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018114303A (ja) * 2012-07-25 2018-07-26 インテュイティブ サージカル オペレーションズ， インコーポレイテッド 手術用システムにおける効率的且つインタラクティブな出血検出
WO2019181432A1 (ja) * 2018-03-20 2019-09-26 ソニー株式会社 手術支援システム、情報処理装置、及びプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024042895A1 (ja) * 2022-08-24 2024-02-29 富士フイルム株式会社 画像処理装置、内視鏡、画像処理方法、及びプログラム
WO2024079523A3 (en) * 2022-10-12 2024-08-22 Taipei University Of Technology The method of and the computing device for generating surgical condition information

Also Published As

Publication number Publication date
CN115135223A (zh) 2022-09-30
JPWO2021166208A1 (ja) 2021-08-26
JP7376677B2 (ja) 2023-11-08
US20220392069A1 (en) 2022-12-08

Similar Documents

Publication Publication Date Title
KR102013828B1 (ko) 수술영상을 기초로 수술시간을 예측하는 방법 및 장치
JP7127785B2 (ja) 情報処理システム、内視鏡システム、学習済みモデル、情報記憶媒体及び情報処理方法
US20220392069A1 (en) Image processing system, endoscope system, and image processing method
US12040071B2 (en) Method and program for providing feedback on surgical outcome
KR20190080705A (ko) 수술결과에 대한 피드백 제공방법 및 프로그램
US20240362777A1 (en) Surgery assisting system, surgery assisting method, and surgery assisting program
JP2024500938A (ja) 医用画像における状態特徴の自動注釈付け
Portalés et al. Mixed reality annotation of robotic-assisted surgery videos with real-time tracking and stereo matching
CN105578964A (zh) 图像显示控制装置及其动作方法以及图像显示控制程序
US11900615B2 (en) Tracking device, endoscope system, and tracking method
KR102103281B1 (ko) 뇌혈관 질환의 진단을 위한 ａｉ 기반의 보조 진단 시스템
JP2023181214A (ja) 情報処理装置、情報処理方法、及びコンピュータプログラム
JP7498739B2 (ja) 内視鏡用途のための訓練データを生成するための方法、システム、及びソフトウェアプログラム製品
Franke et al. Adaptive surgical process models for prediction of surgical work steps from surgical low-level activities
US10299864B1 (en) Co-localization of multiple internal organs based on images obtained during surgery
Padoy Workflow and activity modeling for monitoring surgical procedures
US20240095919A1 (en) Image processing device, endoscope system, image processing method, and information storage medium
US20230215059A1 (en) Three-dimensional model reconstruction
US20230410302A1 (en) Medical information processing apparatus, medical information processing method, and storage medium
JP7468163B2 (ja) 眼科画像処理プログラムおよび眼科画像処理装置
JP2012115319A (ja) 器官運動解析装置及び器官運動解析プログラム
US20230394800A1 (en) Inference learning device and inference learning method
WO2024122027A1 (ja) 画像処理装置、手術支援システム、画像処理方法及びプログラム
WO2023053334A1 (ja) 処理システム及び情報処理方法
Chen Towards practical ultrasound ai across real-world patient diversity

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20920503

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022501544

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20920503

Country of ref document: EP

Kind code of ref document: A1