WO2019198808A1 - 内視鏡観察支援装置、内視鏡観察支援方法、及びプログラム - Google Patents

内視鏡観察支援装置、内視鏡観察支援方法、及びプログラム Download PDF

Info

Publication number
WO2019198808A1
WO2019198808A1 PCT/JP2019/015925 JP2019015925W WO2019198808A1 WO 2019198808 A1 WO2019198808 A1 WO 2019198808A1 JP 2019015925 W JP2019015925 W JP 2019015925W WO 2019198808 A1 WO2019198808 A1 WO 2019198808A1
Authority
WO
WIPO (PCT)
Prior art keywords
lesion
unit
captured image
endoscope
image
Prior art date
Application number
PCT/JP2019/015925
Other languages
English (en)
French (fr)
Inventor
悠一 森
進英 工藤
将史 三澤
健策 森
Original Assignee
学校法人昭和大学
国立大学法人名古屋大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 学校法人昭和大学, 国立大学法人名古屋大学 filed Critical 学校法人昭和大学
Priority to CN201980025579.8A priority Critical patent/CN111970955A/zh
Priority to EP19785266.8A priority patent/EP3777645A4/en
Priority to US17/046,233 priority patent/US11690494B2/en
Publication of WO2019198808A1 publication Critical patent/WO2019198808A1/ja

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00006—Operational features of endoscopes characterised by electronic signal processing of control signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/0002—Operational features of endoscopes provided with data storages
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00055—Operational features of endoscopes provided with output arrangements for alerting the user

Definitions

  • the present invention relates to an endoscope observation support device, an endoscope observation support method, and a program.
  • an alert for example, presentation of an image of a lesion position, scattering
  • an operator such as a doctor in real time.
  • Non-Patent Document 1 describes that more accurate image analysis is possible by analyzing a plurality of frames with AI.
  • the development of technology that supports the observation and diagnosis of lesions by doctors with high accuracy without being unnecessarily influenced by the detection results while observing the detection results by artificial intelligence is eagerly desired. Has been.
  • the present invention has been made in view of the above circumstances, and can improve the performance of observation support by an endoscope, and aims to make it easier and more accurate to observe a lesion by a doctor. It is.
  • an endoscopic observation support apparatus that supports observation of a luminal organ by an endoscope, and the tube imaged by the endoscope
  • An image information acquisition unit that acquires a captured image of a hollow organ and displays it on a display unit
  • a lesion information acquisition unit that detects a predetermined lesion based on the captured image and acquires lesion information related to the lesion, and the imaging The lesion is tracked based on the image and the lesion information
  • a determination unit that determines whether the lesion has disappeared from the captured image, and the determination unit determines that the lesion has disappeared from the captured image
  • a notification unit for notifying the determination result when the determination is made.
  • the present invention it is possible to improve the performance of observation support by an endoscope, and it is possible to more easily and accurately observe a lesion by a doctor.
  • FIG. 2 is a functional block diagram of the endoscope observation support apparatus in FIG. 1.
  • 6 is a flowchart for explaining an example of an operation of an endoscopic observation support process executed by the endoscopic observation support apparatus of FIG. 1. It is a figure which shows an example of the endoscopic image displayed on a display part, and the state of the sound output part and vibration part at that time, Comprising: (a) is a state when the lesion has appeared on the endoscopic image (B) shows the state when the lesion disappears from the endoscopic image.
  • FIG. 1 It is a figure which shows the example of a display of the display part in the case of displaying an alarm, Comprising: (a) shows the example of a display before a lesion detection (no lesion), (b) is a lesion
  • FIG. 1 is a schematic diagram illustrating a hardware configuration of an endoscope observation support apparatus 100 according to the present embodiment.
  • the endoscope observation support apparatus 100 is mainly configured by including a support apparatus main body 10 and an endoscope apparatus 40.
  • the support apparatus main body 10 includes an information processing unit 20 having a CPU 11, a ROM 12, a RAM 13, an input I / F (interface) 14, an output I / F 15, an external device I / F 16, a storage unit 17, and the like. , An input unit 21, a display unit 22, a sound output unit 23, a vibration unit 24, and the like.
  • the support apparatus body 10 may include a printer as an output destination for printing an endoscopic image and a support result, a communication device that communicates with the outside, and the like.
  • the information processing unit 20 can be constituted by, for example, a personal computer (PC) or a microcomputer (microcomputer).
  • the CPU 11 is a central processing unit and controls the operation of the endoscope observation support apparatus 100 as a whole.
  • the ROM 12 is a read-only memory, and stores a control program executed by the CPU 11, an endoscope observation support program, and the like.
  • the RAM 13 is a write / read memory as needed and is used as a work area for the CPU 11. That is, the CPU 11 operates the endoscope observation support apparatus 100 by executing the endoscope observation support program stored in the ROM 12 using the RAM 13 as a work area.
  • the storage unit 17 is composed of a recording medium such as a hard disk or a flash memory, and stores various information necessary for endoscope observation support processing, calculation results, and the like.
  • the input I / F 14 is an interface for connecting the input unit 21 and the CPU 11.
  • the output I / F 15 is an interface for connecting the display unit 22 and the CPU 11.
  • the external device I / F 16 is an interface for connecting the external device and the CPU 11.
  • the endoscope device 40, the sound output unit 23, and the vibration unit 24 correspond to the external device I / F corresponding to each. It is connected to the CPU 11 via F16.
  • the input unit 21 is a device for inputting characters, numbers, various instructions, and the like, and is operated by a doctor or the like as an operator who operates the endoscope apparatus 40.
  • Examples of the input unit 21 include a keyboard, a mouse, a numeric keypad, and a touch panel.
  • the input unit 21 receives an instruction for the doctor to take and record a still image of a lesion, and an instruction to confirm the automatically detected lesion.
  • the display unit 22 is a device that displays a menu screen, an operation screen, and an endoscopic image (captured image) such as a moving image or a still image captured by the endoscope apparatus 40.
  • Examples of the display unit 22 include a liquid crystal display (monitor).
  • the sound output unit 23 and the vibration unit 24 are used to notify a doctor (alarm notification).
  • the sound output unit 23 is a device that outputs a notification sound (alarm sound), a notification message (alarm message), or the like for drawing a doctor's attention, and examples thereof include a speaker and a buzzer that output sound and sound.
  • the vibration unit 24 is a vibration body that generates vibration to be applied to a doctor's body, and includes, for example, a vibration device that generates vibration by a motor or the like.
  • the vibration unit 24 is preferably configured to be attached to the doctor's body so that vibration can be directly applied to the doctor's body. Alternatively, if there is no hindrance to the operation of the endoscope apparatus 40, the vibration unit 24 may be disposed in the endoscope apparatus 40 and applied to a doctor's hand holding the endoscope apparatus 40.
  • both the sound output part 23 and the vibration part 24 are provided, what is necessary is just to be able to draw a doctor's attention by an alarm notification, and it may be provided only with either one. For example, if an alarm is notified only by vibration, it is possible to prevent a patient or the like from realizing that a lesion has been detected.
  • an alarm notification may be displayed on the display unit 22, and the doctor's attention can be drawn not only by sound and vibration but also visually.
  • the endoscope apparatus 40 is a device used for observation and treatment of a luminal organ, and includes an electronic scope, a fiberscope, and the like.
  • the endoscope apparatus 40 according to the present embodiment includes an imaging unit 41, an insertion unit 42, an operation unit 43, and the like.
  • the endoscope apparatus 40 includes components that can be included in a known endoscope apparatus, such as a water or air supply unit or suction unit, or a treatment instrument such as a forceps that performs tissue collection or other treatments. Yes.
  • the imaging unit 41 is a device that captures endoscopic images such as in-vivo moving images and still images, and includes a CCD camera, a condenser lens, an eyepiece lens, a light source, a light guide optical system, an imaging element, and the like. Is done.
  • the insertion part 42 is composed of a flexible and flexible tube member, provided with a CCD camera and a condensing lens of the imaging part 41 at the tip, and further, a nozzle and a treatment tool for releasing air and water are in and out. A hole or the like is provided.
  • the operation unit 43 includes various operation buttons and operation switches for performing bending operation, air supply, water supply, suction, and the like of the insertion unit 42.
  • the endoscope apparatus 40 is electrically connected to the support apparatus main body 10 by a connection cable or the like.
  • the image signal of the endoscopic image captured by the imaging unit 41 is output to the support apparatus body 10 in real time.
  • the endoscope device 40 is not particularly limited, and a known device can be used.
  • laryngoscope for observing nasal cavity, pharynx, larynx, esophagus, trachea, bronchoscope for observing bronchus, upper gastrointestinal endoscope for observing esophagus, stomach, duodenum, small intestine endoscope for observing small intestine, large intestine Colonoscopy, observing the bile duct, pancreatic duct observing the pancreatic duct, thoracoscope observing the thoracic cavity, laparoscope observing the abdominal cavity, urethra, urinary bladder
  • Examples thereof include, but are not limited to, a mirror, an arthroscope for observing a joint, and a vascular endoscope for observing a coronary artery.
  • the endoscope apparatus 40 is preferably a high-vision endoscope, for example, but is not limited thereto.
  • the information processing unit 20 includes an image information acquisition unit 31, a lesion information acquisition unit 32, a confirmation information acquisition unit 33, a lesion disappearance determination unit 34, a notification unit 35, and a lesion information output. It functions as the part 36.
  • the image information acquisition unit 31 converts an image signal input from the imaging unit 41 of the endoscope apparatus 40 into a digital signal, performs appropriate image processing, and displays the image signal on the display unit 22 in real time (FIG. 4A )reference).
  • a moving image or a still image captured by the imaging unit 41 is displayed on the display unit 22, but is not limited to this, and is a 3D image generated based on the moving image. Also good.
  • the acquired endoscopic image is passed to the lesion information acquisition unit 32.
  • the lesion information acquisition unit 32 performs image recognition processing such as feature amount extraction and pattern matching based on the endoscopic image acquired by the image information acquisition unit 31, automatically detects the lesion, and performs various types of lesions. Get information (lesion information).
  • the lesion information acquisition unit 32 images, for example, a laryngoscope moving image obtained by photographing the nasal cavity, pharynx, larynx, and esophagus, bronchoscopic image obtained by photographing the trachea and bronchus, esophagus, stomach, and duodenum.
  • the lesion detection using the image recognition processing performed by the lesion information acquisition unit 32 may be performed using any known technique.
  • a technique of analyzing a plurality of frames by artificial intelligence as described in the paper “Learning Spatiotemporal Features with 3D Convolutional Networks” cited as Non-Patent Document 1 can be suitably used.
  • lesion detection can be performed with higher accuracy.
  • the detection of a lesion performed by the lesion information acquisition unit 32 is a result of artificial intelligence (computer) presuming that it is a lesion mechanically by an image recognition technique, a learning function, or the like.
  • the detection result by this artificial intelligence is used effectively, and the support which can contribute to the pathological diagnosis by a doctor can be performed.
  • the lesion information acquired by the lesion information acquisition unit 32 is output to the lesion disappearance determination unit 34 in association with the endoscopic image.
  • the lesion information include flag information indicating that a lesion has been detected, and the position, size, and state of the detected lesion on an endoscopic image.
  • the confirmation information acquisition unit 33 acquires confirmation information input from the input unit 21. More specifically, for example, a shooting button for still image shooting or a lesion confirmation button is displayed on the display screen on the display unit 22. Alternatively, these buttons may be set to keys on the keyboard. When the doctor observes the living body while visually confirming the endoscopic image displayed on the display unit 22 or directly viewing the inside of the body with a microscope, the input unit 21 is confirmed. Operate the shooting button and the lesion confirmation button. This operation signal is input to the confirmation information acquisition unit 33 as confirmation information. In the present embodiment, the confirmation information acquisition unit 33 is provided in order to perform support more efficiently, but it is not always necessary.
  • the lesion disappearance determination unit 34 determines whether the lesion has disappeared from the endoscopic image based on the endoscopic image acquired by the image information acquisition unit 31 and the lesion information acquired by the lesion information acquisition unit 32. . Furthermore, in the present embodiment, the lesion disappearance determination unit 34 determines whether the lesion has disappeared from the endoscopic image without confirming the lesion by the doctor based on the confirmation information acquired by the confirmation information acquisition unit 33. Determine whether. This determination result is output to the notification unit 35.
  • the notification unit 35 performs an alarm notification based on the determination result in the lesion disappearance determination unit 34.
  • the notification unit 35 controls the sound output unit 23 and the vibration unit 24 when the lesion disappearance determination unit 34 determines that the lesion has disappeared from the endoscopic image without confirming the lesion by the doctor. Then, an alarm sound is generated from the sound output unit 23 and the vibration unit 24 is vibrated. With this alarm sound or vibration, the doctor can notify the doctor that the automatically detected lesion has disappeared from the endoscopic image without the doctor confirming the detection of the lesion, and the doctor's attention can be drawn.
  • the timbre, message content, sound volume and pitch may be changed to output an alarm sound, or the wavelength and intensity may be changed depending on the lesion classification result to generate vibration. May be. Further, weighting may be performed according to the classification result of the lesion, the degree of state, and the like, and the alarm sound and vibration corresponding to the weight may be changed. Thereby, a doctor's attention can be pulled more strongly and more careful observation can be promoted.
  • the lesion information output unit 36 displays an endoscopic image corresponding to the lesion detected by the lesion information acquisition unit 32 on the display unit 22 as an output destination and stores it in the storage unit 17. This makes it possible for doctors to check the endoscopic image and lesion information at any time after the end of the examination and use it as a reference for pathological diagnosis, improving the performance of endoscopic observation support and reducing the storage capacity. .
  • the lesion information is displayed on the display unit 22 or stored in the storage unit 17 in association with the endoscopic image. For example, if the lesion site on the endoscopic image is surrounded by a line and displayed on the display unit 22, it is easy for the doctor to confirm the position of the automatically detected lesion and attract the doctor's attention. it can.
  • an alarm may be displayed on the display image of the display unit 22.
  • the color of the region other than the endoscopic image is changed in order to call a doctor's attention.
  • the alarm display area 22b on the display screen of the display unit 22.
  • the alarm display area 22b is not changed in color as shown in FIG. 5A, and is displayed in a normal color (for example, black). In addition, it remains black immediately after the lesion is detected.
  • FIG. 5B is a modification of the display example when the lesion disappears.
  • the outer peripheral edge of the display screen is the alarm display area 22b, and is displayed in red when the lesion disappears.
  • a doctor or the like can clearly see the endoscopic image, but only the sound and vibration. In addition, it can be recognized visually that the lesion has disappeared.
  • 5D, 5E, and 5F are other display examples of the display unit 22 when an alarm is notified by a color change. These are the same processes as in FIGS. 5A, 5B, and 5C except that the endoscopic image display area 22a is substantially oval and the inner periphery of the alarm display area 22b is also arcuate. Displayed and the same effect can be obtained.
  • the doctor inserts the insertion unit 42 into the body of the patient to be observed while operating the operation unit 43 of the endoscope apparatus 40.
  • an endoscopic image inside the body is taken in real time by the imaging unit 41.
  • step S1 the image information acquisition unit 31 acquires an endoscopic image (frame) captured by the imaging unit 41, performs image processing, and displays the image on the display unit 22. Then, based on the acquired endoscopic image, the processes after step S2 are performed. These processes may be performed every frame or every several frames.
  • step S2 based on the endoscopic image acquired by the image information acquisition unit 31, the lesion information acquisition unit 32 performs automatic lesion detection using the above-described image recognition processing and learning function.
  • FIG. 4A shows an example of an endoscopic image in which a lesion appears. At this time, even if the lesion is automatically detected, no notification is given from the sound output unit 23 or the vibration unit 24.
  • the lesion information acquisition unit 32 acquires the position, size, state, and classification of the lesion on the endoscopic image, and generates lesion information. When a plurality of lesions are detected in one endoscopic image, each lesion information is generated.
  • step S3 it is determined whether or not a lesion is detected by the lesion information acquisition unit 32. If no lesion is detected (NO), the processing of steps S4 to S9 is skipped and the process proceeds to step S10.
  • step S3 if a lesion is detected in step S3 (YES), the process proceeds to step S4, and the confirmation information acquisition unit 33 acquires confirmation information in order to detect whether or not a lesion confirmation operation has been performed by a doctor.
  • step S5 the image information acquiring unit 31 acquires the endoscopic image of the next frame, displays it on the display unit 22, and acquires the lesion information.
  • the lesion is detected by the unit 32.
  • step S6 it is determined whether the lesion being tracked has disappeared from the endoscopic image.
  • step S6 If it is determined in step S6 that the lesion has not disappeared (NO), the process returns to step S4 to acquire confirmation information, and the process proceeds to step S5 to continue tracking the lesion. In this way, while the lesion appears on the endoscopic image, no notification is made that the lesion has been automatically detected, so the doctor can display the display unit without being unnecessarily affected by the automatic detection result. While observing the endoscopic image displayed at 22, pathological diagnosis and the like can be performed.
  • step S6 determines whether the lesion has disappeared (YES)
  • step S7 it is determined whether confirmation information has been acquired for the endoscopic image before the disappearance of the lesion. If the confirmation information has been acquired (YES), the process proceeds to step S9.
  • step S ⁇ b> 9 the lesion information output unit 36 displays the endoscope image before the disappearance of the lesion and the lesion information on the display unit 22, and stores the endoscope image and the lesion information in the storage unit 17.
  • the confirmation information when the confirmation information is acquired, it can be determined that the lesion automatically detected by the lesion information acquisition unit 32 has also been confirmed by the doctor. That is, when a doctor observing an endoscopic image or a microscopic image of the display unit 22 detects a lesion, the doctor instructs the photographing of a still image including the lesion from the input unit 21 or performs a confirmation instruction.
  • a confirmation information signal is input to the support apparatus body 10. If a still image shooting instruction has been given, the still image is displayed and stored. If only a confirmation instruction is given, an endoscope image (frame) before disappearance of the lesion is displayed and stored. .
  • step S7 if it is determined in step S7 that confirmation information from the doctor has not been acquired immediately before the disappearance despite the disappearance of the lesion (NO), the process proceeds to step S8 and an alarm is generated. Make a notification. This is because the result of automatic detection of the lesion by the lesion information acquisition unit 32 and the judgment result of the doctor's lesion do not match, or the judgment matches and the lesion is confirmed but the confirmation operation is not performed. It means that we proceeded to the shooting of the area.
  • the notification unit 35 controls the sound output unit 23 to generate an alarm sound, and controls the vibration unit 24 to vibrate.
  • FIG. 4B shows an example of an endoscopic image in which a lesion has disappeared, and schematically shows a state in which an alarm sound is output from the sound output unit 23 and the vibration unit 24 is vibrating. Further, as shown in FIGS. 5B, 5C, 5E, and 5F, a prominent color such as red is displayed or blinked in the alarm display area 22b on the display screen of the display unit 22. Then, an alarm may be notified.
  • the doctor can notice that the lesion detected automatically by the computer has not yet been confirmed. That is, the doctor may not have determined that the lesion is present, or may have missed the lesion.
  • the lesion information output unit 36 displays the endoscope image and the lesion information before the disappearance of the automatically detected lesion on the display unit 22 (or another display unit).
  • the endoscopic image and the lesion information are stored in the storage unit 17.
  • the doctor can also observe a region suspected of having a lesion also by an endoscopic image displayed on the display unit 22 or the like.
  • the endoscopic image and lesion information of the lesion stored in the storage unit 17 can be reconfirmed after the examination. Then, it progresses to step S10.
  • step S10 it is determined whether or not the imaging of the endoscopic image with the endoscope apparatus 40 has been completed. If it is determined that the imaging has been completed (YES), the examination has been completed, so the endoscope observation support process is performed. finish. On the other hand, if it is determined that imaging is continuing (NO), the process returns to step S1, and the endoscopic observation support process is continued for the next endoscopic image.
  • the endoscope observation support apparatus 100 acquires the captured image of the luminal organ imaged by the endoscope apparatus 40 and displays it on the display unit 22. Whether or not the lesion has disappeared from the captured image by detecting a predetermined lesion based on the captured image and tracking the lesion based on the captured image and the lesion information; A lesion disappearance determination unit 34 that determines whether or not, and a notification unit 35 that notifies the determination result when the lesion disappearance determination unit 34 determines that the lesion has disappeared from the captured image. .
  • the endoscopic observation support method also includes a step of acquiring a captured image of a luminal organ imaged by the endoscope device 40, and a predetermined lesion is detected based on the captured image.
  • a step of acquiring lesion information, a step of tracking a lesion based on the captured image and the lesion information, determining whether the lesion has disappeared from the captured image, and determining that the lesion has disappeared from the captured image And a step of notifying the determination result.
  • a program for executing the endoscope observation support method of the present embodiment is based on a computer, means for acquiring a captured image of a luminal organ imaged by the endoscope device 40, and the captured image. Means for detecting a predetermined lesion and acquiring lesion information related to the lesion; tracking a lesion based on the captured image and the lesion information; determining whether the lesion has disappeared from the captured image; and imaging the lesion
  • This is a program for functioning as means for notifying the determination result when it is determined that the image has disappeared from the image.
  • the present embodiment by visually recognizing the captured image (endoscopic image) displayed on the display unit 22, an operator such as a doctor observes the luminal organ and performs pathological diagnosis, treatment, and the like. be able to.
  • a lesion can be automatically detected with high accuracy based on a captured image. While the lesion appears on the captured image, the automatic detection result is not notified prior to the doctor's judgment, so the doctor can make a pathological diagnosis without being unnecessarily affected by the automatic detection result. It can be carried out.
  • a lesion can be automatically detected with high accuracy, and a notification is given when the automatically detected lesion disappears from the captured image.
  • an endoscope is used. It can also be suitably used for pathological diagnosis training. In other words, when performing pathological diagnosis based on the captured image, even if an inexperienced doctor continues the examination without missing the lesion, the doctor is immediately notified that the lesion has disappeared from the captured image. Therefore, the doctor can notice oversight and can easily reconfirm. Further, since no notification is given while the lesion appears on the captured image, the doctor can make a pathological diagnosis without being unnecessarily influenced by the automatic detection result. As a result, the doctor's ability to diagnose pathology can be improved.
  • the notification unit 35 is configured to notify the determination result by outputting a predetermined notification sound from the sound output unit 23.
  • the notification unit 35 is configured to notify the determination result by vibrating the vibrating body (vibrating unit 24).
  • the notification sound and vibration can attract the doctor's attention more strongly, and the doctor can be notified more clearly that the lesion has disappeared from the captured image.
  • the lesion disappearance determination unit 34 determines that the lesion has disappeared from the captured image
  • the captured image of the lesion before the disappearance is stored in a predetermined output destination (for example, the display unit 22 and the storage unit 17).
  • the input unit 21 that receives an input of a lesion confirmation instruction from the operator is provided, and the notification unit 35 is determined by the lesion disappearance determination unit 34 that the lesion has disappeared from the captured image, and When no confirmation instruction is input from the input unit 21, the determination result is notified. As a result, even if the lesion disappears, if the doctor who is the operator has confirmed the lesion, the notification will not be given. Can be performed more efficiently.
  • an endoscope observation support apparatus In the first embodiment, when it is determined that the lesion has disappeared from the endoscopic image, an alarm notification is given to notify that the lesion has disappeared. On the other hand, in the second embodiment, an alarm is notified that a lesion has been detected after a lapse of a short time since the lesion was detected on the endoscopic image. That is, the alarm notification is delayed from the time of detection regardless of whether or not the lesion has disappeared from the endoscopic image.
  • the endoscopic observation support apparatus of the second embodiment has the same basic configuration as that of the first embodiment except that the lesion disappearance determination unit 34 is not provided, and thus detailed description thereof is omitted.
  • the confirmation information acquisition unit 33 may not be provided or may be provided.
  • the endoscope observation support method of the second embodiment detects a predetermined lesion based on the step of acquiring a captured image of a luminal organ imaged by the endoscope device 40, and the captured image, Obtaining a lesion information on the lesion, and notifying that a lesion has been detected after a lapse of a short time since the lesion was detected.
  • a program for executing the endoscope observation support method of the second embodiment is based on a computer, means for acquiring a captured image of a luminal organ imaged by the endoscope device 40, and the captured image.
  • the notification unit 35 when the lesion information acquisition unit 32 detects a lesion such as a polyp, the notification unit 35 notifies the notification unit 35 of the lesion.
  • the notification unit 35 does not notify in real time when a lesion is detected, but notifies that a lesion has been automatically detected after a short time has elapsed since the lesion was detected, that is, after a predetermined time has elapsed.
  • this notification is performed by the generation of an alarm sound from the sound output unit 23, the vibration of the vibration unit 24, the color change of the alarm display area 22b as shown in FIG. Can do.
  • “slight time” refers to the time required for a doctor or the like who visually recognizes a lesion to determine that it is a lesion by himself / herself. More specifically, the “slight time” is preferably 30 ms to 2,000 ms. Further, it is more preferable that “slight time” can be arbitrarily set or changed within this range. Thereby, even when the judgment time varies depending on the proficiency level and age of the endoscopy by the doctor or the like, it is possible to set a suitable time according to the doctor or the like. Therefore, more efficient inspection can be performed, and usability of the endoscope apparatus 40 can be improved.
  • a doctor or the like can make a determination as to whether or not the patient is a lesion by himself / herself without being affected by the result of automatic detection of the lesion by the lesion information acquisition unit 32.
  • the lesion information acquisition unit 32 is notified that a lesion has been detected, so that doctors and the like check whether their judgment is the same as the automatic detection result by artificial intelligence or the like. It is possible to improve the accuracy of judgment by a doctor or the like.
  • the second embodiment can also be suitably used when performing pathological diagnosis training. For example, when a doctor who is unfamiliar at the initial stage of training performs endoscopic observation, a long period of time can be given to the doctor by setting “slight time” long. Each time the training is repeated, the “slight time” is set to be gradually shortened so that the doctor can make a judgment gradually and quickly.
  • a lesion can be diagnosed with higher accuracy than when one frame is analyzed.
  • the conventional method of notifying lesion detection in real time has a limit in increasing the number of image frames to be analyzed because priority is given to speed.
  • a predetermined analysis time is set. Since it can be ensured, more frames can be analyzed. Therefore, more detailed lesion information such as the type and degree of the lesion can be acquired, and the accuracy of detecting the lesion and the accuracy of the lesion information by artificial intelligence can be improved.
  • the endoscope apparatus 40 having the imaging unit 41, the insertion unit 42, and the operation unit 43 is connected to the support apparatus main body 10, and the support apparatus main body 10 captures a captured image captured by the imaging unit 41. The image is processed and displayed on the display unit 22.
  • an endoscope unit having a display function of a captured image such as a video tuner or a display unit may be used.
  • a display unit of the endoscope unit may be used as the display unit 22 of the endoscope observation support apparatus 100, or the display unit 22 may be provided separately from this.
  • the endoscope unit may include an information processing apparatus including an image processing unit that automatically detects a lesion based on a captured image.
  • the lesion information acquisition unit 32 of the support apparatus body 10 acquires the automatic detection result of the lesion in the image processing unit and uses it for the endoscope observation support process, the endoscope unit has.
  • the automatic detection result can be used effectively, the calculation processing load on the support apparatus body 10 can be reduced, and the calculation speed can be increased.
  • the endoscope observation support apparatus 100 of each embodiment may be built in an endoscope unit including an information processing apparatus or the like. That is, the endoscope unit is provided with the sound output unit 23 and the vibration unit 24, and the endoscope unit information processing apparatus is also used as the information processing unit 20, and the endoscope observation support program of each embodiment is installed. To do. Thereby, an endoscope unit provided with an endoscope observation support device can be provided. Therefore, it can be sold as an endoscope unit equipped with an endoscope observation support device, or an endoscope observation support program is sold as a single unit and installed in an existing endoscope unit. You can also. In addition, each device can be made compact, simplified, and easy to handle.
  • the doctor is notified that the lesion has disappeared from the captured image due to the notification sound or vibration, but in addition to this, for example, a light emitting unit such as an LED is provided to blink the light, etc. An error may be communicated by.
  • a light emitting unit such as an LED is provided to blink the light, etc.
  • An error may be communicated by.
  • a time measuring unit that measures the time when the insertion unit 42 is inserted into the body is provided, and the insertion speed of the insertion unit 42 (may be measured with a speedometer, or an average insertion speed may be used).
  • the distance from the anal rim may be calculated and displayed on the display unit 22 based on the insertion time and the captured image.
  • the lesion disappears from the captured image and the image of the lesion is displayed on the display unit 22 or the like, if the distance from the anal rim of the lesion is displayed, the lesion can be photographed by how many centimeters are returned. The doctor can easily and more accurately determine whether or not, and the performance of the observation support of the lesion can be further improved.
  • an alarm is notified when a lesion disappears.
  • an alarm is notified after a short time has elapsed since the lesion was detected. It is not limited. Depending on the purpose of use, it may be configured so that alarm notification is given both when the lesion disappears and when a short time has passed since the lesion was detected, and the doctor's attention can be drawn more strongly. .

Abstract

内視鏡による観察支援の性能を向上させることができ、医師による病変の観察等 をより容易かつ精度よく行うことができる内視鏡観察支援装置等を提供する。　内視鏡観察支援装置（１００）を、内視鏡装置（４０）により撮影された管腔臓器の撮像画像を取得して表示部（２２）に表示する画像情報取得部（３１）と、撮像画像に基づいて、所定の病変を検出し、病変に関する病変情報を取得する病変情報取得部（３２）と、撮像画像及び病変情報に基づいて病変を追尾し、病変が撮像画像上から消失したか否かを判定する病変消失判定部（３４）と、病変消失判定部（３４）により病変が撮像画像上から消失したと判定されたときに、判定結果を通知する通知部（３５）と、を備えて構成する。また、通知部（３５）は、病変情報取得部（３２）により病変が検出されてから僅かな時間の経過後に、病変が検出されたこと通知するものであってもよい。

Description

内視鏡観察支援装置、内視鏡観察支援方法、及びプログラム
　本発明は、内視鏡観察支援装置、内視鏡観察支援方法、及びプログラムに関する。
　従来、消化器などの管腔臓器を内視鏡で撮影した撮像画像に対して画像認識処理を行い、人工知能（ＡＩ）などの学習機能によって、腫瘍、ポリープ、その他の病変を自動で検出する画像処理装置が提案されている（例えば、特許文献１参照）。
　また、医師による病変部の見逃しを抑制する目的で、撮像画像に基づいて病変を自動で検出したときに、リアルタイムで医師等の操作者に対してアラート（例えば、病変位置の画像の提示、散在確率の表示、音声による注意喚起など）を行うことで、病理診断を支援する技術も開示されている（例えば、特許文献２参照）。
　人工知能（ＡＩ）の発展により、コンピュータによる病変の自動検出の精度や速度が向上し、医師による病変の観察や診断への貢献度が高くなっている。非特許文献１には、複数のフレームをＡＩで解析することで、より高精度な画像解析が可能となることが記載されている。そして、人工知能による検出結果を参考にしつつ、その検出結果に不必要に影響されることなく、医師による病変の観察や診断を、より精度よく行うことができるように支援する技術の開発が切望されている。
特開２００６－１５３７４２号公報 特開２０１１－１０４０１６号公報
Tran, Du, et al. "Learning spatiotemporal features with 3d convolutional networks." Computer Vision (ICCV), 2015 IEEE International Conference on. IEEE, 2015.
　本発明は、上記の事情に鑑みて為されたもので、内視鏡による観察支援の性能を向上させることができ、医師による病変の観察等をより容易かつ精度よく行うことを目的とするものである。
　上記の目的を達成するため、本願に係る内視鏡観察支援装置は、内視鏡による管腔臓器の観察を支援する内視鏡観察支援装置であって、内視鏡により撮影された前記管腔臓器の撮像画像を取得して表示部に表示する画像情報取得部と、前記撮像画像に基づいて、所定の病変を検出し、前記病変に関する病変情報を取得する病変情報取得部と、前記撮像画像及び前記病変情報に基づいて前記病変を追尾し、前記病変が前記撮像画像上から消失したか否かを判定する判定部と、前記判定部により前記病変が前記撮像画像上から消失したと判定されたときに、判定結果を通知する通知部と、を備えたことを特徴とする。
　本発明によれば、内視鏡による観察支援の性能を向上させることができ、医師による病変の観察等をより容易かつ精度よく行うことができる。
本願の一実施形態に係る内視鏡観察支援装置のハードウェア構成を示す概略図である。 図１の内視鏡観察支援装置の機能ブロック図である。 図１の内視鏡観察支援装置で実行される内視鏡観察支援処理の動作の一例を説明するためのフローチャートである。 表示部に表示される内視鏡画像の一例と、そのときの音出力部及び振動部の状態を示す図であって、（ａ）は内視鏡画像上に病変が現れているときの状態を示し、（ｂ）は内視鏡画像上から病変が消失したときの状態を示す。 アラーム表示をする場合の表示部の表示例を示す図であって、（ａ）は病変検出前（病変なし）の表示例を示し、（ｂ）は病変の検出後、病変が表示部から消失したときの表示例を示し、（ｃ）は病変の検出後、病変が表示部から消失したときの表示例の変形例を示す。（ｄ）は病変検出前（病変なし）の他の表示例を示し、（ｅ）は病変の検出後、病変が表示部から消失したときの他の表示例を示し、（ｆ）は病変の検出後、病変が表示部から消失したときの他の表示例の変形例を示す。
（第１の実施形態）
　以下、本発明の第１の実施形態に係る内視鏡観察支援装置について、図面を参照しながら説明する。図１は、本実施形態に係る内視鏡観察支援装置１００のハードウェア構成を示す概略図である。この図１に示すように、内視鏡観察支援装置１００は、支援装置本体１０と、内視鏡装置４０と、を主に備えて構成されている。
　支援装置本体１０は、図１に示すように、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、入力Ｉ／Ｆ（インタフェース）１４、出力Ｉ／Ｆ１５、外部機器Ｉ／Ｆ１６、記憶部１７などを有する情報処理部２０と、入力部２１と、表示部２２と、音出力部２３と、振動部２４と、などを備えて構成される。支援装置本体１０は、この他にも、内視鏡画像や支援結果を印刷する出力先としてのプリンタ、外部と通信する通信機器などを備えていてもよい。
　情報処理部２０は、例えば、パーソナルコンピュータ（ＰＣ）やマイクロコンピュータ（マイコン）等から構成することができる。ＣＰＵ１１は中央演算処理装置であり、内視鏡観察支援装置１００全体の動作を制御する。ＲＯＭ１２は、読出専用メモリであり、ＣＰＵ１１が実行する制御プログラムや内視鏡観察支援プログラム等が記憶されている。ＲＡＭ１３は随時書込読出メモリであり、ＣＰＵ１１のワークエリアとして使用される。すなわち、ＣＰＵ１１は、ＲＡＭ１３をワークエリアとして、ＲＯＭ１２に記憶された内視鏡観察支援プログラムを実行して、内視鏡観察支援装置１００を動作させる。
　記憶部１７は、ハードディスク、フラッシュメモリ等の記録媒体から構成され、内視鏡観察支援処理に必要な各種情報や、演算結果等が記憶される。入力Ｉ／Ｆ１４は、入力部２１とＣＰＵ１１とを接続するためのインタフェースである。出力Ｉ／Ｆ１５は、表示部２２とＣＰＵ１１とを接続するためのインタフェースである。外部機器Ｉ／Ｆ１６は、外部機器とＣＰＵ１１とを接続するためのインタフェースであり、本実施形態では、内視鏡装置４０、音出力部２３及び振動部２４が、それぞれに対応した外部機器Ｉ／Ｆ１６を介してＣＰＵ１１と接続されている。
　入力部２１は、文字、数字、各種指示等を入力するための機器であり、内視鏡装置４０を操作する操作者としての医師等によって操作される。入力部２１としては、例えば、キーボード、マウス、テンキー、タッチパネル等が挙げられる。また、入力部２１では、医師が病変の静止画像の撮影や記録を行うための指示や、自動検出された病変を確認したことの指示が入力される。
　表示部２２は、メニュー画面、操作画面、内視鏡装置４０で撮影された動画像や静止画像等の内視鏡画像（撮像画像）が表示される機器である。表示部２２としては、例えば、液晶ディスプレイ（モニタ）等が挙げられる。
　音出力部２３と振動部２４は、医師に通知（アラーム通知）を行うために用いられる。音出力部２３は、医師の注意を引くための通知音（アラーム音）や通知メッセージ（アラームメッセージ）等を出力する機器であり、例えば、音や音声等を出力するスピーカ、ブザー等が挙げられる。振動部２４は、医師の身体に付与する振動を発生する振動体であり、例えば、モータ等によって振動を発生するバイブレーション装置等が挙げられる。振動部２４は、医師の身体に直接に振動を付与することができるように、医師の身体に装着する構成とすることが望ましい。または、内視鏡装置４０の操作に支障がなければ、内視鏡装置４０に振動部２４を配置し、内視鏡装置４０を把持する医師の手に付与する構成であってもよい。
　なお、本実施形態では、音出力部２３及び振動部２４の双方を備えているが、アラーム通知によって医師の注意を引くことができればよく、いずれか一方のみを備えるものであってもよい。例えば、振動のみによってアラーム通知すれば、患者等に病変が検出されたことを悟られるのを防ぐことができる。また、表示部２２に、アラームを知らせる表示をしてもよく、音や振動だけでなく、視覚によっても医師の注意を引くことができる。
　内視鏡装置４０は、管腔臓器の観察や処置に用いられる機器であり、電子スコープやファイバスコープ等から構成される。本実施形態の内視鏡装置４０は、撮像部４１と、挿入部４２と、操作部４３と、などを備えて構成される。内視鏡装置４０は、この他にも水や空気の供給手段や吸引手段、組織の採取その他の処置を行う鉗子等の処置具など、公知の内視鏡装置が備え得る構成要素を備えている。
　撮像部４１は、生体内の動画像、静止画像等の内視鏡画像を撮影する機器であり、ＣＣＤカメラ、集光レンズ、接眼レンズ、光源、導光光学系、撮像素子等を備えて構成される。挿入部４２は、屈曲自在な可撓性を有する管部材から構成され、先端に撮像部４１のＣＣＤカメラや集光レンズが設けられ、更には空気や水が放出されるノズルや処置具が出入りする孔部等が設けられている。操作部４３は、挿入部４２の屈曲操作、送気、送水、吸引等を行うための各種操作ボタンや操作スイッチを備えている。
　内視鏡装置４０は、支援装置本体１０と接続ケーブル等によって電気的に接続されている。撮像部４１で撮影された内視鏡画像の画像信号は、リアルタイムで支援装置本体１０へと出力される。
　内視鏡装置４０としては、特に限定されることはなく、公知のものを使用することができる。例えば、鼻腔、咽頭、喉頭、食道を観察する喉頭内視鏡、気管、気管支を観察する気管支鏡、食道、胃、十二指腸を観察する上部消化管内視鏡、小腸を観察する小腸内視鏡、大腸を観察する大腸内視鏡、胆管を観察する胆道内視鏡、膵管を観察する膵管内視鏡、胸腔内を観察する胸腔鏡、腹腔内を観察する腹腔鏡、尿道、膀胱内を観察する膀胱鏡、関節を観察する関節鏡、冠動脈を観察する血管内視鏡などが主に挙げられるが、これらに限定されることはない。
　また、内視鏡装置４０は、例えばハイビジョン内視鏡等が好適に挙げられるが、これに限定されることはない。
　次に、図２の機能ブロック図を用いて、支援装置本体１０の動作を制御する情報処理部２０の機能について説明する。この図２に示すように、情報処理部２０は、画像情報取得部３１と、病変情報取得部３２と、確認情報取得部３３と、病変消失判定部３４と、通知部３５と、病変情報出力部３６として機能する。
　画像情報取得部３１は、内視鏡装置４０の撮像部４１から入力される画像信号をデジタル信号に変換し、適宜の画像処理を施して、表示部２２にリアルタイムで表示する（図４（ａ）参照）。本実施形態では、撮像部４１で撮影された動画像や静止画像が表示部２２へ表示されるが、これに限定されるものではなく、動画像に基づいて生成された３Ｄ画像等であってもよい。また、取得された内視鏡画像は、病変情報取得部３２へと渡される。
　病変情報取得部３２は、画像情報取得部３１で取得した内視鏡画像に基づいて、特徴量の抽出やパターンマッチング等の画像認識処理を実行して、病変を自動で検出し、病変に関する各種情報（病変情報）を取得する。
　より具体的には、病変情報取得部３２は、例えば、鼻腔、咽頭、喉頭、食道を撮影した喉頭内視鏡動画像、気管、気管支を撮影した気管支鏡動画像、食道、胃、十二指腸を撮影した上部消化管内視鏡動画像、小腸を撮影した小腸内視鏡動画像、大腸を撮影した大腸内視鏡動画像、胆管を撮影した胆道内視鏡動画像、膵管を撮影した膵管内視鏡動画像、小胸腔内を撮影した胸腔鏡動画像、腹腔内を撮影した腹腔鏡動画像、尿道、膀胱内を撮影した膀胱鏡動画像、関節内を撮影した関節鏡動画像、冠動脈等の血管を撮影した血管内視鏡像等に基づいて、画像認識処理によって、腫瘍、ポリープ、出血、憩室、便、血管異形成、腹膜播種、胸膜播種、その他の病変を自動で検出する。
　この病変情報取得部３２で行われる画像認識処理を用いた病変検出は、公知の何れの技術を用いて行ってもよい。また、病変検出には、例えば、非特許文献１として挙げた論文「Learning Spatiotemporal Features with 3D Convolutional Networks」に記載のような複数のフレームを人工知能によって解析する手法を好適に用いることができる。この手法を用いることで、病変検出をより高精度に行うことができる。ここで、病変情報取得部３２で行われる病変の検出とは、画像認識技術や学習機能等によって、人工知能（コンピュータ）が機械的に病変であると推定した結果である。人工知能の発達により、より高速かつより高い精度での病変の自動検出と、病変の種類や状態等のより詳細な情報の取得が可能となっている。本実施形態の内視鏡観察支援装置１００では、この人工知能による検出結果を有効利用して、医師による病理診断に貢献することのできる支援が行えるようにするものである。
　病変情報取得部３２で取得する病変情報は、内視鏡画像と対応づけられて、病変消失判定部３４へと出力される。病変情報としては、例えば、病変が検出されたことを示すフラグ情報や、検出された病変の内視鏡画像上の位置、大きさ、状態等である。更には、画像認識による病変の分類結果、より具体的には、前述の腫瘍、ポリープ、出血、憩室、便、血管異形成、腹膜播種、胸膜播種などの病変の分類結果を含むことがより望ましい。
　確認情報取得部３３は、入力部２１から入力される確認情報を取得する。より具体的には、例えば、表示部２２への表示画面に、静止画像撮影用の撮影ボタンや、病変確認ボタンを表示しておく。又はキーボードのキーに、これらのボタンを設定しておいてもよい。そして、医師が表示部２２に表示された内視鏡画像を視認したり、顕微鏡により直接に体内を視認したりしながら、生体内の観察を行い、病変の存在を確認したとき、入力部２１の撮影ボタン、病変確認ボタンを操作する。この操作信号が、確認情報として確認情報取得部３３に入力される。本実施例では、支援をより効率的に行うため、確認情報取得部３３を設けているが、必ずしも設ける必要はない。
　病変消失判定部３４は、画像情報取得部３１で取得した内視鏡画像及び病変情報取得部３２で取得した病変情報に基づいて、内視鏡画像上から病変が消失したか否かを判定する。さらに本実施形態では、病変消失判定部３４は、確認情報取得部３３で取得した確認情報に基づいて、医師による病変の確認がされることなく、内視鏡画像上から病変が消失したか否かを判定する。この判定結果は、通知部３５へと出力される。
　通知部３５は、病変消失判定部３４での判定結果に基づいたアラーム通知を行う。通知部３５は、病変消失判定部３４で医師による病変の確認がされることなく、内視鏡画像上から病変が消失したと判定されたときに、音出力部２３と振動部２４とを制御して、音出力部２３からアラーム音を発生させるとともに、振動部２４を振動させる。このアラーム音や振動により、医師が病変の検出確認をすることなく、自動検出された病変が内視鏡画像上から消失したことを医師に通知し、医師の注意を引くことができる。
　なお、病変の分類結果に応じて音色やメッセージ内容、音の大きさや高さを変えてアラーム音を出力したり、病変の分類結果に応じて波長や強さを変えて振動を発生させたりしてもよい。また、病変の分類結果や状態の程度等に応じて重みづけを行い、重みに応じたアラーム音や振動を変化させてもよい。これにより、医師の注意力を、より強く引くことができたり、より慎重な観察を促進したりすることができる。
　病変情報出力部３６は、病変情報取得部３２で検出した病変に対応する内視鏡画像を、出力先としての表示部２２に表示し記憶部１７に記憶する。これにより、検査終了後に医師がいつでも内視鏡画像と病変情報を確認して病理診断の参考とすることができ、内視鏡観察の支援性能を向上させるとともに、記憶容量の削減も可能となる。
　また、内視鏡画像と対応づけて病変情報を、表示部２２に表示したり、記憶部１７に記憶したりすることが望ましい。例えば、内視鏡画像上の病変部位を、線で囲って表示部２２に表示するようにすれば、自動検出された病変の位置を医師が確認し易くなるとともに、医師の注意を引きつけることができる。
　また、表示部２２の表示画像にアラーム表示をしてもよい。この場合、内視鏡画像の視認性への影響を抑制するため、内視鏡画像内での病変情報の表示を避けることが好ましい。例えば、医師の注意を喚起すべく、内視鏡画像以外の領域の色を変化させる。具体的には、図５（ａ）等に示すように、表示部２２の表示画面において、内視鏡画像の表示領域２２ａの外側の領域（四隅）をアラーム表示領域２２ｂとして利用する。図５（ａ）は、ポリープ等の病変が検出される前は、図５（ａ）に示すようにアラーム表示領域２２ｂの色を変化させず、通常の色（例えば、黒色）で表示する。また、病変が検出された直後も黒色のままとする。
　そして、病変の検出後に、病変が内視鏡画像上から消失したときに、図５（ｂ）に示すように、アラーム表示領域２２ｂを目立つ色（例えば、赤色）で表示する。また、点滅等させてもよい。また、図５（ｃ）は、病変が消失したときの表示例の変形例であり、表示画面の外周縁をアラーム表示領域２２ｂとし、病変が消失したときに、赤色で表示している。このように、内視鏡画像の表示領域２２ａとは別に外側に設けたアラーム表示領域２２ｂの色等を変化させることで、医師等が内視鏡画像を明確に視認しつつ、音や振動だけでなく視覚によっても病変が消失したことを認識することができる。
　また、図５（ｄ）、（ｅ）、（ｆ）は、色の変化によるアラーム通知をする場合の表示部２２の他の表示例である。これらは内視鏡画像の表示領域２２ａを略楕円形とし、アラーム表示領域２２ｂの内周縁も円弧状としたこと以外は、図５（ａ）、（ｂ）、（ｃ）と同様の処理によって表示され、同様の作用効果が得られる。
　また、内視鏡画像と病変情報を記憶部１７に記憶しておくことで、検査後の医師による病理診断の際に、病変に関するより詳細な情報を提供することができる。
　上述のように構成された内視鏡観察支援装置１００で実行される内視鏡観察支援処理の一例を、図３のフローチャートを参照しながら説明する。まず、医師は内視鏡装置４０の操作部４３を操作しながら、挿入部４２を観察対象の患者の体内へ挿入する。この挿入部４２の挿入に追随して、撮像部４１で体内の内視鏡画像がリアルタイムに撮影される。
　ステップＳ１では、画像情報取得部３１が、撮像部４１で撮影された内視鏡画像（フレーム）を取得し、画像処理して表示部２２に表示する。そして、取得した内視鏡画像に基づいて、ステップＳ２以降の処理が行われるが、これらの処理は、１フレームごとに行ってもよいし、数フレームごとに行ってもよい。
　ステップＳ２では、画像情報取得部３１によって取得された内視鏡画像に基づいて、病変情報取得部３２が、前述した画像認識処理や学習機能によって病変の自動検出を実行する。図４（ａ）に、病変が現れた内視鏡画像の一例を示す。このとき、病変の自動検出がされても、音出力部２３や振動部２４からは何ら通知がされない。病変情報取得部３２は、病変が検出された場合、内視鏡画像上での病変の位置や大きさ、状態、病変の分類等を取得し、病変情報を生成する。なお、１つの内視鏡画像で複数の病変が検出された際には、それぞれの病変情報を生成する。
　次のステップＳ３では、病変情報取得部３２によって病変が検出されたか否かを判定し、病変が検出されない場合（ＮＯ）、ステップＳ４～Ｓ９の処理をスキップしてステップＳ１０に進む。
　一方、ステップＳ３で病変が検出された場合（ＹＥＳ）、ステップＳ４に進んで、医師によって病変の確認操作がされたか否かを検出するべく、確認情報取得部３３が確認情報を取得する。次に、確認情報内視鏡画像上での病変の追尾を行うべく、ステップＳ５に進み、画像情報取得部３１による次フレームの内視鏡画像の取得及び表示部２２への表示、病変情報取得部３２による病変の検出を行う。次いで、ステップＳ６で、内視鏡画像上から追尾中の病変が消失したか否かを判定する。
　ステップＳ６で、病変が消失していないと判定された場合（ＮＯ）、ステップＳ４へ戻り、確認情報を取得し、ステップＳ５へ進んで病変の追尾を続行する。このように、内視鏡画像上に病変が現れている間は、病変が自動検出されたことなどが何ら通知されないので、医師は、自動検出結果に不必要に影響されることなく、表示部２２に表示された内視鏡画像を観察しながら、病理診断などを行うことができる。
　一方、ステップＳ６で、病変が消失したと判定された場合（ＹＥＳ）、ステップＳ７に進み、病変の消失前の内視鏡画像について、確認情報が取得されているか否かを判定する。確認情報が取得されているときは（ＹＥＳ）、ステップＳ９に進む。ステップＳ９では、病変情報出力部３６が、病変の消失前の内視鏡画像と、病変情報を、表示部２２に表示するとともに、内視鏡画像と病変情報とを記憶部１７に記憶する。
　このように、確認情報が取得された場合は、病変情報取得部３２によって自動検出された病変が、医師によっても確認がされたと判断することができる。つまり、表示部２２の内視鏡画像や顕微鏡像を観察した医師が、病変を検出したとき、入力部２１から病変を含む静止画像の撮影指示を行ったり、確認指示を行ったりすることで、確認情報の信号が支援装置本体１０に入力される。なお、静止画像の撮影指示がされていた場合には、この静止画像の表示と記憶を行い、確認指示のみの場合は、病変の消失前の内視鏡画像（フレーム）の表示と記憶を行う。
　これに対して、ステップＳ７で、病変が消失したにも関わらず、消失直前までの間に医師からの確認情報が取得されていないと判断された場合（ＮＯ）、ステップＳ８に進んで、アラーム通知を行う。これは、病変情報取得部３２による病変の自動検出結果と、医師の病変の判断結果とが不一致であったり、判断が一致して病変を確認したが確認操作を行わなかったりした状態で、他の領域の撮影に進んだことを意味する。
　ステップＳ８のアラーム通知処理では、通知部３５が、音出力部２３を制御してアラーム音を発生させ、振動部２４を制御して振動させる。図４（ｂ）に、病変が消失した内視鏡画像の一例を示すとともに、音出力部２３からアラーム音が出力され、振動部２４が振動している状態を模式的に示す。また、図５（ｂ）、（ｃ）、（ｅ）、（ｆ）に示すように、表示部２２の表示画面上のアラーム表示領域２２ｂに、赤色等の目立つ色を表示させたり点滅させたりして、アラームを通知してもよい。
　このアラーム音と振動、さらには表示部２２へのアラーム表示により、医師は、コンピュータによって自動検出された病変を、まだ確認していないことに気づくことができる。つまり、医師は病変とは判断しなかった可能性や、病変を見逃した可能性が考えられる。なお、病変の消失からアラーム通知までは、１秒以内で行うことが望ましい。これにより、医師による病変の未確認状態で内視鏡検査が続行されるのを抑制することができる。また、操作部４３を逆行操作して、撮像部４１での撮影領域を病変消失前の領域に戻すことも可能で、病変の有無や状態を再確認することができ、医師による病理診断の精度を高めることができる。
　その後、ステップＳ９に進むことで、病変情報出力部３６が、自動検出された病変の消失前の内視鏡画像と病変情報を、表示部２２（又は別の表示部）に表示するとともに、この内視鏡画像と病変情報とを記憶部１７に記憶する。医師は、表示部２２等に表示された内視鏡画像によっても、病変の疑いのある領域を観察することができる。また、記憶部１７に記憶された病変の内視鏡画像や病変情報を、検査後に再確認することもできる。その後、ステップＳ１０に進む。
　ステップＳ１０では、内視鏡装置４０での内視鏡画像の撮影が終了したか否か判定し、撮影が終了したと判定した場合（ＹＥＳ）、検査が終了したので内視鏡観察支援処理を終了する。一方、撮影が続行中と判定した場合（ＮＯ）、ステップＳ１に戻り、次の内視鏡画像について、内視鏡観察支援処理を続行する。
　以上説明したように、本実施形態の内視鏡観察支援装置１００は、内視鏡装置４０により撮影された管腔臓器の撮像画像を取得して表示部２２に表示する画像情報取得部３１と、撮像画像に基づいて、所定の病変を検出し、病変に関する病変情報を取得する病変情報取得部３２と、撮像画像及び病変情報に基づいて病変を追尾し、病変が撮像画像上から消失したか否かを判定する病変消失判定部３４と、病変消失判定部３４により病変が撮像画像上から消失したと判定されたときに、判定結果を通知する通知部３５と、を備えて構成されている。
　また、本実施形態の内視鏡観察支援方法は、内視鏡装置４０により撮影された管腔臓器の撮像画像を取得する工程と、撮像画像に基づいて、所定の病変を検出し、病変に関する病変情報を取得する工程と、撮像画像及び病変情報に基づいて病変を追尾し、病変が撮像画像上から消失したか否かを判定する工程と、病変が撮像画像上から消失したと判定されたときに、判定結果を通知する工程と、を有してなる。
　また、本実施形態の内視鏡観察支援方法を実行するためのプログラムは、コンピュータを、内視鏡装置４０により撮影された管腔臓器の撮像画像を取得する手段と、撮像画像に基づいて、所定の病変を検出し、病変に関する病変情報を取得する手段と、撮像画像及び病変情報に基づいて病変を追尾し、病変が撮像画像上から消失したか否かを判定する手段と、病変が撮像画像上から消失したと判定されたときに、判定結果を通知する手段として機能させるためのプログラムである。
　したがって、本実施形態では、表示部２２に表示された撮像画像（内視鏡画像）を視認することで、医師等の操作者が、管腔臓器を観察して、病理診断や処置などを行うことができる。一方で、撮像画像に基づいて、高精度に病変を自動検出することができる。そして、病変が撮像画像上に現れている間は、医師の判断に先んじて自動検出結果が通知されることがないので、医師は自動検出結果に不必要に影響されることなく、病理診断を行うことができる。
　これに対して、病変が撮像画像上から消失したときは、通知がされるので、医師は病変が自動検出されたことや、検出された病変が撮像画像上から消失したことを知ることができる。このとき、医師自身も撮像画像上で病変を確認していた場合は、自身の診断結果と自動検出結果が一致したことがわかり、医師の診断の信頼性を裏付ける有力な材料とすることができる。また、この通知により、医師による病変近傍の再度の観察やより慎重な観察を促すことができる。したがって、内視鏡による観察支援の性能を向上させることができ、医師による病変の観察等をより容易かつ精度よく行うことが可能な内視鏡観察支援装置１００、内視鏡観察支援処理、及びプログラムを提供することができる。
　また、本実施形態では、上述したように高精度に病変の自動検出ができ、さらに自動検出された病変が撮像画像上から消失したときに、通知がされるので、例えば、内視鏡を用いた病理診断の訓練等にも好適に用いることができる。つまり、撮像画像に基づいて病理診断を行う際に、不慣れな医師が、病変を見逃したまま検査を続行した場合であっても、病変が撮像画像上から消失したことが速やかに医師に通知されるので、医師は見逃しに気づくことができ、再確認等を容易にできる。また、病変が撮像画像上に現れている間は、通知がされないので、医師は自動検出結果に不必要に影響されることなく、病理診断を行うことができる。その結果、医師の病理診断能力を向上させることができる。
　また、本実施形態では、通知部３５は、音出力部２３から所定の通知音を出力することで判定結果を通知するように構成されている。また、通知部３５は、振動体（振動部２４）を振動させることで判定結果を通知するように構成されている。通知音や振動によって、医師の注意をより強く引きつけることができ、病変が撮像画像上から消失したことをより明確に医師に通知することができる。
　また、本実施形態では、病変消失判定部３４により病変が撮像画像上から消失したと判定されたとき、消失前の病変の撮像画像を所定の出力先（例えば、表示部２２、記憶部１７）に出力する病変情報出力部３６を備えている。これにより、検査終了後に医師がいつでも内視鏡画像や病変情報を確認して病理診断の参考とすることができ、内視鏡観察の支援性能を向上させることができる。
　また、本実施形態では、操作者からの病変の確認指示の入力を受け付ける入力部２１を備え、通知部３５は、病変消失判定部３４により病変が撮像画像上から消失したと判定され、かつ、入力部２１から確認指示が入力されていないときには、判定結果を通知するように構成されている。これにより、病変が消失した場合であっても、操作者である医師が病変を確認していれば、通知がされることがないため、通知を必要最小限にとどめ、内視鏡観察の支援をより効率的に行うことができる。
（第２の実施形態）
　次に、第２の実施形態の内視鏡観察支援装置について説明する。上記第１の実施形態では、内視鏡画像上から病変が消失したと判定されたときに、病変が消失したことを知らせるアラーム通知をしている。これに対して、第２の実施形態では、内視鏡画像上で病変が検出されて僅かな時間の経過後に、病変が検出されたことをアラーム通知するものである。つまり、病変が内視鏡画像上から消失したか否かによらず、検出時から遅れてアラーム通知を行うものである。
　第２の実施形態の内視鏡観察支援装置は、病変消失判定部３４を設けていないこと以外は、第１の実施形態と同様の基本構成を備えているため、詳細な説明は省略する。確認情報取得部３３も、設けなくてもよいし、設けてもよい。また、第２の実施形態の内視鏡観察支援方法は、内視鏡装置４０により撮影された管腔臓器の撮像画像を取得する工程と、撮像画像に基づいて、所定の病変を検出し、病変に関する病変情報を取得する工程と、病変が検出されてから僅かな時間の経過後に、病変が検出されたことを通知する工程と、を有する。また、第２の実施形態の内視鏡観察支援方法を実行するためのプログラムは、コンピュータを、内視鏡装置４０により撮影された管腔臓器の撮像画像を取得する手段と、撮像画像に基づいて、所定の病変を検出し、病変に関する病変情報を取得する手段と、病変が検出されてから僅かな時間の経過後に、病変が検出されたことを通知する手段として機能させるためのプログラムである。
　第２の実施形態の内視鏡観察支援装置では、病変情報取得部３２がポリープ等の病変を検出すると、通知部３５に通知する。通知部３５は、病変の検出時にリアルタイムでは通知はせずに、病変が検出されてから僅かな時間が経過した後、つまり所定時間が経過した後に、病変が自動検出されたことを通知する。この通知は、第１の実施形態と同様に、音出力部２３からのアラーム音の発生、振動部２４の振動、さらには図５に示すようなアラーム表示領域２２ｂの色の変化等によって行うことができる。
　ここで、「僅かな時間」とは、内視鏡画像に病変が現れ、それを視認した医師等が自身で病変であると判断するのに必要な時間をいう。より具体的には、「僅かな時間」としては、３０ｍｓ～２，０００ｍｓが好ましい。また、この範囲内で、「僅かな時間」を任意に設定又は変更できるようにすることがより好ましい。これにより、医師等の内視鏡検査の習熟度や年齢等によって、判断時間にばらつきがあった場合でも、医師等に応じた好適な時間を設定することができる。したがって、より効率的な検査ができるとともに、内視鏡装置４０の使用性も向上する。
　このように、僅かな時間をおいて病変の検出を通知することで、内視鏡画像に基づいて、医師等が病変であると判断する時間を確保することができる。そのため、病変情報取得部３２による病変の自動検出結果に影響されることなく、医師等が自身で病変か否か等の判断を下すことができる。
　また、僅かな時間の経過後は、病変情報取得部３２で病変を検出したことが通知されるので、医師等は、自身の判断と人工知能等による自動検出結果とが同じか否かを確認することができ、医師等の判断の精度をより高めることができる。
　第２の実施形態は、病理診断の訓練を行う際にも好適に用いることができる。例えば、訓練の初期に不慣れな医師が内視鏡観察を行うときには、「僅かな時間」を長く設定することで、医師に判断のための時間を長く与えることができる。訓練を繰り返すたびに「僅かな時間」を徐々に短く設定していくことで、医師が徐々に速く判断できるようになる。
　また、前述したように、撮像画像の複数の画像フレームを人工知能で解析することで、１フレームを解析するよりも、高い精度で病変の診断が可能である。従来のようにリアルタイムで病変の検出を通知する方式では、速度を優先するため解析する画像フレーム数を多くするのには限界がある。これに対して、本実施形態のように、病変の検出から所定時間をおいて通知する場合、又は第１の実施形態のように病変が消失した後に通知する場合には、所定の解析時間を確保することができるため、より多くのフレームを解析することができる。そのため、病変の種類や程度等、より詳細な病変情報を取得することができ、人工知能による病変の検出精度や病変情報の精度を向上させることができる。
　以上、本発明の実施例形態を図面により詳述してきたが、上記実施形態は本発明の例示にしか過ぎないものであり、本発明は上記実施形態の構成にのみ限定されるものではない。本発明の要旨を逸脱しない範囲の設計の変更等があっても、本発明に含まれることは勿論である。
　例えば、上記各実施形態では、撮像部４１と挿入部４２と操作部４３とを有する内視鏡装置４０を支援装置本体１０に接続し、撮像部４１で撮影した撮像画像を支援装置本体１０が画像処理を施して表示部２２に表示している。これに対して、撮像部４１と挿入部４２と操作部４３に加えて、ビデオチューナーや表示部等の撮像画像の表示機能を有する内視鏡ユニットを用いてもよい。また、このような内視鏡ユニットの表示部を、内視鏡観察支援装置１００の表示部２２として兼用してもよいし、これとは別個に表示部２２を設けてもよい。
　さらには、内視鏡ユニットが、撮像画像に基づいて病変を自動検出する画像処理部等を有する情報処理装置を備える構成としてもよい。この場合、画像処理部での病変の自動検出結果を、支援装置本体１０の病変情報取得部３２が取得して、内視鏡観察支援処理に利用するようにすれば、内視鏡ユニットが有する自動検出結果を有効利用することができ、支援装置本体１０での演算処理の負荷を低減し、演算速度を高速化することができる。
　また、情報処理装置等を備えた内視鏡ユニットに、各実施形態の内視鏡観察支援装置１００を内蔵してもよい。すなわち、内視鏡ユニットに、音出力部２３や振動部２４を設け、さらに内視鏡ユニットの情報処理装置を情報処理部２０として兼用して、各実施形態の内視鏡観察支援プログラムをインストールする。これにより、内視鏡観察支援装置を備えた内視鏡ユニットを提供することができる。よって、内視鏡観察支援装置を備えた内視鏡ユニットとして販売することもできるし、内視鏡観察支援プログラムを単体で販売して、既存の内視鏡ユニットにインストールして使用することなどもできる。また、各装置のコンパクト化や簡素化、取扱いの簡易化も可能となる。
　また、上記各実施形態では、通知音や振動によって撮像画像上から病変が消失したことを医師に通知しているが、この他にも、例えば、ＬＥＤ等の発光部を設け、光の点滅等によってエラーを伝達するものであってもよい。この場合も、病変の重みづけや、病変の種類に応じて発光色や点滅時間等を適宜調整してもよく、より解り易い通知が可能となる。
　また、挿入部４２を体内に挿入する際の時間を計測する時間計測部を設け、挿入部４２の挿入速度（速度計で測定してもよいし、平均的な挿入速度を用いてもよい）や挿入時間、撮像画像に基づいて、例えば、大腸内視鏡であれば、肛門縁からの距離を算出し、表示部２２に表示してもよい。また、撮像画像上から病変が消失して、表示部２２等に病変の画像等を表示するときに、病変の肛門縁からの距離を表示するようにすれば、何センチ戻せば病変を撮影できるかなどを、医師がより容易かつより正確に判断することができ、病変の観察支援の性能をより向上させることができる。
　また、上記第１の実施形態では、病変が消失したときにアラーム通知を行い、第２の実施形態では、病変が検出されてから僅かな時間の経過後にアラーム通知を行っているが、これに限定されるものではない。使用目的等に応じて、病変が消失したときと、病変が検出されてから僅かな時間が経過したときの、双方でアラーム通知を行う構成としてもよく、医師の注意をより強く引くことができる。
関連出願への相互参照
　本出願は、２０１８年４月１３日に日本国特許庁に出願された特願２０１８－０７７６２４に基づいて優先権を主張し、その全ての開示は完全に本明細書で参照により組み込まれる。

Claims (9)

  1. 　内視鏡による管腔臓器の観察を支援する内視鏡観察支援装置であって、
    　前記内視鏡により撮影された前記管腔臓器の撮像画像を取得して表示部に表示する画像情報取得部と、
    　前記撮像画像に基づいて、所定の病変を検出し、前記病変に関する病変情報を取得する病変情報取得部と、
    　前記撮像画像及び前記病変情報に基づいて前記病変を追尾し、前記病変が前記撮像画像上から消失したか否かを判定する判定部と、
    　前記判定部により前記病変が前記撮像画像上から消失したと判定されたときに、判定結果を通知する通知部と、
    を備えたことを特徴とする内視鏡観察支援装置。
  2. 　内視鏡による管腔臓器の観察を支援する内視鏡観察支援装置であって、
    　前記内視鏡により撮影された前記管腔臓器の撮像画像を取得して表示部に表示する画像情報取得部と、
    　前記撮像画像に基づいて、所定の病変を検出し、前記病変に関する病変情報を取得する病変情報取得部と、
    　前記病変が検出されてから僅かな時間の経過後に、前記病変が検出されたことを通知する通知部と、
    を備えたことを特徴とする内視鏡観察支援装置。
  3. 　前記判定部により前記病変が前記撮像画像上から消失したと判定されたとき、消失前の前記病変の前記撮像画像を所定の出力先に出力する病変情報出力部を、備えたこと特徴とする請求項１に記載の内視鏡観察支援装置。
  4. 　前記病変が検出されてから僅かな時間が経過したときに、前記病変の前記撮像画像を所定の出力先に出力する病変情報出力部を、備えたことを特徴とする請求項２に記載の内視鏡観察支援装置。
  5. 　前記通知部は、音出力部から所定の通知音を出力することで通知することを特徴とする請求項１～３のいずれか一項に記載の内視鏡観察支援装置。
  6. 　前記通知部は、振動体を振動させることで通知することを特徴とする請求項１～５のいずれか一項に記載の内視鏡観察支援装置。
  7. 　操作者からの前記病変の確認指示の入力を受け付ける入力部を備え、
    　前記通知部は、前記判定部により前記病変が前記撮像画像上から消失したと判定され、かつ、前記入力部から前記確認指示が入力されていないときには、前記判定結果を通知するように構成されたこと特徴とする請求項１、３、５、６のいずれか一項に記載の内視鏡観察支援装置。
  8. 　内視鏡により撮影された管腔臓器の撮像画像を取得する工程と、
    　前記撮像画像に基づいて、所定の病変を検出し、前記病変に関する病変情報を取得する工程と、
    　前記撮像画像及び前記病変情報に基づいて前記病変を追尾し、前記病変が前記撮像画像上から消失したとき、及び前記病変が検出されてから僅かな時間が経過したときの少なくともいずれかの場合に、前記病変が検出されたことを通知する工程と、
    を有していることを特徴とする内視鏡観察支援方法。
  9. 　コンピュータを、
    　内視鏡により撮影された管腔臓器の撮像画像を取得する手段と、
    　前記撮像画像に基づいて、所定の病変を検出し、前記病変に関する病変情報を取得する手段と、
    　前記撮像画像及び前記病変情報に基づいて前記病変を追尾し、前記病変が前記撮像画像上から消失したとき、及び前記病変が検出されてから僅かな時間が経過したときの少なくともいずれかの場合に、前記病変が検出されたことを通知する手段として機能させるためのプログラム。
PCT/JP2019/015925 2018-04-13 2019-04-12 内視鏡観察支援装置、内視鏡観察支援方法、及びプログラム WO2019198808A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980025579.8A CN111970955A (zh) 2018-04-13 2019-04-12 内窥镜观察辅助装置、内窥镜观察辅助方法及程序
EP19785266.8A EP3777645A4 (en) 2018-04-13 2019-04-12 ENDOSCOPE OBSERVATION SUPPORT DEVICE, ENDOSCOPE OBSERVATION SUPPORT METHOD AND PROGRAM
US17/046,233 US11690494B2 (en) 2018-04-13 2019-04-12 Endoscope observation assistance apparatus and endoscope observation assistance method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018077624A JP2019180966A (ja) 2018-04-13 2018-04-13 内視鏡観察支援装置、内視鏡観察支援方法、及びプログラム
JP2018-077624 2018-04-13

Publications (1)

Publication Number Publication Date
WO2019198808A1 true WO2019198808A1 (ja) 2019-10-17

Family

ID=68162936

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/015925 WO2019198808A1 (ja) 2018-04-13 2019-04-12 内視鏡観察支援装置、内視鏡観察支援方法、及びプログラム

Country Status (5)

Country Link
US (1) US11690494B2 (ja)
EP (1) EP3777645A4 (ja)
JP (1) JP2019180966A (ja)
CN (1) CN111970955A (ja)
WO (1) WO2019198808A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311557A (zh) * 2020-01-23 2020-06-19 腾讯科技（深圳）有限公司 内窥镜图像处理方法、装置、电子设备及存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022010368A (ja) * 2018-04-13 2022-01-14 学校法人昭和大学 大腸内視鏡観察支援装置、大腸内視鏡観察支援方法、及びプログラム
JP2019180966A (ja) 2018-04-13 2019-10-24 学校法人昭和大学 内視鏡観察支援装置、内視鏡観察支援方法、及びプログラム
EP3804605A4 (en) * 2018-06-04 2021-08-18 FUJIFILM Corporation IMAGE PROCESSING DEVICE, ENDOSCOPE SYSTEM AND IMAGE PROCESSING METHOD
US11100633B2 (en) 2018-06-13 2021-08-24 Cosmo Artificial Intelligence—Al Limited Systems and methods for processing real-time video from a medical image device and detecting objects in the video
CN112040830A (zh) 2018-06-19 2020-12-04 奥林巴斯株式会社 内窥镜图像处理装置和内窥镜图像处理方法
US11607112B2 (en) * 2019-11-08 2023-03-21 Meditrina, Inc. Endoscope and method of use
KR102589384B1 (ko) * 2020-08-28 2023-10-16 라크(주) 의료 영상 판독시스템
KR102531400B1 (ko) * 2021-03-19 2023-05-12 주식회사 인피니트헬스케어 인공 지능 기반 대장 내시경 영상 진단 보조 시스템 및 방법
CN112991333B (zh) * 2021-04-21 2021-08-10 强基(上海)医疗器械有限公司 一种内窥镜手术中基于语音分析的图像处理方法及系统
EP4327721A1 (en) * 2021-04-23 2024-02-28 NEC Corporation Image processing device, image processing method, and storage medium

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006153742A (ja) 2004-11-30 2006-06-15 Nec Corp 病理診断支援装置、病理診断支援プログラム、病理診断支援方法、及び病理診断支援システム
JP2010035756A (ja) * 2008-08-04 2010-02-18 Fujifilm Corp 診断支援装置及び診断支援方法
JP2011104016A (ja) 2009-11-13 2011-06-02 Olympus Corp 画像処理装置、電子機器、内視鏡システム及びプログラム
JP2011224038A (ja) * 2010-04-15 2011-11-10 Olympus Corp 画像処理装置及びプログラム
JP2013056040A (ja) * 2011-09-08 2013-03-28 Olympus Corp 蛍光観察装置
WO2017033516A1 (ja) * 2015-08-24 2017-03-02 富士フイルム株式会社 読影支援装置及び方法
JP2017068360A (ja) * 2015-09-28 2017-04-06 ブラザー工業株式会社 情報表示装置
JP2018077624A (ja) 2016-11-08 2018-05-17 グローリー株式会社 紙幣処理機および紙幣処理方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4196412A (en) 1978-01-16 1980-04-01 General Signal Corporation Driver alert system
EP0692120B1 (en) * 1993-03-31 2002-10-09 Luma Corporation Managing information in an endoscopy system
WO2006042077A2 (en) * 2004-10-09 2006-04-20 Viatronix Incorporated Sampling medical images for virtual histology
IE20090299A1 (en) * 2008-04-15 2009-10-28 Trinity College Dublin An endoscopy system
JP5220780B2 (ja) 2010-02-05 2013-06-26 オリンパス株式会社 画像処理装置、内視鏡システム、プログラム及び画像処理装置の作動方法
US9295372B2 (en) * 2013-09-18 2016-03-29 Cerner Innovation, Inc. Marking and tracking an area of interest during endoscopy
JP6120762B2 (ja) * 2013-12-13 2017-04-26 オリンパス株式会社 画像処理装置
JP6289328B2 (ja) 2014-09-24 2018-03-07 日本光電工業株式会社 医療用システム
JP6549711B2 (ja) 2015-06-11 2019-07-24 オリンパス株式会社 内視鏡装置及び内視鏡装置の作動方法
DE112015006562T5 (de) * 2015-06-29 2018-03-22 Olympus Corporation Bildverarbeitungsvorrichtung, Endoskopsystem, Bildverarbeitungsverfahren und Bildverarbeitungsprogramm
EP3405908B1 (en) * 2015-09-10 2021-12-15 Magentiq Eye Ltd. A system and method for detection of suspicious tissue regions in an endoscopic procedure
JP6602969B2 (ja) 2016-05-23 2019-11-06 オリンパス株式会社 内視鏡画像処理装置
WO2018165620A1 (en) * 2017-03-09 2018-09-13 The Board Of Trustees Of The Leland Stanford Junior University Systems and methods for clinical image classification
CN110461209B (zh) * 2017-03-30 2021-10-29 富士胶片株式会社 内窥镜系统及处理器装置
JPWO2019078237A1 (ja) * 2017-10-18 2020-10-22 富士フイルム株式会社 医療画像処理装置、内視鏡システム、診断支援装置、並びに医療業務支援装置
JP2019180966A (ja) 2018-04-13 2019-10-24 学校法人昭和大学 内視鏡観察支援装置、内視鏡観察支援方法、及びプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006153742A (ja) 2004-11-30 2006-06-15 Nec Corp 病理診断支援装置、病理診断支援プログラム、病理診断支援方法、及び病理診断支援システム
JP2010035756A (ja) * 2008-08-04 2010-02-18 Fujifilm Corp 診断支援装置及び診断支援方法
JP2011104016A (ja) 2009-11-13 2011-06-02 Olympus Corp 画像処理装置、電子機器、内視鏡システム及びプログラム
JP2011224038A (ja) * 2010-04-15 2011-11-10 Olympus Corp 画像処理装置及びプログラム
JP2013056040A (ja) * 2011-09-08 2013-03-28 Olympus Corp 蛍光観察装置
WO2017033516A1 (ja) * 2015-08-24 2017-03-02 富士フイルム株式会社 読影支援装置及び方法
JP2017068360A (ja) * 2015-09-28 2017-04-06 ブラザー工業株式会社 情報表示装置
JP2018077624A (ja) 2016-11-08 2018-05-17 グローリー株式会社 紙幣処理機および紙幣処理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP3777645A4
TRAN, DU ET AL.: "Learning spatiotemporal features with 3d convolutional networks", COMPUTER VISION (ICCV), 2015 IEEE INTERNATIONAL CONFERENCE ON. IEEE, 2015

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111311557A (zh) * 2020-01-23 2020-06-19 腾讯科技（深圳）有限公司 内窥镜图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20210022586A1 (en) 2021-01-28
CN111970955A (zh) 2020-11-20
JP2019180966A (ja) 2019-10-24
EP3777645A1 (en) 2021-02-17
EP3777645A4 (en) 2022-03-23
US11690494B2 (en) 2023-07-04

Similar Documents

Publication Publication Date Title
WO2019198808A1 (ja) 内視鏡観察支援装置、内視鏡観察支援方法、及びプログラム
JP4153963B2 (ja) 内視鏡挿入形状検出装置
JP5368668B2 (ja) 医用画像表示装置、医用画像表示システム及び医用画像表示システムの作動方法
JP5542021B2 (ja) 内視鏡システム、内視鏡システムの作動方法、及びプログラム
JP2010035637A (ja) 画像表示装置およびこれを用いた内視鏡システム
JP2009213627A (ja) 内視鏡検査システム及びその検査方法
JP2009039449A (ja) 画像処理装置
WO2021075418A1 (ja) 画像処理方法、教師データ生成方法、学習済みモデル生成方法、発病予測方法、画像処理装置、画像処理プログラム、およびそのプログラムを記録した記録媒体
JP2009022446A (ja) 医療における統合表示のためのシステム及び方法
JP2020081332A (ja) 内視鏡情報管理システム
WO2020054543A1 (ja) 医療画像処理装置及び方法、内視鏡システム、プロセッサ装置、診断支援装置並びにプログラム
JP5451718B2 (ja) 医用画像表示装置、医用画像表示システム及び医用画像表示システムの作動方法
JP2010000183A (ja) 電子内視鏡用プロセッサ装置
US20230360221A1 (en) Medical image processing apparatus, medical image processing method, and medical image processing program
JP7264407B2 (ja) 訓練用の大腸内視鏡観察支援装置、作動方法、及びプログラム
JP2006221117A (ja) 医療支援システム
JP2023107919A (ja) 大腸内視鏡観察支援装置、作動方法、及びプログラム
JP2022010368A (ja) 大腸内視鏡観察支援装置、大腸内視鏡観察支援方法、及びプログラム
US20220202284A1 (en) Endoscope processor, training device, information processing method, training method and program
WO2023282144A1 (ja) 情報処理装置、情報処理方法、内視鏡システム及びレポート作成支援装置
WO2024042895A1 (ja) 画像処理装置、内視鏡、画像処理方法、及びプログラム
WO2023282143A1 (ja) 情報処理装置、情報処理方法、内視鏡システム及びレポート作成支援装置
US20230410304A1 (en) Medical image processing apparatus, medical image processing method, and program
WO2023038004A1 (ja) 内視鏡システム、医療情報処理装置、医療情報処理方法、医療情報処理プログラム、及び記録媒体
US20220375089A1 (en) Endoscope apparatus, information processing method, and storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19785266

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2019785266

Country of ref document: EP